EP4602598A1 - Wiener-filter-basierte signalwiederherstellung mit gelernter signal-zu-rausch-verhältnis-abschätzung - Google Patents

Wiener-filter-basierte signalwiederherstellung mit gelernter signal-zu-rausch-verhältnis-abschätzung

Info

Publication number
EP4602598A1
EP4602598A1 EP23789939.8A EP23789939A EP4602598A1 EP 4602598 A1 EP4602598 A1 EP 4602598A1 EP 23789939 A EP23789939 A EP 23789939A EP 4602598 A1 EP4602598 A1 EP 4602598A1
Authority
EP
European Patent Office
Prior art keywords
signal
training
noise ratio
training signal
restoration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23789939.8A
Other languages
English (en)
French (fr)
Inventor
Johannes Meyer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Publication of EP4602598A1 publication Critical patent/EP4602598A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present disclosure relates to a method and apparatus for Wiener filter-based signal restoration, in which a signal is received, a signal-to-noise ratio of the signal is estimated for use in a Wiener filter-based restoration algorithm, and then an original signal is restored from the received signal by means of the Wiener filter-based restoration algorithm, ie a (restored) signal that is as similar as possible to the original signal, taking into account the estimated signal-to-noise ratio.
  • signals transmitted on signal or reception paths are degraded, ie an original or original signal is corrupted on the one hand by non-ideal transmission to a corresponding receiving sensor, mathematically represented by a non-ideal mapping function, and on the other hand by external interference, mathematically represented by an interference signal.
  • the observed or received signal always deviates from the original signal.
  • a restoration filter function is therefore applied to the observed signal and a restored signal is generated.
  • the restored signal is an estimate of the original signal, since various assumptions must be made when choosing the restoration function and thus a perfect restoration is not achieved, and as a restored signal it is treated as the same as the original signal in further use.
  • image deteriorations can be formulated as linear, shift-invariant systems and thus completely described using their impulse response. Examples of this are blurred images, image errors caused by suboptimal optics, motion blur and the like. From a system theory perspective, the captured image as an observed signal then corresponds to a convolution of the undisturbed image, the original signal, with the impulse response of the existing image deterioration, the non-ideal imaging function.
  • the Wiener filter is used to improve signals in speech processing.
  • Two convolutional neural networks are trained that can detect areas with and without speech in the time signal. Assuming that the noise in both areas is similar, the signal-to-noise ratio, or SNR for short, can be estimated by calculating the corresponding signal components.
  • SNR signal-to-noise ratio
  • the task is therefore to improve filter-based signal restoration, in particular the result of Wiener filter-based signal restoration.
  • the approach presented below is based on the usual signal model for signal restoration, as is known, for example, from image restoration.
  • An original signal is transformed by a non-ideal mapping function h, and the transformed signal is additionally distorted by a disturbance n, thus yielding the observed or received signal g.
  • Applying a restoration function v to the observed or received signal yields a restored signal s.
  • the signals s, g, s as well as functions h and v and the disturbance n can, as is typically the case with image signals, exhibit a dependency on a location x, in other areas of application, for example, also a dependency on a frequency f and the like.
  • the Wiener filter for the case of an image signal in the frequency domain results in the following:
  • SNR(f) S s s(f)/S n n(f ) must be determined or estimated as accurately as possible.
  • S ss (f) denotes the unknown and thus to be estimated spectral power density of the undisturbed original signal s
  • S nn (f) denotes the unknown and thus to be estimated spectral power density of, for example, noise as disturbance n.
  • the signal belongs to a respective signal type, so it can be, for example, an image signal, in particular a single- or multi-channel image signal, and/or an audio signal, and/or a digital data transmission signal, or the signal can comprise one or more signals of the corresponding signal type "image signal” and/or "audio signal” and/or "data transmission signal".
  • the received signal can be generated and/or received by an image sensor unit and/or audio sensor unit and/or a data transmission unit.
  • the signal is received on a respective reception path, whereby the received or observed signal is formed by a falsification of the original signal by or on the reception path.
  • the falsification can occur due to the nature of the reception path itself, which is then described by the non-ideal mapping function h, or due to additional interference which is described by the interference factor n.
  • the signal-to-noise ratio is estimated for a Wiener filter-based recovery algorithm by a processing algorithm obtained by means of a machine learning method.
  • the processing algorithm obtained by means of the machine learning method can be or comprise a neural network, in particular a deep neural network with two or more, preferably three or more hidden layers.
  • other machine learning methods such as pixel-by-pixel support vector regression can also be used.
  • the estimation is carried out as a function of a spectral power density S gg calculated for the received signal.
  • the restored signal s is generated from the received, i.e. observed signal g and the signal-to-noise ratio SNR estimated for the Wiener filter-based restoration algorithm v by means of the Wiener filter-based restoration algorithm v.
  • the signal-to-noise ratio SNR estimated by the processing algorithm obtained in machine learning methods forms the basis of the Wiener filter of the Wiener filter-based restoration algorithm v.
  • the method presented here directly addresses the weakness of the Wiener filter, namely the signal-to-noise ratio, which is often difficult to estimate correctly in practice.
  • the spectral power density calculated for the received signal during the estimation is a logarithmic power density, ie the calculated spectral power density after the calculation and before the further processing is logarithmic.
  • the spectral power density calculated during training for the received training signal is a logarithmic power density, just as the training signal-to-noise ratio calculated as a function of the original training signal and the specified noise training signal is a logarithmic training signal-to-noise ratio, so the SNR is also logarithmized after calculation before further processing.
  • the signal-to-noise ratio estimated for the Wiener filter-based restoration algorithm is exponentiated in order to compensate for distortions induced by the logarithmization of the input variable.
  • the respective received training signal is calculated as a function of the respective associated original training signal, i.e. the original training signal of the same pair, and a respective impulse response training signal. This means that with access to the different databases, the amount of training data can be increased again in a relevant way and thus the performance of the processing algorithm can be increased.
  • the respective received training signal can also depend on the specified noise training signal.
  • Fig. 1 shows a signal path for a reception path with subsequent restoration according to a known signal model
  • Fig. 2 shows a schematic overview of an exemplary training procedure for a processing algorithm obtained by means of machine learning.
  • Fig. 1 shows a well-known signal model for signal restoration.
  • An original signal s is shaped on the receiving path by its specific properties, which is modeled by a non-ideal mapping function h, which is applied to the original signal s, for example by convolution.
  • the signal is additionally distorted by an external disturbance n, resulting in a signal g, which is then observed or received.
  • This observed or received signal g is transformed by a restoration filter function v, which can also be referred to as a restoration algorithm v, so that the restoration result is a restored signal s, an estimate of the original or original signal s.
  • a restoration filter function v which can also be referred to as a restoration algorithm v
  • Fig. 2 schematically shows an exemplary embodiment of a method for training a processing algorithm obtained by means of machine learning methods, here a neural network 4>.
  • the neural network 4> is trained in such a way that, based on an estimate of the spectral power density S ⁇ of the received signal g, for example of an observed image g(x), the desired SNR is estimated as SNR (f).
  • SNR (f) SNR applies.
  • S gg (f)
  • the Fourier transformation T ⁇ . ⁇ is chosen as an example as a discrete Fourier transformation DFT ⁇ . ⁇ .
  • an original signal s in this case an image s(x), is selected from a first database D1 to train the neural network 4>.
  • the original signal s is convolved with the impulse response as a non-ideal mapping function h in order to simulate the signal degradation during training.
  • image data for example, the image degradation databases from the article "Understanding and Evaluating Blind Deconvolution Algorithms" by Levin A.
  • the transfer function h required for reconstruction or its Fourier transform H of the signal deterioration can be calculated using other existing methods. If the signals are image data, for example, motion blur can be estimated using the data from an acceleration sensor or a gyroscope of the recording device, for example a smartphone.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

Die Offenbarung betrifft ein Verfahren zur Wiener-Filter-basierten Signalwie- derherstellung, mit den Verfahrensschritten: Empfangen eines Signals (g); Abschätzen eines Signal-zu-Rausch-Verhältnisses für einen Wiener-Filter-basier-ten Wiederherstellungsalgorithmus (v) durch einen mittels eines maschinellen Lernverfahrens gewonnenen Verarbeitungsalgorithmus (φ), in Abhängigkeit einer für das empfangene Signal berechneten spektralen Leistungsdichte; und Erzeugen eines wiederhergestellten Signals (ŝ) aus dem empfangenen Signal (g) und dem für den Wiener-Filter-basierten Wiederherstellungsalgorithmus (v) abgeschätzten Signal-zu-Rausch-Verhältnis mittels des Wiener-Filter-basierten Wiederherstellungsalgorithmus' (v) um die filterbasierte Signalwieder-herstellung, insbesondere das Ergebnis einer Wiener-Filter-basierten-Signal- wiederherstellung zu verbessern.

Description

Fraunhofer Gesellschaft 239PCT 1678 GD
Wiener-Filter-basierte Signalwiederherstellung mit gelernter Signal-zu-Rausch- Verhältnis-Abschätzung
Die vorliegende Offenbarung bezieht sich auf Verfahren und Vorrichtung zur Wiener-Filter-basierten Signalwiederherstellung, bei welchem ein Signal empfangen wird, ein Signal-zu-Rausch-Verhältnis des Signals für die Verwendung in einem Wiener-Filter-basierten Wiederherstellungsalgorithmus abgeschätzt wird und sodann mittels des Wiener-Filter-basierten Wiederherstellungsalgorithmus aus dem empfangenen Signal unter Berücksichtigung des abgeschätz- ten Signal-zu-Rausch-Verhältnisses ein ursprüngliches Signal wiederhergestellt wird, d.h. ein dem ursprünglichen Signal möglichst ähnliches (wiederhergestelltes) Signal. Allgemein werden auf Signal- oder Empfangswegen übertragene Signale verschlechtert, d. h. ein ursprüngliches oder originales Signal verfälscht einerseits durch nicht-ideale Übertragung auf einen entsprechenden Empfangssensor, mathematisch dargestellt durch eine nicht-ideale Abbildungsfunktion, und andererseits durch externe Störungen, mathematisch dargestellt durch ein Störsignal. Dadurch weicht das beobachtete oder empfangene Signal stets von dem originalen Signal ab. Üblicherweise wird daher eine Wiederherstellungsfilterfunktion auf das beobachtete Signal angewandt und ein wiederhergestelltes Signal erzeugt. Das wiederhergestellte Signal ist eine Schätzung des originalen Signals, da bei der Wahl der Wiederherstellungsfunktion verschiedene Annahmen getroffen werden müssen und somit eine perfekte Wiederherstellung nicht erreicht wird, und wird als wiederhergestelltes Signal dem originalen Signal in der weiteren Verwendung gleichgestellt.
Werden also beispielsweise mit einem Kamerasystem Bilder erfasst, kommt es dabei je nach Situation zu physikalisch bedingten Bildverschlechterungen. Einige Bildverschlechterungen lassen sich als lineare, verschiebungsinvariante Systeme formulieren und damit anhand ihrer Impulsantwort vollständig beschreiben. Beispiele hierfür sind unscharfe Aufnahmen, Bildfehler durch suboptimale Optiken, Bewegungsunschärfe und dergleichen. Das aufgenommene Bild als beobachtetes Signal entspricht dann systemtheoretisch betrachtet einer Faltung des ungestörten Bildes, des originalen Signals, mit der Impuls-ant- wort der vorliegenden Bildverschlechterung, der nicht-idealen Abbildungsfunktion. In solchen Fällen ist es, je nach Schwere der Bildverschlechterung und des vorliegenden Bildrauschens als zusätzliches Störsignal in gewissem Maße möglich mittels Bildwiederherstellungs- oder Restaurationsverfahren ein Bild als wiederhergestelltes Signal zu errechnen, das dem originalen Bild sehr nahekommt. In der Theorie ist diese Aufgabe durch das sog. Wiener-Filter optimal lösbar. In der Praxis hat das Wiener-Filter jedoch den entscheidenden Nachteil, dass das für die Filterung mit dem Wiener-Filter notwendige Signal-zu-Rausch- Verhältnis nicht bekannt ist und grundsätzlich nur geschätzt werden kann. Als Folge ist das Filterergebnis des Wiener-Filters in der Regel nicht zufriedenstellend und wird entsprechend im Allgemeinen nachbearbeitet, um ein besseres Ergebnis zu erhalten. In dem Artikel „A Data Driven Approach to A Priori SNR Estimation" von Suhadi S. et al., erschienen 2011 in den IEEE Transactions on Audio, Speech, and Language Processing 19, auf den Seiten 186 bis 195, wird das Wiener-Filter zur Signalverbesserung in der Sprachverarbeitung genutzt. Dabei werden zwei Faltungsnetze, sog. „convolutional neural networks" trainiert, die im Zeitsignal Bereiche mit und ohne Sprache detektieren können. Unter der Annahme, dass das Rauschen in beiden Bereichen ähnlich ist, kann durch Verrechnen der entsprechenden Signalanteile das Signal-zu-Rausch-Verhältnis, kurz SNR, geschätzt werden. Beispielsweise für Bildsignale ist dieser Ansatz jedoch nicht anwendbar, da hier das Wiener-Filter im Ortsfrequenzbereich beschrieben ist und nicht bezüglich einzelner Pixel oder Bildregionen.
In dem Artikel „An Iterative SNR Estimation Algorithm for Wiener Deconvolution of Self-Similar Images Distorted by Camera Shake Blurring" von Marcelo A. P. et al., erschienen 2008 in den Proceedings of the 8th Conference on Signal, Speech and Image Processing auf den Seiten 97 bis 100 wird zuerst eine initiale Schätzung des SNR verwendet, um mit dem Wiener-Filter das Eingabebild zu restaurieren. Das Ergebnisbild wird als wiederhergestelltes Bild mit dem Eingabebild im Sinne der Ähnlichkeit der Gradienten in x- und y-Richtung verglichen, um dann das SNR entsprechend anzupassen. Daraufhin folgt die nächste Iteration.
In dem Artikel „SNR-Aware Convolutional Neural Network Modelling for Speech Enhancement" von Fu S.-W. et al., erschienen 2016 in Interspeech auf den Seiten 3268 bis 3772, wird ein Sprachsignal von einem Faltungsnetzwerk verarbeitet, um damit insbesondere für jeden betrachteten Zeitabschnitt das SNR zu schätzen. Allerdings wird hier nur ein mittlerer Wert für das SNR geschätzt und nicht separate SNR-Werte für alle zur Verfügung stehenden Frequenzen, wie es für das Wiener-Filter erforderlich ist.
Es stellt sich somit die Aufgabe, die filterbasierte Signalwiederherstellung, insbesondere das Ergebnis einer Wiener-Filter-basierten-Signalwieder-herstel- lung zu verbessern.
Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen ergeben sich aus den abhängigen Patentansprüchen, der Beschreibung und den Figuren.
Der im Folgenden vorgestellte Ansatz setzt dabei auf dem üblichen Signalmodell für Signalwiederherstellung auf wie es beispielsweise aus der Bildrestauration bekannt ist. Ein originales Signal wird durch eine nicht-ideale Abbildungsfunktion h transformiert, zusätzlich wird das transformierte Signal durch eine Störung n verfälscht und ergibt so das beobachtete bzw. empfangene Signal g. Das Anwenden einer Wiederherstellungsfunktion v auf das beobachtete bzw. empfangene Signal liefert ein wiederhergestelltes Signal s. Die Signale s, g, s sowie Funktionen h und v und die Störung n können dabei, wie typischerweise bei Bildsignalen der Fall, eine Abhängigkeit von einem Ort x aufweisen, in anderen Anwendungsbereichen beispielsweise auch eine Abhängigkeit von einer Frequenz f und dergleichen. Mit der vorgestellten Nomenklatur ergibt sich das Wiener-Filter für den Fall eines Bildsignals im Frequenzbereich entsprechend zu
Dabei beschreibt /7(f) = T{h(x)} die Übertragungsfunktion der Bildverschlechterung, also die Fouriertransformierte der Impulsantwort als nicht-ideale Abbildungsfunktion h(x). Um das Wiener-Filter nutzen zu können, muss wie bekannt, der Ausdruck SNR(f) = Sss(f)/Snn(f ) möglichst korrekt bestimmt bzw. abgeschätzt werden. Dabei bezeichnet Sss(f) die nicht bekannte und damit abzuschätzende spektrale Leistungsdichte des ungestörten ursprünglichen Signals s und Snn(f) die nicht bekannte und damit abzuschätzende spektrale Leistungsdichte beispielsweise eines Rauschens als Störung n.
Ein Aspekt des vorgestellten Ansatzes betrifft entsprechend ein Verfahren zur Wiener-Filter-basierten Signalwiederherstellung, auch als Daten-Signalwieder- herstellung bezeichenbar, mit den Verfahrensschritten des Empfangens eines Signals, dem beobachteten Signal g, einem Abschätzen des Signal-zu-Rausch- Verhältnisses für das Wiederherstellen des dem empfangenen Signal g zugrundeliegenden ursprünglichen Signals s in Form eines wiederhergestellten Signals s, und dem Erzeugen des wiederhergestellten Signals s aus dem empfangenen Signal g und dem abgeschätzten SNR. Die Verfahrensschritte werden dabei durch eine Signalverarbeitungseinheit, welche beispielsweise einen Mikroprozessor und entsprechende weitere elektronische Elemente enthalten kann, durchgeführt. Das Signal gehört dabei einem jeweiligen Signaltyp an, es kann sich also beispielsweise um ein Bildsignal, insbesondere ein ein- oder mehrka- naliges Bildsignal, und/oder ein Audiosignal, und/oder ein digitales Datenübertragungssignal handeln, bzw. das Signal kann jeweils ein oder mehrere Signale des entsprechenden Signaltyps „Bildsignal" und/oder „Audiosignal" und/oder „Datenübertragungssignal" umfassen. Entsprechend kann das empfangene Signal durch eine Bildsensoreinheit und/oder Audiosensoreinheit und/oder eine Datenübertragungseinheit erzeugt und/oder empfangen werden oder sein. Das Signal wird auf einem jeweiligen Empfangsweg empfangen, wobei das empfangene bzw. beobachtete Signal durch ein Verfälschen des ursprünglichen Signals durch bzw. auf dem Empfangsweg geformt ist. Das Verfälschen kann dabei durch die Natur des Empfangsweges selber erfolgen, welche dann durch die nicht-ideale Abbildungsfunktion h beschrieben ist, oder durch zusätzliche Störungen die durch den Störfaktor n beschrieben sind.
Das Abschätzen des Signal-zu-Rausch-Verhältnisses erfolgt für einen Wiener- Filter-basierten-Wiederherstellungsalgorithmus durch einen mittels eines maschinellen Lernverfahrens gewonnenen Verarbeitungsalgorithmus. Der mittels des maschinellen Lernverfahrens gewonnene Verarbeitungsalgorithmus kann ein neuronales Netzwerk sein oder umfassen, insbesondere ein tiefes neuronales Netzwerk mit zwei oder mehr, bevorzugt drei oder mehr versteckten Schichten. Es können aber auch andere maschinelle Lernverfahren wie beispielsweise eine pixelweise Supportvektorregression genutzt werden. Das Abschätzen erfolgt in Abhängigkeit, d. h. als Funktion einerfür das empfangene Signal berechneten spektralen Leistungsdichte Sgg.
Das Erzeugen des wiederhergestellten Signals s erfolgt aus dem empfangenen, d. h. beobachteten Signal g und dem für den Wiener-Filter-basierten Wiederherstellungsalgorithmus v abgeschätzten Signal-zu-Rausch-Verhältnis SNR mittels des Wiener-Filter-basierten Wiederherstellungsalgorithmus v. Dabei liegt das durch den in maschinellen Lernverfahren gewonnenen Verarbeitungsalgorithmus abgeschätzte Signal-zu-Rausch-Verhältnis SNR dem Wiener-Filter des Wiener-Filter-basierten Wiederherstellungsalgorithmus v zugrunde. Im Gegensatz zu bekannten Verfahren, bei welchen ein Ergebnis eines Wiener- Filter-basierten Wiederherstellungsalgorithmus nachträglich optimiert wird, setzt das hier vorgestellte Verfahren direkt an der Schwäche des Wiener-Filters an, nämlich an dem in der Praxis oft schwer korrekt zu schätzenden Signal-zu- Rausch-Verhältniss. Als Folge kommt die theoretische Optimalität des Wiener- Filters auch in praxisnahen Anwendungen voll zum Tragen - So haben verschiedene Experimente gezeigt, dass der hier vorgestellte Ansatz typischerweise das Wiederherstellen von Signalen in einer Qualität erreicht, welche die Leistungen bekannter Ansätze in gängigen Qualitätsmetriken um 10 %, d.h. 10 Prozentpunkte, übertrifft.
Entsprechend umfasst das Verfahren in einer vorteilhaften Ausführungsform auch ein Trainieren des mittels des maschinellen Lernverfahrens gewonnenen Verarbeitungsalgorithmus mit einer Vielzahl von Trainings-Signal-Daten-Paa- ren. Diese Trainings-Signal-Daten-Paare umfassen oder enthalten jeweils eine für ein Empfangs-Trainings-Signal des gleichen Signaltyps wie das später in der Anwendung empfangene Signal s berechnete spektrale Leistungsdichte und ein in Abhängigkeit eines Original-Trainings-Signals und eines vorgegebenen Rausch-Trainings-Signals berechnetes Trainings-Signal-zu-Rausch-Verhältnis. Das hier und im Folgenden beschriebene Trainieren kann dabei auch unabhängig von der Signalwiederherstellung selber, d. h. räumlich und/oder zeitlich getrennt von der eigentlichen Wiener-Filter-basierten-Signalwiederherstellung vorgenommen werden. Das hat den Vorteil, dass der mittels des maschinellen Lernverfahrens gewonnene Verarbeitungsalgorithmus in der Praxis schnell ein SNR schätzen kann, da einzig das beobachtete Signal zum Schätzen des jeweiligen SNR erforderlich ist. Da für das Trainieren auf sehr große bestehende Datenbanken von Signalen wie Bildern, Audiosignalen, und sonstigen Signalen und entsprechende nicht-ideale Abbildungsfunktionen wie Impulsantworten von Empfangswegen zurückgegriffen werden kann, ist ein solches Training auch praxistauglich.
In einer vorteilhaften Ausführungsform ist dabei vorgesehen, dass die bei dem Abschätzen für das empfangene Signal berechnete spektrale Leistungsdichte eine logarithmische Leistungsdichte ist, d. h. die berechnete spektrale Leistungsdichte nach dem Berechnen und vor dem weiteren Verarbeiten logarith- miert wird, und die bei dem Trainieren für das Empfangs-Trainings-Signal berechnete spektrale Leistungsdichte entsprechend eine logarithmische Leistungsdichte ist, so wie das in Abhängigkeit des Original-Trainings-Signals und des vorgegebenen Rausch-Trainings-Signals berechnete Trainings-Signal-zu- Rausch-Verhältnis ein logarithmisches Trainings-Signal-zu-Rausch-Verhältnis ist, das SNR also ebenfalls nach dem Berechnen vor einem weiteren Verarbeiten logarithmisiert wird. Es wird dann vor dem Wiederherstellen des ursprünglichen Signals das für den Wiener-Filter-basierten-Wiederherstellungs-algorith- mus abgeschätzte Signal-zu-Rausch-Verhältnis exponenziert, um durch das Lo- garithmisieren der Eingangsgröße induzierte Verfälschungen wieder zu kompensieren. Das hat den Vorteil, dass das maschinelle Lernverfahren, gerade, wenn es sich um ein neuronales Netz, insbesondere ein tiefes neuronales Netz, handelt, besser konvergiert, da gerade bei Bilddaten bei einem Schätzen der spektralen Leistungsdichte über das vorteilhafte Betragsquadrat der diskreten Fouriertransformation ein Konvergenzverhalten der genannten maschinellen Lernverfahren beeinträchtigt wird.
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass das jeweilige Empfangs-Trainings-Signal in Abhängigkeit des jeweils zugehörigen Original-Trainings-Signals, d. h. des Original-Trainings-Signals desselben Paares, und eines jeweiligen Impulsantwort-Trainings-Signals berechnet wird. Dadurch kann mit Zugriff auf die unterschiedlichen Datenbanken die Menge der Trainingsdaten nochmals in relevanter Weise gesteigert werden und somit die Leistungsfähigkeit des Verarbeitungsalgorithmus erhöht werden. Zusätzlich kann das jeweilige Empfangs-Trainings-Signal auch von dem vorgegebenen Rausch- Trainings-Signal abhängen.
In einer anderen vorteilhaften Ausführungsform ist vorgesehen, dass das in Abhängigkeit des Original-Trainings-Signals und des vorgegebenen Rausch-Trai- nings-Signals berechnete (nichtlogarithmische) Trainings-Signal-zu-Rausch- Verhältnis den Quotienten der für das Original-Trainings-Signal berechneten spektralen Leistungsdichte mit der für das vorgegebene Rausch-Trainings-Sig- nal berechneten spektralen Leistungsdichte umfasst, insbesondere zu diesem Quotienten proportional ist oder der Quotient ist. Das SNR wird also mit dem Quotienten oder als der Quotient der jeweiligen spektralen Leistungsdichten abgeschätzt bzw. berechnet. Dies führt gerade in Kombination mit der im letzten Absatz geschilderten Berechnungsweise des Empfangs-Trainings-Signals mit der zugehörigen spektralen Leistungsdichte zu guten Wiederherstellungsergebnissen.
Ein weitere Aspekt betrifft eine Signalverarbeitungseinheit zur Wiener-Filter- basierten-Signalwiederherstellung, welche ausgebildet ist, ein Verfahren nach einer der geschilderten Ausführungsformen durchzuführen, also die Wiener- Filter-basierte Signalwiederherstellung und/oder das hierfür beschriebene Trainieren des mittels maschinellen Lernverfahrens gewonnenen Verarbeitungsalgorithmus.
Vorteile und vorteilhafte Ausführungsformen der Signalverarbeitungseinheit entsprechend dabei Vorteilen und vorteilhaften Ausführungsformen der jeweiligen Verfahren.
Die vorstehend in der Beschreibung, auch im einleitenden Teil, genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
Dabei zeigen: Fig. 1 einen Signalweg für einen Empfangsweg mit anschließender Wiederherstellung gemäß einem bekannten Signalmodell; und
Fig. 2 einen schematischen Überblick über ein beispielhaftes Trainingsverfahren für einen mittels maschinellem Lernverfahren gewonnenen Verarbeitungsalgorithmus.
In den Figuren sind dabei gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
In Fig. 1 ist ein allgemein bekanntes Signalmodell für eine Signalwiederherstellung dargestellt. Ein originales Signal s wird dabei auf dem Empfangsweg durch dessen spezifische Eigenschaften geformt, was durch eine nicht-ideale Abbildungsfunktion h modelliert wird, welche auf das originale Signal s beispielsweise durch eine Faltung angewandt wird. Das Signal wird zusätzlich durch eine externe Störung n additiv verfälscht, woraus sich insgesamt ein Signal g ergibt, welches dann beobachtet oder empfangen wird. Dieses beobachtete oder empfangene Signal g wird durch eine Wiederherstellungsfilterfunktion v, welche auch als Wiederherstellungsalgorithmus v bezeichnet werden kann, transformiert, so dass als Wiederherstellungsergebnis ein wiederhergestelltes Signal s, eine Schätzung des ursprünglichen oder originalen Signals s vorliegt. Mit Bildsignalen als beispielhafte Signale, und somit von einem Ort x abhängigen Signale bzw. Funktionen s, h, n, g, v, s ergibt sich das Wiener-Filter im Frequenzbereich zu der bereits vorgestellten Formel:
Entscheidend für die Qualität des Wiederherstellungsergebnisses ist die möglichst genaue Bestimmung des Signal-zu-Rausch-Verhältnisses SNR = Sss/Snn, wobei im vorliegenden Beispiel die jeweiligen Termini SNR, Sss und Snn über eine Fouriertransformation durch den Vektor x mit der Frequenz f verknüpft sind.
In Fig. 2 ist eine beispielhafte Ausführungsform eines Verfahrens zum Trainieren eines mittels maschinellem Lernverfahren gewonnenen Verarbeitungsalgorithmus, hier eines neuronalen Netzes 4>, schematisch dargestellt. Das neuronale Netz 4> wird dahingehend trainiert, dass, basierend auf einer Schätzung der spektralen Leistungsdichte S^des empfangenen Signals g, beispielsweise eines beobachteten Bildes g(x) das gesuchte SNR, im Fall eines ortsabhängigen Bildes g(x) das gesuchte SNR als SNR (f), abschätzt. Es gilt somit 4>(^) = SNR. Dabei gilt Sgg(f) = |T’(sr(x))|2 mit der Fouriertransformation T{.} und der Schätzung des Signal-zu-Rausch-Verhältnisses SNR. In Fig. 2 ist die Fouriertransformation T{.} beispielshaft als diskrete Fouriertransformation DFT {.} gewählt.
Im gezeigten Beispiel wird für das Trainieren des neuronalen Netzes 4> aus einer ersten Datenbank Dl ein originales Signal s, vorliegend ein Bild s(x) ausgewählt. Aus einer zweiten Datenbank D2, welche eine beliebige Signalverschlechterungsdatenbank sein kann, wird eine entsprechende Impulsantwort als nicht lineare Abbildungsfunktion h, hier h(x), ausgewählt. Das originale Signal s wird mit der Impulsantwort als nicht-idealer Abbildungsfunktion h gefaltet, um im Training die Signalverschlechterung zu simulieren. Für Bilddaten können beispielsweise die Bildverschlechterungsdatenbanken aus dem Artikel „Understanding and Evaluating Blind Deconvolution Algorithms" von Levin A. et al., erschienen 2009 in der IEEE Conference on Computervision and Pattern Recognition auf den Seiten 1964 bis 1971 oder aus dem Artikel „Edge-Based Blur Kernel Estimation using Patch Priors" von Libin Sun et al., erschienen 2013 in der IEEE International Conference on Computational Photography auf Seiten 1 bis 8, genutzt werden. Zu dem Faltungsergebnis wird die Störung n, beispielsweise als normal verteiltes Rauschen n(x) simuliert, addiert. Das Ergebnis ist ein simuliertes empfangenes Signal g, hier g(x). Von diesem simulierten empfangenen Signal g wird der Logarithmus des Betragsquadrates der diskreten Fouriertransformation DFT {.} berechnet, was das Eingangssignal log Sgg für das neuronale Netz 4> darstellt.
Zudem wird anhand des logarithmierten Quotienten log das später bei der Signalwiederherstellung von dem Verarbeitungsalgorithmus, hier dem neuronalen Netz 4>, geschätzte logarithmisierte Signal-zu-Rausch-Verhältnis log SNR berechnet, welches eine Referenzeingabe für das Training des neuronalen Netzwerks 4> bestimmt oder bildet.
Das Verwenden der Logarithmen log S^und log SNR zum Training des neuro- nalen Netzes statt S^und SNR dient der Reduktion der Dynamik der sich ergebenden Werte. Entsprechend muss nach der Auswertung von 4> der von dem neuronalen Netz 4> ausgegebene Wert exponenziert werden, und das Gesuchte, durch den Verarbeitungsalgorithmus gewonnene Signal-zu-Rausch- Verhältnis SNR ist dann gegeben durch
Die zur Rekonstruktion notwendige Übertragungsfunktion h bzw. deren Fou- riertransformierte H der Signalverschlechterung kann mit anderen existieren- den Verfahren berechnet werden. Handelt es sich bei den Signalen um Bilddaten, so kann beispielsweise bei Bewegungsunschärfe anhand der Daten eines Beschleunigungssensors oder eines Gyroskops des Aufnahmegerätes, beispielsweise eines Smartphones, geschätzt werden.

Claims

Ansprüche
1. Verfahren zur Wiener-Filter-basierten Signalwiederherstellung, mit den Verfahrensschritten:
- Empfangen eines Signals (g);
- Abschätzen eines Signal-zu-Rausch-Verhältnisses für einen Wiener- Filter-basierten Wiederherstellungsalgorithmus (v) durch einen mittels eines maschinellen Lernverfahrens gewonnenen Verarbeitungsalgorithmus (4>), in Abhängigkeit einer für das empfangene Signal berechneten spektralen Leistungsdichte;
- Erzeugen eines wiederhergestellten Signals (s) aus dem empfangenen Signal (g) und dem für den Wiener-Filter-basierten Wiederherstellungsalgorithmus (v) abgeschätzten Signal-zu-Rausch-Verhältnis mittels des Wiener-Filter-basierten Wiederherstellungsalgorithmus' (v).
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Signal ein Bildsignal und/oder ein Audiosignal und/oder ein digitales Datenübertragungssignal ist oder umfasst.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Signal durch eine Bildsensoreinheit und/oder durch eine Audiosensoreinheit und/oder eine Datenübertragungseinheit erzeugt.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der mittels des maschinellen Lernverfahrens gewonnenen Verarbeitungsalgorithmus (4>) ein neurales Netzwerk, insbesondere ein tiefes neurales Netzwerk, umfasst.
5. Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch ein
- Trainieren des mittels des maschinellen Lernverfahrens gewonnenen Verarbeitungsalgorithmus (4>) mit einer Vielzahl von Trainings-Signal- Daten-Paaren, welche jeweils eine für ein Empfangs-Trainings-Signal (g) berechnete spektrale Leistungsdichte und ein in Abhängigkeit eines Original-Trainings-Signals (s) und eines vorgegebenen Rausch-Trai- nings-Signals (n) berechnetes Trainings-Signal-zu-Rausch-Verhältnis umfassen.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass
- die bei dem Abschätzen für das empfangene Signal (g) berechnete spektrale Leistungsdichte eine logarithmische Leistungsdichte ist, und
- die bei dem Trainieren für das Empfangs-Trainings-Signal (g) berechnete spektrale Leistungsdichte eine logarithmische Leistungsdichte und das in Abhängigkeit des Original-Trainings-Signals (s) und des vorgegebenen Rausch-Trainings-Signals (s) berechnete Trainings-Signal- zu-Rausch-Verhältnis ein logarithmisches Trainings-Signal-zu-Rausch- Verhältnis ist, wobei
- vor dem Erzeugen des wiederhergestellten Signals (s) das für den Wiener-Filter-basierten Wiederherstellungsalgorithmus (v) abgeschätzte Signal-zu-Rausch-Verhältnis exponenziert wird.
7. Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass das jeweilige Empfangs-Trainings-Signal (g) in Abhängigkeit des jeweils zugehörigen Original-Trainings-Signals (s) und eines jeweiligen Impulsantwort-Trainings-Signals (h) berechnet wird.
8. Verfahren nach Anspruch 5 oder 6 oder 7, dadurch gekennzeichnet, dass das in Abhängigkeit des Original-Trainings-Signals (s) und des vorgegebenen Rausch-Trainings-Signals (n) berechnete Trainings-Signal-zu- Rausch-Verhältnis den Quotienten der für das Original-Trainings-Signal (s) berechneten spektralen Leistungsdichte mit der für das vorgegebene Rausch-Trainings-Signal (n) berechneten spektralen Leistungsdichte umfasst, insbesondere zu diesem proportional ist oder der Quotient ist.
9. Verfahren zum Trainieren des per maschinellen Lernverfahrens für einen Wiener-Filter-basierten Wiederherstellungsalgorithmus (v) gewonnenen Verarbeitungsalgorithmus (4>) nach einem der vorhergehenden Ansprüche.
10. Signalverarbeitungseinheit zur Wiener-Filter-basierten Signalwiederherstellung, welche ausgebildet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
EP23789939.8A 2022-10-14 2023-10-12 Wiener-filter-basierte signalwiederherstellung mit gelernter signal-zu-rausch-verhältnis-abschätzung Pending EP4602598A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022210839.6A DE102022210839A1 (de) 2022-10-14 2022-10-14 Wiener-Filter-basierte Signalwiederherstellung mit gelernter Signal-zu-Rausch-Verhältnis-Abschätzung
PCT/EP2023/078344 WO2024079264A1 (de) 2022-10-14 2023-10-12 Wiener-filter-basierte signalwiederherstellung mit gelernter signal-zu-rausch-verhältnis-abschätzung

Publications (1)

Publication Number Publication Date
EP4602598A1 true EP4602598A1 (de) 2025-08-20

Family

ID=88413602

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23789939.8A Pending EP4602598A1 (de) 2022-10-14 2023-10-12 Wiener-filter-basierte signalwiederherstellung mit gelernter signal-zu-rausch-verhältnis-abschätzung

Country Status (3)

Country Link
EP (1) EP4602598A1 (de)
DE (1) DE102022210839A1 (de)
WO (1) WO2024079264A1 (de)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116057626B (zh) * 2020-07-31 2026-02-17 杜比实验室特许公司 使用机器学习的降噪

Also Published As

Publication number Publication date
DE102022210839A1 (de) 2024-04-25
WO2024079264A1 (de) 2024-04-18

Similar Documents

Publication Publication Date Title
DE69812800T2 (de) Verfahren und Gerät zur Bildverbesserung
DE112009004059B4 (de) Verfahren zum Entfernen von Unschärfe von einem Bild und Aufzeichnungsmedium, auf dem das Verfahren aufgezeichnet ist
DE69028946T2 (de) Verfahren zur adaptiven Schärfung elektronischer Bilder
DE102004007637B4 (de) Verfahren zum Erzeugen eines Bildes mit erhöhter Auflösung unter Verwendung einer Mehrzahl von Bildern mit niedriger Auflösung
DE69509577T2 (de) Anordnung zur Verminderung des Rauschens unter Verwendung von zeitvarianten Filterkoeffizienten
DE60030456T2 (de) Verfahren und system zur verbesserung von digitalbildern
DE602005004694T2 (de) Verfahren und Vorrichtung für lokal adaptive Bildverarbeitungsfilter
DE60300462T2 (de) Verfahren zur schärfung eines digitalbildes mit signal-rausch-bewertung
DE69318876T2 (de) System und Verfahren zur Umwandlung von Halbtonbildern in Bilder mit kontinuierlichen Tönen
DE102021103293A1 (de) Ein Bayes'sches Bildentrauschungsverfahren, das auf Verteilungsbeschränkungen von rauschhaltigen Bildern basiert
DE60115546T2 (de) Verfahren und Vorrichtung zur Verbesserung des Signal-Rauschabstandes unter Verwendung von Wellenstückchen und Schwellenwertverarbeitung von Frequenzen
DE60020795T2 (de) Echtzeitmodellierung des Verhaltens menschlicher Sehvermögenssysteme
DE602004001366T2 (de) Gewichtete, überbestimmte Rauschunterdrückung
DE60300097T2 (de) Verfahren zur Schärfung eines Digitalbildes ohne Verstärkungsrauschen
DE69121812T2 (de) Videobildverarbeitungsanlage
DE19827034A1 (de) Iteratives Filtersystem für medizinische Bilder
EP3635677B1 (de) Verfahren und vorrichtung zur bildkorrektur
DE602004012125T2 (de) Robuste rekursive hüllenoperatoren für die schnelle verarbeitung von bildern des retinex-typs
DE102020134755A1 (de) Verarbeiten von videoframes über neuronales faltungsnetzwerk durch verwenden von statistiken vorhergehender frames
DE102008023915A1 (de) Verfahren zur Einstellung von wenigstens einer Stellgröße eines Entrauschungsfilters in medizinischen Bildern
DE10114732A1 (de) Verfahren zur aktiven Rauschunterdrückung unter Verwendung der Analyse unabhängiger Komponenten
DE102020115256A1 (de) Bildverarbeitungsgerät, Bildaufnahmegerät, Bildverarbeitungsverfahren, Programm und Speichermedium
EP3384461B1 (de) Verfahren und vorrichtung zur bildkorrektur
WO2024079264A1 (de) Wiener-filter-basierte signalwiederherstellung mit gelernter signal-zu-rausch-verhältnis-abschätzung
DE102020207695A1 (de) Tiefenschätzung aus Monokamerabildern mittels künstlicher Intelligenz

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250502

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)