DE69418244T2 - Videorauschreduktionsystem unter Verwendung einer Mehrbild-Bewegungsabschätzung, Unterdrückung von Abweichungen und Bahnkorrektur - Google Patents
Videorauschreduktionsystem unter Verwendung einer Mehrbild-Bewegungsabschätzung, Unterdrückung von Abweichungen und BahnkorrekturInfo
- Publication number
- DE69418244T2 DE69418244T2 DE69418244T DE69418244T DE69418244T2 DE 69418244 T2 DE69418244 T2 DE 69418244T2 DE 69418244 T DE69418244 T DE 69418244T DE 69418244 T DE69418244 T DE 69418244T DE 69418244 T2 DE69418244 T2 DE 69418244T2
- Authority
- DE
- Germany
- Prior art keywords
- motion
- block
- value
- values
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012937 correction Methods 0.000 title claims description 58
- 230000009467 reduction Effects 0.000 title description 18
- 230000001629 suppression Effects 0.000 title 1
- 239000013598 vector Substances 0.000 claims description 104
- 238000000034 method Methods 0.000 claims description 28
- 238000012935 Averaging Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 16
- 238000006073 displacement reaction Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 9
- 238000013459 approach Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims 10
- 238000012360 testing method Methods 0.000 claims 5
- 238000001228 spectrum Methods 0.000 claims 4
- 230000003247 decreasing effect Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 23
- 239000000872 buffer Substances 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 10
- 230000015556 catabolic process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Picture Signal Circuits (AREA)
Description
- Die vorliegende Erfindung bezieht sich auf die Verringerung von Rauschen im allgemeinen, und insbesondere auf die Verringerung von Rauschen in Videosignalen. Insbesondere werden ein Verfahren und eine Vorrichtung offenbart zum Verringern von Rauschen in einem Videosignal durch eine Mittelwertbildung einer Videoinformation über mehrere Vollbild- bzw. Rahmen- (frame) Intervalle unter Verwendung einer Mehr-Vollbild- (multi-frame) Bewegungsschätzung mit einer auf Pixel bzw. Bildelementen basierenden Trajektorien-Korrektur.
- Das Verringern von Rauschen (NR = Noise Reduction) in Bildfolgen bzw. Bildsequenzen kann sowohl die Bildqualität als auch die Leistungsfähigkeit einer nachfolgenden Videokodierung verbessern. Dies ist so, weil das Rauschen in Bildsequenzen unerwünschte bzw. parasitäre nicht korrelierte Bildbestandteile hinzufügt, welche visuell unangenehm sind und welche den Wirkungsgrad jedes Kompressionsverfahrens verringern können, welches auf den Bildkorrelationen von Vollbild zu Vollbild basiert.
- Wie in einem Buch von J. S. Lim mit dem Titel "Two Dimensional Signal and Image Processing", Prentice Hall, 1990, Seiten 568 ff ausgeführt, ist das einfachste Verfahren zum Durchführen einer zeitlichen Filterung dasjenige mittels einer Vollbild- bzw. Rahmen- (frame) Mittelung. Die Vollbildmittelung bzw. -Mittelwertbildung ist sehr wirksam beim Verarbeiten einer Sequenz bzw. Abfolgen von Vollbildern, welche durch ein zufälliges Rauschen gestört sind, bei welchen jedoch nicht viel Veränderung in der Bildinformation von Vollbild zu Vollbild auftritt.
- Wie im Stand der Technik wohlbekannt, gibt es viele unterschiedliche Arten zum Durchführen einer Vollbild-Mittelwertbildung. Obwohl die Vollbild-Mittelwertbildung sehr einfach und effektiv bzw. wirksam sein kann, ist eine präzise bzw. genaue Signal-Registerhaltigkeit bzw. -Übereinstimmung (signal registration) von Vollbild zu Vollbild wesentlich für den Erfolg. Bei praktischen Anwendungen, wie zum Beispiel bei bewegten Bildern und Fernsehen, kann sich das Bild von Vollbild zu Vollbild verändern. Teile des Bildes können sich durch eine Translation bzw. Verschiebung oder eine Rotation bzw. Drehung bewegen, durch Verändern der Größe oder durch Kombination der oben genannten Effekte. Bei einigen Systemen aus dem Stand der Technik wurde eine Vollbild-Mittelwertbildung nur bei stillen bzw. ruhenden Bereichen eines Bildes angewandt, d. h. denjenigen Bereichen, welche keine Bewegung von Bild zu Bild zeigten. Andere Systeme aus dem Stand der Technik versuchten, die Bewegung innerhalb des Bildes von einem Bild zu dem nächsten zu schätzen und diese Bewegung beim Durchführen einer Vollbild-Mittelwertbildung zu kompensieren. Um diese bewegungskompensierte Bildwiederherstellung durchzuführen, werden die Vollbilder entlang approximierter bzw. angenäherter Bewegungs- Trajektorien gemittelt.
- In einem Artikel von J. M. Boyce mit dem Titel "Noise Reduction of Image Sequences Using Adaptive Motion Compensated Frame Averaging", IEEE ICASSP-92, Seiten III-461 bis III-464 wird ein Verfahren vorgeschlagen, um Rauschen von Bildsequenzen zu verringern durch adaptives Umschalten zwischen einer einfachen (nicht versetzten) Vollbild-Mittelwertbildung und einer bewegungskompensierten Vollbild- Mittelwertbildung auf einer Block für Block Basis. Insbesondere wird ein Verfahren offenbart, um adaptiv zwischen einem Verfahren mit einer verschobenen bzw. versetzten Vollbild-Mittelwertbildung (d. h. einer bewegungskompensierten Vollbild- Mittelwertbildung) und einer nicht-versetzten Mittelwertbildung (einfache Vollbild- Mittelwertbildung), basierend auf den relativen Differenzen zwischen zwei Blöcken, umzuschalten, wobei die Differenzen dem Rauschen bzw. der Bewegung zugeordnet werden können. Die versetzte Vollbild-Mittelwertbildung wird bei Blöcken angewandt, welche sich bewegende Objekte enthalten, und eine Versetzung tritt nicht auf bei Blöcken, bei welchen die Differenzen zwischen den Vollbildern (interframe) nur aufgrund von Rauschen vorliegen.
- Eine alternative Art zum Erzielen einer Verringerung des Rauschens ist in einem Artikel von T. J. Dennis offenbart mit dem Titel "Nonlinear Temporal Filter For Television Picture Noise Reduction", IEEE Proceedings, Auflage 127, Pt. G, Nr. 2, April 1980, Seiten 52 ff. Insbesondere wird ein herkömmlicher rekursiver Interframe- bzw. Zwischenbild-Tiefpaßfilter für einen 625 Zeilen 5,5 MHz Schwarz- Weiß- bzw. Monochrom-Fernseher so modifiziert, daß jegliche Dämpfung der Vollbilddifferenzen unmittelbar von deren Amplitude abhängt. Demzufolge wird der Filter eine räumliche Interferenz in einem großen Bereich dämpfen, wie zum Beispiel einen Wisch- bzw. Fahneneffekt bzw. Streaking, unter der Voraussetzung, daß dieser keine Null-Frequenz oder Vollbild-Frequenzbestandteile enthält. Unter Verwendung dieses Verfahrens kann jedoch eine räumliche Verschlechterung in Bereichen des Bildes auftreten, welche eine Bewegung enthalten.
- Eine weitere Technik, um eine Verringerung des Rauschens zu erzielen, ist in einem Artikel von E. Dubois u. a. offenbart mit dem Titel "Noise Reduction in Image Sequences Using Motion-Compensated Temporal Filtering", IEEE Transactions on Communications, Auflage COM-32, Nr. 7, Juli 1984, Seiten 826 ff. Insbesondere ist der Ansatz einer nicht-linearen rekursiven Filterung durch die Anwendung von bewegungskompensierenden Techniken erweitert. Des weiteren ist eine bestimmte Verringerungsvorrichtung für Rauschen zur Verwendung bei zusammengesetzten bzw. aufgebauten NTSC-Fernsehsignalen offenbart. Anders als frühere nicht-rekursive Filter niedriger Ordnung ist der nicht-lineare rekursive Filter-Ansatz, welcher von Dubois beschrieben wird, dazu fähig, ein Rauschen in einem größeren Ausmaß zu verringern als Systeme zum Verringern des Rauschens nach dem Stand der Technik.
- Jedoch gibt es noch praktische Begrenzungen hinsichtlich der Fähigkeit des Schaltkreises, um effektiv verschiedene Arten des Rauschens zu verringern.
- Die US 4,838,685 offenbart ein Verfahren und eine Vorrichtung zur Bewegungs- Schätzung bei der Verarbeitung von bewegten Bildern, wobei ein anfänglicher Geschwindigkeitsvektor als ein Schätzwert der Versetzung bzw. Verschiebung eines Bereichs von einer Stelle in einem ersten Vollbild zu einer entsprechenden Stelle in einem zweiten Vollbild ausgewählt wird, und der Geschwindigkeitsschätzwert wird dann verfeinert durch Minimieren eines mittleren Wertes des quadrierten Richtungsgradienten-Restwertes über dem Bereich. Eine kontinuierliche Signaldarstellung wird aus einem Satz von Bild-Intensitäts-Werten über dem interessierenden Bereich erhalten und, aus dieser kontinuierlichen Darstellung, werden Richtungsgradienten berechnet, und ein gemittelter quadratischer Richtungsgradienten-Restwert wird minimiert durch eine Eigenwert/Eigenvektor-Zerlegung, um den Geschwindigkeits-Feld-Schätzwert zu erhalten.
- Die Erfindung ist in den Ansprüchen ausgeführt, einschließlich des unabhängigen Vorrichtungsanspruchs 1 und des unabhängigen Verfahrensanspruchs 10.
- Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zum Schätzen der Größe und der Richtung einer Zwischen-Bild-(inter-frame) Bewegung in einer Sequenz bzw. Abfolge von Bildrahmen bzw. Vollbildern (image frames). Unter Verwendung dieses Verfahrens wird zuerst ein Trajektorien-Vektor für einen Block von Pixeln bzw. Bildelementen durch Anpassen bzw. Abgleichen (matching) des Blocks mit jedem einer Mehrzahl von vorangehenden und nachfolgenden Vollbildern berechnet, und dann durch die Verwendung eines robusten bzw. stabilen Schätzwertes, wie zum Beispiel ein Anpassungs- bzw. Abgleichverfahren mit niedrigsten bzw. geringsten abgeglichenen bzw. verringerten (Fehler)-Quadraten (least-trimmed squares fitting procedure), um den Trajektorien-Vektor zu erhalten.
- Gemäß einem anderen Aspekt der Erfindung werden die Bewegungsvektoren verwendet, um ein Rauschen in dem Videosignal zu verringern. Unter Verwendung des geschätzten Trajektorien-Vektors erzeugt ein Trajektorien-Korrektor eine überarbeitete bzw. nachgeprüfte (revised) Trajektorie für einzelne Pixel bzw. Bildelemente in dem Block von Vollbild (frame) zu Vollbild über die Mehrzahl der Video-Vollbilder. Eine Bildmittelwertbildungsvorrichtung (image averager) mittelt dann jedes der Mehrzahl der Pixel entsprechend bzw. in Abhängigkeit von dem Bewegungsblock entlang der überarbeiteten Trajektorie. Auf diese Art wird ein gemitteltes Video-Vollbild erzeugt.
- Gemäß einer Ausführungsform der Erfindung sperrt bzw. unterbricht ein Abbruchs- (breakdown) Detektor das Ersetzen eines Bewegungsblockes durch ein gemitteltes Video-Vollbild durch das Anwenden einer mathematischen Funktion bei jedem der Pixel-Werte, welche in dem gemittelten Video-Vollbild enthalten sind, um zu bestimmen, ob die Verringerung des Rauschens effektiv bzw. wirksam war. Die gemittelten Pixel-Werte werden verworfen, wenn festgestellt wurde, daß die Verringerung des Rauschens nicht effektiv bzw. wirksam war.
- Fig. 1 ist ein Blockdiagramm, welches die Arbeitsweise eines Videobild- Kompressionssystems veranschaulicht, welches gemäß dem Motion Picture Experts Group (MPEG) Kompressionsverfahren in Verbindung mit der vorliegenden Erfindung implementiert wurde.
- Fig. 2 ist ein funktionelles Block- bzw. Funktionsdiagramm eines Systems zur Verringerung von Rauschen gemäß der vorliegenden Erfindung.
- Fig. 3 ist ein Diagramm, welches die Trajektorie eines Bewegungsblocks entlang einer Mehrzahl von Vollbildern veranschaulicht.
- Fig. 4 ist ein Blockdiagramm einer auf Blöcken basierenden Bewegungs- Schätzvorrichtung, welche zur Verwendung mit dem in Fig. 1 gezeigten System geeignet ist.
- Fig. 5 ist ein Blockdiagramm einer Berechnungsvorrichtung für einen verringerten bzw. abgeglichenen quadratischen Fehler bzw. Fehlerquadrat (trimmed square), welche zur Verwendung mit der in Fig. 4 gezeigten auf Blöcken basierenden Bewegungs-Schätzvorrichtung geeignet ist.
- Fig. 6 ist ein Blockdiagramm einer Berechnungsvorrichtung der Summe der quadratischen Fehler, welche zur Verwendung mit der in Fig. 5 gezeigten Berechnungsvorrichtung des verringerten (Fehler)-Quadrates geeignet ist.
- Fig. 7a ist ein Blockdiagramm eines auf Pixeln basierenden Trajektorien- Korrektursystems, für Vollbilder, welche nach dem aktuellen Vollbild dargestellt bzw. gezeigt werden sollen, welches zur Verwendung mit dem in Fig. 2 gezeigten System geeignet ist.
- Fig. 7b ist ein Blockdiagramm eines auf Pixeln basierenden Trajektorien- Korrektursystems, für Vollbilder, welche vor dem aktuellen Vollbild gezeigt werden sollen, welches zur Verwendung mit dem in Fig. 2 gezeigten System geeignet ist.
- Fig. 8 ist ein Blockdiagramm einer Korrekturvorrichtung für Trajektorien, welche zur Verwendung mit den auf Pixeln basierenden Trajektorien- Korrektursystemen, wie in den Fig. 7a und 7b gezeigt, geeignet ist.
- Fig. 9 ist ein Diagramm eines Blocks von Pixeln bzw. Bildelementen, welches zum Beschreiben der Arbeitsweise des auf Pixeln basierenden Bewegungsblock-Trajektorien-Korrektur-Systems, wie in den Fig. 7a und 7b gezeigt, nützlich ist.
- Fig. 10 ist ein Diagramm von Pixel-Positionen über der Vollbild-Nummer bzw. -Anzahl, welches zum Beschreiben der Arbeitsweise des auf Pixeln basierenden Bewegungsblock-Trajektorien-Korrektursystems, wie in den Fig. 7a und 7b gezeigt, nützlich ist.
- Fig. 11 ist ein Blockdiagramm einer Berechnungsvorrichtung für eine Summe von gewichteten quadratischen Fehlern, welche zur Verwendung mit der Korrekturvorrichtung für die Trajektorie, wie in Fig. 8 gezeigt, geeignet ist.
- Fig. 12 ist ein Diagramm von Pixel-Positionen über der Vollbild-Nummer bzw. -Anzahl, welches die Bewegungsblock-Trajektorien-Korrektur veranschaulicht, mit einer Ausreißer-Zurückweisung (outlier rejection) gemäß einer beispielhaften Ausführungsform der vorliegenden Erfin dung.
- Fig. 13 ist ein Blockdiagramm, welches eine Ausreißer-Zurückweisungs-Vorrichtung veranschaulicht, welche zur Verwendung in dem in Fig. 2 gezeigten System geeignet ist.
- Fig. 14 ist ein Blockdiagramm eines Schaltkreises zum Erhalten eines im Rauschen verringerten Bildes entlang einer Trajektorie, welcher für die Verwendung mit dem in Fig. 2 gezeigten System geeignet ist.
- Fig. 15 ist ein Blockdiagramm eines Schaltkreises zum Durchführen einer Abbruch-Erkennung (breakdown detection), welche zur Verwendung mit dem in Fig. 2 gezeigten System geeignet ist.
- Fig. 16 ist ein Blockdiagramm einer Berechnungsvorrichtung für die quadratische Differenz, welche zur Verwendung mit dem in Fig. 15 gezeigten Schaltkreis für die Abbruch-Erkennung geeignet ist.
- Fig. 17 ist ein Blockdiagramm, welches eine Berechnungsvorrichtung für einen Medianwert bzw. Mittelwert einer quadratischen Differenz veranschaulicht, welche zur Verwendung bei dem in Fig. 15 gezeigten Schaltkreis für die Abbruch-Erkennung geeignet ist.
- Fig. 1 veranschaulicht ein System zur Verringerung von Rauschen gemäß der vorliegenden Erfindung, welches in Verbindung mit einem MPEG Videosignal-Kodierungssystem verwendet wird. Bei dieser Anordnung empfängt das System 100 zur Verringerung von Rauschen ein Eingabesignal und verarbeitet dieses, welches dann zu dem MPEG Kodierungs-System 102 übertragen wird. Das MPEG Kodierungs- System 102 ist von dem Typ, der zum Beispiel in zwei Aufsätzen von A. Puri u. a. beschrieben wurde mit den Titeln "On Comparing Motion-Interpolations Structures for Video Coding", Spie Band 1360, Visual Communications and Image Processing, 1990, Seiten 1560-1569 und "Video Coding with Motion-Compensated Interpolation for CD-ROM Applications", Signal Processing: Image Communication II, (1990) Seiten 127-144.
- Wie in diesen Aufsätzen beschrieben, verwendet das MPEG Datenkompressionsystem beides: intra-frame bzw. selbstkodierende und inter-frame bzw. zwischen Vollbildern kodierende Techniken. Die inter-frame Kodierung ist bewegungskompensiert. Das bedeutet, diese folgt einer Blockbewegung zwischen den Vollbildern, um eine zeitliche Redundanz vorteilhaft zu nutzen, da diese sukzessive bzw. aufeinanderfolgende Vollbilder kodiert. Bei einem herkömmlichem MPEG Kodierer wird eine Block-Bewegung durch Bewegungsvektoren dargestellt, welche in dem Kodierer bestimmt bzw. festgelegt werden.
- Die vorliegende Erfindung erzeugt auch Bewegungsvektoren, MV und CMV, als einen Teil ihres Kodiervorganges.
- Wie nachfolgend beschrieben, können diese Bewegungsvektoren dem MPEG Kodierer zur Verfügung gestellt werden, um bei der Kodierung des im Rauschen verringerten Bildes zu unterstützen.
- Eine beispielhafte Ausführungsform des Systems 100 zur Verringerung von Rauschen ist durch ein in Fig. 2 gezeigtes Blockdiagramm veranschaulicht. Das Eingabesignal für dieses System zur Verringerung des Rauschens ist das aktuelle Vollbild (k) und zwei Sätze von L benachbarten Vollbildern, nämlich die L Vollbilder, welche vor dem aktuellen Vollbild gezeigt bzw. dargestellt werden sollen, und die L Vollbilder, welche nach dem aktuellen Vollbild dargestellt werden sollen (d. h. k - L, k - (L -1), ..., k - 1, k, k + 1, ..., k + (L - 1), k + L, für eine Gesamtanzahl von 2L + 1 Vollbilder).
- Bei der beispielhaften Ausführungsform der Erfindung werden die Vollbilder in den jeweiligen Vollbild-Speichern gespeichert (Kollektiv als ein Speicher 15 gezeigt) und werden an die auf Blöcken basierende Bewegungsschätzvorrichtung 20, dem auf Pixeln basierenden Trajektorien-Korrekturschaltkreis 30, den Schaltkreis 50, welcher das im Rauschen verringerte Bild entlang der korrigierten Trajektorie erhält, und an die Berechnungsvorrichtung 70 zur Glättung (smoothness) des Bildes angelegt. Die Bewegungsschätzvorrichtung 20 ist für aufeinanderfolgende Blöcke von zum Beispiel 5 · 5 Pixel innerhalb des aktuellen Vollbildes (k) vorgesehen, welche als die Bewe gungsblöcke verwendet werden sollen. Die Verarbeitungsschritte, welche nachfolgend beschrieben werden, sind nur für einen Bewegungsblock. Diese Schritte werden für jeden Bewegungsblock in dem Vollbild k wiederholt, und dann schreitet die Vollbildposition von jedem der 2L + 1 Vollbilder so fort, daß das Vollbild k zu dem Vollbild k + 1 wird, und das Vollbild k - 1 wird das Vollbild k.
- Obwohl der identifizierte bzw. bestimmte Bewegungsblock in mindestens einigen der Vollbilder vorkommen kann, welche benachbart zu dem aktuellen Vollbild (k) sind, kann der identifizierte bzw. bestimmte Bewegungsblock auch nicht immer bei der gleichen Koordinaten-Position in jedem Vollbild vorliegen. Demzufolge bestimmt die Bewegungsschätzvorrichtung 20 einen Bewegungsvektor, MV, für den identifizierten Bewegungsblock. Dieser Bewegungsvektor zeigt eine geschätzte Geschwindigkeit und Trajektorie eines Bewegungsblockes entlang einer Folge von Video-Vollbildern an. Der Bewegungsvektor kann als bzw. durch eine lineare Funktion, oder irgendeine Anzahl von nicht-linearen Funktionen, des Abstandes entlang bzw. von den X-, Y- Achsen von Vollbild zu Vollbild definiert werden. Bei der beispielhaften Ausführungsform der Erfindung wird ein linearer Bewegungsvektor verwendet. Diese Art eines Bewegungsvektors erzeugt bzw. ergibt einen relativ guten Schätzwert für Bildbestandteile, welche sich durch Translation bzw. Verschiebung bei einer festen Geschwindigkeit bewegen. Wie in Fig. 2 gezeigt, kann dieser Bewegungsvektor durch die Bewegungsschätzvorrichtung 20 bei dem bzw. für den MPEG Kodierer 102 zur Verfügung gestellt werden.
- Jeder Bewegungsvektor wird dann zu der Korrekturvorrichtung 30 für eine auf Pixeln basierende Trajektorie übermittelt. Die Trajektorien-Korrekturvorrichtung 30 bestimmt eine überarbeitete (revised) Trajektorie, CMV, von Vollbild zu Vollbild für die Pixel in dem Bewegungsblock. Diese überarbeitete Trajektorie wird als eine Mehrzahl von Verschiebungen bezüglich des bzw. von dem ursprünglichen Bewegungsvektor ausgedrückt. Diese Mehrzahl von korrigierten Verschiebungen wird erzeugt durch Durchführen einer lokalisierten bzw. räumlich beschränkten Suche um die Position des Trajektorien-korrigierten Bewegungsblockes zwischen jedem Paar von aufeinanderfolgenden Video-Vollbildern. Die auf Pixeln basierende Korrektur erzeugt Bewegungsschätzwerte, welche genauer sind als der beispielhafte lineare Bewegungsvektor, wenn das Objekt eine nicht-lineare Bewegung, Beschleunigung oder eine nicht-translatorische Bewegung, wie zum Beispiel eine Drehung, aufweist. Die korrigierten Verschiebungen bzw. Versetzungen, CMV, welche von der auf Pixel basierenden Trajektorien-Korrekturvorrichtung erzeugt wurden, können dem MPEG Kodierer zur Verwendung beim Bestimmen von inter-frame Bewegungsvektoren zur Verfügung gestellt werden, wie in Fig. 1 gezeigt.
- Die korrigierten Verschiebungen werden einer Zurückweisungsvorrichtung 40 für Ausreißer (Werte) bzw. außerhalb eines Bereichs liegenden Werte (outlier rejector) zugeführt. Die Zurückweisungsvorrichtung für Ausreißer 40 berechnet eine gewichtete Summe eines abgeglichenen bzw. verringerten quadratischen Wertes (trimmed square value) für jedes Pixel in dem Bewegungsblock. Eine Funktion von jedem gewichteten abgeglichenen quadratischen Wert wird mit einem Grenzwert verglichen, um zu bestimmen, ob ein im Rauschen verringerter Wert für das Pixel berechnet werden sollte und in bzw. bei einem im Rauschen verringerten Video-Vollbild verwendet werden sollte. Dieses System-Element kompensiert Vollbilder in der Bild- Sequenz bzw. Bild-Abfolge, bei welcher der Block zeitweise bzw. temporär maskiert bzw. ausgeblendet sein kann. Zum Beispiel, wenn der Bild-Block einen Vogel darstellt und in der Bild-Sequenz ein Zweig eines Baumes zeitweise den Vogel überdeckt bzw. abschirmt.
- Für jedes Pixel, welches als geeignet zur Verwendung in einem im Rauschen verringerten Video-Vollbild identifiziert bzw. bestimmt ist, wird ein entsprechender Geschwindigkeitsvektor zu der Berechnungsvorrichtung 50 für im Rauschen verringerte Pixel bzw. Bildelemente übertragen. Die Berechnungsvorrichtung 50 erhält eine Mehrzahl von Adressen, welche den Pixeln in dem Bewegungsblock entlang der Mehrzahl der korrigierten Verschiebungen entsprechen. Die Berechnungsvorrichtung greift dann auf die geeigneten Pixel von den geeigneten Vollbildern zu, um einen gemittelten Pixel-Wert für das aktuelle Vollbild zu erzeugen.
- Der gemittelte Pixel-Wert wird dann von einer Erkennungsvorrichtung 60 für den Abbruch der Verringerung des Rauschens empfangen. Der Abbruch-Detektor 60 unterbindet bzw. stoppt das Ersetzen von Pixeln in dem aktuellen Vollbild (k) durch die berechneten im Rauschen verringerten Pixel, wenn die Differenz zwischen dem im Rauschen verringerten Pixel-Wert und dem Pixel-Wert, welcher ersetzt werden soll, um einen Grenzwert-Faktor größer ist, als die Mittelwert- bzw. Median-Differenz in dem Bewegungsblock. Wenn dieser Zustand detektiert bzw. erkannt wird, wird angenommen, daß dieser anzeigt, daß die Trajektorien-Schätzung und die Korrektur unzutreffend korreliertes Rauschen in dem Bild und nicht eine gültige Bildinformation erkannt hat.
- Wie oben beschrieben, werden zwei Grenzwerte, Tc und Tb, bei der vorliegenden Erfindung verwendet. Tc wird verwendet, um zu bestimmen, ob einzelne Vollbilder aus der Berechnung von korrigierten Verschiebungen von dem Block 40 ausgelassen werden sollen; Td wird verwendet, um zu bestimmen, ob der im Rauschen verringerte Pixel-Wert den ursprünglichen Pixel-Wert ersetzen sollte. Diese Grenzwerte werden von dem Schaltkreis 80 zur Verfügung gestellt, welcher kontinuierlich die Grenzwerte einstellt bzw. abgleicht, in Abhängigkeit von dem Ausgabe-Signal, welches von einer Bild-Glättungs-Berechnungsvorrichtung 70 zur Verfügung gestellt wird.
- Bei der beispielhaften Ausführungsform der Erfindung überwacht die Berechnungsvorrichtung 70 Blöcke mit Bildelementen und stellt die Grenzwerte Tc und Td ein, in Abhängigkeit von dem räumlichen Frequenzanteil der Blöcke der Bildelement- Pixel. Diese Messung wird allgemein als eine Wechselstrom- (AC) Energie bezeichnet. Bei der beispielhaften Ausführungsform der Erfindung sind die Werte der Grenzwerte Tc und Td umgekehrt proportional zu der Rauhigkeit bzw. Welligkeit (roughness) des Bildes. Für geglättete (smooth) Bilder, das heißt, solche, welche eine relativ kleine Veränderung bzw. Variation von Pixel zu Pixel zeigen, sind die Werte von Tc und Td relativ groß. Für rauhe (rough) Bilder, welche eine größere Veränderung bzw. Abwechslung aufweisen, sind die Werte von Tc und Td relativ klein.
- Fig. 4 ist ein Blockdiagramm einer beispielhaften auf Blöcken basierenden Bewe gungsschätzvorrichtung 20. Wie in Fig. 4 gezeigt, wird ein Bewegungsblock-Wandler bzw. -Konverter 22 gekoppelt bzw. verschaltet, um den aktuellen Bewegungsblock von Pixeln aus dem aktuellen Vollbild k zu extrahieren bzw. auszusondern. Die Bewegungsblock-Umwandlungsvorrichtung (converter) 22 unterteilt das Vollbild k in eine Mehrzahl von bestimmten bzw. einzelnen Blöcken, wobei jeder davon sukzessiv bzw. aufeinanderfolgend als der aktuelle Bewegungsblock ausgewählt wird. Die Pixel-Werte des aktuellen Bewegungsblockes werden dann übertragen, zusammen mit der Koordinaten-Stelle des aktuellen Bewegungsblockes in dem aktuellen Vollbild, und einem Satz von jeweils verschiedenen Versuchs- (trial) Geschwindigkeitsvektoren v1 bis vm, zu einer Mehrzahl von Blöcken 24a bis 24z, welche eine robuste bzw. stabile Schätzfunktion ausführen bzw. durchführen. Bei der beispielhaften Ausführungsform der Erfindung sind die Berechnungsvorrichtungen für den abgeglichenen bzw. verringerten (trimmed) quadratischen Fehler 24a bis 24z. Es wird angemerkt, daß jede Anzahl von robusten bzw. stabilen Schätzvorrichtungen, wie zum Beispiel Berechnungsvorrichtungen für einen Median- bzw. mittleren Fehler die Berechnungsvorrichtungen für den abgeglichenen bzw. verringerten quadratischen Fehler ersetzen könnten.
- Die in Fig. 4 gezeigte auf Blöcken basierende Bewegungs-Schätzvorrichtung wählt denjenigen dieser Versuchs-Geschwindigkeitsvektoren, welcher den kleinsten abgeglichenen bzw. verringerten quadratischen Fehler erzeugt, als den geschätzten Trajektorien-Vektor aus.
- Die Versuchs-Geschwindigkeitsvektoren v1 bis vm können zum Beispiel durch einen Nur-Lese-Speicher (nicht gezeigt) erzeugt werden, welcher einen Satz von interframe Verschiebungen zur Verfügung stellt, welche jedes Pixel in dem Bewegungsblock auf einen Satz von entsprechenden Pixeln oder Zwischen-Pixel-Positionen in den Vollbildern entlang des Geschwindigkeitsvektors abbilden (map). Bei der beispielhaften Ausführungsform der Erfindung definiert der Satz der Pixel-Positionen für alle Geschwindigkeits-Vektoren in allen Vollbildern einen ungefähr kegelförmigen Suchbereich für den Geschwindigkeitsvektor, welcher am besten mit dem Pfad bzw. der Bewegungslinie des Bewegungsblockes durch die anderen Vollbilder über einstimmt bzw. paßt.
- Eine beispielhafte Berechnungsvorrichtung für einen abgeglichenen bzw. verringerten quadratischen Fehler, welche zur Verwendung als eine der Berechnungsvorrichtungen 24a bis 24z geeignet ist, ist in Fig. 5 gezeigt. Wie in Fig. 5 veranschaulicht, enthält die Berechnungsvorrichtung für den abgeglichenen bzw. verringerten quadratischen Fehler eine Mehrzahl von Berechnungsvorrichtungen 200a bis 200z einer Summe eines quadratischen Fehlers, wobei jede davon die Pixel-Werte für den aktuellen Bewegungsblock und den zugeordneten Versuchs-Geschwindigkeitsvektor empfängt.
- Wie nachfolgend beschrieben, ist jede der Berechnungsvorrichtungen 200a bis 200z mit jeweils einem verschiedenen der 2L Vollbild-Speicher (nicht gezeigt) gekoppelt bzw. verschaltet, welche die Vollbilder einer Videoinformation speichern, welche verwendet werden, um im Rauschen verringerte Daten für das aktuelle Vollbild zu erzeugen. Wie nachfolgend unter Bezugnahme auf Fig. 6 beschrieben, stellt jede Berechnungsvorrichtung Adressenwerte für ihren jeweiligen Vollbild-Speicher zur Verfügung und empfängt, von dem Vollbild-Speicher, Datenwerte, welche bei den adressierten Stellen gespeichert sind. Jede Berechnungsvorrichtung 200 für die Summe des quadratischen Fehlers bestimmt, welche Bildelemente bzw. Pixel von dem zugeordneten Vollbild-Speicher geholt bzw. empfangen werden sollen, in Abhängigkeit davon, um wieviele Pixel-Positionen der Zielblock bezüglich des aktuellen Bewegungsblocks entlang des Geschwindigkeitsvektors verschoben bzw. versetzt ist.
- Die Pixel-Verschiebung basiert auf dem empfangenen Geschwindigkeitsvektor und dem Abstand zwischen dem aktuellen Vollbild (k) und dem Zielvollbild (1), welchem die eigene bzw. bestimmte Berechnungsvorrichtung 200 für die Summe des quadratischen Fehlers zugeordnet ist. Bei der beispielhaften Ausführungsform der Erfindung wird diese Pixel-Verschiebung berechnet durch die Multiplikation des Geschwindigkeitsvektors mit einer Größe bzw. Menge, welche gleich der Differenz zwischen der Anzahl der Vollbilder des aktuellen und den Ziel-Vollbildes ist.
- Die Werte der Summe der quadratischen Fehler für einen Block von Pixel-Werten in einem Vollbild 1 entlang der Trajektorie, welche durch den angewendeten Geschwindigkeitsvektor definiert ist, kann auch in Übereinstimmung mit Gleichung (1) ausgedrückt werden:
- wobei Il(pij) die Intensität des Vollbildes 1 bei der Pixel-Position pij ist, M ist der Satz der Pixel-Positionen in dem Bewegungsblock, pij (l) ist eine Pixel-Position in dem Vollbild l, genommen entlang des Geschwindigkeitsvektors v, relativ zu dem entsprechenden Pixel-Wert pij (k) von dem aktuellen Vollbild k, in Übereinstimmung mit Gleichung (2).
- pij(l) = pij(k) + v · (l - k) (2)
- Jede der Berechnungsvorrichtungen 200a bis 200z der Summe des quadratischen Fehlers berechnet einen SSE-Wert für den jeweiligen zugeordneten Vollbild-Speicher, in Abhängigkeit von dem Geschwindigkeitsvektor v.
- Fig. 6 ist ein Blockdiagramm eines beispielhaften Schaltkreises, welcher Gleichung (1) implementiert, und ist somit zur Verwendung als eine der Berechnungsvorrichtungen 200a bis 200z für die Summe des bzw. der quadratischen Fehler geeignet, wie in Fig. 5 gezeigt. Wie in Fig. 6 gezeigt, werden die Geschwindigkeit v und die Vollbild-Nummer bzw. -Anzahl (l) des Ziel-Vollbild-Puffers von der Trajektorien-Berechnungsvorrichtung 204 empfangen. Die Trajektorien-Berechnungsvorrichtung 204 bestimmt eine Pixel-Verschiebung, relativ bzw. im Verhältnis zu dem aktuellen Bewegungsblock unter Verwendung von Gleichung (2). Diese Verschiebung wird an den Wandler bzw. Konverter 202 für den Bewegungsblock angelegt, welcher diese verwendet, und die Stelle des aktuellen Bewegungsblockes in dem aktuellen Vollbild (k), um die Stelle eines geeigneten Blockes von Pixeln bzw. Bildelementen in dem Vollbild l entlang des Geschwindigkeitsvektors v zu bestimmen.
- Der Konverter bzw. Wandler 202 für den Bewegungsblock kombiniert die Pixel-Verschiebung mit der aktuellen Bewegungsblock-Anzahl bzw. -Nummer, um eine abschließende Adresse zu erhalten. Diese Adresse wird verwendet, um den Zielblock der Pixel-Datenwerte von dem Vollbild-Puffer 1 zu erhalten bzw. abzugreifen. Die einzelnen Pixel-Werte in diesem Ziel-Block werden von den entsprechenden Pixel- Werten in dem aktuellen Bewegungsblock unter Verwendung eines Subtrahierers 206 subtrahiert. Demzufolge sind die Ausgabewerte, welche von dem Subtrahierer 206 erzeugt werden, ein Block von Pixel-Differenzen oder Pixel-Fehlerwerten. Dieser Block der Differenzwerte wird an eine Berechnungsvorrichtung 208 für eine Summe der Quadrate angelegt. Die Berechnungsvorrichtung 208 für die Summe der Quadrate erzeugt die Summe des quadratischen Fehlerwerts (SSE) durch Quadrieren von jedem der Differenz-Werte in dem Block, und anschließendem Aufaddieren der Ergebnisse.
- Bezugnehmend auf Fig. 5 werden die 2L + 1 SSE Werte, welche von den Berechnungsvorrichtungen 200a bis 200z zur Verfügung gestellt werden, in aufsteigender Reihenfolge sortiert, von dem kleinsten zu dem größten, durch eine Sortiereinheit 260. Ein Summier-Schaltkreis 270 summiert dann die L kleinsten Werte, um den abgeglichenen bzw. verringerten quadratischen Fehlerwert für den Geschwindigkeitsvektor vn zu erzeugen. Bezugnehmend auf Fig. 4 legt jede der Berechnungsvorrichtungen 24a bis 24z für den abgeglichenen bzw. verringerten quadratischen Fehler den berechneten verringerten bzw. abgeglichenen quadratischen Fehlerwert für den jeweils zugeordneten Geschwindigkeitsvektor v1 bis vm an einen Schaltkreis 28 an, welcher den minimalen abgeglichenen bzw. verringerten (trimmed) quadratischen Fehlerwert auswählt, um diesen als den geschätzten Bewegungsvektor v' durch- bzw. weiterzugeben. Der Vektor v' kann auch dem MPEG Kodierer 102 (in Fig. 1 gezeigt) als der Bewegungsvektor MV zur Verfügung gestellt werden.
- Bezugnehmend auf Fig. 2 wird der geschätzte Bewegungsvektor v', welcher von der auf Blöcken bzw. einem Block basierenden Bewegungsschätzvorrichtung 20 erzeugt wird, von der auf Pixel basierenden Trajektorien-Korrekturvorrichtung 30 empfangen. Die Trajektorien-Korrekturvorrichtung 30 ist auch mit dem Speicher 15 gekoppelt, welcher den aktuellen Vollbild-Speicher k und die 2L Nachbar-Vollbild- Speicher enthält.
- Die Arbeitsweise des auf Pixel basierenden Trajektorien-Korrektur-Schaltkreises 30 ist unter Bezugnahme auf die Fig. 7a und 7b veranschaulicht. Wie in diesen Figuren gezeigt, umfaßt die auf Pixel basierende Trajektorien-Korrekturvorrichtung 30 eine Mehrzahl von Vorwärts-Trajektorien-Korrekturvorrichtungen 32a bis 32z, und eine Mehrzahl von Rückwärts-Trajektorien-Korrekturvorrichtungen 34a bis 34z. Alle der Trajektorien-Korrekturvorrichtungen 32a bis 32z und 34a bis 34z empfangen als ein Eingabesignal eine Anzeige bzw. ein Kennzeichen der Position des aktuellen Bewegungsblocks in dem aktuellen Vollbild (k). Die Trajektorien-Korrekturvorrichtung 32a empfängt, bei ihrem Eingabe-Anschluß δsn, den geschätzten Bewegungsvektor v', welcher von der auf Blöcken basierenden Bewegungsschätzvorrichtung 20 erzeugt wird. Jede Trajektorien-Korrekturvorrichtung 32b bis 32z empfängt von der vorangehenden Trajektorien-Korrekturvorrichtung einen korrigierten Bewegungsvektor bei ihrem äste Anschluß. Des weiteren ist jede Trajektorien-Korrekturvorrichtung mit jeweils einem der Vollbild-Puffer gekoppelt bzw. verschaltet, welche die Bilddaten speichern, welche nach dem aktuellen Vollbild dargestellt bzw. angezeigt werden sollen (d. h. die Vollbild-Puffer k + l bis k + L).
- Die Trajektorien-Korrekturvorrichtungen 34a bis 34z sind ähnlich zu den Trajektorien-Korrekturvorrichtungen 32a bis 32z. Jedoch sind die Trajektorien-Korrekturvorrichtungen 34a bis 34z mit den Vollbild-Puffern gekoppelt bzw. verschaltet, welche Bilddaten speichern, welche zeitlich vor dem aktuellen Vollbild angezeigt bzw. dargestellt werden (d. h. die Vollbild-Puffer k - l bis k - L). Zusätzlich empfängt die Trajektorien-Korrekturvorrichtung 34a bei ihrem Eingabeanschluß δsn den Negativ-Wert des geschätzten Bewegungsvektors v', welcher von der auf Blöcken basierenden Bewegungsschätzvorrichtung 20 erzeugt wird.
- Wie nachfolgend beschrieben, erzeugt jede der Trajektorien-Korrekturvorrichtungen 32a bis 32z und 34a bis 34z einen Wert der gewichteten Summe von quadratischen Fehlern (WSSE), welcher von dem Ausreißer (Wert) -Zurückweisungs- (outlier rejection) Schaltkreis verwendet wird, wie nachfolgend unter Bezugnahme auf Fig. 13 beschrieben.
- Eine Trajektorien-Korrekturvorrichtung, welche zur Verwendung als eine der Trajektorien-Korrekturvorrichtungen 32 oder 34 geeignet ist, ist in Fig. 8 gezeigt. In dieser Figur ist ein Bewegungsblock-Wandler (converter) 302 mit dem Puffer für das aktuelle Vollbild verschaltet, um einen aktuellen Block von Pixeln zu extrahieren bzw. auszusondern, welcher verwendet werden wird, um die korrigierte Trajektorie zu bestimmen.
- Bezugnehmend auf die Fig. 8 und 2 kann der aktuelle Block, welcher von den Trajektorien-Korrekturvorrichtungen 32 verwendet wird, von dem aktuellen Block verschieden sein, welcher von der Bewegungsblock-Schätzvorrichtung 20 verwendet wird. Wenn diese Blöcke verschieden sind, kann das in Fig. 2 gezeigte Verfahren als ein Pipeline- bzw. Fließband-Verfahren implementiert werden. Wenn der Bewegungsblock, welcher von dem Trajektorien-Korrektur-Schaltkreis 30 verwendet wird, von demjenigen verschieden ist, welcher von dem Bewegungs-Schätz-Schaltkreis 20 verwendet wird, erhält der Trajektorien-Korrektur-Schaltkreis 30 auch den geschätzten Bewegungsvektor für den aktuellen Block aus dem aktuellen Vollbild- Puffer.
- Die Pixelwerte für den aktuellen Bewegungsblock werden von dem Bewegungsblock- Wandler 302 einer Mehrzahl von Berechnungsvorrichtungen 304a bis 304z für die Summe des gewichteten quadratischen Fehlers zur Verfügung gestellt. Zusätzlich empfängt jede Berechnungsvorrichtung 304a bis 304z für die Summe des gewichteten quadratischen Fehlers einen jeweiligen korrigierten Versuchs-Bewegungsvektor. Jeder dieser korrigierten Test- bzw. Versuchs- (trial) Bewegungsvektoren wird durch Addieren einer jeweils unterschiedlichen Verschiebung, (δsl)i zu dem Bewegungsvektor ausgebildet, welcher an den δsn Eingabe-Anschluß der Trajektorien-Korrekturvorrichtung angelegt wurde.
- Die verschiedenen Verschiebungs-Werte {(δsl)i i = 1 bis m} können zum Beispiel von einem Nur-Lese-Speicher (nicht gezeigt) zur Verfügung gestellt werden. Bei der beispielhaften Ausführungsform der Erfindung definieren diese Verschiebungs-Werte einen Suchbereich in dem nächsten nachfolgenden Vollbild, welcher verwendet wird, um die Pixel bzw. Bildelemente zu finden, einschließlich der interpolierten Pixel, welche am besten bzw. nächsten die entsprechenden Pixel in dem aktuellen Vollbild annähern bzw. dazu passen, wie durch die Berechnungsvorrichtung für den gewichteten quadratischen Fehler bestimmt.
- Jede Berechnungsvorrichtung 304a bis 304z für die Summe des gewichteten quadratischen Fehlers verwendet diese Information, um einen Block von Pixel aus dem jeweils zugeordneten Vollbild-Speicher zu extrahieren bzw. auszusondern, wie durch die Fig. 7a und 7b angezeigt. Jede dieser Berechnungsvorrichtungen 304a bis 304z führt dann eine Berechnung der Summe des bzw. der gewichteten quadratischen Fehler durch, bei den zwei Blöcken der Pixel-Daten in Übereinstimmung mit Gleichung 3:
- wobei pi, j eine Pixel-Adresse bei den Koordinaten x = i und y = j ist; W ist ein Fenster von N mal M Pixel-Positionen, welche in dem Ziel-Vollbild, 1, abgesucht wird; n und m sind die jeweiligen Pixel-Positionen in den N- und M-Richtungen in dem Fenster; wm, n ist ein Gewichtungsfaktor, welcher bei der Fenster-Position m, n angelegt werden soll; I(pi, j) ist die Intensität des Bildes bei der Pixelposition pi , j und k ist die Vollbild-Nummer bzw. -Anzahl des aktuellen Vollbildes.
- Fig. 11 ist ein Blockdiagramm einer beispielhaften Berechnungsvorrichtung 304 für die Summe eines gewichteten quadratischen Fehlers, welche den WSSE in Übereinstimmung mit Gleichung (3) berechnet. Wie in Fig. 11 gezeigt, wird der aktuelle Verschiebungsvektor, δsn, von der Trajektorien-Berechnungsvorrichtung 312 empfangen. Die Trajektorien-Berechnungsvorrichtung 312 verwendet diesen Verschiebungsvektor, um eine entsprechende Pixel-Adresse in dem Vollbild-Puffer 1 (nicht gezeigt) zu bestimmen, mit welchem die Berechnungsvorrichtung 304 für die Summe des bzw. der gewichteten quadratischen Fehler gekoppelt bzw. verschaltet ist. Diese Pixel-Adresse wird wiederum dem Bewegungsblock-Wandler (converter) 310 zur Verfügung gestellt. Der Bewegungsblock-Wandler 310 greift auf den Vollbild-Puffer 1 mit diesem Adressen-Wert zu, um einen Block von Pixel-Daten-Werten zu erhalten. Dieser Block der Pixelwerte stellt eine mögliche korrigierte Trajektorie für den Bewegungsvektor dar, welcher bei dem Eingabeanschluß der Trajektorien-Korrekturvorrichtung 32 oder 34 angelegt wurde.
- Die Pixel-Werte, welche von dem Block-Konverter 310 zur Verfügung gestellt werden, werden von den Pixel-Werten des aktuellen Blocks durch den Subtrahierer 316 subtrahiert. Der erhaltene Block der Pixel-Differenz-Werte wird einer Berechnungsvorrichtung 314 für eine Summe des bzw. der gewichteten quadratischen Fehler zur Verfügung gestellt. Die Berechnungsvorrichtung 314 für die Summe der gewichteten quadratischen Fehler ist auch so verschaltet, um Gewichtungs-Werte zu empfangen, welche zum Beispiel von einem Nur-Lese-Speicher (ROM) (nicht gezeigt) zur Verfügung gestellt werden. Die Gewichtungs-Werte legen verschiedene Gewichte an Pixel bzw. Bildelemente in den verglichenen Blöcken an, basierend auf dem relativen Abstand der Pixel von dem zentralen bzw. Mittel-Pixel in dem Block. Ein beispielhafter Block von Pixel-Gewichtungs-Werten ist in Fig. 9 gezeigt.
- Bezugnehmend auf Fig. 8 werden die Summe der gewichteten quadratischen Fehler- Signale, welche erzeugt werden (wie in Fig. 11 veranschaulicht) von allen Berechnungsvorrichtungen 304a bis 304z für die Summe der gewichteten quadratischen Fehler an ein Auswahl-Element 306 angelegt. Das Element 306 bestimmt, welche der korrigierten Versuch-Trajektorien den kleinsten Wert aufweist. Das Ausgabesignal des Auswahlelements 306 ist ein Wert, welcher anzeigt, welche der korrigierten Versuchs-Trajektorien diesen minimalen Wert erzeugte.
- Dieser Wert wird an das Element 308 angelegt, welches auch verschaltet ist, um den nicht korrigierten Trajektorien-Wert, δsn, zu empfangen. Das Element 308 modifiziert bzw. verändert die Trajektorie δsn, so daß diese ein Wert δsn' wird, die gleiche korrigierte Trajektorie, die verwendet wurde, um den minimalen Fehlerwert zu er zeugen. Dieser Wert wird als die korrigierte Trajektorie an die Trajektorien-Korrekturvorrichtung für den 1 + 1-ten Vollbild-Puffer angelegt. Der korrigierte Trajektorien-Wert δsn' kann auch dem MPEG Kodierer 102 (in Fig. 1 gezeigt) als der korrigierte Bewegungsvektor CMV zur Verfügung gestellt werden. Das Signal CMV würde von dem Kodierer 102 verwendet werden, um einen Bewegungsvektor zu bestimmen, welcher verwendet wird, um einen Block zu kodieren, welcher um die Pixel-Position zentriert bzw. angeordnet ist, für welche das CMV-Signal berechnet wurde.
- Wie in Fig. 2 gezeigt, wird jede der korrigierten Trajektorien von dem auf Pixel basierenden Trajektorien-Korrektur-Schaltkreis 30 an den Ausreißer (Wert) -Zurückweisungs-Schaltkreis 40 übertragen. Ein beispielhafter Ausreißer (Wert) -Zurückweisungs-Schaltkreis 40 ist in Fig. 13 gezeigt.
- Wie in Fig. 13 gezeigt, wird die korrigierte Trajektorie, welche von dem Element 306 der auf Pixel basierenden Trajektorien-Korrekturvorrichtung 30 erzeugt wird, von dem arithmetischen Element 44 des Ausreißer (Wert) -Zurückweisungs-Schaltkreises 40 empfangen. Zusätzlich empfängt eine Berechnungsvorrichtung 42 für ein gewichtetes abgeglichenes Quadrat Pixel-Werte, welche den aktuellen Bewegungsblock, die 2L Verschiebungen (δsn'), welche von dem auf Pixel basierenden Trajektorien-Korrektur-Schaltkreis 30 erzeugt wurden, und die Pixel-Werte, welche definiert wurden durch diese korrigierten Trajektorien für die 2L benachbarten Vollbilder, definieren. Diese Information wird von der Berechnungsvorrichtung 42 für die gewichteten abgeglichenen Quadrate verwendet, um einen gewichteten abgeglichenen quadratischen Wert, WTS, für das Pixel in Übereinstimmung mit Gleichung (4) zu berechnen.
- wobei (WSSE)1:2 L ≤ (WSSE)2:2 L ≤ ... ≤ (WSSE)&sub2; L:2 L. Bei dieser Gleichung ist WSSE die gewichtete Summe der quadratischen Fehler, welche in Übereinstimmung mit Gleichung (3) berechnet wurden. Dies kann durch einen getrennten Schaltkreis ähnlich zu dem in Fig. 5 gezeigten durchgeführt werden, außer daß die WSSE-Berechnungsvorrichtungen die WSSE-Berechnungsvorrichtungen 200a bis 200z ersetzen. Alternativ können die WSSE-Werte, welche von den einzelnen Trajektorien- Korrektur-Schaltkreisen 32 und 34 berechnet werden, an einen alternativen Schaltkreis, (zum Beispiel den Sortierer 260 von Fig. 5), welcher die WSSE-Werte in Abhängigkeit von deren Amplitude bzw. Größenordnung ordnet bzw. sortiert, und dann an einen Schaltkreis (zum Beispiel einen Addierer 270 von Fig. 5), welcher die L kleinsten Werte summiert, angelegt werden.
- Bezugnehmend auf Fig. 13 wird der Wert WTS dann von dem Element 44 empfangen. Das Element 44 vergleicht die gewichteten abgeglichenen Quadrate, welche von dem Element 42 empfangen wurden, und die korrigierte Trajektorie (die gewichtete Summe des quadratischen Fehlers der l-ten Trajektorie WSSEl), um einen Funktionswert Fl in Übereinstimmung mit Gleichung (5) zu berechnen:
- Bei der obigen Gleichung ist Tc der Zurückweisungs-Grenzwert für die Pixel-Trajektorien-Korrektur. Fl weist einen Wert von entweder 0 oder 1 auf, in Abhängigkeit davon, ob die Funktion größer oder kleiner als der Grenzwert Tc ist. Wie ausführlicher nachfolgend beschrieben, wenn das Verhältnis des WSSE-Werts, für das Pixel in dem l-ten Vollbild, zu dem Mittelwert des gewichteten abgeglichenen quadratischen Fehlers zum Abgleichen bzw. Anpassen (matching) der Pixel in dem anderen 2L-Vollbild-Wert größer ist als der Grenzwert Tc, wird das "passende" ("matching") Pixel von dem Vollbild 1 ignoriert, wenn der im Rauschen verringerte Pixel-Wert berechnet wird.
- Wie oben beschrieben, verwendet das Element 50 von Fig. 2 die Fl-Werte, welche von dem Element 44 erzeugt wurden, um ein im Rauschen verringertes Bild zu erzeugen. Dies wird zum Beispiel durchgeführt unter Verwendung eines Schaltkreises, wie zum Beispiel derjenige, welcher von dem beispielhaften Blockdiagramm, wie in Fig. 14 gezeigt, veranschaulicht wird.
- Für ein gegebenes Pixel in dem aktuellen Vollbild wird, wenn verschiedene Pixel- Werte von anderen Vollbildern, wobei die Pixel-Werte in Übereinstimmung mit bzw. Abhängigkeit von den korrigierten Trajektorien-Werten ausgewählt bzw. genommen wurden, akzeptiert bzw. angenommen wurden, nachdem diese von der Ausreißer (Wert) -Zurückweisungsvorrichtung 40 (d. h. Fl = 1) verarbeitet wurden, dann die Verringerung des Rauschens erreicht durch eine Mittelwertbildung von nur diesen angenommenen Pixel-Werten entlang der Trajektorie, wie in Gleichung (6) ausgeführt:
- Wobei Kij K der Satz der angenommenen Vollbilder für das Pixel pij (k) ist und Kij ist die Anzahl der Elemente des Satzes Kij.
- Insbesondere, wie in Fig. 14 gezeigt, stellen die Elemente bzw. Positionen 52a bis 52z jeweils einen Pixel-Wert für eine bestimmte Position Pij innerhalb eines bestimmte Vollbildes zur Verfügung. Demzufolge empfängt jede Position bzw. Element (item) 52a bis 52z eine bestimmte Vollbild-Nummer und eine bestimmte Position innerhalb dieses Vollbildes. In Abhängigkeit von den Ergebnissen der Ausreißer- (Wert) Zurückweisungsvorrichtung 40 (d. h. ob eine Null oder eine Eins für die Variable Fl erzeugt wird), werden einige der Intensitäten, I(pij), welche von den Positionen (items) 52a bis 52z erhalten wurden, zusammen addiert durch den Addierer 58. Demzufolge, wenn die Ausreißer-Zurückweisungsvorrichtung bestimmt, daß der Grenzwert Tc nicht überschritten wurde, wird ein Einheitswert für Fl als die Eingabe an die Multiplikatoren 56a bis 56z angelegt. Im Gegensatz hierzu, wenn die Ausreißer-Zurückweisungsvorrichtung 40 bestimmt, daß der Grenzwert überschritten wurde, dann wird ein Null-Wert für Fl an die Eingabe der Multiplikatoren 56a bis 56z angelegt. Demzufolge, wenn ein Einheitswert bei bzw. von dem Element 44 erzeugt wurde, wird die Intensität dieses Pixels von dem Addierer 58 empfangen. Der Addierer 54 summiert die Fl's, um einen Wert zu erzeugen, gleich der gesamten Anzahl der Pixel entlang der korrigierten Trajektorie, welche nicht als Ausreißer identifiziert bzw. ermittelt wurden. Dieser Wert wird als die Nenner- bwz. Divisor-Eingabe bei dem Teiler bzw. Dividierer 59 verwendet. Indem auch die Ausgabe des Addierers 58 als die Zähler-Eingabe an den Teiler bzw. Dividierer 59 angelegt wird, wird ein End-Pixelwert erhalten. Dieser im Rauschen verringerte Pixel-Wert wird von der Erkennungsvorrichtung 60 für einen Abbruch empfangen.
- Fig. 15 ist ein Blockdiagramm einer beispielhaften Erkennungsvorrichtung 60 für einen Abbruch (breakdown detector). Wie von Fig. 15 gezeigt, werden die Pixel- Werte, welche von dem Element 50 erzeugt wurden, und die Pixel-Werte von dem Original- (nicht im Rauschen verringerten) Vollbild von der Berechnungsvorrichtung 66 für die quadratische Differenz empfangen. Eine beispielhafte Berechnungsvorrichtung für die quadratische Differenz ist in Fig. 16 gezeigt.
- In Fig. 16 wird die Differenz zwischen dem ursprünglichen Pixel-Wert und dem im Rauschen verringerten Pixel-Wert durch einen Addierer 67 bestimmt. Die Ausgabe des Addierers 67 wird dann durch eine Quadrier-Funktion 68 quadriert. Wieder bezugnehmend auf Fig. 15 wird der Ausgabe-Wert, welcher von der Quadrier- Funktion 68 zur Verfügung gestellt wurde, der Wert sd, an eine arithmetische Einheit 64 angelegt. Des weiteren, wie in Fig. 15 gezeigt, wird ein Wert M, welcher von einer Berechnungsvorrichtung 62 für einen Median- bzw. Mittelwert einer quadratischen Differenz zur Verfügung gestellt wird, auch an die arithmetische Einheit 64 angelegt.
- Ein beispielhafter Schaltkreis, welcher zur Verwendung als die Berechnungsvorrichtung 62 für den Median- bzw. Mittelwert der quadratischen Differenz geeignet ist, ist in Fig. 17 gezeigt. In Fig. 17 empfängt ein Satz von Berechnungsvorrichtungen 63a bis 63z für die quadratische Differenz jeweils ein jeweiliges Pixel bzw. Bildelement des Original- bzw. Ursprungs-Vollbildes zusammen mit dem entsprechenden Pixel von dem im Rauschen verringerten Vollbild. Diese Berechnungsvorrichtungen 63a bis 63z der quadratischen bzw. quadrierten Differenz arbeiten identisch zu der Berechnungsvorrichtung 66 der quadratischen bzw. quadrierten Differenz, wie in Fig. 15 gezeigt. Der Ausgabe-Wert, welcher von jeder dieser Berechnungsvorrichtungen 63a bis 63z für die quadratische Differenz erzeugt wird, wird von einer Berechnungsvorrichtung 65 für den Median- bzw. Mittelwert empfangen. Die Berechnungsvorrichtung 65 für den Mittelwert bestimmt den Mittelwert bzw. Median M von allen der quadratischen Differenz-Werte, welche von den Berechnungsvorrichtungen 63a bis 63z für die quadratische Differenz zur Verfügung gestellt wurden. Während dieses als ein paralleler Vorgang gezeigt ist, wobei alle Pixel-Positionen in dem Bild gleichzeitig bzw. zusammen verglichen werden, wird festgestellt, daß die Arbeitsweise seriell oder mit einem verringerten Grad der Parallelität durchgeführt werden kann.
- Als nächstes wird, wie in Fig. 15 gezeigt, der Ausgangswert sd der Berechnungsvorrichtung 66 für die quadrierte Differenz geteilt durch den Ausgabewert M, welcher von der Berechnungsvorrichtung 62 für den Median- bzw. Mittelwert der quadratischen Differenz zur Verfügung gestellt wurde. Wenn das Ergebnis dieser Division kleiner oder gleich zu einem Abbruch- (breakdown) Grenzwert, Tb, ist, dann wird der im Rauschen verringerte Pixel-Wert als der End-Pixel-Wert verwendet. Sonst wird der ursprüngliche Pixel-Wert als der End-Pixel-Wert verwendet. Die Abbruch-Erkennung, wie oben ausgeführt, kann durch die Ungleichung (7) wie folgend zusammengefaßt werden:
- wobei pij die Pixel-Position ist, welche in dem aktuellen Vollbild k untersucht bzw. getestet wird, und wobei N der Satz von allen Pixeln bzw. Bildelementen in dem Vollbild k ist.
- Dieser Ungleichung für eine gegebene Pixel-Position folgend, wenn die Differenz zwischen dem ursprünglichen Pixel und dem im Rauschen verringerten Pixel mit der Median- bzw. Mittelwert-Differenz zwischen allen solchen Pixeln in dem Vollbild bei dem Grenzwert Tb oder weniger in Beziehung steht, dann ist das verarbeitete Pixel ein im Rauschen verringertes Pixel. Sonst, wenn zum Beispiel durch ein korreliertes Rauschen in dem Bild ein Bildfehler verursacht wird, sollte dieser ignoriert werden, damit das Rauschen relativ zu dem Bild nicht verstärkt bzw. betont wird.
- Durch das Verarbeiten von mehreren Vollbildern einer Video-Information in der oben ausgeführten Art kann ein Rauschen im wesentlichen verringert werden, selbst bei Bildern mit großen Bestandteilen bzw. Komponenten der Bewegung, ohne die Bildauflösung zu verschlechtern.
- Während die Erfindung unter Bezugnahme auf eine beispielhafte Ausführungsform beschrieben wurde, wird festgestellt, daß diese wie oben ausgeführt mit Abwandlungen innerhalb des Schutzbereiches der beiliegenden Ansprüche ausgeführt werden kann.
Claims (18)
1. Vorrichtung zum Verringern von Rauschen in einem Videosignal, welches
eine Mehrzahl von 2L + 1 Video-Vollbildern bzw. Video-Rahmen (frames) umfaßt,
wobei L eine ganze Zahl größer als 0 ist und die Vorrichtung aufweist:
eine Bewegungsschätzvorrichtung (20) zum Identifizieren bzw. Bestimmen
eines Bewegungsblocks in einem der Mehrzahl der Video-Vollbilder und zum
Bestimmen eines einzelnen Näherungs-Bewegungsvektors (MV) für den
Bewegungsblock über alle der Mehrzahl der Video-Vollbilder bzw. Video-Rahmen, wobei der
Bewegungsvektor (MV) eine angenäherte Trajektorie des Bewegungsblocks über die
Mehrzahl der Video-Vollbilder anzeigt;
eine Trajektorie-Korrekturvorrichtung (30) zum Aufnehmen bzw. Empfangen
des Näherungs-Bewegungsvektors (MV) von der Bewegungsschätzvorrichtung (20)
und zum Bestimmen einer überarbeiteten bzw. nachgeprüften (revised) Trajektorie
(CMV) für den Bewegungsblock über die Mehrzahl der Video-Vollbilder durch
Bestimmen der Differenz der Position bzw. Lage der jeweiligen Bestandteile des
Bewegungsblocks zwischen jedem Paar der Mehrzahl der Video-Vollbilder relativ
bzw. im Bezug auf die jeweiligen Positionen, welche durch den angenäherten
Bewegungsvektor (MV) angezeigt bzw. dargestellt werden; und
eine Bild-Mittelwert- bzw. Durchschnittswert-Bildungsvorrichtung (50) zum
Erhalten einer Mehrzahl der Bestandteile bzw. Komponenten des Bewegungsblocks
über die bzw. entlang der überarbeiteten bzw. nachgeprüften Trajektorie (CMV) und
zum Berechnen eines einzelnen gemittelten Bestandteils bzw. Komponente aus der
Mehrzahl der Bestandteile bzw. Komponenten.
2. Vorrichtung nach Anspruch 1, weiter aufweisend eine Unterbrechungs- bzw.
Störungs-Detektiervorrichtung (60) zum Ersetzen von einem der Bestandteile bzw.
Komponenten des Bewegungsblocks durch den gemittelten Bestandteil, wenn ein
Verhältnis, welches definiert ist durch a) die arithmetische Differenz zwischen der
einen Komponente bzw. Bestandteil und der gemittelten Komponente bzw.
Bestandteil und b) den Medianwert bzw. Mittelwert der arithmetischen Differenzen
zwischen jedem Bestandteil des einen Video-Vollbilds und dessen entsprechenden
gemittelten Bestandteil bzw. Komponente, geringer ist als ein Grenzwert.
3. Vorrichtung nach Anspruch 2, weiter aufweisend:
eine Vorrichtung zum Verarbeiten von Bild-Pixel-Werten in dem einen Video-
Vollbild, um ein räumliches Frequenzspektrum für das Video-Vollbild zu bestimmen;
und
eine Vorrichtung zum Verringern des vorgegebenen Grenzwerts in Reaktion
auf die Erhöhung der Pegel bzw. Niveaus der relativ hohen räumlichen
Frequenzbestandteile in dem räumlichen Frequenzspektrum des Video-Vollbildes.
4. Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die
Bewegungsschätzvorrichtung (20) umfaßt:
eine Vorrichtung zum Erzeugen eines jeweils rausch-toleranten bzw.
-unempfindlichen Schätzfehlerwerts für jeden einer Mehrzahl von Versuchs- bzw.
Test-Geschwindigkeitvektoren; und
eine Vorrichtung zum Auswählen, als den angenäherten bzw. Näherungs-
Bewegungsvektor (MV), eines der Mehrzahl der Versuchs-Geschwindigkeitsvektoren,
welcher einen geschätzten Fehlerwert aufweist, welcher geringer ist als der
geschätzte Fehlerwert von irgendeinem anderen aus der Mehrzahl der Versuchs-
Geschwindigkeitsvektoren.
5. Vorrichtung nach einem der vorangehenden Ansprüche, wobei die
Trajektorienkorrekturvorrichtung (30) umfaßt:
eine Vorrichtung zum Modifizieren bzw. Verändern des
Näherungsbewegungsvektors (MV) mit einer bzw. durch eine Mehrzahl von Versuchs- bzw.
Test-Verschiebungen bzw. -Versetzungen, um eine jeweilige Mehrzahl von
modifizierten bzw. veränderten Bewegungsvektoren zu erzeugen;
eine Vorrichtung zum Erzeugen einer Mehrzahl von Fehlerwerten für einen
Bestandteil bzw. eine Komponente des Bewegungsblocks, wobei die Mehrzahl der
Fehlerwerte jeweils der Mehrzahl der Versuchs-Verschiebungen entspricht;
eine Vorrichtung zum Auswählen von einer der Mehrzahl von Versuchs-
Verschiebungen als die überarbeitete bzw. revidierte Trajektorie, welche den
entsprechenden Fehlerwert aufweist, welcher geringer ist als irgendein anderer aus
der Mehrzahl der Fehlerwerte.
6. Vorrichtung nach Anspruch 5, wobei:
der Bewegungsblock eine Matrix von Bild-Pixel-Werten ist und der eine
Bestandteil bzw. Komponente einer der Bild-Pixel-Werte ist, welche in bzw. bei dem
Mittelpunkt bzw. Zentrum der Matrix angeordnet sind; und
die Vorrichtung zum Erzeugen der Mehrzahl von Fehlerwerten umfaßt:
eine Vorrichtung zum Auswählen einer weiteren Matrix von Pixel-Werten aus
einem anderen der Mehrzahl der Vollbilder, welches von dem einen Vollbild
verschieden ist, das den Bewegungsblock enthält bzw. umfaßt, wobei die weitere
Matrix dem Bewegungsblock entspricht, welcher auf das andere Vollbild entlang
einem der Mehrzahl der modifizierten bzw. veränderten Bewegungsvektoren
projiziert bzw. abgebildet wurde;
eine Vorrichtung zum Erzeugen einer Matrix von Differenzwerten, wobei
jeder Wert eine jeweilige Differenz zwischen einem der Pixelwerte in der Matrix und
dem korrespondierenden bzw. entsprechenden Pixelwert in der weiteren Matrix
darstellt;
eine Vorrichtung zum Zuordnen bzw. Zuweisen eines ersten
Gewichtungsfaktors zu bzw. für den Differenzwert bei dem Mittelpunkt bzw. Zentrum der
Differenzmatrix und zum Zuweisen eines zweiten Gewichtungsfaktors, welcher
geringer bzw. kleiner ist als der erste Gewichtungsfaktor, zu den anderen
Differenzwerten in der Differenzmatrix; und
eine Vorrichtung zum Summieren der Differenzwerte, wie sie durch deren
zugeordnete Gewichtungsfaktoren modifiziert bzw. verändert wurden, um einen
Fehlerwert für die weitere Matrix der Pixelwerte zu erzeugen; und
die Bild-Mittelwertbildungs-bzw. Durchschnittswertbildungs-Vorrichtung (50)
umfaßt eine Vorrichtung zum Berechnen eines Mittelwerts bzw. Durchschnitts von
Pixelwerten entlang der überarbeiteten bzw. revidierten Trajektorie mit dem einen
Pixelwert, um einen durchschnittlichen Pixelwert zu erzeugen.
7. Vorrichtung nach Anspruch 6, wobei die
Bild-Mittelwertsbildungs-Vorrichtung eine Ausreißer-Zurückweisungs-Vorrichtung (outlier rejection) umfaßt zum
Zurückweisen bzw. Unterdrücken von Pixelwerten entlang der überarbeiten bzw.
revidierten Trajektorie aus bzw. von dem berechneten durchschnittlichen Pixelwert,
welche Fehlerwerte aufweisen, welche um mehr als einen vorgegebenen Grenzwert
von einem erwarteten Fehler zwischen Pixelwerten entlang der überarbeiteten bzw.
revidierten Trajektorie abweichen bzw. differieren.
8. Vorrichtung nach Anspruch 7, weiter aufweisend:
eine Vorrichtung zum Verarbeiten von Bild-Pixel-Werten in dem einen Video-
Vollbild bzw. Video-Rahmen, um ein räumliches Frequenzspektrum für das Video-
Vollbild zu bestimmen; und
eine Vorrichtung zum Verringern des vorgegebenen Grenzwerts in Reaktion
auf das Erhöhen der Pegel bzw. Niveaus der relativ hohen räumlichen
Frequenzbestandteile bzw. Frequenzkomponenten in dem räumlichen Frequenzspektrum des
Video-Vollbildes.
9. Vorrichtung nach Anspruch 8, wobei die Bild-Mittelwertbildungsvorrichtung
(50) eine Vorrichtung zum Berechnen des erwarteten Fehlerwerts als den
Durchschnitt von N ausgewählten Fehlerwerten umfaßt entsprechend den Pixeln bzw.
Bildelementen entlang der überarbeiteten bzw. revidierten Trajektorie, wobei es eine
Gesamtanzahl von M-Pixelwerten entlang der Trajektorie gibt, wobei M und N ganze
Zahlen sind und M größer als N ist, und wobei jeder der N-Fehlerwerte geringer ist
als irgendeiner der Fehlerwerte, welche nicht ausgewählt werden.
10. Verfahren zum Verringern von Rauschen in einem Videosignal, welches eine
Mehrzahl von 2L + 1 Video-Rahmen bzw. Video-Vollbilder enthält bzw. umfaßt,
wobei L eine ganze Zahl größer als 0 ist und das Verfahren die Schritte umfaßt:
Identifizieren bzw. Bestimmen eines Bewegungsblocks mit einer Mehrzahl
von Komponententeilen bzw. Bestandteilen in einem der Mehrzahl der Video-
Vollbilder;
Bestimmen eines einzelnen Näherungsbewegungsvektors (MV) für den
Bewegungsblock über alle der Mehrzahl der Video-Vollbilder bzw. Video-Rahmen,
wobei der Bewegungsvektor (MV) eine Näherungstrajektorie des Bewegungsblocks
über bzw. entlang der Mehrzahl der Video-Vollbilder anzeigt;
Bestimmen der Differenz der Position der jeweiligen Bestandteile des
Bewegungsblocks zwischen jedem Paar der Mehrzahl der Video-Vollbilder relativ
bzw. im Verhältnis zu den jeweiligen Positionen, welche durch den
Näherungsbewegungsvektor (MV) angezeigt werden, um eine überarbeitete bzw. revidierte
Trajektorie (CMV) für den Bewegungsblock über bzw. entlang der Mehrzahl der
Video-Vollbilder zu erzeugen; und
Mitteln bzw. Bilden eines Durchschnittswerts einer Mehrzahl der Bestandteile
des Bewegungsblocks entlang der revidierten Trajektorie (CMV), um eine einzelne
gemittelte Komponente bzw. einem Bestandteil aus der Mehrzahl der Komponenten
zu erzeugen.
11. Verfahren nach Anspruch 10, wobei der Schritt des Bestimmens eines
einzelnen Näherungsbewegungsvektors (MV) für den Bewegungsblock über bzw.
entlang aller der Mehrzahl der Video-Vollbilder die Schritte umfaßt:
a) Definieren bzw. Festlegen einer Mehrzahl von
Versuchs-Geschwindigkeitsvektoren (v1 - vm);
b) Auswählen eines Geschwindigkeitsvektors aus der Mehrzahl der
Geschwindigkeitsvektoren (v1 - vm);
c) Erhalten von jeweiligen Blöcken von Pixel- bzw. Bildelementwerten
entsprechend dem Bewegungsblock, wie angezeigt bzw. dargestellt durch den
ausgewählten Geschwindigkeitsvektor;
d) Erzeugen eines rausch-toleranten bzw. bzgl. Rauschen unempfindlichen
geschätzten Fehlerwerts, welcher einen Mittelwert eines bzw.
durchschnitt
lichen Fehler unter einer Teilmenge bzw. Untergruppe der erhaltenen Blöcke
und des Bewegungsblocks darstellt und Assoziieren bzw. Zuordnen des
rausch-toleranten geschätzten Fehlerwerts mit bzw. zu dem ausgewählten
Geschwindigkeitsvektor;
e) Wiederholen der Schritte b) bis d), bis ein rausch-toleranter geschätzter
Fehlerwert einem jeden der Mehrzahl der Geschwindigkeitsvektoren (v1 -
vm) zugeordnet wurde; und
f) Auswählen von einem aus der Mehrzahl der Geschwindigkeitsvektoren (v1 -
vm) als den Bewegungsvektor (MV), welcher den zugeordneten
rauschtoleranten geschätzten Fehlerwert aufweist, welcher geringer ist als der
rausch-tolerante geschätzte Fehlerwert, welcher irgendeinem anderen der
Mehrzahl der Geschwindigkeitsvektoren (v1 - vm) zugeordnet wurde.
12. Verfahren nach Anspruch 11, weiter aufweisend den Schritt der Zuordnung
des Bewegungsvektors (MV) zu dem Bewegungsblock von Pixelwerten auf eine Art,
welche es dem Bewegungsvektor (MV) ermöglicht, während einer
bewegungskompensierten voraussagenden (prediktiven) Kodierung des Bewegungsblocks der
Pixelwerte verwendet zu werden.
13. Verfahren nach Anspruch 12, weiter aufweisend die Schritte:
Auswählen eines Pixelwertes aus dem Bewegungsblock der Pixelwerte;
Erzeugen einer korrigierten Trajektorie für den ausgewählten Pixelwert und
eines entsprechenden Pixelwerts in einem der Mehrzahl der aufeinanderfolgenden
Video-Vollbilder welches unmittelbar zeitlich benachbart bzw. angrenzend ist zu dem
einen Video-Vollbild, umfassend die Schritte:
Erzeugen einer Mehrzahl von modifizierten bzw. veränderten
Bewegungsvektoren;
Auswählen eines weiteren Blocks von Pixelwerten aus dem angrenzenden
bzw. benachbarten Video-Vollbild, wobei der weitere Bewegungsblock dem
Bewegungsblock entspricht, wie bestimmt bzw. festgelegt durch einen der Mehrzahl
der modifizierten bzw. veränderten Bewegungsvektoren;
Berechnen eines Blocks von Differenzwerten, wobei jeder Wert eine jeweilige
Differenz zwischen einem der Pixelwerte in dem Bewegungsblock und dem
entsprechenden Pixelwert in dem weiteren Block darstellt;
Zuordnen bzw. Zuweisen eines ersten Gewichtungsfaktors zu dem
Differenzwert bei dem Zentrum bzw. Mittelpunkt des Differenzblocks und Zuweisen eines
zweiten Gewichtungswertes, welcher geringer bzw. kleiner ist als der erste
Gewichtungswert, zu den anderen Differenzwerten in dem Differenzblock;
Summieren der Differenzwerte, wie durch deren zugeordnete bzw.
zugewiesene Gewichtungsfaktoren modifiziert bzw. verändert, um einen Fehlerwert
für den modifizierten bzw. veränderten Bewegungsvektor zu erzeugen; und
Auswählen des modifizierten bzw. veränderten Bewegungsvektors mit dem
Fehlerwert, welcher geringer bzw. kleiner ist als irgendein anderer Fehlerwert, als
die korrigierte Trajektorie.
14. Verfahren nach Anspruch 13, weiter aufweisend den Schritt der Zuordnung
bzw. des Zuweisens der korrigierten Trajektorie zu dem Bewegungsblock von
Pixelwerten auf eine Art, welche es der korrigierten Trajektorie erlaubt, verwendet
zu werden, während einer bewegungskompensierten voraussagenden (prediktiven)
Kodierung des Bewegungsblocks der Pixelwerte.
15. Vorrichtung nach Anspruch 1, wobei die Bewegungsschätzvorrichtung (20)
aufweist:
einen Speicher (15) zum Halten bzw. Speichern der Mehrzahl der
aufeinanderfolgenden Video-Vollbilder bzw. Video-Rahmen;
eine Vorrichtung zum Definieren bzw. Festlegen einer Mehrzahl von
Versuchs-Geschwindigkeitsvektoren (v1 - vm);
eine Vorrichtung (22) zum Erhalten von jeweiligen Blöcken von Pixelwerten
aus dem Speicher (15), wobei die Blöcke der Pixelwerte dem Bewegungsblock
entsprechen, wie durch einen jeweiligen der einen Geschwindigkeitsvektoren
angezeigt;
eine Vorrichtung (24a-24z) zum Erzeugen einer Mehrzahl von abgeglichenen
bzw. verringerten (trimmed) quadratischen bzw. Quadrat-Fehlerwerten, welche
jeweils Durchschnittsfehler unter einer Teilmenge bzw. Untergruppe der erhaltenen
Blöcke und des Bewegungsblocks für die jeweilige Mehrzahl der
Geschwindigkeitsvektoren darstellen und zum Zuweisen bzw. Zuordnen von jedem abgeglichenen
bzw. verringerten (trimmed) quadratischen Fehlerwert mit bzw. zu dem jeweiligen
einen Geschwindigkeitsvektor;
eine Vorrichtung (28) zum Auswählen von einem aus der Mehrzahl der
Geschwindigkeitsvektoren (v1 - vm) als den Bewegungsvektor (MV), welcher einen
zugeordneten bzw. zugewiesenen abgeglichenen (trimmed) quadratischen Fehlerwert
aufweist, welcher geringer ist als der abgeglichene quadratische Fehlerwert, welcher
irgendeinem anderen der Mehrzahl der Geschwindigkeitsvektoren (v1 - vm)
zugewiesen bzw. zugeordnet ist.
16. Verfahren nach Anspruch 10, wobei der Schritt des Bestimmens einer
Differenz in der Lage bzw. Position von den jeweiligen Bestandteilen bzw.
Komponenten des Bewegungsblocks zwischen jedem Paar der Mehrzahl der Video-
Vollbilder bzw. Video-Rahmen relativ bzw. im Verhältnis zu den jeweiligen
Positionen, welche durch den Näherungsbewegungsvektor (MV) dargestellt sind, um
eine überarbeitete bzw. revidierte Trajektorie (CMV) für den Bewegungsblock über
die Mehrzahl der Video-Vollbilder zu erzeugen, die Schritte aufweist:
Definieren bzw. Festlegen einer Mehrzahl von Korrekturvektoren ((δSL)l-
(δSL)m) relativ bzw. im Verhältnis zu dem Bewegungsvektor (MV);
Auswählen von einem Pixelwert aus dem Bewegungsblock der Pixelwerte;
Berechnen einer Mehrzahl von Fehlerwerten, welche die jeweiligen
Differenzen entlang bzw. über die Mehrzahl der Korrekturvektoren ((δSL)l-(δSL)m)
darstellen zwischen dem ausgewählten Pixelwert und einer Mehrzahl von Pixelwerten
entlang bzw. über die jeweilige Mehrzahl von Korrekturvektoren von dem Vollbild
bzw. Rahmen, welcher in der Abfolge bzw. Sequenz am nächsten bei dem Vollbild
ist, welches den Bewegungsblock enthält, in der Mehrzahl der aufeinanderfolgenden
bzw. sequentiellen Bild-Rahmen bzw. Vollbilder; und
Auswählen des Korrekturvektors (CMV), welcher denjenigen Fehlerwert
aufweist, welcher kleiner ist als irgendein anderer Fehlwert, als die korrigierte
Trajektorie für den Bewegungsblock.
17. Verfahren nach Anspruch 16, wobei der Schritt des Berechnens einer
Mehrzahl von Fehlerwerten die Schritte umfaßt:
a) Auswählen von einem aus der Mehrzahl der Korrekturvektoren ((δSL)l-(δSL)m);
b) Anordnen bzw. Lokalisieren eines weiteren Blocks von Pixelwerten in dem
nächsten Vollbild bzw. Rahmen, welcher dem Bewegungsblock von Pixeln
entlang bzw. über den ausgewählten Korrekturvektor entspricht;
c) Berechnen eines Blocks von Differenzwerten, wobei jeder Wert eine jeweilige
Differenz zwischen einem der Pixelwerte in dem Bewegungsblock und dem
entsprechenden Pixelwert in dem weiteren Block darstellt;
d) Zuweisen bzw. Zuordnen eines ersten Gewichtungsfaktors zu dem
Differenzwert bei dem Zentrum bzw. Mittelpunkt des Differenzblocks und Zuweisen
eines zweiten Gewichtungsfaktors, welcher geringer bzw. kleiner ist als der
erste Gewichtungsfaktor, zu den anderen Differenzwerten in dem
Differenzblock;
e) Summieren der Differenzwerte, wie von deren zugeordneten
Gewichtungsfaktoren modifiziert bzw. verändert, um einen Fehlerwert für den
modifizierten bzw. veränderten Bewegungsvektor zu erzeugen; und
f) Wiederholen der Schritte a) bis e) für jeden der Mehrzahl der
Korrekturvektoren ((δSL)l-(δSL)m).
18. Vorrichtung nach Anspruch 1, wobei die Trajektorie-Korrekturvorrichtung
umfaßt:
einen Speicher (15) zum Halten bzw. Speichern der Mehrzahl der
sequentiellen bzw. aufeinanderfolgenden Bildrahmen bzw. Voltbilder;
eine Vorrichtung zum Definieren bzw. Festlegen einer Mehrzahl von
Korrekturvektoren ((δSL)l-(δSL)m) relativ bzw. in Bezug zu dem Bewegungsvektor
(MV);
eine Vorrichtung (304a-304z) zum Berechnen einer Mehrzahl von
Fehler
werten, welche jeweils Differenzen entlang bzw. über die Mehrzahl der
Korrekturvektoren darstellen, zwischen einem ausgewählten Pixelwert in dem Bewegungsblock
von Pixelwerten und einer Mehrzahl von Pixelwerten entlang bzw. über die jeweilige
Mehrzahl der Korrekturvektoren ((δSL)l-(δSL)m) aus bzw. von dem Rahmen bzw.
Vollbild, welches in der Abfolge bzw. Sequenz am nächsten ist, in der Mehrzahl der
sequentiellen bzw. aufeinanderfolgenden Bildrahmen bzw. Vollbilder, zu dem
Rahmen bzw. Vollbild, welcher den Bewegungsblock enthält; und
eine Vorrichtung (306) zum Auswählen des Korrekturvektors mit dem
kleinsten Fehlerwert als die korrigierte Trajektorie für den Bewegungsblock.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/026,977 US5361105A (en) | 1993-03-05 | 1993-03-05 | Noise reduction system using multi-frame motion estimation, outlier rejection and trajectory correction |
Publications (2)
Publication Number | Publication Date |
---|---|
DE69418244D1 DE69418244D1 (de) | 1999-06-10 |
DE69418244T2 true DE69418244T2 (de) | 1999-11-04 |
Family
ID=21834921
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE69418244T Expired - Fee Related DE69418244T2 (de) | 1993-03-05 | 1994-03-04 | Videorauschreduktionsystem unter Verwendung einer Mehrbild-Bewegungsabschätzung, Unterdrückung von Abweichungen und Bahnkorrektur |
Country Status (5)
Country | Link |
---|---|
US (1) | US5361105A (de) |
EP (1) | EP0614312B1 (de) |
JP (1) | JPH06319136A (de) |
CA (1) | CA2117006A1 (de) |
DE (1) | DE69418244T2 (de) |
Families Citing this family (78)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6285710B1 (en) * | 1993-10-13 | 2001-09-04 | Thomson Licensing S.A. | Noise estimation and reduction apparatus for video signal processing |
KR950024600A (ko) * | 1994-01-31 | 1995-08-21 | 김광호 | 휘도신호적응 움직임 평가방법 |
JP3529432B2 (ja) * | 1994-06-30 | 2004-05-24 | 株式会社東芝 | 動画像符号化/復号化装置 |
JP2870415B2 (ja) * | 1994-08-22 | 1999-03-17 | 日本電気株式会社 | 領域分割方法および装置 |
US5604856A (en) * | 1994-10-13 | 1997-02-18 | Microsoft Corporation | Motion compensated noise reduction method and system for computer generated images |
JP2900983B2 (ja) * | 1994-12-20 | 1999-06-02 | 日本ビクター株式会社 | 動画像帯域制限方法 |
JP3353604B2 (ja) * | 1995-08-09 | 2002-12-03 | ソニー株式会社 | 動画像符号化方法及び装置、並びに信号記録媒体 |
JPH09182083A (ja) * | 1995-12-27 | 1997-07-11 | Matsushita Electric Ind Co Ltd | ビデオ画像符号化方法及び復号化方法とその装置 |
JPH11504490A (ja) * | 1996-02-19 | 1999-04-20 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | ビデオ信号符号化方法及び装置 |
US5661524A (en) * | 1996-03-08 | 1997-08-26 | International Business Machines Corporation | Method and apparatus for motion estimation using trajectory in a digital video encoder |
US6020924A (en) * | 1996-04-12 | 2000-02-01 | Samsung Electronics Co., Ltd. | Reduced memory size set top box which stores frames and associated motion vectors which indicate which block or blocks are to be retrieved from memory |
WO1997046020A2 (en) | 1996-05-24 | 1997-12-04 | Philips Electronics N.V. | Motion vector processing |
US6411308B1 (en) | 1996-08-14 | 2002-06-25 | Samsung Electronics Co., Ltd. | Television graphical user interface having variable channel control bars |
US5955988A (en) * | 1996-08-14 | 1999-09-21 | Samsung Electronics Co., Ltd. | Graphical user interface for establishing installation location for satellite based television system |
US6181333B1 (en) | 1996-08-14 | 2001-01-30 | Samsung Electronics Co., Ltd. | Television graphical user interface having channel and program sorting capabilities |
US5835156A (en) * | 1996-08-14 | 1998-11-10 | Samsung Electroncis, Ltd. | Television graphical user interface employing remote random access pointing device |
US6191781B1 (en) | 1996-08-14 | 2001-02-20 | Samsung Electronics, Ltd. | Television graphical user interface that combines electronic program guide with graphical channel changer |
US6016144A (en) * | 1996-08-14 | 2000-01-18 | Samsung Electronics Co., Ltd. | Multi-layered television graphical user interface |
US5978043A (en) * | 1996-08-14 | 1999-11-02 | Samsung Electronics Co., Ltd. | TV graphical user interface that provides customized lists of programming |
US6195089B1 (en) | 1996-08-14 | 2001-02-27 | Samsung Electronics Co., Ltd. | Television graphical user interface having variable channel changer icons |
US5940072A (en) * | 1996-08-15 | 1999-08-17 | Samsung Information Systems America | Graphics decompression using system ROM indexing in TV set top box |
WO1998018256A2 (en) * | 1996-10-24 | 1998-04-30 | Philips Electronics N.V. | Noise filtering |
EP0840514B1 (de) * | 1996-11-04 | 2003-09-24 | Alcatel | Verfahren und Vorrichtung zur Vorfilterung von Videobildern |
US6037933A (en) * | 1996-11-13 | 2000-03-14 | Samsung Electronics Co., Ltd. | TV graphical user interface for providing user access to preset time periods of TV program information |
US6005626A (en) * | 1997-01-09 | 1999-12-21 | Sun Microsystems, Inc. | Digital video signal encoder and encoding method |
JP2923875B2 (ja) * | 1997-01-14 | 1999-07-26 | 日本電気株式会社 | 動画像符号化装置 |
US6014172A (en) * | 1997-03-21 | 2000-01-11 | Trw Inc. | Optimized video compression from a single process step |
US5973755A (en) * | 1997-04-04 | 1999-10-26 | Microsoft Corporation | Video encoder and decoder using bilinear motion compensation and lapped orthogonal transforms |
US6310918B1 (en) * | 1997-07-31 | 2001-10-30 | Lsi Logic Corporation | System and method for motion vector extraction and computation meeting 2-frame store and letterboxing requirements |
JP3512988B2 (ja) * | 1997-08-12 | 2004-03-31 | 株式会社東芝 | 画像処理装置 |
JPH11177993A (ja) * | 1997-12-12 | 1999-07-02 | Nec Corp | 動画像符号化装置 |
US6873368B1 (en) * | 1997-12-23 | 2005-03-29 | Thomson Licensing Sa. | Low noise encoding and decoding method |
JP3524762B2 (ja) | 1998-03-19 | 2004-05-10 | 三洋電機株式会社 | リチウム二次電池 |
US7016413B2 (en) * | 1998-03-20 | 2006-03-21 | International Business Machines Corporation | Adaptively encoding a picture of contrasted complexity having normal video and noisy video portions |
US6125147A (en) * | 1998-05-07 | 2000-09-26 | Motorola, Inc. | Method and apparatus for reducing breathing artifacts in compressed video |
US6411651B1 (en) | 1998-06-26 | 2002-06-25 | Compaq Information Technologies Group, L.P. | Method and system for distributed video compression in personal computer architecture |
US6778604B1 (en) * | 1998-11-05 | 2004-08-17 | Tektronix, Inc. | Motion compensation performance improvement by removing redundant edge information |
AU2002236659A1 (en) * | 2000-12-19 | 2002-07-01 | Pulsent Corporation | Adaptive transforms |
JP2002262094A (ja) * | 2001-02-27 | 2002-09-13 | Konica Corp | 画像処理方法及び画像処理装置 |
US6947852B2 (en) * | 2002-06-04 | 2005-09-20 | Kla-Tencor Technologies Corporation | Monitoring and correcting for non-translational motion in a resonance measurement apparatus |
DE10235657A1 (de) * | 2002-08-02 | 2004-02-12 | Leica Microsystems Heidelberg Gmbh | Verfahren, Anordnung und Software zur Optimierung der Bildqualität von mit einem Mikroskop aufgenommenen beweglichen Objekten |
KR20040062257A (ko) * | 2003-01-02 | 2004-07-07 | 삼성전자주식회사 | 움직임 보상에 기반한 개선된 노이즈 예측 방법 및 그장치와 이를 사용한 동영상 부호화 방법 및 그 장치 |
US7643679B2 (en) * | 2003-02-13 | 2010-01-05 | Ati Technologies Ulc | Method and apparatus for block based image compression with multiple non-uniform block encodings |
US7359562B2 (en) * | 2003-03-19 | 2008-04-15 | Mitsubishi Electric Research Laboratories, Inc. | Enhancing low quality videos of illuminated scenes |
US7627040B2 (en) * | 2003-06-10 | 2009-12-01 | Rensselaer Polytechnic Institute (Rpi) | Method for processing I-blocks used with motion compensated temporal filtering |
US20060193526A1 (en) * | 2003-07-09 | 2006-08-31 | Boyce Jill M | Video encoder with low complexity noise reduction |
FR2860941A1 (fr) * | 2003-10-14 | 2005-04-15 | Nextream France | Dispositif et procede d'estimation de bruit d'un signal video |
KR100558391B1 (ko) * | 2003-10-16 | 2006-03-10 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
US7295616B2 (en) | 2003-11-17 | 2007-11-13 | Eastman Kodak Company | Method and system for video filtering with joint motion and noise estimation |
US20060114994A1 (en) * | 2004-12-01 | 2006-06-01 | Silverstein D Amnon | Noise reduction in a digital video |
US7667776B2 (en) * | 2006-02-06 | 2010-02-23 | Vixs Systems, Inc. | Video display device, video encoder, noise level estimation module and methods for use therewith |
US8009732B2 (en) * | 2006-09-01 | 2011-08-30 | Seiko Epson Corporation | In-loop noise reduction within an encoder framework |
KR100775063B1 (ko) * | 2006-11-09 | 2007-11-08 | 삼성전자주식회사 | 이미지 센서의 랜덤 노이즈 평가 방법 및 평가 장치 |
JP4321626B2 (ja) * | 2007-05-23 | 2009-08-26 | ソニー株式会社 | 画像処理方法および画像処理装置 |
JP2009055410A (ja) * | 2007-08-28 | 2009-03-12 | Sony Corp | 画像処理装置および画像処理方法 |
US20090124854A1 (en) * | 2007-11-09 | 2009-05-14 | Fujifilm Corporation | Image capturing device and image capturing system |
US20090153913A1 (en) * | 2007-12-18 | 2009-06-18 | Butler Jr William Joseph | Method For Providing Enhancement With An Imaging Apparatus |
US8325976B1 (en) * | 2008-03-14 | 2012-12-04 | Verint Systems Ltd. | Systems and methods for adaptive bi-directional people counting |
KR100938211B1 (ko) * | 2008-08-29 | 2010-01-22 | 성균관대학교산학협력단 | 동영상 화질 평가 시스템 및 방법 |
KR101498124B1 (ko) * | 2008-10-23 | 2015-03-05 | 삼성전자주식회사 | 움직임 궤적을 이용한 프레임률 향상 장치 및 방법 |
US8903191B2 (en) * | 2008-12-30 | 2014-12-02 | Intel Corporation | Method and apparatus for noise reduction in video |
JP5430234B2 (ja) * | 2009-06-04 | 2014-02-26 | パナソニック株式会社 | 画像処理装置、画像処理方法、プログラム、記録媒体及び集積回路 |
US20110075888A1 (en) * | 2009-09-25 | 2011-03-31 | Kazuhiko Matsumoto | Computer readable medium, systems and methods for improving medical image quality using motion information |
US20110075896A1 (en) * | 2009-09-25 | 2011-03-31 | Kazuhiko Matsumoto | Computer readable medium, systems and methods for medical image analysis using motion information |
JP5556415B2 (ja) * | 2010-06-21 | 2014-07-23 | 富士通株式会社 | 画像処理装置 |
US8958478B2 (en) | 2010-12-03 | 2015-02-17 | Technische Universitaet Berlin | Method and device for processing pixels contained in a video sequence |
US8559763B2 (en) * | 2010-12-14 | 2013-10-15 | The United States Of America As Represented By The Secretary Of The Navy | Method and apparatus for motion-compensated interpolation (MCI) with conservative motion model |
EP2469469A1 (de) * | 2010-12-23 | 2012-06-27 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Konzept zur Kodierung von Daten, die kodierte Ausrichtungen definieren, die eine Neuausrichtung eines Objekts darstellen |
EP2469496A1 (de) * | 2010-12-23 | 2012-06-27 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Konzept zur Kodierung von Daten, die kodierte Positionen definieren, die eine Bewegungsbahn eines Objekts darstellen |
US9131073B1 (en) * | 2012-03-02 | 2015-09-08 | Google Inc. | Motion estimation aided noise reduction |
US9344729B1 (en) | 2012-07-11 | 2016-05-17 | Google Inc. | Selective prediction signal filtering |
KR101967745B1 (ko) | 2012-09-11 | 2019-04-11 | 삼성전자주식회사 | 잡음 추정 장치 및 방법 |
US10008072B2 (en) | 2013-09-13 | 2018-06-26 | Bally Gaming, Inc. | Systems and methods of linking gaming stations administering different wagering games to the same progressive jackpot |
US10102613B2 (en) | 2014-09-25 | 2018-10-16 | Google Llc | Frequency-domain denoising |
US11138711B2 (en) * | 2016-08-02 | 2021-10-05 | Nec Corporation | Degradation detection device, degradation detection method, and computer-readable recording medium |
US10708600B2 (en) | 2018-01-19 | 2020-07-07 | Arm Limited | Region of interest determination in video |
KR102216965B1 (ko) * | 2019-05-07 | 2021-02-18 | 주식회사 힐세리온 | 이산 웨이브릿 변환을 이용한 영상신호의 노이즈 제거 장치 및 이를 포함하는 원격 의료 진단 시스템 |
CN111724421B (zh) * | 2020-06-29 | 2024-01-09 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备及存储介质 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IT1032162B (it) * | 1974-12-10 | 1979-05-30 | Cnen | Apparecchiatura per registrare in una memoria traiettorie di tracce di oggetti |
GB2091970B (en) * | 1981-01-22 | 1985-06-26 | Micro Consultants Ltd | Video processing system for bandwidth reduction |
JPS61113377A (ja) * | 1984-11-07 | 1986-05-31 | Sony Corp | テレビジヨン信号の動き検出装置 |
US4717956A (en) * | 1985-08-20 | 1988-01-05 | North Carolina State University | Image-sequence compression using a motion-compensation technique |
US4682230A (en) * | 1986-03-21 | 1987-07-21 | Rca Corporation | Adaptive median filter system |
US4838685A (en) * | 1987-04-03 | 1989-06-13 | Massachusetts Institute Of Technology | Methods and apparatus for motion estimation in motion picture processing |
EP0294959B1 (de) * | 1987-06-09 | 1994-10-05 | Sony Corporation | Fernsehnormwandler |
EP0294962B1 (de) * | 1987-06-09 | 1995-07-19 | Sony Corporation | Bewertung von Bewegungsvektoren in Fernsehbildern |
DE3853554T2 (de) * | 1987-06-09 | 1995-08-24 | Sony Corp | Bewegungsvektorabschätzung in Fernsehbildern. |
EP0294958B1 (de) * | 1987-06-09 | 1995-08-23 | Sony Corporation | Bewegungskompensierte Interpolation von digitalen Fernsehbildern |
EP0294957B1 (de) * | 1987-06-09 | 1995-04-12 | Sony Corporation | Verarbeitung des Bewegungsvektors in digitalen Fernsehbildern |
JPH0832048B2 (ja) * | 1990-01-23 | 1996-03-27 | 日本ビクター株式会社 | 動きベクトル検出装置 |
-
1993
- 1993-03-05 US US08/026,977 patent/US5361105A/en not_active Expired - Lifetime
-
1994
- 1994-03-01 JP JP6031622A patent/JPH06319136A/ja not_active Withdrawn
- 1994-03-04 CA CA002117006A patent/CA2117006A1/en not_active Abandoned
- 1994-03-04 DE DE69418244T patent/DE69418244T2/de not_active Expired - Fee Related
- 1994-03-04 EP EP94103251A patent/EP0614312B1/de not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US5361105A (en) | 1994-11-01 |
EP0614312A3 (de) | 1994-10-26 |
DE69418244D1 (de) | 1999-06-10 |
EP0614312B1 (de) | 1999-05-06 |
CA2117006A1 (en) | 1994-09-06 |
EP0614312A2 (de) | 1994-09-07 |
JPH06319136A (ja) | 1994-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69418244T2 (de) | Videorauschreduktionsystem unter Verwendung einer Mehrbild-Bewegungsabschätzung, Unterdrückung von Abweichungen und Bahnkorrektur | |
DE69509577T2 (de) | Anordnung zur Verminderung des Rauschens unter Verwendung von zeitvarianten Filterkoeffizienten | |
DE19506372B4 (de) | Bi-Direktionales Bewegungsschätzverfahren und ein dafür vorgesehenes Gerät | |
EP0154125B1 (de) | Verfahren zur bewegungsadaptiven Interpolation von Fernsehbildsequenzen sowie Anordnung und Anwendungen hierzu | |
DE69123359T2 (de) | Videobildverarbeitung | |
DE69521966T2 (de) | Einrichtung zur Kodierung eines Videosignales bei Anwesenheit eines Leuchtdichtegradienten | |
DE69031055T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE602004002455T2 (de) | Bewegungsvektorschätzung durch adaptive zeitliche Vorhersage | |
DE69618440T2 (de) | Videosignalabtastumsetzung | |
DE69422255T2 (de) | Verfahren und Vorrichtung zum bewegungsausgeglichenen Interpolieren von zwischenliegenden Halbbildern oder Bildern | |
DE69021431T2 (de) | Bewegungsabhängige Videosignalverarbeitung. | |
DE69417480T2 (de) | Bestimmung von Bewegungsvektoren in einem Videokodierer mit Bilddezimation | |
DE69801209T2 (de) | Hierarchischer rekursiver Bewegungsschätzer für Bewegtbildkodierer | |
DE3837590A1 (de) | Verfahren zum reduzieren der datenrate von digitalen bilddaten | |
DE69126930T2 (de) | Video-Bewegungsvektorabschätzung mit asymmetrischem Aktualisierungsgebiet | |
DE69028651T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69217444T2 (de) | Rauschverminderung in bildübertragenen Videosignalen | |
EP0293644A1 (de) | Verfahren zur Ermittlung von Bewegungsvektorfeldern aus digitalen Bildsequenzen | |
DE112005000033T5 (de) | Adaptiv gewichtetes Bewegungsabschätzungsverfahren und Bildwechselfrequenz-Wandlereinrichtung, die das Verfahren einsetzt | |
DE69318377T2 (de) | Methode und Vorrichtung zur Erhöhung der Bildfrequenz | |
DE4023449C1 (de) | ||
DE4442643B4 (de) | Verfahren zum Abschätzen der Bewegung in einem Bewegtbild | |
DE69231187T2 (de) | Verfahren zur schaetzung und hierarchischen kodierung von bewegung in bildfolgen | |
DE69332302T2 (de) | Verfahren und Vorrichtung zur adaptiver Umsetzung in ein Zeilenfolgesignal | |
DE69031322T2 (de) | Bewegungsabhängige Videosignalverarbeitung |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |