DE19637139C1 - Verdeckung von Bildfehlern bei einem Szenenwechsel - Google Patents

Description

Die Erfindung betrifft ein Gerät zur Verarbeitung von Videosignalen mit einer Anordnung zur Erkennung von Bildstörungen in einem Videosignal, bei dem aufeinanderfolgende Bilder miteinander verglichen werden. Die Erfindung betrifft ferner die Anordnung zur Erkennung von Bildstörungen als solche als auch ein Verfahren zur Erkennung von Bildfehlern.

Bei der Verarbeitung von Videosignalen, insbesondere Nachbearbeitung von Film­ material - sei es beispielsweise in einem Filmabtaster oder in speziellen Geräten zur Unterdrückung von Störsignalen (noise reducer) - treten unter anderem örtlich be­ grenzte Störungen auf, die auf jeweils einzelne Videobilder beschränkt sind und somit hinsichtlich des Ortes ihres Auftretens eine statistische Verteilung aufweisen. Beispielsweise enthalten die Videobilder, die durch Abtastung eines Films erhalten werden, aufgrund von auf den Filmbildern haftenden Staubpartikeln oder in der Filmoberfläche liegenden Kratzern bei Abtastung von Positivfilmmaterial schwarze Punkte, bzw. Streifen und bei Abtastung von Negativfilmaterial bei anschließender Farbumkehr weiße Punkte bzw. Streifen. Da Staubpartikel, Schimmelflecken, etc. von Filmbild zu Filmbild an unterschiedlichen Orten auftreten, können durch Ver­ gleich mehrerer aufeinanderfolgender Bilder diese Störstellen mittels eines Median­ filters ausgefiltert werden. Hierbei ist es jedoch erforderlich, eine zufällig auftre­ tende Störstelle von einer unechten Störstelle, die aufgrund der auf einem Film aufgezeichneten Bewegung eines Objekts, sei es durch eine Bewegung des Objekts selbst oder durch eine Bewegung der aufnehmenden Kamera zu unterscheiden, damit solche Objekte nicht fälschlicherweise ebenfalls von dem Medianfilter ausgefiltert werden.

Hierzu ist beispielsweise aus DE 43 43 095 A1 ein Verfahren zur Störsignalbefreiung von Videosignalen mittels adaptiver Medianfilterung bekannt, bei dem der Bildinhalt in jeweils unbewegte, bewegte, ungestörte und gestörte Bildbereiche klassifiziert wird, und anschließend nur in den gestörten und unbewegten Bildbereichen eine Fehlerverdeckung mit Hilfe einer zeitlichen Medianfilterung durchgeführt wird. Hierbei werden die gleichzeitig vorliegenden Videosignale mindestens dreier zeitlich aufeinanderfolgender Bilder miteinander verglichen, und ein Steuersignal abgeleitet, welches zur Umschaltung zwischen den mediangefilterten Videosignal und den ungefilterten Videosignalen bestimmt ist. Die Bildung dieses Steuersignals erfolgt durch logische Verknüpfung von Hilfssignalen in einer Arithmetisch-Logischen Einheit.

Um aus einer Sequenz von aufeinanderfolgenden Bildern Bildfehler im jeweils mitt­ lersten Bild dieser Bildsequenz zu ermitteln, müssen die Bilder ähnliche Bildinhalte aufweisen. Sobald auch nur eines der Bilder der jeweils betrachteten Bildsequenz zu einer neuen Szene oder noch zu einer alten Szene gehört, wird durch die Bewe­ gungsdetektion der gesamte Bildinhalt als bewegt detektiert. Eine Fehlerverdeckung von Bildstörungen am letzten Bild einer Szene bzw. am ersten Bild einer neuen Szene ist mit den bekannten Anordnungen zur Erkennung von Bildstörungen somit nicht möglich.

Unter Umständen würden Bildstörungen an einzelnen Bildern von einem Betrachter gar nicht so stark bemerkt werden. Beim szenenweisen Schneiden von Filmmaterial jedoch gelangen vielfach Klebstoffreste auf den Film, insbesondere wenn der Filmstich zwischen den Bildern sehr schmal ist, z. B. bei Filmen im Super-16-Format. Zwar ist ein Cutter im allgemeinen bestrebt, die Klebestelle nicht mittig zwischen den Filmbildern anzusetzen, sondern meist leicht verschoben in Richtung des vorangehenden Bildes, weil dann eventuelle Klebereste nur im unteren Teil des letzten Bildes einer Szene auftreten, und - weil der untere Teil eines Bildes oft dunklere Bilddetails enthält-, die Klebereste zum Teil schon durch diese dunklen Bilddetails verdeckt werden. Die Ausdehnung von Kleberesten kann jedoch die Ausdehnung von anderen singulären Bildstörungen weit übertreffen, so daß die Erkennung von Bildfehlern gerade an den Stellen eines Films versagt, an denen besonders viele Störungen im Bild vorhanden sind.

Ein Verfahren zur Szenenwechselerkennung in bewegten Bildern, die aus einer geordneten Sequenz aufeinanderfolgender Einzelbilder zusammengesetzt sind, ist aus EP 0 637 027 A2 bekannt. Hierzu werden Korrelationswerte eines jeden Einzel­ bildes mit einem korrespondierenden, vorhergehenden Einzelbildes verglichen. Unterschreitet der Korrelationswert einen bestimmten Schwellwert, so wird dies als Anzeichen für einen abrupten Szenenwechsel gewertet.

Der Erfindung liegt die Aufgabe zugrunde, eine Fehlerverdeckung von Bildstörun­ gen in allen Bildern einer Szene zu ermöglichen.

Diese Aufgabe wird bei einem Gerät der Videosignalverarbeitung mit einer gattungs­ gemäßen Anordnung zur Erkennung von Bildstörungen dadurch gelöst, daß vorgese­ hen ist, der Anordnung zur Erkennung von Bildstörungen ein Szenenwechselsignal zuzuführen, welches dazu vorgesehen ist, einzelne Bilder der miteinander zu vergleichenden Bilder durch Ersatzbilder zu ersetzen.

Für den Fall, daß ein Szenenwechsel erst im Anschluß an ein jeweils betrachtetes mittleres Bild erfolgt, werden durch das Szenenwechselsignal anstelle der Bilder, die in der neuen Szene liegen, Ersatzbilder verwendet, die Bildern entsprechen, die noch in der alten Szene liegen. Auf diese Weise sind die Ähnlichkeiten zwischen den zum Vergleich verwendeten Bildern relativ groß, so daß eine Nichtverdeckung von Bildfehlern, weil Bilder wegen mangelnder Übereinstimmung des Bildinhaltes als bewegt gekennzeichnet werden, vermieden wird. Gleiches gilt auch für Bildstö­ rungen in Bildern am Anfang einer neuen Szene, bei der anstelle der Bilder der alten Szene durch Bilder der neuen Szene ersetzt werden.

In einer Ausgestaltung der Erfindung ist vorgesehen, als Ersatzbilder die der be­ trachteten Filmsequenz vorangegangenen Bilder bzw. der betrachteten Filmsequenz folgende Bilder zu verwenden.

Die Erfindung wird nun anhand eines in den Figuren dargestellten Ausführungsbei­ spiels näher beschrieben und erläutert. Es zeigen:

Fig. 1 Blockschaltbild eines Filmabtasters mit einer Anordnung zur Erkennung von Bildstörungen

Fig. 2 Blockschaltbild einer Schaltungsanordnung zur Verdeckung von Bildstörungen.

Fig. 1 zeigt ein Blockschaltbild eines Filmabtasters 1, bei dem das in einem Abtaster 2 gewonnene analoge Videosignal eines abgetasteten Film in einem Analog-Digital Umsetzer 3 in digitale Luminanz und Chrominanzsignale umcodiert wird. In einer Anordnung zur Störsignalbefreiung 4 sind verschiedene Detektoren 5, 6 dazu vorgesehen, Fehler im abgetasteten Videosignal zu erkennen und durch Störstellen­ signale K₁, K₂ zu kennzeichnen. Bei den Detektoren handelt es sich beispielsweise um einen Detektor zur Erkennung von Schmutzpartikeln (dirt detector) 5 und einen Detector zur Erkennung von Kratzern (scratch detector) 6. Durch die Störstellen­ signale K₁, K₂ wird ein Medianfilter 7 angesteuert, welches Bildbereiche, die als Fehler eingestuft wurden durch deren mediangefilterte Ersatzwerte ersetzt.

Die erfindungsgemäße Anordnung zur Störsignalbefreiung ist jedoch nicht nur auf Filmabtaster beschränkt, sie kann in jeder Anordnung, die zur Störsignalbefreiung von Videosignalen verwendet wird sinnvoll eingesetzt werden, also auch beispiels­ weise in Zusammenhang mit der Wiedergabe von gespeicherten Videosignalen und auch als eigenständiges Gerät, in einem sogenannten "Noice reducer". Auch die Art des Quellensignal, sei es analog oder digital spielt für das Wesen der Erfindung keine Rolle, da Signalumwandlungen jeder Zeit problemlos möglich sind.

Fig. 2 zeigt eine Anordnung zur Erkennung von Bildstörungen, bei denen ein Videosignal in drei aufeinanderfolgenden Bildverzögerungseinrichtungen 11, 12, 13 um jeweils ein Bild verzögert wird. Je nachdem, ob eine Verarbeitung von Vollbild­ signalen oder Halbbildsignalen erfolgt, sind die Bildverzögerungseinrichtungen 11, 12, 13 zur Verzögerung eines Vollbildes bzw. eines Halbbildes ausgestaltet. Durch die in Reihe geschalteten Bildverzögerungseinrichtungen 11, 12, 13 stehen somit die Videosignale von insgesamt vier aufeinanderfolgenden Bildern zur Verfügung. Wird das am Ausgang der ersten Bildverzögerungseinrichtung 11 anstehende Videosignal als das Videosignal eines aktuellen Bildes N betrachtet, in welchem die Bildstörun­ gen zu erkennen sind, so entspricht das dem Eingang der ersten Verzögerungsein­ richtung 11 zugeführte Videosignal eines dem aktuellen Bild folgenden Bildes N+1 und das am Ausgang der zweiten Bildverzögerungseinrichtung 12 anstehende Video­ signal als eines dem aktuellen Bild vorangegangenen Bildes N-1 und das am Aus­ gang der dritten Bildverzögerungseinrichtung 13 anstehende Videosignal eines dem aktuellen Bild N um zwei Bilder vorangegangenen Videosignals N-2. Einem ersten Multiplexer 14 ist an einem Auswahleingang das Videoeingangssignal des dem aktuellen Bild folgenden Bildes N+1 zugeführt.

Dem Steuereingang des ersten Multiplexers 14 ist ein, von einer Anordnung zur Szenenwechselerkennung 10 erzeugtes Szenenwechselsignal CUT zugeführt. Aufbau und Funktionsweise einer Anordnung zur Erkennung eines Szenenwechsels 22 ist beispielsweise in der Patentanmeldung DE 196 35 048.4 vom 30.8.96 beschrieben.

Bei fehlendem Steuersignal CUT am Steuereingang des ersten Multiplexers 14 wird dieses Signal an dessen Ausgang durchgeschaltet. Dem zweiten Auswalileingang des Multiplexers 14 ist das Ausgangssignal der dritten Bildverzögerungseinrichtung 13 zugeführt, so daß bei anliegendem Szenenwechselsignal CUT das dem aktuellen Videobild um zwei Bilder vorangegangene Videobild N-2 an den Ausgang des Multiplexers 14 durchgeschaltet wird.

Im folgenden sei nun davon ausgegangen, daß es sich um Bilder innerhalb einer Szene handelt, so daß kein Szenenwechselsignal CUT am Multiplexer 14 anliegt. In diesem Fall werden in bekannter Weise die Bilder N+1 und N in einem ersten Subtrahierer 15 und die Bilder N und N-1 in einem zweiten Subtrahierer 16 mit­ einander verglichen und das Vergleichsergebnis einer Schmutzerkennungsschaltung 17 zugeführt. In einem dritten Subtrahierer 18 werden die Bilder N+1 und N-1 verglichen und einem Bewegungsdetektor 19 zugeführt, dessen Ausgangssignal ebenfalls der Schmutzerkennungsschaltung 17 zugeführt ist. Wie beispielsweise aus der DE 43 43 095 A1 bekannt ist, wird auf diese Weise in der Schmutzerkennungs­ schaltung 17 bei einer erkannten singulären Bildstörung ein Fehlererkennungssignal D gebildet, welches dem Steuereingang eines zweiten Multiplexers 20 zugeführt ist. Bei fehlendem Fehlererkennungssignal D schaltet der zweite Multiplexer 20 das in einer vierten Bildverzögerungseinrichtung 21 verzögerte aktuelle Bild N′ an den Ausgang durch, wobei die vierte Bildverzögerungseinrichtung 21 dazu vorgesehen ist, die Signaldurchlaufzeiten durch die Anordnung zur Fehlererkennung auszuglei­ chen. Bei einem erkannten Bildfehler wird vom zweiten Multiplexer 20 das in einem Medianfilter 22 gebildete störsignalbefreite aktuelle Bild N* an den Ausgang durch­ geschaltet und somit eine erkannten Bildstörung verdeckt.

Sobald nun ein Szenenwechsel auftritt, wird durch das Szenenwechselsignal CUT anstelle des neuen Bildes einer Szene N+1 das zum aktuellen Bild um zwei Bilder zurückliegende Bild N-2 der Anordnung zur Erkennung von Bildfehlern zugeführt. Auf diese Weise sind die der Anordnung zur Fehlererkennung zugeführten Bilder N-2, N und N-1 Bilder der gleichen Szene und somit untereinander sehr ähnlich. Die Bewegungsdetektion erfolgt somit aus den Bildern N-1 und N-2, während sich der Klebestellenschmutz durch den Kontrastunterschied des Bildes N gegenüber den Bildern N-1 und N-2 hervorhebt.

Mit diesem Ausführungsbeispiel werden Bildstörungen am letzten Bild einer Szene erkannt. Zum Erkennen von Bildfehlern im ersten Bild einer neuen Szene wäre das Ausführungsbeispiel so umzugestalten, daß eine weitere Bildverzögerungseinrichtung vorgesehen ist, die der ersten Bildverzögerungseinrichtung 11 vorgeschaltet ist, so daß bei einem Szenenwechselsignal die Bilder N, N+1 und N+2, also die ersten drei Bilder der neuen Szene, ausgewertet werden.

Claims (6)

1. Gerät zur Verarbeitung von Videosignalen mit einer Anordnung zur Erkennung von Bildstörungen in einem Videosignal, bei dem aufeinanderfolgende Bilder miteinander verglichen werden, dadurch gekennzeichnet, daß vorgesehen ist, der Anordnung zur Erkennung von Bildstörungen ein Szenenwechselsignal (CUT) zuzuführen, welches dazu vorgesehen ist, einzelne Bilder (N+1) der miteinander zu vergleichenden Bilder (N+1, N, N-1) durch Ersatzbilder (N-2) zu ersetzen.

2. Gerät zur Verarbeitung von Videosignalen mit einer Anordnung zur Erkennung von Bildstörungen in einem Videosignal nach Anspruch 1, dadurch gekennzeichnet, daß vorgesehen ist, als Ersatzbilder (N-2) die der betrachteten Filmsequenz vorangegangenen Bilder bzw. der betrachteten Filmsequenz folgenden Bilder zu verwenden.

3. Anordnung zur Erkennung von Bildstörungen in einem Videosignal, bei dem aufeinanderfolgende Bilder miteinander verglichen werden, dadurch gekennzeichnet, daß vorgesehen ist, der Anordnung zur Erkennung von Bildstörungen ein Szenenwechselsignal (CUT) zuzuführen, welches dazu vorgesehen ist, einzelne Bilder (N+1) der miteinander zu vergleichenden Bilder (N+1, N, N-1) durch Ersatzbilder (N-2) zu ersetzen.

4. Anordnung zur Erkennung von Bildstörungen in einem Videosignal nach Anspruch 3, dadurch gekennzeichnet, daß vorgesehen ist, als Ersatzbilder (N-2) die der betrachteten Filmsequenz vorangegangenen Bilder bzw. der betrachteten Filmsequenz folgenden Bilder zu verwenden.

5. Verfahren zur Erkennung von Bildstörungen in einem Videosignal, bei dem aufeinanderfolgende Bilder miteinander verglichen werden, dadurch gekennzeichnet, daß vorgesehen ist, der bei einem erkannten Szenenwechsel, einzelne Bilder der miteinander zu vergleichenden Bilder durch Ersatzbilder zu ersetzen.

6. Verfahren zur Erkennung von Bildstörungen in einem Videosignal nach Anspruch 5, dadurch gekennzeichnet, daß vorgesehen ist, als Ersatzbilder die der betrachteten Filmsequenz vorangegangenen Bilder bzw. der betrachteten Filmsequenz folgenden Bilder zu verwenden.