AT518230B1

AT518230B1 - Ein Verfahren zur Speicherung von Manipulationsinformation bei der digitalen Staubentfernung in Bildsequenzen

Info

Publication number: AT518230B1
Application number: ATA23/2016A
Authority: AT
Inventors: Dipl Ing Höller-Grasser Franz; Dr Müller Heimo
Original assignee: Hs Art Digital Service Gmbh
Priority date: 2016-01-22
Filing date: 2016-01-22
Publication date: 2023-02-15
Also published as: AT518230A1

Abstract

Ein Verfahren zur Speicherung von Manipulationsinformation in Bildsequenzen, insbesondere für die Anwendung der digitalen Staubentfernung, dadurch gekennzeichnet, dass keine zusätzlichen Bilder erzeugt werden und somit eine Verdoppelung der Daten vermieden wird, dennoch jederzeit auf originale und restaurierte Bildelemente zugegriffen werden kann und dies ohne das originale Bildformat zu verändern. Ein Player erlaubt durch Einstellung des Referenzverlässlichkeitswertes die Anzeige der Bildmanipulation der Bildsequenz dynamisch zwischen Original und vollständig Restaurierter Version zu verändern.

Description

Beschreibung

EIN VERFAHREN ZUR SPEICHERUNG VON MANIPULATIONSINFORMATION BEI DER DIGITALEN STAUBENTFERNUNG IN BILDSEQUENZEN

[0001] Die Erfindung betrifft ein Verfahren zur Speicherung von Manipulationsinformation, insbesondere bei der digitalen Staubentfernung in Bildsequenzen.

Im heutigen Stand der Technik wird bei der digitalen Staubentfernung als erster Schritt eine Einzelbilddefektdetektion durchgeführt. In US 20050068446 A1 wird ein Verfahren für die Stauberkennung anhand eines einzelnen Bildes Beschrieben. Bei der Detektion von Einzelbildfehlern (Staub) werden drei bewegungskompensierte Bilder miteinander verglichen, und jedem einzelnen Bildelement ein Verlässlichkeitswert zugewiesen, welcher mit einer (Defekt-) Wahrscheinlichkeit korrespondiert. Die Bewegungskompensation ist ein bekanntes Verfahren und wurde in US 20130051470 A1 dargestellt. Wird ein Bildelement als Defekt (Staub) erkannt wird dieses durch ein bewegungskompensiertes Bildelement aus den Nachbarbildern ersetzt und es wird eine neue Bildsequenz berechnet. Selbst wenn nur wenige Elemente in einem Bild verändert werden, muss in diesem Verfahren das gesamte Bild in der Sequenz neu gespeichert werden damit die originale Bildinformation nicht verloren geht. Dies hat einen großen Speicherbedarf zu Folge. So hat ein Einzelbild in 4k Auflösung (4096 x 3112 Bildelemente) mit 3 Farbkanälen (Rot, Grün, Blau) in 10 Bit Farbtiefe eine Gesamtgröße von 50.995.200 Bytes. Bei 24 (Film) bzw. 25 (Video) Bildern pro Sekunde hat eine Bildsequenz mit 60 Minuten einen Speicherbedarf von rund 4 Terabyte!

[0002] Die Erfindung beschreibt ein Verfahren, in dem nur tatsächlich geänderte Bildelemente so verspeichert werden, dass das ursprüngliche Bildformat sich nicht ändert und somit dem jeweiligen Bildformatstandard genüge leistet, aber trotzdem die originale Bildinformation und die manipulierte Bildinformation beinhaltet. Jedem Bildelement, bzw. Gruppe von Bildelementen ist hierbei ein Verlässlichkeitswert zugeordnet, welcher in der Regel bereits durch den Restaurationsalgorithmus gegeben ist. Das Verfahren beruht auf dem Prinzip, dass manipulierte Bildelemente nur dann verspeichert werden, wenn Anderungen größer als ein zuvor festgelegter Referenzverlässlichkeitswert sind. Dabei erfolgt die Verspeicherung so, dass die Bildsequenz wahlweise vor und nach den Manipulationen angezeigt werden kann.

[0003] Weiters beschreibt die Erfindung eine Methode, die es erlaubt ohne Neuberechnung, Restaurationsschritte durch eine Anderung des Referenzverlässlichkeitswerts anzuzeigen bzw. rückgängig zu machen. Dadurch ist es nicht mehr notwendig eine Bildsequenz mehrmals abzuspeichern.

[0004] Entsprechend einer exemplarischen Ausgestaltung der Erfindung, wird das Verfahren zur Speicherung von Manipulationsinformation bei der digitalen Staubentfernung in Bildsequenzen beschrieben, bei dem die Bildinformation nicht vervielfacht wird und somit erheblich Speicherplatz gespart werden kann.

[0005] Die Erfindung ist nicht auf diese Anwendungsfälle beschränkt sondern kann in jedem Bereich eingesetzt werden in dem Vergleich und Manipulation von Bildsequenzen notwendig sind, wie zum Beispiel in der medizinischen Bildverarbeitung, dem Datamining oder in der Suche in Bildarchiven oder in der wissenschaftlichen Visualisierung.

DEFINITIONEN:

[0006] Unter digitaler Staubentfernung ist ein Verfahren zu verstehen, in dem Einzelbilddefekte in einer Bildsequenz semi-automatisch oder automatisch erkannt und entfernt werden. Bei analogem Film ist ein solcher Fehler z.B. durch Fremdkörper bei der Aufnahme oder im Kopiervorgang begründet. Nach einer Digitalisierung der Einzelbilder eines Filmes können Defekte digital entfernt werden.

[0007] Unter einer Bildsequenz verstehen wir eine Abfolge von Einzelbildern eines Films oder Videos. Werden diese in schneller Abfolge angezeigt, erscheint dies als kontinuierliche Bewegung. Typischerweise werden Bildwiederholraten von 24 (Film) und 25/30/50/60 (Video) verwen-

det. Werden die einzelnen Bilder eines Films oder Videos digitalisiert, bzw. liegen bereits durch die Aufnahme in digitaler Form vor, können diese durch bekannte Verfahren und Algorithmen zur Manipulation von Einzelbildern bearbeitet werden.

[0008] Unter Einzelbilddefekten sind Defekte in einer Bildsequenz zu verstehen, welche nur in einem Bild vorkommen, und in den beiden benachbarten Bildern nicht vorhanden sind. In Ausnahmefällen können solche Fehler auch in 2 oder 3 benachbarten Bildern vorhanden sein, insbesondere wenn diese durch einen Kopiervorgang vervielfältigt wurden.

[0009] Unter Bewegungsanalyse verstehen wir ein Verfahren, bei dem die Bewegung von Objekten und Bildsegmenten durch einen Algorithmus erkannt wird. Mit Hilfe einer BewegungsanaIyse können bewegte Objekte in einer Bildsequenz von Einzelbilddefekten unterschieden werden.

[0010] Unter Player verstehen wir ein Softwareprogramm, mit dessen Hilfe eine Bildsequenz mit einer vorgegebenen Bildwiederholrate, angeben in Bildern pro Sekunde, abgespielt werden kann. Player können Zusatzfunktionalität wie die Anzeige von Bildmasken, oder den Vergleich mehrere Versionen in geteilten Bildbereichen im „Splitscreen" Verfahren besitzen.

[0011] Unter Manipulationsvektor verstehen wir eine Datenstruktur die sowohl einen örtlichen Bezug eines Bildelements zu einem Referenzbildelement herstellt, als auch eine Manipulationsmethode des Referenzbildelements beschreibt. Eine Manipulation kann beispielsweise eine Helligkeitskorrektur des Bildelements sein.

[0012] Eine „Recheneinheit" kann sowohl Software- als auch Hardwareelemente aufweisen und umfasst mindestens einen Prozessor. Bei dem Prozessor kann es sich insbesondere um einen Mikroprozessor handeln. Die Recheneinheit kann über einen Speicher verfügen, insbesondere um Werte, Anforderungen sowie Berichte abrufbar zu speichern. Weiterhin kann die Recheneinheit als Teil eines Netzwerkes, insbesondere als Client oder Server, ausgebildet sein. Auch kann das System zur digitalen Staubentfernung sowohl einen Client, insbesondere als Eingabeeinheit, als auch einen Server umfassen. Die Recheneinheit kann mit einem maschinenlesbaren Medium zusammenwirken, insbesondere um durch ein Computerprogramm mit Programmcode ein erfindungsgemäßes Verfahren durchzuführen. Weiterhin kann das Computerprogramm auf dem maschinenlesbaren Medium abrufbar gespeichert sein. Insbesondere kann es sich bei dem maschinenlesbaren Medium um eine CD, DVD, Blu-Ray Disc, einen Memory-Stick oder eine Festplatte handeln. Das Computerprogramm kann insbesondere als ausführbare Datei ausgebildet sein.

[0013] Im folgenden wird die Erfindung mit der Hilfe von Skizzen im Detail beschrieben und an Hand des oben angeführten exemplarischen Anwendungsfalls der digitalen Staubentfernung in Bildsequenzen verdeutlicht.

[0014] Abbildung 1 illustriert ein Verfahren entsprechend einer exemplarischen Ausgestaltung. In einer Bildsequenz (100) wird für ein Einzelbild (101) nach einem bewegungskompensierten Vergleich mit den vor- und nachfolgenden Einzelbildern (102) und (103) in jedem Bildelement (104) nach Schritt a.) des Verfahrens ein Verlässlichkeitswert V zugewiesen.

[0015] Abbildung 2 illustriert die Aufteilung eines Einzelbildes (200) in rechteckige Elemente (201), (202) mit einem konstanten Verlässlichkeitswert V. In jedem Bereich kann ein Bildelement einen unterschiedlichen Manipulationsvektor (M) besitzen. Es sind exemplarisch nur 2 Bereiche gezeigt, in der Durchführung der Methode wird das gesamte Bild (200) unterteilt.

[0016] Abbildung 3 illustriert die Aufteilung eines Einzelbildes in Segmente mit beliebiger Form (301), (302) denen ein konstanter Verlässlichkeitswert V zugewiesen wird. Diese Bereiche müssen nicht zwingend das gesamte Bild umfassen und können auch überlappend sein. Sind Bereiche überlappend wird für ein Bildelement jener Manipulationsvektor (303), (304) angewandt, dessen Bereich den höheren Verlässlichkeitswert besitzt.

[0017] Abbildung 4 illustriert in einem Einzelbild (400) bei gegebenen Referenzverlässlichkeitswert (401) das Verfahren (402) zum Aufbau der Manipulationstabelle (403). Ist für ein Bildelement der Verlässlichkeitswert größer gleich dem Referenzverlässlichkeitswert Ve: wird im Originalbild das entsprechende Bildelement durch den berechneten Wert des Manipulationsvektors M’ er-

setzt (404). Im Sonderfall, dass der Manipulationsvektor bereits den zu ersetzen Wert für das Bildelement enthält gilt M’=M), ist dieser durch Manipulationsmethode und Parameter gegeben, gilt M’=r(M) wobei r die Funktion zur Berechnung eines (manipulierten) Bildelements bezeichnet. In der Manipulationstabelle (403) wird für dieses Bildelement die geometrische Position, der Verlässlichkeitswert und der Originalwert des Bildelements gespeichert (405). Ist für ein Bildelement der Verlässlichkeitswert kleiner als der Referenzverlässlichkeitswert Vre: SO bleibt das Originalbild unverändert, in der Manipulationstabelle (403) wird für dieses Bildelement die geometrische Position, der Verlässlichkeitswert und der Manipulationsvektor gespeichert (406).

Claims

Patentansprüche

1. Ein Verfahren zur Bestimmung und Speicherung eines Manipulationsvektors, insbesondere bei der digitalen Staubentfernung, dadurch gekennzeichnet, dass folgende Verfahrensschritte durchgeführt werden:

a. Eine nach Stand der Technik entsprechende Bestimmung des Verlässlichkeitswertes V für jedes Bildelement durch den Vergleich benachbarter bewegungskompensierter Bilder,

b. Eine nach Stand der Technik entsprechende Bestimmung des Manipulationsvektors M für Bildelemente mit einem Verlässlichkeitswert V größer als 0,

c. Zusammenfassen von Bereichen mit gleichen Verlässlichkeitswerten,

d. Anwendung des Manipulationsvektors (M) in der Originalsequenz wenn dieser größer als ein Referenzverlässlichkeitswert Vier ISt,

e. Speicherung der Position eines Bildelements und des Verlässlichkeitswertes V wobei im Falle dass der Verlässlichkeitswert V kleiner als der Referenzverlässlichkeitswert Vrer Ist der Manipulationsvektor gespeichert wird und im Falle dass der Verlässlichkeitswert V größer oder gleich der Referenzverlässlichkeitswert Ver ist der originale Wert des Bildelements gespeichert wird,

f. Speicherung des Referenzverlässlichkeitswertes Vrer für jedes Einzelbild,

g. Anwendung des Manipulationsvektors M beim Abspielen einer Bildsequenz in Abhängigkeit von einem geänderten Referenzverlässlichkeitswert V’,er,

h. neuerliche Anwendung des Manipulationsvektors M beim Kopieren einer Bildsequenz in Abhängigkeit von einem Referenzverlässlichkeitswert Vrer sodass die Werte der Bildelemente in der original Bildsequenz verändert werden (wie in Schritt d), Neuberechnung der Manipulationstabelle (wie in Schritt e) und neuerliche Speicherung des Referenzverlässlichkeitswerts (wie in Schritt f).

2. Ein Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Manipulationsvektor M für zusammenhängende Segmente, definiert in Schritt 1c, konstant ist.

3. Ein Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Speicherung der Verlässlichkeitswerte und Manipulationsvektoren in einer externen Manipulationstabelle durchgeführt wird.

4. Ein Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Speicherung der kombinierten Verlässlichkeitswerts und Manipulationsvektors innerhalb der Originalbilder, entweder in einem weiteren Bildkanal oder in der Headerinformation, durchgeführt wird.

5. Ein Verfahren nach Anspruch 1, 2, 3 oder 4 bei dem der Manipulationsvektor durch die Angabe der Manipulationsmethode (Algorithmus) und deren Parameter gegeben ist.

6. Ein Verfahren nach Anspruch 1, 2, 3 oder 4 bei dem der Manipulationsvektor durch die Angabe eines neuen Bildwertes (Rot-, Grün-, Blau-Werte für ein Pixel) für das Bildelement gegeben ist.

7. Einen Player nach einem der vorhergehenden Ansprüche, zur Qualitätsbeurteilung, bei dem durch die Anderung des Referenzverlässlichkeitswerts dynamisch die Anwendung einer Bildmanipulation einer Bildsequenz verändert wird.

Hierzu 2 Blatt Zeichnungen