DE102007036215B4

DE102007036215B4 - Störstellenermittlung in Bildern/Videos

Info

Publication number: DE102007036215B4
Application number: DE200710036215
Authority: DE
Inventors: Patrick Ndjiki-Nya
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2007-08-02
Filing date: 2007-08-02
Publication date: 2009-09-10
Anticipated expiration: 2027-08-03
Also published as: DE102007036215A1

Abstract

Vorrichtung zur Ermittlung von Stellen von Störungen innerhalb eines interessierenden Bereiches (14; 80; 80'; 96; 106) eines zu untersuchenden Bild/Videos (18; 72; 100) relativ zu einem Referenzbild/Referenzvideo (20), mit
einer Einrichtung (10) zum, für Bildpunkte (12) des interessierenden Bereichs, Bestimmen einer Bildinformationsübereinstimmungsqualität zwischen dem zu untersuchenden Bild/Video und dem Referenzbild/Referenzvideo an einem Ort des jeweiligen Bildpunkts;
einer Einrichtung (30) zum Identifizieren einer Anzahl von Clustern (32) von benachbarten Bildpunkten unter den Bildpunkten des interessierenden Bereichs, für die die bestimmte Bildinformationsübereinstimmungsqualität eine vorbestimmte Qualitätsschwelle (Q_s) unterschreitet, und deren Anzahl eine vorbestimmte Zahl überschreitet, um eine vorläufige Anzahl an Störstellen zu erhalten;
einer Einrichtung (58) zum Reduzieren der vorläufigen Anzahl von Störstellen abhängig von
einer Referenzhäufigkeitsverteilung (40) der Bildinformationsübereinstimmungsqualität der Bildpunkte des interessierenden Bereichs in einem ersten Teil (38) von Bildpunkten des zu untersuchenden Bilds/Videos, in dem sich keines der Anzahl von Clustern (32) befindet, und einer...

Description

Die vorliegende Erfindung bezieht sich auf die Störstellenermittlung in Bildern/Videos.
Durch die Verarbeitung von Bild/Videosignalen kann es zu Störungen bzw. Artefakten in dem Bild/Videomaterial kommen, die für den Betrachter sichtbar sind. Das Ausmaß der jeweiligen Störung kann natürlich variieren. Je weniger subjektiv relevante Aspekte einer Störung von einer ursprünglichen Fassung des Bilds/Videomaterials abweichen, desto weniger nimmt sie ein Betrachter wahr. Störungen bzw. Artefakte können beispielsweise von einem Datenverlust bei einer verlustbehafteten Kompression des ursprünglichen Bilds/Videomaterials herrühren. Der Datenverlust macht sich dann in den rekonstruierten Bildern/Videos bemerkbar. Ein weiteres Beispiel für Anwendungen, bei denen durch die Verarbeitung des Bilds/Videomaterials Störungen bzw. Artefakte auftreten, sind beispielsweise Textur-Analyse/Synthese-Verfahren, bei denen analyseseitig zur Datenreduktion beispielsweise einige Bereiche des ursprünglichen Bild/Videomaterials ausgewählt werden, die für den Betrachter bei der Betrachtung des Bild/Videomaterials weniger relevant sind bzw. weniger wahrgenommen werden, d. h. Textur enthalten, wie z. B. Gras oder Laub im Hintergrund eines Bild/Videomaterials, und die dann verworfen werden, um syntheseseitig rekonstruiert zu werden, wie z. B. auf Basis des restlichen Bildinhaltes oder auf der Basis einer beispielsweise analyse- und syntheseseitig vereinbarten Texturdatenbank.
Die entstehenden Störungen bzw. Artefakte haben wie oben bereits erwähnt verschieden große Auswirkungen auf das Urteil, das ein Betrachter über die Qualität des interes sierenden Bilds/Videomaterials gewinnt. Schwierig ist es, ein objektives und automatisch ermittelbares Kriterium zu bestimmen, das in guter Übereinstimmung mit der menschlichen Wahrnehmung in einem zu untersuchenden Bild/Videomaterial angibt, wo störende Stellen in demselben befindlich sind. Ein möglicher Ansatz besteht darin, die Abweichung der Pixelwerte zwischen dem zu untersuchenden Bild/Videomaterial und der entsprechenden Pixelwerte des Referenzbilds/Videomaterials zu verwenden, wie z. B. das Quadrat der Differenz, wie es z. B. dem PSNR-Wert zugrunde liegt. Es hat sich allerdings herausgestellt, dass eine solche Auswertung allein der Pixelwertunterschiede nicht zu einem Qualitätsmaß führt, das gut mit dem subjektiven Qualitätseindruck des Betrachters korreliert.
Mit der Videoqualitätsbeurteilung beschäftigen sich unter anderem bereits ITU-R WG6Q 6/39-E, „Final Report from the Video Quality Experts Group an the Validation of Objective Models of Video Quality Assessment, Phase II”, August 2003; E. P. Ong, X. Yang, W. Lin, Z. Lu, and S. Yao, ”Video Quality Metric for Low Bitrate Compressed Video”, Proc. ICIP 2004, IEEE International Conference an Image Processing, p. 3531-3534, Singapore 2004; und S. Winkler, ”Digital Video Quality”, ISBN 0-470-02404-6, Wiley, 2005.
Bei NDJIKI-NYA, P.; HINZ, T.; WIEGAND, TH.: GENERIC AND ROBUST VIDEO CODING WITH TEXTURE ANALYSIS AND SYNTHESIS. In: IEEE International Conference an Multimedia and Expo, Juli 2007, S. 1447-1450, wird ein Merkmalspunkt-basiertes Fehlerkriterium als
vorgeschlagen, wobei Q(t) ein Videoqualitätsmaß (VQM, video quality measure) für Einzelbilder darstellt. Der Ausdruck γ kann frei gewählt werden und steuert das Intervall von δ(t), für das der Kontrast des Maßes verstärkt oder verringert wird. Der Nenner bei (1) zeigt einen Normierungsfaktor. δ(t) ist ein Differentialausdruck, der die Disparität zwischen einer gegebenen Referenz und einem entsprechenden verzerrten Signal bewertet. δ(t) ist als
definiert, wobei E_o(t) und E_d(t) die Kostenfunktionen des ursprünglichen bzw. des verzerrten Signals sind. Die Bildqualität wird als unerfreulich angesehen, wenn Q(t) geringer ist als eine gegebene Schwelle.
Bei der US 2003 076 334 A1 werden Systeme und Verfahren zum Reduzieren von Bitraten durch Ersetzen einer Originaltextur in einer Videosequenz durch eine synthetisierte Textur vorgeschlagen. Das Reduzieren der Bitrate der Videosequenz beginnt anhand eines Identifizierens und Beseitigens einer ausgewählten Textur aus Rahmen in einer Videosequenz. Die beseitigte Textur wird analysiert, um Texturparameter zu erzeugen. Die neue Textur wird unter Verwendung der Texturparameter in Kombination mit einem Satz von Einschränkungen synthetisiert. Anschließend wird die neu synthetisierte Textur zurück in die Rahmen der Videosequenz abgebildet, aus denen die ursprüngliche Textur beseitigt wurde. Die resultierenden Rahmen werden anschließend codiert. Die Bitrate der Videosequenz mit der synthetisierten Textur ist geringer als die Bitrate der Videosequenz mit der ursprünglichen Textur. Ferner ist die Fähigkeit eines Decodierers, die neue Videosequenz zu decodieren, nicht beeinträchtigt, da keine Annahmen bezüglich der Textursynthesefähigkeiten des Decodierers gemacht werden.
Bei der EP 1 635 578 A2 werden ein Verfahren und eine Anordnung zur Videocodierung, wobei die Videocodierung Texturanalyse und Textursynthese umfasst, sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium vorgeschlagen. Das Verfahren, die Anordnung, das Computerprogramm sowie das Speichermedium sind insbesondere einsetzbar zur Reduktion der Datenrate bei der Übertragung von Videodaten. Hierfür wird vorgeschlagen, dass encoderseitig eine Texturanalyse von Videoszenen erfolgt zur Ermittlung von Bereichen synthetisierbarer Textur, und unter Verwendung von Informationen über ermittelte Bereiche synthetisierbarer Textur und von Informationen über die Textur dieser Bereiche, die Videosequenz kodiert wird und Meta-Daten zur Beschreibung der ermittelten Bereiche und zur Beschreibung der synthetisierbaren Textur erzeugt werden. Decoderseitig werden die codierten Daten und Meta-Daten ausgewertet und die Videoszenen rekonstruiert, indem durch Auswertung der Meta-Daten für ermittelte Bereiche Texturen synthetisch generiert werden.
Bei YOON, S. Y.; ADELSON, E. H.: Subband texture synthesis for image coding. In: SPIE Conference an Human Vision and Electronic Imaging III, 1998, Bd. 3299, S. 489-497, wird ein Algorithmus vorgeschlagen, der ein Bild in Teilbänder mit einer steuerbaren Pyramide zerlegt und die Textur in Bezug auf die Teilband-Histogramme und das Pixel-Histogramm charakterisiert. Da die Teilband-Histogramme alle eine ähnliche Form aufweisen, kann jedes mit einem parametrischen Modell einer niederen Ordnung beschrieben werden. Der resultierende Textur-Descriptor ist ziemlich kompakt. Diese Parameter werden in Kombination mit einem anderem Datensatz, die die Grenze dieser Region darstellen, dazu verwendet, die Region auf der Empfängerseite zu synthetisieren und aufzufüllen.
Die Aufgabe der vorliegenden Erfindung besteht darin, ein Konzept zur Störstellenermittlung zu schaffen, das subjektiven Qualitätseindrücken eines Betrachters Rechnung trägt.
Diese Aufgabe wird durch eine Vorrichtung gemäß Anspruch 1 oder 16 und ein Verfahren gemäß Anspruch 28 oder 29 gelöst.
Nach einem Ausführungsbeispiel der vorliegenden Erfindung umfasst eine Vorrichtung zur Ermittlung von Stellen von Störungen innerhalb eines interessierenden Bereichs eines zu untersuchenden Bilds/Videos relativ zu einem Referenzbild/Video eine Einrichtung zum, für Bildpunkte des interessierenden Bereichs, Bestimmen einer Bildinformations übereinstimmungsqualität zwischen dem zu untersuchenden Bild/Video und dem Referenzbild/Video an einem Ort des jeweiligen Bildpunkts. Eine Einrichtung zum Identifizieren ist vorgesehen, um eine Anzahl von Clustern von benachbarten Bildpunkten unter den Bildpunkten des interessierenden Bereichs, für die die bestimmte Bildinformationsübereinstimmungsqualität eine vorbestimmte Qualitätsschwelle unterschreitet, und deren Anzahl eine vorbestimmte Zahl überschreitet, zu identifizieren, um eine vorläufige Anzahl an Störstellen zu erhalten. Eine weitere Einrichtung ist zum Reduzieren der vorläufigen Anzahl von Störstellen abhängig von einer Referenzhäufigkeitsverteilung der Bildinformationsübereinstimmungsqualität der Bildpunkte des interessierenden Bereichs in einem ersten Teil von Bildpunkten des zu untersuchenden Bilds/Videos, in dem sich keines der Anzahl von Clustern befindet, und einer – für zweite Teile des interessierenden Bereichs, in denen sich ein Cluster der Anzahl von Clustern befindet – Einzelhäufigkeitsverteilung der Bildinformationsübereinstimmungsqualitäten der Bildpunkte des interessierenden Bereiches in dem jeweiligen zweiten Teil; oder einem Auftreten von Ausreißern unter der Bildinformationsübereinstimmungsqualität der Bildpunkte in dem interessierenden Bereich in den jeweiligen Clustern vorgesehen.
Gemäß dem ersten Aspekt werden Ausführungsbeispiele beschrieben, die so ausgestaltet werden können, dass eine gute Korrelation zwischen nicht-ausgesonderten Kacheln, die die Stellen von potentiellen Störungen anzeigen, und dem subjektiven Eindruck resultiert, den ein Betrachter von dem zu untersuchenden Bild/Videomaterial gewinnt.
Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen näher erläutert. Es zeigen:
1 ein Flussdiagramm für eine Störstellenermittlung gemäß einem Ausführungsbeispiel;
2 eine schematische Zeichnung eines Bildausschnitts eines Bilds/Videos mit einem interessierenden Bereich gemäß einem Ausführungsbeispiel;
3 ein Flussdiagramm für eine Einstellung eines zu synthetisierenden Bereiches gemäß einem Ausführungsbeispiel;
4 eine schematische Darstellung eines Bildes mit einem zu synthetisierenden Bereich und einem interessierenden Bereich gemäß einem Ausführungsbeispiel;
5 eine schematische Darstellung des Bildes von 4 mit zu synthetisierendem Bereich nach exemplarischer Verkleinerung gemäß 3;
6 einen schematische Darstellung einer möglichen Positionierung des interessierenden Bereiches relativ zu dem zu synthetisierenden Bereich gemäß einem Ausführungsbeispiel mit mit dem zu synthetisierenden Bereich überlappender Platzierung der Texturflicken zur Synthetisierung gemäß einem Ausführungsbeispiel;
7 eine schematische Darstellung eines Ausschnitts eines Videos mit einem zu synthetisierenden Bereich und einem interessierenden Bereich gemäß einem Ausführungsbeispiel;
8 eine schematische Darstellung eines Ausschnitts eines Videos mit einem zu synthetisierenden Bereichs und einem Überlappungsbereich gemäß einem Ausführungsbeispiel;
9 ein Flussdiagramm einer Vorgehensweise für eine Einstellung eines zu synthetisierenden Bereiches bei einem Videomaterial unter Verwendung sowohl eines räumlichen als auch zeitlichen Qualitätsmaßes gemäß einem Ausführungsbeispiel; und
10 ein Flussdiagramm zur Veranschaulichung für eine Einstellung eines zu synthetisierenden Bereiches bei einem Videomaterial unter Verwendung sowohl eines räumlichen als auch zeitlichen Qualitätsmaßes gemäß einem weiteren Ausführungsbeispiel.
1 zeigt ein Ausführungsbeispiel für eine Störstellenermittlung, d. h. für die Ermittlung von Stellen von Störungen innerhalb eines interessierenden Bereichs eines zu untersuchenden Bilds/Videos relativ zu einem Referenzbild/Video. Zunächst wird 1 in dem Zusammenhang mit Bildern beschrieben, also Standbildern oder Photos, bei denen beispielsweise die einzelnen Bildpunkte bzw. Pixel in regelmäßigen Spalten und Zeilen zugeordnet sind. Die Störstellenermittlung nach 1 ist dabei ohne Weiteres aber auch auf Videos anwendbar, d. h. auf eine Sequenz von Bildern, wobei jedes Bild einem Zeitrahmen bzw. einem Frame einer Folge von Frames zugeordnet ist und sich gegebenenfalls aus Halbbildern zusammensetzt. Auf die mögliche Übertragung der nachfolgenden Beschreibung von Bildern auf Videos wird im Folgenden an entsprechenden Stellen eingegangen. Ferner kann es sich im Folgenden bei den Bildern/Videos sowohl um grauwertskalierte als auch farbige Bilder/Videos handeln, ohne dass dies an diesen Stellen wiederholt erwähnt wird.
Die Störstellenermittlung nach 1 beginnt bei 10 mit einer Qualitätsmaßbestimmung. Insbesondere wird in Schritt 10 innerhalb des interessierenden Bereiches, in dem die störenden Stellen ermittelt werden sollen, bildpunktweise eine Bildinformationsübereinstimmungsqualität, wie z. B. ein örtliches Qualitätsmaß, bestimmt, die eine Abweichung zwischen Bildinformationen in dem zu untersuchenden Bild/Video und dem Referenzbild/Video an einem Ort eines jeweiligen Bildpunkts anzeigt.
In 2 ist dies für den Fall des Bildes exemplarisch veranschaulicht. 2 zeigt einen Ausschnitt eines Bildes, das sich aus exemplarisch regelmäßig in Zeilen und Spalten angeordneten Bildpunkten 12 zusammensetzt. Der dargestellte Ausschnitt umfasst insbesondere einen exemplarischen interessierenden Bereich 14, innerhalb dessen potentielle Stellen ermittelt werden sollen, die für einen Betrachter störend wirken könnten. In 2 ist der interessierende Bereich 14 exemplarisch ein einfach zusammenhängender rechteckiger Bereich. Diese Form ist allerdings lediglich exemplarisch gewählt worden, und jede Form des interessierenden Bereiches 14 ist möglich, wobei beispielsweise anhand der 4–8 weitere Ausführungsbeispiele beschrieben werden.
Bei der Qualitätsmaßbestimmung 10 wird nun den Bildpunkten 12 jeweils eine Qualität zugeordnet, die eine Abweichung zwischen Bildinformationen in dem zu untersuchenden Bild und einem Referenzbild an einem Ort des jeweiligen Bildpunkts angibt. Dies ist in 2 bei 16 angedeutet, wo die Lage des Ausschnitts 11 mit dem interessierenden Bereich 12 in dem zu untersuchenden Bild 18 angedeutet ist, während daneben skizzenhaft das Referenzbild 20 angedeutet ist, in dem mit gestrichelter Linie 22 der Bildausschnitt angedeutet ist, der dem interessierenden Bereich 12 in dem zu untersuchenden Bild 18 entspricht. Beispielsweise ist das zu untersuchende Bild 18 aus dem Referenzbild 20 dadurch entstanden, dass ein Teil innerhalb der Bereichs 12 des Referenzbildes 20 durch Synthese rekonstruiert worden ist. Eine andere Möglichkeit besteht darin, dass das Bild 18 aus dem Bild 20 durch Datenkompression und anschließende Rekonstruktion erhalten worden ist. Es bestehen natürlich auch andere Möglichkeiten des Zusammenhangs zwischen dem zu untersuchenden Bild 18 und dem Referenzbild 20. So können beispielsweise Störungen in dem zu untersuchenden Bild 18 relativ zu dem Referenzbild 20 dadurch entstanden sein, dass das Referenzbild 20 auf einer fehlerhaften Übertragungsstrecke 20 unter Informationsverlust übertragen worden ist.
Die den einzelnen Bildpunkten 12 innerhalb des interessierenden Bereiches 14 zugeordneten Qualitätswerte geben beispielsweise insbesondere Abweichungen von Bildgradienten zwischen dem zu untersuchenden Bild 18 und dem Referenzbild 20 an. Dazu wird das Bild 18 beispielsweise mit einer Kanten in einer bestimmten ersten Richtung, wie z. B. der x-Richtung 24 hervorhebenden Filter gefiltert und ebenso das Referenzbild 20, um basierend darauf eine Differenz der so gefilterten Versionen der Bilder 18 und 20 für die Bildpunkte 12 innerhalb des Bereiches 14 als Basis für die Berechnung der Qualitätswerte für die einzelnen Bildpunkte heranzuziehen. Alternativ oder zusätzlich könnten dabei beispielsweise Differenzen zwischen gefilterten Versionen der Bilder 18 und 20 verwendet werden, die durch Filtern mit einem Kanten in einer zweiten zu der ersten Richtung 24 senkrechten Richtung 26 hervorhebenden Filter erhalten wurden. Bei den Filtern kann es sich um Gradientenfilter handeln, und insbesondere um solche Filter, bei denen das jeweilige Bild 18 bzw. 20 mit einer geeigneten Filterimpulsantwort gefaltet wird.
Gemäß einem detaillierteren Ausführungsbeispiel zur pixelweisen Bestimmung der Qualität wird letztere für ein Pixel in der x-ten Spalte und der y-ten Zeile beispielsweise zu
bestimmt, wobei τ ein frei auswählbarer Parameter ist, t den potentiellen Fall aufgreift, dass das zu untersuchende Bild 18 Teil eines Videos oder einer Bildsequenz ist, und zwar das Bild in einem dem Zeitpunkt t entsprechenden Zeitrahmen, und δ wie folgt definiert ist, um Bildgradientenabweichungen zwischen dem Referenzbild 20 und dem zu untersuchenden Bild 18 wiederzuspiegeln.
Es sei darauf hingewiesen, dass in der vorhergehenden Formel sowie in den nachfolgenden Formeln zwar der Zeitparameter t immer erscheint, dass aber in dem Fall von Standbildern dieser Parameter „überflüssig” ist und somit in diesem Fall einfach fehlen könnte. Er wird jedoch in diesen Formeln gleich eingeführt, damit die Formeln bei den nachfolgenden Erläuterungen zur Möglichkeit der Übertragung der Stillbildausführungsbeispiele auf Videos dieselben nicht noch einmal wiederholt werden müssen.
Ferner wird darauf hingewiesen, dass in den nachfolgenden Ausführungsbeispielen zwar verschiedene Bildgradientenabweichungen verwendet werden, um verschiedene Qualitäten zu bestimmen, nämlich solche die horizontale bzw. vertikale Gradientenabweichungen δ_h bzw. δ_v bewerten, um die nachfolgende Auswertung, d. h. die nachfolgenden Schritte in 1) der sich ergebenden Qualitätsverteilung getrennt für diese Qualitäten durchzuführen, dass aber ferner die Möglichkeit bestünde, die beiden Gradientenabweichungen zu einer gemischten bzw. isotropen Gradientenabweichung δ_k zu kombinieren, um zu einem gemeinsamen Qualitätsmaß zu gelangen. Im folgenden wird allgemein δ verwendet, wenn sich die entsprechende Aussage auf alle verschiedenen Gradientenabweichungen beziehen soll. Ebenso wird auch nicht zwischen Q_s(x,y,t) unterschieden, wie es sich aus δ_h bzw. aus δ_v ergibt. Vielmehr werden die nachfolgenden Schritte lediglich anhand von Q_s(x,y,t) beschrieben, wobei in dem exemplarischen Fall der Verwendung von δ_h und δ_v die dort beschriebenen Schritte getrennt für beide Qualitätsmaße durchgeführt werden sollen, also für Q_s,h(x,y,t) und Q_s,v(x,y,t).
Wie bereits erwähnt, ist die Wahl des Parameters τ frei. Er kann beispielsweise zwischen 0 ausschließlich und 50 ein schließlich liegen. Durch geeignete Wahl des Parameters τ kann ein Intervall von Werten für δ eingestellt werden, für den der Kontrast des Qualitätsmaßes verbessert bzw. reduziert ist.
Die Variable δ stellt wie bereits erwähnt einen Differenzterm dar, der eine Abweichung zwischen dem Referenzbild 20 und dem zu untersuchenden Bild 18 abschätzt, und beispielsweise durch
definiert ist. Dabei definiere „*” eine Faltung, und m'_h(x,y,t) und m'_v(x,y,t) seien in dem vorliegenden exemplarischen Fall von 1 identisch und definierten den interessierenden Bereich 14, indem diese Funktionen für alle Bildpunkte 12 innerhalb des Sichtbereiches 14 den Wert 1 annähmen und sonst 0. f_h bezeichne ein Gradientenfilter, das horizontale Kanten hervorhebt, wohingegen f_v ein verti kale Kanten hervorhebendes Gradientenfilter sei. Die beiden Filter sind beispielsweise lineare Filter, wie z. B. ein Sobel-Filter. Die beiden Filter können beispielsweise definiert sein als
Ferner bezeichne o(x,y,t) das Referenzbild und d(x,y,t) das zu untersuchende Bild 18.
Nach der vorhergehenden genauen Wiedergabe eines Ausführungsbeispiels für die Qualitätsmaßbestimmung 10 sei betont, dass die Qualitätsbestimmung 10 natürlich nicht auf die vorhergehend beschrieben örtlichen Qualitätsmaße eingeschränkt ist. Andere Qualitätsmaße können ebenfalls verwendet werden. Beispielsweise könnte das Qualitätsmaß auch auf Differenzen zwischen den Pixelwerten des Referenz- und interessierenden Bildes 20 bzw. 18 basieren, d. h. der jeweiligen Grau- und/oder Farbkomponenten bzw. der jeweiligen Luma- und/oder Chromakomponenten oder einer Kombination dieser Komponenten der einzelnen Bildpunkte.
Nach der Qualitätsmaßbestimmung 10 findet eine Identifikation 30 verdächtiger Cluster von benachbarten Bildpunkten 12 unter den Bildpunkten 12 des interessierenden Bereichs 14 statt, für die die jeweilige bestimmte Qualität Q(x,y,t) eine vorbestimmte Schwelle unterschreitet, und deren Anzahl eine vorbestimmte Zahl überschreitet. Um dies zu veranschaulichen, sei wieder auf 2 Bezug genommen. 2 zeigt exemplarisch Bildpunkte 12 innerhalb des interessie renden Bereiches 14 schraffiert an, deren bestimmtes Qualitätsmaß den vorher erwähnten vorbestimmten Schwellwert unterschreitet. Wie es zu sehen ist, ergeben sich neben einigen kleineren Clustern von benachbarten Bildpunkten 12, die die vorher erwähnte Qualitätsschwelle unterschreiten, in 2 exemplarisch auch ein größeres Cluster 32 von 15 benachbarten Bildpunkten 12 innerhalb des interessierenden Bereiches 14, deren Qualitätsmaß die Qualitätsschwelle unterschreitet. Gemäß einem Ausführungsbeispiel beträgt nun die Mindestanzahl für identifizierte verdächtige Cluster 12, d. h. Cluster von zwölf Bildpunkten oder mehr, für die vorher erwähnte Bedingung gilt, werden in Schritt 30 als verdächtiges Cluster identifiziert. In diesem Fall gehörte das Cluster 32 aus 2 zu den verdächtigen Clustern, wobei in 2 exemplarisch lediglich eins gezeigt ist. Natürlich kann die Mindestanzahl auch anders gewählt werden. Beispielsweise liegt sie in einem Bereich von 8 bis 20, oder von 10 bis 15. Die bisher und soeben erwähnten Zahlenbeispiele für die Mindestanzahl gelten beispielsweise für eine Auflösung von 352·288 Pixeln und können für andere Bildauflösungen X·Y beispielsweise mit dem Faktor. (X·Y)/(352·288) gewichtet werden, um zu einer entsprechenden Mindestzahl bzw. zu einem Bereich für dieselbe für andere Bildauflösungen zu gelangen, wie z. B. durch eine weitere Quantisierung des gewichteten Werts auf eine Ganzzahl.
Nachfolgend erfolgt eine Ermittlung 34 einer Referenzhäufigkeitsverteilung der Qualität derjeniger Bildpunkte 12 des interessierenden Bereiches 14, in denen sich keines der in Schritt 30 als verdächtig identifizierten Cluster 32 befindet. Genauer ausgedrückt sind die Bildpunkte 12 des Bildes 18 in Blöcke bzw. Kacheln eingeteilt, und die Ermittlung der Referenzhäufigkeitsverteilung findet bezüglich der Bildpunkte 12 des interessierenden Bereiches 14 in denjenigen Kacheln statt, in denen sich kein verdächtiges Cluster 32 befindet. Die Einteilung der Bildpunkte 12 in Kacheln ist in der 2 mit gestrichelten Linien angedeu tet. Wie es zu sehen ist, ist in dem vorliegenden Fall exemplarisch jede Kachel 8x8 Bildpunkte groß, und der interessierende Bereich 14 ist exemplarisch in zwölf Kacheln eingeteilt, wobei einige der Kacheln nur teilweise mit dem interessierenden Bereich 14 überlappen. In 2 ist exemplarisch mit dem Bezugszeichen 36 diejenige Kachel hervorgehoben worden, in der sich das Cluster 32 befindet. Als Ermittlung der Referenzhäufigkeitsverteilung in Schritt 34 wird folglich gemäß einem Ausführungsbeispiel die Häufigkeitsverteilung der Qualitätswerte der Bildpunkte 12 in den anderen Kacheln als den Kacheln 36 durchgeführt, die mit dem interessierenden Bereich 14 überlappen, wobei in 2 hierfür stellvertretend die linke obere Kachel mit dem Bezugszeichen 38 hervorgehoben ist. Es sei darauf hingewiesen, dass die Kacheleinteilung nicht zu dem interessierenden Bereich 14 ausgerichtet sein muss, obwohl in dem Fall von 2 exemplarisch die linke obere Ecke des interessierenden Bereiches 14 mit der linken oberen Ecke der Kachel 38 zusammenfällt. Ferner ist die Größe der Kacheln 38 nicht auf 8×8 beschränkt. Die Kacheln können vielmehr auch rechteckig sein oder sonst irgendeine Form aufweisen, um das Bild 18 zumindest in dem interessierenden Bereich 14 nicht-überlappend bzw. eindeutig und lückenlos einzuteilen. Gemäß einigen der nachfolgenden Ausführungsbeispielen entsprechen die Kacheln 38 beispielsweise Makroblöcken, wie sie beispielsweise durch eine Codierung festgelegt sind, die dazu verwendet worden ist, den Rest des Bildes 18 außerhalb des zu synthetisierenden Bereiches 12 zu codieren oder dazu vorgesehen ist, diesen restlichen Bereich zu codieren. Die Größe der Kacheln 38 kann beispielsweise zwischen 12×12 Bildpunkten einschließlich und 20×20 Bildpunkten einschließlich liegen bzw. anders ausgedrückt zwischen 144 Bildpunkten einschließlich und 400 Bildpunkten einschließlich.
In 2 liegen in den elf Kacheln 38, in denen kein verdächtiges Cluster 32 liegt, 528 Bildpunkte, und die durch deren Qualitätsmaße Q festgelegte Referenzhäufig keitsverteilung ist schematisch in 2 bei 40 gezeigt. Die Ermittlung der Referenzhäufigkeitsverteilung 40 kann beispielsweise eine Kategorieneinteilung umfassen, bei der der Wertebereich des Qualitätsmaßes Q in Kategorien bzw. Teilintervalle 42 eingeteilt wird. Die Anzahl dieser Kategorien liegt beispielsweise zwischen 50 einschließlich und 500 einschließlich. Dabei kann die Kategorieneinteilung entweder durch den möglichen Wertebereich des Qualitätsmaßes Q vorab festgelegt sein oder angepasst an die Statistik der Qualitätswerte der Bildpunkte in den Kacheln 38 durch Teilen der Spannweite dieser Qualitätswerte durch die Anzahl der gewünschten Kategorien 42a posteriori bestimmt werden. Die Kategorieneinteilung kann allerdings auch entfallen in dem Fall, dass das verwendete Qualitätsmaß an sich diskret ist, bzw. nur diskrete Qualitätswerte liefert.
Bei der Ermittlung 34 wird neben der Referenzhäufigkeitsverteilung 40 allerdings auch für jede Kachel 36, in der sich ein verdächtiges Cluster 32 befindet, eine Einzelhäufigkeitsverteilung 44 bestimmt. Beispielsweise wird hierbei die gleiche Kategorieneinteilung mit den gleichen Kategorienbreiten der einzelnen Kategorien 42 gewählt. Die Kategorieneinteilung kann allerdings auch anders gewählt sein, wie z. B. mit breiteren Kategorienbreiten.
Darauf folgend findet ein Aussondern 46 von verdächtigen Clustern 32 mit ähnlicher Einzelhäufigkeitsverteilung 44 zu der Referenzhäufigkeitsverteilung 44 statt. Anders ausgedrückt wird in dem Schritt 46 aus der Menge verdächtiger Cluster 32 jedes Cluster ausgesondert, dessen Einzelhäufigkeitsverteilung 44 zu der Referenzhäufigkeitsverteilung 40 gemäß einem vorbestimmten Ähnlichkeitsmaß eine Ähnlichkeitsschwelle überschreitet. Zur besseren Vergleichbarkeit kann es sein, dass die Referenzhäufigkeit 40 und die Einzelhäufigkeitsverteilungen 44 normiert 34 ermittelt werden, d. h. beispielsweise derart, dass die Fläche unterhalb der Häufigkeitsverteilung eine Eins ist.
Wie es aus den exemplarisch dargestellten Verteilungen 40 und 44 deutlich wird, in die mit einer gestrichelten Linie exemplarisch die bei der Identifikation 30 verwendete Qualitätsschwelle Q_s eingezeichnet ist, treten nicht nur in den Einzelhäufigkeitsverteilungen 44 für Werte von Q < Q_s Häufigkeiten von ungleich 0 auf sondern auch für die Referenzhäufigkeitsverteilung 44, da ja kleinere Cluster von Bildpunkten 12 mit einem örtlichen Qualitätsmaß kleiner der Qualitätsschwelle bei der Identifikation 30 nicht zu den verdächtigen Clustern gezählt worden sind.
Ein mögliches Ähnlichkeitsmaß bei der Aussonderung 46 sieht beispielsweise vor, dass die Summe der Beträge der Differenzen der einzelnen Häufigkeitswerte H zwischen Referenzhäufigkeitsverteilung 40 einerseits und Einzelhäufigkeitsverteilung 44 andererseits pro Kategorie 42 als Maß für die Unähnlichkeit bzw. die Abweichung der jeweiligen beiden Verteilungen 40 und 44 herangezogen wird. Natürlich kann auch ein anderes Maß herangezogen werden, das beispielsweise das Quadrat der Differenzen an den einzelnen Kategorien auswertet. Gemäß einem weiteren Ausführungsbeispiel wird die Ähnlichkeit zwischen Referenzhäufigkeitsverteilung 40 einerseits und Einzelhäufigkeitsverteilung 44 andererseits auf Basis eines l₁-Abstandes eines Histogrammschwerpunktes der Referenzhäufigkeitsverteilung 40 und der jeweiligen Einzelhäufigkeitsverteilung 44 durchgeführt, wobei der Histogrammschwerpunkt beispielsweise der Median ist.
Jeder der Ähnlichkeitswerte kann dann mit einer Ähnlichkeitsschwelle verglichen werden, wobei in dem vorhergehend exemplarisch genannten Fall der l₁-Norm-Bestimmung beispielsweise ein Ähnlichkeitsschwellwert in einem Bereich von 0,1 bis 0,2 und insbesondere beispielsweise ein Wert von 0,15 verwendet werden kann, um zu entscheiden, dass Einzelhäufigkeitsverteilungen, die um mehr als diesen Schwellwert von der Referenzhäufigkeitsverteilung 44 abweichen, eine Stelle in dem Bild 18 darstellen, die störend für den Betrachter wirkt. Diese Kacheln werden beispiels weise als ungültig markiert, während die anderen verdächtigen Cluster, deren Ähnlichkeit unterhalb der vorher erwähnten Schwelle liegen, aus der Menge der verdächtigen Cluster ausgesondert bzw. exkulpiert werden.
Lediglich vorsichtshalber wird darauf hingewiesen, dass auch andere Ähnlichkeitsmaße verwendet werden können, um zu entscheiden, ob eine Einzelhäufigkeitsverteilung 44 ausreichend ähnlich zu der Referenzhäufigkeitsverteilung 40 ist oder nicht. Insbesondere kann es sein, dass das Ähnlichkeitsmaß Ähnlichkeiten bei hohen Qualitätswerten Q mehr belohnt als Ähnlichkeiten bei niedrigen Q-Werten, wie z. B. durch höhere Gewichtung der Häufigkeitsdifferenz bei höheren Q-Werten.
In dem Fall der Verwendung mehrerer Qualitätsmaße, wie es im Vorhergehenden kurz skizziert wurde, nämlich der Verwendung von beispielsweise Q_s,h(x,y,t) und Q_s,v(x,y,t), umfasst der Schritt 46 beispielsweise das kumulative Zusammenfassen der nicht-aussondierten Cluster, wie sie sich aus Q_s,h(x,y,t) ergeben, und der nicht-aussondierten Cluster, wie sie sich aus Q_s,v(x,y,t) ergeben, zu einer gemeinsamen Menge von nicht-aussondierten Clustern. Alternativ geht der Schritt 46 in diesem Fall zunächst von einer kombinierten Menge von verdächtigen Clustern aus, wie sie sich aus der Auswertung von Q_s _, _h(x,y,t) und der Auswertung von Q_s,v(x,y,t) ergeben haben, aus der dann diejenigen Cluster aussondiert werden, bei denen die Auswertung des Q_s _, _h(x,y,t) oder die Auswertung des Qualitätsmaßes Q_s,v(x,y,t) wie im vorhergehenden beschrieben anzeigt, dass dieselbe eine ähnliche Einzelhäufigkeitsverteilung bezogen auf das jeweilige Qualitätsmaß Q_s _, _h(x,y,t) bzw. Q_s,v(x,y,t) aufweisen.
Exemplarisch zu dem Fall von 2 zurückkehrend, wird also in Schritt 46 entschieden, ob das verdächtige Cluster 32 bzw. die dasselbe umfassende Kachel 36 als Störstelle erkannt wird oder nicht. In letzterem Fall würde in dem interessierenden Bereich 14 von 2 keine Stelle als störend ermittelt werden, obwohl, wie es in 2 zu sehen ist, das Qualitätsmaß einiger Bildpunkte 12 innerhalb des interessierenden Bereiches 14 eine schlechte Qualität aufweisen bzw. die Qualitätsschwelle Q_s unterschritten haben. Dies zeigt, dass bei geeigneter Implementierung der Störstellenermittlung nach 1 eine zu sensitive Störstellenermittlung vermieden wird. Anders ausgedrückt wird es vermieden, dass eine Stelle als störend ermittelt wird, obwohl sie für einen Betrachter nicht als störend empfunden wird. Auf diese Weise kann die Störstellenermittlung nach 1 eine hohe Korrelation zu der subjektiven Störstellenempfindung eines Betrachters aufweisen.
Bevor im Folgenden weitere Ausführungsbeispiele beschrieben werden, soll kurz darauf hingewiesen werden, dass die Störstellenermittlung nach 1 beispielsweise auf einem Computer implementiert sein kann, in welchem Fall die einzelnen Schritte 10, 30, 34 und 46 Teile eines Computerprogramms sein könnten, das auf dem Computer abläuft, um die Störstellenermittlung nach 1 durchzuführen. Insbesondere könnten die einzelnen Blöcke 10, 30, 34 und 46 einzelne Unterprogrammroutinen eines Störstellenermittlungsprogrammes sein. Andererseits ist es auch möglich, dass die einzelnen Blöcke 10, 30, 34 und 46 Teile einer fest verdrahteten Schaltung oder Teile eines FPGAs bzw. einer programmierbaren logischen Schaltung sind. Insofern sollen die einzelnen Blöcke in dem Flussdiagramm von 1 so verstanden werden, dass sie nicht nur einen einzelnen Schritt darstellen, sondern alternativ auch einen jeweiligen Programmteil, Schaltungsteil oder programmierbaren Logikteil, der ausgebildet ist, um die entsprechende Funktion auszuführen, wobei die einzelnen Blöcke dann wie dargestellt gekoppelt sind. Ohne dies im Folgenden zu wiederholen, soll dies genauso für die noch zu beschreibenden Flussdiagramme in 3 in entsprechender Weise gelten.
Ferner sei noch anhand der 1 auf eine erste alternative Vorgehensweise für die Schritte 34 und 46, also für den Teil 58, hingewiesen, durch die unter den verdächtigen Clustern wieder diejenigen ausgesondert bzw. rehabilitiert wurden, bei denen die Einzelhäufigkeitsverteilung der Qualitätswerte derjenigen der Referenzhäufigkeitsverteilung über die unverdächtigen Zonen ähnlich war, so dass umgekehrt die Anzahl an Blöcken reduziert wurde, in denen sich nicht rehabilitierte Cluster befinden. Im folgenden wird eine andere „den Kontext berücksichtigende” Vorgehensweise beschrieben, um die verdächtigen Cluster 32 an Zahl zu dezimieren. Dabei wird die Qualitätswertverteilung aller Pixel in dem interessierenden Bereich statistisch ausgewertet, um ein Maß für die Dispersion dieser im folgenden als Populationsreferenzverteilung bezeichneten Qualitätswertverteilung zu bestimmen (Schritt 60a). Als Maß für die Dispersion kann beispielsweise die Standabweichung verwendet werden. In dem Fall eines ordinalskalierten Qualitätsmaßes kann auch der Interquartilenabstand Δ_QR verwendet werden, d. h. der Abstand Δ_QR = v_0,75 – v_0,25 zwischen der unteren Quartile v_0,25, d. h. dem Qualitätswert Q unter den Qualitätswerten der qualitätsschwachen Pixel, unter halb dessen sich 25% der Fläche der Populationsreferenzverteilung befindet, und der oberen Quartile v_0, ₇₅, d. h. dem Qualitätsmaß Q unter den Qualitätswerten der Pixel, unter halb dessen sich 75% der Fläche der Populationsreferenzverteilung befindet. Basierend auf diesem Dispersionsmaß werden dann Ausreißerpixel bestimmt (60b). Insbesondere werden unter den verdächtigen Clustern gemäß der vorliegenden Alternative schließlich diejenigen als ungültig erklärt (und damit die anderen ausgesondert aus der Menge der verdächtigen Cluster), die Ausreißerpixel aufweisen, also Pixel mit einem Qualitätswert, der signifikant kleiner ist als ein geeigneter Schwellwert (60c). Letzterer wird abhängig von dem Ergebnis der soeben beschriebenen statistischen Analyse der Populationsreferenzverteilung bestimmt, wie z. B. durch Q_Ausreißer = v_0,25 – 1,5Δ_QR oder einer anderen Abhängigkeit von dem Interquartilenabstand bzw. dem Maß für die Dispersion. Ein Ausreißerpixel wäre somit ein Pixel mit einem Qualitätswert Q kleiner Q_Außreißer. Mit dem alternativen Schritt 58' für die Schritte 34, 46 sinkt somit auch die Anzahl an Blöcken, in denen sich ungültige Cluster befinden. Ebenso wie die zuerst beschriebene Alternative ermöglicht die soeben beschrieben Alternative zudem kleine Abweichungen zwischen Referenzbildmaterial und verdächtigen Bereichen des zu untersuchenden Bildmaterials und verhindert somit eine Überempfindlichkeit des verwendeten Qualitätsmaßes. Dabei weisen die Vorgehensweisen nach 1 die günstige Eigenschaft auf, bis zu einem hohen Grad texturabhängig zu sein. Beide Vorgehensweisen 58 und 58' bewirken also eine Reduzierung der Anzahl an verdächtigen Clustern, die eine 58 Block-weise und die andere Cluster-weise, und bewirken somit eine Reduzierung der vorläufigen Anzahl bzw. des vorläufigen Umfangs an Störstellen, wie sie in Form von Clustern bzw. Blöcken, die verdächtige Cluster enthalten, in Schritt 30 ermittelt worden sind.
Eine weitere alternative Vorgehensweise für die Schritte 34 und 46 betrifft die Ermittlung der Referenzhäufigkeitsverteilung 40 und der Einzelhäufigkeitsverteilung 44. Wie im vorhergehenden beschrieben, betrifft die Referenzhäufigkeitsverteilung 40 die Verteilung der Bildinformationsübereinstimmungsqualität der Bildpunkte des interessierenden Bereichs in einem ersten Teil 38 von Bildpunkten des zu untersuchenden Bilds/Videos, in dem sich keines der Anzahl von Clustern 32 befindet, und die Einzelhäufigkeitsverteilungen 44 betreffen zweite Teile 36 des interessierenden Bereichs, in denen sich ein Cluster 32 der Anzahl von Clustern befindet. Die Einzelhäufigkeitsverteilungen 44 sind also Häufigkeitsverteilungen der Bildinformationsübereinstimmungsqualitäten der Bildpunkte des interessierenden Bereiches in dem jeweiligen zweiten Teil. Dabei ging die Ermittlung 34 nach der vorhergehenden Beschreibung von einer vorgegebenen Unterteilung der interessierenden Bereichs 14 in die Blöcke 38 aus, d. h. vorgegeben in dem Sinne, dass die Unterteilung von der Lage der identifizier ten Cluster unabhängig ist. Die Einzelhäufigkeitsverteilung wurde für diejenigen der Anzahl von Blöcken 38 dieser Unterteilung ermittelt, mit denen die Anzahl von Cluster überlappt. In dem Fall von 2 war dies lediglich ein Block, nämlich Block 36, aber es hätten auch zwei oder mehr benachbarte Blöcke sein können, wenn das Cluster 32 mit mehr als nur einem Block überlappt hätte. Gemäß der vorliegenden Alternative wird die Ermittlung in Schritt 34 derart ausgeführt, dass an den Positionen der in Schritt 30 identifizierten Cluster 32 Kacheln bzw. Blöcke, wie z. B. rechteckige, so anordnet werden, dass dieselben die verdächtigen Cluster 32 beinhalten. Beispielsweise werden die Kacheln bzw. Blöcke zentriert zu Schwerpunkten der verdächtigen Cluster platziert, wobei ihre Größe konstant sein kann oder variabel je nach Ausdehnung der einzelnen Cluster eingestellt wird. Die Einzelhäufigkeitsverteilungen 44 werden dann für diese Kacheln bzw. Blöcke ermittelt, während die Referenzhäufigkeitsverteilung 40 als die Verteilung der Bildinformationsübereinstimmungsqualität der Bildpunkte des interessierenden Bereichs in einem restlichen Teil von Bildpunkten des zu untersuchenden Bilds/Videos bestimmt wird, der die abhängig von der Lage der verdächtigen Cluster angeordneten Kacheln bzw. Blöcke nicht enthält bzw. zu denselben disjunkt ist. Der restliche Teil ist beispielsweise der zu den an den verdächtigen Clustern positionierten Kacheln bzw. Blöcken komplementäre Teil des interessierende Bereichs. Bei der soeben beschriebenen Alternative kann natürlich die vorgegebene Blockunterteilung, wie z. B. die Unterteilung in Makroblöcke, trotzdem existieren und für andere Zweck verwendet werden, wie z. B. für die Kodierung bzw. Komprimierung des Bildmaterials oder dergleichen.
Im Folgenden wird eine Vorgehensweise zur Einstellung eines zu synthetisierenden Bereiches beschrieben, bei der die Störstellenermittlung in 1 verwendet wird. Die Einstellung eines zu synthetisierenden Bereiches stellt dabei ein Beispiel für eine Anwendung dar, bei der die Störstel lenermittlung von 1 vorteilhaft angewendet werden kann. Dabei sei aber betont, dass das Anwendungsbeispiel der Einstellung eines zu synthetisierenden Bereiches nur ein mögliches Ausführungsbeispiel darstellt und eine Vielzahl weiterer Anwendungsmöglichkeiten besteht. Die Störstellenermittlung von 1 kann vielmehr auch bei anderen Anwendungen vorteilhaft eingesetzt werden, wie z. B. zur Bestimmung eines objektiven Gesamtqualitätsmaßes für ein zu untersuchendes Bild oder als Schleifenbeendigungsentscheidungshilfe bei einem Videocodierer, um beispielsweise nach einer erfolgten Bild-/Videokompression den Kodiermodus einer nicht-aussondierten Kachel auf einen anderen Modus zu ändern, wie z. B. auf einen Modus, bei dem die Bilddaten aus dem Ursprungsbild unmittelbar übernommen werden, ohne sie einer Transformation zu unterziehen oder dergleichen.
Wie bereits erwähnt, bezieht sich das nachfolgende Ausführungsbeispiel auf den Fall der Einstellung eines zu synthetisierenden Bereiches. Ziel ist es dabei, einen zu synthetisierenden Bereich innerhalb eines Bilds/Videomaterials derart einzustellen, dass ein Synthetisierer, der ja nicht in Besitz der ursprünglichen Bildinformationen innerhalb des zu synthetisierenden Bereichs ist, syntheseseitig eine Synthese bzw. künstliche Erzeugung des Bildinhaltes innerhalb des eingestellten zu synthetisierenden Bereiches so vornehmen kann, dass entstehende Störungen für den Betrachter im Vergleich zum ursprünglichen Material gering sind.
Die nachfolgende Beschreibung der 3 erfolgt exemplarisch wieder zunächst für den Fall eines Standbildes. Die Einstellung des zu synthetisierenden Bereiches nach 3 ist dabei ohne Weiteres auch auf Videomaterialien übertragbar, wozu im Folgenden noch im Anschluss Ausführungen gemacht werden. Im Folgenden soll aber zur Vereinfachung des Verständnisses zunächst von Standbildern ausgegangen werden.
Die Einstellung eines zu synthetisierenden Bereiches nach 3 beginnt mit einer vorläufigen Einstellung 70 des zu synthetisierenden Bereiches. 4 zeigt exemplarisch ein Bild 72, in dem sich ein vorläufig eingestellter zu synthetisierender Bereich 74 befindet. Die vorläufige Einstellung des zu synthetisierenden Bereichs 74 umfasst das Ausfindigmachen von Bildausschnitten des Bildes 72, in denen der Bildinhalt ein hohes Maß an Textureigenschaft aufweist. Ein Bildausschnitt weist ein hohes Maß an Textureigenschaft auf, wenn der Bildinhalt in diesem Ausschnitt für den Betrachter keine klaren Konturen aufweist, sondern für den Betrachter eher den Eindruck erweckt, als handle es sich bei dem Bildinhalt um ein sich wiederholendes Muster oder um einen verrauschten Bereich, d. h. um eine Textur. Beispiele für Texturen sind beispielsweise eine Wiese im Hintergrund, ein laubbedeckter Boden, eine Wasseroberfläche oder dergleichen. Die vorläufige Einstellung des zu synthetisierenden Bereiches 70 kann manuell durch einen Benutzer eines Computers, an dem ein Programm zur Ausführung des Verfahrens von 3 abläuft, durch manuelle Eingabe erfolgen. Es kann ferner sein, dass die vorläufige Einstellung 70 ein automatisches Erkennen von Texturausschnitten in dem Bild 72 umfasst, wie z. B. durch eine statistische Auswertung der örtlichen Pixelwerteverteilung bzw. der Ähnlichkeit von benachbarten örtlichen Pixelwerteverteilungen, um festzustellen, dass es sich um eine Textur und zwar um eine gemeinsame bzw. die gleiche Textur handelt.
In 4 ist exemplarisch ein rechteckiger Bereich 74 einer Wiese in dem Bild 72 als zu synthetisierender Bereich in Schritt 70 vorläufig ermittelt worden. Der zu synthetisierende Bereich 74 kann allerdings auch andere Formen bzw. Abmessungen aufweisen und ist nicht auf eine rechteckige Form begrenzt.
Nach der vorläufigen Einstellung 70 wird der zu synthetisierende Bereich 74 gefüllt im Schritt 76. Das bedeutet, der ursprüng liche Bildinhalt innerhalb des zu synthetisierenden Bereiches 74 wird verworfen, und der Bildinhalt im Inneren des zu synthetisierenden Bereiches 74 wird künstlich erzeugt bzw. synthetisiert, derart, dass der Gesamteindruck des Bildes 72 sich im Wesentlichen nicht ändert, d. h. der Betrachter hat nachher bezogen auf das Ausführungsbeispiel von 4 immer noch den Eindruck, dass in dem Bereich 74 eine Wiese ist, so dass er im Wesentlichen nichts von der künstlichen Erzeugung des Bildinhaltes innerhalb des Bereiches 74 merkt.
Das Füllen 76 kann auf unterschiedliche Arten stattfinden. Beispielsweise wird zum Füllen des Bereiches 74 auf umliegende Bereiche des Bildes 72 zurückgegriffen, um daraus Texturbeispiele bzw. Texturflicken herauszunehmen und diese Flicken nacheinander in dem Bereich 74 so zu platzieren, dass der vollständige Bereich 74 abgedeckt wird. Die Texturflicken können allerdings auch von woanders her stammen als aus dem Bild 72. Beispielsweise können in dem Fall, dass das Bild 72 Teil eines Videos bzw. einer Bildsequenz ist, die Texturflicken aus einem anderen Bild des Videos stammen, wie z. B. einem zeitlich vorhergehenden Bild. Texturflicken können allerdings auch in einer Datenbank gespeichert sein, die beispielsweise auch syntheseseitig zur Verfügung steht, d. h. nicht nur während des Schrittes 76 sondern auch nach Übertragung zu einem Decodierer, der den eingestellten, zu synthetisierenden Bereich dann zu synthetisieren hat. In der Datenbank können die Texturflicken dann semantisch geordnet sein, wie z. B. nach der Rubrik „Wiese”, „Wasseroberfläche” etc. Die Referenztexturflicken, die nacheinander in dem Bereich 74 platziert werden, können jedwede Form aufweisen. Bei Platzieren der Flicken wird berücksichtigt, dass die Übergänge zwischen den platzierten Flicken einerseits und den Flicken und dem den Bereich 74 umgebenen Bildinhalt des Bildes 72 andererseits für den Betrachter unmerklich sein sollen. Beim Platzieren der Texturflicken wird deshalb der Platzierungsort danach bestimmt, an welchem Platzierungsort sich ein geringster Übergangssprung ergibt. Nach Platzieren eines Texturreferenzflickens werden einige oder alle der Bildpunkte in dem zu synthetisierenden Bereich 74 aus dem platzierten Texturflicken übernommen. Dabei kann es sein, dass in einem Überlappungsbereich mit bereits synthetisierten Bildpunkten oder sogar mit zu dem zu synthetisierenden Bereich 74 benachbarten Bildpunkten einige dieser bereits synthetisierten bzw. benachbarten Bildpunkte durch Bildpunkte aus dem soeben platzierten Texturflicken ersetzt werden. Dies kann mittels eines so genannten Graph-Cut- bzw. Graphischen-Schneide-Algorithmus geschehen. Der Vorgang des Platzierens von Texturflicken und des Übernehmens von Bildpunkten auf denselben in den zu synthetisierenden Bereich 74 wird so lange fortgesetzt, bis der zu synthetisierende Bereich 74 gefüllt ist. Der gefüllte Zustand ist in 4 exemplarisch dargestellt. Entlang der Grenzen zwischen den verschiedenen Bereichen 92, deren Grau- und/oder Farb-Bildpunktwerte aus einem gemeinsamen Flicken entnommen wurden, bzw. dem diese synthetisierten Bildpunkte umgebenden Bildbereich von ursprünglichen Bildpunkten kann zusätzlich oder alternativ zu einem Graph-Cut-Algorithmus ein Tiefpassfilter verwendet werden, um abrupte Übergänge an diesen Grenzen zu verschleiern.
Nun ist es möglich, dass, wie bereits erwähnt, an der Grenze zwischen dem zu synthetisierenden Bereich 74 und dem umliegenden Bereich des Bildes 72 einige Stellen einen unmerklichen Übergang für den Betrachter bilden, während andere Stellen für den Betrachter störend wirken. Nach dem probehalber stattfindenden Füllen 76 findet deshalb eine Störstellenermittlung 78 in einem interessierenden Bereich 80 in der Nähe der Grenze des zu synthetisierenden Bereichs 74 zum umliegenden, nicht zu synthetisierenden Bereich des Bildes 72 statt. Der interessierende Bereich läuft gemäß dem Ausführungsbeispiel von 4 zentriert zu der Grenze des zu synthetisierenden Bereiches 74 entlang derselben, wobei sich der interessierende Bereich 80 beispielsweise ε_s Pixel zu jeder Seite der Grenze erstreckt, wobei ε_s optio nal definiert werden kann, um irreguläre Konturen oder eine Fehlerfortpflanzung von dem Übergang der ursprünglichen Bildpunkte zu der synthetischen Textur innerhalb des Bereiches 74 oder anders herum, wie z. B. aufgrund eines Tiefpassfilters, bei der Störstellenermittlung 78 berücksichtigen zu können. Wie es aus der nachfolgenden Erörterung aber hervorgehen wird, sind andere Lagen des interessierenden Bereiches 80 relativ zu der Grenze des zu synthetisierenden Bereiches 74 möglich, wie z. B. ein nicht zentriertes Verlaufen des interessierenden Bereichs 80 entlang der Grenze oder ein Verlaufen des interessierenden Bereichs 80 entlang der Grenze aber ohne dieselbe zu umfassen, d. h. lediglich in der Nähe des zu synthetisierenden Bereiches 74.
Die Störstellenermittlung 78 verläuft dann wie im Vorhergehenden Bezug nehmend auf die 1 und 2 beschrieben. Beispielsweise wird also zu allen Bildpunkten innerhalb des interessierenden Bereiches 80 ein jeweiliges örtliches Qualitätsmaß bestimmt, woraufhin verdächtige Cluster von Bildpunkten mit schlechter Qualität identifiziert werden. Gemäß dem Ausführungsbeispiel von 4 werden als die Kacheln beispielsweise Makroblöcke 82 der Größe von beispielsweise je 16×16 Bildpunkten verwendet, in die das Bild 72 regelmäßig in Zeilen und Spalten eingeteilt ist, und die beispielsweise nach Einstellung des zu synthetisierenden Bereiches 74 bei der Codierung bzw. Komprimierung des restlichen Bildinhaltes des Bildes 72 außerhalb des zu synthetisierenden Bereiches 74 verwendet werden. Makroblockweise 82 werden auf diese Weise Referenzhäufigkeitsverteilung und Einzelhäufigkeitsverteilung bestimmt und basierend auf einer Ähnlichkeit zwischen denselben werden unter den Makroblöcken 82, in denen sich verdächtige Cluster befunden haben, solche mit unähnlicher Einzelhäufigkeitsverteilung zur Referenzhäufigkeitsverteilung als ungültig erklärt.
Gemäß einem speziellen Ausführungsbeispiel ist beispielsweise der zu synthetisierenden Bereich 74 durch eine Funk tion m(x,y,t) definiert, indem dieselbe für Punkte (x,y,t) innerhalb desselben Eins und für Punkte außerhalb desselben Null ist, und als das Qualitätsmaß werden zwei Qualitätsmaße getrennt voneinander ausgewertet, um ungültige Makroblöcke zu bestimmen, nämlich beispielsweise die beiden oben erwähnten δ_h und δ_v. Dann könnte beispielsweise ausgehend von m(x,y,t) der interessierende Bereich für die Bestimmung von δ_h m'_h(x,y,t) zu
bestimmt werden, während der interessierende Bereich für die Bestimmung von δ_v m'_v(x,y,t) zu
bestimmt wird, wobei θ() dabei eine Funktion bezeichne, die Werte kleiner Null auf Null und Werte größer Null auf Eins abbilde. Die soeben erwähnten Gleichungen für m'_h(x,y,t) und m'_v(x,y,t) stellen dabei natürlich nur Beispiele für eine Möglichkeit unter vielen zur Bestimmung des jeweiligen interessierenden Bereichs um die vertikalen bzw. horizontalen Abschnitte der Grenze des zu synthetisierenden Bereichs 74 dar. Dabei definieren dx und dy eine Ausdehnung des jeweiligen interessierenden Bereichs um die vorerwähnten vertikalen bzw. horizontalen Abschnitte dar, nämlich dx die Ausdehnung der vertikalen Abschnitte zu beiden Seiten entlang der x-Richtung und dy die Ausdehnung der horizontalen Abschnitte zu beiden Seiten entlang der y-Richtung. Im folgenden wird zur Vereinfachung der Darstellung aber weiterhin von einem einheitlichen interessierenden Bereich 80 ausgegangen, obwohl er sich, wie soeben skizziert aus mehreren Teilen zusammensetzen kann, nämlich in dem exemplarischen Fall von 4 aus einem ersten, die horizontalen Abschnitte der Grenze des Bereichs 74 umgebenden Teil 80a1 bzw. 80a2, der durch m'_h(x,y,t) definiert wird, und einem zweiten, die vertikalen Abschnitte der Grenze des Bereichs 74 umgebenden Teil 80b1 bzw. 80b2, der durch m'_v(x,y,t) definiert wird.
Die in Schritt 78 ermittelten ungültigen Makroblöcke 82 werden in einem nachfolgenden Schritt 84 dazu verwendet, den zu synthetisierenden Bereich 74 um die nicht aussondierten bzw. ungültigen Makroblöcke 82 zu verkleinern. Dies ist exemplarisch in 5 dargestellt, wo der verkleinerte zu synthetisierende Bereich 74' an einer Stelle 86 um zwei Makroblöcke 82 verkleinert wurde. Bei dem Beispiel von 5 befanden sich die ungültigen Makroblöcke 82 direkt angrenzend zur ehemaligen Grenze des zu synthetisierenden Bereiches 74 bzw. angrenzend an der Grenze des vorläufig eingestellten zu synthetisierenden Bereiches 74. Das ist nicht unbedingt immer der Fall. Die ungültigen Kacheln bzw. Makroblöcke 82 können auch im Inneren des vorläufig eingestellten zu synthetisierenden Bereiches 74 liegen, was in 5 jedoch exemplarisch nicht dargestellt ist.
Die Einstellung eines zu synthetisierenden Bereiches nach 3 kann nach dem Schritt 84 beispielsweise enden. Der so verkleinerte zu synthetisierende Bereich 74' kann beispielsweise verwendet werden, um denjenigen Bildinhalt innerhalb diesen Bereiches 74' bei einer anschließenden Codierung bzw. Komprimierung oder einfachen bloßen Datenübertragung des Bildes 72 auszusparen, so dass eine wirksame Datenreduktion erzielt wird. Syntheseseitig kann dann der fehlende Bildinhalt innerhalb des Bereiches 74' auf ähnliche Weise wie Bezug nehmend auf Schritt 76 beschrieben synthetisiert werden, wobei aufgrund der Verkleinerung des vorläufig eingestellten zu synthetisierenden Bereiches 74 auf den Bereich 74' die Wahrscheinlichkeit dafür gesunken ist, dass bei der Synthetisierung störende Stellen entstehen.
Wie es allerdings in 3 durch eine gestrichelte Linie 88 dargestellt ist, können die Schritte 76, 78 und 84 eine vorbestimmte Anzahl oder so lange rekursiv wiederholt werden, bis entweder eine maximale Anzahl an Durchläufen erreicht ist oder bei der Störstellenermittlung 78 kein ungültiger Makroblock 82 mehr ermittelt wird.
Ein anderes Abbruchkriterium könnte darin bestehen, dass bei den Iterationen der Schritte 76, 78 und 84 zwischen den Schritten 76 und 78 in einem Schritt 89 ein globales Qualitätsmaß bestimmt und überprüft wird, wie z. B. ein räumliches Qualitätsmaß, das beispielsweise von einer Mittelung des nach Schritt 76 erneut bestimmten örtlichen Qualitätsmaßes, wie es bei Schritt 10 verwendet wird, über alle Pixel oder zumindest Pixel in einem größeren Bereich, der auch die Bereiche 80 und 74 abdeckt, abhängt, und die aktuelle Iteration noch vor Schritt 78 abgebrochen wird, wenn das globale Qualitätsmaß eine vorbestimmte Schwelle überschreitet. Beispielsweise könnte in Schritt 89 als gobales Qualitätsmaß innerhalb eines größeren Bereiches m''(x,y,t) folgender globaler Qualitätswert Q_global berechnet werden:
und wobei τ als geeignete Konstante definiert sein könnte, und κ ein Wert zwischen 1 einschließlich und beispielsweise 20 sein könnte und dazu verhelfen könnte, den Rechenaufwand zu reduzieren, und X und Y beispielsweise die Anzahl der Pixel in x bzw. y Richtung des exemplarisch als Rechteck angenommenen Bereiches m''(x,y,t) meinen.
Durch das wiederholte Durchlaufen der Schritte 76, 78 und 84 wird es somit ermöglicht, auch das Auftreten von Störungen ausschließen zu können, die dadurch entstehen könnten, dass durch das veränderte Aussehen des zu synthetisierenden Bereiches 74' nach der Verkleinerung 84 bei dem Synthetisieren des Bereiches 74' wieder an anderen Stellen Störungen auftreten. Bei einem zweiten Durchlauf könnte beispielsweise nach einem Füllen 76 des Bereichs 74' von 5 bei der Störstellenermittlung 78 im zweiten Durchlauf der interessierende Bereich 88' so wie in 5 dargestellt angepasst an die neue Form des Bereiches 74' anders verlaufen als in 4, nämlich beispielsweise angepasst an den neuen Grenzverlauf mit einem Abstand zu beiden Seiten der Grenze.
5 betraf den exemplarischen Fall, dass die nicht aussondierten Kacheln lediglich am Rand des zu synthetisierenden Bereiches liegen. In dem Fall jedoch, dass ungültige Makroblöcke 82 im Inneren des zu synthetisierenden Bereiches 74 im ersten Durchlauf erkannt wurden, könnte der interessierende Bereich 80' sogar beispielsweise in zwei oder mehr getrennte Gebiete zerfallen, von denen eines entlang der Grenze zu dem umliegenden Bildbereich des Bildes 72 verläuft und ein weiteres oder mehrere weitere Gebiete entstandene ungültige Makroblöcke 82 im Inneren des zu synthetisierenden Bereiches 74' umgibt bzw. umgeben. Zur Vereinfachung ist dies in 5 nicht dargestellt.
Es kann vorkommen, dass eine Kachel außerhalb des zu synthetisierenden Bereiches als ungültig erkannt wird, d. h. nicht ausgesondert wird. Das kann vorkommen, wenn die Synthese vorsieht, dass die Synthetisierung des zu synthetisierenden Bereiches auch eine Veränderung der Bildinfor mationen vorsieht, die den zu synthetisierenden Bereich umgeben, wie z. B. durch das vorerwähnte Tiefpassfiltern oder den Graph-Cut-Algorithmus, wonach im Überlappungsgebiet zwischen einem Flicken und dem Äußeren des zu synthetisierenden Bereiches die Grenze zwischen diesen Gebieten bzw. Bereichen, die festlegt, wo die Bildpunkte noch wie ursprünglich bleiben sollen und wo sie aus dem Flicken übernommen werden sollen, nach Kriterien ausgewählt wird, die einem möglichst abruptlosen Erscheinungsbild führt. Solche Kacheln können gegebenenfalls verwendet werden, um lediglich einen den zu synthetisierenden Bereich umgebenden Überlappungsbereich zu verkleinern, so dass sie beispielsweise für die vorerwähnte Überlappung der Flicken mit dem Äußeren des zu synthetisierenden Bereiches nicht mehr zur Verfügung stehen, oder für das Tiefpassfiltern. Es könnte allerdings auch sein, dass aufgrund solcher äußerer Kacheln der zu synthetisierende Bereich ebenfalls eingeschränkt wird, um einen gleichen Abstand zu diesen Kacheln zu erzielen, wie an den anderen Stellen entlang der Grenze des zu synthetisierenden Bereiches. Dies wird im folgenden noch an verschiedenen Stellen erläutert.
Die vorhergehende Beschreibung beschränkte sich vornehmlich auf Bilder bzw. Standbilder. Wie im Vorhergehenden erwähnt ist die Vorgehensweise nach 1 und 3 jedoch auch ohne Weiteres auf Videomaterialien übertragbar. Auf ähnliche Weise sind die vorhergehenden Ausführungsbeispiele auch in anderer Hinsicht verallgemeinerbar. 6 beispielsweise greift einen ebenfalls bereits im Vorhergehenden geäußerten Hinweis auf, dass sich die Textursynthese nicht unbedingt nur auf den Bereich innerhalb des zu synthetisierenden Bereiches beschränkt, für den syntheseseitig keine Bildinformationen vorhanden sein sollen bzw. sind. 6 zeigt exemplarisch einen vorläufig eingestellten zu synthetisierenden Bereich 90. Krumme Gebiete 92, die den zu synthetisierenden Bereich 90 lückenlos und ohne Überlappung abdecken zeigen benachbarte Bildpunkte an, die aus einem der verwendeten Texturflicken übernommen worden sind. Exempla risch ist vorliegend zur Bestimmung der zu übernehmenden Bildpunkte aus den einzelnen Texturflicken ein Graph-Cut-Algorithmus verwendet worden. Beschrieben wird ein solcher Algorithmus beispielsweise in V. Kwatra, A. Schödl, I. Essa, G. Turk, and A. Bobick, ”Graphcut Textures: Image and Video Synthesis using Graph Cuts”, Computer Graphics Proc. (SIGGRAPH 03), pages 277-286, San Diego, California, USA, July 2003.
Wie es zu erkennen ist, reichen die Gebiete 92 teilweise über den zu synthetisierenden Bereich 90 hinaus in einen den zu synthetisierenden Bereich 90 umgebenden Bereich eines Bildes, für den eigentlich sowohl analyse- als auch syntheseseitig Bildinformationen vorhanden sind. Die tatsächliche Grenze zwischen den synthetisierten Bildpunkten und den nicht-synthetisierten Bildpunkten liegt folglich nach der Synthese etwas außerhalb bzw. jenseits der Grenze des zu synthetisierenden Bereiches 90. Mit einer Linie 94 ist in 6 angedeutet, dass das Ausmaß, bis zu dem sich die Gebiete 92 über die Grenze des zu synthetisierenden Bereiches 90 hinaus in den umgebenden Bereich maximal erstrecken können, begrenzt sein kann. Der so festgelegte den synthetisierenden Bereich 90 umgebende maximale Überlappungsbereich 94 kann beispielsweise inhärent durch den Füllalgorithmus festgelegt sein, wie z. B. durch die maximale Größe der verwendeten Texturflicken und durch die Begrenzung der Platzierung dieser Texturflicken beim Füllen des zu synthetisierenden Bereiches beispielsweise dadurch, dass festgelegt wird, dass der Schwerpunkt des jeweiligen Texturflickens beim Platzieren mindestens innerhalb des zu synthetisierenden Bereiches 90 liegen muss. Der maximale Überlappungsbereich 94 kann allerdings auch eine vorbestimmte Nebenbedingung bilden, die beim Platzieren bzw. Füllen des zu synthetisierenden Bereiches 90 aktiv überprüft bzw. eingehalten wird.
Wie es nun in 6 exemplarisch dargestellt ist, kann im Unterschied zu dem Beispiel nach 4 und 5 der interes sierende Bereich 96 beispielsweise nicht-zentriert zu der Grenze des zu synthetisierenden Bereiches 90 verlaufen. In 6 läuft der interessierende Bereich 96 vielmehr exemplarisch zentriert zu dem maximalen Überlappungsbereich 94, d. h. zentriert zu der Fläche zwischen der Grenze des zu synthetisierenden Bereiches 90 und der Grenze des maximalen Überlappungsbereiches 94. Dabei kann sich der interessierende Bereich 96, innerhalb dessen die Störstellenermittlung durchgeführt werden soll, wie gezeigt etwas in den zu synthetisierenden Bereich 90 hinein und etwas über den maximalen Überlappungsbereich 94 hinaus erstrecken.
Liegen nun ungültige Kacheln im Überlappungsbereich 94, so kann dieser eventuell um diese verkleinert werden oder aber der zu synthetisierende Bereich wird zusammen mit dem Überlappungsbereich an der entsprechenden Stelle derart „eingedellt”, dass die ungültigen Kacheln im Überlappungsbereich nicht mehr zu dem umgebogenen Überlappungsbereich gehören.
Unter anderem, Bezug nehmend auf die 7 und 8 wird nun im Folgenden beschrieben, wie die vorhergehend beschriebenen Vorgehensweisen zur Störstellenermittlung und Einstellung eines zu synthetisierenden Bereiches auf Videomaterialien verallgemeinert werden können. Die Störstellenermittlung von 1 kann ohne Weiteres auf Videomaterialien erweitert werden, wenn beispielsweise statt eines interessierenden zweidimensionalen Bereiches 14 ein dreidimensionaler Bereich 14 zugrunde gelegt wird, der sich nicht nur in die beiden Raumrichtungen 24 und 26 der Bilder eines Videos erstreckt sondern ferner in Zeitrichtung. Ein quaderförmiger, also zeitlich-räumlicher, interessierender Bereich nehme auf diese Weise immer einen entsprechenden Bildbereich in aufeinander folgenden Bildern eines Videos bzw. einer Bildfolge ein. Die Ermittlung der Cluster in Schritt 30 könnte auf die gleiche Art und Weise erfolgen, wie es im Vorhergehenden beschrieben wurde. Das heißt, das Qualitätsmaß könnte sich auf eine örtliche Qualität einer Bildübereinstimmung zwischen einander entsprechenden Bildern in dem zu untersuchenden Video und dem Referenzvideo beschränken, ohne eine Auswertung einer zeitlichen Veränderung der Bilder in dem jeweiligen Video. Als Kacheln könnten wieder die zweidimensionalen Makroblöcke innerhalb der Bilder verwendet werden. Als Kacheln könnten jedoch auch dreidimensionale Blöcke herangezogen werden. Bei dem Füllen eines dreidimensionalen zu synthetisierenden Bereiches könnten statt zweidimensionalen sich in den Ortsrichtungen 24 und 26 erstreckenden Texturflicken dreidimensionale Texturflicken verwendet werden, die nacheinander in den dreidimensionalen zu synthetisierenden Bereich platziert werden. Der interessierende Bereich könnte sich in diesem Fall wie ein Hohlkörper entlang der Grenze des dreidimensionalen zu synthetisierenden Bereichs erstrecken.
Im Folgenden wird anhand der 7 und 8 etwas konkreter eine Möglichkeit beschrieben, wie die Einstellung eines zu synthetisierenden Bereiches und die Störstellenermittlung nach der 3 bzw. 1 auf ein Videomaterial übertragen werden könnte. 7 zeigt exemplarisch einen Ausschnitt 100 aus einem Video. Insbesondere sind in der 7 exemplarisch sieben Bilder 102a–102g des Ausschnitts 100 gezeigt. Das Video liegt beispielsweise in digitaler Form in Form einer Folge von Bildern 102a–102g vor, wobei in jedem Bild 102a–102g Bildpunkte regelmäßig in Spalten und Zeilen angeordnet sind, wobei die Bildpunkte in 7 nicht extra dargestellt sind. Die horizontale bzw. Zeilenrichtung ist in 7 mit x dargestellt, die Spaltenrichtung bzw. vertikale Richtung mit y und die Zeitachse mit t. 7 zeigt exemplarisch einen quaderförmigen vorläufig eingestellten zu synthetisierenden Bereich 104. Wie es zu erkennen ist, erstreckt sich derselbe zeitlich über mehrere Bilder 102c–102g hinweg. Zur Vereinfachung ist er quaderförmig dargestellt, aber wie im Vorhergehenden bereits erwähnt, kann derselbe auch anders geformt sein. Der zu synthetisierende Bereich 104 ist beispielsweise vorläufig eingestellt worden, weil er eine Szene einer gleichmäßigen Textur, d. h. eine zeitliche Veränderung einer einheitlichen Textur, wie z. B. eine Aufnahmesequenz einer Wasseroberfläche, darstellt.
Wie es nun in 7 zu erkennen ist, verläuft die Grenze des zu synthetisierenden Bereiches 104 und dem restlichen Video dreidimensional in x, y und t. Wie im Vorhergehenden erwähnt, könnte nun die Vorgehensweise nach 1–3 auf einen einheitlichen interessierenden Bereich angewendet werden, der sich entlang dieser dreidimensionalen Grenze erstreckt, um einen dreidimensionalen quaderförmigen Hohlkörper zu bilden. Gemäß dem Ausführungsbeispiel von 7 werden allerdings die Schritte von 3 bildweise durchgeführt, wie es im Folgenden beschrieben wird. Beispielsweise wird in dem Bild 102f der interessierende Bereich 106 entlang der Grenze 108 des zu synthetisierenden Bereiches 104 platziert, d. h. entlang der Schnittlinie der dreidimensionalen Grenze des zu synthetisierenden Bereiches 104 mit dem Bild 102f. Innerhalb des durch die Grenze 108 festgelegten zweidimensionalen Bereiches 110, d. h. des zu synthetisierenden Bereiches des Bildes 102f, wird dann nach dem Füllen des zu synthetisierenden Bereiches 104 mit dreidimensionalen Texturflicken, wie es im Vorhergehenden beschrieben wurde, die Störstellenermittlung durchgeführt, wie sie im Vorhergehenden beschrieben wurde. Dabei können die im Vorhergehenden erwähnten Qualitätsmaße verwendet werden, wie z. B. das explizit beschriebene, bei dem zur Bestimmung der örtlichen Qualität einer Bildinformationsübereinstimmung zwischen dem synthetisierten Bildinhalt und dem Referenzbildinhalt ein vertikale Kanten hervorhebendes Filter und ein horizontale Kanten hervorhebendes Filter verwendet werden, wie es in 7 exemplarisch durch die Vertikale 112 und die Horizontale 114 angedeutet ist. Als die Kacheln werden wie im Vorhergehenden erwähnt beispielsweise die Makroblöcke in dem Bild 102f verwendet. Das Ergebnis der Störstellenermittlung in dem Bild 102f sind dann gegebenenfalls ungültige Makroblöcke, um die der zu synthetisierende Bereich 104 in dem 102f verkleinert wird.
Bevor allerdings eventuell eine neue Iteration 88 durchgeführt wird, können die Schritte 78 und 84 gegebenenfalls für ein weiteres Qualitätsmaß bzw. zwei weitere Qualitätsmaße oder mehr wiederholt werden. Während nämlich das bisher beschriebene Qualitätsmaß lediglich eine Bildübereinstimmung des Bildes 102f innerhalb des interessierenden Bereiches 110 zwischen dem synthetisierten Bild 102f und dem ursprünglichen Bild 102f berücksichtigt, also ein räumliches Qualitätsmaß darstellen, können weitere Qualitätsmaße einen Unterschied in dem Zeitverhalten der synthetisierten Frequenz 104 zu dem ursprünglichen Zeitverhalten innerhalb des Bereiches berücksichtigen, die man somit auch als zeitliche Qualitätsmaße bezeichnen könnte. Beispielsweise wird dazu bei der Qualitätsmaßbestimmung 10 ein Qualitätsmaß verwendet, bei dem synthetisiertes Videomaterial und Referenzvideomaterial in einer jeweiligen gefilterten Version verglichen werden, bei denen Kanten hervorgehoben werden, die in einer Ebene verlaufen, die schräg zur Bildebene 102f ist, d. h. deren Flächennormalen eine Komponente in der Zeitachse t aufweist, die ungleich 0 ist.
Um dies näher zu veranschaulichen, wird ein konkretes Ausführungsbeispiel im Folgenden beschrieben. Ein temporäres bzw. zeitliches Qualitätsmaß Q^h(lΔt) und ein weiteres temporäres Qualitätsmaß Q_v(lΔt) könnten beispielsweise durch folgende Berechnungen erhalten werden:
Dabei bezeichne m'(x,y,t) wieder die binäre Funktion, die den interessierenden Bereich eingebe, und s_xt ^o/d(x,y,t) sei ein horizontaler Schnitt durch die Bildpunkte des ursprünglichen Referenzsignals s^o(x,y,t) bzw. das interessierende Signal s^d(x,y,t), und zwar durch die Koordinate x verlaufend. Auf ähnliche Weise bezeichne s_yt ^o/d(x,y,t) einen vertikalen Schnitt (vgl. 118 in 7) durch die Bildpunkte des ursprünglichen Referenzsignals s^o(x,y,t) bzw. das interessierende Signal s^d(x,y,t), und zwar durch die Koordinate y verlaufend. s_xt ^o/d(x,y,t,α_p) und s_yt ^o/d(x,y,t,α_p) sind somit die Faltungen der entsprechenden Schnittebenen mit einem Gradientenfilter.
Die vorhergehenden Formeln drücken aus, dass der temporäre Qualitätswert Q^h an einer Position (x,y,t) dadurch erhalten wird, dass eine Summe über P gradientengefilterter Versionen einer Schnittebene 118 parallel zur y- und t-Achse, die durch den Punkt (x,y,t) verläuft, an der Stelle (x,y,t) sowohl für das Referenzvideo als auch für das zu untersuchende Video gebildet wird, wobei der Betrag einer Differenz dieser Summen zur Berechnung des Qualitätsmaßes Q^v herangezogen wird. Die Anzahl P der gefilterten Versionen kann auch Eins betragen, in welchem Fall die Summe über P wegfällt. Die gefilterten Versionen unterscheiden sich durch die Richtung der Kanten, die in der jeweiligen gefilterten Version hervorgehoben werden. In 7 sind exemplarisch eine 45°- und eine 145°-Richtung hervorgehoben, nämlich durch die Richtungen 116₁ und 116₂ , d. h. Richtungen, die zueinander senkrecht stehen, und Richtungen, die nicht lediglich entlang der t-Achse verlaufen, sondern auch eine y-Komponente ungleich 0 aufweisen. Jedenfalls sollte zumindest eine der Richtungen α_p ungleich 90 Grad sein, d. h. nicht ausschließlich entlang der t-Achse verlaufen. Auf ähnliche Weise wird das Qualitätsmaß Q^h berechnet, in dem ähnliche gefilterte Versionen eines Schnittes durch einen interessierenden Punkt (x,y,t) parallel zu den Achsen x und t ausgewertet werden, was in 7 jedoch der Übersichtlichkeit halber nicht dargestellt ist. Anstelle der xt- bzw. yt-Schnitte können natürlich auch andere Schnittebenen parallel zur t-Achse verwendet werden.
Wie im Vorhergehenden auch wird erneut darauf hingewiesen, dass das soeben detailliert vorgestellte temporäre Qualitätsmaß lediglich exemplarisch ist, es könnte auch anders definiert sein. Ist das temporäre Qualitätsmaß bzw. sind die temporären Qualitätsmaße für die Bildpunkte in dem interessierenden Bereich 110 bestimmt worden, so kann die weitere Störstellenermittlung wie mit dem zuvor beschriebenen nicht-temporären Qualitätsmaß erneut durchgeführt werden, wodurch gegebenenfalls der vorläufig eingestellte zu synthetisierende Bereich 104 in der Bildebene 102f gegebenenfalls um weitere nicht-ausgesonderte ungültige Makroblöcke verkleinert wird. Dieses Vorgehen kann für weitere oder sogar alle Bilder wiederholt werden, über die sich der zu synthetisierende Bereich 104 erstreckt. Natürlich könnte auch lediglich das temporäre Qualitätsmaß ausgewertet werden und nicht das örtliche Qualitätsmaß. Diese und weitere Alternativen werden auch noch mal später Bezug nehmend auf die 9 und 10 aufgegriffen.
In Analogie zu 6 wird dabei im Hinblick auf Videomaterialien darauf hingewiesen, dass auch bei räumlichtemporären zu synthetisierenden Bereichen ein Überlappungsbereich vorgesehen sein kann, der den zu synthetisierenden Bereich umgibt. Dies ist in 8 dargestellt, die eine Teilansicht einer Sequenz 130 von Bildern 132a–132c eines Videos mit einem wieder exemplarisch quaderförmigen zu synthetisierenden Bereich 134 mit einem denselben umgebenden maximalen Überlappungsbereich 136 zeigt. In diesem Fall ist es möglich, dass die bildweise Störstellenermittlung auch auf Bilder bzw. Frames 132a–132i angewendet wird, über die sich zwar der zu synthetisierende Bereiche 134 zeitlich nicht erstreckt, die aber den den zu synthetisierenden Bereich 134 umgebenden maximalen Überlappungsbereich 136 schneiden, wobei dies in 8 exemplarisch die Bilder 132a–132d sind. Auf diese Weise schneidet in diesen Bildern der interessierende Bereich, in dem die Störstellenermittlung durchgeführt werden soll, nicht den zu synthetisierenden Bereich. Er befindet sich vielmehr lediglich in der Nähe derselben und verläuft zeitlich versetzt zu demselben. Sollten in diesen Bildern in dem interessierenden Bereich ungültige Makroblöcke ermittelt werden, so können diese Makroblöcke aus dem Überlappungsbereich 136 entfernt werden, was einem Verbot entspricht, den Bildinhalt dieser Makroblöcke bei der Überlappung mit Texturflicken, wie sie in 6 angedeutet ist, mit Bildpunkten des überlappenden Texturflickens zu ersetzen. Es kann sein, dass in diesem Fall bei dem Schritt des Verkleinerns 84 nicht nur der Überlappungsbereich 136 verkleinert wird, sondern dass ferner entsprechend der zu synthetisierende Bereich 134 verkleinert wird, derart, dass der maximale Überlappungsbereich des verkleinerten zu synthetisierenden Bereiches 134 nicht mehr mit den ungültigen Makroblöcken in dem Überlappungsbereich überlappt. Entsprechende Maßnahmen können auch in dem Fall von 6, d. h. in dem Fall von Standbildern vorgenommen werden.
Gemäß der vorhergehenden Beschreibung könnte ein aus dem Verfahren nach 3 entstehendes Bild/Videomaterial folgende Informationen aufweisen. Zunächst enthält das entstehende Bild/Videomaterial in uncodierter oder codierter bzw. komprimierter Form den Bildinhalt außerhalb der zu synthetisierenden Bereiche. Das Material kann aber ferner Informationen über den Ort bzw. die Lage und das Ausmaß des zu synthetisierenden Bereiches umfassen. Gegebenenfalls ist eine Information vorhanden, wo syntheseseitig entsprechende Texturflicken bezogen werden können, wie z. B. durch einen Hinweis auf einen entsprechenden Referenztexturabschnitt des gleichen Bilds/Videomaterials. Zusätzlich kann auch eine Information über den erlaubten maximalen Überlappungsbereich vorhanden sein. Sollten in diesem Überlappungsbereich ungültige Blöcke bzw. Kacheln ermittelt worden sein, so können diese besonders gekennzeichnet sein. Syntheseseitig könnte dann ein Decodierer dieses so aufbereitete Bild/Videomaterial synthetisieren, wobei aufgrund der Maßnahmen nach 3 die für den Betrachter störenden Stellen nicht vorhanden oder lediglich gering an Zahl und somit den Gesamteindruck wenig störend sind.
Bezüglich auf die vorhergehende Beschreibung wird noch darauf hingewiesen, dass beispielsweise in Schritt 84 nicht unbedingt eine Verkleinerung des zu synthetisierenden Bereiches erfolgen muss. Es kann auch sein, dass die nicht-aussondierten Kacheln bzw. Blöcke lediglich als nicht-synthetisierbar markiert werden. Diese Markierung führt bei Blöcken bzw. Kacheln innerhalb des zu synthetisierenden Bereiches natürlich effektiv zu einer Verkleinerung des zu synthetisierenden Bereiches. Im Überlappungsbereich jedoch wirkt eine solche Markierung wie im Vorhergehenden beschrieben. Auch wenn also folglich der Überlappungsbereich in dem entstehenden Bild/Videomaterial nicht explizit angegeben ist, so weiß dennoch der syntheseseitig arbeitende Decodierer, dass für diese Kacheln bzw. Blöcke der Bildinhalt aus dem Bild/Videomaterial zu verwenden ist, und dass diese Blöcke nicht durch synthetisierte Bildpunkte aus Texturflicken ersetzt werden dürfen.
Im Folgenden wird noch einmal ein Ausführungsbeispiel für eine Störstellenermittlung der Art nach 1 in anderen Worten beschrieben. Für eine interessierende Region ROI (region of interest) wird ein Qualitätsmaß, wie das zuvor erwähnte Q, pixelweise bestimmt, wobei die ROI beispielsweise durch eine binäre Maske, wie z. B. das zuvor erwähnte m(x,y,t) definiert wird. Sobald alle Q(x,y,t) in der ROI berechnet worden sind, werden verdächtige Positionen bestimmt, und zwar zu Clustern von Positionen, an denen der Wert Q einen gegebenen Schwellwert unterschreitet, und zwar mit einer Größe bzw. Anzahl von Bildpunkten, die zu dem jeweiligen Cluster beitragen, die eine bestimmte kritische Größe überschreitet Diese kritische Größe von Clustern, die potentiell als fehlerhaft angesehen werden, stellt einen Freiheitsgrad dar. Wie bereits erwähnt, kann der Grenzwert auf mindestens 12 Pixel einschließlich eingestellt sein. Für Positionen, die durch diesen Schritt trotz eventuell verdächtiger Bildpunkte als gültig erklärt worden sind, kann ein normiertes Histogramm der Q-Werte bestimmt werden, wobei das dabei entstehende Referenzhistogramm auch Auftretungshäufigkeiten ungleich 0 an sehr kleinen Q-Werten aufweist, da ja schlechte synthetische Texturen begrenzter Konzentration bzw. begrenzten Ausmaßes toleriert werden. Ferner werden die Histogramme von verdächtigen Bereichen bestimmt, wofür beispielsweise ein Teil bzw. eine volle Kachel bzw. ein voller Block, der einen solchen Verdächtigen Bereich umgibt, betrachtet wird oder aber diejenigen Blöcke bzw. Kacheln einer vorgegebenen Anordnung von Kacheln bzw. Blöcken, die mit dem Cluster überlappen. κ·κ große Kacheln können verwendet werden, oder aber auch dreidimensionale Blöcke. Die so entstehenden Einzelhistogramme der verdächtigen Cluster werden bei dem Referenzhistogramm unter Verwendung einer adäquaten Metrik verglichen, wie z. B. der vorher erwähnten l₁-Norm oder genauer des l₁-Abstands der Histogrammschwerpunkte. Bei größerem Abstand zwischen den Histogrammen als einem gewissen Schwellenwert wird ein jeweiliger verdächtiger Block bzw. eine jeweilige verdächtige Kachel als ungültig etikettiert. Dies erlaubt kleine Abweichungen zwischen Referenz- und verdächtigen Synthesebereichen und verhindert eine Überempfindlichkeit der entstehenden Störstellenermittlung. Ferner wird bezüglich der Vorgehensweise nach 3 noch darauf hingewiesen, dass räumliche Beeinträchtigungen aufgrund von Textursynthese typischerweise an Übergängen zwischen den ursprünglichen und den synthetisierten Texturen in der Form von unechten Kanten auftreten. Folglich werden gemäß manchen der obigen Ausführungsbeispiele die beschriebenen Blockgenauigkeitsmaße für die räumliche Artefakterfassung ausschließlich an diesen Übergängen angewendet. Bei den Qualitätsüberprüfungen in 1 und 3 kann es sein, dass bei diesen Bilder, die nicht durch die Textursynthese verarbeitet worden sind, nicht für die Qualitätsbeurteilung in Betracht gezogen werden, da sie mit dem ursprünglichen Signal perfekt übereinstimmen oder zumindest sehr gut übereinstimmen, so dass auf diese Weise der gemessene Qualitätsverlust, der durch die Synthese verursacht worden ist, durch diese Bilder verfälscht werden würde bzw. unmerklicher wird.
Ferner soll darauf hingewiesen werden, dass nach der vorhergehenden Beschreibung von 3 als Möglichkeit für das Abbruchkriterium für die iterative Durchführung der Maskenreduzierung bzw. für die iterative Einstellung des zu synthetisierenden Bereiches beschrieben wurde, dass die Überprüfung des globalen Qualitätsmaßes nach ggf. erneut durchgeführter Textursynthese stattfindet. Es kann allerdings auch sein, dass ein globales Qualitätsmaß auf das Bild/Videomaterial nach dem Schritt 84 angewendet wird, nämlich mit dem reduzierten zu synthetisierenden Bereich, außerhalb dessen das Bild/Videomaterial unmittelbar aus dem zugrunde liegenden Bild/Videomaterial abgeleitet wird, und wobei innerhalb des zu synthetisierenden Bereiches das Syntheseergebnis, das eigentlich für den größeren noch nicht verkleinerten zu synthetisierenden Bereich erhalten worden ist, verwendet wird. Insofern wird also darauf hingewiesen, dass nach der Maskenkorrektur nach Schritt 84 die Textursynthese optional durchgeführt werden kann, um ein neues Syntheseergebnis zu liefern, und um dann das globale Qualitätsmaß als Abbruchkriterium zu überprüfen, oder das alte Syntheseergebnis verwendet werden kann, um das Abbruchkriterium zu überprüfen, wobei dabei die aktualisierte Maske nach Schritt 84 für die globale Qualitätsbeurteilung verwendet wird. Ferner wird Bezug nehmend auf den Schritt 76 von 3 darauf hingewiesen, dass in dem Fall der Anwendung bei Videomaterialien das Verfahren sowohl bei starren Texturen, d. h. Texturen ohne Bewegung, als auch nicht starren Texturen angewendet werden kann. Eine temporäre Beeinträchtigungsprädiktion, wie sie im Vorhergehenden beschrieben worden ist, kann bei beiden dieser Texturen eingesetzt werden, und somit kann auch das Füllen des zu synthetisierenden Bereiches für beide Texturarten ausgelegt sein. Je nach Art der Textur würde der zu synthetisierende Bereich zu Beginn der Iteration nach 3 verschieden initialisiert werden. Zum Beispiel könnte bei der Synthetisierung von starren Texturen im Wesentlichen jedes zu synthetisierende Bild unabhängig von anderen Bildern bearbeitet werden, während bei der Synthetisierung von nicht starren Texturen aufeinander folgende Frames durch gleichzeitiges Optimieren ihrer Texturen miteinander verknüpft werden. Folglich würde die Maske, die für zwei aufeinander folgende Bilder verwendet wird, der Vereinigungsmenge der einzelnen Masken für den Fall von starren Texturen entsprechen. Hierdurch wäre es möglich, dass alle synthetisierten Makroblöcke bei der temporären Qualitätsmaßüberprüfung berücksichtigt werden. Die Maske für nicht starre Textursynthese kann beispielsweise durch Berechnen der Vereinigungsmenge aller Masken in dem betrachteten Satz von Bildern erhalten werden. Ferner sollte darauf hingewiesen werden, dass die Qualitätsbeurteilung leicht beeinflusst werden kann durch unsynthetisierte Bildpunkte in der durch Vereinigung erhaltenen Maske. Das Gleiche gilt im Übrigen, wenn als Qualitätsmaß das zeitliche Qualitätsmaß eingesetzt wird, das im Vorhergehenden Bezug nehmend auf 7 beschrieben worden ist.
Bei dieser Gelegenheit soll auch darauf hingewiesen werden, das verschiedene Möglichkeiten bestehen, die zuvor beschriebenen zeitlichen und örtlichen Qualitätsmaße miteinander zu verknüpfen. Zum Beispiel kann die iterative räumlich/temporäre Qualitätsbeurteilung von Synthesetexturen auf die im Folgenden verschiedenen Arten und Weisen durchgeführt werden, nämlich einerseits durch räumliche und temporäre Qualitätsbeurteilung, die parallel durchgeführt werden, und andererseits durch räumliche und temporäre Qualitätsbeurteilungen, die sequentiell durchgeführt werden. Beide Möglichkeiten werden im Folgenden noch einmal ganz kurz anhand der 9 und 10 näher beschrieben. Dabei zeigt 9 die iterative räumlich/temporäre Bildqualitätsbeurteilung mit paralleler Durchführung räumlicher und temporärer Qualitätsbeurteilung, und 10 die iterative räumlich/temporäre Qualitätsbeurteilung mit sequentieller Durchführung von räumlicher und temporärer Qualitätsbeurteilung.
Wie es 9 zu entnehmen ist, kann eine Einstellung eines zu synthetisierenden Bereiches eines Videos unter Verwendung sowohl eines räumlichen als auch eines temporären Qualitätsmaßes durchgeführt werden, indem anstelle der einzelnen Durchführung der Störstellenermittlung 78 nach 3 zwei Störstellenermittlungen 78a und 78b parallel zueinander bzw. unabhängig voneinander durchgeführt werden, nämlich eine 78a unter Verwendung des räumlichen Qualitätsmaßes und eine 78b unter Verwendung des temporären Qualitätsmaßes. Beide führen unabhängig voneinander zu jeweils einem Satz Mr bzw. M_t von ungültigen Blöcken bzw. Kacheln, die dann in einem nachfolgenden Schritt durch eine logische Mengenoperation in eine gemeinsame Menge M_g ungültiger Blöcke überführt werden, wie es durch einen Block 78c gezeigt ist. Die logische Operation kann beispielsweise in einer logischen ODER-Verknüpfung oder in einer logischen UND-Verknüpfung bestehen. Die so erhaltene Menge M_g entspricht dann in dem nachfolgenden Schritt 84 der ”nicht-ausgesonderten Menge”, d. h. der zu synthetisierende Bereich wird um die gemeinsame Menge von ungültigen Blöcken verkleinert.
In dem Fall von 10 wird anstelle der einzelnen Durchführung der Abfolge von Störstellenermittlung 78 und Verkleinerung 84 nach 3 eine Sequenz von zwei Störstellenermittlungen 78'a und 78'b durchgeführt, die jeweils durch eine Bereichsverkleinerung 84a, 84b gefolgt werden, nämlich eine 78'a unter Verwendung des räumlichen Qualitätsmaßes und eine 78'b unter Verwendung des temporären Qualitätsmaßes. Obwohl in 10 die Reihefolge gezeigt ist, wonach das zeitliche Qualitätsmaß nach dem räumlichen Qualitätsmaß verwendet wird, ist die umgekehrte Reihenfolge natürlich auch möglich. Der erste Teilschritt 78'a führt zu einem ersten Satz M₁ von ungültigen Blöcken bzw. Kacheln. Um diesen Satz wird dann die bestehende Ausdehnung des zu synthetisierenden Bereiches verkleinert 84a. Daraufhin wird an dem so verkleinerten zu synthetisierenden Bereich die Störstellenermittlung 78'b durchgeführt, die zu einem zweiten Satz M₂ ungültiger Blöcke führt, um den dann wiederum bei 84b das augenblickliche Ausmaß des zu synthetisierenden Bereichs verkleinert wird. Eine logische Mengenoperation ist nicht erforderlich.
Bei 9 werden somit die korrigierten Masken bzw. die ermittelten Störungen unter Verwendung eines geeigneten Operators, wie z. B. logische Operatoren wie ODER oder UND, gemischt. Die so erhaltene gemischte Maske wird für die optionale Textursynthese herangezogen und das entsprechende Syntheseergebnis wird bei der anschließenden globalen Qualitätsbeurteilung verwendet. Diese Schritte werden dann wie im Vorhergehenden Bezug nehmend auf 3 beschrieben wiederholt, bis die Qualität des Syntheseergebnisses zufriedenstellend ist. Das Prinzip nach 10 ist ähnlich, außer dass die räumliche Qualitätsbeurteilung und die zeitliche Qualitätsbeurteilung sequentiell durchgeführt werden und kein logischer Operator zum Mischen der Masken erforderlich ist.
Schließlich wird darauf hingewiesen, dass die im Vorhergehenden Bezug nehmend auf 3 beschriebene möglicherweise iterative Einstellung eines zu synthetisierenden Bereiches auch bei Videos eingesetzt werden kann, wie es im Vorhergehenden ja auch manchmal erwähnt wurde. Ob Bild- oder Videomaterial adressieren obige Ausführungsbeispiele Probleme, wie sie bei einer typischen Bildverarbeitungskette auftreten können, die optional beispielsweise eine Erfassung, Verarbeitung, Kompression, Speicherung und Übertragung umfasst. An jedem dieser Schritte der Kette können Qualitätsverschlechterungen auftreten. Aufgrund der großen Vielfalt an Bildverarbeitungsmodulen können zudem eine Vielzahl an Beeinträchtigungsmuster in der Praxis beobachtet werden. Die oben genannten Ausführungsbeispiele sind nun insbesondere geeignet für Artefakte, die bei Textur-Synthese-Anwendungen auftreten können. Die oben erwähnten Qualitätsmaße für sowohl räumliche als auch zeitliche Störungen können dabei sowohl für die Gesamtbildqualitäts beurteilung als auch für die Beeinträchtigungsauswertungen von interessierenden Ausschnitten bzw. ROIs angewendet werden. Dabei weisen obige Ausführungsbeispiele den Vorteil auf, dass sie es insbesondere ermöglichen, eine vollautomatisierte Textursynthese mit gesteuerter Qualität des Syntheseergebnisses zu bilden, wofür ein Beispiel Bezug nehmend auf 3 beschrieben worden ist.
Bezug nehmend auf die vorhergehenden Ausführungsbeispiele wird noch darauf hingewiesen, dass dieselben abhängig von den Gegebenheiten auch in Software implementiert sein können. Die Implementation kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder einer CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das entsprechende Verfahren ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computerprogrammprodukt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des jeweiligen Verfahrens, wenn das Computerprogrammprodukt bei einem Rechner abläuft. In anderen Worten ausgedrückt, können die vorhergehenden Ausführungsbeispiele somit als ein Computerprogramm mit einem Programmcode zur Durchführung des jeweiligen Verfahrens realisiert werden, wenn das Computerprogramm auf einem Computer abläuft.

Claims

Vorrichtung zur Ermittlung von Stellen von Störungen innerhalb eines interessierenden Bereiches (14; 80; 80'; 96; 106) eines zu untersuchenden Bild/Videos (18; 72; 100) relativ zu einem Referenzbild/Referenzvideo (20), mit einer Einrichtung (10) zum, für Bildpunkte (12) des interessierenden Bereichs, Bestimmen einer Bildinformationsübereinstimmungsqualität zwischen dem zu untersuchenden Bild/Video und dem Referenzbild/Referenzvideo an einem Ort des jeweiligen Bildpunkts; einer Einrichtung (30) zum Identifizieren einer Anzahl von Clustern (32) von benachbarten Bildpunkten unter den Bildpunkten des interessierenden Bereichs, für die die bestimmte Bildinformationsübereinstimmungsqualität eine vorbestimmte Qualitätsschwelle (Q_s) unterschreitet, und deren Anzahl eine vorbestimmte Zahl überschreitet, um eine vorläufige Anzahl an Störstellen zu erhalten; einer Einrichtung (58) zum Reduzieren der vorläufigen Anzahl von Störstellen abhängig von einer Referenzhäufigkeitsverteilung (40) der Bildinformationsübereinstimmungsqualität der Bildpunkte des interessierenden Bereichs in einem ersten Teil (38) von Bildpunkten des zu untersuchenden Bilds/Videos, in dem sich keines der Anzahl von Clustern (32) befindet, und einer – für zweite Teile (36) des interessierenden Bereichs, in denen sich ein Cluster (32) der Anzahl von Clustern befindet – Einzelhäufigkeitsverteilung (44) der Bildinformationsübereinstimmungsqualitä ten der Bildpunkte des interessierenden Bereiches in dem jeweiligen zweiten Teil (36).
Vorrichtung gemäß Anspruch 1, bei der die Einrichtung (58) zum Reduzieren folgende Merkmale aufweist: eine Einrichtung (34) zum Ermitteln einer – für jeden einer ersten Anzahl von Blöcken (36), in denen sich ein Cluster (32) der Anzahl von Clustern befindet – Einzelhäufigkeitsverteilung (44) der Bildinformationsübereinstimmungsqualitäten der Bildpunkte des interessierenden Bereiches in dem jeweiligen Block (36) sowie einer Referenzhäufigkeitsverteilung (40) der Bildinformationsübereinstimmungsqualität der Bildpunkte des interessierenden Bereichs in einem zu der ersten Anzahl von Blöcken disjunkten Teil (38) von Bildpunkten des zu untersuchenden Bilds/Videos; und eine Einrichtung (46) zum Aussondern einer Anzahl von solchen Blöcken (36) aus der ersten Anzahl von Blöcken, in denen sich ein Cluster (32) der Anzahl von Clustern befindet, deren Einzelhäufigkeitsverteilung (44) zu der Referenzhäufigkeitsverteilung (40) eine vorbestimmte Ähnlichkeitsschwelle überschreitet.
Vorrichtung gemäß Anspruch 2, bei der die Einrichtung (10) zum Ermitteln derart ausgebildet ist, dass dieselbe von einer vorgegebenen Unterteilung in Blöcke ausgeht und die Einzelhäufigkeitsverteilung für diejenigen Blöcke dieser Unterteilung ermittelt, mit denen die Anzahl von Clustern überlappt.
Vorrichtung gemäß Anspruch 2, bei der die Einrichtung (10) zum Ermitteln derart ausgebildet ist, dass dieselbe die erste Anzahl von Blöcken abhängig von der Lage der Anzahl von Cluster anordnet, um dieselben zu beinhalten, und die Einzelhäufigkeitsverteilung für diese Blöcke zu ermitteln.
Vorrichtung gemäß einem der vorhergehenden Ansprüche, bei der die Einrichtung (10) zum Bestimmen derart ausgebildet ist, dass die Bildinformationsübereinstimmungsqualität eine örtliche Gradientenabweichung zwischen dem zu untersuchenden Bild/Video (18) und dem Referenzbild/Referenzvideo (20) angibt.
Vorrichtung gemäß einem der vorhergehenden Ansprüche, bei der die Einrichtung (10) zum Bestimmen ausgebildet ist, um die Bildinformationsübereinstimmungsqualität abhängig von einer Differenz zwischen einer mit einem Kanten in einer ersten Richtung (112) hervorhebenden ersten Filter gefilterten Version des zu untersuchenden Bilds/Videos und einer mit dem ersten Filter gefilterten Version des Referenzbild/Referenzvideos zu bestimmen.
Vorrichtung gemäß Anspruch 6, bei der die Einrichtung (10) zum Bestimmen ausgebildet ist, um die Bildinformationsübereinstimmungsqualität ferner abhängig von einer Differenz zwischen einer mit einem Kanten in einer zweiten zu der ersten senkrechten Richtung (114) hervorhebenden zweiten Filter gefilterten Version des zu untersuchenden Bild/Videos und einer mit dem zweiten Filter gefilterten Version des Referenzbild/Referenzvideos zu bestimmen.
Vorrichtung gemäß einem der Ansprüche 1 bis 7, bei der die vorbestimmte Zahl benachbarter Bildpunkte zum Identifizieren einer Anzahl von Clustern im Bereich von 10 einschließlich bis 15 einschließlich liegt, und eine Größe der Blöcke zwischen 144 Bildpunkten einschließlich und 400 Bildpunkten einschließlich liegt.
Vorrichtung gemäß einem der Ansprüche 2, bei der die Einrichtung (34) zum Ermitteln ausgebildet ist, um die Ermittlung der Referenzhäufigkeitsverteilung (40) und der Einzelhäufigkeitsverteilung (44) auf Basis einer Kategorieneinteilung mit einer Kategorienanzahl zwischen 50 einschließlich und 500 einschließlich vorzunehmen.
Vorrichtung gemäß Anspruch 9, bei der die Einrichtung (46) zum Aussondern ausgebildet ist, um eine Überprüfung, ob eine jeweilige Einzelhäufigkeitsverteilung zu der Referenzhäufigkeitsverteilung die vorbestimmte Ähnlichkeitsschwelle überschreitet, auf Basis eines l₁-Abstandes eines Histogrammschwerpunktes der Referenzhäufigkeitsverteilung (40) und der jeweiligen Einzelhäufigkeitsverteilung (44) durchzuführen.
Vorrichtung gemäß einem der Ansprüche 1 bis 10, bei der das zu untersuchende Bild/Video ein zu untersuchendes Video und das Referenzbild/ReferenzvReferenzvideo ein Referenzvideo ist.
Vorrichtung gemäß Anspruch 11, bei der die Einrichtung (10) zum Bestimmen derart ausgebildet ist, dass die Bildinformationsübereinstimmungsqualität von einer zeitlichen Gradientenabweichung zwischen dem zu untersuchenden Video und dem Referenzvideo abhängt.
Vorrichtung gemäß Anspruch 11 oder 12, bei der die Einrichtung (10) zum Bestimmen ausgebildet ist, um die Bildinformationsübereinstimmungsqualität abhängig von einer Differenz zwischen einer mit einem Kanten in einer dritten Richtung (116₁ ) schräg zu einer Zeitachse (t) hervorhebenden dritten Filter gefilterten Version des zu untersuchenden Videos und einer mit dem dritten Filter gefilterten Version des Referenzvideos zu bestimmen, wobei die dritte Richtung (116₁ ) eine Zeitkomponente ungleich Null aufweist.
Vorrichtung gemäß Anspruch 13, bei der die Einrichtung (10) zum Bestimmen ausgerichtet ist, um die Bildinformationsübereinstimmungsqualität ferner abhängig von einer Differenz zwischen einer mit einem Kanten in einer vierten zu der dritten Richtung senkrechten Richtung (116₂ ) schräg zu der Zeitachse (t) hervorhebenden vierten Filter gefilterten Version des zu untersuchenden Videos und einer mit dem vierten Filter gefilterten Version des Referenzvideos zu bestimmen, wobei die dritte und die vierte Richtung in einer ersten Ebene (118) parallel zu der Zeitachse liegen.
Vorrichtung gemäß Anspruch 13 oder 14, bei der die Einrichtung zum Bestimmen, die Einrichtung zum Identifizieren, die Einrichtung zum Ermitteln und die Einrichtung zum Aussondern ausgebildet sind, um die Bestimmung, Identifizierung, Ermittlung und Aussonderung für eine Bildinformationsübereinstimmungsqualität zu wiederholen, die von einer Differenz zwischen einer mit einem Kanten in einer fünften Richtung schräg zu der Zeitachse hervorhebenden fünften Filter gefilterten Version des zu untersuchenden Videos und einer mit dem fünften Filter gefilterten Version des Referenzvideos abhängt, wobei die fünfte Richtung in einer zweiten Ebene, die parallel zu der Zeitachse (t) verläuft und schräg zur ersten Ebene ist, liegt und eine Zeitkomponente ungleich Null aufweist.
Vorrichtung zur Ermittlung von Stellen von Störungen innerhalb eines interessierenden Bereiches (14; 80; 80'; 96; 106) eines zu untersuchenden Bild/Videos (18; 72; 100) relativ zu einem Referenzbild/Referenzvideo (20), mit einer Einrichtung (10) zum, für Bildpunkte (12) des interessierenden Bereichs, Bestimmen einer Bildinformationsübereinstimmungsqualität zwischen dem zu unter suchenden Bild/Video und dem Referenzbild/Referenzvideo an einem Ort des jeweiligen Bildpunkts; einer Einrichtung (30) zum Identifizieren einer Anzahl von Clustern (32) von benachbarten Bildpunkten unter den Bildpunkten des interessierenden Bereichs, für die die bestimmte Bildinformationsübereinstimmungsqualität eine vorbestimmte Qualitätsschwelle (Q_s) unterschreitet, und deren Anzahl eine vorbestimmte Zahl überschreitet, um eine vorläufige Anzahl an Störstellen zu erhalten; einer Einrichtung (58) zum Reduzieren der vorläufigen Anzahl von Störstellen abhängig von einem Auftreten von Ausreißern unter der Bildinformationsübereinstimmungsqualität der Bildpunkte in dem interessierenden Bereich in den jeweiligen Clustern, wobei die Einrichtung (58) zum Reduzieren folgende Merkmale aufweist: eine Einrichtung (60a) zum Bestimmen eines Maßes für die Dispersion einer Verteilung der Bildinformationsübereinstimmungsqualität der Bildpunkte innerhalb des interessierenden Bereiches; und eine Einrichtung (60b) zum Ermitteln von Ausreißern unter den Bildinformationsübereinstimmungsqualitäten der Bildpunkte innerhalb der Anzahl von Clustern abhängig von dem bestimmten Maß für die Dispersion; und eine Einrichtung (60c) zum Aussondern von denjenigen Clustern aus der Anzahl von Clustern, die keine Ausreißer aufweisen.
Vorrichtung zum Einstellen eines zu synthetisierenden Bereiches in einem Bild/Video, mit einer Einrichtung (76) zum Füllen eines vorläufigen zu synthetisierenden Bereiches (74) des Bild/Videos, um ein synthetisiertes Bild/Video zu erhalten; einer Vorrichtung (78) zur Ermittlung von Stellen von Störungen innerhalb eines interessierenden Bereiches (80) des Bild/Videos relativ zu einem Referenzbild/Referenzvideo gemäß einem der Ansprüche 1 bis 16, wobei der interessierende Bereich (80) in der Nähe einer Grenze des vorläufigen zu synthetisierenden Bereiches (74) verläuft; und einer Einrichtung (84) zum Verkleinern des vorläufigen zu synthetisierenden Bereiches (74) oder eines denselben umgebenden optional synthetisierbaren Überlappungsbereiches (94) um eine Anzahl von Blöcken (86), die von den ermittelten Stellen abhängt.
Vorrichtung gemäß Anspruch 17, bei der die Einrichtung zum Füllen, die Vorrichtung zur Ermittlung und die Einrichtung zum Verkleinern ausgebildet sind, um das Füllen, die Ermittlung und das Verkleinern auf Basis des verkleinerten zu synthetisierenden Bereiches und/oder des verkleinerten Überlappungsbereiches zu wiederholen.
Vorrichtung gemäß Anspruch 17 oder 18, bei der die Einrichtung (76) zum Füllen ausgebildet ist, das Füllen durch sequentielles Platzieren von Texturflicken (92) durchzuführen, derart, dass zumindest ein Texturflicken (92) so platziert wird, dass derselben mit dem den vorläufigen zu synthetisierenden Bereich umgebenen optional synthetisierbaren Überlappungsbereich (94) überlappt, und dass zumindest ein Bildpunkt in einem überlappenden Abschnitt zwischen dem zumindest einem Texturflicken und dem Überlappungsbereich des Bild/Videos durch einen entsprechenden Bildpunkt des zumindest einen Texturflickens ersetzt wird.
Vorrichtung gemäß Anspruch 19, bei der die Einrichtung zum Füllen derart ausgebildet ist, dass ein Ausmaß, in welchem die Texturflicken mit dem optional synthetisierbaren Überlappungsbereich (94) überlappend platzierbar sind, auf den optional synthetisierbaren Überlappungsbereich eingeschränkt ist, wobei der interessierende Bereich (96) den optional synthetisierbaren Überlappungsbereich (94) vollständig umfasst.
Vorrichtung gemäß Anspruch 20, wobei der interessierende Bereich (96) einen Streifen entlang der Grenze des vorläufigen zu synthetisierenden Bereiches (90) bildet, dessen Längsmittellinie im Inneren des Überlappungsbereiches (94) verläuft.
Vorrichtung gemäß einem der Ansprüche 17 bis 21, bei der die Vorrichtung zur Einstellung derart ausgebildet ist, dass die Grenze (108) eindimensional und die Blöcke und der interessierende Bereich (110) zweidimensional sind, um sich jeweils lediglich örtlich zu erstrecken.
Vorrichtung gemäß Anspruch 22, bei der die Einrichtung zum Filtern, die Vorrichtung zur Ermittlung und die Einrichtung zum Verkleinern ausgebildet sind, um das Füllen, die Ermittlung und die Verkleinerung für mehrere Bilder (102c–102g) des Bild/Videos zu wiederholen, über die hinweg sich der vorläufige zu synthetisierende Bereich (104) erstreckt.
Vorrichtung gemäß einem der Ansprüche 17 bis 23, die ferner eine Einrichtung zum Erzeugen eines Datenstroms aufweist, der Bildinhalte für einen Bereich außerhalb des um die nicht-aussondierten Blöcke verkleinerten vorläufigen zu synthetisierenden Bereichs (74') aufweist.
Vorrichtung gemäß Anspruch 24, bei der die Einrichtung zum Erzeugen ferner derart ausgebildet ist, dass der Datenstrom ferner anzeigt, um welche Blöcke der Überlappungsbereich verkleinert ist.
Vorrichtung gemäß einem der Ansprüche 17 bis 25, bei der die Einrichtung zum Füllen, die Einrichtung zur Ermittlung und die Einrichtung zum Verkleinern ausgebildet sind, um das Füllen, die Ermittlung und die Verkleinerung iterativ durchzuführen.
Vorrichtung gemäß Anspruch 26, bei die Vorrichtung ausgebildet ist, um die Iterationen durchzuführen, bis eine maximale Anzahl von Iterationen erreicht ist oder die Verkleinerung zu keiner effektiven Verkleinerung mehr führt.
Verfahren zur Ermittlung von Stellen von Störungen innerhalb eines interessierenden Bereiches (14; 80; 80'; 96; 106) eines zu untersuchenden Bild/Videos (18; 72; 100) relativ zu einem Referenzbild/Referenzvideo (20), mit folgenden Schritten: für Bildpunkte (12) des interessierenden Bereichs, Bestimmen einer Bildinformationsübereinstimmungsqualität zwischen dem zu untersuchenden Bild/Video und dem Referenzbild/Referenzvideo an einem Ort des jeweiligen Bildpunkts; Identifizieren einer Anzahl von Clustern (32) von benachbarten Bildpunkten unter den Bildpunkten des interessierenden Bereichs, für die die bestimmte Bildinformationsübereinstimmungsqualität eine vorbestimmte Qualitätsschwelle (Q_s) unterschreitet, und deren An zahl eine vorbestimmte Zahl überschreitet, um eine vorläufige Anzahl von Störstellen zu erhalten; Reduzieren der vorläufigen Anzahl von Störstellen abhängig von einer Referenzhäufigkeitsverteilung (40) der Bildinformationsübereinstimmungsqualität der Bildpunkte des interessierenden Bereichs in einem ersten Teil (38) von Bildpunkten des zu untersuchenden Bilds/Videos, in dem sich keines der Anzahl von Clustern (32) befindet, und einer – für zweite Teile (36) des interessierenden Bereichs, in denen sich ein Cluster (32) der Anzahl von Clustern befindet – Einzelhäufigkeitsverteilung (44) der Bildinformationsübereinstimmungsqualitäten der Bildpunkte des interessierenden Bereiches in dem jeweiligen zweiten Teil (36).
Verfahren zur Ermittlung von Stellen von Störungen innerhalb eines interessierenden Bereiches (14; 80; 80'; 96; 106) eines zu untersuchenden Bild/Videos (18; 72; 100) relativ zu einem Referenzbild/Referenzvideo (20), mit folgenden Schritten: für Bildpunkte (12) des interessierenden Bereichs, Bestimmen einer Bildinformationsübereinstimmungsqualität zwischen dem zu untersuchenden Bild/Video und dem Referenzbild/Referenzvideo an einem Ort des jeweiligen Bildpunkts; Identifizieren einer Anzahl von Clustern (32) von benachbarten Bildpunkten unter den Bildpunkten des interessierenden Bereichs, für die die bestimmte Bildinformationsübereinstimmungsqualität eine vorbestimmte Qualitätsschwelle (Q_s) unterschreitet, und deren An zahl eine vorbestimmte Zahl überschreitet, um eine vorläufige Anzahl von Störstellen zu erhalten; Reduzieren der vorläufigen Anzahl von Störstellen abhängig von einem Auftreten von Ausreißern unter der Bildinformationsübereinstimmungsqualität der Bildpunkte in dem interessierenden Bereich in den jeweiligen Clustern, wobei der Schritt des Reduzierens folgende Teilschritte aufweist: Bestimmen (60a) eines Maßes für die Dispersion einer Verteilung der Bildinformationsübereinstimmungsqualität der Bildpunkte innerhalb des interessierenden Bereiches; und Ermitteln (60b) von Ausreißern unter den Bildinformationsübereinstimmungsqualitäten der Bildpunkte innerhalb der Anzahl von Clustern abhängig von dem bestimmten Maß für die Dispersion; und Aussondern (60c) von denjenigen Clustern aus der Anzahl von Clustern, die keine Ausreißer aufweisen.
Verfahren zum Einstellen eines zu synthetisierenden Bereiches in einem Bild/Video, mit folgenden Schritten: Füllen eines vorläufigen zu synthetisierenden Bereiches (74) des Bild/Videos, um ein synthetisiertes Bild/Video zu erhalten; Ermittelung von Stellen von Störungen innerhalb eines interessierenden Bereiches (80) des Bild/Videos relativ zu einem Referenzbild/Referenzvideo gemäß Anspruch 28 oder 29, wobei der interessierende Bereich (80) in der Nähe einer Grenze des vorläufigen zu synthetisierenden Bereiches (74) verläuft; Verkleinern des vorläufigen zu synthetisierenden Bereiches (74) oder eines denselben umgebenden optional synthetisierbaren Überlappungsbereiches (94) um eine Anzahl von Blöcken (86), die von den ermittelten Stellen abhängt.
Programm mit einem Programmcode zum Durchführen des Verfahrens nach einem der Ansprüche 28 bis 30, wenn das Programm auf einem Prozessor abläuft.