AT505041B1 - Ein verfahren für die interaktive manipulation von bildsequenzen - Google Patents

Description

2 AT 505 041 B1

Die Erfindung bezieht sich auf Verfahren zur interaktiven Manipulation von Bildsequenzen.

Weiters bezieht sich die Erfindung auf eine Verfahren zur interaktiven Manipulation von Bildsequenzen gegeben durch digitale Daten.

Bei der Bearbeitung von Bildsequenzen ist die Anzahl der Bilder sehr hoch und bei hochauflösenden Bildsequenzen damit auch die Datenmenge. Das folgende Beispiel verdeutlicht dies: Eine Bildsequenz mit einer Dauer von einer Stunde besteht bei 24 Bildern pro Sekunde aus 86.400 Bildern. Liegt diese Bildsequenz in digitaler Form vor, ergibt eine Bildgröße von 4048 x 4048 Bildelementen pro Bild mit 3 Farbkanälen (Rot, Grün, Blau) in 10 Bit Auflösung eine Gesamtgröße von 5,43582*1012 Bytes.

Bei einer großen Anzahl von Bildern (im Falle von digitalen Bildern damit auch bei einer sehr großen Datenmenge) verliert der Anwender den Überblick und kann Bereiche von Bildsequenzen nicht direkt vergleichen und für eine Manipulation auswählen. Die Kognitionsforschung hat experimentell die Beschränkungen des sensorischen Gedächtnisses (Ultra Kurzzeitgedächtnis) und des Kurzzeitgedächtnis bestimmt. Eine sehr geringe Anzahl von Bildern kann gemeinsam betrachtet werden (auch hier ist eine abwechselnde Fokussierung durch Blickbewegungen notwenig), bei einer mittleren Anzahl ist ein manueller Wechsel der Bilder möglich, bei einer hohen Anzahl von Bildern, wie sie beispielhaft bei einer Film oder Videosequenz vorliegt, ist ein effizienter Wechsel und Vergleich zwischen mehreren Bereichen in der Filmsequenz nicht mehr möglich. Der Gegenstand der Erfindung ist es, zwei beliebige Bereiche einer Bildsequenz direkt vergleichbar zu machen und in Folge einen spezifischen Bereich zu verändern oder zu ersetzen.

Um den oben beschriebenen Vorgang zu ermöglichen wird ein Verfahren für die interaktive Manipulation von Bildsequenzen entsprechend den unabhängigen Patentansprüchen angebo-ten.

Entsprechend einer exemplarischen Ausgestaltung der Erfindung wird ein Verfahren zur interaktiven Manipulation einer Bildsequenz, im speziellen Fall ein Film in digitaler Form, angeboten. Das Verfahren wird hierbei an einem spezifischen Bild der Bildsequenz, weiters Manipulationsziel genannt, angewandt. An diesem Bild wird eine Änderung vorgenommen, welche durch eine Manipulationsquelle bestimmt wird. Durch eine Anwender Interaktion wird der Bereich an dem eine Veränderung durchgeführt wird sowohl im Manipulationsziel als auch in der Manipulationsquelle festgelegt. Dabei liegt es im Kern der Erfindung, dass zur interaktiven Bestimmung der Position im Manipulationsziel und in der Manipulationsquelle keine weitere Navigation notwendig ist und die einzelnen Bildelemente direkt verglichen werden können.

Der Begriff „Bereich“ kann einen räumlichen, zeitlichen oder einen Teilbereich des Farbraums einer Bildsequenz beschreiben. Die Realisierung von Bereichen kann über Masken und Filter (sowohl in einer opto-mechanischen als auch einer digitalen Ausgestaltung) realisiert werden.

Das Verfahren ermöglicht weiters in einer solchen exemplarischen Ausgestaltung zwei Bereiche in der Bildsequenz direkt zu vergleichen ohne eine Navigation in der Bildsequenz durchzuführen zu müssen.

Entsprechend einer exemplarischen Ausgestaltung der Erfindung ist eine Kombination von Anwender Interaktion und algorithmisch unterstützter automatischer Auswahl von Bereichen im Manipulationsziel und in der Manipulationsquelle möglich. Eine automatische Auswahl im Manipulationsziel kann exemplarisch durch Erkennen von Defekten durchgeführt werden. Eine automatische Auswahl in der Manipulationsquelle kann durch das Erkennen ähnlicher Bereiche im Manipulationsziel durchgeführt werden.

Ein exemplarisches Anwendungsfeld der Erfindung liegt im Bereich der Restaurierung von 3 AT 505 041 B1

Bildsequenzen. Eine weiteres exemplarisches Anwendungsfeld ist im Bereich der Nachbearbeitung von Filmabtastungen. Hierbei gilt es kleine Staubeinschlüsse bzw. Pixelfehler hervorgerufen durch ein beschädigtes Original Filmmaterial zu entfernen.

Ein weiteres exemplarisches Anwendungsfeld liegt in der Korrektur von Drehfehlern und in der Entfernung von unerwünschten Teilen aus Bildsequenzen ("rigg removal").

Die Erfindung ist nicht auf diese Anwendungsfälle beschränkt sondern kann in jedem Bereich eingesetzt werden in dem Vergleich und Manipulation von Bildsequenzen notwendig sind, wie zum Beispiel in der medizinischen Bildverarbeitung, dem Datamining, der Suche in Bildarchiven oder in der wissenschaftlichen Visualisierung.

Im folgenden wird die Erfindung mit der Hilfe von Abbildungen im Detail beschrieben und an Hand der oben angeführten exemplarischen Anwendungsfälle verdeutlicht.

Abb. 1 illustriert das Verfahren entsprechend einer exemplarischen Ausgestaltung Abb. 2 illustriert Bereiche und Bildelemente in Bildsequenzen

Abb. 3 illustriert die räumliche Verschiebung zwischen Manipulationsziel und Manipulationsquelle.

Abb. 4 illustriert die zeitliche Verschiebung zwischen Manipulationsziel und Manipulationsquelle.

Abb. 5 illustriert die Größenverhältnisse und die Position entsprechend einer exemplarischen Ausgestaltung

Abbildung 1 zeigt ein Gerät (100) zur Manipulation von Bildsequenzen. Dieses Gerät wird auf einem Manipulationsziel angewandt. In (103) wird jener Bereich festgelegt in welchem das Manipulationsziel verändert wird. (104) zeigt die dafür verwendeten Bildelemente aus der Manipulationsquelle. In (102) wird ein Ausschnitt aus der Manipulationsquelle gezeigt. Da (100) über dem Manipulationsziel liegt wird (102) als temporäre Überlagerung dargestellt. Es wird in (102) ein Ausschnitt aus der Manipulationsquelle quasi eingeblendet. In (101) wird jener Bereich durch eine Umrandung markiert, welcher im Manipulationsziel dem Bereich (102) der Manipulationsquelle entspricht. (105) verbindet die Bereiche (101) und (102) und deckt die Bildelemente im Manipulationsziel ab. (105) kann in einer exemplarischen Ausgestaltung semitransparent sein. Das Gerät (101, 102, 103, 104 und 105) wird als gesamte Einheit bewegt. Damit bleibt der (visuelle) Abstand zwischen (103) und (104) immer konstant und ein Anwender hat in jedem Zeitpunkt die entsprechenden Bereiche im Manipulationsziel und in der Manipulationsquelle gleichzeitig sichtbar und durch (105) verbunden. Durch eine Bewegung von (100) können von (100) verdeckte Bereiche im Manipulationsziel wieder sichtbar gemacht werden. Die Orientierung von (100) am Manipulationsziel wird automatisch geändert (siehe dazu auch Abbildung 5).

Abbildung 2 zeigt eine Bildsequenz (200) in welcher ein Manipulationsziel (201) und eine Manipulationsquelle (202) ausgezeichnet sind. Der zeitliche Abstand zwischen Manipulationsquelle und Manipulationsziel wird in den folgenden Abbildungen mit dt (203) bezeichnet. Sowohl im Manipulationsziel als auch in der Manipulationsquelle (204) können Bereiche (205) definiert werden. Ein Bereich wird durch seine Position (206, 207) sowie Größe und Form (208) charakterisiert. Die Beschreibung eines Bereiches erfolgt in einer exemplarischen Ausgestaltung mittels einer Bildmaske. Eine Bildmaske kann mechanisch oder im Falle eines digitalen Bildes als zusätzlicher Färb- bzw Maskenkanal implementiert werden. Jedes Bild ist durch einzelne Bildelemente (209) aufgebaut. Im Falle eines analogen Bildes sind dies optische Materialien und im Falle eine digitalen Bildes so genannte Pixel (Picture Elements). Jedes Bildelement (210) speichert die Farbinformation. Eine Definition von Bereichen ist auch in der Farbdimension möglich, z.B. wenn nur die Bildelemente des roten Farbkanals verwendet werden.

Abbildung 3 zeigt die räumliche Verschiebung (300) zwischen Manipulationsziel (301) und Manipulationsquelle (302). Mittelpunkt und Größe des zu ändernden Bereichs im Manipulati- 4 AT 505 041 B1 onsziel (301) werden durch XMz, und YMz (303) beschrieben. Durch eine räumliche Verschiebung (305, 306) in Referenz zu (303), wird der Bereich (307) in der Manipulationsquelle bestimmt. Die Bildelemente dieses Bereiches werden in (308) dargestellt. Eine Änderung der räumlichen Verschiebung (305, 306) wird durch eine Anwender Interaktion bestimmt, dabei erfolgt in (308) ein sofortige visuelle Rückmeldung.

Abbildung 4 zeigt die zeitliche Verschiebung (400) zwischen Manipulationsziel (401) und Manipulationsquelle (402). In (403) werden die Bildelemente aus dem entsprechenden Bereich der Manipulationsquelle (404) dargestellt. Die zeitliche Verschiebung kann durch eine untere Grenze (405) und durch eine obere Grenze (406) beschränkt werden. In einer exemplarischen Ausgestaltung im Bereich der digitalen Filmmanipulation sind solche Grenzen z.B. durch einen Szenenwechsel (Filmschnitt) gegeben. In (407) wird die Verringerung des zeitlichen Abstands an der unteren Grenze illustriert. In (408) ist die zeitliche Verschiebung dt auf 0 reduziert. Allgemein kann die zeitliche Verschiebung TMq durch folgende Formel berechnet werden: TMq = min (max (TMZ + dt), TGU) TG0)

Abbildung 5 zeigt eine exemplarische Form des Gerätes (501) und illustriert das Verfahren zur Positionierung. Der Durchmesser des sichtbaren Bereiches (502) wird bei der Verwendung (auch bei einer Positionierung) konstant gehalten: 0 Mz = konstant

In (502) wird aus der Manipulationsquelle der Bereich (503) dargestellt. Die Größe des von (503) wird durch eine Skalierungsfaktor SQZ zwischen Quelle und Ziel - bestimmt:

0 Mq = 0 MqZ/SqZ

In (506) wird jener Bereich im Manipulationsziel bestimmt, welcher dem Bereich (503) aus dem Manipulationsziel entspricht. Das Manipulationsziel kann in einer exemplarischen Ausgestaltung (realisiert z.B. durch ein optisches Verfahren oder durch einen digitalen Bildspeicher) vergrößert oder verkleinert dargestellt werden. Der Skalierungsfaktor SMz entspricht hierbei dem inversen Maßstab:

Smz = 1 / n, mit n als Skalierungsfaktor des Manipulationsziels

Die Größe von (506) wird durch die Größe des Bereiches im Manipulationsziel multipliziert mit Smz bestimmt: 0 MqZ — 0 Mq * Smz

Die Orientierung von (501) ändert sich automatisch abhängig von der Position innerhalb des Manipulationsziels angegeben. In untenstehender Tabelle wird exemplarisch der Drehwinkel (509) in Abhängigkeit der Position von (506) angegeben. Die Positionsangabe bezieht sich auf die entsprechenden Quadranten (A, B, C, D) im Manipulationsziel.

Quadrant Drehwinkel A 45° B 135° C -45° D o uo CO 1

Claims (8)

1. 5 AT 505 041 B1 Patentansprüche: 1. Ein Verfahren zur Manipulation von Bildsequenzen, dadurch gekennzeichnet, dass folgende Verfahrensschritte durchgeführt werden a. Auswahl eines Bildes (Manipulationsziel, 201) in einer Bildsequenz, b. Auswahl eines Teilbereiches (103) in dem Bild aus Verfahrenschritt a.), welcher verändert werden soll, c. Auswahl eines weiteren Bildes (Manipulationsquelle, 202) aus der Bildsequenz, d. Auswahl eines Teilbereiches (104) in dem Bild aus Verfahrenschritt c), welcher als Quelle für die Bildmanipulation herangezogen wird, e. gemeinsame Darstellung (100) der ausgewählten Bereiche aus den Verfahrenschritten b.) und d.) als Überlagerung über dem Manipulationsziel (201), und f. die Durchführung der Bildmanipulation.
2. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Teilbereich (103) aus dem Manipulationsziel (201) und der Teilbereich (104) aus der Manipulationsquelle (102) mit verschiedenen Vergrößerungsfaktoren dargestellt werden.
3. 3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Auswahl eines Teilbereiches (104) in der Manipulationsquelle (202) durch eine Benutzereingabe erfolgt.
4. 4. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Auswahl eines Teilbereiches (104) in der Manipulationsquelle (102) durch ein automatisches Verfahren erfolgt.
5. 5. Verfahren nach Anspruch 1 bis 4, dadurch gekennzeichnet, dass der zeitliche Abstand zwischen Manipulationsziel (201) und Manipulationsquelle (202) durch eine obere und/oder untere Schranke beschränkt wird.
6. 6. Verfahren nach Anspruch 1 bis 5, dadurch gekennzeichnet, dass die Darstellung aus Verfahrensschritt e.) immer vollständig sichtbar ist.
7. 7. Verfahren nach Anspruch 1 bis 6, dadurch gekennzeichnet, dass in der Darstellung in Verfahrensschritt e.) die Größe des Manipulationswerkzeugs angezeigt wird.
8. 8. Verfahren nach Anspruch 1 bis 7, dadurch gekennzeichnet, dass Teilbereich (103) auf dem Manipulationsziel (201) mit einem konstanten Vergrößerungsfaktor, unabhängig vom Vergrößerungsfaktoren des Manipulationsziels (201), dargestellt wird. Hiezu 3 Blatt Zeichnungen