-
STAND DER TECHNIK
-
Die vorliegende Erfindung betrifft
das Gebiet des Testens von Videosignalen, und im Besonderen betriff
die vorliegende Erfindung eine gemeinsame räumlich-zeitliche Ausrichtung
von Videosequenzen, wobei ein Testvideosignal mit einem Bezugsvideosignal
zum Prüfen
der Videowiedergabetreue ausgerichtet wird.
-
Bei Videoverarbeitungs- und/oder Übertragungssystemen
kann eine zeitliche Latenz und eine räumliche Verschiebung in das
Videosignal eingeführt
werden. Ein Beispiel ist ein Videoübertragungssystem unter Verwendung
einer MPEG-2-Komprimierung
zur Bandbreitenreduzierung und zum Transport digitaler Bitströme. Zum
Prüfen
der Videosignalwiedergabetreue eines Videoverarbeitungssystems ist
es erforderlich, das getestete Signal präzise mit dem eines ursprünglichen
Bezugssignals sowohl räumlich
als auch zeitlich präzise
auszurichten oder zu synchronisieren. Die Aufgabe des Ausrichtens umfasst
die Erfassung und Korrektur der räumlichen und zeitlichen Verschiebung.
Eine Videosequenz weist abgetastete Bilder auf, die zeitlich identische Abstände aufweisen.
Bei Interlaced-Video (Videos mit Zeilensprungvefahren) wird jedes
abgetastete Bild als Videoteilbild bezeichnet.
-
Es gibt zahlreiche Ausrichtungsverfahren
für zweidimensionale
Bilder, wie etwa das gut bekannte Phasenkorrelationsverfahren für die Erfassung
einer räumlichen
Verschiebung, wie dies in "The Phase Correlation Image Alignment
Method", von C. D. Kuglin und D. C. Hines, Jr., in Proceedings of
the IEEE 1975 International Conference on Cybernetics and Society,
September 1975, Seiten 163–165
erörtert
wird. Das Phasenkorrelationsverfahren basiert auf der Tatsache,
dass der Großteil
der Informationen zur Ausrichtung zwischen zwei Bildern in der Phase des
Kreuzleistungsspektrums enthalten ist. Die diskrete Phasenkorrelationsfunktion
wird erhalten, indem zuerst die diskreten zweidimensionalen Fourier-Transformationen
F1 und F2 von zwei abgetasteten Bildern berechnet werden, wobei
das Kreuzleistungsspektrum berechnet und dessen Phase für jeden
Frequenzkanal extrahiert wird. Das Phasenarray wird durch Multiplizieren
der Fourier-Transformation F1
und des Konjugats von F2 und Dividieren durch die Größe des Produkts
berechnet. Durch Ausführen einer
inversen Fourier-Transformation der Phasenarray wird eine Phasenkarrelationsoberfläche erhalten.
-
Die Position der Spitze der Phasenkorrelationsoberfläche liefert
Informationen über
das Ausmaß der
räumlichen
Verschiebung zwischen zwei Bildern: die Höhe der Spitze entspricht der Ähnlichkeit
der beiden Bilder. Als Beispiel für einen Idealfall wird ein Bild
um eine Vektorverschiebung S verschoben, und die Gleichung (2) aus
dem Artikel von Kuglin et al. ergibt eine Einheitenhöhe-Deltafunktion,
die an der Position S der Korrelationsoberfläche zentriert ist. Für eine fraktionale
Pixelverschiebung muss eine gewisse Form der Kurvenanpassung um
die Spitze eingesetzt werden, um die Spitzenposition auf die fraktionale
Pixelpräzision
zu verfeinern.
-
Das Ausrichtverfahren der Phasenkorrelation
sieht ein grundlegendes Instrument zum Lösen des Problems der räumlichzeitlichen
Ausrichtung von Videosequenzen vor. Zum Detektieren der räumlich-zeitlichen
Verschiebung der Videosequenzen im Verhältnis zueinander müssen die
Mehrdeutigkeiten in Bezug auf Unsicherheiten der räumlichen
Verschiebung oder der zeitlichen Verschiebung berücksichtigt
werden, die in bestimmten Videosignalen auftreten. Zum Beispiel
kann die zeitliche Verschiebung bei statischen Szenen unter Umständen nicht
genau bestimmt werden. Bei Videos, die mit perfekter Kameraschwenkung
eingefangen werden, kann die Verschiebung entweder durch zeitliche
oder räumliche
Verschiebung bewirkt werden. Die Mehrdeutigkeit kann unter Umständen nur
dann gelöst
werden, wenn in den Videosequenzen signifikante räumlich-zeitliche Änderungen
auftreten.
-
G. Beakley et al. offenbaren in "Video
Compression: The Need for Testing", SMPTE Journal, U.S. SMPTE Inc.,
Scarsdale, N.Y., Band 109, Nr. 11, 1. November 1995, Seiten 742–750, XP
000540389 ISSN: 0036–1682
einen zweiteiligen räumlichen
Registrierungsalgorithmus unter Verwendung eines Standbilds einer
realen Videotestsequenz, einer zweidimensionalen Kreuzkorrelation
und danach einer horizontalen Subpixel-Registrierung. In dem Bezugsdokument
wird die gemessene Registrierung zur neuen räumlichen Ausrichtung eines
verminderten Signals verwendet, bevor Verminderungsfehler berechnet
werden.
-
Benötigt wird ein gemeinsame räumlich-zeitliche
Ausrichtung von Videosequenzen, welche auf verlässliche Weise die inhärenten Mehrdeutigkeiten löst, die
in Videosequenzen auftreten können.
-
ZUSAMMENFASSUNG
DER ERFINDUNG
-
Vorgesehen ist gemäß der vorliegenden
Erfindung ein Verfahren gemäß dem gegenständlichen Anspruch
1.
-
Die vorliegende Erfindung sieht somit
eine gemeinsame räumlich-zeitliche
Ausrichtung von Videosequenzen vor. Unter Verwendung eines allgemein
bekannten Phasenkorrelationsverfahrens für die räumliche Verschiebung wird ein
Videofeld bzw. Videoteilbild erfasst, wobei ein zeitlicher Übergang durch
den plötzlichen
Abfall der Korrelationsspitze der benachbarten Felder der Bezugssequenz
erfolgt. Ausgesucht werden zwei Felder aus der Bezugssequenz, welche
das Übergangsfeld überspannen,
wobei dies als Basis für
die gemeinsame räumlich-zeitliche
Ausrichtungsdetektierung dient. Ein Felderpaar aus der Testsequenz
mit dem gleichen zeitlichen Abstand wie das Bezugsfelderpaar wird
für die
Durchführung
einer räumlichen
Ausrichtung in Bezug auf das Bezugspaar verwendet. Die zeitliche
Ausrichtung wird festgestellt, wenn die räumlichen Verschiebungen für die beiden
Paare identisch sind und wenn die Summe der Korrelationsspitzen
einen bestimmten unteren Grenzwert überschreitet. Auf diese Weise
wird die Detektierung der räumlichen
und zeitlichen Ausrichtung gleichzeitig durchgeführt, wobei eine wirtschaftlichere
Berechnung sowie eine Reduzierung der Mehrdeutigkeiten zwischen
der Detektierung der räumlichen
und der zeitlichen Ausrichtung erreicht wird.
-
Die Aufgaben, Vorteile und anderen
neuartigen Merkmale der vorliegenden Erfindung werden aus der folgenden
genauen Beschreibung deutlich, wenn diese in Verbindung mit den
anhängigen
Ansprüchen
und den beigefügten
Zeichnungen gelesen wird.
-
KURZE BESCHREIBUNG DER
VERSCHIEDENEN ANSICHTEN DER ZEICHNUNGEN
-
Es zeigen:
-
1 ein
Blockdiagramm eines Systems zum Testen eines Videoverarbeitungssystems
unter Verwendung der gemeinsamen räumlich-zeitlichen Ausrichtung
gemäß der vorliegenden
Erfindung; und
-
2 eine
veranschaulichende Ansicht der räumlichzeitlichen
Ausrichtung von Videosequenzen gemäß der vorliegenden Erfindung.
-
GENAUE BESCHREIBUNG
DER ERFINDUNG
-
In folgendem Bezug auf die Abbildung
aus 1 wird eine Bezugsvideosequenz
in ein zu testendes Videoverarbeitungssystem (SUT) 10 und
in einen Prozessor 12 für
die räumlich-zeitliche
Ausrichtung eingegeben. Die Ausgabe aus dem zu testenden Videoverarbeitungssystem 10 ist
eine Testvideosequenz, die auch in den Prozessor 12 für die räumlich-zeitliche
Ausrichtung eingegeben wird. Die Bezugsund Testvideosequenzen werden
aus dem Prozessor 12 für
die räumlich-zeitliche
Ausrichtung ausgegeben, wobei eine etwaige fehlerhafte räumlich-zeitliche
Ausrichtung berichtigt wird, und wobei die Sequenzen in einen Wiedergabetreue-Testprozessor 14 eingegeben
werden. Der Wiedergabetreue-Testprozessor 14 sieht eine
Analyse der Verminderung bzw. des Abbaus der Testvideosequenz von
der Bezugsvideosequenz verursacht durch das zu testende Videoverarbeitungssystem 10 vor.
Der Prozessor 12 für
die räumlich-zeitliche
Ausrichtung und der Wiedergabetreue-Testprozessor 14 können Teil
eines Prüf-
und Messinstruments 16 sein, wie etwa des Modells PQA200,
das von Tektronix, Inc., Wilsonville, Oregon, USA, hergestellt wird.
-
Zum Lösen der potentiellen räumlich-zeitlichen
Mehrdeutigkeiten, die in dem Videosignal existieren können, betrifft
der erste Schritt das Ermitteln eines Videoteilbilds R(T) in der
Bezugssequenz, das einen signifikanten zeitlichen Übergang
aufweist. Der zeitliche Übergang
im zeitlichen Bereich ist analog zu einem Flankensignal in dem räumlichen
Bereich. Durch Berechnen der Phasenkorrelation über benachbarte Felder bzw.
Teilbilder in der Bezugssequenz zeigt eine plötzliche Senkung der Korrelationsspitzengröße an, dass
ein zeitlicher Übergang
erfolgt ist. Dieser Übergang
kann auf den Wechsel von einer Kamera zu einer anderen in einer
Produktion mit mehreren Kameras zurückzuführen sein oder einen anderen
Szenenwechsel in dem Videosignal.
-
Anstatt es zu versuchen, die ganzen
oder große
Teile der Bezugs- und Testvideosequenzen in Korrelation zu setzen,
wird die Bezugsvideosequenz auf zwei Teilbilder bzw. Felder R(L)
und R(R) reduziert, welche das Übergangsfeld
R(T) einklammern, wie dies in der Abbildung aus 2A dargestellt ist. Tatsächlich bilden
die beiden Felder eine teilabgetastete Videosequenz aus der ursprünglichen
Bezugsvideosequenz.
-
Wie dies in der Abbildung aus 2B dargestellt ist, werden
die folgenden Operationen vom Beginn der Testsequenz wiederholt
ausgeführt,
bis räumliche
und zeitliche Verschiebungen ermittelt worden sind:
- (1) Zwei Videoteilbilder T(C) und T(C + K) aus der Testsequenz
mit dem gleichen zeitlichen Abstand K wie etwa zwischen R(L) und
R(R) werden aus einer aktuellen Feldposition T(C) ausgewählt und mit
der teilabgetasteten Bezugsvideosequenz mit zwei Feldern in zeitlicher
Reihenfolge gepaart – wobei
das frühe
Feld R(L) des Bezugsfelderpaares mit dem frühen Feld T(C) des Testfelderpaares
gepaart wird und vice versa.
- (2) Für
jedes Paar wird die räumliche
Ausrichtung berechnet, um die räumliche
Verschiebung und die Korrelationsgröße zu ermitteln.
- (3) Wenn die räumlichen
Verschiebungen für
die beiden Paare gleich sind und die Summe der Korrelationsgrößen einen
unteren Grenzwert überschreitet,
so wird die räumlichzeitliche
Ausrichtung erreicht. Die räumliche
Verschiebung wurde bereits berechnet, und die zeitliche Verschiebung wird
aus der Differenz der Zeitcodes zwischen den entsprechenden Bezugs-
und Testfelderpaaren ermittelt. Wenn die räumlichzeitliche Ausrichtung
nicht erfolgreich ist, kehrt der Testzyklus zu dem Schritt (1) zurück, mit
einem Fortschritt der aktuellen Position des Testsequenzpaares um
ein Feld.
-
Vorgesehen ist gemäß der vorliegenden
Erfindung somit eine gemeinsame räumlich-zeitliche Ausrichtung
von Videosequenzen durch Detektieren eines Übergangsfelds in einer Bezugsvideosequenz gemäß einem
Szenenwechsel, wobei ein Paar von Bezugsfeldern ausgewählt wird,
welche das Übergangsfeld
als eine teilabgetastete Bezugsfolge überspannt, und wobei zwei Felder
aus einem Testsequenzraum iterativ verglichen werden, die einen
gleichen zeitlichen Abstand wie die Bezugssequenzfelder aufweisen,
bis die räumlich-zeitliche
Ausrichtung erreicht worden ist.