DE10308138A1

DE10308138A1 - Verfahren zur bezüglich Bildtakt und Bildphase regelbaren Synchronisation von zwei oder mehr MPEG-2-kodierten Videosequenzen für digitale Multi-Projektionssysteme

Info

Publication number: DE10308138A1
Application number: DE10308138A
Authority: DE
Inventors: Joachim Schüssler; Ulrich Höfker
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2002-12-30
Filing date: 2003-02-26
Publication date: 2004-07-15
Anticipated expiration: 2023-02-27
Also published as: DE10308138B4

Abstract

Bekannte Synchronisationsverfahren von MPEG-2-kodierten Videosequenzen für digitale Großbild- (Mehrfach-), Stereo- und Parallaxprojektionen erreichen keine genaue zeitliche Synchronität der Teilbildsequenzen. Der unbefriedigende Gesamteindruck eines Mosaikbildes oder phasenversetzte Bewegungsabläufe bleibt daher erhalten. Die alternativen erfindungsgemäßen Synchronisationsverfahren sind speziell für den MPEG-2-Standard ausgelegt und benötigen keine zusätzlichen Synchroninformationen, da sie die im Standard definierten Informationen des Elementarstromes oder des Transportstromes, insbesondere die regelmäßig eingeprägten Zeitstempel oder Programmzeit-Stempel, zur exakten Synchronisation beliebig vieler Videosequenzen nutzen, auch wenn die einzelnen Videosequenzen aus unterschiedlichen Speichermedien und nicht exakt gleichzeitig gestartet werden. Zur Synchronisation wird ein Referenzstrom (ESref, TSref) festgelegt, der von einem der Datenströme gebildet werden kann. Alle anderen Datenströme (ESsI, TSsI) werden dann empfangsseitig auf diesen Referenzstrom (ESref, TSref) kaskadiert oder parallel synchronisiert. Nach einer restfehlerfreien Wiedergewinnung der von den Zeitstempeln (TCref) oder Programmzeit-Stempeln (PCRref) repräsentierten Systemuhr (STCref) werden in einem ersten Synchronisationsschritt zur bildtaktstarren Kopplung der Bilder die lokalen Systemuhren synchronisiert. In einem zweiten Synchronisationsschritt wird dann lokal eine bildphasenrichtige Kupplung in ...

Description

Die Erfindung bezieht sich auf ein Verfahren zur bezüglich Bildtakt und Bildphase regelbaren Synchronisation von zwei oder mehr MPEG-2-kodierten Videosequenzen (MPEG : Moving Picture Experts Group) für digitale Multi-Projektionssysteme. Digitale Großbild-, Stereo- und Parallaxprojektionen in Kinos für Filmvorführungen, zur Übertragung von sportlichen und kulturellen Großveranstaltungen oder auf Projektionswänden zu Werbe- oder Informationszwecken in der Öffentlichkeit, auf Messen oder Kongressen können bei zunehmend geforderter hoher Auflösung der Bilder, High Definition (HD) oder darüber, nur durch Überlagerung von mehreren Einzelprojektionen erreicht werden. Solche Mehrfachprojektionen werden heute bereits eingesetzt, allerdings in nicht ausreichender Qualität, da ein nahtloser Übergang und insbesondere eine genaue zeitliche Synchronität der Teilbilder nicht erreicht wird. Der Gesamteindruck eines Mosaikbildes bleibt daher erhalten und ist für den Betrachter unbefriedigend. Insbesondere der für die Filmindustrie anstehende nächste größere Entwicklungsschritt, der vollständig digitale Produktzyklus aus Herstellung, Verleih und Vorführung hochaufgelöster Kinoproduktionen, erfordert aber zur Vermeidung dieser Nachteile unter anderem ein zuverlässiges Synchronisationsverfahren der bei dem derzeitigen Stand der Übertragungs- und Verarbeitungstechnik benötigten mehrfachen Datenströme.
Bisher bekannte Lösungsansätze analoger Systeme zur Synchronisation gehen überwiegend von Pulse Code Modulation (PCM) kodierten Bildsequenzen aus. Hierbei werden die Bilder aller Kameras durch einen gemeinsamen Studiotakt phasenstarr synchronisiert. Eine Wiedergabe ohne Phasenversatz ist allerdings nur möglich, wenn das Auslesen aller Einzelsequenzen exakt zeitsynchron gestartet werden kann oder zusätzlich Referenzmarken gespeichert wurden. Der Nachteil PCM-kodierter Sequenzen liegt wegen der fehlenden Komprimierung in dem enorm hohen Bedarf an Speicherplatz und der Bandbreite für die Datenübertragung. Einzelne digitale Systeme arbeiten bereits auch mit MPEG-2 kodierten und komprimierten Sequenzen im Programm-Strom (PS)-Modus. In diesem Modus ist eine Synchronisation mehrerer Teilsequenzen jedoch nur zu erreichen, wenn diese in einem einzigen Programm-Strom verpackt werden. Dabei ist dann allerdings die von der MPEG spezifizierte Datenratenobergrenze sehr schnell erreicht. Auch in diesem Fall existiert keine Information über den absoluten Phasenversatz zwischen den Video-Teilsequenzen, sodass durchaus ein Versatz von einem bis zwei Vollbildern auftreten kann. Zum Thema „Synchronisation" ist aus der US 6.091.769 („Video decoder having an interfacing function for picture synchronization") eine Methode bekannt, wie die Systemuhr (vergleiche weiter unten) wiederhergestellt werden kann. Der Begriff „Synchronisation" bezieht sich hier jedoch nur auf die Ausnutzung der eingeprägten Stempel-Information, um die Bilder wieder in der richtigen Reihenfolge zeigen zu können. In der US 5.832.256 („System clock recovery apparatus for MPEG decoding system") wird ebenfalls eine Clock-Wiederherstellungsroutine vorgestellt. Es handelt sich dabei um eine phasengelockte Routine (PLL), die ausgewiesenermaßen entsprechend „MPEG-2 system CD in ISO/IEC 1-13818, vom 08.11.1993, pp 89-93" arbeitet und nicht divisions- und daher nicht restfehlerfrei ist. Das Ergebnis ist damit nicht driftfrei, die Synchronisation nicht befriedigend. Gegenstand der zitierten Druckschriften sind regelmäßig Verfahren, nach denen die im MPEG-Standard vorgesehenen Datenarten (Video, Audio, sonstige Daten) eines einzelnen Transportstroms voneinander separiert und mit Hilfe der Stempel-Informationen zeitrichtig im Rahmen der erzielbaren Genauigkeit präsentiert werden sollen, oder Teilverfahren einzelner Aspekte des o.a. Verfahrens. In keiner der genannten Druckschriften wird eine Synchronisation von Informationen aus mehreren Transportströmen oder Elementarströmen vorgestellt. Die ausgewählten Druckschriften zeigen allesamt Verfahren zur Wiedergewinnung der Systemuhr aus den im Transport- oder Programmstrom enthaltenen Zeitinformationen. Bei diesen Systemen wird davon ausgegangen, dass die vom MPEG vorgegebene Datenrate eines einzelnen Transport- oder Programmstroms nicht überschritten wird und daher nur dieser betrachtet werden muss.
Die Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren anzugeben, mit dessen Hilfe die bezüglich Bildtakt und Bildphase regelbare Synchronisation von zwei oder mehr MPEG-2-kodierten, sequenziell oder parallel übertragenen Videosequenzen korrekt, zuverlässig und zufriedenstellend auch für große zu übertragende Datenmengen möglich ist. Dies soll insbesondere auch dann möglich sein, wenn die Videosequenzen aus unterschiedlichen Speichermedien und darüber hinaus auch zu unterschiedlichen Startzeitpunkten gestartet werden. Das erfindungsgemäße Verfahren soll einfach in seinem Ablauf und damit kostengünstig umzusetzen sein. Als Lösung für die Aufgabe sind erfindungsgemäß zwei alternative Verfahren gemäß dem nebengeordneten Anspruch 1 (Transportstrom-Synchronisationsverfahren, im Folgenden kurz mit TS-SV bezeichnet) und dem nebengeordneten Anspruch 7 (Elementarstrom-Synchronisationsverfahren, im Folgenden kurz mit ES-SV bezeichnet) vorgesehen. Vorteilhafte Weiterbildungen der erfindungsgemäßen alternativen Verfahren zur Synchronisation von Videosequenzen sind den zugeordneten Unteransprüchen zu entnehmen und werden im Folgenden im Zusammenhang mit der Erfindung näher erläutert.
Die beiden als alternative Lösungen angegebenen Synchronisationsverfahren TS-SV und ES-SV setzen speziell für den eine Datenreduzierung um den Faktor 40 erreichenden MPEG-2-Standard eine gemeinsame prinzipielle Idee zur Lösung der gestellten Aufgabe um, bei der in einem dreistufigen Verfahrensablauf empfangsseitig ein MPEG-2-erzeugter Datenstrom als Referenzstrom definiert und in der Datentaktrate rekonstruiert wird, auf den dann alle anderen Datenströme zunächst im Bildtakt und dann in der Bildphase synchronisiert werden. Zur bildtaktstarren Synchronisation von zwei Datenströmen muss der Referenzstrom in der Datenrate konstant und der zu synchronisierende lokale Slavestrom veränderlich sein. Der Systemtakt kann dabei von einem gemeinsamen, zentralen Taktgeber (27 MHz nach MPEG-2-Standard) stammen oder in einem einstufigen (TS-SV) oder zweistufigen (ES-SV) Verfahren jeweils aus dem Referenzstrom rückgewonnen werden. Dadurch ist die geforderte Synchronität zwischen den darzustellenden Videoströmen im datenreduzierten MPEG-2-Standard sicher gewährleistet. Dabei ist es unerheblich, wann die einzelnen Videoströme aus den Speichermedien ausgelesen werden und um welche Speichermedien und wie viele Videoströme beliebiger Komplexität es sich handelt. Des Weiteren können auch unterschiedliche Normen bei der Bildaufnahme (Kamerasysteme, Videonorm) und der Bildwiedergabe (Wiedergabesysteme) berücksichtigt werden, die beispielsweise zu einer unterschiedlichen Bilddauer in den einzelnen Videosequenzen führen.
Die beiden erfindungsgemäßen Alternativlösungen TS-SV und ES-SV unterscheiden sich in der Definition des Referenzstromes und in der Wahl der Synchronisationsparameter. In der ersten Alternative TS-SV wird dieser auf der Basis des Transportstromes, in der zweiten Alternative ES-SV auf der Basis des Elementarstromes definiert. Der MPEG-2-Standard sieht grundsätzlich eine Kodierung und Komprimierung von Videodaten im Elementarstrommodus vor. Bei einer fehlerfreien Datenübertragung (von Speichermedien oder per Glasfaser, leitungsgebunden) können die kodierten und komprimierten Daten direkt im Elementarstrom gesendet werden, bei einer fehlerbehafteten Datenübertragung (terrestrisch oder via Satellit, leitungsungebunden) erfolgt noch eine Verpackung der Daten in einen Transportstrom. Die Wahl der Erfindungsalternative hängt also auch von der Art der Datenübertragung ab. Bei einer fehlerbehafteten Übertragung wird in der Regel das TS-SV zu wählen sein, bei dem die empfangsseitige Speicherung der Daten nach dem Transportstromprotokoll erfolgt. Bei einer fehlerfreien Übertragung kann hingegen das in seinem Ablauf und in seiner Umsetzung aufgrund der Entbehrlichkeit von Multiplexer und Demultiplexer einfachere ES-SV angewendet werden, bei dem die empfangsseitige oder mediengebundene Speicherung nur nach dem Elementarstromprotokoll erfolgen kann. Da aber der Transportstrom und auch der Programmstrom die Elementarstromdaten enthalten, kann auch eine Anwendung des ES-SV auf gespeicherte Transportströme oder Programmströme (MPEG-2-Protokoll) erfolgen. Daneben können aber auch die Ausgangsdaten der MPEG-2-Enkoder direkt ohne eine Umwandlung verwendet werden, sodass insgesamt gesehen eine größere Anwendungsflexibilität bei dem ES-SV gegeben ist.
Die Erfindung ist insbesondere darin zu sehen, dass es erstmals gelingt, die für große Datenmengen von mehreren Kameras erforderlichen diversen Elementar- oder Transportströme so zu synchronisieren, dass sie als Voraussetzung für eine Großbildprojektion o.ä. bildtaktgenau, d.h. ohne eine Drift zwischen den Bildern, d.h. ohne Bildskip (gelegentliches Überspringen eines Bildes zur Verkürzung) und ohne Bilddubbing (gelegentliche Verdoppelung eines Bildes zur Dehnung), und bildphasengenau, d.h. ohne Versatz um ein oder mehrere Bilder oder Teilen davon oder mit einem fest vorgegebenen Versatz aus künstlerischen Aspekten heraus, präsentiert werden können. Dabei ist ein besonderer Vorteil der Erfindung, dass alle zur Verfahrensdurchführung erforderlichen Synchronisationsinformationen aus den Elementarströmen oder Transportströmen selbst kommen, d.h. schon direkt im MPEG-2-Standard definiert sind, und also keine zusätzliche Informationsquelle erforderlich ist. Ein Nebeneffekt des erfindungsgemäßen Verfahrens ist die beliebige Einstellbarkeit der Bildphase, die als gezieltes Darstellungselement eingesetzt werden kann. Die zur Durchführung der Synchronisation ertorderliche Information steckt in jedem Transport- oder Elementarstrom (Programmzeit-Stempel oder Zeitstempel bzw. Dekodierungs-Verzögerungszeit). Diese Information wird genutzt, um empfangsseitig den Referenzstrom auf eine lokale Uhr als referenzbildende Systemuhr zu synchronisieren. Dazu wird empfangsseitig einer der datentragenden Transport- oder Elementarströme oder auch ein eigener, nur die Synchron-Informationen enthaltender Transport- oder Elementarstrom als Referenzstrom mit kontinuierlichem Datenfluss definiert und seine Informationen dazu benutzt, alle anderen Datenströme durch Veränderung ihrer Datenrate auf die Datenrate des Referenzstroms zu synchronisieren. Nach der Festlegung des Referenzstromes und der empfangsseitigen Wiedergewinnung seiner Datenrate wird dann eine zuerst bildtaktstarre und dann bildphasenrichtige Kopplung der zusammengehörigen Bilder aus den einzelnen Videosequenzen durchgeführt. Die empfangsseitige Wiedergewinnung der Taktrate des Referenz-Transportstromes ist erforderlich, um alle digitalen Datenströme mit einem gemeinsamen Takt zu dekodieren, da sonst relevante Abweichungen auftreten können, die eine Langzeitdrift zur Folge haben. Für die empfangsseitige Wiedergewinnung der Datenrate (Clock Recovery CR) und damit der durch die Programmzeit-Stempel (Program Clock Reference PCRref) im Referenz-Transportstrom oder durch die Zeitstempel (Time Clock TC) im Referenz-Elementarstrom repräsentierten referenzgebenden Systemuhr (System Time Clock STCref) werden in einer phasengelockten Signalverarbeitungsroutine (Phase-Locked Loop PLL) die empfangsseitigen lokalen Systemuhren durch Vergleich mit den genannten Parametern so lange nachgeregelt, bis ihre Differenz Null ergibt. Die so eingeregelten lokalen Systemuhren werden nun unmittelbar dazu benutzt, die Ausgabeseite eines den vom Datenspeicher kommenden Datenstrom aufnehmenden FIFO-Puffers (First In First Out) auf die referenzgebende Datenrate zu takten. Diese stellt die wiedergewonnene, das heißt die auf den Referenz-Transportstrom synchronisierte Datenrate dar, mit der der nachgeschaltete MPEG-2-Dekoder die eigentliche Videosequenz aufbereitet.
Die empfangsseitige Wiedergewinnung der Datenrate des senderseitig vorgegebenen Systemtaktes, das heißt die empfangsseitige Rekonstruktion des definierten Referenzstromes, ist essenziell für die perfekte Synchronisation der Bilder auf der Empfangsseite bei der Erfindung. Auftretende geringfügige Unterschiede zwischen dieser lokalen, referenzbildenden Systemuhr und der ursprünglichen, zentralen Studiouhr (Abweichung vom vorgegebenen MPEG-2 27 MHz-Takt) sind dabei tolerierbar und damit akzeptabel. In einem weiteren Verfahrensschritt erfolgt dann zunächst eine bildtaktstarre Kopplung der Bilder aller Videosequenzen. Damit wird deren identische Fortlaufgeschwindigkeit erreicht. Allerdings kann hier noch ein konstanter Versatz zwischen den Bildern vorhanden sein. Die bildtaktstarre Synchronisation erfolgt durch Einregelung des Takts der lokalen Systemuhren der empfängerseitigen Transportstrom-Demultiplexer beim TS-SV oder direkt bei ES-SV auf den Takt der aus dem Referenzstrom wiederhergestellten Referenz-Systemuhr. In einem letzten Verfahrensschritt wird dann die bildphasenrichtige Synchronisation durchgeführt. Dabei tritt beim ES-SV prinzipiell kein Offset auf. Beim TS-SV können auftretende Laufzeitunterschiede der Systemuhren der einzelnen Transportstrom-Demultiplexer in Bezug auf die Referenz-Systemuhr und der Offset der dynamisch arbeitenden, senderseitigen MPEG-2-Multiplexer durch entsprechende Datenverarbeitung berücksichtigt werden. Für eine informative Bildwiedergabe ist eine Versatzfreiheit zwischen den Bildern der einzelnen Videosequenzen erforderlich. Die Abweichungen werden entsprechend vollständig kompensiert. Durch die vollständig synchrone MPEG-2-konforme Ausgabe der Datenströme können empfangsseitig beliebige MPEG-2-Dekoder verwendet werden. Für künstlerische Darbietungen kann aber ein Versatz durchaus gewollt sein, sodass die Laufzeitunterschiede und der Offset durch das Synchronisationsverfahren nach der Erfindung entsprechend eingestellt werden können.
Die beiden alternativen Verfahren der Erfindung TS-SV und ES-SV basieren auf folgenden, aus dem speziellen MPEG-2-Standard abgeleiteten Überlegungen. Im MPEG-2-Enkoder werden die Bilder zu Bildgruppen (GOP, Group of pictures) zusammengefasst und kodiert (zur Vermeidung von Wiederholungen wird bezüglich der bekannten Arbeitsweise des MPEG-2-Verfahrens auf die Einleitung im speziellen Beschreibungsteil verwiesen). Die Bildkodierung erfolgt für jedes I- und P-Picture sofort, für die B-Pictures aber erst nach der Aufnahme des folgenden I- oder P-Pictures. Um den Aufwand im Dekoder zu reduzieren, werden die B-Pictures erst nach dem folgenden P-Picture übertragen. Im empfangsseitigen MPEG-2-Dekoder werden die Bilder dann wieder dekodiert und in die richtige Reihenfolge gebracht. Dabei werden die I- und P-Picture nach Ablauf der Dekodierungs-Verzögerungszeit (Video Buffer Verifier Delay VBVd) dekodiert und zur verzögerten Ausgabe zwischengespeichert und die B-Pictures nach VBVd dekodiert und sofort ausgegeben (damit sind hier der Dekodierungszeit-Stempel (Decoding Time Stamp DTS) und der Präsentationszeit-Stempel (Presentation Time Stamp PTS) identisch). Zum Zeitpunkt der Dekodierung eines I- oder P-Pictures muss aber auch ein Bild ausgegeben werden. Dabei entspricht der DTS dieses Bildes dem PTS des vorangegangenen I- oder P-Pictures. Dieser Sachverhalt wird beim TS-SV genutzt. Der DTS eines Bildes in einem GOP setzt sich aus der Systemuhrzeit (System Time Clock STC) zum Zeitpunkt des Anfangs des Bildes und der zugehörigen Dekodierungs-Verzögerungszeit VBVd zusammen. Weiterhin ist der Dekodierungszeitpunkt eines I- oder P-Pictures der Ausgabezeitpunkt des vorangegangenen I- oder P-Pictures. Der Dekodierungszeitpunkt des ersten P-Pictures – nach dem Ablauf der vom Enkoder vorgegebenen Dekodierungs-Verzögerungszeit – ist damit der Ausgabezeitpunkt des I-Pictures und damit der Gültigkeitszeitpunkt des bei der Aufnahme eingeprägten Zeitstempels TC, den in der Bildgruppe nur noch das I-Picture trägt. Dieser Sachverhalt wird beim ES-SV genutzt. Der eingeprägte Zeitstempel TC ergibt durch die Multiplikation mit der durch die gewählte Videonorm bedingten Bilddauer genau die Uhrzeit der ursprünglichen, zentralen Studiouhr bei der Bildaufnahme. Diese ist aber bei gleichzeitig aufgenommenen Bildern identisch und somit ein genaues Maß zur empfangsseitigen Synchronisation der Bilder unterschiedlicher Videosequenzen zueinander. Zusammenfassend werden somit zur Synchronisation als Parameter beim TS-SV die Systemuhrzeit STC, die als Programmzeit- Stempel (Programm Clock Reference PCR) mindestens zehnmal in der Sekunde in den Transportstrom eingestempelt wird, der zum I-Picture gehörende Zeitstempel TC, die Bilddauer (Frameperiod FP) und die Dekodierungs-Verzögerungszeit P1VBVd des ersten P-Pictures genutzt, wohingegen beim ES-SV nur der Zeitstempel TC und die Dekodierungszeit VBVd als Parameter erforderlich sind.
Im MPEG-2-Standard wird die zu jedem Bild gehörende, vom Enkoder ausgegebene Information der Dekodierungs-Verzögerungszeit zugeordnet. Diese startet jeden Dekoder so, dass er im Intervall einer Bilddauer (Framerate-Intervall) immer ein neues Bild dekodiert, also bildsynchron zum Enkoder arbeitet. Durch diese Tatsache ist somit allgemein nach Ablauf der Dekodierungs-Verzögerungszeit (VBVd_n) eines Bildes n bis zum Ablauf der Dekodierungs-Verzögerungszeit (VBVd_n+1) des nächsten Bildes n + 1 genau eine Bildperiode (= Bilddauer FP = Kehrwert der Bildfrequenz = 1/FR) verstrichen. Dies gilt somit auch für die Übertragung aller Bilder. Wenn die Übertragungszeit der Daten für dieses Bild genau der Bildlänge entspricht, sind beide Dekodierungs-Verzögerungszeiten gleich groß (konstantes Delay). Sind aber weniger Daten für dieses Bild übertragen worden, so trifft die Information über die Dekodierungs-Verzögerungszeit des folgende Bildes früher ein. Da dann länger bis zur Dekodierung gewartet werden muss, muss die Verzögerungszeit entsprechend höher vorgegeben sein. Dies ist die Grundlage des ES-SV. Die Datenrate des Elementarstromes kann somit aus der Bildlänge (FP) plus der Differenz der Verzögerungszeiten VBVd_n – VBVd_n+1 geteilt durch die Anzahl der Datenbytes in den Grenzen der beiden Dekodierungs-Verzögerungszeiten aufeinander folgender Bilder n, n + 1 berechnet werden. Eine Division einer Zeit durch eine Zahl hat jedoch aufgrund der Rechenungenauigkeit immer einen Restfehler, der zu einer Langzeitdrift führen kann. Durch Anwendung einer divisionsfreien phasengelockten Verarbeitungsroutine (PLL) kann jedoch ein dauerhafter Restfehler vermieden werden. Vielmehr erfolgt hier eine stufenweise Restfehlerakkumulation und Kompensation.
Aufgrund der geringen 90 kHz-Auflösung der Dekodierungs-Verzögerungszeiten und den großen Intervallen des Zeitstempels von ca. 480 ms kann zwar beim dem ES-SV nach der Erfindung eine Synchronungenauigkeit auftreten, diese liegt aber in einem Bereich von nur ± 64 μs. Dadurch können die synchronisierten Dekoder einen entsprechenden Zeitversatz zum Dekoder des Referenz-Elementarstromes aufweisen. Dieser Versatz beträgt aber im Vergleich zu einer HDTV-Halbbilddauer von 20 ms nur ca. 0,3 %. Ein derartig geringer Synchronfehler bewirkt daher höchstens eine ± 64 μs verschobene Startzeit der Bilder und nicht einen Versatz um zwei Zeilen. Außerdem kann der auftretende Synchronisationsfehler durch eine Korrektur mit der Dekodierungs-Verzögerungszeiten noch bis auf unter 5 μs verkleinert werden.
Ausbildungsformen der Erfindung in ihren Alternativen TS-SV und ES-SV werden zu deren weiterem Verständnis nachfolgend anhand der schematischen Figuren näher erläutert. Dabei zeigt
1 für TS-SV: ein Flussbild der divisionslosen Phase-Locked Loop,
2 für ES-SV: ein Flussbild der divisionslosen Phase-Locked Loop,
3 für TS-SV und ES-SV: ein Flussbild der kaskadierten Synchronisation,
4 für TS-SV und ES-SV: ein Flussbild der parallelen Synchronisation,
5 für ES-SV: ein Flussbild zur bildtaktstarren Synchronisation,
6 für ES-SV: ein Flussbild zur bildphasenrichtigen Synchronisation,
7 für ES-SV: ein Flussbild zur kombinierten bildtakt- und bildphasenrichtigen Synchronisation,
8 für TS-SV: ein Flussbild der Synchronisation mit Offset-Berücksichtigung und
9 für TS-SV: ein Flussbild der kombinierten bildtakt- und bildphasenrichtigen Synchronisation mit optimierter Offset-Berücksichtigung.
Zum näheren Verständnis der Erfindung in beiden Alternativen und der verwendeten Fachbegriffe wird im Folgenden zunächst die zum Stand der Technik gehörende Aufbereitung der Videosequenzen zu im MPEG-2-Verfahren standardisierten Transportströmen (TS) beschrieben.
Die für eine entsprechende Großbildprojektion vorgesehenen zwei oder mehr Kameras werden mit einem gemeinsamen Takt aus einer zentralen Studiouhr versorgt und jedem Bild ein Zeitstempel (Time Code TC, h:ma:BildNr) aufgeprägt. Gleichzeitig aufgenommene Bilder aller Kameras erhalten damit denselben Zeitstempel. Die von den zwei oder mehr Kameras aufgenommenen Videosequenzen werden entweder a) in einem einzigen MPEG-2-Enkoder gepuffert (zwischengespeichert) und seriell kodiert, d.h. nach dem MPEG-2-Verfahren komprimiert, oder b) in mehreren MPEG-2-Enkodern gepuftert und parallel und seriell kodiert (z.B. Enkoder 1 kodiert seriell Videosequenzen von den Kameras 1,2,3, Enkoder 2 kodiert seriell Videosequenzen von den Kameras 4,5,6 und Enkoder 3 kodiert seriell Videosequenzen der Kameras 7,8,9 usw., alle drei Enkoder laufen parallel) oder c) in einer der Anzahl Kameras entsprechenden MPEG-2-Enkodern gepuffert und parallel kodiert.
Jeder Enkoder fasst bei der Kodierung die Bilder jeder seiner speisenden Kameras jeweils in Gruppen von etwa 12 Bildern zu Bildgruppen (Groups Of Pictures GOP) zusammen. Das Ergebnis sind die Elementarströme (Elementary Stream, ES) der beteiligten Enkoder. Bei der Zusammenfassung in Bildgruppen (GOP) wird das erste Bild mit „I-Picture" bezeichnet (Intra-Picture, intra-frame coded image). Es wird zwar auch komprimiert, repräsentiert aber trotzdem das komplette Bild. Das I-Picture behält seinen Zeitstempel (TC), bei allen anderen Bildern einer Bildgruppe (GOP) wird der Zeitstempel (TC) unterdrückt. Die Reihenfolge der Bilder in der Bildgruppe (GOP) entspricht jedoch nicht der natürlichen Reihenfolge, sondern wird entsprechend dem MPEG-2-Kodierungsalgorithmus verschachtelt. Es folgen B-Pictures (Bidirecti onally Predictive Picture, inter-frame bidirectionally predictive coded image) und P-Pictures (Predictive Picture, inter-frame predictive coded image). Jedem Bild wird ein Dekodierungs-Verzögerungs-Stempel (Video Buffer Verifier Delay VBVd) mitgegeben, der später im empfangsseitigen MPEG-2-Dekoder die Verzögerungszeit vom Eintreffen des Bildes bis zu seiner Dekodierung angibt. Der VBV-Delay (Angabe einer Zeit) multipliziert mit 90kHz (Angabe von Takten pro Zeit) ergibt die Anzahl der abzuwartenden 90kHz-Takte, die in einem einfachen Zähler abgemessen werden können. Die 90kHz-Frequenz entspricht dem 300sten Teil des vorgegebenen 27 MHz-MPEG-2-Systemtakts. Der Wert des Teilers ist Standard-Bestandteil des MPEG-2-Kodierungsverfahrens.
Nach der Kodierung durch den oder die MPEG-2-Enkoder werden die Elementarströme (ES) in den oder die Transportstrom – Multiplexer geleitet und dort in Pakete mit Kopfdaten (Header H) zu paketisierten Elementarströmen (Packetised Elementary Streams PES) verpackt bzw. unterteilt. Jedem Paket mit einem Bildanfang wird ein Dekodierungszeit-Stempel (Decoding Time Stamp DTS) und/oder ein Präsentationszeit-Stempel (Presentation Time Stamp PTS) in den Kopfdaten (Header H) mitgegeben. Jeder Transportstrom-Multiplexer hat seine eigene 24-h-Systemuhr (System Time Clock STC). Der Dekodierungszeit-Stempel (DTS) wird aus einer Addition von Systemuhr und VBV-Delay gebildet. Da die Pakete des paketisierten Elementarstroms (PES) nicht bildsynchron sind, muss zur Bildung der Präsentationszeit-Stempels (PTS), der ebenfalls in die Kopfdaten (H) gestempelt wird, in der Regel die nächste VBV-Delay-Information vom ersten P-Picture abgewartet werden. Die Stempel (DTS, PTS) zeigen also immer in die Zukunft. Wegen des 90kHz-Takts der VBV-Delay-Information sind die Stempel (DTS, PTS) nur bis auf ca. ±5,56 μs genau. Jeder Transportstrom-Multiplexer versieht seinen Transportstrom (TS) etwa alle 0,1 s mit einem echtzeitigen Programmzeit-Stempel (Program Clock Reference PCR) aus seiner Systemuhr (STC) als Synchroninformation. Die Programmzeit-Stempel (PCR) werden in die Kopfdaten (N) der Pakete des Transportstroms (TS) eingestempelt, stehen aber weder mit Bildern noch mit Bildgruppen (GOP) im Zusammenhang. Ab hier stehen die Transportströme (TS) dann zur Speicherung, Übertragung, erneuter Speicherung und anschließend von den Speichermedien zur Aufbereitung und Präsentation zur Verfügung.
Wesentlich für die vorliegende Erfindung ist zunächst die empfangsseitige Datentaktrekonstruktion des jeweilig gewählten Referenzstromes auf der lokalen, referenzbildenden Systemuhr. Damit langfristig das Auseinanderlaufen von Referenzstrom und Slaveströmen vermieden wird, müssen die lokalen Uhren (System Time Clock STC) mit einer Genauigkeit von plus/minus der Hälfte des durch den MPEG-2-Standard vorgegebenen 27 MHz-Systemtakts eingeregelt werden. Die Datenstrom-Frequenz wird als Division der Zeitdifferenz zwischen zwei aufeinanderfolgenden echtzeitigen Datenstromparametern (TS-SV : PCR; ES-SV : VBVd) und der Anzahl der zwischen diesen Zeitpunkten liegenden Datenbytes ermittelt. Das Divisionsergebnis ist aber nicht mit unendlicher Genauigkeit weiterverarbeitbar, so dass die Abweichung zwischen Rechengenauigkeit und realem Wert zu einer Langzeitdrift führt. Die Lösung zu diesem Problem stellt eine Weiterentwicklung der zur Synchronisation eingesetzten phasengelockten Routine (Phased Locked Loop PLL) zu einer divisionsfreien PLL dar. Näheres dazu ist den folgenden Erläuterungen zu den 1 und 2 zu entnehmen.
1 zeigt für das TS-SV ein Flussbild der divisionslosen, phasengelockten Signalverarbeitungsroutine (Phase-Locked Loop PLL) zur Wiederherstellung (Clock Recovery CR) der Datenrate des Referenz-Transportstroms (TSref) und damit der von den Programmzeit-Stempeln (PCRref) repräsentierten Systemuhr (STCref). In einem ersten Subtrahieren (S1) wird die Zeit in 27 MHz-Takten zwischen zwei aufeinanderfolgenden Programmzeitstempeln (PCR_n und PCR_n+1) des Referenz-Transportstroms (Tsref) ermittelt. In einem zweiten Subtrahieren (S2) wird ein evtl. vorhandener Offset berücksichtigt (T). In einem Zähler (C1) wird im selben Zeitfenster die Anzahl Datenbytes (D) gezählt. In einem Addierer (A1) wird dem Inhalt (A) eines Akkumulators (AC), der am Intervallanfang mit (–T) (s.u.) geladen wird, diese Anzahl Bytes (D) addiert (A + D). Ein Vergleichen (V1) gibt bei Additionsergebnis (A + D) ≥ 0 ein Ergebnis (V) = 1 und bei Additionsergebnis (A + D) < 0 ein Ergebnis (V) = 0 aus (Schwellwertvergleich). Das Ergebnis (V) wird in einem Multiplizieren (M1) mit der oben ermittelten Zeit in Anzahl 27-MHz-Takten (T) multipliziert, woraus folgt, dass (VT) also nur die Zeit in Anzahl 27-MHz-Takten (T) oder Null sein kann. Dieses Ergebnis (VT) wird in einem dritten Subtrahieren (S3) wiederum von dem Additionsergebnis (A + D) subtrahiert. Der gegebenenfalls auftretende Rest (A + D – VT) geht nun nicht mehr verloren, sondern wird in den Akkumulator (AC) geschrieben und sein Inhalt (A) im folgenden Umlauf der Rechnung mitverarbeitet. Das Ausgangssignal mit dem Ergebnis (V) = 1 des Vergleichers (V1) stellt den Takt (TS-Clock) des Referenz-Transportstroms (TSref) dar. Dieses TS-Clock-Signal steuert die Ausgabeseite (TSref-MPEG-2) des den Datenstrom (TSref-Data) aufnehmenden FIFO-Puffers, der seinerseits seine Eingangsseite über ein Data-Request-Signal versorgt.
Die beim alternativen Elementarstrom-Synchonisationsverfahren ES-SV zur empfangsseitigen Rückgewinnung des Systemtaktes vorteilhaft verwendete phasengelockte Signalverarbeitungsroutine PLL ist im Flussbild gemäß 2 dargestellt. Zur Kompensation der bereits weiter oben beschriebenen Langzeitdrift (90 kHz / 27 MHz) wird mit dem 27 MHz-Systemtakt eine Uhr als referenzbildende Systemuhr STCref betrieben. Diese Systemuhr STCref wird anfänglich mit der Zeit, die aus dem Produkt von Zeitstempel TC und Bilddauer FP (Frameperiod) gebildet wird, zum Gültigkeitszeitpunkt der Ausgabe des ersten I-Pictures (nach Ablauf der Dekodierungs-Verzögerungszeit des ersten eingetroffenen P-Pictures P1VBVd) des Elementarstroms ES) geladen. Dabei – und generell in anderen Fällen ebenso – kann vorteilhaft auch die Dekodierungs-Verzögerungszeit subtrahiert werden, wodurch „leerlaufende", ungenutzte Verarbeitungszeit eingespart werden kann. Es kann also entweder das Verstreichen der Dekodierungs-Verzögerungszeit abgewartet werden oder diese Zeit von dem Produkt abgezogen werden. Der Gültigkeitszeitpunkt für die Ausgabe des ersten I-Pictures ist dann der Zeitpunkt des Eintreffens der Dekodierungs-Verzögerungszeit P1VBVd des auf das I-Picture folgenden P- Pictures (erstes P-Picture P1). Anschließend wird die Systemuhr STCref bei jedem folgenden I-Picture mit der errechneten Zeit TC·FP bzw. mit der vorgezogenen Zeit TC·FP – P1VBVd des wiedergewonnenen Datenstromes zum Gültigkeitszeitpunkt nach dem Ablauf der Dekodierungs-Verzögerungszeit P1VBVd verglichen (oder vorgezogen, um Leerlauf zu vermeiden). Mit auftretenden Abweichungen wird dann die Taktfrequenz der digitalen PLL geregelt. Der mit dem ausgeregelten Takt wiedergewonnene Referenz-Elementarstrom ESref erfüllt dann die geforderte maximale Taktabweichung ohne Langzeitdrift. Je nach Verfahrensmodus – parallel oder kaskadiert – erfolgt die empfangsseitige Rückgewinnung CR der Datenrate DR des Referenz-Elementarstromes ESref in einer zentralen PLL mit einer parallelen Verteilung oder lokal in Multisynchronisationsmodulen MSM mit einer jeweils integrierten PLL und einem durch alle kaskadierten Multisyncmodule MSM durchgeleiteten Referenz-Elementarstrom ESref.
Die aus dem Referenzstrom wiederhergestellte ursprüngliche Systemuhr (STCref) wird nun als Taktgeber in beiden Verfahrensalternativen TS-SV und ES-SV dazu verwendet, alle anderen Datenströme als Slaveströme zu synchronisieren. Dafür existieren zwei grundlegende Ansätze. Zum einen kann der Referenzstrom als Ganzes nacheinander durch die Synchronisationsmodule aller Slaveströme geleitet werden (kaskadierte Synchronisation). Dort werden jedes Mal die Synchronisationsinformationen mit der modifizierten, phasengelockten Routine (PLL) aus dem Referenzstrom gewonnen und eine lokale Systemuhr (STC) für den jeweils angeschlossenen Dekoder hergestellt. Näheres dazu ist den folgenden Erläuterungen zu 3 zu entnehmen. Andererseits ist es auch möglich, die Synchroninformation zur bildtaktstarren Kopplung nur einmal aus dem Referenzstrom zu gewinnen und sie parallel an alle Dekoder zu verteilen (parallele Synchronisation). In den Synchronisationsmodulen muss dann jeweils nur noch die richtige Phasensynchronität wiederhergestellt werden. Näheres dazu ist den folgenden Erläuterungen zu 4 zu entnehmen. Beide Anordnungen sind zur Synchronisation beliebig vieler Videosequenzen nach beiden Erfindungsalternativen TS-SV und ES-SV geeignet.
3 zeigt den prinzipiellen Flussplan für eine kaskadierte Verarbeitung der Transport- bzw. Elementarströme (TS, ES). Dabei wird der Referenz-Transport- bzw. Elementartstrom (TSref, ESref) nacheinander durch identische, hier als Multisynchronisationsmodule (MSM) bezeichnete Rechenschritte geleitet. Jedes Multisynchronisationsmodul (MSM) stellt die Referenz-Systemuhr (STCref) aus dem Referenzstrom (TSref, ESref) wieder her und führt die Synchronisation seines Slavestroms (TSl, ESl) anhand dieser Information durch. In der 3 wird der Slavestrom (TSl, ESl) einem als Sequenzpuffer (Sequence Buffer SB) bezeichneten Speicherort für die Videodaten entnommen. Die Systemuhr (STCref) und der synchronisierte Slavestrom (TSl, ESl) werden dem Dekoder zur Herstellung des eigentlichen, hier als Hauptstrom (HS) bezeichneten Videobildstroms zugeleitet. Nach Durchlaufen der Kaskade stehen alle zur Präsentation erforderlichen Hauptströme (HS) an den Dekoderausgängen synchron zur Verfügung.
4 zeigt den prinzipiellen Flussplan für eine parallele Verarbeitung der Elementarströme (ES) oder Transportströme (TS). Dabei wird in einem ersten Schritt die Referenz-Systemuhr (STCref) aus dem Referenz-Elementarstrom (ESref) oder dem Referenz-Transportstrom (TSref) wiederhergestellt und allen, hier nun nur noch als Phasenwiederherstellung (Phase Recovery PR) bezeichneten Schritte zur Verfügung gestellt. In allen Schritten der Phasenwiederherstellung (PR) wird damit nur noch der Slave-Elementarstrom (ESl) oder der Slave-Transportstrom (TSl) dem Sequenzpuffer (SB) entnommen, die Phasensynchronisation vorgenommen und der synchronisierte Slave-Elementarstrom (ESl) oder der Slave-Transportstrom (TSl) dem Dekoder zur Herstellung des Hauptstroms (HS) zugeleitet. Nach Durchlaufen der parallelen Verarbeitung stehen wiederum alle zur Präsentation erforderlichen Videodaten (Video) an den Dekodierungsausgängen synchron zur Verfügung In dieser Variante entfällt das mehrfache, gleichartige Wiederherstellen der Systemuhr (STCref).
Nach der Erläuterung der empfangsseitigen Rückgewinnung des gewählten Referenzstromes folgt nun die Erläuterung der bildtaktstarren und bildphasenrichtigen Kopplung zwischen Referenz- und Slavestrom. Da die bildtaktstarre Kopplung beim TS-SV nach dem MPEG-2-Standard einstufig durch die einfache Einregelung der Systemuhren (STC) der Transportstrom-Demultiplexer auf die wiedergewonnene, durch die Programmzeit-Stempel (PCRref) repräsentierte Systemuhr (STCref) im kaskadierten Verfahrensablauf oder Verteilung der wiedergewonnenen Systemuhr (STCref) auf die Transportstrom-Demultiplexer im parallelen Verfahrensablauf erfolgt, sind hierfür keine weiteren Erläuterungen erforderlich. Beim ES-SV erfolgt die bildtaktstarre Kopplung jedoch zweistufig, was zunächst erläutert wird. Danach wird dann die bildphasenrichtige Kopplung für beide Verfahren TS-SV und ES-SV erläutert.
Auch beim ES-SV muss, wie bereits weiter oben ausgeführt wurde, zur bildtaktstarren Synchronisation von zwei Elementarströmen der Referenz-Elementarstrom ESref konstant und der lokale Slave-Elementarstrom ESl in der Datenrate veränderlich sein. Der Systemtakt kann dabei von einem gemeinsamen, zentralen Taktgeber (27 MHz) stammen oder in einem zweistufigen Verfahren mit dem Zeitstempel TC, der Bilddauer FP (bzw. 1/FR) und der Dekodierungs-Verzögerungszeit P1VBVd des ersten P-Pictures aus dem Referenz-Elementarstrom ESref gewonnen werden. Vergleiche hierzu 5 mit dem Flussbild zur Realisation der bildtaktstarren Kopplung mit lokaler Systemtaktversorgung beim ES-SV. Dazu kann ein als rückwärts laufende Kurzzeituhr (Timer) zu verstehender Zähler initial mit der Summe aus der Dekodierungs-Verzögerungszeit VBVd₀ (Bild "0") des ersten, überhaupt eintreffenden Bildes und der Bildlänge FP (VBVd₀ + 1/FR) geladen werden. Dieser Wert wird dann mit jedem lokalen Systemtakt verringert. Mit dem Eintreffen des nächsten Wertes einer Dekodierungs-Verzögerungszeit wird dann ein zweistufiges Verfahren durchgeführt. In der ersten Stufe wird zunächst von dem aktuellen Timerwert, beispielsweise 40 ms, der neue Wert der Dekodierungs-Verzögerungszeit subtrahiert und das Ergebnis (im Synchronfall gleich Null, wenn keine Abweichung auftritt) dem lokalen 27 MHz-Generator als Regelgröße zugeführt. Dann wird der Timer wird wieder um eine Bilddauer FP = 1/FR erhöht. Dabei wird zusätzlich der Takt der lokalen Systemuhr zunächst an der zeitlichen Abfolge der Zeitstempel TCref überprüft und bei einer Abweichung ausgeregelt. Außerdem läuft mit dem lokalen Systemtakt eine Uhr mit den Zeitstempeln TC (zweite Stufe). Die Differenz zwischen den lokalen Zeitstempeln TC und den Zeitstempeln TCref im Referenz-Elementarstrom ESref (ggfs. verringert um die Dekodierungs-Verzögerungszeit P1VBVd des ersten P-Pictures zur effizienten Rechenzeitausnutzung) wird von dem Timer als Korrekturgröße zum Ausgleich der Langzeitdrift und etwaigen Fehlern der Berechnungen der Dekodierungs-Verzögerungszeiten im MPEG-2-Dekoder subtrahiert. Dadurch wird erreicht, dass die Elementarströme ES gleich schnell, also phasenstarr sind, da auch im Studio bei der Kodierung der einzelnen Datenströme eine zentrale Taktversorgung zur Einprägung der Zeitstempel TC in alle Videosequenzen verwvendet wurde.
Die 6 zeigt für das ES-SV ein Flussbild zur bildphasenrichtigen Kopplung als zweiten Anteil bei der eigentlichen Synchronisation nach der empfangsseitigen Datenratenrückgewinnung des Referenz-Elementarstromes ESref mit dezentraler Systemtaktversorgung. Da die eingeprägten Zeitstempel TC direkt verwendet werden, entsteht kein zu kompensierender Offset. Da bei der Aufnahme der verschiedenen Videoströme den zusammengehörenden Bildern der gleiche Zeitstempel TC eingeprägt wurde, müssen die Wiedergabezeitpunkte gleich sein. Somit ist eine bildphasenrichtige Synchronisation erreicht. Auch hier kann wieder die Dekodierungs-Verzögerungszeit zur Vermeidung von reinen Wartezeiten subtrahiert werden. Es gilt dann für den versatzfreien Fall (für künstlerische Darstellungen kann auch ein konstanter Versatz ungleich Null durch Integration entsprechender Verzögerungszeiten realisiert werden) (TCsl·FPsl – (P1VBVdsl) – (TCref·FPref – (P1VBVdref) = 0
Die 7 zeigt für das ES-SV eine Kombination der drei für die Synchronisation von Videoströmen erforderlichen Verarbeitungsblöcke (Wiedergewinnung der Datenrate mit PLL; bildtaktstarre und bildphasenrichtige Synchronisation, wie sie in einem Multisynchronisationsmodul MSM umzusetzen sind. Dabei wird ein dezentraler Aufbau mit einer lokalen Taktrückgewinnung aus dem durchgeführten Referenz-Elementarstrom ESref gezeigt. Ein derartiges Multisynchronisationsmodul MSM ist in einer kaskadierten Anordnung zur hochgenauen Synchronisation von beliebig vielen Videoströmen, die von unterschiedlichen Speichermedien kommen und zu unterschiedlichen Startzeitpunkten ausgelesen werden können, besonders geeignet.
Beim TS-SV hat jeder aufnahmeseitige Multiplexer hat seine eigene Systemuhr (STC). Diese laufen zwar gleichschnell, haben aber ggf. einen festen Zeitunterschied (Offset). Der Offset definiert sich grundsätzlich aus der Differenz von Programmzeitstempel des jeweiligen Slave-Transportstromes (PCRsl) und der referenzgebenden Systemuhr STCref auf der Sendeseite. Hierbei handelt es sich aber nur um einen theoretischen Wert, da in der Praxis die sendeseitigen Systemuhren (STC) der Transportstrom-Multiplexeruhren nicht absolut synchron arbeiten. Damit gleichzeitig aufgenommene Bilder auch gleichzeitig wiedergegeben werden, muss der konkrete Offset bei der späteren Synchronisation eliminiert werden. Gleiche Aufnahmezeit bedeutet auch gleiche Präsentationszeit-Stempel (PTS) bei gleichem, zentral eingeprägtem Zeitstempel (TC), d.h zusammengehörigen Bildern verschiedener Kameras. Die Differenz der Präsentationszeit-Stempel (PTS) von Referenzstrom (Index ref) und jeweiligem Slavestrom (Index sl) ist dann der gesuchte Offset. Außerdem arbeiten die aufnahmeseitigen Enkoder dynamisch, d.h. die Bildgruppen-Struktur (GOP) der diversen Transportströme (TS) ist nicht synchron, sodass die Differenz der Präsentationszeit-Stempel (PTS) noch um das Produkt aus Zeitstempel-Differenz TC (Differenz der Bildnummern = Zahl) und Bildlänge (Frame Period FP, Zeit) im Referenz-Transportstrom (Index ref) korrigiert werden muss. Es gilt Offset(1) = (PTSsl – PTSref) – (TCsl – TCref)·FPref 1)
Unter Berücksichtigung der Möglichkeit, dass alle Transportströme (TS) aufgrund unterschiedlicher angewandter Videonormen (z.B. PAL, Secam) noch verschiedene Bildlängen (FP) haben können, ergibt sich der modifizierte Zusammenhang Offset(2) = (PTSsl – PTSref) – (TCsl·FPsl – TCref·FPref) 2)und ein optimierter Flussplan. Für diese Art der Zusammenfassung müssen die Parameter PTS, TC und FP der beiden zu synchronisierenden Transportströme zwischengespeichert werden. Zur Vermeidung dieses Nachteils folgt aber auch aus Gleichung 2) Offset(3) = (PTSsl – TCsl·FPsI) – (PTSref – TCref·FPref) 3)
Diese Umstellung führt zu einer Aufteilung, die weniger Zwischenspeicherung erfordert. Näheres dazu ist den folgenden Erläuterungen zu 8 zu entnehmen.
8 zeigt für das TS-SV die Verarbeitung der in den Transportströmen (TS) enthaltenen, zur Synchronisation heranziehbaren Informationen gemäß Formel 3). Hier werden jeweils für den Referenz-Transportstrom (Tsref) und den jeweiligen Slave-Transportstrom (TSl) die Zeitstempel (TC) und die Bildlänge (FP) multipliziert und von dem Präsentationszeit-Stempel (PTS) subtrahiert. Anschließend wird die Differenz beider Ergebnisse gebildet und dieses Korrekturglied von dem Ergebnis des Vergleichs der wiederhergestellten Systemuhr (STCref) aus dem Referenz-Transportstrom (Tsref) mit dem Programmzeit-Stempel (PCR) aus dem Slave-Transportstrom (TSl) subtrahiert. Das Resultat ist der tatsächliche Offset, dessen Ansatz die exakte Synchronisation ermöglicht.
Schließlich kann man die Offset-Berechnung noch vereinfachen, wenn man berücksichtigt, dass die Präsentations-Zeitstempel (PTS) des I-Pictures aus Programmzeit-Stempel (PCR) bzw. Systemuhr (STC), Dekodierungs-Zeitverzögerung (P1VBVd) des ersten P-Pictures und Bildlänge (FP) zusammengesetzt wurden, indem nicht auf die Präsentations-Zeitstempel (PTS) sondern wieder direkt auf Programmzeit-Stempel (PCR) bzw. Systemuhr (STC), Dekodierungs-Zeitverzögerung (P1VBVd) des ersten P-Pictures der Bildgruppe (GOP) und Bildlänge (FP) aus dem zu synchronisierenden Transportstrom (TS) zurückgegriffen wird. Damit ergibt sich die Formel für den Offset zu Offset(4) = ((STCsl + P1VBVdsl) – TCsl·FPsl) – ((STCref + P1VBVdref) – TCref· FPref) 4)und ein noch mal verbesserter Flussplan. Daraus ergibt sich, dass zur Synchronisation nur noch die Informationen TC, FP und VBVd aus dem Elementarstrom und die Systemuhr (STC) des jeweiligen Transportstrom-Multiplexers benötigt werden. Da jedoch die Differenz von (TC·FP) – PTS (= STC + P1VBVd) eine Konstante zur Generierung des jeweiligen Transportstromes (TS) ist, wird sogar die Drift der unterschiedlichen Systemuhren (STC) im Transportstrom-Multiplexer erkannt und kompensiert. Näheres dazu ist den folgenden Erläuterungen zu 9 zu entnehmen.
9 zeigt für das TS-SV die Verarbeitung der in den Transportströmen (TS) enthaltenen, zur Synchronisation heranziehbaren Informationen gemäß Formel 4). Hier wird nun die Verwendung des Präsentationszeit-Stempels (PTS) vermieden, indem seine ebenfalls im Transportstrom enthaltenen Herstellungsinformationen Programmzeit-Stempel (PCR) und Dekodierungs-Verzögerungszeit des ersten P-Pictures der Bildgruppe (P1VBVd, GOP) herangezogen werden. Es werden jeweils für den Referenz-Transportstrom (Tsref) und den jeweiligen Slave-Transportstrom (TSl) die Systemuhrinformationen (STCref und STCsl) zu der jeweiligen Dekodierungs-Verzögerungszeit (P1VBVd, IVBVd) addiert und daraus und aus der jeweiligen Multiplikation von Zeitstempel (TC) und Bildlänge (FP) die Differenz gebildet. Dieses Korrekturglied wird wieder von dem Ergebnis des Vergleichs der wiederhergestellten Systemuhr (STCref) aus dem Referenz-Transportstrom (TSref) mit dem Programmzeit-Stempel (PCR) aus dem Slave-Transportstrom (TSl) subtrahiert. Das Resultat ist auch hier der tatsächliche Offset, dessen Ansatz die exakte Synchronisation ermöglicht.

A: Addierer
AC: Akkumulator
C: Zähler
CR: Wiedergewinnung der Uhr
D: Byteanzahl
DEC: MPEG-2-Dekoder
DR: Datenrate
DTS: Dekodierungszeit-Stempel
ES: Elementarstrom
ES-SV: Elementarstrom-Synchronisationsverfahren
FP: Bildlänge / Bildtakt
FR: Bildperiode
FIFO: First In First Out Datenpuffer
GOP: Bildgruppe
H: Kopfdaten
HD: hohe Auflösung
I: I-Picture (erstes Bild im GOP)
IVBVd: VBVd des I-Picture im GOP
M: Multiplizieren
MPEG: Standardverfahren
MSM: Multisynchronisationsmodul
n: Index Bild oder Bildgruppe
P: P-Picture
PCM: Puls-Code-Modulation
PCR: Programmzeit-Stempel
PES: paketisierter ES
PLL: phasengelockte Routine
PR: Phasenwiederherstellung
PS: Programm Strom
PTS: Präsentationszeit-Stempel
P1VBVd: VBVd des ersten P-Picture im GOP
SB: Sequenzpuffer (Video)
STC: Systemuhrzeit
T: Taktanzahl
TC: Zeitstempel
TS: Transportstrom
TS-SV: Transportstrom-Synchronisationsverfahren
ref: Index Referenz
S: Subtrahierer
sl: Index Slave
V: Vergleicher, Vergleichsergebnis
Video: Video-Datenstrom
VBVd: Dekodierungs-Verzögerungszeit

Claims

Verfahren zur bezüglich Bildtakt und Bildphase regelbaren Synchronisation von zwei oder mehr MPEG-2-kodierten Videosequenzen für digitale Multi-Projektionssysteme mit den entsprechend der Anzahl der zu synchronisierenden Videosequenzen parallel oder kaskadiert zu wiederholenden Verfahrensschritten 1. sendeseitige Einprägung eines bei der Bildaufnahme von einer zentralen Studiouhr ausgegebenen Zeitstempels (TC) in jedes Bild der einzelnen Videosequenzen 2. Kodierung und Bildgruppierung (GOP) der Videosequenzen in zumindest einem MPEG-2-Enkoder nach dem angewendeten MPEG-2-Systemtakt zu Elementarströmen (ES) mit gleichen oder unterschiedlichen Datenraten und Einstempeln einer Dekodierungs-Verzögerungszeit (VBVd) in jedes Bild der einzelnen Videosequenzen 3. Unterteilung der Elementarströme (ES) in zumindest einem Transportstrom-Multiplexer, der eine Systemuhr (STC) aufweist, in Pakete mit Kopfdaten (H) zu paketisierten Elementarströmen (PES) mit einer Einprägung in die Kopfdaten (H) 3.1 eines Dekodierungszeit-Stempels (DTS), der aus der Systemuhr (STC) und der jeweils aktuellen Dekodierungs-Verzögerungszeit (VBVd) gebildet wird, und/oder 3.2 eines Präsentationszeit-Stempels (PTS), der aus der Systemuhr (STC), der jeweils aktuellen Dekodierungs-Verzögerungszeit (VBVd) und aus der Bildlänge (FP) unter Berücksichtigung des vorgegebenen MPEG-2-Kodierungsschemas gebildet wird, 4. Komplettierung der paketisierten Elementarströme (PES) zu Transportströmen (TS) durch ein wiederholtes Einprägen im Transportstrom-Multiplexer eines Programmzeit-Stempels (PCR) in kurzen Zeitabständen als Synchroninformation an beliebige Stellen in die Kopfdaten (H) der Transportströme (TS) 5. parallele oder sequenzielle Übertragung, Speicherung und Auslesen aller Transportströme (TS) nach dem vorgegebenen MPEG-2-Transportstromprotokoll 6. Festlegung eines der Transportströme (TS) oder eines sendeseitig zusätzlich generierten, keine Bilddaten der Videosequenzen enthaltenden Transportstromes (TS) als Referenz-Transportstrom (TSref) 7. empfangsseitige Wiedergewinnung (CR) der Datenrate des Referenz-Transportstromes (TSref) und damit der von den Programmzeit-Stempeln (PCRref) repräsentierten Systemuhr (STCref) in zumindest einem Multisynchronisationsmodul (MSM) mittels Anwendung einer restfehlerfreien, phasengelockten Signalverarbeitungsroutine (PLL) auf aufeinanderfolgende Programmzeit-Stempel (PCRrefn, PCRrefn+1) und der dazwischen liegenden Anzahl von Datenbytes im Referenz-Transportstrom (TSref) 8. Synchronisation der anderen Transportströme (TS) als Slave-Transportströme (TSl) auf den Referenz-Transportstrom (TSref) durch 8.1 eine bildtaktstarre Kopplung der Bilder mittels einer Einregelung der Systemuhren (STC) der Transportstrom-Demultiplexer auf die wiedergewonnene, durch die Programmzeit-Stempel (PCRref) repräsentierte Systemuhr (STCref) im kaskadierten Verfahrensablauf oder Verteilung der wiedergewonnenen Systemuhr (STCref) auf die Transportstrom-Demultiplexer im parallelen Verfahrensablauf und anschließend durch 8.2 eine bildphasenrichtige Kopplung der Bilder durch eine signalverarbeitende Berücksichtigung der Laufzeitunterschiede der Systemuhren (STCref, STCsl) der Transportstrom-Demultiplexer sowie des Offsets, der sich als Differenz zwischen zumindest den Päsentationszeit-Stempeln (PTS), den zentral ausgegebenen Zeitstempeln (TC) und den zugehörigen Bildlängen (FP) von Referenz-Transportstrom (TSref) und dem jeweils zu synchronisierenden Transportstrom (TSl) ergibt.
Verfahren nach Anspruch 1 mit einer divisionslosen phasengelockten Signalverarbeitungsroutine (PLL), die im vorgegebenen MPEG-2-Systemtakt mit den in den Referenz-Transportstrom (TSref) von zwei aufeinander folgenden eingestempelten, referenzgebenden Programmzeit-Stempeln (PCRref_n, PCRref_n+1) eine fortlaufende Addition und Subtraktion mit Restfehlerakkumulation durchführt und jeweils bei Erreichen eines vorgegebenen Schwellwertes ein Datenbyte ausgibt.
Verfahren nach Anspruch 1 oder 2 mit einer Verwendung der Dekodierungszeit-Stempel (DTS) zur Offsetermittlung, wenn das Bildfolgeschema in den Bildgruppierungen (GOP) der Videosequenzen konstant ist.
Verfahren nach einem der Ansprüche 1 bis 3 mit direkt aus den den Dekodierungs- oder Präsentationszeitstempeln (DTS, PTS) zugrunde liegenden Komponenten der Systemuhr (STC), der jeweils aktuellen Dekodierungs-Verzögerungszeit (VBVd), der Bildlänge (FP) und des zentral ausgegebenen Zeitstempels (TC).
Verfahren nach einem der Ansprüche 1 bis 4 einer Ermittlung des Offsets unter Verwendung einer Konstanten zur Generierung des jeweiligen Transportstromes, die sich aus den Informationen (TC, FP und VBVd) des Elementarstroms (ES) und der Systemuhr (STC) des jeweiligen Transportstrom-Multiplexers berechnet.
Verfahren nach einem der Ansprüche 1 bis 5 mit der Vorgabe einer versatzfreien Bildphase.
Verfahren zur bezüglich Bildtakt und Bildphase regelbaren Synchronisation von zwei oder mehr MPEG-2-kodierten Videosequenzen für digitale Multi-Projektionssysteme mit den entsprechend der Anzahl der zu synchronisie renden Videosequenzen parallel oder kaskadiert zu wiederholenden Verfahrensschritten 1. sendeseitige Einprägung eines bei der Bildaufnahme von einer zentralen Studiouhr ausgegebenen Zeitstempels (TC) in jedes Bild der einzelnen Videosequenzen 2. Kodierung und Bildgruppierung der Videosequenzen in ein I-Picture, einige P-Pictures und mehrere B-Pictures pro Bildgruppe (GOP) in zumindest einem MPEG-2-Enkoder nach dem angewendeten MPEG-2-Systemtakt zu Elementarströmen (ES) mit gleichen oder unterschiedlichen Datenraten und Einstempeln einer Dekodierungs-Verzögerungszeit (VBVd) in jedes Bild der einzelnen Videosequenzen 3. parallele oder sequenzielle Übertragung, Speicherung und Auslesen aller Elementarströme (ES) nach einem vorgegebenen MPEG-2-Protokoll 4. Festlegung eines der Elementarströme (ES) als Referenz-Elementarstrom (ESref) 5. empfangsseitige Wiedergewinnung (CR) der Datenrate des Referenz-Elementarstromes (ESref) und damit der referenzbildenden Systemuhr (STCref) in zumindest einem Multisynchronisationsmodul (MSM) mittels Anwendung einer divisionslosen, phasengelockten Signalverarbeitungsroutine (PLL) auf die Dekodierungs-Verzögerungszeiten (VBVd_n, VBVd_n+1 aufeinanderfolgender Bilder (n, n+1), dividiert durch die Anzahl der dazwischen liegenden Datenbytes 6. Synchronisation der anderen Elementarströme (ES) als Slave-Elementarströme (ESl) auf den Referenz-Elementarstrom (ESref) durch 6.1 eine bildtaktstarre Kopplung der Bilder mittels einer Einregelung der lokalen Systemuhren (STCsl) auf die wiedergewonnene Systemuhr (STCref) im kaskadierten Verfahrenslauf oder Verteilung der wiedergewonnenen Systemuhr (STCref) auf die lokalen Systemuhren (STCsl) im parallelen Verfahrenslauf und anschließend durch 6.2 eine bildphasenrichtige Kopplung der Bilder mittels einer Einregelung der Differenz der einander entsprechenden Wieder gabezeitpunkte der I-Picture zwischen Slave- und Referenz-Elementarstrom (ESl, ESref) auf einen vorgegebenen Wert, wobei die Wiedergabezeitpunkte durch das Produkt aus dem Zeitstempel (TC) eines I-Pictures und der Bilddauer (FP) definiert sind.
Verfahren nach Anspruch 7 mit einer Einregelung der bildphasenrichtigen Kopplung der Bilder auf einen Wert ungleich Null.
Verfahren nach Anspruch 7 oder 8 mit einer Speicherung der Elementarströme (ES) im MPEG-2-Elementarstrom-Speicherprotokoll.
Verfahren nach Anspruch 7 bis 9 mit einer divisionslosen, phasengelockten Signalverarbeitungsroutine (PLL) mit den Verfahrensschritten 1. Initialisieren der Systemuhr (STCref) nach dem Ablauf der Dekodierungs-Verzögerungszeit (P1VBVd) des ersten P-Pictures mit dem Wiedergabezeitpunkt des ersten ausgelesenen I-Pictures, der durch das Produkt des Zeitstempels (TC) des I-Pictures mit der Bilddauer (FP) definiert ist, fortlaufender Vergleich mit den entsprechend gebildeten Zeitpunkten der folgenden I-Picture und Regelung des Systemtaktes der Signalverarbeitungsroutine (PLL) in Abhängigkeit von auftretenden Abweichungen, und 2. systemtaktrichtige Ermittlung der Datenrate des Referenz-Elementarstromes (ESref) aus der Bilddauer (FP) zuzüglich der Differenz der Dekodierungs-Verzögerungszeiten (VBVd_n, VBVd_n+1) aufeinanderfolgender Bilder (n, n+1), dividiert durch die Anzahl der dazwischen liegenden Datenbytes
Verfahren nach einem der Ansprüche 7 bis 10 mit einer Einregelung der lokalen Systemuhren (STCsl) auf die wiedergewonnene Systemuhr (STCref) im kaskadierten Verfahrenslauf mit den Verfahrensschritten 1. Initialisierung einer rückwärts laufenden Kurzzeituhr als Zähler mit dem Wert der Dekodierungs-Verzögerungszeit (VBVd₀) des ersten ausge lesenen Bildes plus der Bilddauer (FP), wobei der Zählerstand mit dem lokalen Systemtakt verringert wird, und zyklisch durch 2. Subtraktion der nächsten Dekodierungs-Verzögerungszeit (VBVd₀), Regelung der lokalen Systemtaktuhr (STCsl) mit auftretenden Abweichungen und erneute Erhöhung der Kurzzeituhr um die Bilddauer (FP), wobei ein zum wiedergewonnenen Systemtakt auftretender Offset der Kurzzeituhr mit der Differenz des mit der lokalen Systemuhr (STCsl) erzeugten Zeitstempels (TC) zum Ausgabezeitpunkt (P1VBVd) des ersten I-Pictures in einer Bildgruppe (GOP) ausregelt wird.
Verfahren nach einem der Ansprüche 7 bis 11 mit einer Subtraktion der Dekodierungsverzögerungszeit (P1VBVd) des in einer Bildgruppe (GOP) jeweils ersten P-Pictures von der durch das Produkt aus dem Zeitstempel (TC) und der Bilddauer (FP) gebildeten Uhrzeit der zentralen Studiouhr in den jeweiligen Verfahrensschritten.