DE102011107095A1

DE102011107095A1 - Verfahren zur Synchronisierung von Audio- und Videoinhalten in verteilten Multimediasystemen mit mehreren Senken

Info

Publication number: DE102011107095A1
Application number: DE102011107095A
Authority: DE
Inventors: Thomas Müller; Thomas Eireiner
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2011-07-12
Filing date: 2011-07-12
Publication date: 2012-01-19

Abstract

Die vorliegende Erfindung stellt ein Verfahren zur zeitlichen Synchronisierung von Audio- und Videoinhalten in einem Multimediasystem, das ein digitales Netzwerk (NW) mit einer Quelle (QDS) für Audio- und Videodaten (DS) und einer Mehrzahl von Senken (S1, S2) umfasst, die einen Dekoder (DC1, DC2) für die Audio- und Videodaten (DS) aufweisen, wobei jede Senke (S1, S2) zumindest eine Videosenke und zumindest eine Audiosenke umfasst bereit, sowie das Multimediasystem selbst. Das Verfahren umfasst die Schritte des Übertragens der Audio- und Videodaten (DS) von der Quelle (QDS) an die Senken (S1, S2), des Dekodierens der Audio- und Videodaten (DS) unter Berücksichtigung einer Lippensynchronität und des Zuführens der dekodierten Audiodaten (AS1, AS2) der Audiosenke jeder Senke (S1, S2). Ferner erfolgt das Zuführen der dekodierten Videodaten (VSuordnen einer Masterfunktion einer der Senken (S1, S2) und Bereitstellen der dekodierten Audiodaten (AS1) der Mastersenke (S1) als den Referenz-Audiodaten (R-AS) allen anderen Senken (S2). Weiter erfolgt das Ermitteln eines Zeitversatzes durch die anderen Senken (S2) zwischen den Referenz-Audiodaten (R-AS) und den eigenen dekodierten Audiodaten (AS2) und, das Korrigieren des Zeitversatzes der eigenen dekodierten Audiodaten (AS2) zu den Referenz-Audiodaten (R-AS) durch Minimieren des Zeitversatzes durch Steuern der Zuführung der eigenen dekodierten Audiodaten (AS2) der Audiosenke.

Description

Die Erfindung betrifft ein Verfahren zur zeitlichen Synchronisierung von Audio- und Videoinhalten in verteilten Multimediasystemen mit mehreren Senken.
Beim digitalen Fernsehrundfunk, auf DVDs, BlueRays sowie beim Video-Streaming in Netzwerken bzw. im Internet werden die Video- und Audioinhalte in so genannten Transportströmen bzw. Containerformaten zusammengefasst, beispielsweise MPEG2-TS bei DVB-T in Deutschland.
Eine Empfangs- bzw. Abspieleinrichtung dient dazu, sowohl die Audio- als auch die Videodaten zu dekodieren und zeitlich richtig – sprich lippensynchron – darzustellen bzw. abzuspielen. Unter Lippensynchronität wird dabei die Synchronität zwischen Bild und Ton verstanden, so dass Lippenbewegungen im Bild zu den Tonereignissen passen. Eine Asynchronität zwischen Bild und Ton ist etwa ab einem Bild-Ton-Versatz von etwa einem Bild und insbesondere dann störend, wenn der Ton dem Bild vorauseilt.
Das zu dekodierende Quellmaterial wird den Senken für gewöhnlich in einem sogenannten Transportstromformat bzw. Containerformat (z. B. MPEG2-Transportströme, MPEG2-TS) zur Verfügung gestellt. Diese zeichnen sich dadurch aus, dass sie Informationen (z. B. entsprechende Zeitstempel) zur Herstellung einer Lippensynchronität bei der Dekodierung enthalten. Solche Transportstromformate bzw. Containerformate eignen sich sehr gut dazu die Quelldaten über Netzwerke aller Art (Leitungsgebunden, Optisch, Funk) zu den Dekodiereinrichtungen zu übertragen.
Soll eine Darstellung von Audio- und Videodaten nun auf mehreren Senken gleichzeitig erfolgen, z. B. auf mehreren Displays im Fahrzeug oder bei gleichzeitiger Nutzung von Lautsprechern und Kopfhörern, so ist die Erwartungshaltung des Konsumenten, dass Audio- und Videoinhalte auf allen Senken synchron wiedergegeben werden. Die Einhaltung dieser Bedingung ist besonders schwierig, wenn die Senken über eigenständige Audiodekoder und Videodekoder verfügen, wobei jede Senke das zu dekodierende Quellmaterial über ein Netzwerk erhält und für die zeitlich richtige Dekodierung verantwortlich ist.
Versuche, die Dekoder durch Vorgabe von Zeitstempeln bzw. von Synchronisationssignalen, etwa mit Hilfe eines gemeinsamen Takts, erweisen sich in der Praxis als schwierig, besonders dann, wenn die einzelnen Dekoderimplementierungen nicht identisch sind.
Ausgehend von diesem Stand der Technik ist es Aufgabe der vorliegenden Erfindung, ein Verfahren bereitzustellen, das eine synchrone Darstellung von Audio- und Videoinhalten auf mehreren Senken in einem System mit verteilten Dekodiereinrichtungen gewährleistet und so die Lippensynchronität in verteilten Audio- und/oder Video-Systemen in einfacher Weise verbessert.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Weiterbildungen sind in den Unteransprüchen ausgeführt.
Die Aufgabe der Schaffung eines entsprechenden Multimediasystems, mit dem das Verfahren durchführbar ist, wird durch das Multimediasystem mit den Merkmalen des Anspruchs 6 gelöst.
Eine erste Ausführungsform des Verfahrens zur zeitlichen Synchronisierung von Audio- und Videoinhalten in einem Multimediasystem bezieht sich auf ein Multimediasystem aus einem digitalen Netzwerk mit einer Quelle für Audio- und Videodaten und mehreren Senken, die jeweils einen Dekoder für die Audio- und Videodaten aufweisen. Jede der Senken umfasst zumindest eine Videosenke und zumindest eine Audiosenke. Erfindungsgemäß umfasst das Verfahren das Übertragen der Audio- und Videodaten von der Quelle an die Senken über das digitale Netzwerk, woraufhin die Audio- und Videodaten durch den Dekoder jeder Senke unter Berücksichtigung der Lippensynchronität dekodiert werden, in jeder Senke werden dann jeweils die dekodierten Audiodaten der Audiosenke und die dekodierten Videodaten der Videosenke zugeführt. Dabei ist einer der Senkers eine Masterfunktion zugeordnet und die somit als Mastersenke agiert. Die Mastersenke stellt ihre dekodierten Audiodaten als Referenz-Audiodaten über das digitale Netzwerk allen anderen Senken zur Verfügung, die dann einen Zeitversatz zwischen den Referenz-Audiodaten und den eigenen dekodierten Audiodaten ermitteln. Dieser Zeitversatz der eigenen dekodierten Audiodaten zu den Referenz-Audiodaten wird durch Minimierung korrigiert, indem das Zuführen der eigenen dekodierten Audiodaten zu der jeweiligen Audiosenke entsprechend zeitlich gesteuert wird. Vorteilhaft wird hierbei für die Synchronisierung von Audio- und Videoinhalten lediglich die Bandbreite eines dekodierten Audiosignals benötigt, nicht jedoch die Bandbreite des dekodierten Videosignals.
Die Bereitstellung der Referenz-Audiodaten über das digitale Netzwerk erfolgt vorzugsweise über eine latenzarme Verbindung, so dass der zusätzlich bei einem solchen Netzwerk auftretende Zeitversatz nicht zu groß ist.
Andernfalls oder auch bei einer latenzarmen Verbindung kann die Verzögerung, die bei der Übertragung der dekodierten Audiodaten in dem digitalen Netzwerk auftritt und die bekannt ist, bei der Bereitstellung der Referenz-Audiodaten berücksichtigt werden.
Das Ermitteln des Zeitversatzes durch die anderen Senken kann dabei durch eine Korrelation zwischen den Referenz-Audiodaten und den eigenen dekodierten Audiodaten erfolgen.
Bei dem digitalen Netzwerk kann es sich beispielsweise um ein Ethernet, ein WLAN oder insbesondere um einen MOST-Bus handeln, der insbesondere der MOST-Bus eines Kraftfahrzeugs ist.
Ferner bezieht sich die Erfindung auf ein Multimediasystem, das ein digitales Netzwerk mit einer Quelle für Audio- und Videodaten und einer Mehrzahl von Senken umfasst, die einen Dekoder für die Audio- und Videodaten aufweisen, wobei jede Senke zumindest eine Videosenke und zumindest eine Audiosenke umfasst. Eine Senke des Multimediasystems ist als Mastersenke konfiguriert, während die Audiodaten, die von dem Dekoder der Mastersenke dekodiert wurden, als Referenz-Audiodaten über das digitale Netzwerk den anderen Senken zugeführt werden können. Die anderen Senken weisen eine Steuerungskomponente auf, in die die Referenz-Audiodaten und die eigenen dekodierten Audiodaten eingehen, und die zur Ermittlung und zur Korrektur eines Zeitversatzes zwischen den Referenz-Audiodaten und den eigenen dekodierten Audiodaten und zur Minimierung des Zeitversatzes durch Steuern der Zuführung der eigenen dekodierten Audiodaten konfiguriert ist.
So ist die synchrone Darstellung von Audio- und Videoinhalten in Systemen mit mehreren verteilten Audio- und Videosenken wie beispielsweise mit mehreren Displays in einem Kraftfahrzeug oder bei gleichzeitiger Nutzung von Lautsprechern und Kopfhörern möglich. Diese und weitere Vorteile werden durch die nachfolgende Beschreibung unter Bezug auf die begleitende Figur dargelegt.
Der Bezug auf die Figur in der Beschreibung dient der Unterstützung der Beschreibung und dem erleichterten Verständnis des Gegenstands. Die Figur ist lediglich eine schematische Darstellung einer Ausführungsform der Erfindung und skizziert die Systemarchitektur und die Datenströme in einem Multimediasystem mit mehreren verteilten Audio- und Videosenken.
Die Erfindung bezieht sich auf ein Verfahren zur zeitlichen Synchronisierung von Audio- und Videoinhalten in einem Multimediasystem. Ein solches ist schematisch in 1 dargestellt, welches ein digitales Netzwerk NW, beispielsweise ein MOST-Bus, mit einer Quelle Q_DS für Audio- und Videodaten DS und zwei Senken S1, S2 umfasst, die jeweils einen Dekoder DC1, DC2 für die Audio- und Videodaten DS aufweisen, wobei jede Senke S1, S2 zumindest eine Videosenke und zumindest eine Audiosenke umfasst, denen die dekodierten Videodaten VS1, VS2 und die dekodierten Audiodaten AS1, AS2 zugeführt werden.
So erhalten alle Senken S1, S2 des Multimediasystems die Audio- und Videodatenströme DS beispielsweise als MPEG2-TS von der Quelle Q_DS und dekodieren die Audio- und Videodaten DS unter Berücksichtigung der Lippensynchronität. Die dekodierten Audiodaten AS1, AS2 werden der entsprechenden Audiosenke, beispielsweise Lautsprecher und/oder Kopfhörer zugeführt, während die dekodierten Videodaten VS1, VS2 der entsprechenden Videosenke beispielsweise den Displays im Fahrzeug zugeführt werden.
Zusätzlich wird das dekodierte Audiosignal AS1 von Senke S1, die somit eine Masterfunktionalität darstellt, den anderen Senken, vorliegend der zweiten Senke S2 zur Verfügung gestellt. Dabei ist auf eine latenzarme Verbindung zu achten, es sei denn, dass die Verzögerungen der dekodierten Audiodaten AS1, AS2 im Gesamtsystem NW bekannt sind.
Senke 2 ermittelt den Zeitversatz zwischen den Referenz-Audiosignalen R-AS von Senke S1 und den eigenen dekodierten Audiodaten AS2. Dies kann z. B. durch Korrelation K der entsprechenden Audiodaten R-AS, AS2 erfolgen. Mit der Korrelation K wird die Verzögerung VS der dekodierten Audiodaten AS2 gesteuert, wobei der ermittelte Zeitversatz nun bei der Dekodierung der Audio-/Videosignale in Senke S2 in einer Weise berücksichtigt wird, dass der dann resultierende Zeitversatz der dekodierten Audiodaten AS2 zu den Referenz-Audiosignalen R-AS der Senke S1 minimiert wird. Ist dies erfolgt, sind die Audio- und Videodarstellungen auf Senke S2 synchron zu Senke S1. In einem Multimediasystem mit mehr als zwei Senken verläuft die Synchronisierung der weiteren Senken analog.
Die Verteilung der dekodierten Audiodaten der Mastersenke S1 an die Dekodiereinrichtungen DC2 der anderen Senken S2 erlaubt die Bestimmung und die Korrektur des auftretenden Zeitversatzes in den jeweiligen Senken S2, so dass die Darstellung der Audio- und Videoinhalten in Systemen mit mehreren Verteilten Audio- und Videosenken synchron erfolgt.
So kann insbesondere auch in Kraftfahrzeugen die lippensynchrone Darstellung auf mehreren Displays im Fahrzeug oder bei gleichzeitiger Nutzung von Lautsprechern und Kopfhörern unaufwändig gewährleistet werden.

Claims

Verfahren zur zeitlichen Synchronisierung von Audio- und Videoinhalten in einem Multimediasystem, das ein digitales Netzwerk (NW) mit einer Quelle (Q_DS) für Audio- und Videodaten (DS) und einer Mehrzahl von Senken (S1, S2) umfasst, die einen Dekoder (DC1, DC2) für die Audio- und Videodaten (DS) aufweisen, wobei jede Senke (S1, S2) zumindest eine Videosenke und zumindest eine Audiosenke umfasst, umfassend die Schritte: – Übertragen der Audio- und Videodaten (DS) von der Quelle (Q_DS) an die Senken (S1, S2), – Dekodieren der Audio- und Videodaten (DS) durch den Dekoder (DC1, DC2) jeder Senke (S1, S2) unter Berücksichtigung einer Lippensynchronität, – Zuführen der dekodierten Audiodaten (AS1, AS2) der Audiosenke jeder Senke (S1, S2) und Zuführen der dekodierten Videodaten (VS1, VS2) der Videosenke jeder Senke (S1, S2), – Zuordnen einer Masterfunktion einer der Senken (S1, S2) und Bereitstellen der dekodierten Audiodaten (AS1) der Mastersenke (S1) als den Referenz-Audiodaten (R-AS) allen anderen Senken (S2), – Ermitteln eines Zeitversatzes durch die anderen Senken (S2) zwischen den Referenz-Audiodaten (R-AS) und den eigenen dekodierten Audiodaten (AS2), – Korrigieren des Zeitversatzes der eigenen dekodierten Audiodaten (AS2) zu den Referenz-Audiodaten (R-AS) durch Minimieren des Zeitversatzes durch Steuern der Zuführung der eigenen dekodierten Audiodaten (AS2) der Audiosenke.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das digitale Netzwerk (NW) eine latenzarme Verbindung zum Bereitstellen der Referenz-Audiodaten (R-AS) bereitstellt.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das zusätzlich zum digitalen Netzwerk (NW) ein zweites digitales Datennetzwerk zur Bereitstellung der Referenz-Audiodaten (R-AS) genutzt wird.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass eine Verzögerung bei der Übertragung der dekodierten Audiodaten (AS1) in dem digitalen Netzwerk (NW) bekannt ist und bei der Bereitstellung der Referenz-Audiodaten (R-AS) berücksichtigt wird.
Verfahren nach zumindest einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Ermitteln des Zeitversatzes durch die anderen Senken (S2) durch eine Korrelation zwischen den Referenz-Audiodaten (R-AS) und den eigenen dekodierten Audiodaten (AS2) erfolgt.
Verfahren nach zumindest einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass das digitale Netzwerk (NW) ein MOST-Bus, insbesondere der eines Kraftfahrzeugs ist.
Multimediasystem, umfassend ein digitales Netzwerk (NW) mit einer Quelle (Q_DS) für Audio- und Videodaten (DS) und einer Mehrzahl von Senken (S1, S2), die einen Dekoder (DC1, DC2) für die Audio- und Videodaten (DS) aufweisen, wobei jede Senke (S1, S2) zumindest eine Videosenke und zumindest eine Audiosenke umfasst, dadurch gekennzeichnet, dass eine Senke (S1) des Multimediasystems als Mastersenke konfiguriert ist und von dem Dekoder (DC1) der Mastersenke (S1) dekodierte Audiodaten (AS1) als Referenz-Audiodaten (R-AS) über das digitale Netzwerk (NW) den anderen Senken (S2) zuführbar sind, wobei die anderen Senken (S2) eine Steuerungskomponente, in die die Referenz-Audiodaten (R-AS) und die eigenen dekodierten Audiodaten (AS2) eingehen, wobei die Steuerungskomponente zur Ermittlung und zur Korrektur eines Zeitversatzes zwischen den Referenz-Audiodaten (R-AS) und den eigenen dekodierten Audiodaten (AS2) und zur Minimierung des Zeitversatzes durch Steuern der Zuführung der eigenen dekodierten Audiodaten (AS2) konfiguriert ist.