DE102014002958A1

DE102014002958A1 - Verfahren und System zur Synchronisierung von ersten Informationen mit zweiten Informationen

Info

Publication number: DE102014002958A1
Application number: DE102014002958.1A
Authority: DE
Inventors: Christian Siehler; Paul Pfeiffer
Original assignee: Individual
Current assignee: Individual
Priority date: 2014-03-06
Filing date: 2014-03-06
Publication date: 2015-09-10

Abstract

Die vorliegende Erfindung betrifft ein Verfahren und ein System (1''') zur Synchronisierung von ersten Informationen (7) mit zweiten Informationen (23). Mit der vorliegenden Erfindung wird die Synchronisierung der ersten (7) und zweiten Informationen (23) so erzielt, dass keine inhaltliche Schnittstelle zwischen ersten (7) und zweiten Informationen (23) an der Übertragungseinheit (5) für die ersten Informationen (7) erforderlich ist und eine Synchronisation auch bei hohen Datenaufkommen für die zweiten Informationen (23) möglich ist. Der konstruktive und organisatorische Aufwand für die Synchronisierung ist sowohl auf Seiten der Bereitsteller der ersten (7) als auch auf Seiten der Bereitsteller der zweiten Informationen (23) sehr gering. Die erfindungsgemäße Lösung ist ohne weiteres mit bestehenden Standards vereinbar, beispielsweise ist sie mit dem HbbTV-Standard zu 100% kompatibel, wodurch sie sofort einsetzbar ist.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Synchronisierung von ersten Informationen mit zweiten Informationen nach dem Oberbegriff von Anspruch 1 und ein System zur Synchronisierung von ersten Informationen mit zweiten Informationen nach dem Oberbegriff von Anspruch 12.
Eine Synchronisierung von ersten Informationen mit zweiten Informationen, insbesondere von ersten Informationen als Audio- und/oder Videosignal mit zweiten Informationen, ist in vielen Anwendungsfällen wünschenswert.
Dies betrifft beispielsweise die Einspielung von mehrsprachigen Untertiteln zu Audio- und Videosignalen, oder die Einspielung von Zusatzinformationen in schriftlicher Form bei der Fernseh-Übertragung von Sportveranstaltungen. Es handelt sich also um in Bezug auf die ersten Informationen für den Empfänger nützliche Zusatzinformationen, die in irgendeiner Art und Weise einen Mehrwert beinhalten. Dabei können solche „zweiten Informationen” nicht nur in Textform vorliegen, sondern auch in Bild-, Audio- oder Videoform. Es kann auch eine Kombination aus diesen Formen vorliegen. Im Fernsehübertragungsbereich hat sich für solche Überlagerungen von Zusatzinformationen (z. B. aus dem Internet) zum Fernsehsignal der Begriff „Hybrid-TV” eingebürgert.
Es gab schon den Versuch, solche zweiten Informationen mit Audio- und/oder Videosignalen zu synchronisieren. Im „White Book Hybrid-TV" (vgl. http://www.tv-plattform.de/images/stories/pdf/hybrid-tv_white-book_2012.pdf, Seite 12) wird beschrieben, das die zweiten Informationen mithilfe von Stream-Events für einen hybriden Zusatzdienst direkt zum HbbTV-Empfangsgerät gesendet werden können. Eine HbbTV-Anwendung kann diese zweiten Informationen aus den Stream-Events, die sich im TV-Signal befinden, extrahieren und direkt zur passenden Zeit im Bild anzeigen. Diese Lösung ist dabei allerdings nur für Zusatzdienste mit einem geringen Datenaufkommen praktikabel. Zwar sind Stream-Events nicht generell auf kleine Datenmengen beschränkt und ein Broadcaster kann auch größere Datenmengen über Stream-Events senden. Allerdings benötigt er hierzu dann mehr Bandbreite, die er für die Stream-Events reservieren muss. Im Falle beispielsweise einer Sportanwendung im Fernsehen können die Daten darüber hinaus stark variieren. Die benötigte Bandbreite lässt sich also nur schätzen und nicht effizient nutzen.
Außerdem müssen die zweiten Informationen direkt in das Fernsehsignal eingespeist werden und daher müssen diese zweiten Informationen für jedes Programm extra über eine inhaltliche Schnittstelle hinterlegt werden. Diese inhaltliche Schnittstelle ist dann am DVB-Playout-System (Teil der Übertragungseinheit der ersten Informationen) vorzusehen, was einen erhöhten Aufwand beim Einpflegen von Inhalten und auch eine Sicherheitsschwachstelle für den DVB-Playout-System bedeuten kann.
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, eine Synchronisierung von ersten und zweiten Informationen so zu erzielen, dass keine inhaltliche Schnittstelle zwischen ersten und zweiten Informationen an der Übertragungseinheit erforderlich ist, insbesondere sollen auch hohe Datenaufkommen synchronisierbar sein und der konstruktive und organisatorische Aufwand für die Synchronisierung soll auf Seiten der Bereitsteller der ersten und/oder zweiten Informationen möglichst gering sein.
Diese Aufgabe wird gelöst durch das erfindungsgemäße Verfahren nach Anspruch 1 und das erfindungsgemäße System nach Anspruch 12. Vorteilhafte Weiterbildungen sind in den abhängigen Unteransprüchen angegeben.
Die Erfinder haben erkannt, dass die Aufgabe in überraschender Weise dadurch gelöst werden kann, dass die Latenz des Übertragungsweges der ersten Information (Verzögerung der ersten Information auf dem Übertragungsweg) ermittelt wird und die zweiten Informationen um diese Latenz verzögert abgespielt werden. Mittels dieses Prinzips lässt sich eine Synchronisation sehr einfach herstellen. Wenn auch möglicherweise eine exakte „Lippensynchronisation” nicht erreicht wird, so reicht der erzielte Grad an Synchronisation für die meisten Anwendungsfälle völlig aus.
Für den Fernsehbereich gesprochen betrifft die Erfindung also die Berechnung von Verzögerungen (Latenzen), die bei der Distribution von MPEG2-Transportströmen (Fernsehsignale bzw. Audio- und/oder Videosignale) entstehen. Diese Latenzen entstehen zum Beispiel durch die Modulation des Audio- und/oder Videosignals auf die Trägerfrequenzen der jeweiligen Distributionswege (DVB-T, DVB-S oder DVB-C). Diese Latenzen führen dazu, dass der Zeitpunkt, zu dem ein Audio- und/oder Videosignal beim Zuschauer ankommt, nicht genau bestimmt werden kann. Diese Latenz schwankt dabei je nach Transport- beziehungsweise Distributionsweg und Abspielgerät.
Bei der reinen Distribution von TV-Signalen über DVB spielen diese Latenzen zunächst keine Rolle. Sollen aber hybride Zusatzdienste beispielsweise aus dem Internet mit einem direkten Bezug zum aktuellen TV-Bild genutzt werden, muss eine Synchronisierung der Zusatzdienste mit dem Fernsehsignal durchgeführt werden. Für hybride Zusatzdienste existiert seit 2010 der HbbTV-Standard. Dieser ermöglicht die Einblendung von Daten aus dem Internet über dem eigentlichen Fernsehbild und wird vom Programmanbieter signalisiert. Für die Anzeige dieser Daten wird ein HbbTV-fähiges Endgerät beim Zuschauer benötigt. Der HbbTV-Standard basiert dabei auf unterschiedlichen bereits etablierten Standards und Webtechnologien, wie zum Beispiel verschiedenen DVB-Standards (ETSI TS 102 809, ETSI TS 102 851, ETSI EN 300 468, ...). Der HbbTV-Standard sieht sogenannte Stream-Events vor, die aus dem ISO/IEC 13818-Standard (MPEG-2 – Teil 6, DSM-CC Erweiterung) stammen. Mithilfe von solchen Stream-Events werden Ereignisse über den Distributionsweg gesandt, die in der hybriden TV-Applikation ein Event auslösen und so eine Synchronität herstellen. Innerhalb des Standards werden jedoch keine genauen Vorgehens- und Verfahrensweisen zur Synchronisierung vorgegeben. Die vorliegende Erfindung stellt eine abstrakte Lösung für dieses Problem dar. Die Lösung trennt dabei die Daten für den Zusatzdienst und das Synchronisierungsverfahren komplett. Dabei ist es unerheblich, zu welchem Zeitpunkt der Zuschauer in ein Programm einschaltet, da die Synchronisierung zu jeder Zeit erfolgen kann.
Dabei ist die vorliegende Erfindung nicht auf den Fernsehbereich beschränkt, sondern überall dort einsetzbar, wo die ersten Informationen auf einem ersten Übertragungsweg und die zweiten Informationen auf einem davon unterschiedlichen zweiten Übertragungsweg an einen Empfänger übermittelt werden und eine Synchronisierung dieser Informationen erforderlich ist.
Es wird durch das erfindungsgemäße Prinzip also eine Trennung zwischen der Bereitstellung der zweiten Informationen und der eigentlichen Synchronisierung ermöglicht, so dass die erfindungsgemäße Synchronisierung auch für große Datenaufkommen wesentlich flexibler ist und inhaltliche Schnittstellen für die ersten und zweiten Informationen an der Übertragungseinheit der ersten Informationen nicht erforderlich sind. Damit lässt sich mit der vorliegenden Erfindung die benötigte Bandbreite für das DVB-Playout-System vorab berechnen und alle weiteren Daten werden unabhängig davon über beispielsweise das Internet geliefert und anhand der berechneten Latenz synchronisiert.
Das erfindungsgemäße Verfahren zur Synchronisierung von ersten Informationen mit zweiten Informationen, wobei die ersten Informationen von einer Übertragungseinheit auf zumindest einem ersten Übertragungsweg zumindest einer Abspieleinheit zugeführt werden und die zweiten Informationen auf einem zweiten Übertragungsweg bereit gestellt und synchron mit den ersten Informationen abgespielt werden, zeichnet sich somit dadurch aus, dass eine erste Latenz des ersten Übertragungswegs der ersten Informationen von der Übertragungseinheit zur Abspieleinheit ermittelt wird und die zweiten Informationen um die erste Latenz verzögert abgespielt werden.
Dieses Verfahren kann noch dadurch verbessert werden, dass die zweiten Informationen auf der zumindest einen Abspieleinheit und/oder zumindest einer anderen mit der zumindest einen Abspieleinheit gekoppelten Abspieleinheit abgespielt werden. Es ist bevorzugt vorgesehen, dass die zumindest eine Abspieleinheit die zweiten Informationen um die ermittelte Latenz des ersten Übertragungsweges verzögert abspielt. Eine andere mit der zumindest einen Abspieleinheit gekoppelten Abspieleinheit, die die zweiten Informationen ebenfalls über den zweiten Übertragungsweg erhält, kann diese ebenfalls um die erste Latenz verzögert abspielen, sodass der Nutzer die zweiten Informationen auf allen mit einander gekoppelten Abspieleinheiten zeitgleich erhält. Die zumindest eine Abspieleinheit teilt dafür der anderen mit der zumindest einen Abspieleinheit gekoppelten Abspieleinheit die Latenz des ersten Übertragungsweges mit.
Unter „Abspieleinheiten” werden alle Geräte und Systeme verstanden, die die ersten und/oder zweiten Informationen abspielen, beispielsweise anzeigen, können oder die als Konverter, beispielsweise als SetTopBox, dafür sorgen, dass eigentliche Abspieleinheiten diese Informationen abspielen können.
Besonders vorteilhaft ist es, wenn den ersten Informationen zumindest ein Indikator aufgelagert wird, der mit einem in einer Zentraleinheit zentral gespeicherten Zeitstempel korreliert ist. Dann lässt sich die Latenz des ersten Übertragungswegs der ersten Informationen besonders einfach bestimmen.
In einer diesbezüglich bevorzugten Weiterbildung ist vorgesehen, dass zumindest ein Identifikator in der Zentraleinheit zentral erzeugt, mit dem Zeitstempel korreliert und der Übertragungseinheit für die ersten Informationen zur Erzeugung und Auflagerung des entsprechenden Indikators auf die ersten Informationen übermittelt wird. Dann erfolgt die Trennung zwischen der Latenzermittlung und der Erzeugung und Übertragung der ersten Informationen noch effektiver und es ist leichter möglich den Indikator bestimmten Standards anzupassen, die von dem Abspielgerät leicht erkannt werden können.
Diesbezüglich ist es zweckmäßig, wenn zwischen Zentraleinheit und Übertragungseinheit für die ersten Informationen ein Software- und/oder Hardware-Interface geschaltet ist, über das der Identifikator der Übertragungseinheit von der Zentraleinheit übermittelt wird. Dann besteht eine noch größere Sicherheit durch Abschirmung der Übertragungseinheit. Außerdem lässt sich durch ein Software- und/oder Hardware-Interface als Abstraktionsschicht, die Komponente Übertragungseinheit, z. B. zu Wartungszwecken, leichter austauschen.
In einer alternativen Ausgestaltung ist vorgesehen, dass der Indikator in der Übertragungseinheit für die ersten Informationen erzeugt und den ersten Informationen aufgelagert wird, wobei aus den ersten Informationen parallel zur Zuführung zur Abspieleinheit der Indikator ausgelesen und ein entsprechender Identifikator analysiert und mit dem Zeitstempel korreliert wird. Dies hat den Vorteil, dass überhaupt kein Zugriff von außen auf die Übertragungseinheit erfolgt, sondern diese die notwendigen Daten nach außen abgibt. Dies erhöht die Sicherheit der Übertragungseinheit.
In diesem Zusammenhang ist es zweckmäßig, wenn eine Hardware- und/oder Software-Einheit zwischen der Zentraleinheit und der Übertragungseinheit für die ersten Informationen geschaltet wird und der Identifikator, nachdem er von der Hardware- und/oder Software-Einheit analysiert wurde, der Zentraleinheit bereitgestellt wird.
Dann kann der Zeitstempel in der Zentraleinheit mit dem Identifikator korreliert werden.
Alternativ kann vorgesehen sein, dass die Hardware- und/oder Software-Einheit ihre Systemzeit mit der Zentraleinheit synchronisiert. Dann kann die Synchronisationsgenauigkeit verbessert werden, da der Zeitstempel auf diese Weise bereits in der Hardware- und/oder Software-Einheit mit dem Identifikator korreliert werden kann. Die Latenz des Übertragungsweges von der Hardware- und/oder Software-Einheit zur Zentraleinheit wird dadurch automatisch herausgerechnet.
Wenn zusätzlich vorgesehen ist, dass die Hardware- und/oder Software-Einheit bezüglich des Übertragungsweges nahe an der Übertragungseinheit angeordnet ist, dann wird die Synchronisationsgenauigkeit weiter verbessert, weil die Latenz dieses Übertragungsweges minimiert wird.
Eine Zeitsynchronisation im Rahmen der vorliegenden Erfindung kann beispielsweise über das Network Time Protocol (NTP) oder Simple Network Time Protocol (SNTP) erfolgen. Alle verbundenen Geräte, wie zum Beispiel Zentraleinheit und Hardware- und/oder Software-Einheit, würden dann mit der gleichen Systemzeit arbeiten und Abweichungen bestehen nur noch im Millisekunden-Bereich.
In einer besonders bevorzugten Ausgestaltung ist vorgesehen, dass die Abspieleinheit den zumindest einen Indikator aus den ersten Informationen ausliest, den entsprechenden Identifikator analysiert und den analysierten Identifikator an die Zentraleinheit übermittelt, wonach die Zentraleinheit den für den analysierten Identifikator korrelierten Zeitstempel ermittelt und aus der Differenz zwischen der Eingangszeit des von der Abspieleinheit an die Zentraleinheit übermittelten analysierten Identifikators und dem korrelierten Zeitstempel die Latenz für den ersten Übertragungsweg berechnet und diese erste Latenz an die Abspieleinheit übermittelt. Dann ist die erfindungsgemäße Synchronisation besonders einfach umsetzbar.
In einer vorteilhaften Weiterbildung ist vorgesehen, dass Schwankungen der ermittelten ersten Latenz für den ersten Übertragungsweg durch Mittelwertbildung über eine bestimmte Anzahl von ermittelten ersten Latenzen oder Mittelwertbildung über die in einer bestimmten Zeiteinheit ermittelten ersten Latenzen ausgeglichen werden.
Außerdem kann vorteilhaft eine dritte Latenz eines dritten Übertragungswegs zwischen Abspieleinheit und Zentraleinheit ermittelt werden, wobei die dritte Latenz von der ermittelten ersten Latenz für den ersten Übertragungsweg abgezogen wird, um so die erste Latenz exakter zu bestimmen.
In einer bevorzugten Ausgestaltung ist vorgesehen, dass ein Audio- und/oder Videosignal als erste Informationen verwendet wird.
Unabhängiger Schutz wird beansprucht für das erfindungsgemäße System zur Synchronisierung von ersten Informationen mit zweiten Informationen, umfassend eine Übertragungseinheit und zumindest eine Abspieleinheit, wobei die Übertragungseinheit angepasst ist, die ersten Informationen der zumindest einen Abspieleinheit über zumindest einen ersten Übertragungsweg zuzuführen, wobei Mittel vorgesehen sind, die zweiten Informationen über einen zweiten Übertragungsweg bereit zu stellen und synchron mit den ersten Informationen abzuspielen, das sich dadurch auszeichnet, dass Mittel zur Ermittlung einer ersten Latenz des ersten Übertragungswegs der ersten Informationen von der Übertragungseinheit zur Abspieleinheit vorgesehen sind und das System angepasst ist, die zweiten Informationen um die erste Latenz verzögert abzuspielen.
Dieses erfindungsgemäße System lässt sich noch weiter verbessern, wenn es angepasst ist, das erfindungsgemäße Verfahren auszuführen.
Zweckmäßig sind die ersten Informationen ein Audio- und/oder Videosignal.
Außerdem ist es vorteilhaft, wenn die Übertragungseinheit ein HbbTV-fähiges DVB-Playout-System umfasst und/oder die Zentraleinheit einen ersten Webserver und einen Speicher umfasst und/oder die Abspieleinheit ein HbbTV-fähiges Gerät umfasst und/oder der Übertragungsweg aus der Gruppe DVB-S, DVB-T und DVB-C gewählt ist und/oder der Indikator ein DSM-CC Stream-Event, insbesondere ein DSM-CC Stream-Event-Deskriptor ist und/oder zur Erzeugung und Übermittlung der zweiten Informationen an die Abspieleinheit eine von der Zentraleinheit unabhängige Informationsbereitstellungseinheit, bevorzugt in Form eines zweiten Webservers vorgesehen ist. Damit ist die erfindungsgemäße Lösung zu 100% kompatibel mit dem HbbTV-Standard und wäre somit sofort einsetzbar.
Die Kennzeichen und weitere Vorteile der Erfindung werden im Rahmen der folgenden Beschreibung bevorzugter Ausführungsbeispiele im Zusammenhang mit den Figuren deutlich werden. Dabei zeigen rein schematisch:
1 das erfindungsgemäße Verfahren und System nach einer ersten bevorzugten Ausgestaltung in einer Flussdiagrammdarstellung,
2 das erfindungsgemäße Verfahren und System nach einer zweiten bevorzugten Ausgestaltung in einer Flussdiagrammdarstellung,
3 das erfindungsgemäße Verfahren und System nach einer dritten bevorzugten Ausgestaltung in einer Flussdiagrammdarstellung und
4 eine Flussdiagrammdarstellung zum „Second Screen”.
In den 1 bis 3 sind drei bevorzugte Ausführungsbeispiele der der vorliegenden Erfindung rein schematisch in Flussdiagrammdarstellungen für Hybrid-TV nach dem HbbTV-Standard gezeigt, wobei dieselben Elemente mit den selben Bezugszeichen versehen sind. In 4 ist eine Flussdiagrammdarstellung zum „Second Screen” rein schematisch dargestellt.
Es ist zu erkennen, dass das erfindungsgemäße System 1, 1', 1'' grundsätzlich jeweils einen ersten Webserver 3 als Zentraleinheit, ein DVB-Playout-System 5 als Übertragungseinheit für das Fernsehsignal 7 (Audio und/oder Videosignal in Form eines MPEG2-Transportstroms) als erste Informationen und ein HbbTV-fähiges Endgerät 9 als Abspieleinheit umfasst. Zusätzlich ist ein Speicher 11 vorgesehen, der entweder Teil des Webservers 3 ist oder getrennt von diesem angesteuert wird.
Das DVB-Playout-System 5 sendet das Fernsehsignal 7 über verschiedene erste Übertragungswege 13, 15, 17 und damit verbundene Übertragungseinheiten, z. B. Multiplexer und oder Modulator (nicht gezeigt), zum Endgerät 9, wobei es sich bei dem Übertragungsweg 13 um einen DVB-Satellite(kurz DVB-S)-Übertragungsweg handelt, bei dem Übertragungsweg 15 um einen DVB-Terrestrial(kurz DVB-T)-Übertragungsweg handelt und bei dem Übertragungsweg 17 um einen DVB-Cable(kurz DVB-C)-Übertragungsweg handelt. „DVB” steht in diesem Zusammenhang für „Digital Video Broadcasting” und definiert die digitale Videoübertragung.
Auf dem Weg vom DVB-Playout-System 5 zum Endgerät 9 entsteht eine für den jeweiligen ersten Übertragungsweg 13, 15, 17 spezifische erste Latenz 19. Das heißt, dass das jeweilige Fernsehsignal 7 je nach Empfangsart (Auswahl des ersten Übertragungsweges 13, 15, 17) des Endgerätes 9 unterschiedlich schnell zum Endgerät 9 gelangt.
Weiterhin besteht ein zweiter Webserver 21, über den die zweiten Informationen 23 aus dem Internet 25 an das Endgerät 9 auf einem zweiten Übertragungsweg 27 an das Endgerät 9 übermittelt werden.
Die vorliegende Erfindung dient der Berechnung der ersten Latenz 19 und kann somit genutzt werden, um die zweiten Informationen 23 mit dem Fernsehsignal 7 zu synchronisieren. Der Synchronisation dienen dabei sogenannte Stream-Events 29, die als Indikatoren in das Fernsehsignal 7 kontinuierlich eingebettet werden. Diese Stream-Events 29 sind im HbbTV-Standard 1.0 bereits implementiert und lassen sich vereinfacht als kleine Datenpakete, die vom DVB-Playout-System 5 synchron mit dem Fernsehsignal 7 versandt werden, definieren (vgl. http://www.tv-plattform.de/images/stories/pdf/hybrid-tv_white-book_2012.pdf, Seite 10). Fernsehsignal 7 und Stream-Events 29 bilden gemeinsam den Transportstrom.
DSM-CC Stream-Events bestehen aus Stream-Event-Objekten und Stream-Event-Deskriptoren. Ein Stream-Event-Objekt dient der Definition der vorkommenden Stream-Events. Es besteht aus einer eindeutigen ID und einen Namen. Mithilfe dieser Stream-Event-Objekte kann ein Endgerät 9 auswerten, welche Stream-Events aktuell über den Transportstrom signalisiert werden können. (vgl. http://www.interactivetvweb.org/tutorials/dtv_intro/dsmcc) Ein Stream-Event-Deskriptor hingegen dient der Erzeugung eines spezifischen Stream-Events. Gelangt ein solcher Stream-Event-Deskriptor zum Empfangsgerät 9, so wird ein Stream-Event anhand dieses Stream-Event-Deskriptors ausgelöst. Ein Stream-Event-Deskriptor besteht dabei aus den folgenden, für die Erfindung relevanten Komponenten:

– die ID des Events, die sich auf das dazugehörige Stream-Event-Objekt bezieht, und
– anwendungsspezifische Daten (vgl. http://www.interactivetvweb.org/tutorials/dtv_intro/dsmcc).

Innerhalb der Erfindung wird dementsprechend mindestens ein Stream-Event-Objekt im DSM-CC-Objektkarussell hinzugefügt, das die zu versendenden Stream-Event-Deskriptoren anhand der ID definiert. Stream-Event-Deskriptoren werden dabei als sogenannte „do it now”-Events 29 in das Fernsehsignal 7 eingebettet. Solche „do it now”-Events 29 bewirken, dass diese Stream-Events in der Abspieleinheit sofort nach Eingang des Stream-Event-Deskriptors ausgelöst werden. Die eingesetzten Stream-Event-Deskriptoren 29 erhalten innerhalb der anwendungsspezifischen Daten eine eindeutige Identifikationsnummer (Sync-ID) 31 als Identifikatoren und werden im DVB-Playout-System 5 in das Fernsehsignal 7 eingebettet, um den Transportstrom zu bilden.
Die einzelnen Schritte, die in der Abspieleinheit bis zum Versenden des Identifikators (Sync-ID) zum ersten Webserver 3 vollzogen werden, können dementsprechend wie folgt zusammengefasst werden:

1. Eingang eines Stream-Event-Deskriptors 29, der in das Fernsehsignal 7 eingebettet ist.
2. Eine Weiterverarbeitung erfolgt nur, wenn zu dem Stream-Event-Deskriptor 29 ein zugehöriges Stream-Event-Objekt im DSM-CC-Objektkarussell mit derselben ID definiert ist.
3. Sofortiges Auslösen des Stream-Events innerhalb der Abspieleinheit, da es sich hierbei um „do it now” Events 29 handelt.
4. Auslesen der Sync-ID 31 aus den anwendungsspezifischen Daten.
5. Übertragung der Sync-ID 31 zum ersten Webserver 3.

29

31

7

3

31

37

31

1

3

1

3

33

5

33

29

5

7

3

5

Zwischen DVB-Playout-System 5 und Rest-Interface 33 kann optional ein Rückkanal 35 vorgesehen sein, der beispielsweise im Rahmen einer TCP-Verbindung 35 ausgestaltet ist. Das REST-Interface 33 erzeugt dann durch eine TCP-Anfrage eine Aktion im DVB-Playout-System 5 (z. B. Einbetten des Stream-Events 29 mit spezifischem Identifikator 31). Diese Aktion wird vom DVB-Playout-System 5 ausgeführt und je nach dem, ob sie erfolgreich war oder nicht, wird die TCP-Anfrage mit einer entsprechenden Antwort beladen und an das REST-Interface 33 über den Rückkanal 35 gesendet. Das REST-Interface 33 kann so überprüfen, ob das Einbetten der Informationen in das Fernsehsignal 7 erfolgreich war. Eine TCP-Verbindung 35 ist nur ein Beispiel für eine solche Verbindung mit Rückkanal. Als Möglichkeit der Verbindung ohne Rückkanal kommt eine UDP-Verbindung in Frage. Hierbei sendet das REST-Interface 33 eine Nachricht an das DVB-Playout-System 5 ohne eine Antwort zu erwarten.
Der erste Webserver 3 gibt dabei vor (wann) welches Stream-Event 29 eingebettet wird. Der erste Webserver 3 ordnet schließlich zu der jeweiligen Sync-ID 31 die aktuelle Systemzeit 37 des ersten Webservers 3 eindeutig zu und speichert dieses Tupel im Speicher 11.
In 2 ist zu erkennen, dass das DVB-Playout-System 5 ein Protokoll nutzt, um selbst kontinuierlich Stream-Events 29 mit einer bestimmten Sync-ID 31 zu erzeugen und in das Fernsehsignal 7 einzubetten. Aus dem DVB-Playout-System 5 kommend wird anschließend der Transportstrom von einer Box 39 als Hardware- und/oder Software-Einheit parallel zu den ersten Übertragungswegen 13, 15, 17 abgegriffen. Innerhalb der Box 39 wird der Transportstrom auf die von dem DVB-Playout-System 5 eingebetteten Stream-Events 29 hin ausgewertet. Die jeweiligen Sync-IDs 31 der Stream-Events 29 werden also in dieser Box 39 analysiert und im Anschluss über eine Schnittstelle (nicht gezeigt) an den ersten Webserver 3 übermittelt. Der erste Webserver 3 kann somit diese Sync-IDs 31 wiederum zu der zugehörigen, aktuellen Systemzeit 37 des ersten Webservers 3 zuordnen.
In 3 ist zu erkennen, dass in Bezug auf 2 eine Abwandlung dahingehend stattfindet, dass der erste Webserver 3 und Box 39 ihre jeweilige Systemzeit 37 synchronisieren, um eine Netzwerklatenz zwischen erstem Webserver 3 und Box 39, die die ermittelte erste Latenz 19 beeinflussen würde, auszugleichen. Weiterhin erfolgt die Zuordnung der aktuellen Systemzeit 37 zu der jeweiligen Sync-ID 31 bereits in der Box 39 und beides wird dem ersten Webserver 3 über eine entsprechende Schnittstelle (nicht gezeigt) zur Verfügung gestellt.
Ziel eines zweiten Teilschrittes der vorliegenden Erfindung ist es, die erste Latenz 19 zu ermitteln. Dazu ist vorgesehen, dass das Endgerät 9 nach Empfang eines Stream-Events 29 über eine geeignete Fernsehclientapplikation (nicht gezeigt) eine Anfrage an den ersten Webserver 3 sendet mit der Sync-ID 31 des Stream-Events 29, das soeben am Endgerät 9 empfangen wurde. Der erste Webserver 3 bestimmt anschließend anhand der Sync-ID 31 des Stream-Events 29 die zugehörige Systemzeit 39 der Sync-ID 31 und damit des Stream-Events 29 und ermittelt aus der zeitlichen Differenz zwischen der Empfangszeit 41 der Anfrage des Endgerätes 9 und der zum Stream-Event 29 zugehörigen Systemzeit 37 die erste Latenz 19. Diese erste Latenz 19 wird vom ersten Webserver 3 an das Endgerät 9 zurück übermittelt. Durch diese ersten und zweiten Teilschritte kann somit die angenäherte Verzögerung 19 für jeden Übertragungsweg 13, 15, 17 ermittelt werden.
Dieser Wert für die Distributionslatenz 19 kann aufgrund einiger Faktoren, wie zum Beispiel Antwortzeiten im Netzwerk (Internet) sowie Rechnerkapazitäten und damit verbundene Bearbeitungszeit im Endgerät 9 und/oder erstem Webserver 3, noch geringfügig schwanken. Diese Schwankungen können zum einen durch eine Mittelwertbildung mehrerer erster Latenzwerte 19 eines Endgerätes 9 ausgeglichen werden, wobei beispielsweise über eine bestimmte Anzahl von ermittelten ersten Latenzen 19 gemittelt wird oder über alle ermittelten ersten Latenzen 19 innerhalb einer bestimmten Zeitspanne.
Zum anderen spielt die Netzwerklatenz eine Rolle. Diese kann angenähert beispielsweise mithilfe von einem Ping-Verfahren bestimmt werden und von der ermittelten ersten Latenz 19 abgezogen werden. Netzwerklatenzen können dabei zwischen Endgerät 9 und erstem Webserver 3 (wie bei den Vorgehensweisen nach 1 bis 3), erstem Webserver 3 und DVB-Playout-System 5 (wie bei Vorgehensweise nach 1), sowie Box 39 und erstem Webserver 3 (wie bei Vorgehensweise nach 2) entstehen.
Für den letztgenannten Fall der 2 stellt die Vorgehensweise nach 3 eine Lösung dar. Im erstgenannten Fall der Netzwerklatenz zwischen Endgerät 9 und erstem Webserver 3 handelt es sich um die dritte Latenz des dritten Übertragungsweges 43.
Im Rahmen der vorliegenden Erfindung ist unter „Ping-Verfahren” ein Verfahren zu verstehen, bei dem die jeweilige Netzwerklatenz näherungsweise mit Hilfe der jeweiligen Umlaufzeit einer Datenanfrage, auch „Round Trip Time” genannt, bestimmt wird. Diese „Round Trip Time” entspricht der Zeit, die ein Datenpaket bei der Versendung innerhalb eines Netzwerkes von einer bestimmten Quelle zu einem bestimmten, anderen Empfänger und wieder zurück zum Quellsystem benötigt (vgl. http://www.itwissen.info/definition/lexikon/round-trip-time-RTT.html). Somit ergibt sich für die Netzwerklatenz ein Wert, der der Hälfte der Round Trip Time entspricht. Für die Netzwerklatenz zwischen erstem Webserver 3 und REST(Representational State Tansfer)-Interface (vgl. 1), sowie Box 39 und erstem Webserver 3 (vgl. 2) kann dementsprechend zum Beispiel der einfache „ping”-Befehl genutzt werden. Solch ein „ping” verwendet das ICMP-Protokoll und sendet ein Datenpaket von dem einen ersten System zu dem anderen zweiten System. Das zweite System sendet daraufhin sofort ein Datenpaket zum ersten System. Solch ein „ping” liefert in der Regel bei Erreichbarkeit des zweiten Systems diese Round Trip Time mit. (vgl. http://wiki.ubuntuusers.de/ping).
Auch zwischen Endgerät 9 und erster Webserver 3 ist solch ein Verfahren denkbar. Wenn jedoch Endgerät 9 und erster Webserver 3 bereits über eine permanente Verbindung wie zum Beispiel Websockets verfügen, ist es konsequenter, diese Round Trip Time mithilfe eines eigenen Protokolls zu berechnen. Dazu werden Datenpakete wie auch zuvor zwischen Endgerät 9 und erster Webserver 3 durch die bereits bestehende Verbindung „hin und her” gesendet, um so die Round Trip Time zu bestimmen. Auch bei der Netzwerklatenz kann eine höhere Genauigkeit durch Mittelwertbildung erzielt werden.
Außerdem könnte in einer vorteilhaften Weiterbildung der Lösungen nach den 2 und 3 vorgesehen sein, dass erste Webserver 3 und DVB-Playout-System 5 eine Zeitsynchronisation durchführen (nicht gezeigt). Im DVB-Playout-System 5 würde dann zusätzlich zu der Sync-ID 31 oder auch anstatt der Sync-ID 31 die aktuelle Systemzeit der DVB-Playout-System 5 eingebettet. Die aktuelle Systemzeit wird somit direkt im DVB-Playout-System 5 einem bestimmten Stream-Event 29 zugeordnet.
In einem dritten Teilschritt erfolgt dann die Berücksichtigung der ersten Latenz 19 zur Synchronisation des Fernsehsignals 7 mit den zweiten Informationen 23. Dabei werden die über das Internet 25 zum Endgerät 9 gesendeten zweiten Informationen 23 vom Endgerät 9 um die ermittelte erste Latenzzeit 19 verzögert abgespielt, sodass sie zum TV-Bild passend innerhalb einer HbbTV-Anwendung angezeigt werden können.
Es ist dabei nicht relevant, woher genau die zweiten Informationen 23 kommen. Denkbar ist hierfür ein zweiter Webserver 21 beziehungsweise ein Modul (nicht gezeigt) innerhalb des ersten Webservers 3 der Zentraleinheit, der auch für die Synchronisierung zuständig ist. Für den letztgenannten Fall würden die zweiten 27 und dritten Übertragungswege 43 identisch sein.
Der zweite Webserver 21 kann beispielsweise inhaltliche Daten als zweite Informationen 23 in Echtzeit – also auch liveerzeugte Daten 23 – entgegen nehmen und sie an alle verbundenen Endgeräte 9 weiterverteilen. Es ist aber auch damit möglich, eine vorher definierte zeitliche Abfolge von zweiten Informationen 23 zu verwalten und an die Endgeräte 9 auszugeben. Für die jeweils laufende Sendung kann ein Endgerät 9 bereits gesendete zweite Informationen 23 ebenfalls abrufen, sodass dieses Endgerät 9, egal wann der Zuschauer in das Programm zuschaltet, immer auf dem aktuellen Stand ist.
Ist, wie in 4 gezeigt, ein zweites Endgerät 45, 47 (z. B. Tablet oder Smartphone, auch Second Screen genannt) mit dem Endgerät 9 verbunden oder verbindet es sich noch mit einem solchen First Screen (Endgerät 9), so wird diesem ebenfalls die ermittelte erste Latenz 19 beispielsweise von dem Endgerät 9 mitgeteilt. Auf diese Weise wird sichergestellt, dass der Nutzer die zweiten Informationen auf dem Second Screen 45, 47 zur selben Zeit wie auf dem First Screen 9 empfängt und somit nicht unnötig durch unterschiedliche Daten verwirrt wird. Der Zuschauer erhält somit eine konsistente Nutzungserfahrung auf allen Endgeräten 9 und Second Screens 45, 47, die von Ihm genutzt werden. Es entsteht eine Art lokale Echtzeit, da der Nutzer die erste Latenz 19 zwischen zweiten Informationen 23 und Fernsehsignal 7 nicht mitbekommt. Zu beachten ist, dass auch die über das Internet versendeten Daten, eine Netzwerklatenz aufweisen, die wie auch zuvor beschrieben ebenfalls ausgeglichen werden kann.
In diesem Zusammenhang kann nicht nur vorgesehen sein, dass das Endgerät 9 die Latenz 19 direkt an die gekoppelten Second Screens 45, 47 weiterleitet (in 4 gestrichelt dargestellt), sondern es kann auch vorgesehen sein, dass das Endgerät 9 die Latenz 19 über den dritten Übertragungsweg 27 an den zweiten Webserver 21 weiterleitet und der zweite Webserver 21 die Latenz 19 und die zweiten Informationen 23 direkt an die Second Screens 45, 47 überträgt.
Dabei ist es grundsätzlich natürlich auch möglich, dass die zweiten Informationen 23 an die Second Screens direkt vom Endgerät 9 übermittelt werden und es ist auch möglich, dass nur die Second Screens 45, 47 die zweiten Informationen anzeigen, jedoch nicht das Endgerät 9, um beispielsweise nicht die ersten Informationen 7 zu stören, was möglicherweise bei relativ kleinen Endgeräten 9 der Fall sein könnte.
Weiterhin kann auch vorgesehen sein, dass von der Abspieleinheit 9 dritte Informationen an den zweiten Webserver 21 zurückgegeben werden, um einem Benutzer beispielsweise Antworten auf Quizfragen und dgl. zu ermöglichen. Hierfür wäre ein entsprechender Rückkanal zwischen Endgerät 9 und zweitem Webserver 21 vorzusehen (nicht gezeigt).
Aus der vorstehenden Darstellung ist deutlich geworden, dass mit der vorliegenden Erfindung eine Synchronisierung von ersten und zweiten Informationen so erzielt wird, dass keine inhaltliche Schnittstelle zwischen ersten 7 und zweiten Informationen 23 an der Übertragungseinheit 5 für die ersten Informationen 7 erforderlich ist und eine Synchronisation auch bei hohen Datenaufkommen hinsichtlich der zweiten Informationen 23 möglich ist. Der konstruktive und organisatorische Aufwand für die Synchronisierung ist sowohl auf Seiten der Bereitsteller der ersten 7 als auch auf Seiten der Bereitsteller der zweiten Informationen 23 sehr gering. Dadurch, dass die erfindungsgemäße Lösung ohne weiteres mit bestehenden Standards vereinbar und beispielsweise mit dem HbbTV-Standard zu 100% kompatibel ist, ist sie sofort einsetzbar.
Soweit nichts anders angegeben ist, können sämtliche Merkmale der vorliegenden Erfindung frei miteinander kombiniert werden. Auch die in der Figurenbeschreibung beschriebenen Merkmale können, soweit nichts anderes angegeben ist, als Merkmale der Erfindung frei mit den übrigen Merkmalen kombiniert werden. Dabei können gegenständliche Merkmale auch als Verfahrensmerkmale Verwendung finden und Verfahrensmerkmale als gegenständliche Merkmale.
Bezugszeichenliste

1, 1', 1'': System zur Synchronisierung
3: erster Webserver, Zentraleinheit
5: DVB-Playout-System, Übertragungseinheit
7: Fernsehsignal, Audio- und/oder Videosignal, erste Informationen
9: HbbTV-fähiges Endgerät, Abspieleinheit
11: Speicher
13, 15, 17: erste Übertragungswege
13: DVB-Satellite(kurz DVB-S)-Übertragungsweg
15: DVB-Terrestrial(kurz DVB-T)-Übertragungsweg
17: DVB-Cable(kurz DVB-C)-Übertragungsweg
19: erste Latenz, Distributionslatenz
21: zweiter Webserver
23: zweite Informationen
25: Internet
27: zweiter Übertragungsweg
29: Stream-Events, Stream-Event-Deskriptor, Indikator
31: Sync-ID, Identifikator
33: REST(Representational State Transfer)-Interface
35: Rückkanal, TCP-Verbindung
37: Systemzeit, Zeitstempel
39: Box, Hardware- und/oder Software-Einheit
41: Eingangszeit für Anfrage von Endgerät 9
43: dritter Übertragungsweg
45, 47: zweites Endgerät, Second Screen

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

„White Book Hybrid-TV” (vgl. http://www.tv-plattform.de/images/stories/pdf/hybrid-tv_white-book_2012.pdf, Seite 12) [0004]
ETSI TS 102 809 [0010]
ETSI TS 102 851 [0010]
ETSI EN 300 468 [0010]
ISO/IEC 13818-Standard [0010]
HbbTV-Standard 1.0 [0043]
http://www.tv-plattform.de/images/stories/pdf/hybrid-tv_white-book_2012.pdf, Seite 10 [0043]
http://www.interactivetvweb.org/tutorials/dtv_intro/dsmcc [0044]
http://www.interactivetvweb.org/tutorials/dtv_intro/dsmcc [0044]
http://www.itwissen.info/definition/lexikon/round-trip-time-RTT.html [0055]
http://wiki.ubuntuusers.de/ping [0055]

Claims

Verfahren zur Synchronisierung von ersten Informationen (7) mit zweiten Informationen (23), wobei die ersten Informationen (7) von einer Übertragungseinheit (5) auf zumindest einem ersten Übertragungsweg (13, 15, 17) zumindest einer Abspieleinheit (9) zugeführt werden und die zweiten Informationen (23) auf einem zweiten Übertragungsweg (27) bereit gestellt und synchron mit den ersten Informationen (7) abgespielt werden, dadurch gekennzeichnet, dass eine erste Latenz (19) des ersten Übertragungswegs (13, 15, 17) der ersten Informationen (7) von der Übertragungseinheit (5) zur Abspieleinheit (9) ermittelt wird und die zweiten Informationen (23) um die erste Latenz (19) verzögert abgespielt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die zweiten Informationen (23) auf der einen Abspieleinheit (9) und/oder zumindest einer anderen mit der einen Abspieleinheit gekoppelten Abspieleinheit abgespielt werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass den ersten Informationen (7) zumindest ein Indikator (29) aufgelagert wird, der mit einem in einer Zentraleinheit (3) zentral gespeicherten Zeitstempel (37) korreliert ist.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass zumindest ein Identifikator (31) in der Zentraleinheit (3) zentral erzeugt, mit dem Zeitstempel (37) korreliert und der Übertragungseinheit (5) für die ersten Informationen (7) zur Erzeugung und Auflagerung des entsprechenden Indikators (29) auf die ersten Informationen (7) übermittelt wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass zwischen Zentraleinheit (3) und Übertragungseinheit (5) für die ersten Informationen (7) ein Software- und/oder Hardware-Interface (33) geschaltet ist, über das der Identifikator (31) der Übertragungseinheit (5) von der Zentraleinheit (3) übermittelt wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der Indikator (29) in der Übertragungseinheit (5) für die ersten Informationen (7) erzeugt und den ersten Informationen (7) aufgelagert wird, wobei aus den ersten Informationen (7) parallel zur Zuführung zur Abspieleinheit (9) der Indikator (29) ausgelesen und ein entsprechender Identifikator (31) analysiert und mit dem Zeitstempel (37) korreliert wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass eine Hardware- und/oder Software-Einheit (39) zwischen der Zentraleinheit (3) und der Übertragungseinheit (5) für die ersten Informationen (7) geschaltet wird und der Indikator (29) von der Übertragungseinheit (3) an die Hardware- und/oder Software-Einheit (39) übermittelt wird, wobei die Hardware- und/oder Software-Einheit (39) den Identifikator (31) analysiert und der Zentraleinheit (3) bereitstellt, wobei die Hardware- und/oder Software-Einheit (39) bevorzugt ihre Systemzeit (37) mit der Zentraleinheit (3) synchronisiert.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Abspieleinheit (9) den zumindest einen Indikator (29) aus den ersten Informationen (7) ausliest, den entsprechenden Identifikator (31) analysiert und den analysierten Identifikator (31) an die Zentraleinheit (3) übermittelt, wonach die Zentraleinheit (3) den für den analysierten Identifikator (31) korrelierten Zeitstempel (37) ermittelt und aus der Differenz zwischen der Eingangszeit (41) des von der Abspieleinheit (9) an die Zentraleinheit (3) übermittelten analysierten Identifikators (31) und dem korrelierten Zeitstempel (37) die erste Latenz (19) für den ersten Übertragungsweg (13, 15, 17) berechnet und diese Latenz (19) an die Abspieleinheit (9) übermittelt.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass Schwankungen der ermittelten ersten Latenz (19) für den ersten Übertragungsweg (13, 15, 17) durch Mittelwertbildung über eine bestimmte Anzahl von ermittelten ersten Latenzen (19) oder Mittelwertbildung über die in einer bestimmten Zeiteinheit (3) ermittelten ersten Latenzen (19) ausgeglichen werden.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass eine dritte Latenz eines dritten Übertragungswegs (43) zwischen Abspieleinheit (9) und Zentraleinheit (3) ermittelt wird, wobei die dritte Latenz von der ermittelten ersten Latenz (19) für den ersten Übertragungsweg (13, 15, 17) abgezogen wird, um so die erste Latenz (19) zu bestimmen.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass ein Audio- und/oder Videosignal (7) als erste Informationen verwendet wird.
System (1; 1'; 1'') zur Synchronisierung von ersten Informationen (7) mit zweiten Informationen (23), umfassend eine Übertragungseinheit (5) und zumindest eine Abspieleinheit (9), wobei die Übertragungseinheit (5) angepasst ist, die ersten Informationen (7) der zumindest einen Abspieleinheit (9) über zumindest einen ersten Übertragungsweg (13, 15, 17) zuzuführen, wobei Mittel vorgesehen sind, die zweiten Informationen über einen zweiten Übertragungsweg (27) bereit zu stellen und synchron mit den ersten Informationen (7) abzuspielen, dadurch gekennzeichnet, dass Mittel zu Ermittlung einer ersten Latenz (19) des ersten Übertragungswegs (13, 15, 17) der ersten Informationen (7) von der Übertragungseinheit (5) zur Abspieleinheit (9) vorgesehen sind und das System (1; 1'; 1'') angepasst ist, die zweiten Informationen (23) um die erste Latenz (19) verzögert abzuspielen.
System (1; 1'; 1'') nach Anspruch 12, dadurch gekennzeichnet, dass es angepasst ist, das Verfahren nach einem der Ansprüche 1 bis 11 auszuführen.
System nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass die ersten Informationen ein Audio- und/oder (7) Videosignal sind.
System nach einem der Ansprüche 12 bis 14, dadurch gekennzeichnet, dass die Übertragungseinheit ein HbbTV-fähiges DVB-Playout-System (5) umfasst und/oder die Zentraleinheit einen ersten Webserver (3) und einen Speicher (11) umfasst und/oder die Abspieleinheit ein HbbTV-fähiges Gerät (9) umfasst und/oder der Übertragungsweg aus der Gruppe DVB-S (13), DVB-T (15) und DVB-C (17) gewählt ist und/oder der Indikator ein DSM-CC Stream-Event (29), insbesondere ein DSM-CC Stream-Event-Deskriptor ist und/oder zur Erzeugung und Übermittlung der zweiten Informationen (23) an die Abspieleinheit (9) eine von der Zentraleinheit (3) unabhängige Informationsbereitstellungseinheit, bevorzugt in Form eines zweiten Webservers (21) vorgesehen ist.