Durch
die Übertragung
von Video Daten auf eine clientseitige Datenverarbeitungseinrichtung
insbesondere einem handelsüblichen
PC, der mittels einer TV-Tuner-Karte TV und/oder Video empfangen
kann werden, können
inhaltsbezogene Zusatzdaten nur mit sehr großen Aufwand mit Webinhalten
synchronisiert oder abgeglichen werden.
Die
Datenverarbeitungseinrichtung empfängt Video Daten mittels der
Empfangseinrichtung über
einen uni-direktionalen Sendekanal mittels Satellit, Kabel oder
terrestrischer Übertragung.
Durch die im PC vorhandene bidirektionale Internet Verbindung könnten im
Rahmen von Enhanced-TV weitere interaktive Inhalte gezielt für TV Programme
angeboten werden, wenn sie mit dem Audio-Video Inhalten synchronisiert
oder abgeglichen werden können.
Durch das Wechseln des Kanals durch den Benutzer entsteht dann das
Problem, dass die Inhalte im Audio-Video Player nicht mehr synchron
zu den Web-Inhalten sind.
Die
im Stand der Technik verwendeten Player stellen Video Zusatzdaten
aus dem Internet dar, da diese zusätzlichen Daten innerhalb der
Streams enthalten sind und somit mittels in den Daten-Stream enthaltener Trigger
zur Synchronisierung oder Abgleichung mit den Serverdaten verwendet
werden kann. Ein für
das Internet standardisiertes Verfahrenist SMIL (Synchronized Multimedia
Integration Language). SMIL ist ein auf XML basierender, von dem
World Wide Web Consortium (W3C) entwickelter Standard für eine Markup-Sprache
für zeitsynchronisierte,
multimediale Inhalte. SMIL ermöglicht
die Einbindung und Steuerung von Multimedia-Elementen wie Au dio,
Video, Text und Grafik in Webseiten; SMIL-Dateien können mit
Java-Applets und -Servlets
oder CGI-Skripten verknüpft
werden und so beispielsweise auf eine Datenbank zugreifen. Nachteil ist,
dass Content für
SMIL vorbereitet werden muß und
SMIL speziell vorbereitet Abspiel-Software erwartet.
Durch
das Einfügen
von Trigger können
externe Datenabfrage in dem empfangenen Datenstrom eingefügt werden,
wenn der Bearbeiter des Contents, diesen entsprechend vorbereitet
hat. Diese Trigger müssen allerdings
in nachteiliger Weise für
alle Datenformate oder -typen separat eingefügt werden. Dieses geschieht mittels
verschiedener Technologien.
Trigger
sind real-time Events, mittels der Enhanced-TV realisiert werden
kann. Beispeisweise verwendet der ATVEF (Advanced Television Enhancement
Forum) Standard Trigger. Entsprechend dieses Standards enthalten
die Trigger Informationen über
Erweitungen, die dem Benutzer serverseitig zur Verfügung gestellt werden
kann. Die Trigger werden benutzt den Benutzer oder Empfänger des
Contents zu informieren, dass entsprechende Erweitungen mittels
eines Aktivierungssignals von einem Server geholt werden kann. Trigger werden über das
broadcast medium als digitale, textuale Daten gesendet. Neben anderen
Informationen enthält
jeder Trigger einen standard universal resource locator (URL), der
die Adresse von enhanced Content enthält. Die Trigger können auch
textuale Beschreibungsdaten enthalten oder Javascript Fragmente,
mittels der JavaScript innerhalb einer zugeordneten HTML Seite gestartet
wird und enhanced Content mit dem Video-Content synchronisiert werden
kann.
Ein
Nachteil dieser Technik besteht darin, dass zu jedem neuen Video-Content stets erneut
der Aufwand entsteht, die interaktiven Dienste mittels geänderter
Kontroll- und Steuerungsdaten innerhalb der interaktiven Dienste
so anzupassen, dass eine sinnvolle Interaktion mit dem Benutzer
zustande kommt. Ferner wird diese Verfahren nur für einen
verschwindend geringen Anteil im Content-Markt oder von Sendern
angeboten.
Der
Stand der Technik erlaubt auch Daten als Hyperlinks oder URL innerhalb
Video Content aufzurufen und ihn anschließend in einem Webbrowser darzustellen.
Nachteil dieser Technologie besteht in der Veränderung des ursprünglichen
Contents und dem Einfügen
von zusätzlichen
Daten. So bie ten beispielsweise Hypervideos dem User die Möglichkeit
durch die Aktivierung einer maus-sensitiven Zone auf einem räumlichen und
zeitlich begrenzten Bereich der Videoausgabe einen Hyperlink zu
aktivieren und dadurch zusätzliche
Informationen serverseitig abzufragen. Dabei werden die clientseitig
extrahierten Daten an den Server geschickt und der Server sendet
die, dieser Abfrage zugeordneten, Daten an den Client zurück. Dagegen
sind die Interaktionsmöglichkeiten
oder Aktivierungsmöglichkeiten
eines Benutzers bei einem Hypervideo beschränkt durch die, im Video enthaltenen,
Daten zur Initiierung und Nutzung von einem Aktivierungssignal.
Die
zusätzlichen
Hyperlinks oder die serverseitig, vorhandene Zusatzdaten können nur
von dem ursprünglichen
Publisher oder dem Webseiten-Programmierer
erzeugt werden und nicht von einem unabhängigen Dritten. Ferner ist
dieses Verfahren sehr aufwendig und der gleiche Video-Inhalt kann
nicht mit verschiedenen Informationen oder Hyperlinks serverseitig
verknüpft
werden, die sich an verschiedene Zielgruppen wendet.
Ferner
ist das nachträgliche
Hinzufügen
von Metadaten oder Zusatzdaten in bestehende Content-Dateien sehr
aufwendig und manchmal gar unmöglich
durchzuführen,
falls die Datei oder das Video nicht mehr im direkten Zugriff durch
den Bearbeiter oder Editor steht. Da die Inhalte nicht mehr nachträglich aktualisiert werden
können,
steht dieser Beschränkung
somit deren Verwendung bei deren Verteilung im Internet entgegen.
Ein
genereller Nachteil der bestehenden Technologien besteht darin,
das der Content-Besitzer oder Publisher von gesendetem Material
oder Videos nach der Publikation keinen direkten Kontakt oder Zugriff mehr
mit dem Benutzer oder Betrachter des Contents hat und auch keine
Verbindung von Seiten des Benutzers oder Betrachter zum Content-Besitzer
aufgebaut werden kann, auch wenn der Benutzer oder Betrachter dieses
wünschen
sollte. Der durch Besitz gekennzeichnete enge Kontakt zwischen Content
und dem eigentlichen Content-Besitzer geht nach der Publikation
verloren und damit auch die mit dem Besitz verbundene Möglichkeit,
eine Verbindung mit den Benutzern oder Betrachtern herzustellen.
Der Aufbau einer Verbindung, die in einer Ausführungsform beispielsweise die
Möglichkeit
einer Kommunikation beinhalten kann, kann mittels des bekannten
Standes der Technik nur sehr schwer, unzureichend und unzuverlässig wieder
hergestellt werden.
Weiterer
Stand der Technik kann in der folgenden Literatur gefunden werde:
in der Master Thesis: „Interaction
Design Principles for Interactive Television" von Karyn Y. Lu (Georgia Institute
of Technology, May 2005) http://www.broadbandbananas.com/lu.pdf
oder in „iTV
Handbook, Technologies and Standards" von Edward M. Schwalb (IMSC, 2004)
oder in „Multimedia
and Interactive Digital TV: Managing the Opportunities Created by
Digital Convergence" von
Margherita Pagani (IRM Press, 2003) oder in „Interactive TV Technology
and Markets" by
Hari Om Srivastava (Artech House, 2002) oder „The Evolution of TV Viewing" von John Carey (Internet,
2002) http://www.bnet.fordham.edu/careyl/Evol%20of%20TV%20ViewingB.doc
oder „2000:
Interactive Enhanced Television: A Historical and Critical Perspective" von Tracy Swedlow
(Internet) http://www.interactivepioneers.org/itvtoday3.html
Definition
Im
Folgenden wird unter Inhalt oder Content folgendes zu verstehen
sein: Daten, Dateien oder Daten-Streams, und insbesondere die eigentliche
Darstellung dessen, was die Daten in einem geeigneten Darstellungsmedium
repräsentieren.
Der Inhalt oder der Content kann in verschiedenen Daten oder Dateiformaten gleich
sein, wobei die binäre
Darstellung verschieden ist.
Im
Folgenden wird unter Video folgendes zu verstehen sein: zeitliche Änderung
von Bildern. Die einzelnen Bilder (Einzelbilder) bestehen aus Pixel
oder aus Datensätzen,
mittels der Bilder generiert werden. Die digitalen Videos bestehen
aus Datensätze,
die mittels einer Video-Visualisierungseinheit
in bewegte Bilder umgesetzte werden. Die Einzelbilder innerhalb
des Videos sind kodiert und oder komprimiert. Das Dekodierungsverfahren
zur Darstellung der Bilder wird mittels Softwareanweisungen innerhalb
von Softwarekomponenten, den Codecs durchgeführt.
Vollständige Bilder
innerhalb des Videos sind sogenannte Vollbilder. Die, in dem Video
dargestellten, Bilder werden auch mittels Differenzen oder Interpolationen
oder mathematischer Verfahren berechnet und/oder interpo liert. Im
Folgenden wird unter Videobild das Vollbild oder das berechnete
und darstellbare Bild aus einem Video/Audio Stream (Datenstrom)
oder Audio/Video-Datei verstanden.
Im
Folgenden werden auch unter Video-Daten auch Audio/Video-Daten verstanden
oder Daten, die mittels TV übertragen
oder gesendet werden oder die von einem Videorecorder oder von einer
Video-Datei abgespielt werden.
Der
Rückkanal
ist ein Datenübertragungsmittel,
das entweder ein bidirektionales elektronisches Netzwerk sein kann
oder eine unidirektionale Verbindung bei dem der Client als Sender
und der Server als Empfänger
dient, wobei die angeforderten Daten dann über den Empfangskanal vom Client
empfangen werden können.
Beschreibung
der Lösung
Aufgabe
der vorliegenden Erfindung ist es, eine Vorrichtung zur Synchronisierung
von clientseitig abzuspielenden Video Daten mit serverseitig bereitgestellter
Zusatzdaten nach dem Oberbegriff des Anspruchs 1 zu schaffen, bei
welchem der Zusatzdaten in einer zusätzlichen Content-Darstellungseinheit
dargestellt wird.
Die
Aufgabe wird durch die Vorrichtung mit den Merkmalen nach Anspruch
1 gelöst;
insbesondere sollen sämtliche
in den vorliegenden Unterlagen offenbarte Merkmale in beliebiger
Kombination als zur Erfindung gehörig offenbart gelten; vorteilhafte
Weiterbildungen sind in den Unteransprüchen beschrieben.
Die
Webinhalte werden mittels des elektronischen Netzwerks, insbesondere
des Internets zum PC übertragen
und in einer für
den Web-Content geeigneten Content-Darstellungseinheit, insbesondere
in einem Webbrowser dargestellt.
In
erfindungsgemäßer Weise
findet die Synchronisierung von Video Daten, über ein uni-direktionales Übertragung
zum Client übertragen
wird und von serverseitige abgelegter externer Daten, die mittels
einem elektronisches Netzwerk von einer Servereinheit empfangen
werden auf einer clientseitig vorgesehenen elektronischen Datenverarbeitungseinrichtung
statt, die eine Daten-Empfangseinheit aufweist, die zum Empfang von
Audio/Video Daten aus einem unidirektionalen Inputkanal oder Übertragungskanal
statt. Die bidirektionale Verbindung von Client und Server bildet
ein Client-Server-System.
Die
externen Daten werden von einer Content-Darstellungseinheit, insbesondere
einem Webbrowser, dargestellt. Die Content-Darstellungseinheit ist
als eine interaktive Komponente der elektronische Datenverarbeitungseinrichtung
so ausgebildet, dass sie Daten Darstellen kann und mittels benutzeraktivierbarer
Bereiche und/oder Aktionen mit den Benutzer in Interaktion treten
kann. Die dargestellten Daten werden aus dem elektronischen Netzwerk
empfangen und/oder es werden lokal vorhandene Daten mit dargestellt,
die insbesondere aus dem lokalen Cache und/oder Zwischenspeicher
geladen werden.
Die
Audio-Video Daten werden in einer Audio/Video Abspieleinheit, die
eine Komponente der elektronischen Datenverarbeitungseinrichtung
ist, vor der Ausgabe in der Audio/Video Abspieleinheit in der Audio/Video
Verarbeitungseinheit verarbeitet und für die Ausgabe vorbereitet.
Die Audio/Video Abspieleinheit (35) weist außerdem eine
Kanalauswahleinheit auf, mittels der der Audio-Video Content von
anderen Sende Kanäle
dargestellt werden kann.
Die
Funktionseinheit, die der Datenverarbeitungseinheit zugeordnet ist,
weist eine Empfangs und Übertragungseinheit
auf, mittels der Daten an die über
das elektronische Netzwerk angebundene Servereinheit übertragen
werden kann und/oder externe Daten empfangen werden kann. Außerdem weist
die Erfindung eine Steuerungseinheit auf, aktiviert durch die der
Benutzer die Funktionseinheit aktiviert und dabei Kennzeichnungsdaten
zu dem in dem Audio-Video Player dargestellten Content zu bilden
und/oder zu extrahieren und mittels der Empfangs – und Übertragungseinheit
an den Server zu übertragen
um externe Daten mittels des elektronischen Netzwerks zu empfangen
und anschließend
die externen Daten in der Content-Darstellungseinheit clientseitig darzustellen.
Die
Funktionseinheit ist der elektronischen Datenverarbeitungseinheit
zugeordnet oder in dieser enthalten. Die Funktionseinheit ist in
der Lage auf das audio-visuelle und/oder elektronische Dokument
zuzugreifen. Es ist ferner dazu geeignet, Daten über einen bidirektional ausgelegten
Rückkanal
zu senden und über den
Empfangskanal oder den Rückkanal
zu emp fangen. Die Funktionseinheit ist ein Programm, das auf der Programmablaufumgebung
oder in der Middleware oder in dem Betriebssystem der elektronischen
Datenverarbeitungseinheit abläuft.
Alternativ kann die Funktionseinheit auch als separate Hardware
oder als Schaltkreis in einer CPU oder Mikroprozessor realisiert
sein. Außerdem
kann diese Funktionseinheit von dem Sender über den Empfangskanal gesendet
werden, und über
vom Datenkarussell oder dergleichen heruntergeladen oder mit den
audiovisuellen Daten mittels Datacast oder dergleichen übertragen
werden und in der Programmablaufumgebung oder als direkte oder indirekte
Anweisungen für
die CPU ablaufen.
Die
Funktionseinheit kann zu jedem Zeitpunkt, insbesondere wenn Audio/Video-Daten
in der zugehörigen
Ausgabeeinheit ausgegeben oder dargestellt werden, mittels einer
zugeordneten Aktivierungseinheit, die auch der Datenverarbeitungsvorrichtung
zugeordnet ist, mittels eines Aktivierungssignals aktiviert werden.
Die Aktivierungseinheit kann ein Button oder ein aktivierbarer Bereich
in der Darstellungseinheit oder eine nicht visuell ausgezeichnete
Funktion sein, die von einem Benutzer in bekannter Weise mittels
Maus, Tastatur oder Fernbedienung aktiviert oder ausgelöst wird.
Die
Aktivierung der Aktivierungseinheit steht in einem zeitlichen, räumlichen
und/oder logischen Zusammenhang mit der Betrachtung eines Videos
oder TV-Programms durch einen Zuschauer oder der Verwendung eines
Videos oder des TV-Programms durch eine von einem Benutzer initiierte
Software-Anweisung
innerhalb der vom Benutzer verwendeten Datenverarbeitungseinrichtung.
Die Aktivierung bezieht sich zeitlich auf ein Videobild, dass bei
der Darstellung, Ausgabe oder Verwendung des Videos dargestellt,
ausgegeben oder verwendet wird. Das durch die Aktivierung der Aktivierungseinheit
verwendete Videobild kann auch mittels Daten, Parameter oder Anweisungen
berechnet worden. Insbesondere können
diese Daten in der Funktionseinheit oder in dem Content enthalten
Metadaten als Zusatzdaten enthalten sein, und so ein, vom dargestellten
Videobild verschiedenes, Videobild oder eine Menge von Videobildern
mittels der Aktivierungseinheit ausgewählt werden. Mit der Aktivierung
der Aktivierungseinheit verwendet die Funktionseinheit die extrahierten
Daten, die zu dem ausgewählten
Videobild oder der Menge von Videobildern gehören.
Ferner
kann die Funktionseinheit eine Content-Identifikationseinheit oder
Metadatenextraktionseinheit aufweisen, mittels der Kennzeichnungsdaten
und/oder Metadaten für
den dargestellten Audio-visuellen Content oder einen zeitlichen
Abschnitt des Contents, wie etwa einer Szene oder eines Videobildes
identifiziert und/oder extrahiert und/oder generiert werden können. Videobild
basierte und/oder Content basierte Identifier oder Metadaten und/oder
vom Content extrahierte oder generierte Zusatzdaten zur Kennzeichnung
des Audio-Video-Contents, insbesondere Content oder Szenen oder
Videobild abhängige
Beschreibungsdaten, werden im Folgenden als Kennzeichnungsdaten
bezeichnet. Die Funktionseinheit kann die Content-Identifikationseinheit
oder Metadatenextraktionseinheit enthalten oder von dieser getrennt
sein. Die Content-Identifikationseinheit oder Metadatenextraktionseinheit
wird im Folgenden auch als Kennzeichnungsdatenextraktionseinheit
bezeichnet.
Ferner
kann die Funktionseinheit mittels einer Signaturdateneinheit Daten
extrahieren oder generieren, die in einer eindeutigen Beziehung
zu dem Videobild stehen. Die Funktionseinheit kann die Signaturdateneinheit
enthalten, oder von der Signaturdateneinheit getrennt sein. Die
extrahierten oder generierten Signaturdaten oder Fingerprint werden
mittels eines mathematischen Verfahrens aus einzelnen Videobildern
oder aus einer Menge von Videobildern berechnet. Die Signaturdateneinheit
kann die Videobild-abhängigen
oder Szenen-abhängigen
Signaturdaten aus Daten extrahieren, die im Folgenden als Signaturdaten
bezeichnet werden. Die Signaturdaten können dann auf einzelne Videobilder
und/oder auf eine Menge von Videobildern, wie eine Szene, oder auf
den gesamten Content zugeordnet werden. Die Daten, aus denen die
Signaturdaten als Metadaten extrahiert werden können, sind binär oder ASCII
basiert. Sie können
mittels eines Komprimierungsverfahrens oder Datentransformationsverfahrens
extrahiert werden. Ferner können
diese Signaturdaten innerhalb der Metadaten verschlüsselt abgelegt
werden.
Die
Funktionseinheit kann eine Zusammenfassung von technischen Einheiten
sein oder sie kann eine technische Einheit sein, die zur Koordination
zwischen den Einheiten technische Mittel verwendet und oder technische
oder informationstechnische Schnittstellen zwischen den Komponenten
festlegt, bereitgestellt und aufweist.
Die
Funktionseinheit oder die darin enthaltenen Unterfunktionseinheiten
verwenden keine Trigger, die innerhalb des Audio-Video-Contents
vorhanden oder zugeordnet sein können.
Insbesondere werden von der Funktionseinheit keine Trigger verwendet,
die dazu vorgesehen sind den Benutzer aufzufordern, den in dem Trigger
enthaltenen Link-Daten (URL) zu aktivieren.
Das
Aktivierungssignal aus der Aktivierungseinheit initiiert oder startet
mittels der Funktionseinheit in vorbestimmter Weise das Bilden der
Zeitindexdaten und/oder Kennzeichnungsdaten und/oder Signaturdaten, so
dass mittels der Zeitindexdaten und/oder Kennzeichnungsdaten und/oder
Signaturdaten zu dem Zeitpunkt innerhalb des Videos oder innerhalb
des TV-Programms,
der von dem Zuschauer bei der Aktivierung der Aktivierungseinheit
betrachtet wird. Mittels dieser genannten Daten und oder mittels
der damit verbundenen Datenrelationen kann auf die genannten Daten
geschlossen werden. Die Funktionseinheit kann die Aktivierungseinheit
enthalten oder von der Aktivierungseinheit getrennt sein.
Ferner
weist die Funktionseinheit eine zugeordnete Übertragungseinheit auf, die
zum Übertragen,
insbesondere zum gesonderten Übertragen
von Zeitindexdaten, Kennzeichnungsdaten, und/oder Signaturdaten und/oder
Konfigurations- oder Präferenzdaten
aus der Programmablaufumgebung mittels eines Rückkanals von der Client-Einheit
an die Servereinheit ausgebildet ist. Die Daten werden in bekannter
Weise mittels der vorhandenen standardisierten Kommunikationsprotokolle
wie TCP-IP, UDP, HTTP, FTP oder dergleichen an die Servereinheit übertagen,
wobei die Servereinheit ein Applikations-Server, File-Server, Datenbank-Server oder
Web-Server ist, und in der Servereinheit nach der Übertragung
der Daten in bekannter Weise Abfragen und/oder Bereitstellungsoperationen
ausgelöst
werden. Die Funktionseinheit kann die Übertragungseinheit enthalten
oder von der Übertragungseinheit
getrennt sein. Die Datenübertragung
kann auch mittels oder innerhalb eines proprietären Übertragungsprotokolls geschehen,
wie etwa mittels eines Bestellsystems für Video-on-Demand-Content.
In
der Servereinheit werden nach dem Empfang der Daten und der Bearbeitung
und/oder Analyse der empfangenden Daten entsprechend vorbestimmte
und/oder zugewiesene serverseitige Zusatzdaten mittels einer serverseiti gen
Zuordnungseinheit zugeordnet oder berechnet und zur Übertragung
bereitgestellt oder direkt an den Client übertragen.
Die
serverseitigen Zusatzdaten sind bevorzugt inhaltsbezogene oder inhaltsspezifische
Zusatzdaten, die sich auf den Inhalt des zugehörigen Video-Contents beziehen.
Insbesondere beziehen sich die Zusatzdaten bei der Inhaltsbezogenheit
auf den Zusammenhang des Inhalts oder Contents der im Video behandelten oder
dargestellten Gegenstände,
Tiere oder Tierarten, Pflanzen oder Pflanzenarten, Produkte, Warenzeichen, Technologien,
Transportmittel, Maschinen, Personen, Handlungen, Zusammenhänge, Beziehungen,
Kontext, Situationen, Kunstobjekte, Wirkungen, Ursachen, Merkmale,
Informationen, Formeln, Rezepte, Erfahrungen, Gebäude, Orte,
Regionen, Straßen,
Umgebungen, Geschichte, Ereignisse, Geschichten, Anschauungen, Meinungen,
Werte, Erklärungen,
und/oder Begründungen
oder dergleichen mit entsprechenden Informationen, die in diese
Kategorien oder unter diesen Kategorien oder Themen erfasst werden.
Ferner
werden in einer der Funktionseinheit zugeordneten Empfangseinheit
die vom Server an den Client gesendeten oder vom Client empfangenen
oder heruntergeladenen Zusatzdaten clientseitig empfangen und von
der Aufbereitungseinheit zur Ausgabe aufbereitet und oder ausgegeben,
wobei die Ausgabeeinheit und die Audio/Video- und Daten-Darstellungseinheit
in einer Ausführungsform
der Erfindung identisch sein kann und in einer weiteren Ausführungsform
getrennt sein kann. Die Funktionseinheit kann die Empfangseinheit
enthalten oder von der Empfangseinheit getrennt sein.
In
einer weiteren Ausführungsform
der Erfindung extrahiert die Funktionseinheit mittels einer Signaturdateneinheit
Daten, die in einer eindeutigen Beziehung und/oder Zuordnung zu
dem Videobild stehen, das während
der Aktivierung der Aktivierungseinheit oder der Funktionseinheit
bei der Videoausgabe dargestellt wurde. Diese Signaturdaten oder
Fingerprint-Daten werden mittels eines mathematischen Verfahrens,
insbesondere eines Hash-verfahrens
oder eines digitalen Signatur- oder Hashverfahrens oder aus einem
proprietären
Bild-Transformationsverfahren mittels eines einzelnen Videobildes
oder mittels aus einer vorbestimmten Menge von Videobildern berechnet.
Die Signaturdaten können
auch so berechnet werden, dass sie invariant gegenüber Transformationen
sind, wie sie bei der Abspeicherung in verschiedenen Bildformaten
auftreten (wie JPEG, GIF, PNG, etc.).
Ein
Hashwert ist ein skalarer Wert, der aus einer komplexeren Datenstruktur
wie einer Zeichenkette, Objekt, oder dergleichen mittels einer Hash-Funktion berechnet
wird.
Die
Hash-Funktion ist eine Funktion, die zu einer Eingabe aus einer
(üblicherweise)
großen
Quellmenge eine Ausgabe aus einer (im Allgemeinen) kleineren Zielmenge
(die Hasswerte, meist eine Teilmenge der natürlichen Zahlen) erzeugt.
Bei
einer elektronischen oder digitalen Signatur oder digitaler Fingerabdruck
handelt es sich um elektronische Daten, die aus einem digitalen
Content berechnet werden. Bei bekannten Fingerprint Algorithmen wie
MD5 oder SHA-1 können
die Änderung
eines Bits zu einer Änderung
des digitalen Fingerprints führen.
Bei unempfindlicheren Fingerprint Verfahren kann die Änderung
von mehreren Pixel zu der gleichen Signatur oder dem gleichen Fingerprint
führen.
Bevorzugt wird im Rahmen dieser Erfindung ein unempfindlicher Signatur- oder
Fingerprint-Algorithmus verwendet.
Bildelementdaten
sind Daten mittels der Bilder definiert sind, wie beispielsweise
Pixel oder dergleichen, und oder sie sind Daten mittels der Bilder
identifiziert werden können,
wie beispielsweise Thumbnails von Bildern oder digitale Signaturdaten
oder digitale Fingerprint Daten oder dergleichen, und oder sie sind
Daten mittels der Videobilder innerhalb eines Kontexts, insbesondere
innerhalb eines Videos bestimmt werden können, wie beispielsweise mit
eindeutigen Namen oder Identifier eines Videos und der Durchnummerierung der
Videobilder innerhalb dieses Videos oder dem Zeitpunkt des Erscheinens
des Bildes beim Abspielen des Videos und dem Wert eines mathematischen
Hashcodes des Videobildes oder einem dem Videobild zugeordneten
GUID (Globally Unique Identifier oder Global Universal Identifier)
oder dergleichen.
Ein
Hyperlink ist ein Datenelement, das zu einem anderen Datenelement
verweist, mittels der ein Benutzer auf Daten zugriff erhält oder übertragen
bekommt, wenn er den Hyperlink folgt oder aktiviert. Hyperlinks werden
durch URLs realisiert, in der eine (IP) Adresse eines (insbesondere
externen) Servers und einen Pfad oder eine Parameterliste enthalten
ist, die auf dem (externen) Server verwendet wird, Daten zu extrahieren
und oder zu zuweisen.
Bei
der Verwendung von Signaturdaten müssen alle Audio-Video-Daten,
zu denen kontext-spezifische und/oder Video-Content oder Video-Szenen
spezifische und/oder zugeordnete Zusatzdaten serverseitig mittels
Signaturdaten zugänglich
gemacht werden, vor der Benutzung durch einen Zuschauer, einem Server,
der im Folgenden Video-Index-Server genannt wird, alle zu den Video-Daten
gehörige
Signaturdaten bekannt gemacht werden. Dieser initiale Prozess der Übertragung
von Video-Content bezogenen Signaturdaten auf den Video-Index-Server
wird im Folgenden als Video- oder Content-Registrierung bezeichnet. Bei der Content-Registrierung
werden alle den Video-Daten zugehörigen Signaturdaten an den
Video-Index-Server geschickt und in einem Index so abgelegt, dass
die einzelnen Signaturdaten schneller gefunden werden können. Mit
der Registrierung von Video-Daten werden zugehörige Zusatzdaten, wie Titel,
Beschreibung des Videos, Projekt-Nummer,
URL's oder dergleichen
auf dem Video-Index-Server mit übertragen
und oder abgespeichert. Der Video-Index-Server kann entweder die
Signaturdaten empfangen oder die Video-Daten auf dem Server in Signaturdaten
umrechnen. Nach der Registrierung der Signaturdaten kann der Benutzer
von den Video-Daten oder der Zuschauer die Zusatzdaten mittels der
Signaturdaten abfragen.
Die
als Zusatzdaten zu der Signatur abgespeicherten Daten können aus
einer URL bestehen, zu der der Benutzer automatisch mittels der
clientseitigen oder serverseitigen Datenverarbeitungseinrichtungen
umgeleitet wird. Außerdem
können
die Zusatzdaten Webseiten mit Text, Bilder, Videos, Scripte (aktive – ausführbare Codes)
oder interaktiven Elementen, wie Menus oder Texteingabefelder oder
dergleichen sein.
Die
von der Funktionseinheit erzeugten, Signaturdaten werden serverseitig
in dem Videoindex gesucht. Falls der Datensatz gefunden wird, können die
zugeordneten Informationen aus der Datenbank extrahiert werden und
an den Client geschickt werden. Das zur Signaturdatenbildung verwendete
Videobild kann das Videobild sein, dass während der Aktivierung der Aktivierungseinheit
aus dem Video darstellt wurde oder das innerhalb eines vorbestimmten
Zeitabschnitts vorher dargestellt wurde oder nachher darge stellt
wird, oder mittels zusätzlicher
Metadaten oder serverseitiger oder senderseitiger Parameter clientseitig
mittels der Funktionseinheit ausgewählt wurde. Die Signaturdateneinheit
kann auch Signaturdaten direkt aus den Beschreibungsdaten, insbesondere
innerhalb der Videobilder oder aus den zugeordneten Metadaten extrahieren,
wobei die extrahierten Signaturdaten in einer eindeutigen Relation
zu dem Videobild stehen, das vom Benutzer ausgewählt wurde oder in Relation
zu den Metadaten oder Beschreibungsdaten von dem Videobild steht,
die in Relation zu dem ausgewählten
Videobild steht.
Die
Themendaten stammen aus einer Menge von Namen, Begriffen, Themen,
Daten, Adressen, IP Adressen, URLs, Topics, Menünamen, Kategorienamen, zu textualen
Begriffen äquivalenter
Bilder, oder Symbole oder dergleichen. Insbesondere können Themendaten
innerhalb eines Senders oder einer Sendung oder eines Video mittels
eines Zeitpunkts oder eines Zeitraums oder einer Kombination der
genannten Daten serverseitig auf die zugehörigen inhaltsbezogenen Daten
einer Szene reduziert werden, die zum Zeitpunkt oder im Zeitraum
der Aktivierung der Aktivierungseinheit vom Benutzer in der clientseitigen
Darstellungseinheit betrachte wurde. Serverseitig können ferner
die Themendaten mittels Auswahl- und/oder Filter- und/oder Kategorisierungs-
und/oder Priorisierungsalgorithmen ausgewählt, reduziert, gefiltert,
kategorisiert und/oder priorisiert werden.
In
einer weiteren Ausführungsform
der Erfindung kann der Identifikationswert für den TV-Sender oder für das TV-Programm
von dem Sender mittels Format oder Service Informationen innerhalb
des digitalen Contents eingefügt
werden und/oder an die Servereinheit direkt übertragen werden oder vom Server
abgefragt und/oder bei der Zuordnung auf die Kennzeichnungsdaten
clientseitig oder serverseitig zugewiesen werden.
Die
Kennzeichnungsdaten oder die in dem Content enthaltenen Daten können direkt
zur Bestimmung der Adresse der Servereinheit verwendet werden. Alternativ
kann die Funktionseinheit eine vorbestimmte Adresse, insbesondere
eine IP Adresse oder eine URL enthalten, mittels der die zugeordnete Übertragungseinheit
Daten an den mittels dieser Adresse bestimmten Server überträgt. In einer
bevorzugten Ausführungsform
der Erfindung ist diese erste Servereinheit, die Daten von der Funktionseinheit
empfängt,
ein Server, der ein Verzeichnis von Server Adressen aufweist. Die
Funktionseinheit erhält
von diesem Server eine Server-Adresse (URL), die in vorbestimmter
Weise mit den Daten zugeordnet sind, die von der Funktionseinheit an
den Server geschickt wurden. Die Funktionseinheit überträgt dann
eine vorbestimmte Kombination von Kennzeichnungsdaten, Zeitindexdaten,
Signaturdaten, so wie serverseitig zusätzliche Daten, die von der
ersten Servereinheit empfangen werden und zusätzliche clientseitige Daten,
die von der lokalen Programmablaufumgebung verwaltet werden, wie
etwa Konfigurationsdaten oder Präferenzdaten
an den zweiten Server und erhält
Daten, die zur clientseitigen Darstellung oder Weiterverarbeitung
geeignet sind, zur direkten clientseitigen Darstellung übertragen.
In
einer weiteren Ausführungsform
der Erfindung werden dem Server Daten mitgeteilt, die von dem Server
verwendet werden, um die darstellbaren Zusatzdaten speziell für die, vom
Zuschauer betrachteten, Video-Daten zur Übertragung bereitzustellen.
Insbesondere werden die clientseitigen Zusatzdaten verwendet dem
Benutzer der Ausgabeeinheit anpasste Ausgabedaten und Format- und
Layoutdaten zu liefern, oder Daten, die an die clientseitige Hardwarekonfiguration
angepasst sind.
Die
Aktivierungseinheit kann ein manuelles Mittel zur Auslösung eines
Signals sein, dass anschließend,
sofort oder mit einer Verzögerung
Aktionen in der Funktionseinheit oder in den, der Funktionseinheit
zugeordneten, Mittel zur Erzeugung von Signaturdaten, Zeitindexdaten
oder Kennzeichnungsdaten auslöst.
Das manuelle Mittel zur Auslösung
des Signals kann eine übliche
Fernbedienung und/oder eine Tastatur und/oder eine Maus und/oder
ein PDA und/oder ein Mobil Phone und/oder eine Taste direkt am Fernsehen
und/oder an der Set-Top-Box und/oder eine berührungssensitive Fläche auf
dem Bildschirm oder dergleichen sein.
Die
Eingabe des Aktivierungssignals kann während der Ausgabe der Video-Daten zu einem beliebigen Zeitpunkt
geschehen. Die Eingabe des Aktivierungssignals ist unabhängig von
den, in den Video-Daten enthaltenen, Metadaten, Format, oder einer
vorbestimmten Eigenschaft oder einer vorbestimmten Aufbereitung der
Video-Daten.
In
einer bevorzugten Ausführungsform
der Erfindung weist der erste Server, der von der Funktionseinheit
Daten empfängt,
ein Video-Index Ver zeichnis auf, in der video-bezogene Signaturdaten
abgelegt sind und mittels eines Video-Index durchsuchbar sind. Dieser
Server wird im Folgenden Video-Index Server genannt. Die, in dem
Video-Index Verzeichnis enthaltenen, Daten werden mit dem gleichen
oder äquivalenten
Verfahren erzeugt wie die Signaturdaten, die auf dem Client extrahiert
oder generiert werden. Die Verfahren sind äquivalent, wenn die ausgegebenen
Resultate gleich sind. Der Video-Index-Server speichert für ein Video
oder ein TV-Programm
Signaturdaten oder Videoindexdaten ab, wobei diese Signaturdaten
oder Videoindexdaten entsprechend eines Transformationsverfahrens
oder eines Hashverfahrens aus den Videobildern und oder aus dem
zugehörigen
Content erzeugt wurden. Die, mit den Videoindexdaten abgespeicherten,
Zusatzdaten enthalten zusätzliche
Informationen insbesondere Adress- oder IP-Adressinformationen von
Servern, die weitere darstellbare Informationen zum Abruf und zur
Darstellung enthalten. Der Video-Index Server kann von der Übertragungseinheit,
die der Funktionseinheit zugeordnet ist, Daten empfangen und mittels
des Video-Index inhaltsbezogene Daten finden und zum Abruf bereitstellen
oder an den Client übertragen.
In
einer weiteren Ausführungsform
der Erfindung können
die serverseitigen Zusatzdaten aus Adressdaten wie IP Adresse, URL
oder dergleichen bestehen oder aus nicht darstellbaren Anweisungen
an die Funktionseinheit oder an eine über die Funktionseinheit zugeordnete
Softwarekomponente und/oder Hardwarekomponente, mittels der die übertragenden
Ausführungsdaten
oder Konfigurationsdaten auf der zugeordneten Softwarekomponente
ausgeführt
werden oder von der Hardwareeinheit abgespeichert und/oder direkt,
sofort oder zeitlich verzögert
ausgeführt
werden.
Die
serverseitigen Zusatzdaten können
auch passive Daten, wie Text, Metadaten, Bilder, Video- oder Audio-Daten
sein. Die serverseitigen Zusatzdaten können auch benutzeraktivierbare
Auswahlmöglichkeiten, Menüleisten
oder aktivierbare Optionen aufweisen, die mit Hyperlinks und/oder
mit Text, Metadaten, Bilder, Video oder dergleichen ausgestattet
sind. Die benutzeraktivierbaren Auswahlmöglichkeiten können dabei
in einer einfachsten Version aus einer Mehrzahl von Textdaten und/oder
Bilderdaten und/oder Hyperlinks bestehen.
Die
serverseitigen Zusatzdaten oder die benutzeraktievierbaren Auswahlmöglichkeiten
oder die Mehrzahl von Textdaten und/oder Bilderdaten und/oder Hyperlinks
können
in der Audio/Video- und Daten-Darstellungseinheit dargestellt werden
und/oder in einer separaten oder getrennten Ausgabeeinheit ausgegeben
werden.
Entsprechend
der Erfindung kann das Nichtfinden von Signaturdaten innerhalb des
Videoindex vom Server mit standardisierten Zusatzdaten beantwortet
werden. Diese Zusatzdaten können
auch aus einer Text- und Bild-Mitteilung
bestehen. Alternativ kann eine URL gesendet werden, die den Benutzer
auf eine andere Webseite oder auf ein anderes Webportal umleitet,
auf dem, weitere, Daten zur Verfügung
gestellt werden. In einer weiteren Ausführungsform der Erfindung können die
Kennzeichnungsdaten, wie der Name des Videos oder die Folge oder
Sendung innerhalb einer Video-Serie, bewirken, dass die Datenabfrage
auf dem Server mittels Umleitung auf einen dem besagten Video gewidmeten
Webserver oder Webseite beantwortet wird. Falls ein Zeitpunkt der
Aktivierung, insbesondere relativ zum Beginn des Videos extrahiert
werden kann, und oder serverseitig bestimmt werden kann, dann können auch
Szenen abhängige
Zusatzdaten extrahiert werden und auf dem Server entsprechende Daten
zum Download oder zur Bereitstellung vorbereitet werden.
Entsprechend
einer weiteren bevorzugten Ausführungsform
der Erfindung können
die digitalen Signaturen, oder die Signaturdaten Hashcodes sein,
die von der elektronischen Content-Datei direkt oder nach der Anwendung
eines Filters oder eines Datenkonverters gebildet werden.
Die
digitale Signatur kann abhängig
oder unabhängig
von dem Datenformat auch die im Bild enthaltene Verteilung von Grau-
oder Farbwerten verwenden, um Daten oder Dateien voneinander eindeutig
zu unterscheiden; außerdem
können
die digitalen Signaturdaten auch dazu verwendet werden, ähnliche
Bilder automatisiert zu erkennen oder Distanzen mittels der Digitalen-Signaturdaten
zwischen Bildern zu berechnen und anschließend über eine Ordnungsrelation ähnliche
Bilder über
einen Datenbankzugriff effizient zu finden. In dieser digitalen
Signatur können
dann auch Dateiformatwerte, wie Bildgrößen oder Komprimierungsverfahren mit
enthalten sein, um so schnell eine eindeutige Unterscheidung zwischen
unterschiedlichen Daten oder Dateien zu erreichen.
Bevorzugt
kann die digitale Signatur so ausgebildet werden, dass die zugehörigen Signaturdaten
von Content-Daten, die durch Konvertierung in unterschiedlichen
Ausgabe-Formaten abgespeichert worden sind, aber einen gemeinsamen
Ursprung aufweisen, eine sehr hohe Übereinstimmung mittels der
Signaturdaten aufweisen und die Übereinstimmung
entsprechend festgestellt werden kann, so dass sogar die Content-Dateien
mit den unterschiedlichen Formaten basierend auf den Signaturdaten,
automatisch miteinander identifiziert werden können.
Die
elektronischen Signaturdaten werden in einer serverseitigen Signatur-Zusatzdaten-Relationseinheit
dazu verwendet, die ebenfalls darin abgespeicherten, mittels Relationen
zugeordneten Zusatzdaten, auszuwählen
und/oder zu bestimmen und/oder zu berechnen. Die, zu einer digitalen
Signatur zugehörigen,
Zusatzdaten werden vom Server an die Funktionseinheit geschickt
und von dieser in oder mittels der Dokumentendarstellungseinheit
dargestellt. Die Zusatzdaten können
auch aus Adressen, IP oder URL bestehen und auf der clientseitigen
Funktionseinheit zu einer weiteren serverseitigen Datenabfrage verwendet
werden, so dass die Daten zur clientseitigen Darstellung von diesen
weiteren Servern bereitgestellt werden.
Die
Inhalte, zu der die Content-Signaturdaten gebildet werden, sind
invariant gegenüber
den serverseitigen Zusatzdaten. Die serverseitigen, insbesondere
inhaltsbezogenen, Zusatzdaten verändern den, mittels Signaturdaten
zugehörigen
Inhalt nicht und sie sind auch invariant gegenüber Datentransformationen des Contents
oder gegenüber Änderungen
des Videoformats oder des Video-Codecs. Die Zusatzdaten sind bevorzugt
dazu geeignet in der clientseitigen Darstellungseinheit dargestellt
zu werden oder als Hyperlinks eine Verknüpfung mit weiteren Ressourcen
zu ermöglichen
und anzubieten.
In
einer weiteren Ausführungsform
der Erfindung können
Signaturdaten, die bei der Transformation von Content eines Codecs
in einen Codec oder Format so registriert werden, dass die neu hinzugefügten Signaturdaten
als alternative Werte den ursprünglichen
Signaturwerten zugeordnet werden.
Die
serverseitigen Zusatzdaten können
bevorzugt von der Darstellungseinheit, die der clientseitigen Funktionseinheit
zugeordnet ist, dargestellt werden, oder in einem eigenständigen Fenster
oder Bildschirm angezeigt werden oder von der Funktionseinheit oder
einer zugeordneten Softwarekomponente oder Hardwarekomponente als
Datensatz weiterverarbeitet werden.
Dabei
sind die serverseitigen Zusatzdaten bevorzugt Daten, in denen benutzeraktivierbare
Auswahlmöglichkeiten
enthalten sind. Diese durch den Benutzer aktivierbaren Auswahlmöglichkeiten
bestehen aus einer Mehrzahl von darstellbaren Textdaten und/oder
Bilderdaten und/oder Multimedialen Daten und Hyperlinks. Diese Hyperlinks
werden, in einer weiteren Ausführungsform
der Erfindung, durch den Benutzer manuell aktiviert, wobei diese
clientseitigen Aktivierungsdaten, als ein Datensatz oder als eine
Mehrzahl von Datensätze, an
die Servereinheit übertragen
werden, und wobei dann diese Seruereinheit oder andere vorbestimmte
Servereinheiten weitere Zusatzdaten an den Client übertragen.
Die Daten, die von der clientseitigen Funktionseinheit an den Server übertragen
werden, enthalten in einer weiteren bevorzugten Ausführungsform
die Content-Signaturdaten,
die auf dem Server zusammen mit den clientseitig ausgewählten Daten,
wie etwa Kategorie- oder Topic-Namen, Themennamen, in der Signatur-Zusatzdaten-Relationseinheit
abgespeichert werden.
In
einer weiteren Ausführungsform
der Erfindung können
Filme oder Videos in Szenen aufgeteilt werden, wobei eine Szene
aus einer zusammenhängenden
Menge von Einzelbildern oder Videobildern besteht und die Szenen
können
mit einer Mehrzahl von inhaltsbezogenen Zusatzdaten versehen werden.
In
einer weiteren Ausführungsform
der Erfindung ist die Funktionseinheit so ausgebildet, dass sie
von der Steuereinheit aktiviert von einem Server externe Daten empfängt und
ein clientseitiges Darstellen der externen Daten in der Content-Darstellungseinheit
bewirkt, so dass Daten innerhalb der externen Daten eine Änderung
des ausgegebenen Empfangskanals innerhalb der Abspieleinheit bewirkt.
