DE602004008936T2

DE602004008936T2 - Verfahren und einrichtung zur erzeugung und erkennung von fingerabdrücken zur synchronisierung von audio und video

Info

Publication number: DE602004008936T2
Application number: DE602004008936T
Authority: DE
Inventors: Job C. Oostveen; David K. Roberts; Adrianus J. Denissen; Warner R. Ten Kate
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Gracenote Inc
Priority date: 2003-07-25
Filing date: 2004-07-20
Publication date: 2008-06-19
Anticipated expiration: 2024-07-21
Also published as: US20080062315A1; US20150003799A1; CN1830211A; US7907211B2; CN100521781C; US8358376B2; JP2006528859A; EP1652385B1; DE602004008936D1; KR20060037403A; US8817183B2; ATE373389T1; EP1652385A1; US20130128115A1; WO2005011281A1; US20110128444A1

Description

Die vorliegende Erfindung bezieht sich auf die Synchronisation zwischen wenigstens zwei Signalen. Insbesondere bezieht sich die vorliegende Erfindung auf ein Verfahren und eine entsprechende Anordnung zum Synchronisieren eines ersten Signals, beispielsweise eines Audiosignals, mit einem zweiten Signal, beispielsweise einem Videosignal. Die vorliegende Erfindung bezieht sich ebenfalls auf ein Verfahren und eine entsprechende Anordnung zum Ermöglichen von Synchronisation eines Audiosignals zu einem Videosignal. Weiterhin bezieht sich die vorliegende Erfindung auf ein von einem Computer auslesbaren Medium, auf dem Instruktionen gespeichert sind um dafür zu sorgen, dass eine oder mehrere Verarbeitungseinheiten das Verfahren nach der vorliegenden Erfindung durchführen.
Synchronisation eines Videostroms zu einem entsprechenden Audiostrom ist ein großes Problem, das viel Aufmerksamkeit erhalten hat. Es wurden bereits viele Lösungen für dieses Problem vorgeschlagen und implementiert. Die meisten dieser erfordern handmäßige Synchronisation durch einen fachkundigen Operator. Technisch schaut der Operator nach sichtbaren Anhaltspunkten in dem Bild um zu ermitteln, ob der Ton, den man hört, mit dem Bild übereinstimmt und ob sie tatsächlich synchron sind. Das Problem wird gröber, wenn die Synchronisation automatisch erfolgen soll. Dies ist ein immer großer werdendes Problem, da Verarbeitung und Verteilung von Audio- und Videosignalen immer komplizierter wird, und zwar innerhalb als auch außerhalb der Studioumgebung. Ein Beispiel des letzteren Problems ist Folgendes: Ein Verbraucher zeichnet mit Hilfe seines Videorecorders einen Film auf. Diesen möchte es mit der ursprünglichen Tonspur wiedergeben. Dazu kauft er die ursprüngliche Tonspur, die ihm beispielsweise übers Internet zugeführt wird. Nun sollen Audio und Video automatisch synchronisiert werden, beispielsweise in/von seinem Videorecorder oder einer anderen Synchronisationsanordnung.
Ein bekanntes System, das die automatische Synchronisation eines Audio- und eines Videostroms ermöglicht, ist von Tektronix vermarktet. Bei diesem System wird die Umhüllende des Audiosignals mit Hilfe eines Wasserzeichens in das Videosignal eingebettet. An einer Stelle in der Verteilungs- und Verarbeitungskette kann die wirkliche Audioumhüllende mit der eingebetteten verglichen werden, woraus die Verzögerung zwischen den zwei Strömen hergeleitet werden kann. Daraufhin wird die Verzögerung des Audiostroms zum Erzielen der Synchronisation korrigiert. Dieses System erfordert aber die Zusammenarbeit der Sendeanstalten oder anderer Verteiler, weil vor der Übertragung das Wasserzeichen in den Video eingebettet werden soll. Weiterhin kann dieses System nur einen einzigen bestimmten Audiostrom mit dem Video assoziieren. Wenn die Umhüllende eines Audiostroms einmal eingebettet worden ist, kann das System nur den Video mit diesem bestimmten Audiostrom synchronisieren. Zum Synchronisieren anderer Audioströme soll ein anderes Wasserzeichen eingebettet worden sein. Zum Schluss beschränkt sich das System auf Synchronisation zwischen einem Audiostrom und einem Videostrom.
Die Patentanmeldung US 2002/120925 A1 bezieht sich auf ein System zum Benutzen von Metadaten, geschaffen entweder an einer zentralen Stelle zur geteilten Verwendung durch verbundene Benutzer, oder an jeder einzelnen Benutzerstelle um Benutzern verfügbare Sendeprogrammierungsinhalt zur Verfügung zu stellen. Die Metadaten können ein "Fingerabdruck" oder ein "Signatur" Signal enthalten, das mit eintreffenden Sendesignalen verglichen werden kann zum Identifizieren bestimmter Segmente und kann weiterhin Zeitinformation enthalten, die den Anfang und das Ende jedes Segmentes in Bezug auf die Stelle der einzigartigen Signatur spezifiziert. Unter Anwendung von Musterübereinstimmungstechniken kann Inhalt, gespeichert an einer Fernstelle und Inhalt, gespeichert an der Benutzerstelle synchronisiert werden, es wird aber keine Synchronisation von Signalen an einer einzigen Stelle durchgeführt.
Es ist nun u. a. eine Aufgabe der vorliegenden Erfindung, ein Verfahren und eine entsprechende Anordnung zum Erzeugen eines ersten und eines zweiten Fingerabdrucks zu schaffen, verwendbar zur Synchronisation wenigstens zweier Signale und eines entsprechenden Verfahrens und einer entsprechenden Anordnung zum Synchronisieren zweier oder mehrerer Signale, wodurch die oben genannten Probleme gelöst werden. Eine weitere Aufgabe der vorliegenden Erfindung ist, dies auf eine einfache und effiziente Art und Weise zu schaffen. Eine weitere Aufgabe ist es, eine einfache, zuverlässige und genaue Stelle eines bestimmten Teils eines Multimediasignals zu schaffen. Ein andere Aufgabe ist es, eine automatische Synchronisation zwischen einem ersten Signal und wenigstens einem zweiten Signal zu schaffen, und zwar ohne Modifikation eines der Signale.
Dies wird erreicht durch ein Verfahren (und eine entsprechende Anordnung) zum Ermöglichen von Synchronisation eines ersten Signals mit einem zweiten Signal, wo bei das Verfahren die nachfolgenden Verfahrensschritte umfasst:

– das Herleiten eines ersten Fingerabdrucks auf Basis eines Segmentes des ersten Signals, wobei das Segment des ersten Signals unzweideutig mit einem ersten Synchronisationszeitpunkt relatiert ist, und
– das Herleiten eines zweiten Fingerabdrucks auf Basis eines Segmentes des zweiten Signals, wobei das Segment des zweiten Signals unzweideutig mit einem zweiten Synchronisationszeitpunkt relatiert ist, und
– das Liefern des ersten und des zweiten Fingerabdrucks zu einer Synchronisationsanordnung bevor die Synchronisation von der genannten Synchronisationsanordnung durchgeführt wird, wobei das genannte erste Signal ein Audiosignal ist, das genannte zweite Signal ein Videosignal ist, der genannte erste Fingerabdruck ein Audiofingerabdruck ist und der genannte zweite Fingerabdruck ein Videofingerabdruck ist, und durch ein Verfahren (und eine entsprechende Anordnung) zum Synchronisieren zweier oder mehrerer Signale, wobei das Verfahren die nachfolgenden Verfahrensschritte umfasst:
– das Erzeugen eines ersten Fingerabdruckstroms auf Basis eines ersten Signals,
– das Erzeugen eines zweiten Fingerabdruckstroms auf Basis eines zweiten Signals,
– das Vergleichen eines Segmentes des ersten Fingerabdruckstroms mit einem oder mehreren ersten Fingerabdrücken, die in wenigstens einer Datenbank gespeichert sind um zu ermitteln, ob es ggf. eine Übereinstimmung gibt,
– das Vergleichen eines Segmentes des zweiten Fingerabdruckstroms mit einem oder mehreren zweiten Fingerabdrücken, die in der wenigstens einen Datenbank gespeichert sind um zu ermitteln, ob es ggf. eine Übereinstimmung gibt, und wenn es für einen ersten und einen zweiten Fingerabdruck eine Übereinstimmung gibt
– das Ermitteln einer Stelle eines ersten Synchronisationszeitpunktes für das erste Signal und einer Stelle eines zweiten Synchronisationszeitpunktes für das zweite Signal, und
– das Synchronisieren des ersten und des zweiten Signals unter Verwendung der bestimmten Stellen, wobei das genannte erste Signal ein Audiosignal ist, wobei das genannte zweite Signal ein Videosignal ist und wobei der genannte erste Fingerabdruck ein Audiofingerabdruck ist und der genannte zweite Fingerabdruck ein Videofingerabdruck ist.

Auf diese Weise wird eine einfache, zuverlässige und effiziente Art und Weise der Synchronisation wenigstens zweier Signale erhalten. Weiterhin wird dies ohne Modifikation des ersten oder des zweiten Signals (oder nachfolgender Signale) ermöglicht.
Die Signale können sogar gewissermaßen gestört oder geändert werden, während dennoch eine genaue Synchronisation ermöglicht wird, und zwar wegen der Verwendung von Fingerabdrücken.
Ein Fingerabdruck eines Multimedia Objekt/Inhalt/Signals ist eine Darstellung von wahrnehmbaren Merkmale des betreffenden Objekt/Inhalt/Signalteils. Derartige Fingerabdrücke sind manchmal auch als "robuste Hash-Codes" bekannt. Insbesondere ist ein Fingerabdruck von einem Stück Audio oder Video ein Identifizierer, der über dieses Stück Audio oder Video berechnet ist und der nicht wesentlich ändert, sogar wenn der betreffende Inhalt danach umcodiert, gefiltert oder sonst wie modifiziert wird.
Vorteilhafte Ausführungsformen der Verfahren und der Anordnungen nach der vorliegenden Erfindung werden in den Unteransprüchen definiert.
Weiterhin bezieht sich die vorliegende Erfindung auch auf ein von einem Computer auslesbares Medium, in dem Instruktionen gespeichert sind um dafür zu sorgen, dass eine oder mehrere Verarbeitungseinheiten das Verfahren nach der vorliegenden Erfindung durchführt. Es zeigen:
1a eine schematische Darstellung der Erzeugung von Fingerabdruckpaaren, zur Synchronisation zwischen einem Audio- und einem Videosignal,
1b eine schematische Darstellung der Detektion eines derartigen erzeugten Fingerabdruckpaares zur Synchronisation nach der vorliegenden Erfindung,
2 eine schematische Darstellung eines Blockdiagramms einer Fingerabdruckerzeugungsanordnung nach der vorliegenden Erfindung,
3 eine schematische Darstellung eines Blockschaltbildes einer Synchronisationsanordnung, die Fingerabdrücke nach der vorliegenden Erfindung detektiert und benutzt,
4 eine Darstellung eines Beispiels von Tabellen/Aufzeichnungen nach der vorliegenden Erfindung,
5 eine Darstellung einer alternativen Ausführungsform einer Beziehung zwischen Zeitpunkten in einem ersten und einem zweiten Signal,
6 eine Darstellung einer Ausführungsform, wobei eine erste und eine zweite Darstellung an einer Fernstelle gespeichert sind,
7 eine schematische Darstellung, insbesondere wie die Synchronisation in einer Ausführungsform in einer Synchronisationsanordnung unter Verwendung von Puffern durchgeführt werden kann.
1a zeigt schematisch die Erzeugung von Fingerabdruckpaaren zur Verwendung zur Synchronisation zwischen einem Audio- und einem Videosignal.
Dargestellt sind ein digitales oder analoges erstes Signal 101 und ein digitales oder analoges zweites Signal 103. Nachstehend ist das erste Signal 101 ein Audiosignal und das zweite Signal 103 ist ein Videosignal.
Zu einer oder mehreren Synchronisationszeitpunkten T_n, T_n+1 soll ein Fingerabdruckpaar hergeleitet werden. Diese Zeitpunkte werden entsprechend wenigstens einem vorbestimmten Kriterium selektiert werden. So spezifizieren beispielsweise die Kriterien einen Zeitpunkt am Anfang des Audio- und/oder Videosignals, einen Zeitpunkt am Ende einen zwischen liegenden Zeitpunkt. Auf alternative Weise können die Zeitpunkte entsprechend der nachfolgenden Regel selektiert werden: einen am Anfang und einen Zeitpunkt für jeden Punkt, der nach einer bestimmten Zeitperiode vergangen ist, beispielsweise einen Zeitpunkt alle 2 Minuten oder alle 2 Sekunden, usw. Auf alternative Weise können die Zeitpunkte aus einer Analyse des betreffenden Signals selber hergeleitet werden, beispielsweise bei jeder Szenenänderung in einem Videosignal. Es ist nur ein einziger Synchronisationszeitpunkt T_n, T_n+1 erforderlich um eine Synchronisation zwischen den zwei Signalen 101, 103 nach der vorliegenden Erfindung zu ermöglichen. Die Verwendung aber von mehr Zeitpunkten T_n, T_n+1 ermöglicht eine bessere Synchronisation, beispielsweise in einer Situation, in der eines der Signale oder die beiden Signale gestutzt, modifiziert usw. worden ist bzw. sind. Ein Beispiel könnte sein, wenn ein Benutzer einen Film aufgezeichnet hat und wenn er die ursprüngliche Tonspur gekauft hat, wie oben beschrieben, wobei aber der Film durch Werbesendungen unterbrochen ist. Durch Hinzufügung von mehr Synchronisationszeitpunkten wird eine bessere Synchronisation ermöglicht, insbesondere wenn die Synchronisationszeitpunkte auf den Endzeitpunkte der Werbeunterbrechungen oder nahe dabei liegen.
Für jeden Synchronisationszeitpunkt T_n, T_n+1 für das Audiosignal 101 wird jeweils ein Fingerabdruck 102 hergeleitet und ein Videofingerabdruck 104 wird für das Videosignal 103 zu denselben Synchronisationszeitpunkten T_n, T_n+1 hergeleitet, was zu einem Fingerabdruckpaar 102, 104 für jeden Synchronisationszeitpunk T_n, T_n+1 führt. Ein Fingerabdruck (für Audio und/oder Video) für einen bestimmten Zeitpunkt T_n, T_n+1 wird vorzugsweise von einem Segment des Signals hergeleitet, wo das Segment (im Wesentlichen) zu dem bestimmten Zeitpunkt startet. Auf alternative Weise kann das Segment (im wesentlichen) zu dem bestimmten Zeitpunkt T_n; T_n+1 enden, oder das Segment kann in einem bestimmten Abstand (im Wesentlichen) vor oder nach dem betreffenden Zeitpunkt T_n; T_n+1 starten oder enden, oder der bestimmte Zeitpunkt T_n; T_n+1 kann zu einem vorbestimmten Zeitpunkt zwischen einem Start und einem Ende des Segmentes liegen oder entsprechend jedem beliebigen anderen Schema, solange dasselbe Schema während der Synchronisation eingehalten wird, um den betreffenden Zeitpunkt T_n; T_n+1 auf Basis eines Fingerabdrucks zu ermitteln, wie dies im Zusammenhang mit 1b nachstehend noch näher erläutert wird.
Die Größe der Fingerabdrücke kann eine vorbestimmte feste Größe sein oder auf alternative Weise eine variable Größe.
Ein Verfahren zum Berechnen eines robusten Fingerabdrucks ist in der internationalen Patentanmeldung WO 02/065782 beschrieben, obschon selbstverständlich jedes beliebige Verfahren zum Berechnen eines robusten Fingerabdrucks angewandt werden kann.
Die Europäische Patentveröffentlichung EP1362485 A beschreibt ein Verfahren, das robuste Fingerabdrücke für Multimediainhalt erzeugt, wie beispielsweise Audioclips, wobei der Audioclip in aufeinander folgende (vorzugsweise überlappende) Zeitintervalle aufgeteilt wird. Für jedes Zeitintervall wird das Frequenzspektrum in Bänder aufgeteilt. Eine robuste Eigenschaft jedes Bandes (beispielsweise Energie) wird berechnet und durch ein betreffendes Fingerabdruckbit dargestellt.
Multimediainhalt wird auf diese Weise durch einen Fingerabdruck dargestellt, der eine Verkettung binärer Werte aufweist, einen für jedes Zeitintervall. Der Fingerabdruck braucht nicht über den ganzen Multimediainhalt berechnet zu werden, kann aber berechnet werden, wenn ein Teil einer bestimmten Länge empfangen worden ist. Es kann folglich mehrere Fingerabdrücke für einen einzigen Multimediainhalt geben, und zwar abhängig davon, welcher Teil zum Berechnen des Fingerabdrucks verwendet wird.
Weiterhin sind Videofingerabdruckalgorithmen bekannt, beispielsweise aus der nachfolgenden Beschreibung: Job Oostveen, Ton Kalker, Jaap Haitsma: ”Feature Extraction and a Database Strategy for Video Fingerprinting", 117-128, IN: Shi-Kuo Chang, Zhe Chef, Suh-Yin Lee (Eds.): "Recent Advances in Visual Information Systems", 5th international Conference, VISUAL 2002 Hsin Chu, Taiwan, den 11.-13. März 2002, "Proceedings, Lecture Notes in Computer Science 2314" Springer 2002.
Nach der vorliegenden Erfindung werden ein Audiofingerabdruck 102 und ein Videofingerabdruck 104 für jeden Zeitpunkt T_n, T_n+1 auf Basis eines bestimmten Segmentes des Audiosignals 101 und eines Segmentes des Videosignals 103 zu dem betreffenden Zeitpunk oder nahe daran erzeugt.
Auf diese Weise ist ein bestimmtes Fingerabdruckpaar 102, 104 ein Synchronisationsmerker, der eine sehr genaue Stelle eines bestimmten Zeitpunktes der Signale 101 und 103 ermöglicht, ohne Verwendung des bestimmten Zeitpunktes, aber stattdessen Verwendung (eines Segmentes) des Signals. Weiterhin wird dies ohne Änderung der Signale ermöglicht. Sogar für Videofingerabdruck ist die Stelle typischerweise Framegenau, wenigstens solange eine Störung des Videosignals nicht zu stark ist.
Nachdem ein Fingerabdruckpaar 102, 104 erzeugt worden ist, wird es vorzugsweise für späteren Gebrauch in einer Datenbank, einem Speicher oder dergleichen gespeichert.
Es gibt viele Vorteile bei der Speicherung von Fingerabdruckpaaren (102, 104) für Multimediasignale 101, 103 in einer Datenbank statt der Multimediasignale selber. Nachstehend folgen einige:

– die Speicheranforderungen für die Datenbank werden reduziert.
– die Kompression von Fingerabdrücken ist effizienter als die Kompression der Multimediasignale selber, da Fingerabdrücke wesentlich kürzer sind als die Signale.
– die Suche in einer Datenbank nach einem passenden Fingerabdruck ist effizienter als die Suche nach einem kompletten Multimediasignal, da es die Übereinstimmung kürzerer Elemente betrifft.
– die Suche nach einem passenden Fingerabdruck ist wahrscheinlich erfolgreicher, da geringfügige Änderungen in dem Multimediasignal (wie Codierung in einem anderen Format oder Änderung der Bitrate) den Fingerabdruck nicht beeinflussen.

Die erzeugten Fingerabdruckpaare 102, 104, die in der Datenbank gespeichert sind, können danach über eine oder mehrere Synchronisationsanordnungen verteilt werden (und zwar übers Internet oder über andere Mittel) zur Synchronisation der Signale nach der vorliegenden Erfindung, beispielsweise vor der Wiedergabe, der Speicherung weiterer Übertragung der beiden (synchronisierten) Signale usw.
Es sei bemerkt, dass die vorliegende Erfindung auch anwendbar ist zum Synchronisieren von mehr als nur zwei Signale und auch auf Signale, die von einem anderen Signaltyp sind als Audio und Video, solange ein robuster Fingerabdruck erhalten werden kann. Im Grunde kann jede beliebige Anzahl Signale nach der vorliegenden Erfindung synchronisiert werden. Dies würde einfach einen zusätzlichen Fingerabdruck zu jeden Zeitpunkt T_n, T_n+1 für jedes zusätzliche Signal erfordern.
Auf alternative Weise kann das Fingerabdruckpaar auch zu verschiedenen Zeitpunkten für die betreffenden Signale erzeugt werden, d.h. der eine Fingerabdruck des Fingerabdruckpaares kann beispielsweise in 25 Sekunden des ersten Signals erzeugt werden, während der andere Fingerabdruck beispielsweise bei 30 Sekunden des zweiten Signals erzeugt werden kann. Dies erfordert aber eine gut definierte Beziehung zwischen jedem betreffenden Zeitpunkt (beispielsweise 25 Sekunden und 30 Sekunden in dem oben stehenden Beispiel) und einem gemeinsamen Zeitframe. Diese alternative Ausführungsform wird im Zusammenhang mit 5 detailliert beschrieben.
1b zeigt schematisch die Detektion eines derartigen erzeugten Fingerabdruckpaares, verwendet zur Synchronisation nach der vorliegenden Erfindung. Dargestellt sind ein digitales oder analoges erstes (zu synchronisierendes) Signal 101 und ein digitales oder analoges zweites (zu synchronisierendes) Signal 103. Nachstehend ist das erste Signal (101) ein Audiosignal und das zweite Signal (103) ist ein Videosignal. Weiterhin sind ein erster Fingerabdruckstrom 105 und ein zweiter Fingerabdruckstrom 106 dargestellt, die ständig oder nahezu ständig auf Basis des Audiosignals 101 und des Videosignals 103 erzeugt werden. Auf alternative Weise werden die Fingerabdruckströme 105, 106 in Segmenten erzeugt. Jeder Fingerabdruckstrom 105, 106 (oder Segmente) wird mit Fingerabdrücken 102, 104 verglichen, beispielsweise in einer Datenbank gespeichert, damit ermittelt werden kann, ob es ggf. eine Übereinstimmung gibt. Insbesondere wird der Audiofingerabdruckstrom 105 mit gespeicherten Audiofingerabdrücken 102 verglichen und der Videofingerabdruckstrom 106 wird mit gespeicherten Videofingerabdrücken 104 verglichen. Die gespeicherten Fingerabdrücke 102, 104 werden erzeugt, wie im Zusammenhang mit 1a erläutert wurde, beispielsweise an einer zentralen Stelle. Die gespeicherten Finge rabdrücke 102, 104 werden beispielsweise übers Internet oder über andere Mittel, beispielsweise von einer zentralen Stelle her, empfangen.
Wenn eine Übereinstimmung zwischen dem Audiofingerabdruckstrom 105 und einem bestimmten Audiofingerabdruck 102 in der Datenbank gefunden wird, und eine Übereinstimmung zwischen einem Segment des Videofingerabdruckstroms 106 und einem bestimmten Videofingerabdruck 104 in der Datenbank gefunden wird, d.h. wenn ein übereinstimmendes Fingerabdruckpaar gefunden worden ist, wird der betreffende Synchronisationszeitpunkt T_n; T_n+1 auch gegeben, wenn die Fingerabdrücke 102, 104 nach der vorliegenden Erfindung erzeugt worden sind und wie im Zusammenhang mit 1a erläutert wurde.
Der spezifische Synchronisationszeitpunkt T_n; T_n+1 wird in Abhängigkeit von dem Schema ermittelt, das während der Erzeugung des Audiofingerabdrucks 102 und des Videofingerabdrucks 104 zu dem betreffenden Zeitpunkt T_n; T_n+1 verwendet worden ist.
Vorzugsweise wird der spezifische Synchronisationszeitpunkt T_n; T_n+1 dadurch gegeben, dass man voraussetzt, dass das Segment des Audiosignals 101 und das Segment des Videosignals 103 ursprünglich auf das übereinstimmende Fingerabdruckpaar 102, 104 basiert worden ist (nach 1) ausgehend (im Wesentlichen) von dem gegebenen Zeitpunkt T_n; T_n+1. Bei alternativen Ausführungsformen enden das Segment des Audiosignals 101 und das Segment des Videosignals 103 (im Wesentlichen) zu dem Zeitpunkt T_n; T_n+1, wobei die Segmente des Audio- und Videosignals 101, 103 in einem vorbestimmten Abstand vor oder nach dem gegebenen Synchronisationszeitpunkt T_n: T_n+1 starten bzw. enden, oder der gegebene Synchronisationszeitpunkt T_n; T_n+1 kann an einem vorbestimmten Zeitpunkt zwischen einem Start und einem Ende der Segmente des Audiosignals 101 und des Videosignals 103 liegen.
Die Synchronisationsanordnung braucht einfach die Beziehung zwischen einem bestimmten Fingerabdruck und dem gegebenen Zeitpunkt zu beachten, der während der Erzeugung verwendet wird, was während der Herstellung der Synchronisationsanordnung ermittelt und implementiert werden kann oder auf andere Art und Weise aktualisierbar ist.
Wie erläutert, ist nachdem ein übereinstimmendes Fingerabdruckpaar 102, 104 ermittelt worden ist, der Zeitpunkt T_n; T_n+1 dieses Paares auch bekannt und dient als Synchronisationszeitpunkt, da dieser Zeitpunkt unmittelbar einen Bezugpunkt zwischen den zwei Signalen 101 und 103 ergibt. Die Synchronisationsanordnung kompensiert dann die (etwaige) Verzögerung zwischen den zwei Signalen, beispielsweise durch Verschiebung. eines derselben, so dass sie gegenüber dem Zeitpunkt ausgerichtet sind.
Die oben genannte internationale Patentanmeldung WO 02/065782 beschreibt mehrere Übereinstimmungsstrategien zum Übereinstimmen von Fingerabdrücken, berechnet für einen Audioclip mit Fingerabdrücken, die in einer Datenbank gespeichert sind. Ein derartiges Verfahren zum Übereinstimmen eines Fingerabdrucks, der ein unbekanntes Informationssignal darstellt, mit einer Anzahl Fingerabdrücke identifizierter Informationssignale in einer Datenbank zum Identifizieren des unbekannten Signals, benutzt Zuverlässigkeitsinformation der extrahierten Fingerabdruckbits. Die Fingerabdruckbits werden durch Berechnung von Merkmalen eines Informationssignals und durch Schwellwertbestimmung der genannten Merkmale ermittelt zum Erhalten der Fingerabdruckbits. Wenn ein Merkmal einen Wert sehr nahe bei dem Schwellenwert hat, kann eine geringfügige Änderung in dem Signal zu einem Fingerabdruckbit mit einem entgegen gesetzten Wert führen. Der Absolutwert der Differenz zwischen dem Merkmalwert und dem Schwellenwert wird benutzt zum Merken jedes Fingerabdruckbits als zuverlässig oder als unzuverlässig. Die Zuverlässigkeiten werden daraufhin zur Verbesserung der wirklichen Übereinstimmungsprozedur verwendet.
Auf diese Weise kann Synchronisation erhalten werden, sogar wenn eines der Signale, beispielsweise das Videosignal, in einer geringeren Qualität erhalten worden ist, modifiziert worden ist (beispielsweise komprimiert), usw.
Es sei bemerkt, dass das Audiosignal 101 und/oder das Videosignal 103 eine gestörte Version des Signals sein kann, das während der Erzeugung der Fingerabdrücke verwendet wurde, beispielsweise die Signale nach 1a.
Wie im Zusammenhang mit 1a erwähnt, kann diese Ausführungsform auf einfache Weise modifiziert werden um Synchronisation von mehr als zwei Signalen und/oder Signalen von einem anderen Typ als Audio und oder Video zu erzielen.
2 zeigt ein Blockschaltbild einer Fingerabdruckerzeugungsanordnung nach der vorliegenden Erfindung.
Dargestellt ist eine Fingerabdruckerzeugungsanordnung 200 mit einem Signaleingangsmodul 201, einem Fingerabdruckmodul 202, einer Datenbank, einem Speicher und/oder dergleichen 203, die über einen Bus oder dergleichen unter Ansteuerung eines oder mehrerer (nicht dargestellter) Mikroprozessoren kommunizieren. Die Fingerabdruckerzeugungsanordnung 200 kann in einer Ausführungsform ggf. auch einen Sender und Empfänger 204 zur Kommunikation mit anderen Systemen, Anordnungen usw. über ein verdrahtetes und/oder drahtloses Netzwerk, beispielsweise wie Internet, enthalten.
Das Signaleingangsmodul 201 empfängt ein erstes 101 und wenigstens ein zweites Signal 103. Nachstehend werden zwei Signale empfangen, die Multimediainhalt in Form eines analogen oder digitalen Audiosignals und eines Videosignals enthalten. Das Eingangsmodul 201 führt die zwei Signale dem Fingerabdruckmodul 202 zu. Das Fingerabdruckmodul 202 empfängt auch eine Darstellung der Zeitpunkte (..., T_n; T_n+1 ...), die als Synchronisationszeitpunkte verwendet werden sollen. Auf alternative Weise werden die Zeitpunkte durch die Fingerabdruckerzeugungsanordnung 200 hergeleitet. Wenn die Zeitpunkte zugeliefert werden und nicht von der Fingerabdruckerzeugungsanordnung 200 erzeugt werden, ist es nicht notwendig, dass die Fingerabdruckerzeugungsanordnung 200 mit dem kompletten Audiosignal 101 und dem kompletten Videosignal 103 versehen wird. Es reicht dann, nur die betreffenden Segmente des Audiosignals 101 und des Videosignals 103 zu liefern, die zur Fingerabdruckerzeugung verwendet werden, beispielsweise ein Segment jedes Signals für jeden Zeitpunkt.
Der Sender und Empfänger 204 kann auch verantwortlich sein für den Empfang eines oder mehrerer der Signale 101 und 103 und dieses/diese dem Signalempfänger 301 oder unmittelbar dem Fingerabdruckdetektor 302 zuführen.
Das Fingerabdruckmodul 202 berechnet einen Fingerabdruck auf Basis des empfangenen Audiosignals 101 und Videosignals 103. Ein Fingerabdruck kann für den ganzen Inhalt oder für einen Teil des Inhalts hergeleitet werden. Auf alternative Weise können verschiedene Fingerabdrücke hergeleitet werden, je von einem anderen Teil. Nach der vorliegenden Erfindung wird ein Fingerabdruck für jeden Zeitpunkt T_n; T_n+1 hergeleitet, wie im Zusammenhang mit 1a erläutert. Auf alternative Weise kann das Fingerabdruckmodul 202 in zwei, beispielsweise unterschiedliche Fingerabdruckmodule aufgeteilt werden oder das Modul kann diese enthalten, und zwar ein Modul zum herleiten von Audiofingerabdrücken und ein Modul zum herleiten von Videofingerabdrücken.
Das Fingerabdruckmodul 202 liefert dann das berechnete Fingerabdruckpaar zu der Datenbank 203. Wie in 4 dargestellt, umfasst die Datenbank 203 Videofinge rabdrücke, organisiert durch eine Spalte mit Videofingerabdrücken 104 'V_FP1','V_FP2', 'V_FP3', 'V_FP4', 'V_FP5', usw. und entsprechende Audiofingerabdrücken 102 'A_FP1', 'A_FP2', 'A_FP3', 'A_FP4', 'A_FP5', usw.
Die Datenbank 203 kann verschiedenartig organisiert sein um die Abfragezeit und/oder die Datenorganisation zu optimieren. Der Ausgang des Fingerabdruckmoduls 202 soll berücksichtigt werden, wenn die Tabellen in der Datenbank 203 entworfen werden. In der in 4 dargestellten Ausführungsform umfasst die Datenbank 203 eine einzige Tabelle mit Eingaben (Aufzeichnungen) mit betreffenden Fingerabdruckpaaren.
Wie erwähnt, kann diese Ausführungsform auf einfache Weise modifiziert werden um Synchronisation von mehr als zwei Signalen unterzubringen und/oder von Signalen eines anderen Typs als Audio und/oder Video.
3 zeigt ein Blockschaltbild einer Synchronisationsanordnung, die Fingerabdrücke detektiert und verwendet, nach der vorliegenden Erfindung.
Dargestellt ist eine Synchronisationsanordnung 300 mit einem Signalempfänger 301, einem Fingerabdruckdetektor 302, einer Synchronisationsschaltung 303, einer Datenbank, einem Speicher und/oder dergleichen 203, die/der über einen Bus 205 oder dergleichen unter Ansteuerung eines oder mehrerer Mikroprozessoren (nicht dargestellt) kommuniziert. Die Synchronisationsanordnung 300 kann in einer Ausführungsform ggf. auch einen Sender und Empfänger 204 enthalten zur Kommunikation mit anderen Systemen, Anordnungen usw. über ein verdrahtetes und/oder drahtloses Netzwerk, beispielsweise wie das Internet.
Der Signalempfänger 301 empfängt ein erstes 101 und wenigstens ein zweites Signals 103. Nachstehend werden die zwei Signale mit Multimediainhalt in Form eines zu synchronisierenden analogen oder digitalen Audiosignals und eines zu synchronisierenden analogen oder digitalen Videosignals empfangen. Der Sender und Empfänger 204 kann auch verantwortlich sein für den Empfang eines oder mehrerer der Signale 101 und 103 und zum Liefern desselben/derselben zu dem Signalempfänger 301 oder unmittelbar zu dem Fingerabdruckdetektor 302.
Die empfangenen Signale werden dem Fingerabdruckdetektor 302 zugeführt, der einen Fingerabdruckstrom oder Segmente davon für jedes Signal herleitet und ermittelt, ob es Übereinstimmungen mit Fingerabdruckpaaren gibt, die in der Datenbank 203 gespeichert sind, wie im Zusammenhang mit 1b erläutert wurde. Wenn eine Über einstimmung gefunden wird, wird auch der spezifische Synchronisationszeitpunkt T_n; T_n+1 für jedes Signal ermittelt. Die spezifische Ermittlung des Synchronisationszeitpunktes T_n; T_n+1 Signal ist unabhängig von dem Schema, das während der Erzeugung des Audiofingerabdrucks 102 und des Videofingerabdrucks 104 zu dem betreffenden Zeitpunkt T_n; T_n+1 verwendet worden ist.
Vorzugsweise wird der spezifische Synchronisationszeitpunkt T_n; T_n+1 dadurch gegeben, dass man voraussetzt, dass das Segment des Audiosignals 101 und das Segment des Videosignals 103 ursprünglich auf das übereinstimmende Fingerabdruckpaar 102, 104 basiert worden ist (nach 1) ausgehend (im Wesentlichen) von dem gegebenen Zeitpunkt T_n; T_n+1. Bei alternativen Ausführungsformen enden das Segment des Audiosignals 101 und das Segment des Videosignals 103 (im Wesentlichen) zu dem Zeitpunkt T_n; T_n+1, wobei die Segmente des Audio- und Videosignals 101, 103 in einem vorbestimmten Abstand vor oder nach dem gegebenen Synchronisationszeitpunkt T_n: T_n+1 starten bzw. enden, oder der gegebene Synchronisationszeitpunkt T_n; T_n+1 kann an einem vorbestimmten Zeitpunkt zwischen einem Start und einem Ende der Segmente des Audiosignals 101 und des Videosignals 103 liegen.
Die Synchronisationsanordnung braucht einfach die Beziehung zwischen einem bestimmten Fingerabdruck und dem gegebenen Zeitpunkt zu beachten, der während der Erzeugung verwendet wird, was während der Herstellung der Synchronisationsanordnung ermittelt und implementiert werden kann oder auf andere Art und Weise aktualisierbar ist.
Wie erläutert, ist nachdem ein übereinstimmendes Fingerabdruckpaar 102, 104 ermittelt worden ist, der Zeitpunkt T_n; T_n+1 dieses Paares auch bekannt und dient als Synchronisationszeitpunkt, da dieser Zeitpunkt unmittelbar einen Bezugpunkt zwischen den zwei Signalen 101 und 103 ergibt. Die Synchronisationsanordnung kompensiert dann die (etwaige) Verzögerung zwischen den zwei Signalen, beispielsweise durch Verschiebung eines derselben, so dass sie gegenüber dem Zeitpunkt ausgerichtet sind.
Als einfaches Beispiel sagen wir, dass der Synchronisationszeitpunkt auf 5 Minuten und 34 Sekunden der Signale 101 und 103 während der Erzeugung nach 1a liegt. Während der Erzeugung von Fingerabdrücken (entsprechend 1a) würde ein einziger Audiofingerabdruck bei oder nahe bei (abhängig von dem angewandten Schema) 5 Minuten und 34 Sekunden in dem Audiosignal 101 geliefert werden und ein einziger Vi deofingerabdruck würde auch bei oder nahe bei (abhängig von dem angewandten Schema) 5 Minuten und 34 Sekunden in dem Videosignal 103 geliefert werden. Diese zwei Fingerabdrücke würden danach gespeichert und zu einer Synchronisationsanordnung übertragen werden, die dann die Synchronisation zwischen den zwei Signalen durchführt. Bei der Synchronisationsanordnung würde ein Fingerabdruckstrom 105 des Audiosignals und ein Fingerabdruckstrom 106 des Videosignals mit den gespeicherten zwei Fingerabdrücken verglichen werden. Wenn zwischen dem gespeicherten Audiofingerabdruck und dem Audiofingerabdruckstrom ein Übereinstimmungsstrom gefunden wird. Ergibt die Stelle der Übereinstimmung (beispielsweise T_n in 105 in 1b) in dem Fingerabdruckstrom den verwendeten Synchronisationszeitpunkt, d.h. was mit 5 Minuten und 34 Sekunden übereinstimmen sollte. Auf gleiche Weise gibt, wenn eine Übereinstimmung zwischen dem gespeicherten Videofingerabdruck und dem gefundenen Videofingerabdruckstrom gefunden wird, die Stelle der Übereinstimmung (beispielsweise T_n in 106 in 1b) in dem Fingerabdruckstrom den verwendeten Synchronisationszeitpunkt, d.h. 5 Minuten und 34 Sekunden. Die zwei Signale können verschoben werden, aber die genaue Stelle in den Signalen (wie durch das Segment des Fingerabdruckstroms gegeben, der mit einem gespeicherten Fingerabdruck übereinstimmt) was 5 Minuten und 34 Sekunden sein sollte, können danach zum Ausrichten der zwei Signale verwendet werden. Der spezifische Wert des Zeitpunktes (5 Minuten und 34 Sekunden) braucht überhaupt nicht bekannt zu sein oder spezifisch hergeleitet zu sein. Das einzige, was bekannt sein soll ist, dass die Fingerabdruckübereinstimmungsstelle der zwei Signale 101; 103 ausgerichtet/synchronisiert sein soll. Der Synchronisationszeitpunkt von 5 Minuten und 34 Sekunden kann beispielsweise den 5 Minuten und 34 Sekunden in dem Audiosignal entsprechen (beispielsweise weil dies die ursprüngliche Tonspur ist, die während der Erzeugung des Audiofingerabdrucks verwendet wurde) und 6 Minuten und 3 Sekunden in dem Videosignal (beispielsweise wenn das Videosignal im Vergleich mit dem ursprünglichen Videosignal, das während der Erzeugung des Videofingerabdrucks verwendet wurde) weiterhin Werbeunterbrechungen aufweist. Die Differenz zwischen den zwei Zeitwerten (6 Minuten, 3 Sekunden -5 Minuten 34 Sekunden = 29 Sekunden) kann danach zum Kompensieren der Verzögerung verwendet werden, beispielsweise durch Verschiebung der Wiedergabe, so dass das Audiosignal und das Videosignal gleichzeitig bei dem Synchronisationszeitpunkt und weiter wiedergegeben werden (wenn es keine weiteren Modifikationen anderer Signal gibt, beispielsweise ein zusätzliche Werbeunterbrechung, usw.).
Vorzugsweise entspricht das Datenlayout der Datenbank 203 dem einen aus 4.
Wie erwähnt, kann diese Ausführungsform auf einfache Art und Weise modifiziert werden um Synchronisation von mehr als nur zwei Signalen und/oder Signalen eines anderen Typs als Audio und/oder Video durchzuführen.
4 zeigt ein Beispiel von Tabellen/Aufzeichnungen nach der vorliegenden Erfindung. Dargestellt ist eine Tabelle mit Fingerabdruckpaaren 102, 104. Die Tabelle ist in diesem Beispiel durch eine Spalte organisiert, die Videofingerabdrücke 'V_FP1', 'V_FP2', 'V_FP3', 'V_FP4', 'V_FP5', usw. und eine Spalte mit den betreffenden entsprechenden Audiofingerabdrücken 'A_FP1', 'A_FP2', 'A_FP3', 'A_FP4', 'A_FP5', usw. enthält.
5 zeigt eine alternative Ausführungsform einer Beziehung zwischen Zeitpunkten in einem ersten und in einem zweiten Signal. Dargestellt sind ein erstes Signal 101 und ein zweites Signal 103. In dieser Ausführungsform ist ebenfalls eine dritte oder Bezugs- oder gemeinsame oder interne Takt/Linie 107 dargestellt (nachstehend nur als Bezugszeitlinie bezeichnet), und zwar zum besseren Verständnis des Prinzips dieser Ausführungsform.
In diesem speziellen Beispiel der alternativen Ausführungsform ist ein (nicht dargestellter) Fingerabdruck für das erste Signal 101 zu einem ersten Synchronisationszeitpunkt T_n mit dem Wert von 560 erzeugt worden. Dieser spezielle Zeitpunkt T_n für das erste Signal 101 bezieht sich auf ein Bezugszeitframe, wie durch die Bezugszeitlinie 107 angegeben (wie durch den Pfeil angegeben) auf einen Zeitpunkt mit einem Wert von 8:45:17,23 (was angibt, dass das erste Signal zu T_n = 560 vorhanden sein soll zu 8:45:17,23 auf der Bezugszeitlinie 107. Eine Darstellung dieser Angabe oder dieser Beziehung zwischen dem betreffenden Zeitpunkt T_n für das erste Signal 101 (d.h. eine erste Darstellung) kann mit dem erzeugten ersten Fingerabdruck assoziiert sein und in einer Datenbank gespeichert sein (beispielsweise in derselben oder in einer anderen als diejenige, die den erzeugten Fingerabdruck enthält), wie nachstehend noch näher erläutert wird.
Weiterhin ist ein (nicht dargestellter) Fingerabdruck für das zweite Signal 103 zu einem zweiten Synchronisationszeitpunkt T_m, mit dem Wert 1800 erzeugt worden. Dieser spezielle Zeitpunkt T_m, für das zweite Signal 103 bezieht sich auch auf dasselbe Be zugszeitframe wie durch die Bezugszeitlinie 107 angegeben (wie durch einen Pfeil angegeben) auf einen Zeitpunkt mit dem Wert 8:45:17,18 auf der Bezugszeitlinie 107 (wobei angegeben wird, dass das zweite Signal zu T_m = 1800 zu 8:45:17, 18 vorhanden sein soll). Eine Darstellung dieser Angabe oder Beziehung zwischen dem betreffenden Zeitpunkt T_m für das zweite Signal 101 (d.h. eine zweite Darstellung) kann mit dem erzeugten zweiten Fingerabdruck assoziiert sein und in einer Datenbank (beispielsweise derselben oder einer anderen als diejenige, die den erzeugten Fingerabdruck enthält), wie dies nachstehend noch näher erläutert wird.
Die erste und die zweite Darstellung kann beispielsweise einfach der Bezugszeitpunkt des ersten bzw. zweiten Signals sein. In dem oben stehenden Beispiel würde der Wert 8:45:17,18 mit dem erzeugten Fingerabdruck zu T_m = 1800 gespeichert werden.
Während der Synchronisation erzeugt eine Synchronisationsanordnung nach dieser Ausführungsform einen ersten und einen zweiten Fingerabdruckstrom oder Fingerabdrucksegmente, wie im Zusammenhang mit 1b erläutert. Jeder Fingerabdruckstrom (oder Segmente) wird mit Fingerabdrücken verglichen, die beispielsweise in einer örtlichen oder Ferndatenbank gespeichert sind, damit ermittelt wird, ob es ggf. eine Übereinstimmung gibt, wie auch im Zusammenhang mit 1b erläutert. Wenn ein miteinander übereinstimmender erster und zweiter Fingerabdruck gefunden worden ist, sind der erste T_n, (d.h. 560 in dem oben stehenden Beispiel) und der zweite Synchronisationszeitpunkt T_m (d.h. 1800 in dem oben stehenden Beispiel) auch bekannt oder herleitbar. Danach ist die Verwendung der oben genannten ersten und zweiten Darstellung der Beziehung zu einem Bezugszeitrahmen möglich um zu ermitteln, wie die Signale nach einem bestimmten Zeitrahmen synchronisiert werden sollen.
Wie erwähnt, können die erste und die zweite Darstellungen einer oder mehreren Datenbanken gespeichert sein und sollen vor der Synchronisation einer Synchronisationsanordnung zugeführt werden. In einer Ausführungsform werden die erste und die zweite Darstellung unmittelbar der Synchronisationsanordnung zur Speicherung aus einer Fingerabdruckerzeugungsanordnung zugeführt. Auf alternative Weise werden die erste und die zweite Darstellung einer anderen Anordnung, beispielsweise einem Server, zugeführt, der imstande ist, mit einer Synchronisationsanordnung zu kommunizieren. Diese Ausführungsform wird im Zusammenhang mit 6 detailliert erläutert.
6 zeigt eine Ausführungsform, wo die erste und die zweite Darstellung an einer Fernstelle gespeichert sind. Dargestellt sind ein Audioserver 601 und ein Videoserver 602, die einen Audiostrom bzw. einen Videostrom zu einem Audiofingerabdruckgenerator 202 bzw. einem Videofingerabdruckgenerator 202 liefern. Der Audio- und der Videofingerabdruckgenerator 202 funktioniert wie im Zusammenhang mit 2 beschrieben und können in derselben Fingerabdruckerzeugungsanordnung 200 oder in zwei verschiedenen Anordnungen vorgesehen sein. In dieser Ausführungsform werden die erzeugten Fingerabdrücke einer Datenbank 203 zugeführt, die sich in einem (Datenbank)Server 600 befindet, der mit einer Synchronisationsanordnung 300 in Kommunikationsverbindung steht. Der Server 600 empfängt und speichert auch eine erste Darstellung für jeden Audiofingerabdruck und eine zweite Darstellung für jeden Videofingerabdruck, wie beispielsweise im Zusammenhang mit 5 beschrieben, d.h. die Darstellungen der Beziehung zwischen Zeitpunkten des Audiostroms und des Videostroms und einer gemeinsamen Bezugszeitlinie oder einem Zeitrahmen.
Die Synchronisationsanordnung 300 funktioniert wie im Zusammenhang mit 3 und 5 beschrieben. Sie empfängt den zu synchronisierenden Audio- und Videostrom von dem Audio- und Videoserver 601, 602 und erzeugt einen Fingerabdruckstrom oder Fingerabdrucksegmente von jedem und vergleicht diese mit vorbestimmten Fingerabdrücken (entsprechend 102 und 104 in den 1a und 1b) die Synchronisationszeitpunkte bezeichnen, wie oben beschrieben. Die vorbestimmten Fingerabdrücke können von der Fingerabdruckerzeugungsanordnung 200 empfangen werden (wie durch zwei gestrichelte Pfeile angegeben) oder von dem Server 600. Wenn die vorbestimmten Fingerabdrücke von dem Server 600 empfangen werden, wird die Speicherung in der Synchronisationsanordnung 300 gespeichert, die eine mehr begrenzte Speicherkapazität hat. Die erste und die zweite Darstellung jedes Fingerabdrucks wird vorzugsweise auch von dem Server 600 empfangen und wird zum Synchronisieren des Audio- und Videostroms vor der Wiedergabe, verwendet, wie im Zusammenhang mit 5 beschrieben.
Der (die) Server kann (können) vorbestimmte Fingerabdrücke und/oder ihre assoziierte erste und zweite Darstellung für verschiedene Audio- und Videoströme gespeichert haben.
In einer Ausführungsform sind die vorbestimmte Fingerabdrücke in der Synchronisationsanordnung 200 gespeichert, während die erste und die zweite Darstellung in einem oder mehreren Servern 600 gespeichert sind. Wenn ein Fingerabdruckpaar detektiert worden ist, werden die erste und die zweite Darstellung dieses Paares von dem (den) Server(n) übertragen und in der Synchronisationsanordnung 200 verwendet. Auf alternative Weise können alle ersten und zweiten Darstellungen aller vorbestimmten Fingerabdrücke eines bestimmten Audio- und Videostroms der Synchronisationsanordnung 200 zugeführt werden, und zwar bevor die Synchronisation anfängt, beispielsweise auf Basis von Strom-ID, usw.
In einer alternativen Ausführungsform werden die vorbestimmten Fingerabdrücke zusammen mit ihrer assoziierten ersten und zweiten Darstellung nur in einem oder mehreren Servern 600 gespeichert. Vor der Synchronisation der Ströme werden die Fingerabdrücke und ihrer assoziierten ersten und zweiten Darstellungen zu der Synchronisationsanordnung 200 übertragen, beispielsweise auf Basis der Strom-ID oder dergleichen. Auf alternative Weise werden nur die Fingerabdrücke vor der Synchronisation übertragen und bei Detektion übereinstimmender Fingerabdrücke werden die assoziierten Darstellungen zu der Synchronisationsanordnung 200 übertragen.
Es sei bemerkt, dass es meistens zwischen der Erzeugung von Fingerabdrücken auf Basis des Audio- und Videostroms und, wenn diese Ströme der Synchronisationsanordnung 300 zugeführt werden, eine Zeit geben wird.
Die Datenbank 203 kann eine einzelne Datenbank oder verschiedene Datenbanken sein, die in einem einzigen Server oder in verschiedenen Servern untergebracht sind.
7 zeigt schematisch spezifisch, wie die Synchronisation in einer Ausführungsform in einer Synchronisationsanordnung unter Verwendung von Puffern durchgeführt werden kann. Dargestellt sind ein Puffer 701 zum Puffern von Audiodaten und ein Puffer 702 zum Puffern von Videodaten. Für den Audiopuffer 701 gibt ein Ein-Zeiger I-P an, wo der nächste Audioabtastwert, herrührend von dem Audiostrom, in den Puffer eingegeben werden soll. Eine Aus-Zeiger O-P gibt an, wo der nächste Audioabtastwert ausgelesen werden soll. Der Aus-Zeiger verlagert sich zu dem nächsten Schlitz mit einer Geschwindigkeit, eingestellt durch einen Taktgeber der Synchronisationsanordnung.
Für den Videopuffer 702 sind ein EIN-Zeiger I-P und ein AUS-Zeiger O-P dargestellt, die auf dieselbe Art und Weise funktionieren, wie für den Audiopuffer 701 erläutert.
Je nach einer ersten Darstellung (beispielsweise bereits in der Synchronisationsanordnung vorhanden oder von einem Server empfangen, wie oben bereits erläutert) wird der AUS-Zeiger eingestellt, d.h. zu einem früheren oder späteren Schlitz in dem Puffer 701 verschoben.
Gleiches gilt auch für eine zweite Darstellung für den Videopuffer 702. Auf diese Weise werden die AUS-Zeiger auf Basis der ersten und der zweiten Darstellung eingestellt, und synchronisieren dadurch die AUS-Ströme auf sehr einfache Weise.
In den Patentansprüchen sollen eingeklammerte Bezugszeichen nicht als den Anspruch beschränkend betrachtet werden. Das Wort "umfassen' schließt das Vorhandensein von Elementen oder Verfahrensschritten anders als die in dem Anspruch genannten nicht aus. Das Wort "ein" vor einem Element schließt das Vorhandensein einer Anzahl derartiger Elemente nicht aus.
Die vorliegende Erfindung kann mit Hilfe von Hardware, die verschiedene einzelne Elemente umfasst, und mit Hilfe eines auf geeignete Art und Weise programmierten Computers implementiert werden. In dem Anordnungsanspruch, in der verschiedene Mittel nummeriert sind, können viele dieser Mittel von ein und demselben Hardware-Item verkörpert werden. Die Tatsache, dass bestimmte Maßnahmen in untereinander verschiedenen Unteransprüchen genannt werden, gibt nicht an, dass eine Kombination dieser Maßnahmen nicht mit Vorteil angewandt werden kann.
Text in der Zeichnung
6

Audioserver
Videoserver
Audiostrom
Videostrom
Synchronisationsanordnung

7

Puffer Audio
Puffer Video

Claims

Verfahren zum Ermöglichen von Synchronisation eines ersten Signals mit einem zweiten Signal, wobei das Verfahren die nachfolgenden Verfahrensschritte umfasst: – das Herleiten eines ersten Fingerabdrucks (102) auf Basis eines Segmentes des ersten Signals (101), wobei das Segment des ersten Signals (101) unzweideutig mit einem ersten Synchronisationszeitpunkt (T_n; T_n+1) relatiert ist, und – das Herleiten eines zweiten Fingerabdrucks (104) auf Basis eines Segmentes des zweiten Signals (103), wobei das Segment des zweiten Signals (103) unzweideutig mit einem zweiten Synchronisationszeitpunkt (T_n; T_n+1; T_m) relatiert ist, dadurch gekennzeichnet, dass das Verfahren weiterhin Folgendes umfasst: – das Liefern des ersten und des zweiten Fingerabdrucks (102, 104) zu einer Synchronisationsanordnung (200, 300) bevor die Synchronisation von der genannten Synchronisationsanordnung (200, 300) durchgeführt wird, wobei das genannte erste Signal (101) ein Audiosignal ist, das genannte zweite Signal (103) ein Videosignal ist, der genannte erste Fingerabdruck (102) ein Audiofingerabdruck ist und der genannte zweite Fingerabdruck (104) ein Videofingerabdruck ist.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Verfahren weiterhin für jeden bestimmten Synchronisationszeitpunkt (T_n; T_n+1; T_m) das Speichern des hergeleiteten ersten Fingerabdrucks (102) in einer Datenbank (203) und/oder das Speichern des hergeleiteten zweiten Fingerabdrucks (104) in derselben oder in einer anderen Datenbank (203) umfasst.
Verfahren nach Anspruch 1-2, dadurch gekennzeichnet, dass der erste Fingerabdruck (102) und der zweite Fingerabdruck (104) übers Internet oder über andere Mittel der Synchronisationsanordnung (300) zugeführt werden.
Verfahren nach Anspruch 1-3, dadurch gekennzeichnet, dass das Segment des ersten Signals (101) und/oder das Segment des zweiten Signals (103) unzweideutig mit dem ersten und/oder zweiten Synchronisationszeitpunkt (T_n; T_n+1; T_m) wie folgt relatiert sind: – das Segment des ersten Signals (101) und/oder das Segment des zweiten Signals (103), enden im Wesentlichen zu dem ersten und/oder zweiten Synchronisationszeitpunkt (T_n; T_n+1; T_m), – das Segment des ersten Signals (101) und/oder das Segment des zweiten Signals (103) starten im Wesentlichen zu dem ersten und/oder zweiten Synchronisationszeitpunkt (T_n; T_n+1; T_m), – das Segment des ersten Signals (101) und/oder das Segment des zweiten Signals (103) starten oder enden zu einem vorbestimmten Abstand vor oder nach dem ersten und/oder zweiten Synchronisationszeitpunkt (T_n; T_n+1; T_m), oder – der erste und/oder zweite Synchronisationszeitpunkt (T_n; T_n+1; T_m) sind ein vorbestimmter Zeitpunkt zwischen einem Start und einem Ende des Segmentes des ersten Signals (101) und/oder des Segmentes des zweiten Signals (103).
Verfahren nach Anspruch 1-4, dadurch gekennzeichnet, dass der erste (T_n; T_n+1) und der zweite Synchronisationszeitpunkt (T_n; T_n+1; T_m), derselbe sind.
Verfahren nach Anspruch 1-4, dadurch gekennzeichnet, dass der erste Synchronisationszeitpunkt (T_n; T_n+1) anders ist als der zweite Synchronisationszeitpunkt (T_n; T_n+1; T_m) und dass das Verfahren das Speichern einer ersten Darstellung einer Beziehung zwischen dem ersten Synchronisationszeitpunkt (T_n; T_n+1) und einem ersten Zeitpunkt einer Bezugzeit (107 und das Speichern einer zweiten Darstellung einer Beziehung zwischen dem zweiten Synchronisationszeitpunkt (T_n; T_n+1; T_m) und einem zweiten Zeitpunkt der genannten Bezugszeit (107) umfasst.
Verfahren nach Anspruch 1-6, dadurch gekennzeichnet, dass das Verfahren weiterhin die nachfolgenden Verfahrensschritte umfasst: – das Übertragen der ersten und/oder zweiten Darstellung zu einer Synchronisationsanordnung (300), und/oder – das Übertragen der ersten und/oder zweiten Darstellung zu einem Server (600) in Kommunikationsverbindung mit einer Synchronisationsanordnung (300), und/oder – das Übertragen des einen oder mehrerer hergeleiteter erster Fingerabdrücke (102) und zweiter Fingerabdrücke (104) zu dem Serber (600).
Verfahren zum Synchronisieren zweier oder mehrerer Signale, wobei das Verfahren die nachfolgenden Verfahrensschritte umfasst: – das Erzeugen eines ersten Fingerabdruckstromes (105) auf Basis eines ersten Signals (101), – das Erzeugen eines zweiten Fingerabdruckstroms (106) auf Basis eines zweiten Signals (103), – das Vergleichen eines Segmentes des ersten Fingerabdruckstromes (105) mit einem oder mehreren ersten Fingerabdrücken (102), die in wenigstens einer Datenbank (203) gespeichert sind, und zwar um zu ermitteln, ob es ggf. eine Übereinstimmung gibt, und – das Vergleichen eines Segmentes des zweiten Fingerabdruckstromes (106) mit einem oder mehreren zweiten Fingerabdrücken (104), die in der wenigstens einen Datenbank (203) gespeichert sind, und zwar um zu ermitteln, ob es ggf. eine Übereinstimmung gibt, dadurch gekennzeichnet, dass das Verfahren weiterhin Folgendes umfasst: – wenn es eine Übereinstimmung für einen ersten und einen zweiten Fingerabdruck (102; 104) gibt, das Ermitteln einer Stelle eines ersten Synchronisationszeitpunktes (T_n; T_n+1) für das erste Signal (101) und einer Stelle eines zweiten Synchronisationszeitpunktes (T_n; T_n+1; T_m) für das zweite Signal (103) und das Synchronisieren des ersten Signals (101) zu dem zweiten Signal (103) unter Verwendung der ermittelten Stellen, wobei das genannte erste Signale (101) ein Audiosignal ist, wobei das zweite Signal (103) ein Videosignal ist, wobei das genannte erste Signal (101) ein Audiosignal ist, das genannte zweite Signal (103) ein Videosignals uns und der genannte erste Fingerabdruck (102) ein Audiofingerabdruck ist und der genannte zweite Fingerabdruck (104) ein Videofingerabdruck ist.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass der Schritt der Synchronisation Folgendes umfasst: – das Verzögern des ersten (101) oder des zweiten (103) Signals um einen Betrag entsprechend einer Differenz, falls überhaupt, zwischen der Stelle des ersten Synchronisationszeitpunktes (T_n; T_n+1) für das erste Signal (101) und der Stelle des zweiten Synchronisationszeitpunktes (T_n; T_n+1; T_m) für das zweite Signal (103).
Verfahren nach Anspruch 8-9, dadurch gekennzeichnet, dass die Stelle des ersten und/oder des zweiten Synchronisationszeitpunktes (T_n; T_n+1; T_m) für das erste und das zweite Signals (101, 103) durch eine unzweideutige Beziehung zu einem Segment eines ersten Signals (101) und/oder eines Segmentes eines zweiten Signals (103), verwendet während der Erzeugung des ersten übereinstimmenden Fingerabdrucks (102) und des zweiten übereinstimmenden Fingerabdrucks (104), gegeben ist.
Verfahren nach Anspruch 8-10, dadurch gekennzeichnet, dass der erste und der zweite Synchronisationszeitpunkt (T_n; T_n+1; T_m) derselbe ist.
Verfahren nach Anspruch 8-10, dadurch gekennzeichnet, dass der erste und der zweite Synchronisationszeitpunkt (T_n; T_n+1; T_m) verschieden sind und dass das Verfahren weiterhin Folgendes umfasst: – wenn es für einen ersten und einen zweiten Fingerabdruck (102; 104) eine Übereinstimmung gibt: – das Erhalten einer zweiten Darstellung einer Beziehung zwischen dem zweiten Synchronisationszeitpunkt (T_n; T_n+1; T_m) und einem zweiten Zeitpunkt der genannten Bezugszeit (107), und – das Verwenden des ersten und zweiten Zeitpunktes der genannten Bezugszeit (107) zum Synchronisieren des ersten (101) und des zweiten Signals (103), – statt – Ermittlung, wenn es eine Übereinstimmung gibt für einen ersten und einen zweiten Fingerabdruck (102; 104), einer Stelle eines ersten Synchronisationszeitpunktes (T_n; T_n+1) für das erste Signal (101) und einer Stelle eines zweiten Synchronisationszeitpunktes (T_n; T_n+1; T_m) für das zweite Signals (103) und Synchronisation des ersten (101) und des zweiten (103) Signals unter Verwendung der ermittelten Stellen.
Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass das Verfahren weiterhin die nachfolgenden Verfahrensschritte umfasst: – das Empfangen der ersten und/oder zweiten Darstellung in einer Synchronisationsanordnung (300) von einem Server (600) in Kommunikationsverbindung mit der Synchronisati onsanordnung (300), und/oder – das Empfangen des ersten und/oder des zweiten Fingerabdrucks (102; 104) von dem Server (600).
Anordnung (200), die Synchronisation von wenigstens zwei Signalen ermöglicht, wobei die Anordnung Folgendes umfasst: – einen Fingerabdruckgenerator (202), vorgesehen – zum Herleiten eines ersten Fingerabdrucks (102) auf Basis eines Segmentes eines ersten Signals (101), wobei das Segment des ersten Signals (101) unzweideutig mit einem ersten Synchronisationszeitpunkt (T_n; T_n+1) relatiert ist, und – zum Herleiten eines zweiten Fingerabdrucks (104) auf Basis eines Segmentes des zweiten Signals (103), wobei das Segment des zweiten Signals (103) unzweideutig mit einem zweiten Synchronisationszeitpunkt (T_n; T_n+1; T_m) relatiert ist, dadurch gekennzeichnet, dass das genannte erste Signal (101) ein Audiosignal ist, das genannte zweite Signal (103) ein Videosignal ist, der genannte erste Fingerabdruck (102) ein Audiofingerabdruck ist und der genannte zweite Fingerabdruck (104) ein Videofingerabdruck ist und dass die genannte Anordnung Mittel (204) aufweist zum Liefern des ersten und des zweiten Fingerabdrucks (102, 104) zu einer Synchronisationsanordnung (200, 300) bevor die Synchronisation von der genannten Synchronisationsanordnung (200, 300) durchgeführt wird.
Anordnung nach Anspruch 14, dadurch gekennzeichnet, dass die Anordnung weiterhin wenigstens eine Datenbank (203) aufweist, worin der hergeleitete erste Fingerabdruck (102) und/oder der hergeleitete zweite Fingerabdruck (104) für jeden bestimmten Synchronisationszeitpunkt (T_n; T_n+1; T_m) gespeichert ist.
Anordnung nach Anspruch 14-15, dadurch gekennzeichnet, dass die Anordnung weiterhin einen Sender (204) aufweist zum Übertragen eines ersten Fingerabdrucks (102) oder eines zweiten Fingerabdrucks (104) in der wenigstens einen Datenbank zu einer Synchronisationsanordnung (300) übers Internet oder über andere Mittel.
Anordnung nach Anspruch 14-16, dadurch gekennzeichnet, dass das Seg ment des ersten Signals (101) und/oder das Segment des zweiten Signals (103) unzweideutig mit dem ersten und/oder zweiten Synchronisationszeitpunkt (T_n; T_n+1; T_m) wie folgt relatiert sind: – das Segment des ersten Signals (101) und/oder das Segment des zweiten Signals (103), enden im Wesentlichen zu dem ersten und/oder zweiten Synchronisationszeitpunkt (T_n; T_n+1; T_m), – das Segment des ersten Signals (101) und/oder das Segment des zweiten Signals (103) starten im Wesentlichen zu dem ersten und/oder zweiten Synchronisationszeitpunkt (T_n; T_n+1; T_m), – das Segment des ersten Signals (101) und/oder das Segment des zweiten Signals (103) starten oder enden zu einem vorbestimmten Abstand vor oder nach dem ersten und/oder zweiten Synchronisationszeitpunkt (T_n; T_n+1 T_m), oder – der erste und/oder zweite Synchronisationszeitpunkt (T_n; T_n+1; T_m) sind ein vorbestimmter Zeitpunkt zwischen einem Start und einem Ende des Segmentes des ersten Signals (101) und/oder des Segmentes des zweiten Signals (103).
Anordnung nach Anspruch 14-17, dadurch gekennzeichnet, dass der erste Synchronisationszeitpunkt (T_n; T_n+1) und der zweite Synchronisationszeitpunkt (T_n; T_n+1; T_m) derselbe ist.
Anordnung nach Anspruch 14-17, dadurch gekennzeichnet, dass der erste Synchronisationszeitpunkt (T_n; T_n+1) anders ist als der zweite Synchronisationszeitpunkt (T_n; T_n+1; T_m) und dass die Anordnung die Mittel aufweist, vorgesehen zum Speichern einer ersten Darstellung einer Beziehung zwischen dem ersten Synchronisationszeitpunkt (T_n; T_n+1) und einem ersten Zeitpunkt einer Bezugszeit (107) und zum Speichern einer zweiten Darstellung einer Beziehung zwischen dem zweiten Synchronisationszeitpunkt (T_n; T_n+1; T_m) und einem zweiten Zeitpunkt der genannten Bezugszeit (107).
Anordnung nach Anspruch 19, dadurch gekennzeichnet, dass die Anordnung weiterhin Folgendes umfasst: – einen Sender (204) zum Übertragen der ersten und/oder der zweiten Darstellung zu einer Synchronisationsanordnung (300), und/oder – einen Sender (204) zum Übertragen der ersten und/oder der zweiten Darstellung zu einem Server (600) in Kommunikationsverbindung mit einer Synchronisationsanordnung (300), und/oder – einen Sender (204) zum Übertragen des ersten Fingerabdrucks (102) und/oder des zweiten Fingerabdrucks (104) zu dem Server (600).
Synchronisationsanordnung (300) zum Synchronisieren von zwei oder mehr Signalen, wobei diese Anordnung Folgendes umfasst: – Mittel (302) zum Erzeugen eines ersten Fingerabdruckstromes (105) auf Basis eines ersten Signals (101), – Mittel (302) zum Erzeugen eines zweiten Fingerabdruckstroms (106) auf Basis eines zweiten Signals (103), – Mittel (302) zum Vergleichen eines Segmentes des ersten Fingerabdruckstromes (105) mit einem oder mehreren ersten Fingerabdrücken (102), die in wenigstens einer Datenbank (203) gespeichert sind, und zwar um zu ermitteln, ob es ggf. eine Übereinstimmung gibt, und – Mittel (302) zum Vergleichen eines Segmentes des zweiten Fingerabdruckstromes (106) mit einem oder mehreren zweiten Fingerabdrücken (104), die in der wenigstens einen Datenbank (203) gespeichert sind, und zwar um zu ermitteln, ob es ggf. eine Übereinstimmung gibt, dadurch gekennzeichnet, dass die Anordnung weiterhin Folgendes umfasst: – Mittel (302) um, wenn es eine Übereinstimmung für einen ersten und einen zweiten Fingerabdruck (102; 104) gibt, eine Stelle eines ersten Synchronisationszeitpunktes (T_n; T_n+1) für das erste Signal (101) und eine Stelle eines zweiten Synchronisationszeitpunktes (T_n; T_n+1; T_m) für das zweite Signal (103) zu ermitteln und Mittel um das erste Signal (101) zu dem zweiten Signal (103) unter Verwendung der ermittelten Stellen zu synchronisieren, wobei das genannte erste Signale (101) ein Audiosignal ist, wobei das zweite Signal (103) ein Videosignal ist, wobei das genannte erste Signal (101) ein Audiosignal ist, das genannte zweite Signal (103) ein Videosignal ist und der genannte erste Fingerabdruck (102) ein Audiofingerabdruck ist und der genannte zweite Fingerabdruck (104) ein Videofingerabdruck ist.
Anordnung nach Anspruch 21, dadurch gekennzeichnet, dass die Mittel (303) zum Synchronisieren dazu vorgesehen sind, entweder das erste Signal (101) oder das zweite Signal (103) um einen Betrag entsprechend der Differenz, falls überhaupt, zwischen der Stelle des Synchronisationszeitpunktes (T_n; T_n+1) für das erste Signal (101) und der Stelle des Synchronisationszeitpunktes (T_n; T_n+1; T_m) für das zweite Signals (103) zu verzögern.
Anordnung nach Anspruch 21-22, dadurch gekennzeichnet, dass die Stelle des ersten und/oder des zweiten Synchronisationszeitpunktes (T_n; T_n+1; T_m) für das erste und/oder das zweite Signal (101, 103) durch eine unzweideutige Beziehung mit einem Segment eines ersten Signals (101) und/oder einem Segment eines zweiten Signals (103) gegeben wird, verwendet während der Erzeugung des übereinstimmenden ersten Fingerabdrucks (102) und der Erzeugung des übereinstimmenden zweiten Fingerabdrucks (104).
Anordnung nach Anspruch 21-23, dadurch gekennzeichnet, dass der erste und der zweite Synchronisationszeitpunkt (T_n; T_n+1; T_m) derselbe ist.
Anordnung nach den Ansprüchen 21-24, dadurch gekennzeichnet, dass der erste und der zweite Synchronisationszeitpunkt (T_n; T_n+1; T_m) verschieden sind und dass die Anordnung weiterhin Folgendes umfasst: – wenn es für einen ersten und einen zweiten Fingerabdruck (102; 104) eine Übereinstimmung gibt: – einen Empfänger (204) zum Erhalten einer ersten Darstellung einer Beziehung zwischen dem ersten Synchronisationszeitpunkt (T_n; T_n+1) und einem ersten Zeitpunkt einer Bezugszeit (107), – einen Empfänger (204) zum Erhalten einer zweiten Darstellung einer Beziehung zwischen dem zweiten Synchronisationszeitpunkt (T_n; T_n+1; T_m) und einem zweiten Zeitpunkt der genannten Bezugszeit (107), und – Synchronisationsmittel (303) zum Verwenden des ersten und zweiten Zeitpunktes der genannten Bezugszeit (107) zum Synchronisieren des ersten (101) und des zweiten Signals (103), – stattdessen, dass die Anordnung Folgendes umfasst: – Mittel (302) zur Ermittlung, wenn es eine Übereinstimmung gibt für einen ersten und einen zweiten Fingerabdruck (102; 104), einer Stelle eines ersten Synchronisationszeitpunktes (T_n; T_n+1) für das erste Signal (101) und einer Stelle eines zweiten Synchronisationszeitpunktes (T_n; T_n+1; T_m) für das zweite Signals (103) und Synchronisation des ersten (101) und des zweiten (103) Signals unter Verwendung der ermittelten Stellen.
Anordnung nach Anspruch 25, dadurch gekennzeichnet, dass die Anordnung weiterhin Folgendes umfasst: – einen Empfänger (204) zum Empfangen der ersten und/oder zweiten Darstellung in einer Synchronisationsanordnung (300) von einem Server (600) in Kommunikationsverbindung mit der Synchronisationsanordnung (300), und/oder – einen Empfänger (204) zum Empfangen des ersten Fingerabdrucks (102) und/oder des zweiten Fingerabdrucks (104) von dem Server (600).
Von einem Computer auslesbares Medium, worauf Instruktionen gespeichert sind um dafür zu sorgen, dass eine oder mehrere Verarbeitungseinheiten das Verfahren nach einem der Ansprüche 1-7 oder einem der Ansprüche 8-13 durchführt.