DE102011122659A1

DE102011122659A1 - Verfahren zur Synchronisierung von Multimediadaten

Info

Publication number: DE102011122659A1
Application number: DE201110122659
Authority: DE
Inventors: Maximilian Müller; Michael Reithinger; Robert Vilzmann; Florian Zierer
Original assignee: MOTICON GmbH
Current assignee: MOTICON GmbH
Priority date: 2011-12-30
Filing date: 2011-12-30
Publication date: 2013-07-04

Abstract

Die Erfindung betrifft die Synchronisierung von Multimediadaten, insbesondere von Audio- und/oder Videodaten. Gemäß einem Aspekt der vorliegenden Erfindung wird die Aufgabe der Erfindung dadurch gelöst, dass in die Multimediadaten als auch in ggf. mit zu synchronisierende Messdaten ein Zeitstempel, eine Sequenznummer oder andere informationstragende Daten eingebettet werden, die zum einen durch ihre Position in den Daten eine Synchronisierung der Multimediadaten ermöglicht, als auch durch ihren Informationsinhalt eine zeitliche Zuordnung von Multimediadaten ermöglicht

Description

Die Erfindung betrifft die Synchronisierung von Multimediadaten, insbesondere von Audio- und/oder Videodaten.
In verschiedenen Bereichen von Wissenschaft und Technik, dem Medienbereich oder dem Markt der Consumer-Elektronik gibt es die Notwendigkeit, Multimediadaten zu synchronisieren. Zum einen besteht dabei die Notwendigkeit, einen ersten Multimediadatenstrom mit einem zweiten Multimediadatenstrom zu synchronisieren. Zum anderen ist es häufig gefordert, Multimediadaten mit Messdaten zu synchronisieren.
Ein Beispiel ist die medizinische oder sportwissenschaftliche Bewegungsanalyse. Hier ergibt sich häufig die Notwendigkeit, die Daten körpernaher Sensorik, beispielsweise die Daten einer Druckmesssohle, mit einem mittels einer Videokamera aufgezeichneten Video der Probandin bzw. des Probanden zu synchronisieren. Durch eine Synchronisierung ist es möglich, die Messdaten und die Videodaten zeitsynchron wiederzugeben. Dies vereinfacht die wissenschaftliche bzw. medizinische Analyse und Interpretation der Messdaten.
Ein weiteres Beispiel ist die Synchronisierung von Vibrationsdaten eines an einem Musikinstrument angebrachten Beschleunigungssensors mit dem in einer gewissen Entfernung von dem Musikinstrument mittels eines Mikrofons aufgezeichneten Ton. Hier stellt das Tonsignal die Multimediadaten dar, und die Daten des Beschleunigungssensors stellen die Messdaten dar. Um hier zu Analysezwecken einen Zusammenhang zwischen dem Tonsignal und den Beschleunigungsdaten herzustellen, müssen diese zeitsynchron vorliegen.
Das Problem gemäß dem Stand der Technik besteht darin, dass die Multimediadaten und die Messdaten von unterschiedlichen Vorrichtungen gemessen bzw. aufgezeichnet werden, und die Datenströme deshalb zeitlich nicht synchron vorliegen.
Ein gemäß dem Stand der Technik bekanntes Vorgehen zur Synchronisierung ist, eine in sowohl den Multimediadaten als auch in den Messdaten leicht wiederzuerkennende Sequenz zu erzeugen. Im Beispiel der Druckmesssohle kann dies dadurch geschehen, dass die Probandin einen Sprung vollzieht, der im Video sichtbar ist und in den Druckmessdaten als rapider Druckanstieg zum Zeitpunkt des Auftreffens der Füße auf dem Boden erkennbar ist. Dieses Vorgehen hat mehrere Nachteile. Zum einen ist die Erzeugung einer leicht erkennbaren Sequenz aufwendig und in der Praxis oftmals nicht möglich. Zudem können ungewollt Mehrdeutigkeiten in den Daten vorhanden sein, was die Synchronisierung erschwert. Da die Synchronisierung manuell durchgeführt werden muss und Wissen über die Art und den ungefähren Zeitpunkt der Sequenz vorliegen muss, ist dieses Vorgehen sehr umständlich und fehlerträchtig.
Ein weiteres Synchronisierungsverfahren gemäß dem Stand der Technik ist die kabelgebundene oder Funk-Übertragung eines Synchronisierungssignals von einer Vorrichtung zu einer oder mehreren anderen Vorrichtungen. Beispielsweise kann eine Messvorrichtung mittels eines Signalimpulses oder einer fallenden oder steigenden Signalflanke den Beginn der Aufzeichnung an eine oder mehrere Videokameras signalisieren. Die Videokameras betten das Signal in einen Datenstrom ein, der zeitsynchron mit den Videodaten auf der Videokamera gespeichert wird. Eine Datenanalyse-Software kann das mit den Videodaten vorliegende Synchronisierungssignal auslesen und, ansprechend auf den Signalimpuls bzw. die Signalflanke, eine Synchronisierung mit dem Beginn der Messdaten herstellen. Dieses Verfahren liefert eine sehr exakte Synchronisierung, hat jedoch auch mehrere Nachteile. Zum einen müssen alle beteiligten Vorrichtungen eine standardisierte Schnittstelle zur Ausgabe bzw. zum Empfang des Synchronisierungssignals aufweisen. Zum anderen muss das Synchronisierungssignal zeitsynchron mit den Messdaten bzw. den Multimediadaten gespeichert werden, was die Bereitstellung eines parallelen Datenstroms in den Videokameras erfordert. Zudem besteht beim Vorliegen einer Vielzahl von Messdatendateien und Videodateien die Gefahr, dass nicht zueinander passende Dateien miteinander synchronisiert werden. Dies kommt daher, dass das Synchronisierungssignal gemäß dem Stand der Technik nur einen Zeitpunkt repräsentiert, aber keinen absoluten Zeitstempel, Sequenznummer oder andere informationstragende Daten aufweist, die eine Verbindung zwischen einer bestimmten Multimediadatei und einer bestimmten Messdatendatei herstellt.
Ein weiteres Synchronisierungsverfahren gemäß dem Stand der Technik basiert auf lokalen Zeitgebern. Beispielsweise können die Systemuhren eines die Daten einer Messvorrichtung aufzeichnenden Computers und die Systemuhr einer Videokamera durch einen Uhrenvergleich aneinander angeglichen werden. Falls nun sowohl die Messdaten als auch die Videodaten zusammen mit einem Zeitstempel gespeichert werden, so ist im Nachhinein eine Synchronisierung der Daten anhand der enthaltenen Zeitstempel möglich. Auch dieses Verfahren hat mehrere Nachteile. Zum einen muss der Uhrenvergleich zumeist manuell geschehen, was die Genauigkeit der Synchronisierung begrenzt. Zum anderen fehlen bei verschiedenen Dateiformaten geeignete Software-Bibliotheken zum Auslesen des Zeitstempels aus einem Videosignal, was eine automatisierte Synchronisierung erschwert. Zudem weisen die Systemuhren unterschiedlicher Vorrichtungen eine unterschiedliche Drift auf, sodass ein Uhrenvergleich vor jeder einzelnen Aufnahme von Multimedia- und Messdaten nötig ist. Des Weiteren ist dieses Verfahren auf die Fälle begrenzt, in denen alle beteiligten Vorrichtungen über eine Systemuhr verfügen, die auf eine gemeinsame absolute Zeit eingestellt werden kann.
Aufgabe der vorliegenden Erfindung ist es deshalb, Verfahren bereitzustellen, mit denen Multimediadaten und Messdaten zeitlich synchronisiert werden können, ohne die Nachteile der Verfahren gemäß dem Stand der Technik in Kauf zu nehmen.
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird die Aufgabe der Erfindung dadurch gelöst, dass in die Multimediadaten als auch in ggf. mit zu synchronisierende Messdaten ein Zeitstempel, eine Sequenznummer oder andere informationstragende Daten eingebettet werden, die zum einen durch ihre Position in den Daten eine Synchronisierung der Multimediadaten ermöglicht, als auch durch ihren Informationsinhalt eine zeitliche Zuordnung von Multimediadaten ermöglicht.
Gemäß einem weiteren Aspekt der Erfindung können die informationstragenden Daten, anstelle in die Multimedia- bzw. Messdaten eingebettet zu sein, zeitsynchron als paralleler Datenstrom gespeichert sein.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung zeigt ein Computer über einen Bildschirm eine grafische Darstellung eines Zeitstempels an, beispielsweise in Form eines sekündlich aktualisierten Barcodes, der die aktuelle Systemzeit des Computers repräsentiert. Der angezeigte Zeitstempel wird zeitsynchron in die durch den Computer aufgezeichneten Messdaten eingebettet. Gemäß der Erfindung filmt der Nutzer mittels einer Videokamera den Zeitstempel über die Dauer von beispielsweise einigen Sekunden ab, und schwenkt die Kamera anschließend auf das eigentlich zu filmende Objekt. Dadurch enthalten die Videodaten Zeitinformationen, die gemäß der Erfindung zur Synchronisierung mit anderen Daten verwendet werden.
Gemäß einem weiteren Aspekt der Erfindung werden die Videodaten mittels einer Bilderkennungs-Software automatisiert nach enthaltenen Zeitstempeln analysiert. Die Decodierung der grafisch dargestellten und automatisiert detektierten Zeitstempel erfolgt gemäß der Erfindung ebenfalls automatisiert durch eine geeignete Mustererkennungs-Software.
Gemäß einem weiteren Aspekt der Erfindung werden durch die Bilderkennung erkannte Zeitstempel mit den in Messdaten enthaltenen Zeitstempeln verglichen. Gemäß der Erfindung kann der Nutzer einen erkannten Zeitstempel ablehnen und die Bilderkennung nach weiteren Zeitstempeln suchen lassen. Dies ist besonders in den Fällen vorteilhaft, in denen Teile einer einzigen Videodatei mehreren Messdaten zuzuordnen sind.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung werden Zeitstempel eines Computers in Form eines den Zeitstempel codierenden Audiosignals über einen Lautsprecher ausgegeben, sodass die Audiodaten Zeitinformationen umfassen, die eine zeitliche Synchronisierung mit Messdaten erlauben.
Ein weiterer Aspekt der vorliegenden Erfindung betrifft die Synchronisierung von mehreren Multimediadaten. Zur Synchronisierung von Daten einer Vielzahl von Videokameras wird über eine Anzeige ein Barcode ausgegeben, der regelmäßig, z. B. sekündlich, aktualisiert wird und die Systemzeit eines Computers darstellt. Der Nutzer filmt mit allen beteiligten Videokameras diese Anzeige ab, bevorzugt über die Dauer einiger Sekunden. Damit ist in allen Multimediadaten Zeitinformation auf gemeinsamer Zeitbasis, nämlich der Zeitbasis des Computers, vorhanden. Im erfindungsgemäßen Verfahren werden die in den Multimediadaten enthaltenen Barcodes automatisiert detektiert und decodiert. Auf Basis die somit decodierten Zeitstempel wird die Bestimmung des zeitlichen Versatzes der Videodaten durchgeführt, und die Multimediadaten somit synchronisiert.
Zur Synchronisierung von Daten einer Vielzahl von Tonaufzeichnungsvorrichtungen wird entsprechend verfahren. Hierbei wird gemäß der Erfindung über einen an den Computer angeschlossenen Lautsprecher in regelmäßigen Abständen, bevorzugt sekündlich, ein Tonsignal ausgegeben, das die aktuelle Systemzeit des Computers darstellt. Alle beteiligten Tonaufzeichnungsvorrichtungen nehmen dieses Tonsignal auf, bevorzugt für die Dauer von einigen Sekunden. Dadurch ist, wie im Fall der Videodaten, in allen Audiodaten Zeitinformation auf gemeinsamer Zeitbasis enthalten, und die Synchronisierung der Audiodaten erfolgt sinngemäß wie im Fall von Videodaten.
Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnung näher erläutert.
Hierin zeigen
1 eine schematische Darstellung eines ersten bevorzugten Ausführungsbeispiels der vorliegenden Erfindung,
2 eine beispielhafte Darstellung eines Barcodes,
3 eine schematische Darstellung eines zweiten bevorzugten Ausführungsbeispiels der vorliegenden Erfindung,
4 eine schematische Darstellung eines dritten bevorzugten Ausführungsbeispiels der vorliegenden Erfindung,
5 eine schematische Darstellung eines vierten bevorzugten Ausführungsbeispiels der vorliegenden Erfindung,
6 eine Veranschaulichung der erfindungsgemäßen Synchronisierung von Daten,
7 synchronisierte Daten.
1 zeigt eine schematische Darstellung eines ersten bevorzugten Ausführungsbeispiels der vorliegenden Erfindung. Ein Computer 101 (z. B. ein Desktop-PC, Laptop, Mobiltelefon, Smart-Phone, Tablet-PC oder Mikrocontroller-System) ist über eine kabelgebundene oder Funk-Verbindung 103 mit einer Messvorrichtung 102 verbunden. Die Messvorrichtung 102 führt eine Messung an einem Objekt 104 durch, und übermittelt die Messdaten über die Verbindung 103 an den Computer 101, wo sie auf einem Speichermedium gespeichert werden. Die durch die Messvorrichtung 102 durchgeführte Messung kann vom Objekt 104 entfernt stattfinden, oder die Messvorrichtung 102 kann unmittelbar am Objekt 104 angebracht oder in das Objekt 104 integriert sein. Wie in 1b gezeigt wird das Objekt 104 mit einer Videokamera 105 gefilmt. Bevorzugt erfolgt die Videoaufzeichnung zeitgleich mit der durch die Messvorrichtung 102 durchgeführten Datenmessung.
Im bevorzugten Ausführungsbeispiel steuert der Computer 101 die Aufzeichnung der von der Messvorrichtung 102 erhaltenen Messdaten derart, dass den Messdaten die aktuelle Systemzeit zugeordnet werden kann. Dies kann beispielsweise dadurch geschehen, dass mit jedem einzelnen Daten-Sample die zugehörige Systemzeit abgespeichert wird, oder dadurch, dass die Systemzeit zu Beginn der Messdatenaufzeichnung zusammen mit den Messdaten in einer Datei gespeichert wird, und die Messdaten mit einer bekannten Abtastfrequenz gespeichert werden. Über die Abtastfrequenz und die Startzeit der Aufzeichnung lässt sich die Systemzeit jedes einzelnen Daten-Samples berechnen.
Gemäß dem erfindungsgemäßen Verfahren zur Synchronisierung der Messdaten mit den Videodaten nach dem vorliegenden Ausführungsbeispiel gibt der Computer 101 über eine Anzeige 106 (z. B. einen externen Monitor, ein integriertes Display oder ein anderes visuelles Anzeigegerät) eine grafische Darstellung der aktuellen Systemzeit aus. Bevorzugt erfolgt diese Darstellung über einen wie in 2 gezeigten Barcode gemäß dem Stand der Technik. Die Systemzeit ist bevorzugt ein ganzzahliger Wert, der das Datum sowie die exakte Uhrzeit in Millisekundenauflösung codiert. Bevorzugt aktualisiert der Computer 101 die grafisch angezeigte Systemzeit mit einer Frequenz von 1 Hz. Gemäß der Erfindung erfolgt die Anzeige der Systemzeit vor, zeitgleich mit oder nach dem Starten der Messung durch die Messvorrichtung 102. Die Anzeige der Systemzeit erfolgt lange genug, sodass der Nutzer die angezeigte Systemzeit mittels der Kamera 105 für mindestens einen Video-Frame von der Anzeige 106 abfilmen kann (1a). Bevorzugt filmt der Nutzer die Anzeige 106 mindestens so lange ab, dass er mindestens eine Aktualisierung der Systemzeit abgefilmt hat. Durch den damit verbundenen Wechsel des Barcodes ist ein millisekunden-genauer Zeitpunkt in den Videodaten codiert. Beispielsweise wird die Anzeige 106 bei einer Aktualisierungsfrequenz des Barcodes von 1 Hz bevorzugt für länger als 1 Sekunde abgefilmt, um für eine exakte zeitliche Bestimmung den Sekundenwechsel im Barcode zu erkennen. Falls er keinen Wechsel der Barcode-Anzeige filmt, so ist immerhin ein Zeitpunkt mit einer Genauigkeit in den Videodaten enthalten, der der Aktualisierungsfrequenz des Barcodes entspricht.
Die Systemzeit kann gemäß der Erfindung auch numerisch angezeigt werden. Um die automatische Erkennung der Systemzeit in den Videodaten zu vereinfachen und robust zu gestalten, erfolgt die Anzeige jedoch bevorzugt in einer grafisch codierten Form. 2 zeigt eine Kombination einer numerischen Anzeige mit einer grafischen Barcode-Anzeige. Die Systemzeit, die in diesem Beispiel den numerischen Wert 1324482934030 annimmt, ist zugleich als Barcode codiert. Diese kombinierte Darstellung hat den Vorteil, dass bei einem Fehlschlagen der automatischen Systemzeiterkennung die Systemzeit durch den Nutzer im Video erkannt werden kann, um eine manuelle oder teilautomatisierte Synchronisierung der Multimediadaten mit den Messdaten durchzuführen.
Nach dem Abfilmen der Anzeige 106 (1a) schwenkt der Nutzer die Kamera auf das eigentlich zu filmende Objekt 104 (1b), ohne die Videoaufzeichnung zu unterbrechen. Bevorzugt wird das Objekt 104 für die Dauer der Messdatenaufzeichnung gefilmt.
Gemäß der Erfindung erfolgt die Synchronisierung der Videodaten mit den Messdaten dadurch, dass in den Videodaten ein Barcode erkannt wird, und die darin codierte Systemzeit decodiert wird. Die Detektion des Barcodes und die Decodierung der Systemzeit erfolgt bevorzugt automatisiert mittels Mustererkennungssoftware. Eine derartige Software liest das Video Frame für Frame aus (d. h. in Einzelbildern), und detektiert in den Einzelbildern gegebenenfalls enthaltene Barcodes. Mit dem Erkennen und erfolgreichen Decodieren des ersten Barcodes kann einem Video-Frame damit eine Systemzeit zugewiesen werden. Falls die Mustererkennung in aufeinander folgenden Frames einen Wechsel des Barcodes erkennt, so kann die detektierte Systemzeit noch genauer bestimmt werden, da die Genauigkeit dann nicht auf die Aktualisierungsfrequenz des in der Anzeige 106 dargestellten Barcodes begrenzt ist, sondern der zeitlichen Auflösung des ganzzahligen Systemzeit-Werts entspricht. Mit bekannter Frame-Rate (Bildrate) des Videos wird, ausgehend von einem Frame mit detektiertem Barcode, allen einzelnen Frames des Videos eine Systemzeit zugewiesen. Diese Systemzeit hat die gleiche Zeitbasis wie die in der Anzeige 106 grafisch dargestellte Systemzeit, die wiederum die gleiche Zeitbasis wie die Zeitdaten hat, die der Computer 101 beim Empfang von Messdaten von der Messvorrichtung 102 über die Verbindung 103 mit den Messdaten verknüpft hat. „Gleiche Zeitbasis” bedeutet, dass die Zeitwerte von der gleichen Uhr abgeleitet sind, und somit keine Asynchronität aufgrund mangelnden Uhrenabgleichs auftritt. Das erfindungsgemäße Verfahren bestimmt den zeitlichen Versatz zwischen einem beliebigen Video-Frame und einem beliebigem Messdatum, und führt somit eine zeitliche Synchronisierung der Videodaten mit den Messdaten durch. Als Ergebnis der Synchronisierung legt der Computer 101 bevorzugt eine Datei an, in der zwei zeitsynchrone Datenströme enthalten sind, wobei ein Datenstrom die Messdaten und der zweite Datenstrom die Videodaten umfasst. Über eine geeignete Software können somit die Messdaten und die Videodaten in zeitsynchroner Weise abgespielt werden.
Ein Vorteil des erfindungsgemäßen Verfahrens ist, dass die Synchronisierung der Videodaten mit den Messdaten auch auf einem anderen Computer-System (z. B. ein Desktop-PC, Laptop, Mobiltelefon, Smart-Phone, Tablet-PC oder Mikrocontroller-System) als auf dem Computer 101 durchgeführt werden kann. Dies liegt daran, dass die Systemzeit, als gemeinsame Zeitbasis, in den Videodaten in Form der Barcodes und in den Messdaten in Form eingebetteter Zeitstempel vorhanden ist. Die Systemzeit zum Zeitpunkt der operativen Durchführung der Synchronisierung (Detektion von Barcodes in den Video-Frames, Decodieren der Barcodes und Extraktion der Zeitstempel aus den Messdaten) spielt keine Rolle. Deshalb können die Videodaten und die Messdaten an einem Computer-System erfindungsgemäß verarbeitet werden, ohne dass dieses Computer-System die gleiche Zeitbasis aufweisen muss wie der Computer 101. Die Systemuhren der beiden Computer-Systeme müssen also nicht synchron sein.
Im bevorzugten Ausführungsbeispiel steuert der Computer 101 zum einen die Messvorrichtung 102 an, und steuert zum anderen die Anzeige 106 zur grafischen Darstellung der Systemzeit an. Bevorzugt startet der Computer 101 die Anzeige der Systemzeit dann, wenn er die Messdatenaufzeichnung startet, und beendet die Anzeige dann, wenn er die Messdatenaufzeichnung beendet. Das Starten und das Beenden der Messdatenaufzeichnung kann jedoch auch zeitlich unabhängig von der Anzeige der Systemzeit erfolgen.
Durch zeitliche Extrapolation erlaubt das erfindungsgemäße Verfahren auch die Synchronisierung von zeitlich nicht überlappenden Messdaten und Videodaten. Meistens ist es in der Praxis aber gewünscht, dass das Objekt 104 in einem Zeitbereich gefilmt wird, in dem auch Messdaten vorliegen. Falls keine zeitliche Überlappung vorliegt, so ist dies in der Regel ein Hinweis darauf, dass versucht wird, nicht zueinander passende Multimediadaten und Messdaten zu synchronisieren. Im bevorzugten Ausführungsbeispiel bricht das Synchronisierungsverfahren nach der Decodierung der im Video enthaltenen Barcodes und der Extraktion der in den Messdaten eingebetteten Zeitstempel ab, falls keine zeitliche Überlappung vorliegt. Im erfindungsgemäßen Verfahren erfolgt ein Hinweis an den Nutzer, dass die Videodaten und die Messdaten zeitlich nicht zueinander passen. Der Nutzer kann dies als Hinweis darauf verwenden, eine andere Videodatei bzw. eine andere Messdatei auszuwählen und damit die Synchronisierung neu zu starten.
In einem zweiten Ausführungsbeispiel der vorliegenden Erfindung werden die Messdaten nicht auf dem Computer 101 gespeichert, sondern auf der Messvorrichtung (3). Insbesondere handelt es sich in diesem Ausführungsbeispiel um eine oder mehrere Sensorsohlen 301, die der Messung von Beschleunigungen und/oder der Druckverteilung am menschlichen Fuß des Trägers 302 der Sensorsohle 301 dienen. In diesem Ausführungsbeispiel dient das erfindungsgemäße Verfahren der Synchronisierung der Videoaufzeichnung des Trägers 302 der Sensorsohle 301 mit den Messdaten der Sensorsohle 301. Insbesondere ermöglicht es dieses Ausführungsbeispiel, dass zeitweise keine kabelgebundene oder Funk-Verbindung zwischen dem Computer 101 und der Sensorsohle 301 besteht.
Zu Beginn der Messdatenaufzeichnung steuert der Computer 101 die Sensorsohle 301 zum Starten der Messung an. Diese erfolgt bevorzugt per Funk, kann jedoch auch kabelgebunden erfolgen. Nach dem Starten der Messung sendet der Computer 101, ebenfalls per Funk oder kabelgebunden, die aktuelle Systemzeit an die Sensorsohle 301. Die Sensorsohle quittiert den Erhalt der Systemzeit mittels eines Quittungsprotokolls gemäß dem Stand der Technik, und bettet einen entsprechenden Zeitstempel in die Messdaten ein, oder speichert den Zeitstempel in einem separaten Datenstrom, zeitsynchron zu den Messdaten. Falls die Sensorsohle 301 den Zeitstempel nicht erfolgreich empfangen konnte, oder falls der Computer 101 die Quittung nicht erfolgreich empfangen konnte, so erfolgt, bevorzugt nach Ablaufen eines Überwachungs-Zeitglieds, ein erneutes Senden der dann aktuellen Systemzeit. Dieses Vorgehen wird wiederholt, bis der Computer 101 erfolgreich eine Quittung erhalten hat. Durch dieses Vorgehen ist gewährleistet, dass mindestens ein Zeitstempel in den auf der Sensorsohle 301 gespeicherten Messdaten enthalten ist. Mit bekannter Abtastrate der Messdaten erlaubt es dieser Zeitstempel, jedes Messdaten-Sample einer Systemzeit zuzuordnen. Die dabei geltende Zeitbasis ist die Zeitbasis des Computers 101.
Gemäß der Erfindung generiert der Computer 101 ansprechend auf die Quittung von der Sensorsohle 301 einen Hinweis an den Nutzer, dass die Sensorsohle erfolgreich einen Zeitstempel erhalten hat und die Datenverbindung zwischen dem Computer 101 und der Sensorsohle 301 unterbrochen werden darf.
Ähnlich dem ersten Ausführungsbeispiel steuert der Computer 101 die Anzeige 106 an, die Systemzeit des Computers 101 in grafischer Form darzustellen. Die Darstellung kann zeitlich vor, während oder nach dem Starten der Messung auf der Sensorsohle 301 beginnen. Der Nutzer richtet die Kamera auf die Anzeige 106 und filmt mindestens ein Video-Frame von der Anzeige ab (3a). Wie im ersten Ausführungsbeispiel filmt er bevorzugt eine längere Sequenz von der Anzeige ab, um einen oder mehrere Wechsel der Barcode-Darstellung in den Videodaten verfügbar zu haben. Anschließend richtet der Nutzer die Kamera auf den Träger 302 der Sensorsohle 301, um die Bewegungsausführung zu filmen (3b).
Zum Beenden der Messung stellt der Nutzer wieder eine kabelgebundene oder Funk-Verbindung zwischen dem Computer 101 und der Sensorsohle 301 her. Der Computer 101 steuert die Sensorsohle 301 ansprechend auf eine entsprechende Eingabe durch den Nutzer zum Beenden der Messung an.
Wahlweise wird unmittelbar vor dem Beenden der Messung, in gleicher Weise wie beim Starten der Messung, die Systemzeit des Computers in quittierter Form an die Sensorsohle 301 übertragen. Dies erlaubt im Nachhinein eine Überprüfung der auf der Sensorsohle 301 gespeicherten Messdaten auf korrekte, d. h. der Zeitdifferenz zwischen dem Start-Zeitstempel und dem Ende-Zeitstempel entsprechenden Anzahl an Messdaten-Samples, und ggf. eine Neuabtastung (Re-Sampling) der Messdaten.
Durch das obige Verfahren liegen sowohl in den Videodaten, in Form der Barcodes, als auch in den Messdaten, in Form der an die Sensorsohle 301 übertragenen Zeitstempel, Zeitinformationen vor, die auf einer gemeinsamen Zeitbasis basieren, nämlich der Zeitbasis des Computers 101. In diesem Ausführungsbeispiel werden sowohl die Videodaten der Kamera 105 als auch die Messdaten der Sensorsohle 301 an den Computer 101 oder an ein anderes Computer-System übertragen. Dort werden die Videodaten nach Barcodes durchsucht und die darin enthaltene Systemzeit decodiert, und die in den Messdaten enthaltenen Zeitstempel werden extrahiert. Diese Zeitinformationen erlauben die Bestimmung des zeitlichen Versatzes zwischen den Videodaten und den Messdaten, und somit eine zeitliche Synchronisierung derselben.
In einem in 4 gezeigten dritten Ausführungsbeispiel der vorliegenden Erfindung handelt es sich bei den Multimediadaten um Audiodaten. In diesem Ausführungsbeispiel steuert der Computer 101 einen Lautsprecher 401 zur Ausgabe von Tönen an. Um die Audiodaten einer Tonaufzeichnungsvorrichtung 402 mit den Messdaten einer Messvorrichtung 102 zeitlich zu synchronisieren, steuert der Computer 101 den Lautsprecher 401 derart an, dass dieser einen Ton oder eine Tonsequenz ausgibt, die die aktuelle Systemzeit des Computers 101 in codierter Form darstellt. Dies kann gemäß dem Stand der Technik in ähnlicher Weise erfolgen wie bei Datenmodems in Telefonnetzen. Die Ausgabe der Systemzeit erfolgt bevorzugt in regelmäßigen Abständen, beispielsweise sekündlich. Der Nutzer bringt die Tonaufzeichnungsvorrichtung 402 während der Zeit, in der der Ton bzw. die Tonsequenz ausgegeben wird, in die Nähe des Lautsprechers 401, um diesen Ton bzw. Tonsequenz aufzuzeichnen. Für die Aufzeichnung von Messdaten von der Messvorrichtung 102 gilt das im ersten Ausführungsbeispiel gesagte. Das heißt, dass auch die Messdaten Zeitinformationen auf Basis der Systemzeit des Computers 101 umfassen.
Während der Messdatenaufzeichnung werden mittels der Tonaufzeichnungsvorrichtung 402 Multimediadaten in Form von Audiodaten aufgezeichnet, die anschließend mit den Messdaten synchronisiert werden sollen. Dazu werden gemäß dem erfindungsgemäßen Verfahren sowohl die Audiodaten als auch die Messdaten an den Computer 101 oder an ein anderes Computer-System übertragen. Dort werden die Audiodaten automatisiert nach dem vom Lautsprecher 401 ausgegebenen Ton bzw. der Tonsequenz durchsucht, die den Zeitstempel des Computers 101 darstellen. Anschließend wird der Ton bzw. die Tonsequenz decodiert, um die Systemzeit zu rekonstruieren. Durch die Position des Tons bzw. der Tonsequenz in den Audiodaten, durch den darin codierten Zeitstempel und durch die bekannte Sample-Rate der Audiodaten kann jedem Ton-Sample in den Audiodaten die zugehörige Systemzeit zugeordnet werden. Ähnlich dem ersten Ausführungsbeispiel lässt sich dadurch der zeitliche Versatz zwischen einem beliebigen Sample der Audiodaten und einem beliebigen Sample der Messdaten bestimmen, wodurch eine zeitliche Synchronisierung der Audiodaten und der Messdaten vollzogen wird.
Ein viertes Ausführungsbeispiel der vorliegenden Erfindung dient der Synchronisierung von Audiodaten mit Messdaten, die auf der Messvorrichtung 102 gespeichert werden. Dieses Ausführungsbeispiel stellt somit eine Kombination der erfinderischen Ideen des zweiten und des dritten Ausführungsbeispiels dar. Die Messdaten der Messvorrichtung 102 werden mittels eines Quittungsprotokolls mit von dem Computer 101 stammenden Zeitstempeln versehen, und die mittels einer Tonaufzeichnungsvorrichtung 402 aufgenommenen Audiodaten werden mittels eines über einen Lautsprecher 401 ausgegebenen Tons bzw. einer Tonsequenz ebenfalls mit vom Computer 101 stammenden Zeitinformationen versehen. Dadurch ist wie im dritten Ausführungsbeispiel eine Synchronisierung von Audiodaten und Messdaten möglich.
In einem in 5 schematisch gezeigten fünften Ausführungsbeispiel wird das erfinderische Verfahren zur Synchronisierung von Multimediadaten verwendet. Ein Computer 101 steuert eine Anzeige 106 und einen Lautsprecher 401 derart an, dass in Form eines Barcodes bzw. eines Tons bzw. einer Tonsequenz sekündlich die jeweils aktuelle Systemzeit ausgegeben wird. Eine Videokamera 105 bzw. eine Vielzahl von Videokameras 105 sowie eine Tonaufzeichnungsvorrichtung 402 bzw. eine Vielzahl von Tonaufzeichnungsvorrichtungen 402 zeichnet diesen ausgegebenen Barcode bzw. den ausgegebenen Ton bzw. Tonsequenz auf. Dadurch ist in den Daten aller Multimedia-Aufnahmegeräte Zeitinformation basierend auf einer gemeinsamen Zeitbasis enthalten. Die Multimedia-Aufnahmegeräte nehmen sodann das Bild bzw. den Ton des eigentlich aufzunehmenden Objekts 104 auf, ohne die Aufzeichnung zwischenzeitlich zu beenden.
Nach dem Beenden der Aufzeichnung werden die Daten der Videokamera(s) 105 sowie der Tonaufzeichnungsvorrichtung(en) 402 auf den Computer 101 oder auf ein anderes Computer-System übermittelt. Dort erfolgt eine automatisierte Detektion von Barcodes und Tönen bzw. Tonfolgen, die Zeitstempel repräsentieren, sowie eine automatisierte Decodierung der Barcodes und Töne bzw. Tonfolgen. Dadurch kann einzelnen Video-Frames bzw. Audio-Samples ein Zeitstempel zugeordnet werden. Ausgehend von diesen Zeitstempeln kann über die Frame-Rate bzw. Sample-Rate allen Frames bzw. Samples der Multimediadaten ein Zeitstempel zugeordnet werden. Dadurch kann der zeitliche Versatz von Frames bzw. Samples bestimmt werden, die von unterschiedlichen Geräten aufgezeichnet wurden. Dadurch ist eine Synchronisierung der Multimediadaten durchgeführt.
Das fünfte Ausführungsbeispiel schließt die Sonderfälle mit ein, in denen nur Videodaten oder nur Audiodaten miteinander synchronisiert werden.
Des Weiteren zeigt das fünfte Ausführungsbeispiel, wie die vorangegangenen Ausführungsbeispiele dazu erweitert werden können, Messdaten mit den Daten mehrerer Videokameras und/oder Tonaufzeichnungsvorrichtungen zu synchronisieren.
Ein besonderer Vorteil der vorliegenden Erfindung ist, dass, wie aus dem fünften Ausführungsbeispiel ersichtlich ist, die beteiligten Multimedia-Aufzeichnungsgeräte die visuell bzw. auditiv dargestellten Zeitstempel nicht notwendigerweise gleichzeitig erfassen müssen. Beispielsweise kann ein Nutzer der Reihe nach einzelne Videokameras 105 und Tonaufzeichnungsvorrichtungen 402 auf die Anzeige 106 bzw. den Lautsprecher 401 richten. Die jeweiligen Multimediadaten enthalten sodann unterschiedliche Zeitstempel. Durch Verknüpfung der Lage der Zeitstempel in den Multimediadaten (Frame-Nummer bzw. Sample-Nummer) und den Werten der Zeitstempel ist die Bestimmung der zeitlichen Beziehung zwischen den Multimediadaten jedoch jederzeit möglich.
Falls eine Videokamera sowohl Bild als auch Ton aufnimmt, so können gemäß dem erfinderischen Verfahren entweder die Bilddaten oder die Tondaten zur Synchronisierung herangezogen werden. Sollte sich beispielsweise herausstellen, dass die Bild-Qualität der aufgezeichneten Barcodes nicht ausreicht, um Barcodes zu detektieren und zu decodieren, so kann eine ebenfalls in den Videodaten vorhandene Tonspur zur Extraktion von Zeitstempeln verwendet werden.
6 zeigt beispielhaft, wie gemäß der Erfindung, speziell dem zweiten Ausführungsbeispiel, Zeitstempel in Multimediadaten und Messdaten eingebettet werden und wie die Daten miteinander synchronisiert werden. Videodaten 601 liegen in Einzelbildern bzw. Frames vor, wobei die genaue Codierung und Speicherung von Einzelbildern gemäß dem Stand der Technik in unterschiedlicher Weise geschehen kann und die vorliegende Erfindung nicht auf spezielle Verfahren diesbezüglich beschränkt ist. Die Frame-Rate betrage beispielhaft 100 Hz. Des Weiteren liegen Messdaten 602 in Form von Abtastwerten bzw. Samples vor, wobei die Art der Daten für die Erfindung unerheblich ist. Die Messdatenrate betrage 100 Hz.
Ohne Beschränkung der Allgemeinheit und zur Vereinfachung der Darstellung beginne (Zeitpunkt t = 0 s) die Systemzeit des Computers 101 in dem Zeitpunkt, in dem die Aufzeichnung der Messdaten 602 beginnt. In einem realen System setzt sich die Systemzeit aus Datum und Uhrzeit zusammen und ist beispielsweise als Sekundenanzahl seit dem 01.01.1980 gegeben, ergänzt um einen Millisekundenwert.
Im Beispiel von 6 seien die Zeitstempel sekündlich aktualisiert ausgegeben worden. Im Beispiel beginnt die Videoaufzeichnung 5 s nach Beginn der Messdatenaufzeichnung, also zu t = 5 s. Zum Zeitpunkt t = 10 s habe der Nutzer die Videokamera für die Dauer von 2 s auf die Anzeige 106 gerichtet. Dementsprechend sei gegeben, dass die Videodaten für die Dauer von 2 Sekunden Zeitstempel aufweisen, die in den Videodaten detektiert und fehlerfrei decodiert werden können. In 6 sind Video-Frames, in denen ein Barcode zu erkennen ist, mit der Systemzeit gekennzeichnet, die in dem Barcode dargestellt ist. Frames ohne Systemzeit repräsentieren Zeitpunkte, zu denen die Kamera nicht auf die Anzeige 106 gerichtet war (oder keine Barcodes detektiert werden können), sondern beispielsweise auf das eigentlich zu filmende Objekt 104.
Wie in den Ausführungsbeispielen beschrieben sind die Messdaten mit Zeitinformationen versehen, wobei im vorliegenden Beispiel Zeitstempel intermittierend in den eigentlichen Messdaten gespeichert sind. Im Fall des zweiten Ausführungsbeispiels sind die Messdaten durch die Sensorsohle 301 ansprechend auf den Erhalt eines Zeitstempels vom Computer 101 in die Messdaten abgelegt worden. Im vorliegenden Beispiel habe zu Beginn der Messung für die Dauer von 2,5 Sekunden eine Funkverbindung zwischen dem Computer 101 und der Sensorsohle 301 bestanden, sodass zwei Zeitstempel, t = 0 s und t = 1 s, an die Sensorsohle 301 übertragen und durch die Sensorsohle 301 in den Messdaten 602 gespeichert bzw. derart mit diesen verknüpft wurden, dass jeder Zeitstempel dem unmittelbar nach diesem Zeitstempel abgespeicherten Daten-Sample zugeordnet werden kann.
Zum Beenden der Messdatenaufzeichnung sei zum Zeitpunkt t = 59,5 s eine Funkverbindung zwischen dem Computer 101 und der Sensorsohle 301 aufgebaut worden, wobei über diese Funkverbindung ein Zeitstempel zum Zeitpunkt t = 60 s übertragen wurde, und die Messdatenaufzeichnung unmittelbar nach Übertragen dieses Zeitstempels beendet wurde. Die Videoaufzeichnung sei zum Zeitpunkt t = 70 s beendet worden.
Im erfindungsgemäßen Verfahren werden die in den Daten enthaltenen Zeitstempel detektiert und decodiert. In den Videodaten 601 steht mit Frame 500 ein Zeitstempel t = 10 s zur Verfügung, der für sich betrachtet jedoch irgendwo im Intervall [10 s, 11 s] liegt und damit eine Ungenauigkeit von bis zu 1 s aufweist. Bevorzugt werden die Video-Frames deshalb weiter detektiert und decodiert. Mit Frame 600 wird im Verfahren festgestellt, dass hier der Zeitstempel von t = 10 s (in Frame 599) auf t = 11 s wechselt. Damit ist die Systemzeit exakt bestimmt. Die Detektion der Zeitstempel in den Messdaten 602 ergibt einen ersten Zeitstempel t = 0 s vor Frame 0. Die weiteren Zeitstempel in den Messdaten 602 (t = 1 s und t = 60 s) können zur Validierung der Abtastrate der Sensorsohlen und ggf. zum Resampling der Daten verwendet werden, sind zur weiteren Synchronisierung jedoch nicht unbedingt nötig.
Die Zuordnung in den Videodaten 601 von Frame 600 auf t = 11 s ergibt, dass dem Frame 0 die Zeit 11 s – 600·0,01 s = 5 s zuzuordnen ist. Der Wert 0,01 s entspricht hierbei der Video-Frame-Dauer (Frame-Rate fps = 1/0,01 s). Anhand der Messdaten 602 errechnet das Verfahren, dass die Zeit t = 5 s dem Sample 0 + (5 s – 0 s)/0,01 s = 500 zuzuordnen ist. Der Wert 0,01 s entspricht hierbei der Messdatenrate. Somit ist die zeitliche Synchronisierung durch Zuordnung von Frame 0 (Videodaten 601) zu Sample 500 (Messdaten 602) vollzogen. Die synchronisierten Daten können als gemeinsamer, synchroner Datenstrom gespeichert werden, wie in 7 dargestellt. Um keine Messdaten zu verwerfen, für die keine synchronen Videodaten vorliegen, werden bevorzugt auch diese Messdaten gespeichert und der Videodatenstrom wie in 7 durch ausgekreuzte Bereiche dargestellt durch Leer-Frames gefüllt. Entsprechendes gilt umgekehrt auch für nicht vorliegende Messdaten.
Ein weiterer Aspekt der vorliegenden Erfindung betrifft die sichere Extraktion von Zeitinformationen aus den Multimediadaten. Dieser Aspekt ist nachfolgend beispielhaft für die bevorzugten Ausführungsbeispiele dargestellt, in denen Barcodes verwendet werden, um Zeitinformationen in Videodaten zu inkludieren.
Gemäß der Erfindung werden die Barcodes bc1, bc2, bc3, bc4, bc5 und bc6 von 6 aufeinander folgenden Frames detektiert. Wenn bc1 = bc2 = bc3 ! = bc4 = bc5 = bc6, d. h. wenn die Barcodes bc1 bis bc3 einen ersten gleichen Zeitstempel beinhalten, die Barcodes bc4 bis bc6 einen zweiten gleichen Zeitstempel beinhalten, und der erste und zweite Zeitstempel unterschiedlich sind, dann kann davon ausgegangen werden, dass im Frame von bc4 ein Sekundenwechsel stattfand. Mit dieser Bedingung wird eine Fehlinterpretation der Barcodes sehr unwahrscheinlich.
Für eine noch höhere Sicherheit der Extraktion von Zeitinformationen wird der Vorgang für die nachfolgenden Frames wiederholt und ein zweiter Sekundenwechsel mit Barcodes bc1' bis bc6' detektiert. Falls gilt: T(bc4') – T(bc4) = (F(bc4') – F(bc4))/fps wobei

T(bc): := der im Barcode bc kodierte Zeitstempel
F(bc): := die Frame-Folgenummer von bc
fps: := Frames per Second, also die Frame-Rate der Videodaten

Falls die zweite Bedingung erfüllt ist kann mit hoher Wahrscheinlichkeit davon ausgegangen werden, dass in aufeinander folgenden Video-Frames Barcodes korrekt detektiert wurden, deren Zeitstempel korrekt dekodiert wurden, und ein Sekundenwechsel frame-genau festgestellt wurde. Somit erlaubt das erfindungsgemäße Verfahren eine exakte Zuordnung einer Systemzeit zu einzelnen Video-Frames, und damit eine exakte Synchronisation der Videodaten.
Bei Audiodaten werden Zeitstempel gemäß der Erfindung durch eine zuverlässige Codierung (z. B. Doppeltonmehrfrequenz-Verfahren DTMF) der Zeitstempel übertragen. Um eine sichere Tonerkennung zu gewährleisten muss dieser Ton für eine Mindestzeit übertragen werden. Falls die Zeitstempel relativ lange sind, beispielsweise länger als eine Sekunde dauern, so wird als Start des Zeitsignals der Flankenanstieg des ersten Tons herangezogen.
Die vorliegende Erfindung ist nicht auf die beschriebenen Ausführungsbeispiele begrenzt. Dem Fachmann ist bekannt, dass die Synchronisierung von Multimediadaten auch auf andere Weise erfolgen kann, ohne von den hier offenbarten erfindungsgemäßen Konzepten abzuweichen.
Beispielsweise kann der Zeitstempel auch am Ende der Multimediasequenz liegen, anstatt am Beginn. Im Beispiel der Videoaufzeichnung bedeutet dies, dass der Nutzer zunächst das Objekt 104 filmt, und am Ende der Messperiode auf die Anzeige 106 schwenkt.
Des Weiteren ist die erfinderische Idee von speziellen Implementierungsaspekten unabhängig. Beispielsweise können Multimediadaten und/oder Messdaten auf dem verarbeitenden Computer-System zur Verarbeitung vorab gespeichert sein, oder sie können dem Computer-System über eine Datenverbindung zur Verarbeitungszeit übermittelt werden.

Claims

Verfahren zur Synchronisierung von ersten und zweiten Daten, dadurch gekennzeichnet, dass in die ersten und zweiten Daten Zeitinformationen eingebettet werden bzw. mit den Daten verknüpft werden, und anhand dieser Zeitinformationen eine zeitliche Ausrichtung der Daten durchgeführt wird.
Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass zumindest die ersten Daten Audio- und/oder Videodaten sind.
Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Einbettung der Zeitinformationen im Fall von Videodaten durch Anzeige von grafischen Zeitstempeln und Abfilmen der Zeitstempel durch die die Videodaten erzeugende Vorrichtung geschieht.
Verfahren gemäß einem der Ansprüche 1 bis 2, dadurch gekennzeichnet, dass die Einbettung der Zeitinformationen im Fall von Audiodaten durch Ausgabe von akustischen Zeitstempeln und Aufzeichnen der Zeitstempel durch die die Audiodaten erzeugende Vorrichtung geschieht.
Verfahren gemäß einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass die Zeitstempel, die den Videodaten oder Audiodaten erzeugenden Vorrichtungen ausgegeben werden, von einer gemeinsamen Zeitbasis stammen.
Verfahren gemäß einem der vorhergehenden Ansprüche 2 bis 5, dadurch gekennzeichnet, dass die Erzeugung der Zeitinformationen für Multimediadaten durch ein Computer-System erfolgt, und zur Einbettung in bzw. Verknüpfung mit Messdaten eine Messvorrichtung über eine Datenverbindung vom Computer-System Zeitstempel empfängt, und anhand der auf einer gemeinsamen Zeitbasis basierenden Zeitstempel eine zeitliche Synchronisierung von Multimediadaten und Messdaten durchgeführt wird.
Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Synchronisierung vor Ausgabe synchronisierter Daten abbricht, falls die zu synchronisierenden Daten keine zeitliche Überlappung aufweisen.