DE102017123319A1

DE102017123319A1 - Verfahren und System zur Erfassung und Synchronisation von Audio- und Videosignalen und Audio/Video-Erfassungs- und Synchronisationssystem

Info

Publication number: DE102017123319A1
Application number: DE102017123319.9A
Authority: DE
Inventors: Norbert Werner; Axel Schmidt; Konstantin Septinus; Björn Wolter
Original assignee: Sennheiser Electronic GmbH and Co KG
Current assignee: Sennheiser Electronic GmbH and Co KG
Priority date: 2017-10-09
Filing date: 2017-10-09
Publication date: 2019-04-11
Anticipated expiration: 2037-10-10
Also published as: DE102017123319B4; US20200265869A1; US11551725B2; WO2019072598A1

Abstract

Es wird ein Verfahren und ein System zur Erfassung und Synchronisation von Audio- und Videosignalen vorgestellt. Das Audiosignal und das Videosignal werden gemeinsam mit Timestamps jeweils aus einer dazugehörigen Systemuhr abgelegt. Die Erfindung bezieht sich auf eine Anpassung der Dauer einer erfassten Audiosequenz an die Dauer einer dazugehörigen Videosequenz, um Gleichlaufunterschiede der beiden Systemuhren auszugleichen. Außerdem wird ein Abgleich der beiden Systemuhren eingeführt, der auf einer Datenübertragung beruht, welche variable Wartezeiten für den Zugriff auf einen Übertragungskanal aufweist. Somit wird der Uhrenabgleich mit Mitteln ermöglicht, wie sie z.B. auf einem Smartphone zur Verfügung stehen,

Description

Die vorliegende Erfindung betrifft ein Verfahren und ein System zur Erfassung und Synchronisation von Audio- und Videosignalen.
Mobile Geräte, wie Smartphones, sind häufig mit einer leistungsfähigen Kamera ausgestattet. Durch eine Zoom-Funktion können auch Ereignisse in einem in größerem Abstand von der Kamera gefilmt werden. Dies kann beispielsweise eine Aufführung auf der Bühne in einer Schulaula betreffen, bei welcher der Nutzer des mobilen Gerätes (Kameraeinheit) im Publikum sitzt und eine Videoaufnahme von dem Geschehen auf der Bühne erzeugt. Eine Audioaufnahme mit einem in der Kameraeinheit enthaltenen Mikrofon liefert oft unbefriedigende Ergebnisse, da ungewollt viele Umgebungsgeräusche aus der direkten Umgebung der Kameraeinheit aufgezeichnet werden, während das gewünschte Audiosignal - z.B. der auf der Bühne gesprochene Text - zu leise erfasst wird und in den Umgebungsgeräuschen untergeht.
Zur Abhilfe kann ein externes Mikrofon verwendet werden. Dies kann beispielsweise ein Ansteck-Mikrofon sein, das ein Akteur auf der Bühne an seiner Kleidung befestigt hat und welches das von dem Akteur gesprochene oder gesungene Audiosignal, bzw. ein Gesamtaudiosignal aus seiner näheren Umgebung erfasst. Sofern ein externes Mikrofon über ein Kabel mit der Kameraeinheit verbunden ist, kann das Audiosignal von dem externen Mikrofon direkt zeitgleich und somit synchron gemeinsam mit dem erfassten Videosignal abgelegt werden. In vielen Anwendungsfällen - wie z.B. in der Aula - ist eine kabelgebundene Übertragung des Audiosignals jedoch nicht praktikabel.
Es ist erwünscht, das drahtlos gesendete Audiosignal ohne zusätzliche Hardware mit einer normalen Kameraeinheit, wie z.B. einem Smartphone, empfangen zu können. Für solche mobilen Endnutzergeräte stehen individualisierte drahtlose Datenübertragungsprotokolle zur Verfügung. Als Beispiel seien hier WLAN, Bluetooth, DECT, LTE oder Wi-Fi genannt, bei denen ein Datenstrom jeweils für ein bestimmtes Endgerät vorgesehen ist und unterteilt in einzelne Datenpakete an das empfangende Endgerät übertragen wird. Bei diesen Datenübertragungsprotokollen wird jedoch ein nicht vorhersagbarer Zeitversatz bei der Übertragung jedes einzelnen Datenpaketes in Kauf genommen, da die Nutzung eines Übertragungskanals dem Protokoll gemäß zwischen mehreren Sendegeräten koordiniert wird, sodass variable Wartezeiten für den Zugriff auf den Übertragungskanal entstehen. Außerdem ist die Übertragung normalerweise bidirektional vorgesehen, wobei ein empfangendes Gerät einen erfolgreichen Empfang quittiert, und bei fehlerhafter Übertragung wird ein Datenpaket erneut übertragen, was zusätzlich zu nicht vorhersagbaren Verzögerungen führt. Insgesamt kann eine Verzögerung von mehreren Sekunden auftreten. Ein so empfangenes Audiosignal ist gegenüber dem von der Kameraeinheit erfassten Videosignal um einen nicht bekannten Betrag in so einem Maße zeitversetzt, dass der Zeitversatz beim späteren Betrachten des Video/Audiosignals störend wahrgenommen wird. Ohne zusätzliche Synchronisationsmaßnahmen ist es nicht möglich, das Audiosignal bezüglich des Videosignals nachträglich an die korrekte Stelle zu verschieben.
Als weitere Alternative zu der drahtlosen Übertragung kommt eine Speicherung des Audiosignals in der externen Mikrofoneinheit infrage. Das Audiosignal der externen Mikrofoneinheit wird dann nachträglich mit dem Videosignal von der Kameraeinheit zusammengeführt. Auch in diesem Fall ergibt sich die Problemstellung, das Audiosignal bezüglich des Videosignals nachträglich an die korrekte Stelle auf der Zeitachse zu bringen.
DE 10 2010 038 838 A1 offenbart ein drahtloses Mikrofonsystem, bei dem eine Mikrofoneinheit ein Audiosignal erfasst und gemeinsam mit „Timestamps“ ablegt, und wobei eine Kameraeinheit gemeinsam mit dem Videosignal entsprechende Timestamps ablegt, und wobei die Kameraeinheit Synchronisationssignale aussendet, auf deren Basis die Mikrofoneinheit zum Videosignal passende Timestamps erzeugt.
WO2016162560A1 zeigt ein Verfahren zur Synchronisation von Audio- und Videosignalen mithilfe von optischen Synchronisationssignalen.
Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren und System zur Erfassung und Synchronisation von Audio/Videosignalen vorzusehen, die eine nachträgliche Synchronisation von zusammengehörigen Audio- und Videosignalen erlauben.
Diese Aufgabe wird durch eine Mikrofoneinheit nach Anspruch 1, ein System zur Erfassung und Synchronisation von Audio/Videosignalen nach Anspruch 2 und durch ein Verfahren zur Erfassung und Synchronisation von Audio/Videosignalen nach Anspruch 3 gelöst.
Somit wird eine Mikrofoneinheit mit einem Mikrofon zum Erfassen von Audiosignalen, einem Sender/Empfänger zur drahtlosen bidirektionalen Kommunikation mit einer Videoeinheit, welche eine erste Systemuhr mit einer ersten Zeitbasis aufweist, einer zweiten Systemuhr mit einer zweiten Zeitbasis, und einem Speicher zur digitalen Ablage eines mit dem Mikrofon erfassten Audiosignals und von Zeitsynchronisationsinformationen vorgesehen. Die Mikrofoneinheit ist dazu ausgestaltet ist, gemeinsam mit einem von dem Mikrofon erfassten Audiosignal mehrfach Audio-Timestamps im Speicher abspeichern, welche die jeweiligen Zeitpunkte der Erfassung des Audiosignals gemessen mit der zweiten Systemuhr angeben. Der Sender/Empfänger ist dazu ausgestaltet ist, mit der Videoeinheit über ein Datenübertragungsprotokoll zu kommunizieren, welches für eine koordinierte Nutzung eines verwendeten Übertragungskanals durch mehrere Sende- und Empfangsgeräte vorgesehen ist und welches Maßnahmen zur zeitlichen Koordination des Zugriffs von verschiedenen Geraten auf den Übertragungskanal aufweist, sodass variable Wartezeiten für den Zugriff auf den Übertragungskanal entstehen können. Die Mikrofoneinheit ist dazu ausgestaltet, über den Sender/Empfänger einen Abgleich zwischen der ersten Systemuhr und der zweiten Systemuhr durchzuführen, wobei das Abgleichergebnis einen Zeitwert der ersten Systemuhr und einen dazugehörigen Zeitwert der zweiten Systemuhr beinhaltet. Der Abgleich erfolgt, indem die Videoeinheit oder die Mikrofoneinheit als initiierende Einheit zunächst einen aktuellen Sendezeitwert aus ihrer Systemuhr ausliest und zwischenspeichert und umgehend einen ersten Übertragungsvorgang zu der anderen der beiden Einheiten initiiert, Die jeweils andere Einheit liest nach Abschluss des ersten Übertagungsvorgangs umgehend einen aktuellen Synchronisationszeitwert aus ihrer Systemuhr aus und überträgt diesen Synchronisationszeitwert in einem zweiten Übertagungsvorgang an die initiierende Einheit. Die initiierende Einheit liest beim Empfang der zweiten Übertagung umgehend einen aktuellen Empfangszeitwert aus ihrer Systemuhr aus und berechnet aus dem Sendezeitwert und dem Empfangszeitwert einen zu dem Synchronisationszeitwert gehörigen Zeitwert.
Gemäß einem weiteren Aspekt der Erfindung wird ein Audio/Video-Erfassungs- und Synchronisationssystem bestehend aus einer Mikrofoneinheit und einer Videoeinheit vorgesehen. Die Videoeinheit enthält eine Kameraeinheit zum Erfassen von Videosignalen, einen Sender/Empfänger zur drahtlosen bidirektionalen Kommunikation mit der Mikrofoneinheit, eine erste Systemuhr mit einer ersten Zeitbasis, und einen Speicher zur digitalen Ablage eines mit der Kameraeinheit erfassten Videosignals und von Zeitsynchronisationsinformationen. Die Videoeinheit (100) dazu ausgestaltet ist, gemeinsam mit einem von der Kameraeinheit erfassten Videosignal mehrfach Video-Timestamps im Speicher abspeichern, welche die jeweiligen Zeitpunkte der Erfassung des Videosignals gemessen mit der ersten Systemuhr angeben. Die Videoeinheit ist dazu ausgestaltet, über den Sender/Empfänger einen Abgleich zwischen der ersten Systemuhr und der zweiten Systemuhr durchzuführen.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zur Erfassung und Synchronisation von Audio- und Videosignalen vorgesehen, mit den Schritten: Aufzeichnung eines Videosignals mittels einer Videoeinheit und Speicherung des Videosignals gemeinsam mit Video-Timestamps, welche die jeweiligen Zeitpunkte der Erfassung des Videosignals gemessen mit einer ersten Systemuhr angeben, Aufzeichnung eines Audiosignals mittels einer Mikrofoneinheit und Speicherung des Audiosignals gemeinsam mit Audio-Timestamps, welche die jeweiligen Zeitpunkte der Erfassung des Audiosignals gemessen mit einer zweiten Systemuhr angeben, Ausführen eines Abgleichs zwischen der ersten Systemuhr und der zweiten Systemuhr, wobei das Abgleichergebnis einen Zeitwert der ersten Systemuhr und einen dazugehörigen Zeitwert der zweiten Systemuhr beinhaltet, Zusammenführung des Videosignals und des Audiosignals, wobei eine zeitliche Synchronisation auf Basis der Video-Timestamps, der Audio-Timestamps und des Abgleichergebnisses erfolgt.
Gemäß einem weiteren Aspekt der Erfindung werden mehrfach zu verschiedenen Zeitpunkten Abgleiche zwischen der ersten Systemuhr und der zweiten Systemuhr durchgeführt und Abgleichergebnisse abgespeichert.
Gemäß einem weiteren Aspekt der Erfindung enthält das Verfahren ferner den Schritt eines erneuten Abtastens des erfassten Audiosignals mit einer geänderten Abtastfrequenz, um die Länge des Audiosignals an die Länge des Videosignals anzupassen.
Gemäß einem weiteren Aspekt der Erfindung enthält das Verfahren zusätzlich die Schritte: Auslesen des Anfangszeitpunktes einer Videosequenz anhand der Video-Timestamps, Auslesen des Endzeitpunktes einer Videosequenz anhand der Video-Timestamps, Berechnung eines Audiostartzeitpunktes in der Audioaufzeichnung, der zu dem Anfangszeitpunkt der Videosequenz gehört, anhand der Audio-Timestamps und von Abgleichergebnissen, Berechnung eines Audioendzeitpunktes in der Audioaufzeichnung, der zu dem Endzeitpunkt der Videosequenz gehört anhand der Audio-Timestamps und von Abgleichergebnissen, Umskalierung der Audiosequenz zwischen dem Audiostartzeitpunkt und dem Audioendzeitpunkt, sodass die Dauer der umskalierte Audiosequenz nominal mit der Dauer der Videosequenz übereinstimmt, Zusammenführung der Videosequenz mit der umskalierten Audiosequenz.
Gemäß einem weiteren Aspekt der Erfindung erfolgt der Abgleich zwischen der ersten Systemuhr und der zweiten Systemuhr durch eine Pingpong-Synchronisation. Ein Datenpaket wird von der Videoeinheit an die Audioeinheit übermittelt und das Paket dann von der Audioeinheit an die Videoeinheit Übermittelt, um einen Vergleich einer Systemuhr der Videoeinheit und einer Systemuhr der Audioeinheit durchzuführen, um eine Verschiebung zwischen der Systemuhr der Videoeinheit und der Mikrofoneinheit zu ermitteln.
Gemäß einem weiteren Aspekt der Erfindung erfolgt der Abgleich zwischen der ersten Systemuhr und der zweiten Systemuhr über eine bidirektionale drahtlose Verbindung zwischen der Videoeinheit und der Mikrofoneinheit erfolgt. Dabei wird ein Datenübertragungsprotokoll verwendet wird, welches für eine koordinierte Nutzung eines verwendeten Übertragungskanals durch mehrere Sende- und Empfangsgeräte vorgesehen ist und welches Maßnahmen zur zeitlichen Koordination des Zugriffs von verschiedenen Geräten auf den Übertragungskanal aufweist, sodass variable Wartezeiten für den Zugriff auf den Übertragungskanal entstehen können. Der Abgleich erfolgt, indem die Videoeinheit oder die Mikrofoneinheit als initiierende Einheit zunächst einen aktuellen Sendezeitwert aus ihrer Systemuhr ausliest und zwischenspeichert und umgehend einen ersten Übertragungsvorgang zu der anderen der beiden Einheiten initiiert, und wobei die jeweils andere Einheit nach Abschluss des ersten Übertagungsvorgangs umgehend einen aktuellen Synchronisationszeitwert aus ihrer Systemuhr ausliest und diesen Synchronisationszeitwert in einem zweiten Übertagungsvorgang an die initiierende Einheit überträgt. Die initiierende Einheit liest beim Empfang der zweiten Übertagung umgehend einen aktuellen Empfangszeitwert aus ihrer Systemuhr aus und berechnet aus dem Sendezeitwert und dem Empfangszeitwert einen zu dem Synchronisationszeitwert gehörigen Zeitwert.
Gemäß einem weiteren Aspekt der Erfindung wird ein erster Abgleich zwischen der ersten Systemuhr (120) und der zweiten Systemuhr (220) zu Beginn einer Videoaufzeichnung initiiert und ein zweiter Abgleich mit dem Ende der Videoaufzeichnung initiiert. Weitere Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Vorteile und Ausführungsbeispiele der Erfindung werden nachstehend unter Bezugnahme auf die Zeichnungen näher erläutert.

1A zeigt eine schematische Darstellung eines Systems zur Erfassung und Synchronisation von Audio- und Videosignalen gemäß einem ersten Ausführungsbeispiel,
1B zeigt eine schematische Darstellung eines externen Geräts, in dem optional eine Verarbeitung von Video- und Audiodaten durchgeführt werden kann,
2 zeigt eine schematische Darstellung von Systemuhren der Videoeinheit und der Audioeinheit,
3 zeigt eine weitere schematische Darstellung der Systemuhren der Videoeinheit und der Audioeinheit bei unterschiedlich schnell laufenden Systemuhren,
4 zeigt eine schematische Darstellung einer Bearbeitung der gemäß 3 erfassten Audioaufzeichnung,
5 zeigt eine schematische Darstellung einer korrigierten Audiodatei und Videodatei gemäß einem Aspekt der vorliegenden Erfindung,
6 zeigt eine schematische Darstellung der ersten Systemuhr und der zweiten Systemuhr über der Zeit gemäß einem Aspekt der vorliegenden Erfindung,
7A zeigt eine schematische Darstellung einer Synchronisation zwischen einer Videoeinheit und einer Audioeinheit,
7B zeigt eine schematische Darstellung einer Synchronisation zwischen einer Videoeinheit und einer Audioeinheit gemäß einem Aspekt der Erfindung,
8 zeigt eine schematische Darstellung einer Synchronisationsmessung gemäß einem Aspekt der vorliegenden Erfindung, und
9 zeigt eine schematische Darstellung der aus einer Synchronisationsmessung ermittelten Verschiebung der Systemuhren der Videoeinheit und der Mikrofoneinheit.

1 zeigt einen Anwendungsfall einer Mikrofoneinheit und einer Videoeinheit gemäß einem ersten Ausführungsbeispiel der Erfindung. Auf einer Bühne 101 befindet sich ein Akteur 102. Von einem Zuschauerraum aus wird mit einer Kameraeinheit 100 eine Videoaufnahme des Geschehens auf der Bühne erzeugt. Auf der Bühne 101 befindet sich bei dem Akteur 102 eine Mikrofoneinheit 200. Diese kann beispielsweise als Ansteck-Mikrofon, als handgehaltenes Mikrofon oder als ein über ein Kabel mit einem Mikrofon verbundene Tascheneinheit ausgestaltet sein. Optional kann die Mikrofoneinheit 200 auch getrennt von dem Akteur, beispielsweise auf einem Mikrofonständer auf der Bühne 101 positioniert sein.
Die Videoeinheit 100 in 1 weist einen Sender/Empfänger 110, eine erste Systemuhr 120 mit einer ersten Zeitbasis, eine Kameraeinheit 130 zum Aufzeichnen eines Videosignals sowie optional eine erste Synchronisationseinheit 140 auf. Außerdem weist die Videoeinheit 100 einen Speicher 150 auf, in welchem unter anderem ein aufgezeichnetes Videosignal abgelegt werden kann. Als Videoeinheit 100 kommt insbesondere ein normales mobiles Endnutzergerät wie z.B. ein Smartphone infrage, welches eine digitale Erfassung eines Videosignals erlaubt und das für eine drahtlose bidirektionale Übertagung von digitalen Daten vorgesehen ist. Für die Anwendung im Rahmen der Erfindung kann auf der Videoeinheit eine entsprechende Software installiert werden.
Die Mikrofoneinheit 200 weist gemäß dem ersten Ausführungsbeispiel einen Sender/Empfänger 210, eine zweite Systemuhr 220 mit einer zweiten Zeitbasis, ein Mikrofon 230 zum Erfassen eines Audiosignals sowie eine zweite Synchronisationseinheit 240 auf. Die Aufzeichnung des Audiosignals der Mikrofoneinheit erfolgt in digitaler Form durch Abtastung des von dem Mikrofon 230 erfassten Signals unter Verwendung einer in der Mikrofoneinheit 200 erzeugten Abtastrate (Samplerate). Die Mikrofoneinheit 200 weist einen Speicher 250 auf, in welchem unter anderem ein aufgezeichnetes Audiosignal abgelegt werden kann.
Der Sender/Empfänger 110 der Videoeinheit 100 kann drahtlos mit dem Sender/Empfänger 210 der Mikrofoneinheit 200 kommunizieren. Die Erfassung der Synchronisation kann durch die erste Synchronisationseinheit 140 oder durch die zweite Synchronisationseinheit 240 erfolgen.
Die Videoeinheit 100 kann anhand der ersten Systemuhr 120 gemeinsam mit einem erfassten Videosignal mehrfach Zeitpunktinformationen (Video-Timestamps) abspeichern, welche die jeweiligen Zeitpunkte der Erfassung des Videosignals - gemessen mit der ersten Systemuhr 120 - angeben. Entsprechend kann die Mikrofoneinheit 200 anhand der zweiten Systemuhr 220 gemeinsam mit einem von der Mikrofoneinheit erfassten Audiosignal mehrfach Zeitpunktinformationen (Audio-Timestamps) abspeichern, welche die jeweiligen Zeitpunkte der Erfassung des Audiosignals - gemessen mit der zweiten Systemuhr 220 - angeben.
Ein erstes Problem ergibt sich daraus, dass der zeitliche Versatz zwischen der ersten Systemuhr 120 und der zweiten Systemuhr 220 normalerweise unbekannt ist, sodass die auf beiden Geräten erfassten Zeitpunktinformationen allein nicht ausreichen, um nachträglich eine zeitlich korrekte Zuordnung zwischen dem Videosignal und dem Audiosignal zu ermöglichen. Gemäß einem Aspekt der vorliegenden Erfindung wird daher ein Abgleich zwischen den beiden Systemuhren 120 und 220 durchgeführt, wobei der Abgleich durch eine besondere Nutzung eines auf einem Endnutzergerät verfügbaren Datenprotokolls beruht, welches eigentlich nicht dafür vorgesehen ist, einen vorhersagbaren Zeitversatz bei der Übertragung zu gewährleisten. Eine genauere Beschreibung dieser Nutzung eines solchen Datenprotokolls folgt weiter unten zu 7A bis 9.
Der Abgleich erfolgt durch gleichzeitige Ermittlung des Zeitwertes der ersten Systemuhr 120 und der zweiten Systemuhr 220. Die beiden gleichzeitig ermittelten Zeitwerte können dann gemeinsam abgespeichert werden. Die Speicherung der beiden zusammengehörigen Zeitwerte kann im Speicher 250 der Mikrofoneinheit 200 und/oder im Speicher 150 der Videoeinheit 100 erfolgen. Durch den Zugriff auf diese gespeicherte Information kann später eine korrekte zeitliche Zuordnung zwischen dem mit Video-Timestamps auf Basis der ersten Systemuhr 120 aufgezeichneten Videosignal und dem mit Audio-Timestamps auf Basis der zweiten Systemuhr 220 aufgezeichneten Audiosignal durchgeführt werden. Es ist dazu nicht erforderlich, eine der Systemuhren 120 und 220 zu verstellen, sondern es wird lediglich die Information der Zeitwerte der beiden Systemuhren zu einem gemeinsamen Zeitpunkt ermittelt und abgespeichert.
Geschwindigkeits-Unterschiede der Systemuhren:
Ein zweites Problem ergibt sich aus der Tatsache, dass die beiden Systemuhren normalerweise nicht exakt gleich schnell laufen. Das kann dazu führen, dass eine von der Videoeinheit 100 erfasste Videosequenz, die zu einem realen Startzeitpunkt beginnt und zu einem realen Endzeitpunkt endet, in der Messung gemäß der ersten Systemuhr 120 länger oder kürzer erscheint als die real verstrichene Zeitspanne. Das Gleiche gilt für die zweite Systemuhr 220, sodass auch die von der Mikrofoneinheit 200 erfasste Audiosequenz, die zu dem realen Startzeitpunkt beginnt und zu dem realen Endzeitpunkt endet, in der Messung gemäß der zweiten Systemuhr 220 länger oder kürzer erscheint als die real verstrichene Zeitspanne. Unabhängig von der real verstrichenen Zeitspanne hat somit bei ungleich schnell laufenden Systemuhren 120 und 220 die Videosequenz in der Messung mit der ersten Systemuhr 120 eine andere Dauer als die zugehörige Audiosequenz in der Messung mit der zweiten Systemuhr 220. Um diesem Problem zu begegnen, wird der Abgleich zwischen den beiden Systemuhren erfindungsgemäß mehrfach, also zu verschiedenen Zeitpunkten durchgeführt und das Ergebnis mehrfach wie oben beschrieben abgespeichert. Optional kann ein erster Abgleich vor oder mit Beginn einer Videoaufzeichnung vorgesehen werden und ein zweiter Abgleich mit oder nach Beendigung der Videoaufzeichnung durchgeführt werden. Alternativ kann ein Abgleich vor Beginn einer Veranstaltung und ein zweiter Abgleich nach Beendigung einer Veranstaltung durchgeführt werden. Es kann auch regelmäßig ein Abgleichversuch eingeplant werden, wobei nur dann ein Ergebnis erzeugt wird, wenn eine drahtlose oder drahtgebundene Verbindung zwischen der Videoeinheit 100 und der Mikrofoneinheit 200 besteht, die den Abgleich erlaubt.
Anhand von gespeicherten Abgleichergebnissen, die zu verschiedenen Zeitpunkten ermittelt wurden, kann die ungleiche Geschwindigkeit zwischen der ersten und der zweiten Systemuhr vermessen werden und diese Information bei der Zusammenführung von dem Video- und dem Audiosignal verarbeitet werden. Wenn beispielsweise ein Videosignal in der Messung mit der ersten Systemuhr 120 eine Dauer von 1000 Sekunden aufweist und ein während der gleichen realen Zeitspanne aufgezeichnetes Audiosignal in der Messung mit der zweiten Systemuhr 220 eine Dauer von 1001 Sekunden aufweist, so kann das Audiosignal so verarbeitet werden, dass es auf eine Dauer von 1000 Sekunden umskaliert wird. Für das digital aufgezeichnete Audiosignal kann das mit einem bekannten Algorithmus zur Sampleratekonvertierung durchgeführt werden. Im Ergebnis steht dann ein Audiosignal zur Verfügung, dessen Dauer nominal genau 1000 Sekunden beträgt und das auch in der Anzahl der so ermittelten Audioabtastwerte exakt zu dem aufgezeichneten Videosignal passt.
1B zeigt eine schematische Darstellung eines externen Geräts 300, in dem optional eine Verarbeitung von Video- und Audiodaten durchgeführt werden kann, Gemäß einem Aspekt der vorliegenden Erfindung kann das Videosignal der Videoeinheit 100 und das Audiosignal der Mikrofoneinheit 200 in einem externen Gerät 300 verarbeitet werden. Dazu kann das externe Gerät über einen Senderempfänger 310 sowie über eine Audiosignalabtasteinheit 320 verfügen. Die Audiosignalabtasteinheit kann alternativ dazu auch einen Teil der Videoeinheit 100 darstellen.
Gemäß einem Aspekt der vorliegenden Erfindung kann die Videoeinheit 100 als ein Smartphone ausgestaltet sein.
2 zeigt eine schematische Darstellung von Systemuhren der Videoeinheit und der Audioeinheit gemäß dem ersten Ausführungsbeispiel. In 2 ist eine Systemuhr der Videoeinheit 100 und eine Systemuhr der Audioeinheit 200 auf einer Zeitachse dargestellt. Eine erste Synchronisierung Sync1 erfolgt zu Beginn der Audio- und/oder Videoaufnahme und dient dazu, den Versatz zwischen der Systemuhr 120 der Videoeinheit 100 und der Systemuhr 220 der Audioeinheit 200 zu erfassen. Die Zeitdifferenz zwischen der ersten und zweiten Systemuhr ist dann konstant, wenn beide Systemuhren mit gleicher Geschwindigkeit betrieben werden. Da die erste und zweite Systemuhr jedoch aufgrund von Toleranzen (Toleranzen der Quarze, Temperaturschwankungen) nicht gleich schnell sind, erfolgt gemäß der Erfindung eine zweite Synchronisierung Sync2 am Ende der Audio- und/oder Videoaufzeichnung. Dadurch, dass eine erste und zweite Synchronisierung Sync1, Sync2 erfolgt ist, kann daraus ein Geschwindigkeitsunterschied der beiden Systemuhren ermittelt werden. Wenn der Geschwindigkeitsunterschied bekannt ist, kann er entsprechend beispielsweise durch Neuabtastung der Audiosignale des Mikrofons 200 ausgeglichen werden.
Zum Ausgleich der Geschwindigkeitsunterschiede der ersten und zweiten Systemuhr kann das Audiosignal des Mikrofons 200 erneut mit einer angepassten Abtastfrequenz abgetastet werden. Wenn dies erfolgt ist, dann passt das Videosignal zu dem neuen Audiosignal. Die erneute Abtastung des Audiosignals kann rechnerisch aus der ursprünglichen Audiosignal des Mikrofons 200 ermittelt werden.
Gemäß einem Aspekt der vorliegenden Erfindung können das Audiosignal sowie das Videosignal in einem Gerät 300 zusammengefügt werden. Dieses Gerät 300 kann beispielsweise ein Smartphone, Tablet oder dergleichen darstellen, welches auch die Videoeinheit aufweist. Alternativ dazu kann ein externes Gerät verwendet werden.
3 zeigt eine weitere schematische Darstellung der Systemuhren der Videoeinheit und der Audioeinheit bei unterschiedlich schnell laufenden Systemuhren. In 3 sind eine Videoaufzeichnung VR und eine Audioaufzeichnung AR auf einer Zeitachse dargestellt. Hierbei erfolgen ein Start der Aufzeichnung bei S1 und ein Stopp der Aufzeichnung bei S2. Die Videoaufnahme VR beginnt zu einem Zeitpunkt S1, zu dem die erste Systemuhr 120 einen Zeitpunkt „17“ angibt. Die Videoaufnahme VR endet zu einem Zeitpunkt S2, zu dem die erste Systemuhr 120 einen Zeitpunkt „23“ angibt. Zum Zeitpunkt S1 gibt die zweite Systemuhr 220 für die Audioaufzeichnung AR einen Zeitpunkt „51“ an und zum Zeitpunkt S2, gibt die zweite Systemuhr 220 einen Zeitpunkt „59“ an, Da die zweite Systemuhr 220 der Mikrofoneinheit 200 in diesem Beispiel eine größere Geschwindigkeit aufweist als die Systemuhr der Videoeinheit, ist die Audioaufzeichnung AR nominal länger als die Videoaufzeichnung. Damit sind die beiden Signale bei gleicher Zeitbasis unterschiedlich lang.
4 zeigt eine schematische Darstellung einer erfindungsgemäßen Bearbeitung der gemäß 3 erfassten Audioaufzeichnung AR. In 4 wird insbesondere dargestellt, wie eine Korrektur der Abtastfrequenz des Audiosignals erfolgt. In 4 ist die Audioaufzeichnung AR sowie die neu abgetastete Audioaufzeichnung AR1 dargestellt. Um die unterschiedlichen Geschwindigkeiten der ersten und zweiten Systemuhr auszugleichen, wird das Audiosignal rechnerisch mit einer geänderten Abtastfrequenz erneut abgetastet. Dieses neu abgetastete Audiosignal ist als Audiosignal AR1 darstellt in 4. Das Audiosignal AR1 entspricht von der enthaltenen Audioinformation zur Darstellung eines kontinuierlichen Audiosignals her der ursprünglich erfassten Audioaufzeichnung AR, ist aber auf eine Dauer von einem Messzeitpunkt „17“ bis zu einem Messzeitpunkt „23“ umskaliert, so dass sich die Abtastzeitpunkte der ursprünglich erfassten Darstellung AR und der rechnerisch ermittelten Darstellung AR1 voneinander unterscheiden.
5 zeigt eine schematische Darstellung einer korrigierten Audiodatei und Videodatei gemäß einem Aspekt der vorliegenden Erfindung. In 5 ist nunmehr das Audiosignal AR1 mit derselben Systemuhr bzw. Abtastfrequenz wie die Videoaufzeichnung VR vorgesehen, d. h. diese beiden Signale weisen die gleiche Zeitbasis auf. Dadurch wird bewirkt, dass die Audioaufzeichnung und die Videoaufzeichnung AR1, VR synchron sind.
Gemäß einem Aspekt der vorliegenden Erfindung können anstatt einer erneuten Abtastung des Audiosignals Teile aus dem aufgezeichneten Audiosignal entfernt oder synthetische Abschnitte können hinzugefügt werden, um die Länge der Audioaufzeichnung zu verringern oder zu vergrößern und die Länge der Audioaufzeichnung an die Länge der Videoaufzeichnung anzupassen.
Auch wenn eine drahtlose Verbindung zwischen der Videoeinheit 100 und der Mikrofoneinheit 200 zu Beginn und/oder zum Ende einer Videoaufzeichnung nicht verfügbar ist, kann aus gespeicherten Systemuhr-Abgleichergebnissen, die zu verschiedenen Zeitpunkten ermittelt wurden, nachträglich zu jedem gewünschten Zeitwert der ersten Systemuhr 120 näherungsweise ein Zeitwert berechnet werden, den die zweite Systemuhr 220 zu dem zugehörigen Zeitpunkt gehabt hat. Dazu kann davon ausgegangen werden, dass beide Systemuhren für sich annähernd mit konstanter Geschwindigkeit laufen.
6 zeigt eine schematische Darstellung der ersten Systemuhr 120 und der zweiten Systemuhr 220 über der Zeit t. Zu einem ersten Zeitpunkt T1, zu dem die erste Systemuhr 120 einen Zeitwert A1 aufwies, hat ein erster Abgleich stattgefunden. Aus diesem ersten Abgleich ist bekannt, dass die zweite Systemuhr 220 zu diesem ersten Zeitpunkt T1 einen Zeitwert B1 aufwies. Zu einem anderen, zweiten Zeitpunkt T2, zu dem die erste Systemuhr 120 einen Zeitwert A2 aufwies, hat ein zweiter Abgleich stattgefunden. Aus diesem zweiten Abgleich ist bekannt, dass die zweite Systemuhr 220 zu diesem zweiten Zeitpunkt T2 einen Zeitwert B2 aufwies.
Hat nun beispielsweise eine Videoaufzeichnung zu einem dritten Zeitpunkt T3 begonnen, zu dem die erste Systemuhr 120 einen Zeitwert A3 aufwies, und der als Video-Timestamp mit dem Videosignal abgelegt wurde, zu dem aber kein Abgleich der Systemuhren stattgefunden hat, so kann der Zeitwert B3, den die zweite Systemuhr zu diesem dritten Zeitpunkt T3 gehabt hat, nach folgender Formel berechnet werden: $B 3 = B 1 + (B 2 - B 1) / (A 2 - A 1) * (A 3 - A 1)$
In 6 ist der Fall dargestellt, dass der dritte Zeitpunkt T3 zwischen den beiden Abgleichzeitpunkten T1 und T2 liegt. Die Formel ist jedoch auch anwendbar, wenn das nicht der Fall ist. Dies kann beispielsweise vorteilhaft sein, wenn zunächst kein Systemuhren-Abgleich stattgefunden hat, bevor die Mikrofoneinheit 200 ein Audiosignal einschließlich zugehöriger Audio-Timestamps im ihrem Speicher 250 abgelegt hat und die Videoeinheit 100 ebenfalls ein Videosignal einschließlich zugehöriger Video-Timestamps in ihrem Speicher 150 abgelegt hat, und wobei das Videosignal eine Video-Timestamp mit einem Zeitwert A3 aufweist. Wenn nun erst nach der Aufzeichnung dieser beiden Signale zu zwei unterschiedlichen Zeitpunkten T1 und T2 ein erster und ein zweiter Systemuhr-Abgleich nachgeholt wird, kann trotzdem anhand der angegebenen Formel näherungsweise auch nachträglich der Zeitwert B3 bestimmt werden, den die zweite Systemuhr 220 zu dem Zeitpunkt T3 hatte.
Im Grunde genügen also zwei Systemuhr Abgleich-Ergebnisse, die zu zwei unterschiedlichen Zeitpunkten ermittelt wurden, um zu jedem beliebigen Zeitwert A3 der ersten Systemuhr 120 einen zugehörigen Zeitwert B3 zu berechnen, den die zweite Systemuhr 220 zu diesem Zeitpunkt gehabt hat. Zur Erzielung einer hohen Genauigkeit sollten jeweils möglichst Abgleichzeitpunkte für die Berechnung verwendet werden, die zeitlich in der Nähe der jeweils betrachteten Zeitpunkte liegen. Für die Genauigkeit ist es außerdem vorteilhaft, wenn die beiden Abgleichzeitpunkte nicht zu dicht beieinander liegen.
Die beschriebene Berechnung zusammengehöriger Zeitwerte der ersten und zweiten Systemuhr kann sowohl auf Beginn- als auch auf Endzeitpunkte einer Videosequenz angewendet werden sowie auch für sonstige Werte von zusätzlichen Zeit-Stützstellen.
Systemuhren-Abgleich über Datenübertragungsprotokoll:
Wie oben erläutert, basiert der Abgleich der ersten Systemuhr 120 mit der zweiten Systemuhr 220 auf einer gleichzeitigen Ermittlung des Zeitwertes der ersten Systemuhr 120 und der zweiten Systemuhr 220. Allerdings steht auf vielen Endgeräten, wie insbesondere Smartphones, kein drahtloses Datenübertragungsprotokoll zu Verfügung, das einen vorhersagbaren Zeitversatz bei der Übertragung gewährleisten würde. Eine Übertragung beispielsweise über WLAN, Bluetooth, DECT, LTE oder Wi-Fi beinhaltet wie oben erläutert einen nicht vorhersagbaren Zeitversatz, sodass ein Zeitabgleich durch eine einfache Übergabe eines Zeitwertes z.B. von der ersten Systemuhr 120 über ein derartiges Übertragungsprotokoll an die Mikrofoneinheit nicht den gewünschten Effekt eines definierten gleichzeitigen Ermittelns der Zeitwerte der beiden Systemuhren mit hinreichender Genauigkeit erbringen könnte.
Im Folgenden wird deshalb ein Verfahren gemäß einem Aspekt der Erfindung dargestellt, bei dem der Abgleich durch eine besondere Nutzung eines auf einem Endnutzergerät verfügbaren Datenübertragungsprotokolls beruht, welches eigentlich nicht dafür vorgesehen ist, einen vorhersagbaren Zeitversatz bei der Übertragung zu gewährleisten.
Gemäß einem zweiten Ausführungsbeispiel wird der Abgleich mittels eines Verfahrens durchgeführt, das im Folgenden anschaulich als „Pingpong-Synchronisation“ bezeichnet werden soll. Hierbei wird ein Datenpaket von einem der Geräte an das andere Gerät übermittelt und anschließend übermittelt das zweite Gerät das Datenpaket zusammen mit einem Zeitwert seiner Systemuhr zurück an das erste Gerät.
7A zeigt eine schematische Darstellung einer Synchronisation zwischen einer Videoeinheit und einer Audioeinheit gemäß einem zweiten Ausführungsbeispiel der Erfindung. In 7A ist auf einer Zeitachse eine Synchronisation gemäß der Erfindung gezeigt, wobei in dem dargestellten Beispiel die Übertragung der Daten von der Videoeinheit 100 an die Mikrofoneinheit 200 und zurück gleiche Übertragungszeiten aufweist. Die Videoeinheit 100 liest zunächst ihren aktuellen Zeitwert t_A,Send aus der ersten Systemuhr 120 aus, speichert diesen Wert zwischen und sendet umgehend ein Datenpaket über ein verfügbares Datenübertragungsprotokoll an die Mikrofoneinheit 200. Dieser Übertagungsvorgang PI („Ping“) startet den Abgleich. Die Mikrofoneinheit 200 empfängt das Datenpaket und antwortet umgehend, indem sie ihrerseits ihren aktuellen Zeitwert t_B aus der zweiten Systemuhr 220 ausliest und diesen ausgelesenen Zeitwert mit einem zweiten Übertagungsvorgang PO („Pong“) an die Videoeinheit 100 überträgt. Beim Empfang der zweiten Übertagung PO liest die Videoeinheit 100 umgehend erneut ihren aktuellen Zeitwert t_A,receive aus der ersten Systemuhr 120 aus.
Die Videoeinheit 100 kennt nun also den Stand t_A,send der ersten Systemuhr 120 zum Zeitpunkt des Beginns der Übertragung PI und den Stand t_A,receive der ersten Systemuhr 120 zum Zeitpunkt des Endes der Übertragung PO. Die Videoeinheit 100 kann dann aus diesen beiden aus der ersten Systemuhr 120 ausgelesenen Zeitwerten einfach durch Mittelwertbildung einen Zeitwert t_A,B berechnen, der mittig zwischen diesen beiden Zeitwerten liegt und der somit eine erste plausible Abschätzung für den Zeitwert bildet, den die erste Systemuhr 120 zu dem Zeitpunkt aufwies, zu dem aus der zweiten Systemuhr 220 der Zeitwert t_B ausgelesen wurde: $t_{A,B} = t_{A,send} + (t_{A,recelve} - t_{A,send}) / 2$
In 7A ist der Optimalfall dargestellt, bei dem sowohl bei der ersten Übertragung PI als auch bei der zweiten Übertragung PO keine unkontrollierbaren Verzögerungen aufgetreten sind. Außerdem ist in 7A eine identische Übertragungszeit für die erste Übertragung PI und die zweite Übertragung PO angenommen. Bei dem in 7A dargestellten Optimalfall entspricht der so berechnete Zeitwert t_A,B sogar exakt dem gesuchten Zeitwert, den die erste Systemuhr 120 zu dem Zeitpunkt gehabt hat, als die zweite Systemuhr 220 den Zeitwert t_B ausgegeben hat.
Aus der zweiten Übertragung PO steht der Videoeinheit 100 zusätzlich dieser Zeitwert t_B zur Verfügung, den die zweite Systemuhr 220 zum Zeitpunkt zwischen den Übertragungen PI und PO gehabt hat. In der Videoeinheit 100 steht mit t_A,B und t_B also ein AbgleichErgebnis zur Verfügung, das den Stand der beiden Systemuhren 120 und 220 zu einem gemeinsamen Zeitpunkt repräsentiert und das zur späteren Verwendung im Speicher 150 abgelegt werden kann. Somit ist eine gleichzeitige Erfassung der Zeitwerte der beiden Systemuhren erfolgt, sodass der gewünschte Systemuhren-Abgleich gelungen ist.
Optional kann das Abgleichergebnis in einer weiteren Datenübertragung auch an die Mikrofoneinheit 200 übertragen und auch dort im Speicher 250 abgelegt werden. Der beschriebene Start des Abgleichs kann in völlig gleicher Weise auch von der Mikrofoneinheit 200 ausgelöst werden, sodass die Mikrofoneinheit 200 und die Videoeinheit 100 dann genau umgekehrte Rollen übernehmen.
Wie eingangs erläutert, weisen die verfügbaren Datenübertragungsprotokolle - insbesondere verursacht durch unbekannte Wartezeiten auf den Zugriff auf einen gemeinsam mit anderen Geräten genutzten Übertragungskanal - nicht vorhersagbare Verzögerungszeiten auf. Bei der beschriebenen Pingpong-Synchronisation kann sowohl der erste Übertragungsvorgang PI als auch der zweite Übertragungsvorgang PO somit undefiniert in die Länge gezogen werden. Es ist auch weder für das jeweils sendende noch für das jeweils empfangende Gerät möglich, die bei einer einzelnen Übertragung aufgetretene Übertragungszeit zu ermitteln. Dies kann dazu führen, dass der berechnete Zeitwert t_A,B von dem tatsächlichen Zeitwert abweicht, den die erste Systemuhr 120 zu dem Zeitpunkt gehabt hat, als die zweite Systemuhr 220 den Zeitwert t_B ausgegeben hat.
7B zeigt eine schematische Darstellung der Synchronisation zwischen einer Videoeinheit 100 und einer Audioeinheit 200 für einen solchen Fall. Die erste Übertragung PI erfolgte hier wie im Optimalfall aus 7A ohne eine Verzögerung. Bei der zweiten Übertragung PO musste jedoch auf die Nutzung des verwendeten Übertragungskanals gewartet werden, sodass die zweite Übertragung PO länger gedauert hat. Bei der Berechnung des Zeitwertes t_A,B aus den hier aus der ersten Systemuhr 120 ausgelesenen Zeitwerten t_A,send und t_A,receive ergibt sich ein Fehler e_A,B , der die Abweichung zwischen dem berechneten Wert t_A,B und dem tatsächlichen Zeitwert angibt, den die erste Systemuhr 120 zu dem Zeitpunkt hatte, als aus der zweiten Systemuhr 220 der Zeitwert t_B ausgelesen wurde. Da nicht bekannt ist, ob die Verzögerung beim ersten Übertragungsvorgang PI oder beim zweiten Übertragungsvorgang PO oder ggf. bei beiden Übertragungsvorgängen aufgetreten ist, stellt die oben angegebene Formel zur Berechnung des Zeitwertes t_A,B aber die beste Abschätzung dar, die sich aus einem einzelnen Pingpong-Zyklus bestimmen lässt.
8 zeigt eine schematische Darstellung einer Synchronisationsmessung gemäß einem Aspekt der vorliegenden Erfindung. Mit dem Ziel einer Reduzierung des Fehlers e_A,B werden hier nacheinander mehrere Übertragungsvorgänge PI und PO durchgeführt. In 8 ist eine solche Serie von drei Pingpong-Zyklen a, b und c zwischen der Videoeinheit 100 und der Mikrofoneinheit 200 auf einer Zeitachse dargestellt.
Um nun aus der Serie von Pingpong-Zyklen einen Zeitabgleich mit einem möglichst geringen Fehler e_A,B , zu erzeugen, kann derjenige Pingpong-Zyklus aus der Serie ausgewählt werden, der insgesamt die kürzeste Dauer aufwies. In 8 ist dies der Pingpong-Zyklus a. Die Videoeinheit 100 kann anhand der zu jedem Pingpong-Zyklus gespeicherten Zeitwerte t_A,send und t_A,receive den kürzesten Pingpong-Zyklus erkennen. Der kürzeste Pingpong-Zyklus ist offensichtlich mit den wenigsten Verzögerungen belastet, sodass dieser kürzeste Zyklus die beste Abschätzung für einen Zeitabgleich liefert. Sofern der Übertragungskanal nicht überlastet ist, besteht eine gute Chance, dass sogar der in 7A dargestellte Optimalfall auftritt, bei dem weder der erste Übertragungsvorgang PI noch der zweite Übertragungsvorgang PO verzögert wurde. Für den Zeitabgleich wird also nur der kürzeste Pingpong-Zyklus, in dem Beispiel aus 8 also nur der Pingpong-Zyklus a herangezogen: Der Zeitwert t_A,B wird entsprechend nur aus den zum Zyklus a gehörigen Zeitwerten t_A,send und t_A,receive berechnet und dem aus Zyklus a ermittelten Zeitwert t_B der zweiten Systemuhr zugeordnet. Durch die Auswertung einer Serie von Pingpong-Zyklen zur Ermittlung eines einzelnen Zeitabgleichs wird also eine Reduzierung des Fehlers e_A,B erreicht.
Sofern der Übertragungskanal so stark belastet ist, dass das Auftreten des Optimalfalls aus 7A für einen einzelnen Pingpong-Zyklus nicht zu erwarten ist, kann optional durch eine genauere Analyse einer Serie von Pingpong-Zyklen ein Toleranzbereich für das Abgleichergebnis bestimmt werden. Für diese Betrachtung sei hier zunächst ein „Clock Offset“ CO definiert, der die Differenz zwischen einem Zeitwert der zweiten Systemuhr 220 und einem gleichzeitig ermittelten Zeitwert der ersten Systemuhr 120 angibt. Der Clock Offset CO gibt also die Beziehung zwischen der ersten und der zweiten Zeitbasis an. Der tatsächliche Wert von CO ist nicht bekannt und soll durch Messung ermittelt werden. Als Schätzung für CO kann zu jedem Pingpong-Zyklus eine Verschiebung O_A,B angegeben werden, welche die Differenz zwischen dem ausgelesenen Zeitwert t_B aus der zweiten Systemuhr 220 und dem dazu berechneten Zeitwert t_A,B der ersten Systemuhr 120 jeweils für einen einzelnen Pingpong-Zyklus angibt: $O_{A,B} = t_{B} - t_{A,B}$
Außerdem kann ein Minimalwert t_transmit,min für die Dauer eines einzelnen Übertragungsvorgangs PI bzw. PO als bekannt vorausgesetzt werden (so wie für den Optimalfall in 7A dargestellt). Aus jedem einzelnen Pingpong-Zyklus kann dann ein Maximalwert e_A,B,max für den Fehler angegeben werden, den die berechnete Verschiebung O_A,B gegenüber dem gesuchten Wert CO aufweisen kann: $e_{A,B .max} = (t_{A,recelve} - t_{A,send}) / 2 - t_{transmit,min}$
Dieser größte Fehler tritt dann auf, wenn nur einer der Übertragungsvorgänge PI oder PO eine Verzögerung aufweist, der andere jedoch ohne jegliche Verzögerung erfolgt ist (siehe 7B). Der Fehler e_A,B ist also maximal so groß wie die halbe Messdauer minus der kürzest möglichen Übertragungszeit W_transmit,min , wobei in diesem Ausführungsbeispiel davon ausgegangen wird, dass die kürzest mögliche Übertragungszeit von der Videoeinheit 100 an die Mikrofoneinheit 200 (PI) der kürzest möglichen Übertragungszeit von der Audioeinheit 200 an die Videoeinheit 100 (PO) entspricht. Sofern ein Minimalwert t_fransmit,min für die Dauer eines einzelnen Übertragungsvorgangs PI bzw. PO nicht bekannt ist, kann hier der Wert Null angesetzt werden.
Für jeden einzelnen Pingpong-Zyklus kann nun anhand des jeweils bekannten möglichen Fehlers ein Intervall angegeben werden, in dem der tatsächliche Wert eines Clock Offsets CO liegen muss.
9 zeigt eine schematische Darstellung der aus einer Synchronisationsmessung ermittelten Verschiebung der Systemuhren der Videoeinheit und der Mikrofoneinheit. In 9 sind über der Achse für den Clock Offset CO die Intervalle dargestellt, die sich bei dem Beispiel aus 8 aus den drei Pingpong-Zyklen a, b und c ergeben. Aus Pingpong-Zyklus a wurde eine Verschiebung Oa berechnet und der zu Zyklus a berechnete Maximalwert des Fehlers e_a,max gibt jeweils negativ und positiv aufgetragen die Grenzen des Intervalls an, in dem der tatsächliche Wert eines Clock Offsets CO gemäß Zyklus a liegen muss. Für die Zyklen b und c sind jeweils entsprechend Intervalle um Ob und Oc aufgetragen, in denen der tatsächliche Wert eines Clock Offsets CO liegen muss.
Für die verschiedenen Pingpong-Zyklen ergeben sich unterschiedliche Intervalle, in denen der tatsächliche Wert des Clock Offsets CO liegen muss. Da der tatsächliche Wert von CO in jedem der ermittelten Intervalle liegen muss, kann der tatsächliche Wert von CO nur in einem Bereich liegen, in dem sich alle ermittelten Intervalle überlappen. In 9 ist dies als ein Toleranzbereich von Omin bis Omax gekennzeichnet. Wie in 9 zu erkennen, ist dieser Toleranzbereich normalerweise kleiner als die Intervalle aus den einzelnen Pingpong-Zyklen. Bei genauerer Analyse lässt sich feststellen, dass die Differenz von der unteren Grenze Omin des Toleranzbereichs bis zum korrekten Wert von CO der Dauer des kürzesten ersten Übertragungsvorgangs PI aus allen betrachteten Zyklen entspricht. Entsprechend ergibt sich, dass die Differenz vom korrekten Wert von CO bis zu der oberen Grenze Omax des Toleranzbereichs der Dauer des kürzesten zweiten Übertragungsvorgangs PO aus allen betrachteten Zyklen entspricht. Sofern also überhaupt ein unverzögerter erster Übertragungsvorgang PI und ein unvervögerter Übertragungsvorgang PO in der Serie von Pingpong-Zyklen enthalten war, gibt der Mittelwert zwischen Omin und Omax genau den korrekten Wert für CO an.
Aus dem so ermittelten Wert für CO kann dann mit einem der während der Messungen aus der zweiten Systemuhr 220 ausgelesenen Zeitwerte t_B ein zugehöriger Wert t_A,B berechnet werden, welcher mit hoher Wahrscheinlichkeit dem tatsächlichen Wert entspricht, den die erste Systemuhr 120 aufwies, als der Zeitwert t_B aus der zweiten Systemuhr ausgelesen wurde: $t_{A,B} = t_{B} - CO$
Diese beiden aus einer Serie von Pingpong-Zyklen ermittelten Zeitwerte t_B und t_A,B bilden dann das Ergebnis eines Zeitabgleichs, das dann im Speicher 150 der Videoeinheit und/oder im Speicher 250 der Mikrofoneinheit abgelegt werden kann.
Gemäß einem Aspekt der vorliegenden Erfindung kann bei einer Bluetooth-Verbindung eine Messdauer von 5 ms erreicht werden, womit ein maximal möglicher Fehler der Synchronisation bei 0,5 ms liegt.
Gemäß der Erfindung erfolgt eine blockbasierte Übertragung über einen Drahtlos-Kanal, wobei die Blöcke unterschiedliche Latenzen aufweisen. Gemäß der Erfindung soll eine Synchronisation zwischen dem Videosignal und dem drahtlos empfangenen Audiosignal erzeugt werden. Die Mikrofoneinheit 200 kann Timestamps in dem Audiosignal speichern. Die Videoeinheit 100 kann Timestamps in dem Videosignal speichern.
Typischer Anwendungsfall des Gesamtsystems:
Im Folgenden ist ein typischer Anwendungsfall des Gesamtsystems beschrieben: Vor Beginn einer Veranstaltung wird über den Sender/Empfänger 110 in der Videoeinheit 100 (insbesondere ein Smartphone) und den Sender/Empfänger 210 in der Mikrofoneinheit 200 eine bidirektionale drahtlose Verbindung zum Zweck der Übertragung der Audiodaten und dem Abgleich der Systemuhren aufgebaut. Dabei kommt ein auf der Videoeinheit 100 verfügbares, individualisiertes Datenübertragungsprotokoll zum Einsatz, bei dem ein Datenstrom jeweils für ein bestimmtes Endgerät vorgesehen ist und welcher unterteilt in einzelne Datenpakete an das empfangende Endgerät übertragen wird. Das Datenübertragungsprotokoll ist dadurch charakterisiert, dass eine koordinierte Nutzung eines verwendeten Übertragungskanals durch mehrere Sende- und Empfangsgeräte vorgesehen ist und dass das Datenübertragungsprotokoll Maßnahmen zur zeitlichen Koordination des Zugriffs von verschiedenen Geräten auf den Übertragungskanal aufweist. Das führt dazu, dass variable Wartezeiten für den Zugriff auf den Übertragungskanal entstehen können, sodass der zeitliche Ablauf der Übertragung eines jeweiligen Datenpakets nicht genau vorhersagbar ist. Als Beispiele seinen hier WLAN, Bluetooth, LTE und Wi-Fi genannt.
Sobald die drahtlose Verbindung besteht, wird ein erster Systemuhr-Abgleich gemäß der obigen Beschreibung durchgeführt und das Ergebnis des Abgleichs im Speicher 150 der Videoeinheit und/oder im Speicher 250 der Mikrofoneinheit abgelegt. Dann werden regelmäßig, beispielsweise im Abstand von einer Sekunde erneut Abgleiche der Systemuhren über die drahtlose Verbindung eingeplant. Ein Ergebnis der Abgleiche wird aber nur gespeichert, sofern die drahtlose Verbindung den Abgleich jeweils zulässt. Die bidirektionale drahtlose Verbindung wird im weiteren Verlauf von beiden Seiten während der Veranstaltung als verbunden eingestuft, auch falls über einen längeren Zeitraum keine Datenübertragung zustande kommt.
Parallel zum Aufbau der bidirektionalen drahtlosen Verbindung beginnt die Mikrofoneinheit 200 damit, fortlaufend, also ohne Unterbrechungen ein Audiosignal mit den zugehörigen Audio-Timestamps aufzuzeichnen und das Ergebnis in ihrem Speicher 250 abzuspeichern. Die Mikrofoneinheit 200 wird dann während der Veranstaltung an den Ort gebracht, an dem das Mikrofonsignal erfasst werden soll, also z.B. auf die Bühne oder sie wird als Ansteckmikrofon an einem Akteur befestigt oder von ihm in der Hand gehalten. Die Videoeinheit 100 wird während der Veranstaltung an einen Ort gebracht, von dem aus eine Videoaufnahme gemacht werden soll. Das kann ein Platz im Publikum sein, von dem aus der Nutzer eines Smartphones Videoaufnahmen erzeugen möchte. Aufgrund von räumlicher Distanz zwischen der Mikrofoneinheit 200 und der Videoeinheit 100 sowie möglicherweise zahlreicher konkurrierender Zugriffsversuche auf den verwendeten Übertragungskanal kann während der Veranstaltung ein fortlaufender Bestand der drahtlosen Verbindung ggf. nicht sicher gewährleistet werden.
Typischerweise werden nur einzelne Abschnitte einer Veranstaltung mit der Videoeinheit 100 aufgezeichnet. Startet der Nutzer der Videoeinheit 100 nun die Aufzeichnung einer Videosequenz, so wäre es normalerweise nötig, diese Startinformation möglichst zeitgleich über die drahtlose Verbindung an die Mikrofoneinheit 200 zu übertragen, damit diese zeitgleich mit der Aufzeichnung einer zugehörigen Audiosequenz und ihrer Übertragung beginnt. Bei der hier beschriebenen typischen Anwendung eines erfindungsgemäßen Systems, kann jedoch vor dem Hintergrund einer unsicheren drahtlosen Verbindung auf diese Aktivierung der Mikrofoneinheit verzichtet werden, da die Audioaufnahme mitsamt einer Ablage im Speicher 250 ja fortlaufend durchgeführt wird. Stattdessen überträgt die Videoeinheit über die drahtlose Verbindung an die Mikrofoneinheit eine Zeitinformation, welche den Zeitpunkt des Beginns der Videosequenz - basierend auf der ersten Systemuhr 120 - angibt. Dabei kann die Zeitinformation in Form der ersten Zeitbasis übertragen werden. Die Mikrofoneinheit 200 berechnet dann anhand von vorherigen Zeitabgleichergebnissen den zugehörigen Zeitwert der zweiten Systemuhr 220. Alternativ kann die Umrechnung auf die zweite Zeitbasis anhand von vorherigen Zeitabgleichergebnissen bereits vor der Übertragung in der Videoeinheit 100 erfolgen, sodass die übertragene Zeitinformation bereits den zugehörigen Zeitwert der zweiten Systemuhr 220 angibt. Sollte die beschriebene Zeitinformation bedingt durch eine verzögerte Übertragung erst verspätet bei der Mikrofoneinheit eintreffen, so kann trotzdem wie zu 6 erläutert der entsprechende Zeitpunkt in dem gespeicherten Audiosignal anhand der gespeicherten Audio-Timestamps und der vorhandenen Abgleichinformation für die beiden Systemuhren gefunden werden. Die genannte Übertragung der Videobeginn-Zeitinformation dient gleichzeitig als Anfrage an die Mikrofoneinheit 200, einen Ausschnitt aus dem gespeicherten Audiosignal an die Videoeinheit 100 zu übertragen. Die Mikrofoneinheit 200 überträgt auf diese Anfrage hin über die drahtlose Verbindung einen Ausschnitt aus dem gespeicherten Audiosignal an die Videoeinheit 100, der zu dem besagten Zeitpunkt beginnt. Beendet der Nutzer die Videosequenz so kann in gleicher Weise eine Zeitinformation, welche den Zeitpunkt des Endes der Videosequenz angibt, von der Videoeinheit an die Mikrofoneinheit übertragen werden und damit das Ende des zu übertragenden Ausschnitts aus dem gespeicherten Audiosignal festgelegt werden. Mit dem Audiosignal werden auch die gespeicherten Audio-Timestamps übertragen.
Sobald die Videoeinheit das Audio/Timpestamp-Signal für eine bestimmte Videosequenz empfangen hat, sortiert die Videoeinheit das empfangene Audiosignal anhand der Audio- und der Video-Timestamps sowie anhand von gespeicherten Systemuhr-Abgleichergebnissen zeitlich korrekt dem Videosignal zu, führt ggf. die oben beschriebene zeitliche Umkalierung des Audiosignals zum Ausgleich von Geschwindigkeitsunterschieden der Systemuhren durch und legt die Kombination des Videosignals und des so bearbeiteten Audiosignals im Speicher 150 der Videoeinheit ab.
Falls die drahtlose Verbindung zu dem Zeitpunkt der Videoaufnahme nicht zur Verfügung steht, so wiederholt die Videoeinheit (ohne Zutun des Anwenders) die Anfragen nach fehlenden Abschnitten des Audio/Timpestamp-Signals sobald wieder Daten über die Verbindung übertragen werden können und führt dann nachträglich die beschriebene Prozedur zur zeitlich korrekten Zusammenführung von Audio- und Videosequenzen durch. Spätestens wenn der Anwender der Videoeinheit nach Ende der Veranstaltung die Mikrofoneinheit 200 an sich nimmt und sich dabei die Mikrofoneinheit 200 und die Videoeinheit 100 in unmittelbarer Nähe zueinander befinden, wird eine Datenübertragung stattfinden können und die fehlenden Audiodaten zu den während der Veranstaltung erstellten Videosequenzen an die Videoeinheit übertragen. Ohne weiteres Zutun des Anwenders wird er also auf seiner Videoeinheit anschließend Audio-Video-Sequenzen vorfinden, bei denen die mit der Mikrofoneinheit 200 ermittelten Audiosignale zeitlich korrekt mit den während der Veranstaltung erstellten Videosequenzen abgespeichert sind.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102010038838 A1 [0006]
WO 2016162560 A1 [0007]

Claims

Mikrofoneinheit (200) mit einem Mikrofon (230) zum Erfassen von Audiosignalen, einem Sender/Empfänger (210) zur drahtlosen bidirektionalen Kommunikation mit einer Videoeinheit (100), welche eine erste Systemuhr (120) mit einer ersten Zeitbasis aufweist, einer zweiten Systemuhr (220) mit einer zweiten Zeitbasis, und einem Speicher (250) zur digitalen Ablage eines mit dem Mikrofon (230) erfassten Audiosignals und von Zeitsynchronisationsinformationen, wobei die Mikrofoneinheit (200) dazu ausgestaltet ist, gemeinsam mit einem von dem Mikrofon (230) erfassten Audiosignal mehrfach Audio-Timestamps im Speicher (250) abspeichern, welche die jeweiligen Zeitpunkte der Erfassung des Audiosignals gemessen mit der zweiten Systemuhr (220) angeben, wobei der Sender/Empfänger (210) dazu ausgestaltet ist, mit der Videoeinheit (100) über ein Datenübertragungsprotokoll zu kommunizieren, welches für eine koordinierte Nutzung eines verwendeten Übertragungskanals durch mehrere Sende- und Empfangsgeräte vorgesehen ist und welches Maßnahmen zur zeitlichen Koordination des Zugriffs von verschiedenen Geraten auf den Übertragungskanal aufweist, sodass variable Wartezeiten für den Zugriff auf den Übertragungskanal entstehen können, wobei die Mikrofoneinheit (200) dazu ausgestaltet ist, über den Sender/Empfänger (210) einen Abgleich zwischen der ersten Systemuhr (120) und der zweiten Systemuhr (220) durchzuführen, wobei das Abgleichergebnis einen Zeitwert der ersten Systemuhr (120) und einen dazugehörigen Zeitwert der zweiten Systemuhr (220) beinhaltet, wobei der Abgleich erfolgt, indem die Videoeinheit (100) oder die Mikrofoneinheit (200) als initiierende Einheit zunächst einen aktuellen Sendezeitwert (t_A,send) aus ihrer Systemuhr (120, 220) ausliest und zwischenspeichert und umgehend einen ersten Übertragungsvorgang (PI) zu der anderen der beiden Einheiten initiiert, und wobei die jeweils andere Einheit (200, 100) nach Abschluss des ersten Übertagungsvorgangs (PI) umgehend einen aktuellen Synchronisationszeitwert (t_B) aus ihrer Systemuhr (220, 120) ausliest und diesen Synchronisationszeitwert (t_B) in einem zweiten Übertagungsvorgang (PO) an die initiierende Einheit (100, 200) überträgt, und wobei die initiierende Einheit beim Empfang der zweiten Übertagung (PO) umgehend einen aktuellen Empfangszeitwert (t_A,receive) aus ihrer Systemuhr (120, 220) ausliest und aus dem Sendezeitwert (t_A,send) und dem Empfangszeitwert (t_A,receive) einen zu dem Synchronisationszeitwert (t_B) gehörigen Zeitwert berechnet.
Audio/Video-Erfassungs- und Synchronisationssystem bestehend aus einer Mikrofoneinheit (200) nach Anspruch 1 und einer Videoeinheit (100) mit einer Kameraeinheit (130) zum Erfassen von Videosignalen, einem Sender/Empfänger (110) zur drahtlosen bidirektionalen Kommunikation mit der Mikrofoneinheit (200), einer ersten Systemuhr (120) mit einer ersten Zeitbasis, und einem Speicher (150) zur digitalen Ablage eines mit der Kameraeinheit (130) erfassten Videosignals und von Zeitsynchronisationsinformationen, wobei die Videoeinheit (100) dazu ausgestaltet ist, gemeinsam mit einem von der Kameraeinheit (130) erfassten Videosignal mehrfach Video-Timestamps im Speicher (150) abspeichern, welche die jeweiligen Zeitpunkte der Erfassung des Videosignals gemessen mit der ersten Systemuhr (120) angeben, wobei die Videoeinheit (100) dazu ausgestaltet ist, über den Sender/Empfänger (110) einen Abgleich zwischen der ersten Systemuhr (120) und der zweiten Systemuhr (220) durchzuführen.
Verfahren zur Erfassung und Synchronisation von Audio- und Videosignalen, mit den Schritten: Aufzeichnung eines Videosignals mittels einer Videoeinheit (100) und Speicherung des Videosignals gemeinsam mit Video-Timestamps, welche die jeweiligen Zeitpunkte der Erfassung des Videosignals gemessen mit einer ersten Systemuhr (120) angeben, Aufzeichnung eines Audiosignals mittels einer Mikrofoneinheit (200) und Speicherung des Audiosignals gemeinsam mit Audio-Timestamps, welche die jeweiligen Zeitpunkte der Erfassung des Audiosignals gemessen mit einer zweiten Systemuhr (220) angeben, Ausführen eines Abgleichs zwischen der ersten Systemuhr (120) und der zweiten Systemuhr (220), wobei das Abgleichergebnis einen Zeitwert der ersten Systemuhr (120) und einen dazugehörigen Zeitwert der zweiten Systemuhr (220) beinhaltet, Zusammenführung des Videosignals und des Audiosignals, wobei eine zeitliche Synchronisation auf Basis der Video-Timestamps, der Audio-Timestamps und des Abgleichergebnisses erfolgt.
Verfahren zur Erfassung und Synchronisation von Audio- und Videosignalen nach Anspruch 3, wobei mehrfach zu verschiedenen Zeitpunkten Abgleiche zwischen der ersten Systemuhr (120) und der zweiten Systemuhr (220) durchgeführt und Abgleichergebnisse abgespeichert werden.
Verfahren zur Erfassung und Synchronisation von Audio- und Videosignalen nach einem der Ansprüche 3 oder 4, ferner mit dem Schritt erneutes Abtasten des erfassten Audiosignals mit einer geänderten Abtastfrequenz, um die Lange des Audiosignals an die Länge des Videosignals anzupassen.
Verfahren zur Erfassung und Synchronisation von Audio- und Videosignalen nach Anspruch 3 oder 4, zusätzlich mit den Schritten: Auslesen des Anfangszeitpunktes einer Videosequenz anhand der Video-Timestamps, Auslesen des Endzeitpunktes einer Videosequenz anhand der Video-Timestamps, Berechnung eines Audiostartzeitpunktes in der Audioaufzeichnung, der zu dem Anfangszeitpunkt der Videosequenz gehört, anhand der Audio-Timestamps und von Abgleichergebnissen, Berechnung eines Audioendzeitpunktes in der Audioaufzeichnung, der zu dem Endzeitpunkt der Videosequenz gehört anhand der Audio-Timestamps und von Abgleichergebnissen, Umskalierung der Audiosequenz zwischen dem Audiostartzeitpunkt und dem Audioendzeitpunkt, sodass die Dauer der umskalierte Audiosequenz nominal mit der Dauer der Videosequenz übereinstimmt, Zusammenführung der Videosequenz mit der umskalierten Audiosequenz.
Verfahren zur Erfassung und Synchronisation von Audio- und Videosignalen nach einem der Ansprüche 3 bis 6, wobei der Abgleich zwischen der ersten Systemuhr (120) und der zweiten Systemuhr (220) durch eine Pingpong-Synchronisation erfolgt, wobei ein Datenpaket von der Videoeinheit an die Audioeinheit übermittelt wird und das Paket dann von der Audioeinheit an die Videoeinheit übermittelt wird, um einen Vergleich einer Systemuhr der Videoeinheit und einer Systemuhr der Audioeinheit durchzuführen, um eine Verschiebung zwischen der Systemuhr der Videoeinheit (100) und der Mikrofoneinheit (200) zu ermitteln.
Verfahren zur Erfassung und Synchronisation von Audio- und Videosignalen nach einem der Ansprüche 3 bis 6, wobei der Abgleich zwischen der ersten Systemuhr (120) und der zweiten Systemuhr (220) über eine bidirektionale drahtlose Verbindung zwischen der Videoeinheit (100) und der Mikrofoneinheit (200) erfolgt, wobei ein Datenübertragungsprotokoll verwendet wird, welches für eine koordinierte Nutzung eines verwendeten Übertragungskanals durch mehrere Sende- und Empfangsgeräte vorgesehen ist und welches Maßnahmen zur zeitlichen Koordination des Zugriffs von verschiedenen Geräten auf den Übertragungskanal aufweist, sodass variable Wartezeiten für den Zugriff auf den Übertragungskanal entstehen können, wobei der Abgleich erfolgt, indem die Videoeinheit (100) oder die Mikrofoneinheit (200) als initiierende Einheit zunächst einen aktuellen Sendezeitwert (t_A,send) aus ihrer Systemuhr (120, 220) ausliest und zwischenspeichert und umgehend einen ersten Übertragungsvorgang (PI) zu der anderen der beiden Einheiten initiiert, und wobei die jeweils andere Einheit (200, 100) nach Abschluss des ersten Übertagungsvorgangs (PI) umgehend einen aktuellen Synchronisationszeitwert (t_B) aus ihrer Systemuhr (220, 120) ausliest und diesen Synchronisationszeitwert (t_B) in einem zweiten Übertagungsvorgang (PO) an die initiierende Einheit (100, 200) überträgt, und wobei die initiierende Einheit beim Empfang der zweiten Übertagung (PO) umgehend einen aktuellen Empfangszeitwert (t_A,receive) aus ihrer Systemuhr (120, 220) ausliest und aus dem Sendezeitwert (t_A,send) und dem Empfangszeitwert (t_A,receive) einen zu dem Synchronisationszeitwert (t_B) gehörigen Zeitwert berechnet.
Verfahren zur Erfassung und Synchronisation von Audio- und Videosignalen nach einem der Ansprüche 3 bis 8, wobei ein erster Abgleich zwischen der ersten Systemuhr (120) und der zweiten Systemuhr (220) zu Beginn einer Videoaufzeichnung initiiert wird und ein zweiter Abgleich mit dem Ende der Videoaufzeichnung initiiert wird.