DE102017123068A1 - System for synchronizing audio or video recordings - Google Patents

System for synchronizing audio or video recordings Download PDF

Info

Publication number
DE102017123068A1
DE102017123068A1 DE102017123068.8A DE102017123068A DE102017123068A1 DE 102017123068 A1 DE102017123068 A1 DE 102017123068A1 DE 102017123068 A DE102017123068 A DE 102017123068A DE 102017123068 A1 DE102017123068 A1 DE 102017123068A1
Authority
DE
Germany
Prior art keywords
sound
reference signal
recordings
audio
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102017123068.8A
Other languages
German (de)
Inventor
Anmelder Gleich
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to DE102017123068.8A priority Critical patent/DE102017123068A1/en
Publication of DE102017123068A1 publication Critical patent/DE102017123068A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

Die Erfindung betrifft ein System (1) zum Synchronisieren von Ton- oder Videoaufnahmen, umfassend: einen Tonerzeuger (2) zur Erzeugung eines Audio-Referenz-Signals (10), das eine ID (14) und eine zeitliche Markierung (13) umfasst und mittels Lautsprecher an die Umgebung ausgesendet wird, mehrere Tonaufzeichnungsgeräte (3a-3d), die das vom Tonerzeuger (2) ausgesendete Audio-Referenzsignal (10) aufnehmen und jeweils eine Tonaufnahme (8a-8d) und gegebenenfalls auch eine Videoaufnahme (7b, 7c) erzeugen, und eine Rechnereinheit (4), die mit den Tonaufzeichnungsgeräten (3a-3d) in Verbindung steht und die in den einzelnen, von den Tonaufzeichnungsgeräten (3a-3d) erzeugten Tonaufnahmen (8a-8d) jeweils die im Audio-Referenzsignal (10) enthaltene zeitliche Markierung (13) ermittelt und die einzelnen Tonaufnahmen (8a-8d) oder gegebenenfalls auch damit gekoppelte Videoaufnahmen (7b, 7c) entsprechend der zeitlichen Markierung (13) synchronisiert.The invention relates to a system (1) for synchronizing audio or video recordings, comprising: a tone generator (2) for generating an audio reference signal (10) comprising an ID (14) and a temporal mark (13) and by means of a loudspeaker to the environment, a plurality of sound recording devices (3a-3d) which receive the sound generator (2) emitted audio reference signal (10) and each a sound recording (8a-8d) and optionally also a video recording (7b, 7c) and a computer unit (4), which is in communication with the sound recording devices (3a-3d) and which in each of the sound recordings (8a-8d) produced by the sound recording devices (3a-3d) in the audio reference signal (10 ) and the individual sound recordings (8a-8d) or optionally also video recordings (7b, 7c) synchronized therewith in accordance with the temporal marking (13).

Description

Die Erfindung betrifft ein System zum Synchronisieren von Ton- oder Videoaufnahmen, die von verschiedenen Aufzeichnungsgeräten zur gleichen Zeit aufgenommen wurden.The invention relates to a system for synchronizing audio or video recordings recorded by different recording devices at the same time.

HINTERGRUND DER ERFINDUNGBACKGROUND OF THE INVENTION

Bei Film- oder Tonaufnahmen werden in der Regel mehrere Aufnahmegeräte gleichzeitig eingesetzt, um eine Szene aus verschiedenen Perspektiven oder den Ton an verschiedenen Orten aufzunehmen. Die verschiedenen Aufnahmen werden üblicherweise in einer Datenverarbeitungseinrichtung gespeichert und können dort mit Hilfe einer Audio- oder Videobearbeitungssoftware nachbearbeitet oder geschnitten werden.For movie or sound recordings, multiple recording devices are usually used simultaneously to record a scene from different perspectives or the sound at different locations. The various recordings are usually stored in a data processing device and can be reworked or cut there with the aid of audio or video editing software.

Wenn beispielsweise eine Filmszene oder ein Musikstück von mehreren Aufzeichnungsgeräten gleichzeitig aufgenommen wird, werden die einzelnen Audio- oder Videodaten oftmals unabhängig voneinander verarbeitet. Es besteht dadurch keine relative zeitliche Beziehung (keine Synchronisationsbeziehung) mehr zwischen den einzelnen Audio- oder Videospuren. Beim Schnitt der Aufnahmen müsste der Cutter an jeder Stelle, an der ein Schnitt innerhalb einer Szene erfolgen soll, den entsprechenden, d.h. gleichzeitig aufgenommenen, Videoframe oder dieselben Positionen innerhalb der Audiosequenzen zweier Ton- oder Videoaufnahmen suchen. Historisch wurde hierbei die Filmklappe benutzt. Dieses Verfahren ist sehr aufwändig, weil alle Aufnahmen manuell durchsucht und bearbeitet werden müssen.For example, if a movie scene or song is recorded simultaneously by multiple recorders, the individual audio or video data is often processed independently. There is thus no relative temporal relationship (no synchronization relationship) between each audio or video track. When cutting the shots, the cutter would have at each point where a cut is to take place within a scene, the corresponding, i. simultaneously recording, video frame, or the same positions within the audio sequences of two audio or video recordings. Historically, the flap was used here. This procedure is very time-consuming because all recordings have to be manually searched and edited.

Um diese Arbeit zu erleichtern, kommen bei professionellen Filmproduktionen sogenannte „Lockits“, wie zum Beispiel der Firma Ambient Recording GmbH, zum Einsatz, mit denen die von den einzelnen Aufzeichnungsgeräten gemachten Aufnahmen synchronisiert, d. h. in eine exakte zeitliche Beziehung gesetzt, werden können. Die genannten Lockits verfügen jeweils über einen Zeitgeber, der einen sehr präzisen Timecode liefert, welcher dann zusammen mit den Ton- oder Videoaufnahmen aufgezeichnet wird. Die einzelnen Ton- oder Videoaufnahmen lassen sich dadurch automatisch synchronisieren. Allerdings wird für jedes Aufzeichnungsgerät ein eigenes Lockit benötigt, das direkt über ein Kabel an das Aufzeichnungsgerät angeschlossen wird. Außerdem müssen die einzelnen Lockits vor der Aufnahme synchronisiert werden, damit sie jeweils zum gleichen Zeitpunkt den gleichen Timecode liefern. Dieses Verfahren ist daher relativ aufwändig und teuer.In order to facilitate this work, so-called "locks" are used in professional film productions, such as the company Ambient Recording GmbH, with which synchronizes the recordings made by the individual recording devices, d. H. can be put into an exact temporal relationship. The mentioned locks each have a timer, which provides a very precise time code, which is then recorded along with the sound or video recordings. The individual audio or video recordings can be synchronized automatically. However, each recorder requires its own lockit, which connects directly to the recorder via a cable. In addition, the individual locks must be synchronized prior to recording so that they deliver the same time code at the same time. This method is therefore relatively complicated and expensive.

Aus der US 8,205,148 B1 ist darüberhinaus ein Verfahren bekannt, mit dem verschiedenen Medienquellen synchronisiert werden können. Bei diesen Verfahren wird nach Ähnlichkeiten zwischen jeweils zwei Audiospuren gesucht und je nach Korrelation der Audiosignale der zeitliche Bezug zueinander ermittelt.From the US Pat. No. 8,205,148 B1 In addition, a method is known with which different media sources can be synchronized. In these methods, similarities between two audio tracks are searched for and, depending on the correlation of the audio signals, the temporal relation to each other is determined.

Bei beiden Verfahren gibt es keine Möglichkeit, zusätzliche Metainformationen während der Aufnahme zu übertragen, so dass der Cutter nachträglich alle Aufnahmen manuell sichten / hören muss, um die Zuordnung zu einer bestimmten Aufnahmesituation (z.B. Szene 1, Shot 2, Take 4) herzustellen.In both methods, there is no possibility to transmit additional meta-information during the recording, so that the editor has to manually review / listen to all the recordings in order to assign them to a specific recording situation (eg scene 1 , Shot 2 , Take 4 ).

AUFGABE DER ERFINDUNGOBJECT OF THE INVENTION

Es ist daher eine Aufgabe der vorliegenden Erfindung, ein alternatives System zum Synchronisieren von Ton- oder Videoaufnahmen sowie ein ebensolches Verfahren zu schaffen, das einfach und zuverlässig arbeitet, darüberhinaus kostengünstig ist und in der Postproduktion weitere Zeit spart.It is therefore an object of the present invention to provide an alternative system for synchronizing sound or video recordings as well as a similar method which operates simply and reliably, is also inexpensive and saves additional time in post-production.

Gelöst wird diese Aufgabe gemäß der Erfindung durch die in den unabhängigen Ansprüchen angegebenen Merkmale. Weitere Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.This object is achieved according to the invention by the features specified in the independent claims. Further embodiments of the invention will become apparent from the dependent claims.

Gemäß der Erfindung wird ein System zum Synchronisieren von Ton- oder Videoaufnahmen vorgeschlagen, das wenigstens folgende Komponenten umfasst:

  • - einen Tonerzeuger zur Erzeugung eines Audio-Referenz-Signals, das eine ID und eine zeitliche Markierung umfasst und mittels Lautsprecher an die Umgebung ausgesendet wird,
  • - mehrere Tonaufzeichnungsgeräte, die das vom Tonerzeuger ausgesendete Audio-Referenzsignal aufnehmen und jeweils eine Tonaufnahme machen und gegebenenfalls auch weitere Informationen ( z.B. Video) aufzeichnen, und
  • - eine Rechnereinheit, welche die Ton- und ggf. weitere Aufzeichnungen lesen kann und in den einzelnen, von den Tonaufzeichnungsgeräten erzeugten Tonaufnahmen jeweils die im Audio-Referenzsignal enthaltene ID und die zeitliche Markierung ermittelt und die einzelnen Tonaufnahmen oder gegebenenfalls auch damit gekoppelte Videoaufnahmen anhand der zeitlichen Markierung synchronisiert.
According to the invention, a system for synchronizing sound or video recordings is proposed, which comprises at least the following components:
  • a tone generator for generating an audio reference signal comprising an ID and a time mark and sent out to the environment by means of a loudspeaker,
  • a plurality of sound recording devices which record the audio reference signal sent by the sound generator and record sound in each case and optionally also record further information (eg video), and
  • a computer unit which can read the audio and possibly further recordings and in each of the sound recordings produced by the sound recording devices each determines the ID contained in the audio reference signal and the temporal mark and the individual sound recordings or possibly also coupled video recordings based on synchronized time mark.

Als Tonerzeuger kann beispielsweise jedes übliche mobile Endgerät, wie zum Beispiel ein Smartphone, verwendet werden, auf dem eine entsprechende Software-Applikation läuft.As a tone generator, for example, any conventional mobile device, such as a smartphone, can be used on which runs a corresponding software application.

Die von den Tonaufzeichnungsgeräten gemachten Ton- oder Videoaufnahmen werden, wie vorstehend erwähnt, abhängig von der im Audio-Referenzsignal enthaltenen zeitlichen Markierung synchronisiert. Unter der Bezeichnung „Synchronisieren“ soll dabei verstanden werden, dass basierend auf der in den einzelnen Tonaufnahmen enthaltenen zeitlichen Markierung zumindest ein gemeinsamer Referenzzeitpunkt festgelegt wird. Die in den Aufnahmen enthaltenen Tonsequenzen oder Videoframes können dann z. B. entlang einer gemeinsamen (Zeit-)leiste positioniert werden, indem die darin enthaltenen Tonsequenzen oder Videoframes, d.h. die entsprechenden Audio- oder Videodaten, mit bestimmten Informationen ergänzt, d.h. referenziert werden. Diese Informationen können z. B. eine zeitliche Information sein. Zusätzlich oder alternativ kann auch eine andere Information bzw. Referenzgröße, wie z. B. eine Nummerierung, Metadaten oder ein relationaler Verweis verwendet werden, um die Audio- oder Videodaten zu referenzieren.The sound or video recordings made by the sound recording devices are, as mentioned above, synchronized depending on the temporal mark contained in the audio reference signal. The term "synchronizing" should be understood to mean that based on the at least one common reference time is determined in the individual sound recordings contained temporal marking. The sound sequences or video frames contained in the recordings can then be z. B. along a common (time) bar are positioned by the sound sequences or video frames contained therein, ie the corresponding audio or video data, supplemented with certain information, ie be referenced. This information can be z. B. be a temporal information. Additionally or alternatively, another information or reference size, such. For example, numbering, metadata or a relational reference can be used to reference the audio or video data.

Die im Audio-Referenzsignal enthaltene ID dient dazu, die jeweilige Ton- oder Videoaufnahme eindeutig zu kennzeichnen. Bei der Nachbearbeitung oder dem Schnitt der Ton- oder Videoaufnahmen können somit zusammengehörige, das heißt gleichzeitig gemachte, Aufnahmen einfach identifiziert und z. B. gruppiert werden.The ID contained in the audio reference signal serves to uniquely identify the respective audio or video recording. When editing or editing the sound or video recordings thus related, that is, simultaneously made, recordings can be easily identified and z. B. be grouped.

Eine ID kann im Grunde beliebige Zeichen umfassen, wie z. B. Zahlen, Buchstaben, Sonderzeichen oder einen Code. Im einfachsten Fall können beispielsweise die von einem Aufzeichnungsgerät nacheinander gemachten Aufnahmen mit Zahlen „1, 2, 3, 4, 5, etc....“ gekennzeichnet werden.An ID can basically include any characters, such as. As numbers, letters, special characters or a code. In the simplest case, for example, the recordings made by a recording device can be made with numbers " 1 . 2 . 3 . 4 . 5 , etc .... ".

Gemäß einer bevorzugten Ausführungsform der Erfindung ist vorgesehen, dass das Audio-Referenzsignal weitere Informationen (Metadaten), insbesondere Informationen bezüglich der gemachten Ton- oder Videoaufnahme enthält. Diese zusätzlichen Informationen bzw. Metadaten können beispielsweise Szeneninformationen, wie z. B. „Szene 3, Take 2“, Kameraeinstellungen, ein Titel, eine Projektbezeichnung, eine Uhrzeit, geographische Positionsdaten, etc. umfassen. Die Informationen können beispielsweise vom Nutzer des Systems an seinem mobilen Gerät, auf dem die erfindungsgemäße Software-Applikation läuft, eingegeben werden. Alternativ könnte die Software-Applikation derartige Metadaten aber auch automatisch generieren.According to a preferred embodiment of the invention, it is provided that the audio reference signal contains further information (metadata), in particular information relating to the sound or video recording made. This additional information or metadata, for example, scene information such. B. "Scene 3 , Take 2 ", Camera settings, a title, a project name, a time, geographical position data, etc. include. The information can be entered, for example, by the user of the system on his mobile device running the software application according to the invention. Alternatively, the software application could also generate such metadata automatically.

Bei der im Audio-Referenzsignal enthaltenen zeitlichen Markierung kann es sich beispielsweise um einen oder mehrere Pulse, einen Chirp, rosa Rauschen oder eine Pseudo-Zufallssequenz handeln. Die zeitliche Markierung sollte ein Audiosignal sein, das sich gut von anderen Umgebungsgeräuschen abhebt und einfach und zeitgenau erfasst werden kann. Dem Fachmann sind verschiedene Realisierungsmöglichkeiten aus dem Stand der Technik hinreichend bekannt. The temporal marking contained in the audio reference signal can be, for example, one or more pulses, a chirp, pink noise or a pseudo-random sequence. The temporal marking should be an audio signal that stands out well from other environmental sounds and can be detected easily and timely. The person skilled in various realization options from the prior art are well known.

Die vorliegende Erfindung ist insbesondere für solche Tonaufzeichnungsgeräte relevant, die einen Taktgeber umfassen, welcher einen Takt erzeugt, in dem dann die digitalen Tonsequenzen oder Videoframes erzeugt werden. Die Taktgeber verschiedener Tonaufzeichnungsgeräte arbeiten etwa mit der gleichen Frequenz, die Taktfrequenzen sind aber in der Regel nicht exakt gleich. Ein erster Taktgeber kann beispielsweise etwas schneller als 48 kHz und ein zweiter Taktgeber etwas langsamer als 48 kHz takten. Beim nachfolgenden Ton- oder Videoschnitt hat dies zur Folge, dass Tonsequenzen oder Videoframes mit derselben Referenz (z. B. jeweils das Sample oder der Videoframe Nr. 5000 in zwei verschiedenen Videoaufnahmen) einander nicht entsprechen, weil sie zu verschiedenen Zeitpunkten aufgenommen wurden. Um diesen systematischen Taktfehler (dies wird auch als Uhrenfehler bezeichnet) zu korrigieren, wird vorgeschlagen, ein akustisches Takt-Korrektursignal zu erzeugen, dieses mit Hilfe des Tonerzeugers via Schall an die Umgebung auszusenden und mit den in Reichweite befindlichen Tonaufzeichnungsgeräten aufzunehmen.The present invention is particularly relevant to those sound recorders that include a clock generating a clock in which the digital sound sequences or video frames are then generated. The clocks of different audio recording devices operate at about the same frequency, but the clock frequencies are not exactly the same in the rule. For example, a first clock may clock slightly faster than 48 kHz and a second clock slightly slower than 48 kHz. In the subsequent sound or video editing, this means that sound sequences or video frames with the same reference (for example, the sample or the video frame No. 5000 in two different video recordings) do not correspond to each other, because they were recorded at different times. In order to correct this systematic timing error (this is also referred to as clock error), it is proposed to generate an acoustic clock correction signal, send it via the sound generator to the environment via sound and record it with the sound recording devices located in range.

Als Takt-Korrektursignal können beispielsweise zwei bzw. mehrere Pulse in einem definierten zeitlichen Abstand, oder ein periodisches Signal, dessen Periode genau genug bestimmbar ist, verwendet werden. In den Ton- oder Videoaufnahmen wird dann ermittelt, wie viele Tonsequenzen oder Videoframes in einer Periode bzw. Zeitspanne - oder einem Vielfachen davon - enthalten sind. Dadurch kann der Unterschied der Taktfrequenzen untereinander gemessen und beim Ton oder Videoschnitt berücksichtigt werden. Im Falle einer etwas höheren Taktfrequenz eines Taktgebers können die Tonsequenzen oder Videoframes der zugehörigen Ton- oder Videoaufnahme beispielsweise etwas langsamer abgespielt werden; im Falle einer etwas niedrigeren Taktfrequenz eines Taktgebers können die Tonsequenzen oder Videoframes dagegen etwas schneller abgespielt werden. Die Ton- oder Videoaufnahmen verschiedener Aufzeichnungsgeräte können somit zeitlich synchron abgespielt werden. Außerdem kann die vorstehend genannte Referenz der einzelnen Ton- oder Videoaufnahmen entsprechend korrigiert werden, um somit gleichzeitig aufgenommene Tonsequenzen oder Videoframes schnell und eindeutig finden zu können.As a clock correction signal, for example, two or more pulses in a defined time interval, or a periodic signal whose period is determined accurately enough, can be used. In the sound or video recordings is then determined how many sound sequences or video frames in a period or period - or a multiple thereof - are included. As a result, the difference of the clock frequencies can be measured with each other and taken into account in the sound or video editing. In the case of a slightly higher clock frequency of a clock, the sound sequences or video frames of the associated audio or video recording can be played, for example, a little slower; in the case of a slightly lower clock frequency of a clock, however, the sound sequences or video frames can be played a little faster. The sound or video recordings of different recording devices can thus be played synchronously in time. In addition, the above-mentioned reference of the individual sound or video recordings can be corrected accordingly, so that simultaneously recorded sound sequences or video frames can be found quickly and clearly.

Gemäß einer Ausführungsform der Erfindung kann das Audio-Referenzsignal neben der ID und der zeitlichen Markierung auch eine Startsequenz umfassen, anhand derer das Audio-Referenzsignal identifiziert werden kann. Bei der Startsequenz kann es sich zum Beispiel um ein Sinussignal einer definierten Länge handeln.According to one embodiment of the invention, in addition to the ID and the temporal marking, the audio reference signal may also comprise a start sequence by means of which the audio reference signal can be identified. The start sequence may be, for example, a sinusoidal signal of a defined length.

Das Takt-Korrektursignal kann Bestandteil des Audio-Referenzsignals sein, es könnte aber auch ein separates akustisches Signal sein.The clock correction signal may be part of the audio reference signal, but it could also be a separate audible signal.

Gemäß einer speziellen Ausführungsform der Erfindung können die zeitliche Markierung und das Takt-Korrektursignal ein und dasselbe Signal sein. Die zeitliche Markierung kann aber auch ein Teil des Takt-Korrektursignals sein. According to a specific embodiment of the invention, the temporal marker and the clock correction signal may be one and the same signal. The temporal marking can also be part of the clock correction signal.

Bei einem Tonaufzeichnungsgerät kann es sich gemäß der Erfindung um ein Gerät handeln, das ausschließlich Ton aufzeichnet. Unter dieser Bezeichnung sind aber auch solche Geräte zu verstehen, die sowohl Ton- als auch Video oder andere Medienaufnahmen machen können. Bei einemTonaufzeichnungsgerät, das sowohl Ton- als auch Videoaufnahmen machen kann, sind die Ton- und Videodaten vorzugsweise zeitlich miteinander gekoppelt. In diesem Fall kann die Tonspur - wenn sie ein Audio-Referenzsignal enthält - dazu genutzt werden, die Videoaufnahmen verschiedener Aufzeichnungsgeräte zu synchronisieren, d.h. in zeitliche Beziehung zueinander zu setzen.A sound recording device according to the invention may be a device which exclusively records sound. Under this name, however, are synonymous devices that can make both sound and video or other media recordings. In a sound recording device that can make both sound and video recordings, the sound and video data are preferably timed with each other. In this case, the audio track - if it contains an audio reference signal - can be used to synchronize the video recordings of different recording devices, i. to be in temporal relation to each other.

Der Tonerzeuger kann über eine zusätzliche Kommunikationsverbindung mit der Rechnereinheit in Verbindung stehen, um die vom Tonerzeuger via Schall ausgesendeten Daten und ggf. auch weitere Eingaben über einen anderen Übertragungsweg - also nicht über Schall - an die Rechnereinheit zu übertragen. Bei der zusätzlichen Kommunikationsverbindung kann es sich zum Beispiel um eine drahtgebundene oder drahtlose Verbindung, wie z. B. eine Bluetooth- oder WIFI-Verbindung handeln, über die die genannten Daten insbesondere digital übertragen werden.The tone generator can be connected to the computer unit via an additional communication connection in order to transmit to the computer unit the data transmitted by the tone generator via sound and possibly also other inputs via a different transmission path, ie not via sound. The additional communication connection may be, for example, a wired or wireless connection, such as a wireless connection. B. a Bluetooth or WIFI connection, over which the said data are transmitted in particular digitally.

Die Rechnereinheit ist vorzugsweise dazu eingerichtet, eine Korrelationsanalyse zwischen der ursprünglich vom Tonerzeuger gesendeten und jeweils einer von den Tonaufzeichnungsgeräten akustisch empfangenen zeitlichen Markierung durchzuführen. Mit Hilfe der Korrelationsanalyse kann die zeitliche Markierung eindeutig und genau erkannt werden.The computer unit is preferably set up to carry out a correlation analysis between the time signal originally sent by the tone generator and each one of the sound recording devices acoustically received. With the help of the correlation analysis, the temporal marking can be clearly and accurately recognized.

Die vorliegende Erfindung betrifft auch ein Verfahren zum Synchronisieren von Ton- oder Videoaufnahmen, die von verschiedenen Aufzeichnungsgeräten aufgenommen wurden, wobei das Verfahren mindestens folgende Schritte umfasst:

  • - Erzeugen eines Audio-Referenzsignals, das eine ID und eine zeitliche Markierung umfasst, mittels eines Tonerzeugers, und Übertragen des Audio-Referenzsignals via Schall an die Umgebung;
  • - Aufnehmen des vom Tonerzeuger ausgesendeten Audio-Referenzsignals mit mehreren Tonaufzeichnungsgeräten, die jeweils eine Tonaufnahme und gegebenenfalls auch eine Videoaufnahme erzeugen; und
  • - Für jede der von den Tonaufzeichnungsgeräten gemachten Tonaufnahmen: Ermitteln der im Audio-Referenzsignal enthaltenen IDs der zeitlichen Markierung.
  • - Für alle Tonaufnahmen mit gleicher ID: Synchronisieren der einzelnen Tonaufnahmen oder damit gekoppelter Videoaufnahmen in Abhängigkeit von der zeitlichen Markierung mit ggf. Korrektur des Uhrenfehlers.
The present invention also relates to a method for synchronizing sound or video recordings recorded by different recording devices, the method comprising at least the following steps:
  • - generating an audio reference signal comprising an ID and a temporal mark by means of a tone generator, and transmitting the audio reference signal via sound to the environment;
  • Recording the audio reference signal transmitted by the tone generator with a plurality of sound recording devices, each of which generates a sound recording and possibly also a video recording; and
  • - For each of the sound recordings made by the sound recorders: Determine the IDs contained in the audio reference signal of the time mark.
  • - For all sound recordings with the same ID: Synchronization of the individual sound recordings or video recordings coupled with it as a function of the time marking with correction of the clock error if necessary.

Figurenlistelist of figures

Die Erfindung wird nachstehend anhand der beigefügten Zeichnung beispielhaft näher erläutert. Es zeigen:

  • 1 eine schematische Ansicht eines Systems zum Synchronisieren von Ton- oder Videoaufnahmen, die von verschiedenen Aufzeichnungsgeräten aufgenommen wurden;
  • 2 eine schematische Darstellung der in einer Aufnahme enthaltenen Daten;
  • 3 eine schematische Darstellung eines beispielhaften Audio-Referenzsignals;
  • 4 ein Verfahren zum Generieren eines Audio-Referenzsignals;
  • 5 ein Verfahren zum Synchronisieren bzw. Referenzieren von Ton- oder Videoaufnahmen, die von verschiedenen Tonaufzeichnungsgeräten gemacht wurden; und
  • 6 eine Anordnung mehrerer Aufnahmen, die von verschiedenen Tonaufzeichnungsgeräten gemacht wurden, wobei die einzelnen Aufnahmen entlang einer gemeinsamen Zeitleiste zeitlich positioniert sind, so dass gleichzeitig aufgenommene Audiodaten oder Videoframes unmittelbar übereinander angeordnet sind.
The invention will now be described by way of example with reference to the accompanying drawings. Show it:
  • 1 a schematic view of a system for synchronizing sound or video recordings that have been recorded by different recording devices;
  • 2 a schematic representation of the data contained in a recording;
  • 3 a schematic representation of an exemplary audio reference signal;
  • 4 a method of generating an audio reference signal;
  • 5 a method of synchronizing sound or video recordings made by different sound recorders; and
  • 6 an arrangement of several recordings, which were made by different sound recording devices, wherein the individual recordings are positioned along a common timeline, so that simultaneously recorded audio data or video frames are arranged directly above one another.

Ausführungsformen der ErfindungEmbodiments of the invention

1 zeigt eine schematische Blockdarstellung eines Systems 1 zum Synchronisieren von Ton- 8 oder Videodaten 7, die gleichzeitig von verschiedenen Tonaufzeichnungsgeräten 3a-3d aufgenommen wurden. Wie zu erkennen ist, umfasst das System mehrere Tonaufzeichnungsgeräte 3a-3d, die über einen Übertragungsweg 19 mit einer Rechnereinheit 4 in Verbindung stehen. Die einzelnen Tonaufzeichnungsgeräte 3a-3d sind dazu eingerichtet, wenigstens ein Audiosignal aufzunehmen. Eines oder mehrere der Tonaufzeichnungsgeräte 3a-3d kann aber auch z.B. eine Kamera umfassen, um Videos aufzunehmen. 1 shows a schematic block diagram of a system 1 to synchronize sound 8th or video data 7 , simultaneously from different sound recording devices 3a - 3d were recorded. As can be seen, the system includes multiple sound recorders 3a - 3d that have a transmission path 19 with a computer unit 4 keep in touch. The individual sound recording devices 3a - 3d are set up to record at least one audio signal. One or more of the sound recording devices 3a -3d can also include, for example, a camera to record videos.

Im Betrieb des Systems 1 sind sämtliche Tonaufzeichnungsgeräte 3a-3d eingeschaltet und nehmen je nach Ausführung gleichzeitig entweder Audio- oder Audio- und Videosignale aus der Umgebung auf. Die zugehörigen, von den Tonaufzeichnungsgeräten 3a-3d generierten Ton- 8 und Videoaufnahmen 7 werden an die Rechnereinheit 4 übertragen, wo sie mittels einer Software nachbearbeitet oder geschnitten werden können.In operation of the system 1 are all sound recording devices 3a - 3d switched on and take depending on the version simultaneously either audio or audio and video signals from the Environment up. The associated, from the sound recording devices 3a - 3d generated sound 8th and video recordings 7 be sent to the computer unit 4 where they can be reworked or cut using software.

Das System 1 umfasst ferner einen Tonerzeuger 2 zur Erzeugung eines Audio-Referenzsignals 10, mittels dessen die von den verschiedenen Tonaufzeichnungsgeräten 3a-3d gemachten Aufnahmen 5 bzw. 5a-5d (siehe 6) synchronisiert werden können. Ein nachfolgender Bearbeitungs- oder Schnittvorgang kann dadurch wesentlich vereinfacht werden. Der Cutter kann insbesondere einfach und zielgenau an eine bestimmte Stelle innerhalb der einzelnen Aufnahmen 5, 5a-5d springen und gleichzeitig aufgenommene Tonsequenzen oder Videoframes editieren.The system 1 further comprises a tone generator 2 for generating an audio reference signal 10 by means of which of the various sound recorders 3a - 3d taken pictures 5 respectively. 5a - 5d (please refer 6 ) can be synchronized. A subsequent processing or cutting process can be significantly simplified. The cutter can in particular easily and accurately to a specific point within the individual shots 5 . 5a - 5d jump and simultaneously edit recorded sound sequences or video frames.

Bei dem Tonerzeuger 2 kann es sich beispielsweise um ein mobiles Endgerät, wie z. B. ein Smartphone, einen Tablet-Computer oder dergleichen handeln, das einen integrierten Lautsprecher umfasst.At the tone generator 2 For example, it may be a mobile terminal, such. As a smartphone, a tablet computer or the like, which includes an integrated speaker.

Das vom Tonerzeuger 2 ausgesendete Audio-Referenzsignals 10 wird von sämtlichen Tonaufzeichnungsgeräten 3a-3d per Mikrofon empfangen. Die entsprechenden Schallwellen sind mit dem Bezugszeichen 20 bezeichnet. Das Audio-Referenzsignal 10, wie es beispielhaft in 3 dargestellt ist, dient dazu, eine zeitliche Referenz zwischen den von verschiedenen Tonaufzeichnungsgeräten 3a-3d gemachten Aufnahmen 5a-5d herzustellen, so dass gleichzeitig aufgenommene Audiosequenzen oder Videoframes einfach und schnell als solche identifiziert und editiert werden können. Außerdem können mehrere Audio- oder Videospuren in der richtigen zeitlichen Position synchron abgespielt bzw. angezeigt werden.That from the tone generator 2 emitted audio reference signal 10 is used by all sound recorders 3a - 3d received via microphone. The corresponding sound waves are denoted by the reference numeral 20 designated. The audio reference signal 10 as exemplified in 3 serves to provide a temporal reference between those of different sound recorders 3a - 3d taken pictures 5a - 5d so that simultaneously recorded audio sequences or video frames can be easily and quickly identified as such and edited. In addition, several audio or video tracks can be played synchronously or displayed in the correct time position.

2 zeigt schematisch die Struktur einer typischen Aufnahme 5 (bzw. der Aufnahmedaten), wie sie von den Tonaufzeichnungsgeräten 3a-3d erstellt wird. Im dargestellten Ausführungsbeispiel umfasst die Aufnahme 5 sowohl eine Tonaufnahme 8 als auch eine Videoaufnahme 7. Darüber hinaus enthält sie ein Zeitsignal 9 und Metadaten 6. 2 schematically shows the structure of a typical recording 5 (or the recording data), as used by the sound recording devices 3a - 3d is created. In the illustrated embodiment, the recording includes 5 both a sound recording 8th as well as a video recording 7 , In addition, it contains a time signal 9 and metadata 6 ,

Das betreffende Tonaufzeichnungsgerät 3a-3d hat in diesem Fall einen Taktgeber, der ein Taktsignal erzeugt, über das die Ton- 8 und Videoaufnahme 7 zeitlich miteinander gekoppelt sind, wodurch zwischen der Ton- 8 und Videoaufnahme 7 eine Synchronisationsbeziehung besteht.The sound recorder in question 3a - 3d in this case has a clock generator which generates a clock signal via which the sound 8th and video recording 7 are coupled with each other in time, whereby 8th and video recording 7 there is a synchronization relationship.

Die vorstehend genannten Metadaten 6 können unter anderem einen Dateinamen, einen Aufnahmezeitpunkt, verwendete Codecs, Kamera- oder Mikrofoneinstellungen, Ortsdaten oder beliebige andere Informationen enthalten.The above metadata 6 may include, but is not limited to, a file name, a recording time, codecs used, camera or microphone settings, location data, or any other information.

3 zeigt eine schematische Darstellung eines typischen Audio-Referenzsignals 10, wie es vom Tonerzeuger 2 via Schall ausgesendet wird. Das Audio-Referenzsignal 10 umfasst bei dieser Ausführungsform eine Startsequenz 11, Metadaten 12 sowie eine zeitliche Markierung 13. Bei einer Startsequenz 11 kann es sich beispielsweise um ein Sinussignal einer bestimmten Frequenz und Länge handeln. Sie dient im Wesentlichen der besseren Erkennung des Audio-Referenzsignals 10. Die im Audio-Referenzsignal 10 enthaltenen Metadaten 12 werden vorzugsweise mit einem aus dem Stand der Technik bekannten Verfahren moduliert, z. B. mittels Phase-Shift-Keying oder Frequency-Shift-Keying und auf der Empfängerseite wieder demoduliert. 3 shows a schematic representation of a typical audio reference signal 10 as it is from the tone generator 2 is sent via sound. The audio reference signal 10 in this embodiment comprises a start sequence 11 , Metadata 12 as well as a time marking 13 , For a startup sequence 11 For example, it can be a sinusoidal signal of a specific frequency and length. It essentially serves to better detect the audio reference signal 10 , The in the audio reference signal 10 contained metadata 12 are preferably modulated by a method known in the art, e.g. B. demodulated by means of phase-shift keying or frequency-shift keying and on the receiver side again.

Die Metadaten 12 umfassen wenigstens eine ID 14 zur Kennzeichnung der von den Tonaufzeichnungsgeräten 3a-3d aktuell gemachten Aufnahmen 5, 5a-5d. Bei der ID 14 kann es sich beispielsweise um eine Zahlenfolge, eine beliebige Zeichenfolge oder um einen anderen Code handeln, der das Audio-Referenzsignal 10 und damit die aktuelle Aufnahme 5 eindeutig kennzeichnet. Darüber hinaus können die Metadaten 12 auch eine Zeitinformation, Szeneninformationen, wie z.B. „Szene 2, Take 5“, Informationen über Kameraeinstellungen, Geodaten oder andere Parameter 15 umfassen.The metadata 12 include at least one ID 14 for identification of the sound recording devices 3a - 3d currently made recordings 5 . 5a - 5d , At the ID 14 For example, it can be a sequence of numbers, any string, or any other code that contains the audio reference signal 10 and thus the current recording 5 clearly identifies. In addition, the metadata can 12 also a time information, scene information, such as "scene 2 , Take 5 , Information about camera settings, geodata or other parameters 15 include.

Die zeitliche Markierung 13 kann beispielsweise ein Chirp, das heißt ein in der Frequenz ansteigender Sinuston, rosa Rauschen, eine Pseudo-Zufallssequenz oder wenigstens ein Puls sein. Sie ist so zu wählen, dass sich aus der Aufnahme die genaue zeitliche Position bestimmen lässt.The time marking 13 For example, a chirp, that is, a sinusoid rising in frequency, may be pink noise, a pseudorandom sequence, or at least one pulse. It is to be chosen so that the exact time position can be determined from the recording.

Weiterhin kann das Audi-Referenzsignal 10 auch ein Takt-Korrektursignal enthalten, mit dessen Hilfe sich der Uhrenfehler der Tonaufzeichnungsgeräte bestimmen lässt. Als Takt-Korrektursignal können beispielsweise zwei bzw. mehrere Pulse in einem definierten zeitlichen Abstand, oder ein periodisches Signal, dessen Periode genau genug bestimmbar ist, verwendet werden. In den Ton- oder Videoaufnahmen wird dann ermittelt, wie viele Tonsequenzen oder Videoframes in einer Periode bzw. Zeitspanne - oder einem Vielfachen davon - enthalten sind. Dadurch kann der Unterschied der Taktfrequenzen von den Taktgebern der verschiedenen Tonaufzeichnungsgeräte gemessen und beim Ton oder Videoschnitt berücksichtigt werden. Im Falle einer etwas höheren Taktfrequenz eines Taktgebers können die Tonsequenzen oder Videoframes der zugehörigen Ton- oder Videoaufnahme beispielsweise etwas langsamer abgespielt werden; im Falle einer etwas niedrigeren Taktfrequenz eines Taktgebers können die Tonsequenzen oder Videoframes dagegen etwas schneller abgespielt werden. Die Ton- oder Videoaufnahmen verschiedener Aufzeichnungsgeräte können somit seitlich synchron abgespielt werden. Außerdem kann die vorstehend genannte Referenz der einzelnen Ton- oder Videoaufnahmen entsprechend korrigiert werden, um somit gleichzeitig aufgenommene Tonsequenzen oder Videoframes schnell und eindeutig finden zu können.Furthermore, the Audi reference signal 10 Also include a clock correction signal by means of which the clock error of the sound recording devices can be determined. As a clock correction signal, for example, two or more pulses in a defined time interval, or a periodic signal whose period is determined accurately enough, can be used. In the sound or video recordings is then determined how many sound sequences or video frames in a period or period - or a multiple thereof - are included. Thereby, the difference of the clock frequencies from the clocks of the different sound recording devices can be measured and taken into account in the sound or video editing. In the case of a slightly higher clock frequency of a clock, the sound sequences or video frames of the associated audio or video recording can be played, for example, a little slower; in the case of a slightly lower clock frequency of a clock, the sound sequences or video frames, however, something be played faster. The sound or video recordings of different recording devices can thus be played laterally synchronously. In addition, the above-mentioned reference of the individual sound or video recordings can be corrected accordingly, so that simultaneously recorded sound sequences or video frames can be found quickly and clearly.

Die auf dem Tonerzeuger 2 laufende Software-Applikation bietet dem Nutzer vorzugsweise die Möglichkeit, bestimmte Metadaten 12, wie zum Beispiel Szeneninformationen einzugeben. Andere Metadaten 12, wie z. B. die ID 14, werden vorzugsweise für jedes Audio-Referenzsignal 10 automatisch generiert.The on the tone generator 2 Running software application preferably offers the user the option of certain metadata 12 such as entering scene information. Other metadata 12 , such as Eg the ID 14 , are preferred for each audio reference signal 10 automatically generated.

4 zeigt ein Diagramm eines allgemeinen Verfahrens zum Erstellen eines Audio-Referenzsignals 10. Das Verfahren beginnt in Schritt S1 damit, dass ein Nutzer auf dem Tonerzeuger 2, wie beispielsweise einem Smartphone, Metadaten 12 eingibt. Die auf dem Tonerzeuger 2 laufende Software-Applikation generiert in Schritt S2 eine ID 14. Aus den vom Nutzer eingegebenen Metadaten 12 und der automatisch generierten ID 14 wird daraus in Schritt S3 ein moduliertes Audio-Referenzsignal 10 erzeugt, das dann in Schritt S4 mittels Lautsprecher abgespielt wird. Das Audio-Referenzsignal 10 breitet sich via Schall aus und wird von sämtlichen Tonaufzeichnungsgeräten 3a-3d etwa gleichzeitig empfangen. Das Audio-Referenzsignal 10 ist damit Teil jeder Aufnahme 5, die von den einzelnen Tonerzeugungsgeräten 3a-3d gemacht wird. 4 shows a diagram of a general method for creating an audio reference signal 10 , The procedure begins in step S1 with that a user on the tone generator 2 , such as a smartphone, metadata 12 enters. The on the tone generator 2 running software application generated in step S2 an ID 14 , From the metadata entered by the user 12 and the automatically generated ID 14 it will be in step S3 a modulated audio reference signal 10 generated, then in step S4 played by loudspeaker. The audio reference signal 10 spreads via sound and is from all sound recording devices 3a - 3d received about the same time. The audio reference signal 10 is part of every shot 5 that of the individual sound generating devices 3a - 3d is done.

5 zeigt schematisch ein Verfahren, mit dem die von den einzelnen Tonaufzeichnungsgeräten 3a-3d gemachten Ton- 8a-8d oder Videoaufnahmen 7b, 7c synchronisiert werden können. Nachdem die von den Tonaufzeichnungsgeräten 3a-3d jeweils gemachten Aufnahmen 5a-5d an die Rechnereinheit 4 übertragen wurden, sucht in Schritt S10 eine auf der Rechnereinheit 4 laufende Bearbeitungssoftware in den Audiospuren der einzelnen Aufnahmen 5a-5d zunächst jeweils die Startsequenz 11 der einzelnen Audio-Referenzsignale 10. Sobald die einzelnen Startsequenzen 11 identifiziert sind, ermittelt die Bearbeitungssoftware dann in Schritt S11 jeweils die in den Audio-Referenzsignalen 10 enthaltene zeitliche Markierung 13. In diesem Schritt werden ggf. auch Uhrenfehler und Impulsantwort des Raums analysiert. Geht man davon aus, dass das vom Tonerzeuger 2 abgespielte Audio-Referenzsignal 10 von sämtlichen Tonaufzeichnungsgeräten 3a-3d etwa gleichzeitig empfangen wird, ist dadurch ein gemeinsamer Referenzzeitpunkt bekannt, an dem ein bestimmter Videoframe oder eine bestimmte Audiosequenz aufgenommen wurde. In Schritt S12 wird die Position der zeitlichen Markierung 13 relativ zum Zeitsignal 9a, 9b, etc. gespeichert. Sämtliche anderen Ton- 8a-8d und Videoaufnahmen 7b, 7c können danach eindeutig referenziert werden, so dass jeder Videoframe oder jede Tonsequenz innerhalb einer ersten Aufnahme (z.B. der Aufnahme 5b) in Relation zu einem Videoframe oder einer Tonsequenz innerhalb einer zweiten Aufnahme (z.B. der Aufnahme 5c) eindeutig gekennzeichnet ist und somit automatisch editiert werden kann. 5 shows schematically a method with which of the individual sound recorders 3a - 3d made sound 8a - 8d or video recordings 7b . 7c can be synchronized. After the sound recording devices 3a - 3d each made recordings 5a - 5d to the computer unit 4 have been transferred, search in step S10 one on the computer unit 4 running editing software in the audio tracks of each recording 5a - 5d First, the start sequence 11 the individual audio reference signals 10 , Once the individual start sequences 11 are identified, the processing software then determines in step S11 each in the audio reference signals 10 included time marker 13 , In this step, watch error and impulse response of the room may also be analyzed. Assuming that from the tone generator 2 played audio reference signal 10 from all sound recording devices 3a - 3d is received about simultaneously, thereby a common reference time is known at which a particular video frame or a particular audio sequence was recorded. In step S12 becomes the position of the time marker 13 relative to the time signal 9a . 9b , etc. stored. All other sound 8a - 8d and video recordings 7b . 7c can then be clearly referenced, so that each video frame or each sound sequence within a first recording (eg recording 5b) in relation to a video frame or a sound sequence within a second recording (eg the recording 5c) is clearly marked and thus can be edited automatically.

Sofern die verschiedenen Tonaufzeichnungsgeräte 3a-3d räumlich so verteilt sind, dass erhebliche Laufzeitunterschiede bei der Schallübertragung des Audio-Referenzsignals 10 bestehen, können diese ggfs. nachträglich herausgerechnet werden. Hierzu können z. B. die Geodaten der einzelnen Tonaufzeichnungsgeräte 3a-3d und des Tonerzeugers 2 verwendet werden. Alternativ oder zusätzlich gäbe es auch andere mathematische Ansätze, um derartige Laufzeitunterschiede herauszurechnen, die dem Fachmann aus dem Stand der Technik hinlänglich bekannt sind. So kann z. B. mittels des Tonerzeugers 2 ein weiteres Korrektursignal via Schall ausgesendet werden - oder ein anderes der vorstehend genannten akustischen Signale kann zu diesem Zweck verwendet werden - mit dem die Charakteristik des Raumes (Hall) ausgemessen werden kann. Die daraus gewonnene Information (etwa die Impulsantwort des Raums) kann schließlich dazu verwendet werden, die digitalen Ton- oder Videoaufnahmen zu korrigieren. Diese Vorverarbeitung kann auch zur Verbesserung der Demodulation in Schritt S13 dienen, falls das Verfahren z.B. wegen eines langen Nachhalls beeinträchtigt ist. Als Korrektursignal kann z. B. ein Impuls oder pseudozufälliges Rauschen dienen. Es sind dem Fachmann Verfahren aus dem Stand der Technik bekannt.Unless the different sound recorders 3a - 3d spatially distributed so that significant differences in transit time in the sound transmission of the audio reference signal 10 If necessary, these can be deducted later. For this purpose, z. B. the geodata of the individual sound recording devices 3a - 3d and the tone generator 2 be used. Alternatively or additionally, there would be other mathematical approaches to calculate such differences in transit time, which are well known to those skilled in the art. So z. B. by means of the tone generator 2 a further correction signal can be emitted via sound - or another of the aforementioned acoustic signals can be used for this purpose - with which the characteristic of the room (Hall) can be measured. The resulting information (such as the impulse response of the room) can eventually be used to correct the digital audio or video recordings. This preprocessing can also be used to improve demodulation in step S13 serve, if the process is impaired, for example because of a long reverberation. As a correction signal can z. As an impulse or pseudorandom noise serve. Methods known to those skilled in the art are known in the art.

In Schritt S13 werden schließlich noch die in den Audio-Referenzsignalen 10 enthaltenen Metadaten 12 demoduliert und alle gesammelten Daten (ggf. zusammen mit den über 17 übertragenen Daten) in Schritt S14 gespeichert.In step S13 Finally, those in the audio reference signals 10 contained metadata 12 demodulated and all collected data (possibly together with the over 17 transferred data) in step S14 saved.

Eine besonders genaue Bestimmung der zeitlichen Markierung 13 kann beispielsweise dadurch erfolgen, dass zwischen den in den einzelnen Tonaufnahmen enthaltenen zeitlichen Markierungen 13 und der ursprünglich vom Tonerzeuger 2 erzeugten zeitlichen Markierung 13 eine Korrelationsanalyse durchgeführt wird. Hierzu ist die ursprüngliche zeitliche Markierung 13 z.B. konstant, also in S3 und S13 nach Voraussetzung bekannt, oder sie kann etwa über eine separate Kommunikationsverbindung 17 an die Rechnereinheit 4 übertragen werden. Die Übertragung erfolgt hierbei insbesondere nicht über Schall, sondern vorzugsweise in digitaler Form, beispielsweise über eine Funkverbindung. Nach der Durchführung des vorstehend beschriebenen Verfahrens können die einzelnen Aufnahmen 5a-5d und weitere, nachträglich gemachte Aufnahmen in beliebiger Weise z. B. anhand der Metadaten gruppiert, zeitlich angeordnet und bearbeitet werden.A particularly accurate determination of the temporal marking 13 can be done, for example, that between the temporal markings contained in the individual sound recordings 13 and originally from the tone generator 2 generated temporal mark 13 a correlation analysis is performed. This is the original time marker 13 eg constant, ie in S3 and S13 known according to condition, or it may be about a separate communication connection 17 to the computer unit 4 be transmitted. In particular, the transmission does not take place via sound, but preferably in digital form, for example via a radio link. After carrying out the method described above, the individual shots 5a - 5d and further, subsequently made recordings in any way z. B. grouped by the metadata, arranged in time and edited.

6 zeigt schließlich noch eine schematische Anordnung verschiedener, von den Tonaufzeichnungsgeräten 3a-3d gemachter Aufnahmen 5a-5d. Die in den einzelnen Audiodaten 8a-8d enthaltene zeitliche Markierung 13 ist dabei jeweils durch ein Dreiecksymbol gekennzeichnet. Die einzelnen Aufnahmen 5a-5d sind dabei zeitlich so positioniert, dass die zeitlichen Markierungen 13 auf einem globalen Zeitstrahl 18 an derselben zeitlichen Position liegen. Anstelle der Referenzierung anhand eines globalen Zeitstrahls 18 kann selbstverständlich auch eine andere Referenzgröße, wie z. B. eine Zahlenfolge, oder andere Referenzwerte genutzt werden. Enthält das Audio-Referenzsignal 10 auch einen Anteil, mit dem der Uhrenfehler der verschiedenen Taktgeber korrigiert werden kann, so wurde der systematische Geschwindigkeitsunterschied der Taktgeber in S11 ermittelt. Anhand dieser Information werden die Aufnahmen 5a-5d entsprechend der Laufzeiten aus 9a-9d jeweils korrigiert, sofern das vom weiteren Verarbeitungsprozess unterstützt wird. 6 Finally, shows a schematic arrangement of various, from the sound recording devices 3a - 3d taken pictures 5a - 5d , The in the individual audio data 8a - 8d included time marker 13 is in each case marked by a triangle symbol. The individual shots 5a - 5d are temporally positioned so that the temporal markings 13 on a global timeline 18 be at the same time position. Instead of referencing using a global timeline 18 can of course also another reference size, such. As a sequence of numbers, or other reference values are used. Contains the audio reference signal 10 Also, a proportion with which the clock error of the various clocks can be corrected, so the systematic speed difference of the clock in S11 determined. Based on this information will be the recordings 5a - 5d according to the maturities 9a - 9d corrected, if supported by the further processing.

Im dargestellten Ausführungsbeispiel umfasst die vom Tonaufzeichnungsgerät 3a gemachte Aufnahme 5a Metadaten 6a, Audiodaten 8a und eine Zeitspur 9a. Die vom Tonaufzeichnungsgerät 3b erstellte Aufnahme 5b umfasst Metadaten 6b, Videodaten 7b, Audiodaten 8b und eine Zeitspur 9b. Die vom Tonaufzeichnungsgerät 3c gemachte Aufnahme 5c umfasst Metadaten 6c, Videodaten 7c, Audiodaten 8c und eine Zeitspur 9c. Die vom Tonaufzeichnungsgerät 3d gemachte Aufnahme 5d umfasst lediglich Metadaten 6d und Audiodaten 8d.In the illustrated embodiment, the audio recording device comprises 3a taken picture 5a metadata 6a , Audio data 8a and a time track 9a , The sound recorder 3b created recording 5b includes metadata 6b , Video data 7b , Audio data 8b and a time track 9b , The sound recorder 3c taken picture 5c includes metadata 6c , Video data 7c , Audio data 8c and a time track 9c , The sound recorder 3d taken picture 5d includes only metadata 6d and audio data 8d ,

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • US 8205148 B1 [0005]US 8205148 B1 [0005]

Claims (12)

System (1) zum Synchronisieren von Ton- oder Videoaufnahmen, umfassend: - einen Tonerzeuger (2) zur Erzeugung eines Audio-Referenz-Signals (10), das eine ID (14) und eine zeitliche Markierung (13) umfasst und mittels Lautsprecher an die Umgebung ausgesendet wird, - mehrere Tonaufzeichnungsgeräte (3a-3d), die das vom Tonerzeuger (2) ausgesendete Audio-Referenzsignal (10) aufnehmen und jeweils eine Tonaufnahme (8a-8d) und gegebenenfalls auch eine Videoaufnahme (7b, 7c) erzeugen, und - eine Rechnereinheit (4), die die von den Tonaufzeichnungsgeräten (3a-3d) erzeugten Tonaufnahmen (8a-8d) lesen kann und jeweils die im Audio-Referenzsignal (10) enthaltene zeitliche Markierung (13) ermittelt und die einzelnen Tonaufnahmen (8a-8d) oder gegebenenfalls auch damit gekoppelte Videoaufnahmen (7b, 7c) entsprechend der zeitlichen Markierung (13) synchronisiert.A system (1) for synchronizing audio or video recordings comprising: a tone generator (2) for generating an audio reference signal (10) comprising an ID (14) and a temporal mark (13) and emitted by means of loudspeakers to the environment, a plurality of sound recording devices (3a-3d) which record the audio reference signal (10) emitted by the tone generator (2) and respectively generate a sound recording (8a-8d) and possibly also a video recording (7b, 7c), and a computer unit (4) which can read the sound recordings (8a-8d) produced by the sound recording devices (3a-3d) and in each case determines the temporal marking (13) contained in the audio reference signal (10) and records the individual sound recordings (8a-8a) 8d) or possibly also video recordings (7b, 7c) synchronized therewith in accordance with the temporal marking (13). System (1) nach Anspruch 1, dadurch gekennzeichnet, dass wenigstens eines der Tonaufzeichnungsgeräte (3a-3d) auch Videoaufnahmen (7) macht, die zeitlich an die Tonaufnahmen (8) gekoppelt sind.System (1) to Claim 1 , characterized in that at least one of the sound recording devices (3a-3d) also makes video recordings (7) which are temporally coupled to the sound recordings (8). System (1) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Audio-Referenzsignal (10) neben der ID (14) und der zeitlichen Markierung (13) auch Metadaten (12) umfasst.System (1) to Claim 1 or 2 , characterized in that the audio reference signal (10) in addition to the ID (14) and the temporal mark (13) and metadata (12). System (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Audio-Referenzsignal (10) heben der ID (14) und der zeitlichen Markierung (13) auch eine Startsequenz (11) umfasst.System (1) according to one of the preceding claims, characterized in that the audio reference signal (10) lifting the ID (14) and the temporal mark (13) also comprises a start sequence (11). System (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Tonaufzeichnungsgeräte (3a-3d) jeweils einen Taktgeber umfassen, der ein Taktsignal generiert, auf dessen Basis digitale Tonsequenzen oder Videoframes erzeugt werden und dass die Rechnereinheit (4) die Differenzen der Taktfrequenzen verschiedener Taktgeber ermittelt und diese bei der Synchronisierung von Ton- oder Videoaufnahmen (7,8), welche von verschiedenen Tonaufzeichnungsgeräten (3a-3d) gemacht wurden, berücksichtigt.System (1) according to one of the preceding claims, characterized in that the sound recording devices (3a-3d) each comprise a clock generating a clock signal on the basis of digital sound sequences or video frames are generated and that the computer unit (4) the differences of the Detected clock frequencies of various clocks and this in the synchronization of sound or video recordings (7,8), which were made by different sound recorders (3a-3d), taken into account. System (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Tonerzeuger (2) über eine Kommunikationsverbindung (17) mit der Rechnereinheit (4) in Verbindung steht, über die während oder nach der Aufnahme gemachte Daten, wie z. B. Metadaten (5a-5d) separat an die Rechnereinheit (4) übertragen werden.System (1) according to any one of the preceding claims, characterized in that the tone generator (2) via a communication link (17) with the computer unit (4) is in communication via the data taken during or after the recording, such. B. metadata (5a-5d) are transmitted separately to the computer unit (4). System (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Kreuzkorrelation zwischen einer von den Tonaufzeichnungsgeräten (3a-3d) aufgenommen zeitlichen Markierung (13 in 8a-8d) und der ursprünglichen im Audioreferenzsignal (10) enthaltenen zeitlichen Markierung (13) durchgeführt wird.System (1) according to one of the preceding claims, characterized in that a cross-correlation between a time mark (13 in 8a-8d) recorded by the sound recording devices (3a-3d) and the original time mark (13) contained in the audio reference signal (10). is carried out. System (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zeitliche Markierung (13) einen oder mehrere Pulse, einen Chirp, rosa Rauschen oder eine Pseudo-Zufallssequenz umfasst.System (1) according to one of the preceding claims, characterized in that the temporal marking (13) comprises one or more pulses, a chirp, pink noise or a pseudorandom sequence. System (1) nach Anspruch 3, dadurch gekennzeichnet, dass die im Audio-Referenzsignal (10) enthaltenen Metadaten (12) eine Zeitinformation, Informationen über die Aufnahme, die Szene, Kameraeinstellungen oder beliebige andere Informationen enthalten kann.System (1) to Claim 3 , characterized in that the metadata (12) contained in the audio reference signal (10) may include time information, information about the recording, the scene, camera settings or any other information. Verfahren zum Synchronisieren von Ton- (8) oder Videoaufnahmen (7), die von verschiedenen Aufzeichnungsgeräten (3a-3d) aufgenommen wurden, wobei das Verfahren mindestens folgende Schritte umfasst: - Erzeugen eines Audio-Referenzsignals (10), das eine ID (11) und eine zeitliche Markierung (13) umfasst, mittels eines Tonerzeugers (2), und Übertragen des Audio-Referenzsignals (10) via Schall an die Umgebung; - Aufnehmen des vom Tonerzeuger (2) ausgesendeten Audio-Referenzsignals (10) mit mehreren Tonaufzeichnungsgeräten (3a-3d), die jeweils eine Tonaufnahme (8a-8d) und gegebenenfalls auch eine Videoaufnahme (7b, 7c) erzeugen; und - Für jede der von den Tonaufzeichnungsgeräten(3a-3d) gemachten Tonaufnahmen (8a-8d): Ermitteln der im Audio-Referenzsignal (10) enthaltenen zeitlichen Markierung (13) und Synchronisieren der einzelnen Tonaufnahmen (8a-8d) oder damit gekoppelter Videoaufnahmen (7b, 7c) in Abhängigkeit von der zeitlichen Markierung (13).Method for synchronizing sound (8) or video recordings (7) recorded by different recording devices (3a-3d), the method comprising at least the following steps: - generating an audio reference signal (10) comprising an ID (11) and a temporal mark (13) by means of a tone generator (2), and transmitting the audio reference signal (10) via sound to the environment; Recording the audio reference signal (10) emitted by the tone generator (2) with a plurality of sound recording devices (3a-3d), each of which generates a sound recording (8a-8d) and possibly also a video recording (7b, 7c); and For each of the sound recordings (8a-8d) made by the sound recording devices (3a-3d): determining the temporal mark (13) contained in the audio reference signal (10) and synchronizing the individual sound recordings (8a-8d) or video recordings coupled thereto ( 7b, 7c) as a function of the time mark (13). Verfahren zum Synchronisieren von Ton- (8) oder Videoaufnahmen (7), die von verschiedenen Aufzeichnungsgeräten (3a-3d) aufgenommen wurden, dadurch gekennzeichnet dass der Tonerzeuger (2) ein Takt-Korrektursignal erzeugt und via Schall an die Umgebung sendet, und dass das Takt-Korrektursignal genutzt wird, um die Abspielgeschwindigkeiten von Ton-(8a-8d) oder Videoaufnahmen (7b, 7c), die von verschiedenen Tonaufzeichnungsgeräten (3a-3d) gemacht wurden, anzupassen.Method for synchronizing audio (8) or video recordings (7) recorded by different recording devices (3a-3d), characterized in that the tone generator (2) generates a clock correction signal and sends it via sound to the environment, and the clock correction signal is used to adjust the playback speeds of sound (8a-8d) or video recordings (7b, 7c) made by different sound recorders (3a-3d). Verfahren zum Synchronisieren von Ton- (8) oder Videoaufnahmen (7), die von verschiedenen Aufzeichnungsgeräten (3a-3d) aufgenommen wurden, dadurch gekennzeichnet dass der Tonerzeuger (2) ein weiteres Korrektursignal erzeugt, mittels dessen Laufzeitunterschiede bei der Schallübertragung des Audio-Referenzsignals (10) zwischen dem Tonerzeuger (2) und verschiedenen Tonaufzeichnungsgeräten (3a-3d) ermittelt werden können, und dass die ermittelten Laufzeitunterschiede von der Rechnereinheit (4) verwendet werden, um die zeitliche Position von Ton- (8a-8d) oder Videoaufnahmen (7b, 7c), die von verschiedenen Tonaufzeichnungsgeräten (3a-3d) gemacht wurden, entsprechend anzupassen.Method for synchronizing sound (8) or video recordings (7) recorded by different recording devices (3a-3d), characterized in that the tone generator (2) generates a further correction signal by means of whose propagation time differences in the sound transmission of the audio reference signal (10) between the tone generator (2) and different sound recording devices (3a-3d) can be determined, and that the determined transit time differences are used by the computer unit (4) to the temporal position of sound - (8a-8d) or video recordings (7b, 7c) made by different sound recorders (3a-3d).
DE102017123068.8A 2017-10-05 2017-10-05 System for synchronizing audio or video recordings Ceased DE102017123068A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102017123068.8A DE102017123068A1 (en) 2017-10-05 2017-10-05 System for synchronizing audio or video recordings

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017123068.8A DE102017123068A1 (en) 2017-10-05 2017-10-05 System for synchronizing audio or video recordings

Publications (1)

Publication Number Publication Date
DE102017123068A1 true DE102017123068A1 (en) 2019-04-11

Family

ID=65817282

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017123068.8A Ceased DE102017123068A1 (en) 2017-10-05 2017-10-05 System for synchronizing audio or video recordings

Country Status (1)

Country Link
DE (1) DE102017123068A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021019342A1 (en) * 2019-07-30 2021-02-04 International Business Machines Corporation Synchronized sound generation from videos

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3336228A1 (en) * 1982-10-06 1984-04-12 Crystal Audio Visual Products Ltd., London DEVICE FOR SIMULTANEOUSLY DELIVERING VISIBLE AND SOUND SIGNALS
US8205148B1 (en) 2008-01-11 2012-06-19 Bruce Sharpe Methods and apparatus for temporal alignment of media
US20150326754A1 (en) * 2014-05-08 2015-11-12 Mewt Limited Synchronisation of Audio and Video Playback

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3336228A1 (en) * 1982-10-06 1984-04-12 Crystal Audio Visual Products Ltd., London DEVICE FOR SIMULTANEOUSLY DELIVERING VISIBLE AND SOUND SIGNALS
US8205148B1 (en) 2008-01-11 2012-06-19 Bruce Sharpe Methods and apparatus for temporal alignment of media
US20150326754A1 (en) * 2014-05-08 2015-11-12 Mewt Limited Synchronisation of Audio and Video Playback

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021019342A1 (en) * 2019-07-30 2021-02-04 International Business Machines Corporation Synchronized sound generation from videos
US11276419B2 (en) 2019-07-30 2022-03-15 International Business Machines Corporation Synchronized sound generation from videos
GB2600600A (en) * 2019-07-30 2022-05-04 Ibm Synchronized sound generation from videos
GB2600600B (en) * 2019-07-30 2022-10-26 Ibm Synchronized sound generation from videos
JP7475423B2 (en) 2019-07-30 2024-04-26 インターナショナル・ビジネス・マシーンズ・コーポレーション Synchronized speech generation from video

Similar Documents

Publication Publication Date Title
EP1627391B1 (en) Device and method for synchronizing an audio signal with a film
DE2712525C2 (en) Method for modifying the duration of the vertical blanking interval of a video signal and method for producing a video recording master tape and apparatus for editing and processing a video signal
DE2353073B2 (en) METHOD AND DEVICE FOR RECORDING VIDEO INFORMATION SIGNALS ON A VIDEO DISK
DE2104622B2 (en) PROCEDURE AND CIRCUIT ARRANGEMENT FOR SYNCHRONIZATION OF SIGNALS
DE102017124621A1 (en) Sensible bass response
EP1894198B1 (en) Device and method for establishing a correlation between a test audio signal playable at a variable speed and a reference audio signal
DE3127669A1 (en) Method for transmitting audio information by means of infrared radiation
DE102017123068A1 (en) System for synchronizing audio or video recordings
DE2007221B2 (en) SERVO SYSTEM FOR A VIDEO TAPE RECORDING AND PLAYBACK DEVICE
DE69922193T2 (en) METHOD AND DEVICE FOR THE DYNAMIC SYNCHRONIZATION OF A DIGITAL SOUND TRACK WITH A FILM IN A FILM MEDIUM
DE10254405B3 (en) Data stream receiver e.g. for multi-media system, with detection of reception clock oscillator periods over defined interval for correction of oscillator frequency for synchronization with transmitter
DE4126371C2 (en) Radio receiver with a device for the time-delayed recording of sound signals
DE102005045628B3 (en) Apparatus and method for determining a location in a film having film information applied in a temporal sequence
DE2160701C2 (en) Circuit arrangement for reproducing stored video signals
DE3806972A1 (en) Device for receiving, detecting and reproducing traffic radio announcements
EP0095178B1 (en) Method to officially record the contributions to a discussion entered in an electro acoustic facility
DE1276689B (en) Magnetic tape recorder for recording television signals
DE102007039603A1 (en) Method for synchronizing media data streams
EP1872368B1 (en) Device and method for determining a point in a film
WO2020114623A1 (en) Method and device for automatically evaluating and providing video signals of an event
DE2257460A1 (en) PROCEDURE FOR DETERMINING PROGRAM SELECTION ON RADIO AND TELEVISION RECEIVERS OR THE LIKE. AND THE DEVICE FOR CARRYING OUT THIS PROCEDURE
DE4229359C1 (en) Device for storing and playing audio recordings with synchronous operation of auxiliary devices accompanying the audio playback
DE3041207A1 (en) Mixing system for magnetic tape recording - has twin tape recorders with auxiliary memory and control modules to avoid transition effects
DE2652780A1 (en) AUDIO SYSTEM CHECK
WO2016059211A1 (en) Synchronous recording of audio by means of wireless data transmission

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final