Die
vorliegende Erfindung bezieht sich auf eine Vorrichtung und ein
Verfahren zum Ermitteln einer Stelle in einem Film, der in einer
zeitlichen Folge aufgebrachte Filminformationen aufweist, um beispielsweise
Filmereignisse mit einer Bildwiedergabe zu synchronisieren.The
The present invention relates to a device and a
Method for determining a location in a movie that is in a
having temporal sequence applied film information, for example
Synchronize movie events with a picture playback.
Audio-Video-Daten
sind auf Datenträgern, z.B.
Film oder Band, oder Übertragungskanälen, z.B. Rundfunk
oder Telefon, in einem festen Format gespeichert, welches eine Erweiterung
um neuartige Audioformate oder andere synchrone bzw. bildsynchrone
Zusatzdienste, wie z.B. Untertitel, nicht zulässt. Bei der Einführung beispielsweise
neuer Audioformate müssen
daher neue Datenträger
bzw. Filmkopien produziert werden, die die neuen Audioformate aufweisen.Audio-video data
are on data carriers, e.g.
Film or tape, or transmission channels, e.g. broadcast
or telephone, stored in a fixed format, which is an extension
to novel audio formats or other synchronous or image-synchronous
Additional services, such as Subtitles, does not allow. For example, when introducing
new audio formats need
therefore new disks
or film copies are produced, which have the new audio formats.
8 zeigt
einen beispielhaften Film 110. Auf dem Film sind in räumlicher
Folge, bzw. während des
Abspielens entsprechend in zeitlicher Folge, Filminformationen aufgebracht,
z.B. Videoinformation bzw. Bilder 112, die im Englischen
auch als „Frames" bzw. „Video-Frames" bezeichnet werden,
und Audio-Informationen bzw. eine oder eine Mehrzahl von analogen
oder digitalen Tonspuren 114, die im digitalen Fall „Audio-Frames" aufweisen. Des weiteren weist
der Film 110 beispielhaft Vorschubperforationen 116 auf,
mit deren Hilfe der Film abgespielt wird. 8th shows an exemplary movie 110 , Film information is applied to the film in spatial sequence, or during playback accordingly in chronological order, for example video information or images 112 , which are also referred to in English as "frames" or "video frames", and audio information or one or a plurality of analog or digital audio tracks 114 which have "audio frames" in the digital case 110 exemplary feed perforations 116 on, with the help of which the film is played.
Zur
Synchronisation von Zusätzen
sind prinzipiell zwei Methoden bekannt.to
Synchronization of additives
In principle, two methods are known.
Die
erste Methode beinhaltet das Speichern eines Timecodes auf dem Datenträger, wie
z.B. bei DTS (DTS = Digital Theatre System) für Kinoton, bzw. in einem Zusatzkanal,
der mit dem Audiosignal verbunden ist. Beispiele hierfür sind anxilliary
data by DAB und mp3. Der Timecode wird dann verwendet, um Ton- bzw.
Zusatzinformationen synchron von einem externen Datenträger, bei
DTS z.B. CD, abzuspielen. Nachteilig an dieser Methode ist jedoch, dass
jedes zusätzliche
Format weiteren Platz auf dem Datenträger bzw. Übertragungskanal benötigt, der
unter Umständen
aber nicht mehr verfügbar
ist. Beim Film sind dies z.B. die Spuren für Analog-Ton, Dolby-Digital,
DTS, SDDS (SDDS = Sony Dynamic Digital Sound). Proprietäre Formate
verhindern jedoch die Nutzung des Timecodes einer Erweiterung durch
andere Erweiterungen. Gegenseitige Störungen der Erweiterungen sind
nicht immer zu verhindern, ein Beispiel hierfür ist die Nutzung von anxilliary data
in mp3 für
Zusatzinformationen und Bandbreitenerweiterung verschiedener Hersteller.The
first method involves storing a timecode on the disk, such as
e.g. in DTS (DTS = Digital Theater System) for Kinoton, or in an additional channel,
which is connected to the audio signal. Examples are anxilliary
data by DAB and mp3. The timecode is then used to
Additional information synchronously from an external disk
DTS e.g. CD, play. The disadvantage of this method, however, is that
every additional one
Format further space on the disk or transmission channel needed, the
in certain circumstances
but not available anymore
is. In the case of film, these are e.g. the tracks for analog sound, Dolby Digital,
DTS, SDDS (SDDS = Sony Dynamic Digital Sound). Proprietary formats
prevent the use of the timecode of an extension by
other extensions. Mutual disturbances of the extensions are
not always prevent, an example of this is the use of anxilliary data
in mp3 for
Additional information and bandwidth extension from different manufacturers.
Die
zweite Methode basiert auf der missbräuchlichen Benutzung von Analog-Ton-Spuren
zur Speicherung von Timecode, wie sie z.B. in einem Prototypenkino,
das mit einem IOSONO-System ausgestattet
ist, verwendet wird. Nachteilig an dieser Methode ist jedoch, dass
die Analogspur in allen Systemen vorhanden ist und oft als Fallback-Lösung bei Störungen der
anderen Systeme verwendet wird, das heißt, eine Zweckentfremdung der
Analogspur verhindert die Fallback-Möglichkeit.
Die automatische Umschaltung auf die Analogspur, die in die meisten Kinos
eingebaut ist, führt
dazu, dass der Timecode als Analogsignal abgespielt wird, wenn auf
den „moderneren" Spuren für Dolby-Digital
bzw. DTS kein Signal vorhanden ist. In dem Prototypenkino muss daher
bei einer reinen Wellenfeldsynthese-Wiedergabe, die im folgenden
noch erläutert
wird, die redundante Analogwiedergabe manuell abgeschaltet werden,
weil sonst der Timecode über
die redundanten weiteren Lautsprecher zu hören ist.The
second method is based on the misuse of analog sound tracks
for storing time code, as e.g. in a prototype cinema,
equipped with an IOSONO system
is used. The disadvantage of this method, however, is that
the analogue track is present in all systems and is often used as a fallback solution in case of disruption of the
other systems is used, that is, a misappropriation of
Analog track prevents the fallback option.
The automatic switching to the analogue track, which in most cinemas
is installed, leads
to that the time code is played as an analog signal when on
the "more modern" tracks for Dolby Digital
or DTS no signal is present. In the prototype cinema must therefore
in a pure wave field synthesis playback, the following
still explained
is switched off, the redundant analogue reproduction manually,
because otherwise the timecode is over
the redundant additional speakers can be heard.
Die
akustische Wellenfeldsynthese, kurz WFS, geht über die Surround-Ansätze der
Formate Dolby, SDDS oder DTS hinaus. Bei der WFS wird versucht,
die Luftschwingungen einer realen Situation, die den Schall ausmachen, über einen
ganzen Raum nachzubilden. Im Gegensatz zur herkömmlichen Wiedergabe über zwei
oder mehr Lautsprecher, bei der die Abbildung der Position der originären Schallquellen
sich auf eine Linie zwischen den Lautsprechern beschränkt, soll
die Wellenfeldsynthese das gesamte Schallfeld originalgetreu auf
den Raum übertragen.
Das bedeutet, dass die virtuellen Schallquellen exakt räumlich lokalisierbar
sind, und gegebenenfalls sogar mitten im beschallten Raum zu existieren
scheinen, somit umgehbar werden. Systeme mit bis zu 200 Lautsprechern
in Kinosystemen und bis zu 900 Lautsprechern in Theaterbeschallungssystemen
sind derzeit schon realisiert worden.Acoustic Wave Field Synthesis, WFS for short, goes beyond the surround approaches of the Dolby, SDDS or DTS formats. The WFS tries to reproduce the air vibrations of a real situation, which make up the sound, over a whole room. In contrast to the conventional reproduction of two or more speakers, in which the representation of the position of the original sound sources is limited to a line between the speakers, the wave field synthesis is to faithfully transfer the entire sound field to the room. This means that the virtual sound sources can be exactly spatially localized, and possibly even seem to exist in the middle of the sounded room, thus they can be bypassed. Systems with up to 200 Speakers in cinema systems and up to 900 Speakers in theater sound systems have already been realized.
Die
Wellenfeldsynthese basiert auf dem Huygensschen Prinzip, das besagt,
dass jeder Punkt auf einer Wellenfront als Ausgangspunkt für eine elementare
sphärische
Welle angesehen werden kann. Durch Interferenz aller Elementarwellen
entsteht eine neue Wellenfront, die mit der ursprünglichen
Welle identisch ist.The
Wave field synthesis is based on the Huygens principle, which states
that every point on a wavefront as a starting point for an elementary
spherical
Wave can be viewed. By interference of all elementary waves
creates a new wavefront with the original
Wave is identical.
Ein
derartiges Klangsystem ist vom Fraunhofer-Institut für Digitale
Medientechnologie unter dem Namen IOSONO entwickelt worden und im
Kino Ilmenau im Einsatz.One
Such sound system is from the Fraunhofer Institute for Digital
Media technology has been developed under the name IOSONO and in the
Cinema Ilmenau in action.
Als
Beispiel aus der Praxis sei daher das Kino Ilmenau genannt, bei
dem die Wellenfeldsynthese in zwei Modi betrieben wird.When
Example from the practice is therefore called the cinema Ilmenau, at
the wave field synthesis is operated in two modes.
Im
ersten Modus wird das Kino als „echtes" Wellenfeldsynthese-System betrieben,
wobei hier auf der Analogspur des 35 mm Films der Timecode gespeichert
ist, wie dies bezüglich
der zweiten „missbräuchlichen" Methode zuvor erläutert wurde,
und der WFS-Ton von einem externen Medium, z.B. Festplatte oder
DVD, zugespielt wird.In the first mode, the cinema is operated as a "real" wave field synthesis system, where the analog track of the 35 mm film stores the time code, as explained previously with regard to the second "abusive" method, and the WFS sound from an external one Medium, eg festival plate or DVD, is leaked.
In
dem zweiten Modus, der „kompatiblen Wiedergabe", wird der auf jedem
35 mm Film gespeicherte Ton von einem Dolby-Prozessor, alternativ könnte auch
DTS bzw. SDDS eingesetzt werden, ausgelesen und decodiert, wobei
der Dolby-Prozessor ggf. auch automatisch auf die Analogspur umschaltet,
und das entstehende Multikanalsignal via WFS auf virtuelle Lautsprecher
abbildet.In
the second mode, "compatible playback", will be on each
35mm movie stored sound from a Dolby processor, alternatively could as well
DTS or SDDS are used, read and decoded, where
if necessary, the Dolby processor also automatically switches to the analogue track,
and the resulting multichannel signal via WFS to virtual speakers
maps.
Da
für beide
Modi unterschiedliche Signalpfade notwendig sind, ist eine Teilung
des Signals, das vom Lesekopf für
das Analogsignal kommt, notwendig, was zusätzlichen technischen Aufwand
zur Folge hat.There
for both
Modes different signal paths are necessary, is a division
the signal coming from the read head for
the analog signal comes, necessary, which requires additional technical effort
entails.
Zusammenfassend
kann daher gesagt werden, dass auf den heutigen Kinofilmrollen kein
Platz mehr ist, um eine weitere Synchronisationsspur für beispielsweise
externe Tonsysteme oder Untertitelsysteme anzubringen. Alle bisher
erhältlichen
Kinotonsysteme, analog und digital, erhalten ihre Tonspur entweder
direkt über
eine oder eine Mehrzahl von Tonspuren auf der Filmrolle oder durch
ein herstellerspezifisches Zeitcodesignal auf der Filmrolle. Dies bedeutet,
dass für
beide bekannten Ansätze,
wie zuvor erläutert,
neue Kopien der Filme zu meist erheblichen Kosten erstellt werden
müssen.
Dabei ermöglichen
Audioformate wie Dolby Digital und SDDS zwar moderne Audioerlebnisse,
weisen jedoch immer noch keine Timecodes für die Synchronisation von beispielsweise
Untertiteln oder anderssprachigen Versionen der Filmvertonung auf.In summary
can therefore be said that in today's movie roles no
Space is more, for another synchronization track for example
install external sound systems or subtitling systems. All so far
available
Cinema sound systems, analog and digital, receive their soundtrack either
directly above
one or a plurality of soundtracks on the roll of film or through
a manufacturer-specific time code signal on the roll of film. This means,
that for
both known approaches,
as explained above,
new copies of the films are created at mostly substantial cost
have to.
Make it possible
Audio formats such as Dolby Digital and SDDS, although modern audio experiences,
however, still do not have timecodes for the synchronization of, for example
Subtitles or other language versions of the movie.
Frank
Jordan und Jesper Dannow schlagen daher in ihrer Veröffentlichung „Generating
Timecode Information from Analog Sources", 118. Convention, Audio Engineering
Society vom 28. bis 31. Mai 2005, in Barcelona, Spanien, Convention
Paper 6473, vor, einen Timecode auf der Basis der analogen Tonspur zu
erzeugen. Die Veröffentlichung
beschreibt ein System mit der Bezeichnung „Soundtitles", das an die analoge
Tonspur des Projektors angeschlossen wird. Basierend auf einer bearbeiteten,
digitalen Kopie der Tonspur und dem analogen Signal des Filmprojektors
wird eine Zeitinformation bzw. ein Timecode durch Kreuzkorrelation
bestimmt. Das System „Soundtitles" besteht aus drei
Komponenten. Das Kernmo dul „Sync
Tracker erzeugt das Zeitcodesignal. Das zweite Modul, der „Sync Player" erzeugt Untertitel,
die mit beispielsweise einem Beamer projiziert werden. Das dritte
Modul, der „Clip
Player" spielt synchronisierte
Audio-Clips ab, die über
kabellose Kopfhörer
an den Kinobesucher übertragen
werden.Frank
Jordan and Jesper Dannow therefore suggest in their publication "Generating
Timecode Information from Analog Sources ", 118th Convention, Audio Engineering
Society from 28 to 31 May 2005, in Barcelona, Spain, Convention
Paper 6473 predates a timecode based on the analog audio track
produce. The publication
describes a system called "Soundtitles" that works on the analogue
Soundtrack of the projector is connected. Based on a machined,
digital copy of the soundtrack and the analog signal of the film projector
becomes a time information or a time code by cross-correlation
certainly. The system "Soundtitles" consists of three
Components. The core module "Sync
Tracker generates the time code signal. The second module, the "Sync Player" creates subtitles,
which are projected with, for example, a projector. The third
Module, the "clip
Player "plays synchronized
Audio clips over from
wireless headphones
transferred to the cinema audience
become.
Nachteilig
an dem zuvor beschriebenen Stand der Technik ist, dass die Synchronisation
und Zeitpunktbestimmung innerhalb des Films, wie in der Veröffentlichung
beschrieben, auf ein Suchfenster von beispielsweise einer 1 Minute
begrenzt ist. Gerade in der Anfangsphase des Films ist es jedoch schwierig,
das richtige Fenster für
eine erfolgreiche Synchronisation zu definieren bzw. zu bestimmen. Liegt
der vom Film gelesene bzw. abgetastete Abschnitt nicht in dem Abschnitt
der gespeicherten Filminformation, der für die Synchronisation verwendet wird,
bleibt die Synchronisation erfolglos oder es erfolgt eine falsche
Synchronisation. Der Kinobesucher bzw. Filmzuschauer hört dann
keinen oder einen falschen Ton zum Film.adversely
in the prior art described above is that the synchronization
and timing within the movie, as in the publication
described on a search window, for example, a 1 minute
is limited. Especially in the early stages of the film, it is difficult
the right window for
define or determine a successful synchronization. Lies
the portion read or scanned by the film is not in the section
the stored movie information used for synchronization
the synchronization will be unsuccessful or it will be wrong
Synchronization. The moviegoer or movie viewer then hears
no or a wrong tone to the film.
Die DE 103 22 722 A1 beschreibt
eine Vorrichtung zum Synchronisieren eines Audiosignals mit einem
Film, der Einzelbilder aufweist, wobei jedes Einzelbild einen aufbelichteten
Zeitcode aufweist, die Vorrichtung eine Einrichtung zum Erfassen
des aufbelichteten Zeitcodes für
die Folge von Einzelbindern umfasst, um eine erfasste Folge von
Zeitcodes zu erhalten, Ferner ist ein Zeitcodegenerator vorgesehen, der
ausgebildet ist, um eine Folge von Synthese-Zeitcodes, ausgehend
von einem Startwert, zu erzeugen. Ein Decodierer ist ferner vorgesehen,
um einen Zeitcode der erfassten Folge von Zeitcodes zu decodieren,
um den Startwert für
den Zeitcodegenerator zu liefern. Ein erfasster Zeitcode und ein
entsprechender Synthese-Zeitcode werden verglichen, um dann, wenn
eine Phasenabweichung über
einen Abweichungs-Schwellwert
festgestellt worden ist, den Synthese-Zeitcode für dieses Einzelbild zu manipulieren,
dahin gehend, dass er in seiner zeitlichen Länge verändert wird. Dieser Synthese-Zeitcode
wird dann zu einer Audioverarbeitungseinrichtung geliefert, die
ausgebildet ist, um ansprechend auf eine Erfassung des Synthese-Zeitcodes
für ein
Einzelbild, die diesem Einzelbild zugeordneten Abtastwerte des Audiosignals
zeitlich gesteuert bereitzustellen.The DE 103 22 722 A1 describes an apparatus for synchronizing an audio signal with a film having frames, each frame having an exposed time code, the apparatus comprising means for capturing the time code exposed for the sequence of single binders to obtain a detected sequence of time codes a time code generator is provided which is configured to generate a sequence of synthesis time codes starting from a start value. A decoder is further provided to decode a time code of the detected sequence of time codes to provide the start value for the time code generator. A detected time code and a corresponding synthesis time code are compared to then, when a phase deviation has been detected above a deviation threshold, manipulating the synthesis time code for that frame to be changed in its length in time. This synthesis time code is then provided to an audio processor configured to time-control the samples of the audio signal associated with that frame in response to detection of the synthesis time code for a frame.
Die
US 2005/0022252 A1 befasst sich mit der Erkennung, Verarbeitung
und Indizierung von Multimedia-Daten unter Verwendung bekannter
Bildverarbeitungsverfahren. Es wird eine synchrone Steuerung audiovisueller
und textueller Medien bereitgestellt. Hierzu werden sogenannte „Tags" als Metadaten generiert,
gespeichert und mit Referenzen verglichen.The
US 2005/0022252 A1 deals with detection, processing
and indexing multimedia data using known ones
Image processing methods. It will be a synchronous control audiovisual
and textual media. For this purpose so-called "tags" are generated as metadata,
stored and compared with references.
Die
Veröffentlichung
von Kashino, Kunio; Kurozumi, Takayuki; Murase, Hiroshi: A Qick
Search Method for Audio and Video Signals Based on Histogram Pruning.
IEEE Transactions on Multimedia, Vol. 5, No. 3, Sept. 2003, pp.
348-357 beschreibt eine Schnellsuchmethode basierend auf ähnlichkeitsbasiertem
Signalsuchen, um ein spezifisches Audio- oder Videosignal in einem
gespeicherten langen Audio- oder Videosignal zu detektieren und
zu lokalisieren. Der Schlüssel
für die
Beschleunigung des Verfahrens ist ein effektiver Pruning-Algorithmus,
der in der Merkmalsvergleichsstufe mittels Merkmalshistogrammen
eingeführt
wird. Dabei wird unter Histogramm eine Häufigkeitsverteilung von Merkmalsvektoren über einem
Fenster bezeichnet und die Fensterlänge des betrachteten Abschnitts
des langen Signals entspricht der Dauer des gesuchten kurzen Signals.The publication of Kashino, Kunio; Kurozumi, Takayuki; Murase, Hiroshi: A Qick Search Method for Audio and Video Signals Based on Histogram Pruning. IEEE Transactions on Multimedia, Vol. 3, Sept. 2003, pp. 348-357 describes a quick search method based on similarity-based signal searching to detect and locate a specific audio or video signal in a stored long audio or video signal. The key to speeding up the process is an effective pruning algorithm that works in the feature comparison stage is introduced by means of feature histograms. Histogram denotes a frequency distribution of feature vectors over a window, and the window length of the considered section of the long signal corresponds to the duration of the searched short signal.
Die
US 2004/0073916 A1 betrifft das sogenannte „Monitoring" von Medien, wie
beispielsweise Audio- und audiovisuellen Inhalten, um objektive
Daten bezüglich
der Nutzung von spezifischen Medieninhaltsaufnahmen innerhalb der Übertragung
von Audio- und audiovisuellen Inhalten zu erhalten. Dabei werden
Methoden für
den Einsatz von Inhalteidentifikationstechnologien beschrieben,
um effizient und automatisch besagte Monitoring-Daten für die untersuchten Übertragungen
zu erhalten.The
US 2004/0073916 A1 relates to the so-called "monitoring" of media, such as
For example, audio and audiovisual content to objective
Data regarding
the use of specific media content recordings within the broadcast
audio and audiovisual content. It will be
Methods for
describes the use of content identification technologies,
efficient and automatic monitoring data for the transmissions studied
to obtain.
Die
WO 94/1644 A1 beschreibt ein Verfahren und Vorrichtungen zur Elimination
von Fernsehwerbespots. Dazu werden Merkmale aus Video- und Audio-Signalen
innerhalb eines Abtastfensters extrahiert.The
WO 94/1644 A1 describes a method and devices for elimination
of television commercials. These are features of video and audio signals
extracted within a sampling window.
Die
Aufgabe der vorliegenden Erfindung besteht darin, ein effizientes
Konzept zu schaffen, um eine Stelle in einem Film zu ermitteln.The
The object of the present invention is to provide an efficient
To create a concept to identify a position in a film.
Diese
Aufgabe wird durch eine Vorrichtung zum Ermitteln einer Stelle in
einem Film gemäß Anspruch
1, einem Verfahren zum Ermitteln einer Stelle in einem Film gemäß Anspruch
5 und durch ein Computerprogramm gemäß Patentanspruch 6 gelöst.These
Task is performed by a device for determining a location in
a film according to claim
1, a method for determining a location in a film according to claim
5 and solved by a computer program according to claim 6.
Der
vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass jede
Stelle eines Films im allgemeinen für diese Stelle spezifische
Filminformationen aufweist, so dass bei einer Merkmalsextraktion unterschiedliche
Stellen eines Films unterschiedliche, spezifische Ausprägungen der
Merkmale aufweisen. Damit weisen in anderen Worten unterschiedliche
Stellen in einem Film unterschiedliche „Fingerabdrücke" auf. Diese Fingerabdrücke können wiederum
genutzt werden, um eine Stelle in einem Film zu ermitteln.Of the
The present invention is based on the recognition that each
Make a movie in general specific for this spot
Film information has, so that in a feature extraction different
Make a film different, specific manifestations of
Have features. This is different in other words
Make different "fingerprints" in a movie. These fingerprints can turn
used to find a spot in a movie.
Erfindungsgemäß wird daher
eine Vorrichtung zum Ermitteln einer Stelle in einem Film, der in einer
zeitlichen Folge aufgebrachte Filminformationen aufweist, geschaffen,
mit folgenden Merkmalen: einem Speicher zum Speichern einer Referenzfingerabdruckdarstellung
(FAD) der Filminformationen, wobei die Fingerabdruckdarstellung
so ausgebildet ist, dass ein zeitlicher Verlauf der Fingerabdruckdarstellung
von einem zeitlichen Verlauf der Filminformation abhängt, wobei
einer gespeicherten Referenzfingerabdruckdarstellung eine Zeitskala
zugeordnet ist, eine Einrichtung zum Empfangen eines von dem Film gelesenen
Abschnitts, einer Einrichtung zum Extrahieren einer Testfingerabdruckdarstellung
aus dem eingelesenen Abschnitt, und eine Einrichtung zum Vergleichen
der Testfingerabdruckdarstellung mit der Referenzfingerabdruckdarstellung,
um auf der Basis des Vergleichs und der Zeitskala die Stelle in
dem Film zu ermitteln.Therefore, according to the invention
a device for determining a location in a film, which in a
temporal consequence of applied film information, created,
comprising: a memory for storing a reference fingerprint representation
(FAD) of the movie information, with the fingerprint representation
is designed so that a temporal course of the fingerprint representation
depends on a temporal course of the film information, where
a stored reference fingerprint representation of a time scale
a means for receiving a read from the film
Section, means for extracting a test fingerprint representation
from the read-in section, and a means for comparing
the test fingerprint representation with the reference fingerprint representation,
on the basis of the comparison and the time scale the place in
to determine the film.
Die
Vorrichtung und das Verfahren zum Ermitteln einer Stelle in einem
Film ermöglichen
es, zu einem beliebigen Zeitpunkt eine beliebige Stelle in einem
Film zu bestimmen, ohne den Film selbst präparieren oder ändern zu
müssen.
Die relevante Zeitinformation, die Zeitskala, wird zusammen mit
einer gespeicherten Version des Films gespeichert. Dabei wird der
Film in Form einer Referenzfingerabdruckdarstellung gespeichert,
was einer Merkmalsextraktion entspricht. Damit kann der benötigte Speicherplatz
und auch die Rechenleistung und/oder die Dauer zum Ermitteln der
Stelle reduziert werden. Bevorzugte Ausführungsbeispiele haben weiterhin
den Vorteil, bei geeigneter Wahl der Fingerabdruckdarstellung, eine
eindeutige Ermittlung der Stelle zu ermöglichen.The
Apparatus and method for determining a location in a
Enable film
it, anywhere in one at any one time
Determine film without having to prepare or change the film yourself
have to.
The relevant time information, the time scale, is combined with
saved a saved version of the movie. It is the
Film stored in the form of a reference fingerprint representation,
which corresponds to a feature extraction. This can save the required space
and also the computing power and / or the duration for determining the
Be reduced. Preferred embodiments still have
the advantage, with a suitable choice of the fingerprint representation, a
enable clear identification of the job.
Die
Vorrichtung und das Verfahren zum Ermitteln einer Stelle in einem
Film kann beispielsweise in einer Vorrichtung zum Erzeugen eines
Steuersignals für
ein Filmereignissystem eingesetzt werden, dass Filmereignisse mit
einer Bildwiedergabe synchronisiert. Beispiele für Filmereignisse sind der Audio-Ton,
Untertitel und Spezialeffekte, wobei Spezialeffekte z.B. Luftströmungen,
Wackeln an den Kinostühlen,
Gerüche
oder Lichteffekte an Seiten- und Rückwand umfassen können. Dabei
sind bezüglich des
Audio-Ereignisses sowohl unterschiedliche Sprachen, wie z.B. gleichzeitiges
Abspielen der Originalversion und von Übersetzungen in andere Sprachen,
als auch verschiedene Audio-Techniken möglich, wie z.B. die Synchronisierung
von digitalen Surround-Systemen
wie der Wellenfeldsynthese. Dabei dienen die Vorrichtung oder das
Verfahren zum Ermitteln einer Stelle insbesondere zur Synchronisation in
einer Anfangsphase des Films, bewirken jedoch auch eine höhere Toleranz
gegenüber
beispielsweise Sprüngen
mitten im Film, um so selbst unter widrigen Umständen eine optimale Synchronisation
bzw. Bestimmung einer Stelle in einem Film zu gewährleisten.The
Apparatus and method for determining a location in a
Film may, for example, in a device for generating a
Control signal for
a movie event system that uses movie events with
a picture playback synchronized. Examples of movie events are the audio sound,
Subtitles and special effects, where special effects e.g. Air currents,
Wiggling at the cinema chairs,
odors
or lighting effects on the side and rear walls. there
are regarding the
Audio event both different languages, such as simultaneously
Playing the original version and translations into other languages,
as well as various audio techniques possible, e.g. the synchronization
from digital surround systems
like the wave field synthesis. The device or the serve
Method for determining a location, in particular for synchronization in
an initial phase of the film, but also cause a higher tolerance
across from
for example, jumps
in the middle of the film, so even under adverse circumstances optimal synchronization
or determining a position in a film.
Auch
wenn die zuvor beschriebenen und noch folgenden Beispiele von einem
Kinobesucher oder einem Film sprechen, so beschränkt sich die Erfindung nicht
nur auf Kinofilme für
einen Kinobesucher, sondern bezieht sich allgemein auf Filme bzw. Audio-Video-Signale,
unabhängig
davon, ob es sich dabei um auf Filmen oder anderen Datenträgern und Speichermedien,
z.B. Magnetbänder
oder Festplatten, gespeicherte Filminformationen handelt. Darüber hinaus
kann die Erfindung auch für
reine Tonsysteme ohne Video eingesetzt werden oder beispielsweise
mittels einer Video-ID auch zur Synchronisation von reinem Videomaterial,
d.h. ohne Ton, mit beliebigen Ereignissen verwendet werden.Although the above-described and following examples speak of a moviegoer or a movie, the invention is not limited to movies for a moviegoer, but generally refers to movies or audio-video signals, whether or not they are This is about film or other media and storage media, such as magnetic tapes or hard drives, stored movie information is. Darue In addition, the invention can also be used for pure sound systems without video or for example by means of a video ID synonymous for synchronization of pure video material, ie without sound, can be used with any event.
Bevorzugte
Ausführungsbeispiele
der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf
die beiliegenden Zeichnungen detailliert erläutert. Es zeigen:preferred
embodiments
The present invention will be described below with reference to FIG
the accompanying drawings explained in detail. Show it:
1 ein
prinzipielles Blockschaltbild eines bevorzugten Ausführungsbeispiels
einer Vorrichtung zum Erzeugen eines Steuersignals für ein Filmereignissystem; 1 a schematic block diagram of a preferred embodiment of an apparatus for generating a control signal for a film event system;
2a ein
prinzipielles Blockschaltbild eines Ausführungsbeispiels einer Vorrichtung
zum Durchführen
einer Korrelation; 2a a schematic block diagram of an embodiment of an apparatus for performing a correlation;
2b ein
prinzipielles Blockschaltbild eines bevorzugten Ausführungsbeispiels
einer Vorrichtung zum Durchführen
einer Korrelation; 2 B a schematic block diagram of a preferred embodiment of an apparatus for performing a correlation;
2c.1 einen beispielhaften Abschnitt eines Films 2c.1 an exemplary section of a movie
2c.2 einen beispielhaften Verlauf eines Tonsignals
des in 2c.1 dargestellten Abschnitts des
Films bei einer variablen, ersten Abspielgeschwindigkeit und einer
konstanten Testabtastrate; 2c.2 an exemplary course of a sound signal of in 2c.1 represented portion of the film at a variable, first playback speed and a constant test sample rate;
2c.3 einen beispielhaften Verlauf eines Tonsignals
des in 2c.1 dargestellten Abschnitts des
Films bei einer variablen, zweiten Abspielgeschwindigkeit und einer
konstanten Testabtastrate; 2c.3 an exemplary course of a sound signal of in 2c.1 represented portion of the film at a variable, second playback speed and a constant test sample rate;
2c.4 einen beispielhaften Verlauf eines Tonsignals
des in 2c.1 dargestellten Abschnitts des
Films bei einer variablen, dritten Abspielgeschwindigkeit und einer
konstanten Testabtastrate; 2c.4 an exemplary course of a sound signal of in 2c.1 represented portion of the film at a variable, third playback speed and a constant test sample rate;
2d.1 zwei beispielhafte Abschnitte eines Films; 2d.1 two exemplary sections of a movie;
2d.2 einen beispielhaften Verlauf eines Referenztonsignals
des Films; 2d.2 an exemplary course of a reference sound signal of the film;
2d.3 einen beispielhaften Verlauf eines Testtonsignals,
basierend auf einer ersten Abspielgeschwindigkeit und einer konstanten
Testabtastrate, für
einen Abschnitt des Films; 2d.3 an exemplary course of a test sound signal, based on a first playback speed and a constant test sample rate, for a portion of the film;
2d.4 ein beispielhaftes erstes Korrelationsergebnis
aus der Korrelation des Referenztonsignals gemäß 2d.2 und
des Testtonsignals gemäß 2d.3; 2d.4 an exemplary first correlation result from the correlation of the reference sound signal according to 2d.2 and the test sound signal according to 2d.3 ;
2d.5 zwei beispielhafte Abschnitte eines Films
gemäß 2d.1; 2d.5 two exemplary sections of a film according to 2d.1 ;
2d.6 einen beispielhaften Verlauf eines Referenztonsignals
des Films gemäß 2d.2; 2d.6 an exemplary course of a reference sound signal of the film according to 2d.2 ;
2d.7 einen beispielhaften Verlauf eines Testtonsignals,
basierend auf einer zweiten Abspielgeschwindigkeit und einer konstanten
Testabtastrate, für
einen Abschnitt des Films; 2d.7 an exemplary course of a test sound signal, based on a second playback speed and a constant test sample rate, for a portion of the film;
2d.8 ein beispielhaftes zweites Korrelationsergebnis
aus der Korrelation des Referenztonsignals gemäß 2d.6 und
des Testtonsignals gemäß 2d.7; 2d.8 an exemplary second correlation result from the correlation of the reference sound signal according to 2d.6 and the test sound signal according to 2d.7 ;
3a ein
prinzipielles Blockschaltbild eines bevorzugten Ausführungsbeispiels
einer Vorrichtung zum Ermitteln einer Stelle in einem Film mittels
einer Fingerabdruckdarstellung; 3a a schematic block diagram of a preferred embodiment of an apparatus for determining a location in a film by means of a fingerprint representation;
3b.1 zwei Abschnitte eines Films; 3b.1 two sections of a film;
3b.2 einen beispielhaften Verlauf des Referenztonsignals
für die
zwei Abschnitte gemäß 3b.1; 3b.2 an exemplary course of the reference sound signal for the two sections according to 3b.1 ;
4 ein
prinzipielles Blockschaltbild eines bevorzugten Ausführungsbeispiels
einer Vorrichtung zum Ermitteln einer Stelle in einem Film mittels
einer groben und einer nachfolgenden feinen Bestimmung der Stelle; 4 a schematic block diagram of a preferred embodiment of an apparatus for determining a location in a film by means of a coarse and a subsequent fine determination of the location;
5a ein
prinzipielles Blockschaltbild eines bevorzugten Ausführungsbeispiels
einer Vorrichtung zum Erzeugen eines Steuersignals für ein Filmereignissystem; 5a a schematic block diagram of a preferred embodiment of an apparatus for generating a control signal for a film event system;
5b.1 zwei Abschnitte eines Films; 5b.1 two sections of a film;
5b.2 einen beispielhaften Verlauf eines Referenztonsignals
für einen
ersten Abschnitt des Films; 5B.2 an exemplary course of a reference sound signal for a first portion of the film;
5b.3 einen beispielhaften Verlauf eines Testtonsignals
für einen
zweiten Abschnitt des Films; 5b.3 an exemplary course of a test sound signal for a second portion of the film;
5b.4 ein beispielhaftes Korrelationsergebnis aus
der Korrelation des Referenztonsignals gemäß 5b.2 und
des Testtonsignals gemäß 5b.3; 5b.4 an exemplary correlation result from the correlation of the reference sound signal according to 5B.2 and the test sound signal according to 5b.3 ;
6a ein
prinzipielles Blockschaltbild eines beispielhaften Filmvorführsystems
mit einer Vorrichtung zum Erzeugen eines Steuersignals für ein Filmereignissystem
und einem Filmereignissystem; 6a a schematic block diagram of an exemplary film presentation system with a device for generating a control signal for a film event system and a film event system;
6b ein
prinzipielles Blockschaltbild eines beispielhaften Filmvorführsystems
mit einer Vorrichtung zum Erzeugen eines Steuersignals mit einem beispielhaften
Audio-Filmereignissystem; 6b a schematic block diagram of an exemplary film presentation system with a device for generating a control signal with a exemplary audio movie event system;
7 eine
schematische Darstellung einer beispielhaften Zuordnung einer Zeitskala
zu einer Filminformation; 7 a schematic representation of an exemplary assignment of a time scale to a movie information;
8 eine
schematische Darstellung eines beispielhaften Films mit aufgebrachten
Filminformationen. 8th a schematic representation of an exemplary film with applied film information.
In
der nachfolgenden Beschreibung der Erfindung bzw. der bevorzugten
Ausführungsbeispiele werden
für gleiche
oder gleich wirkende Elemente gleiche Bezugszeichen verwendet.In
the following description of the invention or the preferred
Embodiments will be
for same
or like elements have the same reference numerals.
Im
Folgenden wird die Erfindung anhand von Ausführungsbeispielen näher erläutert, die
als Filminformation das Tonsignal, das auf dem Film aufgebracht
ist, nutzen. Dies soll jedoch die Erfindung nicht einschränken, sondern
dient allein der Veranschaulichung.in the
The invention will be explained in more detail below with reference to exemplary embodiments which
as film information the sound signal, which applied to the film
is, use. However, this is not intended to limit the invention, but
is for illustration only.
1 zeigt
ein prinzipielles Blockschaltbild einer Vorrichtung zum Erzeugen
eines Steuersignals für
ein Filmereignissystem und einen beispielhaften Film 110,
wie er zuvor bzgl. 8 erläutert wurde, wobei die Vorrichtung
zum Erzeugen eines Steuersignals eine Einrichtung zum Speichern 120 der
Filminformation, eine Einrichtung zum Empfangen eines von dem Film
gelesenen Abschnitts 140, eine Einrichtung 160 zum
Vergleichen des gelesenen Abschnitts mit der gespeicherten Filminformation 112, 114 und
eine Einrichtung 180 zum Ermitteln des Steuersignals, basierend
auf dem Vergleich und der Zeitskala aufweist. 1 FIG. 12 is a principle block diagram of an apparatus for generating a control signal for a movie event system and an exemplary movie. FIG 110 , as he before regarding. 8th has been explained, wherein the device for generating a control signal means for storing 120 the movie information, means for receiving a portion read from the film 140 , An institution 160 for comparing the read portion with the stored movie information 112 . 114 and a facility 180 for determining the control signal based on the comparison and the time scale.
Die
gespeicherte Filminformation 112, 114 umfasst
beispielsweise die Ton- bzw. Audio-Signale, die Bilder bzw. Video-Signale
oder auch Marken, die schon heute auf Filmen zu finden sind, und
z.B. festlegen, wo die Blende aufgeht bzw. ab wann Ton gespielt
wird, bzw. wann der Film anhält.
Die gespeicherten Audio- und/oder Videosignale liegen beispielsweise
in digitalisierter Form vor, vorzugsweise in komprimierter Form,
um den Speicherbedarf zu reduzieren.The saved movie information 112 . 114 includes, for example, the sound or audio signals, the images or video signals or brands that are already on films to find, and determine, for example, where the aperture rises or from when sound is played, or when the movie stops. The stored audio and / or video signals are present, for example, in digitized form, preferably in compressed form, in order to reduce the memory requirement.
Ein
Vorteil der digitalisierten Speicherung liegt in der einfachen und
vor allem fehlerfreien Vervielfältigbarkeit
des gespeicherten Abbildes der Filminformationen.One
Advantage of digitized storage lies in the simple and
especially error-free duplication
the stored image of the movie information.
Im
Gegensatz zu herkömmlichen
Systemen, bleibt der Film wie zuvor beschrieben unverändert, es wird
lediglich einmal ein gespeichertes Abbild der Filminformationen
erzeugt, z.B. bei der Herstellung des Films.in the
Unlike traditional
Systems, the film remains unchanged as described above, it will
only once a stored image of the film information
generated, e.g. in the production of the film.
Bei
dem Abspielen des Films mittels eines Filmabspielgerätes, beispielsweise
eines Filmprojektors, wird beispiels weise das auf der Tonspur 114 enthaltende
Tonsignal von der Einrichtung 140 zum Empfangen empfangen
und für
die Einrichtung 160 zum Vergleichen aufbereitet, beispielsweise
mit einer gegebenen Abtastrate abgetastet und als Abschnitt einer
gegebenen Länge
bzw. einer gegebenen Anzahl von Abtastwerten weitergegeben.When playing the film by means of a movie player, such as a movie projector, example, that is on the soundtrack 114 containing sound signal from the device 140 received for receiving and for the facility 160 for example, sampled at a given sample rate and passed as a portion of a given length or number of samples, respectively.
Die
Einrichtung 160 ist ausgebildet, diesen von dem Film gelesenen
Abschnitt mit der gespeicherten Filminformation zu vergleichen,
wobei die Einrichtung 160 zum Vergleichen ausgebildet sein kann,
den gelesenen Abschnitt mit der gesamten gespeicherten Filminformation
zu vergleichen, vorzugsweise jedoch den gelesenen Abschnitt mit
einem Abschnitt der gespeicherten Filminformation vergleicht, um
den Rechenaufwand zu minimieren. Der Vergleich kann beispielsweise
mittels Kreuzkorrelation, aber auch mittels Berechnen des Unterschieds,
z.B. durch Berechnung einer komprimierten Hash-Summe und Suche dieser
in einer Datenbank erfolgen. Der Vergleich kann auf dem Tonsignal
allein, dem Video-Signal allein, einem Vergleich des Ton-Signals und
des Video-Signals sowie einer Kombination mit einer Auswertung der
zuvor genannten Merkmale bestehen. Basierend auf dem Ergebnis des
Vergleichs der Einrichtung zum Vergleichen 160 und der
Zeitskala ermittelt die Einrichtung 180 zum Ermitteln das Steuersignal 190.
Mittels des Steuersignals 190 wird ein Filmereignissystem
gesteuert, das basierend auf dem Steuersignal 190 zeitsynchron
zu dem abgespielten Film 110 beispielsweise WFS-Tonsignale oder
Untertitel erzeugt. Dabei kann die Vorrichtung zum Erzeugen eines
Steuersignals oder im Speziellen die Einrichtung zum Ermitteln des
Steuersignals 180 so ausgebildet sein, dass das Steuersignal
ein beliebiges Zeitcodeformat ist, proprietär oder standardisiert wie z.B.
das nach SMPTE (Society of Motion Picture and Television Engineers)
standardisierte LTC-Zeitcodeformat
(LTC = Longitudinal Time Code).The device 160 is configured to compare this portion read from the film with the stored film information, the device 160 for comparison may be made to compare the read portion with the entire stored film information, but preferably compares the read portion with a portion of the stored film information in order to minimize the computational effort. The comparison can be done for example by cross-correlation, but also by calculating the difference, for example by calculating a compressed hash sum and search this in a database. The comparison may consist of the audio signal alone, the video signal alone, a comparison of the audio signal and the video signal and a combination with an evaluation of the aforementioned features. Based on the result of the comparison of the device for comparison 160 and the time scale determines the device 180 for determining the control signal 190 , By means of the control signal 190 a movie event system is controlled based on the control signal 190 time synchronized with the movie being played 110 For example, WFS audio signals or subtitles generated. In this case, the device for generating a control signal or in particular the means for determining the control signal 180 be designed so that the control signal is any time code format, proprietary or standardized such as the SMPTE (Society of Motion Picture and Television Engineers) standardized LTC time code format (LTC = Longitudinal Time Code).
Zeitsynchron
bedeutet, dass basierend auf dem Steuersignal 190 das Filmereignissystem
einer der gerade vom Film abge spielten Stelle, der in der gespeicherten
Filminformationen ein Zeitpunkt auf der Zeitskala zugeordnet ist,
einem diesem Zeitpunkt der Zeitskala entsprechendes, gleichzeitiges
Ereignis erzeugt wird.Time synchronous means that based on the control signal 190 the motion picture event system of one of the locations currently being played by the movie, associated with a time on the time scale in the stored movie information, generates a concurrent event corresponding to the time scale corresponding to that time.
Dabei
kann abweichend von dem erläuterten Ausführungsbeispiel
statt des Filmprojektors ein beliebiges Filmabspielgerät verwendet
werden, beliebige Filmformate, z.B. Stummfilme (z.B. mit Synchronisation
auf Basis von Videoinformationen), Filme mit analoger oder digitaler
Tonspur, einer Tonspur oder mehreren parallelen Tonspuren verwendet
werden, oder alternativ zu einem Film beliebige andere Speichermedien
verwendet werden, beispielsweise Kassetten oder Festplatten, deren
Format nicht geändert werden
kann oder soll, um beispielsweise weiterhin mit dem Filmabspielgerät kompatibel
zu sein, zu denen jedoch gleichzeitig andere Filmereignisse synchronisiert
werden sollen.In this case, unlike the illustrated embodiment, any film player may be used instead of the film projector, any film formats, for example silent films (eg based on video information), films with analog or digital soundtracks, one sound track or several parallel soundtracks, or alternatively Any other storage media may be used in a movie, such as cassettes or hard disks whose format can not or should not be changed, for example to be compatible with the movie player, but at the same time sync other movie events.
In
einem bevorzugten Ausführungsbeispiel wird
das Tonsignal als Filminformation für die Synchronisation verwendet.
Dabei wird der von dem Film gelesene Abschnitt mit einer gegebenen
Abtastrate, die im Folgenden als Testabtastrate bezeichnet wird, abgetastet,
um ein Testtonsignal zu erzeugen, und die gespeicherte Filminformation
in digitaler Form gespeichert, wobei die gespeicherte Filminformation
im Folgenden als Referenz-Signal bezeichnet wird, und das Testtonsignal
und Referenztonsignal in der Einrichtung 160 zum Vergleichen
mittels Kreuz-Korrelation verglichen werden.In a preferred embodiment, the audio signal is used as movie information for synchronization. At this time, the portion read from the film is scanned at a given sampling rate, hereinafter referred to as the test sampling rate, to produce a test tone signal and the stored movie information is stored in digital form, the stored film information being hereinafter referred to as the reference signal , and the test tone signal and reference tone signal in the device 160 for comparing by cross-correlation.
In
einem Ausführungsbeispiel
sind die Testsignal-Abtastrate und die Referenzsignal-Abtastrate unveränderlich,
das heißt
konstant. Die Einrichtung 160 zum Vergleichen kann dann
beispielsweise ausgebildet sein, um zu einem ersten Zeitpunkt auf
der Basis eines ersten Testtonsignals und einem ersten Referenztonsignal
ein erstes Korrelationsergebnis zu erzeugen, um einen ersten Zeitpunkt
der Zeitskala zu bestimmen, und zu einem zweiten Zeitpunkt ein zweites
Testtonsignal und einem zweiten Referenztonsignal ein zweites Korrelationsergebnis
zu erzeugen, um einen zweiten Zeitpunkt der Zeitskala zu bestimmen,
um daraus beispielsweise eine Zeitdifferenz bzw. Abspielgeschwindigkeit
zu bestimmen oder im Vergleich zu einer Soll- oder Referenzabspielgeschwindigkeit
eine Geschwindigkeitsdifferenz zu bestimmen. Auf dieser Basis bestimmt
die Einrichtung 180 zum Ermitteln des Steuersignals das
Steuersignal, um beispielsweise das Filmereignissystem zu synchronisieren.In one embodiment, the test signal sample rate and the reference signal sample rate are fixed, that is, constant. The device 160 For comparison, it may then be configured, for example, to generate a first correlation result at a first time on the basis of a first test tone signal and a first reference tone signal to determine a first time scale, and at a second time a second test tone signal and a second reference tone signal to generate a second correlation result to determine a second time of the time scale to determine therefrom, for example, a time difference or playback speed or to determine a speed difference as compared to a desired or reference playback speed. On this basis, the device determines 180 for determining the control signal, the control signal, for example to synchronize the movie event system.
Nachteilig
an einer konstanten Abtastrate ist jedoch, dass sich bei einer sich
verändernden
Testabspielgeschwindigkeit das Korrelationsergebnis verschlechtert,
und damit auch die Genauigkeit der Bestimmung des Zeitpunktes bzw.
der Stelle im Film ungenauer wird und damit die Synchronisation schlechter
wird. Dieser Nachteil kann durch Variation der Abtastraten, also
der Testabtastrate und/oder der Referenzabtastrate, kompensiert
werden.adversely
at a constant sampling rate, however, that is at a
changing
Test play speed deteriorates the correlation result,
and thus also the accuracy of the determination of the time or
the spot in the film becomes less accurate and thus the synchronization worse
becomes. This disadvantage can be achieved by varying the sampling rates, ie
the test sample rate and / or the reference sample rate
become.
2a zeigt
ein prinzipielles Blockschaltbild einer Vorrichtung zum Durchführen einer
Korrelation zwischen einem Testtonsignal, das mit einer variablen
Abspielgeschwindigkeit abspielbar ist und einem Referenztonsignal,
das eine digital gespeicherte Version des Testtonsignals ist, wobei
die Vorrichtung zum Durchführen
einer Korrelation eine Einrichtung 210 zum Ermitteln eines
Maßes
für eine
Testabspielgeschwindigkeit, eine Einrichtung 230 zum Variieren einer
Testabtastrate oder einer Referenzabtastrate und eine Einrichtung 250 zum
Vergleichen aufweist. Die Einrichtung 230 ist ausgebildet,
um eine Testabtastrate, mit der das Testtonsignal 270 abgetastet wird,
zu variieren, um ein modifiziertes Testsignal 272 zu erzeugen,
oder um eine Referenzabtastrate zu variieren, um auf der Basis eines
Referenztonsignals 274 ein modifiziertes Referenztonsignal 276 zu
erzeugen. Die Einrichtung 230 zum Variieren ist ferner ausgebildet,
die Testabtastrate oder Referenzabtastrate so zu variieren, dass
eine Abweichung zwischen einer Testabspielgeschwindigkeit, die dem Testtonsignal
zugeordnet ist, oder einer Referenzabspielgeschwindigkeit, die dem
mo difizierten Referenztonsignal 276 zugeordnet ist, reduziert
ist, oder dass eine Abweichung zwischen einer Testabspielgeschwindigkeit,
die dem modifizierten Testtonsignal 272 zugeordnet ist
und einer Referenzabspielgeschwindigkeit, die dem Referenztonsignal 274 zugeordnet
ist, oder dass eine Abweichung zwischen einer Testabspielgeschwindigkeit,
die dem modifizierten Testtonsignal 272 zugeordnet ist
und einer Referenzabspielgeschwindigkeit, die einem modifizierten Referenztonsignal 276 zugeordnet
ist, reduziert ist, wobei der Begriff Abspielgeschwindigkeit bzw.
die Problematik einer variablen Abspielgeschwindigkeit im Folgenden
noch näher
erläutert
wird. 2a FIG. 12 shows a principle block diagram of an apparatus for performing a correlation between a test sound signal that is playable at a variable playback speed and a reference sound signal that is a digitally stored version of the test sound signal, the apparatus for performing a correlation 210 for determining a measure of a test playing speed, means 230 for varying a test sample rate or reference sample rate and means 250 for comparing. The device 230 is designed to provide a test sample rate with which the test tone signal 270 is sampled to vary to a modified test signal 272 or to vary a reference sample rate based on a reference tone signal 274 a modified reference sound signal 276 to create. The device 230 to vary is further configured to vary the test sample rate or reference sample rate such that a deviation between a test playback speed associated with the test sound signal and a reference playback speed corresponding to the modified reference sound signal 276 is assigned, or that a deviation between a test playing speed, the modified test tone signal 272 and a reference playback speed corresponding to the reference audio signal 274 or that a deviation between a test playing speed and the modified test tone signal 272 and a reference playback speed corresponding to a modified reference sound signal 276 is reduced, wherein the term playback speed or the problem of a variable playback speed will be explained in more detail below.
Die
Einrichtung 250 zum Vergleichen des modifizierten Testtonsignals 272 und
des Referenztonsignals 274, oder des Testtonsignals 270 und
des modifizierten Referenztonsignals 276, oder des modifizierten
Testtonsignals 272 und des modifizierten Referenztonsignals 276 ist
ausgebildet, um ein Ergebnis 278 der Korrelation zu ermitteln.The device 250 for comparing the modified test tone signal 272 and the reference sound signal 274 , or the test tone signal 270 and the modified reference sound signal 276 , or the modified test tone signal 272 and the modified reference sound signal 276 is trained to get a result 278 to determine the correlation.
Das
in 2a gezeigte Ausführungsbeispiel der Vorrichtung
zum Durchführen
einer Korrelation kann beispielsweise in einer Vorrichtung zum Erzeugen
eines Steuersignals für
ein Filmereignissystem, wie es beispielsweise in 1 gezeigt
ist, als Einrichtung 160 zum Vergleichen eingesetzt werden.This in 2a For example, in an apparatus for generating a control signal for a movie event system, such as shown in FIG 1 is shown as a device 160 be used for comparing.
2b zeigt
ein prinzipielles Blockschaltbild eines bevorzugten Ausführungsbeispiels
einer Vorrichtung zum Durchführen
einer Korrelation zwischen einem Testtonsignal und einem Referenztonsignal. 2 B shows a schematic block diagram of a preferred embodiment of an apparatus for performing a correlation between a test sound signal and a reference sound signal.
2b zeigt
eine Einrichtung 280 zum Speichern eines Referenztonsignals 274,
das eine digitale Version des Testtonsignals 270 ist, wobei
das Referenztonsignal 274 einmal basierend auf einer gegebenen
Speicherreferenzabspielgeschwindigkeit und einer Speicherreferenzabtastrate
erzeugt wurde. 2 B shows a device 280 for storing a reference sound signal 274 , which is a digital version of the test sound signal 270 is, where the reference sound signal 274 once based on a given memory reference playback speed and a memory reference sample rate.
Das
Testtonsignal wird mit einer variablen Testabspielgeschwindigkeit
abgespielt und mit einer Testabtastrate abgetastet, um das Testtonsignal 270 zu
erzeugen.The test tone signal is played back at a variable test playback speed and sampled at a test sample rate to produce the test tone signal 270 to create.
Die
Einrichtung 210 zum Ermitteln des Maßes für die Testabspielgeschwindigkeit
des Testtonsignals 270 steuert auf der Basis des Maßes für die Testabspielgeschwindigkeit
die Einrichtung 230 zum Variieren. Die Einrichtung 230 zum
Variieren wiederum steuert einen Referenz- bzw. Abtastratenkonverter 232 und
einen variablen Abtaster 234, wobei der Abtastratenkonverter 232 ausgebildet
ist, aus dem Referenztonsignal, das auf der Speicherreferenzabspielgeschwindigkeit
und einer Speicherreferenzabtastrate basiert, in ein modifiziertes
Referenztonsignal 276 umzuwandeln, das einem Referenztonsignal entspricht,
das auf einer anderen Speicherreferenzabspielgeschwindigkeit und/oder
Speicherreferenzabtastrate basiert, und wobei der variable Abtaster 234 ausgebildet
ist, das Testtonsignal mit einer variierten, also von der Standard-
oder Grundabtastrate unterschiedlichen, Abtastrate abzutasten, um
ein modifiziertes Testtonsignal 272 zu erzeugen.The device 210 for determining the measure of the test playing speed of the test sound signal 270 controls on the basis of the measure for the Test play speed the device 230 to vary. The device 230 in turn, to vary controls a reference or sample rate converter 232 and a variable scanner 234 , where the sample rate converter 232 is formed from the reference sound signal based on the memory reference playback speed and a memory reference sampling rate into a modified reference sound signal 276 which corresponds to a reference sound signal based on another memory reference playback speed and / or memory reference sample rate, and wherein the variable sampler 234 is designed to sample the test sound signal with a varied, that is from the standard or basic sampling rate, sampling rate to a modified test sound signal 272 to create.
Abweichend
von 2b kann die Vorrichtung zum Durchführen einer
Korrelation auch derart ausgebildet sein, dass das Testtonsignal 270 immer über den
variablen Abtaster 234 der Einrichtung 250 zum
Vergleichen zugeführt
wird, wobei der variable Abtaster 234, dann derart ausgebildet
ist, dass eine der variablen Testabtastraten der Standard- oder Grund-Abtastrate
entspricht, und ferner ausgebildet sein, dass das Referenztonsignal 274 immer über den
Referenzabtastratenkonverter 232 der Einrichtung 250 zum
Vergleichen zugeführt
wird, wobei der Referenzabtastratenkonverter 232 derart
ausgebildet ist, dass er bei entsprechender Ansteuerung durch die
Einrichtung 230 zum Variieren das Referenztonsignal 274 unmodifiziert
an die Einrichtung 250 zum Vergleichen weitergibt.Deviating from 2 B For example, the device for performing a correlation may also be designed such that the test tone signal 270 always via the variable scanner 234 the device 250 for comparison, wherein the variable sampler 234 , is then configured such that one of the variable test sample rates corresponds to the standard or basic sample rate, and is further configured to receive the reference audio signal 274 always via the reference sample rate converter 232 the device 250 for comparison, the reference sample rate converter 232 is designed such that it with appropriate control by the device 230 for varying the reference sound signal 274 unmodified to the facility 250 to pass on to others.
Die
in 2b gewählte
Darstellung der getrennten Zuführung
des Testtonsignals 270 gegenüber dem modifizierten Testtonsignals 272 und
dem Referenztonsignal gegenüber
dem modifizierten Referenztonsignals 276 zu der Einrichtung 250 zum Vergleichen,
dient dazu, die alternativen Ausführungsmöglichkeiten bzw. Realisierungsmöglichkeiten darstellen
zu können.In the 2 B selected representation of the separate supply of the test sound signal 270 opposite to the modified test tone signal 272 and the reference sound signal relative to the modified reference sound signal 276 to the device 250 to compare, serves to represent the alternative execution options or implementation options.
So
ist beispielsweise in einem Ausführungsbeispiel,
bei dem die Einrichtung 250 zum Vergleichen ausgebildet
ist, das modifizierte Testtonsignal 272 mit dem nicht-modifizierten
Referenzton-Signal 274 zu vergleichen, kein Referenzabtastratenkonverter 232 notwendig
bzw. weist die Vorrichtung zum Durchführen einer Korrelation gemäß 2b keinen Referenzabtastratenkonverter 232 auf.
Ebenso, weist eine Einrichtung 250 zum Vergleichen, die
ausgebildet ist, das nicht-modifizierte Testtonsignal 270 mit
dem modifizierten Referenztonsignal 246 zu vergleichen,
keinen variablen Abtaster 234 auf.For example, in one embodiment where the device is 250 configured for comparison, the modified test tone signal 272 with the unmodified reference tone signal 274 compare, no reference sample rate converter 232 necessary or instructs the device to perform a correlation according to 2 B no reference sample rate converter 232 on. Likewise, a facility has 250 for comparison, which is formed, the unmodified test sound signal 270 with the modified reference sound signal 246 compare, no variable sampler 234 on.
In
einem weiteren Ausführungsbeispiel
ist die Einrichtung 280 zum Speichern eine Einrichtung zum
Speichern einer Filminformation, wobei der gespeicherten Filminformation
eine Zeitskala zugeordnet ist, und das Testtonsignal 270 beispielsweise
ein Film-Tonsignal. Die Vorrichtung zum Durchführen einer Korrelation gemäß 2b kann
dann beispielsweise als Einrichtung zum Vergleichen 160 gemäß 1 eingesetzt
werden.In another embodiment, the device 280 for storing a means for storing a movie information, wherein the stored film information is associated with a time scale, and the test sound signal 270 for example, a movie sound signal. The device for performing a correlation according to 2 B can then, for example, as a means of comparison 160 according to 1 be used.
2c.1 zeigt einen Abschnitt eines beispielhaften
Films 110 mit einer Tonspur 114, wie in 1 zuvor
beschrieben. In 2c.1 sind zwei Stellen des Films 110 eingezeichnet,
eine erste Stelle, im Weiteren als Stelle L1 bezeichnet,
und eine zweite Stelle, im Weiteren als Stelle L2 bezeichnet.
Die zwei Stellen L1 und L2 definieren
einen Abschnitt auf dem Film 110, der eine Länge von ΔL = L1 – L2 aufweist. 2c.1 shows a portion of an exemplary movie 110 with a soundtrack 114 , as in 1 previously described. In 2c.1 are two parts of the movie 110 plotted, a first location, hereinafter referred to as location L 1 , and a second location, hereinafter referred to as location L 2 . The two places L 1 and L 2 define a section on the film 110 which has a length of ΔL = L 1 - L 2 .
2c.2 zeigt einen beispielhaften Verlauf des Testtonsignals,
das dem in 2c.1 beschriebenen Abschnitt
zwischen der Stelle L1 und L2 zugeordnet
ist, wobei ferner der Zeitpunkt zu dem die Stelle L1 des
Films abgespielt wird, als Zeitpunkt T1 bezeichnet
wird, und der Zeitpunkt, zu dem die Stelle L2 des
Films abgespielt wird, als Zeitpunkt T2 bezeichnet
wird. Die Zeitdauer ΔT
= T1 – T2 ist abhängig
von der Länge
des betreffenden Abschnitts und der Abspielgeschwindigkeit v des
Films, es gilt: ΔT = ΔL/vbzw. T2 – T1 = (L2 – L1)/v. 2c.2 shows an exemplary course of the test sound signal that corresponds to the in 2c.1 is assigned to section described between the location L 1 and L 2, further comprising the time at which the position L 1 of the movie is played back is referred to as time T 1 and the time at which the position L 2 of the movie is playing, is referred to as time T 2 . The time duration ΔT = T 1 -T 2 is dependent on the length of the relevant section and the playback speed v of the film, the following applies: ΔT = ΔL / v respectively. T 2 - T 1 = (L 2 - L 1 ) / V.
Bei
Abtastung des Testtonsignals mit der Abtastrate f = 1/Δt, wobei Δt die Abtastperiode
ist und ΔT
= n·Δt gilt, kann
das Testtonsignal als Folge von n + 1 Abtastwerten, wie beispielhaft
in 2c.2 mit n = 10 gezeigt, dargestellt
werden.When sampling the test tone signal at the sampling rate f = 1 / Δt, where Δt is the sampling period and ΔT = n · Δt, the test tone signal may be produced as a result of n + 1 samples, as exemplified in FIG 2c.2 shown with n = 10.
Beim
Abspielen des Films mit einer Abspielgeschwindigkeit v und einer
Abtastrate f = 1/Δt
wird der Filmabschnitt zwischen L1 und L2 bzw. T1 und T2 beispielsweise in n Zeitabschnitte unterteilt
bzw. durch n + 1 Abtastwerte dargestellt, wobei gilt: n
= ΔL/(Δt·v)bzw. n = ΔL·f/v,das
heißt,
die Anzahl der Abtastperioden bzw. Abtastwerte für einen gegebenen Filmabschnitt ΔL ist proportional
zur Abtastrate f bzw. antiproportional zur Abtastperiode Δt und antiproportional
zur Abspielgeschwindigkeit v. Anders ausgedrückt, bei einem Abschnitt konstanter
Länge ΔL muss der
Quotient „f/v" bzw. das Produkt „Δt·v" konstant sein, wenn
n oder die Anzahl der Abtastwerte n + 1 konstant sein soll. Ist
in diesem Fall der erste Abtastwert gleich, so sind unter der zuvor
genannten Bedingung auch die einzelnen Abtastwerte gleich.When the film is played back at a playback speed v and a sampling rate f = 1 / Δt, the film segment between L 1 and L 2 or T 1 and T 2 is subdivided into n time segments or represented by n + 1 sample values, for example: n = ΔL / (Δt · v) respectively. n = ΔL · f / v, that is, the number of sampling periods or samples for a given film section ΔL is proportional to the sampling rate f, or antiproportional to the sampling period Δt and antiproportion to the playback speed v. In other words, for a section of constant length ΔL, the quotient "f / v" or the product "Δt · v" must be constant if n or the number of samples n + 1 should be constant. If, in this case, the first sample is the same, under the condition mentioned above, the ones are also one individual samples equal.
Entsprechend
wird beim Erzeugen der gespeicherten Filminformation bzw. des Referenztonsignals
bei einer Speicherabtastrate fSpeicher und
einer Speicherabspielgeschwindigkeit vSpeicher der
gespeicherte Abschnitt der Filminformation bzw. des Testtonsignals
beispielsweise durch nSpeicher + 1 Referenzabtastwerte
dargestellt und gespeichert. Accordingly, in generating the stored movie information or the reference sound signal at a memory sampling rate f memory and a memory playback speed v memory, the stored portion of the movie information or the test sound signal is represented and stored by n memory + 1 reference samples, for example.
Zur
Veranschaulichung des Sachverhalts, zeigen die 2c.2 bis 2c.4 beispielhafte
Abtastungen oder Speicherungen des Filmabschnitts zwischen der Stelle
L1 und der Stelle L2 für eine konstante
Abtastrate f bzw. eine konstante Abtastperiode Δt und einer variablen Abspielgeschwindigkeit,
wobei 2.c2 eine beispielhafte Abtastung
oder Speicherung für
eine erste Abspielgeschwindigkeit v1 zeigt, 2c.3 eine Abtastung oder Speicherung desselben
Filmabschnitts bei einer zweiten Abspielgeschwindigkeit v2 zeigt, und 2c.4 eine
Abtastung desselben Filmabschnitts für eine dritte Abtastgeschwindigkeit
v3 zeigt. Dabei ist in diesem Beispiel v1 halb so gross wie v2 und
doppelt so gross wie v3:
v1 =
v2/2 und v1 = 2·v3.To illustrate the facts, the show 2c.2 to 2c.4 exemplary samples or storages of the film portion between the location L 1 and the location L 2 for a constant sampling rate f and a variable sampling rate Δt and a variable playback speed, respectively 2.c2 shows an exemplary sample or storage for a first playback speed v 1 , 2c.3 shows a sample or storage of the same film section at a second playback speed v 2 , and 2c.4 shows a scan of the same film section for a third scan speed v 3 . In this example, v 1 is half as large as v 2 and twice as large as v 3 :
v 1 = v 2/2 and v 1 = 2 · v 3 .
Alle
drei in den 2c.2 bis 2c.4 dargestellten
Tonsignale weisen denselben ersten Abtastwert an der Stelle L1 bzw. zum entsprechenden Zeitpunkt T1 auf. Daher wird entsprechend, wie in den 2c.2 bis 2c.4 beispielhaft
dargestellt, die gespeicherte Bildinformation bzw. das Referenztonsignal
in 2c.2 durch n1 +
1 = 11 Abtastwerte dargestellt, in 2c.3 derselbe
Filmabschnitt mit n2 + 1 = 6 Abtastwerten
dargestellt, und in 2c.4 derselbe
Filmabschnitt mit n3 + 1 = 21 Abtastwerten
dargestellt.All three in the 2c.2 to 2c.4 Sound signals shown have the same first sample at the point L 1 or at the corresponding time T 1 . Therefore, accordingly, as in the 2c.2 to 2c.4 exemplified, the stored image information or the reference sound signal in 2c.2 represented by n 1 + 1 = 11 samples, in 2c.3 the same section of film is represented by n 2 + 1 = 6 samples, and in 2c.4 the same movie section is shown with n 3 + 1 = 21 samples.
Wie
aus den 2c.2 bis 2c.4 ersichtlich
ist, entspricht bei konstanter Abtastrate, eine Erhöhung der
Abspielgeschwindigkeit v einer zeitlichen Stauchung des Tonsignals,
d.h. eine Verdopplung der Abspielgeschwindigkeit v1 aus 2c.2 führt
wie in 2c.3 dargestellt zu einer Halbierung
von T2 – T1 und n, und eine Reduzierung der Ab- spielgeschwindigkeit
v zu einer zeitlichen Streckung des Tonsignals, d.h. eine Halbierung
der Abspielgeschwindigkeit v1 aus 2c.2 führt
wie in 2c.4 dargestellt zu einer Verdopplung
von T2 – T1 und n.Like from the 2c.2 to 2c.4 can be seen corresponds to a constant sampling rate, an increase in the playback speed v of a temporal compression of the audio signal, ie a doubling of the playback speed v 1 off 2c.2 leads as in 2c.3 shown to a halving of T 2 - T 1 and n, and a reduction of the playback speed v to a temporal extension of the audio signal, ie a halving of the playback speed v 1 from 2c.2 leads as in 2c.4 represented to a doubling of T 2 -T 1 and n.
Die 2d.1 und 2d.2 entsprechen
im Wesentlichen den 2c.1 und 2c.2. Im Vergleich zu 2c.1 zeigt 2d.1 zwei zusätzliche Stellen,
die einen Suchabschnitt oder ein Suchfenster bezüglich des Films und der darauf
aufgebrachten Filminformationen definieren, wobei eine erste Stelle des
Suchfensters mit L0 bezeichnet wird, und
eine zweite Stelle des Suchfensters mit L3 bezeichnet wird,
wobei der Abschnitt zwischen der Stelle L0 und der
Stelle L3 größer ist als der Abschnitt,
der durch die Stellen L1 und L2 definiert
wird, bzw. es gilt ΔLFenster > ΔL mit ΔLFenster = L3 – L0 und ΔL
= L2 – L1. Entsprechend wurde in 2d.2 zusätzlich
zu 2c.2 der Zeitpunkt T0, der basierend auf einer gegebenen Abspielgeschwindigkeit
den der Stelle L0 zugeordneten Zeitpunkt
darstellt und der Zeitpunkt T3, der basierend
auf einer gegebenen Abspielgeschwindigkeit den der Stelle L3 zugeordneten Zeitpunkt darstellt, hinzugefügt.The 2d.1 and 2d.2 essentially correspond to the 2c.1 and 2c.2 , Compared to 2c.1 shows 2d.1 two additional locations defining a search section or window with respect to the film and the film information applied thereto, wherein a first location of the search window is denoted L 0 , and a second location of the search window is denoted L 3 , the portion between the location L 0 and the point L 3 is greater than the portion defined by the points L 1 and L 2 , or ΔL window > ΔL with ΔL window = L 3 - L 0 and ΔL = L 2 - L 1 , Accordingly, in 2d.2 in addition to 2c.2 time T 0 , which represents the time associated with point L 0 based on a given playback speed; and time T 3 , which represents the time associated with point L 3 based on a given playback speed.
Auf
die Erzeugung der gespeicherten Filminformationen bzw. des Referenztonsignals
und der zusätzlich
gespeicherten Zeitskala übertragen,
bedeutet dies, dass T0 beispielsweise den
Zeitpunkt auf der Zeitskala definiert, der der Stelle L0 zugeordnet
ist, der Zeitpunkt T1 den Zeitpunkt auf
der Zeitskala definiert, der der Stelle L1,
der Zeitpunkt T2 den Zeitpunkt auf der Zeitskala
definiert, der der Stelle L2 und der Zeitpunkt
T3 den Zeitpunkt auf der Zeitskala definiert, der
der Stelle L3 auf dem Film zugeordnet ist.Transmitted to the generation of the stored film information or the reference sound signal and the additionally stored time scale, this means that T 0 defines, for example, the time on the time scale, which is assigned to the point L 0 , the time T 1 defines the time on the time scale, the point L 1 , the time T 2 defines the time on the time scale defining the point L 2 and the time T 3, the time on the time scale associated with the point L 3 on the film.
2d.3 entspricht der 2c.2. 2d.3 equals to 2c.2 ,
Im
Folgenden soll anhand der 2d.2 bis 2d.4 ein prinzipieller Verlauf eines Vergleichs zweier
Signale mittels Korrelation bzw. die Problematik einer variablen
Abspielge schwindigkeit bei einem Vergleich zweier Signale beispielhaft
dargestellt und erläutert
werden.The following is based on the 2d.2 to 2d.4 a basic course of a comparison of two signals by means of correlation or the problem of a variable Abspielge speed in a comparison of two signals are exemplified and explained.
Dabei
stellt 2d.3 eine aktuell abgelesene
einer auf den Film aufgebrachten Filminformation bzw. das Testtonsignal 270 dar
und 2d.2 eine gespeicherte Filminformation
bzw. ein Referenztonsignal dar, wobei in einem optimalen Fall, der
hier durch die 2d.2 und 2d.3 darstellt
ist, die Speicherabspielgeschwindigkeit und die Speicherabtastrate,
mit der das Referenztonsignal erzeugt wurde, mit der Abspielgeschwindigkeit
des Testtonsignals und der Abtastrate des Testtonsignals übereinstimmen
bzw. wie zuvor gezeigt, der Quotient aus Speicherabtastrate fSpeicher und Speicherabspielgeschwindigkeit
vSpeicher mit dem Quotient aus der Abtastrate
für das
Testtonsignal f und der Abspielgeschwindigkeit des Testtonsignals
v übereinstimmen. In
diesem Fall kann das Referenztonsignal bzw. ein Abschnitt des Referenztonsignals,
der durch T1 und T2 definiert
ist, mit dem Testtonsignal, das den Abschnitt zwischen T1 und T2 darstellt,
genauer gesagt deren Abtastwertefolgen, exakt übereinstimmen, und mittels
Korrelation ein klares lokales Maximum bzw. ein Korrelations-Peak
gewonnen werden, wie dies beispielhaft in 2d.4 gezeigt
ist.It puts 2d.3 a currently read a film information applied to the film or the test sound signal 270 and 2d.2 a stored film information or a reference sound signal, wherein in an optimal case, here by the 2d.2 and 2d.3 and the memory sampling rate at which the reference sound signal was generated coincides with the playback speed of the test sound signal and the sampling rate of the test sound signal, and the quotient of memory sampling rate f memory and memory playback speed v memory with the quotient of the sampling rate for the test sound signal f and the playback speed of the test sound signal v coincide. In this case, the reference sound signal or a portion of the reference sound signal, which is defined by T 1 and T 2 , with the test sound signal representing the portion between T 1 and T 2 , more precisely their sample value sequences, exactly match, and by correlation clear local maximum or a correlation peak are obtained, as exemplified in 2d.4 is shown.
Die
Position des Peaks wiederum gibt die zeitliche Verschiebung des
Testtonsignals gegenüber dem
Referenztonsignal bzw. dem Suchfenster an. Darauf basierend kann
dann der aktuelle Zeitpunkt bezüglich
der gespeicherten Zeitskala bestimmt werden.The
Position of the peak in turn gives the time shift of the
Test sound signal compared to the
Reference sound signal or the search window. Based on this
then the current time
the stored time scale are determined.
Die 2d.5 bis 2d.8 zeigen
im Unterschied zu den 2d.1 zu 2d.4 ein Beispiel, bei dem die Abspielgeschwindigkeit
des Testtonsignals, dargestellt in 2d.7 gegenüber der
Abspielgeschwindigkeit des Testtonsignals, wie es in 2d.2 gezeigt wird, verringert ist.The 2d.5 to 2d.8 show in contrast to the 2d.1 to 2d.4 an example in which the playback speed of the test sound signal, shown in 2d.7 compared to the playback speed of the test sound signal, as in 2d.2 is shown reduced.
2d.5 entspricht der 2d.1. 2d.6 entspricht der 2d.2,
das heißt, 2d.6 stellt einen beispiel haften Verlauf eines
Referenztonsignals dar, das auf einer Speicherabtastrate fSpeicher und einer Speicherabspielgeschwindigkeit
vSpeicher basiert. 2d.7 zeigt
einen beispielhaften Verlauf bzw. eine beispielhafte Abtastung des
Testtonsignals, basierend auf einer gegenüber 2d.3 bzw. 2d.6 unveränderten
Testabtastrate f jedoch einer veränderten, reduzierten Abspielgeschwindigkeit
v' des Testtonsignals. 2d.5 equals to 2d.1 , 2d.6 equals to 2d.2 , this means, 2d.6 FIG. 10 illustrates an example of a reference tone signal based on a memory sample rate f memory and a memory playback speed v memory . 2d.7 FIG. 12 shows an exemplary plot of the test tone signal based on one. FIG 2d.3 respectively. 2d.6 unchanged test sampling rate f, however, a changed, reduced playback speed v 'of the test sound signal.
Bezogen
auf einen betrachteten Zeitabschnitt ΔT bedeutet dies, dass in dem
gleichen Zeitabschnitt ΔT
bei einer reduzierten Geschwindigkeit v' nur ein geringerer Abschnitt bzw. ein
Abschnitt geringerer Länge ΔL' gemäß ΔL' = v'·ΔT von dem Film abgespielt wird,
so dass bezogen auf den gerade abgespielten Film nach dem Zeitabschnitt ΔT nur eine Stelle
L'2,
die vor der Stelle L2 liegt, erreicht wird,
wie dies in 2d.5 dargestellt ist. Bezogen
auf das Referenztonsignal und der diesem zugeordneten Zeitskala
ist der Stelle L'2 der Zeitpunkt T'2 der Zeitskala zugeordnet,
wie dies in 2d.7 gezeigt wird.Based on a considered time interval ΔT, this means that in the same time interval ΔT at a reduced speed v 'only a lesser portion or a portion of lesser length ΔL' according to ΔL '= v' · ΔT is played back by the film is reached on the currently playing film after the period .DELTA.T only one point L ' 2 , which lies before the point L 2 , as shown in 2d.5 is shown. Relative to the reference sound signal and the time scale associated therewith, the point L ' 2 is assigned the time T' 2 of the timescale, as shown in FIG 2d.7 will be shown.
Bezogen
auf die einzelnen Abtastwerte des Testtonsignals bedeutet dies,
dass der durch die Tonspur des Films vorgegebene „räumliche" Verlauf des Testtonsignals
unveränderlich
ist, so dass bei einer geringeren Abspielgeschwindigkeit v' eine Abtastperiode Δt bzw. ein
entsprechender räumlicher
Abtastabschnitt Δ1' entspricht, der
kleiner ist als Δ1,
so dass, wie dies in 2d.7 gegenüber 2d.6 dargestellt ist, die Abtastwerte des Testtonsignals
bezüglich
des „räumlichen" Signalverlaufs nach
links „wandern".Based on the individual samples of the test sound signal, this means that the "spatial" course of the test sound signal given by the soundtrack of the film is invariable, so that at a lower playback speed v 'a sampling period Δt or a corresponding spatial sampling section Δ1' corresponds to the smaller one is considered Δ1, so that, as in 2d.7 across from 2d.6 is shown, the samples of the test sound signal with respect to the "spatial" waveform to the left "wander".
In
dem entgegengesetzten Fall, dass die veränderte Abspielgeschwindigkeit
v' größer ist
als die Speicherabspielgeschwindigkeit vSpeicher,
ergibt sich der umgekehrte Fall, im gleichen Zeitabschnitt Δt wird ein
größerer räumlicher
Abschnitt Δ1
abgespielt, so dass die Abtastwerte des Testtonsignals auf dem „räumlichen" Verlauf des Testtonsignals
nach „rechts" auf dem Signalverlauf „wandern".In the opposite case that the changed playback speed v 'is greater than the memory playback speed v memory , the opposite occurs, in the same time interval Δt a larger spatial section Δ1 is played back, so that the samples of the test sound signal on the "spatial" course of the Test tone signal to "right" on the waveform "wander".
Bei
einer veränderten
Abspielgeschwindigkeit, unabhängig
davon, ob sie höher
oder niedriger als die Speicherabspielgeschwindigkeit ist, verschlechtert
sich damit das Ergebnis des Vergleichs, da selbst unter sonst optimalen
Bedingungen, das Testtonsignal und das Referenztonsignal zwei verschiedene
räumliche
Abschnitte des Films wiedergeben. Das Ergebnis des Vergleichs wird
umso schlechter, je größer die
Abweichung der Speicherabspielgeschwindigkeit von der Testabspielgeschwindigkeit
abweicht. Bei einem Vergleich mittels Korrelation nimmt dabei der
Betrag des lokalen Maximums bzw. Peaks ab und das Maximum selbst
wird dadurch beispielsweise breiter und flacher, so dass die Zeitpunktbestimmung
bezüglich
der Zeitskala immer ungenauer wird, bis sie nicht mehr möglich ist.at
an altered one
Playback speed, independent
of whether they are higher
or lower than the memory playback speed is degraded
thus the result of the comparison, since even under otherwise optimal
Conditions, the test sound signal and the reference sound signal two different
spatial
Play sections of the movie. The result of the comparison will be
the worse, the bigger the
Deviation of the memory playing speed from the test playing speed
differs. In a comparison by means of correlation, the
Amount of the local maximum or peak, and the maximum itself
This makes it wider and flatter, for example, so that the determination of the time
in terms of
The time scale becomes increasingly inaccurate until it is no longer possible.
Unter
realen Bedingungen variiert die Abspielgeschwindigkeit des Testtonsignals
beispielsweise nicht nur zwischen verschiedenen Filmabspielgeräten, sondern
kann auch während
eines Films variieren. Eine exakte Nachsteuerung ist daher unerlässlich,
um während
eines gesamten Films Synchronität
zu gewährleisten.Under
In real conditions, the playback speed of the test tone signal varies
For example, not only between different movie players, but
can also while
of a movie vary. An exact readjustment is therefore essential
around during
an entire movie synchronicity
to ensure.
Die
Vorrichtung zum Durchführen
einer Korrelation variiert daher die Abtastrate des Testtonsignals
oder die Abtastrate des Referenztonsignals, um den nachteiligen
Effekt einer variablen Ablaufgeschwindigkeit des Testtonsignals,
wie er zuvor beschrieben wurde, gemäß der zuvor beschriebenen Bedingung,
dass der Quotient aus Abtastrate und Abspielgeschwindigkeit des
Testtonsignals und des Referenztonsignals gleich groß sein müssen, um
den gleichen Filmabschnitt mit den gleichen Abtastwerten darzustellen,
zu minimieren.The
Device for performing
a correlation therefore varies the sampling rate of the test sound signal
or the sampling rate of the reference sound signal to the disadvantageous
Effect of a variable speed of the test tone signal,
as previously described, according to the condition described above,
the quotient of the sampling rate and the playback speed of the
Test tone signal and the reference sound signal must be equal to
to show the same movie section with the same samples
to minimize.
Bei
einem digitalen Referenztonsignal, das zuvor mit einer Speicherabtastrate
erzeugt wurde, wird die Änderung
der Abspielgeschwindigkeit durch eine Abtastratenkonversion bewirkt,
wobei das gespeicherte Referenztonsignal 274 beispielsweise entsprechend
interpoliert wird, um ein Refe renztonsignal mit der Abtastrate zu
erzeugen, das der geänderten
Abspielgeschwindigkeit entspricht.For a reference digital audio signal previously generated at a memory sampling rate, the change in playback speed is effected by sample rate conversion, wherein the stored reference audio signal 274 For example, it is interpolated accordingly to generate a reference tone signal at the sampling rate corresponding to the changed playback speed.
Die 2d.1–2d.8 stellen vereinfachte Beispiele dar, bei denen
der Anschaulichkeit halber davon ausgegangen wurde, dass die Speicherabspielgeschwindigkeit
vSpeicher einer normalen bzw. üblichen
Abspielgeschwindigkeit eines Abspielgerätes zum Erzeugen eines Testtonsignals
entspricht. Wie zuvor erläutert,
ist jedoch der Quotient aus Abtastrate f und der Abspielgeschwindigkeit
v die Größe, die
für das
Referenztonsignal und das Testtonsignal gleich sein müssen, um
wie zuvor dargestellt, denselben Abschnitt des Films mit denselben
Abtastwerten darstellen zu können.
Beispielsweise kann bei dem Erzeugen des Referenztonsignals auch
eine doppelte Abspielgeschwindigkeit genutzt werden, wenn gleichzeitig
die Abtastrate verdoppelt wird.The 2d.1 - 2d.8 illustrate simplified examples in which, for the sake of clarity, it has been assumed that the memory playback speed v memory corresponds to a normal or standard playback speed of a playback device for generating a test sound signal. As previously discussed, however, the quotient of sample rate f and playback speed v is the magnitude that must be the same for the reference sound signal and the test sound signal to represent the same portion of the film with the same samples as previously indicated. For example, when generating the reference sound signal, a double playback speed can also be used if the sampling rate is simultaneously doubled.
In
einem Ausführungsbeispiel
gemäß 2b,
kann die Einrichtung 210 zum Ermitteln, basierend auf dem
Ergebnis 278 der Korrelation ein Maß für eine Testabspielgeschwindigkeit
ermitteln.In an embodiment according to 2 B , the device can 210 for determining, based on the result 278 determine the correlation of a measure of a test playing speed.
Eine
Möglichkeit
besteht darin, ein einzelnes Korrelationsergebnis für die Bestimmung
eines Maßes
der Abspielgeschwindigkeit heranzuziehen, indem beispielsweise eine
Amplitude eines Peaks mit einem vorgegebenen Schwellwert verglichen
wird, um zu ermitteln, ob eine Abweichung zwischen einer Abspielgeschwindigkeit
eines Testtonsignals und eines Referenztonsignals in einem vorgegeben
Bereich liegt.A
possibility
It is a single correlation result for the determination
a measure
the playback speed, for example, by a
Amplitude of a peak compared to a predetermined threshold
is used to determine if there is a deviation between a playback speed
a test sound signal and a reference sound signal in a predetermined
Area is located.
Bei
einem bevorzugten Ausführungsbeispiel werden
mindestens zwei verschiedene Referenztonsignale, die auf verschiedenen
Referenzabtastraten basieren bzw. verschiedenen Referenzabspielgeschwindigkeiten
entsprechen, mit dem Testtonsignal verglichen, um die Ergebnisse
der Korrelation beispielsweise mittels einer Qualitätsbeurteilung,
die bezüglich 5 noch näher erläutert wird, zu vergleichen,
um aus diesen ein ähnlichstes
Referenztonsignal und damit basierend auf der bekannten Abtastrate
und der bekannten Speicherabspielgeschwindigkeit ein Maß für die Abspielgeschwindigkeit
des Testtonsignals zu bestimmen. Dabei können die verschiedenen Referenztonsignale
nacheinander gebildet und mit dem Testtonsignal verglichen werden oder
gleichzeitig gebildet und verglichen werden.In a preferred embodiment, at least two different reference sound signals, which are based on different reference sampling rates and / or different reference playback speeds, are compared with the test sound signal to obtain the results of the correlation, for example by means of a quality assessment relating to 5 will be explained in more detail in order to determine from these a most similar Referenztonsignal and thus based on the known sampling rate and the known memory playback speed, a measure of the playback speed of the test sound signal. In this case, the different reference sound signals can be formed one after the other and compared with the test sound signal or simultaneously formed and compared.
Ein
besonders bevorzugtes Ausführungsbeispiel
der Vorrichtung zum Durchführen
einer Korrelation erzeugt drei Referenztonsignale, die auf verschiedenen
Referenzabtastraten basieren, wobei das Referenztonsignal der mittleren
der drei Abtastraten auf der Referenzabtastrate des Referenztonsignals
basiert, das in einem vorhergehenden Vergleich die beste Qualität bzw. maximale Übereinstimmung
mit dem Testtonsignal aufwies, und die zwei anderen Referenztonsignale
jeweils eine Referenzabtastrate die höher oder niedriger als die
Referenzabtastrate des mittleren Referenztonsignals bzw. Referenzabtastrate
ist, aufweisen. Dies wird von der Einrichtung 230 zum Variieren
auf der Basis eines Ausgangssignals der Einrichtung 210 zum
Ermitteln des Maßes
für die
Testabspielgeschwindigkeit gesteuert. So ist gewährleistet, dass die Referenzabtastrate
bzw. die Referenzabspielgeschwindigkeit des Referenztonsignals an
die Abspielgeschwindigkeit bzw. Referenzabtastrate des Testtonsignals
angepasst wird.A particularly preferred embodiment of the apparatus for performing a correlation generates three reference sound signals based on different reference sampling rates, wherein the reference sound signal of the middle of the three sampling rates is based on the reference sampling rate of the reference sound signal which in a previous comparison is the best quality or maximum match with the test sound signal and the two other reference sound signals each have a reference sampling rate higher or lower than the reference sampling rate of the middle reference sound signal. This is from the facility 230 for varying on the basis of an output signal of the device 210 controlled to determine the measure of the test play speed. This ensures that the reference sampling rate or the reference playback speed of the reference sound signal is matched to the playback speed or reference sampling rate of the test sound signal.
3a zeigt
einen beispielhaften Film, wie in 8 dargestellt,
und ein prinzipielles Blockschaltbild einer Vorrichtung zum Ermitteln
einer Stelle in dem Film. 3a shows an exemplary movie, as in 8th and a basic block diagram of a device for determining a location in the film.
Das
in 3a gezeigte Ausführungsbeispiel der Vorrichtung
zum Ermittlen einer Stelle in einem Film kann beispielsweise in
einer Vorrichtung zum Erzeugen eines Steuersignals für ein Filmereignissystem,
wie es beispielsweise in 1 gezeigt ist, als Einrichtung 180 zum
Ermitteln des Steuersignals eingesetzt werden.This in 3a For example, an exemplary embodiment of the device for detecting a position in a film can be used in a device for generating a control signal for a film event system, as described, for example, in US Pat 1 is shown as a device 180 be used to determine the control signal.
Die
Vorrichtung zum Ermitteln einer Stelle in einem Film weist einen
Speicher 320 zum Speichern einer Referenzfingerabdruckdarstellung
der Filminformation auf, wobei die Fingerabdruckdarstellung so ausgebildet
ist, dass ein zeitlicher Verlauf der Fingerabdruckdarstellung von
einem zeitlichen Verlauf der Filminformation abhängt, und wobei einer gespeicherten
Referenzfingerabdruckdarstellung eine Zeitskala zugeordnet ist,
eine Einrichtung 340 zum Empfangen eines von dem Film gelesenen
Abschnitts aufweist, eine Einrichtung 350 zum Extrahieren
einer Testfingerabdruckdarstellung aus dem eingelesenen Abschnitt
und eine Einrichtung 360 zum Vergleichen der Testfingerabdruckdarstellung
mit der Referenzfingerabdruckdarstellung aufweist, um auf der Basis des
Vergleichs und der Zeitskala die Stelle in dem Film zu ermitteln.The device for determining a location in a film has a memory 320 for storing a reference fingerprint representation of the film information, wherein the fingerprint representation is designed so that a time profile of the fingerprint representation depends on a temporal course of the film information, and wherein a stored reference fingerprint representation is assigned a time scale, a device 340 for receiving a portion read from the film, means 350 for extracting a test fingerprint representation from the read-in portion and means 360 for comparing the test fingerprint representation with the reference fingerprint representation to determine the location in the film based on the comparison and the timescale.
Bei
einem bevorzugten Ausführungsbeispiel umfasst
die Fingerabdruckdarstellung eine Darstellung in Form einer spektralen
Flachheit, wobei ein zeitlicher Verlauf der Fingerabdruckdarstellung
einen zeitlichen Verlauf der spektralen Flachheit umfasst.at
a preferred embodiment
the fingerprint representation is a representation in the form of a spectral
Flatness, with a time course of the fingerprint representation
a temporal course of the spectral flatness comprises.
3b.1 zeigt einen beispielhaften Film 110, wie
in 8 dargestellt. Dabei entsprechen beispielsweise
einer Stelle L100 des Films bei einem Abspielen
des Films mit einer gegebenen Abspielgeschwindigkeit der Zeitpunkt
T100 der Zeitskala, der Stelle L103 der Zeitpunkt T103 der
Zeitskala, der Stelle L113, die der Zeitpunkt
T113 der Zeitskala und der Stelle L116 der dem Zeitpunkt T116 der
Zeitskala. 3b.1 shows an exemplary movie 110 , as in 8th shown. Here, for example, a location L 100 of the movie when playing the movie at a given playback speed corresponds to time T 100 of the time scale, location L 103 corresponds to time T 103 of the time scale, location L 113 , time T 113 of the timescale and Place L 116 of time T 116 of the time scale.
Bei
dem Schritt des Erzeugens der Referenzfingerabdruckdarstellung der
Filminformation wird in einem Ausführungsbeispiel für bestimmte räumliche
bzw. zeitliche Abschnitte des Films ein Fingerabdruck bestimmt.at
the step of generating the reference fingerprint representation of
Film information is used in an embodiment for certain spatial
or temporal sections of the film determines a fingerprint.
3b.2 zeigt beispielsweise einen ersten Abschnitt,
der den Abschnitt von der Stelle L100 bis L113 bzw. T100 bis
T113 umfasst, und einen zweiten Abschnitt,
der den Abschnitt von der Stelle L103 bis
zu der Stelle L113 bzw. von dem Zeitpunkt
T103 bis zu dem Zeitpunkt T116 umfasst.
Basierend auf diesen Abschnitten wird auf der Basis von beispielsweise
einer Spektralanalyse, Fourier-Transformation oder anderen Methoden
der Merkmalsextraktion ein diesem Abschnitt zugeordneter Fingerabdruck
erstellt. In einem besonders bevorzugten Ausführungsbeispiel umfasst der
Fingerabdruck die spektrale Flachheit γx2,
die aus dem Verlauf des Leistungsdichtespektrums berechnet wird,
so dass für
jeden Abschnitt der Wert der spektralen Flachheit bestimmt wird,
und sich in Abhängigkeit
von dem zeitlichen Verlauf der Filminformationen, beispielsweise
des Tonsignals, eine Folge von spektralen Flachheiten ergibt, die
in dem Speicher 320 mit der zugeordneten Zeitskala gespeichert
werden. 3b.2 For example, FIG. 16 shows a first portion including the portion from the location L 100 to L 113 and T 100 to T 113 , respectively, and a second portion including the portion from the location L 103 to the location L 113 and from the time T 103 up to the time T 116 includes. Based on these sections, a fingerprint associated with this section is generated based on, for example, spectral analysis, Fourier transformation, or other feature extraction methods. In a particularly preferred embodiment of the fingerprint comprises the spectral flatness γ x 2, which is calculated from the variation of the power density spectrum, so that the value of the spectral flatness is determined for each section, and the function of the time profile of the film information, for example Sound signal, a sequence of spectral flatness results in the memory 320 with the assigned time scale get saved.
Abtastrate,
Länge bzw.
Dauer des Abschnitts oder der Abstand zwischen zwei aufeinander
folgenden Abschnitten werden entsprechend der Anforderungen beispielsweise
bzgl. Eindeutigkeit oder Genauigkeit der Bestimmung der Stelle in
dem Film bestimmt. Je länger
der Abschnitt desto eindeutiger ist die Ausprägung des Merkmals im allgemeinen,
je höher
die Abtastrate und/oder je geringer der Abstand zwischen zwei Abschnitten,
desto genauer kann die Stelle im Film bestimmt werden. Je höher die
Abtastrate, je länger
die Abschnitte und je geringer die Abstände zwischen den Abschnitten,
desto höher
ist der Speicherbedarf für
das Referenzsignal bzw. die Anforderung an die Rechenleistung bei
der Signalverarbeitung.Sampling rate,
Length or
Duration of the section or the distance between two consecutive
following sections will be according to the requirements, for example
as to uniqueness or accuracy of the determination of the place in
intended for the movie. The longer
the section the clearer the expression of the feature in general,
The higher
the sampling rate and / or the smaller the distance between two sections,
the more precise the position in the film can be determined. The higher the
Sampling rate, the longer
the sections and the smaller the distances between sections,
the higher
is the memory required for
the reference signal or the request for the computing power
the signal processing.
Ein
wesentlicher Vorteil der Fingerabdruckdarstellung in Form der spektralen
Flachheit ist ihr geringer Speicherbedarf gegenüber beispielsweise einer kompletten
Speicherung des Leistungsdichtespektrums für einen gleichen Abschnitt.
Bevorzugt wird ein Verlauf bzw. eine Folge von spektralen Flachheiten
als Fingerabdruck für
einen Abschnitt verwendet.One
significant advantage of the fingerprint representation in the form of the spectral
Flatness is their small storage requirements compared to a complete example
Storage of the power density spectrum for a same section.
A course or sequence of spectral flatnesses is preferred
as a fingerprint for
used a section.
4a zeigt einen beispielhaften Film 110, wie
in 8 dargestellt, sowie eine Vorrichtung zum Ermitteln
einer Stelle in einem Film, der in einer zeitlichen Folge aufgebrachte
Filminformationen aufweist. 4a shows an exemplary movie 110 , as in 8th and an apparatus for detecting a location in a film having film information applied in a temporal sequence.
Das
in 4a gezeigte Ausführungsbeispiel der
Vorrichtung zum Ermittlen einer Stelle in einem Film kann beispielsweise
in einer Vorrichtung zum Erzeugen eines Steuersignals für ein Filmereignissystem,
wie es beispielsweise in 1 gezeigt ist, als Einrichtung 180 zum
Ermitteln des Steuersignals eingesetzt werden.This in 4a For example, an exemplary embodiment of the device for detecting a position in a film can be used in a device for generating a control signal for a film event system, as described, for example, in US Pat 1 is shown as a device 180 be used to determine the control signal.
Die
Vorrichtung zum Ermitteln einer Stelle weist einen Speicher 420 zum
Speichern von Filminformationen, die auf einem Film in zeitlicher
Folge aufgebracht sind, auf, wobei den gespeicherten Filminformationen
eine Zeitskala zugeordnet ist, eine Einrichtung 440 zum
Empfangen eines von dem Film gelesenen Abschnitts und eine Synchronisationseinrichtung 460 auf,
die ausgebildet ist, eine Folge von Abtastwerten des gelesenen Abschnitts,
denen eine erste Abtastrate zugrunde liegt, und ein erstes Suchfenster
der gespeicherten Filminformationen zu vergleichen, um ein Grobergebnis
zu erhalten, und um eine Folge von Abtastwerten des gelesenen Abschnitts,
dem eine zweite Abtastrate zugrunde liegt, und ein zweites Suchfenster
der gespeicherten Filminformationen zu vergleichen, um ein Feinergebnis zu
erhalten, das auf die Stelle des Films hinweist, wobei eine Position
des zweiten Suchfensters in der gespeicherten Filminformation von
dem Grobergebnis abhängt,
und wobei das erste Suchfenster zeitlich länger als das zweite Suchfenster
ist und wobei ferner die erste Abtastrate niedriger als die zweite
Abtastrate ist.The device for determining a location has a memory 420 for storing film information deposited on a film in temporal succession, wherein the stored film information is assigned a time scale, means 440 for receiving a portion read from the film and a synchronization device 460 configured to compare a sequence of samples of the read portion on which a first sampling rate is based and a first search window of the stored film information to obtain a coarse result, and a sequence of samples of the read portion which is a second Sampling rate, and to compare a second search window of the stored film information to obtain a fine result indicating the location of the film, wherein a position of the second search window in the stored movie information depends on the coarse result, and wherein the first search window in time as the second search window, and further wherein the first sample rate is lower than the second sample rate.
5a zeigt
einen beispielhaften Film 110, wie in 8 dargestellt,
sowie eine bevorzugtes Ausführungsbeispiel
einer Vorrichtung zum Erzeugen eines Steuersignals für ein Filmereignissystem,
das ausgebildet ist, auf der Basis einer auf dem Film aufgebrachten
analogen Tonspur einen von dem Film gelesenen Abschnitt des Audiosignals
bzw. Testtonsignals und einer gespeicherten, digitalen Version des
Testtonsignals, im weiteren als Referenztonsignal bezeichnet, dem
eine Zeitskala zugeordnet ist, durch Vergleichen des Testtonsignals
und des Referenztonsignals mittels der Zeitskala das Steuersignal zu
ermitteln. 5a shows an exemplary movie 110 , as in 8th and a preferred embodiment of a device for generating a control signal for a film event system, which is formed on the basis of an applied on the film analog audio track a read portion of the audio signal or test tone signal and a stored digital version of the test tone signal hereinafter referred to as Referenztonsignal, which is associated with a time scale, to determine by comparing the test sound signal and the reference sound signal by means of the time scale, the control signal.
5a zeigt
ein bevorzugtes Ausführungsbeispiel
einer Vorrichtung zum Erzeugen eines Steuersignals für ein Filmereignissystem,
das einen ersten Filmtonabtaster 542 aufweist, der mit
einem ersten A/D-Wandler 544 verbunden ist (A/D = Analog/Digital),
wobei der erste A/D-Wandler 544 mit einem ersten Merkmals-Extraktor 552,
mit einer ersten Einrichtung 562 für eine Korrelation mit einem
ersten Referenztonsignal, das auf einer ersten Abtastrate basiert,
mit einer zweiten Einrichtung 564 für eine Korrelation mit einem
zweiten Referenztonsignal, das auf einer zweiten Abtastrate basiert,
und mit einer dritten Einrichtung 566 für eine Korrelation mit einem dritten
Referenztonsignal, das auf einer dritten Abtastrate basiert, verbunden
ist, wobei die Abtastrate im Englischen auch als sample rate bezeichnet
wird. Ein Eingang der ersten Einrichtung 562 für eine Korrelation,
ein Eingang einer zweiten Einrichtung 564 für eine Korrelation
und ein Eingang der dritten Einrichtung 566 für eine Korrelation
sind mit einem Ausgang eines Abtastratenkonverters 232,
der im Englischen als sample rate converter (SRC) bezeichnet wird, verbunden. 5a shows a preferred embodiment of a device for generating a control signal for a film event system, the a first film sound scanner 542 having, with a first A / D converter 544 is connected (A / D = analog / digital), where the first A / D converter 544 with a first feature extractor 552 , with a first device 562 for correlation with a first reference sound signal based on a first sampling rate, with a second device 564 for correlation with a second reference sound signal based on a second sampling rate and with a third device 566 for correlation with a third reference sound signal based on a third sampling rate, the sampling rate also being referred to as a sample rate. An entrance of the first facility 562 for a correlation, an input of a second device 564 for a correlation and an input of the third device 566 for a correlation are with an output of a sample rate converter 232 , which is referred to in English as a sample rate converter (SRC), connected.
Ein
Ausgang der ersten Einrichtung 562 für eine Korrelation, ein Ausgang
der zweiten Einrichtung 564 für eine Korrelation und ein
Ausgang der dritten Einrichtung 566 für eine Korrelation sind mit einem
Eingang einer ersten Einrichtung 568 zur Qualitätsbeurteilung
verbunden. Die Einrichtung 568 zur Qualitätsbeurteilung
wiederum ist mit dem Abtastratenkonverter 232 und einer
Einrichtung 570 zur Abtasterwahl gekoppelt, wobei ein Ausgang
der Einrichtung 570 zur Abtasterwahl mit einem Eingang
eines Zeitgebers 582 verbunden ist. Der Zeitgeber 582 wiederum
ist mit der gespeicherten Tonspur bzw. einer Einrichtung 522 zum
Speichern der Tonspur verbunden, wobei ein Ausgang der Einrichtung 522 zum Speichern
der Tonspur mit einem Eingang des Abtastratenkonverters 232 verbunden
ist.An output of the first device 562 for a correlation, an output of the second device 564 for a correlation and an output of the third device 566 for a correlation are with an input of a first device 568 connected to the quality assessment. The device 568 for quality assessment turn is with the sampling rate converter 232 and a facility 570 coupled to the Abtasterwahl, wherein an output of the device 570 for pickup selection with an input of a timer 582 connected is. The timer 582 turn is with the stored soundtrack or a device 522 connected to store the sound track, wherein an output of the device 522 to save the soundtrack to an input of the sample rate converter 232 connected is.
Ein
Ausgang des ersten Merkmals-Extraktors 552 ist mit einem
Eingang einer Einrichtung 554 zum Vergleichen eines Merkmals,
die beispielsweise einen Merkmals-Klassifikator und eine Datenbank von
Merkmalen aufweist, verbunden, wobei ein Ausgang der Einrichtung 554 zum
Vergleichen eines Merkmals mit einem Eingang des Zeitgebers 582 verbunden
ist.An output of the first feature extractor 552 is with an entrance of a facility 554 for comparing a feature comprising, for example, a feature classifier and a database of features, wherein an output of the device 554 for comparing a feature with an input of the timer 582 connected is.
Ein
Ausgang des Zeitgebers 582 ist mit einem Eingang einer
Einrichtung 584 zur Zeitcodeerzeugung gekoppelt, die eine
Zeitcodedatenbank aufweist oder mit einer Zeitcodedatenbank gekoppelt
ist, wobei ferner ein Ausgang der Einrichtung 584 zur Zeitcodeerzeugung
mit einem Eingang einer Einrichtung 586 zum Zeitcodeglätten verbunden
ist, wobei die Einrichtung 586 zum Zeitcodeglätten ausgebildet ist,
einen Zeitcode 592 auszugeben, und wobei ferner ein Ausgang
der Einrichtung 586 zum Zeitcodeglätten mit einem Eingang eines
Wordclock-Generators 588 verbunden ist, der wiederum ausgebildet
ist, ein Wordclock-Signal 594 auszugeben.An output of the timer 582 is with an entrance of a facility 584 coupled to time code generation comprising a time code database or coupled to a time code database, further comprising an output of the device 584 for time code generation with an input of a device 586 connected to the time code smoothing, wherein the device 586 is designed for time code smoothing, a time code 592 output, and further comprising an output of the device 586 for time code smoothing with an input of a word clock generator 588 which is in turn formed, a word clock signal 594 issue.
Die
Vorrichtung zum Erzeugen eines Steuersignals für ein Filmereignissystem weist
optional ferner einen zweiten Filmtonabtaster 542' auf, der mit einem
zweiten A/D-Wandler 544' verbunden
ist, wobei der zweite A/D-Wandler 544' mit einem zweiten Merkmalsextraktor 552', mit einer
vierten Einrichtung 562' für eine Korrelation
mit einem vierten Referenztonsignal, das auf der ersten Abtastrate
basiert, mit einer fünften
Einrichtung 564' für eine Korrelation
mit einem fünften
Referenztonsignal, das auf der zweiten Abtastrate basiert, und mit
einer sechsten Einrichtung 566' für eine Korrelation mit einem
sechsten Referenztonsignal, das auf der dritten Abtastrate verbunden
ist.The device for generating a control signal for a film event system optionally further comprises a second film sound scanner 542 ' on top of that with a second A / D converter 544 ' is connected, wherein the second A / D converter 544 ' with a second feature extractor 552 ' , with a fourth device 562 ' for correlation with a fourth reference sound signal based on the first sampling rate, with a fifth means 564 ' for correlation with a fifth reference sound signal based on the second sampling rate and with a sixth device 566 ' for correlation with a sixth reference sound signal connected at the third sampling rate.
Ein
Ausgang der vierten Einrichtung 562' für eine Korrelation, ein Ausgang
der fünften
Einrichtung 564' für eine Korrelation
und ein Ausgang der sechsten Einrichtung 566' für eine Korrelation sind mit
einem Eingang einer zweiten Einrichtung 568' zur Qualitätsbeurteilung verbunden, wobei
ein Ausgang der zweiten Einrichtung 568' zur Qualitätsbeurteilung mit einem Offset-Ausgleich 569 und
ein weiterer Ausgang mit einem Eingang des Abtastratenkonverters 232 verbunden
ist, und wobei ferner der die Einrichtung zum Offset-Ausgleich 569 mit
der Abtasterwahl 570 verbunden ist.An output of the fourth device 562 ' for a correlation, an output of the fifth device 564 ' for a correlation and an output of the sixth device 566 ' for a correlation are with an input of a second device 568 ' connected to the quality assessment, wherein an output of the second device 568 ' for quality assessment with offset compensation 569 and another output to an input of the sample rate converter 232 and further comprising the means for offset compensation 569 with the picker option 570 connected is.
Dabei
wird der erste Filmtonabtaster 542, der auch als Hauptabtaster
bezeichnet wird, so positioniert, dass der Vorrichtung zum Erzeugen
eines Steuersignals genug Zeit bleibt, sich aufzusynchronisieren.
Der erste Filmtonabtaster 542 liefert also ein vorverzögertes Signal.
Zur Aufsynchronisationszeit addiert sich noch die Korrelationsfensterbreite
bzw. Breite des Abschnitts des Testtonsignals. Anhand der Perforationen
auf der Filmrolle lässt
sich die Zeitdifferenz für
die Vorverzögerung
genau einstellen. Als erster Anhaltspunkt wird drei Sekunden empfohlen.This will be the first movie sound scanner 542 , also referred to as the main scanner, is positioned so that the apparatus for generating a control signal has enough time to synchronize itself. The first film sound scanner 542 So it delivers a pre-delayed signal. At Aufsynchronisationszeit still adds the correlation window width or width of the portion of the test sound signal. Based on the perforations on the film roll, the time difference for the pre-delay can be set exactly. As a first clue, three seconds is recommended.
Im
Folgenden wird die Funktionsweise des Ausführungsbeispiels der Vorrichtung
zum Erzeugen eines Steuersignals für ein Filmereignissystem näher erläutert, wobei
das Prinzip anhand des durch den ersten Filmtonabtaster 542 erzeugten
Testtonsignals bzw. dessen Signalverarbeitungskette erläutert wird, da
die zweite, optionale Signalverarbeitungskette bzw. Signalverarbeitung
des durch den zweiten Filmtonabtaster 542' erzeugten Testtonsignals dem ersten
entspricht, es wird daher lediglich auf die Einrichtung 569 zum
Offset-Ausgleich
spezifisch eingegangen.The mode of operation of the exemplary embodiment of the device for generating a control signal for a film event system will be explained in more detail below, the principle being explained on the basis of the first film tone scanner 542 generated test tone signal or its signal processing chain is explained as the second, optional signal processing chain or signal processing by the second film tone scanner 542 ' generated test sound signal corresponds to the first, it is therefore only on the device 569 specifically for offset compensation.
Der
erste Filmtonabtaster 542 liest von der Tonspur des Films
das Tonsignal bzw. tastet von der Tonspur des Films das Tonsignal
ab, und gibt dieses Signal an den ersten A/D-Wandler 544 weiter, wobei der
erste A/D-Wandler 544 ausge bildet ist, um basierend auf
der Abtastrate des ersten Filmtonabtasters 542 und der
Abspielgeschwindigkeit des Films, von dem die Tonspur bzw. die Filminformation
gelesen wird, ein digitales Audiosignal oder Testtonsignal zu erzeugen.The first film sound scanner 542 From the soundtrack of the film, it reads the sound signal or samples the sound signal from the soundtrack of the film and sends this signal to the first A / D converter 544 continue, with the first A / D converter 544 is based on the sampling rate of the first film sound scanner 542 and the playback speed of the movie from which the soundtrack or movie information is read to produce a digital audio signal or test tone signal.
Auf
der Basis des Testtonsignals 270 wird ein oder eine Mehrzahl
von Merkmalen extrahiert bzw. eine Testfingerabdruckdarstellung
gebildet. Für
die Merkmalsextraktion bzw. Fingerabdruckdarstellung wird beispielsweise
die spektrale Flachheit als Merkmal bzw. Fingerabdruck eingesetzt.
Die Testfingerabdruckdarstellung wird dann von der Einrichtung 554 zum
Vergleichen eines Merkmals bzw. einer Fingerabdruckdarstellung mit
einer Referenzfingerabdruckdarstellung verglichen, wobei wie zuvor
dargelegt, die Fingerabdruckdarstellung so ausgebildet ist, dass ein
zeitlicher Verlauf der Fingerabdruckdarstellung von einem zeitlichen
Verlauf der Filminformationen abhängt, und wobei einer in der
Einrichtung 554 zum Vergleichen eines Merkmals gespeicherten
Referenzfingerabdruckdarstellung eine Zeitskala zugeordnet ist,
und die Einrichtung 554 zum Vergleichen ausgebildet ist,
um auf der Basis des Vergleichs der Testfingerabdruckdarstellung
mit der Referenzfingerabdruckdarstellung und der Zeitskala eine
Stelle in dem Film zu ermitteln bzw. ein Zeitcodesignal 554Z zu
erzeugen.On the basis of the test tone signal 270 one or a plurality of features is extracted or a test fingerprint representation is formed. For example, the spectral flatness is used as a characteristic or fingerprint for the feature extraction or fingerprint representation. The test fingerprint representation is then from the device 554 For comparison of a feature or a fingerprint representation compared with a reference fingerprint representation, wherein as stated above, the fingerprint representation is formed so that a time profile of the fingerprint representation of a temporal course of the film information depends, and wherein one in the device 554 for comparing a feature stored reference fingerprint representation is associated with a time scale, and the device 554 for comparing, to determine a location in the film and a time code signal, respectively, based on the comparison of the test fingerprint representation with the reference fingerprint representation and the time scale 554Z to create.
Der
Abtastratenkonverter erzeugt auf der Basis des gespeicherten Referenztonsignals 274 dasselbe
Signal mit leicht unterschiedlichen Abtastraten, d.h. modifizierte
Referenztonsignale, für
die parallel zu berechnenden Korrelationen. Dabei ist der Fall,
dass ein modifiziertes Referenztonsignal die gleiche Abtastrate
wie das ursprüngliche
Referenztonsignal aufweist hierin inbegriffen, so dass für die Diskussion
der 5 im weiteren allgemein der Begriff
Referenztonsignale verwendet wird.The sampling rate converter generates based on the stored reference sound signal 274 the same signal with slightly different sampling rates, ie modified reference tone signals, for the correlations to be calculated in parallel. Here, the case where a modified reference sound signal has the same sampling rate as the original reference sound signal is included herein, so that the discussion of the 5 Furthermore, the term reference tone signals is generally used.
Anders
ausgedrückt,
der Abtastratenkonverter 232 erzeugt drei Referenztonsignale 276 bzw. modifizierte
Referenzton signale 276, wobei ein erstes Referenztonsignal
auf einer ersten Abtastrate basiert und der ersten Einrichtung 562 für eine Korrelation
zugeführt
wird, wobei ein zweites Referenztonsignal 276 auf einer
zweiten Abtastrate basiert und der zweiten Einrichtung 564 für eine Korrelation
zugeführt
wird, und ein drittes Referenztonsignal 276 auf einer dritten
Abtastrate basiert und einer dritten Einrichtung 566 für eine Korrelation
zugeführt
wird. Der Abtastratenwandler 232 liefert niedrig abgestufte,
in der Abtastrate unterschiedliche Signale an die Korrelation bzw.
an die Einrichtungen 562, 564, 566 für eine Korrelation,
wobei die Abtastrate immer in Abhängigkeit zum vorherigen gemessenen
maximalen Peak-to-Noise-Wert aus der Korrelation eingestellt wird.
Jeweils eine Korrelation bekommt ein modifiziertes Referenztonsignal
mit dieser Abtastrate, eine weitere Korrelation bekommt eine etwas
geringere, eine Stufe niedrigere, und eine weitere Korrelation bekommt
eine etwas höher
gestufte Abtastrate. Dadurch wird sichergestellt, dass sich der
Abtastratenwandler beispielsweise auf eine Geschwindigkeitsänderung
des Analog-Tonsignals abstimmen bzw. aufsynchronisieren kann.In other words, the sample rate converter 232 generates three reference sound signals 276 or modified reference tone signals 276 wherein a first reference sound signal is based on a first sampling rate and the first device 562 for a correlation, wherein a second reference sound signal 276 based on a second sampling rate and the second device 564 for a correlation, and a third reference sound signal 276 based on a third sampling rate and a third device 566 for a correlation is supplied. The sampling rate converter 232 provides low-level, different in sample rate signals to the correlation or to the devices 562 . 564 . 566 for a correlation, wherein the sampling rate is always set in dependence on the previous measured maximum peak-to-noise value from the correlation. In each case a correlation gets a modified reference sound signal with this sampling rate, another correlation gets a little lower, one level lower, and another correlation gets a slightly higher graduated sampling rate. This ensures that the sample rate converter can, for example, tune or synchronize to a change in the speed of the analog audio signal.
Die
Einrichtung 522 zum Speichern der Tonspur und der Abtastratenkonverter 232 sind
vorzugsweise ausgebildet, eine Fensterbreite von 2n zu
verwenden, um aufwandsgünstig
große
Korrelationsfenster mittels der schnellen Fourier-Transformation (FFT
= Fast Fourier transformation) zu berechnen. Es können parallel
auch mehr als drei Korrelationen berechnet werden, um schlagartige
Sprünge
in der Tonspur zu kompensieren. Das Korrelationsfenster wird groß gewählt, um
einen deutlichen Korrelationspeak zu erhalten. Um die Erkennungsgenauigkeit
des Korrelations-Peaks unter einem Sample bzw. einer Abtastperiode
zu erhalten, kann mit Überabtastung
des Eingangssignals bzw. Testtonsignals gearbeitet werden.The device 522 to save the soundtrack and the sampling rate converter 232 are preferably designed to use a window width of 2 n , in order to calculate large correlation windows by means of the fast Fourier transformation (FFT). In parallel, more than three correlations can be calculated to compensate for sudden jumps in the soundtrack. The correlation window is chosen to be large in order to obtain a clear correlation peak. In order to obtain the recognition accuracy of the correlation peak under a sample or a sampling period, it is possible to work with oversampling of the input signal or test tone signal.
Die
Einrichtung 522 zum Speichern der Tonspur gibt in Abhängigkeit
vom zugeführten
Zeitcodesignal 582Z des Zeitge bers 582 das Referenztonsignal
in der Länge
des Korrelationsfensters aus, wobei das Korrelationsfenster das
Suchfenster ist, in dem das Testtonsignal gesucht wird.The device 522 for storing the soundtrack depending on the supplied time code signal 582Z of the contemporary 582 the reference sound signal in the length of the correlation window, wherein the correlation window is the search window in which the test sound signal is searched.
Die
erste Einrichtung 568 zur Qualitätsbeurteilung ist ausgebildet,
eine Maximalwertsuche in der Kreuzkorrelierten der Signale bzw.
der Beträge
der Signale durchzuführen
und die Güte
der Kreuzkorrelierten, je nach Höhe
des Korrelations-Peaks im Vergleich zu anderen Spitzen in der Kreuzkorrelierten
zu gewichten, bzw. anhand des Peak-to-Noise-Abstands die Qualität jeder einzelnen Korrelation
zu bestimmen.The first device 568 for quality assessment is designed to perform a maximum value search in the Kreuzkorrelierten the signals or the amounts of the signals and the quality of the cross-correlated, depending on the height of the correlation peak compared to other peaks in the cross-correlated weight or based on the peak-to Noise distance to determine the quality of each correlation.
Anhand
der Qualitätsbeurteilung
wird das Referenztonsignal mit der besten Güte bzw. Qualität bestimmt
und anhand der Position des Peaks des Referenztonsignals mit der
besten Qualität
bzw. Güte die
Verschiebung des Peaks gegenüber
dem Suchfenster bestimmt, und beispielsweise als Zeitcodedifferenz
zwischen gemessenem und derzeit gültigem Zeitcode oder als relativer
Zeitcode ausgegeben.Based
the quality assessment
the reference sound signal is determined with the best quality
and from the position of the peak of the reference sound signal with the
best quality
or quality the
Shift of the peak opposite
determined by the search window, and for example as a time code difference
between measured and currently valid time code or as relative
Time code output.
Abhängig von
dem Ergebnis der Qualitätsbeurteilung
sendet die erste Einrichtung 568 zur Qualitätsbeurteilung
ein Steuersignal 568A an den Abtastratenkonverter 232,
das beispielsweise nur die drei Signalwerte "0", "+1" und "–1" unterscheidet, wobei beispielsweise
bei "0" die Abtastraten
der letzten Abtastraten-Konvertierung bzw. Korrelation beibehalten werden,
weil das Korrelationsergebnis aus dem modifizierten Referenztonsignal
mit der mittleren Abtastrate als das qualitativ hochwertigste bestimmt
wurde, bei "+1" die Abtastraten
gegenüber
der letzten Abtastratenkonversion bzw. Korrelation um eine Stufe
erhöht
werden, weil das Korrelationsergebnis aus dem modifizierten Referenztonsignal
mit der höchsten
Abtastrate als das qualitativ hochwertigste bestimmt wurde, und
bei "–1" die Abtastraten
gegenüber
der vorhergehenden Abtastratenkonversion bzw. Korrelation um eine
Stufe reduziert werden, da die Korrelation aus dem Testtonsignal
und dem modifizierten Referenztonsignal mit der niedrigsten Referenzabtastrate
das beste Korrelationsergebnis bzw. den besten Peak-to-Noise-Abstand
aufwies.Depending on the result of the quality assessment, the first device sends 568 For quality assessment, a control signal 568A to the sampling rate converter 232 for example, distinguishes only the three signal values "0", "+1" and "-1", for example, at "0", the sample rates of the last sample rate conversion or correlation are maintained, because the correlation result from the modified reference sound signal with the middle sampling rate was determined to be the highest quality, at "+1" the sampling rates are increased by one level compared to the last sampling rate conversion or correlation because the correlation result from the modified reference tone signal with the highest sampling rate was determined to be the highest quality; -1 "the sampling rates over the previous sample rate conversion or correlation are reduced by one level, since the correlation of the test sound signal and the modified reference sound signal with the lowest reference sampling rate had the best correlation result and the best peak-to-noise distance.
In
anderen Worten, abhängig
davon, mit welcher Abtastrate (erste, zweite oder dritte) der beste Korrelationspeak
erhalten worden ist, wird der Abtastratenkonverter z.B. um ein Abtastraten-Deltawert erhöht oder
erniedrigt, oder so angesteuert, dass er keine Abtastratenkonversion
durchführt.In
other words, dependent
of which sample rate (first, second, or third) has the best correlation peak
has been obtained, the sample rate converter is e.g. increased by a sample rate delta value or
is lowered or driven so that it does not sample rate conversion
performs.
Dabei
dient die Korrelation zur Adressierung von zwei wesentlichen Aspekten.
Erstens, der Bestimmung der Stelle im Film bzw. Bestimmung des Zeitpunktes
im Film auf Basis der Zeitcodedifferenz aus der Korrelation. Zweitens,
der Bestimmung des Maßes
für die
Abspielgeschwindigkeit, um die optimale Referenzabtastrate bzw.
optimale Abtastratenkonversion der Referenzabtastrate zu ermitteln.
Wobei die Anpassung der Abtastraten bzw. das Nachempfinden angepasster
Abspielgeschwindigkeiten wiederum bessere Korrelationsergebnisse
ermöglicht
und damit wiederum die Zeitpunktbestimmung bzw. Bestimmung der Stelle
in dem Film verbessert und somit wiederum die Synchronisation und
die Prädiktion
verbessert.there
The correlation serves to address two important aspects.
First, determining the location in the film or determining the time
in the film based on the time code difference from the correlation. Secondly,
the determination of the measure
for the
Playback speed to the optimum reference sample rate or
determine optimal sample rate conversion of the reference sample rate.
Wherein the adaptation of the sampling rates or the Nachempfinden adapted
Playback speeds, in turn, better correlation results
allows
and thus again the determination of the time or determination of the position
improved in the movie and thus in turn the synchronization and
the prediction
improved.
Ein
bevorzugtes Ausführungsbeispiel
gemäß 5 ist ausgebildet, mittels einer Signalanalyse, um
Signalteile mit bestimmten Charakteristika zu detektieren, um diese
dann bei der Synchronisation auszublenden und damit falsche Detektionen
bzw. Synchronisationen zu unterbinden oder zufällige Schwankungen der Zeitachse
zu vermeiden.A preferred embodiment according to 5 is formed, by means of a signal analysis, to detect signal parts with specific characteristics in order to then hide them during synchronization and thus false detections or To prevent synchronization or to avoid random fluctuations of the time axis.
Solche
Charakteristika können
beispielsweise die Lautheit des Signalteils oder die „Problemheit" eines Signals sein
und die Signalanalyse bzw. Detektion problematischer Teile auf der
Basis von SNR (Signal-to-Noise-Ratio), PNR (Peakto-Noise), Spectral power
oder Leitungsdichtespektrum, spektraler Flachheit oder der Mittelwertbildung
einer zeitlichen Abfolge basieren.Such
Characteristics can
for example, the loudness of the signal part or the "problem" of a signal
and the signal analysis or detection of problematic parts on the
Based on SNR (signal-to-noise ratio), PNR (Peakto-Noise), Spectral power
or line density spectrum, spectral flatness or averaging
based on a time sequence.
Beispielsweise
kann unterhalb eines Schwellwerts des Peakto-Noise-Werts bzw. Spitze-Rausch-Abstands
die Zeitcodedifferenz als ungültig
erkannt werden. Oder werden beispielsweise mehrere Peaks mit ähnlichem
Spitze-Rausch-Abstand festgestellt, kann die Zeitcodedifferenz ebenso als
ungültig
erkannt werden.For example
may be below a threshold of the peak-to-noise ratio
the time code difference is invalid
be recognized. Or, for example, several peaks with similar
Detected peak-to-noise ratio, the time code difference as well
invalid
be recognized.
Des
Weiteren ist zum Beispiel die Qualität von Korrelationen mit leisen
Signalteilen, das heißt Signalteilen
mit geringer Amplitude, wegen des höheren Quantisierungsgeräuschs bei
der digitalen Abtastung geringer als von Korrelationen mit lauten
Signalen, daher werden leise Signalteile anhand von Schwellwerten
bzw. adaptiv ausgeblendet, um zufällige Schwankungen der Zeitachse
zu vermeiden. Zusätzlich
kann die Signalenergie ein weiteres Qualitätsmerkmal sein.Of
Another example is the quality of low-noise correlations
Signal parts, ie signal parts
with low amplitude, because of the higher quantization noise
the digital sample is lower than correlations with loud
Signals, therefore, are quiet signal parts based on thresholds
or adaptively hidden to random fluctuations of the time axis
to avoid. additionally
the signal energy can be another quality feature.
Ein
weiteres Beispiel ist das Ausblenden von problematischen, weil wiederkehrenden
Signalteilen, um Mehrdeutigkeiten und damit beispielsweise falsches
Aufsynchronisieren zu vermeiden.One
Another example is the hiding of problematic, because recurring
Signal parts, ambiguities and thus, for example, wrong
To avoid synchronization.
Problematische
Signalteile bzw. Abschnitte können
ferner zum Beispiel als Metadaten signalisiert werden, um unabhängig von
der Qualität
der aktuellen Korrelation, diese Signalteile auszublenden.problematic
Signal parts or sections can
also be signaled as metadata, for example, to be independent of
the quality
the current correlation to hide those signal parts.
Die
Einrichtung 584 zur Zeitcodeerzeugung ist ausgebildet,
um basierend auf dem Zeitcodesignal 582Z des Zeitgebers 582,
das beispielsweise auf einem internen oder proprietären Zeitcode
basieren kann, beispielsweise in einen standardisierten Zeitcode
bzw. ein Zeitcodesignal, das auf einem standardisierten Zeitcode
basiert, umzuwandeln.The device 584 for time code generation is configured to be based on the time code signal 582Z of the timer 582 , which may for example be based on an internal or proprietary time code, for example in a standardized time code or a time code signal based on a standardized time code to convert.
Der
Zeitgeber 582 wird von einer internen Uhr gesteuert (Intervall
bzw. Häufigkeit
der Korrelationen), einem groben Audio-ID-Fingerabdruck bzw. Fingerabdruckdarstellung,
beispielsweise dem Zeitcodesignal 554Z aus der Merkmalsbestim mung
bzw. Fingerabdruckdarstellung, und der ermittelten Korrelationsdifferenz,
beispielsweise dem aus der Korrelation ermittelten Zeitcodedifferenzsignal 570Z der
Einrichtung 570 zur Abtasterwahl. Der Zeitgeber muss eine
Priorisierung aus Korrelationssignal (höchste Priorität), Zeitcode
aus der Merkmalsbestimmung und interner Uhr (niedrigste Priorität) vornehmen.The timer 582 is controlled by an internal clock (Interval or Frequency of Correlations), a coarse audio ID fingerprint, such as the time code signal 554Z from the Merkmalsbestim determination or fingerprint representation, and the determined correlation difference, for example, the time code difference signal determined from the correlation 570Z the device 570 for scanner selection. The timer must prioritize correlation signal (highest priority), time code from feature determination, and internal clock (lowest priority).
Die
Einrichtung 586 zum Zeitcodeglätten ist ausgebildet, um das
Zeitcodesignal 584Z zu glätten, um so beispielsweise
einen stark springenden Zeitcode zu vermeiden oder falls Zeitcodes
aus der Korrelation fehlen, sinnvolle Zwischenwerte zu finden, um
z.B. Pausen in dem Analogton auszugleichen. Das von der Einrichtung 586 zum
Zeitcodeglätten
erzeugte Zeitcodesignal 592 ist vorzugsweise ein standardisierter
Zeitcode mit dem das Filmereignissystem synchronisiert bzw. gesteuert
wird. Das Zeitcodesignal 592 kann jedoch auch dafür genutzt
werden, um über
eine sehr langsam regelnde Phasenregelschleife (PLL = Phase Locked
Loop) einen entsprechenden Sample-takt oder einen Abtasttakt zu erzeugen,
falls das eingeschlossene Tonwiedergabesystem digitaler Art ist.
Solche Phasenregelschleifen sind als fertige Geräte erhältlich und nicht Gegenstand
dieses Patents.The device 586 for time code smoothing is formed to the time code signal 584Z to smooth out, for example, to avoid a strong jumping time code or if time codes from the correlation are missing, to find meaningful intermediate values, for example to compensate for pauses in the analog tone. That of the institution 586 time code slur generated time code signal 592 is preferably a standard time code with which the movie event system is synchronized. The time code signal 592 however, it can also be used to generate a corresponding sample clock or sample clock via a very slowly regulating Phase Locked Loop (PLL) if the included audio reproduction system is digital. Such phase locked loops are available as finished devices and are not the subject of this patent.
Optional
können
mehr als ein Filmabtaster mit zeitlich unterschiedlichem Offset
von der Projektionslinse zur Verbesserung der Robustheit bei Schäden am Film
bzw. bei zur Synchronisation schlecht geeigneter Abschnitte verwendet
werden.optional
can
more than a film scanner with a time-varying offset
from the projection lens to improve the robustness of film damage
or used in the synchronization of poorly suited sections
become.
Ein
zweiter Filmtonabtaster 542' kann
dann beispielsweise benutzt werden, da der zweite Filmtonabtaster 542' schon in herkömmlichen
Kinosystemen vorhanden ist. Pausen in dem Analogton können hier
durch die an unterschiedlichen Stellen am Kinofilm angebrachten
Filmtonabtaster 542, 542' überbrückt werden, da die Wahrscheinlichkeit
bei kurzen Pausen im Filmton steigt, das wenigstens ein Abtaster,
der erste Filmtonabtaster 542 oder der zweite Filmtonabtaster 542', genug Signal
für eine Korrelation
und die damit verbundene Synchronisation liefert.A second film sound scanner 542 ' can then be used, for example, since the second film tone scanner 542 ' already exists in conventional cinema systems. Breaks in the analog sound can here by the attached at different points on the movie film scanner 542 . 542 ' be bridged, since the probability rises with short pauses in the film sound, the at least one scanner, the first film sound scanner 542 or the second film tone scanner 542 ' , provides enough signal for a correlation and the associated synchronization.
Des
Weiteren können
wahlweise verschiedene Abtaster, z.B. für Analog-Ton, Dolby-Digital-Ton (incl.
Decoder), DTS-Digitalton
(incl. DTS-Decoder) oder ein anderer Ton sowie einer Kombination
aus den oben genannten als Referenztonspur und/oder Testtonspur
verwendet werden.Of
Further can
optionally different scanners, e.g. for analog sound, Dolby Digital sound (incl.
Decoder), DTS digital sound
(including DTS decoder) or another sound and a combination
from the above as a reference soundtrack and / or test soundtrack
be used.
Dabei
können
einzelne Spuren für
den Vergleich unter Verwendung von Mittelung, Mehrheitsentscheidung
oder Priorisierung, automatisch oder über Metadaten, der daraus erzeugten
Zeitinformationen verwendet werden, sowie ein Down-Mix auf Mono.there
can
single tracks for
the comparison using averaging, majority decision
or prioritization, automatically or through metadata, of the generated data
Time information can be used, as well as a down mix on mono.
Allgemein
gesprochen, können
verschiedene Abtaster für
verschiedene Tonformate und/oder verschiedenen Filmabtastern mit
zeitlich unterschiedlichen Offsets verwendet werden.Generally
spoken, can
different samplers for
different sound formats and / or different film scanners with
different time offsets are used.
Die
Verwendung eines Downmixes auf Mono hat den Vorteil, dass dann,
wenn die Monospur als gespeicherte Tonspur verwendet wird, weniger
gespeichert werden muss, als wenn man beispielsweise fünf Kanäle speichert.The use of a downmix on mono has the advantage that when the monaural track is used as a stored audio track, it has to be stored less than, for example, storing five channels.
Die
Abspeicherung verschiedener, das heißt mehr als einer Tonspur,
das heißt
also kein Downmix, bedeutet, dass sämtliche Kanäle unabhängig voneinander abgespeichert
werden und dass dann beispielsweise, wie zuvor erläutert, entsprechende
Vergleiche bzw. Mehrheitsentscheidungen durchgeführt werden, um dann die Synchronisation
unter Verwendung eines bestimmten Kanals, der tatsächlichen Tonspur
und eines entsprechenden Kanals der gespeicherten Tonspur, durchzuführen.The
Storage of different, ie more than one soundtrack,
this means
So no downmix means that all channels are stored independently
and then that, for example, as previously explained, corresponding
Comparisons or majority decisions are made, then the synchronization
using a particular channel, the actual soundtrack
and a corresponding channel of the stored soundtrack.
Die
Initialisierungsphase bzw. erste Synchronisation und die Resynchronisation
nach einer Tonpause bilden zwei kritische Phasen während einer Filmvorführung bzw.
einer Synchronisation eines Filmereignissystems.The
Initialization phase or first synchronization and resynchronization
After a rest, two critical phases during a film screening or
a synchronization of a movie event system.
Bevorzugte
Ausführungsbeispiele
berechnen daher am Anfang mehr als drei parallele Korrelationen,
da noch keine Aufsynchronisation erfolgt ist, das heißt, mehr
als drei Referenztonsignale verschiedener Abtastraten werden mit
dem Testtonsignal verglichen bzw. korreliert, um schnellstmöglich die
richtige Abtastrate bzw. Abspielgeschwindigkeit des Testtonsignals
zu bestimmen. Hier können
auch der Reihe nach verschiedene Abtastraten durchprobiert werden,
bis eine der Korrelationen den besten Signalrauschabstand besitzt.preferred
embodiments
therefore compute more than three parallel correlations at the beginning,
because no synchronization has taken place, that is, more
as three reference tone signals of different sampling rates are included
the test sound signal compared or correlated to the fastest possible
correct sampling rate or playback speed of the test tone signal
to determine. here we can
also different sampling rates can be tried in sequence,
until one of the correlations has the best signal-to-noise ratio.
Alternativ
oder zusätzlich
liefern der erste Merkmalsextraktor 552 und die Einrichtung 554 zur Merkmalsklassifikation
im Verbund mit der Datenbank einen groben absoluten Zeitcodewert,
der einen grobe Stelle in dem Film definiert, um in einem zweiten
Schritt beispielsweise durch die Korrelation eine feine Bestimmung
der Stelle des Films bzw. eine feine Zeitcodebestimmung durchzuführen. Sobald
die Synchronisation erfolgt ist, kann beispielsweise mit drei Korrelationen
gearbeitet werden, um Veränderungen
der Abspielgeschwindigkeit des Testtonsignals während der Filmvorführung nachzusynchronisieren.Alternatively or additionally, the first feature extractor provides 552 and the device 554 for feature classification in association with the database, a coarse absolute time code value which defines a coarse location in the film to perform a fine determination of the location of the film or a fine time code determination in a second step, for example by the correlation. Once the synchronization has taken place, for example, three correlations can be used to resynchronize changes in the playback speed of the test sound signal during the film screening.
Die
Genauigkeit, mit der eine Stelle in einem Film bzw. einer der Stelle
zugeordnete Zeitpunkt auf einer Zeitskala (Zeitcode) zugeordnet
werden kann, hängt
von der Abtastrate des Referenztonsignals und der Abtastrate des
Testtonsignals ab, je höher
die Abtastrate, desto genauer kann die Stelle in dem Film bestimmt
werden. Eine geringere Abtastrate hat jedoch den Vorteil, dass mit
der gleichen Anzahl von Abtastwerten ein längerer Abschnitt des Referenztonsignals
oder des Testtonsignals dargestellt werden kann. Ein bevorzugtes
Ausführungsbeispiel
ist daher ausgebildet, in einem ersten Schritt eine grobe Bestimmung
einer Stelle in einem Film zu ermitteln, indem ein längerer Abschnitt
des Films durch ein Referenztonsignal mit geringerer Abtastrate
dargestellt wird, und auch ein Testtonsignal durch Abtas tung mit einer
geringeren Abtastrate gewonnen wird. Auf Basis der groben Stelle
im Film wird dann in einem zweiten Schritt ein Referenztonsignal
höherer
Abtastrate und ein Testton-Signal höherer Abtastrate für eine feine
Bestimmung der Stelle in dem Film verwendet.The
Accuracy with which a spot in a movie or one of the site
assigned time assigned on a time scale (time code)
can be, hangs
from the sampling rate of the reference sound signal and the sampling rate of the
Test tone signal, the higher
the sampling rate, the more accurately the location in the movie can be determined
become. However, a lower sampling rate has the advantage that with
the same number of samples, a longer portion of the reference sound signal
or the test tone signal can be displayed. A preferred one
embodiment
is therefore designed, in a first step, a rough determination
to identify a spot in a movie by taking a longer section
of the film by a reference tone signal with a lower sampling rate
is shown, and also a test sound signal by Abtas tion with a
lower sampling rate is obtained. Based on the rough spot
in the film, a reference tone signal is then in a second step
higher
Sample rate and a test tone signal higher sampling rate for a fine
Determination of the location used in the film.
Anders
ausgedrückt,
wird die Fensterlänge beim
Korrelieren angepasst. Zu Beginn des Suchens werden zeitlich lange
Fenster, aber eine reduzierte Abtastrate der Signale verwendet,
wenn ein Zeitpunkt ungefähr
gefunden und nur nachgeführt
werden soll, werden kurze Fenster evtl. sogar mit Überabtastung
der Signale verwendet, um eine höhere zeitliche
Genauigkeit zu erreichen.Different
expressed
will the window length at
Correlate adjusted. At the beginning of the search will be long in time
Window, but uses a reduced sampling rate of the signals
if one time about
found and tracked only
should be, short windows may even with oversampling
the signals used to a higher temporal
To achieve accuracy.
In
der Initialisierungsphase kann beispielsweise eine „kompatible
Wiedergabe" des „alten" Audioformats erfolgen
bis die genaue Position bestimmt ist.In
The initialization phase may, for example, a "compatible
Playback of the "old" audio format
until the exact position is determined.
Genauso
kann eine „kompatible
Wiedergabe" des „alten" Audioformats erfolgen,
wenn die Synchronisation deutlich verloren gegangen ist, bis die genaue
Position wieder bestimmt ist.Just like that
can be a "compatible
Playback of the "old" audio format,
if the synchronization is clearly lost until the exact
Position is determined again.
Die
Einrichtung 570 zur Abtasterwahl und die Einrichtung zum
Offset-Ausgleich 569 sind nur in Ausführungsbeispielen mit mehr als
einem Filmtonabtaster notwendig. So entscheidet beispielsweise die
Einrichtung 570 zur Abtasterwahl, ob sich das Ergebnis
bzw. die Zeitcodedifferenz der ersten Einrichtung 568 zur
Qualitätsbeurteilung
(568Z) oder das Ergebnis bzw. die Zeitcodedifferenz 568Z' der zweiten Einrichtung 568' zur Qualitätsbeurteilung
an den Zeitgeber 582 zur Bestimmung einer Stelle in dem
Film bzw. eines Zeitcodes 582Z weiterleitet. Da der zweite Filmtonabtaster 542' das Testtonsignal
an einer anderen Stelle des Films abtastet, wird die Differenz (Offset)
zwischen der Stelle, an der der erste Filmtonabtaster 542 den
Film abtastet zu der Stelle an der der zweite Filmtonabtaster 542' den Film abtastet durch
die Einrichtung 569 zum Offsetausgleich ausge glichen, so
dass der Zeitgeber 582 die korrekte Zeitcodedifferenz 570Z unabhängig davon
erhält,
ob die Zeitcodedifferenz 568Z oder die Zeitcodedifferenz 568Z' gewählt wird,
die bezüglich
des zuletzt gespeicherten Zeitpunkts bzw. der zuletzt gespeicherten
Stelle des Films, die im Zeitgeber gespeichert ist.The device 570 for picker selection and the device for offset compensation 569 are only necessary in embodiments with more than one Tontonabtaster. For example, the device will decide 570 for Abtasterwahl, whether the result or the time code difference of the first device 568 for quality assessment ( 568Z ) or the result or the time code difference 568Z ' the second device 568 ' for quality assessment to the timer 582 for determining a location in the movie or a time code 582Z forwards. Because the second film sound scanner 542 ' sampling the test tone signal at a different location on the film, the difference (offset) between the location where the first film tone sampler 542 scans the film to the location where the second film sound scanner 542 ' scans the film through the device 569 compensated for offset compensation, so that the timer 582 the correct time code difference 570Z regardless of whether the time code difference 568Z or the time code difference 568Z ' is selected with respect to the last stored time or the last stored position of the movie that is stored in the timer.
Abweichend
von dem in 5a dargestellten Ausführungsbeispiel
können
die verschiedenen Referenztonsignale verschiedener Referenzabtastraten
auch nacheinander erzeugt und mit dem Testtonsignal verglichen bzw.
korreliert werden, um das Maß für die Abspielgeschwindigkeit
des Testtonsignals bzw. die optimale Referenzabtastrate zu bestimmen.
Alternativ können
auch mehr als drei modifizierte Referenztonsignale mit dem Testtonsignal
verglichen werden, parallel oder seriell, um nicht nur in der Anfangsphase
eine schnelle Synchronisation zu ermöglichen, sondern auch während einer
Filmvorführung
das Filmereignissystem nach größeren Sprüngen im
Film, z.B. durch Schnitte bzw. im Film fehlende Abschnitte verursacht,
schneller wieder auf die aktuelle Stelle im Film aufzusynchronisieren.Notwithstanding the in 5a In the embodiment shown, the different reference sound signals of different reference sampling rates can also be generated successively and compared with the test sound signal to determine the measure of the playback speed of the test sound signal and the optimum reference sampling rate, respectively men. Alternatively, more than three modified reference sound signals may be compared to the test sound signal, in parallel or serially, to enable fast synchronization not only in the initial phase, but also during movie screening, the film event system for larger cracks in the film, eg by cuts or in film missing sections causes faster sync to the current spot in the movie.
Abweichend
von dem in 5a dargestellten Ausführungsbeispiel
kann eine Synchronisation eines Filmereignissystems auch auf Basis
der auf den Film aufgebrachten Bilder erfolgen, sowohl für eine Auswertung
von Merkmalen bzw. Fingerabdrücken
als auch für
eine Korrelation eines Test-Bildsignals
mit einem oder einer Mehrzahl von Referenz-Bildsignalen.Notwithstanding the in 5a In the exemplary embodiment illustrated, a synchronization of a film event system can also take place on the basis of the images applied to the film, both for an evaluation of features or fingerprints and for a correlation of a test image signal with one or a plurality of reference image signals.
Dabei
kann, wie zuvor dargestellt die Korrelation von Audio- und/oder
Videosignalen zur Bestimmung des zeitlichen Ortes in einem Audio-
und/oder Videostroms eingesetzt werden, und ein synchrones Abspielen
aufgrund dieser zeitlichen Bestimmung gesteuert werden.there
can, as previously shown, the correlation of audio and / or
Video signals for determining the time location in an audio
and / or video streams are used, and a synchronous playback
be controlled due to this timing.
Alternativ
kann auch die Bestimmung einer Audio- und/oder Video-Signatur aus
dem Rohmaterial in Form einer Audio- ID/Video-ID (ID = Identification) zum
groben Bestimmen des Zeitpunkts in einem langen AV-Strom verwendet
werden, um ein Aufsynchronisieren an beliebiger Stelle zu ermöglichen.alternative
may also include the determination of an audio and / or video signature
the raw material in the form of an audio ID / video ID (ID = Identification)
roughly determining the time used in a long AV stream
be used to allow synchronization at any point.
Der
Grundansatz der Erfindung besteht darin, beispielsweise den schon
vorhandenen Analogton noch einmal digital abzuspeichern, um dann
mittels Korrelation und anderer Merkmalsbestimmung mit der Analogtonspur
auf den Kinofilm zu synchronisieren. Das Ausgangssignal bzw. Steuersignal
der Vorrichtung zum Erzeugen eines Steuersignals bzw. des Synchronisiergeräts kann
ein beliebiges Zeitcodeformat sein. Vorzugsweise wird natürlich z.B.
das SMPTE standardisierte LTC Zeitcodeformat eingesetzt. Für jeden
Kinofilm muss bei der Produktion ein Datensatz für die Vorrichtung zum Erzeugen
eines Steuersignals bzw. für
das Synchronisationsgerät
erstellt werden.Of the
Basic approach of the invention is, for example, already
digitally save the existing analogue tone again and then
by correlation and other feature determination with the analog audio track
to sync to the movie. The output signal or control signal
the device for generating a control signal or the Synchronisiergeräts can
be any time code format. Preferably, of course, e.g.
used the SMPTE standardized LTC time code format. For each
Movies film must have a record for the device for production
a control signal or for
the synchronization device
to be created.
Für jeden
Kinofilm wird bei der Produktion ein extra Datenträger für die vorher
beschriebene Einrichtung zum Erzeugen eines Steuersignals bzw. Synchronisationsgerät erstellt.
Der Datenträger
beinhaltet die digitalisierte analoge Tonspur, z.B. im Dolby-Stereo-Format,
wie er auf der Filmrolle zu finden ist, Merkmalsdaten zur Tonspur
und dazu passende Zeitcodes.For each
Movie will be an extra disk for the production before
described device for generating a control signal or synchronization device created.
The disk
includes the digitized analog audio track, e.g. in Dolby stereo format,
as can be found on the film reel, feature data about the soundtrack
and matching timecodes.
Im
Folgenden wird anhand der 5b.1 bis 5b.4 eine beispielhafte Ermittlung einer Zeitcodedifferenz
beschrieben.The following is based on the 5b.1 to 5b.4 an exemplary determination of a time code difference described.
5b.1 zeigt einen beispielhaften Film 110 mit
einer Tonspur 114, wie schon in 8 beschrieben. 5b.1 shows an exemplary movie 110 with a soundtrack 114 as already in 8th described.
Basierend
auf dem Zeitcodesignal 582Z des Zeitgebers 582 wird
aus der Einrichtung 522 zum Speichern einer Tonspur ein
Referenztonsignal 274 ausgelesen und mittels der Vorrichtung
zur Abtastratenkonvertierung 232 ein modifiziertes Referenzton-Signal
gemäß 5b.2 erzeugt, das einen Filmabschnitt von der
Stelle L0 bis zu der Stelle L3 bzw. dem
der Stelle L0 zugeordnete Zeitpunkt T0 oder einem entspre chenden Zeitcode und
dem der Stelle L3 zugeordneten Zeitpunkt
T3 bzw. Zeitcode darstellt.Based on the time code signal 582Z of the timer 582 gets out of the facility 522 for storing a soundtrack, a reference sound signal 274 read out and by means of the device for sample rate conversion 232 a modified reference tone signal according to 5B.2 is generated, which represents a film section from the point L 0 to the point L 3 and the point L 0 associated time T 0 or a corre sponding time code and the point L 3 associated time T 3 and time code.
5b.3 zeigt ein beispielhaftes Testtonsignal bzw.
Abschnitt eines Testtonsignals, der durch den Anfangszeitpunkt T1 und den Endzeitpunkt T2 definiert
ist und auf der Basis der Abtastrate f = 1/Δt erzeugt worden ist. 5b.3 shows an exemplary test sound signal or section of a test sound signal, which is defined by the start time T 1 and the end time T 2 and has been generated on the basis of the sampling rate f = 1 / Δt.
5b.4 zeigt das Ergebnis der Korrelation des modifizierten
Referenztonsignals gemäß 5b.2 und des Abschnitts des Testtonsignals 5b.3. Die Zeitdifferenz ΔT'' =
T1 – T0 zwischen dem Anfangszeitpunkt T0 des Suchfensters bzw. modifizierten Referenztonsignals
aus 5b.2 und dem Zeitpunkt T1 des Suchfensters bzw. Referenztonsignals
ist die Zeitverschiebung, auf der basierend Zeitcodedifferenz bzw.
der relative Zeitcode gebildet wird. Dabei ist der Zeitpunkt T1 der Zeitpunkt oder die zeitliche Verschiebung
des Testtonsignals, bei dem ein Abschnitt des des n = 11 Abtastwerte
langen Referenztonsignals maximal mit dem Testtonsignal übereinstimmt,
bzw. eine Korrelation des Referenztonsignals und des N = 11 Abtastwerte
langen Testtonsignals als Korrelationsergebnis ein Maximum aufweist. 5b.4 shows the result of the correlation of the modified reference sound signal according to 5B.2 and the portion of the test tone signal 5b.3 , The time difference ΔT "= T 1 -T 0 between the start time T 0 of the search window or modified reference sound signal 5B.2 and the time T 1 of the search window or reference sound signal is the time shift on the basis of time code difference or the relative time code is formed. In this case, the time T 1 is the time or the time shift of the test sound signal, in which a portion of the n = 11 samples long reference sound signal coincides with the maximum test tone signal, or a correlation of the reference sound signal and the N = 11 samples long test sound signal as a correlation result Maximum.
Dabei
ist für
die Qualitätsbeurteilung 568 die Kenntnis
des absoluten Zeitpunktes T0 oder des Zeitpunktes
T1 nicht notwendig, da beispielsweise der Zeitgeber 582 den
letzten absoluten Zeitpunkt bzw. absoluten Zeitcode kennt und nur
die Zeitcodedifferenz 570Z benötigt, um den aktualisierten
absoluten Zeitpunkt bzw. Zeitcode zu bestimmen. Die Differenz kann
beispielsweise aus der Position des Peaks gegenüber dem Zeitpunkt des Suchfensteranfangs
dargestellt werden. In 5b.4 ist
der Peak beispielsweise der vierte Abtastwert, d.h das Testonsignal
aus 5b.3 ist um „3·Δt" gegenüber dem Referenztonsignal aus 5b.2 verschoben, wobei Δt die der modifizierten Abtastrate
entsprechende Abtastperiode ist.It is for the quality assessment 568 the knowledge of the absolute time T 0 or the time T 1 not necessary because, for example, the timer 582 knows the last absolute time or absolute time code and only the time code difference 570Z needed to determine the updated absolute time or time code. The difference can be represented, for example, from the position of the peak with respect to the time of the beginning of the search window. In 5b.4 For example, the peak is the fourth sample, ie, the test tone signal 5b.3 is off by "3 · Δt" from the reference sound signal 5B.2 where Δt is the sampling period corresponding to the modified sampling rate.
Damit
kann die Zeitcodedifferenz 570Z beispielsweise aus dem
Wert n = 3 bestehen. Hier kommt der Vorteil der an die variable
Abspielgeschwindigkeit des Testtonsignals angepaßte Abtastrate bzw. Abspielgeschwindigkeit
des Referenztonsignals vorteilhaft zum tragen, da auch das Δt an die Abspielgeschwindigkeit
angepasst ist, eine genauere Bestimmung der Stelle in dem Film bzw.
Verschiebung gegenüber
dem Suchfenster möglich
ist als bei einer festen Abtastrate des Referenztonsignals, da dann
nur Vielfache dieser Abtastrate für eine Bestimmung der Stelle
in dem Film erzeugt werden.This can be the time code difference 570Z for example, consist of the value n = 3. Here comes the advantage of the matched to the variable playback speed of the test sound signal sampling rate or playback speed of the reference tone signals advantageous to wear, since the Δt is adapted to the playback speed, a more accurate determination of the location in the film or displacement relative to the search window is possible as a fixed sampling rate of the reference sound signal, because then only multiples of this sampling rate for a determination of the location be generated in the movie.
Dabei
kann beispielsweise der Zeitpunkt T0 des
Suchfensters bzw. Referenztonsignals gleich dem T1 der
vorhergehenden Korrelation sein, da der Film nur vorwärts gespielt
wird.In this case, for example, the time T 0 of the search window or reference sound signal can be equal to the T 1 of the previous correlation, since the film is played only forward.
6a zeigt
ein Ausführungsbeispiel
eines Filmsystems, bei dem eine Vorrichtung 100 zum Erzeugen
eines Steuersignals 190 mit einem Filmereignissystem 600 gekoppelt
ist, dabei erzeugt die Vorrichtung 100 zum Erzeugen eines
Steuersignals auf der Basis des Films 110, wie in 8 gezeigt,
das Steuersignal 190, beispielsweise einen Zeitcode, mit dem
Filmereignissystem 600 synchronisiert wird. 6a shows an embodiment of a film system in which a device 100 for generating a control signal 190 with a movie event system 600 is coupled, thereby generating the device 100 for generating a control signal based on the movie 110 , as in 8th shown the control signal 190 such as a time code, with the movie event system 600 is synchronized.
6b zeigt
ein Filmsystem, das eine Vorrichtung 100 zum Erzeugen eines
Steuersignals 100 aufweist und ein Wellenfeldsynthese-System 610 als beispielhaftes
Filmereignissystem, wobei das Ausführungsbeispiel des Wellenfeldsynthesesystems 610 eine
Einrichtung 620 zur Steuerung des Wellenfeldsynthesesystems,
einen digitalen Speicher 622 für die Wellenfeldsynthese-Audiosignale
und eine Mehrzahl von Lautsprechern 624 für das Wellenfeldsynthese-System
aufweist. Basierend auf dem Film 110 bzw. einer beispielsweise
analogen Filmtonspur 114 erzeugt die Vorrichtung 100 zum
Erzeugen eines Steuersignals das Steuersignal 190, um zu
einem ursprünglich
analogvertonten Film lippensynchron ein Wellenfeldsynthese-Audioerlebnis
zu ermöglichen. 6b shows a film system, which is a device 100 for generating a control signal 100 and a wave field synthesis system 610 as an exemplary film event system, wherein the embodiment of the wave field synthesis system 610 An institution 620 for controlling the wave field synthesis system, a digital memory 622 for the wave field synthesis audio signals and a plurality of speakers 624 for the wave field synthesis system. Based on the movie 110 or an example analog movie soundtrack 114 generates the device 100 for generating a control signal, the control signal 190 to lip-sync a wave-analog audio experience to an originally analog-offset movie.
Alternativ
zu dem Wellenfeldsynthese-System 610 können natürlich auch andere Audiosysteme,
beispielsweise digitale Audiosysteme bzw. digitale Sourround-Audiosysteme
mittels der Vorrichtung 100 zum Erzeugen eines Steuersignals
lippensynchron synchronisiert werden.Alternative to the wave field synthesis system 610 Of course, other audio systems, such as digital audio systems or digital surround audio systems by means of the device 100 to synchronize lip sync to generate a control signal.
7 zeigt
einen beispielhaften Film, wie in 8 dargestellt,
ein beispielhaftes digital gespeichertes Referenztonsignal 720 und
eine Zuordnung einer Zeitskala. 7 shows an exemplary movie, as in 8th shown, an exemplary digitally stored reference sound signal 720 and an assignment of a timescale.
Bei
dem Erzeugen der gespeicherten Filminformation bzw. des Referenztonsignals,
wird beispielsweise das analoge Tonsignal bei einer gegebenen Abspielgeschwindigkeit
und einer gegebenen Abtastrate, beispielsweise 44,1 kHz, abgetastet
und Tonabschnitte von beispielsweise 10 ms als ein sog. Audio-Frame
abgespeichert, das heißt,
das digitale Referenztonsignal liegt als Folge von Audio-Frames auf
dem Speicher vor. Der zugeordnete Zeitpunkt einer Zeitskala kann
dann beispielsweise darin bestehen, als Zeitcode bzw. Zeitskala
die Audio-Frames von 0 oder 1 aufsteigend durch zu nummerieren,
Timecode TC1 entspricht Audio-Frame AF1 in 7, oder
beispielsweise den Anfangszeitpunkt oder Endzeitpunkt eines Audio-Frames
als Zeitcode zu finden, so z.B. für den ersten Audio-Frame entweder
0 ms oder 10 ms, wenn ein Audio-Frame eine Dauer von 10 ms hat.For example, in generating the stored movie information or reference tone signal, the analog audio signal is sampled at a given playback speed and rate, for example, 44.1 kHz, and audio portions of, for example, 10 ms are stored as a so-called audio frame, that is, the digital reference sound signal is present on the memory as a result of audio frames. The assigned time of a time scale can then consist, for example, of numbering the audio frames from 0 or 1 in ascending order as the time code or time scale. Time code TC1 corresponds to audio frame AF1 in FIG 7 or, for example, to find the start time or end time of an audio frame as the time code, eg, for the first audio frame, either 0 ms or 10 ms if an audio frame has a duration of 10 ms.
Timecodes
weisen üblicherweise
Formate wie Stunde:Minute:Sekunde:Frame auf, wobei sich der Frame üblicherweie
auf Video-Frames mit z.B. 24 Frames pro Sekunde (Kinofilm) bezieht.
Eine Zeitskala oder Timecode kann daher beispielsweise mehrere Audio-Frames
einem Video-Frame zuordnen oder als kleinste Zeitskalaeinheit einen
Audio-Frame definieren. Entsprechend kann der Zeitcode bzw. die
Zeitskala dann beispielsweise 4 Audio-Frames einem Zeitcode zuordnen,
siehe TC1' in 7,
der vier Audio-Frames AF1-AF4 umfasst, oder einen einzelnen Audi-Frame
einem Zeitcode zuordnen, siehe TC1 in 7, dem ein
Audio-Frame AF1 zugeordnet ist. Dabei können je nach Audioformat, die
Audio- Frames auch
sich zeitlich überlappenden
Abschnitte des Audiosignals repräsentieren.Timecodes usually have formats such as hour: minute: second: frame, whereby the frame usually refers to video frames with eg 24 frames per second (motion picture film). A time scale or time code can therefore, for example, assign a plurality of audio frames to a video frame or define an audio frame as the smallest time scale unit. Accordingly, the time code or the time scale then, for example, 4 audio frames assign a time code, see TC1 'in 7 comprising four audio frames AF1-AF4 or assigning a single Audi frame to a time code, see TC1 in FIG 7 to which an audio frame AF1 is assigned. Depending on the audio format, the audio frames may also represent time-overlapping sections of the audio signal.
Das
Steuersignal 190 kann beispielsweise als Zeitcode ausgebildet
sein, aber auch als Folge von Pulsen, wobei beispielsweise jeder
Puls einer Zeitskaleneinheit entspricht und ähnlich einem relativem Zeitcode
das Filmereignissystem die Pulse aufakkumuliert, um sich mit dem
Film zu synchronisieren.The control signal 190 may for example be formed as a time code, but also as a sequence of pulses, wherein, for example, each pulse corresponds to a time scale unit and similar to a relative time code, the film event system accumulates the pulses to synchronize with the film.
Ein
weiteres Ausführungsbeispiel,
um weiterhin ein beispielsweise analoges Tonsignal als Fallback
zur Verfügung
zu haben, aber gleichzeitig auch einen Timecode für synchrone
Zusatzdienste zu realisieren, bietet der Ansatz ein Watermark in
das Audio- und/oder Videosignal einzubetten. Vorteil dieser Lösung ist,
dass auch bei „schwierigen" Audiosignalen, z.B.
sehr leisen Passagen oder selbst ähnlichen „monotonen" Geräuschen,
eine saubere Taktgewinnung möglich
ist. Für
diese Variante ist im Prinzip der komplette Satz der einschlägigen Watermark-Patentansprüche, insbesondere
im Bereich der Suche nach der korrekten Taktrate bzw. der Nachregelung der
Abtastrate, sinnvoll. Der entscheidende Nachteil dieses Ansatzes
ist jedoch, dass der eigentliche Film verändert bzw. eine neue Version
oder Kopie des Films erstellt werden muss, um die Watermarks in das
Audio- und/oder Video-Signal einbetten zu können.One
further embodiment,
to continue, for example, an analog audio signal as a fallback
to disposal
but at the same time synonymous with a timecode
To realize additional services, the approach offers a watermark in
to embed the audio and / or video signal. Advantage of this solution is
that even with "difficult" audio signals, e.g.
very quiet passages or even similar "monotonous" sounds,
a clean clock recovery possible
is. For
this variant is in principle the complete set of the relevant Watermark claims, in particular
in the area of the search for the correct clock rate or the readjustment of the
Sampling rate, useful. The decisive disadvantage of this approach
However, that is the actual movie changed or a new version
or copy of the film needs to be created in order to get the Watermarks into the movie
Embed audio and / or video signal.
Abhängig von
den Gegebenheiten kann das erfindungsgemäße Verfahren in Hardware oder
in Software implementiert werden. Die Implementierung kann auf einem
digitalen Speichermedium, insbesondere einer Diskette oder CD mit
elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem
programmierbaren Computersystem zusammenwirken können, dass das Verfahren ausgeführt wird.
Allgemein besteht die Erfindung somit auch in einem Computer-Programm-Produkt
mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode
zur Durchführung
des erfindungsgemäßen Verfahrens,
wenn das Computer-Programm-Produkt auf einem Rechner abläuft. In
anderen Worten ausgedrückt,
kann die Erfindung somit als ein Computer-Programm mit einem Programmcode
zur Durchführung
des Verfahrens realisiert werden, wenn das Computer-Programm auf
einem Computer abläuft.Depending on the circumstances, the method according to the invention can be implemented in hardware or in software. The implementation can be done on a digital storage medium, in particular a floppy disk or CD with electronically readable control signals, which with ei can interact with a programmable computer system that the process is performed. In general, the invention thus also consists in a computer program product with a program code stored on a machine-readable carrier for carrying out the method according to the invention, when the computer program product runs on a computer. In other words, the invention can thus be realized as a computer program with a program code for carrying out the method when the computer program runs on a computer.