-
BEREICH DER ERFINDUNG
-
Die
vorliegende Erfindung bezieht sich auf ein Verfahren und eine Anordnung
zum Einbetten eines Wasserzeichens in Bewegungsbildsignale, wie
in Filme, die in Kinos projiziert werden. Die vorliegende Erfindung
bezieht sich auch auf ein Verfahren und eine Anordnung zum Detektieren
eines in derartige Bewegungsbildsignale eingebetteten Wasserzeichens.
-
HINTERGRUND DER ERFINDUNG
-
Wasserzeicheneinbettung
ist ein wichtiger Aspekt der Kopierschutzstrategie. Obschon die
meisten Kopierschutzschemen sich mit dem Schutz elektronisch verteilter
Inhalte (Sendungen, Speichermedien) befassen, ist Kopierschutz auch
für Filme
erwünscht,
die in Theatern gezeigt werden. Heutzutage ist das illegale Kopieren
von Kinomaterial mit Hilfe einer Hand-Videokamera bereits eine verbreitete
Gewohnheit. Obschon die Qualität
meistens gering ist, kann der wirtschaftliche Einfluss der illegalen
VHS-Bänder,
CD-Videos und DVDs
riesig sein. Aus diesem Grund müssen
die Kinoinhaber das Vorhandensein von Videokameras bei den Besuchern
vermeiden. Wenn diese Regel nicht befolgt wird, können sie
für Verfügbarkeit
von "Content" in Zukunft gesperrt
werden. In dieser Hinsicht denkt man darüber, während der Vorstellung ein Wasserzeichen
in die Bilder einzufügen.
Das Wasserzeichen ist dafür,
das Kino, die Vorstellungszeit, den Operator usw. zu identifizieren.
-
Robustheit
für geometrische
Distorsion ist eine Hauptanforderung für ein derartiges Wasserzeicheneinbettungsschema.
Eine Handkamera wird nicht nur das Video durch Filterung wesentlich
degradieren, (die optische Strecke von dem Schirm zu der Kamera, Übertragung
auf das Band usw.), sondern auch das Video geometrisch wesentlich
verzerren (Verschiebung, Skalierung, Drehung, Scherung, Änderungen
in der Perspektive usw.). Außerdem
können
diese geometrischen Verzerrungen von Frame zu Frame sich ändern.
-
Ein
bekanntes Verfahren zum Einbetten eines Wasserzeichens in Kinofilme,
das die robusten Anforderungen erfüllt, ist von Jaap Haitsma und
Ton Kalker beschrieben worden, und zwar in: "A Watermarking Scheme for Digital Cinema", "Proceedings ICIP", Heft 2, 2001, Seiten
487-489. Die Robustheit für
geometrische Verzerrungen wird dadurch erreicht, dass nur die zeitliche
Achse benutzt wird um das Wasserzeichen einzubetten. Das Wasserzeichen
ist eine periodische pseudobeliebige Sequenz von Wasserzeichenabtastwerten
mit zwei unterschiedlichen Werten, beispielsweise "1" und "–1 ". In jedes Bild wird
nur ein einziges Wasserzeichen eingebettet. Der Wert "1" wird durch Steigerung einer allgemeinen
Eigenschaft (beispielsweise die mittlere Leuchtdichte) des Bildes
in ein Bild eingebettet, der Wert "–1" wird durch Verringerung
der genannten allgemeinen Eigenschaft eingebettet.
-
Das
bekannte Wasserzeicheneinbettungsverfahren bettet im Wesentlichen
Flimmereffekte ein. Durch Einbettung desselben Wasserzeichenabtastwertes
in eine Anzahl aufeinander folgender Bilder wird der Flimmereffekt
kaum zu erkennen sein (das menschliche Auge ist weniger empfindlich
für Flimmereffekte
einer niedrigen Frequenz).
-
Flimmereffekte
in dem aufgezeichneten Film wird auch durch Folgendes verursacht:
a) die typische Felhlanpassung zwischen der Bildfrequenz des Kinopeojektors
(24 Bilder/Sekunde) und der Bildfrequenz des Camcorders (25 Bilder/Sekunde
für PAL,
29,97 Bilder/Sekunde für
NTSC), und b) die Differenz zwischen den zwei Wiedergabeabtastformaten
(progressiv gegenüber
Zeilensprung). Diese Art von Flimmereffekten ist so störend, dass
Entflimmeranordnungen entwickelt worden sind, die für das Publikum
verfügbar
sind. So wird beispielsweise im Internet ein Entflimmereinschub
für die
Videoaufnahme- und Videoverarbeitungsapplikation "Virtualdub" angeboten.
-
Ein
Problem des bekannten Wasserzeicheneinbettungsschemas ist dass die
Entflimmeranordnungen auch das eingebettete Wasserzeichen entfernen.
-
AUFGABE UND ZUSAMMENFASSUNG
DER ERFINDUNGG
-
Es
ist nun u. a. eine Aufgabe der vorliegenden Erfindung das bekannte
Wasserzeicheneinbettungs- und Detektionsverfahren weiter zu verbessern.
Es ist eine spezielle Aufgabe der vorliegenden Erfindung ein Wasserzeicheneinbettungs-
und Detektionsschema zu schaffen, das kräftig ist gegen Entflimmervorgänge.
-
Dazu
umfasst das Verfahren zum Einbetten eines Wasserzeichens in einem
Bewegungsbildsignal nach der vorliegenden Erfindung das Aufteilen
jedes Bildes in we nigstens ein erstes und ein zweites Bildgebiet. Ein
Wert eines Wasserzeichenabtastwertes wird in ein Bild eingebettet,
indem die allgemeine Eigenschaft (beispielsweise die mittlere Leuchtdichte)
des ersten Gebietes gesteigert und die allgemeine Eigenschaft des zweiten
Gebietes verringert wird. Der andere Wert des Wasserzeichenantastwertes
wird auf die entgegengesetzt Art und Weise eingebettet, d.h. durch
Verringerung der allgemeinen Eigenschaft des ersten Bildgebietes und
durch Steigerung der allgemeinen Eigenschaft des zweiten Bildgebietes.
-
Der
vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass die Entflimmeranordnungen
die Flimmereffekte entfernen, indem die mittlere Leuchtdichte aufeinander
folgender Bilder derart eingestellt wird, dass sie einen Tiefpasscharakter
hat. Die mittlere Leuchtdichte wird in der Praxis durch Multiplikation
eines Bildes mit demselben Faktor eingestellt. Weil dieser Vorgang
die Modifikationen (oder das Vorzeichen derselben), die auf die
betreffenden Bildgebiete angewandt werden, nicht beeinträchtigt,
wird die Wasserzeicheninformation beibehalten. In dieser Hinsicht
ist die allgemeine Eigenschaft eines Bildgebietes, das modifiziert
wird um das Wasserzeichen einzubetten, die mittlere Leuchtdichte
des genannten Bildgebietes.
-
In
einer bevorzugten Ausführungsform
des Verfahrens sind das erste und das zweite Bildgebiet sie obere
bzw. die untere Hälfte
eines Bildes. Im Allgemeinen gibt es mehr horizontale als vertikale
Bewegungen in einem Film. Die horizontalen Bewegungen beeinflussen
die mittleren Leuchtdichtewerte in geringerem Ausmaß.
-
KURZE BESCHREIBUNG DER
ZEICHNUNG
-
Ausführungsbeispiele
der vorliegenden Erfindung sind in der Zeichnung dargestellt und
werden im Folgenden näher
beschrieben. Es zeigen:
-
1 eine
schematische Darstellung einer Wasserzeicheneinbettungsanordnung
nach der vorliegenden Erfindung,
-
2 eine
schematische Darstellung eines Wasserzeichendetektors nach der vorliegenden
Erfindung,
-
3 eine
schematische Darstellung einer Korrelationsstufe, die ein Element
des Wasserzeichendetektors nach 2 ist,
-
4 Graphiken der mittleren Leuchtdichtewerte
einer ursprünglichen
Bildsequenz und einer mit einem Wasserzeichen versehenen Bildsequenz.
-
BESCHREIBUNG
VON AUSFÜHRUNGSFORMEN
-
1 ist
eine schematische Darstellung einer Wasserzeicheneinbettungsanordnung
nach der vorliegenden Erfindung. Die Einbettungsanordnung empfängt eine
Sequenz von Bildern oder Frames mit einer Leuchtdichte F(n,k) an einer räumlichen Stelle n des Frames k. Die Einbettungsanordnung
empfängt
weiterhin ein Wasserzeichen in Form einer pseudobeliebigen Sequenz
w(n) mit der Länge
N, wobei w(n) ∊ [–1,
1] ist. Ein geeigneter Wert von N für diese Applikation ist N =
1024. Die Anordnung umfasst eine Teilerstufe 10, die jedes Bild
in ein erstes (beispielsweise die obere Hälfte) Gebiet und ein zweites
(beispielsweise die untere Hälfte) Gebiet
aufteilt. Die Leuchtdichte der genannten Bildgebiete wird durch
F1(n,k)
bzw. F2(n,k)
bezeichnet.
-
In
der einfachsten Ausführungsform
der Wasserzeicheneinbettungsanordnung wird die Sequenz w(n) unmittelbar
den Einbettungsstufen 11 und 12 zugeführt. In
einer derartigen Ausführungsform
fügt die
Einbettungsstufe 11 einen zugeführten Wasserzeichenabtastwert
w(n) jedem Pixel des ersten Bildgebietes zu, während die Einbettungsstufe 12 denselben
Wasserzeichenabtastwert von jedem Pixel des zweiten Bildgebietes subtrahiert.
Die mittleren Leuchtdichtewerte des ersten und des zweiten Bildgebietes
werden auf diese Weise von dem Wasserzeichen entgegengesetzt moduliert.
-
Andere
Beispiele allgemeiner Bildeigenschaften, die mit dem Wasserzeichen
moduliert werden können,
sind Bildhistogramme (eine Liste relativer Frequenzen von Leuchtdichtewerten
in dem Bild), oder davon hergeleitete Merkmale, wie Momente hoher
Ordnung (Mittelwert von Leuchtdichtewerten zu der Potenz k). Die mittlere
Leuchtdichte ist ein spezifisches Beispiel des letzteren (k – 1).
-
Da
das menschliche Sehsystem HVS ("Human
Visual System")
empfindlich ist für
Flimmereffekte in dem unteren räumlichen
Frequenzbereich kann diese einfache Ausführungsform an Artefakten in
insbesondere nicht bewegenden flachen Gebieten leiden. Diese Artefakte
werden durch Verringerung der Flimmerfrequenz des Wasserzeichens
wesentlich reduziert. Dies geschieht durch eine Wiederholungsstufe 13,
die jeden Wasserzeichenabtastwert während einer vorbestimmten Anzahl
K aufeinander folgender Bilder wie derholt. Derselbe Wasserzeichenabtastwert
wird auf diese Weise in K aufeinander folgende Frames eingebettet.
Das Wasserzeichen wiederholt sich selbst alle N = 1024 Frames. Der
Wasserzeichenabtastwert w(n), der in Frame k eingebettet wird, kann
mathematisch durch w(⌊k/K⌋mod N) bezeichnet werden.
Der Einfachheit halber wird dieser Ausdruck nachstehend zu w(k)
abgekürzt.
-
Die
bevorzugte Ausführungsform
der Einbettungsanordnung, die in 1 dargestellt
ist, passt weiterhin die Einbettungstiefe in Abhängigkeit von dem Bildinhalt
an. Dazu umfasst die Einbettungsanordnung Multiplizierer 14 und 15,
die den Wasserzeichenabtastwert w(k) mit einem örtlichen Skalierungsfaktor
CF,1(n,k) bzw.
CF,2(n,k)
multiplizieren. Die örtlichen
Skalierungsfaktoren werden mit Hilfe der Analysatoren 16 bzw. 17 von
dem Bildinhalt hergeleitet. Sie sind beispielsweise groß in Teilen
mit einer Bewegungsstruktur und klein in flachen Teilen ohne Bewegung.
Die Ausgangssignale der Einbettungsstufen 11 und 12 können wie
folgt formuliert werden: Fw,1(n,k) = F1(n,k )+ CF,1(n,k)w(k) Fw,2(n,k)
= F2(n,k) – CF,2 (n,k)w(k)
-
Es
dürfte
einleuchten, dass die beiden Einbettungsvorgänge auf eine zeitsequentielle
Weise durch eine einzige Verarbeitungsschaltung unter geeigneter
Softwaresteuerung durchgeführt
werden können.
-
Die
zwei Bildgebiete werden nacheinander von einer Kombinierstufe 18 zu
einem einzigen mit einem Wasserzeichen versehenen Bild Fw(n,k)
kombiniert.
-
2 ist
eine schematische Darstellung eines Wasserzeichendetektors nach
der vorliegenden Erfindung. Obschon das ursprüngliche Signal während der
Detektion verfügbar
ist, benutzt der Detektor keine Kenntnisse über das ursprüngliche
Signal. Die Anordnung empfängt
eine mit einem Wasserzeichen versehene Sequenz von Bildern oder
Frames mit einer Leuchtdichte F
w(
n,k) an der räumlichen Stelle
n des Frames k. Der Detektor umfasst eine
Teilerstufe
20, die jedes Bild in ein erstes (beispielsweise
obere Hälfte)
Gebiet und ein zweites (beispielsweise untere Hälfte) Gebiet aufteilt, und
zwar auf dieselbe Art und Weise wie die Teilerstufe
10 (
1)
der Einbettungsanordnung. Die Leuchtdichte jedes Bildgebietes wird
durch F
w,1(
n,k)
bzw. F
w,2(
n,k) bezeichnet.
Für jedes
Bildgebiet umfasst der Detektor weiterhin eine mittlere Leuchtdichteberechnungsschaltung
21,
22,
welche die mittleren Leuchtdichtewerte F
w,1(
n,k) und F
w,2(
n,k) (oder andere allgemeine
Eigen schaften, falls anwendbar) der betreffenden Bildgebieten berechnet,
und zwar entsprechend der nachfolgenden Gleichung:
-
In
der Praxis zeigen die mittleren Leuchtdichtewerte eines Films eine
Tiefpassart als eine Funktion der Framenummer k (d.h. als eine Funktion
der Zeit). Der Detektor schätzt
die mittleren Leuchtdichtewerte des ursprünglichen (ohne Wasserzeichen)
Films durch Tiefpassfilterung (25, 27) der betreffenden
mittleren Leuchtdichtewerte Fw,1(n,k) und Fw,2(n,k). Schätzungen der mittleren Leuchtdichtemodifikationen,
wie durch die Einbettungsanordnung eingeführt, werden im Wesentlichen
durch Subtrahierung (26, 27) der Tiefpass gefilterten mittleren
Werte von den nicht gefilterten mittleren Leuchtdichtewerten. Der
Detektor schätzt
den eingebetteten Wasserzeichenabtastwert durch Subtrahierung (23)
der beiden Schätzungen,
mit einem nachfolgenden Vorzeichenvorgang (29). Der geschätzte Wasserzeichenabtastwert,
der in das Frame k eingebettet ist, wird durch v(k) bezeichnet.
-
Die
Anordnung erzeugt auf diese Weise eine Sequenz geschätzter Wasserzeichenabtastwerte.
In einer Korrelationsstufe 3 wird die geschätzte Sequenz
von Wasserzeichenabtastwerten mit dem gesuchten Wasserzeichen korreliert.
Der Detektor empfängt
dieses gesuchte Wasserzeichen in Form einer pseudobeliebigen Sequenz
w(n) mit der Länge
N, wobei w(n) ∊ [–1,
1] ist. Der Detektor enthält
eine Wiederholungsstufe 24, die der gleichen Wiederholungsstufe 13 der
Einbettungsstufe entspricht. Die Wiederholungsstufe wiederholt jeden
Wasserzeichenabtastwert während
K aufeinander folgender Bilder. Das Wasserzeichen wiederholt sich
alle N = 1024 Frames. Die Wasserzeichenabtastwerte, die der Korrelationsstufe 3 zugeführt werden,
werden als w(k) bezeichnet. Auch hier ist w(k) eine Abkürzung für den mathematisch
mehr korrekten Ausdruck w(⌊k/K⌋mod N).
-
Es
sei bemerkt, dass die Tiefpassfilter/Subtrahiererkombinationen 25, 26 und 27, 28 sowie
der Vorzeichenvorgang 29 fakultativ sind.
-
3 ist
eine schematische Darstellung der Korrelationsstufe 3.
Die geschätzten
Wasserzeichenabtastwerte aufeinander folgender Bilder werden zu
K Puffern 31, 32, ... verteilt, wobei, wie oben
beschrieben, K die Anzahl aufeinander folgender Bilder ist, in die
der gleiche Wasserzeichenabtastwert eingebettet ist. Jeder Puffer
speichert N ge schätzte
Wasserzeichenabtastwerte (oder N berechnete mittlere Leuchtdichtewerte,
oder N geschätzte
mittlere Leuchtdichtemodifikationswerte). Typische Werte der Wasserzeichenlänge N und
der Frames je Wasserzeichenabtastwert K sind 1024 bzw. 5. Auf entsprechende
Weise enthält
der erste Puffer 31 geschätzte Wasserzeichenabtastwerte
v(1), v(6), v(11), ..., der zweite Puffer 32 enthält v(2),
v(7), v(12), ..., usw. Dies bedeutet, dass die Körnigkeit der Wasserzeichendetektion
etwa 3 Minuten und 25 Sekunden für
PAL Video ist.
-
Das
Wasserzeichen wird dadurch detektiert, dass die Ähnlichkeit des Inhalts jedes
Puffers ermittelt wird, wobei das Bezugswasserzeigen w(n) gesucht
wird. Jedes Wasserzeichen kann beispielsweise ein einziges Theater
identifizieren. Ein durchaus bekanntes Beispiel der Ähnlichkeit
ist Kreuzkorrelation, aber andere Größen sind möglich. Der Inhalt jedes Puffers
wird mit dem Bezugswasserzeichen in den betreffenden Korrelatoren 33, 34,
... kreuzkorreliert. Die Korrelation wird vorzugsweise unter Anwendung
des Verfahrens SPOMF ("Symmetrical
Phase Only Matched Filtering")
durchgeführt.
Für eine
Beschreibung von SPOMF sei auf die internationale Patentanmeldung
Wiedergabeplatte 99/45706 verwiesen. In dem genannten Dokument wird
die Korrelation in der zweidimensionalen räumlichen Domäne durchgeführt. Blöcke mit
N × N
Bildpixeln werden mit einem N × N
Bezugswasserzeichen korreliert. Das Ergebnis des SPOMF Vorgangs
ist ein N × N
Muster von Korrelationswerten, die eine oder mehrere Spitzen aufweisen,
wenn ein Wasserzeichen eingebettet worden ist.
-
Die
K Korrelatoren 33, 34, .. arbeiten in der eindimensionalen
Zeitdomäne.
Der Ausgang jedes Korrelators ist eine Reihe von N Korrelationswerten,
die in einem entsprechenden Puffer von Kommunikationskanal Puffern 35, 36,
... gespeichert sind. Ein Spitzendetektor 37 sucht den
höchsten
Korrelationswert in den K Puffern und führt den genannten Spitzenwert
einer Schwellenschaltung 38 zu. Wenn der Spitzenwert wenigstens eines
der Puffer höher
ist als ein bestimmter Schwellenwert, wird entschieden, dass das
Wasserzeichen vorhanden ist. Sonst wird der Inhalt als nicht mit
einem Wasserzeichen versehen betrachtet.
-
Es
kann eine Nutzlast in dem Signal codiert werden, indem verschobene
Versionen des Wasserzeichens w(n) auf eine Art und Weise, entsprechend
derjenigen, die in der internationalen Patentanmeldung WO-A-99/45705
beschrieben wurde, eingebettet werden. Es sei weiterhin bemerkt,
dass es, obschon parallele Korrelatoren in 3 dargestellt
sind, vorteilhaft sein kann, die betreffenden Vorgänge in einer
zeitsequentiellen Art und Weise durchzuführen.
-
Um
die vorliegende Erfindung in mehr Einzelheiten zu beschrieben, wird
nun eine mathematische Analyse des bekannten Wasserzeichenschemas,
eine Analyse der öffentlich
verfügbaren
Entflimmeranordnung und der Wirkungsweise des Wasserzeichenschemas
nach der vorliegenden Erfindung beschrieben.
-
Das
Wasserzeichen w ist eine periodische pseudobeliebige Sequenz, die
nur "1"- und "–1"-Abtastwerte mit der Periode M enthält. Ein
Wasserzeichenabtastwert w(n) wird in K aufeinander folgende Frames
k, k + 1, ..., k + K – 1
eingebettet. Durch Einbettung eines einzigen Wasserzeichenabtastwertes
in K aufeinander folgende Frames wird die Flimmerfrequenz durch
die Einbettung verringert. Eine "1" wird dadurch in
ein Bild eingebettet, dass der Leuchtdichtewert jedes Pixels um
einen Wert C
F(
n,k)
erhöht
wird. Eine "–1" wird dadurch eingebettet,
dass der Leuchtdichtewert jedes Pixels um CF(n,k) verringert wird.
Darin ist n die räumliche
Koordinate eines Pixels innerhalb des Frames k. Mehr mathematisch
gesehen haben wir nun:
wobei F das einzubettende
Frame ist und wobei F
W das eingebettete
Frame ist. Die Änderung
C
F ist derart gewählt, dass das Wasserzeichen
nicht sichtbar ist und deswegen von F abhängig ist. In [2] werden ein
Strukturdetektor und ein Bewegungsdetektor zur Bestimmung von CF
verwendet. Dadurch werden die mittleren Leuchtdichtewerte des mit
einem Wasserzeichen versehenen Videos fw
wobei N die Anzahl. Pixel
je Frame ist, eine Änderdung
gegenüber
den ursprünglichen
mittleren Leuchtdichtewerten aufweisen
fw(k) = f(k) + cF(k)w(⌊k/T⌋) (1) -
Darin
ist cF die örtliche
Tiefe des Wasserzeichens w, die unmittelbar af CF bezogen ist:
-
-
4 zeigt bei (a) eine Graphik der Leuchtdichtewerte
einer ursprünglichen
Sequenz und bei (b) eine Graphik der mittleren Leuchtdichtewerte
einer eingebetteten Sequenz zum Visualisieren des Wasserzeicheneinbettungskonzeptes.
-
Durch
die Wasserzeicheneinbettung werden die mittleren Leuchtdichtewerte
gegenüber
den ursprünglichen
mittleren Leuchtdichtewerten in der Zeit sinken oder steigen. Siehe
die Gleichung (1). In der Praxis zeigen die mittleren Leuchtdichtewerte
eines Films eine Tiefpassart. Deswegen schätzt der Detektor diese Leuchtdichtewerte
des ursprünglichen,
nicht mit einem Wasserzeichen versehenen Films durch Tiefpassfilterung
der mittleren Leuchtdichtewerte des mit einem Wasserzeichen versehenen
Films fw. Der Detektor schätzt das
Wasserzeichen v durch Subtraktion dieser tiefpassgefilterten Mittel
von den mittleren Leuchtdichtewerte des mit einem Wasserzeichen
versehenen Films fw, wonach eine Vorzeichenbehandlung
folgt. Mehr mathematisch gesagt: v(k) =sign{fw(k) – (fw⊗g)(k)} (2)wobei ⊗ eine
(eindimensionale) Faltung bedeutet und wobei g ein Tiefpassfilter
ist. Da ein Wasserzeichenabtastwert in K aufeinander folgende Frames
eingebettet wird, ergibt dieser Vorgang K Schätzungen w ~1 des
Wasserzeichens w: w ~1(k) = v(1 + kK), 0 ≤ 1 < K (3)
-
Jedes
dieser K geschätzten
Wasserzeichen w ~1 wird mit dem ursprünglichen
Wasserzeichen w korreliert. Wenn der absolute Korrelationswert d1 = |<w, w ~1>|
größer ist
als ein Schwellenwert, wird entschieden, dass die Videosequenz mit
einem Wasserzeichen versehene ist.
-
Ein
Film wird progressiv mit einer Bildfrequenz von 24 Bildern in der
Sekunde projiziert, aber eine Standardvideokamera zeichnet mit einer
Bildfrequenz von 25 Bildern (PAL) bzw. 29,97 Bildern in der Sekunde
im Zeilensprungverfahren auf. Wegen dieses Zeilensprungs wird die
Leuchtdichte während
der Aufzeichnung eines einzigen Bildes nicht die gleiche sein, da
der Verschluss sich gerade schließen oder gerade öffnen kann. Da
die Videokamera und der Projektor nicht synchronisiert sind, lässt sich
dieses Problem für
einen Kameramann nur schwer lösen.
Außerdem
verrät,
da die Bildfrequenzen des Pro jektors und der Videokamera nicht gleich
sind, ein ähnliches
Problem sich selbst; an einigen Zeitpunkten wird ein Bild aufgezeichnet,
wenn der Verschluss halb geöffnet
ist oder sogar völlig
geschlossen ist. Das Ergebnis dieses Fehlanpassung ist ein Flimmereffekt
in dem aufgezeichneten Film.
-
Ein "Entflimmer"-Einschub für Virtualdub
lässt sich
im Internet finden. Dieser Einschub entfernt den Flimmereffekt in
vier Schritten:
In einem ersten Schritt berechnet er die mittleren
Leuchtdichtewerte f ^
w des Films;
Daraufhin
filtert er diese Mittelwerte f ^
w mit einem
Tiefpassfilter h (vorgegeben ist ein einfaches Mittelwertbestimmungsfilter
mit der Länge
12);
Danach berechnet er Faktoren β(k) zwischen den ursprünglichen
Mittelwerten f ^
w(k) und den gefilterten Mittelwerten
für jedes
Bild:
-
In
einem zweiten Schritt wird der Leuchtdichtewert jedes Pixels in
dem Bild k mit dem entsprechenden Faktor β(k) gerundet auf die nächste ganze
Zahl multipliziert, und zugeschnitten, wenn er den maximalen Leuchtdichtewert
255 übersteigt.
-
Es
sei bemerkt, dass β(k)
nicht negativ ist für
alle k, da f ^w(k) ≥ 0 ist und h ein Tiefpassfilter
ist. Wenn wir die Rundung und den Zuschnitt vorerst unbeachtet lassen,
ist das Ergebnis dieser Multiplikationen in dem letzten Schritt,
dass die Mittelwerte des neu konstruierten Videos f ~w,deflic die
Tiefpass gefilterten Mittelwerte von f ^w gleichen: f ^w,deflic = β(k)f ^(k) =
(f ^w⊗ h)(k)
-
Wahrnehmend
bedeutet dies, dass das neu konstruierte Video weniger Flimmereffekte
aufweist, weil Flimmereffekte als eine HF-Komponente in den mittleren
Leuchtdichtewerten der Frames betrachtet werden können, die
nun ausgefiltert sind.
-
Leider
ist das Wasserzeichenschema in Wirklichkeit ein Flimmereffekt, sei
es nicht wahrnehmbar. Als eine direkte Folge entfernt dieser "Entflimmer" Einschub das Wasserzeichen.
Das Wasserzeicheneinbettungsschema muss auf diese Weise derart modifiziert
werden, dass es kräftig
ist gegen Entflimmerung. Dies ist umso mehr wahr, da dieses "Entflimmer"-Werkzeug oft verwendet
wird um Piratenkopien von dem Flimmereffekt zu befreien.
-
Dazu
wird jedes Bild in zwei teile aufgeteilt (beispielsweise links/rechts
oder oben/unten) und der Wasserzeichenabtastwert wird auf entgegengesetzte
Weise in diese Teile eingebettet. Um ein Wasserzeichenabtastwert
einzubetten wird die mittlere Leuchtdichte des einen Teils erhöht und die
mittlere Leuchtdichte des anderen Teils wird verringert. Folglich
bestehen die mittleren Leuchtdichtewere fw des mit einem Wasserzeichen versehenen
Films aus zwei Teilen: fw(k)
= fw,1(k) + fw,2(k)mit
(siehe Gleichung (1)) fw,1(k)=
f1(k) + cF,1(k)w(⌊k/T⌋)
und
fw,2(k) = f2(k) – cF,2(k)w(⌊k/T⌋)
-
Nach
Einfangen mit einer Kamera entfernt das "Entflimmer"-Werkzeug den Flimmereffekt durch Tiefpassfilterung
der mittleren Leuchtdichtewerte f ^w f ^w,deflic(k) = β(k)f ^w(k)⌊f ^w,1(k) + f ^w,2(k)⌋
-
Die
Detektion des Wasserzeichens für
das modifizierte Wasserzeichenschema entspricht dem oben beschriebenen
Detektionsverfahren. Zunächst
schätzt
der Detektor die Leuchtdichtewerte des ursprünglichen Films oh e Wasserzeichen
für die
beiden Teil durch Tiefpassfilterung der mittleren Leuchtdichtewere
der beiden Teile. Danach subtrahiert er das Ergebnis der beiden
Vorgänge
von den Leuchtdichtewerten der entsprechenden Teile. Zum Schluss
macht er eine Schätzung
des Wasserzeichens v ~ durch Subtraktion mit einem nachfolgenden Vorzeichenvorgang
(siehe Gleichung (2)): v ~(k)
= sign{(fw,1,defic(k) – (fw,1,deflic⊗g)(k) – (fw,2,defic(k) – (fw,2,deflic⊗g)(k))} (5)
-
Die
K Schätzungen w ~1 (siehe Gleichung (3)) werden auf gleiche
Weise erhalten und mit dem Wasserzeichen w korreliert.
-
Das
eingebettete Wasserzeichen überlebt
den Entflimmerungsvorgang, weil das Entflimmerwerkzeug alle Pixel
eines Bildes mit demselben Faktor β(k) multipliziert, wobei die
Leuchtdichteunterschiede zwischen den zwei Bildgebieten im Wesentlichen
in takt gelassen werden. Der Effekt der vorliegenden Erfindung kann auch
mehr mathematisch erläutert
werden. Es wird dabei vorausgesetzt, dass der ursprüngliche
Film ohne Wasserzeichen eine Tiefpassart hat. Nach Aufnahme des
Films mit einer Kamera, zeigen die mittleren Leuchtdichtewerte der
mit einem Wasserzeichen versehenen Teile f ^w,1 und f ^w,2 einen Flimmereffekt f ^w,1(k) = γ(k)fw,1(k) und
f ^w,2(k)
= γ(k)fw,2(k)
-
Darin
entspricht γ(k) > 0 der Änderung
in dem mittleren Leuchtdichtewert (dem Flimmereffekt) des Bildes
k. Der "Entflimmer"-Einschub entfernt
den Flimmereffekt durch Tiefpassfilterung der mittleren Leuchtdichtewerte f ^w,deflic(k) = β(k)f ^w(k) = β(k)γ(k)[f(k)
+ {cF,1(k) – cF,2(k)}w(⌊k/T⌋)] ≈ f(k).
-
Aus
diesem Ausdruck folgt, dass
-
Da
in der Praxis {cF,1(k) – cF,2(k)}w(⌊k/T⌋)
im Vergleich zu f(k) relativ klein ist,
können
wir β(k)γ(k) durch 1
annähern.
Durch Verwendung dieser Annäherung
sehen wir, dass f ^w,1,deflic(k)
= β(k)γ(k)fw,1(k) ≈ fw,1(k) = f1(k) +
cF,1(k)w(⌊k/T⌋)
-
Für den anderen
Teil erhalten wir ein ähnliches
Ergebnis f ^w,2,deflic(k) ≈ f2(k) – cF,2(k)w(⌊k/T⌋).
-
Unter
Verwendung dieser Ergebnisse erhalten wird letztendlich den nachfolgenden
Ausdruck für v ~ (siehe
die Gleichung (5))
wobei
vorausgesetzt ist, dass das Tiefpassfilter g das Wasserzeichen völlig ausfiltert.
Es sei bemerkt, dass c
F,1(k) + c
F,2(k) das Vorzeichen des Ausdrucks nicht
beeinflusst, weil es für
alle k nicht negativ ist. Aus diesem Ausdruck ist ersichtlich, dass
das Wasserzeichen tatsächlich
den "Entflimmer"-Vorgang nach der
Modifikation überlebt.
-
Es
sind Verfahren und Anordnungen zum Einbetten und Detektieren eines
Wasserzeichens in einen Kinofilm beschrieben, so dass das Wasserzeichen
in einer mit Hilfe einer Hand-Videokamera hergestellten Kopie detektiert
werden können.
Die Wasserzeicheneinbettungsanordnung verteilt jedes Bildframe in
zwei Gebiete. Ein Wasserzeichenbit "+1" wird
in ein Frame eingebettet durch Steigerung der Leuchtdichte des ersten Teils
und durch Verringerung der Leuchtdichte des zweiten Teils. Ein Wasserzeichenbit "–1" wird eingebettet durch Verringerung
der Leuchtdichte des ersten Teils und durch Steigerung der Leuchtdichte
des zweiten Teils. Durch die vorliegende Erfindung wird erreicht,
dass das eingebettete Wasserzeichen "Entflimmer"-Vorgänge überlebt, die oft angewandt
werden um Flimmereffekte, verursacht durch verschiedene Bildfrequenzen
von Kinoprojektoren gegenüber
Konsumentenkameras, zu entfernen.
-
Text in der
Zeichnung
-
4a
-
- Mittlerer Leuchtdichtewert
-
4b
-
- Mittlerer Leuchtdichtewert
wobei N die Anzahl. Pixel je Frame ist, eine Änderdung gegenüber den ursprünglichen mittleren Leuchtdichtewerten aufweisen
