DE60219789T2

DE60219789T2 - Einbettung und detektion eines wasserzeichens in bewegtbilder

Info

Publication number: DE60219789T2
Application number: DE60219789T
Authority: DE
Inventors: Antonius A.C.M. Kalker; Jaap A. Haitsma
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Civolution Bv Eindhoven Nl
Priority date: 2001-06-21
Filing date: 2002-06-18
Publication date: 2008-06-12
Anticipated expiration: 2022-06-19
Also published as: ES2284878T3; EP1402737A1; KR20030027062A; CN1608376A; DE60219789D1; US20110280436A1; US8452971B2; US20040250079A1; JP2004521570A; EP1402737B1; ATE360960T1; US7996678B2; CN1305312C; WO2003001813A1

Description

BEREICH DER ERFINDUNG
Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine Anordnung zum Einbetten eines Wasserzeichens, das durch eine Sequenz von Wasserzeichenabtastwerten dargestellt wird, in ein Bewegungsbildsignal. Die vorliegende Erfindung bezieht sich auch auf ein Verfahren und eine Anordnung zum Detektieren eines Wasserzeichens in einem Bewegungsbildsignal, wobei ein Bezugswasserzeichen als eine Sequenz von Bezugswasserzeichenabtastwerten vorgesehen ist.
HINTERGRUND DER ERFINDUNG
Ein bekanntes Verfahren zum Einbetten eines Wasserzeichens in ein Bewegungsbildsignal ist in der internationalen Patentanmeldung WO-A-99/45705 beschrieben worden. Bei diesem bekannten Verfahren wird eine zweidimensionale Sequenz von Wasserzeichenabtastwerten völlig, und sogar einige Male, in ein Bild eines Videosignals eingebettet.
Wasserzeicheneinbettung ist ein wichtiger Aspekt von Kopierschutzstrategien. Obschon die meisten Kopierschutzschemen sich mit dem Schutz elektronisch verteilten Inhalts (Sendungen, Speichermedien) befassen, ist Kopierschutz auch erwünscht für Filme, die in Kinos vorgeführt werden. Unberechtigtes Kopieren im Kino mit Hilfe einer Videokamera ist bereits ganz üblich. Die Qualität ist meistens sehr gering, aber der wirtschaftliche Effekt illegaler VHS-Bänder, CD-Videos und DVDs kann riesig sein.
In den künftigen Jahren wird das digitale Kinoformat, 1920×1080×24×36 (Pixel/Zeile×Zeilen/Bilder×Bilder/s×Bits/Pixel) in die Kinos eingeführt. Durch Einführung dieses digitale Format sehr hoher Qualität wird die Kette des illegalen Kopierens mit Hilfe einer Videokamera noch größer sein. Aus diesem Grund sind Kinoinhaber verpflichtet, das Vorhandensein von Videokameras in ihren Räumlichkeiten zu vermeiden. Das nicht Einhalten dieser Regel kann mit einer Sperrung für die künftige Verfügbarkeit von Inhalt ("Content") bestraft werden. In Hinsicht darauf wird angestrebt, während der Vorführung ein Wasserzeichen hinzuzufügen. Das Wasserzeichen dient zum Identifizieren des Kinos, der Vorführungszeit, des Anlagenbedieners usw.
Die meisten Wasserzeichenschemen, einschließlich des Schemas der eingangs erwähnten Art, sind empfindlich für Ausrichtfehler zu der Detektionszeit. Es wurden Lösungen veröffentlicht um entweder das Wasserzeichen in eine Domäne einzuführen, die für eine bestimmte Klasse geometrischer Transformationen invariant ist, oder die Ausrichtung während der Detektion zurückzufinden. Ein Nachteil dieser Verfahren ist, dass sie im Allgemeinen nur eine begrenzte Anzahl geometrischer Transformationen bewältigen können. Weiterhin verringern diese Verfahren meistens die Robustheit gegen andere Angriffe.
Die Anforderungen für da digitale Kinowasserzeichen, ähnlich wie für jedes beliebige andere Wasserzeichenschema, sind: (i) Robustheit, (ii) Unwahrnehmbarkeit und (iii) eine niedrige falsche positive Rate. Das Erreichen einer ausreichenden Robustheit ist die meist herausfordernde Anforderung. Die Hand-Videokamera wird nicht nur das Video wesentlich beeinträchtigen durch Filterung (die optische Strecke von dem Schirm zu der Kamera, Übertragung auf Band usw.) sondern auch das Video geometrisch wesentlich stören (Verschiebung, Skalierung, Drehung, Scherung, Perspektivänderung usw.). Außerdem können diese geometrischen Störungen von Frame zu Frame sich ändern.
Der Artikel: "A Video Watermarking System for Broadcast Monitoring" von T. Kalkar u. a. in "Proceedings of SPIE, SPIE, Bellingham, US, Heft 3657, den 25. Januar 1999, Seiten 103-112 beschreibt ein Verfahren zum Einbetten eines Wasserzeichens in ein Bewegungssignal – d.h. Videosignal-, in dem bemerkt wird, dass das Wasserzeichen durch eine Sequenz von Abtastwerten dargestellt werden kann, wobei die Abtastwerte in aufeinander folgende Frames des Videosignals eingebettet wird. Der Artikel aber fokussiert auf Wasserzeicheneinbettung in ein einziges Videoframe.
AUFGABE UND ZUSAMMENFASSUNG DER ERFINDUNG
Es ist nun u. a. eine Aufgabe der vorliegenden Erfindung, ein Verfahren zum Einbetten eines Wasserzeichens in ein Bewegungsbildsignal zu schaffen, das die oben genannten Anforderungen erfüllt, insbesondere in Bezug auf die Robustheit gegen geometrische Verzerrungen.
Dazu weist das Verfahren nach der vorliegenden Erfindung die nachfolgenden Verfahrensschritte auf:

– das Ermitteln, für jedes Bild, der mittleren Leuchtdichte der Pixel, die das genannte Bild formen, und zwar für jedes Bild einer entsprechenden Folge von Bildern; und
– das Modifizieren der mittleren Leuchtdichte der Pixel, die jedes Bild einer Folge von Bildern formen, und zwar entsprechend dem übereinstimmenden Wasserzeichenabtastwert.

Mit der vorliegenden Erfindung wird erreicht, dass die Folge von Wasserzeichenabtastwerten, die das Wasserzeichen bilden, über eine entsprechende Sequenz von Bildern verteilt wird, wobei ein einziger Wasserzeichenabtastwert je bild eingebettet wird. Das Verfahren bettet auf diese Art und Weise das Wasserzeichen zusammen mit der zeitlichen Achse ein und ist dadurch inhärent widerstandsfähig gegen alle geometrischen Verzerrungen.
Da das menschliche Sehsystem empfindlich ist für Flimmern mit niedrigen Frequenzen, kann das Wasserzeichensignal an Artefakten leiden, insbesondere in nicht bewegenden flachen Gebieten. Diese Artefakte können signifikant reduziert werden, wenn die Flimmerfrequenz des Wasserzeichens verringert wird, durch Einbettung desselben Wasserzeichenabtastwertes in eine feste Anzahl aufeinander folgender Frames. Weiterhin wird vorgeschlagen, ein adaptives Schema zu verwenden, wobei die Änderung in Leuchtdichte für ein Pixel von einem örtlichen Skalierungsfaktor abhängig ist, was für jedes Pixel bestimmt wird. Der örtliche Skalierungsfaktor soll in bewegenden strukturierten Gebieten hoch sein und in nicht bewegenden flachen Gebieten niedrig.
Das eingebettete Wasserzeichen wird dadurch detektiert, dass die mittlere Leuchtdichte an dem Detektionsende ermittelt wird, wobei eine Sequenz mittlerer Leuchtdichten mit einer Sequenz von Bezugswasserzeichenabtastwerten korreliert wird und wobei ein Ausgangssignal erzeugt wird, wenn der Korrelationswert einen vorbestimmten Schwellenwert übersteigt.
KURZE BESCHREIBUNG DER ZEICHNUNG
Ausführungsbeispiele der vorliegenden Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
1 eine schematische Darstellung einer Wasserzeicheneinbettungsanordnung nach der vorliegenden Erfindung,
2 eine schematische Darstellung eines Wasserzeichendetektors nach der vorliegenden Erfindung.
BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
1 zeigt eine schematische Darstellung einer Wasserzeicheneinbettungsanordnung nach der vorliegenden Erfindung. Die Einbettungsanordnung empfangt einen Kinofilm in Form eines HDTV Videosignals mit einer Leuchtdichte F(x, n) an der räumlichen Stelle x des Frames n. Die Einbettungsanordnung empfängt weiterhin ein Wasserzeichen in Form einer pseudobeliebigen Sequenz w(n) mit einer Länge N, wobei w(n) ∊ [-1, 1] ist. Ein geeigneter Wert von N für diese Applikation ist N = 1024.
In der einfachsten Ausführungsform der Wasserzeicheneinbettungsanordnung wird die Sequenz w(n) unmittelbar einer Einbettungsstufe 1 zugeführt, die einen einzigen Wasserzeichenabtastwert in jedes Frame einbettet. In der bevorzugten Ausführungsform erfolgt dies durch Steigerung der Leuchtdichte jedes Pixels des Frames n um 1, wenn der Wasserzeichenabtastwert w(n) = +1 ist, und durch Verringerung um 1, wenn w(n) = -1 ist. Die mittlere Leuchtdichte der Sequenz von Frames wird folglich mit dem Wasserzeichen moduliert. Das Wasserzeichen wiederholt sich alle N Frames.
Andere Beispiele von Frameparametern, die mit dem Wasserzeichen moduliert werden können, sind Bildhistogramme (eine Liste relativer Frequenzen von Leuchtdichtewerten in dem Bild), oder daraus hergeleitete Merkmale, wie Momente höherer Ordnung (Mittelwert von Leuchtdichtewerten zu der k. Potenz). Die mittlere Leichtdichte ist ein spezifisches Beispiel des letzteren (k = 1).
Da das menschliche Sehsystem für Flimmereffekte mit niedrigen räumlichen Frequenzen empfindlich ist, kann diese einfache Ausführungsform an Artefakten leiden, insbesondere in nicht bewegenden flachen Gebieten. Diese Artefakte werden dadurch signifikant reduziert, dass die Flimmerfrequenz der Wasserzeichen verringert wird. Dies geschieht durch eine Wiederholungsstufe 2, die jeden Wasserzeichenabtastwert während einer vorbestimmten Anzahl T aufeinander folgender Bilder wiederholt. Derselbe Wasserzeichenabtastwert wird auf diese Weise in eine Anzahl aufeinander folgender Frames eingebettet.
Die bevorzugte Ausführungsform der Einbettungsanordnung, die in 1 dargestellt ist, passt die Einbettungstiefe in Abhängigkeit von dem Bildinhalt an. Dazu umfasst die Einbettungsanordnung einen Multiplizierer 3, der jeden Wasserzeichen = abtastwert mit einem örtlichen Skalierungsfaktor ν(x, n) multipliziert. Der örtliche Skalierungsfaktor ist in bewegenden strukturierten Gebieten groß und in nicht bewegenden fla chen Gebieten klein. Um dies zu erreichen ist der örtliche Skalierungsfaktor ν(x, n) der Minimalwert eines räumlichen Skalierungsfaktors λ(x, n) und eines Bewegungsskalierungsfaktors μ(x, n). Weiterhin wird das Ergebnis zugeschnitten, wenn es eine maximal erlaubte Leuchtdichteänderung ν_max übersteigt. Dieser Vorgang wird durch einen Selektor 11 durchgeführt.
Die räumliche Anpassung wird von einer räumlichen Anpassungsstufe durchgeführt, die einen Laplacefilter 4, einen Multiplizierer 5 und Absolutwertberechnungsmittel 6 aufweist. Die räumliche Anpassungsstufe empfängt die Leuchtdichtewerte F(x, n) und erzeugt den örtlichen Skalierungsfaktor λ(x, n) unter Verwendung des Absolutwertes der Antwort des Laplacefilters und der Multiplikation mit einem globalen Faktor s entsprechend:
Der globale Skalierungsfaktor ist ein Kompromiss zwischen Sichtbarkeit und Robustheit.
Der Bewegungsskalierungsfaktor μ(x, n) wird von einem Bewegungsdetektor erzeugt, der einen Framespeicher 8, einen Subtrahierer 8 und Absolutwertberechnungsmittel 9 aufweist. Der Detektor berechnet den Bewegungsskalierungsfaktor μ für jedes Pixel durch Bestimmung der Absolutdifferenz mit dem vorhergehenden Frame. Um imstande zu sein, ein Wasserzeichen in eine nicht bewegenden Sequenz einzubetten, wird von einem Addierer 10 zu der absoluten Framedifferenz ein kleiner Versatz μ_min hinzugefügt.
Das mit einem Wasserzeichen versehene Frame F_w(x, n) wird durch Hinzufügung des resultierenden Wasserzeichens W(x, n) zu dem ursprünglichen Frame F(x, n) erhalten. Es ist dieses mit einem Wasserzeichen versehene Signal F_x(x, n), das auf den Kinoschirm projiziert wird.
2 zeigt eine schematische Darstellung eines Wasserzeichendetektors nach der vorliegenden Erfindung. Obschon das ursprüngliche Signal während der Detektion verfügbar ist, benutzt der Detektor nicht alle Kenntnisse über das Original. Der Detektor empfangt eine aufgezeichnete Version F'_w(x, n) des mit einem Wasserzeichen versehenen Signals F_w(x, n). Die Anordnung umfasst Leuchtdichteextraktionsmittel 21, welche die mittlere Leuchtdichte Y(n) jedes Bildes n berechnen. Die extrahierten Leuchtdichtewerte Y(n) von N*T Bildern werden über T Puffer 221, 222, ..., verteilt, wobei, wie oben beschrieben, T die Anzahl aufeinander folgender Bilder ist, in die derselbe Wasserzeichenabtastwert eingebettet ist. Jeder Puffer speichert N mittlere Leuchtdichtewerte. Typische Werte des Wasserzeichens mit der Länge N und der Frames je Wasserzeichenabtastwert T sind 1024 bzw. 5. Auf entsprechende Weise enthält der erste Puffer 221 mittlere Leuchtdichtewerte Y(1), Y(6), Y(11), ..., der zweite Puffer 222 enthält mittlere Leuchtdichtewerte Y(2), Y(7), Y(12), ..., usw. Dies bedeutet, dass die Körnigkeit der Wasserzeichendetektion etwa 3 Minuten und 25 Sekunden für PAL Video ist. Um die Detektion zu fördern kann der Pufferinhalt mit einem FIR-Filter [-1 2 -1) gefiltert werden und danach zwischen -10 und +10 zum Ausgleichen der Daten in den Puffer zugeschnitten werden. Der genannte Filter- und Ausgleichschritt ist in der Figur nicht dargestellt.
Das Wasserzeichen wird dadurch detektiert, dass die Gleichheit jedes Pufferinhalts mit einem oder möglicherweise mehr Bezugswasserzeichen w(n) ermittelt wird. Jedes Wasserzeichen kann beispielsweise ein einziges Kino identifizieren. Ein durchaus bekannten Beispiel von Gleichheit ist Kreuzkorrelation, aber andere Maßnahmen sind auch möglich. Der Inhalt jedes Puffers wird in betreffenden Korrelatoren 231, 232, ... mit dem Bezugswasserzeichen kreuzkorreliert. Die Korrelation erfolgt vorzugsweise unter Anwendung von SPOMF ("Symmetrical Phase Only Matched Filtering"). Für eine Beschreibung von SPOMF siehe die internationale Patentanmeldung WO 99/45706 . In dem genannten Dokument erfolgt die Korrelation in der zweidimensionalen räumlichen Domäne. Blöcke von N×N Bildpixeln werden mit einem N×N Bezugswasserzeichen korreliert. Das Ergebnis des SPOMF Vorgangs ist ein N×N Muster von Korrelationswerten, die eine oder mehrere Spitzen zeigen, wenn ein Wasserzeichen eingebettet worden ist.
Die T Korrelatoren 231, 232, ... arbeiten in der eindimensionalen Zeitdomäne. Der Ausgang jedes Korrelators Informationssignal eine Reihe von N Korrelationswerten, die in einem entsprechenden Puffer der T Puffer 241, 242, ... gespeichert wird. Ein Spitzendetektor 25 sucht den höchsten Korrelationswert in den T Puffer und führt den genannten Spitzenwert einer Schwellenschaltung 26 zu. Wenn der Spitzenwert wenigstens eines der Puffer höher ist als ein bestimmter Schwellenwert, wird entschieden, dass das Wasserzeichen vorhanden ist. Sonst wird der Inhalt als ohne Wasserzeichen klassifiziert. Als ein geeigneter Schwellenwert hat sich 5 Standardabweichungen erwiesen, was einer Falschalarmwahrscheinlichkeit von 1,43·10^-6 entspricht.
Eine Belastung kann durch Einbettung verschobener Versionen des Wasser-Zeichens w(n) codiert werden, und zwar auf eine Art und Weise entsprechend demjenigen, was in der internationalen Patentanmeldung WO-A-99/45705 beschrieben worden ist, wie bereits eingangs erwähnt. Es sei weiterhin bemerkt, dass es, obschon T parallele Korrelatoren in 2 dargestellt sind, vorteilhaft sein kann, die betreffenden Vorgänge auf eine zeitsequentielle Art und Weise durchzuführen.
Es wird nun ein Video-Wasserzeichenmarkierungsschema beschrieben, das für das digitale Kinoformat entworfen ist, wie dies bei Großprojektorschirmen in Kinos verwendet wird. Das Wasserzeichen ist derart entworfen, dass es einen minimalen Einfluss auf die Videoqualität hat, aber dennoch nach dem Erfassen mit einer Handkamera und Umsetzung nach beispielsweise VHS, CD-Video oder DVD-Format dennoch detektierbar ist. Das vorgeschlagene Wasserzeichenmarkierungssystem benutzt nur die Zeitachse. Dies macht es unangreifbar für geometrische Verzerrungen, die im Allgemeinen durch eine derartige Erfassungsweise verursacht werden. Das Wasserzeichen wird durch Modulation einer globalen Eigenschaft der Frames eingebettet (beispielsweise die mittlere Leuchtdichte) entsprechend den Abtastwerten des Wasserzeichens. Die einbettungstiefe wird vorzugsweise örtlich in jedem Frame an örtliche Statistiken des betreffenden Bildes angepasst. Wasserzeichendetektion erfolgt durch Korrelation der Wasserzeichensequenz mit extrahierten mittleren Leuchtdichtewerten einer Sequenz von Frames.

Claims

Verfahren zum Einbetten eines Wasserzeichens in ein Bewegungsbildsignal, wobei das Verfahren den nachfolgenden Verfahrensschritt umfasst: – das Darstellen des genannten Wasserzeichens durch eine Folge von Wasserzeichenabtastwerten (w(n)); wobei das Verfahren durch die nachfolgenden weiteren Verfahrensschritte gekennzeichnet wird: – das Ermitteln der mittleren Leuchtdichte der Pixel, die das genannte Bild formen, und zwar für jedes Bild einer entsprechenden Folge von Bildern; und – das Modifizieren (1) der mittleren Leuchtdichte der Pixel, die jedes Bild der Folge von Bildern formen, und zwar entsprechend dem übereinstimmenden Wasserzeichenabtastwert (w(n)), wobei je Bild ein einziger Wasserzeichenabtastwert eingebettet wird.
Verfahren nach Anspruch 1, wobei der genannte Modifizierschritt das Modifizieren (2) von Reihen einer vorbestimmten Anzahl aufeinander folgender Bilder entsprechend demselben Wasserzeichenabtastwert (w(n)) umfasst.
Verfahren nach Anspruch 1, wobei der genannte Modifizierschritt eine adaptive Modifizierung (3) der Pixel eines Bildes in Abhängigkeit von der räumlichen Aktivität innerhalb des genannten Bildes umfasst.
Verfahren nach Anspruch 1, wobei der genannte Modifizierschritt eine adaptive Modifizierung (3) der Pixel eines Bildes, in Abhängigkeit von Bewegung, detektiert zwischen aufeinander folgenden Bildern, umfasst.
Verfahren zum Detektieren eines Wasserzeichens in einem Bewegungsbildsignal, wobei das Verfahren den nachfolgenden Verfahrensschritt umfasst: – das Liefern eines Bezugswasserzeichens als eine Folge von Bezugswasserzeichenabtastwerten (w(n)); wobei das Verfahren durch die weiteren Verfahrensschritte gekennzeichnet wird: – das Ermitteln (21) der mittleren Leuchtdichte der Pixel, die das Bild formen, und zwar für jedes Bild einer entsprechenden Folge von Bildern; – das Korrelieren (231, 232) der Folge von Bezugswasserzeichenabtastwerten mit einer entsprechenden Folge der genannten mittleren Leuchtdichten (221, 222); und – das Erzeugen (26) eines Ausgangssignals, wenn der genannte Korrelationsschritt einen Korrelationswert ergibt, der einen vorbestimmten Schwellenwert übersteigt.
Verfahren nach Anspruch 5, das weiterhin die nachfolgenden Verfahrensschritte aufweist: – das Liefern einer Reihe verschachtelter Folgen mittlerer Leuchtdichten, wobei der Korrelationsschritt das Korrelieren der Folge von Bezugswasserzeichenabtastwerten mit jeder der genannten verschachtelten Folgen der genannten mittleren Leuchtdichten umfasst zum Erhalten einer Reihe von Korrelationswerten und wobei der Schritt zum Erzeugen eines Ausgangssignals das Erzeugen des Ausgangssignals umfasst, wenn der größere der Korrelationswerte einen vorbestimmten Schwellenwert übersteigt.
Anordnung zum Einbetten eines Wasserzeichens in ein Bewegungsbildsignal, wobei die Anordnung Folgendes umfasst: – Mittel zum Schaffen des genannten Wasserzeichens als eine Folge von Wasserzeichenabtastwerten (w(n)); wobei die Anordnung weiterhin gekennzeichnet wird durch: – Mittel zum Ermitteln der mittleren Leuchtdichte der Pixel, die das genannte Bild formen, und zwar für jedes Bild einer entsprechenden Folge von Bildern; und – Mittel (1) zum Modifizieren der mittleren Leuchtdichte der Pixel, die jedes Bild der Folge von Bildern formen, und zwar entsprechend dem übereinstimmenden Wasserzeichenabtastwert (w(n)), wobei je Bild ein einziger Wasserzeichenabtastwert eingebettet wird.
Anordnung zum Detektieren eines Wasserzeichens in einem Bewegungsbildsignal, wobei die Anordnung Folgendes umfasst: – Mittel zum Liefern eines Bezugswasserzeichens als eine Folge von Bezugswasserzeichenabtastwerten (w(n)); wobei die Anordnung gekennzeichnet wird durch: – Mittel (21) zum Ermitteln der mittleren Leuchtdichte der Pixel, die das Bild formen, und zwar für jedes Bild einer entsprechenden Folge von Bildern; – Mittel (231, 232) zum Korrelieren der Folge von Bezugswasserzeichenabtastwerten mit einer entsprechenden Folge der genannten mittleren Leuchtdichten; und – Mittel (26) zum Erzeugen eines Ausgangssignals, wenn der genannte Korrelationsschritt einen Korrelationswert ergibt, der einen vorbestimmten Schwellenwert übersteigt.