CZ296599A3

CZ296599A3 - Process and apparatus for inserting additional data into a signal, the signal per se and memory medium

Info

Publication number: CZ296599A3
Application number: CZ19992965A
Authority: CZ
Inventors: Petrus A. C. M. Nuijten
Original assignee: Koninklijke Philips Electronics N. V.
Priority date: 1998-12-07
Filing date: 1998-12-07
Publication date: 2000-02-16

Abstract

Řešeníse týká vodoznakování zvuková» nebo obrazová» signálu. Signál se kóduje dekodérem/6/, ktetý obsahuje zpětnovazebnísmyčku/64/pro řízení kódovacíhoprocesu,jakoje kodér DPCM nebo modulátor sigma-delta. Vodoznak se vkládáz registru /3/v modifikačnímobvodu /2/ modifikovánímzvolených vzorků kódovaná» signálu. Modifikovaníse provádí předtím, nežjekódovaný signál veden zpět, takže se kvantizační chyby, kteréjsouzaváděny vkládanýmvodoznakem, vyloučí následnými kódovacími operacemi. Kromě toho se také modifikujíjeden nebo více vzorků, předcházejících zvolené vzotky, a to tak, že chyba vyvolaná vodoznakemsedále sníží. Toho se dosáhne "předvídáním", které z modifikací předchozích vzorků/nebojejich kontínací/poskytují nejlepší kvalitu kódování.The solution is watermarking audio or video » signal. The signal is encoded by a decoder (6) which comprises feedback loop / 64 / for controlling the coding process DPCM encoder or sigma-delta modulator. Watermark is inserted register / 3 / in modifying circuit / 2 / modifying selected samples encoded »signal. Modifying is done before than the coded signal is routed back so that the quantization errors, which is inserted by the inserted symbol, excludes the following coding operations. In addition, one or more are also modified More samples, preceded by the chosen specimen, so that the error induced by the watermark will continue to decrease. This is achieved "anticipating" which modifications of previous samples or their continual / provide the best encoding quality.

Description

Způsob a zařízení pro vkládání doplňkových dat do signálu, signál a paměťové médiumMethod and apparatus for inserting additional data into a signal, a signal and a storage medium

Oblast technikyTechnical field

Vynález se týká způsobu a zařízení pro vkládání doplňkových dat do signálu, při kterém se kóduje signál v kódovacím procesu zahrnujícím zpětnovazební zpětné vedení kódovaného signálu pro řízení uvedeného kódování, a zvolené vzorky kódovaného signálu se modifikují pro reprezentování uvedených doplňkových dat.The invention relates to a method and apparatus for inserting supplementary data into a signal, wherein the signal is encoded in an encoding process comprising feedback feedback of the encoded signal to control said encoding, and the selected samples of the encoded signal are modified to represent said supplemental data.

Dosavadní stav technikyBACKGROUND OF THE INVENTION

Existuje vzrůstající potřeba vkládat do zvukových nebo obrazových signálů doplňková data smyslové nevnímatelným způsobem. Například se vkládají vodoznaky” (watermarks - dále je používán v textu termín vodoznak a skloňovatelný český novotvar vodoznakování v doslovném překladu, přičemž se rozumí to, co je v odborné literatuře známé pod označením watermarking) do multimediálních signálů pro identifikaci zdroje nebo informace o stavu z hlediska autorských práv. Vodoznak poskytuje právní důkaz o vlastníkovi autorského práva, umožňuje vysledovat pirátství a podporuje ochranu duševního vlastnictví.There is an increasing need to embed additional sensory data in audio or video signals in a perceptible manner. For example, watermarks are used in the multimedia signals to identify the source or status information from the watermark and the inflectable Czech neoplasm of watermarking in literal translation, meaning what is known in the literature as watermarking. in terms of copyright. The watermark provides legal proof of the copyright owner, traces piracy, and promotes the protection of intellectual property.

Známý způsob vodoznakování (watermarking) videosignálu je definován v úvodním odstavci publikace F.Hartunga a B.Girose Digital Watermarking of Raw and Compressed Video, SPIE sv.2952, str.205-212. Vodoznakování je zde dosahováno modifikováním zvolených DCT koeficientů ve výstupním bitovém proudu z kodéru MPEG2. Jak je všeobecně známo, je kodér MPEG2 predikční kodér, obsahující zpětnovazební smyčku pro řízení kódovacího procesu. Kóduje se chyba predikce » · φ · * · · * * φ · φφ · · · ·A known method of watermarking a video signal is defined in the opening paragraph of F. Hartung and B. Giros Digital Watermarking of Raw and Compressed Video, SPIE vol.2952, pp.205-212. Watermarking is achieved here by modifying the selected DCT coefficients in the output bitstream of the MPEG2 encoder. As is well known, the MPEG2 encoder is a prediction encoder containing a feedback loop for controlling the encoding process. Coding prediction error »· φ · * · · * * φ · φφ · · · ·

Φ · φ · · • Φ* ·· «· «·Φ · φ · • Φ

-2» · ♦ · ···· ···-2 »· ♦ · ···· ···

Ιιλλ,,Α,Ί ττλ4-,ι««./— — -i ~ Ί __, „ 2-V^ - — __'_J______J_ (ivójuxx xu^£j_l vstupním □xyiiaicui a jenu picuiAUi/ iuislu Adiuvu^- něho vstupního signálu. Predikční signál se získává lokálním dekódováním kódovaného signálu.Ιιλλ ,, Α, Ί ττλ4-, ι «« ./- - -i __ ~ Ί "V-2 ^ - - __'_ J______J_ (ivójuxx xu ^ £ j_l input □ xyiiaicui and picuiAUi yen / iuislu adiuvat ^- input therefrom The prediction signal is obtained by locally decoding the encoded signal.

Při způsobu podle stavu techniky se vodoznaky vkládají po běžném kódování. Kapacita, která je k dispozici pro vodoznakování kódovaného signálu, se tak ukazuje jako omezená.In the prior art method, watermarks are inserted after conventional encoding. The capacity available for watermarking the encoded signal thus appears to be limited.

Vynález si proto klade za úkol vytvořit způsob vkládání doplňkových dat do kódovaného zvukového nebo obrazového signálu, který by dovoloval měnit více bitů kódovaného signá lu, aniž by se podstatně ovlivňovala kvalita z hlediska vnímání .SUMMARY OF THE INVENTION It is therefore an object of the present invention to provide a method of inserting additional data into an encoded audio or video signal that allows multiple bits of the encoded signal to be changed without substantially affecting perception quality.

Podstata vynálezuSUMMARY OF THE INVENTION

Vynález přináší způsob vkládání doplňkových dat do signálu, při kterém se kóduje signál v kódovacím procesu zahrnujícím zpětné vedení kódovaného signálu pro řízení uvedeného kódování, a zvolené vzorky kódovaného signálu se modifikují pro reprezentování uvedených doplňkových dat, jehož podstatou je, že modifikování zvolených vzorků se provádí před uvedeným zpětným vedením kódovaného signálu a zahrnuje modifikování nejméně jednoho dalšího vzorku kódovaného signálu, předcházejícího zvolený vzorek, jestliže se zjistí, že uvedená modifikace dalšího vzorku zlepšuje kvalitu kódovacího procesu.The invention provides a method of inserting additional data into a signal, wherein the signal is encoded in an encoding process comprising returning the encoded signal to control said encoding, and the selected samples of the encoded signal are modified to represent said supplemental data. prior to said recoding of the encoded signal and comprising modifying at least one additional sample of the encoded signal preceding the selected sample if said modification of the next sample is found to improve the quality of the encoding process.

Vkládání doplňkových dat před zpětnovazebním zpětným vedením signálu bylo také navrženo v nezveřejněné evropské patentové přihlášce 97200197.8 (PHN 16.208). Tímto postupem je dosaženo toho, že nežádoucí účinky modifikování vzorkuThe insertion of supplementary data prior to the feedback feedback signal has also been suggested in unpublished European patent application 97200197.8 (PHN 16.208). By this procedure it is achieved that the undesirable effects of modifying the sample

-3tuclcu Rompsrizovúny v* 1 1a 1· .*. — — _ ~ — *i— — ——. — —— — — ^i_ «iu*=f^.<=uuj xv-Lvn Λ.υαυναν±υπ vp^xcivxuii,-3tuclcu Rompsrizove in * 1 and 1 ·. *. - - _ ~ - * i— - ——. - —— - - ^ i_ * iu * = f ^. <= Uuj xv-Lvn υααυναν ± υπ in ^ xcivxuii,

9*·9 * ·

9 9 9 · » · • · · · 9 * * * *· 99· ···9 9 9 »* 99 * * * * * * * * * * *

9» * 9 «9 ·· 999 »* 9« 9 ·· 99

Zůstává však počáteční porucha modifikování vzorku. Vynález je založen na seznání toho, že kódovací kvalita se dá dále zlepšit záměrným modifikování jednoho nebo více vzorků před zvoleným vzorkem. Kódovaný signál je přitom lehce předzkreslen za účelem minimalizování kódovacích chyb, které se mají následně objevit.However, the initial sample modification failure remains. The invention is based on the recognition that the coding quality can be further improved by intentionally modifying one or more samples prior to the selected sample. In this case, the encoded signal is slightly pre-distorted in order to minimize the coding errors that are subsequently to occur.

Vynález se obzvláště dobře hodí pro vkládání doplňkových dat v kodérech s kódováním po jednotlivých bitech. Kodéry pro kódování po jednotlivých bitech, jako modulátory delta, modulátory sigma-delta, a kodéry do tvaru šumu (noise shape encoders), vytvářejí v každém kódovacím kroku jednobitový výstupní vzorek. Kódovaný signál je pro vodoznakování velmi zranitelný. Například modulátory sigma-delta, uvažované pro zaznamenávání vysoce kvalitního zvukového signálu na disk DVD-Audio při vzorkovací frekvenci 2822400 Hz (64*44100), mají odstup signálu od šumu 115 dB. Ukazuje se, že vodoznakování takového signálu s modulací sigma-delta způsobem podle stavu techniky, t.j. po obvyklém kódování, značně zvyšuje kvantizaóní šum. Například nahrazení 1 bitu na každých 100 bitů zvukového signálu modulovaného modulací sigma-delta vodoznakovým bitem zvýší kvantizaóní šum na -60 dB, což je zjevně nepřijatelné. Vodoznakování, jak je navrženo v nezveřejněné evropské patentové přihlášce 97200197.8 (PHN 16.208), dovoluje, aby každý stý bit byl nahrazen zvýšením kvantizačního šumu pouze o ldB.The invention is particularly well suited for inserting additional data in single-bit encoded encoders. Bit-by-bit encoders, such as delta modulators, sigma-delta modulators, and noise shape encoders, produce a one-bit output pattern at each encoding step. The coded signal is very vulnerable to watermarking. For example, sigma-delta modulators intended to record a high quality audio signal to a DVD-Audio at a sampling frequency of 2822400 Hz (64 * 44100) have a signal to noise ratio of 115 dB. It has been shown that watermarking such a sigma-delta modulation signal by the prior art method, i.e. after conventional coding, greatly increases quantization noise. For example, replacing 1 bit for every 100 bits of sigma-delta modulated audio signal with a watermark bit will increase quantization noise to -60 dB, which is clearly unacceptable. Watermarking, as proposed in unpublished European patent application 97200197.8 (PHN 16.208), allows each hundredth bit to be replaced by an increase in quantization noise by only 1dB.

Vynález nejen navrhuje další zlepšení kvality kódování pokud jde o snížení šumu. Je dobře známé, že modulátory sigma-delta se smyčkovým filtrem řádu >2 vedou k problémům nestability u velkých vstupních signálů. Této nestabilitě se ···The invention not only proposes to further improve the coding quality in terms of noise reduction. It is well known that sigma-delta modulators with a > 2 order loop filter lead to instability problems with large input signals. This instability is

-4* ···· » · v « · · • · φ « · h φ · φ ·»φ Ml • · · · • ·· «« ·« obvykle brání tím. že se zabraňuje vstupnímu signálu, aby přesáhl předem určený rozsah. Vynález také přináší řešení tohoto druhu problémů nestability a s tím spojených problémů odřezávání amplitudy.-4 · v v h Ml Ml Ml Ml Ml Ml Ml Ml Ml Ml Ml Ml Ml Ml Ml Ml Ml Ml Ml Ml Ml Ml Ml Ml Ml Ml Ml Ml that the input signal is prevented from exceeding a predetermined range. The invention also provides a solution to this kind of instability problems and the associated problems of amplitude cutting.

Další znaky a výhody vynálezu budou patrné z následujícího popisu a výkresů.Other features and advantages of the invention will be apparent from the following description and drawings.

Přehled obrázků na výkresechBRIEF DESCRIPTION OF THE DRAWINGS

Vynález je blíže vysvětlen dech provedení s odvoláním znázorňuje obr.l zapojení v následujícím popisu na příklana připojené výkresy, ve kterých pro vkládání doplňkových dat do signálu s modulací delta podle vynálezu, obr.2-4 tvarové průběhy signálu pro ilustraci práce zapojení z obr.l, obr.5 vývojový diagram ilustrující funkci modifikace obvodu, znázorněného na obr.l, obr.6 zapojení pro vkládání doplňkových dat do signálu s modulací delta podle vynálezu, obr.7 schéma filtru třetího řádu, použitého v modulátoru sigma-delta zapojení z obr.6 a obr.8,9,10A-10D a 11A-11C tvarové průběhy signálu pro ilustrování funkce zapojení z obr.6.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 shows the wiring in the following description of the accompanying drawings, in which for inserting additional data into a delta modulation signal according to the invention; FIG. 1, FIG. 5 is a flow diagram illustrating the circuit modification function shown in FIG. 1; FIG. 6 is a circuit for inserting additional data into a delta modulation signal according to the invention; 6 and 8, 9, 10A-10D and 11A-11C, the waveforms of the signal to illustrate the wiring function of FIG.

Příklady provedení vynálezuDETAILED DESCRIPTION OF THE INVENTION

Vynález bude popsán na kodérech pro kódování po jednotlivých bitech, ale rozumí se, že může být použit rovněž na jiné typy predičních kodérů, jako jsou kodéry DPCM (např. MPEG). Nejprve bude popsáno uspořádání modulátoru delta, protože se jeho funkce dá snadno pochopit. Dále bude popsáno uspořádání modulátoru sigma-delta, které připadá pravděpodobněji v úvahu pro použití v praktických kódovacích systémech.The invention will be described with bit-by-bit encoders, but it will be understood that it can also be applied to other types of prediction encoders, such as DPCM encoders (eg MPEG). First, the arrangement of the delta modulator will be described, since its function is easy to understand. Next, a sigma-delta modulator arrangement that is more likely to be considered for use in practical coding systems will be described.

Obr.l znázorňuje zapojení pro vkládání doplňkových dat do signálu s modulací delta podle vynálezu. Zapojení ob0¼ «00 · * 0 0 « 0 « 0 0 · 0 «00 ««0Fig. 1 shows a circuit for inserting additional data into a delta modulation signal according to the invention. Wiring ob0¼ «00 · * 0 0« 0 «0 0 · 0« 00 «« 0

0 0 0 0 0 0 ·«·· «·0 ··« «0 «· «0 0 0 0 0 0 · 0 «0 0 0 · · · ·

-5sahuje obvyklý modulátor 1 delta, obsahující odečítačku li, detektor 12 polarity a dekódovací filtr 13. Odečítačka 11 generuje signál e chyby predikce odečítáním predičního siga nálu x od vstupního signálu x. Signál e chyby predikce je veden na detektor 12 polarity, který vytváří, při rychlosti určované neznázorněným vzorkovacím kmitočtem f_s, výstupní vzorek ”+l pro x > a výstupní vzorek -1 pro x < x. Zpětnovazební smyčka 14 obsahuje lokální dekodér 23 (sumátor nebo integrátor) pro získání predikčního signáluIt comprises a conventional delta modulator 1 comprising a subtractor 11, a polarity detector 12 and a decoding filter 13. The subtractor 11 generates a prediction error signal e by subtracting the prediction signal x from the input signal x. The prediction error signal e is coupled to a polarity detector 12 which produces, at a rate determined by the sampling rate (not shown) f ₊ , an output pattern " + l " for x > and an output pattern -1 for x < The feedback loop 14 comprises a local decoder 23 (summator or integrator) to obtain a prediction signal

V běžném modulátoru delta je zpětnovazební smyčka 14 připojena k výstupu detektoru 12 polarity. Obr.2 znázorňuje tvarové průběhy signálů, s nimiž pracuje takový běžný modulátor delta. Konkrétněji znázorňuje obr.2 vstupní signál x, predikční signál x a kódovaný výstupní signál y běžného modulátoru delta. Je třeba poznamenat, že predikční signál x je také výstupní signál přijímače, neznázorněného na obr.1.In a conventional delta modulator, the feedback loop 14 is connected to the output of the polarity detector 12. Figure 2 shows the waveforms of the signals that such a conventional delta modulator works with. More specifically, FIG. 2 shows an input signal x, a prediction signal x, and a coded output signal y of a conventional delta modulator. It should be noted that the prediction signal x is also the output signal of the receiver, not shown in Fig. 1.

Jak opět znázorňuje obr.l, zapojení podle vynálezu obsahuje modifikační obvod 2, zapojený mezi detektorem 12 polarity a zpětnovazební smyčkou 14. Modifikační obvod modifikuje zvolené bity z výstupních bitů detektoru polarity v odezvě na volicí signál s. Například nahrazuje modifikační obvod každý stý bit kódovaného signálu y vodoznakovou datovou kombinací w, která je uložena v registru 3 vodoznakových dat. Alternativně modifikační obvod invertuje zvolené bity, přičemž počet bitových period mezi uvedenými invertovanými bity reprezentuje vodoznakovou datovou kombinaci.Referring again to FIG. 1, the circuit according to the invention comprises a modification circuit 2 connected between the polarity detector 12 and the feedback loop 14. The modification circuit modifies selected bits from the output bits of the polarity detector in response to the select signal s. the signal y by the watermark data combination w, which is stored in the watermark data register 3. Alternatively, the modifier circuit inverts the selected bits, wherein the number of bit periods between said inverted bits represents a watermark data combination.

Obr.3 objasňuje účinek modifikování zvoleného bitu 20 kódovaného signálu vodoznakovým datovým bitem w. Na tomto * ta · ta *·· tatata3 illustrates the effect of modifying the selected bit 20 of the encoded signal with the watermark data bit w. On this * ta · ta * ·· tatata

-6oíyjiál jako ta··· ta ·«« ta» * » ta · ta tata» ta 9 ta·· «ta· ·· ·* ·· obrázku jsou zná zorněny vstupní signál na obr.2), predikční signál x a modifikovaný kódovaný signál z. Na obrázku je vyznačen vložený vodoznakový bit 21. Jak se pokouší tento obrázek znázorňovat, má vložený vodoznakový bit hodnotu *-l, která se liší od hodnoty +l kódovaného signálového bitu 20. Připomeneme-li, že predikční signál x je také výstupní signál přijímače, je možné snadno odvodit, že modifikace bitu zvyšuje kvantizační šum. Protože je modifikovaný signál z veden zpět na vstup kodéru, bude kvantizační šum následně kompenzován a eventuelně eliminován.The input signal shown in Fig. 2), the prediction signal x, and the modified signal are shown in FIG. The embedded watermark bit 21 is shown in the figure. As it attempts to represent this image, the embedded watermark bit has a value of * -l that differs from the value of + 1 of the encoded signal bit 20. Note that the prediction signal x is also the receiver output signal, it can be easily deduced that the modification of the bit increases the quantization noise. Since the modified signal is fed back to the encoder input, the quantization noise will then be compensated and eventually eliminated.

Podle vynálezu je modifikační obvod 2 (obr.l) uspořádán tak, že modifikuje nejméně jeden z bitů, předcházejících vodoznak, pokud toto zlepšuje kvalitu kódování. Příklad takového řešení je znázorněn na obr.4. Na obrázku jsou opět vyznačeny vstupní signál x, predikční signál x, modifikovaný kódovaný signál z a vodoznakový bit 21. Dochází 2de kromě toho k modifikaci bitu 22, který předchází vodoznakový bit 21. Z porovnání obr.3 a obr.2 je bezprostředně patrné, že celková kvantizační chyba je tím dále snížena. Značně se tak zlepší kvalita kódování.According to the invention, the modifier circuit 2 (FIG. 1) is configured to modify at least one of the bits preceding the watermark if this improves the coding quality. An example of such a solution is shown in FIG. In the figure again, the input signal x, the prediction signal x, the modified coded signal after the watermark bit 21 is indicated. In addition, there is a modification of bit 22 preceding the watermark bit 21. Comparing Fig. 3 and Fig. 2, it is immediately apparent that the total quantization error is thereby further reduced. This will significantly improve the coding quality.

V příkladě znázorněném na obr.3 je dosaženo dobrých vlastností tím, že se změní bit bezprostředně předcházející vodoznakový bit. Vždy tomu tak však není. Modifikace druhého, třetího,... atd. bitu, předcházejícího vodoznakový bit, nebo jejich kombinace, může vlastnosti ještě více zlepšit. Odpovídající příklad je uveden níže.In the example shown in FIG. 3, good properties are achieved by changing the bit immediately preceding the watermark bit. However, this is not always the case. Modifying the second, third, ... etc. bit preceding the watermark bit, or a combination thereof, can further improve the properties. A corresponding example is given below.

Pro získání výše uvedeného účinku je zapojení znázorněné na obr.l uzpůsobeno k tomu, aby vykonávalo modulaci delta pro různé kombinace předchozích bitů, a výběr kombina* · · ·*· ···To obtain the above effect, the circuit shown in FIG. 1 is adapted to perform delta modulation for various combinations of previous bits, and selecting a combination.

Φ··φΦ ·· φ

-7ce poskytující nejlepší výsledek. Uvedené zkoušení různých bitových kombinací je dále označováno jako předvídací testování (looking ahead) a bity předcházející vodoznakový bit, které jsou uvažovány pro modifikaci, jsou označovány jako předvídací bity.-7ce providing the best result. Said testing of different bit combinations is hereinafter referred to as looking ahead, and the bits preceding the watermark bit that are considered for modification are referred to as prediction bits.

Modifikační proces se provádí při řízením modifikačním obvodem 2. Obvod může být implementován v softwaru nebo hardwaru, a to v závislosti na praktických hlediscích, jako je rychlost nebo složitost hardwaru. Obr.5 znázorňuje vývojový diagram, ukazující práci obvodu. Předpokládá se, že vstupní signál x je uložen na paměťovém médiu, neznázorněném na obr.l, a že každý stý bit kódovaného signálu y má být nahrazován vodoznakovým bitem w. Pro tento účel je vstupní signál x dělen na segmenty, obsahující každý sto vstupních vzorků x_Q...x₉₉. Pro každý segment obsahuje výstupní signál z 100 bitů z₀...Zg₉, v nichž z_o..Z2 jsou tři předvídací bity a z₃ je vodoznakový bit.The modification process is performed under control of the modifier circuit 2. The circuit may be implemented in software or hardware, depending on practical considerations such as the speed or complexity of the hardware. Figure 5 is a flowchart showing circuit operation. It is assumed that the input signal x is stored on a storage medium not shown in FIG. 1, and that every hundredth bit of the encoded signal y is to be replaced by a watermark bit w. For this purpose, the input signal x is divided into segments containing each one hundred input samples x _Q ... x ₉₉ . For each segment contains an output signal from the 100 bits of Z g ₀ ... _9, in which of _the three predictive ..Z2 bits and ₃ is the watermark bit.

V kroku 50 je tříbitovému binárně kódovanému číslu c dána počáteční hodnota nula. Číslo c představuje aktuální kombinaci tří předvídacích bitů. V kroku 51 se tři bity čísla c přiřadí bitům z₀..z₂. To znamená, že se z^ nastaví na +1, jestliže odpovídající bit čísla c je O. V kroku 51 se také přiřadí aktuální vodoznakový bit w, který se má vkládat, přiřadí stejným způsobem bitu z₃, V subrutině 52 se delta-modulační proces provede na daném počtu vstupních vzorků, např. χθ..χ₂₀, aby se pozorovalo chování smyčky pro předem přiřazené hodnoty z₀..z₃. Odpovídající výstupní bitová sekvence ζθ..ζ_2ο se uloží do vyrovnávací paměti, neznázorněné na obr.l. V kroku 53 se určuje kódovací kvalita Q(c) delta-modulačního procesu pro aktuální kombinaciIn step 50, a three-bit binary coded number c is given an initial value of zero. The number c represents the current combination of the three prediction bits. In step 51, the three bits of the number c are assigned to the bits from ₀ to ₂ . That is, z ^ is set to +1 if the corresponding bit of number c is O. In step 51, the current watermark bit w to be inserted is also assigned to the bit z ₃ in the same way. process carried out on a given number of input samples, e.g. χθ..χ ₂₀ to observe the behavior of the loop for the pre-assigned values of ₀ ..z _third The corresponding output bit sequence ζθ..ζ _2ο is stored in a buffer (not shown in Fig. 1). In step 53, the coding quality Q (c) of the delta-modulation process for the current combination is determined

• 4 · 4 ·** «« ·»• 4 · 4 · **

-8* » • · * 4 «*·· ··· c předvídacích bitů a uloží se do vyrovnávací paměti, v tom to příkladě je kódovací kvalita reprezentována střední kvad ratickou chybou (medium square error MSE) mezi vstupním signálem a predikčním signálem:-8 * »• · * 4« * ·· ··· c are stored in the buffer, in this example the coding quality is represented by the medium square error MSE between the input signal and the prediction signal:

MSE(c) = Σ (x_n-x_n)²n=0MSE (c) = Σ (x _n -x _n) ² n = 0

Číslo c se po té zvětší v kroku 54 o jedničku, čímž se vytvoří nová kombinace předvídacích bitů ζθ..z₂ a vypočítá se odpovídající hodnota MSE(c). Delta-modulační sekvence ^xo*’^x20 ^se op^a^uje, dokud nebyly v kroku 55 zpracovány všechny kombinace. Samozřejmě (a proto bez znázornění na obrázku) se pokaždé použije stejný počáteční signál integrátoru. Jestliže byly zpracovány všechny kombinace, určí se k kroku 56 maximální kódovací kvalita Q(c). K tomuto účelu se ve vyrovnávací paměti vyhledá číslo c, pro které je MSE(c) minimální, V kroku 57 se kódovaná sekvence ζθ..ζ₂₀, odpovídající minimální hodnotě MSE, čte z vyrovnávací paměti a vede se na výstupní svorku kodéru. Po té se v subrutině 58 kóduje zbytek x₂i-.Xg9 segmentu vstupních vzorků a v kroku 59 se vede na výstup kodéru. Když se takto zakódoval segment 100 vstupních vzorků, postup se vrací do kroku 50 pro zpracovávání dalšího segmentu.The number c is then increased by one in step 54, creating a new combination of prediction bits ζθ..z ₂ and calculating the corresponding MSE (c). Delta modulation sequence ^x o * ^'x ²⁰ ^ op ^and U is until they were processed at step 55, all combinations. Of course (and therefore not shown), the same integrator start signal is used each time. If all combinations have been processed, the maximum coding quality Q (c) is determined at step 56. For this purpose, in the cache locates the number c for which MSE (c) is minimal, in step 57, the encoded sequence ζθ..ζ ₂₀ corresponding to the minimum MSE value, read from the buffer and passed to the output terminal of the encoder. Subsequently, in the subroutine 58, the remainder x _{2 of the} i-xg9 segment of the input samples is encoded and output at the encoder output at step 59. When the input sample segment 100 is thus encoded, the process returns to step 50 for processing the next segment.

Bude zřejmé, že řada hodnot parametrů ve výše popsaném kódovacím procesu, jako je délka segmentu (zde 100), počet předvídacích bitů (zde 3) a počet výstupních bitů, které jsou vyhodnocovány (zde 20), jsou uváděny pouze jako příklad. Je třena také poznamenat, že kódovací kvalita může být vyjádřena jinými parametry, například největším rozdílem me* · · *« » ►· ·»·It will be appreciated that a number of parameter values in the above coding process, such as segment length (100 here), number of prediction bits (here 3) and number of output bits being evaluated (20 here) are given by way of example only. It is also noted that the coding quality can be expressed by other parameters, for example the greatest difference is

-9zi vstupním vzorkem x_n a odpovídající predikcí x.-9 from the input sample x _n and corresponding prediction x.

Nyní bude popsán modulátor sigma-delta podle vynálezu. Modulace sigma-delta je uvažována pro zaznamenávání vysokokvalitnxho zvukového signálu na zvukovou verzi digitálního univerzálního disku (Digital Versatile Disk - DVD-Audio). Liší se od modulace delta v tom, že se vstupní signál x před kódováním filtruje stejným filtrem, jako je filtr v predikční smyčce modulátoru delta. Filtry ve vstupní trase a zpětnovazební trase jsou potom nahrazeny jediným filtrem v dopředně trase kódovací smyčky.The sigma-delta modulator of the present invention will now be described. Sigma-delta modulation is contemplated for recording a high quality audio signal on an audio version of a Digital Versatile Disc (DVD-Audio). It differs from delta modulation in that the input signal x is filtered prior to encoding by the same filter as the filter in the delta modulator prediction loop. The filters in the input path and the feedback path are then replaced by a single filter in the forward path of the coding loop.

Na obr.6 je znázorněno zapojení pro vkládání doplňkových dat do signálu s modulací sigma-delta podle vynálezu. Zapojení obsahuje běžný modulátor 6 sigma-delta, který obsahuje odečítačku 61, smyčkový filtr 62. detektor 63 polarity a zpětnovazební smyčku 64. Odečítačka 61 odečítá kódovaný výstupní signál z (mající hodnotu +l nebo ”-l) od vstupního signálu x. Rozdílový signál d se filtruje filtrem 62. Filtrovaný signál f je přiváděn do detektoru 63 polarity, který vytváří při rychlosti určované neznázornéným vzorkovacím kmitočtem f , výstupní bit +l pro f>0 a výstupní bit -1” pro f<0. Mezi detektorem 63 polarity a zpětnovazební smyčkou 64 je zapojen stejný modifikační obvod 2, jaký je znázorněn na obr.l. V odezvě na volicí signál s nahrazuje obvod 2 bit kódovaného signálu y vodoznakovým bitem w, který je uložen v registru 3.FIG. 6 shows a circuit for inserting additional data into a sigma-delta modulation signal according to the invention. The wiring includes a conventional sigma-delta modulator 6 which includes a subtractor 61, a loop filter 62, a polarity detector 63, and a feedback loop 64. The subtractor 61 subtracts the encoded output signal z (having a value of + 1 or -1) from the input signal x. The difference signal d is filtered by a filter 62. The filtered signal f is fed to a polarity detector 63 which generates an output bit + 1 for f > 0 and an output bit -1 ' for f < 0 at a rate determined by a sampling rate not shown. Between the polarity detector 63 and the feedback loop 64, the same modification circuit 2 as shown in FIG. 1 is connected. In response to the select signal s, the circuit 2 of the encoded signal y replaces the watermark bit w, which is stored in register 3.

V praktických modulátorech sigma-delta jsou používána různá provedení smyčkového filtru 62. Jako příklad je v celém popisu použit filtr třetího řádu. Pro úplnost je znázorněn na obr.7. Filtr obsahuje tři integrátory, které jsou • · · · • · · · tfc* • « »· ·· * · niLeyidluivVarious embodiments of the loop filter 62 are used in practical sigma-delta modulators. By way of example, a third order filter is used throughout the description. For completeness, it is shown in FIG. The filter contains three integrators, which are tfc * niLeyidluiv

VZajGTíuie SpCjSny V káakauc. Til VyotUpul 2>Íyn<jly jsou označeny jako signály a, b, c. Výstupní signál f filtru je vážená kombinace signálů integrátoru. Na obrázku je pro každý integrátor udáno celé číslo, jemuž předchází symbol #. Toto číslo označuje maximální hodnotu, kterou příslušný integrátor může udržet. Signálové vzorky, které přesahují maximální hodnotu, jsou odřezávány. Jak bude patrné níže, odřezávání se týká provedení modulátoru sigma-delta.VZajGTíuie SpCjSny V kakaakauc. This is indicated by the signals a, b, c. The output signal f of the filter is a weighted combination of the integrator signals. The figure shows an integer for each integrator preceded by the # symbol. This number indicates the maximum value that the integrator can hold. Signal samples that exceed the maximum value are cut off. As will be seen below, trimming refers to an embodiment of a sigma-delta modulator.

Obr.8 znázorňuje tvarové průběhy signálů pro práce zapojení, když je modifikační obvod 2 nečinný. Konkrétněji znázorňuje obrázek vstupní signál x, kódovaný signál z, rozdílový signál d a filtrovaný signál f. Na obrázku jsou také znázorněny tři výstupní signály a, b, c. Průměrná hodnota výstupního signálu modulátoru sigma-delta reprezentuje vstupní úroveň. V tomto příkladě má vstupní signál x úroveň 0,5 V dc, které je kódováno jako bitový proud obsahující (v průměru) tři bity +l a jeden bit -1, podle vztahu:Fig. 8 shows the waveforms of the signals for wiring work when the modifier circuit 2 is idle. More specifically, the figure shows the input signal x, the encoded signal z, the difference signal d, and the filtered signal f. The figure also shows three output signals a, b, c. The average value of the sigma-delta modulator output signal represents the input level. In this example, the input signal x has a level of 0.5 V dc, which is coded as a bit stream containing (on average) three bits + 1 and one bit -1, according to the formula:

2x (+1) + lx(-l)2x (+1) + 1x (-1)

-----------------= o,5----------------- = 0.5

Obr.9 znázorňuje tvarové průběhy signálů pro ilustrování účinku vkládání vodoznakového bitu 90 do kódovaného výstupního signálu z. Jsou znázorněny stejné signály, jako na obr.8. Z porovnání obou obrázků vyplývá, že vodoznakový bit zavádí delší sledy stejných po sobě následujících hodnot bitů v kódovaném signálu z, který indikuje vzrůst kvantizačního šumu. Vodoznak také působí, že v integrátorech se vyskytují velké amplitudy signálu, zejména ve třetím výstupním signálu c integrátoru. Je zřejmé, že toto platí pouze pro ♦Fig. 9 shows waveforms of signals to illustrate the effect of inserting watermark bit 90 into the encoded output signal z. The same signals as in Fig. 8 are shown. A comparison of the two figures shows that the watermark bit introduces longer sequences of the same consecutive bit values in the coded signal z, which indicates an increase in quantization noise. The watermark also causes large signal amplitudes to occur in the integrators, particularly in the third output signal c of the integrator. Obviously, this applies only to ♦

«··· . i ; : ςϊ :«···. i; : ςϊ:

• » · ·» ··· ··· • » » ♦ · · ··· · «· · _lt • · _{lt lt lt lt lt lt lt lt lt} . _Lt.

-11případ, kdy vodoznakový bit a regulérní výstupní bit mají opačné hodnoty,-11When the watermark bit and regular output bit have opposite values,

Obr.lOA-lOD znázorňují kódovaný signál z a signál £ třetího integrátoru v různých podmínkách. Tvarové průběhy, znázorněné na obr.lOA a 10B jsou stejné, jako odpovídající tvarové průběhy, již znázorněné na obr.8 a 9, t.j. jednak s vodoznakovým bitem 90 a jednak bez něj. Obr.lOC znázorňuje účinek nastavování předvídacích bitů 91 a 92 na jednak +1 a jednak -1. Porovnáním s obr.lOB může být patrné, že amplituda výstupního signálu třetího integrátoru je zmenšená a délka sledu po sobě následujících jedniček v kódovaném signálu je zkrácená. Je tak snížena kvantizační chyba. Obr.lOD znázorňuje, že vlastnosti modulátoru sigma-delta jsou ještě dále zlepšeny jiným nastavením předvídacích bitů, a to nastavením jak půedvídacího bitu 91, tak i předvídacího bitu 92 na +1,Figures 10-10 show the coded signal z and the signal 3 of the third integrator in various conditions. 10A and 10B are the same as the corresponding waveforms already shown in FIGS. 8 and 9, i.e., with and without the watermark bit 90. Fig. 10C shows the effect of adjusting the prediction bits 91 and 92 to both +1 and -1. By comparison with FIG. 10B, it can be seen that the amplitude of the output signal of the third integrator is reduced and the sequence of successive ones in the coded signal is shortened. This reduces the quantization error. Fig. 10D shows that the characteristics of the sigma-delta modulator are further improved by differently adjusting the prediction bits by setting both the prediction bit 91 and the prediction bit 92 to +1.

Algoritmus pro určování, která kombinace předvídacích bitů poskytuje nejlepší kódovací kvalitu, může být stejný, jaká již byla popsána pro delta modulátory s odvoláním na obr.5. To znamená, že kvalita Q(c) kódování v dané sekvenci vstupních vzorků (např.x_Q.,x₂₀) se určuje pro různé kombinace c předvídacích bitů (např. ζθ..ζ₂). Po té se zvolí výstupní sekvence, odpovídající nejvyšší kódovací kvalitě. Protože dekódovaný signál není v kodéru sigma-delta k dispozici, je střední kvadratická chyba pro kvalitu kódování méně atraktivní. Bylo zjištěno, že velmi vhodné pro reprezentaci kvality kódování Q jsou následující parametry. Mají výhodu v tom, že se dají snadno vypočítat.The algorithm for determining which combination of prediction bits provides the best coding quality may be the same as already described for delta modulators with reference to Fig. 5. This means that the quality of the Q (c) coding in a given sequence of input samples (eg x _Q. , X ₂₀ ) is determined for different combinations of c prediction bits (eg ζθ..ζ ₂ ). Then the output sequence corresponding to the highest coding quality is selected. Since the decoded signal is not available in the sigma-delta encoder, the mean quadratic error is less attractive to the encoding quality. The following parameters have been found to be very suitable for representing the quality of the Q encoding. They have the advantage of being easy to calculate.

Jedním parametrem je nejdelší sled stejných po sobě v··· *··One parameter is the longest sequence of equal consecutive in ··· * ··

-12nácloHllilPlPh li ’ * 9 · * 9 9 9 · · ··· ··· • * 9 v 9· ·· ^J0‘ '^20·-12classHllilPlPh li '* 9 · * 9 9 9 · · ··· ··· • * 9 in 9 · ·· ^J 0''^ 20 ·

TT. . — ^3__>---1 j _ -I ar .TT. . - ^ 3 __> --- 1 j _ -I ar.

uvcuene nejueisj.uvcuene nejueisj.

sledy jsou označeny symbolem R na obr.lOB-lOD. Zvolí se potom sekvence mající nejkratší nejdelší sled. Je zřejmé, že v daném příkladě je nej lepší volbou sekvence, pro kterou R=4 (obr.lOD).sequences are indicated by the symbol R in FIGS. The sequence having the shortest longest sequence is then selected. Obviously, in the example, the best choice is the sequence for which R = 4 (Fig. 10OD).

Dalším parametrem je amplituda mezi vrcholy, jaká se vyskytuje v daném integrátoru. Mezivrcholová amplituda ve třetím integrátoru je na obr.lOB-lOD označena V. Zvolí se sekvence mající nejnižší amplitudu. Opět se ukazuje, že sekvence, znázorněná na obr.lOD, je nej lepší volba. Bylo zjištěno, že třetí integrátor je velmi vhodný, i když je použit filtr vyššího řádu (>3).Another parameter is the peak-to-peak amplitude that occurs in a given integrator. The inter-vertex amplitude in the third integrator is indicated by V in Fig. 10-10. The sequence having the lowest amplitude is selected. Again, the sequence shown in FIG. 10 is shown to be the best choice. The third integrator has been found to be very suitable, even if a higher order filter (> 3) is used.

Jiným parametrem je střední výchylka signálových hodnot v daném integrátoru.Another parameter is the mean deviation of the signal values in a given integrator.

Dalším kritériem pro volbu kombinace předvídacích bitů může být přítomnost (nebo nepřítomnost) přeplnění v daném integrátoru. Jelikož jsou modulátory sigma-delta velmi citlivé na úrovně vstupního signálu (na rozdíl od delta modulátorů, které jsou citlivé na strmosti vstupního signálu), může v odezvě na vkládání vodoznakového bitu snadno docházet k vkládání vodoznakového bitu. Jak již bylo uvedeno s odvoláním na obr.7, jsou integrátory chráněny proti přeplnění odřezávacím mechanismem, který udržuje každý výstupní signál integrátoru na maximální hodnotě.Another criterion for selecting the combination of the prediction bits may be the presence (or absence) of an overfill in the integrator. Since sigma-delta modulators are very sensitive to input signal levels (as opposed to delta modulators that are sensitive to input signal steepness), watermark bit insertion can easily occur in response to watermark bit insertion. As already mentioned with reference to FIG. 7, the integrators are protected against overfilling by a cut-off mechanism which keeps each integrator output signal at its maximum value.

Obr.llA až 11C znázorňují kódovaný signál Z a výstupní signál c třetího integrátoru při odřezávacích podmínkách. Vstupní signál je opět signál 0,5 V dc. Jako referenční signály jsou na obr.HA znázorněny signál bez vodoznakování.11A-11C show the coded signal Z and the output signal c of the third integrator under cutting conditions. The input signal is again a 0.5 V dc signal. As a reference signal, a signal without watermarking is shown in FIG.

fr *fr *

• frfr ···» «• frfr ··· »«

fr·· • fr · fr fr fr • frfr fr·· *· • fr · • · · •frfr fr frfr frfrfr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr fr

13Podle obr.llB byl do kódovaného signálu vložen vodoznakový bit 95. Jeho poloha se lehce liší od polohy vodoznakového bitu 90 v předchozích příkladech. Položkou 96 je vyznačeno odřezávání v třetím integrátoru, vyplývající z vkládání vodoznakového bitu 90. V provedení modifikačního obvodu jsou zkoušeny různé kombinace předvídacích bitů, až se zjistí kombinace, v níž jiě nedochází k odřezávání. Takový příklad je znázorněn na obr.llB, ukazujícím účinek nastavení předvídacího bitu 97 na +1”.Referring to FIG. 11B, a watermark bit 95 has been inserted into the encoded signal. Its position differs slightly from that of the watermark bit 90 in the previous examples. Item 96 indicates the cutting in the third integrator resulting from the insertion of the watermark bit 90. In the modification circuit design, various combinations of prediction bits are tested until a combination is no longer cut. Such an example is illustrated in FIG. 11B showing the effect of setting the prediction bit 97 to +1 ”.

Je možné shrnout, že vynález přináší způsob a zařízení pro vodoznakování audio- nebo videosignálu. Signál se kóduje kodérem, který obsahuje zpětnovazební smyčku pro řízení kódovacího procesu, jako kodér DPCM nebo modulátor sigma-delta. Vodoznak se vkládá modifikováním zvolených vzorků kódovaného signálu. Uvedené modifikování se provádí před tím, než se kódovaný signál vede zpět ve smyčce, takže kvantizační chyby, které jsou zaváděny vkládaným vodoznakem budou následujícími kódovacími operacemi eliminovány. Kromé toho se také modifikuje jeden nebo více vzorků předcházející zvolený vzorek tak, že chyba zaváděná vodoznakem je dále snížena. Toho se dosahuje předvídáním toho, které z modifikací předchozích vzorků (nebo jejich kombinací) poskytuje nej lepší kvalitu kódování.In summary, the invention provides a method and apparatus for watermarking an audio or video signal. The signal is encoded by an encoder that includes a feedback loop to control the encoding process, such as a DPCM encoder or a sigma-delta modulator. The watermark is inserted by modifying selected samples of the encoded signal. Said modification is performed before the encoded signal is fed back in the loop, so that the quantization errors that are introduced by the embedded watermark will be eliminated by subsequent encoding operations. In addition, one or more samples preceding the selected sample are also modified such that the error introduced by the watermark is further reduced. This is achieved by predicting which of the modifications of the previous samples (or combinations thereof) provides the best coding quality.

• 9 • 9 V IN • • 9 9 • 9 • 9 V 9 • 9 V 9 • 9 • 9 * • 9 * 9 9 • • • 9 • 9 9·· 9 ·· • 9« • 9 « • 9 • 9 9 9 • • • • • • • • 999· »9« 999 · »8« 99· 99 · • 9 • 9 • 9 • 9 99 99 -14- -14-

PATENTOVÉ nárokyPATENT Claims

Claims

CLAIMS 1. A method of inserting additional data into a signal, which encodes a signal in an encoding process comprising feedback encoded signal feedback to control said coding, and selected samples of the coded signal are modified to represent said additional data, characterized in that modifying the selected samples is performed. prior to said feedback feedback of the encoded signal and comprising modifying at least one additional sample of the encoded signal preceding the selected sample if it is found that modifying the next sample improves the quality of the encoding process.

Method according to claim 1, characterized in that, in said further modification, a signal segment with different combinations of further modified samples is sequentially coded until a combination corresponding to a higher coding quality is found.

3. The method of claim 1, wherein said further modification sequentially encodes a signal segment with different combinations of other modified samples, determines the coding quality for each combination, and selects the combination corresponding to the highest coding quality.

The method of claim 1, wherein the encoded signal is decoded and the quantization error amount between the decoded signal and the input signal is determined, wherein the encoding quality is represented by said quantization error amount.

Method according to claim 1, characterized in that the encoding

-15 · I Π Π Π Π Π Π Π Π Π Π Π Π Π Π Π Π Π Π Π Π je je je je je je je je je je je je je je je je je je je je je 9 9

The method of claim 5, wherein the encoding is sigma-delta modulation.

Method according to claim 6, characterized in that the coding quality is represented by the longest sequence of consecutive identical values of the coded signal with additional data embedded.

Method according to claim 6, characterized in that the coding quality is represented by the inter-peak amplitude occurring in the selected loop filter stage in the sigma-delta modulator.

The method of claim 6, wherein the coding quality is represented by the mean amplitude variation at the selected loop filter stage in the sigma-delta modulator.

Method according to claim 6, characterized in that the coding quality is represented by the occurrence of the maximum amplitude at the selected stage of the loop filter in the sigma-delta modulator.

An apparatus for inserting additional data into a signal, comprising an encoder for signal encoding, comprising a feedback loop for returning the encoded signal to control the encoder, and means for modifying selected samples of the encoded signal to represent said supplemental data, characterized in that the feedback loop is connected to reverse the modified coded signal, wherein the modifying means is arranged to modify at least one further sample of the coded signal, precedes ♦ · · <· ** «

A sample is selected if sc finds that said modification of another sample improves the quality of the encoding process.

Device according to claim 11, characterized in that the encoder is a bit-by-bit encoder.

13. The apparatus of claim 11, wherein the encoder is a sigma-delta modulator.

14. A signal with embedded supplemental data encoded by a given encoding process and selected signal samples representing said supplemental data, wherein at least one of the samples preceding the selected sample is different from a sample corresponding to said given encoding process.

The stored signal storage medium of claim 1

14.