EP1557043A1 - Device for marking and restoring multimedia signals - Google Patents

Device for marking and restoring multimedia signals

Info

Publication number
EP1557043A1
EP1557043A1 EP03786001A EP03786001A EP1557043A1 EP 1557043 A1 EP1557043 A1 EP 1557043A1 EP 03786001 A EP03786001 A EP 03786001A EP 03786001 A EP03786001 A EP 03786001A EP 1557043 A1 EP1557043 A1 EP 1557043A1
Authority
EP
European Patent Office
Prior art keywords
signal
module
marking
transformed
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP03786001A
Other languages
German (de)
French (fr)
Inventor
Christine Guillemot
Stéphane PATEUX
Gaétan LE GUELVOUIT
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institut National de Recherche en Informatique et en Automatique INRIA
Original Assignee
Institut National de Recherche en Informatique et en Automatique INRIA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institut National de Recherche en Informatique et en Automatique INRIA filed Critical Institut National de Recherche en Informatique et en Automatique INRIA
Publication of EP1557043A1 publication Critical patent/EP1557043A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/467Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32154Transform domain methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32154Transform domain methods
    • H04N1/32187Transform domain methods with selective or adaptive application of the additional information, e.g. in selected frequency coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32352Controlling detectability or arrangements to facilitate detection or retrieval of the embedded information, e.g. using markers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3233Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of authentication information, e.g. digital signature, watermark
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3269Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs
    • H04N2201/327Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs which are undetectable to the naked eye, e.g. embedded codes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/328Processing of the additional information
    • H04N2201/3281Encryption; Ciphering

Definitions

  • the present invention relates to a device for marking and rendering multimedia signals.
  • the marking of a multimedia signal also known as the watermarking method, consists in invisibly inserting a message in the multimedia signal before its transmission in order to be able to reproduce it legibly on reception.
  • a set of private or public keys is often used so as not to offer the possibility to unauthorized persons to find or even remove the hidden message.
  • the fields of application of a multimedia signal marking method are numerous.
  • the content of the multimedia message can be altered in different ways.
  • it can be altered following the use of a representation format introducing degradations, such as lossy coding (for example, JPEG for still images, MPEG for video or even MP3 for audio) or alternatively by various acquisition methods such as analog recording, printing or "scanning" for an image.
  • lossy coding for example, JPEG for still images, MPEG for video or even MP3 for audio
  • acquisition methods such as analog recording, printing or "scanning" for an image.
  • the content of a multimedia signal can also be altered following reshaping, for example when selecting a portion of an audio file or when cropping an image.
  • the content of a multimedia signal can also be intentionally attacked in order to defeat the message extraction process. This can be done by adding noise to the signal, using a filtering technique or using desynchronizing techniques (for example, geometric transformation for images or frequency change for sound files). In this context of applications, it is important to ensure that the inserted message can be extracted correctly whether the content has undergone intentional modifications or not.
  • Another framework of applications relates to the provision, by means of a watermarking process, of a channel for transmitting information in a non-perceptible manner and linked to the content itself of the multimedia signals.
  • This adjacent channel can then be used, depending on its capacity, to transmit any useful information.
  • additional information such as a teletext service or subtitles
  • a COFDM type modulation technique is used, commonly used in digital communication, where bj bits define the message and are modulated by several carriers defined by public and private keys. The signal thus modulated is added to the original signal. Upon extraction, a demodulation makes it possible to find the inserted bits bj.
  • this labeling technique suffers from imperfections because the host signal can interfere with the carriers used, the inserted signal may be visible or the re-synchronization may be imperfect.
  • the object of the invention is to remedy this situation.
  • the invention provides for this purpose a signal processing device comprising a signal transformation module capable of producing a transformed signal from a signal original and a mixer module intended to mark the signal transformed by a marking message.
  • the mixer module comprises:
  • a formatting module capable of calculating a response of the transformed signal to the demodulation of a first set of carriers defined by message protection keys and of calculating marking information as a function of this response and of code words associated with the marking message
  • a modulator capable of modulating the marking information supplied by the shaping module by a given coefficient of the carriers of the first set of carriers, and of modulating in amplitude the coefficient thus obtained by a corresponding quantity linked to the weighting term of the energy of the marking message and to the set of carriers, which provides a marking coefficient
  • an adder capable of adding the marking coefficient to the corresponding coefficient of the original transformed signal.
  • the device of the invention implements a channel coding technique with on-board information.
  • the components of the marking information are information with floating values defined in such a way that their insertion compensates for the response of the host signal.
  • the shaping module comprises a demodulator intended to perform the demodulation, this demodulator being able to multiply each coefficient of the transformed signal by the corresponding coefficient of a given carrier of the first set of carriers, by the perceptual weight of distortion and by the attenuation factor associated with the coefficient of the transformed signal, and adding the coefficients thus determined, which provides a component of the response of the transformed signal.
  • the formatting module is also able to calculate the marking information from a predetermined parameter, from a first vector associated with a particular code word of the marking message and from a second vector forming with said first vector a normalized orthogonal base defining a hyperplane.
  • the particular code word is obtained by splitting a quadratic error criterion between the code words associated with the marking message and the normalized value of the response of the transformed signal to demodulation.
  • Each component of the second vector is proportional to the difference between the corresponding component of the response to demodulation and the projection of the vector representing the response to demodulation on a unit vector collinear with the first vector.
  • the predetermined parameter corresponds to the angle between the vector representing the marking information and the first vector, this parameter being determined by maximizing the relation:
  • - uo represents the scalar product entered the vector representing the response to the demodulation and the first vector, divided by the number m of components of the response to the demodulation
  • the mixer comprises a scaling module capable of modulating in amplitude each coefficient of the signal supplied by the adder circuit by an amount linked to the energy weighting term of the marking message and the variance of the corresponding coefficient of the transformed signal.
  • This quantity is defined by aj; / ( ⁇ j- + ⁇ ⁇ ), where ⁇ ⁇ 2 is the term defining the energy of the marking message and ⁇ 1 is the variance of the corresponding coefficient of the transformed signal.
  • the device comprises a reverse transformation module at the output of the mixer, capable of carrying out on the marked signal a reverse transformation from that carried out by the transformation module, and a signal transformation module capable of transformed the resynchronized marked signal, which provides a transformed marked signal.
  • the device can also include an extraction device at the output of the reverse transformation module for extracting the message from the marked signal, this extraction device comprising a resynchronization module capable of resynchronizing the marked signal.
  • the extraction device is capable of calculating a response of the resynchronized marked signal to the demodulation of a second set of carriers defined by message protection keys, which provides an estimate of the marking information inserted.
  • the first set of carriers and the second set of carriers are identical.
  • the extraction device may comprise a demodulator intended to perform the demodulation, this demodulator being able to multiply each coefficient of the marked signal resynchronized by the corresponding coefficient of a given carrier of the second set of carriers and by the perceptual weight of distortion associated with said coefficient of the resynchronized marked signal, and adding the coefficients thus determined, which provides a component of the estimation of the marking information.
  • the extraction device may include a carrier generator module capable of generating the second set of carriers from the message protection keys.
  • the extraction device can also include a decoder capable of determining the code word closest to the estimation of the marking information by maximizing a quadratic error criterion between a set of code words and the estimate of the tagging information, which provides the tagging message.
  • the processing device can also comprise a module for defining insertion parameters coupled to the mixer module capable of determining the energy weighting term of the marking message and the attenuation factor from the intrinsic properties of the signal, the constraints of the application domain, and the properties of the transformation used.
  • the module for defining insertion parameters is capable of calculating two global insertion parameters as a function of the insertion distortion D ⁇ between the original signal and the signal marked in the transformed space, of the distortion d 'maximum tolerated attack D ⁇ . between the original signal and the resynchronized marked signal, in the transformed space, and of the signal to noise ratio between the energy of the marking message and the attack noise Eb / No.
  • the two global insertion parameters are calculated by looking for the parameters ⁇ and ⁇ which maximizes the relationship:
  • the module for defining insertion parameters is capable of calculating the energy weighting term of the marking message and the attenuation factor from the two determined global insertion parameters.
  • FIG. 1 illustrates the composition of a system for transmitting marked multimedia signals for the implementation of the invention
  • FIG. 2 is a general organization of the insertion device of FIG. 1,
  • FIG. 3 is a general organization of the extraction device of FIG. 1,
  • FIG. 4 is a functional diagram of the insertion module of FIG. 2,
  • FIG. 5 is a functional diagram of the mixer module of Figure 4
  • - Figure 6 is a graphical representation for assessing the robustness of a signal, following the addition of noise energy given
  • FIG. 7 is a functional diagram of an embodiment of the extraction module of FIG. 3, and
  • FIG. 8 is the diagram of a mechanism used in one embodiment.
  • Annex I lists the various notations used in the description.
  • Appendix JJ lists the mathematical formulas used in the description.
  • the device for marking and rendering multimedia signals for implementing the invention shown diagrammatically in FIG. 1, consists of a device for inserting a marker message 1 and a device for extraction of the marker message
  • the message insertion device 1 develops a marking of a multimedia signal S to be transmitted through an application domain 3, from the content of a marker message M.
  • the marking technique used is an additive technique putting in implements a spread spectrum modulation method. It is similar to the COFDM type modulation technique commonly used in digital communication.
  • the components bj which define the marker message M are modulated by carriers defined by public and private keys, and applied to the input of the insertion device. The signal thus modulated is added to the original signal S. On extraction, a demodulation makes it possible to find the components inserted bj of the marker message.
  • an amplitude modulation of the added signal is carried out as a function of the energy of the mark added to each coefficient of the signal in the transformed domain.
  • another amplitude modulation is performed on each marked coefficient. This second modulation corresponds to a Wiener filter aimed at limiting the noise thus added to the host signal.
  • the components bj correspond to the bits defining the message to be inserted after a possible use of correcting codes.
  • a channel coding technique with edge information is used.
  • the components bj of this marking model are then information with floating values.
  • the marking process described below, takes into account such a marking model and optimizes it in order to resist attacks of the noise addition, filtering and partial desynchronization type, modeling the various processing operations which a signal can undergo fairly well. .
  • the insertion device shown in FIG. 2, comprises an insertion module 4 coupled upstream to a transformation module 5 and downstream to a reverse transformation module 6.
  • the original signal S defined in a first space
  • the transformation module 5 is applied to the transformation module 5 to be transformed into a number n of coefficients xi, defined in a second space.
  • Any transformation process can be implemented without excluding the identity transformation which leads to working directly on the original signal.
  • Different transformations can be used, such as the Fourier transformation, the discrete cosine transformation or the wavelet transformation.
  • the message M to be inserted is applied in the insertion module 4 to the different coefficients xi of the transformed signal to form coefficients marked yi.
  • the coefficients marked yi are then applied to the reverse transformation module 6 in order to undergo a reverse transformation from that applied before marking and thus restore a marked signal close to the original signal.
  • This marked signal is then transmitted to an extraction device, as shown in FIG. 3.
  • the extraction device 2 which is represented inside a closed line in dotted lines, comprises a transformation module 7 coupled upstream to a resynchronization module 8 and downstream to a module extraction 9.
  • the marked signal received is firstly resynchronized by the resynchronization module 8, then transformed by the transformation module 7 into a series of coefficients yi 'by a transformation identical to that which was used during the insertion .
  • the coefficients yi ' are then applied to the extraction device 9 to extract the marking signal M.
  • the resynchronization process used can be arbitrary (exhaustive search linked to the insertion of a pilot signal or to an intrinsic property of the mark ) or even implicit thanks to the insertion in a domain invariant to desynchronizations (for example, amplitudes in a Fourier domain or Fourier-Mellin transformation).
  • FIG. 4 An embodiment of the insertion module 4 is shown in FIG. 4, inside a closed line in dotted lines.
  • This module includes a mixer module 10, a signal analysis module 11, an intrinsic properties analysis module 12 and a module for defining global insertion parameters 13.
  • the insertion of a message M into a signal with coefficients xi begins in module 11 with an analysis which makes it possible to define the properties linked to the signal, namely the perceptual weighting weight in the distortion metric ⁇ i, defined for each coefficient xi of the original signal transformed as a function of the value of the variance ⁇ ⁇ 2 of the corresponding coefficient.
  • the perceptual weighting weight ⁇ i of each coefficient xi of the signal is a function of the type of signal processed, the transformation used and the values of. signal observed.
  • any method can be used.
  • vi represents a neighborhood of the coefficient considered.
  • An example of a more suitable model for images taking into account masking phenomena can be defined by the relation (3), expressed in appendix II to the description.
  • ⁇ bi 2 corresponds to a visibility threshold for the i-th coefficient
  • Ni corresponds to a local masking force factor defined by a sliding average over the neighborhood vi of the coefficient considered, according to relation (4) of Annex II.
  • p is a parameter of the order of 0.5 to 1 (typically the values 0.5, 0.6 and 0.7 are the most commonly used).
  • application parameters ai, bi and ci are determined by the intrinsic properties analysis module 12, for each coefficient xi.
  • the parameter ai represents the degree of interference with the original signal
  • the parameter bi the degree of self-interference of the inserted signal
  • the parameter ci is the site attenuation parameter.
  • the application parameters ai, bi and ci make it possible to take into account a phenomenon of desynchronization on each site, that is to say on each carrier frequency of the space. transformed.
  • a desynchronization ⁇ on the i-th site, representing the precision of the localization of the coefficient, one will typically use the values defined by the relations (5) of appendix II to the description.
  • module 13 estimates the global insertion parameters ⁇ and ⁇ . From these global insertion parameters, the module 13 then determines the insertion parameters ⁇ i and ⁇ ⁇ , defining the intrinsic properties of the marking signal.
  • the first insertion parameter Ni represents the attenuation factor of the site considered and the second insertion parameter ⁇ ⁇ represents the weighting term of the labeling energy.
  • the message M is inserted into the transformed signal ⁇ xi ⁇ by the mixer module 10 from the application parameters ai, bi and ci, calculated by module 12, of the perceptual weighting weight ⁇ ⁇ i ⁇ and the variance ⁇ ⁇ 2 ⁇ calculated by the signal analysis module 11, and the insertion parameters ⁇ ⁇ and ⁇ i estimated by the module 13.
  • the mixer module comprises a demodulator 15 which estimates the response rx of the original signal transformed to a demodulation of a first set of carriers ⁇ G j .
  • This demodulation takes into account the values of the perceptual weighting weight ⁇ i and the values of the attenuation factor ⁇ i.
  • the mixer module 10 further comprises a carrier generator 16 which generates the first set of m carriers ⁇ G j ⁇ from public or private keys.
  • a carrier generator 16 which generates the first set of m carriers ⁇ G j ⁇ from public or private keys.
  • Each component rxj of the response of the original transformed signal is determined from the relation ⁇ i e [ i , n] i ( ⁇ i.xi) .Gr £ jS
  • G ⁇ denotes the i-th coefficient of the j-th carrier supplied by the carrier generator 16.
  • the mixer module 10, shown in FIG. 5, also includes a module 14 for formatting the message capable of providing m components bj defining the message to be inserted, from the responses rxj supplied by the demodulator 15 and a set of U code words applied to the formatting device 14 at the same time as the marking message M.
  • the values of the n coefficients ⁇ yi ⁇ of the signal after marking are then calculated from these components bj, via a modulator 18, an adder 20 and a scaling module 17, according to the relation (6) of the Annex II to the description.
  • the carrier generator device 16 supplies the carriers G y to the modulator 18 to modulate the components bj.
  • the modulator 18 modulates the components bj of the marking information by the carriers Gy to provide n coefficients relating to the marking information.
  • the i-th coefficient relating to the marking information is given by the relation ⁇ jS 1; m] bjG.
  • the modulator 18 then supplies the adder circuit 20 with a number n of coefficients relating to the marking information of the form:
  • the scaling module 17 therefore provides the signal marked with coefficients yi in the transformed space, as indicated by the relation (6) of appendix II.
  • the formatting module 14 receives a message M to be inserted, which is defined from a set of code words U.
  • This set is of size 2 C + R and is divided into 2 nd subsets U M.
  • Each of these subsets has 2 R code words and are associated with each of the 2 nd possible messages.
  • Any method of generating these code words and grouping these code words into a sub-assembly U M can be used. Among these, one can in particular quote the code words generated by a system of correcting codes (for example, the first C bits are useful bits which identify the message, while the last R bits are bits of adaptation to the host signal which identifies the code word used for the message M).
  • the shaping module 14 also receives the response rx of the original transformed signal, supplied by the demodulator 15. To determine the components rxj of this response, the demodulator 15 first provides an estimate according to the relationship ( ⁇ i.xi) -Gi j s indicated above. Then it renormalizes this estimate adequately in rxj so that the insertion of rxj, using the technique proposed previously by equation (6), compensates for the response of the host signal at the point of attack considered defined by the parameters d 'attack, whether this attack is materialized by adding noise and filtering or by partial desynchronization.
  • the shaping module 14 searches for a code word U k , among the code words associated with the message M to be inserted, minimizing the quadratic deviation criterion defined by the relation (7) of appendix TJ to the description, from the rx response to the original transformed signal.
  • This code word represents a vector U k having m components U y .
  • the shaping module 14 From this code word U k and from the response rx supplied by the demodulator 15, the shaping module 14 defines a vector V of dimension m having components defined by the relation (8) of appendix II, where the notation ⁇ A
  • B> ⁇ AjBj represents the dot product between two vectors A and B.
  • the shaping module 14 defines a vector N of components Nj according to the relation (9) of appendix II, so that the vector N is proportional to the vector N 'and that the we have ⁇ N
  • N> 0 or ⁇ N
  • N> m, depending on whether N 'is zero or not.
  • this vector N has the property of being orthogonal to the vector U k .
  • the shaping module 14 searches for the value of a parameter ⁇ maximizing the relation (10) formulated in appendix H, from parameters uO, vO and K determined as a function of the response to the original transformed signal rx, of the vector U k and of the vector N.
  • parameters uO, vO and K are defined by the relations (11) also incorporated in appendix ⁇ .
  • the shaping module 14 calculates the values of the components bj from the parameter ⁇ thus determined, and of the components U ⁇ and N j of the vectors U k and N, according to the relation (12) of appendix H.
  • the purpose of calculating the values of the components bj is to define the signal to be added so that the response of the demodulator used during the extraction is consistent with that of the code word U k and as robust as possible.
  • Robustness is defined by equation (10). This robustness corresponds to the energy level of the noise that can be added without leaving the cone associated with the code word U k in FIG. 6.
  • the vectors U k represented by the vector u
  • the vector N represented by the vector v
  • the vector v form a normalized orthogonal base defining the hyperplane containing the response vector rx and the code vector U k .
  • the displacement (cos ⁇ , sin ⁇ ) defines the signal that can be added.
  • the maximization of equation (10) then amounts to searching for the vector of components bj maximizing the robustness. Referred to each component of the modulation (ie bj values), this is then expressed by equation (12).
  • Figure 6 shows a geometric interpretation of this definition.
  • the cone represented by the hatched area represents F set of values leading to a correct decoding of the code word.
  • the vector w corresponds to the vector of components bj and x corresponds to the vector rx.
  • Hn hyperbolas correspond to responses of constant robustness (i, e following the addition of noise of a given energy).
  • This technique aimed at limiting the interference of the host signal corresponds to the channel coding technique with on-board information.
  • the general principle of this channel coding technique was initially proposed by Costa in an article entitled “Writing on dirty paper", IEEE Trans. Info. Thy, 29 (3): 439-441, May 1983. In the context of the invention this technique is applied to the information resulting from the demodulation of the Gy carriers.
  • the module for defining global insertion parameters 13 defining the intrinsic properties of the marking device is described in more detail below.
  • the definition module 13 firstly searches for the pair of global parameters ( ⁇ , ⁇ ), to define the insertion parameters.
  • the optimal couple ( ⁇ , ⁇ ) sought can be defined by specifying two properties among the following three which are:
  • the system searches for the couple ( ⁇ , ⁇ ) leading to the highest value of the ratio Eb / N 0 , or for Eb / N 0 and D ⁇ given, the system searches for the couple ( ⁇ , ⁇ ) leading to the most high value of D ⁇ ", or again for Eb / N 0 and D ⁇ . given, the system searches for the couple ( ⁇ , ⁇ ) leading to the smallest value of D ⁇ .
  • the module 13 After determining the global insertion parameters ( ⁇ , ⁇ ), the module 13 then determines the insertion parameters ⁇ i and ⁇ ⁇ .
  • ⁇ i and ⁇ ⁇ are auxiliary working variables, functions of ⁇ and ⁇ , which define the insertion properties for a site i corresponding to the position of a coefficient xi in the spectrum of the transformed signal.
  • the couple ( ⁇ i, ⁇ ⁇ is determined by the execution of the steps of the flowchart represented on the figure 8.
  • step 100 ⁇ ⁇ is sought, in the interval [0, ⁇ hT ⁇ 1 1 ci] which maximizes the function (16) of appendix II, with ⁇ i given by the relation (17) of appendix II .
  • the device tests if ⁇ i ⁇ O and ⁇ i [ ⁇ 1 / ( ⁇ ⁇ 2 + ⁇ ⁇ 2 )]: - If ⁇ i ⁇ O and ⁇ i ⁇ [ ⁇ ⁇ 2 / ( ⁇ ⁇ 2 + ⁇ ⁇ 2 )], the couple ( ⁇ i, ⁇ ⁇ ) is used in step 104;
  • the theoretical basis on which the developments described above are based is as follows.
  • the different expressions used for the definition of the insertion parameters correspond to the expressions linked to a statistical modeling of the different signals and to a fairly general attack model.
  • the coefficients xi are supposed to follow a Gaussian probability law of mean 0, and of variance oj; and be independent.
  • the attacks considered are of the "scaling" type (factors ⁇ i) and addition of Gaussian noise with variance ⁇ ⁇ i 2 .
  • the scale factor also makes it possible to take proper account of the filtering techniques that can be applied.
  • the novelty of the approach proposed here is to consider non-identically distributed signals, the use of a perceptual metric, taking into account partial desynchronization and the use of an insertion / extraction technique based on the use of a COFDM type modulation (acronym for "Coded Orthogonal Frequency Division Multiplex ", encoded orthogonal frequency multiplexing) spread spectrum used on all coefficients.
  • the defender seeks to maximize this performance measure under a maximum insertion distortion constraint D ⁇ y _max.
  • Eb N 0 represents the signal to noise ratio between the energy of the hidden message and the attack noise.
  • the extraction of a message inserted after attacks is carried out in two phases in the extraction device 2.
  • a linear demodulation is carried out in order to obtain observations bj with je [l, m].
  • the extracted message is defined searching for the code word close to the observations.
  • the signal marked yi is resynchronized by the resynchronization module 8, then transformed by the transformation module 7 into a series of coefficients yi 'by a transformation identical to that which was used during the insertion.
  • the extraction module which is represented in FIG. 7 comprises a demodulator 21coupled to a decoder of the extracted message.
  • the demodulator 21 calculates a response of the signal ⁇ yi 1 ⁇ to a demodulation of a second set of carriers G j supplied by a generator of carriers 23, according to the relation (19) of appendix U.
  • This demodulation takes into account the perceptual weighting weight ⁇ i calculated from an analysis performed by a module 24 for analyzing the signal yi '.
  • the demodulation is based on the extraction of an estimate of the message inserted bj by the relation (19) of appendix II, on all the marked sites.
  • the second set of carriers is identical to the first set of carriers produced by the carrier generator module 16 of the insertion module.
  • the decoding of the message takes place after its estimated formatting bj. It consists in searching for the code word U k closest to the estimated values bj by the relation (20) defined in appendix II.
  • the message associated with the code word U k then corresponds to the extracted message.
  • an exhaustive search method or alternatively take advantage of any rapid search technique linked to the definition of the code words used, by using channel code decoding technique. for example.
  • - ⁇ i perceptual weighting weight for the i th coefficient in the distortion metric. These weights are defined in relation to the type of signal processed, the transformation used and the values of the signal observed. - D ⁇ : insertion distortion. -D ⁇ .: attack distortion.
  • Attenuation parameter of a site (for example linked to its sensitivity to desynchronizing attacks); this term depends on the transformation space used and on the order of magnitude of the expected desynchronization error following the resynchronization carried out on extraction, and on the tolerations degraded.
  • They can for example be thus generated via a secret key and a random number generator controlled by this secret key.
  • -2 e number of existing messages likely to be inserted into the signal.
  • -U set of code words used.
  • 2 C + R area code words are defined, and grouped into 2 R subsets U M associated with the various existing M messages.
  • -U k code word used, of size m and defined by the values Uy with je ⁇ 1, .., m ⁇ .
  • Perceptual parameter ⁇ i perceptual weights of distortion of the signal coefficients.
  • N'j rxj- ⁇ rx

Abstract

The invention concerns a device for processing a signal comprising a signal transforming module (5) capable of producing a transformed signal (xi) from an original signal and a mixing module (10) for marking the transformed signal with a marking message (M). The mixing module (10) comprises: a formatting module (14) capable of calculating a response of the transformed signal (rx) to the demodulation of a first set of carriers (Gj) defined by keys protecting the message and of calculating a marking information ({bj}) based on said response and code words (U) associated with the marking message, a modulator (18) capable of modulating marking data supplied by the formatting module (14) with a given coefficient (Gij) of the carriers of the first set of carriers, and of modulating in amplitude the resulting coefficient by a corresponding quantity related to the energy weighting term of the marking message and to the set of carrier, thereby supplying a marking coefficient, an adder (20) capable of adding the marking coefficient to the corresponding coefficient of the original transformed signal.

Description

Dispositif pour le marquage et la restitution de signaux multimédia.Device for marking and restoring multimedia signals.
La présente invention concerne un dispositif pour le marquage et la restitution de signaux multimédia.The present invention relates to a device for marking and rendering multimedia signals.
Le marquage d'un signal multimédia, encore connu sous le nom de procédé de tatouage, consiste à insérer de façon invisible un message dans le signal multimédia avant sa transmission afin de pouvoir le restituer de façon lisible en réception. Pour garantir le secret du message inséré, un ensemble de clés privées ou publiques est souvent utilisé afin de ne pas offrir la possibilité à des personnes non autorisées de retrouver, voir d'enlever le message caché.The marking of a multimedia signal, also known as the watermarking method, consists in invisibly inserting a message in the multimedia signal before its transmission in order to be able to reproduce it legibly on reception. To guarantee the secrecy of the inserted message, a set of private or public keys is often used so as not to offer the possibility to unauthorized persons to find or even remove the hidden message.
Les domaines d'application d'un procédé de marquage de signaux multimédia sont nombreux.The fields of application of a multimedia signal marking method are numerous.
Tout d'abord, dans un contexte de protection, il peut être intéressant d'insérer dans le contenu d'un signal multimédia un message caché permettant par la suite d'identifier ce contenu, de connaître le propriétaire de ce contenu ou bien encore de connaître les règles d'utilisation de ce contenu, telles que par exemple le droit de diffusion ou le droit de copie.First of all, in a protection context, it may be interesting to insert in the content of a multimedia signal a hidden message allowing subsequently to identify this content, to know the owner of this content or even to know the rules for using this content, such as for example the right to broadcast or the right to copy.
Cependant, le contenu du message multimédia peut être altéré de différentes façons. Par exemple, il peut être altéré suite à l'utilisation d'un format de représentation introduisant des dégradations, tel qu'un codage avec perte (par exemple, JPEG pour les images fixes, MPEG pour la vidéo ou bien encore MP3 pour l'audio) ou bien encore par divers procédés d'acquisition tels que l'enregistrement analogique, l'impression ou le "scanning" pour une image.However, the content of the multimedia message can be altered in different ways. For example, it can be altered following the use of a representation format introducing degradations, such as lossy coding (for example, JPEG for still images, MPEG for video or even MP3 for audio) or alternatively by various acquisition methods such as analog recording, printing or "scanning" for an image.
Le contenu d'un signal multimédia peut aussi être altéré suite à une remise en forme, par exemple lors d'une sélection d'une portion d'un fichier audio ou lors du recadrage d'une image. Le contenu d'un signal multimédia peut aussi subir des attaques intentionnelles dans le but de mettre à défaut le procédé d'extraction du message. Ceci peut être effectué en ajoutant du bruit au signal, en utilisant une technique de filtrage ou en utilisant des techniques désynchronisantes (par exemple, la transformation géométrique pour les images ou le changement de fréquence pour les fichiers sonores). Dans ce cadre d'applications, il est important d'assurer que le message inséré puisse être extrait correctement que le contenu ait subi des modifications intentionnelles ou non.The content of a multimedia signal can also be altered following reshaping, for example when selecting a portion of an audio file or when cropping an image. The content of a multimedia signal can also be intentionally attacked in order to defeat the message extraction process. This can be done by adding noise to the signal, using a filtering technique or using desynchronizing techniques (for example, geometric transformation for images or frequency change for sound files). In this context of applications, it is important to ensure that the inserted message can be extracted correctly whether the content has undergone intentional modifications or not.
Un autre cadre d' applications concerne la mise à disposition, grâce à un procédé de tatouage, d'un canal de transmission d'informations de façon non perceptible et lié au contenu lui- même des signaux multimédia. En particulier, ceci peut être intéressant dans le cas d'un transcodage ou d'une diffusion ultérieure du contenu, où l'existence et/ou la pérennité d'un tel canal de transmission n'est pas garantie. Ce canal adjacent peut alors être utilisé, suivant sa capacité, pour transmettre toute information utile. On peut citer à titre d'exemple l'insertion de méta-dorinées décrivant le contenu tatoué (telles que l'identifiant du contenu ou la description d'éléments du contenu) qui peuvent être utilisées ultérieurement afin d'assurer un service à valeur ajoutée, ou bien encore des informations annexes (telles qu'un service de type télétexte ou des sous-titres). Ici encore, il est important de pouvoir extraire ces informations suite à différentes manipulations du contenu, principalement du transcodage et donc de disposer d'un système de tatouage robuste.Another framework of applications relates to the provision, by means of a watermarking process, of a channel for transmitting information in a non-perceptible manner and linked to the content itself of the multimedia signals. In particular, this can be interesting in the case of a transcoding or a subsequent dissemination of the content, where the existence and / or the sustainability of such a transmission channel is not guaranteed. This adjacent channel can then be used, depending on its capacity, to transmit any useful information. We can cite as an example the insertion of meta-dorées describing the tattooed content (such as the identifier of the content or the description of elements of the content) which can be used later in order to ensure a value-added service , or even additional information (such as a teletext service or subtitles). Here again, it is important to be able to extract this information following various manipulations of the content, mainly transcoding and therefore to have a robust tattoo system.
Dans des dispositifs de marquage connus, on utilise une technique de modulation de type COFDM, couramment utilisée en communication numérique, où des bits bj définissent le message et sont modulés par plusieurs porteuses définies par des clés publiques et privées. Le signal ainsi modulé vient s'ajouter au signal original. A l'extraction, une démodulation permet de retrouver les bits insérés bj. Cependant cette technique de marquage souffre d'imperfections car le signal hôte peut interférer sur les porteuses utilisées, le signal inséré peut être visible ou encore la re-synchronisation peut être imparfaite.In known marking devices, a COFDM type modulation technique is used, commonly used in digital communication, where bj bits define the message and are modulated by several carriers defined by public and private keys. The signal thus modulated is added to the original signal. Upon extraction, a demodulation makes it possible to find the inserted bits bj. However, this labeling technique suffers from imperfections because the host signal can interfere with the carriers used, the inserted signal may be visible or the re-synchronization may be imperfect.
Le but de l'invention est de remédier à cette situation.The object of the invention is to remedy this situation.
L'invention propose à cet effet un dispositif de traitement d'un signal comprenant un module de transformation de signal capable de produire un signal transformé à partir d'un signal original et un module mélangeur destiné à marquer le signal transformé par un message de marquage. Selon une caractéristique de l'invention, le module mélangeur comprend :The invention provides for this purpose a signal processing device comprising a signal transformation module capable of producing a transformed signal from a signal original and a mixer module intended to mark the signal transformed by a marking message. According to a characteristic of the invention, the mixer module comprises:
- un module de mise en forme capable de calculer une réponse du signal transformé à la démodulation d'un premier ensemble de porteuses définies par des clés de protection du message et de calculer une information de marquage en fonction de cette réponse et de mots de codes associés au message de marquage,a formatting module capable of calculating a response of the transformed signal to the demodulation of a first set of carriers defined by message protection keys and of calculating marking information as a function of this response and of code words associated with the marking message,
- un modulateur capable de moduler les informations de marquage fournies par le module de mise en forme par un coefficient donné des porteuses du premier ensemble de porteuses, et de moduler en amplitude le coefficient ainsi obtenu par une quantité correspondante liée au terme de pondération de l'énergie du message de marquage et à l'ensemble de porteuses, ce qui fournit un coefficient de marquage,a modulator capable of modulating the marking information supplied by the shaping module by a given coefficient of the carriers of the first set of carriers, and of modulating in amplitude the coefficient thus obtained by a corresponding quantity linked to the weighting term of the energy of the marking message and to the set of carriers, which provides a marking coefficient,
- un additionneur capable d'ajouter le coefficient de marquage au coefficient correspondant du signal original transformé.- an adder capable of adding the marking coefficient to the corresponding coefficient of the original transformed signal.
La modulation d'amplitude effectuée par le modulateur permet ainsi de rendre le signal ajouté peu visible. De plus, le dispositif de l'invention met en oeuvre une technique de codage canal avec information de bord. Selon cette technique, les composantes de rinformation de marquage sont des informations à valeurs flottantes définies de telle façon que leur insertion compense la réponse du signal hôte.The amplitude modulation performed by the modulator thus makes it possible to make the added signal not very visible. In addition, the device of the invention implements a channel coding technique with on-board information. According to this technique, the components of the marking information are information with floating values defined in such a way that their insertion compensates for the response of the host signal.
Selon une autre caractéristique de l'invention, le module de mise en forme comprend un démodulateur destiné à effectuer la démodulation, ce démodulateur étant apte à multiplier chaque coefficient du signal transformé par le coefficient correspondant d'une porteuse donnée du premier ensemble de porteuses, par le poids perceptuel de distorsion et par le facteur d'atténuation associés au coefficient du signal transformé, et à additionner les coefficients ainsi déterminés, ce qui fournit une composante de la réponse du signal transformé.According to another characteristic of the invention, the shaping module comprises a demodulator intended to perform the demodulation, this demodulator being able to multiply each coefficient of the transformed signal by the corresponding coefficient of a given carrier of the first set of carriers, by the perceptual weight of distortion and by the attenuation factor associated with the coefficient of the transformed signal, and adding the coefficients thus determined, which provides a component of the response of the transformed signal.
Le module de mise en forme est également apte à calculer l'information de marquage à partir d'un paramètre prédéterminé, d'un premier vecteur associé à un mot de code particulier du message de marquage et d'un deuxième vecteur formant avec ledit premier vecteur une base orthogonale normalisée définissant un hyperplan. En particulier, le mot de code particulier est obtenu en miriirnisant un critère d'erreur quadratique entre les mots de code associés au message de marquage et la valeur normalisée de la réponse du signal transformé à la démodulation.The formatting module is also able to calculate the marking information from a predetermined parameter, from a first vector associated with a particular code word of the marking message and from a second vector forming with said first vector a normalized orthogonal base defining a hyperplane. In particular, the particular code word is obtained by splitting a quadratic error criterion between the code words associated with the marking message and the normalized value of the response of the transformed signal to demodulation.
Chaque composante du deuxième vecteur est proportionnelle à la différence entre la composante correspondante de la réponse à la démodulation et la projection du vecteur représentant la réponse à la démodulation sur un vecteur unitaire colinéaire au premier vecteur.Each component of the second vector is proportional to the difference between the corresponding component of the response to demodulation and the projection of the vector representing the response to demodulation on a unit vector collinear with the first vector.
Le paramètre prédéterminé correspond à l'angle entre le vecteur représentant l'information de marquage et le premier vecteur, ce paramètre étant déterminé en maximisant la relation:The predetermined parameter corresponds to the angle between the vector representing the marking information and the first vector, this parameter being determined by maximizing the relation:
K.(uo + cos θ )2 - (vo + sin θ)2 dans laquelle:K. (uo + cos θ) 2 - (vo + sin θ) 2 in which:
- uo représente le produit scalaire entré le vecteur représentant la réponse à la démodulation et le premier vecteur, divisé par le nombre m de composantes de la réponse à la démodulation,- uo represents the scalar product entered the vector representing the response to the demodulation and the first vector, divided by the number m of components of the response to the demodulation,
- vo représente le produit scalaire entre le vecteur représentant la réponse à la démodulation et le deuxième vecteur, divisé par le nombre m,- vo represents the scalar product between the vector representing the response to demodulation and the second vector, divided by the number m,
- K ~ 1/ (22(c+R)/m - 1 ), C et R représentant respectivement le nombre de bits utiles et de bits d'adaptation au signal original et m représente le nombre de composantes de la réponse à la démodulation.- K ~ 1 / (2 2 (c + R) / m - 1), C and R respectively representing the number of useful bits and adaptation bits to the original signal and m represents the number of components of the response to the demodulation.
Selon une autre caractéristique de l'invention, le mélangeur comporte un module de mise à l'échelle capable de moduler en amplitude chaque coefficient du signal fourni par le circuit additionneur par une quantité liée au terme de pondération de l'énergie du message de marquage et de la variance du coefficient correspondant du signal transformé.According to another characteristic of the invention, the mixer comprises a scaling module capable of modulating in amplitude each coefficient of the signal supplied by the adder circuit by an amount linked to the energy weighting term of the marking message and the variance of the corresponding coefficient of the transformed signal.
Cette quantité est définie par aj; / (σj- + σ^ ), où σ^2 est le terme définissant l'énergie du message de marquage et σ 1 est la variance du coefficient correspondant du signal transformé.This quantity is defined by aj; / (σj- + σ ^), where σ ^ 2 is the term defining the energy of the marking message and σ 1 is the variance of the corresponding coefficient of the transformed signal.
Cette modulation d'amplitude correspond à un filtre de Wiener et permet de limiter le bruit ainsi ajouté sur le signal hôte. Selon une autre caractéristique de l'invention, le dispositif comporte un module de transformation inverse en sortie du mélangeur, apte à effectuer sur le signal marqué une transformation inverse de celle effectuée par le module de transformation, et un module de transformation de signal apte à transformé le signal marqué resynchronisé, ce qui fournit un signal marqué transformé.This amplitude modulation corresponds to a Wiener filter and makes it possible to limit the noise thus added to the host signal. According to another characteristic of the invention, the device comprises a reverse transformation module at the output of the mixer, capable of carrying out on the marked signal a reverse transformation from that carried out by the transformation module, and a signal transformation module capable of transformed the resynchronized marked signal, which provides a transformed marked signal.
Le dispositif peut également comporter un dispositif d'extraction en sortie du module de transformation inverse pour extraire le message du signal marqué, ce dispositif d'extraction comportant un module de resynchronisation capable de resynchroniser le signal marqué.The device can also include an extraction device at the output of the reverse transformation module for extracting the message from the marked signal, this extraction device comprising a resynchronization module capable of resynchronizing the marked signal.
En particulier, le dispositif d'extraction est capable de calculer une réponse du signal marqué resynchronisé à la démodulation d'un deuxième ensemble de porteuses définies par dés clés de protection du message, ce qui fournit une estimation de l'information de marquage insérée.In particular, the extraction device is capable of calculating a response of the resynchronized marked signal to the demodulation of a second set of carriers defined by message protection keys, which provides an estimate of the marking information inserted.
Dans une variante de réalisation, le premier ensemble de porteuses et le deuxième ensemble de porteuses sont identiques.In an alternative embodiment, the first set of carriers and the second set of carriers are identical.
Par ailleurs, le dispositif d'extraction peut comprendre un démodulateur destiné à effectuer la démodulation, ce démodulateur étant apte à multiplier chaque coefficient du signal marqué resynchronisé par le coefficient correspondant d'une porteuse donnée du deuxième ensemble de porteuses et par le poids perceptuel de distorsion associé audit coefficient du signal marqué resynchronisé, et à additionner les coefficients ainsi déterminés, ce qui fournit une composante de l'estimation de l'information de marquage.Furthermore, the extraction device may comprise a demodulator intended to perform the demodulation, this demodulator being able to multiply each coefficient of the marked signal resynchronized by the corresponding coefficient of a given carrier of the second set of carriers and by the perceptual weight of distortion associated with said coefficient of the resynchronized marked signal, and adding the coefficients thus determined, which provides a component of the estimation of the marking information.
En complément, le dispositif d'extraction peut comporter un module générateur de porteuses propres à générer le deuxième ensemble des porteuses à partir des clés de protection du message.In addition, the extraction device may include a carrier generator module capable of generating the second set of carriers from the message protection keys.
Le dispositif d'extraction peut aussi comporter un décodeur capable de déterminer le mot de code le plus proche de l'estimation de l'information de marquage en maximisant un critère d'erreur quadratique entre un ensemble de mots de code et l'estimation de l'information de marquage, ce qui fournit le message de marquage. Selon une autre caractéristique de l'invention, le dispositif de traitement peut également comprendre un module de définition de paramètres d'insertion couplé au module mélangeur capable de déterminer le terme de pondération de l'énergie du message de marquage et le facteur d'atténuation à partir des propriétés intrinsèques du signal, des contraintes du domaine applicatif, et des propriétés de la transformation utilisée.The extraction device can also include a decoder capable of determining the code word closest to the estimation of the marking information by maximizing a quadratic error criterion between a set of code words and the estimate of the tagging information, which provides the tagging message. According to another characteristic of the invention, the processing device can also comprise a module for defining insertion parameters coupled to the mixer module capable of determining the energy weighting term of the marking message and the attenuation factor from the intrinsic properties of the signal, the constraints of the application domain, and the properties of the transformation used.
En particulier, le module de définition de paramètres d'insertion est capable de calculer deux paramètres globaux d'insertion en fonction de la distorsion d'insertion D^ entre le signal original et le signal marqué dans l'espace transformé, de la distorsion d'attaque maximale tolérée D^. entre le signal original et le signal marqué resynchronisé, dans l'espace transformé, et du rapport signal à bruit entre l'énergie du message de marquage et le bruit d'attaque Eb/No.In particular, the module for defining insertion parameters is capable of calculating two global insertion parameters as a function of the insertion distortion D ^ between the original signal and the signal marked in the transformed space, of the distortion d 'maximum tolerated attack D ^. between the original signal and the resynchronized marked signal, in the transformed space, and of the signal to noise ratio between the energy of the marking message and the attack noise Eb / No.
Les deux paramètres globaux d'insertion sont calculés en recherchant les paramètres λ et χ qui maximise la relation:The two global insertion parameters are calculated by looking for the parameters λ and χ which maximizes the relationship:
Eb/No + λ D^ - χ D^.Eb / No + λ D ^ - χ D ^.
Le module de définition de paramètres d'insertion est apte à calculer le terme de pondération de l'énergie du message de marquage et le facteur d'atténuation à partir des deux paramètres globaux d'insertion déterminés.The module for defining insertion parameters is capable of calculating the energy weighting term of the marking message and the attenuation factor from the two determined global insertion parameters.
D'autres caractéristiques et avantages de l'invention apparaîtront à l'aide de la description qui suit et des figures des dessins annexés dans lesquels:Other characteristics and advantages of the invention will become apparent with the aid of the description which follows and from the figures of the appended drawings in which:
- la figure 1 illustre la composition d'un système de transmission de signaux multimédia marqués pour la mise en oeuvre de l'invention,FIG. 1 illustrates the composition of a system for transmitting marked multimedia signals for the implementation of the invention,
- la figure 2 est une organisation générale du dispositif d'insertion de la figure 1,FIG. 2 is a general organization of the insertion device of FIG. 1,
- la figure 3 est une organisation générale du dispositif d'extraction de la figure 1,FIG. 3 is a general organization of the extraction device of FIG. 1,
- la figure 4 est un schéma fonctionnel du module d'insertion de la figure 2,FIG. 4 is a functional diagram of the insertion module of FIG. 2,
- la figure 5 est un schéma fonctionnel du module mélangeur de la figure 4, - la figure 6 est une représentation graphique permettant d'apprécier la robustesse d'un signal, suite à l'ajout de bruits d'énergie donnée,- Figure 5 is a functional diagram of the mixer module of Figure 4, - Figure 6 is a graphical representation for assessing the robustness of a signal, following the addition of noise energy given,
- la figure 7 est un schéma fonctionnel d'un mode de réalisation du module d'extraction de la figure 3, etFIG. 7 is a functional diagram of an embodiment of the extraction module of FIG. 3, and
- la figure 8 est le schéma d'un mécanisme utilisé dans un mode de réalisation. L'annexe I répertorie les diverses notations utilisées dans la description. L'annexe JJ répertorie les formules mathématiques utilisées dans la description.- Figure 8 is the diagram of a mechanism used in one embodiment. Annex I lists the various notations used in the description. Appendix JJ lists the mathematical formulas used in the description.
Les dessins et les annexes à la description comprennent, pour l'essentiel, des éléments de caractère certain. Ils pourront donc non seulement servir à mieux faire comprendre la description, mais aussi contribuer à la définition de l'invention, le cas échéant.The drawings and the appendices to the description essentially comprise elements of a certain nature. They can therefore not only serve to better understand the description, but also contribute to the definition of the invention, if necessary.
Le dispositif pour le marquage et la restitution de signaux multimédia pour la mise en oeuvre de l'invention, représenté schématiquement sur la figure 1, se compose d'un dispositif d'insertion d'un message marqueur 1 et d'un dispositif d'extraction du message marqueurThe device for marking and rendering multimedia signals for implementing the invention, shown diagrammatically in FIG. 1, consists of a device for inserting a marker message 1 and a device for extraction of the marker message
2.2.
Le dispositif d'insertion de message 1 élabore un marquage d'un signal multimédia S à transmettre au travers d'un domaine applicatif 3, à partir du contenu d'un message marqueur M. La technique de marquage utilisée est une technique additive mettant en oeuvre un procédé de modulation par étalement de spectre. Elle s'apparente à la technique de modulation de type COFDM couramment utilisée en communication numérique. Les composantes bj qui définissent le message marqueur M sont modulées par des porteuses définies par des clés publiques et privées, et appliquées à l'entrée du dispositif d'insertion. Le signal ainsi modulé vient s'ajouter au signal original S. A l'extraction, une démodulation permet de retrouver les composantes insérées bj du message marqueur.The message insertion device 1 develops a marking of a multimedia signal S to be transmitted through an application domain 3, from the content of a marker message M. The marking technique used is an additive technique putting in implements a spread spectrum modulation method. It is similar to the COFDM type modulation technique commonly used in digital communication. The components bj which define the marker message M are modulated by carriers defined by public and private keys, and applied to the input of the insertion device. The signal thus modulated is added to the original signal S. On extraction, a demodulation makes it possible to find the components inserted bj of the marker message.
Selon une caractéristique avantageuse de l'invention, pour garantir un bon niveau de robustesse et pour éviter que le signal inséré ne soit visible, une modulation d'amplitude du signal ajouté est effectuée en fonction de l'énergie de la marque ajoutée à chaque coefficient du signal dans le domaine transformé. Suite à cet ajout, une autre modulation d'amplitude est effectuée sur chaque coefficient marqué. Cette deuxième modulation correspond à un filtre de Wiener visant à limiter le bruit ainsi ajouté sur le signal hôte.According to an advantageous characteristic of the invention, to guarantee a good level of robustness and to prevent the inserted signal from being visible, an amplitude modulation of the added signal is carried out as a function of the energy of the mark added to each coefficient of the signal in the transformed domain. Following this addition, another amplitude modulation is performed on each marked coefficient. This second modulation corresponds to a Wiener filter aimed at limiting the noise thus added to the host signal.
Traditionnellement, les composantes bj correspondent aux bits définissant le message à insérer après une éventuelle utilisation de codes correcteurs. Dans le schéma ici présenté, une technique de codage canal avec information de bord est utilisée. Les composantes bj de ce modèle de marquage sont alors des informations à valeurs flottantes. Le procédé de marquage, décrit ci-après, prend en compte un tel modèle de marquage et l'optimise afin de résister à des attaques du type ajout de bruit, filtrage et désynchronisation partielle, modélisant assez bien les différents traitements que peut subir un signal.Traditionally, the components bj correspond to the bits defining the message to be inserted after a possible use of correcting codes. In the diagram presented here, a channel coding technique with edge information is used. The components bj of this marking model are then information with floating values. The marking process, described below, takes into account such a marking model and optimizes it in order to resist attacks of the noise addition, filtering and partial desynchronization type, modeling the various processing operations which a signal can undergo fairly well. .
Le dispositif d'insertion, représenté sur la figure 2 comprend un module d'insertion 4 couplé en amont à un module de transformation 5 et en aval à un module de transformation inverse 6. Dans cette configuration, le signal original S, défini dans un premier espace, est appliqué au module de transformation 5 pour être transformé en un nombre n de coefficients xi, définis dans un deuxième espace. Tout procédé de transformation peut être mis en oeuvre sans exclure la transformation identité qui amène à travailler directement sur le signal original. Différentes transformations peuvent être utilisées, comme par exemple la transformation de Fourier, la transformation en cosinus discrets ou la transformation en ondelettes.The insertion device, shown in FIG. 2, comprises an insertion module 4 coupled upstream to a transformation module 5 and downstream to a reverse transformation module 6. In this configuration, the original signal S, defined in a first space, is applied to the transformation module 5 to be transformed into a number n of coefficients xi, defined in a second space. Any transformation process can be implemented without excluding the identity transformation which leads to working directly on the original signal. Different transformations can be used, such as the Fourier transformation, the discrete cosine transformation or the wavelet transformation.
Après transformation du signal original S, le message M à insérer est appliqué dans le module d'insertion 4 sur les différents coefficients xi du signal transformé pour former des coefficients marqués yi. Les coefficients marqués yi sont ensuite appliqués au module de transformation inverse 6 afin de subir une transformation inverse de celle appliquée avant marquage et restituer ainsi un signal marqué proche du signal original. Ce signal marqué est alors transmis à un dispositif d'extraction, comme représenté à la figure 3.After transformation of the original signal S, the message M to be inserted is applied in the insertion module 4 to the different coefficients xi of the transformed signal to form coefficients marked yi. The coefficients marked yi are then applied to the reverse transformation module 6 in order to undergo a reverse transformation from that applied before marking and thus restore a marked signal close to the original signal. This marked signal is then transmitted to an extraction device, as shown in FIG. 3.
Sur la figure 3, le dispositif d'extraction 2, qui est représenté à l'intérieur d'une ligne fermée en pointillés, comprend un module de transformation 7 couplé en amont à un module de resynchronisation 8 et en aval à un module d'extraction 9. Le signal marqué reçu est tout d'abord resynchronisé par le module de resynchronisation 8, puis transformé par le module de transformation 7 en une suite de coefficients yi' par une transformation identique à celle qui a été utilisée lors de l'insertion. Les coefficients yi' sont ensuite appliqués au dispositif d'extraction 9 pour extraire le signal de marquage M. Le procédé de resynchronisation utilisé peut être quelconque (recherche exhaustive liée à l'insertion d'un signal pilote ou à une propriété intrinsèque de la marque) ou bien encore implicite grâce à l'insertion dans un domaine invariant aux désynchronisations (par exemple, amplitudes dans un domaine de Fourier ou transformation de Fourier-Mellin).In FIG. 3, the extraction device 2, which is represented inside a closed line in dotted lines, comprises a transformation module 7 coupled upstream to a resynchronization module 8 and downstream to a module extraction 9. The marked signal received is firstly resynchronized by the resynchronization module 8, then transformed by the transformation module 7 into a series of coefficients yi 'by a transformation identical to that which was used during the insertion . The coefficients yi 'are then applied to the extraction device 9 to extract the marking signal M. The resynchronization process used can be arbitrary (exhaustive search linked to the insertion of a pilot signal or to an intrinsic property of the mark ) or even implicit thanks to the insertion in a domain invariant to desynchronizations (for example, amplitudes in a Fourier domain or Fourier-Mellin transformation).
Dans la description qui suit, les notations de l'annexe I sont utilisées. Un mode de réalisation du module d'insertion 4 est représenté sur la figure 4, à l'intérieur d'une ligne fermée en pointillés. Ce module comprend un module mélangeur 10, un module d'analyse du signal 11, un module d'analyse des propriétés intrinsèques 12 et un module de définition de paramètres d'insertion globaux 13.In the description which follows, the notations of Annex I are used. An embodiment of the insertion module 4 is shown in FIG. 4, inside a closed line in dotted lines. This module includes a mixer module 10, a signal analysis module 11, an intrinsic properties analysis module 12 and a module for defining global insertion parameters 13.
L'insertion d'un message M dans un signal de coefficients xi débute dans le module 11 par une analyse qui permet de définir les propriétés liées au signal, à savoir le poids de pondération perceptuel dans la métrique de distorsion φi, défini pour chaque coefficient xi du signal original transformé en fonction de la valeur de la variance σ^2 du coefficient correspondant. Le poids de pondération perceptuel φi de chaque coefficient xi du signal est fonction du type du signal traité, de la transformation utilisée et des valeurs du . signal observé.The insertion of a message M into a signal with coefficients xi begins in module 11 with an analysis which makes it possible to define the properties linked to the signal, namely the perceptual weighting weight in the distortion metric φi, defined for each coefficient xi of the original signal transformed as a function of the value of the variance σ ^ 2 of the corresponding coefficient. The perceptual weighting weight φi of each coefficient xi of the signal is a function of the type of signal processed, the transformation used and the values of. signal observed.
Afin d'estimer les variances σ du signal (Annexe 1-1), tout procédé peut être utilisé. On peut, par exemple, utiliser une moyenne quadratique pondérée dans un voisinage (ou moyenne quadratique glissante), selon la relation (2) de l'annexe II de la description. Dans cette relation, vi représente un voisinage du coefficient considéré.In order to estimate the variances σ of the signal (Annex 1-1), any method can be used. One can, for example, use a weighted square average in a neighborhood (or sliding square average), according to the relation (2) of appendix II of the description. In this relation, vi represents a neighborhood of the coefficient considered.
La valeur naïve φi = 1 correspond à l'erreur quadratique moyenne classique. Un exemple de modèle plus adapté pour les images prenant en compte les phénomènes de masquage peut être défini par la relation (3), exprimée dans l'annexe II à la description. Dans cette relation, σbi 2 correspond à un seuil de visibilité pour le i-ème coefficient, et Ni correspond à un facteur de force de masquage local défini par une moyenne glissante sur le voisinage vi du coefficient considéré, selon la relation (4) de l'annexe II. p est un paramètre de l'ordre de 0.5 à 1 (typiquement les valeurs 0.5, 0.6 et 0.7 sont les plus couramment utilisées).The naive value φi = 1 corresponds to the classical mean square error. An example of a more suitable model for images taking into account masking phenomena can be defined by the relation (3), expressed in appendix II to the description. In this relation, σ bi 2 corresponds to a visibility threshold for the i-th coefficient, and Ni corresponds to a local masking force factor defined by a sliding average over the neighborhood vi of the coefficient considered, according to relation (4) of Annex II. p is a parameter of the order of 0.5 to 1 (typically the values 0.5, 0.6 and 0.7 are the most commonly used).
A partir des contraintes applicatives et des propriétés de la transformation utilisée, des paramètres applicatifs ai, bi et ci sont déterminées par le module d'analyse des propriétés intrinsèques 12, pour chaque coefficient xi. Le paramètre ai représente le degré d'interférence avec le signal original, le paramètre bi le degré d'auto interférence du signal inséré et le paramètre ci est le paramètre d'atténuation du site.From the application constraints and the properties of the transformation used, application parameters ai, bi and ci are determined by the intrinsic properties analysis module 12, for each coefficient xi. The parameter ai represents the degree of interference with the original signal, the parameter bi the degree of self-interference of the inserted signal and the parameter ci is the site attenuation parameter.
Les paramètres applicatifs ai, bi et ci permettent de prendre en compte un phénomène de désynchronisation sur chaque site, c'est à dire sur chaque fréquence porteuse de l'espace transformé. Par exemple, pour une désynchronisation Δ; sur le i-ème site, représentant la précision de la localisation du coefficient, on utilisera typiquement les valeurs définies par les relations (5) de l'annexe II à la description.The application parameters ai, bi and ci make it possible to take into account a phenomenon of desynchronization on each site, that is to say on each carrier frequency of the space. transformed. For example, for a desynchronization Δ ; on the i-th site, representing the precision of the localization of the coefficient, one will typically use the values defined by the relations (5) of appendix II to the description.
A partir des paramètres φi, aj, ai, bi et ci fournis par les modules 11 et 12, le module 13 estime les paramètres globaux d'insertion λ et χ. A partir de ces paramètres globaux d'insertion, le module 13 détermine ensuite les paramètres d'insertion γi et σ^, définissant les propriétés intrinsèques du signal de marquage. Le premier paramètre d'insertion Ni représente le facteur d'atténuation du site considéré et le deuxième paramètre d'insertion σ^ représente le terme de pondération de l'énergie de marquage.From the parameters φi, aj, ai, bi and ci provided by modules 11 and 12, module 13 estimates the global insertion parameters λ and χ. From these global insertion parameters, the module 13 then determines the insertion parameters γi and σ ^, defining the intrinsic properties of the marking signal. The first insertion parameter Ni represents the attenuation factor of the site considered and the second insertion parameter σ ^ represents the weighting term of the labeling energy.
Une fois les différents paramètres établis, l'insertion du message M dans le signal transformé {xi} est réalisée par le module mélangeur 10 à partir des paramètres applicatifs ai, bi et ci, calculés par le module 12, du poids de pondération perceptuel {φi} et de la variance {σ^2} calculés par le module d' analyse du signal 11 , et des paramètres d' insertion σ^ et γi estimés par le module 13.Once the various parameters have been established, the message M is inserted into the transformed signal {xi} by the mixer module 10 from the application parameters ai, bi and ci, calculated by module 12, of the perceptual weighting weight { φi} and the variance {σ ^ 2 } calculated by the signal analysis module 11, and the insertion parameters σ ^ and γi estimated by the module 13.
Le module mélangeur comprend un démodulateur 15 qui estime la réponse rx du signal original transformé à une démodulation d'un premier ensemble de porteuses {Gj. Cette démodulation prend en compte les valeurs du poids de pondération perceptuel φi et les valeurs du facteur d'atténuation γi.The mixer module comprises a demodulator 15 which estimates the response rx of the original signal transformed to a demodulation of a first set of carriers {G j . This demodulation takes into account the values of the perceptual weighting weight φi and the values of the attenuation factor γi.
Le module mélangeur 10 comprend en outre un générateur de porteuses 16 qui génère le premier ensemble de m porteuses {Gj} à partir de clés publiques ou privées. Chaque composante rxj de la réponse du signal original transformé est déterminée à partir de la relation ∑ie[i,n] i (γi.xi).Gr£jS où G^ désigne le i-ième coefficient de la j-ème porteuse fournie par le générateur de porteuses 16.The mixer module 10 further comprises a carrier generator 16 which generates the first set of m carriers {G j } from public or private keys. Each component rxj of the response of the original transformed signal is determined from the relation ∑i e [ i , n] i (γi.xi) .Gr £ jS where G ^ denotes the i-th coefficient of the j-th carrier supplied by the carrier generator 16.
Le module mélangeur 10, représenté sur la figure 5, comprend également un module 14 de mise en forme du message propre à fournir m composantes bj définissant le message à insérer, à partir des réponses rxj fournies par le démodulateur 15 et d'un ensemble de mots de code U appliqués au dispositif de mise en forme 14 en même temps que le message de marquage M. Les valeurs des n coefficients {yi} du signal après marquage sont alors calculées à partir de ces composantes bj, via un modulateur 18, un additionneur 20 et un module de mise à l'échelle 17, selon la relation (6) de l'annexe II de la description.The mixer module 10, shown in FIG. 5, also includes a module 14 for formatting the message capable of providing m components bj defining the message to be inserted, from the responses rxj supplied by the demodulator 15 and a set of U code words applied to the formatting device 14 at the same time as the marking message M. The values of the n coefficients {yi} of the signal after marking are then calculated from these components bj, via a modulator 18, an adder 20 and a scaling module 17, according to the relation (6) of the Annex II to the description.
Plus précisément, pour chacun des bits des clés publiques ou privées, le dispositif générateur de porteuses 16 fournit les porteuses Gy au modulateur 18 pour moduler les composantes bj . Le modulateur 18 effectue une modulation des composantes bj de rinformation de marquage par les porteuses Gy pour fournir n coefficients relatifs à l'information de marquage. Le i-ème coefficient relatif à l'information de marquage est donné par la relation ∑jS 1;m]bjG .More precisely, for each of the bits of the public or private keys, the carrier generator device 16 supplies the carriers G y to the modulator 18 to modulate the components bj. The modulator 18 modulates the components bj of the marking information by the carriers Gy to provide n coefficients relating to the marking information. The i-th coefficient relating to the marking information is given by the relation ∑ jS 1; m] bjG.
Le modulateur 18 peut en outre effectuer une modulation en amplitude de ces coefficients relatifs à l'information de marquage, par le terme k2i= σ^/ ∑je tl m]Gy2, relatif au terme de pondération de l'énergie du message de marquage σ^ et aux porteuses Gy.The modulator 18 can also carry out an amplitude modulation of these coefficients relating to the marking information, by the term k 2i = σ ^ / ∑ i tl m] Gy 2 , relating to the weighting term of the energy of the message. marking σ ^ and the carriers G y .
Le modulateur 18 fournit alors au circuit additionneur 20 un nombre n de coefficients relatifs à l'information de marquage de la forme:The modulator 18 then supplies the adder circuit 20 with a number n of coefficients relating to the marking information of the form:
Le circuit additionneur 20 ajoute ces coefficients x'i aux coefficients xi du signal original transformé. Ce résultat est ensuite mis à l'échelle par le module de mise à l'échelle 17 à partir du terme kH =σ - 1 (σ^2 + σ^2), exprimé en fonction des valeurs de la variance oj- du signal dans l'espace transformé pour les différents coefficients xi et du terme de pondération σ^ de l'énergie de la marque ajoutée. Ce terme correspond à un filtre de Wiener.The adder circuit 20 adds these coefficients x'i to the coefficients xi of the original transformed signal. This result is then scaled by the scaling module 17 from the term k H = σ - 1 (σ ^ 2 + σ ^ 2 ), expressed as a function of the values of the variance oj- du signal in the transformed space for the different coefficients xi and of the weighting term σ ^ of the energy of the added brand. This term corresponds to a Wiener filter.
Le module de mise à l'échelle 17 fournit donc le signal marqué de coefficients yi dans l'espace transformé, comme indiqué par la relation (6) de l'annexe II.The scaling module 17 therefore provides the signal marked with coefficients yi in the transformed space, as indicated by the relation (6) of appendix II.
Le module de mise en forme 14 du mélangeur 10 est maintenant décrit plus en détail. Le module de mise en forme 14 reçoit un message M à insérer, qui est défini à partir d'un ensemble de mots de code U. Cet ensemble est de taille 2C+R et est découpé en 2e sous- ensembles UM. Chacun de ces sous-ensembles comporte 2R mots de codes et sont associés à chacun des 2e messages possibles. Les différents mots de codes sont définis dans un espace m-aire et sont tels que :l/m. ∑j (U j) = 1 pour j e [l,m]. Tout procédé de génération de ces mots de codes et de regroupement de ces mots de codes en sous-ensemblès UM peut être utilisé. Parmi ceux-ci, on peut notamment citer les mots de codes générés par un système de codes correcteurs (par exemple, les C premiers bits sont des bits utiles qui identifient le message, tandis que les R derniers bits sont des bits d'adaptation au signal hôte qui identifient le mot de code utilisé pour le message M).The shaping module 14 of the mixer 10 is now described in more detail. The formatting module 14 receives a message M to be inserted, which is defined from a set of code words U. This set is of size 2 C + R and is divided into 2 nd subsets U M. Each of these subsets has 2 R code words and are associated with each of the 2 nd possible messages. The different code words are defined in an m-ary space and are such that: l / m. ∑ j (U j ) = 1 for i [l, m]. Any method of generating these code words and grouping these code words into a sub-assembly U M can be used. Among these, one can in particular quote the code words generated by a system of correcting codes (for example, the first C bits are useful bits which identify the message, while the last R bits are bits of adaptation to the host signal which identifies the code word used for the message M).
Le module de mise en forme 14 reçoit en outre la réponse rx du signal original transformé, fournie par le démodulateur 15. Pour déterminer les composantes rxj de cette réponse, le démodulateur 15 en fournit d'abord une estimation selon la relation (γi.xi)-Gijs indiqué ci-avant. Puis il renormalise cette estimation de façon adéquate en rxj de telle façon que l'insertion des rxj, en utilisant la technique proposée précédemment par la relation (6), compense la réponse du signal hôte au point d'attaque considéré défini par les paramètres d'attaque, que cette attaque soit matérialisée par ajout de bruit et filtrage ou encore par une désynchronisation partielle.The shaping module 14 also receives the response rx of the original transformed signal, supplied by the demodulator 15. To determine the components rxj of this response, the demodulator 15 first provides an estimate according to the relationship (γi.xi) -Gi j s indicated above. Then it renormalizes this estimate adequately in rxj so that the insertion of rxj, using the technique proposed previously by equation (6), compensates for the response of the host signal at the point of attack considered defined by the parameters d 'attack, whether this attack is materialized by adding noise and filtering or by partial desynchronization.
Le module de mise en forme 14 recherche alors un mot de code Uk, parmi les mots de code associés au message M à insérer, en minimisant le critère d'écart quadratique défini par la relation (7) de l'annexe TJ à la description, à partir de la réponse rx au signal original transformé. Ce mot de code représente un vecteur Uk ayant m composantes Uy.The shaping module 14 then searches for a code word U k , among the code words associated with the message M to be inserted, minimizing the quadratic deviation criterion defined by the relation (7) of appendix TJ to the description, from the rx response to the original transformed signal. This code word represents a vector U k having m components U y .
A partir de ce mot de code Uk et de la réponse rx fournie par le démodulateur 15, le module de mise en forme 14 définit un vecteur V de dimension m ayant des composantes définies par la relation (8) de l'annexe II, où la notation <A|B> = ∑AjBj représente le produit scalaire entre deux vecteurs A et B.From this code word U k and from the response rx supplied by the demodulator 15, the shaping module 14 defines a vector V of dimension m having components defined by the relation (8) of appendix II, where the notation <A | B> = ∑AjBj represents the dot product between two vectors A and B.
A partir de ce vecteur V, le module de mise en forme 14 définit un vecteur N de composantes Nj selon la relation (9) de l'annexe II, de telle sorte que le vecteur N soit proportionnel au vecteur N' et que l'on ait <N|N> = 0 ou <N|N> = m, suivant que N' est nul ou non. En particulier, ce vecteur N a la propriété d'être orthogonal au vecteur Uk.From this vector V, the shaping module 14 defines a vector N of components Nj according to the relation (9) of appendix II, so that the vector N is proportional to the vector N 'and that the we have <N | N> = 0 or <N | N> = m, depending on whether N 'is zero or not. In particular, this vector N has the property of being orthogonal to the vector U k .
Le module de mise en forme 14 recherche ensuite la valeur d'un paramètre θ maximisant la relation (10) formulée de l'annexe H, à partir de paramètres uO, vO et K déterminés en fonction de la réponse au signal original transformé rx, du vecteur Uk et du vecteur N. Ces paramètres uO, vO et K sont définis par les relations (11) également incorporées à l'annexe π.The shaping module 14 then searches for the value of a parameter θ maximizing the relation (10) formulated in appendix H, from parameters uO, vO and K determined as a function of the response to the original transformed signal rx, of the vector U k and of the vector N. These parameters uO, vO and K are defined by the relations (11) also incorporated in appendix π.
Finalement le module de mise en forme 14 calcule les valeurs des composantes bj à partir du paramètre θ ainsi déterminé, et des composantes U^ et Nj des vecteurs Uk et N, selon la relation (12) de l'annexe H.Finally the shaping module 14 calculates the values of the components bj from the parameter θ thus determined, and of the components U ^ and N j of the vectors U k and N, according to the relation (12) of appendix H.
Le but du calcul des valeurs des composantes bj est de définir le signal à ajouter de telle sorte que la réponse du démodulateur utilisé lors de l'extraction soit cohérente avec celle du mot de code Uk et la plus robuste possible. La robustesse est définie par l'équation (10). Cette robustesse correspond au niveau d'énergie du bruit pouvant être ajouté sans pour autant sortir du cône associé au mot de code Uk de la figure 6.The purpose of calculating the values of the components bj is to define the signal to be added so that the response of the demodulator used during the extraction is consistent with that of the code word U k and as robust as possible. Robustness is defined by equation (10). This robustness corresponds to the energy level of the noise that can be added without leaving the cone associated with the code word U k in FIG. 6.
En référence à le figure 6, les vecteurs Uk, représenté par le vecteur u, et le vecteur N, représenté par le vecteur v, forment une base orthogonale normalisée définissant l'hyperplan contenant le vecteur réponse rx et le vecteur code Uk. Dans cet hyperplan, le déplacement (cos θ, sin θ) définit le signal pouvant être ajouté. La maximisation de l'équation (10) revient alors à rechercher le vecteur de composantes bj maximisant la robustesse. Ramené sur chaque composante de la modulation (i.e. valeurs bj), celui-ci s'exprime alors par l'équation (12).With reference to FIG. 6, the vectors U k , represented by the vector u, and the vector N, represented by the vector v, form a normalized orthogonal base defining the hyperplane containing the response vector rx and the code vector U k . In this hyperplane, the displacement (cos θ, sin θ) defines the signal that can be added. The maximization of equation (10) then amounts to searching for the vector of components bj maximizing the robustness. Referred to each component of the modulation (ie bj values), this is then expressed by equation (12).
La figure 6 représente une interprétation géométrique de cette définition. Le cône représenté par la zone hachurée représente F ensemble des valeurs amenant un décodage correct du mot de code. Sp représente l'ensemble des points qui respectent une contrainte de puissance P du signal pouvant être ajouté (ici P=l) . Le vecteur w correspond au vecteur de composantes bj et x correspond au vecteur rx. Les hyperboles Hn correspondent aux réponses de robustesse constante (i,e suite à l'ajout d'un bruit d'une énergie donnée).Figure 6 shows a geometric interpretation of this definition. The cone represented by the hatched area represents F set of values leading to a correct decoding of the code word. Sp represents the set of points which respect a power constraint P of the signal that can be added (here P = l). The vector w corresponds to the vector of components bj and x corresponds to the vector rx. Hn hyperbolas correspond to responses of constant robustness (i, e following the addition of noise of a given energy).
Un tel principe de définition du signal a été proposé par Cox et al dans un article intitulé "Watermarking as communications with side information", Proc.IEEE, 87(7): 1127- 1141,1999 dans le cadre d'un tatouage appliqué directement au signal original, et dans un contexte de détection. La détection diffère de l'extraction dans le sens où l'on recherche la présence d'un message U connu. Par ailleurs, l'interprétation du paramètre K de l'équation (10) diffère. Dans le document de Cox et al le paramètre K est lié à un test d'hypothèse de présence, tandis qu'en extraction, il assure de décoder le bon message (l'ouverture du cône de la figure 6 dépend alors du dictionnaire utilisé - cf équation (11)).Such a signal definition principle was proposed by Cox et al in an article entitled "Watermarking as communications with side information", Proc.IEEE, 87 (7): 1127-1141.1999 in the context of a tattoo applied directly to the original signal, and in a detection context. Detection differs from extraction in the sense that we are looking for the presence of a known message U. Furthermore, the interpretation of the parameter K of the equation (10) differs. In the document by Cox et al the parameter K is linked to a presence hypothesis test, while in extraction, it ensures to decode the correct message (the opening of the cone in Figure 6 then depends on the dictionary used - see equation (11)).
Cette technique visant à limiter l'interférence du signal hôte correspond à la technique de codage canal avec information de bord. Le principe général de cette technique de codage canal a été initialement proposé par Costa dans un article intitulé "Writing on dirty paper", IEEE Trans. Info. Thy, 29(3) :439-441, May 1983. Dans le cadre de l'invention cette technique est appliquée sur les informations issues de la démodulation des porteuses Gy.This technique aimed at limiting the interference of the host signal corresponds to the channel coding technique with on-board information. The general principle of this channel coding technique was initially proposed by Costa in an article entitled "Writing on dirty paper", IEEE Trans. Info. Thy, 29 (3): 439-441, May 1983. In the context of the invention this technique is applied to the information resulting from the demodulation of the Gy carriers.
Le module de définition des paramètres d'insertion globaux 13 définissant les propriétés intrinsèques du dispositif de marquage est décrit plus en détail ci-après. Le module de définition 13 recherche tout d'abord le couple de paramètres globaux (λ,χ), pour définir les paramètres d'insertion.The module for defining global insertion parameters 13 defining the intrinsic properties of the marking device is described in more detail below. The definition module 13 firstly searches for the pair of global parameters (λ, χ), to define the insertion parameters.
Le couple (λ,χ) optimal recherché peut être défini en spécifiant deux propriétés parmi les trois suivantes qui sont:The optimal couple (λ, χ) sought can be defined by specifying two properties among the following three which are:
- la distorsion d'insertion D^ entre le signal original x et le signal marqué y, dans l'espace transformé, calculée suivant une relation similaire à celle donnée par la relation(l) de l'annexe U;- the insertion distortion D ^ between the original signal x and the marked signal y, in the transformed space, calculated according to a relation similar to that given by relation (l) of appendix U;
- la distorsion d'attaque maximale tolérée D^. entre le signal original x et le signal marqué resynchronisé y', dans l'espace transformé;- the maximum tolerated attack distortion D ^. between the original signal x and the resynchronized marked signal y ', in the transformed space;
- la mesure de performance Eb/ 0 du système de marquage.- Eb / 0 performance measurement of the marking system.
Par exemple, pour des distorsions D^ et D^. données, le système recherche le couple (λ,χ) conduisant à la plus forte valeur du rapport Eb/N0, ou pour Eb/N0 et D^ donnés, le système recherche le couple (λ,χ) conduisant à la plus forte valeur de D^», ou encore pour Eb/N0 et D^. donnés, le système recherche le couple (λ,χ) conduisant à la plus petite valeur de D^.For example, for D ^ and D ^ distortions. given, the system searches for the couple (λ, χ) leading to the highest value of the ratio Eb / N 0 , or for Eb / N 0 and D ^ given, the system searches for the couple (λ, χ) leading to the most high value of D ^ ", or again for Eb / N 0 and D ^. given, the system searches for the couple (λ, χ) leading to the smallest value of D ^.
Les valeurs de D^, D^, et Eb/N0 sont exprimées en fonction de (λ,χ) selon les relations (13) et (14) formulées dans l'annexe II de la description.The values of D ^, D ^, and Eb / N 0 are expressed as a function of (λ, χ) according to the relations (13) and (14) formulated in appendix II of the description.
Après avoir déterminé les paramètres globaux d'insertion (λ,χ), le module 13 détermine alors les paramètres d'insertion γi et σ^. γi et σ^ sont des variables auxiliaires de travail, fonctions de λ et χ, qui définissent les propriétés d'insertion pour un site i correspondant à la position d'un coefficient xi dans le spectre du signal transformé. Pour un site i, étant donnés les paramètres globaux (λ,χ) et les paramètres locaux ai, bi, ci et σ^, le couple (γi, σ^ est déterminé par l'exécution des étapes de l'organigramme représenté sur la figure 8.After determining the global insertion parameters (λ, χ), the module 13 then determines the insertion parameters γi and σ ^. γi and σ ^ are auxiliary working variables, functions of λ and χ, which define the insertion properties for a site i corresponding to the position of a coefficient xi in the spectrum of the transformed signal. For a site i, given the global parameters (λ, χ) and the local parameters ai, bi, ci and σ ^, the couple (γi, σ ^ is determined by the execution of the steps of the flowchart represented on the figure 8.
A l'étape 100, σ^ est recherché, dans l'intervalle [0, φhTλσ 11 ci] qui maximise la fonction (16) de l'annexe II, avec γi donné par la relation (17) de l'annexe II.In step 100, σ ^ is sought, in the interval [0, φhTλσ 1 1 ci] which maximizes the function (16) of appendix II, with γi given by the relation (17) of appendix II .
A l'étape 102, pour le point trouvé, le dispositif teste si γi≥O et γi [σ 1 / (α^2 + σ^2)] : - Si γi≥O et γi ≤ [σ^2 / (σ^2 + σ^2)], le couple (γi, σ^) est retenu à l'étape 104;At step 102, for the point found, the device tests if γi≥O and γi [σ 1 / (α ^ 2 + σ ^ 2 )]: - If γi≥O and γi ≤ [σ ^ 2 / (σ ^ 2 + σ ^ 2 )], the couple (γi, σ ^) is used in step 104;
- Sinon, à l'étape 106, on utilise le couple (γi=l ,0^ = 0). Soit aucun marquage n'est effectué sur ce site.- Otherwise, in step 106, we use the couple (γi = l, 0 ^ = 0). Either no marking is carried out on this site.
En particulier, dans le cas où ai = bi : - si λ > χ ou si σ^ < [ci / ( φiτTaiV(χ - λ)], on utilise le couple (γi, σ^) donné par les relations (18) de l'annexe U;In particular, in the case where ai = bi: - if λ> χ or if σ ^ <[ci / (φiτTaiV (χ - λ)], we use the couple (γi, σ ^) given by relations (18) Annex U;
- sinon, c'est le couple (γi = 1 , σ^ = 0) qui est retenu.- otherwise, it is the couple (γi = 1, σ ^ = 0) which is retained.
On remarque notamment que lorsque ai = bi = 1, I ci.We notice in particular that when ai = bi = 1, Here.
Une base théorique sur laquelle s'appuient les développements décrits précédemment est la suivante. Les différentes expressions utilisées pour la définition des paramètres d'insertion correspondent aux expressions liées à une modélisation statistique des différents signaux et à un modèle d'attaque assez général. Les coefficients xi sont supposés suivre une loi de probabilité Gaussienne de moyenne 0, et de variance oj; et être indépendants. Les attaques considérées sont du type "scaling" (facteurs γi ) et ajout de bruit gaussien de variance σδi 2. Soit encore : yi' = (γi/γ yi + δi avec Ywi = σ /(σ + σ ).The theoretical basis on which the developments described above are based is as follows. The different expressions used for the definition of the insertion parameters correspond to the expressions linked to a statistical modeling of the different signals and to a fairly general attack model. The coefficients xi are supposed to follow a Gaussian probability law of mean 0, and of variance oj; and be independent. The attacks considered are of the "scaling" type (factors γi) and addition of Gaussian noise with variance σ δi 2 . Or again: yi '= (γi / γ yi + δi with Ywi = σ / (σ + σ).
Le facteur d'échelle permet, en outre, de bien prendre en compte les techniques de filtrage pouvant être appliquées. La nouveauté de l'approche proposée ici est de considérer des signaux non identiquement distribués, l'utilisation d'une métrique perceptuelle, la prise en compte de désynchronisation partielle et l'utilisation d'une technique d'insertion/extraction basée sur l'utilisation d'une modulation type COFDM (acronyme pour "Coded Orthogonal Frequency Division Multiplex", multiplexage de fréquence orthogonal codé) à étalement de spectre utilisée sur l'ensemble des coefficients.The scale factor also makes it possible to take proper account of the filtering techniques that can be applied. The novelty of the approach proposed here is to consider non-identically distributed signals, the use of a perceptual metric, taking into account partial desynchronization and the use of an insertion / extraction technique based on the use of a COFDM type modulation (acronym for "Coded Orthogonal Frequency Division Multiplex ", encoded orthogonal frequency multiplexing) spread spectrum used on all coefficients.
Afin de définir les paramètres σ^2 définissant l'énergie d'insertion, on peut aussi considérer un jeu entre un attaquant et un défenseur selon la théorie des jeux. L'attaquant, connaissant le système utilisé essaie, suivant le principe connu de Kerckoffs, de minimiser la mesure de performance du système Eb/N0 sous une contrainte de distorsion d'attaque maximale Aty'__max .In order to define the parameters σ ^ 2 defining the insertion energy, we can also consider a game between an attacker and a defender according to game theory. The attacker, knowing the system used, tries, according to the known principle of Kerckoffs, to minimize the performance measurement of the Eb / N 0 system under a stress of maximum attack distortion A ty ' __max.
Le défenseur cherche quant à lui au contraire à maximiser cette mesure de performance sous une contrainte de distorsion d'insertion maximale Dχy_max. Dans le cas présent Eb N0 représente le rapport signal à bruit entre l'énergie du message caché et le bruit d'attaque. Ce problème peut alors être résolu en utilisant une formalisation Lagrangienne du problème. On introduit alors les facteurs de Lagrange λ > 0 et χ> 0, et on considère alors le sous problème suivant dépendant de (λ,χ), à savoir rechercher une solution générale à l'équation (15) définie dans l'annexe II de la description.The defender, on the other hand, seeks to maximize this performance measure under a maximum insertion distortion constraint Dχ y _max. In the present case Eb N 0 represents the signal to noise ratio between the energy of the hidden message and the attack noise. This problem can then be solved using a Lagrangian formalization of the problem. We then introduce the Lagrange factors λ> 0 and χ> 0, and we then consider the following sub-problem depending on (λ, χ), namely seeking a general solution to equation (15) defined in appendix II from the description.
La solution générale est définie comme la solution associée au couple (λ,χ) aboutissant à une solution telle que D^. = D^- max et D^ = D^ nax.The general solution is defined as the solution associated with the couple (λ, χ) leading to a solution such as D ^. = D ^ - max and D ^ = D ^ nax.
Dans la description ci-dessus, on retrouve la recherche sur (λ,χ) pour respecter les contraintes de distorsion. L'expression à maximiser dans l'étape 100 correspond au terme {Eb/N0 + λ.Dxy. - χ.D^}. Les deux derniers termes étant les termes Lagrangiens associés respectivement à la distorsion d'attaque et d'insertion. Les termes liées au contraintes et Dxy_max ont été supprimés, car ils sont constants et également pour des raisons de simplicité.In the description above, we find the search on (λ, χ) to respect the distortion constraints. The expression to be maximized in step 100 corresponds to the term {Eb / N 0 + λ.D xy . - χ.D ^}. The last two terms being the Lagrangian terms associated respectively with the attack and insertion distortion. Terms related to constraints and D xy _max have been removed because they are constant and also for simplicity.
Il est à noter que la minimisation sur les paramètres d'attaques (γi, σδi) a déjà été prise en compte notamment dans la définition du paramètre γi dans la première étape.It should be noted that the minimization on the attack parameters (γi, σ δi ) has already been taken into account in particular in the definition of the parameter γi in the first step.
L'extraction d'un message inséré après attaques se réalise en deux phases dans le dispositif d'extraction 2. Dans un premier temps, une démodulation linéaire est effectuée afin d' obtenir des observations bj avec je[l,m]. Ensuite, le message extrait est défini recherchant le mot de code proche des observations. Dans le dispositif d'extraction 2, le signal marqué yi est resynchronisé par le module de resynchronisation 8, puis transformé par le module de transformation 7 en une suite de coefficients yi' par une transformation identique à celle qui a été utilisée lors de l'insertion.The extraction of a message inserted after attacks is carried out in two phases in the extraction device 2. First, a linear demodulation is carried out in order to obtain observations bj with je [l, m]. Then, the extracted message is defined searching for the code word close to the observations. In the extraction device 2, the signal marked yi is resynchronized by the resynchronization module 8, then transformed by the transformation module 7 into a series of coefficients yi 'by a transformation identical to that which was used during the insertion.
Le module d'extraction qui est représenté à la figure 7 comprend un démodulateur 21couplé à un décodeur du message extrait. Le démodulateur 21 calcule une réponse du signal {yi1} à une démodulation d'un deuxième ensemble de porteuses Gj fournies par un générateur de porteuses 23, selon la relation (19) de l'annexe U. Cette démodulation prend en compte le poids de pondération perceptuel φi calculé à partir d'une analyse effectuée par un module 24 d'analyse du signal yi' .The extraction module which is represented in FIG. 7 comprises a demodulator 21coupled to a decoder of the extracted message. The demodulator 21 calculates a response of the signal {yi 1 } to a demodulation of a second set of carriers G j supplied by a generator of carriers 23, according to the relation (19) of appendix U. This demodulation takes into account the perceptual weighting weight φi calculated from an analysis performed by a module 24 for analyzing the signal yi '.
La démodulation repose sur l' extraction d'une estimation du message inséré bj par la relation (19) de l'annexe II, sur l'ensemble des sites marqués.The demodulation is based on the extraction of an estimate of the message inserted bj by the relation (19) of appendix II, on all the marked sites.
II est à noter que tout estimateur définissant une réponse proportionnelle à cet estimateur peut être également considéré.It should be noted that any estimator defining a proportional response to this estimator can also be considered.
Dans une variante de réalisation, le deuxième ensemble de porteuses est identique au premier ensemble de porteuses produites par le module générateur de porteuses 16 du module d'insertion.In an alternative embodiment, the second set of carriers is identical to the first set of carriers produced by the carrier generator module 16 of the insertion module.
Le décodage du message a lieu après sa mise en forme estimé bj . Il consiste à rechercher le mot de code Uk le plus proche des valeurs estimées bj par la relation (20) définie dans l'annexe II.The decoding of the message takes place after its estimated formatting bj. It consists in searching for the code word U k closest to the estimated values bj by the relation (20) defined in appendix II.
Le message associé au mot de code Uk correspond alors au message extrait. Pour réaliser la recherche du mot de code le plus proche, on peut utiliser un procédé de recherche exhaustive, ou bien encore profiter de toute technique de recherche rapide liée à la définition des mots de codes utilisés, par utilisation de technique de décodage de code canal par exemple.The message associated with the code word U k then corresponds to the extracted message. To carry out the search for the nearest code word, one can use an exhaustive search method, or alternatively take advantage of any rapid search technique linked to the definition of the code words used, by using channel code decoding technique. for example.
Il est à noter que l'invention n'est pas limitée aux formes de réalisations décrites ci-dessus. ANNEXE IIt should be noted that the invention is not limited to the embodiments described above. APPENDIX I
1-1 Signaux :1-1 Signals:
- n : nombre de coefficients du signal dans le domaine transformé, -xi, i G [1, n] : les valeurs des coefficients du signal dans l'espace transformé,- n: number of signal coefficients in the transformed domain, -xi, i G [1, n]: the values of the signal coefficients in the transformed space,
— yi, i e [1, n] : les valeurs des coefficients du signal dans l'espace transformé après marquage.- yi, i e [1, n]: the values of the signal coefficients in the transformed space after marking.
— i', i e [1, n] : les valeurs des coefficients du signal dans l'espace transformé après marquage, attaques et resynchromsation. - oj-, i ç [1, n] : les valeurs de la variance du signal dans l'espace transformé pour les différents coefficients.- i ', i e [1, n]: the values of the coefficients of the signal in the transformed space after marking, attacks and resynchromsation. - oj-, i ç [1, n]: the values of the variance of the signal in the transformed space for the different coefficients.
-Dxy = ∑Dxyli: la distorsion entre deux signaux x et y définie par la relation (1) répertoriée dans l'annexe U à la description.-D xy = ∑D xy li: the distortion between two signals x and y defined by the relation (1) listed in appendix U to the description.
- φi : poids de pondération perceptuel pour le i ème coefficient dans la métrique de distorsion. Ces poids sont définis en rapport avec le type de signal traité, la transformation utilisée et les valeurs du signal observée. — D^: distorsion d'insertion. -D^.: distorsion d'attaque.- φi: perceptual weighting weight for the i th coefficient in the distortion metric. These weights are defined in relation to the type of signal processed, the transformation used and the values of the signal observed. - D ^: insertion distortion. -D ^ .: attack distortion.
-(ai, bi, ci): variables identifiant les propriétés du système relatives aux différents coefficients d'insertion (variables comprises entre 0 et 1).- (ai, bi, ci): variables identifying the properties of the system relative to the different insertion coefficients (variables between 0 and 1).
- ai: degré d'interférence avec le signal original.- ai: degree of interference with the original signal.
- bi: degré d'auto interférence du signal inséré.- bi: degree of self-interference of the inserted signal.
- ci: paramètre d'atténuation d'un site (par exemple lié à sa sensibilité face aux attaques désynchronisantes); ce terme dépend de l'espace de transformation utilisé et de l'ordre de grandeur de l'erreur de désynchronisation escomptée suite à la resynchronisation effectuée à l'extraction, et des dégradations tolérées.- ci: attenuation parameter of a site (for example linked to its sensitivity to desynchronizing attacks); this term depends on the transformation space used and on the order of magnitude of the expected desynchronization error following the resynchronization carried out on extraction, and on the tolerations degraded.
1-2 Variables de travail :1-2 Work variables:
~ ( ϋÙ '• variables auxiliaires globales de travail permettant de définir les paramètres d'insertion sur chaque coefficient dans le domaine transformé.~ (ϋÙ '• global auxiliary working variables allowing to define the insertion parameters on each coefficient in the transformed domain.
- (γi, σ^), i e {1, .., n} : variables auxiliaires de travail définissant les paramètres d'insertion de chaque coefficient- (γi, σ ^), i e {1, .., n}: auxiliary working variables defining the insertion parameters of each coefficient
- γi : facteur d'atténuation- γi: attenuation factor
- σ^ terme de pondération de l'énergie de la marque ajoutée. 1-3 Modulation :- σ ^ energy weighting term of the added brand. 1-3 Modulation:
-m : nombre de porteuses utilisées lors de l'insertion du message.-m: number of carriers used when inserting the message.
-bj avec j e {1, .., m} : informations définissant rinformation à ajouter pour insérer le message.-bj with j e {1, .., m}: information defining the information to add to insert the message.
- Gy avec (i, j) e { 1 , .., n} x { 1 , .., m} : informations définissant les porteuses d'insertion du message connues à l'insertion et à l'extraction. Tout procédé de génération de telles porteuses peut être considéré moyennant qu'elles vérifient Eij [Gy] = 0 et Eij [Gy2] = 1.- Gy with (i, j) e {1, .., n} x {1, .., m}: information defining the carriers of insertion of the message known at insertion and at extraction. Any method of generating such carriers can be considered provided that they verify Eij [Gy] = 0 and Eij [Gy 2 ] = 1.
Elles peuvent être par exemple ainsi générées par l'intermédiaire d'une clé secrète et d'un générateur de nombre aléatoire contrôlé par cette clé secrète.They can for example be thus generated via a secret key and a random number generator controlled by this secret key.
1-4 Dictionnaire de mots de codes1-4 Codeword Dictionary
-2e : nombre de messages existants susceptibles d'être insérés dans le signal. -U : ensemble des mots de codes utilisés. 2C+R mots de codes m aire sont définis, et regroupés en 2R sous ensembles UM associés aux différents messages M existants. -Uk : mot de code utilisé, de taille m et défini par les valeurs Uy avec j e {1, .., m}.-2 e : number of existing messages likely to be inserted into the signal. -U: set of code words used. 2 C + R area code words are defined, and grouped into 2 R subsets U M associated with the various existing M messages. -U k : code word used, of size m and defined by the values Uy with je {1, .., m}.
1-5 Paramètre perceptuel φi : poids perceptuels de distorsion des coefficients du signal. 1-5 Perceptual parameter φi: perceptual weights of distortion of the signal coefficients.
ANNEXE HAPPENDIX H
Liste des formules mentionnées dans la description.List of formulas mentioned in the description.
Dχy = ∑i6[ι,n]φi2-( i-yi)2 d)Dχy = ∑i 6 [ ι, n] φi 2 - (i-yi) 2 d)
5 5
: σxi 2 = (∑jevixi2)/|vi| (2): σ xi 2 = (∑ jevi xi 2 ) / | vi | (2)
φi2=l/(σbi 2+Vi2) (3)φi 2 = l / (σ bi 2 + Vi 2 ) (3)
0 Ni = (∑j6vi|xi|p)/|vi| (4)0 Ni = (∑ j6 vi | xi | p ) / | vi | (4)
ai = bi = 1 - c2i avec ci = (sinc(Δi))d (5), où sinc(x) = sin(πx)/πx et d, la dimension du signal considéré (1 pour un signal audio ID, 2 pour une image, etc). 5 yi ≈ k„.( xi + k2i.∑j e[ι>m] (bj .Gy)) (6), avec: ku =0^ I (o - + σ^2) ai = bi = 1 - c 2 i with ci = (sinc (Δi)) d (5), where sinc (x) = sin (πx) / πx and d, the dimension of the signal considered (1 for an audio signal ID , 2 for an image, etc.). 5 yi ≈ k „. (Xi + k 2i .∑ je [ ι > m] (bj .Gy)) (6), with: k u = 0 ^ I (o - + σ ^ 2 )
0 Uk = arg min^ 6 ^ { j M (Uy - rxj)2} (7)0 U k = arg min ^ 6 ^ { j M (Uy - rxj) 2 } (7)
N'j = rxj-<rx|Uk>/ <Uk|Uk> (8)N'j = rxj- <rx | U k > / <U k | U k > (8)
Si<N'|V> = 0,Nj = 0 (9) 5 Sinon, Nj =Nj'. vrm/ <N'|N'>If <N '| V> = 0, Nj = 0 (9) 5 Otherwise, Nj = Nj'. v r m / <N '| N'>
{K.(UQ + cos θ)2 - (v0 + sin θ)2 } (10) avec : 0 v0 = 1/m <rx|N> K=i/(22-(c+R)m-l) bj = Ukj.cos θ + Nj.sin θ (12){K. (UQ + cos θ) 2 - (v 0 + sin θ) 2 } (10) with: 0 v 0 = 1 / m <rx | N> K = i / (2 2 - (c + R) m -l) bj = U kj .cos θ + Nj.sin θ (12)
Eb/Ν0 = ∑ Eb/N0|i i=lEb / Ν 0 = ∑ Eb / N 0 | ii = l
avec: ( iσ„j 2+ .σ „* 22) (14)with: ( iσ „j 2+ .σ„ * 2 2 ) (14)
D-^li≈φ σ^O-γi) D- ^ li≈φ σ ^ O-γi)
} (15) } (15)
(Eb/ o^i + λD^li-χDji (16)(Eb / o ^ i + λD ^ li-χDji (16)
γi = 2 - ci σwi / (qâ λ)] / [(l-ai)σχi 2 + (l-bi)σwi 2] (17)γi = 2 - ci σwi / (qâ λ)] / [(l-ai) σχi 2 + (l-bi) σwi 2 ] (17)
σ* = [ A,σχi 2 - ci2 + V((A,σχi 2 - c2i)2 + B, 2.o )] I B;, (18) γi = [o 2-DJ/[(lHrfχσrf a+ ] avec : Ai = φi2(λ-χ(l-ai)) B; = 2 φi v λ ci σ * = [A, σχi 2 - ci 2 + V ((A, σχi 2 - c 2 i) 2 + B, 2 .o)] IB ; , (18) γi = [o 2 -DJ / [(lHrfχσ rf a +] with: A i = φi 2 (λ-χ (l-ai)) B; = 2 φi v λ ci
b ≈Σi.iwCφiyi'Gy) (19)b ≈Σi.i w Cφiyi'Gy) (19)
avec Iw = ensemble des sites marqués. Uk = arg maxukeU{ ∑je [ m]({J^ - bj )2} (20) with Iw = all of the marked sites. U k = arg max ukeU {∑ je [m] ({J ^ - bj) 2 } (20)

Claims

RevendicationsClaims
1 -Dispositif de traitement d'un signal comprenant un module de transformation de signal (5) capable de produire un signal transformé (xi) à partir d'un signal original et un module mélangeur (10) destiné à marquer le signal transformé par un message de marquage (M), caractérisé en ce que le module mélangeur (10) comprend :1 -Device for processing a signal comprising a signal transformation module (5) capable of producing a transformed signal (xi) from an original signal and a mixer module (10) intended to mark the transformed signal with a marking message (M), characterized in that the mixer module (10) comprises:
- un module de mise en forme (14) capable de calculer une réponse du signal original transformé (rx) à la démodulation d'un premier ensemble de porteuses (Gj) définies par des clés de protection du message et de calculer une information de marquage ({bj }) en fonction de cette réponse et de mots de codes (U) associés au message de marquage,- a shaping module (14) capable of calculating a response of the transformed original signal (rx) to the demodulation of a first set of carriers (Gj) defined by message protection keys and of calculating marking information ({bj }) depending on this response and code words (U) associated with the marking message,
- un modulateur (18) capable de moduler les informations de marquage fournies par le module de mise en forme (14) par un coefficient donné (Gij) des porteuses du premier ensemble de porteuses, et de moduler en amplitude le coefficient ainsi obtenu par une quantité correspondante liée au terme de pondération de l'énergie du message de marquage et à l'ensemble de porteuses, ce qui fournit un coefficient de marquage,- a modulator (18) capable of modulating the marking information provided by the shaping module (14) by a given coefficient (Gij) of the carriers of the first set of carriers, and of modulating in amplitude the coefficient thus obtained by a corresponding quantity linked to the energy weighting term of the marking message and to the set of carriers, which provides a marking coefficient,
- un additionneur (20) capable d'ajouter le coefficient de marquage au coefficient correspondant du signal original transformé.- an adder (20) capable of adding the marking coefficient to the corresponding coefficient of the transformed original signal.
2. Dispositif selon la revendication 1, caractérisé en ce que le module de mise en forme (14) comprend un démodulateur (15) destiné à effectuer la démodulation, ledit démodulateur étant apte à multiplier chaque coefficient du signal original transformé (xi) par le coefficient correspondant d'une porteuse donnée (Gij) du premier ensemble de porteuses, par le poids perceptuel de distorsion (φi) et par le facteur d'atténuation (γi) associés audit coefficient du signal transformé, et à additionner les coefficients ainsi déterminés, ce qui fournit une composante de la réponse du signal original transformé.2. Device according to claim 1, characterized in that the shaping module (14) comprises a demodulator (15) intended to carry out demodulation, said demodulator being capable of multiplying each coefficient of the original transformed signal (xi) by the corresponding coefficient of a given carrier (Gij) of the first set of carriers, by the perceptual distortion weight (φi) and by the attenuation factor (γi) associated with said coefficient of the transformed signal, and to add the coefficients thus determined, which provides a component of the response of the original transformed signal.
3. Dispositif selon l'une des revendications précédentes, caractérisé en ce que le module de mise en forme (14) est apte à calculer l'information de marquage à partir d'un paramètre (θ) prédéterminé, d'un premier vecteur (Uk) associé à un mot de code particulier du message de marquage et d'un deuxième vecteur formant avec ledit premier vecteur une base orthogonale normalisée définissant un hyperplan.3. Device according to one of the preceding claims, characterized in that the shaping module (14) is capable of calculating the marking information from a predetermined parameter (θ), a first vector ( Uk) associated with a particular codeword of the marking message and a second vector forming with said first vector a standardized orthogonal base defining a hyperplane.
4. Dispositif selon la revendication 3, caractérisé en ce que le mot de code particulier (Uk) est obtenu en minimisant un critère d'erreur quadratique entre les mots de code associés au message de marquage et la valeur normalisée de la réponse du signal transformé (rx) à la démodulation.4. Device according to claim 3, characterized in that the particular code word (Uk) is obtained by minimizing a quadratic error criterion between the code words associated with the marking message and the normalized value of the response of the transformed signal (rx) to demodulation.
5. Dispositif selon l'une des revendications 3 et 4, caractérisé en ce que chaque composante (Nj) du deuxième vecteur est proportionnelle à la différence entre la composante correspondante de la réponse (rxj)à la démodulation et la proj ection du vecteur représentant la réponse à la démodulation (rx) sur un vecteur unitaire colinéaire au premier vecteur (Uk/||Uk||).5. Device according to one of claims 3 and 4, characterized in that each component (Nj) of the second vector is proportional to the difference between the corresponding component of the response (rxj) to demodulation and the projection of the vector representing the demodulation response (rx) on a unit vector collinear with the first vector (Uk/||Uk||).
6.Dispositif selon l'une des revendications 3 à 5, caractérisé en ce que le paramètre (θ) prédéterminé correspond à l'angle entre le vecteur représentant rinformation de marquage6. Device according to one of claims 3 to 5, characterized in that the predetermined parameter (θ) corresponds to the angle between the vector representing the marking information
({bj }) et le premier vecteur (U , ce paramètre (θ) étant déterminé en maximisant la relation:({bj }) and the first vector (U, this parameter (θ) being determined by maximizing the relation:
K.(uo + cos θ )2 - (vo + sin θ)2 dans laquelle:K.(uo + cos θ) 2 - (vo + sin θ) 2 in which:
-uo représente le produit scalaire entre le vecteur représentant la réponse à la démodulation (rx) et le premier vecteur, divisé par le nombre m de composantes de la réponse à la démodulation, - vo représente le produit scalaire entre le vecteur représentant la réponse à la démodulation-uo represents the scalar product between the vector representing the response to demodulation (rx) and the first vector, divided by the number m of components of the response to demodulation, - vo represents the scalar product between the vector representing the response to demodulation
(rx) et le deuxième vecteur (V), divisé par le nombre m, -K = 1/ (22 (C+R>/m -1), C et R représentant respectivement le nombre de bits utiles et de bits d'adaptation au signal original et m représente le nombre de composantes de la réponse à la démodulation (rx).(rx) and the second vector (V), divided by the number m, -K = 1/ (2 2 (C+R > /m -1), C and R representing respectively the number of useful bits and bits d adaptation to the original signal and m represents the number of components of the demodulation response (rx).
7.Dispositif selon l'une des revendications précédentes, caractérisé en ce que le module mélangeur (10) comprend un module générateur de porteuses (16) propres à générer le premier ensemble des porteuses à partir des clés de protection du message (M).7. Device according to one of the preceding claims, characterized in that the mixer module (10) comprises a carrier generator module (16) capable of generating the first set of carriers from the message protection keys (M).
8. Dispositif selon l'une des revendications précédentes, caractérisé en ce que le mélangeur comporte un module de mise à l'échelle (17) capable de moduler en amplitude chaque coefficient du signal fourni par le circuit additionneur (20) par une quantité liée au terme de pondération de l'énergie du message de marquage (σ^) et de la variance (σ 1) du coefficient correspondant du signal original transformé (xi). 8. Device according to one of the preceding claims, characterized in that the mixer comprises a scaling module (17) capable of modulating in amplitude each coefficient of the signal supplied by the adder circuit (20) by a linked quantity at the term of weighting the energy of the marking message (σ^) and the variance (σ 1 ) of the corresponding coefficient of the transformed original signal (xi).
9. Dispositif selon la revendication 8, caractérisé en ce que par ladite quantité est définie par σχi2 / (σ xi2 + °wi2):> ou σ xi2 est le terme définissant l'énergie du message de marquage et σj" est la variance du coefficient correspondant du signal original transformé (xi).9. Device according to claim 8, characterized in that said quantity is defined by σ χi 2 / ( σ x i 2 + °wi 2 ):> or σ x i 2 is the term defining the energy of the marking message and σj" is the variance of the corresponding coefficient of the transformed original signal (xi).
10.Dispositif selon l'une des revendications précédentes, caractérisé en ce qu'il comporte un module de transformation inverse (6) en sortie du mélangeur (10), apte à effectuer sur le signal marqué une transformation inverse de celle effectuée par le module de transformation (5).10. Device according to one of the preceding claims, characterized in that it comprises an inverse transformation module (6) at the output of the mixer (10), capable of carrying out on the marked signal a transformation inverse to that carried out by the module transformation (5).
11.Dispositif selon la revendication 10, caractérisé en ce qu'il comporte un dispositif d'extraction (2) en sortie du module de transformation inverse (6) pour extraire le message du signal marqué, le dispositif d'extraction comportant un module de resynchronisation (8) capable de resynchroniser le signal marqué et un module de transformation de signal (7) apte à transformé le signal marqué resynchronisé, ce qui fournit un signal marqué transformé (yi1).11. Device according to claim 10, characterized in that it comprises an extraction device (2) at the output of the inverse transformation module (6) to extract the message from the marked signal, the extraction device comprising a module of resynchronization (8) capable of resynchronizing the marked signal and a signal transformation module (7) capable of transforming the resynchronized marked signal, which provides a transformed marked signal (yi 1 ).
12. Dispositif selon la revendication 11, caractérisé en ce que la transformation réalisée par le module de transformation (7) du dispositif d'extraction est identique à celle réalisée par le module de transformation (5) pour fournir les coefficients du signal original transformés.12. Device according to claim 11, characterized in that the transformation carried out by the transformation module (7) of the extraction device is identical to that carried out by the transformation module (5) to provide the coefficients of the transformed original signal.
13. Dispositif selon l'une des revendications 11 et 12, caractérisé en ce que le dispositif d'extraction (2) est capable de calculer une réponse du signal marqué transformé (yi1) à la démodulation d'un deuxième ensemble de porteuses (Gj) définies par des clés de protection du message, ce qui fournit une estimation de rinformation de marquage insérée (bj) .13. Device according to one of claims 11 and 12, characterized in that the extraction device (2) is capable of calculating a response of the transformed marked signal (yi 1 ) to the demodulation of a second set of carriers ( Gj) defined by message protection keys, which provides an estimate of the inserted marking information (bj).
14.Dispositif selon la revendication 13, caractérisé en ce que le premier ensemble de porteuses et le deuxième ensemble de porteuses sont identiques.14. Device according to claim 13, characterized in that the first set of carriers and the second set of carriers are identical.
15. Dispositif selon l'une des revendications 11 à 14, caractérisé en ce que le dispositif d'extraction (2) comprend un démodulateur (21) destiné à effectuer la démodulation, ledit démodulateur étant apte à multiplier chaque coefficient du signal marqué resynchronisé (yi') par le coefficient correspondant d'une porteuse donnée (Gij) du deuxième ensemble de porteuses et par le poids perceptuel de distorsion (φi)associé audit coefficient du signal marqué resynchronisé, et à additionner les coefficients ainsi déterminés, ce qui fournit une composante de l'estimation de l'information de marquage (bj) . lό.Dispositif selon l'une des revendications 11 à 15, caractérisé en ce que le dispositif d'extraction (2) comprend un module générateur de porteuses 15. Device according to one of claims 11 to 14, characterized in that the extraction device (2) comprises a demodulator (21) intended to carry out demodulation, said demodulator being capable of multiplying each coefficient of the resynchronized marked signal ( yi') by the corresponding coefficient of a given carrier (Gij) of the second set of carriers and by the perceptual distortion weight (φi) associated with said coefficient of the resynchronized marked signal, and to add the coefficients thus determined, which provides a component of the estimation of the marking information (bj). lό.Device according to one of claims 11 to 15, characterized in that the extraction device (2) comprises a carrier generator module
(16) propres à générer le deuxième ensemble des porteuses à partir des clés de protection du message (M).(16) capable of generating the second set of carriers from the message protection keys (M).
17.Dispositif selon l'une des revendications 11 à 16, caractérisé en ce que le dispositif d'extraction (2) comprend un décodeur (22) capable de déterminer le mot de code le plus proche de l'estimation de l'information de marquage (bj) en maximisant un critère d'erreur quadratique entre un ensemble de mots de code et l'estimation de l'information de marquage, ce qui fournit le message de marquage.17. Device according to one of claims 11 to 16, characterized in that the extraction device (2) comprises a decoder (22) capable of determining the code word closest to the estimation of the information of marking (bj) by maximizing a squared error criterion between a set of codewords and the estimation of the marking information, which provides the marking message.
18. Dispositif selon l'une des revendications précédentes, caractérisé en ce qu'il comprend un module de définition de paramètres d'insertion (13) en entrée du module mélangeur (10) capable de déterminer le terme de pondération de l'énergie du message de marquage (σw et le facteur d'atténuation (γi) à partir des propriétés intrinsèques du signal, des contraintes du domaine applicatif, et des propriétés de la transformation utilisée.18. Device according to one of the preceding claims, characterized in that it comprises an insertion parameter definition module (13) at the input of the mixer module (10) capable of determining the weighting term of the energy of the marking message (σw and the attenuation factor (γi) from the intrinsic properties of the signal, the constraints of the application domain, and the properties of the transformation used.
19. Dispositif selon la revendication 18, caractérisé en ce que le module de définition de paramètres d'insertion (13) est capable de calculer deux paramètres globaux d'insertion (λ,χ) en fonction de la distorsion d'insertion D^ entre le signal original (x) et le signal marqué (y) dans l'espace transformé, de la distorsion d'attaque maximale tolérée D^. entre le signal original (x) et le signal marqué resynchronisé (y'), dans l'espace transformé, et du rapport signal à bruit entre l'énergie du message de marquage et le bruit d'attaque Eb/No.19. Device according to claim 18, characterized in that the insertion parameter definition module (13) is capable of calculating two global insertion parameters (λ, χ) as a function of the insertion distortion D^ between the original signal (x) and the marked signal (y) in the transformed space, of the maximum tolerated attack distortion D^. between the original signal (x) and the resynchronized marked signal (y'), in the transformed space, and the signal-to-noise ratio between the energy of the marking message and the attack noise Eb/No.
20.Dispositif selon la revendication 19, caractérisé en ce que les deux paramètres globaux d'insertion (λ,χ) sont calculés en recherchant les paramètres λ et χ qui maximise la relation: Eb/No + λ D^ - χ D^.20. Device according to claim 19, characterized in that the two global insertion parameters (λ, χ) are calculated by searching for the parameters λ and χ which maximizes the relationship: Eb/No + λ D^ - χ D^.
21. Dispositif selon la revendication 20, caractérisé en ce que le module de définition de paramètres d'insertion (13) est apte à calculer le terme de pondération de l'énergie du message de marquage (σw;) et le facteur d'atténuation (γi) à partir des deux paramètres globaux d'insertion (λ,χ) déterminés. 21. Device according to claim 20, characterized in that the insertion parameter definition module (13) is capable of calculating the weighting term of the energy of the marking message (σw ; ) and the attenuation factor (γi) from the two global insertion parameters (λ,χ) determined.
22.Dispositif selon l'une des revendications précédentes, caractérisé en ce que les coefficients du signal original transformé (xi) fournis par le module de transformation du signal (5) sont ceux d'une transformation de Fourier22. Device according to one of the preceding claims, characterized in that the coefficients of the original transformed signal (xi) provided by the signal transformation module (5) are those of a Fourier transformation
23.Dispositif selon l'une des revendications 1 à 21 , caractérisé en ce que les coefficients du signal original transformé (xi) fournis par le module de transformation du signal (5) sont ceux d'une transformation cosinus.23. Device according to one of claims 1 to 21, characterized in that the coefficients of the original transformed signal (xi) provided by the signal transformation module (5) are those of a cosine transformation.
24.Dispositif selon l'une des revendications 1 à 21, caractérisé en ce que les coefficients du signal original transformé (xi) fournis par le module de transformation du signal (5) sont ceux d'une transformation en ondelettes. 24. Device according to one of claims 1 to 21, characterized in that the coefficients of the original transformed signal (xi) provided by the signal transformation module (5) are those of a wavelet transformation.
EP03786001A 2002-10-30 2003-10-28 Device for marking and restoring multimedia signals Withdrawn EP1557043A1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0213605A FR2846827B1 (en) 2002-10-30 2002-10-30 DEVICE FOR MARKING AND RETRIEVING MULTIMEDIA SIGNALS
FR0213605 2002-10-30
PCT/FR2003/003208 WO2004043072A1 (en) 2002-10-30 2003-10-28 Device for marking and restoring multimedia signals

Publications (1)

Publication Number Publication Date
EP1557043A1 true EP1557043A1 (en) 2005-07-27

Family

ID=32104320

Family Applications (1)

Application Number Title Priority Date Filing Date
EP03786001A Withdrawn EP1557043A1 (en) 2002-10-30 2003-10-28 Device for marking and restoring multimedia signals

Country Status (7)

Country Link
US (1) US20060159262A1 (en)
EP (1) EP1557043A1 (en)
JP (1) JP2006505207A (en)
AU (1) AU2003295009A1 (en)
CA (1) CA2503466A1 (en)
FR (1) FR2846827B1 (en)
WO (1) WO2004043072A1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7702023B2 (en) * 2003-12-29 2010-04-20 Marvell World Trade Ltd. Transmitter operations for interference mitigation
FR2872373B1 (en) * 2004-06-28 2006-12-08 Canon Res Ct France S A S Soc METHOD AND DEVICE FOR DETECTION AND PROOF FOR TATTOOING MULTIMEDIA ENTITIES
BRPI0621943A2 (en) 2006-07-18 2011-10-18 Thomson Licensing method and system for time synchronization
US9226047B2 (en) * 2007-12-07 2015-12-29 Verimatrix, Inc. Systems and methods for performing semantic analysis of media objects

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE1000643A5 (en) * 1987-06-05 1989-02-28 Belge Etat METHOD FOR CODING IMAGE SIGNALS.
GB2210236B (en) * 1987-09-24 1991-12-18 Newbridge Networks Corp Speech processing system
US6614914B1 (en) * 1995-05-08 2003-09-02 Digimarc Corporation Watermark embedder and reader
JP3596590B2 (en) * 1998-11-18 2004-12-02 ソニー株式会社 Apparatus and method for appending accompanying information, apparatus and method for detecting accompanying information
EP1043687B1 (en) * 1999-04-09 2006-11-22 Canon Kabushiki Kaisha Method for inserting a watermark and associated decoding method
JP2001061052A (en) * 1999-08-20 2001-03-06 Nec Corp Method for inserting electronic watermark data, its device and electronic watermark data detector
US6385329B1 (en) * 2000-02-14 2002-05-07 Digimarc Corporation Wavelet domain watermarks
US6778587B1 (en) * 2000-09-01 2004-08-17 Microsoft Corporation Spread spectrum modulation system and method for embedding digital information into digital or analog media
US6674876B1 (en) * 2000-09-14 2004-01-06 Digimarc Corporation Watermarking in the time-frequency domain
FR2820928B1 (en) * 2001-02-15 2003-05-09 Canon Kk ESTIMATING THE CAPACITY OF A DIGITAL SIGNAL FOR INSERTING A MESSAGE
CN100449628C (en) * 2001-11-16 2009-01-07 皇家飞利浦电子股份有限公司 Embedding supplementary data in an information signal
US7286604B2 (en) * 2003-05-27 2007-10-23 Aquity Llc Carrier interferometry coding and multicarrier processing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2004043072A1 *

Also Published As

Publication number Publication date
WO2004043072A1 (en) 2004-05-21
FR2846827A1 (en) 2004-05-07
CA2503466A1 (en) 2004-05-21
JP2006505207A (en) 2006-02-09
FR2846827B1 (en) 2005-02-25
AU2003295009A1 (en) 2004-06-07
US20060159262A1 (en) 2006-07-20

Similar Documents

Publication Publication Date Title
Goljan et al. New blind steganalysis and its implications
Cox et al. Secure spread spectrum watermarking for multimedia
Chen et al. Quantization index modulation: A class of provably good methods for digital watermarking and information embedding
US6778678B1 (en) High-capacity digital image watermarking based on waveform modulation of image components
Chen Design and analysis of digital watermarking, information embedding, and data hiding systems
Hernández et al. Statistical analysis of watermarking schemes for copyright protection of images
Cox et al. Watermarking as communications with side information
Moulin et al. Data-hiding codes
US6678389B1 (en) Method and apparatus for embedding digital information in digital multimedia data
US6483927B2 (en) Synchronizing readers of hidden auxiliary data in quantization-based data hiding schemes
WO2000065840A1 (en) Method for inserting a watermark into an image
EP1459555B1 (en) Quantization index modulation (qim) digital watermarking of multimedia signals
EP1330110B1 (en) Method and system for watermark decoding
EP1557043A1 (en) Device for marking and restoring multimedia signals
Woo Digital image watermarking methods for copyright protection and authentication
Rahmati et al. Watermarking in E-commerce
Cacciaguerra et al. Data hiding: steganography and copyright marking
US20050144456A1 (en) Robust digital image watermarking utilizing a Walsh transform algorithm
Vovk et al. Synthesis of optimal steganographic method meeting given criteria
US20040005097A1 (en) Content recognizer via probabilistic mirror distribution
Patil Fundamentals of Digital Watermarking
Hadian Dehkordi et al. OPTP: A new steganography scheme with high capacity and security
Vovk et al. New steganographic method: Development and comparison with the most relevant
Djaziri-Larbi et al. Spread spectrum data embedding in audio with UISA based cooperative detection
Miller Watermark embedding for black-box channels

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20050426

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK

DAX Request for extension of the european patent (deleted)
RIN1 Information on inventor provided before grant (corrected)

Inventor name: LE GUELVOUIT, GAETAN

Inventor name: PATEUX, STEPHANE

Inventor name: GUILLEMOT, CHRISTINE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20070503