JP2001024875A - Method and device for image processing and storage medium - Google Patents

Method and device for image processing and storage medium

Info

Publication number
JP2001024875A
JP2001024875A JP11193331A JP19333199A JP2001024875A JP 2001024875 A JP2001024875 A JP 2001024875A JP 11193331 A JP11193331 A JP 11193331A JP 19333199 A JP19333199 A JP 19333199A JP 2001024875 A JP2001024875 A JP 2001024875A
Authority
JP
Japan
Prior art keywords
information
image data
key information
pixel
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11193331A
Other languages
Japanese (ja)
Other versions
JP3728146B2 (en
Inventor
Junichi Hayashi
淳一 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP19333199A priority Critical patent/JP3728146B2/en
Publication of JP2001024875A publication Critical patent/JP2001024875A/en
Application granted granted Critical
Publication of JP3728146B2 publication Critical patent/JP3728146B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To output image data in which a watermark image is embedded and information eliminated for embedding it as key information by changing pixel information for original image data included in an area instructed by form information of the watermark image, generating key information decided based on the pixel information and outputting the changed original image data and the key information. SOLUTION: In an electronic watermark embedding device, original image (x) each of which includes plural pixels constituted with a pixel position and a pixel value and an embedded image (r) of watermark image data consisting of the pixel position for indicating a form of an image to be embedded are inputted to an input part 11. In a separator 13, at least more than one color component is separated from the original image (x) out of three color components composing the pixel value of the specified pixel position of the original image (x) from a switching device 12, and the separated information is stored as key information (k). Also, remaining information x1 from which this key information (k) is separated is outputted to a switching device 14.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、原画像データに電
子透かしを埋め込んだ画像データを生成し、及び或はそ
の画像データから電子透かし部分を除去して原画像デー
タを生成する画像処理方法及び装置と記憶媒体に関する
ものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing method for generating image data in which a digital watermark is embedded in original image data and / or for generating an original image data by removing a digital watermark portion from the image data. The present invention relates to an apparatus and a storage medium.

【0002】[0002]

【従来の技術】画像をデジタル信号として扱うデジタル
画像は、従来のアナログ信号で表現されるアナログ画像
と比較して、コンピュータなどによって簡単にコピーで
き、しかもその様な複写を行っても画質が劣化すること
がない等の特徴があり、しかも通信回線を通して遠隔地
に画質の劣化無く伝送できるといった利点がある。しか
し、このような特徴により、デジタル画像は第三者によ
り容易に不正コピーされ再配布されるという問題があ
る。これを防ぐための方法の一つとに、電子透かしと呼
ばれる手法がある。
2. Description of the Related Art A digital image in which an image is treated as a digital signal can be easily copied by a computer or the like as compared with a conventional analog image represented by an analog signal, and the image quality is deteriorated even if such copying is performed. There is an advantage that the image can be transmitted to a remote place through a communication line without deteriorating the image quality. However, due to such characteristics, there is a problem that a digital image is easily copied and redistributed by a third party. One method for preventing this is a method called digital watermarking.

【0003】この電子透かしには大きく分類して、著作
権情報、ユーザ情報等の透かし情報を目に見えない形で
画像に埋め込む不可視型と、その著作権を保有する会社
のロゴ等の透かし画像を目に見える形で、その画像上に
形成する可視型とがある。前者の不可視型の電子透かし
では、その埋め込み画像を一見しただけでは、透かし情
報が埋め込まれていることが認識できない。従って、透
かし情報の削除は行われにくいものの、その画像の不正
コピー、不正編集は可視型の場合に比べて行われ易い。
但し、例えデジタル画像データが不正にコピー又は編集
された場合でも、そのデジタル画像データ中には透かし
情報が残っているので、透かし情報として埋め込まれた
ユーザID等により、不正なコピー等を行ったユーザを
特定することができる。
[0003] The digital watermark is roughly classified into two types: an invisible type in which watermark information such as copyright information and user information is embedded in an invisible form in an image, and a watermark image such as a logo of a company holding the copyright. There is a visible type which is formed on an image in a visible form. In the former invisible type digital watermark, it is not possible to recognize that the watermark information is embedded at a glance of the embedded image. Therefore, although it is difficult to delete the watermark information, the image is illegally copied and edited more easily than in the visible type.
However, even if the digital image data is illegally copied or edited, since the watermark information remains in the digital image data, an illegal copy or the like was performed by the user ID or the like embedded as the watermark information. The user can be specified.

【0004】このような不可視型の電子透かしの代表的
なものとして、入力画像に対し高速フーリエ変換、離散
コサイン変換、ウェーブレット変換等の周波数変換を行
い、周波数領域に透かし情報を加えた後、逆周波数変換
を行うことにより、電子透かしの埋め込みを行う手法が
挙げられる。このうち、高速フーリエ変換による手法で
は、入力画像はPN系列を加えられて拡散された後、ブ
ロックに分割され、各ブロック毎にフーリエ変換が施さ
れ、1ブロックに1ビットの透かし情報が埋め込まれ
る。こうして透かし情報が埋め込まれたブロックに逆フ
ーリエ変換が施され、再び最初と同じPN系列が加えら
れて合成画像となる。この技術は例えば、大西、岡、松
井等による、“PN系列による画像への透かし署名法”
(1997年、暗号と情報セキュリティシンポジウム講
演論文集、SCIS97-26B)に詳しい。また離散コサイン変
換による手法は、ブロックに分割し、ブロック毎に離散
コサイン変換をする。1ブロックに1ビットの情報を埋
め込んだ後、逆変換をして合成画像を生成する。これ
は、例えば、中村、小川、高嶋等による“ディジタル画
像の著作権保護のための周波数領域における電子透かし
方式”(1997年、暗号と情報セキュリティシンポジ
ウム講演論文集、SCIS97-26A)に詳しい。更にウェーブ
レット変換による手法は、入力画像をブロック分割する
必要のない手法で、これは石塚、酒井、櫻井等による
“ウェーブレット変換を用いた電子すかし技術の安全性
と信頼性に関する実験的考察”(1997年、暗号と情
報セキュリティシンポジウム講演論文集、SCIS97-26D)
に詳しい。また、画素の色相、明度等に演算を施して電
子透かしを埋め込む手法(Digimarc社、米国特許5,636,
292等)もある。
As a typical example of such an invisible type digital watermark, a frequency conversion such as a fast Fourier transform, a discrete cosine transform, and a wavelet transform is performed on an input image, and after adding watermark information to a frequency domain, the inverse is performed. There is a method of embedding a digital watermark by performing frequency conversion. Among them, in the method based on the fast Fourier transform, the input image is added with a PN sequence and spread, then divided into blocks, Fourier transformed for each block, and 1-bit watermark information is embedded in one block. . In this way, the block in which the watermark information is embedded is subjected to inverse Fourier transform, and the same PN sequence as the first is added again to form a composite image. This technology is described in, for example, "Watermark Signature Method for Images Using PN Sequence" by Onishi, Oka, Matsui, etc.
(1997, Cryptography and Information Security Symposium Proceedings, SCIS97-26B). In the method using the discrete cosine transform, the data is divided into blocks, and discrete cosine transform is performed for each block. After embedding 1-bit information in one block, a reverse conversion is performed to generate a composite image. This is described in detail in, for example, "Digital Watermarking System in the Frequency Domain for Copyright Protection of Digital Images" by Nakamura, Ogawa, Takashima, et al. (1997, Symposium on Cryptography and Information Security, SCIS97-26A). Furthermore, the method based on the wavelet transform is a method that does not need to divide the input image into blocks. This is an experimental study by Ishizuka, Sakai, Sakurai et al. “Experimental study on the safety and reliability of the electronic watermarking technology using the wavelet transform” ( 1997, Cryptography and Information Security Symposium, SCIS97-26D)
Familiar with. In addition, a technique for embedding a digital watermark by performing calculations on the hue and brightness of pixels (Digimarc, US Pat. No. 5,636,
292).

【0005】一方、可視型の電子透かしでは、透かし情
報はデジタル画像上に目で見える形で書き込まれている
ので、そのままでは利用し辛く、不正コピー、不正編集
を思い留まらせる効果がある。このような可視型電子透
かしは、正しい利用者だけが完全に透かし情報を取り除
くことが可能であるように構成されている場合もある。
その具体例として、その画像データの正規でない利用者
に対しては、可視型の透かしが埋め込まれた画像を配布
し、正規の利用者に対しては、可視型の透かしが埋め込
まれていない画像を配布する場合が考えられる。
On the other hand, in the case of a visible digital watermark, since the watermark information is written in a form visible on a digital image, it is difficult to use it as it is, and there is an effect of discouraging illegal copying and unauthorized editing. Such a visible digital watermark may be configured so that only the correct user can completely remove the watermark information.
As a specific example, an image with a visible watermark is distributed to an unauthorized user of the image data, and an image without a visible watermark is distributed to an authorized user. May be distributed.

【0006】これを実現するための一つの方法として、
従来はロゴなどの画像の画素値を原画像の画素値と置き
換えることにより、著作権情報を原画像データに貼り込
み、正規でない利用者に対してはロゴ等を貼り込んだ画
像データを配布し、正規の利用者に対しては原画像デー
タをそのまま配布する方式が用いられてきた。しかし、
可視型の電子透かしを埋め込んだ画像データの部分の内
容は、ロゴなどの画像の内容に置き換えられているため
に、利用者はこの部分に対応する原画像データの内容を
知ることができない。更に、このような電子透かしを除
去するためには、原画像データの全てを送信する必要が
あるが、一般に原画像データは非常に大きなデータであ
るため、これを送信するには多くの時間が必要とされ
た。
One way to achieve this is as follows:
Conventionally, the copyright information is pasted into the original image data by replacing the pixel value of the image such as logo with the pixel value of the original image, and the image data with the logo etc. is distributed to unauthorized users. A method of distributing original image data as it is to authorized users has been used. But,
Since the content of the image data portion in which the visible digital watermark is embedded is replaced by the content of the image such as a logo, the user cannot know the content of the original image data corresponding to this portion. Further, in order to remove such a digital watermark, it is necessary to transmit all of the original image data. However, since the original image data is generally very large data, it takes a lot of time to transmit the original image data. Needed.

【0007】またこれとは他に、特開平8−24140
3号公報で提案されている方式もある。これは、原画像
データの輝度値を線形変換することによって、色度を保
存して可視型の電子透かしを埋め込む方式である。この
方式では、可視型の電子透かしが埋め込まれた領域の原
画像データの内容を使用者が知ることが可能であった
が、可視型の電子透かしを解除する方法は明確にされて
いない。
[0007] In addition to this, Japanese Patent Laid-Open No.
There is also a method proposed in Japanese Patent Publication No. This is a method of embedding a visible digital watermark while preserving chromaticity by linearly converting the luminance value of original image data. In this method, the user can know the contents of the original image data in the area where the visible digital watermark is embedded, but the method of releasing the visible digital watermark is not clarified.

【0008】[0008]

【発明が解決しようとする課題】以上説明したように従
来は、原画像データに可視型の電子透かしを埋め込み、
その電子透かしが埋め込まれた画像データから電子透か
し部分を解除する方法については提案されていない。こ
のため、正規の利用者に対して可視型の電子透かしを解
除した原画像データを提供するためには、その利用者に
対して、その原画像のデータの全てを送信する必要があ
った。このような全原画像データの送信は多くの時間を
要し、伝送コストの点でも問題となっていた。
As described above, conventionally, a visible electronic watermark is embedded in original image data.
No method has been proposed for removing the digital watermark portion from the image data in which the digital watermark is embedded. Therefore, in order to provide an authorized user with original image data from which a visible digital watermark has been released, it is necessary to transmit all the data of the original image to the user. Such transmission of all original image data requires a lot of time, and also has a problem in transmission cost.

【0009】本発明は上記従来例に鑑みてなされたもの
で、原画像データと透かし画像の形状情報とを入力し
て、透かし画像が埋め込まれた画像データと、その透か
し画像を埋め込むために除去された情報を鍵情報として
出力する画像処理方法及び装置を提供することを目的と
する。
The present invention has been made in view of the above-mentioned conventional example, and inputs original image data and shape information of a watermark image, removes the image data in which the watermark image is embedded, and removes the image data in order to embed the watermark image. It is an object of the present invention to provide an image processing method and apparatus for outputting the obtained information as key information.

【0010】また本発明の目的は、透かし画像が埋め込
まれた画像データと、その透かし画像を埋め込むために
除去された情報に対応する鍵情報とに基づいて、原画像
をデータを復元する画像処理方法及び装置を提供するこ
とにある。
Another object of the present invention is to provide an image processing apparatus for restoring data of an original image based on image data in which a watermark image is embedded and key information corresponding to information removed for embedding the watermark image. It is to provide a method and an apparatus.

【0011】更に、本発明の目的は、原画像データと透
かし画像の形状情報とを入力して、透かし画像が埋め込
まれた画像データと、その透かし画像を埋め込むために
除去された情報を鍵情報とし、更にこの鍵情報を圧縮、
及び或は暗号化して出力する画像処理方法及び装置を提
供することを目的とする。
It is another object of the present invention to input original image data and shape information of a watermark image, and to convert image data with a watermark image embedded therein and information removed to embed the watermark image into key information. And further compress this key information,
Another object of the present invention is to provide an image processing method and apparatus for encrypting and outputting.

【0012】また本発明の目的は、透かし画像が埋め込
まれた画像データと、その透かし画像を埋め込むために
除去された情報に対応する、圧縮、及び或は暗号化され
た鍵情報とに基づいて、原画像をデータを復元する画像
処理方法及び装置を提供することにある。
It is another object of the present invention to provide a digital camera based on image data in which a watermark image is embedded, and compressed and / or encrypted key information corresponding to information removed for embedding the watermark image. Another object of the present invention is to provide an image processing method and apparatus for restoring data of an original image.

【0013】[0013]

【課題を解決するための手段】上記目的を達成するため
に本発明の画像処理装置は以下のような構成を備える。
即ち、原画像データに透かし画像を埋め込む画像処理装
置であって、原画像データと前記透かし画像の形状情報
を入力する入力手段と、前記形状情報で指示される領域
内に含まれる前記原画像データの画素情報を変更する変
更手段と、前記変更手段により変更された画素情報に基
づいて決定される鍵情報を生成する鍵情報生成手段と、
前記変更手段により画素情報が変更された原画像データ
と前記鍵情報とを出力する出力手段と、を有することを
特徴とする。
In order to achieve the above object, an image processing apparatus according to the present invention has the following arrangement.
That is, an image processing apparatus for embedding a watermark image in original image data, an input unit for inputting original image data and shape information of the watermark image, and the original image data included in an area designated by the shape information. Changing means for changing the pixel information of, and key information generating means for generating key information determined based on the pixel information changed by the changing means,
An output unit that outputs the original image data whose pixel information has been changed by the changing unit and the key information.

【0014】上記目的を達成するために本発明の画像処
理装置は以下のような構成を備える。即ち、原画像デー
タに透かし画像が埋め込まれた埋め込み画像データを入
力して前記原画像データを復元する画像処理装置であっ
て、前記埋め込み画像データと、前記透かし画像の形状
情報及び鍵情報を入力する入力手段と、前記形状情報で
指示される領域内に含まれる前記埋め込み画像データの
画素情報を前記鍵情報に基づいて元の画素情報に復元す
る復元手段と、前記復元手段により復元された画素情報
を含む原画像データを出力する出力手段とを有すること
を特徴とする。
In order to achieve the above object, an image processing apparatus according to the present invention has the following arrangement. That is, an image processing apparatus for inputting embedded image data in which a watermark image is embedded in original image data and restoring the original image data, wherein the embedded image data, shape information and key information of the watermark image are input. Input means for performing restoration, restoration means for restoring pixel information of the embedded image data included in the area designated by the shape information to original pixel information based on the key information, and pixels restored by the restoration means Output means for outputting original image data including information.

【0015】上記目的を達成するために本発明の画像処
理方法は以下のような工程を備える。即ち、原画像デー
タに透かし画像を埋め込む画像処理方法であって、原画
像データと前記透かし画像の形状情報を入力する入力工
程と、前記形状情報で指示される領域内に含まれる前記
原画像データの画素情報を変更する変更工程と、前記変
更工程で変更された画素情報に基づいて決定される鍵情
報を生成する鍵情報生成工程と、前記変更工程で画素情
報が変更された原画像データと前記鍵情報とを出力する
出力工程とを有することを特徴とする。
[0015] To achieve the above object, the image processing method of the present invention comprises the following steps. That is, an image processing method for embedding a watermark image in original image data, comprising: an input step of inputting original image data and shape information of the watermark image; and the original image data included in an area specified by the shape information. A changing step of changing the pixel information, a key information generating step of generating key information determined based on the pixel information changed in the changing step, and original image data in which the pixel information is changed in the changing step. And an output step of outputting the key information.

【0016】上記目的を達成するために本発明の画像処
理方法は以下のような工程を備える。即ち、原画像デー
タに透かし画像が埋め込まれた埋め込み画像データを入
力して前記原画像データを復元する画像処理方法であっ
て、前記埋め込み画像データと、前記透かし画像の形状
情報及び鍵情報を入力する入力工程と、前記形状情報で
指示される領域内に含まれる前記埋め込み画像データの
画素情報を前記鍵情報に基づいて元の画素情報に復元す
る復元工程と、前記復元工程で復元された画素情報を含
む原画像データを出力する出力工程とを有することを特
徴とする。
In order to achieve the above object, the image processing method of the present invention comprises the following steps. That is, an image processing method for restoring the original image data by inputting embedded image data in which a watermark image is embedded in the original image data, wherein the embedded image data, shape information and key information of the watermark image are input An inputting step, a restoring step of restoring pixel information of the embedded image data included in an area designated by the shape information to original pixel information based on the key information, and a pixel restored in the restoring step. Outputting an original image data including information.

【0017】[0017]

【発明の実施の形態】以下、添付図面を参照して本発明
の好適な実施の形態を詳細に説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of the present invention will be described below in detail with reference to the accompanying drawings.

【0018】[実施の形態1]図1は、本発明の実施の
形態1に係る電子透かし埋め込み装置の概略構成を示す
ブロック図である。
[First Embodiment] FIG. 1 is a block diagram showing a schematic configuration of a digital watermark embedding device according to a first embodiment of the present invention.

【0019】図1において、原画像データxと埋め込み
画像データrが入力部11に入力される。ここで原画像
データxとは、それぞれが、その画素の位置と画素値
(輝度値)とで構成される複数の画素を含む原画像デー
タであり、本実施の形態1においては、原画像データの
1つの画素データは、赤色(R)成分、緑色(G)成
分、青色(B)成分で構成されるデータであり、それぞ
れの色成分は256階調(8ビット)で表現される。ま
た、埋め込み画像データrは、埋め込む画像の形状を示
す画素位置からなる透かし画像データである。
In FIG. 1, original image data x and embedded image data r are input to an input unit 11. Here, the original image data x is original image data that includes a plurality of pixels each including a pixel position and a pixel value (luminance value). In the first embodiment, the original image data x Is pixel data composed of a red (R) component, a green (G) component, and a blue (B) component, and each color component is represented by 256 gradations (8 bits). The embedded image data r is watermark image data including pixel positions indicating the shape of the image to be embedded.

【0020】この埋め込み画像データrは、例えば図9
に示すような、利用者などによって意味のある内容のデ
ータであっても、意味の無い内容のデータのいずれであ
っても良い。例えば、意味のある内容のデータとして
は、ロゴマークなどのように、著作権情報などを主張す
るようなデータが考えられる。ここで図9に示すような
ロゴを示す情報を埋め込む場合には、領域を示す情報と
して、黒色画素には符号“1”を対応させ、白色画素に
は符号“0”を対応させることによって、図10に示す
ような、この埋め込み画像データrを示すシリアルビッ
ト系列のデータを構成することが可能である。また意味
の無い内容のデータ場合は、原画像データの特定位置を
マスクするような情報で表現することが考えられる。
The embedded image data r is, for example, as shown in FIG.
The data may have any meaning, depending on the user or the like, or may have no meaning. For example, as data having a meaningful content, data that asserts copyright information or the like, such as a logo mark, can be considered. Here, when embedding information indicating a logo as shown in FIG. 9, as information indicating an area, a code “1” is associated with a black pixel, and a code “0” is associated with a white pixel. As shown in FIG. 10, it is possible to configure serial bit sequence data indicating the embedded image data r. In the case of data having meaningless contents, it is conceivable to represent the data with information that masks a specific position of the original image data.

【0021】以上述べたような原画像データx、及び埋
め込み画像データrが、初期状態において設定される。
The above-described original image data x and embedded image data r are set in an initial state.

【0022】次に、切替え器12において、原画像デー
タxの画素の画素位置と、埋め込み画像データrに含ま
れる透かし画像の形状情報とを比較し、それらが一致し
た場合は、分離器13に、その位置が一致する画素値を
送り、不一致の場合は、その画素についての分離、切替
え処理を行わず、原画像データxの画素値をそのまま切
替え器14に出力する。
Next, the switching unit 12 compares the pixel position of the pixel of the original image data x with the shape information of the watermark image included in the embedded image data r. The pixel value of the original image data x is output to the switching unit 14 without performing the separation and switching process on the pixel if the pixel value does not match.

【0023】分離器13では、原画像データxの指定さ
れた画素位置の画素値(全部又は一部)を構成する3色
の色成分のうち、少なくとも1色以上の色成分を原画像
データから分離し、その分離した情報を鍵情報kとして
格納する。またこの鍵情報kが分離された残りの情報(x
1) を、切替え器14に出力する。
In the separator 13, at least one or more color components of the three color components constituting the pixel value (all or part) at the designated pixel position of the original image data x are converted from the original image data. It separates and stores the separated information as key information k. Also, the remaining information (x
1) is output to the switch 14.

【0024】ここで分離される色成分情報は、本実施の
形態1においては256階調、即ち8ビットの情報量を
もつ。よって、分離する情報(鍵情報k)は、8ビット
全てであってもよいし、8ビット未満であってもよい
が、少なくとも1ビット以上である必要がある。なお、
原画像データxに依存せずに、効果的に可視型の透かし
埋め込み処理を行うためには、8ビット全ての情報を分
離することが望ましい。しかしながら、分離した情報は
鍵情報kとして出力されるため、この鍵情報kを小さく
したい場合には、この分離する鍵情報kの情報量を少な
くするように制御する必要がある。
The color component information separated here has 256 gradations, that is, an information amount of 8 bits in the first embodiment. Therefore, the information to be separated (key information k) may be all 8 bits or less than 8 bits, but needs to be at least 1 bit or more. In addition,
In order to effectively perform a visible watermark embedding process without depending on the original image data x, it is desirable to separate all 8 bits of information. However, since the separated information is output as the key information k, if it is desired to reduce the key information k, it is necessary to control the information amount of the separated key information k to be small.

【0025】更に、分離する色成分の数は、1色である
場合は、残りの2色によって、現在着目している画素位
置の内容を表現することが可能である。例えば、赤色成
分を分離したとしても、残りの緑色成分、青色成分によ
って、現在着目している画素位置の内容が表現可能であ
る。但し、この場合は、赤色成分が含まれていないため
に、この画素位置の色合いが変化してしまう。この色合
いの変化によって、利用者に対して明示的に電子透かし
が埋め込まれていることを可視的に主張することができ
る。また、分離する色成分の数が3色である場合には、
その着目している画素位置の内容を表現することができ
ない。これは着目した画像の内容も知らせたくないよう
なアプリケーションにとって有効な手段であるかもしれ
ない。尚、上述した本実施の形態における処理は、各画
素毎に順次行うことも、並列に行うこともできる。
Further, when the number of color components to be separated is one, the contents of the pixel position of interest at present can be expressed by the remaining two colors. For example, even if the red component is separated, the content of the pixel position currently focused can be expressed by the remaining green component and blue component. However, in this case, since the red component is not included, the color at this pixel position changes. By this change in color tone, it is possible to visually assert to the user that the digital watermark is embedded. When the number of color components to be separated is three,
The content of the focused pixel position cannot be expressed. This may be an effective means for an application that does not want to notify the content of the image of interest. Note that the above-described processing in the present embodiment can be sequentially performed for each pixel or can be performed in parallel.

【0026】以上述べた処理によって、原画像データに
対して透かし画像データの形状情報に応じた変形を加え
ることができる。この変形は上述の不可視型電子透かし
と異なり、その画素値を分離器13に応じて大きく変え
るので、目に見える可視型透かしとなる。このようにし
て分離器13で分離された画像データ(x1)は切替え器1
4に入力される。この切替え器14では、前述の切替え
器12と同様に、原画像データxの画素の画素位置と、
埋め込み画像データrに含まれる透かし画像の形状情報
とを比較し、それらが一致した場合は、分離器13から
入力される画像データ(x1)を出力部15に送り、不一致
の場合は、原画像データxの画素値をそのまま出力部1
5に出力する。このようにして、透かし画像が埋め込ま
れた画像データを再形成し、その結果が出力部15に出
力される。更に、分離器13で分離された鍵情報kも出
力部15に出力される。こうして出力部15から、透か
し画像が埋め込まれた埋め込み済み画像データx’と鍵
情報kとが出力される。
By the above-described processing, the original image data can be modified according to the shape information of the watermark image data. This modification differs from the invisible digital watermark described above in that its pixel value is greatly changed according to the separator 13, so that it becomes a visible visible watermark. The image data (x1) separated by the separator 13 in this manner is supplied to the switch 1
4 is input. In this switch 14, similarly to the switch 12 described above, the pixel position of the pixel of the original image data x,
The shape information of the watermark image included in the embedded image data r is compared with each other. If they match, the image data (x1) input from the separator 13 is sent to the output unit 15. The output unit 1 outputs the pixel value of the data x as it is
5 is output. In this way, the image data in which the watermark image is embedded is reformed, and the result is output to the output unit 15. Further, the key information k separated by the separator 13 is also output to the output unit 15. Thus, the output unit 15 outputs the embedded image data x ′ in which the watermark image is embedded and the key information k.

【0027】以上述べたような本実施の形態1の処理に
よって生成される画像データを、以下では可視型電子透
かし埋め込み済み画像と呼ぶ。
The image data generated by the processing of the first embodiment as described above is hereinafter referred to as a visible digital watermark embedded image.

【0028】この画像は次の実施の形態2に示す復号法
によって可逆的に復元可能であり、透かし画像の形状が
著作権者のロゴ等、意味のある情報であれば単なる画像
スクランブルと異なる著作権情報保護の効果を実現する
ことが出来る。
This image can be reversibly restored by the decoding method described in the second embodiment. If the shape of the watermark image is meaningful information such as a logo of the copyright holder, the image may be different from a simple image scramble. The effect of rights information protection can be realized.

【0029】[実施の形態2]図2は、本発明の実施の
形態に係る電子透かし解除装置の概略構成を示すブロッ
ク図である。
[Embodiment 2] FIG. 2 is a block diagram showing a schematic configuration of a digital watermark canceling apparatus according to an embodiment of the present invention.

【0030】図2において、可視型電子透かし埋め込み
済み画像x’と、埋め込み画像データr、及び鍵情報k
が入力部21より入力される。ここで、可視型電子透か
し埋め込み済み画像x’とは、上記実施の形態1で説明
した構成によって処理された画像データx’であり、埋
め込み画像データrは、上記実施の形態1において入力
された埋め込み画像データrと等しいものである。更に
鍵情報kは、上記実施の形態1で説明したようにして出
力された鍵情報kに等しくなければならない。これらの
情報、特に埋め込み画像データrと鍵情報kが正しく入
力されない場合には、本実施の形態2における処理は正
常な終了をしない。ここで正常な終了とは、可視型電子
透かし埋め込み済み画像x’から可逆的に原画像データ
xを復元することである。
In FIG. 2, an image x 'having a visible digital watermark embedded therein, embedded image data r, and key information k
Is input from the input unit 21. Here, the visible digital watermark embedded image x ′ is image data x ′ processed by the configuration described in the first embodiment, and the embedded image data r is input in the first embodiment. This is equivalent to the embedded image data r. Further, the key information k must be equal to the key information k output as described in the first embodiment. If these pieces of information, particularly the embedded image data r and the key information k, are not correctly input, the processing according to the second embodiment does not end normally. Here, the normal end means reversibly restoring the original image data x from the image x 'with the visible digital watermark embedded therein.

【0031】本実施の形態2では、それぞれが、その画
素位置と画素値で構成される複数の画素からなる可視型
電子透かし埋め込み済み画像x’と、埋め込む画像の形
状を示す画素位置からなる透かし画像形状情報(埋め込
み画像データ)rであって、上記実施の形態1で埋め込
みに用いたものと同じシリアルビット系列の埋め込み画
像データを初期状態において設定する。
In the second embodiment, each of the visible digital watermark embedded image x 'composed of a plurality of pixels composed of the pixel position and the pixel value, and the watermark composed of the pixel position indicating the shape of the image to be embedded. In the initial state, image shape information (embedded image data) r, which is the same serial bit sequence embedded image data used for embedding in the first embodiment, is set.

【0032】図2の切替え器22において、電子透かし
埋め込み済み画像x’を構成する各画素の画素位置と、
埋め込み画像データrの画素位置との比較処理を行い、
一致した場合は、合成器23にその画素位置情報を送
り、不一致の場合は、その画素についての合成処理を行
わず、透かし埋め込み済み画像x’を切替え器24にそ
のまま入力する。なお、ここで切替え器24に入力され
る透かし埋め込み済み画像x’は、この実施の形態2に
おける埋め込み画像rが上述の実施の形態1の埋め込み
画像rと同じであるあるため、結果的に、実施の形態1
における原画像データxに等しくなっている。
In the switch 22 of FIG. 2, the pixel position of each pixel constituting the digital watermark embedded image x '
Performs comparison processing with the pixel position of the embedded image data r,
If they match, the pixel position information is sent to the combiner 23. If they do not match, the combining process for the pixel is not performed and the watermark-embedded image x 'is directly input to the switch 24. Note that the watermark-embedded image x ′ input to the switch 24 here is the same as the embedded image r of the first embodiment because the embedded image r of the second embodiment is the same as the embedded image r of the first embodiment. Embodiment 1
Is equal to the original image data x at

【0033】合成器23では、原画像データの指定され
た画素位置の画素値(全部又は一部)と、その時の鍵情
報kを入力し、その画素値を構成する3色の色成分のう
ち、上記実施の形態1で分離された成分に着目し、この
成分に対して鍵情報kのデータを合成する。尚、この合
成器23における合成の方式は、上記実施の形態1にお
ける分離器13における分離の方式に完全に対応してい
なくてはならない。即ち例えば、分離器13において赤
色成分の全ての情報(8ビット)が分離されていた場合
には、この合成器23において赤色成分の全ての情報
(8ビット)を鍵情報kから合成する必要がある。こう
して合成器23から出力される画像データは、埋め込み
画像位置の画素値が元の原画像データに修復されたもの
となって切替え器24に出力される。この切替え器24
は、埋め込み画像データrで指示された画素位置の画素
値を合成器23から出力された画素値とし、それ以外の
画素位置の画素値は切替え器22の出力をそのまま出力
する。こうして出力部25には、埋め込み済み画像x’
から電子透かし画像が除去された除去画像x''(図1の
原画像データxに等しい)が入力され、そのまま出力さ
れる。
The synthesizer 23 inputs the pixel value (all or a part) of the original image data at the designated pixel position and the key information k at that time, and outputs the three color components of the pixel value. Focusing on the component separated in the first embodiment, the key information k is combined with this component. It should be noted that the combining method in the combiner 23 must completely correspond to the separating method in the separator 13 in the first embodiment. That is, for example, when all the information (8 bits) of the red component is separated by the separator 13, all the information (8 bits) of the red component needs to be synthesized from the key information k by the synthesizer 23. is there. Thus, the image data output from the synthesizer 23 is output to the switch 24 as the pixel value at the embedded image position being restored to the original original image data. This switch 24
Sets the pixel value at the pixel position designated by the embedded image data r as the pixel value output from the synthesizer 23, and outputs the pixel value at the other pixel position as it is from the switch 22. In this way, the output unit 25 displays the embedded image x ′
, A removed image x ″ (equivalent to the original image data x in FIG. 1) from which the digital watermark image has been removed is input and output as it is.

【0034】尚、本実施の形態2における処理は、各画
素毎に順次行うことも、或は並列に行うこともできる。
これによって、上記実施の形態1によって生成された可
視型電子透かし埋め込み済み画像x’は可逆的に原画像
データxに復号される。
The processing according to the second embodiment can be performed sequentially for each pixel or can be performed in parallel.
As a result, the image x ′ embedded with the visible digital watermark generated according to the first embodiment is reversibly decoded into the original image data x.

【0035】[実施の形態3]図3は、本発明の実施の
形態3に係る電子透かし埋め込み装置の概略構成を示す
ブロック図で、ここでは出力される鍵情報kを暗号化し
て出力している。尚、前述の実施の形態1に係る図1の
構成と共通する部分は同じ符号で示し、それらの説明を
省略する。
[Third Embodiment] FIG. 3 is a block diagram showing a schematic configuration of a digital watermark embedding device according to a third embodiment of the present invention. Here, the output key information k is encrypted and output. I have. Note that the same reference numerals as in the configuration of FIG. 1 according to Embodiment 1 described above denote the same parts, and a description thereof will be omitted.

【0036】暗号化器36は、出力された鍵情報kに対
して暗号化処理を行うものである。ここで上記実施の形
態1によって出力された鍵情報kは、適当な伝送路を用
いて上記実施の形態2の入力とならなければならない。
ここで、上記実施の形態1及び実施の形態2が、許可さ
れた利用者だけが正常に電子透かし解除を実行すること
が可能であるようなアプリケーションに適用される場合
には、この鍵情報kは前記伝送路において安全に伝送さ
れる必要がある。ここで、安全に伝送するとは、伝送路
において、第3者によって盗聴されることなく、且つ/
或いは改竄されることなく通信されることを意味してい
る。この安全な伝送路を確立するために、本実施の形態
3では鍵情報kを暗号化することにより伝送する。
The encryption unit 36 performs an encryption process on the output key information k. Here, the key information k output according to the first embodiment must be input to the second embodiment using an appropriate transmission path.
Here, in the case where the first and second embodiments are applied to an application in which only an authorized user can normally execute the digital watermark release, the key information k Must be safely transmitted on the transmission path. Here, "secure transmission" means that a third party does not eavesdrop on the transmission path and / or
Alternatively, it means that communication is performed without tampering. In order to establish this secure transmission path, the third embodiment transmits the key information k by encrypting it.

【0037】従って、この暗号化器36では、分離器1
3によって生成された鍵情報kに対して適当な暗号化処
理を行い、暗号化された鍵情報k’を出力している。
Therefore, in the encryptor 36, the separator 1
3 performs an appropriate encryption process on the key information k generated by step 3 and outputs encrypted key information k ′.

【0038】この暗号化器36における暗号化処理に
は、例えば、共通鍵暗号方式としてDES(池野、小
山、“現代暗号理論”、電子情報通信学会に詳しい)、
FEAL,TDEA,RC2,RC4,RC5,MIS
TY,シーザー型暗号、ビジネル暗号、ビューフォート
暗号、プレイフェア暗号、ヒル暗号、バーナム暗号等を
用いることが可能である。
The encryption processing in the encryptor 36 includes, for example, DES (Ikeno and Koyama, "Modern Cryptography Theory", detailed in IEICE) as a common key cryptosystem.
FEAL, TDEA, RC2, RC4, RC5, MIS
It is possible to use TY, Caesar type encryption, business encryption, Beaufort encryption, play fair encryption, Hill encryption, Burnham encryption, and the like.

【0039】図4は、図3の電子透かし埋め込み装置に
よって埋め込んだ電子透かしを解除する、本発明の実施
の形態4に係る電子透かし解除装置の概略図で、前述の
図2の構成と共通する部分は同じ符号で示し、それらの
説明を省略する。
FIG. 4 is a schematic diagram of a digital watermark canceling device according to a fourth embodiment of the present invention for canceling a digital watermark embedded by the digital watermark embedding device of FIG. 3, which is common to the configuration of FIG. Portions are denoted by the same reference numerals, and description thereof will be omitted.

【0040】この実施の形態4の電子透かし解除装置で
は、暗号化された鍵情報k’を復号する復号器40を設
けている。この復号器40は、暗号化処理された鍵情報
k’に対して復号処理を行う。この復号器40により復
号処理された鍵情報kを用いて、上記電子透かし埋め込
み装置によって、前述の図2の構成と同様に、埋め込ま
れた電子透かしの解除を実現することが可能である。
The digital watermark canceling apparatus according to the fourth embodiment includes a decoder 40 for decoding the encrypted key information k '. The decryptor 40 performs decryption processing on the encrypted key information k ′. Using the key information k decrypted by the decryptor 40, the embedded digital watermark can be canceled by the digital watermark embedding device in the same manner as in the configuration of FIG. 2 described above.

【0041】[実施の形態4]図5は、本発明の実施の
形態4に係る電子透かし埋め込み装置の構成を示すブロ
ック図で、ここでは上述の実施の形態1において出力さ
れた鍵情報kをデータ圧縮器56によりデータ圧縮して
出力している。尚、図1の構成と共通する部分は同じ番
号で示し、それらの説明を省略する。
[Embodiment 4] FIG. 5 is a block diagram showing a configuration of a digital watermark embedding apparatus according to Embodiment 4 of the present invention. Here, key information k output in Embodiment 1 described above is The data is compressed and output by the data compressor 56. Note that parts common to those in the configuration of FIG. 1 are denoted by the same reference numerals, and description thereof is omitted.

【0042】データ圧縮器56は、出力された鍵情報k
に対してデータ圧縮処理を行うものである。上記実施の
形態1によって出力された鍵情報kは、適当な伝送路を
用いて上記実施の形態2の入力とならなければならな
い。ここで、上記適当な伝送路がインターネットに代表
される通信路であったり、或いはCD−ROMなどの記
憶媒体である場合には、鍵情報kの情報量はできる限り
小さいほうが望ましい。よって、鍵情報kの情報量をで
きる限り小さくするために、本実施の形態4では、鍵情
報kをデータ圧縮して伝送している。このデータ圧縮器
56においては、分離器13によって生成された鍵情報
kに対して適当なデータ圧縮処理を行う。この分離器1
3によって分離された色情報は、ロゴ等の画像データが
空間的に連続的である時には、冗長な成分を多く持つ。
これは原画像データxが写真のような一般的な自然画像
である場合には、より顕著である。よって、鍵情報kに
対して、より大きなデータ圧縮の効果が期待できる。
The data compressor 56 outputs the output key information k
Is subjected to data compression processing. The key information k output according to the first embodiment must be input to the second embodiment using an appropriate transmission path. Here, when the appropriate transmission path is a communication path typified by the Internet or a storage medium such as a CD-ROM, the information amount of the key information k is preferably as small as possible. Therefore, in order to make the information amount of the key information k as small as possible, in the fourth embodiment, the key information k is compressed and transmitted. The data compressor 56 performs an appropriate data compression process on the key information k generated by the separator 13. This separator 1
The color information separated by 3 has many redundant components when image data such as a logo is spatially continuous.
This is more noticeable when the original image data x is a general natural image such as a photograph. Therefore, a greater data compression effect can be expected for the key information k.

【0043】このデータ圧縮処理には、例えば圧縮方式
としては、辞書を用いるLZW方式や、統計的変動に基
づくハフマン符号化や、ハフマン符号化を改良した算術
符号化などが利用可能である。尚、このデータ圧縮器5
6によってデータ圧縮処理された鍵情報k''は、後述す
る電子透かし解除装置によって利用される。このため
に、この圧縮方式は可逆的な処理でなければならない。
In this data compression processing, for example, as a compression method, an LZW method using a dictionary, Huffman coding based on statistical fluctuation, or arithmetic coding in which Huffman coding is improved can be used. This data compressor 5
The key information k ″ subjected to the data compression processing by 6 is used by an electronic watermark canceling device described later. For this reason, this compression method must be a reversible process.

【0044】図6は、本発明の実施の形態4に係る電子
透かし解除装置の構成を示すブロック図で、前述の図5
の電子透かし埋め込み装置によって埋め込んだ電子透か
しを解除する。この実施の形態4の解除装置の構成は、
前述の図2の構成と比較すると、圧縮された鍵情報k''
を解凍するためのデータ解凍器60が設けられている以
外は同じ構成である。図2と共通する部分は同じ番号で
示し、それらの説明を省略する。このデータ解凍器60
は、データ圧縮処理された鍵情報k''に対して解凍処理
を行い、解凍した鍵情報kを出力している。
FIG. 6 is a block diagram showing a configuration of a digital watermark canceling apparatus according to Embodiment 4 of the present invention.
The digital watermark embedded by the digital watermark embedding device is released. The configuration of the release device according to the fourth embodiment is as follows.
As compared with the configuration of FIG. 2, the compressed key information k ″
Has the same configuration except that a data decompressor 60 for decompressing is provided. 2 are denoted by the same reference numerals, and description thereof will be omitted. This data decompressor 60
Performs a decompression process on the key information k ″ subjected to the data compression process, and outputs the decompressed key information k.

【0045】このようにして、圧縮された鍵情報k''を
受信して解凍処理し、その解凍して得られた元の鍵情報
kを用いて、前述の図2の装置と同様にして、電子透か
し埋め込み装置によって埋め込まれた電子透かしを解除
することが可能である。
In this manner, the compressed key information k ″ is received and decompressed, and the original key information k obtained by decompression is used in the same manner as in the apparatus of FIG. It is possible to cancel the digital watermark embedded by the digital watermark embedding device.

【0046】[実施の形態5]図7は、本発明の実施の
形態5に係る電子透かし埋め込み装置の概略構成を示す
ブロック図で、前述の実施の形態の構成と共通する部分
は同じ番号で示し、それらの説明を省略する。
[Fifth Embodiment] FIG. 7 is a block diagram showing a schematic configuration of a digital watermark embedding device according to a fifth embodiment of the present invention. And description thereof is omitted.

【0047】この実施の形態5では、前述の実施の形態
3で示した鍵情報kを暗号化する方式と、前記実施の形
態4で述べた鍵情報kをデータ圧縮処理する方式とを組
み合わせて選択的に利用可能にしている。この場合、鍵
情報kのデータの性質から、データ圧縮処理を行った後
に暗号化処理を行うほうが望ましい。
In the fifth embodiment, the method of encrypting the key information k shown in the third embodiment and the method of compressing the key information k described in the fourth embodiment are combined. Selectively available. In this case, due to the nature of the data of the key information k, it is preferable to perform the encryption processing after performing the data compression processing.

【0048】これは鍵情報kは、一般的な自然画像デー
タの信号の性質を持つため、冗長な成分を多く持ちデー
タ圧縮処理を効果的に実施することができるのに対し
て、これを暗号化したデータは、一般的な自然画像デー
タの信号の性質を持たない、且つ冗長な成分が少なくな
ることが予想されるためである。
This is because the key information k has the property of a signal of general natural image data, and thus has many redundant components and can effectively execute data compression processing. This is because the converted data does not have the signal properties of general natural image data and it is expected that redundant components will be reduced.

【0049】更に図8は、本発明の実施の形態5に係
る、図7に示す電子透かし埋め込み装置により埋め込ま
れた電子透かしを解除する装置のブロック図である。
FIG. 8 is a block diagram of a device for canceling a digital watermark embedded by the digital watermark embedding device shown in FIG. 7 according to the fifth embodiment of the present invention.

【0050】図7に示すように、鍵情報kがデータ圧縮
され、その後、暗号化されている場合には、図8に示す
ように、そのデータ圧縮され暗号化された鍵情報kx
は、データ解凍器60及び復号器40で復号処理された
後、図2の装置の場合と同様にして、解凍される必要が
ある。
As shown in FIG. 7, when the key information k is data-compressed and thereafter encrypted, as shown in FIG. 8, the data-compressed and encrypted key information kx
Needs to be decompressed after being decoded by the data decompressor 60 and the decoder 40, as in the case of the apparatus in FIG.

【0051】一方、図7で示した装置において、鍵情報
kが最初に暗号化処理された後にデータ圧縮処理が行わ
れている場合には、図8に入力された鍵情報kxは、最
初に復号処理され、その後、解凍処理される必要があ
る。
On the other hand, in the device shown in FIG. 7, when the data compression processing is performed after the key information k is first encrypted, the key information kx input in FIG. It needs to be decrypted and then decompressed.

【0052】本発明は、上記実施の形態を実現するため
の装置及び方法、及び上記実施の形態で説明した方法を
組み合わせて行う方法のみに限定されるものではなく、
上記システム又は装置内のコンピュータ(CPUあるい
はMPU)に、上記実施の形態を実現するためのソフト
ウエアのプログラムコードを供給し、このプログラムコ
ードに従って上記システム或は装置のコンピュータが上
記各種デバイスを動作させることにより上記実施の形態
を実現する場合も本発明の範疇に含まれる。
The present invention is not limited only to an apparatus and a method for realizing the above-described embodiment, and a method performed by combining the methods described in the above-described embodiment.
A software program code for implementing the above-described embodiment is supplied to a computer (CPU or MPU) in the system or the apparatus, and the computer of the system or apparatus operates the various devices according to the program code. Accordingly, a case where the above-described embodiment is realized is also included in the scope of the present invention.

【0053】またこの場合、前記ソフトウエアのプログ
ラムコード自体が上記実施の形態の機能を実現すること
になり、そのプログラムコード自体、及びそのプログラ
ムコードをコンピュータに供給するための手段、具体的
には上記プログラムコードを格納した記憶媒体は本発明
の範疇に含まれる。
In this case, the program code of the software implements the functions of the above-described embodiment, and the program code itself and means for supplying the program code to the computer, specifically, A storage medium storing the above program code is included in the scope of the present invention.

【0054】この様なプログラムコードを格納する記憶
媒体としては、例えばフロッピー(登録商標)ディス
ク,ハードディスク,光ディスク,光磁気ディスク,C
D−ROM,磁気テープ,不揮発性のメモリカード,R
OM等を用いることができる。
As a storage medium for storing such a program code, for example, a floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, C
D-ROM, magnetic tape, non-volatile memory card, R
OM or the like can be used.

【0055】また、上記コンピュータが、供給されたプ
ログラムコードのみに従って各種デバイスを制御するこ
とにより、上記実施の形態の機能が実現される場合だけ
ではなく、上記プログラムコードがコンピュータ上で稼
働しているOS(オペレーティングシステム)、或は他
のアプリケーション・プログラム等と共同して上記実施
の形態が実現される場合にもかかるプログラムコードは
本発明の範疇に含まれる。
In addition to the case where the computer controls various devices in accordance with only the supplied program code to realize the functions of the above-described embodiment, the program code operates on the computer. Such a program code is also included in the scope of the present invention when the above-described embodiment is realized in cooperation with an OS (Operating System) or another application program.

【0056】更に、この供給されたプログラムコード
が、コンピュータの機能拡張ボードやコンピュータに接
続された機能拡張ユニットに備わるメモリに格納された
後、そのプログラムコードの指示に基づいてその機能拡
張ボードや機能格納ユニットに備わるCPU等が実際の
処理の一部または全部を行い、その処理によって上記実
施の形態が実現される場合も本発明の範疇に含まれる。
Further, after the supplied program code is stored in a memory provided in a function expansion board of a computer or a function expansion unit connected to the computer, the function expansion board or function is stored based on the instruction of the program code. The case where the CPU or the like provided in the storage unit performs part or all of the actual processing, and the above-described embodiment is realized by the processing is also included in the scope of the present invention.

【0057】以上説明したように本実施の形態によれ
ば、原画像データと透かし画像の形状情報を入力し、そ
の透かし画像の形状情報によって示される透かし画像に
含まれる原画像データの画素の画素値から特定の情報を
分離した透かし画像を埋め込んだ埋め込み済み画像を生
成する。このとき、分離した特定の情報を鍵情報とする
ことにより、その鍵情報を用いて、元の原画像を復元す
ることができる。
As described above, according to this embodiment, the original image data and the shape information of the watermark image are input, and the pixels of the original image data included in the watermark image indicated by the shape information of the watermark image are input. An embedded image in which a watermark image obtained by separating specific information from a value is embedded is generated. At this time, by using the separated specific information as key information, the original image can be restored using the key information.

【0058】これにより、セキュリティが高い可視型電
子透かし埋め込み方法が可能となった。
As a result, a visible digital watermark embedding method with high security has become possible.

【0059】また、その鍵情報を暗号化して伝送し、そ
れを受信した受信側でその鍵情報を復号して原画像を生
成することにより、よりセキュリティの高い可視型電子
透かし埋め込み画像の送信が可能になる。
Further, the key information is transmitted after being encrypted, and the receiving side that has received the key information decrypts the key information to generate an original image. Will be possible.

【0060】また、その鍵情報を圧縮して伝送し、それ
を受信した受信側でその鍵情報を解凍(伸長)して原画
像を生成することにより、伝送するデータ量を減らし、
かつセキュリティの高い可視型電子透かし埋め込み画像
の送信が可能になる。
Further, the key information is compressed and transmitted, and the key information is decompressed (decompressed) on the receiving side to generate an original image, thereby reducing the amount of data to be transmitted.
In addition, it is possible to transmit a visible digital watermark embedded image with high security.

【0061】また更に、これら暗号化及びデータ圧縮の
両方を行うことにより、伝送するデータ量をより減少さ
せ、かつセキュリティの高い可視型電子透かし埋め込み
画像の送信が可能になる。
Further, by performing both the encryption and the data compression, it is possible to further reduce the amount of data to be transmitted and transmit a visible digital watermark embedded image with high security.

【0062】[0062]

【発明の効果】以上説明したように本発明によれば、原
画像データと透かし画像の形状情報とを入力して、透か
し画像が埋め込まれた画像データと、その透かし画像を
埋め込むために除去された情報を鍵情報として出力する
画像処理方法及び装置を提供することができる。
As described above, according to the present invention, the original image data and the shape information of the watermark image are input, and the image data in which the watermark image is embedded and the image data in which the watermark image is embedded are removed. Image processing method and apparatus for outputting the obtained information as key information.

【0063】また本発明によれば、透かし画像が埋め込
まれた画像データと、その透かし画像を埋め込むために
除去された情報に対応する鍵情報とに基づいて、原画像
をデータを復元する画像処理方法及び装置を提供するこ
とができる。
According to the present invention, image processing for restoring data of an original image based on image data in which a watermark image is embedded and key information corresponding to information removed for embedding the watermark image. Methods and apparatus can be provided.

【0064】更に、本発明によれば、原画像データと透
かし画像の形状情報とを入力して、透かし画像が埋め込
まれた画像データと、その透かし画像を埋め込むために
除去された情報を鍵情報とし、更にこの鍵情報を圧縮、
及び或は暗号化して出力するので、画像データ量をより
減少させ、かつセキュリティの高い透かし埋め込み画像
を形成できる。
Further, according to the present invention, the original image data and the shape information of the watermark image are input, and the image data in which the watermark image is embedded and the information removed to embed the watermark image are used as key information. And further compress this key information,
And / or encrypting and outputting, it is possible to further reduce the amount of image data and to form a watermark-embedded image with high security.

【0065】また本発明によれば、透かし画像が埋め込
まれた画像データと、その透かし画像を埋め込むために
除去された情報に対応する、圧縮、及び或は暗号化され
た鍵情報とに基づいて、原画像をデータを復元すること
ができる。
Further, according to the present invention, based on image data in which a watermark image is embedded, and compressed and / or encrypted key information corresponding to information removed for embedding the watermark image. The original image data can be restored.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施の形態1に係る電子透かし埋め込
み装置の概略構成を説明するブロック図である。
FIG. 1 is a block diagram illustrating a schematic configuration of a digital watermark embedding device according to a first embodiment of the present invention.

【図2】本発明の実施の形態2に係る電子透かし解除装
置の概略構成を説明するブロック図である。
FIG. 2 is a block diagram illustrating a schematic configuration of a digital watermark canceling device according to Embodiment 2 of the present invention.

【図3】本発明の実施の形態3に係る、鍵情報の暗号化
処理を用いた電子透かし埋め込み装置の概略構成を説明
するブロック図である。
FIG. 3 is a block diagram illustrating a schematic configuration of a digital watermark embedding device using encryption processing of key information according to a third embodiment of the present invention.

【図4】本発明の実施の形態3に係る、暗号化された鍵
情報を受信して電子つ可視を解除する電子透かし解除装
置の概略を説明するブロック図である。
FIG. 4 is a block diagram illustrating an outline of a digital watermark canceling device according to a third embodiment of the present invention, which receives encrypted key information and cancels electronic visibility.

【図5】本発明の実施の形態4に係る、鍵情報を圧縮す
る電子透かし埋め込み装置の概略を説明するブロック図
である。
FIG. 5 is a block diagram schematically illustrating a digital watermark embedding device for compressing key information according to a fourth embodiment of the present invention.

【図6】本実施の形態4に係る、圧縮された鍵情報を用
いた場合の電子透かし解除装置の概略構成を説明するブ
ロック図である。
FIG. 6 is a block diagram illustrating a schematic configuration of a digital watermark canceling device according to a fourth embodiment when compressed key information is used.

【図7】本発明の実施の形態5に係る、鍵情報の暗号化
処理とデータ圧縮処理を組み合わせて用いた場合の電子
透かし埋め込み装置の概略を説明するブロック図であ
る。
FIG. 7 is a block diagram illustrating an outline of a digital watermark embedding apparatus according to a fifth embodiment of the present invention when encryption processing of key information and data compression processing are used in combination.

【図8】本実施の形態5に係る、暗号化され圧縮された
鍵情報を基に電子透かしを解除する電子透かし解除装置
の概略を説明するブロック図である。
FIG. 8 is a block diagram schematically illustrating a digital watermark canceling device according to a fifth embodiment for canceling a digital watermark based on encrypted and compressed key information.

【図9】本実施の形態に係る埋め込み画像データの一例
を説明する図である。
FIG. 9 is a diagram illustrating an example of embedded image data according to the present embodiment.

【図10】図9に示す埋め込み画像データから作られた
領域データの例を説明する図である。
FIG. 10 is a diagram illustrating an example of area data created from the embedded image data shown in FIG. 9;

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B057 CA01 CA12 CA16 CB01 CB16 CE08 CE17 CG07 5C053 FA13 GA11 GB06 GB22 HA29 JA30 KA21 KA24 LA06 5C064 CA14 CB01 CC04 5C076 AA13 AA14 AA26 BA06 5J104 AA14 NA02 NA14 NA27  ──────────────────────────────────────────────────続 き Continued on front page F term (reference) 5B057 CA01 CA12 CA16 CB01 CB16 CE08 CE17 CG07 5C053 FA13 GA11 GB06 GB22 HA29 JA30 KA21 KA24 LA06 5C064 CA14 CB01 CC04 5C076 AA13 AA14 AA26 BA06 5J104 AA14 NA02 NA27

Claims (24)

【特許請求の範囲】[Claims] 【請求項1】 原画像データに透かし画像を埋め込む画
像処理装置であって、 原画像データと前記透かし画像の形状情報を入力する入
力手段と、 前記形状情報で指示される領域内に含まれる前記原画像
データの画素情報を変更する変更手段と、 前記変更手段により変更された画素情報に基づいて決定
される鍵情報を生成する鍵情報生成手段と、 前記変更手段により画素情報が変更された原画像データ
と前記鍵情報とを出力する出力手段と、を有することを
特徴とする画像処理装置。
1. An image processing apparatus for embedding a watermark image in original image data, comprising: input means for inputting original image data and shape information of the watermark image; Changing means for changing the pixel information of the original image data; key information generating means for generating key information determined based on the pixel information changed by the changing means; An image processing apparatus comprising: output means for outputting image data and the key information.
【請求項2】 前記変更手段は、 前記形状情報と前記原画像データの各画素位置とを比較
し、前記形状情報に含まれる画素位置の画素値の所定の
色成分の値を変更することを特徴とする請求項1に記載
の画像処理装置。
2. The method according to claim 1, wherein the change unit compares the shape information with each pixel position of the original image data and changes a value of a predetermined color component of a pixel value of a pixel position included in the shape information. The image processing apparatus according to claim 1, wherein:
【請求項3】 前記変更手段は、 前記形状情報と前記原画像データの各画素位置とを比較
し、前記形状情報に含まれる画素位置の画素値の一部を
変更することを特徴とする請求項1に記載の画像処理装
置。
3. The method according to claim 2, wherein the changing unit compares the shape information with each pixel position of the original image data and changes a part of a pixel value of a pixel position included in the shape information. Item 2. The image processing device according to Item 1.
【請求項4】 前記鍵情報生成手段は、前記変更された
画素情報と前記原画像データの対応する画素値との差分
を基に前記鍵情報を生成することを特徴とする請求項1
乃至3のいずれか1項に記載の画像処理装置。
4. The key information generating unit according to claim 1, wherein the key information generating unit generates the key information based on a difference between the changed pixel information and a corresponding pixel value of the original image data.
The image processing device according to any one of claims 1 to 3.
【請求項5】 前記出力手段は、前記鍵情報を暗号化す
る暗号化手段を有することを特徴とする請求項1乃至4
のいずれか1項に記載の画像処理装置。
5. The apparatus according to claim 1, wherein said output means has an encryption means for encrypting said key information.
The image processing device according to any one of claims 1 to 4.
【請求項6】 前記出力手段は、前記鍵情報を圧縮する
圧縮手段を有することを特徴とする請求項1乃至5のい
ずれか1項に記載の画像処理装置。
6. The image processing apparatus according to claim 1, wherein the output unit includes a compression unit that compresses the key information.
【請求項7】 原画像データに透かし画像が埋め込まれ
た埋め込み画像データを入力して前記原画像データを復
元する画像処理装置であって、 前記埋め込み画像データと、前記透かし画像の形状情報
及び鍵情報を入力する入力手段と、 前記形状情報で指示される領域内に含まれる前記埋め込
み画像データの画素情報を前記鍵情報に基づいて元の画
素情報に復元する復元手段と、 前記復元手段により復元された画素情報を含む原画像デ
ータを出力する出力手段と、を有することを特徴とする
画像処理装置。
7. An image processing apparatus for restoring original image data by inputting embedded image data in which a watermark image is embedded in original image data, wherein the embedded image data, shape information of the watermark image, and a key Input means for inputting information; restoring means for restoring pixel information of the embedded image data included in the area designated by the shape information to original pixel information based on the key information; restoring by the restoring means Output means for outputting original image data including the obtained pixel information.
【請求項8】 前記復元手段は、 前記形状情報と前記埋め込み画像データの各画素位置と
を比較し、前記形状情報に含まれる画素位置の画素値の
所定の色成分の値を前記鍵情報に従って変更することを
特徴とする請求項7に記載の画像処理装置。
8. The restoration unit compares the shape information with each pixel position of the embedded image data, and determines a value of a predetermined color component of a pixel value of a pixel position included in the shape information according to the key information. The image processing device according to claim 7, wherein the image processing device is changed.
【請求項9】 前記復元手段は、 前記形状情報と前記埋め込み画像データの各画素位置と
を比較し、前記形状情報に含まれる画素位置の画素値の
一部を前記鍵情報に従って変更することを特徴とする請
求項7に記載の画像処理装置。
9. The restoration unit compares the shape information with each pixel position of the embedded image data, and changes a part of a pixel value of a pixel position included in the shape information according to the key information. The image processing apparatus according to claim 7, wherein:
【請求項10】 前記鍵情報は暗号化されており、当該
鍵情報を復号する復号化手段を更に有することを特徴と
する請求項7乃至9のいずれか1項に記載の画像処理装
置。
10. The image processing apparatus according to claim 7, wherein the key information is encrypted, and further comprising a decryption unit for decrypting the key information.
【請求項11】 前記鍵情報はデータ圧縮されており、
当該鍵情報を伸長する伸長手段を更に有することを特徴
とする請求項7乃至10のいずれか1項に記載の画像処
理装置。
11. The key information is data-compressed,
The image processing apparatus according to claim 7, further comprising a decompression unit that decompresses the key information.
【請求項12】 原画像データに透かし画像を埋め込む
画像処理方法であって、 原画像データと前記透かし画像の形状情報を入力する入
力工程と、 前記形状情報で指示される領域内に含まれる前記原画像
データの画素情報を変更する変更工程と、 前記変更工程で変更された画素情報に基づいて決定され
る鍵情報を生成する鍵情報生成工程と、 前記変更工程で画素情報が変更された原画像データと前
記鍵情報とを出力する出力工程と、を有することを特徴
とする画像処理方法。
12. An image processing method for embedding a watermark image in original image data, comprising: an input step of inputting original image data and shape information of the watermark image; and an image processing method included in an area specified by the shape information. A changing step of changing the pixel information of the original image data, a key information generating step of generating key information determined based on the pixel information changed in the changing step, and an original in which the pixel information is changed in the changing step. An image processing method, comprising: outputting an image data and the key information.
【請求項13】 前記変更工程では、 前記形状情報と前記原画像データの各画素位置とを比較
し、前記形状情報に含まれる画素位置の画素値の所定の
色成分の値を変更することを特徴とする請求項12に記
載の画像処理方法。
13. In the changing step, the shape information is compared with each pixel position of the original image data, and a value of a predetermined color component of a pixel value of a pixel position included in the shape information is changed. The image processing method according to claim 12, wherein:
【請求項14】 前記変更工程では、 前記形状情報と前記原画像データの各画素位置とを比較
し、前記形状情報に含まれる画素位置の画素値の一部を
変更することを特徴とする請求項12に記載の画像処理
方法。
14. The method according to claim 1, wherein in the changing step, the shape information is compared with each pixel position of the original image data, and a part of a pixel value of a pixel position included in the shape information is changed. Item 13. The image processing method according to Item 12.
【請求項15】 前記鍵情報生成工程では、前記変更さ
れた画素情報と前記原画像データの対応する画素値との
差分を基に前記鍵情報を生成することを特徴とする請求
項12乃至14のいずれか1項に記載の画像処理方法。
15. The key information generating step, wherein the key information is generated based on a difference between the changed pixel information and a corresponding pixel value of the original image data. The image processing method according to any one of the above.
【請求項16】 前記出力工程は、前記鍵情報を暗号化
する暗号化工程を有することを特徴とする請求項12乃
至15のいずれか1項に記載の画像処理方法。
16. The image processing method according to claim 12, wherein said output step includes an encryption step of encrypting said key information.
【請求項17】 前記出力工程は、前記鍵情報を圧縮す
る圧縮工程を有することを特徴とする請求項12乃至1
6のいずれか1項に記載の画像処理方法。
17. The apparatus according to claim 12, wherein said output step includes a compression step of compressing said key information.
7. The image processing method according to any one of 6.
【請求項18】 原画像データに透かし画像が埋め込ま
れた埋め込み画像データを入力して前記原画像データを
復元する画像処理方法であって、 前記埋め込み画像データと、前記透かし画像の形状情報
及び鍵情報を入力する入力工程と、 前記形状情報で指示される領域内に含まれる前記埋め込
み画像データの画素情報を前記鍵情報に基づいて元の画
素情報に復元する復元工程と、 前記復元工程で復元された画素情報を含む原画像データ
を出力する出力工程と、を有することを特徴とする画像
処理方法。
18. An image processing method for restoring the original image data by inputting embedded image data in which a watermark image is embedded in the original image data, the image processing method comprising the steps of: An input step of inputting information; a restoring step of restoring pixel information of the embedded image data included in the area specified by the shape information to original pixel information based on the key information; An output step of outputting original image data including the obtained pixel information.
【請求項19】 前記復元工程では、 前記形状情報と前記埋め込み画像データの各画素位置と
を比較し、前記形状情報に含まれる画素位置の画素値の
所定の色成分の値を前記鍵情報に従って変更することを
特徴とする請求項18に記載の画像処理方法。
19. In the restoration step, the shape information is compared with each pixel position of the embedded image data, and a value of a predetermined color component of a pixel value of a pixel position included in the shape information is determined according to the key information. 19. The image processing method according to claim 18, wherein the method is changed.
【請求項20】 前記復元工程では、 前記形状情報と前記埋め込み画像データの各画素位置と
を比較し、前記形状情報に含まれる画素位置の画素値の
一部を前記鍵情報に従って変更することを特徴とする請
求項18に記載の画像処理方法。
20. The restoration step, wherein the shape information is compared with each pixel position of the embedded image data, and a part of a pixel value of a pixel position included in the shape information is changed according to the key information. 19. The image processing method according to claim 18, wherein:
【請求項21】 前記鍵情報は暗号化されており、当該
鍵情報を復号する復号化手段を更に有することを特徴と
する請求項18乃至20のいずれか1項に記載の画像処
理方法。
21. The image processing method according to claim 18, wherein the key information is encrypted, and further comprising a decryption unit for decrypting the key information.
【請求項22】 前記鍵情報はデータ圧縮されており、
当該鍵情報を伸長する伸長工程を更に有することを特徴
とする請求項18乃至21のいずれか1項に記載の画像
処理方法。
22. The key information is data compressed,
22. The image processing method according to claim 18, further comprising an expansion step of expanding the key information.
【請求項23】 原画像データに透かし画像を埋め込む
画像処理方法を実行するプログラムを記憶する記憶媒体
であって、 原画像データと前記透かし画像の形状情報を入力する入
力工程モジュールと、 前記形状情報で指示される領域内に含まれる前記原画像
データの画素情報を変更する変更工程モジュールと、 前記変更工程で変更された画素情報に基づいて決定され
る鍵情報を生成する鍵情報生成工程モジュールと、 前記変更工程で画素情報が変更された原画像データと前
記鍵情報とを出力する出力工程モジュールと、を有する
ことを特徴とする記憶媒体。
23. A storage medium for storing a program for executing an image processing method for embedding a watermark image in original image data, comprising: an input module for inputting original image data and shape information of the watermark image; A changing step module for changing the pixel information of the original image data included in the area designated by: a key information generating step module for generating key information determined based on the pixel information changed in the changing step An output step module for outputting original image data whose pixel information has been changed in the change step and the key information.
【請求項24】 原画像データに透かし画像が埋め込ま
れた埋め込み画像データを入力して前記原画像データを
復元する画像処理方法を実行するプログラムを記憶した
記憶媒体であって、 前記埋め込み画像データと、前記透かし画像の形状情報
及び鍵情報を入力する入力工程モジュールと、 前記形状情報で指示される領域内に含まれる前記埋め込
み画像データの画素情報を前記鍵情報に基づいて元の画
素情報に復元する復元工程モジュールと、 前記復元工程で復元された画素情報を含む原画像データ
を出力する出力工程モジュールと、を有することを特徴
とする記憶媒体。
24. A storage medium storing a program for executing an image processing method for restoring the original image data by inputting embedded image data in which a watermark image is embedded in the original image data, wherein the embedded image data and An input step module for inputting shape information and key information of the watermark image, and restoring pixel information of the embedded image data included in an area designated by the shape information to original pixel information based on the key information A storage medium, comprising: a restoration step module for performing a restoration step; and an output step module for outputting original image data including the pixel information restored in the restoration step.
JP19333199A 1999-07-07 1999-07-07 Image processing method and apparatus, and storage medium Expired - Fee Related JP3728146B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19333199A JP3728146B2 (en) 1999-07-07 1999-07-07 Image processing method and apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19333199A JP3728146B2 (en) 1999-07-07 1999-07-07 Image processing method and apparatus, and storage medium

Publications (2)

Publication Number Publication Date
JP2001024875A true JP2001024875A (en) 2001-01-26
JP3728146B2 JP3728146B2 (en) 2005-12-21

Family

ID=16306125

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19333199A Expired - Fee Related JP3728146B2 (en) 1999-07-07 1999-07-07 Image processing method and apparatus, and storage medium

Country Status (1)

Country Link
JP (1) JP3728146B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007525729A (en) * 2003-04-25 2007-09-06 トムソン ライセンシング Marking technology to track piracy media
EP1906644A1 (en) * 2006-09-28 2008-04-02 Fujitsu Ltd. Electronic watermark embedding apparatus and electronic watermark detection apparatus
US7400349B2 (en) 2002-12-25 2008-07-15 Nikon Corporation Electronic camera and image processing method
JP2015053619A (en) * 2013-09-07 2015-03-19 日本放送協会 Multiplexing device, demultiplexing device, and program
JP2018207247A (en) * 2017-06-01 2018-12-27 河村 尚登 Digital watermarking apparatus and method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7400349B2 (en) 2002-12-25 2008-07-15 Nikon Corporation Electronic camera and image processing method
JP2007525729A (en) * 2003-04-25 2007-09-06 トムソン ライセンシング Marking technology to track piracy media
JP4751824B2 (en) * 2003-04-25 2011-08-17 トムソン ライセンシング Marking technology to track piracy media
KR101078326B1 (en) * 2003-04-25 2011-10-31 톰슨 라이센싱 Marking techniques for tracking pirated media
KR101123234B1 (en) * 2003-04-25 2012-03-22 톰슨 라이센싱 Marking techniques for tracking pirated media
EP1906644A1 (en) * 2006-09-28 2008-04-02 Fujitsu Ltd. Electronic watermark embedding apparatus and electronic watermark detection apparatus
JP2015053619A (en) * 2013-09-07 2015-03-19 日本放送協会 Multiplexing device, demultiplexing device, and program
JP2018207247A (en) * 2017-06-01 2018-12-27 河村 尚登 Digital watermarking apparatus and method

Also Published As

Publication number Publication date
JP3728146B2 (en) 2005-12-21

Similar Documents

Publication Publication Date Title
KR100677026B1 (en) System for Receiving Or Transmitting Video Contents And Information Security Module Used In the Same
Lin et al. Generating robust digital signature for image/video authentication
KR100314774B1 (en) Apparatus, method and computer program product for protecting copyright data within a computer system
US7461255B2 (en) Digital watermark processing apparatus, and digital contents distribution system using the apparatus
JP3960597B2 (en) Code generation apparatus, image processing apparatus, code generation program, image processing program, and storage medium
JP2002101288A (en) System and method for transmitting image and recording medium
JP3982686B2 (en) Code generation apparatus, code generation program, and storage medium
US6643382B1 (en) Image processing method, image processing apparatus, image processing system and memory medium
US7471806B2 (en) Method, apparatus and computer program for inserting a watermarking program into an image processing program
CN112035847A (en) Image encryption and decryption method and device, electronic equipment and storage medium
JP3728146B2 (en) Image processing method and apparatus, and storage medium
JP3919612B2 (en) Image processing apparatus and method, computer program, and computer-readable storage medium
US20050018844A1 (en) Methods and apparatuses for encrypting video and for decrypting video
JP3805172B2 (en) Image processing apparatus and method, and storage medium
JP3055672B2 (en) Image data encoding system and image input device
JP3628947B2 (en) Image scramble device, release device, image scramble method, image scramble release method, and recording medium recording program
Chavan et al. Lossless tagged visual cryptography scheme using bit plane slicing for image processing
US20090086095A1 (en) Method and apparatus for overlaying encoded streams
JP2004040236A (en) Image processing apparatus and method, computer program, and computer-readable storage medium
Lukac et al. Secure color imaging
Pappa et al. An optimal approach for watermarking using MRC4 encryption scheme
JP2005160018A (en) Image protection system and method
Babu et al. A reversible crypto-watermarking system for secure medical image transmission
JP2000050049A (en) Method and device for processing image and storage medium
JP2006238455A (en) Image reproducing method and apparatus and recording medium

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050510

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050916

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050930

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091007

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091007

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101007

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101007

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111007

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111007

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121007

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131007

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees