JP2001320578A - 電子透かし埋込み方法、検証方法及び復元方法 - Google Patents

電子透かし埋込み方法、検証方法及び復元方法

Info

Publication number
JP2001320578A
JP2001320578A JP2000139833A JP2000139833A JP2001320578A JP 2001320578 A JP2001320578 A JP 2001320578A JP 2000139833 A JP2000139833 A JP 2000139833A JP 2000139833 A JP2000139833 A JP 2000139833A JP 2001320578 A JP2001320578 A JP 2001320578A
Authority
JP
Japan
Prior art keywords
original image
restoration
key
watermark
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000139833A
Other languages
English (en)
Other versions
JP4089128B2 (ja
Inventor
Yasuhiro Mitsui
靖博 三井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2000139833A priority Critical patent/JP4089128B2/ja
Publication of JP2001320578A publication Critical patent/JP2001320578A/ja
Application granted granted Critical
Publication of JP4089128B2 publication Critical patent/JP4089128B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Television Systems (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

(57)【要約】 【課題】 元画像の復元が可能な電子透かし埋込み方法
を提供する。 【解決手段】 透かし鍵(203)を用いて乱数(20
8a)を発生し(207a)、元画像(201)のデー
タに、乱数により指定される順に、透かし情報を埋め込
んで原本画像(204)を作成し、透かし情報(20
9)を埋め込む前の元画像のデータを含む復元鍵(21
1)を生成する。このようにして生成された原本画像
(204)と、復元鍵(211)と、透かし鍵(20
3)とを用いて元画像を復元する。このように埋込み時
に生成された復元鍵を利用することで、原本画像(20
4)から元画像(201)を復元することができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は画像に対する電子
透かし方法に関するものである。
【0002】
【従来の技術】電子透かし技術は、例えば日経エレクト
ロニクス1997.2.24(no.683)に述べら
れているように、「著作権保護」の為に適用することが
提案されており、画像品質を損なわないように、そして
埋め込んだ透かしができるだけ消えないようにする方法
が数多く提案されてきた。
【0003】一方、改竄防止の電子透かしとしては、ハ
ッシュ情報や、特開平10−208026に述べられる
ようにスタンピング情報を元画像に埋込み、その情報を
抽出し、比較することによって、改竄を検出するという
技術が提案されている。
【0004】電子透かしの埋込みまたは検出の際に用い
られる電子透かし鍵は、一般に電子透かしを秘密裏に埋
め込む為のパターンを生成するために用いられている。
つまり電子透かしから擬似乱数を生成し、それを利用し
て埋め込むデータや詰め込む画素の選び方を複雑にする
ことによって、わかりにくくしている。
【0005】図23に従来構成を示し、図24に電子透
かしの基本方法を示す。図23において、元画像101
は電子透かしの埋込みの対象となる画像である。電子透
かし埋込み装置102は透かし鍵103を基に擬似乱数
生成部107aで乱数108aを生成し、電子透かし埋
込み部112は乱数108aを用いて電子透かしを埋込
み(120)、原本画像104を生成し、出力する。
【0006】電子透かし検証装置105では、透かし鍵
103を基に擬似乱数生成部107bで乱数108bを
生成し、電子透かし検証部115は乱数108bを用い
て原本画像104から電子透かしを抽出し(122)、
抽出された電子透かしを検証し、検証結果106を出力
する。
【0007】図24において、元画像101及び原本画
像104は画素の集合として表現している。各矩形部分
がそれぞれ1つの画素であり中に画素番号を記述してい
る。矩形部分がハッチングされているか否かで、その画
素の色を示している。ハッチングを施した矩形部分が黒
色であり画素値は「1」、ハッチングされていない矩形
部分が白色で画素値は「0」である。透かし情報109
は埋め込む情報を「1」または「0」の2値で示し、矩
形部分のハッチングの有無は画素の色を示している。乱
数108a、108bは画素番号をランダムに並べたも
のである。
【0008】電子透かしを埋め込む際には、乱数108
aを用いて透かし情報109を元画像101に埋め込
む。乱数108aで示される画素番号の最初の値はで
あり、透かし情報109の最初の値は「1」である。そ
のため、元画像101の画素の画素値を「1」に置き
換える。乱数108aの次の値はであり、透かし情報
109の次の値は「0」であるため、元画像101の画
素の画素値を「0」に置き換える。この結果原本画像
104ができる。
【0009】電子透かしを抽出する際には、埋込み時と
同じ乱数108b(埋込み時と同じ透かし鍵103を基
にして生成された乱数)を用いて透かし情報110を原
本画像104から抽出する。乱数108bの最初の値は
であり、原本画像104の画素番号の画素値は
「1」であるため、透かし情報110の最初の値として
「1」が抽出される。乱数203の次の値はであり、
原本画像104の画素番号の画素値は「0」であるた
め、透かし情報110の次の値として「0」が抽出され
る。これによって抽出された透かし情報110は埋め込
んだ透かし情報109と同じ値となる。
【0010】これまでの電子透かしの適用において、電
子透かしの埋込みは、除去を考えて構成されたものでは
なかった。また除去が可能というものも、せいぜい対象
画像とは別に画像全体の元画像との差分情報を保持して
おき、それを用いて電子透かし埋込み済み画像から電子
透かしを除去するものであった。
【0011】元々電子透かしは、人間の視覚的に影響が
ないように考えられており、視覚的にはそれほど変化が
あるわけではない。しかしながら、元画像に対しては必
ず変化が起きているわけであり、明らかに元画像とは異
なる。また、医療用画像などのように、元画像でないと
利用できないような画像もあり、それらに対しての電子
透かしの適用は、コンピュータセキュリティシンポジウ
ム”98論文集(IPSJ Symposium Series Vol.98
No.12)「EZWビットストリームを用いたROI (注
目領域:region of interests)医用画像に適した電子透
かし方式(pp.57−62)」のようにROIと呼ばれる重
要な部分には電子透かしを埋め込まず、その周りにのみ
埋め込むといった方法をとっていた。
【0012】
【発明が解決しようとする課題】以上のように、従来、
元画像を復元することができる好ましい電子透かし埋込
み方法が知られていなかった。
【0013】本発明の目的は、元画像を復元することが
できる電子透かし埋込み方法を提供することにある。
【0014】本発明の他の目的は、復元鍵の偽造が困難
な電子透かし埋込み方法を提供することにある。
【0015】本発明のさらに他の目的は、電子透かしを
埋め込んだ画像と、その画像を復元するための復元情報
を一つの画像として構成することができる電子透かし埋
込み方法を提供することにある。
【0016】
【課題を解決するための手段】本発明の電子透かし埋め
込み方法は、透かし鍵を用いて乱数を発生するステップ
と、 元画像のデータに、上記乱数により指定される順
に、透かし情報を埋め込んで原本画像を作成するステッ
プと、 透かし情報を埋め込む前の元画像のデータを含
む復元鍵を生成するステップとを含む。
【0017】
【発明の実施の形態】図1、図2、図3、及び図4はこ
の発明の実施の形態1を示す。図1は電子透かしの埋込
み及び検証を行うための構成を示す。図示の構成は、図
23に示す従来の構成と同様であるが、従来技術と異な
り、電子透かし埋込み装置202の電子透かし埋込み部
212から復元鍵211を出力する。
【0018】図2は電子透かし埋込みと復元鍵生成の方
法を示す図である。復元鍵211は透かし情報209と
同じく「1」または「0」の2値で示し、矩形部分内の
ハッチングの有無は「1」ならば黒色、「0」ならば白
色で示している。
【0019】図1及び図2に示す構成で、従来と同様な
電子透かしの埋込み及び検証を行う場合には、各装置お
よびその構成部分の動作は従来の構成とほとんど同じで
ある。異なるのは、本発明では画像を復元する為の鍵と
なる復元鍵211を出力することである。
【0020】図1及び図2において、元画像201は電
子透かしの埋込みの対象となる画像である。電子透かし
埋込み装置202は透かし鍵203を基に擬似乱数生成
部207aで乱数208aを生成し、電子透かし埋込み
部212は乱数208aを用いて電子透かしを埋込み
(219)、原本画像204を生成し、出力する。
【0021】電子透かし検証装置205では、透かし鍵
203を基に擬似乱数生成部207bで乱数208bを
生成し、電子透かし検証部215は乱数208bを用い
て原本画像204から電子透かしを抽出し、抽出された
電子透かしを検証し、検証結果206を出力する。
【0022】電子透かし埋込み装置202は、上記のよ
うに電子透かしを埋め込む際に電子透かし埋込み部21
2において復元鍵211を生成し、出力する。復元鍵2
11は透かし情報209によって置き換えられた元画像
201の画素値である。つまり電子透かしを埋め込む際
に、まず元画像201の画素番号の画素値「0」が最
初の透かし情報「1」で置き換えられるため、復元鍵2
11の最初の値は「0」であり、次に元画像201の画
素番号の画素値「1」が2番目の透かし情報「0」で
置き換えられるため、復元鍵211の2番目の値は
「1」となる。
【0023】図3は電子透かし埋込み及び画像復元を行
う際の構成であり、図4は原本画像204、乱数208
b及び復元鍵211から復元画像226を生成する方法
を示す。図3に示す画像復元装置220は、図1の電子
透かし検証装置205と同様の擬似乱数生成部207b
を備えるほか、擬似乱数生成部207bと画像を復元す
る画像復元部225を備える。擬似乱数生成部207b
は透かし鍵203を基に埋込み時と同じ乱数208bを
生成する。画像復元部225は、擬似乱数生成部207
bで生成された乱数208bを入力とし、さらに電子透
かし埋込み装置202から出力された原本画像204と
復元鍵211を入力として、画像を復元し(221)、
復元された画像である復元画像226を出力する。
【0024】図4に示すように、画像の復元の動作は、
埋込み時と逆である。つまり乱数208bで示される画
素番号の最初の値はであり、復元鍵211の最初の値
は「0」である。そのため、原本画像204の画素の
画素値を「0」に置き換える。乱数208bの次の値は
であり、復元鍵211の次の値は「1」であるため、
原本画像204の画素の画素値を「1」に置き換え
る。この結果復元画像226ができ、これは図2で示し
た元画像201と同じ画像である。
【0025】以上のように、実施の形態1によれば、電
子透かし埋込み時に変更した部分の画素値から復元鍵を
生成し、必要な時に復元鍵を用いて電子透かしを埋め込
んだ画像から元の画像を復元することができる。
【0026】ここで作成される復元鍵の情報量は位置情
報などを含まず、埋め込まれた透かし情報(即ち、変更
された画素情報)と同じ量であり、復元に必要な最小情
報量である。差分情報と比較しても、差分情報は画像と
同じ大きさとして保持されるか、位置情報と画素情報の
集合として保持されるため、絶対的に少なくなる。また
処理の増加は画素値の置換だけである。
【0027】また復元鍵の値は乱数を基にランダムに並
べられている為、乱数生成方法が分からなければ、原本
画像と復元鍵から元画像を生成することは困難である。
【0028】図2及び図4で示す埋込み及び復元方法で
は、復元鍵をすり替えられた場合に検出する手段がない
ため、一般的な暗号手法と共に使うのが望ましい。例え
ば、システムとして復元鍵は基本的に移動させないで、
特定の復元装置だけで必要な時に復元を行う場合は、復
元鍵を暗号化し電子署名をつけてその装置内に保存し、
復元したい原本画像があれば、それを復元装置に送り署
名確認及び復号化を行った後復元することができるし、
復元装置も分散させ復元鍵を原本画像と共に移動させる
場合は、復元鍵と原本画像を一緒にアーカイブして(ま
とめて圧縮して)暗号化したり、相互に電子署名をつけ
るといった手法を取ることができる。
【0029】図5及び図6で示す埋込み及び復元方法
(実施の形態2)のように、原本画像の情報を復元鍵に
含めることによって復元鍵の検証を行うことができる。
【0030】図5において、復元鍵231は透かし情報
209を画像に埋め込む(222)ことによって変化し
た画素の埋込み後と埋込み前の画素値から構成される。
まず画素番号の埋込み後画素値「1」と埋込み前画素
値「0」であり、次に画素番号の埋込み後画素値
「0」と埋込み前画素値「1」である。
【0031】図6に復元時の動作を示す。不正な偽造復
元鍵234が供給された場合、復元(223)に際し、
まず画素番号の画素に対して偽造復元鍵234の埋込
み後画素値は「1」であり、原本画像204の値も
「1」であるため照合が成立し、偽造復元234で示さ
れる埋込み前画素値「0」に置き換えられる。次に画素
番号の画素に対して偽造復元鍵234の埋込み画素値
は「1」であるが、原本画像204の画素値は「0」で
ある。よってこの時点で復元鍵234と原本画像204
が一致しないことが検出できる。システム的に復元鍵が
改竄されていないことが保証できる場合は、「原本画像
が改竄されているか否かどうか」という検証にもなりう
る。
【0032】上記のように埋込み画素値と原本画像の画
素値の不一致が検出されたときは、復元画像(226)
は生成されないが、不一致が検出されないときは、復元
画像が生成される。
【0033】この実施の形態2は復元鍵のサイズは実施
の形態1と比べて2倍に増えているが、処理の流れとし
て、実施の形態1と同様に復号する為に必ずアクセスし
なければならない画素だけをチェックしているため、処
理としては比較処理が増えているだけであり、処理時間
の増加は非常に少ない。
【0034】実施の形態2では変更画素の埋込み後画素
値のみを比較する。意味のある改竄(例えば、画像中に
含まれる文字を他の文字に変える変更、画像中の人物を
他の人物に変える変更)を行う為には或る程度の大きさ
を持った改竄を行う必要があるため、大抵の場合はこの
方法で問題は生じないと考えられる。
【0035】更に安全にするために、原本画像全体の情
報を復元鍵に含めることもできる。図7に示す埋込み方
法(実施の形態3)では、透かしを埋込む(219)こ
とにより生成された原本画像204全体のハッシュ値2
42を生成し(224)、これを復元鍵241に含める
ことによって原本画像204との対応を更に保証する。
【0036】即ち、このようにして透かしが埋込まれた
原本画像を検証/復元する側においては、図8に示すよ
うに、乱数208bと、埋込み側から送られた復元鍵2
41とを用いて、原本画像204から復元画像226を
得る(227)。また、原本画像204からハッシュ値
243を生成し(228)、埋込み側から送られた復元
鍵241内のハッシュ値242と照合する(一致するか
どうか調べる:245)。そして一致していれば、原本
画像204及び復元鍵241がともに改竄されていない
ものと判断する。一致しなければ、原本画像204及び
復元鍵241の少なくとも一方が改竄されているものと
判断する。原本画像204及び復元鍵241の一方につ
いて、他の方法で改竄されていないことが保証される場
合には、これらの他方が改竄されているものと判断す
る。図8の検証結果247は、これらの判断の結果を表
わす。
【0037】このように、実施の形態2と同様に、シス
テム的に復元鍵が改竄されていないことが保証できる場
合は、「原本画像が改竄されているか否かどうか」とい
う検証になりうる。
【0038】なお、ハッシュ値のサイズはハッシュ関数
によって固定であり、埋め込む電子透かし情報量が多い
場合は、復元鍵のサイズが実施の形態2より小さくなる
という利点もある。
【0039】また、実施の形態2では埋込み後の画素値
のみを比較しているため、復元鍵の偽造検証として各画
素の電子透かし埋込み前の値だけを変更した場合に不正
が検出できない。そのため埋込み後画素値と埋込み前画
素値の順番がわからないようにランダムに並べ替える方
が安全である。実施の形態3においても復元鍵内におけ
るハッシュ値の位置が固定であると偽造し易いため同様
である。
【0040】図9に示す埋込み方法(実施の形態4)で
は、電子透かしを元画像201に埋込んで原本画像を得
るとともに(222)、電子透かし埋込み及び抽出に使
う乱数208aを利用して復元鍵231をランダム化し
て(ランダムに並べ替えて)復元鍵251を生成する
(249)。即ち、復元鍵231のデータに最初から順
番に番号付け(例では〜)し、乱数208aでの出
現順序によってデータを並び替える。図示の例では、乱
数208aの最初がのため、復元鍵251の最初の値
は復元鍵231の2番目の値「0」、乱数208aの2
番目の値はのため復元鍵251の2番目の値は復元鍵
231の4番目の値「1」、残る「1」と「3」のう
ち、乱数208aの中で次に「1」が出現する為、復元
鍵251の3番目の値は復元鍵231の1番目の値であ
る「1」、復元鍵251の最後の値は復元鍵231の3
番目の値である「0」となる。この方法であれば、乱数
はもともと生成されている為、復元鍵の値を並び替える
処理を追加するだけで良い。
【0041】なお、復元鍵のランダム化に用いる乱数と
しては、埋込み位置の決定に用いる乱数とは異なるもの
を用いても良い。この場合には、復元鍵のランダム化に
用いた乱数を発生する鍵を復元側にも与える必要があ
る。
【0042】図9の方法で透かしを埋込まれた原本画像
を復元するには、図10に示すように、埋込み側から送
られて来た復元鍵を逆ランダム化し(復元鍵のデータの
順序を元に戻し:252)して元の復元鍵253を生成
し、これを(乱数208bとともに)用いて、画像を復
元する(254)。この場合(復元鍵を逆ランダム化す
る場合)、ランダム化(データの順序の変更)の逆を行
う。上記の例では、復元鍵は4ビットであり、乱数の順
番から、、、、と並んでいるので、その順番を
並び変える。
【0043】代りに、埋込み側から送られて来た復元鍵
をそのまま(乱数208bとともに)用いて、画像を復
元しても良い。この場合(逆ランダム化を行わない場
合)、ランダム化(データの順序を変える)前の復元鍵
とランダム化後の復元鍵の関係は、乱数(ランダム化に
用いた乱数)から分かり、またランダム化前の復元鍵と
復元画素値も乱数から分かる。上記の例では、最初の値
は、ランダム化前の復元鍵の値、その値はまた乱数を
見て、画素の復元画素の値であることが分かる。それ
以下も、「ランダム化前の復元鍵のの値→画素復元
画素値」、「ランダム化前の復元鍵のの値→画素の
復元画素値」と同様に復元画素値を得る。
【0044】実施の形態1ないし実施の形態4では、元
画像を復元する為の情報を復元鍵として外部に出力して
いたが、管理が複雑となる。以下に述べる実施の形態5
ないし9は、復元鍵を生成せず、代りに画像データを拡
張し復元情報を画像データ内に含めるものである。
【0045】図11及び図12に実施の形態5を示す。
【0046】図11は、電子透かし埋込み方法を示す。
元画像201は1ビットのビットプレーンから成る画像
(1ビット画像と呼ぶ)、拡張画像301はビットプレ
ーン1 302、ビットプレーン0 303の2ビット
のビットプレーンから成る画像(2ビット画像と呼ぶ)
であり、原本画像304は、ビットプレーン0 305
及びビットプレーン1 306から成るもので、拡張画
像301(ビットプレーン302、303から成る)に
乱数108aを用いて透かし情報109を埋め込んだ画
像である。
【0047】即ち、1ビット画像である画像201は2
ビット画像である拡張画像301(ビットプレーン30
2、303から成る)に拡張される(261)。この例
では拡張は元画像201をビットプレーン1 302と
し、ビットプレーン0 303の値はすべて「0」とし
た。
【0048】電子透かしの埋込み(263)はビットプ
レーン1 302に対して、先に述べた実施の形態、例
えば図2の実施の形態と同様に埋込みが行われ、その結
果原本画像のビットプレーン1 305が生成される。
それと共に透かし情報が埋め込まれた画素(例では画素
番号との画素)の埋込み前画素値を原本画像のビッ
トプレーン0 306に保持することによって、原本画
像305,306を生成する。
【0049】図12は、電子透かし抽出および画像復元
方法を示す。原本画像304(ビットプレーン305、
306から成る)は電子透かしが埋め込まれ、かつ復元
情報を持っている。透かし情報319は電子透かし抽出
によって抽出された情報である。復元画像307のうち
ビットプレーン1 308は復元された画像である(ビ
ットプレーン0 309は復元後不要であるので、必ず
しも生成されるものではないが、生成可能であることを
示すため図示している)。
【0050】図12において、電子透かしの抽出(26
5)は原本画像のビットプレーン1305から従来と同
様の抽出方法で行うことができる。画像復元(265)
は電子透かし抽出と共に行われ、電子透かし抽出を行っ
た画素のプレーン0 309の画素値をプレーン1 3
05の画素値にコピーする。その結果生成されたビット
プレーン1 308が復元された復元画像であり、これ
は図11に示す元画像201と同一である(同一となる
はずのものである)。
【0051】以上のように、実施の形態5によれば、電
子透かしを埋め込んだ画像とその画像を元画像に復元す
る為の復元情報を1つの画像として構成することができ
る。
【0052】この方法において復元情報は原本画像のビ
ットプレーン0にしか含まれておらず、またこのプレー
ンの変更に対する検証がないため、このプレーンに復元
情報が含まれていることがわかると復元情報の偽造が可
能であり、またプレーン1に埋め込まれた電子透かしの
解析もわかりやすくなってしまう。このため、改竄検出
を行える電子透かしを、復元情報を含むビットプレーン
に適用する方法(実施の形態6)を図13及び図14に
示す。
【0053】図13において、拡張画像301(プレー
ン1 302及びプレーン0 303から成る)は、図
11に示すものと同じである。拡張画像301のプレー
ン1302に対する電子透かし209の埋込み(26
7)も図11の透かし埋込み263と同様である。但
し、プレーン1 302への透かし埋込み前の画素値を
復元情報として保持するビットプレーン0 313(図
11のプレーン0 306と同じ)は中間画像311を
構成するものとして、これにさらに、透かしを埋め込む
(269)ことによって、原本画像314の第0のプレ
ーン316を生成する。原本画像314のプレーン1
315は、図11のプレーン1 305と同じものであ
る。
【0054】プレーン0 313に対する透かしの埋込
みに当たっては、プレーン1 302に対する透かし埋
込み(267)で使用したのと同じ乱数208aのう
ち、上記透かし埋込み(267)で使っていない画素番
号に対応するものを使用する。それによって、プレーン
0 313に含まれた復元情報を壊さないで透かし情報
329を埋め込むことができる。この例では乱数の1番
目(値:)と2番目の値(値:)はプレーン1に電
子透かしを埋め込むために使用しているため、プレーン
0への電子透かしは3番目(値:)と4番目(値)
で示される画素に透かし情報329を埋め込む。その結
果、プレーン0 313の画素番号の画素値は、透か
し情報329の1番目の値「0」で、画素番号の画素
値は、透かし情報329の2番目の値「1」で置き換え
られ、原本画像のプレーン0 316が生成できる。
【0055】復元時には、図14に示すように、まずプ
レーン0の透かし情報(329)を抽出し(270)、
その値を検証することによって、改竄検出可能な電子透
かしを検証し、改竄されていないことを確認し(27
1)、その後プレーン0の復元情報をプレーン1に適用
することによって画像の復元を行う(273)ことがで
きる。
【0056】プレーン0に改竄検出可能な電子透かしを
埋め込むことによって、プレーン0の改竄を検出するこ
とができ、また復元情報しか含まれていなかったプレー
ン0に新たな電子透かしの情報が入り画像の複雑度が増
し、プレーン1へ埋め込んだ電子透かしへの攻撃が難し
くなる。
【0057】上記の実施の形態5及び実施の形態6並び
に後述の実施の形態7はビットプレーン拡張可能な画像
であれば適用可能である。ビットマップフォーマットと
して良く知られたBMP/DIB (device independent
bitmap) 形式としては、1ビット、4ビット、8ビッ
ト、16ビット、24ビット、32ビットがある。また
基本的に電子透かしは1つの画素に1ビット若しくは3
ビット(RGB毎に1ビット)程度しか埋め込むことは
ないため、 1ビット画像→(1+1)ビット必要→4ビット画像 4ビット画像→(4+1)ビット必要→8ビット画像 8ビット画像→(8+1)ビット必要→16ビット画像 16ビット画像→(16+3)又は(16+1)ビット
必要→24または32ビット画像 24ビット画像→(24+3)又は(24+1)ビット
必要→32ビット画像 に拡張して適用できる。
【0058】ビットプレーン拡張の方法として、実施の
形態5で示したように単純に0または1に値が固定され
たプレーンを追加することが一番簡単である。しかしな
がら、ビットプレーンが複数ある画像を拡張する場合、
固定値のプレーンを追加するだけでは元画像との色の違
いが大きくなる。そのためその場合は画素値を考慮した
ビットプレーン拡張を行う必要がある。
【0059】図15に2ビットのビットプレーンを持つ
元画像の値のプレーン拡張を例として示すが、単純にプ
レーン追加では最適な画素値にならないため、画素値が
最適な値になるように(即ち、元画像の各画素の値と拡
張画像の対応する画素の値とが等価な関係となるよう
に)画素値を決めることによって元画像と等価に見える
拡張画像を作ることができる。
【0060】上記方法で生成した最適な拡張画像は単純
プレーン追加の場合と異なり、ほとんどの場合使ってい
ないプレーンが無い。そのため電子透かし埋込み方法も
変える必要がある。
【0061】図16に最適な拡張を行った拡張画像に電
子透かしを埋め込む値の割当て例を示す。埋め込む際に
埋め込んだ値と元の画素値が分かる(埋込み後の値から
元の画素値を一意的に決めることができる)画素値にす
ることで、電子透かしを埋込み、かつ画像を復元するこ
とができる。
【0062】図16の値割当て例を用いた電子透かし埋
込み(411)の例を実施の形態7として図17に示
す。乱数403aの1番目の値がであり透かし情報4
02の1番目の値が「0」であるため、画素番号の画
素に「0」を埋め込むために拡張画像404の画素番号
の画素値「0101」を「0100」に変更し、乱数
403aの2番目の値がであり透かし情報402の2
番目の値が「1」あるため、画素番号の画素に「1」
を埋め込むために拡張画像404の画素番号の画素値
「1010」を「1011」に変更し、乱数403aの
3番目の値がであり、透かし情報402の3番目の値
が「1」であるため、画素番号の画素に「1」を埋め
込むために拡張画像404の画素番号の画素値「00
00」を「0001」に変更し、乱数403aの4番目
の値がであり透かし情報402の4番目の値が「0」
であるため、画素番号の画素に「0」を埋め込むため
の拡張画像404の画素番号の画素値「1111」を
「1110」に変更することによって原本画像406を
生成する。
【0063】図18に電子透かし抽出(413)及び画
像復元(415)の例を示す。乱数403bの1番目の
値がであり原本画像406の画素番号の画素値が
「0100」であるため、「0」が埋め込まれているこ
とが分かり透かし情報422の1番目の値は「0」と抽
出され、画素値「0100」の元の画素値は必ず「01
01」であるため「0101」に変更する。同様にすべ
ての透かし情報を抽出し、画素値を復元することによっ
て拡張画像424が復元できる。また、拡張画像424
の各画素値から元の画像の画素値は一意的に決まるた
め、元画像421が復元できる。原本画像から拡張画
像、また拡張画像から元画像への画素値対応はどちらも
一意的であるため、拡張画像を生成しなくても、原本画
像から元画像を生成することもできる。
【0064】実施の形態7では、埋込み方法としてビッ
トプレーン0だけを変更した埋込み値を示したが、別の
埋込み値を利用することも可能である。この例の様にビ
ットプレーンが2倍に増えた場合、取り得る画素値は4
倍になっており、図19に示す例のように各画素値が重
なり合わない画素値であればどの画素値でも利用するこ
とができる。図19の例では元の画素値が「0:000
0」の場合、電子透かしを埋め込んだ後の画素値とし
て、「0:0000」、「1:0001」、「2:00
10」、「3:0011」の画素値のどれかを使うこと
ができ、それらはすべて復元時に画素値「0:000
0」に復元できる。
【0065】拡張画像の画素値と埋込み後の画素値の対
応パターンが一つであると、埋込み後の画素値から拡張
画像の画素値を推測して、元画像が取出される可能性が
ある。そのため図20に示す実施の形態8のように複数
の対応パターンを準備して、処理途中で変更することに
よって、拡張画像の画素値を推測しにくくすることがで
きる。対応パターンは画質劣化の許容範囲内で用意して
おき、処理の順番(例えば1番目の画素はパターン0、
2番目の画素はパターン1、…)等によって、使用する
対応パターンを変化させるわけである。
【0066】電子透かしを用いて埋め込む値の割当てを
変化させる方法もある。「0」と「1」の2値を埋め込
む場合、図21に示す埋込み値割当てパターン例の様に
4つの対応画素値があれば、割当てパターンは 42
= 4!/(4−2)! =12パターン存在する。そ
の割当てパターンを処理途中で変更するわけである。
【0067】図22に図21で示した埋込み値割当てパ
ターン例を使った実施の形態9の電子透かし埋込み例
(417)を示す。ここでは処理の順番によって割当て
パターンを図21の割当てパターン順番で適用してい
る。まず乱数433の1番目の値はであり画素番号
の画素に透かし情報432の1番目の値「0」を埋め込
むために1番目の割当てパターンであるパターン0(0
埋込み:0000,1埋込み:0001)を適用する。
同様に2番目の画素番号の画素にはパターン1(0埋
込み:0001,1埋込み:0011)を、3番目の画
素番号の画素にはパターン2(0埋込み:0011,
1埋込み:0100)を適用すると、原本画像436が
できる。この例を見て分かるように、拡張画像の画素値
と埋め込む透かし情報の値が同じ場合でも画素値が異な
る原本画像が生成される。
【0068】なお、実施の形態1ないし実施の形態4
で、復元鍵をそのまま出力したが、圧縮して出力すれば
更に短い復元鍵とすることができる。
【0069】実施の形態5ないし実施の形態9では、
「0」「1」の2値の埋込み例を示したが、別の埋込み
値を利用することも可能である。この例の様にビットプ
レーンが2倍に増えた場合、取り得る画素値は4倍にな
っており、4値まで埋め込むことが可能である。
【0070】実施の形態1ないし実施の形態4で画素の
復元のために変更前画素値を復元鍵のデータとしていた
が、2値の場合、復元の為の画素演算「そのまま」か
「反転」のデータとすることも可能である。同様に実施
の形態5(図11)でプレーン0の値も、変更前画素値
でなく画素演算「そのまま」か「反転」のデータとする
ことができる。
【0071】
【発明の効果】本発明の実施の形態1ないし実施の形態
4によれば、少量のデータ(復元鍵)を生成して送るだ
けで元画像の復元が可能となる。
【0072】本発明の実施の形態5ないし実施の形態9
によれば、ビットプレーン拡張を行ったのち透かしの埋
込みを行うので、復元のための情報の改竄が一層困難と
なる。
【0073】請求項1の方法によれば、復元鍵を生成す
るので、これを利用することで、原本画像から元画像を
復元することができる。
【0074】請求項2の方法によれば、元画像や原本画
像に比べはるかに少量のデータから成る復元鍵を伝達す
るのみで、元画像の復元を行うことができる。
【0075】請求項3の方法によれば、復元鍵が原本画
像のデータを含むので、これと原本画像の対応するデー
タとを照合することにより、原本画像又は復元鍵のいず
れかが改竄されていないかどうかの検証を行うことがで
きる。
【0076】請求項4の方法によれば、元画像や原本画
像に比べはるかに少量のデータを伝達するのみで、原本
画像又は復元鍵の検証を行うことができる。
【0077】請求項5の方法によれば、復元鍵が原本画
像のハッシュ値を含むので、これを用いて原本画像の全
体又は復元鍵が改竄されていないかどうかの検証を行う
ことができる。しかも、原本画像の全体について上記の
検証を行うことができる。
【0078】請求項6の方法によれば、元画像や原本画
像に比べはるかに少量のデータを伝達するのみで、原本
画像の全体又は復元鍵の検証を行うことができる。
【0079】請求項7の方法によれば、復元鍵を構成す
るデータを乱数により並べ替えるので、復元鍵の偽造が
一層困難とである。
【0080】請求項8の方法によれば、復元鍵の並べ替
えに用いられた乱数を発生するための鍵を別途伝達する
必要がない。
【0081】請求項10の方法によれば、復元鍵を構成
するデータを乱数により並べ替えるので、復元鍵の偽造
が一層困難である。
【0082】請求項11の方法によれば、電子透かしを
埋め込んだ画像と、その画像を復元するための復元情報
を1つの画像として構成することができる。
【0083】請求項14の方法によれば、復元情報の偽
造が困難である。
【0084】請求項17の方法によれば、原本画像と元
の画像との類似性が色に関し、一層高くなる。
【0085】請求項19の方法には、拡張画像と埋込み
後の画像との対応関係が変化するので、埋込み画像の画
素の値から拡張画像の画素の値を推測するのが困難だと
いう効果がある。
【0086】請求項20の方法には、拡張画像の画素の
値の推測が困難だと言う効果がある。
【図面の簡単な説明】
【図1】 本発明の実施の形態1の透かし埋込み及び検
証のための装置の一例を示すブロック図である。
【図2】 実施の形態1における透かし埋込み方法を示
す概略図である。
【図3】 本発明の実施の形態1の透かし埋込み及び復
元のための装置の一例を示すブロック図である。
【図4】 実施の形態1における透かし復元方法を示す
概略図である。
【図5】 本発明の実施の形態2の透かし埋込み及び復
元のための装置の一例を示すブロック図である。
【図6】 実施の形態2における透かし復元方法を示す
概略図である。
【図7】 実施の形態3における透かし埋込みを示す概
略図である。
【図8】 実施の形態3における透かし検証/復元を示
す概略図である。
【図9】 実施の形態4における透かし埋込みを示す概
略図である。
【図10】 実施の形態4における透かし検証/復元を
示す概略図である。
【図11】 本発明の実施の形態5の透かし埋込み方法
を示す概略図である。
【図12】 実施の形態5の透かし復元を示す概略図で
ある。
【図13】 実施の形態6の透かし埋込みを示す概略図
である。
【図14】 実施の形態6の透かし検証/復元を示す概
略図である。
【図15】 実施の形態7におけるプレーン拡張の例を
示す概略図である。
【図16】 実施の形態7における、透かし埋込み前後
の各プレーンのデータを示す図である。
【図17】 実施の形態7における、透かし埋込みの例
を示す図である。
【図18】 実施の形態7における、電子透かし抽出及
び画像復元の例を示す図である。
【図19】 実施の形態7における、埋込み値の異なる
例を示す図である。
【図20】 実施の形態8における、拡張画像の画素値
と埋込み後の画素値の対応パターンの関係を示す図であ
る。
【図21】 実施の形態9における、電子透かしを用い
て埋め込む値の割当てを変化させる方法の一例を示す図
である。
【図22】 図21で示した埋込み値割当てパターン例
を使った実施の形態9の電子透かし埋込み例を示す。
【図23】 従来の透かし埋込み及び検証を行う装置の
一例を示すブロック図である。
【図24】 従来の装置における透かし埋込み及び電子
透かしの抽出の方法を示す概略図である。
【符号の説明】
202 電子透かし埋込み装置、 205 電子透かし
検証装置、 207a、207b 擬似乱数生成部、
212 電子透かし埋込み部、 215 電子透かし検
証部、 220 画像復元装置、 225 画像復元
部。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 7/08 H04L 9/00 601A 7/081 H04N 7/08 Z Fターム(参考) 5B057 CA12 CA16 CB12 CB16 CB19 CC03 CE08 CE09 CG07 CH08 CH18 DA07 DA08 DA17 5C063 AB03 AB05 AC02 AC10 CA34 CA36 DA13 5C076 AA01 AA14 BA06 CA10 5J104 AA01 AA08 AA14 AA16 EA04 EA17 JA03 LA02 NA02 NA12

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】 透かし鍵を用いて乱数を発生するステッ
    プと、 上記乱数により指定される元画像のデータに、上記乱数
    により指定される順に、透かし情報を埋め込んで原本画
    像を作成するステップと、 透かし情報を埋め込む前の元画像のデータを含む復元鍵
    を生成するステップとを含む電子透かし埋込み方法。
  2. 【請求項2】 請求項1に記載された上記原本画像と、
    上記復元鍵と、上記透かし鍵とを用いて元画像を復元す
    るステップとをさらに含む元画像復元方法。
  3. 【請求項3】 上記復元鍵として、上記元画像のデータ
    とともに、これに対応する原本画像のデータを含むもの
    を生成することを特徴とする請求項1に記載の電子透か
    し埋込み方法。
  4. 【請求項4】 請求項3に記載された上記原本画像及び
    上記復元鍵と、請求項1に記載された上記透かし鍵とを
    用いて元画像を復元するステップとをさらに含み、 上記復元鍵のうちの原本画像のデータと、上記原本画像
    の対応するデータとを照合する(互いに一致するかどう
    か検証する)ことにより、原本画像及び復元鍵がともに
    正当のものであるかどうか(原本画像又は復元鍵が改竄
    されていないかどうか)を検証するステップをさらに含
    むことを特徴とする元画像復元方法。
  5. 【請求項5】 上記復元鍵として、上記元画像のデータ
    とともに、上記原本画像のハッシュ値を含むものを生成
    することを特徴とする請求項1に記載の電子透かし埋込
    み方法。
  6. 【請求項6】 請求項5に記載された方法で生成された
    上記原本画像及び上記復元鍵と、請求項3に記載された
    上記透かし鍵とを用いて元画像を復元するステップと、 復元の際、原本画像からハッシュ値を生成するステップ
    とをさらに含み、 上記復元鍵に含まれるハッシュ値と、復元の際に生成し
    たハッシュとを照合することにより、 原本画像及び復元鍵がともに正当のものであるかどうか
    (原本画像又は復元鍵が改竄されていないかどうか)を
    検証するステップをさらに含むことを特徴とする元画像
    復元方法。
  7. 【請求項7】 上記復元鍵を構成するデータを乱数によ
    り順序を変更するステップをさらに含むことを特徴とす
    る請求項1に記載の透かし埋込み方法。
  8. 【請求項8】 上記復元鍵のデータの順序を変更するた
    めに利用する乱数が、上記透かし情報の埋込みのために
    利用される乱数と同じものであることを特徴とする請求
    項7に記載の透かし埋込み方法。
  9. 【請求項9】 請求項7又は8に記載の方法でデータの
    順序が変更された復元鍵を用いて原本画像から復元画像
    を生成することを特徴とする復元方法。
  10. 【請求項10】 請求項9に記載された、データの順序
    が変更された復元鍵を、上記順序の変更に際用いられた
    乱数と同じ乱数を用いて順序を戻し、元の復元鍵を復元
    し、該復元された復元鍵を用いて原本画像から復元画像
    を生成することを特徴とする復元方法。
  11. 【請求項11】 元画像をビットプレーン拡張するステ
    ップと、 透かし鍵を用いて乱数を発生するステップと、 上記乱数により指定される上記ビット拡張した元画像の
    画素の値に、上記乱数により指定される順に、透かし情
    報を埋め込んで原本画像を作成するステップと透かし情
    報を埋め込む前の元画像の画素の値を含む復元鍵を生成
    するステップとを含む電子透かし埋込み方法。
  12. 【請求項12】 上記ビットプレーン拡張は、復元情報
    を含むビットプレーンの生成を含むことを特徴とする請
    求項11に記載の電子透かし埋込み方法。
  13. 【請求項13】 請求項11又は12に記載された方法
    で生成された上記原本画像と、請求項11に記載された
    透かし鍵とを用いて元画像を復元するステップとをさら
    に含む元画像復元方法。
  14. 【請求項14】 上記復元情報を含むビットプレーン
    に、透かし鍵を用いて発生した乱数を用いて電子透かし
    を埋め込むことを特徴とするを特徴とする請求項12に
    記載の電子透かし埋込み方法。
  15. 【請求項15】 請求項14に記載のように電子透かし
    を埋め込まれた復元情報を含むビットプレーンを、同じ
    透かし鍵を用いて発生した乱数を用いて検証を行うこと
    を特徴とする検証方法。
  16. 【請求項16】 請求項14に記載のように電子透かし
    を埋め込まれた復元情報を含むビットプレーンを用いて
    元画像を復元することを特徴とする復元方法。
  17. 【請求項17】 元画像の各画素の値と、ビットプレー
    ン拡張された画像の対応する画素の値が等価な関係にあ
    り、かつビットプレーン拡張された画像の各画素の値か
    ら一意的に元画像の対応する画素の値が決まることを特
    徴とする請求項11に記載の埋込み方法。
  18. 【請求項18】 請求項17に記載のようにして形成さ
    れたビットプレーン拡張された生成された上記原本画像
    と、請求項11に記載された透かし鍵とを用いて元画像
    を復元するステップとをさらに含み、 上記復元の際、ビットプレーン拡張された画像の各画素
    の値から元画像の対応する画素の値を求めることを特徴
    とする元画像復元方法。
  19. 【請求項19】 ビットプレーン拡張された元画像の各
    画素の値と、透かし埋込み後の原本画像の対応する画素
    の値との対応関係を、一枚の画像の処理の途中で変更す
    ることを特徴とする請求項11又は17に記載の電子透
    かし埋込み方法。
  20. 【請求項20】 電子透かしを用いて埋め込む値と透か
    しを埋め込まれることにより形成される原本画像の各画
    素の値の対応関係を一枚の画像の処理の途中で変更する
    請求項17又は19に記載の方法。
JP2000139833A 2000-05-12 2000-05-12 電子透かし埋込み方法、電子透かし検証方法及び元画像復元方法 Expired - Fee Related JP4089128B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000139833A JP4089128B2 (ja) 2000-05-12 2000-05-12 電子透かし埋込み方法、電子透かし検証方法及び元画像復元方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000139833A JP4089128B2 (ja) 2000-05-12 2000-05-12 電子透かし埋込み方法、電子透かし検証方法及び元画像復元方法

Publications (2)

Publication Number Publication Date
JP2001320578A true JP2001320578A (ja) 2001-11-16
JP4089128B2 JP4089128B2 (ja) 2008-05-28

Family

ID=18647217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000139833A Expired - Fee Related JP4089128B2 (ja) 2000-05-12 2000-05-12 電子透かし埋込み方法、電子透かし検証方法及び元画像復元方法

Country Status (1)

Country Link
JP (1) JP4089128B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7502488B2 (en) 2003-01-15 2009-03-10 Ricoh Company, Ltd. Image processing apparatus, program, and storage medium that can selectively vary embedding specification of digital watermark data
WO2010106678A1 (ja) * 2009-03-19 2010-09-23 富士通株式会社 マーカ生成プログラム、復元プログラム、マーカ生成装置、復元装置およびマーカ生成方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7502488B2 (en) 2003-01-15 2009-03-10 Ricoh Company, Ltd. Image processing apparatus, program, and storage medium that can selectively vary embedding specification of digital watermark data
WO2010106678A1 (ja) * 2009-03-19 2010-09-23 富士通株式会社 マーカ生成プログラム、復元プログラム、マーカ生成装置、復元装置およびマーカ生成方法
EP2410727A1 (en) * 2009-03-19 2012-01-25 Fujitsu Limited Marker generation program, restoration program, marker generation device, restoration device, and marker generation method
EP2410727A4 (en) * 2009-03-19 2012-08-15 Fujitsu Ltd LABEL PRODUCTION PROGRAM, RESTORE PROGRAM, LABEL PRODUCTION EQUIPMENT, RESTORING DEVICE, AND LABEL PRODUCTION METHOD
JP5110202B2 (ja) * 2009-03-19 2012-12-26 富士通株式会社 マーカ生成プログラム、復元プログラム、マーカ生成装置、復元装置およびマーカ生成方法
US8837770B2 (en) 2009-03-19 2014-09-16 Fujitsu Limited Non-transitory computer readable storage medium, marker creating apparatus, and marker creating method

Also Published As

Publication number Publication date
JP4089128B2 (ja) 2008-05-28

Similar Documents

Publication Publication Date Title
Chang et al. A watermarking-based image ownership and tampering authentication scheme
Celik et al. Lossless watermarking for image authentication: a new framework and an implementation
Fridrich Methods for tamper detection in digital images
Rey et al. A survey of watermarking algorithms for image authentication
Holliman et al. Counterfeiting attacks on oblivious block-wise independent invisible watermarking schemes
US7171021B2 (en) Data processing apparatus and method, and storage medium therefor
Celik et al. Hierarchical watermarking for secure image authentication with localization
KR100878579B1 (ko) 워터마킹 방법, 워터마크 확인 방법, 워터마킹 장치 및워터마크 확인 장치
JP3937841B2 (ja) 情報処理装置及びその制御方法
US6101602A (en) Digital watermarking by adding random, smooth patterns
US6005936A (en) System for embedding authentication information into an image and an image alteration detecting system
JP4037614B2 (ja) 損失を伴い伝送される画像の保全性確認方法
US7181043B2 (en) Data processing method and apparatus
JP4625841B2 (ja) デジタルコンテンツセキュリティのためのシステムおよび方法
US20040091050A1 (en) Digital image watermarking apparatus and method
JP2003309559A (ja) 透かしを使用してデータ・セットの配布と認証を行う装置および方法
JPH10208026A (ja) 画像検証装置
Chang et al. Digital watermarking scheme using human visual effects
Kaur et al. A review on digital watermarking using LSB
JP2001320578A (ja) 電子透かし埋込み方法、検証方法及び復元方法
Abboud Multifactor authentication for software protection
JP2007110571A (ja) 映像変更装置、変更映像フレームのデータ構造、映像復元装置、映像変更方法、映像復元方法、映像変更プログラムおよび映像復元プログラム
CN113095993A (zh) 一种混沌加密与数字水印的图像验证方法及系统
JP3787059B2 (ja) 電子透かし合成方法、電子透かし合成装置、透かし情報検出方法、透かし情報検出装置、印刷物製造方法、印刷物及び記録媒体
JP3943931B2 (ja) 画像処理方法及び装置とそのプログラム及び記憶媒体

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050104

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071113

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080218

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 3

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120307

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130307

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140307

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees