JP2002247338A - 情報埋め込み装置及び情報復元装置及び方法及びコンピュータプログラム及び記憶媒体 - Google Patents

情報埋め込み装置及び情報復元装置及び方法及びコンピュータプログラム及び記憶媒体

Info

Publication number
JP2002247338A
JP2002247338A JP2001040787A JP2001040787A JP2002247338A JP 2002247338 A JP2002247338 A JP 2002247338A JP 2001040787 A JP2001040787 A JP 2001040787A JP 2001040787 A JP2001040787 A JP 2001040787A JP 2002247338 A JP2002247338 A JP 2002247338A
Authority
JP
Japan
Prior art keywords
information
embedding
embedded
digital watermark
digital data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001040787A
Other languages
English (en)
Other versions
JP3774631B2 (ja
JP2002247338A5 (ja
Inventor
Junichi Hayashi
淳一 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2001040787A priority Critical patent/JP3774631B2/ja
Priority to AT02250782T priority patent/ATE505905T1/de
Priority to DE60239718T priority patent/DE60239718D1/de
Priority to EP02250782A priority patent/EP1231767B1/en
Priority to KR10-2002-0007286A priority patent/KR100465950B1/ko
Priority to US10/067,740 priority patent/US7146502B2/en
Priority to CNB021054037A priority patent/CN1305296C/zh
Publication of JP2002247338A publication Critical patent/JP2002247338A/ja
Publication of JP2002247338A5 publication Critical patent/JP2002247338A5/ja
Application granted granted Critical
Publication of JP3774631B2 publication Critical patent/JP3774631B2/ja
Priority to US11/469,660 priority patent/US7639835B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 電子透かしを埋め込み、尚且つ、その被埋め
込み対象であったオリジナルのデジタルデータを再現す
ることをも可能にする。 【解決手段】 加減算によってオーバーフローする画素
の位置があればその座標を全てオーバーフローチャート
領域検出部201で検出する。そして、符号化部202
は、この検出された情報Rと、埋め込もうとする付加情
報Infとを合成し符号化して実際に埋め込む情報wを作
成する。電子透かし埋め込み部203は、オーバーフロ
ーする画素に対しては埋め込み対象外とし、オーバーフ
ローしない画素位置に電子透かしとして情報wを埋め込
む。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ディジタルデータ
に電子透かしとして情報を埋め込み、及び、埋め込まれ
た情報を抽出し、オリジナルデータを復元する技術に関
するものである。
【0002】
【従来の技術】近年、コンピュータとそのネットワーク
の急速な発達及び普及により、文字データ、画像デー
タ、音声データなど、多種の情報がディジタル化されて
いる。ディジタル情報は、経年変化などによる劣化がな
く、いつまでも完全な状態で保存できる一方、容易に複
製が可能であり、著作権の保護が大きな問題となってい
る。そのため著作権保護のためのセキュリティ技術は急
速に重要性を増している。
【0003】著作権を保護する技術の一つに“電子透か
し”がある。電子透かしとは、ディジタルの画像データ
や音声データ、文字データなどに人に知覚出来ない形で
著作権保有者の名前や購入者のIDなどを埋めこみ、違
法コピーによる無断の使用を追跡する技術である。電子
透かしには種々の攻撃が施される可能性があるため、攻
撃に対する耐性が必要である。
【0004】更に、本来は著作権保護などのセキュリテ
ィの目的で用いられていた電子透かし技術は、主情報と
副情報を不可分な状態で結合することにも応用されてい
る。単に二つの情報を結合する場合、主情報と副情報は
分離されてしまう可能性がある。更に結合後の情報量は
主情報の情報量と副情報の情報量の和であることが多
い。一方で、電子透かしを用いて二つの情報を結合した
場合、主情報と副情報が分離される恐れはなく、更に結
合後の情報量は主情報に等しい。
【0005】しかしながら、電子透かしとして主情報に
埋め込んだ副情報は一度埋め込むと抽出は可能である
が、取り除くことは困難であった。これは、副情報を埋
め込む前の主情報を必要とする場合には問題である。
【0006】この問題を解決するために、電子透かしが
埋め込まれた情報を電子透かしが埋め込まれる前の情報
に完全に復元する技術が提案されている。以降では、こ
の技術を可逆電子透かしと呼ぶ。
【0007】可逆電子透かしについて簡単に説明する。
可逆電子透かしは通常の電子透かしと同様の方法で埋め
込む。例えば、以下の式に基づいて処理される。
【0008】 I'j,i=Ij,i+cj×ai×xi (式1) ここで、jは領域及び付加情報Infのビット位置を示す
正数、iは画素位置を示す正数、I'j,iは電子透かしが
埋め込まれた画像、Ii,jは原画像、cjはInfjがビット
1の時は+1、Infjがビット0の時は−1となる定数、
iは重み係数、xiは−1から+1の範囲の擬似乱数列
である。xiは電子透かしを埋め込むためのキャリア信
号と呼ぶ。
【0009】なお、擬似乱数列xiであるが、これは電
子透かしを埋め込む側の装置、及び埋め込まれた電子透
かしを抽出し、原画像を復元する側の装置の間で使用す
る乱数パターンを取り決めておく。最も単純な手法は、
電子透かしを埋め込む側及び抽出し再現する側の装置で
同一の乱数発生アルゴリズムを使用し、且つ、乱数を発
生する際の初期値を同じにすることである。
【0010】そして復元の際には、埋め込まれている電
子透かしを先ず抽出する。そして抽出された電子透かし
を用いて、以下の式によって原画像が復元される。
【0011】 I''j,i=I'j,i−cj×ai×xi (式2) ここで、I''i,jは復元後の画像データ、I'i,jは画像復
元装置に入力された画像データ、cjは電子透かし抽出
部で抽出された付加情報Infにおいてビットが1の時は
+1、ビットが0の時は−1となる定数、ai、xiは式1
と同じである。
【0012】式1に示した電子透かしの埋め込み、及び
式2に示した原画像の復元について具体的に説明する。
【0013】図7は式1に示した電子透かしの埋め込み
について具体例を示したものである。それぞれの行列は
画像の一部を表している。また、ビット情報としてビッ
ト1、即ちcj=+1の場合を表している。
【0014】復元する側では、電子透かしを先ず抽出す
ることになるが、この抽出アルゴリズムを簡単に説明す
ると、入力した画像I’の4×4画素ブロックの各画素
の値と、擬似乱数列xi(先に説明したように、埋め込
む側と同じ乱数列を発生するものとしている)との相関
関係を調べる。もし、入力した画像I'と擬似乱数列xi
との相関関係が高い(予め設定された閾値よりも大き
い)であれば埋め込まれたビットは1であると判断す
る。また、入力した画像I'と−xi(擬似乱数の各要素
の符号を反転した結果)との相関関係が高い場合には0
が埋めこまれている判断する。そしていずれとの相関関
係も低い場合には電子透かし情報が埋め込まれていない
と判断する。なお、図示の場合4×4画素ブロックにつ
いて説明したが、図示のように1ビットを1つのブロッ
クにのみ埋め込むと高い確からしさが期待できないの
で、これを複数ブロック(例えばn画素ブロック)に対
して行い、全体の確からしさを高めることが考えられ
る。そしてmビットを埋め込む場合には、n画素ブロッ
クに1ビットを埋め込むことをm回行えば良いことにな
る。
【0015】こうして、電子透かしの抽出が行われる
と、その透かし情報を除去する処理を行う。
【0016】図8は図7に示した例で埋め込まれた電子
透かしを除去する具体例を示したものである。ここで
は、埋め込まれたビット情報が1である場合を示す。図
7及び図8に示したように、通常は埋め込んだ電子透か
しを完全に除去して原画像を復元することが可能であ
る。
【0017】一方、図9も式1に示した電子透かしの埋
め込みについて具体例を示したものである。図9に示し
た例では、電子透かしを埋め込んだ画像データにオーバ
ーフローが生じている(電子透かし埋め込み後の画素値
が262及び261の画素)。この場合、通常図9に示
したような丸め処理が行われる。丸め処理が行われた画
像からも正しく電子透かしが抽出可能であるが、図10
に示したように丸め処理が行われた個所については原画
像を完全に復元することができない。
【0018】
【発明が解決しようとする課題】基本的には前述した方
式により、電子透かしが埋め込まれているディジタルデ
ータから電子透かしが埋め込まれる前のディジタルデー
タを復元することが可能であるが、電子透かしの埋め込
みによりオーバーフローが生じる場合には、上記の如く
電子透かしが埋め込まれる前のディジタルデータを完全
に復元することはできない。ここでオーバーフローと
は、例えば、Ii,jが0から255までの整数(8ビッ
ト)によって表現されている場合に、式1の処理の後I'
i,jがこの範囲外の値となる現象であり、0より小さな
の値の場合は0に、255より大きな値の場合は255
に丸められることが多い。この丸め処理が生じた場合に
は、電子透かし除去により電子透かしを完全に除去する
ことができないのである。
【0019】この原因のため、従来はオーバーフローが
生じる個所では原画像を完全に復元することは困難であ
った。
【0020】本発明は上記従来例に鑑みて成されたもの
であり、オリジナルのデジタルデータを完全に再現する
ことを可能にする情報埋め込み装置及び情報復元装置及
び方法及びコンピュータプログラム及び記憶媒体を提供
しようとするものである。
【0021】
【課題を解決するための手段】上記目的を達成するた
め、本発明の情報埋め込み装置は以下の構成を備える。
すなわち、デジタルデータを構成する各要素に、値を加
減算することで、付加情報を埋め込む情報埋め込み装置
であって、前記加減算した場合に、要素の取り得る範囲
を越える値を持つ要素を検出する検出手段と、前記付加
情報と前記検出手段で検出された情報を実埋め込み情報
として生成する生成手段と、前記デジタルデータに埋め
込む際、前記加減算によって前記要素が取り得る範囲を
越える要素については埋め込み対象外とし、要素の取り
得る範囲内にある要素について前記生成手段で生成され
た実埋め込み情報を電子透かしとして埋め込む埋め込み
手段とを備える。
【0022】また、上記埋め込み装置によって埋め込ま
れたデジタルデータを復元する側の装置は以下の構成を
備える。すなわち、入力したディジタルデータに埋め込
まれている情報を抽出する電子透かし抽出手段と、抽出
された情報中の、前記埋め込み対象外となっている要素
を特定する情報に基づいて、埋め込み対象の要素につい
て前記埋め込まれている情報を除去し、オリジナルのデ
ジタルデータを復元する電子透かし除去手段とを備え
る。
【0023】
【発明の実施の形態】以下、添付図面に従って本発明に
係る実施形態を詳細に説明する。
【0024】[電子透かし埋め込み]先ず本実施形態にお
ける電子透かし埋め込み装置について説明する。実施形
態における電子透かし埋め込み装置は、電子透かし埋め
込み前の画像データにまで完全に復活することができる
ように、付加情報を埋め込む。
【0025】図2は電子透かし埋め込み装置の内部構成
を示した図である。同図を用いて、電子透かし埋め込み
装置の処理の流れを説明する。
【0026】電子透かし埋め込み装置には画像Iが入力
される。ここで説明を簡易にするために画像Iは1画素
あたり8ビットの精度で表現されているグレイスケール
の多値画像データであるとする。但し、本発明はこれに
限定されることなく、所定のビット数を有するグレイス
ケールの多値画像データであっても良い。更に、複数の
成分から構成されるカラー画像が入力された場合、その
一つ、或いは複数の成分を選択して入力画像としても良
い。入力された画像Iはオーバーフロー領域検出部20
1、及び電子透かし埋め込み部203に入力される。
【0027】まず、オーバーフロー領域検出部201に
ついて説明する。オーバーフロー領域検出部201に
は、画像Iが入力され、前記入力された画像Iを構成す
る全画素について、後段の電子透かし埋め込み部203
による電子透かし埋め込み処理の後にオーバーフローが
生じるか否かが検出され、オーバーフローが生じる画素
位置を全て抽出し、その画素群の座標情報をまとめて出
力する。
【0028】以降ではオーバーフローが生じる画素群
(0個、1個、或いはそれ以上の場合もある)の位置の
情報をオーバーフロー情報Rと呼ぶ。オーバーフロー情
報Rは後段の符号化部202及び電子透かし埋め込み部
203に出力される。オーバーフロー領域検出部の詳細
な動作については後述する。
【0029】次に符号化部202について説明する。符
号化部202には、オーバーフロー情報R及び付加情報
Infが入力され、オーバーフロー情報R及び付加情報Inf
は一つの符号列として結合され、結合された符号列wが
出力される。例えば、wは図4に示すような構成とな
る。尚、wは後段の電子透かし透かし埋め込み部203
において画像Iの中に電子透かしとして埋め込まれる符
号列となる。このため、効率的な電子透かしの埋め込み
を実行するために、wは圧縮符号化されても良い。更
に、付加情報Infが秘密の情報である場合には、wは暗
号化されても良い。更に、付加情報Infが電子透かしと
して埋め込まれた後に、種々の攻撃によって異なる情報
に改変された場合にも付加情報Infを正しく抽出可能と
するために、wは誤り訂正符号化されていても良い。い
ずれにしても、オーバーフロー情報Rで示される画素位
置は埋め込み対象外とし、原画像の画素値をそのまま使
用する。
【0030】次に電子透かし埋め込み部203について
説明する。電子透かし埋め込み部203には、画像I、
オーバーフロー情報R、及び符号列wが入力され、画像
Iの中に符号列wが電子透かしとして埋め込まれ、電子
透かしが埋め込まれた画像I'が出力される。ここで、
オーバーフロー情報Rに示される画素は電子透かしの埋
め込みを行わない。よって、電子透かし埋め込み部20
3においては電子透かしの埋め込みよってオーバーフロ
ーは生じない。電子透かし埋め込み部203の詳細な動
作については後述する。
【0031】以上説明したように、画像Iに付加情報In
fが電子透かしとして埋め込まれ、電子透かしが埋め込
まれた画像I'が生成される。
【0032】[画像復元装置]次に、本実施形態におけ
る画像復元装置について図3を用いて説明する。画像復
元装置では、電子透かしが埋め込まれた画像を、電子透
かしが埋め込まれる前の画像データに完全に復元する処
理が行われる。
【0033】画像復元装置には、前述した方式で電子透
かしが埋め込まれた画像I'が入力される。入力された
画像I'は後段の電子透かし抽出部301、及び電子透
かし除去部303に入力される。
【0034】まず、電子透かし抽出部301について説
明する。電子透かし抽出部301には、電子透かしが埋
め込まれた画像I'が入力され、埋め込まれている符号
列wが抽出され、抽出された符号列wが出力される。電
子透かし抽出部301では入力された画像I'の中で対
象となる画素全部を用いて電子透かしが抽出される。す
なわち、前述した電子透かし埋め込み部203において
電子透かしの埋め込みの対象外であったオーバーフロー
情報R(オーバーフロー情報Rに記されている位置には
電子透かしは埋め込まれていない。)を含めて電子透か
しの抽出処理の対象とする。電子透かし抽出部301の
詳細な動作については後述する。抽出された符号列wは
後段の復号部302に出力される。
【0035】次に復号部302について説明する。復号
部302には、前段で抽出された符号列wが入力され、
符号列wを構成するオーバーフロー情報R及び付加情報
Infに分割され、分割されたオーバーフロー情報R及び
付加情報Infが出力される。ここで、前述した符号部2
02においてwが圧縮符号化されている場合には、伸張
復号処理が実行される。更に前述した符号化部202に
おいてwが暗号化されている場合には、暗号を解く解読
復号処理が実行される。更に、前述した符号化部202
においてwが誤り訂正符号化されている場合には、誤り
が存在する場合に誤りを訂正する誤り訂正復号が実行さ
れる。オーバーフロー情報R及び付加情報Infは後段の
電子透かし除去部303に出力される。
【0036】次に電子透かし除去部303について説明
する。電子透かし除去部303には、電子透かしが埋め
込まれた画像I'、オーバーフロー情報R、及び付加情報
Infが入力され、付加情報Infを用いて電子透かしが埋め
込まれた画像I'から電子透かしが埋め込まれる前の画
像が復元され、復元された画像Iが出力される。ここ
で、オーバーフロー情報Rに示される画素は復元処理の
対象としない。何故なら、オーバーフロー情報Rに示さ
れる画素は、前述した電子透かし埋め込み部203にお
いて電子透かしが埋め込まれていないからである。電子
透かし除去部303の詳細な動作については後述する。
【0037】以上説明したように、電子透かしが埋め込
まれた画像I'から電子透かしが埋め込まれる前の画像
Iが復元される。
【0038】[電子透かし埋め込み処理の詳細]ここで、
電子透かし埋め込み処理の詳細について、更に具体例を
あげて説明する。
【0039】画像Iの中にnビットの情報Infを埋め込
む場合を考える(なお、上記実施形態で対応つけると情
報wを埋め込む場合となる)。この場合、画像Iをn個
の互いに重ならない領域Ij(j=1,2,…n)に分割する。
そして、電子透かし埋め込み処理として、 I'j,i=Ij,i+cj×ai×xi (式3) が実行される。ここで、jは領域を特定すると共に付加
情報Infのビット位置を特定する正数、iは画素位置を
示す正数、I'j,iは電子透かしが埋め込まれた画像、cj
はInfjがビット1の時は+1、Infjがビット0の時は−
1となる定数、aiは重み係数、xiは−1から+1の範
囲の擬似乱数列である。xiは電子透かしを埋め込むた
めのキャリア信号と呼ぶ。
【0040】ここで、重み係数の取り得る最大値(正の
値)をamax、xiの取り得る最大値(正の値)をxmax
とすると、上記式3に示した演算は、 amax×xmax≦I≦255−amax×xmax (式4) に示す条件を満たす時にだけ実行される。
【0041】但し、埋め込み側の装置及びそれを抽出す
る側の装置の双方で、ai、xiの各要素の値は同期が取
れ、互いに既知であるので、上記式4をさらに発展さ
せ、 ai×xi≦I≦255−ai×xi (式4’) としても構わない。
【0042】もし、式4(或いは式4’)に示す条件を
満たさないときには、画素位置iがオーバーフロー情報
Rとして記録される。一般的な自然画像においては式4
に示す条件を満たさない画素(埋め込み対象外となる画
素)の数は画像全体の総画素数に比べて非常に小さい。
これはオーバーフロー情報Rが比較的小さな情報量であ
ることを示している。よって後段の符号化部202にお
いてオーバーフロー情報Rが符号列wとして結合された
後、電子透かし埋め込み部203において電子透かしと
して埋め込んだとしても問題のない情報量である。以上
のように式4(或いは式4’)に示す条件の元で式1に
より電子透かしを埋め込むことによりオーバーフローす
ることなく電子透かしの埋め込み処理を実行することが
可能である。
【0043】[画像復元処理の詳細]次に、画像復元処
理の詳細について具体例をあげて説明する。
【0044】入力された画像I'の中には符号列wが電子
透かしとして埋め込まれている。式3を用いて埋め込ま
れた電子透かしwを抽出するために、電子透かしを埋め
込むためのキャリア信号xと電子透かし抽出部に入力さ
れた画像I'からPFAを計算し、その結果によって電
子透かしが埋め込まれているか否か、且つ、埋め込まれ
ている場合にはビットが0であるか或いは1であるかが
決定される。
【0045】ここで、PFAとは電子透かしが埋め込ま
れていないときに、電子透かしが埋め込まれていると判
断する確率である。この確率を算出するために、過程検
定と呼ばれる方式が用いられる。過程検定はこの当該分
野の専門家によって公知の技術である。電子透かしの抽
出に過程検定を用いた例として、例えば"A method for
signature casting on digital images" by I.Pitas,
I.C.I.I.P. Proceedings, pages 215 to 218, Se
ptember 1996に詳しい。過程検定によって、ビット
毎に検定値qjが算出される。前記検定値qjはディジタ
ルデータに電子透かしが埋め込まれていない場合には平
均が零、分散が1の標準正規分布に従うが、ディジタル
データに電子透かしが埋め込まれている場合には平均が
非零、分散が1の正規分布に従う。電子透かしが埋め込
まれているか否かは、算出された検定値qjが0からど
れくらい離れているかによって決定される。
【0046】更に、前記算出された検定値qjによって
電子透かしとして埋め込まれている情報を算出すること
が可能である。式3を用いて埋め込まれている場合に
は、q jが正の時にはビットは1、一方でqjが負の時に
はビットは0であると判断する。
【0047】尚、電子透かしを抽出する原理は、先に従
来技術で説明した内容を参照されたい。
【0048】以上、説明した電子透かし抽出処理は前述
した電子透かし埋め込み部203において式4(或いは
式4’)に示した条件を満たさないために電子透かしが
埋め込まれなかった画素を含めて実行される。式4(或
いは式4’)に示した条件を満たさない画素の数は画像
全体に示す画素の総数に比較して少ないために、この画
素を含めて電子透かしを抽出しても正しく電子透かしを
抽出することは可能である。
【0049】以上の様に抽出された電子透かしは符号列
wであり、これはオーバーフロー情報Rと付加情報Inf
から構成されているため、これらは各々に分割される。
その後、電子透かし除去部においては、以下の処理が実
行される。
【0050】 If i ⊂ R then I''=I'j,i else I''=I'j,i−cj×ai×xi (式5) ここで、I''i,jは復元後の画像データ、I'i,jは画像
復元装置に入力された画像データ、cjは電子透かし抽
出部で抽出された付加情報Infにおいてビットが1の時
は+1、ビットが0の時は−1となる定数、ai、xi
式3と同一である。すなわち、iがオーバーフロー情報
Rに含まれていない時には式3と逆の処理が実行され、
iがオーバーフロー領域Rに含まれている時には処理は
実行されない。
【0051】以上の処理により符号列wが正しく抽出さ
れている場合、復元された画像I''は原画像Iと等しく
することが可能になる。
【0052】[具体的装置の説明]以上であるが、実施
形態における電子透かしを埋め込む装置及び埋め込まれ
た電子データを抽出すると共に原画像を復元する装置
は、上記説明した処理を実行するプログラムで実現でき
ることは当業者であれば容易に想到できよう。
【0053】そこで、装置の具体的な構成を図1に示
し、その後で、電子透かしの埋め込みにかかる処理(プ
ログラム)と、復元処理(プログラム)を説明する。
【0054】図1において、ホストコンピュータ101
は例えば一般に普及しているパーソナルコンピュータで
ある。
【0055】ホストコンピュータ101の内部では、バ
ス107により後述する各ブロックが接続され、種々の
データの受け渡しが可能である。
【0056】図中、102はモニタ(表示装置)であ
り、103は、内部の各ブロックの動作を制御、或いは
内部に記憶されたプログラムを実行することのできるC
PUである。104は、BIOSやブートプログラムを
記憶しているROMである。105は、CPU103に
て処理するプログラムを格納したり、処理対象の画像デ
ータを格納するために使用されるRAMである。106
はRAM105等に転送されるプログラム(OSやアプ
リケーション等)や画像データをあらかじめ格納した
り、処理後の画像データを保存したりすることのできる
ハードディスク(HD)である。
【0057】108は、外部記憶媒体の一つであるCD(C
D-R)に記憶されたデータを読み込み或いは書き出すこと
のできるCDドライブである。109は、108と同様
にFDからの読み込み、FDへの書き出しができるFDドラ
イブである。110も、108と同様にDVDからの読
み込み、DVDへの書き出しができるDVDドライブで
ある。尚、CD,FD,DVD等に画像編集用のプログラ
ム、或いはプリンタドライバが記憶されている場合に
は、これらプログラムをHD106上にインストール
し、必要に応じてRAM105に転送されるようになっ
ている。113は、キーボード111或いはマウス11
2からの入力指示を受け付けるためにこれらと接続され
るインターフェイス(I/F)である。114はインターネ
ット等のネットワークに接続する通信インタフェースで
ある。
【0058】電子透かしを組み込んだ画像の出力先は、
HDやFDなどの記憶媒体でも構わないし、ネットワー
ク上のファイルサーバでも構わない。逆に電子透かしが
埋め込まれた情報を入力するものとしても、同様であ
る。
【0059】さて、上記装置が電子透かし埋め込み側の
装置として機能する場合には、図11に示す手順に従っ
て処理することになる。なお、以下に説明する手順にか
かるプログラムは、HD106にインストールされてい
るものである。また、埋め込むべき情報Infはキーボー
ド等から入力されているものとするが、予めHD106
や、ROM104、RAM105等に格納されている情
報を活用するようにしても構わない。
【0060】まず、ステップS1101で、電子透かし
が埋め込まれる画像データを入力する。入力元としては
記憶媒体、ネットワークからのダウンロード、イメージ
スキャナ等その入力元は問われない。次いで、ステップ
S1102で、入力された画像データからオーバーフロ
ーする画素の位置を全て検出し、検出された情報をオー
バーフロー情報RとしてRAM105に保存する。次
に、事前に入力された付加情報Inf及び前記オーバーフ
ロー情報Rを合成し、符号化(可逆符号化)すること
で、実際に埋め込む情報wを作成し、RAM105に一
時的に保存する。
【0061】次いで、入力された画像データを画素ごと
に着目し、着目した画素位置が前記オーバーフロー情報
Rに含まれているか否かが判定される。オーバーフロー
情報Rに含まれない場合は、情報wより1ビット取り出
し、そのビット状態に応じた電子透かし埋め込み処理を
実行する。
【0062】一方、オーバーフロー情報Rに含まれてい
る画素である場合には、電子透かし埋め込み処理を実行
しない。
【0063】この処理が、全てのビット情報及び全ての
画素について実行される(ステップS1106、110
7)。全てのビット情報及び全ての画素ついて実行され
た後に、電子透かしが埋め込まれた画像データがRAM
105或いはHD106に出力される(ステップS11
08)。
【0064】なお、全画素についての埋め込み前に、情
報wの全ビットの埋め込みが完了した場合にはダミーの
情報を埋め込むか、情報wを繰り返し埋め込むかを行っ
てもよい。
【0065】以上の結果、埋め込み後の画像情報I'が
RAM上に生成されることになる。この画像I’は最終
的にファイルとしてHD等に格納されるが、その後の処
理は、ネットワークを介して転送しても良いし、リムー
バルメディアに記憶しても構わない。
【0066】次に、電子透かしを抽出し、原画像を復元
する処理について説明する。
【0067】まず電子透かしが埋め込まれる画像データ
I’をRAM105に入力する(ステップS120
1)。入力元は如何なるものであっても良いのは先に説
明した通りである。この後、ステップS1202で、埋
め込まれた画像I’から、電子透かし情報を抽出する。
電子透かしの抽出原理は先に示した通りである。
【0068】次いで、ステップS1203で抽出された
情報を復号化して、情報w(=オーバーフロー情報R+
埋め込み情報Inf)としてRAM105に格納し、抽出
処理が完了する。なお、埋め込み情報Infを表示画面に
表示したりしても構わない。
【0069】ステップS1204で、画像データを画素
ごとに着目し、着目した画素位置が前記オーバーフロー
情報Rに含まれているか否かが判定される。
【0070】オーバーフロー情報Rに含まれない場合
は、ステップS1205で、電子透かし除去処理が実行
される。
【0071】一方、オーバーフローする画素が含まれる
場合、その画素については電子透かし除去処理は実行さ
れず、入力した画像データの画素値をそのまま用いる。
【0072】この処理が、全ての画素について実行され
る(ステップS1206)。こうそて、全画素について
実行された後に、電子透かしを除去することで、原画像
を再現されることになる。この結果(原画像データ)
は、RAM105やHD106などに出力され、場合に
よっては表示されることになる。
【0073】<第2の実施形態>上記実施形態(第1の
実施形態)では、画像全体の画素数に対してオーバーフ
ローの現象が生じる画素数が比較的少ない場合について
説明した。即ち、オーバーフロー情報Rの情報量が比較
的小さく、電子透かしとして埋め込むのに比較的望まし
い情報量である場合について説明した。写真等の自然画
像の場合である。
【0074】一方で、画像データによってはオーバーフ
ロー情報Rの情報量が大きくなる場合もある。例えば、
電子透かしの埋め込みを輝度値に対して実行する場合、
全体的に明るい画像や全体的に暗い画像の場合はオーバ
ーフロー情報Rが大きくなる。
【0075】オーバーフロー情報Rの情報量があまりに
大きくなった場合には、オーバーフロー情報Rを含む符
号列wの情報量も大きくなり、符号列wを電子透かしと
して埋め込むことができない。よってオーバーフロー情
報Rの情報量は可能な限り小さなほうが望ましい。ここ
では、オーバーフロー情報Rを小さくする処理の一例を
第2の実施形態として説明する。
【0076】図5は本第2の実施形態における電子透か
し埋め込み装置の内部構成を示した図である。図2に示
した装置との違いは補正部501が加わった点、及び、
符号化部503での処理である。その他の動作について
は図2と同じであるため説明は省略する。
【0077】補正部501には画像データIが入力さ
れ、オーバーフロー情報Rの情報量を小さくするような
補正処理が実行され、補正された画像データI'''とど
のような補正が実行されたかを表す補正情報Cが出力さ
れる。
【0078】補正処理とは、オーバーフロー情報Rの情
報量を小さくする処理であり、例えば画像全体が明るい
ときにはすべての画素値を一定量(d)減ずる処理が実行
される。この場合には補正情報Cとして「画像全体の画
素値を一定量(d)減じた」という情報が出力される。
【0079】更に、符号化部503においてはオーバー
フロー情報Rと付加情報Infに加えて補正情報Cも符号
化対象の情報となる。符号化後のwは、図13のように
補正情報C、オーバーフロー情報R、及び付加情報Inf
を有する。
【0080】以上の処理により電子透かしが埋め込まれ
る。次に本実施の形態における画像復元装置について説
明する。
【0081】図6は本第2の実施形態における画像復元
装置の内部構成を示した図である。図3に示した装置と
の違いは逆補正部604が加わったことと復号部602
での処理である。その他の動作については図6と図3は
同じであるため説明は省略する。
【0082】復号部602では前段の電子透かし抽出部
601において抽出された符号列wが入力され、付加情
報Inf、オーバーフロー情報R、及び補正情報Cに復号
され、それぞれが出力される。
【0083】次に逆補正部604には前段の電子透かし
除去部で電子透かしが除去された画像データI'''、及び
復号部602において復号された補正情報Cが入力さ
れ、前述した補正部Cで行われた処理と逆の処理が実行
され、補正処理された画像データIが出力される。例え
ば、補正情報Cとして「画像全体の画素値を一定量(d)
減じた」という情報が入力された場合には、補正部60
4では画像全体の画素値を一定量(d)加える処理が実行
される。
【0084】以上の処理によって、画像復元装置に入力
された画像データI'は電子透かしが埋め込まれる前の
画像データIに完全に復元することが可能である。
【0085】なお、上記補正情報Cの決定方法である
が、一例を示せば次の通りである。
【0086】被埋め込み画像の輝度分布を調べ、例えば
高輝度の頻度が低輝度側より高ければ、低輝度側へシフ
トするように補正する。逆に、低輝度の頻度が高輝度側
でのそれよりも高ければ低輝度側へシフトするように補
正する。
【0087】また、場合によっては次のようにしても構
わない。説明を分かり易くするため、文章が印刷された
紙をイメージスキャナ(1画素につき8ビットとする)
で読み取り、その読み取った画像を画像Iとする場合に
ついて考察する。
【0088】通常、文章が記述された原稿(2値画像)
を読み取り、各画素を輝度値として表現した場合、画素
分布は、図14に示す如く、最高輝度と最低輝度に集中
し、それらの間には画素はほとんど存在しない。
【0089】かかる状況では、全画素について一律的に
或る値を加算或いは減算させると、高輝度或いは低輝度
側でオーバーフローすることになるので、好ましくな
い。そこで、次のようにする。
【0090】先ず、低輝度の取り得る範囲は図示の場合
には、0〜aの輝度値に分布しているので、中間輝度の
度数が“0”となっている範囲中の、式4(或いは式
4’)を満足するところを探し出し、その輝度値に置き
換える。例えば、輝度値50〜50+aが探しだせた
ら、輝度値0〜aの値を50乃至50+aの値に変換す
る(0を50、1を51…と変換する)。そして、高輝
度の取り得る範囲についても同様に変換する。
【0091】以上の結果、特に文章等の2値画像の場合
には、補正情報Cとしては、輝度0〜aがどのような値
に変換されたのか、及び輝度b〜255の値がどのよう
な値に変換されたのかを示す情報を有するようにすれ
ば、完全復元することが可能になる。なお、上記では画
像を輝度成分で表現したが、これに限定されず、濃度等
の他の成分で表現しても構わないのは勿論である。
【0092】以上説明したように本第1、第2の実施形
態によれば、オーバーフローする画素(デジタルデータ
の要素)については埋め込み対象外とし、オーバーフロ
ーしない画素について電子透かしで情報を埋め込むこと
で、オリジナルの画像データを完全復元することが可能
となる。
【0093】なお、本発明は、上記の通り、コンピュー
タにより実行させれるプログラムによって実現できるも
のである。従って、当然に本発明はコンピュータプログ
ラムをも含むものである。また、プログラムをコンピュ
ータに供給することで本発明が構成できるので、そのプ
ログラムコードをコンピュータに供給する為の手段、具
体的には上記プログラムコードを格納した記憶媒体も本
発明の範疇に含まれる。
【0094】この様なプログラムコードを格納する記憶
媒体としては、例えばフロッピー(登録商標)ディス
ク、ハードディスク、光ディスク、光磁気ディスク、CD
-ROM、磁気テープ、不揮発性のメモリカード、ROM等を
用いることができる。
【0095】また、上記コンピュータが、供給されたプ
ログラムコードのみに従って各種デバイスを制御するこ
とにより、上記実施の形態の機能が実現される場合だけ
ではなく、上記プログラムコードがコンピュータ上で稼
働しているOS(オペレーティングシステム)、あるいは他
のアプリケーションソフト等と共同して上記実施の形態
が実現される場合にもかかるプログラムコードは本発明
の範疇に含まれる。
【0096】更に、この供給されたプログラムコード
が、コンピュータの機能拡張ボードやコンピュータに接
続された機能拡張ユニットに備わるメモリに格納された
後、そのプログラムコードの指示に基づいてその機能拡
張ボードや機能格納ユニットに備わるCPU等が実際の処
理の一部又は全部を行い、その処理によって上記実施の
形態が実現される場合も本発明の範疇に含まれる。
【0097】
【発明の効果】以上説明した様に本発明によれば、電子
透かしを埋め込み、尚且つ、その被埋め込み対象であっ
たオリジナルのデジタルデータを再現することも可能に
なる。
【図面の簡単な説明】
【図1】実施形態が適用する情報処理装置のブロック構
成図である。
【図2】第1の実施の形態における電子透かし埋め込み
装置のブロック図である。
【図3】第1の実施の形態における画像復元装置のブロ
ック図である。
【図4】第1の実施の形態における符号列wの一例を示
す図である。
【図5】第2の実施の形態における電子透かし埋め込み
装置のブロック図である。
【図6】第2の実施の形態における画像復元装置のブロ
ック図である。
【図7】電子透かしの埋め込みむ処理の内容を示す図で
ある。
【図8】オリジナルデータを復元する処理の内容を示す
図である。
【図9】電子透かしの埋め込む際にオーバーフローした
例を示す図である。
【図10】オーバーフローした場合にオリジナルデータ
を復元できない例を示す図である。
【図11】実施形態における電子透かしの埋め込み手順
を示すフローチャートである。
【図12】実施形態におけるオリジナルデータの復元手
順を示すフローチャートである。
【図13】第2の実施の形態における符号列wの一例を
示す図である。
【図14】第2の実施形態における補正処理を説明する
ための画素分布の一例を示す図である。

Claims (16)

    【特許請求の範囲】
  1. 【請求項1】 デジタルデータを構成する各要素に、値
    を加減算することで、付加情報を埋め込む情報埋め込み
    装置であって、 前記加減算した場合に、要素の取り得る範囲を越える値
    を持つ要素を検出する検出手段と、 前記付加情報と前記検出手段で検出された情報を実埋め
    込み情報として生成する生成手段と、 前記デジタルデータに埋め込む際、前記加減算によって
    前記要素が取り得る範囲を越える要素については埋め込
    み対象外とし、要素の取り得る範囲内にある要素につい
    て前記生成手段で生成された実埋め込み情報を電子透か
    しとして埋め込む埋め込み手段とを備えることを特徴と
    する情報埋め込み装置。
  2. 【請求項2】 前記デジタルデータは画像データであっ
    て、 前記検出手段は前記加減算した場合に画素値の取り得る
    範囲を越える画素位置を検出することを特徴とする請求
    項第1項に記載の情報埋め込み装置。
  3. 【請求項3】 更に、前記付加情報及び前記検出手段で
    検出された情報のうち少なくとも一方を圧縮符号化する
    符号化手段を有し、前記生成手段は該符号化手段による
    符号化結果に基づいて実埋め込み情報を生成することを
    特徴とする請求項第1項または第2項に記載の情報埋め
    込み装置。
  4. 【請求項4】 更に、前記付加情報及び前記検出手段で
    検出された情報のうち少なくとも一方を暗号化する暗号
    化手段を有し、前記生成手段は該符号化手段による暗号
    化結果に基づいて実埋め込み情報を生成するすることを
    特徴とする請求項第1項または第2項に記載の情報埋め
    込み装置。
  5. 【請求項5】 更に、前記付加情報及び前記検出手段で
    検出された情報のうち少なくとも一方を誤り訂正符号化
    する符号化手段を有し、前記生成手段は該符号化手段に
    よる暗号化結果に基づいて実埋め込み情報を生成するこ
    とを特徴とする請求項第1項または第2項に記載の情報
    埋め込み装置。
  6. 【請求項6】 更に、前記デジタルデータにおける、前
    記加減算した場合に、要素の取り得る範囲を越える値を
    持つ要素の数を減らすため、前記デジタルデータを補正
    する補正手段を備え、 前記生成手段は、該補正手段による補正内容を示す情報
    を付加して実埋め込み情報を生成することを特徴とする
    請求項第1項または第2項に記載の情報埋め込み装置。
  7. 【請求項7】 請求項第1項乃至第6項のいずれか1項
    に記載の情報埋め込み装置によって埋め込まれたデジタ
    ルデータを入力し、オリジナルのデジタルデータを復元
    する情報復元装置であって、 入力したディジタルデータに埋め込まれている情報を抽
    出する電子透かし抽出手段と、 抽出された情報中の、前記埋め込み対象外となっている
    要素を特定する情報に基づいて、埋め込み対象の要素に
    ついて前記埋め込まれている情報を除去し、オリジナル
    のデジタルデータを復元する電子透かし除去手段とを備
    えることを特徴とする情報復元装置。
  8. 【請求項8】 更に、抽出手段で抽出された付加情報及
    び埋め込み対象外を示す情報のうち、少なくとも一方を
    伸張復号する復号手段を有し、 前記電子透かし除去手段は、復号手段で復号された結果
    に基づいて電子透かしを除去することを特徴とする請求
    項7に記載の情報復元装置。
  9. 【請求項9】 更に、抽出手段で抽出された付加情報及
    び埋め込み対象外を示す情報のうち、少なくとも一方を
    解読復号する復号手段を有し、 前記電子透かし除去手段は、復号手段で復号された結果
    に基づいて電子透かしを除去することを特徴とする請求
    項7に記載の情報復元装置。
  10. 【請求項10】 更に、抽出手段で抽出された付加情報
    及び埋め込み対象外を示す情報のうち、少なくとも一方
    を誤り訂正復号する復号手段を有し、 前記電子透かし除去手段は、復号手段で復号された結果
    に基づいて電子透かしを除去することを特徴とする請求
    項7に記載の情報復元装置。
  11. 【請求項11】 デジタルデータを構成する各要素に、
    値を加減算することで、付加情報を埋め込む情報処理装
    置の制御方法であって、 前記加減算した場合に、要素の取り得る範囲を越える値
    を持つ要素を検出する検出工程と、 前記付加情報と前記検出工程で検出された情報を実埋め
    込み情報として生成する生成工程と、 前記デジタルデータに埋め込む際、前記加減算によって
    前記要素が取り得る範囲を越える要素については埋め込
    み対象外とし、要素の取り得る範囲内にある要素につい
    て前記生成手段で生成された実埋め込み情報を電子透か
    しとして埋め込む埋め込み工程とを備えることを特徴と
    する情報処理装置の制御方法。
  12. 【請求項12】 請求項第1項乃至第6項のいずれか1
    項に記載の情報埋め込み装置によって埋め込まれたデジ
    タルデータを入力し、オリジナルのデジタルデータを復
    元する情報復元装置の制御方法であって、 入力したディジタルデータに埋め込まれている情報を抽
    出する電子透かし抽出工程と、 抽出された情報中の、前記埋め込み対象外となっている
    要素を特定する情報に基づいて、埋め込み対象の要素に
    ついて前記埋め込まれている情報を除去し、オリジナル
    のデジタルデータを復元する電子透かし除去工程とを備
    えることを特徴とする情報復元装置の制御方法。
  13. 【請求項13】 コンピュータが読み込み実行すること
    で、デジタルデータを構成する各要素に、値を加減算す
    ることで、付加情報を埋め込む情報処理装置として機能
    するプログラムコードであって、 前記加減算した場合に、要素の取り得る範囲を越える値
    を持つ要素を検出する検出工程のプログラムコードと、 前記付加情報と前記検出工程で検出された情報を実埋め
    込み情報として生成する生成工程のプログラムコード
    と、 前記デジタルデータに埋め込む際、前記加減算によって
    前記要素が取り得る範囲を越える要素については埋め込
    み対象外とし、要素の取り得る範囲内にある要素につい
    て前記生成手段で生成された実埋め込み情報を電子透か
    しとして埋め込む埋め込み工程のプログラムコードとを
    備えることを特徴とするコンピュータプログラム
  14. 【請求項14】 コンピュータが読み込み実行すること
    で、請求項第1項乃至第6項のいずれか1項に記載の情
    報埋め込み装置によって埋め込まれたデジタルデータを
    入力し、オリジナルのデジタルデータを復元する情報復
    元装置として機能するプログラムコードであって、 入力したディジタルデータに埋め込まれている情報を抽
    出する電子透かし抽出工程のプログラムコードと、 抽出された情報中の、前記埋め込み対象外となっている
    要素を特定する情報に基づいて、埋め込み対象の要素に
    ついて前記埋め込まれている情報を除去し、オリジナル
    のデジタルデータを復元する電子透かし除去工程のプロ
    グラムコードとを備えることを特徴とするコンピュータ
    プログラム。
  15. 【請求項15】 請求項第13項に記載のコンピュータ
    プログラムを格納することを特徴とする記憶媒体。
  16. 【請求項16】 請求項第14項に記載のコンピュータ
    プログラムを格納することを特徴とする記憶媒体。
JP2001040787A 2001-02-09 2001-02-16 情報埋め込み装置及び情報復元装置及び方法及びコンピュータプログラム及び記憶媒体 Expired - Fee Related JP3774631B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2001040787A JP3774631B2 (ja) 2001-02-16 2001-02-16 情報埋め込み装置及び情報復元装置及び方法及びコンピュータプログラム及び記憶媒体
DE60239718T DE60239718D1 (de) 2001-02-09 2002-02-06 Informationsverarbeitungsgerät und seine Steuerverfahren, Computerprogramm, und Speichermedium
EP02250782A EP1231767B1 (en) 2001-02-09 2002-02-06 Information processing apparatus and its control method, computer program, and storage medium
AT02250782T ATE505905T1 (de) 2001-02-09 2002-02-06 Informationsverarbeitungsgerät und seine steuerverfahren, computerprogramm, und speichermedium
KR10-2002-0007286A KR100465950B1 (ko) 2001-02-09 2002-02-08 정보 처리 장치 및 그 제어 방법, 컴퓨터 프로그램을 저장한 저장 매체
US10/067,740 US7146502B2 (en) 2001-02-09 2002-02-08 Information processing apparatus and its control method, computer program, and storage medium
CNB021054037A CN1305296C (zh) 2001-02-09 2002-02-09 信息处理装置及其控制方法、计算机程序和存储介质
US11/469,660 US7639835B2 (en) 2001-02-09 2006-09-01 Information processing apparatus and its control method, computer program and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001040787A JP3774631B2 (ja) 2001-02-16 2001-02-16 情報埋め込み装置及び情報復元装置及び方法及びコンピュータプログラム及び記憶媒体

Publications (3)

Publication Number Publication Date
JP2002247338A true JP2002247338A (ja) 2002-08-30
JP2002247338A5 JP2002247338A5 (ja) 2005-04-14
JP3774631B2 JP3774631B2 (ja) 2006-05-17

Family

ID=18903327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001040787A Expired - Fee Related JP3774631B2 (ja) 2001-02-09 2001-02-16 情報埋め込み装置及び情報復元装置及び方法及びコンピュータプログラム及び記憶媒体

Country Status (1)

Country Link
JP (1) JP3774631B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010062697A (ja) * 2008-09-02 2010-03-18 Fuji Xerox Co Ltd 画像処理装置、画像処理システム及びプログラム
US7720305B2 (en) 2003-12-05 2010-05-18 New Jersey Institute Of Technology System and method for robust lossless data hiding and recovering from the integer wavelet representation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7720305B2 (en) 2003-12-05 2010-05-18 New Jersey Institute Of Technology System and method for robust lossless data hiding and recovering from the integer wavelet representation
JP2010062697A (ja) * 2008-09-02 2010-03-18 Fuji Xerox Co Ltd 画像処理装置、画像処理システム及びプログラム

Also Published As

Publication number Publication date
JP3774631B2 (ja) 2006-05-17

Similar Documents

Publication Publication Date Title
KR100465950B1 (ko) 정보 처리 장치 및 그 제어 방법, 컴퓨터 프로그램을 저장한 저장 매체
JP3977216B2 (ja) 情報処理装置及び方法及び情報処理プログラム及び記憶媒体
US7873183B2 (en) Embedding and detecting watermarks based on embedded positions in document layout
JP2009517701A (ja) 暗号化検出鍵を備えたマルチビット・フォレンジック透かし
JP2002232685A (ja) 電子透かし処理装置、情報処理装置、ディジタルコンテンツ配布システム、電子透かし挿入方法、及び記憶媒体
KR101088080B1 (ko) 미디어에 워터마크를 삽입하기 위한 시스템, 방법 및 프로세서-판독가능 기록매체
US20050021568A1 (en) Data content identification
JP2004274478A (ja) 画像処理プログラム作成方法、画像処理プログラムの作成プログラムおよび画像処理プログラム作成装置
Ahuja et al. A survey of digital watermarking scheme
JP2003536110A (ja) ウォーターマーク検出器
JP3774631B2 (ja) 情報埋め込み装置及び情報復元装置及び方法及びコンピュータプログラム及び記憶媒体
JP2006025409A (ja) 画像処理装置及び画像処理方法
JP3805172B2 (ja) 画像処理装置及び方法及び記憶媒体
JP4652167B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP3805141B2 (ja) 画像処理方法及び装置と記憶媒体
JP2008516331A (ja) ディスプレイ又はビデオドライブユニットにおける保護されたコンテンツマテリアルの検出及び該マテリアルへの到達
JP3722646B2 (ja) データに透かし情報を埋め込む方法およびプログラム記録媒体
JP2003092676A (ja) データ処理方法及び装置とそのプログラム及び記憶媒体
JP2007193654A (ja) コンテンツ記録装置、コンテンツ処理方法、およびプログラム
JP2000165652A (ja) データ出力制御装置、データ処理装置及びコンピュータ読み取り可能な記憶媒体
JP3884997B2 (ja) 電子透かし埋め込み装置及び電子透かし抽出装置並びにそれらの方法、コンピュータプログラム、記録媒体
US7356159B2 (en) Recording and reproduction apparatus, recording and reproduction method, recording and reproduction program for imperceptible information to be embedded in digital image data
Yang et al. Improved reversible visible watermarking based on adaptive block partition
JP2002507771A (ja) データ偽装のための方法及び装置
Burdescu et al. A spatial watermarking algorithm for video images

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040604

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040604

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20040604

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20040604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051114

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060220

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100224

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100224

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110224

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120224

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130224

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140224

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees