JP2001103291A - 電子透かし埋め込み装置及び電子透かし検出装置 - Google Patents
電子透かし埋め込み装置及び電子透かし検出装置Info
- Publication number
- JP2001103291A JP2001103291A JP28065399A JP28065399A JP2001103291A JP 2001103291 A JP2001103291 A JP 2001103291A JP 28065399 A JP28065399 A JP 28065399A JP 28065399 A JP28065399 A JP 28065399A JP 2001103291 A JP2001103291 A JP 2001103291A
- Authority
- JP
- Japan
- Prior art keywords
- watermark information
- watermark
- information
- embedding
- embedded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
に透かし情報が失われにくい電子透かし埋め込み装置を
提供する。 【解決手段】複数の小領域をそれぞれ含む複数の部分領
域11A,11B,…,11M,11N,…に分割され
た埋め込み対象画像10を入力し、この埋め込み対象画
像10の各部分領域から一つずつ選択された小領域の組
に対応してそれぞれ設けられた成分抽出部12−1,1
2−2,1−3,12−4により対応する組の小領域の
情報をそれぞれ抽出し、抽出した情報に対して基底関数
重畳部14−1,14−2,14−3,14−4により
透かし情報15中の各ビットの値にそれぞれ対応して変
化する基底関数波形を重畳した後、これらを再構成部1
7で埋め込み済み画像18として再構成する。
Description
化された音声、音楽、動画、静止画等のコンテンツに対
して透かし情報を埋め込む電子透かし埋め込み装置及び
埋め込み済みコンテンツから透かし情報を検出する電子
透かし検出装置に関する。
ディジタルデータ化された音声、音楽、動画、静止画等
の著作権者や利用者の識別情報、著作権者の権利情報、
そのデータの利用条件、その利用時に必要な秘密情報、
コピー制御情報などの情報(これらを透かし情報と呼ぶ)
を知覚が容易ではない状態となるように埋め込み、後に
必要に応じて透かし情報をそのデータ内から検出するこ
とによって利用制御、コピー制御を含む著作権保護を行
ったり、二次利用の促進を行うための技術である。
電子透かしの方式は、画素領域利用型と周波数領域利用
型に大別することができる。画素領域利用型の電子透か
し方式は、画素値を変更することで直接的に透かし情報
の埋め込みを行うものである。一方、周波数領域利用型
の電子透かし方式は、直交変換によって、一旦、画素領
域から周波数領域へ移り、周波数領域において埋め込み
を行った後、再び、逆直交変換によって周波数領域から
画素領域に戻るものである。透かし情報は波として埋め
込まれることになる。
数領域利用型の電子透かし方式としては、例えば、文献
[1] Koch,E.and Zhao,J.,“Towards Robust and Hi
dden Image Copyright Labeling, ”Proceedings of 19
95 IEEE Workshop on Nonlinear Signal and Image Pro
cessing,452-455,June 20-22,1995.)や、文献[2] C
ox,I.J.,Kilian,J.,Leighton,T.andShamoon,T.,“Secur
e Spread Spectrum Watermarking for Multimedia, ”N
ECResearch Institute,Technical Report 95-10,1995.
に記載された方式がある。これらの方式では、埋め込み
対象となる周波数成分を非可逆圧縮による影響が小さな
低周波数から中間周波数に設定している。
域利用型の電子透かし方式としては、画素値のLSBを
変更することで埋め込みを行う方式がある。その変更
は、擬似乱数系列(PN系列)に従って、あるいは、予め
用意したマスクパターンに従って、ある固定の大きさの
変分を加えるか減ずるかを決定することで行う。
ペクトラム拡散(spread spectrum)とは、通信したい信
号に必要な帯域に比べて十分大きな帯域中に、情報を広
く分散させて伝送する通信方式をいう。伝送路上のノイ
ズに対する耐性が優れている。元のコンテンツを搬送
波、透かし情報を希望波、非可逆圧縮による影響を干渉
波(ノイズ)とみなすことで、スペクトラム拡散の考えを
電子透かし技術へ適用して非可逆圧縮などへのロバスト
性を高める方式がある。
して、画素領域における拡散(文献[3] Smith,J.R.a
nd Comiskey,B.O.,“Modulation and Information Hidi
ng in Images,”Information Hiding,207-226,1996.及
び文献[4] 大西淳児,岡一博,松井甲子雄,“PN系
列による画像への透かし署名,”SCIS97,26B,1997.参
照)と、周波数領域における拡散(先の文献[2]参
照)が提案されている。Cox等の方式と大西等の方式
は、それぞれ、摂動法、直接拡散法(direct sequence s
pread spectrum)と呼ばれることがある。 [周波数領域における拡散(摂動法)]文献[2]の方式
では、透かし情報の埋め込みは、画素値に対して直交変
換を行い、周波数領域において透かし情報を拡散して埋
め込む。拡散は、周波数領域において、複数の周波数成
分の値をある乱数列に従って変化させることによって行
う。拡散後、逆直交変換を行う。透かし情報の検出は、
画素値に対して直交変換を行い、埋め込みが行われた周
波数成分の値と埋め込みに用いられた乱数列の間の相関
値によって判定を行う。埋め込まれた透かし情報は、画
素領域では、画像(ブロック)全体に分散されているた
め、各種の操作に対してロバストである。また、透かし
情報を埋め込んだ周波数成分が低中間周波数領域にある
ならば、低周波数通過フィルタによっても透かし情報が
失われにくい。
方、文献[4]の方式では、透かし情報の埋め込みは、
PN(pseudo-randomnoise)系列を画素値に乗積すること
により直接拡散する。得られた画像に対して直交変換を
行い、周波数領域において透かし情報を埋め込み、再
び、逆直交変換を行う。その後、同じPN系列を画素値
に乗積して、逆拡散を行う。透かし情報の検出は、PN
系列によって画素値を直接拡散する。得られた画像に対
して直交変換を行い、透かし情報の埋め込みを行った周
波数成分の値から判定する。
よる電子透かし方式では、電子透かしの抽出は、埋め込
みにおいて用いた擬似乱数列と検出対象である画像の画
素あるいは周波数成分の値との間の相関値を評価するこ
とによって行う。
(x,y)から次式で示す周波数成分値を求める。
周波数成分のうち絶対値の大きなものから予め決められ
た個数(n個)の周波数成分を選択し、N(0,1)に従
う擬似乱数列Wiに従って、F′(ui ,vi )=F(ui ,
vi )×(1+αwi )と変化させてから、逆直交変換に
よって画素値に戻すことによって、埋め込みを行う。
対象の画像から周波数成分F* (ui ,vi )を求め、次
式で表される類似度と呼ぶ量がある定められたしきい値
を超えるか否かによって、電子透かしが埋め込まれてい
るか否かを判断する。
際しては、画素値f(x,y)に対して{−1,1}に値
をとる擬似乱数列p(x,y)を乗積した後、次式の周波
数成分を求める。
ータで、その符号は透かし情報のビットの1と0を表現
している。そして、この直流成分に対して、次式の変更
を加えることで埋め込みを行う。
対象の画像から周波数成分F* (ui ,vi )を求め、次
式の符号の正負を判定することで透かし情報の1,0を
判定する。
が埋め込まれているか否か、あるいは、0と1のいずれ
が埋め込まれているかという1ビットの情報を判定して
いることになる。
底関数φi (x,y)を用意する。これらの基底関数は、
擬似乱数となっている。埋め込みは、次式によって行
う。
値との比較によって行う。
値とする。この方式では、用意する基底の数だけの多ビ
ットの埋め込みが可能である。しかし、直交性が保証さ
れた擬似乱数関数を必要なだけ用意する必要があった。
発明者らによる先の提案(文献[5] 村谷博文,加藤
拓,遠藤直樹,“電子透かし埋め込み装置及び電子透か
し検出装置”,特願平10-340019,1998.)では、文献
[4]の方法をベースに、埋め込みは、擬似乱数列を乗
積後の画像を直交変換した次式の周波数成分に対して、
透かし情報のビットbi 毎にある周波数成分F(ui ,
vi )の値を変更することで透かし情報を表現してい
る。
底の直交性が擬似乱数列の性質によらずに、直交変換の
基底の性質から自動的に満足されていることと、文献
[4]の方法に比べ、多ビット化されている上に、直交
変換のコストを省略する方法があるという特長を備えて
いる。
かしの応用では、権利者情報、利用者情報や利用制御情
報など、多ビットの情報を埋め込む必要性がある。この
要求に対して、1ビットの透かし情報を埋め込む電子透
かし方式を多ビットの透かし情報を埋め込む方式に転用
する方法が考えられてきた。
ブロックに分割し、それぞれのブロックに対して透かし
情報を1ビットずつ埋め込みを行う方法である。しか
し、この方法は埋め込み対象画像の一部が切り取られた
場合には、偶然、その部分にあったブロックに埋め込ん
だビットの情報が失われてしまうという欠点がある。
ることである。相互に相関の小さなn個の擬似乱数列を
用意し、それぞれに透かし情報の各ビットを割り当て
て、それらを重畳するように埋め込む方法である。
記載されたfully spread versionや、文献[5]におけ
る複数の周波数成分に対する埋め込みが第2の方法の例
である。また、周波数領域利用型の場合については、例
えば文献[6] Herrigel,Alexander,Nasir Memon and
Minerva M.Yeung,“Secure Copyright Protection Tech
niques for Digital Images,”Second Information Hid
ing Workshop,169-190,1998.等に開示されている。この
第2の方法によると、画像の一部が失われたとしても、
透かし情報のどのビットも他の部分から復元できる可能
性がある。但し、文献[6]の方法では、複数の擬似乱
数列を用意する代わりに、一つの擬似乱数列をシフトさ
せて使用し、そのオフセット値によって符号化を行って
いる。この方法の場合、擬似乱数列は自己相関がないこ
とが必要である。
法は文献[6]のように周波数領域に適用する場合、周
波数成分値は連続値(小数)で表現されているので、図1
0(a)に示すように透かし情報の各ビットに対応する
基底関数を重畳してから、図10(b)に示すように画
質への影響を考慮して適当な正規化を行っても、重畳さ
れた関数の形は維持されるため、透かし情報が大きく失
われる恐れはない。
間領域(画素領域)に適用する場合には、図11(a)
に示すように透かし情報の各ビットに対応する基底関数
波形を重畳した後、画質への影響を考慮して図11
(b)に示すように正規化を行い、これに伴いさらに図
11(c)に示すように再離散化を行うと、重畳された
関数波形の形が大きく損なわれるため、丸め誤差により
透かし情報が大きく失われる恐れがある。重畳された関
数波形の形を残すために正規化を行わない場合には、画
像に与える影響が大きくなってしまう。
術には、電子透かし検出装置において検出(detectio
n)と抽出(extraction)という処理が存在する。判定
とは、コンテンツに電子透かしが埋め込まれているか否
かを判定する処理である。一方、抽出とは埋め込まれて
いる透かし情報を抽出して読み取る処理である。
の透かし情報に加えて、判定のための透かし情報(電子
透かしの有無を指定する情報)をもコンテンツに埋め込
む方法がある。後者の透かし情報は、抽出された透かし
情報が正しい透かし情報であるのか、それとも実際には
透かし情報が埋め込まれていないにも関わらず、偶然に
透かし情報として読み取られた情報であるかを識別する
ためである。しかし、2種類の異なる透かし情報を埋め
込むことは、コンテンツの品質に与える影響を大きくす
るという問題がある。
かを判定して、埋め込まれているという判定が行われて
から、透かし情報を抽出するような電子透かし検出装置
においては、判定処理を待ってから抽出処理を行うため
の処理時間の遅れが生ずる。この問題は、判定処理を待
たずに並列に抽出処理を行うことで解決されるが、並列
化のためのハードウェアコストが大きくなるという問題
がある。
の電子透かし技術において、複数ビットからなる透かし
情報を埋め込むために、埋め込み対象コンテンツを複数
のブロックに分割してそれぞれに透かし情報を1ビット
ずつ埋め込む方法では、埋め込み済みコンテンツの一部
が切り取られると、その切り取られた部分の透かし情報
が失われてしまうという問題点があり、また透かし情報
の各ビットに対応する基底関数波形を重畳して正規化し
再離散化する方法では、丸め誤差によって透かし情報が
失われてしまうおそれがあった。
と抽出用の透かし情報を埋め込む必要がある場合には、
コンテンツの品質劣化を招く恐れがあるという問題があ
り、さらに、判定用と抽出用の透かし情報の両者を検出
する場合には、判定と抽出処理を順次に行うと処理時間
が長くなってしまい、また処理の高速化のために判定と
抽出を並列化するとハードウェアコストが大きくなると
いう問題点があった。
なる透かし情報を埋め込む場合に透かし情報が失われに
くい電子透かし埋め込み装置及び電子透かし検出装置を
提供することにある。
抽出の両方の機能を反映させた透かし情報を生成してコ
ンテンツへの影響を極力少なくした電子透かし埋め込み
装置を提供することにある。
両方の透かし情報を効率よく検出する電子透かし検出装
置を提供することである。
め、本発明に係る埋め込み対象コンテンツに対して複数
ビットの透かし情報を埋め込む電子透かし埋め込み装置
においては、複数の小領域をそれぞれ含む複数の部分領
域に分割された埋め込み対象コンテンツが入力される。
この埋め込み対象コンテンツの各部分領域から一つずつ
選択された小領域の組に対応して複数の抽出手段が設け
られ、これらの抽出手段により対応する組の小領域の情
報がそれぞれ抽出される。
た情報に対して、複数の基底関数重畳手段により透かし
情報中の各ビットにそれぞれ対応して変化する基底関数
波形の値が重畳され、これら複数の基底関数重畳手段の
出力が埋め込み済みコンテンツとして再構成される。
情報が埋め込まれた埋め込み済みコンテンツから透かし
情報を検出する電子透かし検出装置においては、入力さ
れた埋め込み済みコンテンツの各部分領域から一つずつ
選択された小領域の組に対応して複数の抽出手段が設け
られ、これらの抽出手段により対応する組の小領域の情
報がそれぞれ抽出される。
抽出された情報が複数の相関判定手段に入力され、透か
し情報中の各ビットにそれぞれ対応する基底関数波形と
の相関が判定されることにより、透かし情報の各ビット
が抽出される。
出装置では、透かし情報の各ビットに対応する基底関数
波形が埋め込み対象コンテンツの全体に分散した小領域
に広がって埋め込まれるため、埋め込み済みコンテンツ
が一部消失したような場合でも、それ以外の部分に残さ
れた基底関数波形の情報から透かし情報が容易に再現さ
れる。
底関数波形を同一画素上で重畳する方法では、この際に
必須の正規化、再離散化によって、重畳された基底関数
波形の形が丸め誤差により大きく損なわれ、透かし情報
が大きく失われるおそれがあったのに対して、本発明で
は透かし情報の各ビットに対応する基底関数波形はそれ
ぞれ異なる小領域に分散されるため、このような問題の
原因となる正規化、再離散化の処理が不要となる。
は、埋め込み対象コンテンツに対して埋め込まれるべき
複数ビットの透かし情報の各ビットに対応して用意され
た複数の基底関数波形を対応するビットの値に応じた極
性を付与した後に合成し、かつ正規化して合成波形を出
力する基底関数波形合成手段と、この合成波形を離散化
して離散化波形を出力する離散化手段と、この離散化波
形を埋め込み対象コンテンツに重畳する重畳手段とを有
する。
形の振幅値を整数部と小数部に分離し、小数部の値に応
じて予め決められた出現頻度に従って1または0をとる
値と整数部とを加算して離散化波形を出力するように構
成される。
散化波形の振幅値に合成波形の振幅値の小数部が反映さ
れるようになるため、従来の再離散化で問題となってい
た丸め誤差の影響を小さくすることができ、これによる
透かし情報の消失という問題が解決される。
み装置は、複数ビットの透かし情報を埋め込むべきか否
かを指示する検出用透かし情報に応じて、埋め込むべき
と指示された場合にのみ該複数ビットの透かし情報が有
意の値となるように変換し、埋め込み対象コンテンツか
ら抽出された、複数の基底関数波形を重畳すべき情報
に、この変換された透かし情報の各ビットの値に応じて
基底関数波形を重畳した後、これらを合成して埋め込み
済みコンテンツとして再構成するようにしたことを特徴
とする。
透かし情報変換により検出用透かし情報と複数ビットの
抽出用透かし情報の両方を反映させた透かし情報を生成
し、この変換後の透かし情報を基底関数波形として埋め
込み対象コンテンツから抽出された各成分に重畳して埋
め込み済みコンテンツを生成することにより、判定用と
抽出用としてそれぞれ個別の透かし情報を埋め込む必要
がなくなり、透かし情報が埋め込み済みコンテンツの品
質に与える影響が最小限に抑えられる。
置は、埋め込み済みコンテンツと複数の基底関数波形と
の相関値をそれぞれ求め、これらの相関値から透かし情
報中の各ビットの情報を抽出すると共に、これらの相関
値の全体にわたる相関値を全体相関値として求め、この
全体相関値から透かし情報の有無を判定するようにした
ことを特徴とする。全体相関値としては、典型的には埋
め込み済みコンテンツと複数の基底関数波形との各々の
相関値の絶対値和が用いられる。
の有無の判定と複数ビットの透かし情報の抽出の処理を
いずれも埋め込み済みコンテンツと複数の基底関数波形
との個別の相関値に基づいて行うことにより、両方の処
理を順次行う方法に比較して処理コストが小さく、処理
の遅延も低減され、さらに処理の並列化によるハードウ
ェアの増大を伴うことなく処理速度の向上も達成され
る。また、電子透かしの有無の判定により多くの基底関
数波形の相関値の全体相関値を求めているため、より重
要な電子透かしの有無の判定を高い信頼性で行うことが
可能となる。
し埋め込み装置によって透かし情報が埋め込まれたコン
テンツを格納した記憶媒体が提供される。
施の形態を説明する。図1は、本発明の電子透かし埋め
込み装置1と電子透かし検出装置2が適用されるコンテ
ンツ流通システムの概念図を示す。画像や音声などの埋
め込み対象コンテンツと、複数ビットからなる透かし情
報(多ビット透かし情報)が電子透かし埋め込み装置1
に入力され、ここで得られた埋め込み済みコンテンツが
これを格納する記憶媒体を含む流通経路3を経て流通す
る。電子透かし検出装置2では、多ビット透かし情報が
検出される。
置及び電子透かし検出装置の実施形態について説明す
る。 (第1の実施形態)本実施形態では、複数ビットからな
る透かし情報を埋め込む場合に、埋め込み対象画像の一
部が切り取られたような場合でも透かし情報が失われに
くい電子透かし埋め込み装置及び電子透かし検出装置に
ついて述べる。
態に係る電子透かし埋め込み装置について説明する。電
子透かし埋め込み装置には、埋め込み対象画像10が入
力される。この埋め込み対象画像10は、それぞれが
(1,1)成分、(2,1)成分、(1,2)成分、(2,2)成分と書かれ
た4つの小領域をそれぞれ含む複数の部分領域11A,
11B,…,11M,11N,…に分割されている。
4画素といった大きさであるが、これに限定されるもの
ではなく、1画素×1画素でもよいし、もっと大きくと
もよい。部分領域11A,11B,…,11M,11
N,…は、この例では横方向、縦方向に各2つ、合計で
4つの小領域を含んでいるが、さらに多数の小領域を含
んでいてもよく、また例えば小領域が横方向に2つ、縦
方向に1つというように細長い形状であっても構わな
い。
部12−1、(2,1)成分抽出部12−2、(1,2)成分抽出
部12−3、(2,2)成分抽出部12−4に入力され、各
部分領域11A,11B,…,11M,11N,…から
選択された(1,1)成分の組13−1、(2,1)成分の組13
−2、(1,2)成分の組13−4、(2,2)成分の組13−4
がそれぞれ抽出される。すなわち、各成分抽出部12−
1、12−2、12−3、12−4では、従来の技術で
[電子透かしの多ビット化]の項で挙げた第1の方法の
ブロック分割のように領域的に近接した部分からではな
く、埋め込み対象画像10全体に分散した小領域から画
像データの成分を抽出する。
12−3、12−4では、部分領域11A,11B,
…,11M,11N,…から、各部分領域内での相対位
置を同じくする小領域の成分を抽出しているが、部分領
域内での相対位置を異にする小領域の成分を抽出するよ
うにしてもよい。例えば、部分領域11Aの(1,1)成
分、部分領域11Bの(2,1)成分、部分領域11Mの(1,
2)成分、部分領域11Nの(2,2)成分を組として一つの
成分抽出部で抽出し、部分領域11Aの(2,1)成分、部
分領域11Bの(1,1)成分、部分領域11Mの(2,2)成
分、部分領域11Nの(1,2)成分を組として別の成分抽
出部で抽出するという具合である。
な分割及び各成分抽出部12−1、12−2、12−
3、12−4での抽出は、実際には埋め込み対象画像1
0のデータを一時蓄えるバッファメモリ(フレームメモ
リ)からの読み出しを制御する動作によって実現でき
る。
1)成分、(1,2)成分、(2,2)成分のそれぞれの組13−
1、13−2、13−3、13−4は、第1基底関数重
畳部14−1、第2基底関数重畳部14−2、第3基底
関数重畳部14−3、第4基底関数重畳部14−4にそ
れぞれ入力され、多ビット透かし情報、この例では4ビ
ットからなる透かし情報15の第1ビット、第2ビッ
ト、第3ビット、第4ビットのそれぞれの値に対応して
例えば極性が変化する基底関数波形がそれぞれ重畳され
る。
20は埋め込み後に非可逆圧縮やD−A−D(Digital-A
nalog-Digital)変換等の操作を受けており、埋め込み直
後とは若干異なる値のデータに加工されている場合もあ
る。
(1,1)成分の組16−1、(2,1)成分の組16−2、(1,
2)成分の組16−3、(2,2)成分の組16−4は再構成
部17に入力され、これらが画像中のそれぞれに対応す
る領域に位置するように合成されることにより、埋め込
み対象画像10と同一コンテンツで、かつ透かし情報1
5が埋め込まれた埋め込み済み画像18が再構成され
る。
の電子透かし埋め込み装置に対応する電子透かし検出装
置について説明する。電子透かし検出装置には、埋め込
み済み画像20が入力される。この埋め込み済み画像2
0は、図1の電子透かし埋め込み装置から出力される埋
め込み済み画像18と同様の画像であり、それぞれが
(1,1)成分、(2,1)成分、(1,2)成分、(2,2)成分と書かれ
た4つの小領域をそれぞれ含む複数の部分領域に分割さ
れている。
部22−1、(2,1)成分抽出部22−2、(1,2)成分抽出
部22−3、(2,2)成分抽出部22−4に入力され、各
部分領域から選択された(1,1)成分の組23−1、(2,1)
成分の組23−2、(1,2)成分の組23−3、(2,2)成分
の組23−4がそれぞれ抽出される。
な分割及び各成分抽出部22−1、22−2、22−
3、22−4での抽出は、実際には埋め込み済み画像2
0のデータを一時蓄えるバッファメモリ(フレームメモ
リ)からの読み出しを制御する動作によって実現でき
る。
23−1、(2,1)成分の組23−2、(1,2)成分の組23
−3、(2,2)成分の組23−4は、第1基底関数相関判
定部24−1、第2基底関数相関判定部24−2、第3
基底関数相関判定部24−3、第4基底関数相関判定部
24−4にそれぞれ入力され、多ビット透かし情報であ
る4ビットからなる透かし情報25の第1ビット、第2
ビット、第3ビット、第4ビットの情報がそれぞれ得ら
れる。
24−2、24−3、24−4においては、入力された
各成分の組23−1、23−2、23−3、23−4と
透かし情報の第1ビット、第2ビット、第3ビット、第
4ビットにそれぞれ対応して用意された第1、第2、第
3、第4基底関数波形との相関をそれぞれ判定すること
により、埋め込まれていた透かし情報の第1、第2、第
3、第4ビットの“1”,“0”を判定して透かし情報
25を出力する。
の電子透かしの多ビット化技術の問題点を解決すること
ができる。まず、従来の[電子透かしの多ビット化]の
項で挙げた第1の方法では、埋め込み対象画像を複数の
ブロックに分割して、各ブロックに透かし情報を1ビッ
トずつ埋め込んでいたため、埋め込み済み画像が切り取
られるなどして一部が消失すると、その消失部分に含ま
れるブロックに埋め込まれた透かし情報のビットが失わ
れてしまい、透かし情報を正しく検出できないという問
題点があった。
各ビットに対応する基底関数波形が埋め込み対象画像1
0の全体に分散した小領域に広がって埋め込まれるた
め、埋め込み済み画像18が一部切り取られるなどによ
り消失した場合でも、それ以外の部分に残された基底関
数波形の情報から透かし情報を容易に再現することが可
能である。
の項で述べた第2の方法のうち、空間領域に適用した文
献[3]に記載されたfully spread versionによる透か
し情報の埋め込みでは、図11で説明したように透かし
情報の各ビットに対応する基底関数波形を同一画素上で
重畳した後、正規化、再離散化を行うことにより、丸め
誤差によって重畳された基底関数波形の形が大きく損な
われ、透かし情報が大きく失われるおそれがあった。
トに対応する基底関数波形はそれぞれ異なる小領域に分
散されるので、fully spread versionによる透かし情報
の埋め込みのように、同一画素上で複数の基底関数波形
を重畳することに伴って必要とした正規化、再離散化の
処理が不要となる。従って、再離散化による丸め誤差に
よって透かし情報が損なわれるという問題がない。
施形態として、第1の実施形態と同様に複数ビットから
なる透かし情報を埋め込む場合に、埋め込み対象画像の
一部が切り取られたような場合でも透かし情報が失われ
にくい電子透かし埋め込み装置及び電子透かし検出装置
について述べる。まず、図4を用いて本実施形態に係る
電子透かし埋め込み装置について説明する。電子透かし
埋め込み装置には、埋め込み対象画像30と複数ビット
からなる透かし情報31が入力される。透かし情報31
は、基底関数波形合成部32に入力され、透かし情報3
1の各ビットに対応して用意された複数の基底関数波形
を対応するビットの値に応じた極性が付与された後に重
畳(合成)され、かつ正規化が行われることにより、合
成波形33が生成される。
ては、透かし情報31の各ビットに対応して用意された
基底関数波形が透かし情報31の対応するビットの値に
応じて、例えば当該ビットの値が“1”ならばそのまま
の極性で、また“0”ならば極性(符号)が反転された
後に、他のビットの値に対応する基底関数波形と重畳さ
れ、さらに画質への影響を考慮して正規化されることに
より、合成波形33が出力される。
成波形33は、確率的離散化部34に入力され、後述す
るように出力に小数点が反映された形となるように再離
散化されることによって、離散化波形35が出力され
る。確率的離散化部34から出力される離散化波形35
は、埋め込み対象画像30に重畳される。確率的離散化
部34は、従来の再離散化を行う離散化部と異なり、丸
め誤差の影響が小さくなるように構成されたものであ
り、その具体的な構成を図5に示す。
は、基底関数波形合成部32からの合成波形33が小数
部分離部41に入力され、合成波形33の各振幅値が整
数部と小数部とに分離される。整数部は加算部44に直
接入力され、小数部は比較部43を介して加算部44に
入力される。比較部43は、小数部と与えられる所定の
小数列、この例では乱数生成部42から出力される
[0,1]の範囲内に値をランダムにとる一様乱数とを
比較し、両者の大小関係に応じて0または1をとる値を
出力する。
が加算部44で加算され、確率的離散化部34の出力と
なる。このような処理を合成波形33の全体にわたっ
て、つまり各画素に対して行うことにより、離散化波形
35が得られる。
例を示す。確率的離散化部34の上述の処理によって、
離散化波形35の振幅値には合成波形33の振幅値の小
数部が反映されるため、図11で説明したような従来の
再離散化で生じていた小数部を切り捨てていたことによ
る丸め誤差の発生がなく、これによる透かし情報の消失
という問題が解決される。
数生成部42で生成された乱数を用いて出力を決定した
が、これに代えて、例えば、[0,1]をm個の区間に
等分し、小数部が[k/m,(k+1)/m]の区間内に
値をとる場合に、比較部43の出力が(m+1)回に(k
+1)回の頻度で“1”となり、それ以外は“0”とな
るようにしてもよい。その場合、乱数生成部42に代え
てラウンドロビン回路を用いてもよい。
波形合成部32で透かし情報31の各ビットに対応して
用意された複数の基底関数波形を対応するビットの値に
応じた極性が付与された後に重畳し、かつ正規化して得
られた合成波形33を図5に示した構成の確率的離散化
部34により再離散化することにより、再離散化におい
て丸め誤差が生じなくなる。従って、丸め誤差によって
波形重畳部36で得られる埋め込み済み画像37に埋め
込まれている透かし情報が大きく失われるという問題を
避けることができる。
実施形態として、電子透かしの判定と抽出の両方の機能
を持つ透かし情報をコンテンツへの影響を少なく埋め込
む電子透かし埋め込み装置及び電子透かし検出装置につ
いて述べる。
透かし埋め込み装置について説明する。電子透かし埋め
込み装置には、埋め込み対象画像50と1ビットの検出
用透かし情報a及び複数(n)ビットb1,b2,…,
bnからなる抽出用透かし情報が入力される。検出用透
かし情報a及び抽出用透かし情報の各ビットb1,b
2,…,bnは、いずれも1,0のいずれかの値をとる
情報であり、透かし情報変換部51によりこれら判定用
及び抽出用透かし情報の両方を反映させたnビットの透
かし情報の各ビット(3値)B1,B2,…,Bnに変
換された後、第1基底関数重畳部52−1、第2基底関
数重畳部52−2、第3基底関数重畳部52−3、…、
第n基底関数重畳部52−nに供給される。
出部53−1、第2成分抽出部53−2、…、第n成分
抽出部53−nに入力され、これらの成分抽出部53−
1,53−2,…,53−nで埋め込み対象画像50か
ら第1、第2、…、第n基底関数波形がそれぞれ重畳さ
れるべき成分(領域)の情報が抽出される。抽出された
各成分は、基底関数重畳部52−1,52−2,…,5
2−nに入力され、第1、第2、…、第n基底関数波形
がそれぞれ重畳される。
52−nにより基底関数波形が重畳された後の各成分は
合成部54により合成され、一枚の埋め込み済み画像5
5として再構成されて出力される。
透かし情報変換部51の処理について説明する。透かし
情報変換部51では、まず検出用透かし情報aの値が1
か0かを調べ(ステップS1)、a=1、つまり電子透
かしを埋め込む場合には、さらに抽出用透かし情報の各
ビットbi(i=1,2,…,n)の値が1か0かを調
べる(ステップS2)。この結果、bi=1の場合はB
i=1とし(ステップS4)、bi=0の場合はBi=
−1とする(ステップS5)。一方、ステップS1にお
いてa=0、つまり電子透かしを埋め込まない場合に
は、Bi=0とする(ステップS3)。
52−nでは、変換後の透かし情報の対応する各ビット
B1,B2,…,Bnの値(Bi)に応じて、埋め込み
対象画像50の対応する成分に対する基底関数波形の重
畳が制御される。すなわち、基底関数重畳部52−1,
52−2,…,52−nにおいて、Bi=0の場合は埋
め込み対象画像50の対応する成分に対して基底関数波
形は重畳されず、Bi=1の場合は基底関数波形がその
ままの極性で重畳され、またBi=−1の場合は基底関
数波形が極性反転された後に重畳される。
み済み画像55には、検出用透かし情報aと抽出用透か
し情報(b1,b2,…,bn)の両方の情報が反映さ
れた基底関数重畳波形からなる透かし情報が埋め込まれ
ることになる。
み装置においては、透かし情報変換部51により検出用
透かし情報と複数ビットの抽出用透かし情報の両方を反
映させた透かし情報を生成し、この変換後の透かし情報
を基底関数波形として、埋め込み対象画像50から抽出
された各成分に重畳することで、埋め込み済み画像55
を作成することにより、判定用と抽出用としてそれぞれ
個別の透かし情報を埋め込む従来の方法に比較して、埋
め込み済み画像55の品質に与える影響を最小限に抑え
ることができる。
の各ビットに対応する基底関数波形を埋め込み対象画像
50に埋め込む際、前述したfully spread versionのよ
うに同一領域に重畳する形で埋め込んでもよいし、異な
るブロックにタイル状に埋め込んでもよく、さらには第
1の実施形態のように空間的に分散した小領域の組に分
散して埋め込むようにしても構わない。
領域利用型のスペクトル拡散による電子透かし法におい
て、用いる擬似乱数列をn個の部分的な擬似乱数列に分
割し、それぞれに透かし情報のビットを対応させても構
わない。
透かし検出装置について説明する。なお、この電子透か
し検出装置は図8の電子透かし埋め込み装置により得ら
れた埋め込み済み画像に対して適しているが、これに限
られるものではなく、多ビットの透かし情報が埋め込ま
れた埋め込み済み画像であれば、基本的に適用すること
が可能である。
済み画像60が入力される。この埋め込み済み画像60
は、例えば図1の電子透かし埋め込み装置から出力され
る埋め込み済み画像18と同様の画像であり、検出用透
かし情報aと抽出用透かし情報(b1,b2,…,b
n)の両方の情報が反映された透かし情報が基底関数重
畳波形として埋め込まれている。
出部61−1、第2成分抽出部61−2、…、第n成分
抽出部61−nに入力され、これらの成分抽出部61−
1,61−2,…,61−nで埋め込み済み画像60か
ら基底関数波形がそれぞれ重畳された第1、第2、…、
第n成分の情報が抽出される。成分抽出部61−1,6
1−2,…,61−nで抽出された各成分は、第1相関
値計算部63−1、第2相関値計算部63−2、…、第
n相関値計算部63−nにそれぞれ入力され、第1基底
関数波形、第2基底関数波形、…、第n基底関数波形と
の相関値である第1、第2、…、第n相関値ci(i=
1,2,…,n)がそれぞれ計算で求められる。
相関値ciは、全体相関計算部64と第1ビット抽出部
66−1、第2ビット抽出部66−2、…、第nビット
抽出部66−nに入力される。全体相関計算部64で
は、第1、第2、…、第n相関値ciから埋め込み済み
画像全体の基底関数波形との相関値(全体相関値)が計
算される。この全体相関値Cは、例えば次式に示すよう
に第1、第2、…、第n相関値ciの絶対値和として計
算される。
透かし判定部65に入力され、ここで電子透かしの有
無、すなわち透かし情報が埋め込まれているか否かが判
定される。この判定は、全体相関値Cがあるしきい値T
を超えるか否かで行うことができる。例えば、C>Tな
らば透かし情報が埋め込まれており、そうでなければ埋
め込まれていないと判定する。
ット抽出部66−2、…、第nビット抽出部66−nで
は、例えば各相関値ciを所定のしきい値tiと比較する
ことにより、抽出用透かし情報の各ビットが判定され
る。例えば、ci>tiならば抽出用透かし情報の対応す
るビットは“1”、ci<tiならば“0”と判定する。
第1ビット抽出部66−1、第2ビット抽出部66−
2、…、第nビット抽出部66−nからは、これらの判
定結果が透かし情報(抽出用透かし情報)の各ビットb
iとして出力される。
ビット抽出部66−2、…、第nビット抽出部66−n
での上述した抽出用透かし情報の抽出処理は、電子透か
し検出部65での電子透かしの有無の検出結果に従って
行うことが望ましい。すなわち、電子透かし検出部65
で透かし情報が埋め込まれていると判定されたときの
み、抽出用透かし情報の抽出処理を行う。これにより、
無駄な処理を省くことができる。
置では、全体相関判定部64及び電子透かし検出部65
による電子透かしの有無の検出と、各ビット抽出部66
−1,66−2,…,66−nによる複数ビットの透か
し情報の抽出(ビット判定)の処理を共に相関値計算部
63−1,63−2,…,63−nで得られた相関値に
基づいて行うので、両方の処理を順次行う方法に比較し
て処理コストが小さく、また処理の遅延も少なくなる。
また、処理の並列化によるハードウェアの増大という問
題を回避しつつ、処理速度の向上を図ることができる。
出(ビットの判定)に比較して、透かし情報が埋め込ま
れているか否かの判定の方が誤りが少ないことが一般に
要求されるが、本実施形態では後者の判定により多くの
基底関数波形の相関値を累積して全体相関値を求め、こ
の全体相関値から透かし情報が埋め込まれているか否か
の判定を行っているため、このような要求を満たすこと
ができる。
ツが画像(特に静止画)の場合について説明を行った
が、動画や音声などのコンテンツに対しても同様に本発
明を適用でき、同様な効果を期待することができる。例
えば第1の実施形態を一次元信号である音声に適用する
場合には、音声波形を時間軸方向に例えばフレーム単位
に分割し、各フレームをサブフレームのような小領域に
分割して、先と同様の処理を行えばよい。
ンテンツの空間領域(画素領域)を利用した電子透かし
であるが、第3の実施形態に関しては、コンテンツの周
波数領域を利用した電子透かしにも適用が可能である。
かし情報の各ビットに対応する基底関数波形を埋め込み
対象コンテンツの全体に分散した小領域に分散させた形
で埋め込むことにより、埋め込み済みコンテンツが一部
消失したような場合でも、容易に透かし情報を検出する
ことができ、また透かし情報の各ビットに対応する基底
関数波形を同一画素上で重畳する方法のように正規化、
再離散化の処理が不要であるため、重畳された基底関数
波形の形が丸め誤差により損なわれ、透かし情報が大き
く失われるような問題もない。
ンツに対して埋め込まれるべき複数ビットの透かし情報
の各ビットに対応して用意された複数の基底関数波形を
対応するビットの値に応じた極性を付与した後に合成
し、かつ正規化して得た合成波形に対し、離散化波形の
振幅値に合成波形の振幅値の小数部が反映されるように
再離散化を行って埋め込み対象コンテンツに重畳するこ
とにより、再離散化波形の振幅値に合成波形の振幅値の
小数部が反映されるようになるため、従来の再離散化で
問題となっていた丸め誤差により透かし情報の消失を防
止することができる。
報を埋め込むべきか否かを指示する検出用透かし情報に
応じて、埋め込むべきと指示された場合にのみ透かし情
報が有意の値となるように変換し、埋め込み対象コンテ
ンツから抽出された情報に、この変換された透かし情報
の各ビットの値に応じた基底関数波形を重畳して埋め込
み済みコンテンツを再構成することにより、検出用透か
し情報と複数ビットの抽出用透かし情報の両方を反映さ
せた透かし情報を実質的に埋め込むことができるため、
判定用と抽出用の透かし情報を個別に埋め込む必要がな
く、透かし情報が埋め込み済みコンテンツの品質に与え
る影響を小さくできる。
ンツと複数の基底関数波形との相関値から透かし情報中
の各ビットの情報を抽出すると共に、これらの相関値の
全体にわたる相関値を全体相関値として求め、この全体
相関値から透かし情報の有無を判定するようことによ
り、電子透かしの有無の検出と複数ビットの透かし情報
の抽出を低い処理コストと小さな遅延で実現でき、しか
も処理の並列化のためにハードウェアを増大させること
なく処理速度を向上させることが可能となる。
出装置を含むコンテンツ流通システムの概略構成を示す
図
込み装置の構成を示すブロック図
出装置の構成を示すブロック図
め込み装置の構成を示すブロック図
ロック図
め込み装置の構成を示すブロック図
するフローチャート
出装置の構成を示すブロック図
を持つ基底関数波形の重畳の様子を示す図
値を持つ基底関数波形の重畳の様子を示す図
抽出部 14−1,14−2,14−3,14−4…基底関数重
畳部 15…透かし情報 17…再構成部 18…埋め込み済み画像 20…埋め込み済み画像 22−1,22−2,22−3,22−4…小領域成分
抽出部 24−1,24−2,24−3,24−4…基底関数相
関判定部 25…透かし情報 30…埋め込み対象画像 31…透かし情報 32…基底関数重畳波形合成部 34…確率的離散化部 36…波形重畳部 37…埋め込み済み画像 41…小数部分離部 42…乱数生成部 43…比較部 44…加算部 50…埋め込み対象画像 51…透かし情報変換部 52−1,52−2,…,52−n…基底関数重畳部 53−1,53−2,…,53−n…成分抽出部 54…合成部 55…埋め込み済み画像 60…埋め込み済み画像 61−1,61−2,…,61−n…成分抽出部 63−1,63−2,…,63−n…相関値計算部 64…全体相関計算部 65…電子透かし検出部 66−1,66−2,…,66−n…透かし情報抽出部
Claims (6)
- 【請求項1】埋め込み対象コンテンツに対して複数ビッ
トの透かし情報を埋め込み、埋め込み済みコンテンツを
得る電子透かし埋め込み装置において、 複数の小領域をそれぞれ含む複数の部分領域に分割され
た埋め込み対象コンテンツを入力する手段と、 入力された埋め込み対象コンテンツの各部分領域から一
つずつ選択された小領域の組に対応してそれぞれ設けら
れ、対応する組の小領域の情報をそれぞれ抽出する複数
の抽出手段と、 前記複数の抽出手段によりそれぞれ抽出された情報に対
して、前記透かし情報中の各ビットの値にそれぞれ対応
して変化する基底関数波形を重畳する複数の基底関数重
畳手段と、 前記複数の基底関数重畳手段の出力を前記埋め込み済み
コンテンツとして再構成する再構成手段とを具備するこ
とを特徴とする電子透かし埋め込み装置。 - 【請求項2】複数ビットの透かし情報が埋め込まれた埋
め込み済みコンテンツから透かし情報を検出する電子透
かし検出装置において、 複数の小領域をそれぞれ含む複数の部分領域に分割され
た埋め込み済みコンテンツを入力する手段と、 入力された埋め込み済みコンテンツの各部分領域から一
つずつ選択された小領域の組に対応してそれぞれ設けら
れ、対応する組の小領域の情報をそれぞれ抽出する複数
の抽出手段と、 前記複数の抽出手段によりそれぞれ抽出された情報と前
記透かし情報中の各ビットにそれぞれ対応する基底関数
波形との相関を判定して前記透かし情報の各ビットを検
出する複数の相関判定手段とを具備することを特徴とす
る電子透かし検出装置。 - 【請求項3】埋め込み対象コンテンツに対して複数ビッ
トの透かし情報を埋め込み、埋め込み済みコンテンツを
得る電子透かし埋め込み装置において、 前記透かし情報の各ビットに対応して用意された複数の
基底関数波形を対応するビットの値に応じた極性を付与
した後に重畳し、かつ正規化して合成波形を出力する基
底関数波形合成手段と、 前記合成波形を離散化して離散化波形を出力する離散化
手段と、 前記離散化波形を前記埋め込み対象コンテンツに重畳す
る重畳手段とを具備し、 前記離散化手段は、前記合成波形の振幅値を整数部と小
数部に分離し、小数部の値に応じて予め決められた出現
頻度に従って1または0をとる値と整数部とを加算して
前記離散化波形を出力することを特徴とする電子透かし
埋め込み装置。 - 【請求項4】埋め込み対象コンテンツに対して複数ビッ
トの透かし情報を埋め込み、埋め込み済みコンテンツを
得る電子透かし埋め込み装置において、 前記複数ビットの透かし情報を埋め込むべきか否かを指
示する検出用透かし情報に応じて、埋め込むべきと指示
された場合にのみ該透かし情報が有意の値となるように
該透かし情報を変換する透かし情報変換手段と、 前記埋め込み対象コンテンツから複数の基底関数波形を
重畳すべき情報を抽出する複数の抽出手段と、 前記複数の抽出手段によりそれぞれ抽出された情報に、
前記透かし情報変換手段により変換された透かし情報の
各ビットの値に応じて基底関数波形を重畳する複数の基
底関数重畳手段と、 前記複数の基底関数重畳手段の出力を合成して前記埋め
込み済みコンテンツとして再構成する合成手段とを具備
することを特徴とする電子透かし埋め込み装置。 - 【請求項5】複数ビットの透かし情報が埋め込まれた埋
め込み済みコンテンツから透かし情報を検出する電子透
かし検出装置において、 前記埋め込み済みコンテンツと複数の基底関数波形との
相関値をそれぞれ求める複数の相関値計算手段と、 前記複数の相関計算手段により計算された相関値から前
記透かし情報の各ビットの情報を抽出する抽出手段と、 前記複数の相関計算手段により計算された相関値の全体
にわたる相関値を全体相関値として求める全体相関手段
と、 前記全体相関値から前記透かし情報の有無を判定する手
段とを具備することを特徴とする電子透かし検出装置。 - 【請求項6】請求項1、3または4に記載の電子透かし
埋め込み装置によって透かし情報が埋め込まれたコンテ
ンツを格納した記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28065399A JP3643509B2 (ja) | 1999-09-30 | 1999-09-30 | 電子透かし埋め込み方法と装置及び電子透かし検出方法と装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28065399A JP3643509B2 (ja) | 1999-09-30 | 1999-09-30 | 電子透かし埋め込み方法と装置及び電子透かし検出方法と装置 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004368241A Division JP3910987B2 (ja) | 2004-12-20 | 2004-12-20 | 電子透かし埋め込み方法及び装置 |
JP2004368271A Division JP4018691B2 (ja) | 2004-12-20 | 2004-12-20 | 電子透かし埋め込み方法と装置及び電子透かし抽出/判定方法と装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001103291A true JP2001103291A (ja) | 2001-04-13 |
JP3643509B2 JP3643509B2 (ja) | 2005-04-27 |
Family
ID=17628064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP28065399A Expired - Fee Related JP3643509B2 (ja) | 1999-09-30 | 1999-09-30 | 電子透かし埋め込み方法と装置及び電子透かし検出方法と装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3643509B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100485554B1 (ko) * | 2001-09-03 | 2005-04-27 | 캐논 가부시끼가이샤 | 화상 처리 장치, 화상 처리 방법, 및 기록 매체 |
US7415612B2 (en) | 2002-05-01 | 2008-08-19 | Minolta Co., Ltd. | Image encrypting method, and image decrypting method |
-
1999
- 1999-09-30 JP JP28065399A patent/JP3643509B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100485554B1 (ko) * | 2001-09-03 | 2005-04-27 | 캐논 가부시끼가이샤 | 화상 처리 장치, 화상 처리 방법, 및 기록 매체 |
US7415612B2 (en) | 2002-05-01 | 2008-08-19 | Minolta Co., Ltd. | Image encrypting method, and image decrypting method |
Also Published As
Publication number | Publication date |
---|---|
JP3643509B2 (ja) | 2005-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6246775B1 (en) | Method and appartus for superposing a digital watermark and method and apparatus for detecting a digital watermark | |
JP3431593B2 (ja) | コンテンツ生成装置、電子透かし検出装置、コンテンツ生成方法、電子透かし検出方法及び記録媒体 | |
JP4181489B2 (ja) | データ処理装置及びデータ処理方法 | |
US7991188B2 (en) | Optimization methods for the insertion, protection, and detection of digital watermarks in digital data | |
US7657058B2 (en) | Watermark orientation signals conveying payload data | |
US7987371B2 (en) | Optimization methods for the insertion, protection, and detection of digital watermarks in digital data | |
US20080226125A1 (en) | Method of Embedding Data in an Information Signal | |
EP0981902A2 (en) | Watermark detection | |
JP4400565B2 (ja) | 透かし情報埋め込み装置及び、透かし情報検出装置 | |
Battisti et al. | A generalized Fibonacci LSB data hiding technique | |
JP2006513660A (ja) | 複数のウォーターマークの埋込み | |
KR20020027569A (ko) | 워터마크 내장 방법 및 장치 | |
JP2002305650A (ja) | データを検出し、回復する装置 | |
US7584361B2 (en) | Encoding and detecting apparatus | |
GB2419764A (en) | Generation of code words for image watermarking | |
CA2523345A1 (en) | Watermarking | |
US8301453B2 (en) | Watermark synchronization signals conveying payload data | |
JP2007506128A (ja) | マルチメディア信号に透かしを入れる装置及び方法 | |
JP2001103291A (ja) | 電子透かし埋め込み装置及び電子透かし検出装置 | |
JP3910987B2 (ja) | 電子透かし埋め込み方法及び装置 | |
JP4212422B2 (ja) | データ符号化装置、データ符号化方法、データ検出装置及びデータ検出方法 | |
JP4289652B2 (ja) | データ処理装置 | |
JP4018691B2 (ja) | 電子透かし埋め込み方法と装置及び電子透かし抽出/判定方法と装置 | |
JP4121907B2 (ja) | データ処理装置及び方法 | |
JP2004040754A (ja) | データ処理装置及びデータ処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041019 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050128 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080204 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090204 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100204 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100204 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110204 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120204 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120204 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130204 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140204 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |