JP3706766B2 - 電子透かし情報の埋め込み方法および抽出方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルデータ、特に画像データなどのマルチメディアデータに対する電子透かし技術に関する。
【０００２】
【従来の技術】
近年、画像データなどのマルチメディアデータに対する著作権保護の観点から、電子透かし技術が注目されつつある。電子透かし技術とは、所定の規則にしたがい、マルチメディアデータに、所定の情報を、少なくとも前記所定の規則を用いることなく当該所定の情報を当該マルチメディアデータから抽出できないように埋め込む技術である。たとえば、所定の規則にしたがい、画像データの購入者などに関する情報を当該画像データ自体に目に見えない形態で埋め込んでおき、不正コピーされた場合に、前記所定の規則にしたがって、不正コピーされたデータから埋め込まれた情報を抽出することで、不正コピーを行った者（すなわち購入者）を特定する。
【０００３】
図１７は、従来の電子透かし技術による画像データへの情報埋め込み・抽出処理の原理を説明するための図である。
【０００４】
図示するように、情報の埋め込み処理に際しては、埋め込みたい情報を構成するビットｂ₁〜ｂ_nのうちビットｂ_i（０≦ｉ≦ｎ）について、画像データの予め定められた領域Ｑ₁〜Ｑ_mにある画素データ各々の輝度を、当該ビットが１ならばＵだけ増加させ、０ならばＵだけ減少させるように変更する。この処理を埋め込む領域の位置をかえながらビットｂ₁〜ｂ_nの全てに対して行うことにより、画像データに電子透かし情報を埋め込む。
【０００５】
一方、このようにして埋め込まれた電子透かし情報の抽出処理に際しては、埋め込まれた情報を構成するビットｂ₁〜ｂ_nのうちビットｂ_i（０≦ｉ≦ｎ）について、画像データの前記予め定められた領域Ｑ₁〜Ｑ_m毎に、画素データの輝度値平均Ｆを求め、この平均の総和ΣＦを求める。また、前記予め定められた領域Ｑ₁〜Ｑ_m各々に隣接する周辺領域毎に、画素データの輝度の平均Ｒを求め、この平均の総和ΣＲ（Reference Value）を求める。そして、ΣＦ−ΣＲ＞Ｔｈ（ここで、Ｔｈは要求される誤り率により異なるが、たとえば、Ｔｈ≧Ｕ×ｍ（ｍはｂ_iを埋め込んだ領域Ｑの数）とする）であればｂ_i＝１と判断し、ΣＦ−ΣＲ＜−Ｔｈであればｂ_i＝０と判断し、そして、−Ｔｈ＜ΣＦ−ΣＲ＜Ｔｈであれば、前記予め定められた領域Ｑ₁〜Ｑ_mに情報は埋め込まれていないと判断する。この処理をビットｂ₁〜ｂ_nの全てに対して行うことにより、画像データに埋め込まれた電子透かし情報を抽出する。
【０００６】
電子透かし技術に関しては、１９９８第５６回情報処理学会全国論文集に詳しく述べられている。
【０００７】
【発明が解決しようとする課題】
ところで、このような電子透かし情報が埋め込まれた画像データに、当該画像データを構成する各画素の位置を特定するためのＸ−Ｙ座標の原点を変更する処理（以下、画像シフト処理と呼ぶこととする）が施された場合、電子透かし情報を構成する各ビットのＸ−Ｙ座標上での埋め込み位置が変化してしまう。
【０００８】
たとえば、図１７において、画像データを構成する各画素の位置を特定するためのＸ−Ｙ座標の原点Ｏが当該画像データの左上頂点に設定されるものと仮定する。ここで、図１８に示すように、電子透かし情報が埋め込まれた画像データの上部がカットされると、電子透かし情報を構成する各ビットｂ₁〜ｂ_nのＸ−Ｙ座標上での埋め込み位置が変化してしまう。
【０００９】
この場合、上述したような、電子透かし情報を構成する各ビットのＸ−Ｙ座標上での埋め込み位置を用いた従来の電子透かし情報抽出処理では、電子透かし情報を構成する各ビットを抽出することができない。
【００１０】
本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、電子透かし情報が埋め込まれた画像データに画像シフト処理が施された場合でも、当該画像シフト処理が施された画像データから電子透かし情報が埋め込まれている位置を特定することが可能な電子透かし技術を提供することにある。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、本発明の第１の態様は、画像データをＭ×Ｎ（１≦Ｍ，Ｎ）画素でなる複数の領域Ｓに分割し、電子透かし情報ｂ₁〜ｂ_n（２≦ｎ）各々を、前記複数の領域Ｓのうちの少なくとも１つに埋め込む、電子透かし情報の埋め込み方法であって、
前記電子透かし情報ｂ₁〜ｂ_nが各々埋め込まれる領域Ｔ₁〜Ｔ_nと情報が埋め込まれない領域Ｈ₁〜Ｈ_m（１≦ｍ）とでなる所定の配列を有する組が、所定の規則にしたがって複数配置され、且つ、前記複数の領域Ｓ各々が、前記領域Ｔ₁〜Ｔ_n、Ｈ₁〜Ｈ_mのいずれかに割り当てられるように、前記電子透かし情報ｂ₁〜ｂ_nを前記画像データに埋め込むことを特徴とする。
【００１２】
ここで、領域Ｓのサイズ（Ｍ×Ｎ）は、画像データに施されるであろう画像シフト処理に応じて定めることが好ましい。たとえば、画像シフト処理がＸ方向およびＹ方向のそれぞれにおいて、２画素単位で行うことが可能であるならば、領域Ｓのサイズを２×２画素に設定する。
【００１３】
本態様によれば、電子透かし情報ｂ₁〜ｂ_nが各々埋め込まれる領域Ｔ₁〜Ｔ_nと情報が埋め込まれない領域Ｈ₁〜Ｈ_mとでなる所定の配列を有する組が、所定の規則にしたがい、画像データを分割することで得られる複数の領域Ｓ各々が前記領域Ｔ₁〜Ｔ_n、Ｈ₁〜Ｈ_mのいずれかに必ず割り当てられるように、複数配置される。
【００１４】
したがって、このようにして電子透かし情報ｂ₁〜ｂ_nが埋め込まれた画像データに画像シフト処理が施され、このために、電子透かし情報ｂ₁〜ｂ_nが埋め込まれた領域Ｔ₁〜Ｔ_nのＸ−Ｙ座標上における位置が変化した場合でも、この画像シフト処理が施された画像データを複数の領域Ｓに分割し、当該複数の領域Ｓから情報が埋め込まれていない領域Ｈ₁〜Ｈ_mを検出することで、当該検出した領域Ｈ₁〜Ｈ_mの画像データ上のＸ−Ｙ座標値より、当該画像データ上に複数配置された組を各々認識することができる。組内において、電子透かし情報ｂ₁〜ｂ_nが各々埋め込まれた領域Ｔ₁〜Ｔ_nと前記電子透かし情報が埋め込まれていない領域Ｈ₁〜Ｈ_mは、所定の配列を有しているので、各組について、電子透かし情報ｂ₁〜ｂ_nが各々埋め込まれた領域Ｔ₁〜Ｔ_nを特定することができる。
【００１５】
本発明の第２の態様は、画像データをＭ×Ｎ（１≦Ｍ，Ｎ）画素でなる複数の領域Ｓに分割し、電子透かし情報ｂ₁〜ｂ_n（２≦ｎ）各々を前記複数の領域Ｓのうちの少なくとも１つに埋め込む、電子透かし情報の埋め込み方法であって、
前記電子透かし情報ｂ₁〜ｂ_nが各々埋め込まれる領域Ｔ₁〜Ｔ_nと前記電子透かし情報ｂ₁〜ｂ_nの前記領域Ｔ₁〜Ｔ_nへの埋め込み形態を特定する情報ｐ₁〜ｐ_k（１≦ｋ）が埋め込まれる領域Ｊ₁〜Ｊ_kと情報が埋め込まれない領域Ｈ₁〜Ｈ_m（１≦ｍ）とでなる所定の配列を有する組が、所定の規則にしたがって複数配置され、且つ、前記複数の領域Ｓ各々が、前記領域Ｔ₁〜Ｔ_n、Ｊ₁〜Ｊ_k、Ｈ₁〜Ｈ_mのいずれかに割り当てられるように、前記電子透かし情報ｂ₁〜ｂ_nと前記埋め込み形態を特定する情報ｐ₁〜ｐ_kを、前記画像データに埋め込むことを特徴とする。
【００１６】
ここで、領域Ｓのサイズ（Ｍ×Ｎ）は、上述した第１の態様と同様、画像データに施されるであろう画像シフト処理に応じて定めることが好ましい。
【００１７】
本態様によれば、電子透かし情報ｂ₁〜ｂ_nが各々埋め込まれる領域Ｔ₁〜Ｔ_nと前記電子透かし情報ｂ₁〜ｂ_nの前記領域Ｔ₁〜Ｔ_nへの埋め込み形態を特定する情報ｐ₁〜ｐ_kが埋め込まれる領域Ｊ₁〜Ｊ_kと情報が埋め込まれない領域Ｈ₁〜Ｈ_mとでなる所定の配列を有する組が、所定の規則にしたがい、画像データを分割することで得られる複数の領域Ｓ各々が前記領域Ｔ₁〜Ｔ_n、Ｊ₁〜Ｊ_k、Ｈ₁〜Ｈ_mのいずれかに必ず割り当てられるように、複数配置される。
【００１８】
したがって、このようにして電子透かし情報ｂ₁〜ｂ_nが埋め込まれた画像データに画像シフト処理が施され、このために、電子透かし情報ｂ₁〜ｂ_nが埋め込まれた領域Ｔ₁〜Ｔ_nのＸ−Ｙ座標上における位置が変化した場合でも、この画像シフト処理が施された画像データを複数の領域Ｓに分割し、当該複数の領域Ｓから情報が埋め込まれていない領域Ｈ₁〜Ｈ_mを検出することで、当該検出した領域Ｈ₁〜Ｈ_mの画像データ上のＸ−Ｙ座標値より、当該画像データ上に複数配置された組を各々認識することができる。
【００１９】
さらに、本態様では、各組毎に、当該組に属する領域Ｔ₁〜Ｔ_nへの電子透かし情報ｂ₁〜ｂ_nの埋め込み形態を特定する情報ｐ₁〜ｐ_kが領域Ｊ₁〜Ｊ_kに埋め込まれる。このため、各組毎に電子透かし情報ｂ₁〜ｂ_nの埋め込み形態を変えた場合でも、画像データから電子透かし情報ｂ₁〜ｂ_nを抽出することが可能となる。
【００２０】
【発明の実施の形態】
以下に、本発明の１実施形態について説明する。
【００２１】
まず、本実施形態が適用された電子透かしシステムに用いられる電子透かし情報埋め込み装置について説明する。
【００２２】
図１は、本発明の１実施形態が適用された電子透かしシステムに用いられる電子透かし情報埋め込み装置の概略構成図である。
【００２３】
図示するように、本実施形態の電子透かし情報埋込み装置１は、処理部１００と記憶部１１０とでなる。
【００２４】
処理部１００は、画像データや画像データに埋め込むべき電子透かし情報や電子透かし情報が埋め込まれた画像データの入出力を担う入出力部１０１と、電子透かし情報埋込み装置１の各部を統括的に制御する制御部１０２と、ブロック分割部１０３と、情報埋込部１０４とを有する。
【００２５】
記憶部１１０は、入出力部１０１を介して入力された画像データを保持する画像保持部１１１と、入出力部１０１を介して入力された、画像保持部１１１で保持している画像データに埋め込むべき電子透かし情報ｂ₁〜ｂ_n（２≦ｎ）を保持する透かし情報保持部１１２と、電子透かし情報ｂ₁〜ｂ_nが埋め込まれた画像データを保持する透かし入り画像保持部１１３と、電子透かし情報ｂ₁〜ｂ_nを画像データへ埋め込む際のルールを記憶する組配列／配置ルール記憶部１１４とを有する。
【００２６】
ブロック分割部１０３は、画像保持部１１１に保持されている画像データをＭ×Ｎ（１≦Ｍ，Ｎ）画素でなる複数の領域Ｓに分割する。ここで、領域Ｓのサイズ（Ｍ×Ｎ）は、本装置による電子透かし情報埋め込み後に、画像データに施されるであろう画像シフト処理に応じて定めることが好ましい。たとえば、画像シフト処理がＸ方向およびＹ方向のそれぞれにおいて、２画素単位で行うことが可能であるならば、図２に示すように、領域Ｓのサイズを２×２画素に設定する。
【００２７】
情報埋込部１０４は、組配列／配置ルール記憶部１１４に記憶されたルールにしたがい、透かし情報保持部１１２に保持された電子透かし情報ｂ₁〜ｂ_nを画像保持部１１１に保持された画像データに埋め込む。
【００２８】
具体的には、電子透かし情報ｂ₁〜ｂ_nが各々埋め込まれる領域Ｔ₁〜Ｔ_nと、電子透かし情報ｂ₁〜ｂ_nの領域Ｔ₁〜Ｔ_nへの埋め込み形態を特定する情報ｐが埋め込まれる領域Ｊと、情報が埋め込まれない領域Ｈとでなる所定の配列を有する組Ｇが、画像データ上に敷き詰められるように配置され、且つ、ブロック分割部１０３にて画像データを分割することで得た複数の領域Ｓ各々が、領域Ｔ₁〜Ｔ_n、Ｊ、Ｈのいずれかに必ず割り当てられるように、電子透かし情報ｂ₁〜ｂ_nおよび情報ｐを画像データに埋め込む。
【００２９】
なお、電子透かし情報ｂ₁〜ｂ_nおよび情報ｐの画像データへの埋め込みは、従来の技術と同様、情報のビット値（０，１）に応じて、対応する領域の画像データの輝度値をＵだけ増減することで行うものとする。ただし、本実施形態では、各組Ｇのある領域Ｓに埋め込まれた情報を抽出する際に、当該領域Ｓの上下左右に位置する領域Ｓに埋め込まれた情報の影響を受けないようにするため、組Ｇ内の各領域Ｓに対する、埋め込むべき情報のビット値に応じた画素データの輝度値増減方向パターンとして、２種類のパターンを用意している。情報ｐは、この輝度値増減方向パターンを特定するために用いられる。
【００３０】
ここで、各組Ｇに適用する画像データの輝度値増減方向パターンの設定は、たとえば、図３に示すように、３×３の合計９つの領域Ｓ₁〜Ｓ₉からなる組Ｇを画像データ上に敷き詰めるよう配置する場合、図４に示すように、組Ｇ内のすべての領域Ｓ₁〜Ｓ₉について、ビット値に対する画素データの輝度値増減方向がすべて同じになる第１のパターンと、上下左右に位置する領域Ｓ間において、ビット値に対する画素データの輝度値増減方向が反対となる第２のパターンとを用意する。そして、図５に示すように、画像データ上において上下左右に位置する組Ｇ間において、異なる輝度値増減方向パターンが適用されるように設定する。
【００３１】
また、組Ｇ内の各領域Ｓへの領域Ｔ₁〜Ｔ_n、Ｊ、Ｈの割り当ては、たとえば以下の条件を満足するように行う。
【００３２】
すなわち、適用された輝度増減方向パターンを特定する情報ｐの画像データからの抽出は、組Ｇに適用された輝度増減方向パターンが判明される前に行う必要がある。このため、当該情報ｐが埋め込まれる領域Ｊは、ビット値に対する画像データの輝度値増減方向がすべての輝度増減方向パターンにおいて同じとなる領域Ｓに割り当てる。図４に示す例では、領域Ｓ₁、Ｓ₃、Ｓ₅、Ｓ₇、Ｓ₉のいずれかに領域Ｊを割り当てる。
【００３３】
また、情報が埋め込まれていない領域Ｈについて、当該領域に情報が埋め込まれていないことを検出するためには、当該領域の上下左右に位置する領域に埋め込まれた情報による輝度値増減の影響を受けないようにしなけらばならない。このため、情報が埋め込まれない領域Ｈは、当該領域の上下左右に位置する領域のビット値に対する画像データの輝度値増減方向が輝度増減方向パターンにより反転する領域Ｓに割り当てる。図４に示す例では、領域Ｓ₁、Ｓ₃、Ｓ₅、Ｓ₇、Ｓ₉のいずれかに領域Ｈを割り当てる。
【００３４】
電子透かし情報ｂ₁〜ｂ_nが埋め込まれる領域Ｔ₁〜Ｔ_nは、必然的に、領域Ｊ，Ｈが割り当てられた領域以外の領域Ｓ₁〜Ｓ₉に割り当てられることになるが、この際、後述する情報が埋め込まれていない領域Ｈの検出において、誤検出されないようにするために、以下の点に注意することが好ましい。
【００３５】
すなわち、領域Ｔ_i（１≦ｉ≦ｎ）が、ビット値に対する画像データの輝度値増減方向が輝度増減方向パターンより反転する領域Ｓに割り当てられた場合、各組Ｇに付いて求めた領域Ｔ_i内の画素データの輝度値平均Ｆを加算すると、当該領域Ｔ_iに埋め込まれた電子透かし情報ｂ_iのビット値による輝度値増減分がキャンセルされてしまう。したがって、その総和ΣＦには情報埋め込みによる輝度値増減分は反映されない。
【００３６】
一方、当該領域Ｔ_iの上下左右に位置する隣接領域のビット値に対する画像データの輝度値増減方向は、すべての輝度増減方向パターンにおいて同じとなる。このため、各組Ｇに付いて求めた、これら隣接領域の画素データの輝度値平均Ｒの総和ΣＲには、埋め込まれた情報のビット値による輝度値増減分が反映される。したがって、通常、総和ΣＦと総和ΣＲとにはある程度の差分が生じる。
【００３７】
しかしながら、当該領域Ｔ_iの上下左右に位置する隣接領域に埋め込まれた情報のビット値が、２つの領域が１であり、残り２つの領域が０である場合、これら隣接する領域に埋め込まれた画素データの輝度値平均Ｒをとると、輝度値増減分がキャンセルされてしまう。このため、総和ΣＦと総和ΣＲとの差分が小さくなり、当該領域Ｔ_iを情報が埋め込まれていない領域Ｈと誤検出してしまうおそれもある。このため、領域Ｔ_iが、ビット値に対する画像データの輝度値増減方向が輝度増減方向パターンより反転する領域Ｓに割り当てられる場合、当該領域Ｓの上下左右に位置する隣接領域の１つに情報が埋め込まれていない領域Ｈを割り当てるようにし、これら隣接する領域に埋め込まれた画素データの輝度値平均Ｒに、埋め込まれた情報のビット値による輝度値増減分が反映されるようにしておく。
【００３８】
図４および図５に示す例では、組Ｇ内の領域Ｓ₁〜Ｓ₉への領域Ｔ₁〜Ｔ_n、Ｊ、Ｈの割り当てを、たとえば、図６に示すようにすることで、上記の条件を満足することができる。
【００３９】
次に、本実施形態が適用された電子透かし情報埋込み装置のハードウエア構成について説明する。
【００４０】
図７は図１に示す電子透かし情報埋込み装置１のハードウエア構成の一例を示す図である。
【００４１】
図示するように、本実施形態の電子透かし情報埋込み装置は、ＣＰＵ２０１と、メモリ２０２と、ハードディスク装置などの外部記憶装置２０３やその他の外部記憶装置２０４と、キーボードなどの入力装置２０５と、ディスプレイなどの出力装置２０６と、外部記憶装置や入出力装置とのインターフェース２０７とを備えた、一般的な構成を有する情報処理装置上に構築することができる。ここで、図１に示す処理部１００の各部は、ＣＰＵ２０１がメモリ２０２上にロードされたプログラムを実行することで、情報処理装置上に具現化されるプロセスとして実現される。また、この場合、メモリ２０２や外部記憶装置２０３、２０４が図１に示す記憶部１１０として使用される。
【００４２】
上述した、ＣＰＵ２０１により実行されることで情報処理装置上に本実施形態の電子透かし情報埋込み装置を具現化するためのプログラムは、予め外部記憶装置２０３に記憶され、必要に応じてメモリ２０２上にロードされ、ＣＰＵ２０１により実行される。あるいは、可搬性の記憶媒体２０８、たとえばＣＤ−ＲＯＭを扱う外部記憶装置２０４を介して、必要に応じて、可搬性の記憶媒体２０８からメモリ２０２上にロードされ、ＣＰＵ２０１により実行される。もしくは、一旦、外部記憶装置２０４を介して、可搬性の記憶媒体２０８から外部記憶装置２０３にインストールされた後、必要に応じて、外部記憶装置２０３からメモリ２０２上にロードされ、ＣＰＵ２０１により実行される。さらには、図示していないネットワーク接続装置を介して、ネットワーク経由で、一旦外部記憶装置２０３にダウンロードされてからメモリ２０２上にロードされ、あるいは、直接、ネットワーク経由でメモリ２０２上にロードされて、ＣＰＵ２０１により実行される。
【００４３】
次に、本実施形態が適用された電子透かし情報埋込み装置の動作について説明する。
【００４４】
図８は図１に示す電子透かし情報埋込み装置１の動作を説明するためのフロー図である。このフローは、制御部１０２が、入出力部１０１と協調して、画像データと電子透かし情報ｂ₁〜ｂ_nを、それぞれ、画像保持部１１１、透かし情報保持部１１２に保持させることにより開始される。
【００４５】
まず、ブロック分割部１０３は、先に図２を用いて説明したように、組配列／配置ルール記憶部１１４に記憶されたルールにしたがい、画像保持部１１１に保持された画像データを予め定められたＭ×Ｎ（１≦Ｍ，Ｎ）の画素でなる複数の領域Ｓに分割する（ステップＳ１００１）。
【００４６】
次に、情報埋込部１０４は、先に図２乃至図５を用いて説明したように、組配列／配置ルール記憶部１１４に記憶されたルールにしたがい、各組Ｇに適用する輝度値増減方向パターン（第１あるいは第２パターン）を設定する（ステップＳ１００２）。それから、組配列／配置ルール記憶部１１４に記憶されたルールにしたがい、先に図６を用いて説明したように、電子透かし情報ｂ₁〜ｂ_nが各々埋め込まれる領域Ｔ₁〜Ｔ_nと輝度値増減パターンを特定する情報ｐが埋め込まれる領域Ｊと情報が埋め込まれない領域Ｈとでなる所定の配列を有する組Ｇが、画像データ上に敷き詰められるように順次配置され、且つ、ブロック分割部１０３にて画像データを分割することで得た複数の領域Ｓ各々が領域Ｔ₁〜Ｔ_n、Ｊ、Ｈのいずれかに必ず割り当てられるように、領域Ｔ₁〜Ｔ_n、Ｊ、Ｈを複数の領域Ｓに割り当てる（ステップＳ１００３）。
【００４７】
次に、情報埋込部１０４は、透かし情報保持部１１２より１ビット分の電子透かし情報ｂ_i（１≦ｉ≦ｎ）を読み出す（ステップＳ１００４）。それから、読み出した電子透かし情報ｂ_iを、ステップＳ１００２で割り当てた各組Ｇの対応する領域Ｔ_iに、ステップＳ１００２で設定した各組Ｇの輝度値増減方向パターンにしたがい、電子透かし情報ｂ_iのビット値に応じて該領域Ｔ_i内の画素データの輝度値をＵだけ増減することで、埋め込む（ステップＳ１００５）。
【００４８】
次に、上記のステップＳ１００４、Ｓ１００５の処理が、透かし情報保持部１１２に保持された電子透かし情報ｂ₁〜ｂ_nのすべてに対して行なわれると（ステップＳ１００６）、情報埋込部１０４は、各組Ｇの領域Ｊに、ステップＳ１００３で設定された輝度値増減方向パターン（第１あるいは第２パターン）を識別する情報ｐを埋め込む（ステップＳ１００７）。なお、上述したように、情報ｐの領域Ｊへの埋め込みついては、すべての輝度値増減方向パターンにおいて、ビット値に対する画素データの輝度値増減方向が同じになる。
【００４９】
各組Ｇの領域Ｊへの情報ｐの埋め込みが終了すると、すなわち、電子透かし情報ｂ₁〜ｂ_nと各組Ｇの電子透かし情報の埋め込み形態を特定する情報ｐの画像データへの埋め込みが終了すると、処理後の画像データを透かし入り画像保持部１１３に保持させて、本フローを終了する。この画像保持部１１３に保持された画像データは、透かし入り画像データとして、必要に応じて入出力部１０１から出力される。
【００５０】
次に、本実施形態が適用された電子透かしシステムに用いられる電子透かし情報抽出装置について説明する。
【００５１】
図９は、本発明の１実施形態が適用された電子透かしシステムに用いられる電子透かし情報抽出装置の概略構成図である。
【００５２】
図示するように、本実施形態の電子透かし情報抽出装置３は、処理部３００と記憶部３１０とでなる。
【００５３】
処理部３０１は、電子透かし情報が埋め込まれた画像データや当該画像データから抽出した電子透かし情報の入出力を担う入出力部３０１と、電子透かし情報抽出装置３の各部を統括的に制御する制御部３０２と、ブロック分割部３０３と、組認識部３０４と、情報抽出部３０５とを有する。
【００５４】
記憶部３１０は、入出力部３０１を介して入力された、電子透かし情報ｂ₁〜ｂ_nが埋め込まれた画像データを保持する画像保持部３１１と、電子透かし情報ｂ₁〜ｂ_nを画像データから抽出する際のルールを記憶する組配列／配置ルール記憶部３１２と、画像データより抽出された電子透かし情報ｂ₁〜ｂ_nを保持する透かし情報保持部３１３とを有する。ここで、組配列／配置ルール記憶部３１２に記憶されるルールは、図１に示す電子透かし情報埋込み装置１の組配列／配置ルール記憶部１１４に記憶されるルールと同じである。
【００５５】
ブロック分割部３０３は、画像保持部３１１に保持されている電子透かし情報ｂ₁〜ｂ_nが埋め込まれた画像データを、図１に示す電子透かし情報埋込み装置１のブロック分割部３０３と同じ要領で、Ｍ×Ｎ（１≦Ｍ，Ｎ）画素でなる複数の領域Ｓに分割する。ここで、領域Ｓのサイズ（Ｍ×Ｎ）は、図１に示す電子透かし情報埋込み装置１のブロック分割部３０３で設定されている領域Ｓのサイズと同じに設定しておく。
【００５６】
組認識部３０４は、組配列／配置ルール記憶部３１２に記憶されたルールにしたがい、画像保持部３１１に保持されている電子透かし情報ｂ₁〜ｂ_nが埋め込まれた画像データに複数配置された各組Ｇの位置を認識する。具体的には、以下の要領で行う。
【００５７】
先ず、ブロック分割部３０３で複数の領域Ｓに分割された画像データに、組配列／配置ルール記憶部３１２に記憶されたルールによって特定される組Ｇと同じサイズ・形状の仮の組Ｇ’を、組配列／配置ルール記憶部３１２に記憶されたルールによって特定される所定の規則にしたがい配置する（つまり、画像データ上に敷き詰められるように配置する）。
【００５８】
次に、上記のようにして画像データ上に配置された仮の組Ｇ’各々の領域Ｓについて、情報が埋め込まれているか否かを調べ、情報が埋め込まれていない領域Ｈを検出する。
【００５９】
具体的には、たとえば、図３に示すような３×３の合計９つの領域Ｓ₁〜Ｓ₉からなる組Ｇと同じサイズ・形状の仮の組Ｇ’を画像データ上に敷き詰めるよう配置した場合、領域Ｓ_i（１≦ｉ≦９）について、各仮の組Ｇ’毎に、当該領域Ｓ_i内の画素データの輝度値平均Ｆを求め、この平均の総和ΣＦを求める。また、各仮の組Ｇ’毎に、当該領域Ｓ_iの上下左右に位置する隣接領域の画素データの輝度値平均Ｒを求め、この平均の総和ΣＲを求める。そして、｜ΣＦ−ΣＲ｜≧Ｔｈ（ここで、Ｔｈは要求される誤り率により異なるが、たとえば、Ｔｈ≧Ｕ×ｍ（ｍは画像データ上に配置された仮の組Ｇ’の数）とする）であれば、当該領域Ｓ_iに何らかの情報が埋め込まれていると判断し、｜ΣＦ−ΣＲ｜＜Ｔｈであれば、当該領域Ｓ_iには情報が埋め込まれていないと判断する。この処理を領域Ｓ₁〜Ｓ₉の全てに対して行うことにより、情報が埋め込まれていない領域を検出する。
【００６０】
上述したように、情報が埋め込まれていない領域Ｈ以外に割り当てられた領域について、当該領域が、ビット値に対する画像データの輝度値増減方向がすべての輝度増減方向パターンにおいて同じ領域Ｓに割り当てられている場合、各仮の組Ｇ’毎に求めた、当該領域の画素データの輝度値平均Ｆの総和ΣＦには、当該領域に埋め込まれた情報による輝度値増減が反映される。一方、各仮の組Ｇ’毎に求めた、当該領域の上下左右に位置する隣接領域の画素データの輝度値平均Ｒの総和ΣＲには、これら隣接領域のビット値に対する画像データの輝度値増減方向が輝度増減方向パターンにより反転するため、埋め込まれた情報による輝度値増減がキャンセルされる。したがい、総和ΣＦと総和ΣＲにはある程度の差が生じる。
【００６１】
また、情報が埋め込まれていない領域Ｈ以外に割り当てられた領域について、当該領域が、ビット値に対する画像データの輝度値増減方向が輝度増減方向パターンにより反転する領域Ｓに割り当てられている場合、各仮の組Ｇ’毎に求めた、当該領域の画素データの輝度値平均Ｆの総和ΣＦには、当該領域に埋め込まれた情報による輝度値増減がキャンセルされる。一方、各仮の組Ｇ’毎に求めた、当該領域の上下左右に位置する隣接領域の画素データの輝度値平均Ｒの総和ΣＲには、これら隣接領域のビット値に対する画像データの輝度値増減方向がすべての輝度増減方向パターンで同じであり、かつ、これら４つの隣接領域のうちの１つは、情報が埋め込まれていない領域Ｈであるため、その他の３つの隣接領域に埋め込まれた情報による輝度値増減が反映される。したがい、総和ΣＦと総和ΣＲにはある程度の差が生じる。
【００６２】
これに対し、情報が埋め込まれない領域Ｈは、当該領域の上下左右に位置する隣接領域のビット値に対する画像データの輝度値増減方向が輝度増減方向パターンにより反転する領域Ｓに割り当てられている。このため、各仮の組Ｇ’毎に求めた、当該領域の上下左右に位置する隣接領域の画素データの輝度値平均Ｒの総和ΣＲには、埋め込まれた情報による輝度値増減がキャンセルされる。一方、領域Ｈには、そもそも情報が埋め込まれていないのであるから、各仮の組Ｇ’毎に求めた、当該領域の画素データの輝度値平均Ｆの総和ΣＦには、情報埋め込みによる輝度値増減がない。したがい、総和ΣＦと総和ΣＲとの間に生じる差は小さくなる。
【００６３】
このため、領域Ｓ_iについて、各仮の組Ｇ’毎に求めた総和ΣＦと総和ΣＲとの差分を求めることで、情報ｐが埋め込まれていない領域Ｈを検出することができる。
【００６４】
次に、上記のようにして、情報が埋め込まれていない領域Ｈを検出したならば、この領域Ｈの画像データ上の位置から、画像データ上に複数配置された、電子透かし情報ｂ₁〜ｂ_nが各々埋め込まれた領域Ｔ₁〜Ｔ_nと画像データの輝度値増減方向パターンを特定する情報ｐが埋め込まれた領域Ｊと情報が埋め込まれていない領域Ｈとでなる、組配列／配置ルール記憶部３１２に記憶されたルールによって特定される所定の配列を有する組Ｇを認識する。
【００６５】
たとえば、図６に示すように、電子透かし情報ｂ₁〜ｂ₇が各々埋め込まれた領域Ｔ₁〜Ｔ₇と情報ｐが埋め込まれた領域Ｊと情報が埋め込まれていない領域Ｈが３×３の合計９つの領域Ｓに所定の配列で割り当てられてなる組Ｇが、画像データ上に敷き詰められるように順次配置されることにより、電子透かし情報ｂ₁〜ｂ₇が画像データに埋め込まれている場合において、この画像データの上部２画素ライン分がカットされ画像シフトが生じた場合を考える。
【００６６】
この場合、仮の組Ｇ’は、図１０に示すように割り当てられるが、本実施形態では、電子透かし情報を画像データに埋め込む際に、電子透かし情報ｂ₁〜ｂ₇が各々埋め込まれる領域Ｔ₁〜Ｔ₇と情報ｐが埋め込まれる領域Ｊと電子透かし情報が埋め込まれない領域Ｈが３×３の合計９つの領域Ｓに所定の配列で割り当てられてなる組Ｇが、画像データ上に敷き詰められるように順次配置しているので、各仮の組Ｇ’には情報が埋め込まれない領域Ｈが必ず含まれることになる。
【００６７】
このため、画像データから情報が埋め込まれていない領域Ｈを検出をすることで、図１１に示すように、この領域Ｈの画像データ上の位置から、画像データ上に複数配置された組Ｇを各々認識することができる。
【００６８】
情報抽出部３０５は、組認識部３０４で認識された各組Ｇの配置にしたがい、画像保持部３１１に保持されている電子透かし情報ｂ₁〜ｂ_nが埋め込まれた画像データから電子透かし情報ｂ₁〜ｂ_nを抽出する。
【００６９】
具体的には、先ず、組認識部３０４で認識された各組Ｇの領域Ｊより情報ｐを抽出し、各組Ｇへの情報埋め込みに用いた輝度値増減方向パターンを調べる。なお、領域Ｊよりの情報ｐの抽出は、領域Ｊ内の画素データの輝度値平均Ｆと当該領域の上下左右に位置する隣接領域の画素データの輝度値平均Ｒとの差分Ｆ−Ｒを調べ、その差分Ｆ−Ｒが所定の閾値＋Ｔｈ（情報埋め込みの際に用いたＵよりもやや低めに設定する）以上である場合は、その領域に埋め込めれている情報ｐはビット値が１であると判断し、その差分Ｆ−Ｒが所定の閾値−Ｔｈ以下の場合は、その領域に埋め込めれている情報ｐはビット値が０であると判断する。
【００７０】
次に、各組Ｇの領域Ｊに埋め込まれた情報ｐの値が判明したならば、当該情報ｐにより特定される輝度値増減方向パターンを考慮しつつ、領域Ｔ_i（１≦ｉ≦ｎ）について、当該領域内の各画素データの輝度値平均Ｆと当該領域の上下左右に位置する隣接領域の画素データの輝度値平均Ｒとの差分を、各組Ｇより抽出する。ここで、情報ｐにより特定される輝度値増減方向パターンを考慮するとは、ある組Ｇの情報ｐにより特定される輝度値増減方向パターンが、当該組Ｇの領域Ｔ_iに対し、ビットが１ならばＵだけ増加させ、０ならばＵだけ減少させるように電子透かし情報ｂ_iが埋め込まれたことを示している場合、平均Ｆと平均Ｒとの差分としてＦ−Ｒを抽出し、該輝度値増減方向パターンが、ビットが１ならばＵだけ減少させ、０ならばＵだけ増加させるように電子透かし情報ｂ_iが埋め込まれたことを示している場合は、平均Ｆと平均Ｒとの差分としてＲ−Ｆを抽出することで、ビット値に対する画素データの輝度値増減方向の相違によるビット値に対する、前記差分の符号の相違を打ち消すことを意味する。
【００７１】
上記のようにして、領域Ｔ_iについて、当該領域内の画素データの輝度値平均Ｆと当該領域の上下左右に位置する隣接領域の画素データの輝度値平均Ｒとの差分を各組Ｇより抽出したならば、当該差分の総和Ｚを求め、この総和Ｚを所定の閾値Ｗ（情報埋め込みの際に用いたＵよりもやや低めに設定した閾値Ｔｈ×組認識部３０４で認識された組数に設定する）と比較することで、電子透かし情報ｂ_iのビット値を調べる。たとえば、総和Ｚが閾値＋Ｗ以上の場合は、電子透かし情報ｂ_iのビット値を１と判定し、閾値−Ｗ以下の場合は、電子透かし情報ｂ_iのビット値を０と判定する。
【００７２】
以上の処理を領域Ｔ₁〜Ｔ_nのすべてについて行うことにより、画像データから電子透かし情報ｂ₁〜ｂ_nを抽出する。
【００７３】
次に、本実施形態が適用された電子透かし情報抽出装置のハードウエア構成について説明する。
【００７４】
本実施形態の電子透かし情報抽出装置のハードウエア構成は、図７に示す電子透かし情報埋込み装置のハードウエア構成と基本的に同様である。すなわち、ＣＰＵ２０１と、メモリ２０２と、ハードディスク装置などの外部記憶装置２０３やその他の外部記憶装置２０４と、キーボードなどの入力装置２０５と、ディスプレイなどの出力装置２０６と、外部記憶装置や入出力装置とのインターフェース２０７とを備えた、一般的な構成を有する情報処理装置上に構築することができる。ここで、図９に示す処理部３００の各部は、ＣＰＵ２０１がメモリ２０２上にロードされたプログラムを実行することで、情報処理装置上に具現化されるプロセスとして実現される。また、この場合、メモリ２０２や外部記憶装置２０３、２０４が図９に示す記憶部３１０として使用される。
【００７５】
上述した、ＣＰＵ２０１により実行されることで情報処理装置上に本実施形態の電子透かし情報抽出装置を具現化するためのプログラムは、予め外部記憶装置２０３に記憶され、必要に応じてメモリ２０２上にロードされ、ＣＰＵ２０１により実行される。あるいは、可搬性の記憶媒体２０８、たとえばＣＤ−ＲＯＭを扱う外部記憶装置２０４を介して、必要に応じて、可搬性の記憶媒体２０８からメモリ２０２上にロードされ、ＣＰＵ２０１により実行される。もしくは、一旦、外部記憶装置２０４を介して、可搬性の記憶媒体２０８から外部記憶装置２０３にインストールされた後、必要に応じて、外部記憶装置２０３からメモリ２０２上にロードされ、ＣＰＵ２０１により実行される。さらには、図示していないネットワーク接続装置を介して、ネットワーク経由で、一旦外部記憶装置２０３にダウンロードされてからメモリ２０２上にロードされ、あるいは、直接、ネットワーク経由でメモリ２０２上にロードされ、ＣＰＵ２０１により実行される。
【００７６】
なお、本実施形態の電子透かしシステムに用いられる電子透かし情報埋込み装置と電子透かし情報抽出装置は、同じ情報処理装置上に構築することも可能である。
【００７７】
次に、本実施形態が適用された電子透かし情報抽出装置の動作について説明する。
【００７８】
図１２は図９に示す電子透かし情報抽出装置３の動作を説明するためのフロー図である。このフローは、制御部３０２が、入出力部３０１と協調して、電子透かし情報ｂ₁〜ｂ_nが埋め込まれた画像データを、画像保持部３１１に保持させることにより開始される。
【００７９】
まず、ブロック分割部３０３は、画像保持部３１１に保持された画像データを、図１に示す電子透かし情報埋込み抽出装置１のブロック分割部３０３で設定されているサイズの複数の領域Ｓに分割する（ステップＳ３００１）。
【００８０】
次に、組認識部３０４は、先に図１０を用いて説明したように、ステップＳ３００１で複数の領域Ｓに分割された画像データに、組配列／配置ルール記憶部３１２に記憶されたルールによって特定される組Ｇと同じサイズ・形状の仮の組Ｇ’を、組配列／配置ルール記憶部３１２に記憶されたルールによって特定される所定の規則にしたがい配置する（ステップＳ３００２）。
【００８１】
次に、組認識部３０４は、上述したように、画像データ上に配置された各仮の組Ｇ’において情報が埋め込まれていない領域Ｈを検出する（ステップＳ３００３）。
【００８２】
それから、組認識部３０４は、先に図１１を用いて説明したように、検出した領域Ｈの画像データ上の位置から、画像データ上に複数配置された、電子透かし情報ｂ₁〜ｂ_nが各々埋め込まれた領域Ｔ₁〜Ｔ_nと輝度値増減方向パターンを特定する情報ｐが埋め込まれた領域Ｊと情報が埋め込まれない領域Ｈとでなる、組配列／配置ルール記憶部３１２に記憶されたルールによって特定される所定の配列を有する組Ｇを認識する（ステップＳ３００４）。
【００８３】
組認識部３０４による組Ｇの認識が終了すると、情報抽出部３０５は、組認識部３０４で認識された各組Ｇの領域Ｊより情報ｐを抽出し、ビット値を調べることで、各組Ｇに用いられた輝度値増減方向パターンを判定する（ステップＳ３００５）。
【００８４】
次に、情報抽出部３０５は、組認識部３０４で認識された各組Ｇの領域Ｔ₁〜Ｔ_nのうち、領域Ｔ_iに注目する（ステップＳ３００６）。
【００８５】
次に、情報抽出部３０５は、ある組Ｇについて、当該組Ｇの領域Ｔ_i内の各画素データの輝度値平均Ｆを求め（ステップＳ３００７）、それから、当該領域Ｔ_iの上下左右に位置する隣接領域の画素データの輝度値平均Ｒを求める（ステップＳ３００８）。そして、当該組Ｇについて、ステップＳ３００５で判定した輝度値増減方向パターンにより特定される領域Ｔ_iへの電子透かし情報ｂ_iの埋め込みに用いた画素データの輝度増減方向にしたがい、平均Ｆと平均Ｒとの差分を求める（ステップＳ３００９）。具体的には、当該組Ｇに対する輝度値増減方向パターンが、領域Ｔ_iに対し、ビットが１ならばＵだけ増加させ、０ならばＵだけ減少させるように電子透かし情報ｂ_iが埋め込まれたことを示している場合は、平均Ｆと平均Ｒとの差分としてＦ−Ｒを求め、該輝度値増減方向パターンが、ビットが１ならばＵだけ減少させ、０ならばＵだけ増加させるように電子透かし情報ｂ_iが埋め込まれたことを示している場合は、平均Ｆと平均Ｒとの差分としてＲ−Ｆを求める。
【００８６】
次に、情報抽出部３０５は、ステップＳ３００６で注目した領域Ｔ_iについて、組認識部３０４で認識したすべての組Ｇに対してステップＳ３００７〜Ｓ３００９の処理が終了したならば（ステップＳ３０１０）、領域Ｔ_iについて、ステップＳ３００９にてすべての組Ｇに対して求めた差分の総和Ｚを求め、この差分の総和Ｚを所定の閾値Ｗ（情報埋め込みの際に用いたＵよりもやや低めに設定した閾値Ｔｈ×組認識部３０４で認識された組数に設定する）と比較する（ステップＳ３０１１）。そして、総和Ｚが閾値＋Ｗ以上の場合は、各組Ｇの領域Ｔ_iに埋め込まれた電子透かし情報ｂ_iは１と判定し（ステップＳ３０１２）、総和Ｚが閾値−Ｗ以下の場合は、電子透かし情報ｂ_iのビット値は０と判定する（ステップＳ３０１３）。なお、総和Ｚが閾値＋Ｗ以上でなく、閾値−Ｗ以下でもない場合は、本来領域Ｔ_iに埋め込まれるべき電子透かし情報ｂ_iが埋め込まれていないことを意味する。この場合、本実施形態の電子透かし情報埋込み装置により電子透かし情報ｂ₁〜ｂ_nが埋め込まれた画像データに、画像シフト以外の処理（たえば、回転処理や拡大・縮小処理）が施された可能性があるので、エラー処理を行って（ステップＳ３０１４）、本フローを終了する。
【００８７】
電子透かし情報が埋め込まれた領域Ｔ₁〜Ｔ_nのすべてについて、ステップＳ３００６〜Ｓ３０１１の処理が終了すると（ステップＳ３０１５）、情報抽出部３０４は、電子透かし情報ｂ₁〜ｂ_nのビット値を透かし情報保持部３１３に保持させて、本フローを終了する。この透かし情報保持部３１３に保持された画像データは、電子透かし情報として必要に応じて入出力部３０１から出力される。
【００８８】
以上、本発明の１実施形態について説明した。
【００８９】
本実施形態によれば、電子透かし情報ｂ₁〜ｂ_nが各々埋め込まれる領域Ｔ₁〜Ｔ_nと前記電子透かし情報ｂ₁〜ｂ_nの前記領域Ｔ₁〜Ｔ_nへの埋め込み形態（輝度値増減方向パターン）を特定する情報ｐが埋め込まれる領域Ｊと情報が埋め込まれない領域Ｈとでなる所定の配列を有する組Ｇが画像データ上に敷き詰められるように順次配置され、且つ、画像データを分割することで得られる複数の領域Ｓ各々が領域Ｔ₁〜Ｔ_n、Ｊ、Ｈのいずれかに割り当てられるようにして、電子透かし情報ｂ₁〜ｂ_nおよび情報ｐを画像データに埋め込むようにしている。
【００９０】
したがって、このようにして電子透かし情報ｂ₁〜ｂ_nが埋め込まれた画像データに画像シフト処理が施され、このために、電子透かし情報ｂ₁〜ｂ_nが埋め込まれた領域Ｔ₁〜Ｔ_nのＸ−Ｙ座標上における位置が変化した場合でも、この画像シフト処理が施された画像データを複数の領域Ｓに分割し、当該複数の領域Ｓから情報が埋め込まれていない領域Ｈを検出することで、当該検出した領域Ｈの画像データ上のＸ−Ｙ座標値より、当該画像データ上に複数配置された組Ｇを各々認識することができる。
【００９１】
特に、本実施形態では、電子透かし情報ｂ₁〜ｂ_nが埋め込まれた画像データに対して、先ず、電子透かし情報埋め込みの際に用いた組Ｇと同じ形状・サイズを持つ仮の組Ｇ’を、電子透かし情報埋め込みの際における該組Ｇの配置ルールにしたがって配置し、次に、このようにして画像データ上に順次配置した各仮の組Ｇ’の領域Ｓを調べることで、情報が埋め込まれていない領域Ｈを検出し、それから、検出した領域Ｈの画像データ上のＸ−Ｙ座標値より、当該画像データ上に複数配置された組Ｇを各々認識することにより、電子透かし情報ｂ₁〜ｂ_nが埋め込まれた画像データ上の領域Ｔ₁〜Ｔ_nを検出するようにしている。
【００９２】
すなわち、本実施形態によれば、電子透かし情報ｂ₁〜ｂ_nが埋め込まれた画像データ上の領域Ｔ₁〜Ｔ_nの検出位置を特定するに際し、仮の組Ｇ’内に含まれる領域Ｓの数に応じた回数、差分｜ΣＦ−ΣＲ｜を算出して、情報が埋め込まれているか否かを調べればよいので、電子透かし情報ｂ₁〜ｂ_nが埋め込まれた画像データ上の領域Ｔ₁〜Ｔ_nの検出位置の特定を高速に実行することができる。この効果は、電子透かし情報ｂ₁〜ｂ_nが埋め込まれた画像データに、画像シフト以外の処理（たえば、回転処理や拡大・縮小処理）が施された場合に、これらの処理をも考慮して、画像データ上の領域Ｔ₁〜Ｔ_nの検出位置を特定できるように電子透かし抽出装置が構成されている場合に特に効果的である。
【００９３】
本発明者等は、電子透かし情報ｂ₁〜ｂ_n各々について（該情報を画像データに埋め込む者との間で）予め定められたＸ−Ｙ座標上における画像データへの埋め込み位置を調べる処理を、すべての埋め込み位置から対応する電子透かし情報ｂ₁〜ｂ_nが検出されるまで、画像データに対し、当該画像データに施されたであろう左右反転や拡大・縮小処理や回転処理と同じ変形処理を施しながら繰り返すことで、電子透かし情報ｂ₁〜ｂ_n埋め込み後に可逆的な幾何学的変形（変形前の画像データを復元可能な変形）が加えられた画像データから、電子透かし情報ｂ₁〜ｂ_nを抽出する方法について発明し、すでに出願している（出願番号：特願平１０−３４３１１９）。
【００９４】
この方法を画像シフト処理にも適用することは可能である。すなわち、画像データのＸ−Ｙ座標上の原点Ｏを変更する処理を、上記の変形処理と組み合わせて施しながら繰り返すことで、電子透かし情報ｂ₁〜ｂ_n埋め込み後に可逆的な幾何学的変形および画像シフト処理が加えられた画像データから、電子透かし情報ｂ₁〜ｂ_nを抽出することも可能である。しかしながら、この場合、電子透かし情報ｂ₁〜ｂ_n各々の検出位置を特定するための探索回数が極端に増加してしまい、処理にかかる負担が飛躍的に増加してしまう。
【００９５】
図１３は、画像データに施されたであろう左右反転や拡大・縮小処理や回転処理と同じ変形処理を当該画像データから電子透かし情報ｂ₁〜ｂ_nが抽出されるまで繰り返し行う方法を、画像シフト処理による変形にも適用させた場合（図１３（ａ））と、当該方法に本実施形態の抽出方法を組み合わせた場合（図１３（ｂ））における処理負担の相違を説明するためのフロー図である。
【００９６】
図１３（ａ）において、画像データに施す回転処理を１度づつ３６０度行い、拡大・縮小処理を０．５倍〜２．０倍の範囲で拡大率を０．１倍刻みで行うとすると、左右反転と回転処理と拡大・縮小処理の組み合わせのために必要となる、電子透かし情報ｂ₁〜ｂ_n抽出のための探索回数は、最大で２回（左右反転処理回数）×３６０回（回転処理回数）×２１回（拡大・縮小処理回数）＝１５１２０回となる。これに画像シフト処理が加わると探索回数が飛躍的に増加してしまう。すなわち、画像データを構成する各画素データ数は膨大であり、また、各画素データの位置を特定するＸ−Ｙ座標の原点Ｏの位置は、常に画像データ上に位置するとは限らないため（たとえば、図１８に示すように、画像データの一部がカットされた場合において、カット前の原点Ｏがカットされた部分に位置している場合も有り得る）、Ｘ−Ｙ座標の原点Ｏの位置の探索回数は膨大となる。これが、上記の探索回数１５１２０に乗算されるため、フローのルーチン回数は膨大となってしまう。
【００９７】
これに対し、本実施形態を適用した場合によれば、図１３（ｂ）に示すように、フローのルーチン回数は、画像シフト処理に対する対策を施さない場合と基本的に変わらない。
【００９８】
このように、本実施形態は、電子透かし情報ｂ₁〜ｂ_nが埋め込まれた画像データに、画像シフト以外の幾何学的変形処理が施された場合に、これらの処理をも考慮して、画像データ上の領域Ｔ₁〜Ｔ_nの検出位置を特定できるように電子透かし抽出装置が構成されている場合に特に効果的である。
【００９９】
なお、本発明は、上記の実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。
【０１００】
たとえば、上記の実施形態では、電子透かし情報の画像データへの埋め込みに際し、各組Ｇ毎に、情報が埋め込まれていない領域Ｈが１つ割り当てられるようにしたものについて説明したが、各組Ｇ毎に、情報が埋め込まれていない領域Ｈが複数割り当てられるようにしてもよい。この場合、図１４に示すように、各組Ｇ毎に、複数の領域Ｈを、上下左右に対して非対称となるよう割り当てておくと、情報抽出の際に、この複数の領域Ｈの配列を調べることで、図１５に示すように画像データに加えられた左右反転や、図１６に示すように画像データに加えられた回転などを併せて検出することが可能となる。
【０１０１】
また、図１４に示す上下左右に対して非対称となる、情報が埋め込まれていない複数の領域Ｈに代えて、たとえば、ビット値が１となる情報を埋め込んだ領域を配置するようにしてもよい。そして、ビット値１を有する領域であって、このような配列を有する領域を検出することで、画像データ上における組Ｇの配置を特定するようにしてもよい。
【０１０２】
また、本実施形態では、電子透かし情報の画像データへの埋め込みに際し、各組Ｇに適用する輝度値増減方向パターンとして、図４に示すような２種類のパターンを用いたものについて説明したが、３種類以上のパターンを用いるようにしてもかまわない。この場合、この３種類以上のパターンを特定する情報ｐ₁〜ｐ_k（ｋはパターンの数に応じて定まる）を、各組Ｇの領域に割り当てるようにすればよい。また、パターンの組み合わせも、情報が埋め込まれていない領域Ｈの画素データの輝度値平均Ｆの各組Ｇについての総和ΣＦと当該領域の上下左右に位置する隣接領域の画素データの輝度値平均Ｒの総和ΣＲとの差分に、これら隣接領域に埋め込まれた情報による輝度値増減の影響を受けないものであれば、どのようなものであってもよい。また、情報が埋め込まれていない領域Ｈを、何らかの方法により、当該領域Ｈの上下左右に位置する隣接領域に埋め込まれた情報の影響を受けることなく検出可能であるならば、用いるパターンを１種類のみとしてもよい。この場合、情報ｐを埋め込む領域Ｊは不要となる。なお、この場合の画像データからの電子透かし情報の抽出は、たとえば、情報が埋め込まれていない領域Ｈに隣接する領域Ｔ_i（１≦ｉ≦ｎ）について、当該領域内の画素データの輝度値平均Ｆと、情報が埋め込まれていない領域Ｈの画素データの輝度値平均Ｒとの差分Ｆ−Ｒを、各組Ｇについて求め、求めた差分Ｆ−Ｒの総和Σ（Ｆ−Ｒ）と閾値とを比較することで、前記領域Ｔ_iに埋め込まれた情報のビット値を判定する。次に、埋め込まれた情報のビット値が判定された領域Ｔ_iに隣接する領域Ｔ_j（１≦ｊ≦ｎ，ｊ≠ｉ）について、当該領域Ｔ_j内の画素データの輝度値平均Ｆと、領域Ｔ_iの画素データの輝度値平均Ｒから領域Ｔ_iに埋め込まれた情報のビット値に応じた輝度増減値を引いた値Ｒ’の差分Ｆ−Ｒ’を、各組Ｇについて求め、求めた差分Ｆ−Ｒ’の総和Σ（Ｆ−Ｒ’）と閾値とを比較することで、前記領域Ｔ_jに埋め込まれた情報のビット値を判定する。この処理を電子透かし情報ｂ₁〜ｂ_nが埋め込まれた領域Ｔ₁〜Ｔ_nのすべてに対して行うことで、画像データから電子透かし情報ｂ₁〜ｂ_nを抽出するようにすれば、領域Ｔ_iの隣接領域に埋め込まれた情報の影響を受けることなく、領域Ｔ_iに埋め込まれた情報のビット値を精度よく判定することが可能となる。
【０１０３】
また、本実施形態では、情報を埋め込む領域の画素データの輝度値をビット値に応じて増減することで、当該領域に情報を埋め込んでいるが、輝度値の代えてその他のデータ値に変更を加えるようにすることで、当該領域に情報を埋め込むようにしてもよい。
【０１０４】
さらに、本実施形態では、電子透かし情報を埋め込む対象として、静止画像データの場合を例にとり説明しているが、本発明は、当然のことながら、動画像データにも適用可能である。この場合、フレームあるいはフィールド画像データを単位として、電子透かし情報を埋め込むようにすればよい。また、動画像データにＭＰＥＧなどのフレームあるいはフィールド間予測符号化が施されている場合には、Ｉフレームに電子透かし情報を埋め込むようにすればよい。
【０１０５】
さらに、本実施形態により画像データに埋め込まれた電子透かし情報を、当該画像データに施された回転や拡大・縮小を検出するためのキャリブレーション用透かしとして用いるようにしてもよい。
【０１０６】
すなわち、本実施形態のようにして電子透かし情報を画像データに埋め込んだ後、著作権などの電子透かし情報を別の方法（たとえば、従来の技術で説明した方法にて、情報の埋め込みの際に輝度値増減の変わりに色情報に変更を加える方法）により、画像データに埋め込む。
【０１０７】
そして、画像データから著作権などの電子透かし情報を抽出する場合には、先ず、画像データを構成する各画素データについて、隣接画素データとの輝度値の差分を調べることで、画像データ上において情報が埋め込まれていない領域を検出する。次いで、検出した領域のサイズおよび配置パターンが、上記の実施形態のようにして電子透かし情報を画像データに埋め込んだ際における、領域Ｓのサイズ、および、組Ｇ内の領域の配列パターンと組Ｇの画像データ上での配置パターンにより特定される情報が埋め込まれていない領域の配置パターンと同じになるように、画像データに反転処理や回転処理を加える。これにより、電子透かし情報を埋め込んだ際の画像データを復元する。著作権などの電子透かし情報が埋め込まれた位置の前記情報が埋め込まれていない領域からの相対位置を予め把握しておくことで、当該情報を画像データから抽出することができる。
【０１０８】
【発明の効果】
以上説明したように、本発明によれば、電子透かし情報が埋め込まれた画像データに画像シフト処理が施された場合でも、当該画像シフト処理が施された画像データから電子透かし情報が埋め込まれている位置を特定することができる。
【図面の簡単な説明】
【図１】本発明の１実施形態が適用された電子透かしシステムに用いられる電子透かし情報埋め込み装置１の概略構成図である。
【図２】図１に示す電子透かし情報埋め込み装置１のブロック分割部１０３の動作原理を説明するための図である。
【図３】図１に示す電子透かし情報埋め込み装置１の情報埋込部１０４の動作原理を説明するための図である。
【図４】図１に示す電子透かし情報埋め込み装置１の情報埋込部１０４の動作原理を説明するための図である。
【図５】図１に示す電子透かし情報埋め込み装置１の情報埋込部１０４の動作原理を説明するための図である。
【図６】図１に示す電子透かし情報埋め込み装置１の情報埋込部１０４の動作原理を説明するための図である。
【図７】図１に示す電子透かし情報埋込み装置１のハードウエア構成の一例を示す図である。
【図８】図１に示す電子透かし情報埋込み装置１の動作を説明するためのフロー図である。
【図９】本発明の１実施形態が適用された電子透かしシステムに用いられる電子透かし情報抽出装置３の概略構成図である。
【図１０】図９に示す電子透かし情報抽出装置３の組認識部３０４の動作原理を説明するための図である。
【図１１】図９に示す電子透かし情報抽出装置３の組認識部３０４の動作原理を説明するための図である。
【図１２】図９に示す電子透かし情報抽出装置３の動作を説明するためのフロー図である。
【図１３】画像データに施されたであろう左右反転や拡大・縮小処理や回転処理と同じ変形処理を当該画像データから電子透かし情報ｂ₁〜ｂ_nが抽出されるまで繰り返し行う方法を、画像シフト処理による変形にも適用させた場合（図１３（ａ））と、当該方法に本発明の抽出方法を組み合わせた場合（図１３（ｂ））における処理負担の相違を説明するためのフロー図である。
【図１４】図１に示す電子透かし情報埋め込み装置１の情報埋込部１０４において、画像データに対する組Ｇの配置パターンの変形例を説明するための図である。
【図１５】図１４に示す組Ｇの配置パターンを有する画像データに反転処理が加えられた様子を説明するための図である。
【図１６】図１４に示す組Ｇの配置パターンを有する画像データに１８０度回転処理が加えられた様子を説明するための図である。
【図１７】従来の電子透かし技術による画像データへの情報埋め込み・抽出処理の原理を説明するための図である。
【図１８】従来の電子透かし技術による画像データへの情報埋め込み・抽出処理において、画像データに画像シフト処理が施された場合の問題点を説明するための図である。
【符号の説明】
１…電子透かし情報埋込み装置
３…電子透かし情報抽出装置
１００，３００…処理部
１０１，３０１…入出力部
１０３，３０３…ブロック分割部
１０４，３０５…情報埋込部
１１０，３１０…記憶部
１１１，３１１…画像保持部
１１２，３１３…透かし情報保持部
１１３…透かし入り画像保持部
１１４，３１２…組配列／配置ルール記憶部
２０１…ＣＰＵ
２０２…メモリ
２０３，２０４…外部記憶装置
２０５…入力装置
２０６…出力装置
６０７…インターフェース
２０８…記憶媒体
３１４…組認識部

Claims (10)

1. 画像データをＭ×Ｎ（１≦Ｍ，Ｎ）画素でなる複数の領域Ｓに分割し、電子透かし情報ｂ₁〜ｂ_n（２≦ｎ）各々を、前記複数の領域Ｓのうちの少なくとも１つに埋め込む、電子透かし情報の埋め込み方法であって、
   前記電子透かし情報ｂ₁〜ｂ_nが各々埋め込まれる領域Ｔ₁〜Ｔ_nと情報が埋め込まれない領域Ｈ₁〜Ｈ_m（１≦ｍ）とでなる所定の配列を有する組が、所定の規則にしたがって複数配置され、且つ、前記複数の領域Ｓ各々が、前記領域Ｔ₁〜Ｔ_n、Ｈ₁〜Ｈ_mのいずれかに割り当てられるように、前記電子透かし情報ｂ₁〜ｂ_nを前記画像データに埋め込むこと
   を特徴とする電子透かし情報の埋め込み方法。
2. 画像データをＭ×Ｎ（１≦Ｍ，Ｎ）画素でなる複数の領域Ｓに分割し、電子透かし情報ｂ₁〜ｂ_n（２≦ｎ）各々を、前記複数の領域Ｓのうちの少なくとも１つに埋め込む、電子透かし情報の埋め込み方法であって、
   前記電子透かし情報ｂ₁〜ｂ_nが各々埋め込まれる領域Ｔ₁〜Ｔ_nと前記電子透かし情報ｂ₁〜ｂ_nの前記領域Ｔ₁〜Ｔ_nへの埋め込み形態を特定する情報ｐ₁〜ｐ_k（１≦ｋ）が埋め込まれる領域Ｊ₁〜Ｊ_kと情報が埋め込まれない領域Ｈ₁〜Ｈ_m（１≦ｍ）とでなる所定の配列を有する組が、所定の規則にしたがって複数配置され、且つ、前記複数の領域Ｓ各々が、前記領域Ｔ₁〜Ｔ_n、Ｊ₁〜Ｊ_k、Ｈ₁〜Ｈ_mのいずれかに割り当てられるように、前記電子透かし情報ｂ₁〜ｂ_nと前記埋め込み形態を特定する情報ｐ₁〜ｐ_kを、前記画像データに埋め込むこと
   を特徴とする電子透かし情報の埋め込み方法。
3. 請求項２記載の電子透かし情報の埋め込み方法であって、
   前記電子透かし情報ｂ₁〜ｂ_nを、各々、ビット値（０，１）に応じて、対応する領域Ｔ₁〜Ｔ_nの画素データ値を増減することで埋め込み、
   前記埋め込み形態を特定する情報ｐ₁〜ｐ_kは、当該情報ｐ₁〜ｐ_kが埋め込まれる領域Ｊ₁〜Ｊ_kが属する組において、領域Ｔ₁〜Ｔ_n各々の電子透かし情報のビット値に対する画素データ値の増減方向パターンを示すこと
   を特徴とする電子透かし情報の埋め込み方法。
4. 請求項１記載の電子透かし情報の埋め込み方法により電子透かし情報ｂ₁〜ｂ_nが埋め込まれた画像データから前記電子透かし情報を抽出する、電子透かし情報の抽出方法であって、
   画像データをＭ×Ｎ（１≦Ｍ，Ｎ）画素でなる複数の領域Ｓに分割し、当該複数の領域Ｓから情報が埋め込まれていない領域Ｈ₁〜Ｈ_mを検出し、当該検出した領域Ｈ₁〜Ｈ_mの前記画像データ上の位置より、前記画像データ上に複数配置された組を各々認識すること
   を特徴とする電子透かし情報の抽出方法。
5. 請求項２記載の電子透かし情報の埋め込み方法により電子透かし情報ｂ₁〜ｂ_nが埋め込まれた画像データから前記電子透かし情報を抽出する、電子透かし情報の抽出方法であって、
   画像データをＭ×Ｎ（１≦Ｍ，Ｎ）画素でなる複数の領域Ｓに分割し、当該複数の領域Ｓから情報が埋め込まれていない領域Ｈ₁〜Ｈ_mを検出し、当該検出した領域Ｈ₁〜Ｈ_mの前記画像データ上の位置より、前記画像データ上に複数配置された組を各々認識し、
   認識した複数の組各々について、領域Ｊ₁〜Ｊ_kに埋め込まれた情報ｐ₁〜ｐ_kを抽出して、当該組における電子透かし情報ｂ₁〜ｂ_nの領域Ｔ₁〜Ｔ_nへの埋め込み形態を認識し、認識した埋め込み形態にしたがって、領域Ｔ₁〜Ｔ_nから電子透かし情報ｂ₁〜ｂ_nを抽出すること
   を特徴とする電子透かし情報の抽出方法。
6. 請求項３記載の電子透かし情報の埋め込み方法により電子透かし情報ｂ₁〜ｂ_nが埋め込まれた画像データから前記電子透かし情報を抽出する、電子透かし情報の抽出方法であって、
   画像データをＭ×Ｎ（１≦Ｍ，Ｎ）画素でなる複数の領域Ｓに分割し、当該複数の領域Ｓから情報が埋め込まれていない領域Ｈ₁〜Ｈ_mを検出し、当該検出した領域Ｈ₁〜Ｈ_mの前記画像データ上の位置より、前記画像データ上に複数配置された組を各々認識し、
   認識した複数の組各々について、領域Ｊ₁〜Ｊ_kに埋め込まれた情報ｐ₁〜ｐ_kを抽出して、当該組における電子透かし情報のビット値に対する画素データ値の増減方向パターンを認識し、認識した増減方向パターンにしたがって、領域Ｔ₁〜Ｔ_nに埋め込まれた電子透かし情報ｂ₁〜ｂ_n各々のビット値を検出すること
   を特徴とする電子透かし情報の抽出方法。
7. 画像データをＭ×Ｎ（１≦Ｍ，Ｎ）画素でなる複数の領域Ｓに分割し、電子透かし情報ｂ₁〜ｂ_n（２≦ｎ）各々を、前記複数の領域Ｓのうちの少なくとも１つに埋め込む、電子透かし情報埋め込みのためのプログラムが記憶された記憶媒体であって、
   当該プログラムは、情報処理装置に、前記電子透かし情報ｂ₁〜ｂ_nが各々埋め込まれる領域Ｔ₁〜Ｔ_nと前記電子透かし情報ｂ₁〜ｂ_nの埋め込み形態を特定する情報ｐ₁〜ｐ_k（１≦ｋ）が埋め込まれる領域Ｊ₁〜Ｊ_kと情報が埋め込まれない領域Ｈ₁〜Ｈ_m（１≦ｍ）とでなる所定の配列を有する組が、所定の規則にしたがって複数配置され、且つ、前記複数の領域Ｓ各々が前記領域Ｔ₁〜Ｔ_n、Ｊ₁〜Ｊ_k、Ｈ₁〜Ｈ_mのいずれかに割り当てられるように、前記電子透かし情報ｂ₁〜ｂ_nと前記埋め込み形態を特定する情報ｐ₁〜ｐ_kを前記画像データに埋め込む処理を実行させること
   を特徴とする電子透かし情報埋め込みのためのプログラムが記憶された記憶媒体。
8. 請求項７記載の埋め込み処理により電子透かし情報ｂ₁〜ｂ_nが埋め込まれた画像データから前記電子透かし情報を抽出する、電子透かし情報抽出のためのプログラムが記憶された記憶媒体であって、
   当該プログラムは、情報処理装置に、前記画像データをＭ×Ｎ（１≦Ｍ，Ｎ）画素でなる複数の領域Ｓに分割し、当該複数の領域Ｓから情報が埋め込まれていない領域Ｈ₁〜Ｈ_mを検出し、当該検出した領域Ｈ₁〜Ｈ_mの前記画像データ上の位置より、前記画像データ上に複数配置された組を各々認識する処理と、
   認識した複数の組各々について、領域Ｊ₁〜Ｊ_kに埋め込まれた情報ｐ₁〜ｐ_kを抽出して、当該組における電子透かし情報ｂ₁〜ｂ_nの領域Ｔ₁〜Ｔ_nへの埋め込み形態を認識し、認識した埋め込み形態にしたがって、領域Ｔ₁〜Ｔ_nから電子透かし情報ｂ₁〜ｂ_nを抽出する処理とを実行させること
   を特徴とする電子透かし情報抽出のためのプログラムが記憶された記憶媒体。
9. 画像データをＭ×Ｎ（１≦Ｍ，Ｎ）画素でなる複数の領域Ｓに分割し、電子透かし情報ｂ₁〜ｂ_n（２≦ｎ）各々を、前記複数の領域Ｓのうちの少なくとも１つに埋め込む、電子透かし情報埋め込み装置であって、
   前記電子透かし情報ｂ₁〜ｂ_nが各々埋め込まれる領域Ｔ₁〜Ｔ_nと前記電子透かし情報ｂ₁〜ｂ_nの埋め込み形態を特定する情報ｐ₁〜ｐ_k（１≦ｋ）が埋め込まれる領域Ｊ₁〜Ｊ_kと情報が埋め込まれない領域Ｈ₁〜Ｈ_m（１≦ｍ）とでなる所定の配列を有する組が、所定の規則にしたがって複数配置され、且つ、前記複数の領域Ｓ各々が前記領域Ｔ₁〜Ｔ_n、Ｊ₁〜Ｊ_k、Ｈ₁〜Ｈ_mのいずれかに割り当てられるように、前記電子透かし情報ｂ₁〜ｂ_nと前記埋め込み形態を特定する情報ｐ₁〜ｐ_kを前記画像データに埋め込む手段を有すること
   を特徴とする電子透かし情報埋め込み装置。
10. 請求項９記載の電子透かし情報埋め込み装置により電子透かし情報ｂ₁〜ｂ_nが埋め込まれた画像データから前記電子透かし情報を抽出する、電子透かし情報抽出装置であって、
    前記画像データをＭ×Ｎ（１≦Ｍ，Ｎ）画素でなる複数の領域Ｓに分割し、当該複数の領域Ｓから情報が埋め込まれていない領域Ｈ₁〜Ｈ_mを検出し、当該検出した領域Ｈ₁〜Ｈ_mの前記画像データ上の位置より、前記画像データ上に複数配置された組を各々認識する手段と、
    認識した複数の組各々について、領域Ｊ₁〜Ｊ_kに埋め込まれた情報ｐ₁〜ｐ_kを抽出して、当該組における電子透かし情報ｂ₁〜ｂ_nの領域Ｔ₁〜Ｔ_nへの埋め込み形態を認識し、認識した埋め込み形態にしたがって、領域Ｔ₁〜Ｔ_nから電子透かし情報ｂ₁〜ｂ_nを抽出する手段とを有すること
    を特徴とする電子透かし情報抽出装置。

Images