JP2020109902A - 電子透かし装置および方法 - Google Patents

Abstract

【課題】ブロック型の電子透かしで、埋め込み量を増大した不可視で可逆な電子透かし装置および方法を得る。【解決手段】画像データをブロックに分割し、ブロックごとに2ビットの透かし情報を埋め込む。埋め込みパターンは、４５°づつ回転した楕円リング形状をしたフィルタを用い、フィルタリング操作で０°、４５°、９０°、１３５°の方向の楕円リング状のグリーンノイズ特性を示すドットパターンを求め、埋め込み2ビットに対応したドットパターンを選び画像データに埋め込むことにより、埋め込み容量を倍増させた可逆で不可視の電子透かしを得る。【選択図】図６

Description

本発明は，著作権保護や偽造防止を目的として、デジタル画像データに著作権情報などの透かし情報を埋め込む電子透かし法で、高画質化と高耐性を維持しつつ、特に、埋め込み情報量を増大させた電子透かし装置および方法に関するものである。

現在のデジタル情報社会において，情報の複製により多くの人が情報を共有することが可能となり，社会が大きく発展してきた。しかし，その利便性が，他人の著作物を違法に複製し流通させることにより，著作権侵害などの事件が起きるようになった。画像においては，近年のデジタルカメラやプリンタの高画質化により，原画と寸分も違わぬ複製が容易に得られるようになり，著作権を侵害した違反コピーだけでなく，紙幣や有価証券等の偽造行為という悪質な犯罪行為を助長させる結果となっている。

そのような状況の中で，画像情報の中に別の情報，例えば，著作者情報等を埋め込み，著作権を保護したり、違法複写に警告を与えたりする不可視の電子透かし（Digital Watermark）技術が発展してきた。この電子透かし技術は、例えば、著作権保護の目的には、文書や画像の著作物の中に著作権者やURL、連絡先、利用条件などを埋め込み、利用者に注意を喚起するのみならず、不正利用された場合には、その追跡を可能とする。このように、著作権の管理・保護、ならびに不正複写の監視など、セキュリティ対策として電子透かしが広く使われ始めている。

このセキュリティ対策としての電子透かしは、頑強で簡単に消失あるいは除去できないものでなければならない。画像の編集加工や簡単な操作で透かし情報を除去や消去ができるならば、不正使用して追跡や監視の目から逃れることができるからである。すなわち、様々な攻撃に対して耐性を強化する必要がある。

通常、耐性を強化するためには、電子透かしを画像データの深層に埋め込む必要がある。このため、埋め込みの強度（gain） を大きくして埋め込む。これは、原画像に対してダメージが増大し、画質が劣化するという弊害をもたらす。つまり、画質と耐性とはお互いにトレードオフの関係にあり、両方を満たすことは通常困難である。

画質と耐性を満たす電子透かし法として、特許文献1から4に示されるグリーンノイズパターンを画像データに埋め込む手法（以降、グリーンノイズ拡散法と呼ぶ）を以前提案した。グリーンノイズパターンは，そのスペクトルが特定の帯域fmax〜fminに閉じ込められ、その主周波数は、人の視覚特性で認識できにくい周波数帯に設定できる。このため、電子透かしに用いた場合、埋め込み画像を明視の距離で観察した場合、ドットパターンは低い応答性を示し認識されにくい。このため、埋め込み強度（gain）を上げて編集・加工に強靭にしてもアーティファクトが感じられず，高画質性が保たれたまま高耐性を保持できる。

一方、埋め込み可能な情報量から見た場合、耐性を強化すると埋め込み可能な情報量は減少する。通常、不可視の電子透かし手法では、抽出時の誤判定、すなわち抽出誤りが生じることは避けて通れない。このため、同じ情報を繰り返し埋め込み、多数決や信頼度の高い情報を選択する方法や、エラー訂正符号を同時に埋め込む方法により回避する。これらの方法は、埋め込む情報量を増大させる。このため、本来埋め込まれるべき透かし情報が減少する。

かかるグリーンノイズ拡散法では、画像をR×Rのブロックに分割し、埋め込みビットに応じたグリーンノイズドットパターンを画像データに重畳することにより埋め込み操作が行われる。埋め込まれる容量は、このブロックの数により決まる。したがって、画像サイズが小さい場合、埋め込みブロック数が少なく埋め込み容量が不足する。したがって、画質と耐性は満たすことができても、埋め込み容量においては十分ではない。

この対策として埋め込み情報の複数ビットをまとめて、複数のパターンを用いて埋め込む、いわゆる多値化の方法がある。例えば、4値の場合、各ブロックに２ビットの情報を埋め込むため、２ビットの情報（００，０１，１０，１１）に対応した４つの異なるドットパターンを用意する必要がある。

このため、グリーンノイズの帯域の最大周波数fmaxや最小周波数fminを変えた複数のスペクトル形状のドットパターンを用いたり、スペクトルが矩形や円となるような全く異なるドットパターンを組み合わせたり、ブルーノイズパターンなどを組み合わるなどの方法で、4つのパターンを用意する方法を提案した。しかしながら、これらの方法では、各ブロック毎に空間周波数の帯域が変化するため、耐性を強くするためにgainを上げるとブロックの境界がわずかながら視認され（これをブロック歪と呼ぶ）、画質的には十分ではない。

特開2018-182471 特開2018-201134 特開2018-207247 特願2017-117460

N.Kawamura;"Digital Halftoning by Clustered Dither Screen Masks Representing Green-noise Characteristics", Proceeding of the 1st ICAI 2015, T109-3, pp.708-711 (2015). N.Kawamura;"Digital Halftoning by Stochastic Dither Screen Mask Representing Green to Blue Noise Characteristics", Trans. on IEVC, Vol.5, No.1, pp.34-41 (2017)

そこで、高画質と高耐性を維持し、埋め込み容量を増大させる電子透かし法を得ることが課題である。すなわち、強く埋め込んでもブロック歪が目立つことなく画質の劣化が少ない電子透かしで、画像編集や加工、第三者からの攻撃などに対して強い耐性を示し、かつ、十分な埋め込み量を可能とする電子透かし法を得ることが課題である。

以上の課題を解決するために、本発明は、画像をブロック分割し、ブロックごとに２ビットの透かし情報を埋め込む、すなわち多値化（この場合は４値化）することにより、従来の２倍の埋め込み容量を確保し、かつ、各ブロック歪などの画質劣化のないドットパターンで上記問題を解決する。つまり、各ブロックでドットパターンの空間周波数帯域（レンジ）が同じで、方向だけが異なるドットパターンを用いることで、高画質、高耐性で従来の2倍の埋め込み量となる手法を提供する。

すなわち、デジタル画像データに埋め込まれる透かし情報をビット列に展開した透かしデータと、同じ楕円リング形状で、その主軸方向が０°、４５°、９０°、１３５°の方向に向いたグリーンノイズ・スペクトル特性を示す4つのドットパターン（パターン０、パターン１、パターン２、パターン３）を用意し、埋め込みは、画像データをR画素×R画素単位のブロックに分割し、ブロック毎に透かしデータから２ビットの情報を取り出し、２ビットの情報（００，０１，１０，１１）に対応したドットパターンにgainを乗じたパターンで画像データに埋め込み、透かし情報の抽出は、透かしの埋め込まれた画像データをブロックに分割し、ブロック毎にスペクトルパターンを求め、識別器によりその形状から，4つのドットパターンの中から最も近いものを識別し、埋め込まれた２ビットの情報を抽出する。

また、4つのドットパターン（パターン０、パターン１、パターン２、パターン３）は、主軸方向が０°、４５°、９０°、１３５°の方向となる4つの楕円リング形状のフィルタD(u,v)を用いて、
(工程１)疑似乱数発生器により、ランダムドットp(x,y)を生成する。
(工程２)p(x,y)に二次元フーリエ変換を行い，スペクトルP(u,v)を得る。（ここで、(x,y)は空間座標、(u,v)は空間周波数座標を表す。）
(工程３) P(u,v)にフィルタD(u,v)を掛けて、新たなP'(u,v)を得る。
(工程４) P'(u,v)に逆フーリエ変換を行い，多値の点プロファイルp'(x,y)を得る。
(工程５）誤差関数e(x,y)=p'(x,y)-p(x,y)を求め，各画素位置での誤差の大きい順に白，黒反転する。
(工程６）工程2から工程５までの操作を誤差が許容量以内になるまで繰り返し，ドットパターンを得る。
なる、工程で生成され、そのスペクトル特性は、それぞれ主軸方向が０°、４５°、９０°、１３５°の方向に向いた楕円リング形状のグリーンノイズ特性を示す。

また、4つのドットパターンうち、2つドットパターン（パターン０、パターン１）を、主軸方向が０°、４５°の方向となる２つの楕円リング形状のフィルタD(u,v)を用いて、前述と同様の工程で生成し、残り2つのドットパターン（パターン２、パターン３）は、生成されたパターン０およびパターン１を９０°回転することにより生成することもできる。それぞれのスペクトル特性はグリーンノイズ特性を示す。

また、識別器は、主軸方向が０°、４５°、９０°、１３５°の方向となる4つの楕円リング形状の抽出用のマスク（マスク０、マスク1、マスク2、マスク３）を用いて、ブロック毎の画像スペクトルパターンW(u, v)に対して，出力Qi (i=0,1,2,3) を、
Qi=(1/Z) Σ Mi(u, v)・W(u, v)
Z=ΣMi(u,v)
として求め（ここで、Mi(u,v)はマスクiの分布 (i=0,1,2,3) である）、かかる出力Qi (i=0,1,2,3) のうち、最も大きな値の出力Qmax、および次に大きい出力Qnextを求め、Qmaxに対応する埋め込みパターンから埋め込まれた２ビットを抽出し，Qmax-Qminから信頼度を得る。

本発明により、ブロック歪を抑え、gainを大きくしても高画質を維持し、高耐性で透かし埋め込み情報量を増大させることが可能となる。このため、小サイズの画像でも十分な情報量を埋め込むことが可能となる。ブロック歪の抑制は、4つのドットパターンのスペクトル特性が、方向は異なるが、主軸に沿ってfmaxとfminの間の値をとるため、ドットサイズは変化しないためである。

また、鍵により元の画像に復元可能である。これは画像の購入者が、配信者から直接原画を配信してもらう手間を省くことができるし、原画で、の配信を行うことがないため、漏洩や盗難などの心配もなく、セキュリティ上も安全性が高い。さらに購入者はその鍵を用いて、編集加工した画像に第二著作者としての著作権情報を埋め込むことができる。

また、4つのドットパターンうち、2つのドットパターン（パターン０、パターン１）をフィルタリングにより生成し、残り２つのドットパターンを９０°回転することにより生成することにより、除去のための鍵は2つのパターンのみを必要とし、鍵のサイズを小さくすることが可能となる。鍵サイズが小さくなることにより利便性が増す。

本発明の電子透かしの埋め込みおよび抽出の装置の図、 透かし入り画像のインターネットでの配信を示した図、 埋め込み用ドットパターン生成のフローを示す図、 ドットパターンのスペクトルの回転方向と埋め込みビットを表す図、 埋め込み用ドットパターン生成時におけるフィルタの形状を示す図 生成されたドットパターンおよびそのスペクトルを示す図、 透かし埋め込みの処理フローを表す図、 透かし抽出の処理フローを表す図, パターン識別の処理フローを表す図、 マスクパターンを示す図、 埋め込んだ画像とそのスペクトルを示す図で、(a)は埋め込み画像、(b)はその一部拡大画像、(c)はスペクトル画像を示す図、 ブロックノイズ評価の画像で、(a)はβ=1.3、(b)はβ=1.5、(c)はβ=1.7 の時の画像を示す図、 gainに対する埋め込み画像のPSNRを表す図、 512×512の画像に512ビットの埋め込みを行ったときの画像で、（a）は埋め込み画像、(b)はそのスペクトルを表す画像。 JPEG圧縮による耐性評価 (a)は透かし埋め込み画像（非圧縮）とそのスペクトル、(b)はQ=50でJPEG圧縮した時の画像とそのスペクトル、(c)はQ=0.2でJPEG圧縮した時の画像とそのスペクトルを示す図。 印刷耐性を評価した図。

図１は本発明の情報埋め込みと抽出のための電子透かしシステムの構成図である。著作権保有者のコンピュータ３には、著作権を有す画像データが、例えばハードディスクなどのデータメモリ７に保管されている。画像データは、プログラムメモリ６にある画像処理プログラムにより、ＣＰＵ１１，ＲＯＭ ４，ＲＡＭ５などを用いて画像処理され、モニター８に表示される。コンピュータ３にはスキャナー１、プリンタ２が接続され、処理された画像はプリンタから出力し、またスキャナー１から画像読み取りができる。かかる画像処理は大きなサイズの画像を取り扱う場合，演算負荷が増大するため，並列処理を行うことや、ＧＰＵなどの高速化を図るための処理ボードが入っている場合もある。

画像中に著作権情報を埋め込むためには、キーボード９から、例えば、著作者の名前や日付、ＵＲLなどの文字情報を入れるが、埋め込む文字数は、最低１６文字は必要となる。これはASCIIコードの文字でうめこむとして16バイト（１２８ビット）が必要となる。

図２は、一つの運用形態を示すもので，インターネット配信の処理手順を示すものである。透かし情報を埋め込まれた画像は、配信者あるいは著作権者１６のコンピュータからインターネット１２により配信される（１３）。それを見た購入希望者１７は、購入希望を配信者に連絡する（１４）。所定の手続き後、配信者は透かしの埋め込みと除去のための秘密鍵を配信する（１５）。購入者は、配信者との契約に基づき、送付された画像の埋め込まれた電子透かしを除去し、画像の編集加工を行うことができる。

購入者は、さらに編集加工された画像データを、２次著作者として自己の著作情報やＵＲＬなどの情報をこの秘密鍵を用いて埋め込むことができる。これらの透かし情報を埋め込まれた画像は、公開され市場に流通し様々な利用がされる。

その画像を見た第三者は、透かし抽出ソフトにより、この画像に著作権があることを確認できる。透かし抽出ソフトウェアには秘密性はなく、例えば，配信者や著作権者のホームページなどから自由にダウンロードできるようにして広く公開し、だれでも使用できる。第三者はこれにより画像の所有者や著作権情報、連絡先などを知ることができるため、不正使用の防止・警告にもなる。

一方、著作権者や二次著作権者は、その透かしにより、著作物としての画像データの追跡と監視を行うことが可能である。もし、第三者が不正に使用した場合、著作権者や二次著作権者は、監視ソフトウェアにより画像から透かし情報を読みだし、自己の著作物であること、さらに第三者が無断で使用している場合には摘発が可能となる。

鍵は埋め込む画像ごとに１対１で対応する。このため、著作権者は悪用されないように画像ごとに異なる鍵を用いる。この鍵を用いて他の画像の透かしを除去することはできない。鍵の紛失や第三者による結託攻撃による鍵の取得が起きても、その被害は該当する1枚の画像のみで、他の画像に対しては透かし除去はできない。このとき、透かし読み出しのソフトウェアは、鍵が異なっても共通に使える。また。鍵の発行はほぼ無限に行えるため，同じ鍵となる確率は極めて低い。

以下、実施例に沿って詳しく説明する。
ここで，まず本発明に用いられるグリーンノイズ特性を示すドットパターンの生成について図３に沿って説明する．
今，マトリックスサイズをR画素×R画素 ( R=2^m ここで^はべき乗)として，その中に1画素サイズの黒ドットを埋め込むものとする。黒ドットの面積率をg（0≦g≦１：g =1が全黒，g =0 が全白）とする。点(x,y)におけるドットパターンを p(x,y)として、g=1/2のグリーンノイズ特性を示すドットパターンを以下の様にして求める。
(工程１) まず，疑似乱数発生器により、ランダムドットp(x,y)を生成する（２０）。
(工程２) p(x,y)を二次元フーリエ変換を行いスペクトルP(u,v)を得る（２１）。ここで、(x,y)は空間座標、(u,v)は空間周波数座標を表す。g=0.5 の場合、(R^2)/2個のランダムドット（初期状態はホワイトノイズ）を発生させ、p(x,y)とする．この時，疑似乱数発生器のSEED値を変えることにより初期状態を変更可能である。
(工程３) P(u,v)にフィルタD(u,v)を掛けて新たなP'(u,v)を得る（２２）。すなわち、
P’(u,v)=P(u,v)*D(u,v)
(工程４) P'(u,v)に逆フーリエ変換を行い，多値の点プロファイルp'(x,y)を得る（２３）。
(工程５）誤差関数e(x,y)=p'(x,y)-p(x,y)を求め（２４），各画素位置での誤差の大きい順に白，黒反転する（２５）。
(工程６）工程2から工程５までの操作を誤差が許容量以内になるまで繰り返し，最終的にg=1/2のドットパターンを得る。

ここで、フィルタD(u,v)のパターンの設定について説明する。今、D(u,v)が円形のリングパターンで、その最大ラジアル周波数をfmax、最小ラジアル周波数をfminであるとする。g=1/2での平均的ドット間隔による周波数f0は，
f0＝√g・fn＝√(1/2)・fn
で与えられ，fmax及びfminはf0を基準として，
a≡(fmax - f0)/fn
b≡(fmin - f0)/fn
として、パラメータ（a,b）を定義する。ここで，fnはナイキスト周波数を示す。かかる(a,b)を変化させて、視覚特性に合わせてクラスターサイズの異なるドットパターンを得ることができる。

透かし埋め込みのためには埋め込み2ビット(00,01,10,11)に対応した4種類のパターンが必要である。そのためフィルタD(u,v)のパターンが楕円リングパターンで、４５°づつ回転した4つのパターンとなるようにする。図４はフィルタパターンを模式的に示すもので、楕円リングの短軸の最小値をfmin、最大値をfmaxとし、長軸の最小値をβ・fmin、最大値をβ・fmaxとする。ここで、βは倍率を表す。正立したものを2ビットの（00）に対応するフィルタパターン、それを45°回転したものを（01）、90°回転したものをビット（10）、135°回転したものを（11）にそれぞれ対応するものとする。

図５に、かかる4つのフィルタ（フィルタ0、フィルタ1、フィルタ2、フィルタ3）の形状を示す。図で黒領域は0、白領域は1を表す。図6に、このフィルタD(u,v)を用いて、前述の工程を経て作成されたパターンおよびスペクトルを示す。各パターンはR×Rのサイズで、パターン0は2ビットの埋め込み情報（00）に対応し、パターン1は（01）、パターン2は（10）、パターン3は（11）にそれぞれ対応する。

続いて、画像データへの透かし埋め込み手法について説明する。透かし情報の埋め込みは、赤（R）,緑（G）、青（B）からなるカラー画像データの青（B）データに埋め込むか、あるいは、輝度、色差信号となる（Y,Cb,Cr）信号に変換し，輝度（Y）データに埋め込むことが考えられる。電子データでのみ透かし情報を取り扱う場合は、青（B）に埋め込むのがもっとも視覚的には認識されにくく理想的である。印刷画像やモニター画像をカメラやスキャナーで読み取るような応用を考えた場合は、青（B）データ（印刷時はイエロー）は精度よく色分離することが難しいため、輝度（Y）データを用いるのが良い。

続いて、図７のフローに沿って処理手順を説明する。まず、埋め込み情報をビット列に変換する（２０）。例えば、埋め込みたい情報が“0123456789abcdef”となるASCII16文字をビット列に展開すると、wm＝“0011000000110001…”となる128ビット列となる。先頭ビットからi番目のビットをwm(i)とする。

次に、画像データをR画素×R画素のブロックに分割する（２１）。これはドットパターンのサイズと同じサイズにする必要がある。ブロックサイズとしては、64画素×64画素を用いると高精度に抽出できるが、多くの情報を埋め込みたい場合は32画素×32画素をブロックサイズとすると、4倍の情報の埋め込みが可能となる。

埋め込み作業はブロック単位で行われる。ｎ番目のブロックに埋め込む（２３）として、まず、n=1からスタートする（２２）。埋め込み透かし情報を先頭から連続した２ビットを取り出し、これをb＝（wm(i) , wm(i+1)）とする。

bの値により埋め込むパターンを選択する（２４）。b=(00)の場合はパターン0を用いて埋め込む（２５a）。同様に、b=(01)の場合はパターン1を用いて埋め込む（２５b）。b=(10)の場合はパターン2を用いて埋め込む（２５ｃ）。b=(11)の場合はパターン3を用いて埋め込む（２５d）。

かかる透かし情報の埋め込みは実空間（画素空間）で行う。今、画像データをimg(x,y)，埋め込み強度をgain、透かしの埋め込まれた画像データをw(x,y)とすると、
w(x,y)=img(x,y)+gain・pi(x,y) (i=0,1,2,3)-------------（１）
ただし、
b=(00) の時 pi=p0 :パターン0
b=(01) の時 pi=p1 :パターン1
b=(10) の時 pi=p2 :パターン2
b=(11) の時 pi=p3 :パターン3
となる。piは（1,0）の二値であるが，平均輝度を保存するため（1/2,-1/2）とする。埋め込んだ結果、画素データがダイナミックレンジを超えてオーバーフローやアンダーフローが生じることがあるため、あらかじめ画像データに以下の線形変換を施した画像img’(x,y)にて行うこともある。
img’(x,y)=(1-gain)・img(x,y)+gain/2--------------------（２）
この処理は後述の透かし情報を完全に除去する場合には必須であるが、除去を必要としない場合や、オーバーフローやアンダーフローの頻度が低い場合は省略しても構わない。
全ブロックが終了かを判断し（２６）、終了でない場合は次のブロックへ移る（２７）。

以上のようにして、埋め込みビット列wm(i)をすべて埋め込む。埋め込みブロック数が埋め込みビット数より多い場合は、繰り返し埋め込むことで信頼度を高めることができる。この場合は文字列の先頭を示す区切りマーカが必要である。
piはランダムドットであるため，ブロック境界は目立たない。グリーンノイズ特性を示すドットパターンは、印刷におけるFMスクリーンとしても用いられ、分散性ドットで均一性にすぐれているため視覚的にも一様で粒状性も感じさせない。

続いて、透かし情報の抽出について図８の処理フローに沿って説明する。抽出作業は、埋め込み時と同様R×Rのブロックに分割し（３０）、ブロック単位で行われる。n番目のブロックから抽出するものとして、n=1からスタートする（３１）。n番目のブロックからR×Rの画像を取り出しFFT（高速フーリエ変換）を行い、スペクトル情報Wnに変換する（３２）。続いて、ヒストグラムイコライゼーションによる規格化を行う（３３）。これは、ブロック毎に輝度が異なるため、コントラストを向上させて識別精度を向上させることと、後述の信頼度を各ブロックで平等に評価するためである。続いて後述のパターンの識別を行い（４０）、識別パターンから埋め込み情報の２ビットデータを抽出する（３４）。ブロックがすべて終わったか否かを判断し（３５）、終了していない場合はnをn+1として（３６）、次のブロックへ移る。終了した場合は全ビットを取り出して、元の文字情報を復元する（３７）。

図９はパターン識別処理（４０）の処理フローを示す。ブロック内のスペクトル情報Wnは、用意されたマスクパターンとのマッチングを行い、その出力Qiを求める（４１）。マスクパターンは図１０に示すようにフィルタパターンと同じで、45°づつ回転したマスク0（M0）、マスク1（M1）、マスク2（M2）、マスク3（M3）の4つが用意されている。
図９に戻って、i番目のマスクをMiとして、Wnとのマッチングの出力Qiは、
Qi=(1/Zi)ΣMi・Wn (i=0,1,2,3)------------（３）
ただし Zi=ΣMi
として求められる（４２）。ただし、Σはブロック内の各画素（今の場合は空間周波数に対応）について行われる。その結果、各マスクに対応した出力（Q0,Q1,Q2,Q3）が得られる。この4つの出力のうち最も大きいものをQmaxとして、
Qmax＝Q0 の時、b=00
Qmax＝Q1 の時、b=01
Qmax＝Q2 の時、b=10
Qmax＝Q3 の時、b=11
となる2ビットの透かし情報ｂを得る（４３および４４a、４４b、 ４４c、 ４４d）。

次に、Qmaxの次に大きな出力をQnextとすると、信頼度relは
rel=Qmax-Qnext--------------------------（４）
で表される。すなわちQnextがQmaxに非常に近い値の場合は誤判定の確率が高く、QmaxとQnextとの差が大きい程信頼性は高い。この差を信頼度の指標とすることができる。
以上のようにして、2ビットの埋め込み情報ｂと信頼度relが求まる。

図１１は実際に画像に埋め込んだ時の画像とそのスペクトルを示す。(a)は埋め込み画像で、512×512のLena の標準画像に、64×64のブロックサイズで“0123456789abcdef”の16文字(128ビット)をgain=0.1875で埋め込んだものである。埋め込んだパターンは明視の距離では視認されにくい。(b)は埋め込み画像の一部（Aで示す矩形部分）を拡大したもので、拡大することによりドットパターンが埋め込まれているのが識別できる。(c)は抽出されたスペクトルで、16文字が誤りなく抽出できた。平均信頼度（各ブロックの信頼度の平均）は16.62、最低信頼度（各ブロックの信頼度のうち最も低いもの）は12.19である。これは非常に高い精度で透かし情報を抽出できたことを物語っている。

図12は２５６×２５６の一様な画像に意図的に強いgainで埋め込み、ブロック歪を評価したものである。原画はデータが，200/255 の一様な灰色画像で、(a)は、R=64, (a,b)=(-1/16,-5/16)、β=1.3、gain=0.625で、”0123”の4文字を埋め込んだものである。(b)はβ=1.5、(c)はβ=1.7の埋め込みパターンとスペクトルを示す。埋め込み画像から、どの画像もブロック歪はあまり識別されないことが分かるが、β（楕円率）を大きくするに従い、パターンの異方性が大きくなりわずかに目立つようになる。一方、信頼度の数字を見ると、楕円率βが小さいと（ブロック歪は小さくなるが）信頼度が低下する。β=1.5がブロック歪および信頼度から最適であるといえる。
通常の埋め込みは、gainは0.1から0.3程度であるので、ブロック歪はほとんど目立たないといえる。

埋め込み画質に対する評価はPSNR（ピーク信号雑音比）により評価することができる．埋め込み画像のダイナミックレンジをDRとするとPSNRは，画像サイズをＷ×Ｈとすると，
PSNR=10 Log (DR^2/MSE)
MSE=1/(WH) Σ(img(x,y)-w(x,y))^2
従って、
PSNR=-20 Log (gain/2)------------------------(5)
となり，gainのみの関数となる。ここで、^はべき乗を表し、Logは常用対数を表す。図13はgainに対するPSNR値を示す。

一方，埋め込み画像を明視の距離で見た場合,視覚系のVTF（Visual Transfer Function）により高空間周波数域が低下する．明視の距離で画像を見た場合、VTFによる影響でPSNRは5〜7dB向上することが分かった。したがって、gain=0.1875以下で埋め込みを行えば、視覚的に３０dB以上となり、画質劣化は感じられない。

透かしの埋め込みは、全画素に対して±gain/2 のデータを加算するため、画像の位置によるPSNRの空間的変動はなく、局部的に大きな画質劣化が生じることはない。通常の電子透かし法では、画像の一部（例えばエッジ領域など）に埋め込み、埋め込まない領域が存在するためPSNR値は高い数値となる。しかしながら、局部的に大きな画質劣化が生じ、このため埋め込み画質は一様性を欠き、粒状性として発現する。一方、本手法では画像全体に一様に埋め込むため、粒状性も感じることがない。また、gainにより画質が予測され、運用がやりやすいといえる。

埋め込み情報量Ｖは、画像サイズをＷ×Ｈとすると、
Ｖ＝2×int(W/R)×int(H/R) ビット
であたえられる。ここでint()は少数以下切り捨てを示す。例えば、540×530の画像でR=64のブロックで埋め込むとすると、Ｖ＝128 ビットとなり、ASCCI 文字コードで16文字が埋め込み可能である。32×32のブロックで埋め込むとすると、64文字が埋め込み可能である。著作権保護の用途で使用する場合、少なくとも16文字以上が必要となるため、64×64のブロックサイズで埋め込む場合は512×512の画像サイズ以上、32×32のブロックの場合は256×256の画像サイズ以上が必要となる。

図１4は、通常のネット利用の場合を想定したもので、(a)は512×512の画像に32×32のブロックサイズで、gain=0.1875で埋め込んだ時の画像である。最大64文字（512ビット）まで埋め込むことができ、著作者の名前、URL,日付などの情報を繰り返し埋め込むことやエラー訂正符号を埋め込むことが可能となる。”0123456789abcdef”の16文字をうめこんだもので、4回繰り返して埋め込まれている。(b)はそのスペクトルを示す。埋め込み情報は繰り返しによる埋め込みでの信頼度の高いものを選択し、高い信頼度で正答が抽出されている。

次に透かしの除去について説明する。
透かしの除去は、埋め込みと全く逆に行うことで可能となる。すなわち、式（１)より，
img(x,y)=w(x,y)-gain・pi(x,y) (i=0,1,2,3) ----------------------(6)
となり、透かし埋め込み画像から埋め込みパターンにgainを乗じて引くことで、完全に原画に戻すことが可能である。ただし、埋め込み時にオーバーフローやアンダーフローを避けるために線形ダイナミックレンジ補正を行った場合は、逆補正をする必要がある。
以上のようにして透かし除去が可能であるが、埋め込みパターン（パターン0、パターン1、パターン2、パターン3）およびgainと埋め込み情報が必要となる。これらの情報は“秘密鍵”として授受される。

かかる秘密鍵の容量は、例えばブロックサイズが64×64の場合、パターン0〜パターン3までの4パターン分で16Kビット（2Kバイト）、それにgainと埋め込み情報の容量が加わる。32×32の場合はパターン0〜パターン3までの4パターン分で4Kビット（512バイト）となる。gainと埋め込み情報は、通常、100バイト以下であるので、鍵容量の大半は埋め込みパターン情報が占める。

かかる鍵の容量はなるべく小さくした方が取り扱いが容易である。鍵容量を減らすため、パターン2、パターン3は、それぞれ、パターン0、パターン1から生成する。すなわち、パターン2はパターン0を90°回転したもの、パターン3はパターン1を90°回転したものを採用する。ドットパターンの回転はそのままスペクトルの回転となるため、各種処理は全く同じでよい。

鍵の紛失や盗難に対しては、画像ごとに異なるドットパターンを用いることにより、同じ鍵で別の画像の透かしを除去することはできなくすることができる。これらは、グリーンノイズパターン生成時の、初期乱数のseed値を変えることによって得られる。スペクトル分布は同一であり，抽出ソフトウェアは共通であるが，ドットプロファイルは異なる。R=64の場合，1つのドットパターンにつき異なるパターン数は，4096 C 2048 個あり、複数のドットパターンを用いる場合は、その積となるため，同じパターンとなる確率は極めて低いため，安全性は高い。 ここで、Cはcombinationを表す。
著作権者は購入者に対してそれぞれ異なる乱数から求めたドットパターンを秘密鍵として提供する。購入者ごとにこの鍵は異なるため、他の購入者の画像から透かしを除去することはできない。

次に本手法の耐性について説明する。電子透かしに対する攻撃としては，例えば信号の強調（シャープネス調整），ノイズの付加，フィルタリング（線形，非線形），非可逆圧縮（JPEG，MPEG），変形（回転，拡大縮小）などがある．
図15にJPEG圧縮に対する耐性を示す。(a)は256×256の画像にブロックサイズ64×64でgain＝0.1875で“0123”の4文字を埋め込んだもので圧縮前のものである。平均信頼度＝16.51, 最小信頼度=15.00で問題なく4文字が正答されている。(b)はJPEG圧縮のQ値（Qulity Factor）が50の時の埋め込み画像とスペクトルを示したもので、平均信頼度＝12.94, 最小信頼度=12.02 となり、正答を得ている。(c)はQ=20で、平均信頼度＝6.62, 最小信頼度=2.45 となり、相当低下しているが正答を得た。このようにJPEG圧縮には高い耐性を示すことが分かる。

本手法は、分散ドットの集合によるスペクトル分布から識別をするため、一般に輝度変化に対して強靭であるといえる。このため、埋め込み画像をカメラやスキャナーで読み取って透かしを抽出などの応用では、外光の影響を受けにくい。通常、画像処理は輝度に対する処理が多く、このため本手法での透かし埋め込み画像透かし情報が除去されにくく、耐性が高いといえる。gainを大きくすることにより，さらに耐性を高めることができる。

図16は印刷耐性を評価したものである。512×512のLenaの画像にgain=0.25で16文字の透かし情報を埋め込んだものを175ppi(Pixel per inch)で光沢紙にプリント出力を行い、スキャナで300dpi(dot per inch)で読み取り、透かしを抽出した。上段は、ブロックサイズR=64で埋め込んだもので、抽出は平均信頼度10.90、最小信頼度3.79で正答をえた。一方、下段のR=32のものは平均信頼度12.00、最小信頼度6.83で正答を得た。いずれも、紙出力によるため信頼度はかなり低下するが、紙媒体でも透かしが維持できることが確認できた。R=32で信頼度が良くなっているのは、繰り返し埋め込みによる効果である。

以上、本発明の電子透かし法について説明したが、本手法は視認されにくいグリーンノイズ特性を示すドットパターンを埋め込むため，視覚的な画質劣化が少なく，強く埋め込むことが可能であり、画像の編集や加工などの攻撃に対して強い耐性がある。埋め込み容量も2パターンの場合と比べ2倍となり、また，鍵情報により原画像に復元することも可能であるなどの特徴があるため、単に著作権保護のみならず、印刷画像と電子データとのリンクによるさまざまなアプリケーションに有効である。

また、本透かしの埋め込みは，ブロック単位で実空間にて埋め込むため、大きなサイズの画像など画像サイズに制限がなく、ディザ法並みに高速に処理可能である。このため動画像のリアルタイム埋め込みも可能で、監視カメラやドライブレコーダなどへの展開も期待できる。

本透かし埋め込み及び抽出手法は、アルゴリズムを公開しても問題ない。機密性はすべてドットパターンに集約され、これは秘密鍵として納められる。仮に、鍵の紛失や盗難にあっても、画像ごとに異なるドットパターンを用いれば、鍵は原則、１枚の画像に対して１つであるため、他の画像にその鍵を使って透かしを除去することはできない。
このため、安全性は極めて高く、アルゴリズムの公開、標準化、抽出ソフトウェアの公開などは問題とならない。

1はスキャナー、2はプリンタ、3はコンピュータシステム、4はROM, 5はRAM,6はプログラムメモリ、７はデータメモリ、８はモニター、9はキーボード、10は通信機能、11はCPU、１２はインターネット、 １３は画像データの配信、１４は購入希望の連絡、１５は秘密鍵の送付、１６は著作権者のコンピュータ、１７は購入者のコンピュータを表す。

Claims (4)

1. デジタル画像データに透かし情報を埋め込む電子透かし法において、
   埋め込まれる透かし情報をビット列に展開した透かしデータと、
   同じ楕円リング形状で、その主軸方向が０°、４５°、９０°、１３５°の方向に向いたグリーンノイズスペクトル特性を示す4つのドットパターン（パターン０、パターン１、パターン２、パターン３）を用意し、
   埋め込みは、画像データをR画素×R画素単位のブロックに分割し、ブロック毎に透かしデータから２ビットの情報を取り出し、２ビットの情報（００，０１，１０，１１）に対応したドットパターンにgainを乗じたパターンで画像データに埋め込み、
   透かし情報の抽出は、透かしの埋め込まれた画像データをブロックに分割し、ブロック毎にスペクトルパターンを求め、識別器によりその形状から，4つのドットパターンの中から最も近いものを識別し、埋め込まれた２ビットの情報を抽出することを特徴とする電子透かし装置および方法。
2. 前記4つのドットパターン（パターン０、パターン１、パターン２、パターン３）は、主軸方向が０°、４５°、９０°、１３５°の方向となる4つの楕円リング形状のフィルタD(u,v)を用いて、
   (工程１)疑似乱数発生器により、ランダムドットp(x,y)を生成する。
   (工程２)p(x,y)に二次元フーリエ変換を行い，スペクトルP(u,v)を得る。（ここで、(x,y)は空間座標、(u,v)は空間周波数座標を表す。）
   (工程３) P(u,v)にフィルタD(u,v)を掛けて、新たなP'(u,v)を得る。
   (工程４) P'(u,v)に逆フーリエ変換を行い，多値の点プロファイルp'(x,y)を得る。
   (工程５）誤差関数e(x,y)=p'(x,y)-p(x,y)を求め，各画素位置での誤差の大きい順に白，黒反転する。
   (工程６）工程2から工程５までの操作を誤差が許容量以内になるまで繰り返し，ドットパターンを得る。
   なる工程で生成され、
   そのスペクトル特性は、それぞれ主軸方向が０°、４５°、９０°、１３５°の方向に向いた楕円リング形状のグリーンノイズ特性を示すことを特徴とする請求項１に記載の電子透かし装置および方法。
3. 前記4つのドットパターンうち、2つドットパターン（パターン０、パターン１）は、主軸方向が０°、４５°の方向となる２つの楕円リング形状のフィルタD(u,v)を用いて、
   (工程１)疑似乱数発生器により、ランダムドットp(x,y)を生成する。
   (工程２)p(x,y)に二次元フーリエ変換を行い，スペクトルP(u,v)を得る。（ここで、(x,y)は空間座標、(u,v)は空間周波数座標を表す。）
   (工程３) P(u,v)にフィルタD(u,v)を掛けて、新たなP'(u,v)を得る。
   (工程４) P'(u,v)に逆フーリエ変換を行い，多値の点プロファイルp'(x,y)を得る。
   (工程５）誤差関数e(x,y)=p'(x,y)-p(x,y)を求め，各画素位置での誤差の大きい順に白，黒反転する。
   (工程６）工程2から工程５までの操作を誤差が許容量以内になるまで繰り返し，ドットパターンを得る。
   なる工程で生成され、、
   残り2つのドットパターン（パターン２、パターン３）は、生成されたパターン０およびパターン１を９０°回転することにより生成され、
   それぞれのスペクトル特性はグリーンノイズ特性を示すことを特徴とする請求項１に記載の電子透かし装置および方法。
4. 前記識別器は、主軸方向が０°、４５°、９０°、１３５°の方向となる4つの楕円リング形状の抽出用のマスク（マスク０、マスク1、マスク2、マスク３）を用いて、
   ブロック毎の画像スペクトルパターンW(u, v)に対して，出力Qi (i=0,1,2,3) を、
   Qi=(1/Z) Σ Mi(u, v)・W(u, v)
   Z=ΣMi(u,v)
   として求め（ここで、Mi(u,v)はマスクiの分布 (i=0,1,2,3) である）、
   かかる出力Qi (i=0,1,2,3) のうち、最も大きな値の出力Qmax および次に大きい出力Qnextを求め、Qmaxに対応する埋め込みパターンから埋め込まれた２ビットを抽出し，
   Qmax-Qminから信頼度を得ることを特徴とする請求項２あるいは請求項３に記載の電子透かし装置および方法。