JP2009081827A - 電子透かしの復元方法および復元処理プログラム - Google Patents

Abstract

【課題】画像の著作権保護について、最新の画像認識技術に基づく全く異なる観点からの解決策を提案する。より具体的には、画像認識技術の適用により高いスケーラビリティを持つ非ブラインド型の電子透かしを提供する。
【解決手段】著作権保護用の電子透かしを無効化する改ざんがなされた画像から電子透かしを復元する方法であって、コンピュータが、改ざんの疑いがある被疑画像から複数局所記述子を抽出し、電子透かしが埋め込まれた原画像から複数の局所記述子が抽出され、それら局所記述子が原画像と対応付けられて予め登録された原版データベースを参照し、被疑画像の各局所記述子と原版データベース中の各局所記述子とを対比して被疑画像に対応する原画像を検索し、対応する原画像が見出されたとき原画像と被疑画像との各局所記述子の対応関係に基づいて被疑画像から電子透かしを抽出することを特徴とする電子透かしの復元方法。
【選択図】図１３

Description

この発明は、画像認識を用いた著作権保護方法およびそのプログラムに関する。より詳細には、画像に付与された著作権保護用の電子透かしが改ざんにより無効化された場合に改ざん前の電子透かしを特定できるようにする方法およびプログラムに関する。

近年、パソコンの高機能化により誰でも個人規模で音声、画像、動画などのデジタルコンテンツを扱えるようになった。しかし、技術の発展は便利な反面、多くの問題を生んでいる。その一つがコンテンツの不正コピーによる著作権の侵害である。著作権保護は、インターネットの健全な発展に欠かせない技術の一つである。

著作権侵害の防止策の一つとして、電子透かしという技術がある。電子透かしは、デジタル画像の不正な複製を防止するために、著作権情報などを埋め込み、必要に応じて検出する技術である。
埋め込みは多くの場合、画像の画素値を書き換えることで行われる。そして検出は埋め込み方に応じて、画素値の書き換えを認識することで行われる。画素値の書き換えを顕著に行えば、それに伴いより画像の改竄にロバストな（耐性のある）埋め込みが可能である。しかし一方、埋め込み自体が画像を劣化させてしまう結果となる。よって、埋め込みの強度と視覚的劣化のつり合いをとる必要がある。

電子透かしは、著作権保護の決め手になる技術として、これまで長らく認められてきた（例えば、非特許文献１、２参照）。この理由は、電子透かしによって次のような著作権保護のシナリオが可能となるためである。電子透かし技術を用いると、著作権を守りたい画像に対して、著作者や購入者の情報を埋め込むことができる。もし、この画像が不法にコピーされ、海賊版としてインターネットなどで公開されたとしても、埋め込まれた著作者や購入者の情報を画像から取り出すことができる。従って、不法コピーをする者はすぐに発見されるため、海賊版を公開できなくなる。

電子透かしの手法は大きく、ブラインド型、準ブラインド型、非ブラインド型の３種類に分類できる。ブラインド型の電子透かしとは、電子透かしの読み出しに、被疑画像以外の画像を必要としないという方式をいう。この方式は、被疑画像のみがあればよいため、利用容易性が高いといえる。著作者以外が原画像を所有せずに済む。準ブラインド型の電子透かしとは、元画像に電子透かしは埋め込んでいるが、劣化はしていないもの（公開された電子透かし入り画像）を、電子透かしの読み取りに用いる方式である。非ブラインド型（ノンブラインド型ともいう）の電子透かしとは、電子透かしの読み取りに、元画像（電子透かしなしの非公開画像）を必要とするものである。

ノンブラインド型の電子透かしは原画像を必要とするため、電子透かしを埋め込む際に原画像の情報を所有する必要がある。その一方、原画像の情報を利用することでより高度な埋め込み及び検出が可能となる利点がある。以下では、読み取りのために用いるこれらの画像を参照画像と呼ぶ。

このうち、近年の主流の手法はブラインド型である。準ブラインド型、非ブラインド型の電子透かしは、電子透かし研究の初期においてよく研究されたものの、現在はほとんど注目されていない。これは、利用容易性の問題もさることながら、被疑画像と参照画像を照合しなければならないという問題によるものと考えられる。もし、参照画像の数が膨大となれば、照合にかかる計算コストも増大し、実際的な時間では処理が終了しないと考えられる。換言すれば、これらの手法にはスケーラビリティの問題があると思われている。

なお、この技術分野に関連する近年の文献として、ブラインド型電子透かしに関するもの（例えば、非特許文献３〜５）、非ブラインド型電子透かしに関するもの（例えば、非特許文献６）がある。また、画像認識技術に関する文献として、後述するSIFT（例えば、非特許文献９参照）、PCA-SIFT（例えば、非特許文献７参照）およびANN（例えば、非特許文献８参照）が知られている。
Martin Kutter "Digital Watermarking World"、[online]、[平成19年8月30日検索]、インターネット<URL: http://www.watermarkingworld.org/> 田中愛子、岡本栄司："電子透かしを用いたディジタル画像改竄検出方法に関する研究"、Master's thesis (2004) P.Bas, J.-M. Chassery and B.Macq: "Geometrically Invariant Watermarking Using Feature Points", Trans. IEEE Image Processing, Vol.11, No.9, pp.1014-1028 (2002) 戸根、浜田: "スケール変換と回転等への耐性を持つ電子透かし法"、信学論(D-I)、Vol.J88-D-I, No.12, pp.1750-1759 (2005) H.-Y.Lee, H.Kim, H.-K.Lee: "Robust Image Watermarking Using Local Invariant Features", Optical Engineering, Vol.45, No.3, pp.037002-1-11 (2006). 横田、黄瀬、汐崎："画像認識を用いた著作権保護システムの実験的検討"、電気学会 電子・情報・システム部門大会講演論文集 (2007) Y.Ke and R.Sukthankar: "A more distinctive representation for local image discriptors", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Vol.2, pp.506-513 (2004) S.Arya, D.M. Mount, N.S. Netanyahu, R.Silverman and A.Y. Wu: "An optimal algorithm for approximate nearest neighbor searching fixed dimensions", Journal of ACM, Vol.45, No.6, pp.891-923 (1998) D.Lowe, "Distinctive image features from scale-invariant keypoints",International Journal of Computer Vision, vol.60, no.2, pp.91-110, 2004 野口 和人、本道 貴行、岩村 雅一、黄瀬 浩一、 "近似最近傍探索の多段階化によるリアルタイム物体認識システム"、 画像の認識・理解シンポジウム(MIRU2007)論文集、 DS-16, pp.467-468, 2007 K.Kise, K.Noguchi and M.Iwamura, Simple representation and approximate search of feature vectors for large-scale object recognition, Proc. of BMVC2007, 2007

前述のような著作権保護のシナリオを現実のものとするためには、電子透かしがいくつか満たさなければならない性質がある。その性質は大きく分けて２つ考えられる。１つは埋め込んだ画像の視覚的劣化が少ないことである。電子透かしは、人間にとって見えないものでなければならない。そうでなければ、電子透かしを埋め込むと元の画像が劣化するため、画像の価値を損ねてしまうことになる。もう一つは、知覚出来ない程度の改竄によって埋め込み情報を除去されないこと、即ち、簡単には除去できないことである。無理に除去しようとすると、元の画像の画質が著しく劣化し、除去後の画像にはもはや価値がなくなることが理想的である。

しかしながら、現在利用可能な多くの手法では、これらの性質はすべて満たされている訳ではない。いくつか重要なポイントがあるが、その中の一つは、多くの手法が画像の幾何学的な変換に対して十分な耐性を持たないことである。

実際、埋め込んだ著作権を無効化する技術が存在する。その代表的なものとしてStirMark攻撃と呼ばれるものがある。StirMark攻撃とは人の目に知覚できない範囲で画像に変化を加えるものである。StirMark攻撃を受けると画像が改竄され、埋め込んだ電子透かしが取り出せなくなり、著作権を主張する証拠を失ってしまう。原因としては、電子透かしがStirMark攻撃で加えられる画像変換、とりわけ幾何学的な変換やクロップ変換に弱いということが挙げられる。即ち、現状の電子透かしはクロップ（切り取り）、拡大縮小、回転、剪断変換などに十分な耐性がないか、あるいは十分な耐性を得ようとすると、人間に知覚されないという性質を満たすことができず、画像の価値を損ねてしまうという課題がある。

ここで、電子透かしのベンチマークであるStirMark（詳細は、インターネットのURL:"http://www.petitcolas.net/fabien/watermarking/stirmark/"あるいは、"http://kinoshita.ee.kanagawa-u.ac.jp/nayuta/2000/stirmark/stirmark.html"を参照）について述べる。StirMark攻撃は画像を改竄するフリーツールであり、電子透かしの耐性を評価するために用いられている。この改竄により、画像はある閾値の範囲でランダムに回転・拡大・縮小・線形変換などの混合変換が施され、画素値が変更される。即ち、StirMarkは、ノイズ付加、周波数フィルタリング、大域的ならびに局所的な幾何学的変換、非可逆圧縮などの画像劣化を、原画像に与える。その結果、埋め込んだ情報の検出が困難となる。
図１に幾何学的変換を施した例を図２に示す。これらの例のうち、(a)は，画像の中央部分を切り出す処理の結果である。また、(b)〜(d)は、プログラムStirMark3.1によって生成されたものである。具体的には、(b)がStirMarkのオプション -R 、(c)がオプション -b、(d)がオプション -i を指定することによって生成された。なお、例示のため、各種変換の強度は明確に知覚できるレベルとしている。

実際にStirMarkを利用する際には、これらの画像劣化は人間に知覚できないレベルに保たれる。ただし、このようなレベルにあっても、従来法の多くでは、電子透かしが読み出せないほどに大きなダメージを受ける。例を図３に示す。StirMark攻撃を受ける前には、埋め込んだ著作権情報が明確に読み出されている。著作権情報はＡ社が著作権を有している画像をＢさんが購入したということを示すものである。一方、StirMark攻撃を受けた後は、電子透かしを読み取れない状態になっていることがわかる。従って、電子透かし研究の一つの目標は、いかにStirMark攻撃への耐性を得るかという点にある。前記混合変換のなかでも、回転・クロップ変換などの幾何学的変換にとりわけ弱いことが知られている。

ところで、前述のように、電子透かしに関する研究の大半は、ブラインド型電子透かしに関するものである。この理由は、被疑画像があれば、ともかく電子透かしを読み取ることができるという、利用容易性の高さにある。しかしながら、この方式は最も開発が難しく、StirMarkなどの攻撃に必ずしも十分な耐性があるとはいえない面がある。

近年、ブラインド型電子透かしにおいても、StirMarkなどの攻撃に対する耐性を向上させ手法がいくつか提案されている（例えば、非特許文献３〜５参照）。これらの手法は、画像認識の分野で開発された技術を応用したものである。即ち、局所記述子(local descriptor)を画像から多数抽出し、各々に対応する局所領域に電子透かしを埋め込むものである。局所記述子は、一般に幾何学的変換にあまり影響を受けずに抽出することができる。しかしながら、これらの手法は、従来の電子透かしの手法に比べて、StirMarkなどの攻撃に対する耐性がまだ十分検証されているとはいえない。また、すべての局所領域に同じデータを埋め込むため、透かしとして埋め込める情報の容量に限界があるといった課題も存在する。

この発明は、以上のような事情を考慮してなされたものであって、画像の著作権保護について、最新の画像認識技術に基づく全く異なる観点からの解決策を提案する。より具体的には、画像認識技術の適用により高いスケーラビリティを持つ非ブラインド型の電子透かしの復元方法および復元処理プログラムを提供するものである。
ここでいう最新の画像認識技術とは、SIFT (Scale-Invariant Feature Transform、例えば、非特許文献９参照)やPCA-SIFT (Principal Component Analysis SIFT、例えば、非特許文献７参照)といった局所記述子（画像の局所領域の特徴を記述する特徴ベクトル）を用いたものである。前述のSIFTやPCA-SIFTがそうであるように、一般に局所記述子は拡大縮小や回転などの幾何学的変換に不変なものが多い。さらに、局所記述子は局所的な特徴を表すため、画像のクロップに対しても殆ど影響を受けない。

この発明では、このような問題点を解決する試みとして、局所記述子を用いた新しい電子透かし法を提案する。この発明が従来法と最も大きく異なる点は、従来法がブラインド型の電子透かし、すなわち、電子透かしを読み出すのに原画像を必要としないのに対して、この発明はノンブラインド型、すなわち原画像を用いる点にある。

この発明における局所記述子の利用方法は以下の通りである。まず、著作権保護の対象となる画像から局所記述子を抽出し、画像と共にデータベースに格納しておく。そして著作権侵害が疑わしい画像（被疑画像）を得た場合、被疑画像からも局所記述子を抽出し、それをデータベース中のものと照合することにより、被疑画像が著作権保護対象の画像かどうかを判断する。

一般に、ノンブラインド型の電子透かしはブラインド型のものに比べて、透かしの読み出し時に比較対象となる原画像を参照できるため、ロバスト性（耐性）や容量の点で有利である。一方で、原画像データベースの中から、どの原画像を参照すべきかを決めるための検索のオーバーヘッドが存在するという問題点もある。この問題点に関して、我々は既に大量の画像の中から高速かつ高精度に原画像を検索する枠組みを提案している（例えば、非特許文献６参照）。この手法では、StirMarkやクロップなどの画像変換を受けた画像をキーとして、1万画像のデータベースから原画像を200ミリ秒程度で探し出すことができるものである。検索精度も99.5%が得られていることから、ノンブラインド型の大きな問題点は解決されつつあるといえる。また、異なる文献によれば、１０万画像との照合によって、未知画像を認識するというタスクに対して、必要な処理時間が１ミリ秒であることがすでに報告されている（例えば、非特許文献１０、１１参照）。一旦、被疑画像がデータベース中の画像であることが認識されれば、データベース中の画像を用いて、被疑画像から埋め込まれた情報を取り出すことが考えられる。

さらに、この発明では、ノンブラインド型で電子透かしを埋め込む一手法を提案する。この発明の特徴は、ノンブラインド型の特徴を活かして、複数の局所領域を順序付けて、透かし情報を埋め込むことにより、単独で用いる場合に比べて容量や精度を増加させる点にある。局所領域の順序、すなわち、どの順番でどの領域からデータを読み出せば正しく復号できるのかについては、原画像のデータベースに記録しておく。また、埋め込みに用いる領域とそれ以外の領域の区別も記録しておき、読み取り時の精度を向上させる。

以上のように、この発明は、著作権保護用の電子透かしを無効化する改ざんがなされた画像から電子透かしを復元する方法であって、コンピュータが、改ざんの疑いがある被疑画像から複数の局所記述子を抽出する工程と、電子透かしが埋め込まれた原画像から複数の局所記述子が抽出され、各局所記述子が原画像と対応付けられて予め登録された原版データベースを参照する工程と、被疑画像の各局所記述子と原版データベース中の各局所記述子とを対比して被疑画像に対応する原画像を検索する工程と、対応する原画像が見出されたとき原画像と被疑画像との各局所記述子の対応関係に基づいて被疑画像から電子透かしを抽出する工程とを備え、各局所記述子は、原画像および被疑画像中の何れかの特徴点に対応しその特徴点近傍の画像的な特性を示すものである電子透かしの復元方法を提供する。

また、異なる観点から、この発明は、原画像に埋め込まれた著作権保護用の電子透かしが原画像の改ざんにより無効化された場合、改ざん後の画像から前記電子透かしを復元する処理をコンピュータに実行させるプログラムであって、改ざんされた疑いのある被疑画像から複数の局所記述子を抽出する処理と、電子透かしが埋め込まれた原画像から複数の局所記述子が抽出され、各局所記述子が原画像と対応付けられて予め登録された原版データベースを参照する処理と、被疑画像の各局所記述子と原版データベース中の各局所記述子とを対比して被疑画像に対応する原画像を検索する処理と、対応する原画像が見出されたとき原画像と被疑画像との各局所記述子の対応関係に基づいて被疑画像から電子透かしを抽出する処理とを実行させ、各局所記述子は、原画像および被疑画像中の何れかの特徴点に対応しその特徴点近傍の画像的な特性を示すものである電子透かし復元処理プログラムを提供する。

この発明の著作権保護方法は、被疑画像から複数の局所的な局所記述子を抽出し、被疑画像に係る各局所記述子と原版データベースに登録された各局所記述子とを対比して被疑画像に対応する原画像を検索し、対応する原画像が見出されたとき原画像と被疑画像の各特徴点の対応関係に基づいて被疑画像から電子透かしを抽出するので、画像認識技術の適用により高いスケーラビリティを持つ非ブラインド型の電子透かしを実現することができる。

以下、この発明の好ましい態様について説明する。
前記改ざんは原画像に幾何学的変換を加えるものであり、各局所記述子が示す特性は前記幾何学的変換に対して耐性のある特性であり、前記原画像は、各局所記述子に係る特徴点の近傍領域であってその特徴点から所定範囲内にある領域（埋め込み領域）に電子透かしが分散されて埋め込まれたものであってもよい。
このようにすれば、局所的な対応関係に基づいて原画像を検索するので、被疑画像に幾何学的変換が加えられていても精度の高い検索が可能になる。例えば、被疑画像と原画像の対応関係がクロップ変換（周辺部の切り取り）で破壊される可能性が低いという利点を得ることができる。また、局所的な対応関係は、回転・拡大・縮小・線形変換などの混合変換に対しても高い耐性を得ることが可能になる。さらに、前記特徴点が幾何的変換に対して高い耐性を有することから、その近傍に埋め込まれた電子透かしは、幾何的変換に対して高い耐性を有する。

また、前記原版データベースには、電子透かしの分散に係る各埋め込み領域の順序および／または分散の割り当てを示す分散情報が登録されてなり、電子透かしを抽出する工程は、分散されて埋め込まれた電子透かしを前記分散情報に基づいて統合し復元するものであってもよい。
このようにすれば、電子透かしが複数の埋め込み領域に分散して埋め込まれるので、各局所領域に同じデータを埋め込む場合に比べて、電子透かしとして埋め込み可能な情報の容量を大きくすることができる。また、分散の数は、埋め込むべき情報の容量に応じて著作権者等が電子透かしを埋め込む際に決定すればよいので、小容量から大容量までの広範囲の情報量の埋め込みに対応することが可能である。

さらに、前記原版データベースには、埋め込み領域を有する特徴点と有さない特徴点との識別情報が登録されてなり、電子透かしを抽出する工程は、前記識別情報に基づいて埋め込み領域を特定し、各埋め込み領域から電子透かしを抽出するものであってもよい。このようにすれば、電子透かしを埋め込むのに適した特徴点、例えば、その近傍に十分な広さの埋め込み領域が確保できる特徴点のみに対応する限定的な埋め込み領域に対して電子透かしを埋め込むことができ、すべての特徴点の近傍に電子透かしを埋め込む場合に比べて抽出される電子透かしの精度をより高めることができる。

さらにまた、前記原版データベースには、各埋め込み領域の範囲を表す領域情報が登録されてなり、電子透かしを抽出する工程は、前記領域情報に基づいて各埋め込み領域の範囲を特定するものであってもよい。このようにすれば、領域情報を原版データベースに登録しておくことができるので、各特徴点の特性に応じた埋め込み領域の広さを設定することができる。例えば、各特徴点の埋め込み領域は、隣り合う特徴点（隣接特徴点）の埋め込み領域と互いに重なり合わないように埋め込み領域の範囲を設定してもよい。電子透かしが重複して埋め込まれると、電子透かしの抽出の精度が落ちるためである。この態様によれば、各特徴点の特性に応じた広さで埋め込み領域を設定できるので、一律に埋め込み領域の広さを設定する場合に比べて抽出される電子透かしの精度をより高くすることができる。あるいは、より広い領域に電子透かしを埋め込むことができ、従って、より大容量の情報の埋め込みが可能になる。各領域情報は、各特徴点に対応付けて登録されていてもよい。

また、各局所記述子は、特徴ベクトルとして記述され、電子透かしを抽出する工程は、被疑画像と原画像との間で対応関係にある特徴ベクトルについてその方向の差の値および／またはその大きさの比の値を求め、求めた値が所定の範囲内にある特徴点の埋め込み領域から電子透かしを抽出するようにしてもよい。このようにすれば、幾何学的変換の影響が所定範囲内である特徴点、即ち、原画像に対して特徴ベクトルの方向（角度）の差が所定範囲内および／またはその大きさの比が所定範囲内にある特徴点の埋め込み領域に限定してそれら埋め込み領域から電子透かしを抽出するので、限定を付さない場合に比べより高い精度で電子透かしを抽出することが可能になる。

また、原画像および被疑画像に係る各局所記述子は、SIFT(Scale-Invariant Feature Transform)またはPCA-SIFT(Principal Components Analysis SIFT)のアルゴリズムを用いて抽出されたものであってもよい。ただし、この発明はこれに限定されるものではなく、幾何学的変換などの画像歪に対して不変な局所記述子が得られるなら他の手法を用いてもよい。ただし、他の部分から抽出された特徴点と区別ができること、即ち識別性を有することが必要である。

さらにまた、被疑画像に対応する原画像を検索する工程は、ANN(Approximate Nearest Neighbor)を用いた最近傍探索により被疑画像に係る各局所記述子と原版データベース中の原画像の各局所記述子とを対比するものであってもよい。ただし、この発明はこれに限定されるものではなく、最近傍検索が高速に処理できるなら他の手法を用いてもよい。例えば、後述の実施形態に挙げた野口らの手法（多段階近似最近傍検索法）を用いてもよい。
前記被疑画像は、ウェブ上にある画像であってもよい。
ここで示した種々の好ましい態様は、それら複数を組み合わせることもできる。

以下、図面を用いてこの発明をさらに詳述する。なお、以下の説明は、すべての点で例示であって、この発明を限定するものと解されるべきではない。

≪第１の実施形態≫
1. 概要
この発明に係る手法は、上記のこれまでの常識を覆し、最新の画像認識技術の助けを借りて、高いスケーラビリティを持つ非ブラインド型の電子透かしを提案するものである。
図４にこの発明に係る提案する処理方式を示す。この処理方式は３つのステップから構成される。

第１ステップでは、被疑画像（ここでは検索質問画像と呼ぶ）の認識処理が行われる。認識に用いるのは、著作権保護の対象となる画像のデータベース（原版データベース）１１である。認識のタスクとしては、検索質問画像に対応する著作権保護対象の画像が存在すれば、それを発見することである。この際、前述の局所記述子を用いる。局所記述子とは、画像を解析することによって得られる特徴点に対して、その周囲の局所的な領域から、幾何学的変換に不変な特徴量をベクトルデータとして抽出するものである。もう一つの重要な特性として、一般に、局所記述子の抽出対象となる特徴点は、画像中に分散していることがある。対応する画像が認識処理によって得られると、その副作用として、特徴点同士の対応関係が得られる。対応関係の得られた特徴点が、画像の様々な箇所から抽出できることは、次のステップの処理を行う上で重要な性質である。

第２ステップでは、得られた対応関係を用いて、検索質問画像を正規化する。正規化のプロセスでは、特徴点の対応を用いて画像の幾何学的な歪みを補正するほか、画像に関する他の歪みの補正も行う。このような処理は、参照画像があって初めて可能になることである。また、特徴点同士の対応が画像中で分散して得られるほど、補正の精度も高くなることが考えられる。

最後のステップでは、正規化された検索質問画像から電子透かしを読み取る。
このような処理方式を実現するため、この明細書では、特に第一ステップの実現について説明する。

2. 画像認識
画像認識の分野は、これまで、ノイズや幾何学的変換、隠れ（電子透かしとの関連でいえばクロップ）など、多様な画像の歪みに対処する方法が研究されてきた。近年提案された局所記述子は、そのような研究の成果であり、これらの多様な歪みに対して、高い対処能力を有するものである。この実施形態では、よく知られたSIFT記述子の一改良である、PCA-SIFTという記述子を用いる。この記述子は、３６次元のベクトルデータである。

局所記述子を用いる際の大きなポイントは、大量の局所記述子間の対応をいかに求めるかということである。対応を求める際には、局所記述子間の距離を計算し、距離が最小となる局所記述子（最近傍の局所記述子）を求める必要がある。VGAサイズの１枚の一般的な画像からは、おおよそ２千個程度の局所記述子が得られるため、１万画像のデータベースでは、２千万個の局所記述子が含まれていることになる。したがって、１枚の検索質問画像を１万画像と照合するために必要な距離計算の回数は、単純にすべての組の記述子について距離を計算すると、２０００×２千万＝４００億回となる。このような回数の距離計算を行うには、最新の計算機を用いても、１時間以上の計算時間が必要となり現実的ではない。しなしながら、最近傍を求める最新の技術を用いると、この計算時間を劇的に改善することが可能である。

この実施形態では、最近傍を求める技術としてよく知られたANN(Approximate Nearest Neighbor)法を用いる。ANNでは、最近傍を求める際に、近似を導入することにより、計算時間を劇的に削減することが可能である（例えば、非特許文献８参照）。なお、この実施形態ではANNを用いるが、前述の非特許文献１０で提案された手法（多段階近似最近傍探索法）を用いれば、さらなる高速化が実現できる。

認識全体の処理は以下のように実現されている。検索質問画像から得られた局所記述子（検索質問ベクトルと呼ぶ）は、１票を持つものとする。各検索質問ベクトルに対して、そのベクトルの最近傍となるベクトルを、データベースから検索する。そして、検索されたベクトルが属する画像に対して、１票を投じる。この処理をすべての検索質問ベクトルに対して行い、最終的に得票数最大となった画像を認識結果とする。このとき、最低得票数などの条件を用いて、それを満足しないものについてはたとえ得票数が最大であっても、認識結果とはしない。

≪第２の実施形態≫
1. 概要
この実施形態では、図４の第二のステップ、即ち、検索質問画像の正規化（補正）を行わなくても電子透かしを抽出可能な態様について説明する。この実施形態は、電子透かしを埋め込む手法を工夫することによって実現される。以下、この実施形態の具体的な内容を説明する。

この実施形態における第一の着眼点は、画像認識の分野で提案されている局所記述子を電子透かしに導入する点にある。局所記述子とは、そもそも画像認識を安定的に行うために開発された画像の記述子である。一般に画像認識においては、認識対象となる物体が斜めから撮影されるなど幾何学的変換を被ることや、隠れなどのために一部分しか画像に含まれないという状況が通常である。この問題に対処するため、局所記述子は、幾何学的変換に対してほぼ不変な特徴量（特徴ベクトル）を抽出するものとなっており、画像の局所領域の特徴を記述することによって、部分的な撮影に対してもロバスト性を得ている。

この技術を電子透かしに導入し、局所領域に透かし情報を埋め込むと、著作権保護対象の画像が幾何学的変換を受けても安定して取り出せ、かつクロップにも高いロバスト性が得られると期待できる。数は少ないながら、これまでにもいくつか、そのような手法は提案され[3,4,5]、有効性が検証されつつある。

第二の着眼点は、上記の局所領域に基づく電子透かし法の問題点を解決するためのものである。上記の手法は基本的にブラインド型の手法であるため、処理の基本は、画像から抽出した個々の局所領域を一つの「画像」として捉え、透かし情報を埋め込むものである。一般に画像からは多数の局所領域が得られるが、それらには基本的に同じ情報が埋め込まれる。読み出し時には同じ情報を何度も取得することによって、局所領域の抽出誤りや電子透かしの読み出し誤りに対処している。局所記述子を用いない手法では、画像全体に透かし情報を埋め込めるため、比較的多くの情報量を、人間には知覚されにくい形で埋め込むことが可能である。一方、局所領域を用いる手法では、元の画像サイズにもよるが１辺が数十画素程度の局所領域に情報を埋め込むため、埋め込める容量に限界が生じる。

この発明では、この問題点を解決するため、複数の局所領域に順序を付けて、それらに一連の情報を埋め込むことを考える。このような手法を可能とするためには、局所領域の順序を正しく復元することが求められる。方法としては種々考えられるが、この実施形態では、情報を埋め込む際に定めた順序をデータベースに記録しておき、それを読み出し時に用いることを考える。このような手法は、電子透かしを読み出す際に原画像（から得られた情報）を参照するため、ノンブラインド型の電子透かしといえる。具体的には原画像から局所記述子を抽出した際に、それを埋め込みに用いるか否か、用いる場合には何番目の情報を埋め込むのかを原画像のデータベースに合わせて記録しておき、読み出しに利用する。この発明では、このような方式により、容量の問題点の解決を図る。

2. 処理の流れ
処理の流れを図13に示す。処理は、埋め込み・検索・検出の３つのステップからなる。
この発明では、まず保護したい画像（以下、原画像）群の局所記述子をデータベースに登録しておく。次に、著作者は原画像に電子透かしを埋め込み販売する。この画像がStirMarkなどの画像変換を経た後に、インターネット上にアップロードされることを考える。インターネット上で著作権侵害の可能性のある画像（以下、被疑画像）は、原画像のデータベースとの照合によって発見される。データベースとの照合は、局所記述子を単位として行われるため、照合の結果として、被疑画像の局所記述子と原画像の局所記述子の対応が得られる。その結果、各々の局所記述子に対応付けられた局所領域同士を対比することが可能となり、電子透かしを読み出すことができる。また、原画像の局所記述子には、埋め込みの際の順序が記述されているため、読み出した透かし情報を正しい順序に並べ替えることができる。
以上がこの実施形態の概要である。次節以降では、これらの処理を実現させるための技術について述べていく。

3. 特徴ベクトル抽出
処理の詳細について述べる前に、まず、この実施形態で用いる局所記述子について述べる。
ステップ１の埋め込みは、画像認識分野で用いられる局所記述子に基づき行う。画像認識の分野では、これまで多数の局所記述子が提案されているが、この発明では、その中でも、画像の回転や拡大縮小などの相似変換に不変な記述子である、PCA-SIFT（例えば、非特許文献７参照）を用いる。PCA-SIFTは、図14に模式的に示すように、画像の輝度変化から特徴点を抽出し、各特徴点の特徴を記述するベクトルデータ（特徴ベクトル）を得、得られた特徴ベクトルのスケール（大きさ）と方向（角度）を決定し、スケールに応じて周辺領域の輝度から抽出した特徴量を計算するものである。特徴点のスケールと方向は、画像の大きさや回転角度が変化しても、安定的に求められるため、それらによって定まる局所領域(正方形)は相似変換に不変となる。

4. 埋め込み
次に、電子透かしの埋め込み方法について述べる。図14に示すように、一般にPCA-SIFTの局所領域としては、様々な大きさの領域が多数抽出される。これらはすべて電子透かしの埋め込みに用いることができるわけではなく、以下の条件を満たす必要がある。
１．StirMark攻撃を受けた後でも、安定して取り出せること
２．透かし情報を埋め込むのに十分な大きさと数があること
３．領域が互いに重ならないこと

上記の(1)と(2)の条件を満たす領域を確認するため、StirMark攻撃を加えた画像を用いて予備実験を行った。その結果、比較的面積の大きい局所領域はStirMark攻撃を加えた後でも安定して取り出せるのに対して、面積の小さな領域は安定性に欠けることが分かった。また、面積の小さい領域は、画像が縮小された場合にも取り出せなくなる可能性が高いため、好ましくない。そこでこの実施形態では、面積が大きな領域から上位N個を埋め込みに用いることにする。

次に上記の条件(3)について述べる。互いの領域が重なるものに対して、透かし情報を埋め込もうとすると、一方に埋め込んだ後、他方によって上書きするような形になってしまい、先に埋め込んだ情報が破壊されてしまうという問題がある。特に大きな領域であればそれだけ、互いに重なり合う可能性が高い。この問題点を解決するため、この実施形態では、PCA-SIFTによって定められた局所領域のうち、一部分を用いて透かし情報を埋め込むことを考える。具体的には、図15に示すように、特徴点を重心に持ち、局所領域と同じ辺の向きを持ちつつ、一辺の長さをM画素に縮小した領域を考える。このように埋め込み領域を縮小することによって、互いに重なり合わないように領域を確保する。縮小した領域同士が重なる場合には、元の領域の面積が大きい方を優先して使用する。

最後に埋め込み方法について述べる。
上記の方法により埋め込み領域が得られたとする。個々の領域への埋め込みは、領域のRGBの平均画素を増減させることにより行う。情報量はRGBそれぞれに増加させることでビット"1"を、減少させることでビット"0"を埋め込む。従って、局所領域あたりの埋め込みビット数は3ビットとなる。領域内の画素値を増加させるには-BからAの一様乱数を加え、逆に減少させるには減ずる。
このような方法によって、合計で3Lビットを埋め込むためには、L個の局所領域を順序付けた上で1セットとして扱う必要がある。一般に、画像から得られる局所領域はL個より多く設定できる。いま、その数を LP(=N) 個とすると、局所領域には同じデータをP回、繰り返して記録することになる。これによって、読み出しに失敗した場合やクロップへの対処が可能となる。
埋め込みに際しては、埋め込みに用いたか否か、また、局所領域の順序j (1≦j≦L) を記録しておく。

具体的に例を挙げて説明する。今、著作権を保護したい画像に9ビット111,101,000の情報を埋め込むとする。そして、PCA-SIFTによって、図16(a)に示す12個の局所領域が得られたとする。埋め込みたい情報が9ビットなので、3つの領域1,2,3を1セットとして合計4セットを設定する。そして、1,2,3の領域に順に111,101,000と埋め込む。

5. 検索
ステップ２の検索とは、インターネット上で著作権侵害の可能性のある画像を発見した場合に、著作権保護対象の画像データベースから、対応する画像を検索することである。検索方法は、まずインターネット上の画像から特徴量を抽出し、次に、予め登録済みの画像データベース内の特徴量と対比することで対応する画像を探しだすというものである。ここでいう、特徴量はステップ１の埋め込みで用いたPCA-SIFTである。このステップでは、StirMark攻撃により改竄された画像と対応する画像を大量の画像データベースからいかに速く正確に検索することが必要であるが、既に前術の非特許文献６において高精度高速度で処理可能であることが検証済みである。

6. 検出
ステップ３の検出では、ステップ２の検索結果の画像から電子透かしを取り出す。ステップ２の結果、副産物として、局所記述子同士の対応が概ね得られているが、対応の中には、誤ったものも含まれている。そこで、この実施形態では、統計的処理によってそれらの誤対応（外れ値）を取り除き検出精度を向上させる。

ここで、前記統計的処理の具体的な処理手順を説明する。図18中の矢印は、原版データベース中のある特徴ベクトルとそれに対応付けられた被疑画像の特徴ベクトルを示している。特徴ベクトルの後端の黒丸は特徴点である。各特徴量、即ち、特徴ベクトルのスケールと方向は、各特徴点を囲む四角形の領域（局所領域）の特性に基づいて決定される。図18で、原画像側の特徴ベクトルは、そのスケールがS₁、方向（角度）がθ₁である。被疑画像側の特徴ベクトルは、そのスケールがS₂、方向がθ₂である。図18は、一組の特徴ベクトルを代表例として記載しているが、実際には多数の特徴ベクトルが原画像と被疑画像との間で対応している。それらの特徴ベクトルの対応関係を示す指標として、特徴ベクトルのスケール比と方向の差分とが挙げられる。各指標についてヒストグラムを作成し、最頻値から外れたものを除くことにより誤対応を除外することができる。この処理は、被疑画像に施された幾何学的変換（改ざん）が人間に近くできない程度であれば、各局所記述子の対応関係はほとんど同値になるという点に着目してノイズを除去する処理である。

ヒストグラムを作成するため、例えば、スケール比R(=S₂/S₁)について、0.2未満、0.2〜1.8の範囲で0.2ずつ区切り、そして1.8以上という10個のビン（仮想的な整理棚）を考える。前述のように、S₁，S₂は順に対応する原画像と被疑画像のスケールである。そして方向の差分φ(=θ₂-θ₁)についても、例えば、0〜4πの範囲で2π/5ずつ区切り10個のビンを想定する。前述のように、θ₁，θ₂は順に対応する原画像と被疑画像の方向である。次にスケールが大きいものほど対応が正確であるという記述子の特徴を踏まえて、原画像のスケール上位K位と対応する被疑画像のスケール上位T(≧K)位から選ばれたK個の組について、前述の方法でスケール比と方向の差分を求め、ヒストグラムを作成する。そして、最頻値を得たビン及びその前後のビンに含まれたスケール比と方向の差分の範囲を求める。スケール比のヒストグラムの例を図19に、方向の差分のヒストグラムの例を図20に示す。スケール比の最頻値を得たビンは6であるので、前後のビン5，7も含めて、スケール比0.8〜1.2を求める範囲とする。一方、方向の差分の最頻値を得たビンは5であるので、前後のビン4，6も含めて、方向の差分6π/5〜12π/5を求める範囲とする。

そして、原画像のスケール上位N位と対応する被疑画像のスケール上位T位から選ばれたN個の組の内、先ほど求めたスケール比と方向の差分の範囲内にあるもののみ、原画像の局所領域の濃度平均と、被疑画像の局所領域の濃度平均を比べることによって、透かし情報を読み出す。従って、透かし情報の読み出し対象となるものは、スケール比と方向の差分が揃っているものに限定され、外れ値は読み出し対象から除外される。
その結果、j番目のデータとして、P個の局所領域からの読み出し結果が得られる。読み出しの最終結果は、多数決によって定める。

具体例で見てみよう。先ほどの図16(a)のように領域が順序付きで得られたとする。例えば順序1の領域は、埋め込み時に4領域を設定したため、得られた領域も4領域となる。データを読み出した結果、図16(b)に示すように111, 111, 110, 111であったとしよう。この場合、多数決によって読み出し結果は111となる。

≪実験例≫
この発明の有効性を示すため、検索に関する実験と埋め込み及び検出に関する実験を行った。

1 検索に関する実験
ステップ2の検索の有効性を検証するため3つの実験を行った。前提として、画像検索は画像に変動がない場合、成功することは自明である。著作権保護の場合、画像の変動の原因はStirMark攻撃と電子透かしの埋め込みの２つであると考えられるので、これらに対する耐性が重要な検討項目である。StirMark攻撃に対しては、実際に用いられるような「知覚出来ないレベルの変動」に加えて、様々な画像変換による変動の耐性に関しても考察する。

データベースとしては原画像を一万枚用意し、3つの実験で共通に用いた。この画像は非特許文献７で用いられている写真画像の一部である。次に、検索質問用に一万枚の中から100枚を選び出した。この準備の下、次の3つ観点から行った実験について述べる。3つの実験のすべてにおいて、評価方法としては、全検索質問のうちどれだけ対応する画像を検索できたかを表す精度を用いた。また、必要に応じて一万画像の中から1枚の検索質問に対応する画像を選び出す処理時間を計測した。ただし、特徴量の抽出時間は含まない。

1.1 知覚できないレベルのStirMark攻撃に対する耐性を検証する実験
最初に、実際に用いられる場面を想定し、知覚できないレベルのStirMark攻撃を与え、どの程度画像認識が有効であるかを検証した。まず、選択した100枚の画像にフリーツールであるSteganoEngine Ver.2.3（インターネットのURL:http://www.lnsoft.net/swconvert.htm/steganoengine参照）を用いて電子透かしを埋め込み、StirMark攻撃のデフォルト設定(StirMark ver.3.1)を用いてランダムに100パターンの画像の改竄を施した。そのようにして得られた検索質問一万枚用いて実験を行った。評価方法として、精度と処理時間を用いた。

結果を表1に示す。電子透かしを埋め込んでいない画像(StirMark攻撃は受けている)の場合、画像認識の精度は100%であった。一方、電子透かしを埋め込んだ場合は、その影響で画像特徴量に変動が生じたため、精度が0.51%低下したものの、依然として99%以上の高い値を維持することができた。処理時間については両者とも200msあまりと高速であった。

1.2 StirMark攻撃における4種類の画像変換に対する耐性を検証する実験
StirMark攻撃を知覚できるレベルにまで変化させた場合に、どの程度まで画像認識が可能かを検証した。まず、選択した画像100枚に対して電子透かしを埋め込み、StirMark攻撃の4種類の画像変換(クロップ変換、局所的な画素置換変換、コーナーシフト変換、センターシフト変換)のパラメータ値を変化させ、計43パターンの改竄を施した。そして得られた検索質問を4300枚用意して実験を行った。評価方法には精度を用いた。

結果を図5に示す。どの変換も大幅にパラメータ値を変化させるに連れて精度が低下している。具体例として、図6の原画像に対して、電子透かしを埋め込んだ画像例を4種類の変換ごとに図7〜図10に示す。ここで、成功例の中で画像の変動が最大のものを(a)に、失敗例の中で画像の変動が最小のものを(b)に示している。図7は成功例の画像のみを示している。なお、図中の精度は他の検索質問画像も加味した平均値である。

クロップ変換に関して言えば、図7(a)ようにクロップのパラメータ値を10と大きく変化させた場合にも検索に成功した。局所的な画素置換変換については図8(a)のような知覚できる範囲の画像変換にも成功した。また図8(b)までパラメータ値を変化させたときに初めて失敗した。次に、コーナーシフト変換の処理画像を図9に示す。図9(a)のように大幅な画像の改竄に対しても正しく認識できた。
最後に、センターシフト変換の処理画像を図10に示す。図10(b)のように大きく太らせる形になると失敗した。総じて、精度が低下している画像に関しては、原画像と比較して変動が激しく、外観を保っていないので著作権の保護対象とはならない画像であると見なすことができる。また、電子透かしの有無で精度に顕著な差は見られなかった。

1.3電子透かしに対する耐性を検証する実験
Zhuらの文献（W.Zhu, Z.Xiong and Y.Q. Zhang, "Multiresolution watermarking for images and video", IEEE Transactions on Circuits and Systems for Video Technology, vol.9, no.4, pp.545-550, 1999.参照）で用いられている電子透かしの強度を変化させ、どの程度まで画像認識が出来るのかを検証した。まず、選択した100枚に、強度αを0.1から1.0まで0.1ずつ合計10段階変化させ電子透かしを埋め込んだ。そしてStirMark攻撃のデフォルト設定(StirMark ver.3.1)を用いて、ランダムに画像の改竄を施し検索質問を1000枚用意し、実験を行った。その結果、図12(a)の原画像に対して、図11に示すように強度α=0.3までは精度を100%に維持できることがわかった。また、図12(b)のように画像に変更を加えられた場合にも検索することができた。精度が90%に低下した図12(c)の場合は原画像図12(a)と比較すると画像の乱れが激しいため、前述と同様に著作権保護の対象外と考えられる。

2 埋め込み及び検出に関する実験
ステップ1の埋め込みとステップ3の検出について実験を行った。実験に用いた画像は、最近のディジタルカメラで得られるサイズ3008×2000の画像11枚である。各種パラメータは以下の値とした。透かしの埋め込み強度を表すパラメータAとBについては、A=12, B=2とした。埋め込んだ透かしは30ビット(L=10), 重複して埋め込む回数P=20とした。従って、埋め込みに用いた局所領域の合計はN=LP=200個である。また、検出対象に選んだ局所領域の合計はL=500個である。これらの領域は、原画像から得られた局所領域のうち、スケールが大きいものの上位200個および500個である。なお、原画像、被疑画像ともに、平均して2.8万個の局所領域が得られた。埋め込みに用いる領域の大きさは、１辺がM=60画素の正方形とした。透かし情報として乱数を埋め込み、StirMark攻撃のデフォルト設定(StirMark ver.3.1)を施した後に、読み出しを試みた。また、誤対応を除外する範囲の算出にはスケールの大きさ上位K=100個を用いた。その結果、11枚のうち、10枚からは埋め込んだすべての情報を正しく読み出すことができた。

図17(a)に成功例を図17(b)に失敗例を示す。失敗画像については、読み出し誤りが発生していた。実験に用いた枚数が少ないため確定的なことはいえないが、失敗した画像については、類似のテクスチャが多く、局所記述子間で誤対応が起こったことが原因として挙げられる。この問題に対処するためには、画像同士の照合も行って、対応結果を検証する必要があると考えられる。

なお、第２の実験例において、局所領域への埋め込み法としてこの実施形態で用いたものは、濃度の平均に基づくプリミティブな手法であり、従来法に比べて容量の点で大きく劣るものである。従来法(例えば、非特許文献４による手法)と同様の方式を用いることによりさらに画像に埋め込み可能な情報の容量を増加させることができるものと考えられる。

各ステップに関する実験の結果、以下の知見が得られた。ステップ２の検索に関しては、１万画像をデータベースとし、データベースから100枚の画像を選択し電子透かしを埋め込み、StirMark攻撃を与えた画像を検索質問として検索した。その結果、知覚出来ないレベルのStirMark攻撃を受けた検索質問については、検索質問あたり平均216ミリ秒、検索精度99.5％で検索することができた。ステップ1の埋め込み及びステップ3の検出に関しては、11枚の画像に提案システムを用いて電子透かしを埋め込み、StirMark攻撃を与え、検出を行った。その結果、11枚中10枚から正しく検出できた。以上により、この発明の有効性が示された。局所領域への埋め込み法としてこの実施形態で用いたものは、濃度の平均に基づくものであり、従来法に比べて容量の点で十分とは言えない。今後はこの点を改良し、実容量としても従来法を上回る手法へと改良する必要がある。

前述した実施の形態の他にも、この発明について種々の変形例があり得る。それらの変形例は、この発明の範囲に属さないと解されるべきものではない。この発明には、請求の範囲と均等の意味および前記範囲内でのすべての変形とが含まれるべきである。

この発明の原版データベースに登録されるべき原画像の一例を示す説明図である。 図１の原画像にStirMarkによる幾何学的変換が施された例を示す説明図である。(a)はクロップ、(b)はフラクション、(c)は歪曲、(d)はカーブの例である。 この発明に係る電子透かしとStirMarkとの関係を示す説明図である。 この発明の第１の実施形態に係る著作権保護方法の手順を示す説明図である。 実施形態に係る実験例1.2（StirMark攻撃における4種類の画像変換に対する耐性を検証する実験）の結果を示すグラフである。(a)はクロップ変換、(b)はフラクション変換、(c)は歪曲変換、(d)はカーブ変換の例である。 実施形態に係る実験例1.2に用いられた原版（原画像）の一例を示す説明図である。 実施形態に係る実験例1.2で、図６の原版がクロップ変換された例を示す説明図である。成功例（クロップ変換のパラメータ値 10）を示す。 実施形態に係る実験例1.2で、図６の原版が局所的な画素置換された例を示す説明図である。(a)は成功例（フラクションのパラメータ値(-R) 10）、(b)は失敗例（フラクションのパラメータ値(-R) 50）を示す。 実施形態に係る実験例1.2で、図６の原版が歪曲コーナーシフト変換された例を示す説明図である。(a)は成功例（コーナーシフト変換のパラメータ値(-b) 100）、(b)は失敗例（コーナーシフト変換のパラメータ値(-b) 300）を示す。 実施形態に係る実験例1.2で、図６の原版がセンターシフト変換された例を示す説明図である。(a)は成功例（センターシフトのパラメータ値(-i) 225）、(b)は失敗例（センターシフトのパラメータ値(-i) 250）を示す。 実施形態に係る実験例1.3の結果を示すグラフである。 実施形態に係る実験例1.3に用いられた画像の一例を示す説明図である。(a)は原画像、(b)はα＝０．３、(c)はα＝１．０の例である。 この発明の第２の実施形態に係る処理の流れを示す説明図である。 この発明の第２の実施形態に係るPCA-SIFTを用いた局所記述子の例を模式的に示す説明図である。 この発明の第２の実施形態に係る局所記述子の特徴量抽出領域と電子透かしの埋め込み領域との対応を示す説明図である。 この発明の第２の実施形態に係る原画像にStirMark攻撃が加えられた画像において、各埋め込み領域に埋め込まれた情報を多数決により抽出する様子を示す説明図である。 この発明の第２の実施形態に係る実験に用いた画像の例を示す図である。(a)は成功例、(b)は失敗例の画像である。 この発明の第２の実施形態で、対応関係にある特徴ベクトルのスケール比と方向の差分とを示す説明図である。 この発明の第２の実施形態で、スケール比について作成されたヒストグラムの一例を示すグラフである。 この発明の第２の実施形態で、方向の差分について作成されたヒストグラムの一例を示すグラフである。

符号の説明

１１：原版データベース

Claims (10)

1. 著作権保護用の電子透かしを無効化する改ざんがなされた画像から電子透かしを復元する方法であって、
   コンピュータが、
   改ざんの疑いがある被疑画像から複数の局所記述子を抽出する工程と、
   電子透かしが埋め込まれた原画像から複数の局所記述子が抽出され、各局所記述子が原画像と対応付けられて予め登録された原版データベースを参照する工程と、
   被疑画像の各局所記述子と原版データベース中の各局所記述子とを対比して被疑画像に対応する原画像を検索する工程と、
   対応する原画像が見出されたとき原画像と被疑画像との各局所記述子の対応関係に基づいて被疑画像から電子透かしを抽出する工程とを備え、
   各局所記述子は、原画像および被疑画像中の何れかの特徴点に対応し、その特徴点近傍の画像的な特性を示すものである電子透かしの復元方法。
2. 前記改ざんは原画像に幾何学的変換を加えるものであり、各局所記述子が示す特性は前記幾何学的変換に対して耐性のある特性であり、
   前記原画像は、各局所記述子に係る特徴点の近傍領域であってその特徴点から所定範囲内にある領域（埋め込み領域）に電子透かしが分散されて埋め込まれてなる請求項１に記載の方法。
3. 前記原版データベースには、電子透かしの分散に係る各埋め込み領域の順序および／または分散の割り当てを示す分散情報が登録されてなり、
   電子透かしを抽出する工程は、分散されて埋め込まれた電子透かしを前記分散情報に基づいて統合し復元するものである請求項２に記載の方法。
4. 前記原版データベースには、埋め込み領域を有する特徴点と有さない特徴点との識別情報が登録されてなり、
   電子透かしを抽出する工程は、前記識別情報に基づいて埋め込み領域を特定し、各埋め込み領域から電子透かしを抽出するものである請求項３に記載の方法。
5. 前記原版データベースには、各埋め込み領域の範囲を表す領域情報が登録されてなり、
   電子透かしを抽出する工程は、前記領域情報に基づいて各埋め込み領域の範囲を特定する請求項３または４に記載の方法。
6. 各局所記述子は、特徴ベクトルとして記述され、
   電子透かしを抽出する工程は、被疑画像と原画像との間で対応関係にある特徴ベクトルについてその方向の差の値および／またはその大きさの比の値を求め、求めた値が所定の範囲内にある特徴点の埋め込み領域から電子透かしを抽出する請求項１〜５の何れか一つに記載の方法。
7. 原画像および被疑画像に係る各局所記述子は、SIFT(Scale-Invariant Feature Transform)またはPCA-SIFT(Principal Components Analysis SIFT)のアルゴリズムを用いて抽出される請求項１〜６の何れか一つに記載の方法。
8. 被疑画像に対応する原画像を検索する工程は、ANN(Approximate Nearest Neighbor)または多段階近似最近傍探索法を用いた最近傍探索により被疑画像に係る各局所記述子と原版データベース中の原画像の各局所記述子とを対比する請求項１〜７の何れか一つに記載の方法。
9. 前記被疑画像は、ウェブ上にある画像である請求項１〜８の何れか一つに記載の方法。
10. 原画像に埋め込まれた著作権保護用の電子透かしが原画像の改ざんにより無効化された場合、改ざん後の画像から前記電子透かしを復元する処理をコンピュータに実行させるプログラムであって、
    改ざんされた疑いのある被疑画像から複数の局所記述子を抽出する処理と、
    電子透かしが埋め込まれた原画像から複数の局所記述子が抽出され、各局所記述子が原画像と対応付けられて予め登録された原版データベースを参照する処理と、
    被疑画像の各局所記述子と原版データベース中の各局所記述子とを対比して被疑画像に対応する原画像を検索する処理と、
    対応する原画像が見出されたとき原画像と被疑画像との各局所記述子の対応関係に基づいて被疑画像から電子透かしを抽出する処理とを実行させ、
    各局所記述子は、原画像および被疑画像中の何れかの特徴点に対応しその特徴点近傍の画像的な特性を示すものである電子透かし復元処理プログラム。