JP2006303935A

JP2006303935A - 電子透かし検出装置及びその方法並びに記憶媒体

Info

Publication number: JP2006303935A
Application number: JP2005123218A
Authority: JP
Inventors: Shiyouko Ejima; 將高江島; Takashi Inoue; 尚井上; Kenichi Noritomi; 賢一乗富
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2005-04-21
Filing date: 2005-04-21
Publication date: 2006-11-02

Abstract

【課題】印刷された透かし入り画像をカメラで撮影して透かし情報を抽出する際に、局所的な非線形の歪みが生じている場合でも、少ない計算コストで正しく透かし情報を検出すること。
【解決手段】電子透かし検出装置は、画像データを読み取る画像読み取り部と、前記画像データの形状を多角形で近似する画像形状近似部と、前記形状近似した画像の形状に基づいて透かし情報の埋め込み位置を推定する埋め込み位置推定部と、前記形状近似した画像の形状に基づいて検出フィルタを生成する検出フィルタ生成部と、前記埋め込み位置と前記検出フィルタに基づいて透かし情報を検出する透かし情報検出部とを備え、電子透かしの検出を行う。
【選択図】図１

Description

本発明は、透かし入り画像に非線形の歪みが生じた場合に、少ない計算コストで精度良く透かし情報を検出する技術に関するものである。

ディジタル機器の普及に伴い、ディジタルコンテンツのコピーを容易に作成することができるようになった。その結果、著作権を無視した不正コピーが増加しており、著作権保護が重要な問題となっている。

著作権保護の解決策の一つとして、「電子透かし」が検討されている。電子透かしとは、ディジタルコンテンツ中に、人間には知覚できない形で密かに著作権などの情報を埋め込む技術である。

通常、コンテンツには様々な処理が加えられる。例えば、蓄積メディア容量には制限があるため、コンテンツに対して非可逆圧縮が行われる。また、意図的に透かし情報を消すために、フォーマット変換やフィルタリングの処理を施すことも考えられる。従って、電子透かしには、様々な処理に対する耐性が要求される。

その中で幾何学変換に対する耐性を向上させる従来の技術として特許文献１が挙げられる。図１６、図１７は、それぞれ前記特許文献１に記載された従来技術の埋め込みと検出のブロック図である。

埋め込み側で、画像の基準の印となる補正マーカ付きの透かし入り画像を生成する。補正マーカの付加方法としては、画像の四隅に付加する方法や画像全体への枠として付加する方法がある（図１８）。検出側では、まず補正マーカを検出する。次に、この補正マーカを基準として歪みの度合いを表す幾何変換パラメータを推定し、このパラメータを用いて幾何学補正を施す。そして最後に補正済みの画像から透かし情報の検出を行っている。

また、幾何学変換に対する耐性を向上させる別の従来技術として特許文献２が挙げられる。図１９、図２０は、それぞれ前記特許文献２に記載された従来技術の埋め込みと検出のブロック図である。

埋め込み側で、画像の歪みを判定するためのテンプレート信号（レジストレーション信号とも呼ばれる）を周波数空間で埋め込んでおく。検出側では、まず画像をブロックに分割する。次に、テンプレート信号を基に歪みの度合いを表す変換パラメータをブロック毎に推定し、幾何学補正を施す（図２１）。そして最後に補正済みの画像から透かし情報を検出する。
特開2005-26797号公報特開2003-178296号公報

しかしながら、特許文献１の手法では印刷された画像を光学機器で撮影して読み取る場合等に生じる局所的な非線形の歪みに対処することが難しい。特許文献２の手法では、境界部分で不連続点が発生し、これが新たな歪みとなり、検出処理に悪影響を及ぼす。また、領域毎に補正パラメータを算出して画像の補正を行うため、計算コストも大きい。

本発明は、前記従来の課題を解決するもので、少ない計算コストで局所的な非線形の歪みに対処し、電子透かし情報を正しく検出するための画像処理装置及びその方法並びに記録媒体を提供することを目的とする。

前記従来の課題を解決するために、第１の発明に係る電子透かし検出装置は、前記画像データを読み取る画像読み取り部と、前記画像データの形状を多角形で近似する画像形状近似部と、前記形状近似した画像の形状に基づいて透かし情報の埋め込み位置を推定する埋め込み位置推定部と、前記形状近似した画像の形状に基づいて検出フィルタを生成する検出フィルタ生成部と、前記埋め込み位置と前記検出フィルタに基づいて透かし情報を検出する透かし情報検出部とを有し、電子透かしの検出を行う。

第２の発明では、透かし情報検出部が、埋め込み位置推定部で推定した埋め込み位置と前記埋め込み位置に近接するN（Nは1以上の整数）個の位置において透かし情報を（N+1）個抽出する透かし情報抽出部と、前記抽出した（N+1）個の透かし情報を統計的に処理して判断する透かし情報判定部とを有する。

また、第３の発明では、画像読み取り部が、携帯端末のカメラで光学的に画像を読み取る。

第４の発明では、画像形状近似部が、画像取り込み部で光学的に画像データを読み取る際の撮影モードに応じて、予め定められた多角形の形状を選択する。

第５の発明では、検出フィルタが、画像に付加されている付加パターンに基づき、水平方向、垂直方向のタップ数を適応的に変化させて構成される。

更に、読み取った画像データに対して、画像全体に生じた歪みを補正する歪み補正部を備える。

本構成によって、局所的な非線形の歪みが生じている透かし入り画像からでも、少ない計算コストで正しく電子透かし情報を検出することができる。

本発明によれば、画像の形状を多角形で近似して透かし情報が含まれている位置、及び領域を推定し、これに応じて検出フィルタを適応的に変化させる。この適応的な変化により、局所的な非線形の歪みが生じている透かし入り画像からでも、少ない計算コストで正しく透かし情報を抽出することが可能となる。

以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態）
図１は、本発明の実施の形態における電子透かし検出装置のブロック図である。

図１において、電子透かし検出装置は、画像取り込み部１０１と歪み補正部１０２と画像形状近似部１０３と埋め込み位置推定部１０４と検出フィルタ生成部１０５と透かし情報検出部１０６とを備える。尚、透かし情報検出部は、透かし情報抽出部１０７と透かし情報判定部１０８とを有する。

図２は、本発明の実施の形態に係る、電子透かし検出装置のフローチャートである。

まず、画像読み取り部１０１は、紙に印刷された透かし入り画像やスクリーンに投影された透かし入り映像を光学的に読み取る（ステップ２０１）。次に、歪み補正部１０２は、前記読み込んだ画像データ全体に生じている歪みを補正する（ステップ２０２）。そして、画像形状近似部１０３は、前記補正した画像の形状を多角形で近似する（ステップ２０３）。埋め込み位置推定部１０４は、前記形状近似した画像に基づいて透かし情報の埋め込み位置を推定する（ステップ２０４）。また、検出フィルタ生成部１０５は、前記形状近似した画像の形状に基づいて検出フィルタを生成する（ステップ２０５）。ここで、透かし情報抽出部１０７は、前記埋め込み位置推定部で推定した埋め込み位置と前記埋め込み位置に近接するN（Nは1以上の整数）個の位置において透かし情報を（N+1）個抽出する（ステップ２０６）。

最後に、透かし情報判定部１０８は、前記抽出した（N+1）個の透かし情報を統計的に処理して、埋め込まれていた透かし情報を判定する（ステップ２０７）。

以下、各ステップの詳細を説明する。

ここでは、図３に示すように、画像データを矩形領域に分割し、この領域毎に0、若しくは1の透かし情報が埋め込まれているとする。そして、この透かし入り画像データが雑誌やポスター等の紙面に印刷されているとする。

まず、ステップ２０１で印刷された画像データをデジタルカメラ、カムコーダ、携帯カメラ等の光学機器で取り込み、画素値と画像サイズSX、SYを得る（図４）。

このとき、撮影条件やカメラの特性に依存して画像に様々な歪みが生じる。ここで画像全体に歪みが生じている場合には、ステップ２０２で画像の補正を行う。但し、画像全体への歪みが生じていない、若しくは無視しても問題ない歪みの場合には、ステップ２０２の処理は省くことができる。ここでは、歪みとして回転の例を示す。

まず、回転角θを算出する（図５）。回転した画像から四隅の座標を抽出し、（数１）により回転角θを算出する。

ここでは平均により求めているが、いずれか一方、即ち（数２）または（数３）を用いても良い。

また、tan-1ではなく、sin-1の（数４）やcos-1の（数５）を用いても求めることができる。

そして、（数６）のによりマッピング後の座標A’に対応するマッピング前の座標Aを求め、座標Aでの画素値をA’の画素値とすることで回転の補正が完了する。

但し、ここでP、Qは整数値、p、qは実数値を取ることに注意する。p、qが整数値でない場合、座標Aでの画素値は存在しない。そこで、ニアレストネイバー法（Nearest Neighbor Method）、バイリニア（Bi-linear Method）、バイキュービック法（Bi-Cubic Method）などのサンプリング手法を用いて座標Aの画素値を求める必要がある。以下では、バイリニア法を用いた方法について記述する。

まず、座標Aの４近傍A1〜A4と各座標の画素値f1〜ｆ4求める（図６）。そして、（数７）により座様Aの画素値fを求める。

ステップ２０３で、画像データの形状近似を行う。カメラで撮影された画像で一般的に見受けられる歪みとして樽形歪みがある（図７）。以下では、y軸方向（縦方向）に樽形歪みが生じている場合について示す。

ここでは六角形で画像の形状を近似する（図７）。但し、実際に画像の形状を変形させるのではなく、仮想的に形状を求めていることに注意する。

次に、ステップ２０３で得られた形状に基づいて透かし情報の埋め込み位置をステップ２０４で推定する。また検出パラメータとして、埋め込み時にx軸方向、y軸方向に分割したブロック数を使用する。ここでは、x軸方向の分割数をM個、y軸方向の分割数をN個とし（図３では、M=5、N=3となる）、x軸方向でm個目、y軸方向でn個目に位置するブロックの埋め込み位置（Um,Vn）を推定する方法を以下に示す。尚、六角形の各頂点をB1〜B6とする（図８）。

まず、直線B1B2、直線B2B3、直線B4B5、直線B5B6を表す関数F1(x)、F2(x)、F3(x)、F4(x)をそれぞれ（数８）〜（数１１）で算出する。

次に（数１２）によりUmを算出する。

但し、関数int[・]は四捨五入則による整数化処理を表す。

最後にVnの算出を行う。m≦int（M/2）のときは（数１３）、int(M/2)<mのときは（数１４）により求めることができる。

ステップ２０５で、検出フィルタを生成する。例えば、0の情報を埋め込む際は図９（a）のパターンを、1の情報を埋め込む際は図９（b）のパターンを付加する埋め込み方式であった場合（図９（c）は01001の情報を埋め込んだ図）、図９（a）を検出フィルタとすることができる。そして、図９（a）と（c）のマッチングを行い、その極性によって埋め込まれていた情報を判定することができる。但し、ステップ２０３での形状近似により、フィルタのタップ数は適応的に変化させる必要がある。x軸方向フィルタのタップ数は（数１５）、y軸方向フィルタのタップ数は、m≦int（M/2）のときは（数１６）、int(M/2)<mのときは（数１７）により求められる。

ステップ２０６で、透かし情報の抽出を行う。抽出の際には、透かし情報の位置ずれ対策として、ステップ２０５で推定した埋め込み位置とこの埋め込み位置に隣接するN個の位置において、透かし情報の抽出を（N+1）回行う。ここでは、推定した埋め込み位置を中心に隣接する1画素の領域内で9回透かし情報を抽出する方法を記述する。図１０に示すように、ステップ２０４で推定した埋め込み位置（Um,Vn）を中心として、検出フィルタをx軸方向、y軸方向にそれぞれ±1の範囲でずらしなら計9回の抽出を行う。

最後に、ステップ２０６で得られた結果を、ステップ２０７で統計的に処理して透かし情報の判定を行う。統計的に判定する最も簡単な方法として多数決による判定方法がある。ステップ２０６で、k回目の抽出で得られた結果をDkとする。このとき（数１８）により求まるDがD<0.5ならば透かし情報は0、0.5≦Dならば透かし情報は1と判定することができる。

本実施の形態において、取り込み画像の形状を六角形で近似したが、これに限ったものではない。画像の歪みに応じて形状を変化させることができる。例えば、x軸方向、y軸方向共に樽形の歪みが生じている場合は、八角形で近似するのが良い（図１１）。また、この形状はカメラの撮影モード（フォーカスの違い）に応じて自動的に変更することも可能である。例えば、通常モード（フォーカスが遠い）による撮影時は歪みが少ないので六角形で近似し、マクロモード（フォーカスが近い）による撮影時は歪みが大きいので八角形で近似するという具合に設定することもできる。

本実施の形態において、画像全体に生じた歪みとして回転の例を示したが、これに限ったものではない。平行移動、スケーリングに関しても、回転のときと同様に（数１９）の二次元アフィン変換として議論することができる。また、台形歪みも高次の多項式に拡張した（数２０）の透視変換によって補正することができる（図１２）。

本実施の形態において、多数決によって透かし情報の最終判定をおこなったが、これに限ったものではない。抽出した透かし情報の信頼度に依存して重みakを付けて、（数２１）で判定してもよい。

信頼度は、マッチングの相互相関の値に応じて与えることができる。例えば、相互相関Rkの絶対値の最大値を１としたとき、0≦|Rk|<(1/3)のときの重みをak=0、(1/3≦|Rk|<(2/3)のときのの重みをak=0.5、(2/3)≦|Rk|≦1のときの重みをak=1とする。ステップ２０６で、１を抽出したときはDk=1、0を抽出したときはDk=-1とし、（数２１）により求まるDがD<0ならば透かし情報は0、0≦Dならば透かし情報は1と判定することができる。図１３の場合、D=3.5≧0となり、透かし情報は１と判定される。

なお、実施の形態における電子透かし検出装置の各構成要素をプログラムとして構築し、電子透かし検出装置として利用されるコンピュータにインストールする、または、ネットワークを介して流通させることも可能である。このプログラムには、画像取り込み部１０１と歪み補正部１０２と画像形状近似部１０３と埋め込み位置推定部１０４と検出フィルタ生成部１０５と透かし情報検出部１０６が、プロセス、またはプログラムモジュールとして実装されることになる。

本実施の形態に係る構成例を図１４に示す。１４０１はCPU、１４０２はデジタルカメラ、カムコーダ、携帯カメラ等の画像取り込み部、１４０３は画像取り込み機器の接続I/O、１４０４はデジタルカメラ、カムコーダ、携帯カメラ等のディスプレイ部、１４０５はディスプレイ部の接続I/O、１４０６はRAM、１４０７はハードディスク等の外部記憶装置、１４０８は外部記憶装置の接続I/O、１４０９はCD-ROMやDVD-ROM等の記憶媒体、１４１０は記憶媒体を読み込むドライブ、１４１１はドライブの接続I/O、１４１２はネットワーク通信を行うI/Fである。

以下、図１５のフローチャートを用いて詳細を示す。

まずプログラムの読み込みを行う。

本プログラムは、コンピュータ上で実行可能な形式として記録媒体１４０９に格納されている。これをドライブ１４１０で読み込む。或いは、本プログラムは、ネットワークなどのI/F１４１２を通じてダウンロードしてもよい。また、本プログラムは、予め外部記憶装置１４０７に格納されていてもよいし、更には、ドライブ、ネットワークを通じて読み込んだ後に、接続I/O１４１１及び１４０８を通じて、外部記憶装置１４０７に格納してもよい（ステップ１５０１）。

読み込んだプログラムをRAM１４０６に読み込む（ステップ１５０２）。なお、ドライブ１４１０を用いて読み込む場合は、接続I/O１４１１を通じてRAM１４０６へ展開される。一方、外部記憶装置１４０７を用いて読み込む場合は、接続I/O１４０８を通じてRAM１４０６へ展開される。

次に画像データの取り込みを行う。

取り込みは、画像取り込み部１４０２で光学的に行われる（ステップ１５０３）。

取り込まれた画像が、接続I/O１４０３及び１４０８を通じて外部記憶装置に格納される（ステップ１５０４）。

格納された画像データが、接続I/O１４０８を通じてRAM１４０６へ展開される（ステップ１５０５）。

RAMに読み込まれたプログラムと画像データを用いてCPU１４０１で透かし情報の検出処理が行われる（ステップ１５０６）。ここでの処理は、上述した実施の形態に従って検出処理が進められる。

検出した結果は、接続I/O１４０５を通じてディスプレイ部１４０４に表示される。また、検出結果を受け、I/F１４１２を通じてネットワークにアクセスすることも可能である。

本発明にかかる画像処理装置は、局所的な非線形の歪みが生じた画像からでも、少ない計算コストで正しく透かし情報を抽出することを可能とする。雑誌やポスター等の紙面に印刷された透かし入り画像をカメラで撮影して透かし情報を抽出する場合に有用である。

本発明の実施の形態における電子透かし埋め込み装置のブロック図本発明の実施の形態における電子透かし埋め込み装置のフローチャート本発明の実施の形態における電子透かし埋め込みの例を示す図本発明の実施の形態における画像取り込みを示す図本発明の実施の形態における回転補正を示す図本発明の実施の形態における補間の算出方法を示す図本発明の実施の形態における画像の形状近似（六角形近似）を示す図本発明の実施の形態における検出位置の算出方法を示す図本発明の実施の形態における電子透かし埋め込みの例を示す図本発明の実施の形態における検出フィルタとのマッチングの方法を示す図本発明の実施の形態における画像の形状近似（八角形近似）を示す図本発明の実施の形態における台形補正を示す図本発明の実施の形態における抽出結果を示す図本発明の実施の形態における記録媒体のブロック図本発明の実施の形態における記録媒体のフローチャート従来技術（特許文献１）の埋め込みのブロック図従来技術（特許文献１）の検出のブロック図従来技術（特許文献１）説明のための図従来技術（特許文献２）の埋め込みのブロック図従来技術（特許文献２）の検出のブロック図従来技術（特許文献２）説明のための図

符号の説明

１０１画像取り込み部
１０２歪み補正部
１０３画像形状近似部
１０４埋め込み位置推定部
１０５検出フィルタ算出部
１０６透かし情報抽出部
１０７透かし情報判定部
４０１印刷媒体
４０２透かし入り画像
４０３光学機器
４０４取り込み画像
７０１樽状に歪んだ画像
７０２六角形で近似した画像
１００１検出フィルタの位置
１００２透かし情報の位置
１１０１樽状に歪んだ画像
１１０２八角形で近似した画像
１４０１ CPU
１４０２画像取り込み部
１４０３ I/O
１４０４ディスプレイ部
１４０５ I/O
１４０６ RAM
１４０７外部記憶装置
１４０８ I/O
１４０９ ROM
１４１０ドライブ
１４１１ I/O
１４１２ I/F
１６０１電子透かし埋め込み部
１６０２補正マーカ付加部
１６０３出力部
１７０１入力部
１７０２補正マーカ認識部
１７０３幾何学変換補正部
１７０４電子透かし検出部
１８０１印刷媒体
１８０２透かし入り画像
１８０３補正マーカ（四隅）
１８０４補正マーカ（枠）
１９０１周波数変換部
１９０２テンプレート信号付加部
１９０３出力部
２００１ブロック分割部
２００２幾何変換パラメータ算出部
２００３幾何変換部
２１０１歪んだ画像（全体）
２１０２部分的に補正された画像

Claims

画像データを読み取る画像読み取り部と、
前記画像データの形状を多角形で近似する画像形状近似部と、
前記形状近似した画像の形状に基づいて透かし情報の埋め込み位置を推定する埋め込み位置推定部と、
前記形状近似した画像の形状に基づいて検出フィルタを生成する検出フィルタ生成部と、
前記埋め込み位置と前記検出フィルタに基づいて透かし情報を検出する透かし情報検出部と、
を備えることを特徴とする電子透かし検出装置。
透かし情報検出部が、
埋め込み位置推定部で推定した埋め込み位置と前記埋め込み位置に近接するN（Nは1以上の整数）個の位置において透かし情報を（N+1）個抽出する透かし情報抽出部と、
前記抽出した（N+1）個の透かし情報を統計的に処理して判断する透かし情報判定部と、
を備えることを特徴とする請求項１記載の電子透かし検出装置。
画像読み取り部が、携帯端末に設けられたカメラで光学的に画像を読み取ることを特徴とする請求項１または２記載の電子透かし検出装置。
画像形状近似部が、画像取り込み部で光学的に画像データを読み取る際の撮影モードに応じて、予め定められた多角形の形状を選択することを特徴とする請求項１、２または３記載の電子透かし検出装置。
検出フィルタが、画像に付加されている付加パターンに基づき、水平方向および／または垂直方向のタップ数を適応的に変化させて構成されることを特徴とする請求項１〜４のいずれかに記載の電子透かし検出装置。
読み取った画像データに対して、画像データ全体に生じた歪みを補正する歪み補正部を更に備えることを特徴とする請求項１〜５のいずれかに記載の電子透かし検出装置。
画像データを読み取る画像読み取りステップと、
前記画像データの形状を多角形で近似する画像形状近似ステップと、
前記形状近似した画像の形状に基づいて透かし情報の埋め込み位置を推定する埋め込み位置推定ステップと、
前記形状近似した画像の形状に基づいて検出フィルタを生成する検出フィルタ生成ステップと、
前記埋め込み位置と前記検出フィルタに基づいて透かし情報を検出する透かし情報検出ステップとを備えることを特徴とする電子透かし検出方法。
透かし情報検出ステップが、埋め込み位置推定ステップで推定した埋め込み位置と前記埋め込み位置に近接するN（Nは1以上の整数）個の位置において透かし情報を（N+1）個抽出する透かし情報抽出ステップと、
前記抽出した（N+1）個の透かし情報を統計的に処理して判断する透かし情報判定ステップとを備えることを特徴とする請求項７記載の電子透かし検出方法。
読み取った画像データに対して、画像データ全体に生じた歪みを補正する歪み補正ステップを更に備えることを特徴とする請求項７または８記載の電子透かし検出方法。
画像データから電子透かしを検出するプログラムをコンピュータ読み取り可能にした記録媒体であって、
前記画像データを読み取る画像読み取りステップと、
前記画像データの形状を多角形で近似する画像形状近似ステップと、
前記形状近似した画像の形状に基づいて透かし情報の埋め込み位置を推定する埋め込み位置推定ステップと、
前記形状近似した画像の形状に基づいて検出フィルタを生成する検出フィルタ生成ステップと、
前記埋め込み位置と前記検出フィルタに基づいて透かし情報を検出する透かし情報検出ステップとを実現させるプログラムを記録した記録媒体。
透かし情報検出ステップが、埋め込み位置推定ステップで推定した埋め込み位置と前記埋め込み位置に近接するN（Nは1以上の整数）個の位置において透かし情報を（N+1）個抽出する透かし情報抽出ステップ、
前記抽出した（N+1）個の透かし情報を統計的に処理して判断する透かし情報判定ステップとを備えることを特徴とする請求項１０記載の記録媒体。
読み取った画像データに対して、画像データ全体に生じた歪みを補正する歪み補正ステップを更に備えることを特徴とする請求項１０または１１記載の記録媒体。