JP2015192389A - マーカ埋め込み装置、マーカ検出装置、及びプログラム - Google Patents

Abstract

【課題】マーカを電子透かしと重なる領域において映像に埋め込むことができる。【解決手段】マーカ重畳部３０により、入力された動画像の各フレームの画像について、画像の知覚されにくい色成分において、予め定められた濃淡パターンを有するマーカを、予め定められた領域に重畳し、電子透かし情報重畳部４０により、動画像の各フレームの画像について、画像に重畳されたマーカとの位置関係において定められる画像の領域に電子透かし情報を重畳し、埋め込み済画像出力部５０により、動画像の各フレームに対する、マーカと電子透かし情報とを重畳した画像を出力する。【選択図】図６

Description

本発明は、電子透かしの埋め込まれた動画像に対して射影変換が施された場合においても電子透かしの検出を容易にするためのマーカ埋め込み装置、マーカ検出装置、及びプログラムに関するものである。

画像、映像といったコンテンツの流通の際、コンテンツ識別・管理や著作権保護・管理、関連情報提供などの目的のため、人間の目に知覚されないようにコンテンツ内に別の情報を埋め込む電子透かし技術を用いる方法が知られている。

特に、画像・映像コンテンツに対する電子透かし技術においては、画素値の微小変更に基づく方法が一般的である。具体的方法として、例えば、電子透かしを埋め込む際に、埋め込み対象成分位置情報に基づいて、複素行列の実数成分と虚数成分を独立に変更するスペクトル拡散を行い、入力画像と独立に透かしパターンを生成し、実際の画像パターンの加算を行うことで埋め込み済み画像を生成し、電子透かしを検出する際には、検出対象成分位置情報に基づいて検出対象系列を生成し、オフセット情報を抽出し、検出対象系列を修正した後にスペクトル逆拡散を行い、切り出した画素ブロック内に埋め込まれている電子透かしを検出するような電子透かし方式がある（特許文献１）。

また、電子透かしにおいては、デジタルコンテンツを表すデジタル信号が、電子透かしの埋め込み後に受ける様々な改変に対して耐性を持つこと、すなわち様々な改変を受けた上で電子透かしを検出できることが必要である。

特に重要な改変として、幾何学的変換が挙げられる。幾何学的変換への耐性は、対象となる画像・映像コンテンツをカメラで再撮影して、そのコンテンツに埋め込まれた電子透かしを検出する場合に必須の要件となっている。なぜなら、撮影する距離やアングルの違い等により、幾何学的変換が生じるからである。

幾何学的変換に対して耐性を持たせる方法としては、電子透かしが埋め込まれている画像の縁を検出し、画像の四隅の位置を特定することで逆射影変換を行って変換前の状態を復元する方法がある（特許文献２）。

また、電子透かしを空間的な繰り返しパターンとして埋め込み、検出時にはそのパターンの自己相関を利用して補正する方法がある（特許文献３）。

また、画像の周波数空間上に人間に不可視なかたちでマーカを埋め込み、それを使って補正する方法がある（特許文献４、特許文献５）。

特開２００３−２１９１４８号公報 特許第４０２００９３号明細書 特表２００３−５１０９３１号公報 特許第３９４９６７９号明細書 特開２０１０−２３２８８６号公報

しかし、特許文献２記載の方法では、射影変換による変形を伴った画像からも電子透かしを検出できるが、画像の縁を安定的に検出するためには画像の周囲に黒い枠もしくは白い枠で囲う必要があり、当該枠は、人間の目で知覚されるため、コンテンツ自体のデザイン性を大きく損ねてしまう問題がある。

また、特許文献３〜５記載の方法では、人間の目で知覚されることなく、幾何学的変換を伴った画像から電子透かしを検出することは可能であるが、対応可能なのは回転、スケール変換などに代表されるアフィン変換のみであり、射影変換までは対応できないという問題がある。

また、マーカパターンの埋め込み強度とマーカ検出安定性の間でトレードオフの関係が成立しているため、マーカの検出を安定して行うためにはマーカパターンの埋め込み強度を強めた方が良く、必然的にマーカが視認され易くなるといった問題がある。

さらに、マーカパターンをより遠くの距離から検出しやすくするためには映像に対してできるだけ大きく埋め込む必要があるが、マーカと電子透かしを埋め込む場所を同一の場所に埋め込むと、両者のパターンが干渉してしまうため、別々の場所に埋め込む必要があり、マーカパターンを大きく埋め込むことには限界があるという問題がある。

本発明では、上記問題点を解決するために成されたものであり、コンテンツのデザイン性を損なうことなく、射影変換が施された動画像を元の動画像に変換する際に用いるマーカを動画像に埋め込むことができるマーカ埋め込み装置、及びプログラムを提供することを目的とする。

また、射影変換が施された動画像を元の動画像に変換する際に用いるマーカを動画像から検出するマーカ検出装置、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係るマーカ埋め込み装置は、入力された動画像の各フレームの画像について、前記画像の知覚されにくい色成分において、予め定められた濃淡パターンを有するマーカを、予め定められた領域に重畳するマーカ重畳部と、前記動画像の各フレームの画像について、前記マーカ重畳部により前記画像に重畳された前記マーカとの位置関係において定められる前記画像の領域に電子透かし情報を重畳する電子透かし情報重畳部と、前記動画像の各フレームに対する、前記マーカと前記電子透かし情報とを重畳した画像を出力する埋め込み済み画像出力部と、を含んで構成されおり、前記マーカは、各々異なる位置及び異なる傾きで配置された複数の直線的な帯状の領域における前記色成分には前記マーカにおける他の領域の前記色成分と異なる色差が定められ、前記複数の直線的な帯状の領域すべてを横切る直線と前記直線的な帯状の領域それぞれとの交点の組み合わせで定められる複比が一定の値であり、前記マーカ重畳部は、前記動画像の各フレームの画像について、予め定められた第１時間周波数で前記画像ごとに重畳の強さを周期的に変化させて前記マーカを重畳するマーカ埋め込み装置である。

第１の発明によれば、マーカ重畳部により、入力された動画像の各フレームの画像について、画像の知覚されにくい色成分において、マーカを、予め定められた第１時間周波数で重畳の強さを画像ごとに周期的に変化させながら予め定められた領域に重畳し、電子透かし情報重畳部により、画像に重畳されたマーカとの位置関係において定められる画像の領域に電子透かし情報を重畳し、埋め込み済画像出力部により、マーカと電子透かし情報とを重畳した画像を出力する。

このように、入力された動画像の各フレームの画像について、画像の知覚されにくい色成分において、マーカを、予め定められた第１時間周波数で重畳の強さを画像ごとに周期的に変化させながら予め定められた領域に重畳し、重畳されたマーカとの位置関係において定められる画像の領域に電子透かし情報を重畳し、マーカと電子透かし情報を重畳した画像を出力することにより、コンテンツのデザイン性を損なうことなく、射影変換が施された動画像を元の動画像に変換する際に用いるマーカを、動画像に埋め込むことができる。

また、第１の発明においては、前記電子透かし情報重畳部は、前記動画像の各フレームの画像について、前記第１時間周波数と異なる予め定められた第２時間周波数で前記画像ごとに重畳の強さを周期的に変化させて前記電子透かし情報を重畳してもよい。

また、第１の発明においては、前記動画像の各フレームの画像について、前記画像の知覚されにくい色成分において前記マーカが重畳された領域と異なる領域に所定の濃淡で示されるガイドラインを重畳するガイドライン重畳部を更に含み、前記電子透かし情報重畳部は、前記動画像の各フレームの画像について、前記マーカ重畳部により前記画像に重畳されたマーカと、前記ガイドライン重畳部により前記画像に重畳されたガイドラインとの位置関係において定められる前記画像の領域に前記電子透かし情報を重畳してもよい。

また、第１の発明においては、前記電子透かし重畳部は、前記画像の各々について、前記画像の前記マーカが重畳された前記予め定められた領域と同じ領域に、前記電子透かし情報を重畳してもよい。

また、第１の発明においては、前記第１時間周波数は、前記第２時間周波数より高くしてもよい。

第２の発明に係るマーカ検出装置は、入力された動画像の各フレームの画像について、前記動画像の各フレームの画像に予め定められた濃淡パターンを有するマーカを重畳するときに用いた予め定められた第１時間周波数で変化する成分を検出するためのフィルタを用いて、前記画像から前記マーカを表す成分からなるマーカ成分画像を分離する時間周波数フィルタ部と、前記動画像の各フレームの画像について、前記時間周波数フィルタ部により分離された前記画像の前記マーカ成分画像について、前記マーカ成分画像の知覚されにくい色成分において予め定められた濃淡パターンの点を複数検出し、前記検出した複数の点の各々の組み合わせで定められる複比が予め定められた値である場合に、前記マーカを検出するマーカ検出部と、前記動画像の各フレームの画像について、前記マーカ検出部により検出されたマーカに基づいて、前記画像に対して射影変換を行う射影変換補正部と、前記動画像の各フレームの画像について、前記射影変換補正部による射影変換により得られた画像における、前記マーカ検出部により検出された前記画像のマーカとの位置関係で定められる領域から電子透かし情報を検出する電子透かし検出部と、を含んで構成されており、前記マーカは、各々異なる位置及び異なる傾きで配置された複数の直線的な帯状の領域における前記色成分には前記マーカにおける他の領域の前記色成分と異なる色差が定められ、前記複数の直線的な帯状の領域すべてを横切る直線と前記直線的な帯状の領域それぞれとの交点の組み合わせで定められる複比が一定の値であり、前記マーカは、前記動画像の各フレームの画像に、前記第１時間周波数で前記画像ごとに重畳の強さを周期的に変化させて重畳されるマーカ検出装置である。

第２の発明によれば、時間周波数フィルタ部により、入力された動画像の各フレーム画像について、マーカを重畳するときに用いた第１時間周波数を検出するフィルタを用いて、画像からマーカ成分画像を分離し、マーカ検出部により、分離されたマーカ成分画像の知覚されにくい色成分において、予め定められた濃淡パターンの点を複数検出し、検出した複数の点の各々の組み合わせで定められる複比が予め定められた値である場合に、マーカを検出し、射影変換補正部により、検出されたマーカに基づいて、画像に対して射影変換を行い、電子透かし検出部により、射影変換により得られた画像について、検出された画像のマーカとの位置関係で定められる領域から電子透かし情報を検出する。

このように、入力された動画像の各フレーム画像について、マーカを重畳するときに用いた第１時間周波数を検出するフィルタを用いて、画像からマーカ成分画像を分離し、分離されたマーカ成分画像の知覚されにくい色成分において、予め定められた濃淡パターンの点を複数検出し、検出した複数の点の各々の組み合わせで定められる複比が予め定められた値である場合に、マーカを検出し、検出されたマーカに基づいて、画像に対して射影変換を行い、射影変換により得られた画像について、検出された画像のマーカとの位置関係で定められる領域から電子透かし情報を検出することによって、射影変換が施された動画像を元の動画像に変換する際に用いるマーカを動画像から検出することができる。

また、第２の発明においては、前記時間周波数フィルタ部は、前記動画像の各フレームの画像について、前記第１時間周波数で変化する成分を検出するためのフィルタと、前記動画像の各フレームの画像に前記電子透かし情報を重畳するときに用いた、前記第１時間周波数とは異なる予め定められた第２時間周波数で変化する成分を検出するためのフィルタとを用いて、前記画像から、前記マーカ成分画像と、前記電子透かし情報を表す成分からなる電子透かし成分画像とを分離し、前記射影変換補正部は、前記動画像の各フレームの画像について、前記マーカ検出部により検出されたマーカに基づいて、前記時間周波数フィルタ部により分離された前記電子透かし成分画像に対して射影変換を行い、前記電子透かし検出部は、前記動画像の各フレームの画像について、前記射影変換補正部による射影変換により得られた前記電子透かし成分画像における、前記マーカ検出部により検出された前記画像のマーカとの位置関係で定められる領域から前記電子透かし情報を検出してもよい。

また、第２の発明においては、前記動画像の各フレームの画像について、前記画像の知覚されにくい色成分において所定の濃淡で示されるガイドラインを検出するガイドライン検出部を更に含み、前記電子透かし情報検出部は、前記動画像の各フレームの画像について、前記射影変換補正部による射影変換により得られた画像における、前記マーカ検出部により検出された前記マーカと、前記ガイドライン検出部により検出されたガイドラインとの位置関係において定められる領域から前記電子透かし情報を検出してもよい。

また、本発明のプログラムは、コンピュータを、上記のマーカ埋め込み装置又はマーカ検出装置を構成する各部として機能させるためのプログラムである。

以上説明したように、本発明のマーカ埋め込み装置、及びプログラムによれば、入力された動画像の各フレームの画像について、画像の知覚されにくい色成分において、マーカを、予め定められた第１時間周波数で重畳の強さを画像ごとに周期的に変化させながら予め定められた領域に重畳し、重畳されたマーカとの位置関係において定められる画像の領域に電子透かし情報を重畳し、マーカと電子透かし情報を重畳した画像を出力することにより、コンテンツのデザイン性を損なうことなく、射影変換が施された動画像を元の動画像に変換する際に用いるマーカを、動画像に埋め込むことができる。

また、本発明のマーカ検出装置、及びプログラムによれば、入力された動画像の各フレーム画像について、マーカを重畳するときに用いた第１時間周波数を検出するフィルタを用いて、画像からマーカ成分画像を分離し、分離されたマーカ成分画像の知覚されにくい色成分において、予め定められた濃淡パターンの点を複数検出し、検出した複数の点の各々の組み合わせで定められる複比が予め定められた値である場合に、マーカを検出し、検出されたマーカに基づいて、画像に対して射影変換を行い、射影変換により得られた画像について、検出された画像のマーカとの位置関係で定められる領域から電子透かし情報を検出することによって、射影変換が施された動画像を元の動画像に変換する際に用いるマーカを動画像から検出することができる。

本実施形態において用いるマーカの一例を示す図である。 同実施形態において用いるマーカを重畳した画像例を示す図である。 同実施形態のマーカを埋め込んだ画像において電子透かしを埋め込む領域の一例を示す図である。 同実施形態で用いるマーカにおける複比の一例を示す図である。 同実施形態のマーカを検出する際に用いるボックスフィルタの一例を示す図である。 本発明の第１の実施の形態に係るマーカ埋め込み装置の機能的構成を示すブロック図である。 同実施形態におけるマーカの領域内における直線的な帯状の領域と任意の直線との交点を検出する際にＢｏｘフィルタが検出する濃淡パターンの一例を示す図である。 マーカ及び電子透かしを重畳する際に用いる時間周波数の周期の例を示す図である。 本発明の第１の実施の形態に係るマーカ検出装置の構成を示すブロック図である。 同実施形態においてマーカ検出部が用いるＢｏｘフィルタであって異なる大きさのＢｏｘフィルタの概要を示す図である。 同実施形態におけるマーカ検出部がマーカに基づいて算出する直線の例を示す図である。 同実施形態におけるマーカ検出部が算出する位置情報の概要を示す図である。 本発明の第１の実施の形態に係るマーカ埋め込み装置におけるマーカ埋め込み処理ルーチンを示すフローチャート図である。 本発明の第１の実施の形態に係るマーカ検出装置におけるマーカ検出処理ルーチンを示すフローチャート図である。 本発明の第２の実施の形態に係るマーカ埋め込み装置の機能的構成を示すブロック図である。 同実施形態においてガイドライン重畳部が画像に重畳するガイドラインのパターンの一例を示す図である。 同実施形態のガイドライン重畳部によりガイドラインが重畳された画像例を示す図である。 本発明の第２の実施の形態に係るマーカ検出装置の機能的構成を示すブロック図である。 同実施形態におけるガイドライン検出部がガイドラインを検出する際に用いるＢｏｘフィルタの一例を示す図である。 本実施形態におけるガイドライン検出部がガイドラインを検出する処理の概要を示す図である。 同実施形態におけるガイドライン検出部がガイドラインを検出する他の処理の概要を示す図である。 同実施形態においてマーカとガイドラインとから得られる位置情報の一例を示す図である。 本発明の第２の実施の形態に係るマーカ埋め込み装置におけるマーカ埋め込み処理ルーチンのフローチャート図である。 本発明の第２の実施の形態に係るマーカ検出装置におけるマーカ検出処理ルーチンのフローチャート図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の原理＞

本発明の実施の形態においては、図１に示すような複数の線分を組み合わせた濃淡パターンをマーカとして、図２のように画像の所定位置に重畳する。図１に示すように、本実施の形態において用いるマーカは、ある領域内に複数の直線的な帯状の領域を所定の条件を満たすように配置したものである。

当該マーカは、画像に埋め込む際に人間の目に知覚されにくいように、視覚特性において知覚されにくい色成分に埋め込んで用いる。例えば、ＲＧＢ色空間においては、人間が知覚しにくいＢ成分に埋め込む。また、ＹＣｂＣｒ色空間においてＣｂ成分に埋め込む。

図１においては、マーカを埋め込む成分において直線的な帯状の領域に正の色差（＋１）を加え、他の領域に負の色差（−１）を加える例が示されている。また、図１に示すパターンでは、直線的な帯状の領域と当該領域に隣接する領域とにおいて、共通した特徴的な濃淡パターン「−１、＋１、−１」が存在している。なお、マーカを埋め込む色成分は、ＲＧＢ色空間においてはＲ成分であってもよく、ＹＣｂＣｒ色空間においてはＣｒ成分であってもよい。本実施の形態においてはＹＣｂＣｒ色空間におけるＣｂ成分にマーカなどを重畳する場合について説明する。

図２は、本実施の形態において用いるマーカを重畳した画像を示す。図２に示すように、本実施の形態においては、マーカは画像全体に埋め込まれる。このとき、画像に埋め込まれたマーカにより特定できる領域内の所定の位置に電子透かしを埋め込む。図３は、画像に電子透かしを埋め込んだ例を示す。図３に示すように、電子透かしを埋め込む領域は例えば、画像の辺の各々（矩形領域αβγδ）として特定される。

ここで、図３に示すようにマーカと電子透かしとを同一の場所に重ねて埋め込むと、マーカパターンと電子透かしパターンが干渉し合い、各々のパターンを検出することが困難となる。そこで、本実施の形態においては、マーカパターンと電子透かしパターンとを異なる時間周波数で周期的に重畳する強さを変動させながら埋め込む。

一方、電子透かしの検出においては、まず、マーカが埋め込まれた画像をカメラ等で撮影して得られた撮影画像において人間が知覚しにくい色成分から埋め込まれたマーカを検出する。

その際、取得画像をマーカ成分と電子透かし成分とその他成分に分離するために、マーカ成分特有の周波数通過フィルタおよび電子透かし特有の周波数通過フィルタを利用する。そして、分離されたマーカ成分画像からマーカの位置を特定し、特定されたマーカから取得できる位置情報に基づいて、分離された電子透かし成分画像について、逆射影変換を行うことにより、画像を変換して幾何学的変換前の状態に復元する。復元により得られた画像から電子透かしを検出するなどの処理を行うことにより、射影変換等の幾何学変換に対する電子透かしの耐性を得ることができる。なお、マーカ成分特有の周波数通過フィルタは、マーカを重畳する際に用いられる時間周波数で変化する成分を通過させるフィルタであり、電子透かし特有の周波数通過フィルタは、電子透かしを重畳する際に用いられる時間周波数で変化する成分を通過させるフィルタとする。

マーカのパターンが射影変換によって形状変化していても安定してマーカを検出する必要がある。本実施の形態のマーカにおいては、射影変換不変量である複比（ｃｒｏｓｓ ｒａｔｉｏ）を利用する。図４は、本実施の形態で用いるマーカにおける複比の一例を示す図である。図４に示すように、マーカを通過する直線上において得られる７つの点（点Ａ〜点Ｇ）が下記（１）式及び下記（２）式を満たすように、直線的な帯状の領域をマーカの領域内に配置する。

なお、７つの点（点Ａ〜点Ｇ）は直線と各帯状の領域との交点である。また、直線と帯状の領域との交点とは、帯状の領域における長手方向の中心線と直線との交点である。また、ｎは任意の実数である。

このとき、７つの点（点Ａ〜点Ｇ）の位置から算出される複比は、下記（３）式となる。

上記（３）式の値は射影変換によらず一定の値となる。例えば、ｎ＝３の場合、（３×５）／４^２＝１５／１６となる。そこで画像上のマーカをＢｏｘフィルタ（ボックスフィルタ）を用いて検出する。図５は、本実施の形態のマーカを検出する際に用いるＢｏｘフィルタの一例を示す図である。図５に示すボックスフィルタは、横方向のスキャン（ラスタスキャン）に用いるＢｏｘフィルタであり、９画素×９画素のＢｏｘフィルタである。

図５において、「０」、「−１」、「＋２」は、ハッチングで分けられている各画素（領域）に対する重み係数である。このＢｏｘフィルタで算出される重み付け加算値に基づいて横方向の濃淡パターンを検出する。

図５に示すＢｏｘフィルタでは、（（ｘ，ｙ）；１≦ｘ≦９，１≦ｙ≦３）と（（ｘ，ｙ）；１≦ｘ≦９，７≦ｙ≦９）との画素においては、Ｃｂ成分に対して０を乗じる重み付けをする。また、（（ｘ，ｙ）；１≦ｘ≦３，４≦ｙ≦６）と、（（ｘ，ｙ）；７≦ｘ≦９，４≦ｙ≦６）との画素においては、Ｃｂ成分に対して（−１）を乗じる重み付けをする。また、（（ｘ，ｙ）；４≦ｘ≦６，４≦ｙ≦６）の画素においてはＣｂ成分に対して（＋２）を乗じる重み付けをする。

このＢｏｘフィルタを用いて画像の各画素をラスタスキャンして得られた値の極値をもとに、連続して見つかった７つの極値の位置（点Ａ’〜点Ｇ’）から下記（４）式及び下記（５）式の値を算出し、算出した値が上記（３）式の右辺の値と等しかった場合、Ｂｏｘフィルタがマーカ上を横切ったということになる。

上述のようにＢｏｘフィルタを用いたラスタスキャンにより、画像に埋め込まれたマーカを検出し、マーカの位置を特定することが可能となる。また、マーカに配置された直線的な帯状の領域すべてと交差する任意の直線の７つの交点は上記の条件を満たすため、マーカを重畳した画像上のノイズや他の要因によって一部分で当該条件を満たさない領域が存在しても、他の領域において当該条件が満たされればマーカを検出することができる。その結果、マーカの埋め込み強度を小さくしても安定してマーカを検出し、マーカの位置を特定することが可能となる。

なお、上述のＢｏｘフィルタを用いたラスタスキャンを行う前に、対象画像の積分画像（ｉｎｔｅｇｒａｌ ｉｍａｇｅ）を算出しておくことにより（非特許文献１：八木康史、斉藤秀雄編「コンピュータビジョン 最先端ガイド２」、アドコムメディア株式会社、４６頁、２０１０年６月）、フィルタリングによる演算量を大幅に削減でき、処理の高速化を図ることができる。

＜第１の実施の形態に係るマーカ埋め込み装置の構成＞
次に、本発明の第１の実施の形態に係るマーカ埋め込み装置の構成について説明する。図６に示すように、本発明の第１の実施の形態に係るマーカ埋め込み装置１００は、ＣＰＵと、ＲＡＭと、後述するマーカ埋め込み処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このマーカ埋め込み装置１００は、機能的には図６に示すように入力部１０と、演算部２０と、出力部９０とを含んで構成されている。

マーカ埋め込み装置１００は、入力される映像コンテンツ（動画像）に対して、映像コンテンツ上の予め定められた領域に上述の特徴を有するマーカを、予め定められた第１時間周波数にて周期的に重畳の強さを変動して埋め込む。更に、マーカ埋め込み装置１００は、マーカが埋め込まれた映像コンテンツ（動画像）に対して、マーカの位置に基づいて特定される領域に、第１時間周波数と異なる予め定められた第２時間周波数において周期的に重畳の強さを変動して電子透かしを埋め込み、マーカ及び電子透かしを埋め込んだ映像コンテンツを出力する。

入力部１０は、予め用意された映像コンテンツをデジタルデータとして受け付ける。なお、映像の時系列に連続する各フレーム画像として一枚ずつ受け付ける。

演算部２０は、マーカ重畳部３０と、電子透かし情報重畳部４０と、埋め込み済画像出力部５０とを含んで構成されている。

マーカ重畳部３０は、入力部１０において受け付けた映像の各フレーム画像に対して、時間方向にマーカを重畳する強度を周期的に変動させながら、画像の所定の位置にマーカを重畳する。例えば、図２に示したように、画像全体に１か所マーカを重畳する。第１の実施の形態においては、画像の全体にマーカを重畳（埋め込む）する。なお、画像全体に１か所マーカを重畳する場合が、最も大きくマーカを配置することができる。

マーカのパターンは、図１において示した濃淡パターンである。マーカにおけるパターンの条件は、
（条件１）：マーカの領域内において、位置と傾きとが異なる複数の直線的な帯状の領域を配置したパターンである、
（条件２）：マーカの領域内に配置された複数の直線的な帯状の領域すべてを横切る任意の直線と各直線的な帯状の領域との交点を検出するための濃淡が存在する
ことである。

図７は、第１の実施の形態におけるマーカの領域内における直線的な帯状の領域と任意の直線との交点を検出する際に、Ｂｏｘフィルタが検出する濃淡パターンの一例を示す図である。

図７において、縦軸は濃淡差（色成分の差）を示し、横軸は画像横方向の座標を示している。図１に示したマーカにおける直線的な帯状の領域と直線との交点を検出するには図７に示す特徴的な濃淡パターンを検出することになる。なお、上記の条件を満たす濃淡パターンであれば、図１に示したマーカと異なる形状であってもよく、また図７の濃淡パターン以外であってもよい。

マーカ重畳部３０がマーカを埋め込む際の重畳は、入力部１０において受け付けた各フレーム画像ごとに、ＲＧＢ色空間からＹＣｂＣｒ色空間に変換を行い、各フレーム画像の所定の領域にマーカを重ね合わせ、対応する位置の各フレーム画像の知覚されにくい色成分にマーカのパターンを足し込むことにより行う。図１に示したマーカを用いる場合は、図１に示した数値が加算値であり、当該値がプラスの場合には加算し、当該値がマイナスの場合には減算する。

また、マーカを重畳する強度を、図８(ａ)のように時間方向に周期的に変動させる。その際、図８(ａ)、(ｂ)のように、電子透かしの時間的変動と異なる周波数で変動させることとする。マーカは時間的に位置ずれする可能性があることから、マーカの時間的変動周波数は電子透かしの時間的変動周波数より高くした方が好ましい。さらに、変動の波形はｓｉｎ波に限定されるものではなく、矩形波等としても良い。

また、「マーカと電子透かしとの重畳する強度に用いる時間周波数が異なる」という条件を満たすのであれば、マーカ又は電子透かしのいずれか一方は直流成分（時間的変動を与えない）の強度において重畳しても良い。第１の実施の形態においては、マーカ及び電子透かし共に、重畳する強度は、時間的変動を伴うものとする。

電子透かし情報重畳部４０は、入力部１０において受け付けた映像の各フレーム画像に対して、各フレーム画像に埋め込まれたマーカとの相対的な位置関係にて定められる画像内の領域に、時間方向に電子透かしを重畳する強度を周期的に変動させながら、各フレーム画像の所定位置に電子透かしを重畳する。例えば、図３に示したような領域を、電子透かしを重畳する領域とする。他にも、マーカを１つフレーム画像中央に配置し、それ以外の領域を電子透かしの埋め込み領域とする方法など、幾つかのバリエーションが考えられる。なお、電子透かしを重畳する強度を決定する時間周波数はマーカ重畳部３０において用いられる時間周波数と異なる。具体的には、図８（ｂ）のような時間的周波数を用いる。

領域に電子透かしを重畳する方式は、採用する電子透かし方式に従うこととする。電子透かし方式には、特許文献１に記載の方式などさまざまな方式が提案されているが、いずれの電子透かし方式を採用してもよい。また、第１の実施の形態において採用する電子透かし方式自体に幾何学的変換耐性がなくてもよい。なお、電子透かしが示す情報は、コンテンツの識別や管理、更にコンテンツの著作権保護及び管理、並びに関連情報提供などの画像に関する情報が含まれる。

埋め込み済画像出力部５０は、マーカ重畳部３０と電子透かし重畳部４０とによって、マーカ及び電子透かしが重畳された各フレーム画像を「埋め込み済み画像」とし、埋め込み済みの画像をフレームとして、時系列に一連の映像シーケンスに繋ぎ合わせて一つの映像コンテンツとして出力部９０に出力する。

出力部９０は、例えば、ＨＤＤや、ＤＶＤ−ＲＯＭなどの電子記録媒体や、ディスプレイ装置などである。出力先が電子記録媒体の場合には当該電子記録媒体に映像コンテンツを記録させ、出力先がディスプレイ装置である場合には当該ディスプレイ装置に出力された映像コンテンツを表示させることになる。

＜第１の実施の形態に係るマーカ検出装置の構成＞
次に、本発明の第１の実施の形態に係るマーカ検出装置の構成について説明する。図９に示すように、本発明の第１の実施の形態に係るマーカ検出装置２００は、ＣＰＵと、ＲＡＭと、後述するマーカ検出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このマーカ検出装置２００は、機能的には図９に示すように入力部２１０と、演算部２２０と、出力部２９０とを含んで構成されている。

マーカ検出装置２００は、入力される映像コンテンツ（動画像）に対して、所定のマーカが重畳されているかを判定し、マーカを検出した場合、マーカに基づいて、映像コンテンツに対して重畳されている電子透かしを検出し、検出した電子透かしが示す情報を出力する。

入力部２１０は、検出対象の電子透かしが埋め込まれた映像コンテンツをカメラ等で撮影したデジタルデータ、並びに、検出対象の電子透かしが埋め込まれた映像コンテンツが加工（例えば、射影変換）されたデジタルデータを受け付ける。なお、埋め込まれている電子透かしが、検出の際に複数の映像の時系列に連続する各フレーム画像を必要とするため、必要となる枚数のフレーム画像をまとめて時系列順に受け付ける。第１の実施の形態においては、デジタルデータの全フレーム画像をまとめて時系列順に、入力部２１０において受け付ける。

演算部２２０は、時間周波数フィルタ部２３０と、マーカ検出部２４０と、射影変換補正部２５０と、電子透かし情報検出部２６０と、を含んで構成されている。

時間周波数フィルタ部２３０は、入力部２１０において受け付けた各フレーム画像に対し、時間周波数フィルタを通過させることにより、マーカ成分画像と電子透かし成分画像とその他成分画像に分離する。具体的には、マーカ成分特有の第１時間周波数で変化する成分を通過させる第１周波数通過フィルタ、および電子透かし特有の第２時間周波数で変化する成分を通過させる第２周波数通過フィルタの２種類を用いて、各フレーム画像を、マーカ成分画像と、電子透かし成分画像と、マーカ成分画像及び電子透かし成分画像を除いたその他成分画像とに分離する。マーカ成分と電子透かし成分は異なる時間周波数で埋め込まれているため、このような処理で両者成分を分離することが可能となる。なお、マーカ成分画像を分離する際に用いるマーカ成分特有の第１周波数通過フィルタは、マーカ埋め込み装置１００のマーカ重畳部３０において用いる第１時間周波数と同一の時間周波数で変化する成分を通過させるフィルタであり、電子透かし成分画像を分離する際に用いる電子透かし成分特有の第２周波数通過フィルタは、マーカ埋め込み装置１００の電子透かし情報重畳部４０にて用いる第２時間周波数と同一の時間周波数で変化する成分を通過させるフィルタである。

マーカ検出部２４０は、時間周波数フィルタ部２３０において分離された各フレーム画像のマーカ成分画像について、マーカ成分画像上のマーカが重畳されている位置を特定する。以下、各フレーム画像に埋め込まれたマーカが図１に示したマーカである場合について説明する。

まず、マーカ検出部２４０は、入力された各フレーム画像から分離されたマーカ成分画像をＲＧＢ色空間の信号からＹＣｂＣｒ色空間の信号に変換し、人間が知覚しにくい色成分のマーカ成分画像を抽出する。ＹＣｂＣｒ色空間においては、Ｃｂ成分のマーカ成分画像を抽出する。

マーカ検出部２４０は、各フレーム画像の、人間が知覚しにくい色成分のマーカ成分画像について、予め用意された複数の大きさのＢｏｘフィルタごとに、抽出したマーカ成分画像に対して水平方向の操作を繰り返して行うことによる左上から右下へ向かってのラスタスキャンを行う。図１０は、本実施形態においてマーカ検出部２４０が用いるＢｏｘフィルタであって異なる大きさのＢｏｘフィルタの概要を示す図である。Ｂｏｘフィルタは、例えば、３画素×３画素、６画素×６画素、９画素×９画素、…、１５画素×１５画素のように複数のサイズのＢｏｘフィルタを用意する。

なお、各Ｂｏｘフィルタの大きさや、Ｂｏｘフィルタの個数は、対象とするコンテンツ及びコンテンツに重畳されるマーカのサイズに応じて予め定めるようにしてもよい。マーカ検出部２４０は、各Ｂｏｘフィルタを用いたラスタスキャンにおいて画素ごとに値を算出する。ラスタスキャンにおける値の算出は、抽出した画像の積分画像を算出し、当該積分画像を用いることにより、処理の高速化を図ることができる。

ここで、ラスタスキャンのスキャン方向と、当該スキャン方向に垂直な方向と、Ｂｏｘフィルタの大きさとからなる三次元スペース上において、それぞれの方向に隣接する領域を２６近傍として定義する。マーカ検出部２４０は、現在のスキャン位置（画素）の算出値と２６近傍それぞれの算出値とを比べて、スキャン位置の算出値が最大値となる場合に当該スキャン位置の算出値を極大値として検出する。

マーカ検出部２４０は、各フレーム画像の、人間が知覚しにくい色成分のマーカ成分画像について、スキャン順に連続した７つの極大値の位置（画素）を点Ａ’〜点Ｇ’として上記（４）式と上記（５）式とそれぞれの値を算出する。マーカ検出部２４０は、算出した値が上記（３）式の右辺と等しい場合、マーカ上を横切ったとして点Ａ’、点Ｄ’、点Ｇ’それぞれの位置と、点Ａ’、点Ｂ’、点Ｃ’、点Ｄ’の中心の位置と、点Ｄ’、点Ｅ’、点Ｆ’、点Ｇ’の中心の位置との合計５点の位置を記憶する。マーカ検出部２４０は、この処理を、各フレーム画像の、人間が知覚しにくい色成分のマーカ成分画像全体に対して行う。なお、算出した上記（４）式と上記（５）式との値と、上記（３）式の右辺の値とが一致するか否かの判定において、一定のマージンを設けて判定してもよい。すなわち、上記（３）式の右辺の値に対して所定の許容区間±εを予め定め、上記（４）式や上記（５）式の値が上記（３）式の右辺の値に対して当該許容区間内に含まれる場合にマーカ上を横切ったと判定するようにしてもよい。

マーカ検出部２４０は、各フレーム画像の、人間が知覚しにくい色成分のマーカ成分画像に含まれるマーカにおいて図１１に示す直線Ｌ３を検出する。図１１は、第１の実施形態におけるマーカ検出部２４０がマーカに基づいて算出する直線の例を示す図である。図１１に示すように、直線Ｌ３は、マーカに配置されている７つの直線的な帯状の領域のうち、真ん中に配置される直線的な帯状の領域に対応する直線である。この直線は、例えば、真ん中に配置される直線的な帯状の領域における長手方向の中心線である。直線Ｌ３は、ラスタスキャンにおいて記憶している点Ｄ’の位置それぞれをプロットすることにより算出することができる。ここでは、例えばＨｏｕｇｈ変換などを利用することが可能である。マーカ検出部２４０は、この直線Ｌ３の位置情報から、更に図１１に示す直線Ｌ２及び直線Ｌ４、並びに、直線Ｌ１及び直線Ｌ５を算出する。

マーカ検出部２４０は、各フレーム画像の、人間が知覚しにくい色成分のマーカ成分画像について、算出した直線Ｌ１、直線Ｌ２、直線Ｌ４、及び直線Ｌ５からマーカに対応する位置情報を算出する。図１２は、第１の実施の形態におけるマーカ検出部２４０が算出する位置情報の概要を示す図である。図１２に示す点Ｈ、点Ｉ、点Ｊ、点Ｋをマーカ検出部２４０は、直線Ｌ１、直線Ｌ２、直線Ｌ４、及び直線Ｌ５から算出する。点Ｈは直線Ｌ２と直線Ｌ５との交点であり、点Ｉは直線Ｌ４と直線Ｌ５との交点であり、点Ｊは直線Ｌ１と直線Ｌ２との交点であり、点Ｋは直線Ｌ１と直線Ｌ４との交点である。マーカ検出部２４０が算出する４点（点Ｈ〜点Ｋ）は、平行四辺形の頂点を表しており、検出した４点（点Ｈ〜点Ｋ）の位置関係と、マーカ埋め込み装置１００が埋め込んだマーカにおける対応する４点の位置関係とから射影変換行列を得ることができる。マーカ検出部２４０は、例えば特許文献２に記載されている手法を用いて、４点の位置関係から射影変換行列を算出する。

更に、マーカ検出部２４０は、各フレーム画像のマーカ成分画像について、図３に示した電子透かしを埋め込んだ領域αβγδを逆算することができる。

マーカ検出部２４０は、各フレーム画像について、上述の処理により、電子透かしが埋め込まれた領域を特定することができる。

なお、マーカ検出部２４０の処理において、各フレーム画像のマーカ成分画像のうち、マーカが検出できなかったマーカ成分画像については、電子透かし及びマーカが画像に埋め込まれていない、或いは、マーカの検出が失敗したとして、処理を中断又は終了する。

射影変換補正部２５０は、各フレーム画像の電子透かし成分画像について、マーカ検出部２４０によって特定された、電子透かしが埋め込まれた領域の位置に基づいて、逆射影変換を行う。このとき、射影変換補正部２５０は、電子透かしが埋め込まれた領域が所定の大きさの矩形領域になるように逆射影変換を行う。このとき、射影変換補正部２５０は、例えば特許文献２に記載されている技術と同じ技術を適用するようにしてもよい。また、射影変換補正部２５０は、マーカ検出部２４０が算出した射影変換行列を利用するようにしてもよい。

電子透かし情報検出部２６０は、逆射影変換によって得られた各フレーム画像の電子透かし成分画像について、電子透かし重畳部４０によって埋め込まれた電子透かしを、当該電子透かしに応じた方式によって検出する。なお、このとき、埋め込まれている電子透かしは、検出の際、時系列的に複数の画像を必要とする場合を想定し、マーカ検出部２４０および射影変換補正部２５０をフレーム画像枚数分繰り返し、射影変換が補正された画像を必要枚数得てから電子透かしを検出する。電子透かし検出部２６０は、検出した電子透かしが示す情報を出力部２９０に出力する。

出力部２９０は、電子透かし検出部２６０が出力する情報、すなわち電子透かしが示す電子透かしを外部に出力する。

＜第１の実施の形態に係るマーカ埋め込み装置の作用＞
次に、第１の実施の形態に係るマーカ埋め込み装置１００の作用について説明する。入力部１０において、予め用意された映像コンテンツの動画像について、時系列に連続する各フレーム画像を一枚ずつ受け付けると、マーカ埋め込み装置１００によって、図１３に示すマーカ埋め込み装置処理ルーチンが実行される。

まず、ステップＳ１００において、入力部１０において受け付けた各フレームの画像のうち、処理対象となるフレーム画像全体のＣｂ成分に対して、フレーム間で第１時間周波数で重畳の強さが変化するように、マーカを重畳する。

次に、ステップＳ１０２において、処理対象のフレーム画像について、ステップＳ１００において重畳したマーカとの相対的な位置関係において定められる当該フレーム画像内の領域に、フレーム間で第２時間周波数で重畳の強さが変化するように、所定の電子透かしを重畳する。

ステップＳ１０４において、処理対象となる全てのフレーム画像について処理を終了したか否かを判定する。処理対象となる全てのフレーム画像について処理を終了した場合にはステップＳ１０６へ移行し、処理対象となる全てのフレーム画像について処理を終了していない場合には、処理対象となるフレーム画像を変更し、ステップＳ１００からステップＳ１０４の処理を行う。

ステップＳ１０６において、入力部１０において受け付けた各フレームの画像を受け付けた順に、上記ステップＳ１００、Ｓ１０２でマーカ及び電子透かしが重畳されたフレーム画像をつなぎ合わせる。

ステップＳ１０８において、ステップＳ１０６においてつなぎ合わせた動画像を出力部９０に出力してマーカ埋め込み処理ルーチンを終了する。

＜第１の実施の形態に係るマーカ検出装置の作用＞
次に、第１の実施の形態に係るマーカ検出装置２００の作用について説明する。入力部２１０において、予め用意された映像コンテンツの動画像について、時系列に連続する各フレーム画像を一枚ずつ受け付けると、マーカ検出装置２００によって、図１４に示すマーカ検出装置処理ルーチンが実行される。

ステップＳ２００において、入力部１０において受けつけた各フレーム画像のうち、処理対象となるフレーム画像について、マーカ埋め込み装置１００においてマーカを重畳する際に用いた第１時間周波数に対応する第１時間周波数フィルタを用いて、当該フレーム画像からマーカ成分画像を分離する。また、マーカ埋め込み装置１００において電子透かしを重畳する際に用いた第２時間周波数に対応する第２時間周波数フィルタを用いて、当該フレーム画像から電子透かし成分画像を分離する。

次に、ステップＳ２０２において、ステップＳ２００において取得した処理対象となるフレーム画像のマーカ成分画像について、Ｂｏｘフィルタを用いてマーカを検出する。

次に、ステップＳ２０４において、処理対象となるフレーム画像について、ステップＳ２０２においてマーカが検出されたか否かを判定する。マーカが検出された場合には、ステップＳ２０６へ移行し、マーカが検出されない場合には、ステップＳ２０８へ移行する。

次に、ステップＳ２０６において、ステップＳ２０２において検出された処理対象となるフレーム画像についてのマーカの位置に基づいて、当該フレーム画像の電子透かしが埋め込まれた領域の位置を特定し、特定された領域の位置に基づいて、ステップＳ２００において取得された電子透かし成分画像に対して逆射影変換による補正を行う。

次に、ステップＳ２０８において、入力部１０において受け付けた各フレーム画像の全てについてステップＳ２００からステップＳ２０４又はステップＳ２０６の処理を終了したか否かを判定する。受け付けた各フレーム画像の全てについてステップＳ２００からステップＳ２０４又はステップＳ２０６の処理を終了した場合には、ステップＳ２１０へ移行し、受け付けた各フレーム画像の全てについてステップＳ２００からステップＳ２０４又はステップＳ２０６の処理を終了していない場合には、処理対象となるフレーム画像を変更してステップＳ２００に移行する。

ステップＳ２１０において、入力部１０において受け付けた各フレーム画像の、ステップＳ２０６において取得した逆射影変換により得られた画像から電子透かしを検出する。

ステップＳ２１２において、ステップＳ２１０において電子透かしが正しく検出されたか否かを判定する。電子透かしが正しく検出された場合には、ステップＳ２１４へ移行し、電子透かしが正しく検出されていない場合には、マーカ検出処理ルーチンの処理を終了する。

ステップＳ２１４において、ステップＳ２１０において検出された電子透かしを出力部２９０に出力してマーカ検出処理ルーチンを終了する。

以上説明したように、第１の実施の形態に係るマーカ埋め込み装置によれば、入力された動画像の各フレームの画像について、画像の知覚されにくい色成分において、マーカを、予め定められた第１時間周波数で重畳の強さを画像ごとに周期的に変化させながら予め定められた領域に重畳し、重畳されたマーカとの位置関係において定められる画像の領域に電子透かしを重畳し、マーカと電子透かしとを重畳した画像を出力することにより、コンテンツのデザイン性を損なうことなく、射影変換が施された映像を元の映像に変換する際に用いるマーカを、映像に埋め込むことができる。また、電子透かしと重なる領域において、マーカを、映像に埋め込むことができる。

また、本発明の実施の形態に係るマーカ検出装置によれば、入力された動画像の各フレーム画像について、マーカを重畳するときに用いた第１時間周波数を検出するフィルタを用いて、画像からマーカ成分画像を分離し、分離されたマーカ成分画像の知覚されにくい色成分において、予め定められた濃淡パターンの点を複数検出し、検出した複数の点の各々の組み合わせで定められる複比が予め定められた値である場合に、マーカを検出し、検出されたマーカに基づいて、画像に対して射影変換を行い、射影変換により得られた画像について、検出された画像のマーカとの位置関係で定められる領域から電子透かし情報を検出することによって、マーカと電子透かしとが重なって埋め込まれている映像から、マーカを精度良く検出することができる。

また、人間の目で知覚されることなく、射影変換を伴った画像からも電子透かしを精度よく高速に検出できる。また、人間が視認しにくいようマーカの埋め込み強度を小さくしても比較的安定してマーカ検出が可能である。加えて、マーカおよび電子透かしをそれぞれ時間的に異なる周波数で周期変動するように埋め込み、検出時にはそれぞれの周波数通過フィルタにより各成分に分離することで、マーカと電子透かしが干渉し合うことなく、両者を同じ場所に重ねて埋め込むことを可能とし、遠距離からのマーカ検出精度を向上させることができる。

また、カメラつき携帯電話などＣＰＵ性能が低いモバイル端末でもストレスなくマーカ検出をすることができる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、第１の実施の形態においては、マーカを画像全体に１箇所重畳する場合について説明したが、これに限定されるものではなく、マーカを画像の局所的位置に限定して重畳してもよいし、マーカのパターンを、９０度回転させ、画像全体に１か所重畳するのでも良いし、局所的位置に限定して重畳するのでも良い。さらに、不視認性を向上させる目的で、図１のパターン自体に空間的にスムージングをかけてから重畳しても良い。

また、第１の実施の形態においては、２種類の時間周波数フィルタを用いて、マーカ成分画像と、電子透かし成分画像と、その他成分画像とに分離する場合について説明したが、これに限定されるものではない。例えば、処理時間短縮のため、マーカ成分画像のみを分離してもよい。この場合、マーカ成分特有の周波数通過フィルタのみ利用すればよい。

また、第１の実施の形態においては、マーカの検出において、現在のスキャン位置の算出値と２６近傍それぞれの算出値とを比べて、スキャン位置の算出量が最大値となる場合に当該スキャン位置の算出値を極大値として検出する場合について説明したが、これに限定されるものではなく。例えば、近傍の定義方法として空間方向を横方向のみに限定した二次元スペース上における８近傍を定義して、極大値を検出するようにしてもよい。なお、マーカの濃淡パターンに応じて、極大値（近傍の最大値）に代えて極小値（近傍の最小値）を検出するようにしてもよい。

また、第１の実施の形態において、マーカのパターンが図１に示すパターンの場合について説明したが、これに限定されるものではなく。例えば、画像に埋め込まれたマーカのパターンが図１に示したパターンの形状以外のものであっても、マーカのパターンの条件である「共通した特徴的な濃淡パターン」を抽出できるフィルタを定めることができればよく、上述した処理と同様の処理によってマーカを検出することできる。その際、抽出フィルタをＢｏｘフィルタのような加重平均フィルタの形態に近似できれば、同様に、積分画像を利用して演算の高速化を図ることができる。

また、第１の実施の形態においては、マーカが検出できなかった場合は、その後の処理を行わない場合について説明したが、これに限定されるものではなく。例えば、第１の実施の形態におけるマーカ検出装置２００においては、元の画像を９０度回転させた画像からマーカを検出することができないので、マーカの検出が出来なかった場合、処理対象となる画像を予め定められた角度回転させた後、再度当該画像についてマーカの検出の処理を行ってもよい。

また、第１の実施の形態においては、入力された動画像の各フレームの画像の全てについて、フィルタリング処理、マーカの検出処理、及び逆射影変換補正処理を行ってから電子透かしの検出を行う場合について説明したが、これに限定されるものではない。例えば、電子透かしが検出できる枚数の画像毎に当該処理を行ってもよい。

また、第１の実施の形態においては、マーカ及び電子透かしの埋め込み位置を、対象画像全体に埋め込む場合について説明したが、これに限定されるものではない。例えば、電子透かしを画像全体に埋め込むのではなく、特定の部分領域に埋め込む場合、マーカもそれに合わせて埋め込み位置を調整すればよい。具体的には、対象画像に二人の人物が写っている場合、それぞれの顔の領域に２種類の異なる電子透かしを埋め込むといったことも可能である。このようにすることで、一枚の画像コンテンツからそれぞれの人物に関連した情報サイトへユーザを誘導できる。

また、第１の実施の形態においては、画像に埋め込まれたマーカに基づいて、電子透かしの埋め込み領域を特定する場合について説明したが、これに限定されるものではない。例えば、カメラで撮影したオブジェクトに関連したＷｅｂ情報に自動的にアクセスされるなどのサービス等において、認識の前処理として画像に埋め込まれたマーカを利用することができる。ただし、当該場合は、対象オブジェクトは平面的な物体であり、かつ、印刷等により事前にマーカを埋め込み可能な場合に限られる。また、当該利用を想定する場合には、電子透かし重畳部、射影変換補正部、及び電子透かし情報検出部は必要なく、出力は、埋め込み済画像上のマーカの位置情報となる。認識モジュールは、受け取ったマーカの位置情報を基にオブジェクトの切り出しや幾何学的変換の補正を行うことで、認識精度を向上させることができる。また、マーカの位置情報を基に、オブジェクトとカメラとの相対的な空間位置関係を算出し、認識結果と合わせて利用することもできる。

次に、第２の実施の形態に係るマーカ埋め込み装置及びマーカ検出装置について説明する。

第２の実施の形態においては、画像にガイドラインを重畳し、埋め込まれているマーカとガイドラインとに基づいて、電子透かしの埋め込まれている領域を特定する点が第１の実施の形態と異なる。なお、第１の実施の形態に係るマーカ埋め込み装置及びマーカ検出装置と同様の構成及び作用については、同一の符号を付して説明を省略する。

＜第２の実施の形態に係るマーカ埋め込み装置の構成＞
まず、本発明の第２の実施の形態に係るマーカ埋め込み装置の構成について説明する。図１５に示すように、本発明の実施の形態に係るマーカ埋め込み装置３００は、ＣＰＵと、ＲＡＭと、後述するマーカ埋め込み処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。

マーカ埋め込み装置３００は、入力される映像コンテンツ（動画像）に対して、映像コンテンツ上の予め定められた領域に上述の特徴を有するマーカを、予め定められた第１時間周波数にて周期的に重畳の強さを変動させて埋め込む。また、ガイドラインも重畳し、更に、マーカ埋め込み装置３００は、マーカが埋め込まれた映像コンテンツ（動画像）に対して、マーカの位置とガイドラインの位置とに基づいて特定される領域に、予め定められた第２時間周波数にて周期的に重畳の強さを変更して電子透かしを埋め込み、マーカ、ガイドライン及び電子透かしを埋め込んだ映像コンテンツを出力する。このマーカ埋め込み装置３００は、機能的には図１５に示すように入力部１０と、演算部３２０と、出力部９０とを含んで構成されている。

演算部３２０は、マーカ重畳部３０と、ガイドライン重畳部３３５と、電子透かし情報重畳部３４０と、埋め込み済画像出力部３５０とを含んで構成されている。

ガイドライン重畳部３３５は、図１６に示すようなガイドラインのパターンを、図１７に示すように、入力部１０において受け付けた、映像の時系列に連続する各フレーム画像の上下端の位置に重畳する。ガイドライン重畳部３３５は、マーカ重畳部３０がマーカを人間が知覚しにくい色成分に重畳するのと同様に、ガイドラインのパターンを人間が知覚しにくい色成分に重畳する。図１６に示すようにガイドラインのパターンは、特徴的な濃淡パターン（−１、＋１、−１）を有している。

電子透かし情報重畳部３４０は、入力部１０において受け付けた映像の各フレーム画像に対して、画像に埋め込まれたマーカとガイドラインとの相対的な位置関係にて定められる画像内の領域に、時間方向に電子透かしを重畳する強度を周期的に変動させながら、画像の所定位置に電子透かしを重畳する。例えば、図１７に示すようにマーカとガイドラインとが重畳されている場合には、電子透かしを埋め込む領域は、図１７のα´、β´、γ´、及びδ´となる。

埋め込み済画像出力部３５０は、各フレーム画像について、マーカ重畳部３０と、ガイドライン重畳部３３５と、電子透かし重畳部３４０とによって、マーカ、ガイドライン、及び電子透かしとが重畳された画像を「埋め込み済み画像」とし、埋め込み済みの画像をフレームとして、全てのフレーム画像の埋め込み済み画像を用いて、一連の映像シーケンスに繋ぎ合わせて一つの映像コンテンツとして出力部９０に出力する。

＜第２の実施の形態に係るマーカ検出装置の構成＞
次に、本発明の第２の実施の形態に係るマーカ検出装置の構成について説明する。図１８に示すように、本発明の第２の実施の形態に係るマーカ検出装置４００は、ＣＰＵと、ＲＡＭと、後述するマーカ検出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このマーカ検出装置４００は、機能的には図１８に示すように入力部２１０と、演算部４２０と、出力部２９０とを含んで構成されている。

マーカ検出装置４００は、入力される映像コンテンツ（動画像）に対して、所定のマーカが重畳されているかを判定し、マーカとガイドラインとを検出した場合、マーカとガイドラインとに基づいて、映像コンテンツに対して重畳されている電子透かしを検出し、検出した電子透かしが示す情報を出力する。

演算部４２０は、時間周波数フィルタ部２３０と、マーカ検出部２４０と、ガイドライン検出部４４５と、射影変換補正部４５０と、電子透かし情報検出部２６０と、を含んで構成されている。

ガイドライン検出部４４５は、各フレーム画像について、マーカ検出部２４０において検出されたマーカの位置情報に基づいて、画像上のガイドラインを検出する。ガイドライン検出部４４５は、図１９に示す縦方向の特徴的な濃淡パターンを検出するＢｏｘフィルタを用いてラスタスキャンをする。図１９は、第２の実施の形態におけるガイドライン検出部４４５がガイドラインを検出する際に用いるＢｏｘフィルタの一例を示す図である。図１９に示すように、Ｂｏｘフィルタは、９画素×９画素のＢｏｘフィルタである。図１９において、「０」、「−１」、「＋２」は、ハッチングで分けられている各画素（領域）に対する重み係数である。すなわち（（ｘ，ｙ）；１≦ｘ≦３，１≦ｙ≦９）と（（ｘ，ｙ）；７≦ｘ≦９，１≦ｙ≦９）との画素においては、Ｃｂ成分に対して０を乗じる重み付けをする。また、（（ｘ，ｙ）；４≦ｘ≦６，１≦ｙ≦３）と、（（ｘ，ｙ）；４≦ｘ≦６，７≦ｙ≦９）との画素においては、Ｃｂ成分に対して（−１）を乗じる重み付けをする。また、（（ｘ，ｙ）；４≦ｘ≦６，４≦ｙ≦６）の画素においてはＣｂ成分に対して（＋２）を乗じる重み付けをする。

ガイドライン検出部４４５は、各フレーム画像について、Ｂｏｘフィルタを用いて画像の各画素をラスタスキャンして得られた値が近傍の画素において最大となる極大値の画素を検出し、検出した画素をプロットすることによりガイドライン候補の直線を得る。ガイドライン検出部４４５は、例えば、極大値をプロットした結果を基にＨｏｕｇｈ変換による直線検出をすることにより、ガイドライン候補の直線を検出する。図２０は、第２の実施の形態におけるガイドライン検出部４４５がガイドラインを検出する処理の概要を示す図である。図２０（ａ）は、ガイドライン検出部４４５が図１９に示したＢｏｘフィルタを用いて検出したガイドライン候補の直線を示す図である。なお、ガイドライン検出部４４５による直線を検出する手法は、マーカ検出部２４０による直線を検出する手法と同様である。

ガイドライン検出部４４５は、ガイドライン候補の直線ごとに、マーカ検出部２４０において横方向Ｂｏｘフィルタ（図１０）により検出された極大値の座標の集合のうちガイドライン候補の直線が通過する座標の数（交点の数）を算出し、算出した交点の数が予め定めた閾値と比較する。ガイドライン検出部４４５は、交点の数が閾値より少ないガイドライン候補の直線を除外することにより、ガイドライン候補を絞り込む。図２０（ｂ）はガイドライン候補の絞り込みの概要を示す図である。なお、ガイドラインのパターンを図１７のように画像に重畳した場合は、直接交わる点が存在しないため、ガイドライン候補の上下にあそびを設けて、その領域と交わる点の数に基づいてガイドライン候補を絞り込むようにしてもよい。すなわち、ガイドライン候補の近傍に対して所定の許容区間±εを設け、それによって指定される領域に横方向のＢｏｘフィルタ（例えば図５）による極大値の探索の処理結果が含まれている点の数をカウントし閾値と比較する。

ガイドライン検出部４４５は、絞り込んだガイドライン候補の直線ごとに、マーカ検出部２４０が検出した直線Ｌ１、直線Ｌ２、直線Ｌ４、及び直線Ｌ５との４つの交点の間隔に基づいてガイドライン候補から上下２本のガイドラインを確定する。具体的には、図２０（ｃ）に示すように、ガイドライン候補と直線Ｌ１との交点からガイドライン候補と直線Ｌ２との交点までの間隔ａ、及び、ガイドライン候補と直線Ｌ４との交点からガイドライン候補と直線Ｌ５との交点までの間隔ｂを用いる。間隔ａと間隔ｂとにより得られる下記（６）式の値が最大になるガイドライン候補と、最小になるガイドライン候補とが上下２本のガイドラインとして決定される。

なお、ガイドラインを決定する方法はこれに限定されるものではない。図２１は、第２の実施の形態におけるガイドライン検出部４４５がガイドラインを検出する他の処理の概要を示す図である。図２１（ａ）に示すように、ガイドライン候補と、直線Ｌ１、直線Ｌ２、直線Ｌ４及び直線Ｌ５との交点から得られる間隔ａ、間隔ｂ、間隔ｃにより得られる下記（７）式の値が予め定められた特定の値となるか否かにより、上下２本のガイドラインを決定するようにしてもよい。ここでは、射影変換不変量である複比を利用している。

また、図２１（ｂ）に示すように、ガイドライン候補と、直線Ｌ１、直線Ｌ３及び直線Ｌ５との交点から得られる間隔ａ、間隔ｂにより得られる下記（８）式の値が最大となるガイドライン候補と、最小となるガイドライン候補とを上下２本のガイドラインと決定するようにしてもよい。図２１（ｂ）に示す例では、直線Ｌ２及び直線Ｌ４に代えて直線Ｌ３を利用している。

射影変換補正部４５０は、マーカ検出部２４０が検出したマーカと、ガイドライン検出部４４５が検出した上下２本のガイドラインとに基づいて、位置情報を取得する。図２２は、第２の実施の形態においてマーカとガイドラインとから得られる位置情報の一例を示す図である。

射影変換補正部４５０は、図２２に示すようにマーカ検出部２４０がマーカに基づいて算出した直線Ｌ１及び直線Ｌ５と、上下２本のガイドラインとの４つの交点（点Ｌ、点Ｍ、点Ｎ、点Ｏ）を算出する。射影変換補正部４５０は、算出した４つの交点の位置関係と、マーカ埋め込み装置３００が埋め込んだマーカとガイドラインとにおける対応する４つの交点の位置関係とから射影変換行列を得ることができる。射影変換補正部４５０は、例えば特許文献２に記載されている手法を用いて、４つの交点（点Ｌ、点Ｍ、点Ｎ、点Ｏ）の位置関係から射影変換行列を算出する。そして、図１７の電子透かし情報埋め込み領域α´β´γ´δ´を逆算する。

＜第２の実施の形態に係るマーカ埋め込み装置の作用＞
次に、第２の実施の形態に係るマーカ埋め込み装置３００の作用について説明する。入力部１０において、予め用意された映像コンテンツの動画像について、時系列に連続する各フレーム画像を一枚ずつ受け付けると、マーカ埋め込み装置３００によって、図２３に示すマーカ埋め込み装置処理ルーチンが実行される。

ステップＳ３００において、処理対象となるフレーム画像のＣｂ成分に対して、図１７に示すように、画像の上端と下端とにガイドラインを重畳する。

次に、ステップＳ３０２において、処理対象となるフレーム画像について、ステップＳ１００において重畳されたマーカと、ステップＳ３００において重畳されたガイドラインとの相対的な位置関係において定められる処理対象となるフレーム画像内の領域に所定の電子透かしを重畳する。

＜第２の実施の形態に係るマーカ検出装置の作用＞
次に、第２の実施の形態に係るマーカ検出装置４００の作用について説明する。入力部２１０において、予め用意された映像コンテンツの動画像について、時系列に連続する各フレーム画像を一枚ずつ受け付けると、マーカ検出装置４００によって、図２４に示すマーカ検出装置処理ルーチンが実行される。

ステップ４００において、処理対象となるフレーム画像のＣｂ成分に対して、Ｂｏｘフィルタを用いてガイドライン候補を検出し、ステップＳ２０２において取得したマーカに関する情報（Ｌ１〜Ｌ５）に基づいて、検出したガイドライン候補から上下２本のガイドラインを検出する。

次に、ステップＳ４０２において、処理対象となるフレーム画像について、ステップＳ２０２において検出された処理対象となるフレーム画像についてのマーカの位置と、ステップＳ４００において検出された処理対象となるフレーム画像についてのガイドラインの各々とに基づいて、当該フレーム画像の電子透かしが埋め込まれた領域の位置を特定し、特定された領域の位置に基づいて、ステップＳ２００において取得された電子透かし成分画像に対して逆射影変換による補正を行う。

以上説明したように、本発明の第２の実施の形態に係るマーカ埋め込み装置によれば、入力された動画像の各フレームの画像について、画像の知覚されにくい色成分において、マーカを、予め定められた第１時間周波数で重畳の強さを画像ごとに周期的に変化させながら予め定められた領域に重畳し、重畳されたマーカとの位置関係において定められる画像の領域に電子透かし情報を重畳し、画像の知覚されにくい色成分において、ガイドラインを予め定められた領域に重畳し、マーカとガイドラインと電子透かしとを重畳した画像を出力することにより、コンテンツのデザイン性を損なうことなく、射影変換が施された映像を元の映像に変換する際に用いるマーカを電子透かしと重なる領域において、映像に埋め込むことができる。

また、本発明の実施の形態に係る第２のマーカ検出装置によれば、入力された動画像の各フレーム画像について、マーカを重畳するときに用いた第１時間周波数を検出するフィルタを用いて、画像からマーカ成分画像を分離し、分離されたマーカ成分画像の知覚されにくい色成分において、予め定められた濃淡パターンの点を複数検出し、検出した複数の点の各々の組み合わせで定められる複比が予め定められた値である場合に、マーカを検出し、検出されたマーカに基づいて、ガイドラインを検出し、検出されたマーカとガイドラインとに基づいて、画像に対して射影変換を行い、射影変換により得られた画像について、検出された画像のマーカとの位置関係で定められる領域から電子透かしを検出することによって、マーカと電子透かしとが重なって埋め込まれている映像から、マーカを精度良く検出することができる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、第２の実施の形態においては、図１７に示すようにマーカとガイドラインとが重畳されている場合には、電子透かしを埋め込む領域は、図１７のα´、β´、γ´、及びδ´とする場合について説明したが、これに限定されるものではなく、マーカとガイドラインとで囲まれた領域の外側や、マーカ及びガイドライン自体と重なる領域も含め、任意の領域に電子透かしを埋め込んでもよい。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

また、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した第１又は第２の実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等は本発明を構成するものとする。

１０ 入力部
２０ 演算部
３０ マーカ重畳部
４０ 電子透かし情報重畳部
５０ 埋め込み済画像出力部
９０ 出力部
１００ マーカ埋め込み装置
２００ マーカ検出装置
２１０ 入力部
２２０ 演算部
２３０ 時間周波数フィルタ部
２４０ マーカ検出部
２５０ 射影変換補正部
２６０ 電子透かし情報検出部
２９０ 出力部
３００ マーカ埋め込み装置
３２０ 演算部
３３５ ガイドライン重畳部
３４０ 電子透かし情報重畳部
３５０ 埋め込み済画像出力部
４００ マーカ検出装置
４２０ 演算部
４４５ ガイドライン検出部
４５０ 射影変換補正部

Claims (10)

1. 入力された動画像の各フレームの画像について、前記画像の知覚されにくい色成分において、予め定められた濃淡パターンを有するマーカを、予め定められた領域に重畳するマーカ重畳部と、
   前記動画像の各フレームの画像について、前記マーカ重畳部により前記画像に重畳された前記マーカとの位置関係において定められる前記画像の領域に電子透かし情報を重畳する電子透かし情報重畳部と、
   前記動画像の各フレームに対する、前記マーカと前記電子透かし情報とを重畳した画像を出力する埋め込み済み画像出力部と、
   を含む、マーカ埋め込み装置であって、
   前記マーカは、各々異なる位置及び異なる傾きで配置された複数の直線的な帯状の領域における前記色成分には前記マーカにおける他の領域の前記色成分と異なる色差が定められ、前記複数の直線的な帯状の領域すべてを横切る直線と前記直線的な帯状の領域それぞれとの交点の組み合わせで定められる複比が一定の値であり、
   前記マーカ重畳部は、前記動画像の各フレームの画像について、予め定められた第１時間周波数で前記画像ごとに重畳の強さを周期的に変化させて前記マーカを重畳するマーカ埋め込み装置。
2. 前記電子透かし情報重畳部は、前記動画像の各フレームの画像について、前記第１時間周波数と異なる予め定められた第２時間周波数で前記画像ごとに重畳の強さを周期的に変化させて前記電子透かし情報を重畳する請求項１記載のマーカ埋め込み装置。
3. 前記動画像の各フレームの画像について、前記画像の知覚されにくい色成分において前記マーカが重畳された領域と異なる領域に所定の濃淡で示されるガイドラインを重畳するガイドライン重畳部を更に含み、
   前記電子透かし情報重畳部は、前記動画像の各フレームの画像について、前記マーカ重畳部により前記画像に重畳されたマーカと、前記ガイドライン重畳部により前記画像に重畳されたガイドラインとの位置関係において定められる前記画像の領域に前記電子透かし情報を重畳する請求項１又は２記載のマーカ埋め込み装置。
4. 前記電子透かし重畳部は、前記画像の各々について、前記画像の前記マーカが重畳された前記予め定められた領域と同じ領域に、前記電子透かし情報を重畳する請求項１〜３の何れか１項記載のマーカ埋め込み装置。
5. 前記第１時間周波数は、前記第２時間周波数より高い請求項２記載のマーカ埋め込み装置。
6. 入力された動画像の各フレームの画像について、前記動画像の各フレームの画像に予め定められた濃淡パターンを有するマーカを重畳するときに用いた予め定められた第１時間周波数で変化する成分を検出するためのフィルタを用いて、前記画像から前記マーカを表す成分からなるマーカ成分画像を分離する時間周波数フィルタ部と、
   前記動画像の各フレームの画像について、前記時間周波数フィルタ部により分離された前記画像の前記マーカ成分画像について、前記マーカ成分画像の知覚されにくい色成分において予め定められた濃淡パターンの点を複数検出し、前記検出した複数の点の各々の組み合わせで定められる複比が予め定められた値である場合に、前記マーカを検出するマーカ検出部と、
   前記動画像の各フレームの画像について、前記マーカ検出部により検出されたマーカに基づいて、前記画像に対して射影変換を行う射影変換補正部と、
   前記動画像の各フレームの画像について、前記射影変換補正部による射影変換により得られた画像における、前記マーカ検出部により検出された前記画像のマーカとの位置関係で定められる領域から電子透かし情報を検出する電子透かし検出部と、
   を含む、マーカ検出装置であって、
   前記マーカは、各々異なる位置及び異なる傾きで配置された複数の直線的な帯状の領域における前記色成分には前記マーカにおける他の領域の前記色成分と異なる色差が定められ、前記複数の直線的な帯状の領域すべてを横切る直線と前記直線的な帯状の領域それぞれとの交点の組み合わせで定められる複比が一定の値であり、
   前記マーカは、前記動画像の各フレームの画像に、前記第１時間周波数で前記画像ごとに重畳の強さを周期的に変化させて重畳されるマーカ検出装置。
7. 前記時間周波数フィルタ部は、前記動画像の各フレームの画像について、前記第１時間周波数で変化する成分を検出するためのフィルタと、前記動画像の各フレームの画像に前記電子透かし情報を重畳するときに用いた、前記第１時間周波数とは異なる予め定められた第２時間周波数で変化する成分を検出するためのフィルタとを用いて、前記画像から、前記マーカ成分画像と、前記電子透かし情報を表す成分からなる電子透かし成分画像とを分離し、
   前記射影変換補正部は、前記動画像の各フレームの画像について、前記マーカ検出部により検出されたマーカに基づいて、前記時間周波数フィルタ部により分離された前記電子透かし成分画像に対して射影変換を行い、
   前記電子透かし検出部は、前記動画像の各フレームの画像について、前記射影変換補正部による射影変換により得られた前記電子透かし成分画像における、前記マーカ検出部により検出された前記画像のマーカとの位置関係で定められる領域から前記電子透かし情報を検出する請求項６記載のマーカ検出装置。
8. 前記動画像の各フレームの画像について、前記画像の知覚されにくい色成分において所定の濃淡で示されるガイドラインを検出するガイドライン検出部を更に含み、
   前記電子透かし情報検出部は、前記動画像の各フレームの画像について、前記射影変換補正部による射影変換により得られた画像における、前記マーカ検出部により検出された前記マーカと、前記ガイドライン検出部により検出されたガイドラインとの位置関係において定められる領域から前記電子透かし情報を検出する請求項６又は７記載のマーカ検出装置。
9. コンピュータを、請求項１から請求項５の何れか１項記載のマーカ埋め込み装置を構成する各部として機能させるためのプログラム。
10. コンピュータを、請求項６から請求項８の何れか１項記載のマーカ検出装置を構成する各部として機能させるためのプログラム。