JP2000165805A - 付随情報付加装置および方法、付随情報検出装置および方法、ならびに不正利用防止システム - Google Patents

Abstract

(57)【要約】 【課題】 ベースバンドでも、ビットストリームでも、
解像度変換を行う前と後の双方において同一のウォータ
マークの検出が可能であって、しかも、検出精度の低
下、検出時間の増加、画質の劣化、検出処理量の増加を
押える。 【解決手段】 画像の一部の縦×横＝Ｍ×Ｎ（Ｍ，Ｎは
正の整数）個の画素からなる小領域に対応する大きさの
単位ウォータマークパターンを発生する単位ウォータマ
ークパターン発生器１４を設ける。ウォータマーク反復
器１３は、発生器１４からの単位ウォータマークパター
ンを縦横に反復した反復ウォータマークを発生する。ウ
ォータマーク埋め込み器１１は、反復ウォータマークを
画像に付加する。単位ウォータマークパターン発生器１
４では、画像について解像度変換が行なわれることが想
定されている解像度において、単位ウォータマークの
縦、横の大きさが、画像符号化における符号化ブロック
の大きさの整数倍となるように単位ウォータマークパタ
ーンの大きさを決める。ことを特徴とする付随情報付加
装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、静止画像あるい
は動画像シーケンスなどの画像データに対して、それに
付随する情報を、電子透かし（ウォータマーク）として
画像データ中に付加する付随情報付加装置および方法、
また、その付随情報を検出する付随情報検出装置および
方法に関する。また、この発明は、これら付随情報付加
装置および方法、また、付随情報検出装置および方法を
用いる不正コピー防止装置及び方法に関する。

【０００２】

【従来の技術】任意の画像データ（静止画像あるいは動
画像シーケンス）に対して、それに付随する情報を画像
データ中に付加し、再生時にその付随情報を検出して利
用する技術がある。この技術の代表的な利用例として、
著作権情報の付加が挙げられる。

【０００３】特定の画像データを不特定の利用者が利用
することが可能である場合、その画像に対して著作権を
持つ者がその権利を主張するために、あらかじめ著作権
情報を画像データ中に付加しておくことが考えられる。
著作権情報を付加しておくことにより、画像の再生装置
あるいは再生方法における処理手順の中でその画像デー
タを表示不可と指示する著作権情報が検出された場合に
は、その画像データの表示を行なわない等の対策を講じ
ることが可能となる。

【０００４】上述の著作権情報の付加あるいは検出は、
現在、アナログ記録（ビデオ信号をアナログ信号の状態
で記録）のビデオテープの不正コピー防止機能等で利用
されている。この機能により、レンタル業者から借りて
くるなどの方法で手元にあるビデオテープを不正にコピ
ーすることを不可能にし、そのビデオテープの著作権を
持つ者の権利を守っている。

【０００５】アナログ記録のビデオテープの場合には、
画像データがアナログ的に記録されるため、コピーを行
なうと画質が劣化する。これに対し、最近普及しつつあ
るデジタル的に画像データを記録し再生する機器におい
ては、原理的にコピーによって画質が劣化することがな
く、コピーを多数回繰り返すことさえも画質の劣化無し
に可能である。そのため、デジタル的に処理を行なう機
器による不正コピーによる損害は、アナログの場合より
さらに大きなものとなり、デジタル的に処理を行なう機
器における不正コピー防止は、非常に重要になってい
る。

【０００６】ところで、上述の著作権情報などの画像デ
ータに付随する情報を、その画像データ中に付加する方
法としては、主に２つの方法がある。

【０００７】第１の方法は、画像データの補助部分に付
加する方法である。画像データの補助部分とは、有効画
面領域の画像データ以外の部分を指す。例えば、アナロ
グビデオ信号の垂直ブランキング期間や、デジタルビデ
オ信号のヘッダ部や付加データ部などである。実際に、
アナログビデオテープでは、画像データの補助的な付随
情報が、垂直ブランキング期間の一部に付加されてい
る。

【０００８】第２の方法は、画像データの主要部分、す
なわち、有効画面領域の画像データに付加する方法であ
る。これは、ある特定のパターンを視覚的に感知できな
い程度に画像の全体あるいは一部に付加するものであ
る。これは、電子透かし処理と呼ばれている。この具体
例として、乱数やＭ系列等を用いて発生させた鍵パター
ンを利用して情報の付加および検出を行なう、スペクト
ラム拡散等がある。

【０００９】第１の方法は、画像データの補助部分とい
う、画像の内容自体とは異なった場所に情報を付加をし
ているため、一度、補助部分を分離してしまえば付加し
た情報がなくなってしまうという問題がある。

【００１０】これに対して、電子透かし処理は、画像デ
ータに存在する人間の知覚上の重要でない部分、すなわ
ち、画像に対して冗長でない部分に、雑音として情報を
埋め込む処理である。このような電子透かし処理により
画像データ中に埋め込まれた情報（以下、電子透かしに
より埋め込まれる情報をウォータマークという）は、画
像データと同じ周波数領域および時間領域に付加される
ので、その画像データから除去されにくい。一方、画像
データについてフィルタリング処理やデータ圧縮処理を
した後であっても、それらに埋め込まれたウォータマー
クを画像データ中から検出することが可能であるという
特徴がある。

【００１１】以下では、上述のような特徴を備える第２
の方法の、画像データの主要部分に付随情報を付加する
方法であるウォータマークを用いた方法について述べ
る。

【００１２】まず、図８〜図１１を用いてウォータマー
クの付加、検出方式の概略を説明する。

【００１３】図８は、ウォータマークパターンＷＭの例
を示し、この例のウォータマークパターンＷＭは、例え
ば、縦×横＝４ｎ画素×４ｎ画素（ｎは自然数）の大き
さで、各画素について、図示のように、＋１，−１の２
つのシンボルのいずれかを取るものを用いるとする。な
お、実際の利用においては、ウォータマークパターン
は、２つのシンボルのいずれかをランダムに取る方が望
ましい。また、ウォータマークパターンの領域の形状、
大きさは任意である。

【００１４】画像に付随情報を付加する際には、付加を
行なう対象となる画像上で、付加しようとするウォータ
マークパターンの領域と等しい大きさの領城を設定す
る。設定された領域とウォータマークパターンＷＭとを
重ねて照らし合わせ、ウォータマークパターンＷＭで＋
１のシンボルが対応する画素については値ａを加算し、
−１のシンボルが対応する画素については値ｂを減算す
る。ここで、値ａ，値ｂは、共に、任意の値を取り得
る。

【００１５】図９は、画像へのウォータマークパターン
ＷＭの付加の例を示しており、この例では、付加を行な
う対象となる画像Ｐｉの領域の画素値が全て１００の場
合であり、また、付加するウォータマークパターンＷＭ
の前記ａ＝１，ｂ＝１に設定されている場合である。こ
のウォータマークパターンＷＭの埋め込み操作が行われ
た結果の画像Ｐｏでは、図示のように、１０１と９９の
画素値に分かれることになる。

【００１６】付随情報を検出する際には、検出を行なう
対象となる画像上でウォータマークパターンＷＭの領域
と等しい大きさの領域を設定する。そして、設定された
画像領域とウォータマークパターンＷＭとの相関につい
ての評価値を求める。この場合、設定された画像領域の
画素の全てについて合計したものを評価値として用い
る。

【００１７】具体的には、評価値を求めるために、画素
全てを合計する際に、設定された画像領域とウォータマ
ークパターンＷＭとを重ねて照らし合わせ、ウォータマ
ークパターンＷＭの＋１のシンボルの画素については足
し算、−１のシンボルの画素については引ぎ算を適用す
る。このとき、付随情報を付加する際に用いたウォータ
マークパターンと同じパターンを用いて検出を行なうも
のである。

【００１８】図１０は、図９のようにしてウォータマー
クパターンＷＭが付加された画像Ｐｏからウォータマー
クを検出する場合の評価値の算出を説明するための図で
ある。この図１０の例では、評価値は４ｎ² （領域に含
まれる画素数の数と同じ）になる。

【００１９】これに対して、図１１の画像Ｐｏは、ウォ
ータマークパターンＷＭが付加されていない場合を示し
ており、この画像Ｐｏについての、ウォータマークパタ
ーンとの相関の評価値は０となる。

【００２０】実際的には、ウォータマークパターンが付
加される対象の画像Ｐｉの画素のすべてが同じ値になる
ことはほとんどないが、ウォータマークパターンの領域
が充分に広く、かつ、ウォータマークパターンが充分に
ランダムである場合、画像の水平、垂直相関性から、ウ
ォータマークが付加されていない場合の画像Ｐｏについ
ての前記評価値は常にほぼ０となる。このことから、評
価値がある一定の閾値を超えた場合には、ウォータマー
クによる付随情報が画像に付加されていると判別するこ
とができる。

【００２１】上記の手順により、付随情報として、ウォ
ータマークが付加されているか否かという２値の情報
（１ビット）を付加することが可能となる。より多くの
情報（複数ビット）を付加したい湯合には、画像全体を
空間的に、時間的に、または空間的かつ時間的にｋ個の
領域に分けて、それぞれ上記の操作を行なう等の処理方
法により、２^k 通り（ｋビット）の情報を画像に付加す
ることができる。

【００２２】ウォータマークパターンとしては、例え
ば、Ｍ系列（最長符号系列）を用いて生成したものを利
用することができる。Ｍ系列は、２値のシンボルからな
る数列で、それぞれのシンボルの統計的分布は一定であ
り、符号相関は、原点で１、その他では−１／符号長と
なるものである。もちろん、Ｍ系列を用いる以外の方法
でウォータマークパターンを生成してもよい。

【００２３】ところで、画像データをデジタル的に記録
し再生する場合、画像データは、そのままでは非常に情
報量が多いため、画像データを圧縮するのが一般的であ
る。画像データを圧縮する方法としては、ＪＰＥＧ（カ
ラー静止画像の符号化方式）あるいはＭＰＥＧ（カラー
動画像の符号化方式）等の高能率符号化方式が国際的に
標準化され、実用化に至っている。これらの高能率符号
化方式によって圧縮されたデータをビットストリームデ
ータ、あるいは単にビットストリームと呼ぶ。また、対
比する表現として、圧縮する前の画像および復号した後
の画像をベースバンド画像、あるいは単にベースバンド
と呼ぶ。

【００２４】ところで、ベースバンド画像に対してウォ
ータマークを付加しておくだけで、そのままベースバン
ド画像として配布されても、また、ＪＰＥＧ、ＭＰＥＧ
などの高能率符号化を行なった後のビットストリームと
して配布されても、どちらの場合についてもウォータマ
ーク検出器を用意でき、簡単にウォータマークを検出で
きれば好都合である。つまり、高能率符号化などによっ
て圧縮する前に付加したウォータマークが、ベースバン
ドでもビットストリームでも共通して検出に用いること
が出来ることが好ましい。

【００２５】図１２は、この場合の画像情報へのウォー
タマークの付加および検出の全体の流れを説明するため
の概念図である。

【００２６】すなわち、図１２においては、入力端子１
を通じてベースバンド画像情報がウォータマーク付加装
置１０に供給されると共に、単位ウォータマーク入力端
子２を通じて、付加しようとする単位ウォータマークｗ
ｍの情報がウォータマーク付加装置１０に供給される。
単位ウォータマークｗｍは、後で詳述するように、画像
の一部の小領域に対応する大きさを有するものである。

【００２７】この例のウォータマーク付加装置１０で
は、入力端子２からの単位ウォータマークｗｍを画像上
の縦横に反復した状態の反復ウォータマークＷＭＲを、
入力端子１からのベースバンド画像に付加する。反復ウ
ォータマークＷＭＲを付加したベースバンド画像情報
は、出力端子３を通じて出力される。

【００２８】また、反復ウォータマークＷＭＲが付加さ
れたベースバンド画像は、ＭＰＥＧ符号化器２０に供給
されて、ＭＰＥＧ方式により高能率符号化されて、ビッ
トストリームとされ、出力端子４を通じて出力される。
この場合のＭＰＥＧ符号化における符号化ブロックの大
きさは、単位ウォータマークｗｍに等しいか、あるい
は、単位ウォータマークｗｍが、整数個の符号化ブロッ
クに等しい関係となるようにされている。換言すれば、
単位ウォータマークｗｍの大きさは、この符号化ブロッ
クの大きさの整数倍の大きさに選定されるものである。

【００２９】出力端子３から出力されたウォータマーク
ＷＭＲが付加されたベースバンド画像の画像情報は、入
力端子５を通じてウォータマークベースバンド検出装置
３０に供給される。そして、ウォータマークベースバン
ド検出装置３０では、入力端子６からの単位ウォータマ
ークｗｍ（入力端子２からの単位ウォータマークｗｍに
等しい）に基づいて、ベースバンド画像情報から、後述
のようにして、ウォータマークが検出され、その検出結
果が出力端子７を通じて導出される。

【００３０】また、出力端子４から出力されたウォータ
マークＷＭＲが付加されたビットストリームの画像情報
は、入力端子８を通じてウォータマークビットストリー
ム検出装置４０に供給される。そして、ウォータマーク
ビットストリーム検出装置４０では、入力端子６からの
単位ウォータマークｗｍに基づいて、後述するようにし
て、ビットストリーム画像情報からウォータマークが検
出され、その検出結果が出力端子９を通じて導出され
る。

【００３１】図１２のウォータマーク付加装置１０は、
従来は、図１３に示すように構成されている。このウォ
ータマーク付加装置は、画像の縦横に単位ウォータマー
クｗｍが反復するウォータマークＷＭＲを画像に付加
し、そのウォータマーク付加画像を出力する装置であ
る。

【００３２】この場合、画像入力端子１から入力される
動画像データは、Ｉ（ｘ，ｙ，ｔ）（０≦ｘ＜ｗｉｄｔ
ｈ（Ｉ），０≦ｙ＜ｈｅｉｇｈｔ（Ｉ））と表すことが
でき、また、単位ウォータマーク入力端子２から入力さ
れる単位ウォータマークｗｍは、Ｗ（ｘ，ｙ）（０≦ｘ
＜Ｌ，０≦ｙ＜Ｌ）と表すことができる。

【００３３】ただし、ｘ，ｙは、それぞれ、画像を構成
する各画素の画像上の横方向および縦方向の座標を表
す。また、ｔは画像単位の時間を表すものとする。ま
た、図１５（Ｂ），（Ｃ）にも示すように、ｗｉｄｔｈ
（Ｉ）およびｈｅｉｇｈｔ（Ｉ）は、それぞれ、画像の
幅および高さである。また、Ｌ（自然数）は、図１５
（Ａ）に示すように、単位ウォータマークｗｍの幅およ
び高さである。このように、従来は、単位ウォータマー
クｗｍの幅および高さは、等しく選定されていた。

【００３４】単位ウォータマーク入力端子２から入力さ
れた単位ウォータマークｗｍは、ウォータマーク反復器
１０３に入力される。このウォータマーク反復器１０３
の内部構成は、従来は、図１４に示すようなものとされ
ている。

【００３５】すなわち、図１４に示すように、ウォータ
マーク反復器１０３には、１枚の画像分に相当する反復
ウォータマークＷＭＲの要素数を格納可能な容量のメモ
リ１０３１が設けられている。

【００３６】メモリ１０３１への単位ウォータマークｗ
ｍの書き込み時には、ｘ座標入力端子１１およびｙ座標
入力端子１２を通じて、単位ウォータマークｗｍについ
ての座標（ｘ，ｙ）の座標要素ｘ，ｙが入力される。す
ると、アドレス設定部１０３２および１０３３により、
入力座標に対応したメモリアドレスｘ，ｙが設定され、
入力端子２からの単位ウォータマークｗｍが、メモリ１
０３１に書き込まれる。

【００３７】この場合、アドレス設定部１０３２は、入
力座標（ｘ，ｙ）に対応する一つのメモリ位置だけでな
く、その位置から縦方向および横方向に、それぞれＬの
１倍、２倍、３倍、……と、整数倍離れた位置を指定す
るアドレスをメモリ１０３１に供給する。したがって、
メモリ１０３１には、図１５（Ｂ），（Ｃ）に示すよう
に、単位ウォータマークｗｍが画像の縦方向および横方
向に反復するウォータマークＷＭＲが書き込まれる。

【００３８】つまり、単位ウォータマークの各値Ｗ
（ｘ，ｙ）が入力される毎に、 ｉ％Ｌ＝ｘ かつ ｊ％Ｌ＝ｙ （０≦ｉ＜ｗｉｄｔｈ（Ｉ），０≦ｊ＜ｈｅｉｇｈｔ
（Ｉ）） を満たす全てのｉ，ｊ（ｉ，ｊは正の整数）の組につい
て、反復後のウォータマークを保持するメモリｒｅｐｅ
ａｔＷに、 ｒｅｐｅａｔＷ（ｉ，ｊ）＝Ｗ（ｘ，ｙ） と書き込むものである。なお、この明細書で、「％」は
剰余を求める演算子とする。

【００３９】これを図１５を用いて説明する。図１５
（Ａ）の単位ウォータマークＷ（ｘ，ｙ）が入力された
とき、ウォータマーク反復器１０３では、単位ウォータ
マークＷ（ｘ，ｙ）を繰返して、幅ｗｉｄｔｈ（Ｉ）、
高さｈｅｉｇｈｔ（Ｉ）になるようした、図１５（Ｂ）
のウォータマークＷＭＲが作られる。

【００４０】図１５（Ｂ）は、画像の幅ｗｉｄｔｈ
（Ｉ）、画像の高さｈｅｉｇｈｔ（Ｉ）が、それぞれ、
単位ウォータマークｗｍの幅および高さＬで割り切れる
場合であるが、割り切れない場合には、図１５（Ｃ）に
示すようなものとなる。

【００４１】以上のようにしてウォータマーク反復器１
０３のメモリ１０３１に書き込まれたウォータマークＷ
ＭＲは、画像入力端子４から入力される画像情報の各画
素位置に応じた座標（ｘ，ｙ）が、順次に、ｘ座標入力
端子１１およびｙ座標入力端子１２からメモリ１０３１
に供給されることにより、読み出される。そして、読み
出された反復ウォータマークＷＭＲは、ウォータマーク
埋め込み器１０１に渡される。

【００４２】一方、画像入力端子４から入力されたベー
スバンド画像情報は、ウォータマーク埋め込み器１０１
だけでなく、埋め込み量判断器１０２にも送られる。埋
め込み量判断器１０２は、入力された画像の特徴を調
べ、付加しても画質に与える影響が少ないウォータマー
クの埋め込み量を画像の各場所について判断し、その量
をウォータマーク埋め込み器１０１に伝える。

【００４３】ウォータマーク埋め込み器１０１では、ウ
ォータマーク反復器１０３から入力された反復ウォータ
マークＷＭＲに応じ、画像入力端子４から送られた画像
にウォータマークを埋め込む。そのとき、埋め込み量判
断器１０２から入力される、埋め込み量の情報に応じて
埋め込み量が調節される。

【００４４】ここで、埋め込み量判断器１０２は、ウォ
ータマーク付加画像の画質を向上させるために必要なも
のであって、反復ウォータマークＷＭＲの付加および検
出をするにあたって必須ではない。例えば、埋め込み量
判断器１０２を用いずに、ウォータマークパターンによ
って付加することが示されている部分すべてに、同様の
埋め込み量で付加しても、ウォータマークを検出するこ
とに問題は生じない。

【００４５】ウォータマーク埋め込み器１０１で作られ
た反復ウォータマークＷＭＲが付加された画像情報は、
ベースバンド画像出力端子３から出力される。

【００４６】ここで、ウォータマーク埋め込み器１０１
の動作を整理しておく。

【００４７】入力画像Ｉ（ｘ，ｙ，ｔ）に対して埋め込
み量判断器１０２で求められた埋め込み量をＤ（ｘ，
ｙ，ｔ）とすると、埋め込み器１０１で、指定された量
だけ埋め込む場合、ウォータマーク付加後の画像ｗｍＩ
（ｘ，ｙ，ｔ）は、 ｗｍＩ（ｘ，ｙ，ｔ）＝Ｉ（ｘ，ｙ，ｔ）＋ｒｅｐｅａ
ｔＷ（ｘ，ｙ）×Ｄ（ｘ，ｙ，ｔ） となる。

【００４８】すべての画素に、埋め込み量一定にウォー
タマークを付加するとすると、ウォータマーク付加後の
画像ｗｍＩ（ｘ，ｙ，ｔ）は、定数Ｄを用い、 ｗｍＩ（ｘ，ｙ，ｔ）＝Ｉ（ｘ，ｙ，ｔ）＋ｒｅｐｅａ
ｔＷ（ｘ，ｙ）×Ｄ と表せる。

【００４９】次に、ウォータマークベースバンド検出装
置３０の従来の構成例を、図１６を用いて説明する。

【００５０】図１６のウォータマークベースバンド検出
装置３０は、ベースバンドの画像情報と、単位ウォータ
マークｗｍのパターンを読み込み、そのベースバンド画
像情報に含まれるウォータマークの情報を出力する装置
である。ウォータマークの情報とは、ウォータマークが
その画像に存在すれば、その単位ウォータマークの検出
された位置のシフト量で、ウォータマークがその画像に
存在しなければ、ウォータマークなしという情報であ
る。単位ウォータマークが検出された位置のシフト量
は、比較する単位ウォータマークｗｍのパターンと、検
出された画像上のウォータマーク中の単位ウォータマー
クパターンとのずれ量に等しい。

【００５１】図１６に示すように、ベースバンド画像入
力端子４から入力された画像Ｉ（ｘ，ｙ，ｔ）（図１７
（Ａ）参照）は、折り畳み累積器３０１に入力されて、
図１７（Ｂ）に示すように、単位ウォータマークの大き
さで折り畳んで累積される。式で表すと、折り畳み累積
された結果ｆｏｌｄＩ（ｘ，ｙ）は、次のように表され
る。

【００５２】 ｆｏｌｄＩ（ｘ，ｙ）＝ΣＩ（ｉ％Ｌ，ｊ％Ｌ，ｔ） ｉ％Ｌ＝ｘ，ｊ％Ｌ＝ｙ Ｌは単位ウォータマークｗｍの縦横の大きさなので、折
り畳み累積結果ｆｏｌｄＩ（ｘ，ｙ）は単位ウォータマ
ークｗｍと同じ大きさの空間情報である。

【００５３】図１８は、折り畳み累積器３０１の従来の
構成例を示すものである。この折り畳み累積器３０１
は、少なくともＬ×Ｌ要素の単位ウォータマークｗｍ分
の容量を有するメモリ３０１２と、累積加算器３０１１
と、メモリ３０１２用のアドレス設定部３０１３および
３０１４とからなる。

【００５４】累積加算器３０１１には、画像入力端子５
からの画像情報が入力されると共に、メモリ３０１２か
ら読み出された単位ウォータマークｗｍ分の画像要素が
供給されて、累積加算される。そして、この累積加算器
３０１１の出力がメモリ３０１２に、アドレス設定部３
０１３および３０１４により示されるアドレスに書き込
まれると共に、読み出される。これにより、メモリ３０
１２から、折り畳み累積画像出力が得られ、出力端子３
３を通じて導出される。

【００５５】この場合、入力端子３１および３２から入
力される画像についての画素の座標（ｘ、ｙ）の座標要
素ｘ、ｙが、それぞれアドレス設定部３０１３および３
０１４に供給される。アドレス設定部３０１３では、ｘ
％Ｌなる剰余を求める演算を行い、求めた剰余を、メモ
リ３０１２にそのアドレスｘとして供給し、また、アド
レス設定部３０１４では、ｙ％Ｌなる剰余を求める演算
を行い、求めた剰余を、メモリ３０１２に、そのアドレ
スｙとして供給する。このアドレッシングにより、累積
加算器３０１１およびメモリ３０１２により、折り畳み
累積が実行される。

【００５６】このように単位ウォータマークの大きさ単
位で折り畳んで累積する折り畳み累積を行う場合におい
て、折り畳みの領域ＡＲが、図１９（Ａ）に示すよう
に、画像上のウォータマークとの間にシフトがない場合
には、折り畳み累積後の入力画像のウォータマークは、
図１９（Ｂ）のように、単位ウォータマークｗｍと全く
同じパターンになる。

【００５７】また、折り畳みの領域ＡＲが、図２０
（Ａ）に示すように、画像上のウォータマークとの間で
シフトしたものとなっていた場合には、折り畳み累積後
の入力画像のウォータマークは、図２０（Ｂ）のよう
に、単位ウォータマークｗｍを分割したパターンを寄せ
集めたようなパターンになる。

【００５８】しかし、以上のように折り畳み累積を行う
と、図１９のように、ウォータマークを付加したときと
ウォータマークを検出したときの間に画像シフトがない
場合はもちろんこと、図２０のように、ウォータマーク
を付加したときとウォータマークを検出したときの間に
シフトがあった場合にも、累積されたウォータマーク成
分は常に同じ位置であるため強調される上、累積回数が
十分多くなると、累積された画像成分は相殺される。

【００５９】そこで、入力画像Ｉ（ｘ，ｙ，ｔ）にウォ
ータマークが含まれていれば、この折り畳み累積結果ｆ
ｏｌｄＩ（ｘ，ｙ）と、単位ウォータマークＷ（ｘ，
ｙ）をシフトしたものが必ず相関を持つ。この相関を以
下のようにＦＦＴ（ＦａｓｔＦｏｕｒｉｅｒ Ｔｒａｎ
ｓｆｏｒｍ）を用いて調べる。

【００６０】すなわち、折り畳み累積器３０１の出力は
ＦＦＴ器３０２に入力され、Ｌ×Ｌ要素のＦＦＴが施さ
れた後に、畳み込み演算器３０３に送られる。また、単
位ウォータマーク入力端子６から入力された単位ウォー
タマークｗｍ（＝Ｗ（ｘ，ｙ））も、ＦＦＴ器３０４
で、Ｌ×Ｌ要素のＦＦＴが施された後に、畳み込み演算
器３０３に送られる。

【００６１】畳み込み演算器３０３は、上述の２つのＦ
ＦＴ空間の係数に対して畳み込みを行ない、結果を逆Ｆ
ＦＴ器３０５に送る。畳み込み演算器３０３での畳み込
みは、単位ウォータマークｗｍと、折り畳み後の画像と
について、空間領域での両者の間でのすべてのシフトの
組合せの相関をとることに相当する。

【００６２】逆ＦＦＴ器３０５では、畳み込み演算器３
０３で得られた結果に対して逆ＦＦＴを行なうことによ
り空間領域に戻す。この逆ＦＦＴ器３０５での逆ＦＦＴ
で得られた全ての係数の出力を最大値検出器３０６およ
び分散計算器３０７に供給する。

【００６３】最大値検出器３０６では、逆ＦＦＴ器３０
５での逆ＦＦＴで得られた係数のうちの最大係数を探
し、最大係数とその座標を出力する。

【００６４】そして、分散計算器３０７には、逆ＦＦＴ
器３０５からのすべての係数と、最大値検出器３０６か
らの最大係数の座標値が入力され、係数の最大値以外の
値の分散が計算される。

【００６５】また、正規化器３０８には、分散計算器３
０７で計算された分散と、最大値検出器３０６で見つけ
られた最大係数が入力される。正規化器３０８の出力
は、最大係数を、分散で割ることによって正規化した値
である。この値は、閾値比較器３０９に入力され、予め
設定されている閾値と比較される。

【００６６】閾値比較器３０９では、これに入力される
最大値を分散で割った値が閾値よりも小さいときにはウ
ォータマーク無しとみなされ、出力制御器３１０が制御
されて、ウォータマーク無しという情報が、ウォータマ
ーク情報出力端子６から出力される。

【００６７】また、閾値比較器３０９では、これに入力
される最大値を分散で割った値が閾値よりも大きければ
ウォータマークが入っているとみなされ、出力制御器３
１０が制御されて、最大値検出器３０６で検出された最
大係数の座標、つまり、ウォータマークが入っていた位
置のシフト量がウォータマーク情報出力端子６から出力
される。

【００６８】以上のように、図１６のウォータマークベ
ースバンド検出装置においては、ＦＦＴ領域での畳み込
みを用いてすべての可能なシフト量について相関を求
め、その相関の最大値が、しかるべき基準より大きいか
どうかでウォータマークが画像に付加されているかを判
定している。

【００６９】ウォータマークが画像に付加されていた場
合に、そのシフト量が情報としてとり出力されるが、ウ
ォータマークの付加時とウォータマークの検出時の間の
シフト量であるので、絶対的な意味を持たせることはで
きない。しかし、次のように相対的な意味を持たせるこ
とができる。

【００７０】あるウォータマークと、そのウォータマー
クの各要素に−１を掛けたウォータマーク（つまり反転
パターン）との、２つのウォータマークを、１つの画像
の異なった位相に付加しておく。また、図１６の最大値
判定器３０６を最大値と最小値の両方を抽出する最大・
最小値判定器に置き換え、逆ＦＦＴ器３０５からの係数
のうちの最大値あるいは最小値およびその座標を求め
る。そして、求めた最大係数または最小係数を分散によ
って正規化した後、閾値比較器３０９で最大係数、最小
係数の絶対値が、閾値より大きいどうかを判定し、大き
かった場合、その最大係数が検出されたウォータマーク
と、その最小係数が検出されたウォータマークとの２つ
のウォータマークのシフト量の差を情報とするのであ
る。この情報は相対的なものであるので、画像にシフト
が起こっても変化しない。

【００７１】次に、ウォータマークビットストリーム検
出装置４０の従来の構成例について、図２１を用いて説
明する。

【００７２】図２１において、ビットストリーム画像入
力端子８には、ＭＰＥＧ符号化器２０で符号化された画
像データのビットストリームが入力される。このウォー
タマークビットストリーム検出装置４０は、このビット
ストリーム画像と単位ウォータマークｗｍのパターンと
の入力を受け、画像に付加されているウォータマークの
情報を出力するものである。前述と同様に、ウォータマ
ークの情報とは、ウォータマークがそのビットストリー
ム画像に存在すれば、そのウォータマークの検出された
位置のシフト量であり、ウォータマークがそのビットス
トリーム画像に存在しなければ、ウォータマーク無しと
いう情報である。

【００７３】この図２１のウォータマークビットストリ
ーム検出装置４０は、一部を除くと、図１６のウォータ
マークベースバンド検出装置３０とほぼ同様の構成とな
る。すなわち、図１６の折り畳み累積器３０１、ＦＦＴ
器３０２、畳み込み演算器３０３、ＦＦＴ器３０４、逆
ＦＦＴ器３０５、最大値検出器３０６、分散計算器３０
７、正規化器３０８、閾値比較器３０９、出力制御器３
１０は、図２１の折り畳み累積器４０１、ＦＦＴ器４０
２、畳み込み演算器４０３、ＦＦＴ器４０４、逆ＦＦＴ
器４０５、最大値検出器４０６、分散計算器４０７、正
規化器４０８、閾値比較器４０９、出力制御器４１０
に、それぞれ対応している。

【００７４】図１６のウォータマークベースバンド検出
装置３０と異なるのは、入力がベースバンド画像データ
からビットストリーム画像データに変わっている点と、
新しく、折り畳み累積器３０１の前後に、ＤＣＴ（離散
コサイン変換）係数抽出器４１１と逆ＤＣＴ器４１２が
設けられている点である。以下、図１６のウォータマー
クベースバンド検出装置３０と異なる点を中心に説明す
る。

【００７５】ビットストリーム入力端子８から入力され
たビットストリーム画像データは、ＤＣＴ係数抽出器４
１１で部分的に復号されて、ＩピクチャのＤＣＴ係数が
抽出される。

【００７６】ここで、ＤＣＴ係数に対して逆ＤＣＴを施
して空間領域の画素値に変換すれば、以降は図１６のウ
ォータマークベースバンド検出装置３０と同じ装置で検
出を行なうことが可能である。しかし、計算量を減らす
ために、図２１のウォータマークビットストリーム検出
装置４０では、ＤＣＴ係数抽出器４１１の出力は、折り
畳み累積器４０１に供給されて、折り畳み累積が行われ
た後に、逆ＤＣＴ器４１２に供給されて、逆ＤＣＴが行
なわれる。

【００７７】ところで、ＭＰＥＧ２のような符号化方式
の場合には、フレームとフィールドの２つのモードのＤ
ＣＴを適応的に使う。図２２は、フレームモードのＤＣ
Ｔの場合のブロックを示し、また、図２３は、フィール
ドモードのＤＣＴの場合のブロックを示している。

【００７８】すなわち、フレームモードにおいては、図
２２（Ａ）のマクロブロック２０１は、図２２（Ｂ）に
示す４個のＤＣＴブロック２０２，２０３，２０４，２
０５に分けられる。また、フィールドモードにおいて
は、図２３（Ａ）のマクロブロック２０１は、図２３
（Ｂ）に示す４個のＤＣＴブロック２０６，２０７，２
０８，２０９に分けられる。

【００７９】これら図２２、図２３で表されるように、
フレームＤＣＴを行なうブロックと、フィールドＤＣＴ
を行なうブロツクの占める画素の範囲は互いに異なる。

【００８０】しかし、縦に２つのＤＣＴブロックを合わ
せた領域が、横×縦＝８×１６画素の領域であるのは共
通である。そこで、この例では、フレームとフィールド
のどちらのモードでＤＣＴが行なわれた場合にも対応で
きるように、縦に２つのＤＣＴブロックを合わせた８×
１６画素の領域を１つの単位の符号化ブロックとして扱
う。

【００８１】画像をこの符号化ブロック（ＤＣＴブロッ
ク）に分割したとき、横方向にｘ番目で、縦方向にｙ番
目のブロック、つまり横８ｘ、縦１６ｙの座標の画素か
らはじまる２つのＤＣＴの係数の組を、フレームＤＣＴ
が使われているときと、フィールドＤＣＴが使われてい
るときとに分けて、それぞれ、ＦｒＤＣＴ（ｘ，ｙ，
ｔ）、ＦｉＤＣＴ（ｘ，ｙ，ｔ）とする。ただし、番号
の数え方は０番目からはじまるものとする。

【００８２】折り畳み累積器４０１では、これらのＤＣ
Ｔ係数をＤＣＴ係数抽出器４１１から受取り、折り畳み
累積して逆ＤＣＴ器４１２に渡す。その折り畳み累積し
たものを、それぞれｆｏｌｄＦｒＤＣＴ（ｘ，ｙ）、ｆ
ｏｌｄＦｉＤＣＴ（ｘ，ｙ）とすると、次の式で表され
る。

【００８３】ｆｏｌｄＦｒＤＣＴ（ｘ，ｙ）＝ΣＦｒＤ
ＣＴ（ｉ，ｊ，ｔ） ｉ％（Ｌ／８）＝ｘ，ｊ％（Ｌ／１６）＝ｙ ｆｏｌｄＦｉＤＣＴ（ｘ，ｙ）＝ΣＦｉＤＣＴ（ｉ，
ｊ，ｔ） ｉ％（Ｌ／８）＝ｘ，ｊ％（Ｌ／１６）＝ｙ ただし、このＤＣＴ領域のまま折り畳み累積ができるた
めに、Ｌ／８、Ｌ／１６は、割り切れて整数であるもの
とする。

【００８４】例えば、図２４の場合、単位ウォータマー
クの大きさＬ＝３２である。この場合には、単位ウォー
タマークの範囲において、図２４（Ａ）に示すように、
横方向に４（＝Ｌ／８）、縦方向に２（＝Ｌ／１６）の
８×１６画素の符号化ブロックが存在している。この場
合、Ｌ／８＝４、Ｌ／１６＝２となって割り切れるの
で、ＤＣＴ領域のまま折り畳み累積ができる。すなわ
ち、単位ウォータマークのＬ×Ｌの領域の範囲内の８個
の８×１６画素のブロックについて、図２４（Ｂ），
（Ｃ）に示すように、フレームＤＣＴとフィールドＤＣ
Ｔとに分けて累積するのである。

【００８５】逆ＤＣＴ器４１２では、折り返し累積器４
０１の出力の累積されたＤＣＴ係数を逆ＤＣＴして空間
領域に戻し、ＦＦＴ器４０２に送る。ＦＦＴ器４０２に
送られる値は、要素数がＬ×Ｌで、それぞれが画素値の
和であり、図１６の折り畳み累積器の出力と同じであ
る。以降はべースバンドの場合と同じである。

【００８６】以上のようなウォータマークの付加装置お
よび検出装置においては、ＦＦＴ空間に写像し、ＦＦＴ
空間における畳み込みによって空間上での探索を行なう
方法により、ウォータマークの画像全体に渡ってのシフ
トを検出することを可能にしている。また、画像を折り
畳み累積した後に、ＦＦＴをかけることにより、そのＦ
ＦＴの演算量を減らすようにしている。

【００８７】

【発明が解決しようとする課題】ところで、動画像の形
式には、通常解像度のＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆ
ｉｎｉｔｉｏｎ）、高解像度のＨＤ（Ｈｉｇｈ Ｄｅｆ
ｉｎｉｔｉｏｎ）などの複数の解像度がある。また、Ｓ
ＤおよびＨＤの中においても更に細分化され、図２５の
表のような解像度が一般的に用いられている。

【００８８】ここで、図２５の表に記述されているレタ
ーボックス変換、パンスキャンについて簡単に説明す
る。

【００８９】図２６（Ａ）、（Ｂ）に示すように、ビデ
オ素材と映画素材の画像の横対縦の比は、それぞれ、
４：３と１６：９である。映画素材をビデオ素材に変換
して記録する方法として、主に次の２つの方法が使われ
ている。

【００９０】１つ目は、図２７（Ａ）の画枠の映画素材
を、図２７（Ｃ）に示されるように、ビデオ画像の上下
を余らせ、中央部分の１６：９の領域に画像を表示する
方法である。上下に余った部分は通常、黒で埋められ
る。この表示方法はレターボックス（ｌｅｔｔｅｒ ｂ
ｏｘ）表示と呼ばれ、その画像はレターボックス画像と
呼ばれている。

【００９１】２つ目は、図２７（Ａ）の画枠の映画素材
を、図２７（Ｂ）の左下側に示されるように、横方向に
３／４倍に縮小してビデオ画像の全域（４：３の領域）
に表示する方法である。画像は横方向に縮められてい
て、この表示方法はスクイズ（ｓｑｕｅｅｚｅ）表示と
呼ばれ、その画像はスクイズ画像と呼ばれている。

【００９２】スクイズ画像をレターボックス画像に変換
することを、レターボックス変換という。レターボック
ス変換は、図２７（Ｂ），（Ｃ）の２つの図で示される
ように、図２７（Ｂ）のスクイズ画像を縦方向に３／４
倍に縮小する変換である。前述したように、スクイズ画
像は、横方向に３／４倍に縮められており、物体は実際
よりも細く写っているため、観賞のために画像を表示す
るときには、レターボックス変換を行なう必要がある。

【００９３】映画素材をそのまま表示すれば観賞できる
ということは、レターボックス画像の利点である。一
方、スクイズ画像には、ビデオの画枠の縦方向の解像度
が有効に使われている分、画質がよいという利点があ
る。レターボックス画像では上下に有効に使われていな
い画素がある分、画質は劣る。

【００９４】パンスキャン（Ｐａｎ Ｓｃａｎ）には、
図２６（Ａ）が該当する。パンスキャンは、図２６
（Ｂ）の１６：９の映画素材の画枠から、左右の画像部
分を切り落として４：３の領域として取り出すものであ
る。左右の画像部分が切り落とされているため、情報が
失われているが、４：３の画枠中の画素がすべて有効に
使われ、かつ、そのまま表示して観賞可能なため、この
パンスキャンが使われる機会は多い。

【００９５】ところで、上述のような解像度変換を行な
ったときに、画像に埋め込まれたウォータマークが検出
できなくなり、著作権情報などの付随情報を取り出すこ
とができなくなる事態が生じると、それは問題である。
この問題を解決する方法として、次の２つの方法が考え
られる。

【００９６】第１の解決策は、解像度変換の前後のそれ
ぞれの解像度用に別々のウォータマークを付加するとい
う方法である。第２の解決策は、１つの解像度において
付加したウォータマークを他の解像度においても検出で
きるようにするという方法である。

【００９７】第１の解決策においては、解像度変換の前
後の別々のウォータマークを空間的または時間的に画像
の別々の場所に付加する方法と、空間的にも時間的にも
画像の同一の場所に付加する方法とが考えられる。空間
的または時間的に別々の場所に付加する場合には、それ
ぞれのウォータマークについて、単位時間当たりに付加
できる量が減るので、同じ時間内で検出するには検出精
度が落ち、同じ検出精度を保つには検出時間が延びると
いう欠点がある。

【００９８】一方、空間的にも時間的にも同一の場所に
付加する場合には、２つのウォータマークの信号が画像
に重ねて加えられるため、ウォータマークのパターン
が、もともとの画像に加えられたノイズとして見えやす
くなり、画質の劣化になってしまうという問題がある。

【００９９】また、第１の解決策を用いた場合、解像度
変換が行なわれる可能性のあるものとして想定される全
ての解像度に対して別々のウォータマークを付加するこ
とが必要になるため、対応させる解像度が増えるほど、
検出精度、検出時間、画質の犠牲が大きくなるという問
題がある。

【０１００】そこで、第２の解決策の、１つの解像度に
おいて付加したウォータマークを他の解像度においても
検出できるようにするという方法が重要である。

【０１０１】ベースバンドにおける検出については、検
出装置への入力画像（解像度変換後の画像）を、あらか
じめフィルタによって元の解像度（解像度変換前の画
像）に戻してから通常のウォータマーク検出装置に入力
するという方法が考えられていた。

【０１０２】例えば、ＳＤの最も一般的な解像度であ
る、横７２０画素、縦４８０画素（あるいはライン、以
下同じ）の形式から、横の大きさが、その２／３の横４
８０画素、縦４８０画素の形式への解像度変換を行なっ
たときのウォータマークの検出について考える。

【０１０３】解像度変換前の横７２０画素、縦４８０画
素の形式でウォータマークを付加しておき、横４８０画
素、縦４８０画素の形式に解像度変換された後で検出す
るには、ベースバンドにおいては、検出装置への入力画
像を、あらかじめ拡大フィルタを用いて横方向に３／２
倍しておき、通常のウォータマーク検出装置に入力して
検出するのである。

【０１０４】しかしながら、この方法は、解像度変換を
行った画像に対して、ウォータマークの検出のために、
再び、元の解像度に戻すのと等しい処理が必要になって
しまい、構成が複雑となる。また、ＤＣＴ係数に対して
ＤＣＴ領域で解像度変換のフィルタをかけるのは困難で
あるので、ビットストリームにおけるウォータマーク検
出は、この方法では事実上不可能であるという問題があ
る。ビットストリームからベースバンドの画像を復号す
る方法もあるが、それでは、復号の処理量が大きいため
好ましくない。

【０１０５】この発明は、以上のような第１の解決策の
問題点および第２の解決策の問題点にかんがみ、ベース
バンドでも、また、ビットストリームでも、解像度変換
を行う前と後の双方において同一のウォータマークの検
出が可能であって、しかも、検出精度の低下、検出時間
の増加、画質の劣化、検出処理量の増加を押えることが
できるようにする方法および装置を提供することを目的
とする。

【０１０６】

【課題を解決するための手段】上記課題を解決するため
に、請求項１の発明による付随情報付加装置は、画像の
一部の縦×横＝Ｍ×Ｎ（Ｍ，Ｎは正の整数）個の画素か
らなる小領域に対応する大きさの単位ウォータマークパ
ターンを発生する単位ウォータマークパターン発生手段
と、前記単位ウォータマークパターン発生手段からの単
位ウォータマークパターンを縦横に反復した反復ウォー
タマークを発生するウォータマーク反復手段と、前記ウ
ォータマーク反復手段からの前記反復ウォータマークを
前記画像に付加するウォータマーク埋め込み手段とを備
える付随情報付加装置であって、前記単位ウォータマー
クパターン発生手段では、前記画像について解像度変換
が行なわれることが想定されているすべての解像度にお
いて、前記単位ウォータマークの縦、横の大きさが、画
像符号化における符号化ブロックの大きさの整数倍とな
るように前記単位ウォータマークパターンの大きさが決
められることを特徴とする。

【０１０７】この請求項１の発明による付随情報付加装
置によれば、単位ウォータマークパターンの大きさが、
解像度変換が想定される全ての解像度において、画像符
号化における符号化ブロックの大きさの整数倍となって
いるので、付随情報の検出時には、画像情報の解像度が
別れば、その解像度における単位ウォータマークが符号
化ブロックの何倍であるかを知ることができ、その単位
ウォータマーク分の整数個の単位ウォータマーク分の符
号化ブロックの単位で、折り畳み累積が可能になる。

【０１０８】また、ビットストリームでも、符号化ブロ
ックの整数倍の単位ウォータマークパターンについて折
り畳み累積を行って、ウォータマークの検出ができる。

【０１０９】また、請求項３の発明による付随情報付加
装置は、画像の一部の縦×横＝Ｍ×Ｎ（Ｍ，Ｎは正の整
数）個の画素からなる小領域に対応する大きさの単位ウ
ォータマークパターンを発生する単位ウォータマークパ
ターン発生手段と、前記単位ウォータマークパターン発
生器からの単位ウォータマークパターンを縦横に反復し
た反復ウォータマークを発生するウォータマーク反復手
段と、前記ウォータマーク反復手段からの前記反復ウォ
ータマークを前記画像に付加するウォータマーク埋め込
み手段とを備える付随情報付加装置であって、前記単位
ウォータマークパターン発生手段では、前記画像につい
て解像度変換が行なわれることが想定されているすべて
の解像度のうちの選定された複数の解像度において、前
記単位ウォータマークの縦、横の大きさが、画像符号化
における符号化ブロックの大きさの整数倍となるように
前記単位ウォータマークパターンの大きさが決められる
ことを特徴とする。

【０１１０】請求項１の発明の場合には、解像度変換が
想定される全ての解像度について、符号化ブロックの大
きさの整数倍となるように単位ウォータマークパターン
の大きさを選定するため、単位ウォータマークパターン
の大きさが大きくなるおそれがある。

【０１１１】これに対して、この請求項３の発明におい
ては、例えば解像度変換が頻繁に行われるであろう解像
度についてのみ、単位ウォータマークパターンの大きさ
が、符号化ブロックの大きさの整数倍とするようにした
ことにより、単位ウォータマークパターンの大きさを、
請求項１の発明の場合よりも小さくすることができる。
このため、ウォータマークの検出時、折り畳み累積のた
めのメモリ容量を小さくすることができる。

【０１１２】

【発明の実施の形熊】以下、この発明の実施の形態を、
図を参照しながら説明する。以下に説明する実施の形態
においても、ウォータマークの付加および検出に関する
情報の流れは、解像度変換に関する部分を除く部分に関
しては、図１２に示したものと同一であるとしている。
そこで、図面上、従来例として前述した部分と対応する
部分には、同一番号および記号を付与し、実施の形態の
説明の理解が容易となるようにする。

【０１１３】そして、以下の実施の形態の説明では、フ
レーム、フィールドのＤＣＴを適応的に使うＭＰＥＧ２
を想定し、画像符号化の符号化ブロックとして、横×縦
＝８画素×１６画素の大きさのブロックを用いる場合と
して記述する。なお、説明が冗長になるのを避けるた
め、符号化ブロックは、単にブロックと記述する。

【０１１４】［第１の実施の形態］第１の実施の形態
は、ウォータマークを付加した画像が複数の解像度に相
互変換される場合に、符号化したビットストリーム上で
ウォータマークを容易に検出できるようなウォータマー
クを付加するウォータマーク付加装置である。

【０１１５】この第１の実施の形態において、以下、具
体例をあげるときには、想定された全ての解像度が、横
７２０画素、縦４８０画素と、横４８０画素、縦４８０
画素との２種類であって、その間で相互に解像度変換さ
れる場合に対応したウォータマークの付加について記述
することとする。

【０１１６】図１は、第１の実施の形態の付随情報付加
装置の例としてのウォータマーク付加装置のブロック図
である。図１において、従来の技術の欄で説明した図１
３に示した従来のウォータマーク付加装置と対応する部
分には同一番号を付すものとする。

【０１１７】図１において、従来例との相違は、単位ウ
ォータマーク生成器１４が設けられ、この単位ウォータ
マーク生成器１４からの単位ウォータマークがウォータ
マーク反復器１３に供給されている点である。以下、従
来例との相違点である、単位ウォータマーク生成器１４
を中心に説明する。

【０１１８】単位ウォータマーク生成器１４には、横方
向解像度入力端子１５から、画像について解像度変換が
行なわれる可能性があり、対応すべき解像度の横方向の
すべての解像度（画素数）が入力されるとともに、縦方
向解像度入力端子１６から、画像について解像度変換が
行なわれる可能性があり、対応すべき解像度の縦方向の
すべての解像度（画素数あるいはライン数）が入力され
る。

【０１１９】これらの横方向および縦方向の解像度は、
単位ウォータマーク生成器１４では、それぞれ横方向Ｌ
ＣＭ（Ｌｅａｓｔ Ｃｏｍｍｏｎ Ｍｕｌｔｉｐｌｅ；
最小公倍数）計算器１４１および縦方向ＬＣＭ計算器１
４２に入力される。

【０１２０】横方向ＬＣＭ計算器１４１では、これに入
力された複数個の解像度と、通常の横方向の解像度（７
２０画素）との比の通常の横方向の解像度側の項を生成
し、その最小公倍数を計算する。

【０１２１】縦方向ＬＣＭ計算器１４２では、これに入
力された複数個の解像度と、通常の縦方向の解像度（４
８０画素）との比の通常の縦方向の解像度側の項を生成
し、その最小公倍数を計算する。

【０１２２】上述した例の場合、横方向の解像度は、７
２０画素と、４８０画素であるので、横方向ＬＣＭ計算
器１４１では、通常の解像度は７２０画素であることか
ら、１（７２０：７２０＝１：１）と３（７２０：４８
０＝３：２）の最小公倍数を計算して３を出力する。ま
た、縦方向の解像度は、４８０画素と４８０画素である
ので、縦方向ＬＣＭ計算器１４２では、１（４８０：４
８０＝１：１）と１（４８０：４８０＝１：１）の最小
公倍数を計算して１を出力する。

【０１２３】単位ウォータマーク生成器１４には、ま
た、画像入力端子１から入力されるウォータマークを付
加するべき入力画像が入力される。入力画像は、単位ウ
ォータマーク生成器１４の横方向解像度計算器１４３お
よび縦方向解像度計算器１４４に入力されて、横方向お
よび縦方向の解像度が算出される。

【０１２４】そして、演算器１４５では、横方向ＬＣＭ
計算器１４１の出力の最小公倍数に、通常の横方向の解
像度と横方向解像度計算器１４３で算出された解像度と
の比を掛けたものが求められ、その演算出力が、横方向
の単位ウォータマークの大きさとしてＰＮ発生器１４７
に入力される。また、演算器１４６では、縦方向ＬＣＭ
計算器１４２の出力の最小公倍数に、通常の縦方向の解
像度と縦方向解像度計算器１４４で算出された解像度と
の比をかけたものが求められ、その演算出力が、縦方向
の単位ウォータマークの大きさとしてＰＮ発生器１４７
に入力される。

【０１２５】具体例を挙げると、上述の例の場合は、横
方向の単位ウォータマークの大きさは、３（＝３×７２
０／７２０）ブロックで、縦方向の単位ウォータマーク
の大きさは、１（＝１×４８０／４８０）ブロックであ
る。

【０１２６】ＰＮ発生器１４７は、入力された単位ウォ
ータマークの大きさに合わせてウォータマークをＰＮ系
列によって発生する。そして、ＰＮ発生器１４７は、発
生したＰＮ系列からなる単位ウォータマークをウォータ
マーク反復器１３に供給する。以降の処理は、図１３に
おいて、単位ウォータマークが単位ウォータマーク入力
端子２からの入力であるとしたものと同じである。

【０１２７】上述の例の場合の単位ウォータマークの大
きさの具体例を図２に示す。すなわち、図２（Ａ）の例
に示すように、単位ウォータマークの大きさは、横７２
０画素、縦４８０画素の解像度のときには、横３ブロッ
ク、縦１ブロックであり、また、横４８０画素、縦４８
０画素の解像度のときには、横２ブロック、縦１ブロッ
クとなる。どちらの解像度のときにも、単位ウォータマ
ークの大きさが、１６画素×８画素の大きさの符号化ブ
ロックの整数倍になっている。

【０１２８】ところで、実際には、２つのＬＣＭ計算器
１４１、１４２においては、厳密に最小公倍数を計算し
なくても、公倍数を計算するようにしてもよい。例え
ば、横方向の公倍数として６を、縦方向の公倍数として
２を使うとする。この場合、図２（Ｂ）に示されるよう
に、単位ウォータマークの大きさは、横７２０画素、縦
４８０画素の解像度のときには、横６ブロック、縦２ブ
ロックであり、横４８０画素、縦４８０画素の解像度の
ときには、横４ブロック、縦２ブロックとなる。どちら
の解像度のときにも、単位ウォータマークの大きさが符
号化ブロックの大きさの整数倍になっている。

【０１２９】なお、単位ウォータマークの要素数が同じ
であれば、実際の系列はＰＮ発生以外の方法によって生
成してもよい。更に、符号化ブロックの大きさが、横８
画素×縦１６画素以外の大きさであってもよいことはい
うまでもない。

【０１３０】また、上述の例は、２つの解像度について
の例であったが、３つ以上の解像度を、横方向解像度入
力端子１５および縦方向解像度入力端子１６から入力し
てもよい。その場合の単位ウォータマーク生成器１４の
動作は、２つの解像度が入力されたときと同様で、それ
ぞれ、２つの数の最小公倍数を計算していて、２つのＬ
ＣＭ計算器１４１、１４２が、３つ以上の数の最小公倍
数を計算するように変わるだけである。

【０１３１】更に、上述の例では、横方向および縦方向
で取り得る全ての解像度の値を横方向解像度入力端子１
５および縦方向解像度入力端子１６から入力するように
したが、通常、１つの使用目的のなかでは、取り得る解
像度は、ある集合に固定しているため、あらかじめ最小
公倍数を計算して、単位ウォータマーク生成器１４中に
埋め込んでおけば、２つのＬＣＭ計算器１４１、１４２
は不要である。

【０１３２】なお、図２５の表のすべての解像度に対応
するために必要な単位ウォータマークパターンの大きさ
を求めると次のようになる。

【０１３３】まず、横方向については、通常の解像度
（７２０画素）との比は、次のようになる。 ７２０：１９２０＝３： ８ ７２０：１４４０＝１： ２ ７２０：１２８０＝９：１６ ７２０：１０８０＝２： ３ ７２０： ９６０＝３： ４ ７２０： ７２０＝１： １ ７２０： ６４０＝８： ７ ７２０： ５４４＝４： ３ ７２０： ４８０＝３： ２ ７２０： ３６０＝２： １

【０１３４】よって、この場合の横方向ＬＣＭ計算器１
４１で得られる最小公倍数は、３、１、９、２、３、
１、８、４、３、２の最小公倍数の７２である。

【０１３５】また、縦方向については、通常の解像度
（４８０画素）との比は、次のようになる。 ４８０：１０８０＝ ４：９ ４８０： ７２０＝ ２：３ ４８０： ５７６＝ ５：６ ４８０： ４８０＝ １：１ ４８０： ４３２＝１０：９ ４８０： ３６０＝ ４：３

【０１３６】よって、この場合の縦方向ＬＣＭ計算器１
４２で得られる最小公倍数は、４、２、５、１、１０、
４の最小公倍数の２０である。ゆえに、単位ウォータマ
ークパターンの大きさは、横７２ブロック、縦２０ブロ
ック、すなわち横５７６画素、縦３６０画素である。

【０１３７】［第２の実施の形態］第２の実施の形態
は、第１の実施の形態のウォータマーク付加装置で付加
されたウォータマークを、対応する解像度に変換した場
合において、ビットストリームにおけるウォータマーク
検出が可能である付随情報検出装置としてのウォータマ
ーク検出装置である。

【０１３８】この付随情報検出装置の実施の形態として
のウォータマークビットストリーム検出装置のブロック
図を、図３に示す。

【０１３９】従来例として示した図２１のウォータマー
クビットストリーム検出装置との相違点は、解像度比算
出器４２１と、単位ウォータマークサイズ算出器４２２
と、解像度変換器４２３とが追加されている点である。
以下、従来例との相違点である、解像度比算出器４２１
と、単位ウォータマークサイズ算出器４２２と、解像度
変換器４２３とを中心に説明する。

【０１４０】解像度比算出器４２１は、入力端子８を通
じたビットストリームから、入力画像の縦横の大きさを
抽出して、通常の画像の解像度（横７２０画素、縦４８
０画素）との比を求め、それを折り畳み累積器４０１と
解像度変換器４２３とに送る。また、単位ウォータマー
クサイズ算出器４２２では、単位ウォータマークの大き
さ（縦横の画素数）を抽出して、それを折り畳み累積器
４０１に送る。

【０１４１】折り畳み累積器４０１では、縦、横、それ
ぞれ、単位ウォータマークサイズ算出器４２２からの単
位ウォータマークの大きさに、解像度比算出器４２１か
らの実際の画像の解像度と通常の画像の解像度との比を
掛けた値を、累積する折り畳み単位領域の大きさとし
て、その折り畳み単位領域毎にＤＣＴ係数のまま、フレ
ームＤＣＴとフィールドＤＣＴとに分けて累積を行な
う。

【０１４２】例えば、入力画像データとして、前述した
第１の実施の形態の例でウォータマークを付加した画像
を、横４８０画素、縦４８０画素に縮小して符号化した
ビットストリームを考える。このビットストリーム画像
データが、入力端子８からの入力になっている場合であ
れば、解像度比算出器４２１では、入力ビットストリー
ムから横４８０画素、縦４８０画素の解像度が抽出され
る。そして、このときに単位ウォータマークサイズ算出
器４２２で算出される単位ウォータマークの大きさは、
横３ブロック、縦１ブロックであるので、折り畳み累積
器４０１で折り畳む、折り畳み単位領域の大きさは、横
２（＝３×４８０／７２０）ブロック、縦１（＝１×４
８０／４８０）ブロックである。

【０１４３】この場合、折り畳み累積の大きさは、符号
化ブロックの整数倍であり、符号化ブロック毎にＤＣＴ
係数の累積ができるため、正しくウォータマークを検出
できる。

【０１４４】もし、この大きさが符号化ブロックの整数
倍でなかった場合には、符号化ブロック毎のＤＣＴ係数
の累積ができなくなる。図４（Ａ）は、単位ウォータマ
ークが符号化ブロックの整数倍の場合で、図４（Ｂ）
は、単位ウォータマークが符号化ブロックの整数倍にな
っていない場合の例である。図４において、太線で囲わ
れる「ＷＭ」の文字パターン部分が単位ウォータマーク
ｗｍである。

【０１４５】図４（Ｂ）では、太線で示す単位ウォータ
マークｗｍの境界と、細線の１６画素×８画素の符号化
ブロックの境界が順次ずれていくため、各単位ウォータ
マークｗｍのＤＣＴ係数をそのまま累積することはでき
ない。

【０１４６】折り畳み累積器４０１で折り畳み累積され
たＤＣＴ係数は、逆ＤＣＴ器４１２に送られ、逆ＤＣＴ
が行なわれる。逆ＤＣＴの結果は、解像度変換器４２３
に入力される。解像度変換器４２３では、入力された画
像領城のデータを、通常の解像度（横７２０画素、縦４
８０画素）に変換する。そのときの変換比率は、解像度
比算出器４２１から知らされる。この例の場合、入力画
像の解像度が、横４８０画素、縦４８０画素であること
から、横方向に３／２（＝７２０／４８０）倍、縦方向
に１（＝４８０／４８０）倍であることが知らされる。

【０１４７】解像度変換器４２３で得られた、通常の解
像度の単位ウォータマークと同じ要素数の画像領域のデ
ータは、ＦＦＴ器４０２に送られ、そのＦＦＴの結果が
畳み込み演算器４０３に供給される。また、単位ウォー
タマークサイズ算出器４２２を通じた単位ウォータマー
クがＦＦＴ器４０４に供給され、そのＦＦＴ結果が畳み
込み演算器４０３に供給される。以降の処理は、図２１
の従来例と同じである。

【０１４８】また、例えば、入力画像データが、前述し
た第１の実施の形態の例でウォータマークを付加した画
像を、横７２０画素、縦４８０画素の解像度のまま符号
化したビットストリームの場合であれば、折り畳み累積
器４０１で折り畳む大きさは、横３（＝３×７２０／７
２０）ブロック、縦１（＝１×４８０／４８０）ブロッ
クである。また、解像度変換器４２３による拡大率は、
横方向に１（＝７２０／７２０）倍、縦方向に１（＝４
８０／４８０）倍である。

【０１４９】これは、従来例として示した図２１の場合
の動作と同じであり、正しくウォータマークを検出でき
る。このように、この実施の形態では、どちらの解像度
の場合にも、ビットストリームを完全に復号してベース
バンドに戻すなどの計算コストを使わずに、正しくウォ
ータマークを検出できる。

【０１５０】実際の画像の符号化ブロックの数は、画像
の大きさが、横４８０画素、縦４８０画素で、符号化ブ
ロックの大きさが、横８画素、縦１６画素であるので、
１８００（＝４８０×４８０／８／１６）である。折り
畳み累積をせずに、すべてのブロックに対して、逆ＤＣ
Ｔを行なうと、各ブロックで８×８の逆ＤＣＴが２回必
要なので、１フレーム当たり、３６００回の逆ＤＣＴが
必要になる。

【０１５１】この実施の形態では、折り返し累積を、フ
レームＤＣＴ、フィールドＤＣＴ、それぞれ３つの符号
化ブロックを単位として折り返し累積しているので、１
フレーム当たり１２回の逆ＤＣＴで済む。また、複数フ
レーム累積してから始めて逆ＤＣＴを行なってもよいの
で、逆ＤＣＴの数を更に減らすことができるという利点
もある。

【０１５２】なお、第１の実施の形態の付加装置で付加
されたウォータマークを検出するウォータマークベース
バンド検出装置の構成は、図３のＤＣＴ係数抽出器４１
１と、逆ＤＣＴ器４１２とを除いたブロック構成により
実現することが可能である。

【０１５３】また、以上の実施の形態は、入力画像デー
タがビットストリームの場合であるので、解像度変換を
折り畳み累積の後になっているが、ベースバンドの画像
データが入力である場合には、解像度変換を行った後
に、折り畳み累積をすることができる。その場合には、
解像度変換を行った後には、特定の解像度の画像データ
になるため、単位ウォータマークの大きさは、その特定
の解像度の画像について定められているものを用いれば
よく、解像度比算出器や、単位ウォータマークサイズ算
出器は、不要となる。

【０１５４】［第３の実施の形態］第３の実施の形態
は、第１の実施の形態と同様、ウォータマークを付加し
た画像が複数の解像度に変換される場合に、符号化した
ビットストリーム上でウォータマークを容易に検出でき
るようなウォータマークを付加するウォータマーク付加
装置である。

【０１５５】第１の実施の形態では、想定される画像の
解像度変換の全てを考慮に入れて、単位ウォータマーク
パターンの大きさを決定したのに対して、この第３の実
施の形態では、それ程頻繁に用いられない解像度は考慮
に入れずに、単位ウォータマークパターンの大きさを決
定するようにするものである。

【０１５６】したがって、ウォータマーク付加装置のブ
ロック図は、第１の実施の形態で説明した図１のブロッ
ク図と同様である。ただし、横方向解像度入力端子１５
および縦方向解像度入力端子１６には、想定される全て
の解像度が入力されるわけではなく、全ての解像度の中
から、予め選択された複数の解像度が入力される点が異
なる。この点が異なるのみで、ウォータマーク付加装置
としての動作も、前述した第１の実施の形態の場合と同
じである。

【０１５７】第３の実施の形態において、上述のように
する理由を、以下に説明する。図５は、第１の実施の形
態において、横７２０画素、縦４８０画素の解像度の画
像と、横４８０画素、縦４８０画素の解像度の画像に加
えて、横１２８０画素、縦７２０画素の解像度の画像に
ついても対応した場合の、それぞれの解像度での単位ウ
ォータマークである。

【０１５８】前述した図２の例と比べると、図５の例の
場合には、横１２８０画素、縦７２０画素の解像度の画
像を加えたことにより、横７２０画素、縦４８０画素に
おける単位ウォータマークの大きさも、横４８０画素、
縦４８０画素における単位ウォータマークの大きさも、
共に、６倍の符号化ブロック数に増えることになる。

【０１５９】このように、第１の実施の形態の場合に
は、想定される全ての解像度を考慮して単位ウォータマ
ークの大きさを決めるため、最小公倍数の符号化ブロッ
クとしても、大きなものとなってしまう。そして、単位
ウォータマークを構成する符号化ブロック数が増えるほ
ど、ウォータマーク付加装置のウォータマーク反復器の
メモリおよびウォータマーク検出装置での折り畳み累積
器でのメモリの使用量が増え、さらに、ウォータマーク
検出装置では、逆ＤＣＴの回数も増え、装置が大型かつ
コスト高になってしまう。メモリの使用量と、逆ＤＣＴ
の回数を減らすことが、この第３の実施の形態の目的で
ある。

【０１６０】この第３の実施の形態では、図１のウォー
タマーク付加装置のブロック図において、横方向解像度
入力端子１５および縦方向解像度入力端子１６にすベて
の解像度が入力されるわけではない。この例では、前述
の図５の例の場合の横１２８０画素の情報を、横方向Ｌ
ＣＭ計算器１４１に入力しない。一方、縦方向ＣＭ計算
器１４２には、４８０画素、４８０画素、７２０画素が
入力される。

【０１６１】したがって、この例の場合の横方向の解像
度は、７２０画素と、４８０画素であるので、３（７２
０：４８０＝３：２）と、１（７２０：７２０＝１：
１）で、第１の実施の形態と同じく横方向の最小公倍数
は３となる。また、縦方向の解像度は、４８０画素（ま
たはライン）と、４８０画素（またはライン）と、７２
０画素（またはライン）であるので、１（４８０：４８
０＝１：１）と１（４８０：４８０＝１：１）と２（４
８０：７２０＝２：３）で、縦方向の最小公倍数は２と
なる。

【０１６２】単位ウォータマークの大きさは、 入力画像の解像度が横７２０画素、縦４８０画素のと
き、横方向３（＝３×７２０／７２０）ブロック、縦方
向２（＝２×４８０／４８０）ブロック、 入力画像の解像度が横４８０画素、縦４８０画素のと
き、横方向２（＝３×４８０／７２０）ブロック、縦方
向２（＝２×４８０／４８０）ブロック、 入力画像の解像度が横１２８０画素、縦７２０画素のと
き、横方向５．３３３（＝３×１２８０／７２０）ブロ
ック、縦方向２（＝２×７２０／４８０）ブロック である。横１２８０画素、縦７２０画素のときの横方向
以外は、単位ウォータマークの大きさは、ブロックの大
きさの整数倍になっている。

【０１６３】第１の実施の形態の説明の最後の部分で述
べたように、表１のすべての解像度に対応するために必
要な単位ウォータマークの大きさは、横方向に５７６画
素（符号化ブロックの７２個分）と、ある程度大きいも
のとなってしまう。これを、この第３の実施の形態のよ
うに、横１２８０画素の解像度を横方向ＬＣＭ計算器に
渡さないとすれば、単位ウォータマークの大きさは、
３、１、２、３、１、８、４、３、２の最小公倍数の２
４個の符号化ブロック数となり、画素数としては１９２
画素になり、小さくすることができる。

【０１６４】［第４の実施の形態］第４の実施の形態
は、第３の実施の形態のウォータマーク付加装置で付加
されたウォータマークを、対応する解像度に変換した場
合において、ビットストリームにおけるウォータマーク
検出が可能である付随情報検出装置としてのウォータマ
ーク検出装置である。

【０１６５】この付随情報検出装置の実施の形態として
のウォータマークビットストリーム検出装置のブロック
図を、図６に示す。第２の実施の形態の図３の検出装置
のブロック図との相違点は、解像度変換器４２３が折り
畳み／解像度変換器４２４に置き換わっている点および
折り畳み累積器４０１の動作が少し異なる点である。以
下、従来例との相違を中心に説明する。

【０１６６】解像度比算出器４２１は、ビットストリー
ムから画像の縦、横の大きさを抽出して、通常の解像度
（横７２０画素、縦４８０画素）との解像度比を求め、
それを折り畳み累積器４０１と、折り畳み／解像度変換
器４２４とに送る。また、単位ウォータマークサイズ算
出器４２２では、単位ウォータマークの大きさ（縦横の
画素数）を抽出して、折り畳み累積器４０１に送る。

【０１６７】折り畳み累積器４０１では、縦、横、それ
ぞれ、単位ウォータマークの大きさに、実際の画像の解
像度と通常の画像の解像度（横７２０縦４８０画素）と
の比を掛けた値を、累積する折り畳み単位領域の大きさ
として、その折り畳み単位領域毎にＤＣＴ係数のまま累
積を行なう。

【０１６８】ただし、この場合に、折り畳み累積器４０
１では、この折り畳み単位領域の大きさとなるべき値
が、符号化ブロックの大きさの整数倍でなかった場合に
は、その値が整数になるように任意の整数を掛ける。こ
の場合に掛け算する数値としては、小さな数を用いた方
が、メモリ使用量が少なく、計算量も多少ない。

【０１６９】例えば、入力画像データとして、前述の第
３の実施の形態の例でウォータマークを付加した画像
を、横１２８０画素、縦７２０画素に拡大して符号化し
たビットストリームを考えらる。このビットストリーム
画像データが、入力端子８からの入力になっている場合
であれば、解像度比算出器４２１では、入力ビットスト
リームから横１２８０画素、縦７２０画素の解像度が抽
出される。

【０１７０】そして、このときに単位ウォータマークサ
イズ算出器４２２で算出される単位ウォータマークの大
きさは、横３ブロック、縦２ブロックであるので、折り
畳み累積器４０１で折り畳む、折り畳み単位領域の大き
さは、横が５．３３３（＝３×１２８０／７２０）ブロ
ックとなり、整数にならない。そこで、この例では、整
数３をかけて１６ブロックで折り畳むようにする。縦に
ついては、３（＝２×７２０／４８０）ブロックとな
り、符号化ブロックの整数倍の大きさであるので、その
まま用いる。

【０１７１】また、横７２０画素、縦４８０画素および
横４８０画素、縦４８０画素のデータが入力された場合
には、折り畳み単位領域の大きさは、それぞれ、横３
（＝３×７２０／７２０）ブロック、縦２（＝２×４８
０／４８０）ブロック、および、横２（＝３×４８０／
７２０）ブロック、縦２（＝２×４８０／４８０）ブロ
ックである。

【０１７２】これらを図示すると図７に示すようにな
る。この例では、横１２８０画素、縦７２０画素の解像
度のときに、前述のように横方向が５．３３３ブロック
となるので、それを整数になるように３倍して１６ブロ
ックとしたが、これは、単位ウォータマーク１つでは符
号化ブロックと周期が合わないが、単位ウォータマーク
３つでは符号化ブロックと周期が合うからである。

【０１７３】この第４の実施の形態の場合、横１２８０
画素、縦７２０画素の解像度のときには、第２の実施の
形態と単位ウォータマークの大きさは同じで、横７２０
画素、縦４８０画素および横４８０縦４８０画素の解像
度のときには、単位ウォータマークの横方向のブロック
数を１／３に減らすことにより、メモリ使用量を減ら
し、逆ＤＣＴなどの演算を減らしている。

【０１７４】横１２８０画素、縦７２０画素の解像度の
ときには、逆ＤＣＴが終った後、通常より解像度が横方
向に３倍に大きくなっているので、折り畳み／解像度変
換器４２４において、解像度変換の直前に１／３に折り
畳みを行なう。以降は図３に示した第２の実施の形態と
同じである。

【０１７５】なお、第３の実施の形態の付加装置で付加
されたウォータマークを検出するウォータマークベース
バンド検出装置の構成は、図６のＤＣＴ係数抽出器４１
１と、逆ＤＣＴ器４１２とを除いたブロック構成となる
ものである。

【０１７６】なお、第３の実施の形態の付加装置で付加
されたウォータマークを検出するウォータマークベース
バンド検出装置の構成は、前述の第２の実施の形態の場
合と同様にして、図６のＤＣＴ係数抽出器４１１と、逆
ＤＣＴ器４１２とを除いたブロック構成により実現する
ことが可能である。

【０１７７】また、以上の第４の実施の形態の説明は、
入力画像データがビットストリームの場合であるので、
解像度変換を折り畳み累積の後になっているが、ベース
バンドの画像データが入力である場合には、解像度変換
を行った後に、折り畳み累積をすることができる。その
場合には、解像度変換を行った後には、特定の解像度の
画像データになるため、単位ウォータマークの大きさ
は、その特定の解像度の画像について定められているも
のを用いればよく、解像度比算出器や、単位ウォータマ
ークサイズ算出器は、不要となる。

【０１７８】［第５の実施の形態］第５の実施の形態
は、ウォータマークを付加した画像に解像度変換が行な
われた場合にも、ウォータマークによる付随情報を検出
することができることを特徴とする不正利用防止システ
ムである。この不正利用防止システムには、不正コピー
防止システムを含み、ウォータマーク検出装置で検出し
たウォータマークの情報に基づき、ベースバンド画像情
報あるいはビットストリーム画像情報の再生や、複製記
録への利用を行わせるかどうかを制御する。

【０１７９】この第５の実施の形態は、ウォータマーク
付加装置として、第１の実施の形態または第３の実施の
形態のウォータマーク付加装置を用い、また、ウォータ
マークビットストリーム検出装置として、第２の実施の
形態または第４の実施の形態のウォータマーク検出装置
を用いるものである。

【０１８０】前述の第１〜４の実施の形態で記述したよ
うに、このシステムによれば、解像度変換が行なわれた
場合にもウォータマークによって付随情報を検出するこ
とができる。

【０１８１】

【発明の効果】以上で説明したように、この発明のウォ
ータマーク検出装置および検出方法では、単位ウォータ
マークの大きさが解像度変換の前においても、後におい
ても、画像の圧縮符号化の際の符号化ブロックの整数倍
になるようにしたことにより、解像度変換の前後いずれ
においても、ビットストリームにおけるウォータマーク
検出が、検出精度の低下、検出時間の増加、画質の劣
化、検出の処理量を押えながら可能になる。

【０１８２】また、使われることが少ない解像度がある
場合においては、単位ウォータマークの大きさとして、
その解像度においては符号化ブロックの整数倍以外の値
を許すことによって、更に検出の処理量を減らすことが
可能になる。

【０１８３】更に、この発明の不正利用防止システムで
は、解像度の変換が行なわれた前、後のいずれにおいて
も、不正な利用およびコピーの防止を、防止の精度の低
下、防止の時間の増加、画質の劣化、防止の処理量を押
えながら可能にすることがでる。

【図面の簡単な説明】

【図１】この発明による付随情報付加装置の実施の形態
のブロック図である。

【図２】図１の実施の形態の要部を説明するために用い
る図である。

【図３】この発明による付随情報検出装置の実施の形態
のブロック図である。

【図４】図３の実施の形態の要部を説明するために用い
る図である。

【図５】図３の実施の形態の要部を説明するために用い
る図である。

【図６】この発明による付随情報検出装置の他の実施の
形態のブロック図である。

【図７】図６の実施の形態の付随情報検出装置の説明の
ための図である。

【図８】画像に埋め込むウォータマークを説明するため
の図である。

【図９】画像に埋め込むウォータマークを説明するため
の図である。

【図１０】画像に埋め込むウォータマークを説明するた
めの図である。

【図１１】画像に埋め込むウォータマークを説明するた
めの図である。

【図１２】付随情報付加装置および付随情報検出装置を
含むシステム構成の流れを説明するための図である。

【図１３】従来の付随情報付加装置のブロック図であ
る。

【図１４】従来のウォータマーク反復器のブロック図で
ある。

【図１５】従来の反復ウォータマークの生成を説明する
ための図である。

【図１６】ウォータマークベースバンド検出装置のブロ
ック図である。

【図１７】ウォータマークを検出するための折り畳み累
積処理を説明するための図である。

【図１８】折り畳み累積器の一例のブロック図である。

【図１９】折り畳み累積の累積結果を説明するための図
である。

【図２０】折り畳み累積の累積結果を説明するための図
である。

【図２１】ウォータマークビットストリーム検出装置の
ブロック図である。

【図２２】ＭＰＥＧ圧縮符号化のフレームモードの時の
符号化ブロック（ＤＣＴブロック）を説明するための図
である。

【図２３】ＭＰＥＧ圧縮符号化のフィールドモードの時
の符号化ブロック（ＤＣＴブロック）を説明するための
図である。

【図２４】単位ウォータマークと符号化ブロックの大き
さとの関係を説明するための図である。

【図２５】画像情報として考えられる全ての解像度を示
す図である。

【図２６】ビデオ素材と映画素材との違いを説明するた
めの図である。

【図２７】映画素材から、ビデオ素材に変換する方法の
例を説明するための図である。

【符号の説明】

１０…ウォータマーク付加装置、１３…ウォータマーク
反復器、１４…単位ウォータマーク発生器、１５…横方
向解像度入力端子、１６…縦方向解像度入力端子、２０
…ＭＰＥＧ符号化器、３０…ウォータマークベースバン
ド検出装置、４０…ウォータマークビットストリーム検
出装置、１０１…ウォータマーク埋め込み器、１０２…
埋め込み量判断器、１０３…ウォータマーク反復器、１
４１…横方向ＬＣＭ計算器、１４２…縦方向ＬＣＭ計算
器、１４３…横方向解像度計算器、１４４…縦方向解像
度計算器、３０１…折り畳み累積器、３０２…ＦＦＴ
器、３０３…畳み込み演算器、３０４…ＦＦＴ器、３０
５…逆ＦＦＴ器、４１１…ＤＣＴ係数抽出き、４１２…
逆ＤＣＴ器、４２１…解像度比算出器、４２２…単位ウ
ォータマークサイズ算出器、４２３…解像度変換器、４
２４…折り畳み／解像度変換器

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/30 ９Ａ００１ Ｆターム(参考） 5C053 FA13 FA17 FA21 GB07 GB22 GB36 GB37 JA30 KA01 KA22 KA26 5C059 KK43 5C063 AC10 CA11 DA07 DB09 5C076 AA14 AA40 BA06 5J104 AA14 NA15 PA14 9A001 EE04 HH27 HH28 LL03

Claims (21)

【特許請求の範囲】
1. 【請求項１】画像の一部の縦×横＝Ｍ×Ｎ（Ｍ，Ｎは正
   の整数）個の画素からなる小領域に対応する大きさの単
   位ウォータマークパターンを発生する単位ウォータマー
   クパターン発生手段と、 前記単位ウォータマークパターン発生器からの単位ウォ
   ータマークパターンを縦横に反復した反復ウォータマー
   クを発生するウォータマーク反復手段と、 前記ウォータマーク反復手段からの前記反復ウォータマ
   ークを前記画像に付加するウォータマーク埋め込み手段
   と を備える付随情報付加装置であって、 前記単位ウォータマークパターン発生手段では、前記画
   像について解像度変換が行なわれることが想定されてい
   るすべての解像度において、前記単位ウォータマークの
   縦、横の大きさが、画像符号化における符号化ブロック
   の大きさの整数倍となるように前記単位ウォータマーク
   パターンの大きさが決められることを特徴とする付随情
   報付加装置。
2. 【請求項２】画像の一部の縦×横＝Ｍ×Ｎ（Ｍ，Ｎは正
   の整数）個の画素からなる小領域に対応する大きさの単
   位ウォータマークを縦横に反復した反復ウォータマーク
   を、画像に付加するに当たって、 前記画像について解像度変換が行なわれることが想定さ
   れているすべての解像度において、前記単位ウォータマ
   ークの縦、横の大きさが、画像符号化における符号化ブ
   ロックの大きさの整数倍となるように前記単位ウォータ
   マークパターンの大きさを決めることを特徴とする付随
   情報付加方法。
3. 【請求項３】画像の一部の縦×横＝Ｍ×Ｎ（Ｍ，Ｎは正
   の整数）個の画素からなる小領域に対応する大きさの単
   位ウォータマークパターンを発生する単位ウォータマー
   クパターン発生手段と、 前記単位ウォータマークパターン発生手段からの単位ウ
   ォータマークパターンを縦横に反復した反復ウォータマ
   ークを発生するウォータマーク反復手段と、 前記ウォータマーク反復手段からの前記反復ウォータマ
   ークを前記画像に付加するウォータマーク埋め込み手段
   とを備える付随情報付加装置であって、 前記単位ウォータマークパターン発生手段では、前記画
   像について解像度変換が行なわれることが想定されてい
   るすべての解像度のうちの選定された複数の解像度にお
   いて、前記単位ウォータマークの縦、横の大きさが、画
   像符号化における符号化ブロックの大きさの整数倍とな
   るように前記単位ウォータマークパターンの大きさが決
   められることを特徴とする付随情報付加装置。
4. 【請求項４】画像の一部の縦×横＝Ｍ×Ｎ（Ｍ，Ｎは正
   の整数）個の画素からなる小領域に対応する大きさの単
   位ウォータマークを縦横に反復した反復ウォータマーク
   を、画像に付加するに当たって、 前記画像について解像度変換が行なわれることが想定さ
   れているすべての解像度のうちの選定された複数の解像
   度において、前記単位ウォータマークの縦、横の大きさ
   が、画像符号化における符号化ブロックの大きさの整数
   倍となるように前記単位ウォータマークパターンの大き
   さを決めることを特徴とする付随情報付加方法。
5. 【請求項５】画像の一部の縦×横＝Ｍ×Ｎ（Ｍ，Ｎは正
   の整数）個の画素からなる小領域に対応する大きさであ
   って、前記画像について解像度変換が行なわれることが
   想定されているすべての解像度において、縦、横の大き
   さが、画像符号化における符号化ブロックの大きさの整
   数倍とされた単位ウォータマークパターンが縦横に反復
   した反復ウォータマークが付加された画像から、前記単
   位ウォータマークパターンを検出して、付随情報を検出
   する付随情報検出装置であって、 前記画像の解像度を、特定の解像度に変換する解像度変
   換手段と、 前記解像度変換手段で解像度が変換された画像と、前記
   単位ウォータマークパターンとの相関を調べる相関検出
   手段と、 前記相関検出手段の検出出力に基づいて、前記単位ウォ
   ータマークについての検出出力を得る検出出力生成手段
   と、 を備えることを特徴とする付随情報検出装置。
6. 【請求項６】請求項５に記載の付随情報検出装置におい
   て、 入力画像情報に含まれる解像度の情報に基づき、前記解
   像度変換手段での解像度変換の比率を算出する解像度比
   算出手段を備え、 前記解像度変換手段は、前記解像度比算出手段で算出さ
   れた解像度比に基づいて前記解像度変換を行うことを特
   徴とする付随情報検出装置。
7. 【請求項７】請求項６に記載の付随情報検出装置におい
   て、 前記解像度変換に先立ち、前記反復ウォータマークが付
   加された画像について、前記解像度比算出手段からの解
   像度比と、解像度変換後の単位ウォータマークパターン
   の大きさの情報とに基づいて定められる前記解像度変換
   前の単位ウォータマークパターンの大きさに対応する小
   領域を単位として、折り畳み累積する折り畳み累積手段
   を備え、 前記相関検出手段は、折り畳み累積手段の累積結果を前
   記解像度変換手段で解像度変換したものと、前記解像度
   変換後の単位ウォータマークパターンとの相関を調べる
   ことを特徴とする付随情報検出装置。
8. 【請求項８】請求項７に記載の付随情報検出装置におい
   て、 入力画像情報はＤＣＴ（離散コサイン変換）を用いた圧
   縮データであり、 前記折り畳み累積手段は、前記圧縮データのＤＣＴ係数
   の段階で前記折り畳み累積を行い、 前記折り畳み累積手段の累積結果を逆ＤＣＴ処理する逆
   ＤＣＴ処理部を設け、 前記逆ＤＣＴ処理部の出力を前記解像度変換手段に供給
   することを特徴とする付随情報検出装置。
9. 【請求項９】画像の一部の縦×横＝Ｍ×Ｎ（Ｍ，Ｎは正
   の整数）個の画素からなる小領域に対応する大きさの単
   位ウォータマークパターンが縦横に反復した反復ウォー
   タマークが付加された画像から、前記単位ウォータマー
   クパターンを検出して、付随情報を検出する付随情報検
   出方法であって、 前記単位ウォータマークパターンの縦、横の大きさは、
   前記画像について解像度変換が行なわれることが想定さ
   れているすべての解像度において、画像符号化における
   符号化ブロックの大きさの整数倍とされており、 前記画像の解像度を、特定の解像度に変換した後、前記
   特定の解像度に変換された画像と、前記単位ウォータマ
   ークパターンとの相関を調べ、 その相関検出結果に基づいて、前記単位ウォータマーク
   についての検出出力を得ることを特徴とする付随情報検
   出方法。
10. 【請求項１０】請求項９に記載の付随情報検出方法にお
    いて、 入力画像情報に含まれる解像度の情報に基づき、前記解
    像度変換の比率を算出し、 前記解像度変換は、前記算出された解像度比に基づいて
    行うことを特徴とする付随情報検出方法。
11. 【請求項１１】請求項１０に記載の付随情報検出方法に
    おいて、 前記解像度変換に先立ち、前記反復ウォータマークが付
    加された画像について、前記解像度比算出手段からの解
    像度比と、解像度変換後の単位ウォータマークパターン
    の大きさの情報とに基づいて定められる前記解像度変換
    前の単位ウォータマークパターンの大きさに対応する小
    領域を単位として、折り畳み累積し、 その折り畳み累積結果を前記解像度変換したものと、前
    記解像度変換後の単位ウォータマークパターンとの相関
    を調べることを特徴とする付随情報検出方法。
12. 【請求項１２】請求項１１に記載の付随情報検出方法に
    おいて、 入力画像情報はＤＣＴ（離散コサイン変換）を用いた圧
    縮データであり、前記折り畳み累積は、前記圧縮データ
    のＤＣＴ係数の段階で行い、 前記折り畳み累積結果を逆ＤＣＴ処理したものを解像度
    変換することを特徴とする付随情報検出方法。
13. 【請求項１３】画像の一部の縦×横＝Ｍ×Ｎ（Ｍ，Ｎは
    正の整数）個の画素からなる小領域に対応する大きさで
    あって、前記画像について解像度変換が行なわれること
    が想定されているすべての解像度のうちの選定された複
    数の解像度において、縦、横の大きさが、画像符号化に
    おける符号化ブロックの大きさの整数倍とされた単位ウ
    ォータマークパターンが縦横に反復した反復ウォータマ
    ークが付加された画像から、前記単位ウォータマークパ
    ターンを検出して、付随情報を検出する付随情報検出装
    置であって、 前記画像の解像度を、特定の解像度に変換する解像度変
    換手段と、 前記解像度変換手段で解像度が変換された画像と、前記
    単位ウォータマークパターンとの相関を調べる相関検出
    手段と、 前記相関検出手段の検出出力に基づいて、前記単位ウォ
    ータマークについての検出出力を得る検出出力生成手段
    と、 を備えることを特徴とする付随情報検出装置。
14. 【請求項１４】請求項１３に記載の付随情報検出装置に
    おいて、 入力画像情報に含まれる解像度の情報に基づき、前記解
    像度変換手段での解像度変換の比率を算出する解像度比
    算出手段を備え、 前記解像度変換手段は、前記解像度比算出手段で算出さ
    れた解像度比に基づいて前記解像度変換を行うことを特
    徴とする付随情報検出装置。
15. 【請求項１５】請求項１４に記載の付随情報検出装置に
    おいて、 前記解像度変換に先立ち、前記反復ウォータマークが付
    加された画像について、前記解像度比算出手段からの解
    像度比と、解像度変換後の単位ウォータマークパターン
    の大きさの情報とに基づいて定められる前記解像度変換
    前の単位ウォータマークパターンの大きさに対応する小
    領域を単位として、折り畳み累積する折り畳み累積手段
    を備え、 前記相関検出手段は、折り畳み累積手段の累積結果を前
    記解像度変換手段で解像度変換したものと、前記解像度
    変換後の単位ウォータマークパターンとの相関を調べる
    ことを特徴とする付随情報検出装置。
16. 【請求項１６】請求項１５に記載の付随情報検出装置に
    おいて、 入力画像情報はＤＣＴ（離散コサイン変換）を用いた圧
    縮データであり、 前記折り畳み累積手段は、前記圧縮データのＤＣＴ係数
    の段階で前記折り畳み累積を行い、 前記折り畳み累積手段の累積結果を逆ＤＣＴ処理する逆
    ＤＣＴ処理部を設け、 前記逆ＤＣＴ処理部の出力を前記解像度変換手段に供給
    することを特徴とする付随情報検出装置。
17. 【請求項１７】画像の一部の縦×横＝Ｍ×Ｎ（Ｍ，Ｎは
    正の整数）個の画素からなる小領域に対応する大きさの
    単位ウォータマークパターンが縦横に反復した反復ウォ
    ータマークが付加された画像から、前記単位ウォータマ
    ークパターンを検出して、付随情報を検出する付随情報
    検出方法であって、 前記単位ウォータマークパターンの縦、横の大きさは、
    前記画像について解像度変換が行なわれることが想定さ
    れているすべての解像度のうちの選定された複数の解像
    度において、画像符号化における符号化ブロックの大き
    さの整数倍とされており、 前記画像の解像度を、特定の解像度に変換した後、前記
    特定の解像度に変換された画像と、前記単位ウォータマ
    ークパターンとの相関を調べ、 その相関検出結果に基づいて、前記単位ウォータマーク
    についての検出出力を得ることを特徴とする付随情報検
    出方法。
18. 【請求項１８】請求項１７に記載の付随情報検出方法に
    おいて、 入力画像情報に含まれる解像度の情報に基づき、前記解
    像度変換の比率を算出し、 前記解像度変換は、前記算出された解像度比に基づいて
    行うことを特徴とする付随情報検出装置。
19. 【請求項１９】請求項１８に記載の付随情報検出方法に
    おいて、 前記解像度変換に先立ち、前記反復ウォータマークが付
    加された画像について、前記解像度比算出手段からの解
    像度比と、解像度変換後の単位ウォータマークパターン
    の大きさの情報とに基づいて定められる前記解像度変換
    前の単位ウォータマークパターンの大きさに対応する小
    領域を単位として、折り畳み累積し、 その折り畳み累積結果を前記解像度変換したものと、前
    記解像度変換後の単位ウォータマークパターンとの相関
    を調べることを特徴とする付随情報検出方法。
20. 【請求項２０】請求項１９に記載の付随情報検出方法に
    おいて、 入力画像情報はＤＣＴ（離散コサイン変換）を用いた圧
    縮データであり、前記折り畳み累積は、前記圧縮データ
    のＤＣＴ係数の段階で行い、 前記折り畳み累積結果を逆ＤＣＴ処理したものを解像度
    変換することを特徴とする付随情報検出方法。
21. 【請求項２１】画像に付随情報を付加する付随情報付加
    装置と、前記付随情報を画像から検出する付随情報検出
    装置との組を用いた不正利用防止システムにおいて、 前記付随情報付加装置として、請求項１または請求項３
    に記載の付随情報付加装置のいずれかを用い、 前記付随情報検出装置として、請求項５〜８、請求項１
    ３〜１６に記載の付随情報検出装置のいずれかを用いた
    ことを特徴とする不正利用防止システム。