JP2000013764A - 画像信号処理装置及び方法、並びに画像信号復号装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 画像データに付随する情報をその画像データ
中に付加する方法では、付随情報が付加された補助部分
が無視された場合、不正コピー等の問題を事前に防ぐこ
とは困難となる。 【解決手段】 ウォータマーク付加器１には、符号化ビ
ット列及び付随情報 fが入力される。入力された符号化
ビット列は、付随情報を付加する符号の位置を探すため
に、簡易符号解読器１１で簡易的に解読される。この簡
易符号解読器１１では、ＤＣＴの直流成分（ＤＣ成分）
の差分値を符号化するための符号化テーブル器１３を参
照して、入力された符号の解読を行なう。付随情報付加
器１２では、入力された付随情報ｆがｏｎである場合、
符号化ビット列上の対象となる符号にウォータマークパ
ターンを付加するため、付加対象の位置情報ｐをウォー
タマークパターン照合制御器１４へと渡す。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、特定の静止画像あ
るいは動画像シーケンスのような画像データに対して、
例えば著作権情報のような付随する情報を付加し、再生
時にその付随情報を検出して利用する画像信号処理装置
及び方法、並びに画像信号復号装置及び方法に関する。

【０００２】

【従来技術】特定の画像データ（静止画像あるいは動画
像シーケンス）に対して、それに付随する情報を画像デ
ータ中に付加し、再生時にその付随情報を検出して利用
する技術がある。この代表的な例として、著作権情報の
付加が挙げられる。

【０００３】不特定の利用者が特定の画像データを利用
することが可能である場合、その画像に対して著作権を
持つ者がその権利を主張するためには、あらかじめ著作
権情報を画像データ中に付加しておく必要がある。著作
権情報を付加することにより、画像の再生装置あるいは
再生方法の処理手順の中で、その画像データを表示不可
とすべき著作権情報が検出された場合には、その画像デ
ータの表示を行なわない等の対策を講じることが可能と
なる。

【０００４】上述の著作権情報の付加、あるいは検出
は、現在、ビデオテープの不正コピー防止等でよく利用
されている。近頃はビデオテープのレンタルを行なう店
も多いが、多くの利用者がお店から低価格で借りたビデ
オテープを不正にコピーして楽しんだ場合、そのビデオ
テープの著作権を持つ者及びビデオテープのレンタルを
行なう店の損害は甚大である。

【０００５】ビデオテープには、画像データがアナログ
的に記録されているため、コピーを行なった場合に画質
が劣化する。そのため、コピーが複数回繰り返された場
合、元々保持されていた画質を維持することは非常に困
難となる。

【０００６】これに対し、最近普及しつつあるデジタル
的に画像データを記録し再生する機器等においては、不
正コピーによる損害はさらに大きなものとなる。それ
は、画像データをデジタル的に扱う機器等では、原理的
にコピーによって画質が劣化することがないためであ
る。そのため、デジタル的に処理を行なう機器等におけ
る不正コピー防止は、アナログの場合と比べてはるかに
重要である。

【０００７】画像データに付随する情報をその画像デー
タ中に付加する方法は、主に２通りある。

【０００８】第１の方法は、画像データの補助部分に付
加する方法である。例えばビデオテープでは、図１９に
示すように、その画像データの補助的情報が、表示画面
には実質的に表示されない画面上部（補助部分）に記録
されている。この領域の一部を利用して、付随情報を付
加することが可能である。

【０００９】第２の方法は、画像データの主要部分（実
質的に表示される部分）に付加する方法である。これ
は、図２０に示したように、ある特定のパターン（ウォ
ータマーク（Water Mark）パターン）を、視覚的に感知
できない程度に、画像の全体あるいは一部に付加するも
のである。この具体例として、乱数やＭ系列等を用いて
発生させた鍵パターンを利用して情報の付加あるいは検
出を行なうスペクトラム拡散等がある。

【００１０】以下では、ウォータマークパターンを用い
た場合の画像データの主要部分への付随情報の付加ある
いは検出の一例を述べる。図２１〜図２４にこの具体例
を示す。

【００１１】各画素について、プラス又はマイナスの２
つのシンボルのいずれかを取る、図２１に示すような、
４ｎ×４ｎ個の画素に対応するウォータマークパターン
を用いると仮定する。実際には、ウォータマークパター
ンは２つのシンボルのいずれかをランダムに取る方が望
ましく、その領域の形状、大きさは任意で構わない。

【００１２】付随情報を付加する際には、付加を行なう
対象となる画像上で、ウォータマークパターンの領域と
等しい大きさの領域を設定する。設定された領域とウォ
ータマークパターンを重ねて照らし合わせ、プラスのシ
ンボルが対応する画素には値ａを加算し、マイナスのシ
ンボルが対応する画素からは値ｂを減算する。ａ，ｂ共
に、任意の値で構わないが、そのウォータマークパター
ンを通じて一定にするべきである。

【００１３】図２２〜図２４の例では、ａ＝１,ｂ＝１
に設定しており、図２２に示すように、付加を行なう対
象となる領域の画素値が全て１００の場合には、この埋
め込み操作により１０１と９９の画素値が形成される。

【００１４】付随情報を検出する際には、検出を行なう
対象となる画像上でウォータマークパターンの領域と等
しい大きさの領域を設定する。この領域の画素全てを合
計した値を評価値として用いる。画素全てを合計する際
には、設定された領域と ウォータマークパターンを重
ねて照らし合わせ、プラスのシンボルの画素については
足し算、マイナスのシンボルの画素については引き算を
適用する。図２３の例では、画素値１０１の画素は加算
され、画素値９９の画素は減算され、それらの演算結果
が加算される。この時、付随情報を付加する際にウォー
タマークパターンと同じパターンを用いなければ、付随
情報を正しく検出することはできない。このような検出
操作により、例えば図２３に示すように、付随情報が付
加されている場合の評価値は（４ｎ）²（領域に含まれ
る画素数の数と同じ）になり、図２４に示すように、付
随情報が付加されていない場合の評価値は０となる。

【００１５】ウォータマークパターンの領域が充分に広
く、かつウォータマークパターンが充分にランダムであ
る場合、付随情報が付加されていない場合の評価値は常
にほぼ０となる。そのため、評価値がある一定の閾値を
超えた場合には、付随情報が付加されていると判別する
ことができる。上記の手順により、付随情報が付加され
ているか否かという２値の情報（１ビット）を付加する
ことが可能となる。より多くの情報を付加したい場合に
は、画像全体をｋ個の領域に分けてそれぞれ上記の操作
を行なう等の処理方法により、２^k通り（ｋビット）の
情報を付加することができる。

【００１６】ウォータマークパターンは、例えばＭ系列
を用いて生成したものを利用することができる。Ｍ系列
（最長符号系列）は、０，１の２値のシンボルからなる
数列で、０，１の統計的分布は一定であり、符号相関は
原点で１、その他では符号長に反比例するものである。
もちろん、Ｍ系列以外の方法でウォータマークパターン
を生成しても構わない。

【００１７】画像データをデジタル的に記録し再生する
場合、そのままでは非常に情報量が多くなるため、デー
タを圧縮するのが一般的である。画像データを圧縮する
方法として、JPEG（Joint Photographic Experts Grou
p）（カラー静止画像符号化方式）、あるいは MPEG（Mo
ving Picture Experts Group）（カラー動画像符号化方
式）、等の高能率符号化方法が国際的に標準化され、実
用化に至っている。この高能率符号化によって画像デー
タを圧縮する場合を例に取り、付随情報の付加及び検出
を行なう構成例を次に説明する。

【００１８】図２５には、エンコーダの構成を示した。
入力された画像データには、まずウォータマークパター
ン付加器７１において、付随情報ｆが付加される。この
付随情報ｆが付加された画像データを符号化器７２に入
力し、高能率符号化を行なって符号化ビット列を生成す
る。

【００１９】図２６には、符号化器７２のより具体的な
構成例を示す。この例においては、符号化器７２は、フ
レームメモリ１４１を備えており、フレームメモリ１４
１は、ウォータマーク付加器７１より供給された画像デ
ータをフレーム単位で記憶するようになされている。動
きベクトル検出器１５０は、フレームメモリ１４１に記
憶された画像データから、動きベクトルｖを検出し、検
出結果を動き補償器１４３と可変長符号化器１４６に出
力している。動きベクトル検出器１５０においては、１
６×１６画素で構成されるマクロブロック単位でブロッ
クマッチング処理が行われ、動きベクトルｖが検出され
る。また、より高い精度を実現するために、半画素単位
でのマッチング処理も行われる。

【００２０】動き補償器１４３は、フレームメモリを内
蔵しており、符号化すべき現在のフレームの各位置の画
素値を、すでに符号化が行われ、それを復号して得られ
た、内蔵するフレームメモリに保存されている画像から
予測する。時刻ｔに入力されたフレームの位置（ｉ，
ｊ）における画素値Ｉ［ｉ，ｊ，ｔ］の予測値Ｉ’
［ｉ，ｊ，ｔ］は、その位置に対応する動きベクトルｖ
＝（ｖｘ（ｉ，ｊ，ｔ），ｖｙ（ｉ，ｊ，ｔ））を用い
て、次式のように決定される。

【００２１】Ｉ’［ｉ，ｊ，ｔ］ ＝（Ｉ［ｉ’，
ｊ’，ｔ−Ｔ］＋Ｉ［ｉ’＋１，ｊ’，ｔ−Ｔ］＋Ｉ
［ｉ’，ｊ’＋１，ｔ−Ｔ］＋Ｉ［ｉ’＋１，ｊ’＋
１，ｔ−Ｔ］）／４ なお、ここで、ｉ’とｊ’は次式で表される。

【００２２】 ｉ’＝ｉｎｔ（ｉ＋ｖｘ（ｉ，ｊ，ｔ）Ｔ） ｊ’＝ｉｎｔ（ｊ＋ｖｙ（ｉ，ｊ，ｔ）Ｔ） ここで、Ｔは、現在予測を行っている画像Ｉが入力され
た時刻と、フレームメモリ上に記憶されている画像が入
力された時刻の差を表し、上記式の右辺のＩ［ｉ’，
ｊ’，ｔ−Ｔ］、Ｉ［ｉ’＋１，ｊ’，ｔ−Ｔ］、Ｉ
［ｉ’，ｊ’＋１，ｔ−Ｔ］、Ｉ［ｉ’＋１，ｊ’＋
１，ｔ−Ｔ］は、動き補償器１４３に内蔵されているフ
レームメモリ上の画素値を表わす。また、ｉｎｔ（ｘ）
はｘを越えない最大の整数値を表している。

【００２３】減算器１４２は、フレームメモリ１４１よ
り供給される、現在符号化すべき画素の値から、動き補
償器１４３より供給される動きベクトルｖに基づき、動
き補償することにより算出された予測値を減算し、ＤＣ
Ｔ(Descrete Cosine Transform)器１４４に出力してい
る。ＤＣＴ器１４４は、減算器１４２より入力された差
分値で構成される(Descrete Cosine Transform) 器であ
り、差分値で構成され８画素×８画素のブロックに対し
て２次元ＤＣＴ処理を施す。量子化器１４５は、ＤＣＴ
器１４４より入力されたＤＣＴ係数ｃに対して、適当な
ステップサイズｑを用いて次式に従って量子化処理を行
う。

【００２４】ｃ’＝ｉｎｔ（ｃ／Ｑ） 量子化器１４５により量子化されたＤＣＴ係数ｃ’は、
可変長符号化器１４６と逆量子化器１４７に供給され
る。可変長符号化器１４６は、量子化されたＤＣＴ係数
ｃ’と動きベクトル検出器１５０より供給された動きベ
クトルｖを可変長符号化し、符号ビット列を出力する。

【００２５】逆量子化器１４７は、量子化器１４５で用
いられたステップサイズと同位置のステップサイズＱを
用いて、次式に示されるように逆量子化処理を行う。

【００２６】ｃ”＝ｃ’×Ｑ 逆量子化器１４７で逆量子化されたデータは、ＩＤＣＴ
器１４８に入力され、逆ＤＣＴ処理が施され、画素値の
差分値が復元される。

【００２７】ＩＤＣＴ器１４８の出力する差分値は、動
き補償器１４３が出力する予測値と加算器１４９により
加算され、もとの画素値のデータとなり、動き補償器１
４３３に内蔵されているフレームメモリに記憶される。

【００２８】次に、その動作について説明する。デジタ
ル化されている画像データは、ウォータマーク付加器７
１に入力され、付随情報ｆに対応してウォータマークが
付加される。

【００２９】ウォータマーク付加器７１によりウォータ
マークが付加された画像データは、フレームメモリ１４
１に供給され、フレーム単位で記憶される。動きベクト
ル検出器１５０は、フレームメモリ１４１に記憶されて
いる画像データの動きベクトルｖを検出する。動き補償
器１４３は、内蔵するフレームメモリに記憶されている
参照フレームの画像データに対して動き補償を施し、予
測画素データを生成して、減算器１４２に供給する。減
算器１４２は、フレームメモリ１４１より供給された画
像データから動き補償器１４３より供給された予測画像
データを減算し、その減算結果をＤＣＴ器１４４に供給
する。ＤＣＴ器１４４は、入力された差分値の画像デー
タをＤＣＴ係数に変換する。量子化器１４５は、ＤＣＴ
器１４４より供給されたＤＣＴ係数を量子化し、可変長
符号化器１４６に出力する。可変長符号化器１４６は、
入力された量子化データを可変長符号に変換し、符号ビ
ット列として、図示せぬ伝送路に伝送したり、記録媒体
に供給し、記録させる。

【００３０】量子化器１４５より出力された量子化デー
タは、逆量子化器１４７で逆量子化され、ＩＤＣＴ器１
４８に供給される。ＩＤＣＴ器１４８は、入力されたＤ
ＣＴ係数に対してＩＤＣＴ処理を施し、もとの差分値の
画像データを出力する。この差分値の画像データは、動
き補償器１４３より読み出された予測画像データに、加
算器１４９で加算され、もとの画像データに復元され
て、動き補償器１４３の内蔵するフレームメモリに記憶
される。なお、可変長符号化器１４６は、動きベクトル
検出器１５０より供給された動きベクトルｖも可変長符
号に変換し、出力する。

【００３１】通常は、上記に示したような予測値との差
分を符号化する画像間符号化（INTER coding）が行われ
る。しかし、現在符号化すべき画素の値と、動き補償器
１４３によって算出された予測値との差分が大きい場合
には、符号化ビット量が多くなることを防ぐため、画像
内符号化（INTRA coding）が行われる場合もある。すな
わち、ブロック内の各画素値について、差分をとらずに
そのままＤＣＴ器１４４に送り、その画素値に対して符
号化が行われる。

【００３２】図２７には、デコーダの構成を示す。入力
された符号化ビット列は、復号器８１において画像デー
タに復元される。その後、ウォータマーク検出器８２に
おいて付随情報ｆが検出される。

【００３３】図２８は、復号器８１のより詳細な構成例
を表している。この構成例においては、復号器８１の逆
可変長符号化器１６１が、入力された符号ビット列を逆
可変長符号化処理（可変長復号化処理）して、復号した
画像データ（ＤＣＴ係数）を逆量子化器１６２に出力
し、復号した動きベクトルｖを動き補償器１６５に出力
するようになされている。逆量子化器１６２は、入力さ
れたＤＣＴ係数を逆量子し、ＩＤＣＴ器１６３に出力し
ている。ＩＤＣＴ器１６３は、入力された、逆量子化さ
れたＤＣＴ係数に対してＩＤＣＴ処理を施し、もとの差
分値の画像データに復元して、加算器１６４に出力して
いる。

【００３４】動き補償器１６５は、内蔵するフレームメ
モリに記憶されている画像データに対して逆可変長符号
化器１６１より供給される動きベクトルｖに基づいて動
き補償を施し、予測画像を生成し、加算器１６４に出力
している。加算器１６４は、この予測画像に対して、Ｉ
ＤＣＴ器１６３より供給された差分値を加算し、もとの
フレーム画像を復元して出力するようになされている。

【００３５】加算器１６４の出力は、動き補償器１６５
に内蔵されているフレームメモリに供給され、記憶され
るとともに、ウォータマーク検出器８２に供給されるよ
うになされている。ウォータマーク検出器８２は、入力
された画像データから付随情報ｆを検出し、出力すると
ともに、もとの画像データを出力するようになされてい
る。

【００３６】次に、その動作について説明する。逆可変
長符号化器１６１は、入力された符号ビット列を逆可変
長符号化処理し、復号されたＤＣＴ係数を逆量子化器１
６２に出力する。逆量子化器１６２は、入力されたＤＣ
Ｔ係数を逆量子化し、ＩＤＣＴ器１６３に出力する。Ｉ
ＤＣＴ器１６３は、入力されたＤＣＴ係数に対してＩＤ
ＣＴ処理を施し、もとの差分画像データを出力する。

【００３７】動き補償器１６５は、内蔵するフレームメ
モリに記憶されている、既に復元されている画像データ
に対して、逆可変長符号化器１６１より供給される動き
ベクトルｖに基づいて動き補償を施し、予測画像データ
を生成して加算器１６４に出力する。加算器１６４は、
この予測画像データに対してＩＤＣＴ器１６３より供給
される差分値の画像データを加算し、もとの画像データ
を復元する。もとの画像データは、次の予測画像生成の
ために、動き補償器１６５のフレームメモリに供給さ
れ、記憶される。

【００３８】また、加算器１６４より出力された画像デ
ータは、ウォータマーク検出器８２に供給され、ウォー
タマークが検出される。

【００３９】画像データを高能率符号化しない場合に
は、図２５の符号化器７２、或いは図２７の復号器８２
を除いた構成を用いれば、画像データ上に付随情報を付
加し、あるいは検出することができる。

【００４０】ウォータマーク付加器７１とウォータマー
ク検出器８２の構成を、それぞれ図２９と図３０に示し
た。

【００４１】図２９は、ウォータマーク付加器７１の構
成を示している。入力された画像データ及び付随情報ｆ
は、付随情報付加器１１１へと渡される。付随情報がｏ
ｎである場合、対象の画像領域上の各画素に対してウォ
ータマークを付加するが、そのためにまず付随情報付加
器１１１は、付加対象の画素位置ｐをウォータマークパ
ターン照合制御器１１２へと渡す。この画素位置ｐは、
例えば画像の左上の位置を起点として、走査順で何番目
の位置であるかを示す１次元的な位置表現で構わない。
ウォータマークパターン照合制御器１１２では、画素位
置ｐを基に、ウォータマークパターン保持メモリ１１３
に記憶されているウォータマークパターンのシンボルを
参照し、得られたシンボルＳを付随情報付加器１１１へ
と渡す。付随情報付加器１１１は、渡されたシンボルＳ
を用いて、付加対象の画素にウォータマークパターンの
付加を行う。

【００４２】ウォータマーク付加器７１で行なわれる一
連の処理を図３１に示した。始めにステップＳ１４１
で、ウォータマークの付加レベルａ，ｂに所定の値を設
定する。ステップＳ１４２では、付随情報の付加を行う
対象となる画素上でウォータマークパターンの領域と等
しい大きさの領域を設定し、その領域内の各画素につい
てウォータマークパターンとの照合を行う。ステップＳ
１４３で、ウォータマークのシンボルの判定を行い、そ
の画素が対応するウォータマークのシンボルがプラスで
ある場合には、ステップＳ１４４で、その画素にａを足
す。その画素が対応するウォータマークのシンボルがマ
イナスである場合には、ステップＳ１４５で、その画素
からｂを引く。この処理を、ステップＳ１４６で、対象
領域の全画素について行われたと判定されるまで繰り返
す。

【００４３】図３０は、ウォータマーク検出器８２の構
成を示している。入力された画像データは、評価値算出
器１３２ヘと渡される。対象の画像領域上の各画素から
評価値を算出するために、評価値算出器１３２は評価対
象の画素位置ｐをウォータマークパターン照合制御器１
３１へと渡す。この画素位置ｐは、上述したように、例
えば画像の左上の位置を起点として、走査順で何番目の
位置であるかを示す１次元的な位置表現とされる。ウォ
ータマークパターン照合制御器１３１では、画素位置ｐ
を基にウォータマークパターン保持メモリ１３３に記憶
されているウォータマークパターンのシンボルを参照
し、得られたシンボルＳを評価値算出器３１へと渡す。
評価値算出器１３２は、渡されたシンボルＳを用いて、
評価値の算出を行う。算出された評価値は、評価値比較
器１３４でしきい値処理され、付随情報ｆが出力され
る。また、入力された画像データは、画像変換器１３５
を介して、そのまま、又は、所定の加工あるいは処理が
施されて出力される。

【００４４】ウォータマーク検出器２２で行われる一連
の処理を図３２に示す。始めに、ステップＳ１６１で、
評価値ｓｕｍの初期化及びしきい値ｔｈの設定を行う。
ステップＳ１６２でウォータマークパターンの領域と等
しい大きさの領域を設定し、その領域内の各画素につい
てウォータマークパターンとの照合を行う。ステップＳ
１６３で、その画素が対応するウォータマークのシンボ
ルがプラスであると判定された場合には、ステップＳ１
６４で、評価値ｓｕｍにその画素値を足す。その画素の
ウォータマークのシンボルがマイナスである場合には、
ステップＳ１６５で、評価値ｓｕｍからその画素値を引
く。この処理をステップＳ１６６で、対象領域の全画素
について行ったと判定されるまで繰り返す。その後、ス
テップＳ１６７で、評価値ｓｕｍとしきい値ｔｈとを比
較し、ｓｕｍ＞ｔｈである場合には、付随情報が付加さ
れているとみなして、ステップＳ１６８で、付随情報ｆ
をｏｎにする。そうでない場合には、ステップＳ１６９
で付随情報ｆをｏｆｆにする。

【００４５】付随情報ｆは、例えば不正コピーを防止す
る場合には、以下のように利用される。図２７のデコー
ダの場合を例にすると、出力される画像データ及び付図
情報ｆは、図示せぬ画像表示部に渡される。画像表示部
では、付随情報ｆがｏｎである場合にはそのまま画像を
表示するが、付随情報ｆがｏｆｆである場合には、例え
ば画像を表示しない、画像データの主要領域を表示しな
い、画像にスクランブルを掛ける（受け取った画像デー
タをでたらめに表示する）等の加工あるいは処理を行
う。あるいは、図３０のウォータマーク検出器８２に示
した画像変換器１３５を設け、付随情報ｆに応じてこの
ような画像データの加工あるいは処理を行うように構成
することもある。

【００４６】

【発明が解決しようとする課題】ところで、画像データ
に付随する情報をその画像データ中に付加する上述の２
通りの方法には、以下の課題がある。

【００４７】画像データの補助部分に付随情報を付加す
る第１の方法については、付随情報が付加された補助部
分が無視された場合、不正コピー等の問題を事前に防ぐ
ことは困難となる。例えばデジタル的に記録された画像
データを市販のパーソナルコンピュータに読み込ませ、
補助部分を無視して主要部分のみを切り出してコピーを
行なった場合、その画質はコピーを行なう以前と完全に
同一のものとなる。この場合、補助部分に付随情報を付
加した意味は、完全に失われる。

【００４８】画像データの主要部分に付随情報を付加す
る第２の方法では、例えば上記の第１の方法において示
したコピーの手順等によって、付加された付随情報が消
えてなくなることはない。しかし、画像データに対して
ノイズ低減フィルタ等の種々の信号処理を施した場合、
付加された付随情報成分が減衰して抽出不可能となるこ
とがある。

【００４９】特に、元々の画像データ自体がＪＰＥＧあ
るいはＭＰＥＧ等の高能率符号化を用いて圧縮されてい
る場合、その量子化処理に起因する悪影響が出ることが
多い。付加された付随情報成分は、これらの高能率符号
化の量子化処理によって、視覚的に感知可能な程度にま
で増幅されて、画質が低下したり、抽出不可能な程度に
まで減衰されて本来の意味を失ったりすることがある。

【００５０】付随情報の成分がこれらの信号処理によっ
て変化しないように、画像中の特別な領域を用いて付随
情報を付加する方法もある。しかし、そのような領域は
画像シーケンス全体から見て一部分しかないため、ウォ
ータマークパターンの領域を充分に広くとることができ
ない。そのため、付随情報が付加されていない場合であ
っても、評価値が０以外の大きな値となるため、ある一
定のしきい値を超えた場合には付随情報が付加されてい
ると判別する絶対的評価基準を用いると、付随情報の検
出は非常に困難となる。

【００５１】さらに、付随情報の付加を行う領域が画像
シーケンス全体から見て一部分に過ぎない場合、複数の
情報を付加することは極めて困難となる。例えば、画像
全体をｋ個の領域に分けて付随情報を付加した場合、個
々の領域に対するウォータマークパターンの領域は、そ
の領域数に応じてさらに狭くなるため、付随情報はほぼ
検出不可能となる。なお、上述のこれらの問題は、動画
像シーケンスにおいて特に顕著となる。

【００５２】本発明は、上記実情に鑑みてなされたもの
であり、本来の画像データに大きく影響を与えることな
く、不随情報を付加することができる画像信号処理装置
及び方法の提供を目的とする。

【００５３】また、本来の画像データに大きく影響を与
えることなく、不随情報を検出することができる画像信
号復号装置及び方法の提供を目的とする。

【００５４】

【課題を解決するための手段】本発明にかかる画像信号
処理装置は、上記課題を解決するために、画像信号に対
して付随情報をウォータマークとして埋め込む画像信号
処理装置において、上記入力画像信号を解読し、上記付
随情報を付加する位置を可変長部分と固定長部分を合わ
せた範囲内で検出する付加位置検出手段と、上記付加位
置検出手段で検出した上記位置に上記付随情報を付加す
る付随情報付加手段とを備える。

【００５５】ここで、上記付加位置検出手段は、上記入
力画像信号に直交変換処理が施されたときの直交変換係
数のＤＣ成分の可変長部分と固定長部分を合わせた範囲
内で上記付加位置を検出する。

【００５６】また、本発明に係る画像信号処理方法は、
上記課題を解決するために、画像信号に対して付随情報
をウォータマークとして埋め込む画像信号処理方法にお
いて、入力画像信号を解読し、上記付随情報を付加する
位置を可変長部分と固定長部分を合わせた範囲内で検出
し、この検出した位置に上記付随情報に基づいた上記ウ
ォータマークを付加する。

【００５７】また、本発明に係る画像信号処理装置は、
画像信号に対して付随情報をウォータマークとして埋め
込む画像信号処理装置において、入力画像信号を解読
し、上記付随情報を付加する位置を可変長部分の範囲内
で検出する付加位置検出手段と、上記付加位置検出手段
で検出した上記位置に関する情報と上記入力画像信号と
を受け取り、上記位置に上記付随情報を付加する付随情
報付加手段とを備える。

【００５８】ここで、上記付加位置検出手段は、上記入
力画像信号に直交変換処理が施されたときの直交変換係
数のＡＣ成分の可変長部分の範囲内で上記付加位置を検
出する。

【００５９】また、本発明に係る画像信号処理方法は、
上記課題を解決するために、画像信号に対して付随情報
をウォータマークとして埋め込む画像信号処理方法にお
いて、入力画像信号を解読し、上記付随情報を付加する
位置を可変長部分の範囲内で検出し、この検出した位置
に上記付随情報に基づいたウォータマークを付加する。

【００６０】本発明に係る画像信号復号装置は、上記課
題を解決するために、ウォータマークとして付随情報が
埋め込まれた画像信号を復号する画像信号復号装置にお
いて、上記入力画像信号を解読し、上記付随情報が付加
されている位置を可変長部分と固定長部分を合わせた範
囲内で検出する付加位置検出手段と、上記付加位置検出
手段で検出した上記位置に関する位置情報を基に、上記
付随情報を取り出す付随情報抽出手段とを備える。

【００６１】ここで、上記付加位置検出手段は、上記入
力画像信号に直交変換処理が施されたときの直交変換係
数のＤＣ成分の可変長部分と固定長部分を合わせた範囲
内で上記付加位置を検出する。

【００６２】また、本発明に係る画像信号復号方法は、
上記課題を解決するために、ウォータマークとして付随
情報が埋め込まれた画像信号を復号する画像信号復号方
法において、上記入力画像信号を解読し、上記付随情報
が付加されている位置を可変長部分と固定長部分を合わ
せた範囲内で検出し、検出した上記位置に関する位置情
報と上記入力画像信号とを受け取り、上記付随情報を取
り出して復号する。

【００６３】また、本発明に係る画像信号復号装置は、
ウォータマークとして付随情報が埋め込まれた画像信号
を復号する画像信号復号装置において、上記入力画像信
号を解読し、上記付随情報が付加されている位置を可変
長部分の範囲内で検出する付加位置検出手段と、上記付
加位置検出手段で検出した上記位置に関する位置情報と
上記入力画像信号とを受け取り、上記付随情報を抽出す
る付随情報抽出手段とを備える。

【００６４】ここで、上記付加位置検出手段は、上記入
力画像信号に直交変換処理が施されたときの直交変換係
数のＡＣ成分の可変長部分の範囲内で上記付加位置を検
出する。

【００６５】また、本発明に係る画像信号復号方法は、
ウォータマークとして付随情報が埋め込まれた画像信号
を復号する画像信号復号方法において、上記入力画像信
号を解読し、上記付随情報が付加されている位置を可変
長部分の範囲内で検出し、検出した上記位置に関する位
置情報と上記入力画像信号とを受け取り、上記付随情報
を取り出して復号する。

【００６６】

【発明の実施の形態】以下、本発明に係る画像信号処理
装置及び方法の実施の形態について図面を参照しながら
説明する。この実施の形態は、図１に示すように、画像
データが符号化器２に入力され、符号化された後、ウォ
ータマーク付加器１に供給され、ウォータマークが付加
されるようになされた画像信号処理装置である。

【００６７】符号化器２の構成と動作は、上記図２６に
示した符号化器７２と同様であり、ここでは説明を省略
する。

【００６８】これに対して、図１中のウォータマーク付
加器１は、図２６のウォータマーク付加器７１と構成が
異なり、図２に示すように、簡易符号解読器１１と、付
随情報付加器１２と、ＤＣ成分の差分値符号化テーブル
器１３と、ウォータマークパターン照合制御器１４と、
ウォータマークパターン保持メモリ１５とを備えて成
る。

【００６９】ウォータマーク付加器１には、符号化ビッ
ト列及び付随情報 f が入力される。入力された符号化
ビット列は、付随情報を付加する符号の位置を探すため
に、簡易符号解読器１１で簡易的に解読される。この簡
易符号解読器１１では、例えばＤＣＴの直流成分（ＤＣ
成分）の差分値を符号化するための符号化テーブル器１
３を参照して、入力された符号の解読を行なう。

【００７０】また、簡易符号解読器１１での解読の結果
得られた、符号化ビット列上で付随情報を付加する際に
対象となる符号の位置を示す符号位置情報ｂは、入力さ
れた符号化ビット列と共に付随情報付加器１２に渡され
る。付随情報付加器１２では、入力された付随情報ｆが
ｏｎである場合、符号化ビット列上の対象となる符号に
ウォータマークパターンを付加するため、付加対象の位
置情報ｐをウォータマークパターン照合制御器１４へと
渡す。

【００７１】ＭＰＥＧ等の高能率符号化では、例えばマ
クロブロックあるいはブロック等を単位として符号化が
行なわれるため、付加対象の符号の位置情報ｐはそれら
の空間的位置を表すことが一般的である。具体的には、
例えば画像の左上の位置を起点として、走査順で何番目
の位置であるかを示す１次元的な位置表現や、同じく画
像の左上の位置を原点として、空間上でどの座標に位置
するかを示す２次元的な位置表現等が用いられる。

【００７２】ウォータマークパターン照合制御器１４で
は、位置情報ｐを基にウォータマークパターン保持メモ
リ１５に記録されているウォータマークパターンのシン
ボルを参照し、得られたシンボルＳを付随情報付加器１
２へと渡す。付随情報付加器１２は、渡されたシンボル
Ｓを用いて、付加対象の符号にウォータマークパターン
の付加を行なう。具体的には、付加対象の符号を新たな
符号に置き換える等の修正が行なわれる。

【００７３】ここで、ＤＣ成分の差分値を符号化するた
めの符号化テーブル器１３について詳細に説明する。

【００７４】ＤＣ成分の差分値を符号化するとき、ＤＣ
成分は、サイズと、そのサイズで表される実際の値（Ｄ
Ｃ Ｄｉｆｆｅｒｅｎｔｉａｌ）で表される。前者は、
可変長符号（ＶＬＣ：Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ
Ｃｏｄｅ）とされ、後者は、固定長符号（ＦＬＣ：Ｆ
ｉｘｅｄ Ｌｅｎｇｔｈ Ｃｏｄｅ）とされる。

【００７５】本実施の形態では、可変長符号部分と固定
長符号部分を合わせた範囲内に上記付随情報を付加し全
体としての符号長を変えないようにしている。

【００７６】ＤＣ成分（ＤＣ差分成分）のサイズは、例
えば、輝度信号の場合、次の表１にに示すように規定さ
れている。

【００７７】

【表１】

【００７８】また、色差信号場合、次の表２に示すよう
に規定されている。

【００７９】

【表２】

【００８０】また、例えばＤＣ成分（ＤＣ差分成分）の
サイズが３である場合、ＤＣ差分成分は、次の表３に示
すように規定されている。

【００８１】

【表３】

【００８２】従って、例えば輝度信号の場合、ＤＣ成分
（ＤＣ差分成分）のサイズが３で、実際のＤＣ差分成分
ｚｚ［０］が−６であるとき、その差分値は、１０１０
０１で表される。

【００８３】ＭＰＥＧ２における輝度信号のＤＣ成分の
差分値符号化テーブルを基に、以下では実際のＤＣ差分
成分ｚｚ［０］の値に応じた符号例をいくつか挙げる。

【００８４】 ｚｚ［０］符号 ０ １００ （ ＶＬＣ ： １００， ＦＬＣ ： なし） ＋１ ００１ （ ＶＬＣ ： ００， ＦＬＣ ： １ ） −１ ０００ （ ＶＬＣ ： ００， ＦＬＣ ： ０ ） 上記から、ｚｚ［０］が−１，０，＋１の範囲で値を変
更しても、符号長は変わらないことがわかる。一例を挙
げると、ｚｚ［０］＝０を１に変えた場合、ＶＬＣ部分
は３ｂｉｔから２ｂｉｔ，ＦＬＣ部分は０ｂｉｔから１
ｂｉｔに変わるが、全体では ３ｂｉｔが３ｂｉｔにな
るだけである。

【００８５】本実施例における構成は、上記図１及び図
２に示した通りであり、符号化器２の後にウォータマー
ク付加器１を設けている点と、そのウォータマーク付加
器１の内部に、符号化テーブル器１３を設け、符号化ビ
ット列を修正する対象を固定長符号部分と可変長符号部
分にした点が特徴的である。

【００８６】ところで、既に本件出願人は平成９年９月
２日に整理番号９７０５８８８１として、符号化ビット
列を修正する対象を固定長符号部分とした、発明「画像
データ処理装置および方法、伝送媒体、並びに記録媒
体」を出願している。

【００８７】この先の出願においては、図２に示したウ
ォータマーク付加器２を図４に示すウォータマーク付加
器３としており、符号化テーブル器１６には固定長符号
のテーブルを必須とした。

【００８８】このウォータマーク付加器３では、図５に
示すように、始めにステップＳ１でウォータマークの付
加レベルａ，ｂを設定する。次に、ステップＳ２で符号
化ビット列上で付随情報を付加する際に対象となる符号
の位置まで、符号化ビット列を読み進める。その後、ス
テップＳ３として点線で示したように、直前のブロック
で発生したミスマッチに対して補正を行なうこともあ
る。このことについては、後で述べる。

【００８９】ステップＳ４で符号化ビット列上の対象と
なる符号のブロック位置に応じて、ウォータマークパタ
ーンとの照合を行なう。そして、例えば、ＤＣＴの直流
成分の符号に付随情報を付加する場合、ステップＳ５に
おいてそのブロック位置のウォータマークのシンボルが
プラスである場合には、ステップＳ６に進み、その符号
で表される直流成分ｘにａを足した値ｘ’を算出する。
ステップＳ５においてそのブロック位置のウォータマー
クのシンボルがマイナスである場合には、ステップＳ７
に進み、その符号で表される直流成分ｘからａを引いた
値ｘ’を算出する。そして、ステップＳ８Ｂでそのブロ
ック位置の直流成分ｘの符号をｘ’の符号に修正する。
修正を行なう際には、主にＤＣＴの直流成分（ＤＣ成
分）の差分値を符号化するテーブルを参照し、固定長符
号のみを変更する。固定長の符号部分のみを変更するの
で、この修正処理は単なる符号の置き換えで済む。そし
て、ステップＳ９による判断を繰り返し、これらの処理
を対象領域の全符号について行った後に終了となる。

【００９０】ここで、ステップＳ３における補正の具体
例を挙げる。ＭＰＥＧにおいてＤＣＴの直流成分は差分
符号化（ＤＰＣＭ：Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌ
ｓｅＣｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）が行なわれる。
差分符号化の具体例を挙げると、３，６，１２，４，７
という数列があった場合、それぞれ直前の数値との差分
を計算し、例えば３，３，６，−８，３という数列に直
して符号化が行なわれる。この時、例えば３番目の差分
値を４に置き換えて付随情報を付加した場合、補正を行
なわないと４番目以降の数値は本来の数値よりも２だけ
小さな値となってしまう。３番目の数値を置き換えて付
随情報を付加する処理はそのままにして、４番目以降の
数値を補正するためには、４番目の差分値を２だけ大き
い−６に置き換えれば良い。このように、補正を行なう
際には、付随情報を付加する方法に応じて処理方法を決
めれば良い。

【００９１】上記では、例えばマクロブロックあるいは
ブロックを単位として、付随情報を付加する例を説明し
た。より一般的には、必要な構成を取ってそれらの処理
を行なう限り、マクロブロックあるいはブロックに限ら
ず、どのような単位でウォータマークパターンの付加を
行なっても良い。

【００９２】しかし、実際の符号化ビット列は、例えば
符号化レートといった種々の制約に準じて生成されてい
る。一例として、付加対象の符号を新たな符号に置き換
えると、多くの場合その置き換えによって符号の語長が
変化し、種々の問題が生じる。

【００９３】これらの問題を防ぐため、上記図４に示し
たウォータマーク付加器３では、符号化ビット列上で付
随情報を付加する際に対象となる符号を吟味し、例えば
固定長の符号部分だけについて付随情報を付加する等の
工夫を行なっている。

【００９４】このことを図６を用いて説明する。ＭＰＥ
Ｇでは、ブロック単位で符号化されるＤＣＴの直流成分
や、マクロブロック単位で符号化される動きベクトル等
で、固定長の符号化が行なわれる。特に、ＤＣＴの直流
成分の符号を付加対象に選んだ場合、ＪＰＥＧ等におい
てもこの値はブロック単位で固定長符号化が行なわれる
ため、汎用性が高くなる。

【００９５】図７は、ＭＰＥＧ方式において付随情報の
付加を行なう原理を表している。同図に示すように、Ｇ
ＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）は、１枚
のＩピクチャ、複数枚のＰピクチャ、および複数枚のＢ
ピクチャにより構成されている。図７の具体例において
は、１５枚のピクチャにより１つのＧＯＰが構成されて
いる。ブロック単位で符号化されるＤＣＴの直流成分に
付随情報を付加する場合においては、ＧＯＰを構成する
ピクチャの中からＩピクチャが選択される。

【００９６】１６×１６画素のマクロブロックは、図８
で示したのと同じく、輝度信号（Ｙ）の場合、８×８画
素からなる４個のブロックで構成される。色差信号Ｃ
ｂ，Ｃｒは、１６×１６画素の１つのマクロブロックに
対して８×８画素のブロックで表現される。これらの画
素データは、ＤＣＴ変換（離散コサイン変換）により、
ＤＣＴ係数に変換される。

【００９７】１つのブロックの８×８個のＤＣＴ係数Ｃ
ｏｅｆｆ［０］［０］〜Ｃｏｅｆｆ［７］［７］は、所
定の量子化ステップで量子化され、量子化レベルＱＦ
［０］［０］〜ＱＦ［７］［７］に変換される。

【００９８】ＤＣＴ係数のうち、左上のＣｏｅｆｆ
［０］［０］（ｓｃａｎ［０］）は、直流成分（ＤＣ成
分）を表し、この直流成分からは、直前のブロックの直
流成分を予測値とした差分値が演算され、その差分値が
符号化される。残りの交流成分（ＡＣ成分）は、ブロッ
ク内でジグザグスキャンにより、直流成分としてのｓｃ
ａｎ［０］に続いて、ｓｃａｎ［１］〜ｓｃａｎ［６
３］として並びかえられた後、符号化される。

【００９９】図９に示すように、ＤＣＴ係数のうち、Ｄ
Ｃ成分は、直前のＤＣ成分との差分が演算され、その差
分値が符号化される。輝度信号の場合、４個のブロック
の順番は、左上、右上、左下、右下の順番とされる。従
って、左上のブロックのＤＣ成分としては、直前のマク
ロブロックの右下のブロックのＤＣ成分との差分が符号
化され、右上のブロックのＤＣ成分としては、左上のブ
ロックのＤＣ成分との差分が符号化され、左下のブロッ
クのＤＣ成分としては、右上のブロックのＤＣ成分との
差分が符号化され、右下のブロックのブロックのＤＣ成
分としては、左下のブロックのＤＣ成分との差分が符号
化される。色差信号の場合は、それぞれ直前の対応する
色差信号のブロックのＤＣ成分との差分が符号化され
る。

【０１００】このように、ＤＣ成分の差分値を符号化す
るとき、ＤＣ成分は、サイズと、そのサイズで表される
実際の値（ＤＣ Ｄｉｆｆｅｒｅｎｔｉａｌ）で表され
る。前者は、可変長符号（ＶＬＣ：Ｖａｒｉａｂｌｅ
Ｌｅｎｇｔｈ Ｃｏｄｅ）とされ、後者は、固定長符号
（ＦＬＣ：Ｆｉｘｅｄ Ｌｅｎｇｔｈ Ｃｏｄｅ）とさ
れる。

【０１０１】ＤＣ成分（ＤＣ差分成分）のサイズは、例
えば、輝度信号の場合、上記表１に示したように規定さ
れており、色差信号場合、上記表２に示したように規定
されている。また、例えばＤＣ成分（ＤＣ差分成分）の
サイズが３である場合、ＤＣ差分成分は、上記表３に示
すように規定されている。

【０１０２】従って、例えば輝度信号の場合、ＤＣ成分
（ＤＣ差分成分）のサイズが３で、実際のＤＣ差分成分
ｚｚ［０］が−６であるとき、その差分値は、１０１０
０１で表される。

【０１０３】付随情報を付加する際には、ＤＣ成分（Ｄ
Ｃ差分成分）のサイズが変化しないような範囲内でＤＣ
差分成分を変化させれば、固定長の符号部分だけを用い
て付随情報を付加することができる。

【０１０４】例えば輝度信号のＤＣ差分成分のサイズが
３で、実際のＤＣ差分成分ｚｚ［０］が−６である場合
を考える。ウォータマークパターンのシンボルがプラス
で付加レベルａが１である場合には、その差分値を１０
１００１から１０１０１０に置き換えれば、実際のＤＣ
差分成分は−６より１だけ大きい−５になる。ウォータ
マークパターンのシンボルがマイナスで付加レベルｂが
１である場合には、その差分値を１０１００１から１０
１０００に置き換えれば、実際のＤＣ差分成分は−６よ
り１だけ小さい−７になる。

【０１０５】同じく輝度信号のＤＣ差分成分のサイズが
３で、実際のＤＣ差分成分ｚｚ［０］が−６である場
合、ウォータマークパターンのシンボルがプラスで付加
レベルａが３であると、固定長の符号部分だけを用いて
付随情報を付加することはできない。この場合、このブ
ロック位置では付随情報の付加は行なわない。

【０１０６】あるいは、例えば付加レベル２までなら固
定長の符号部分で付随情報を付加することが可能なの
で、差分値を１０１００１から１０１０１１に置き換え
ることにしても良い。この時、実際のＤＣ差分成分が−
６より２だけ大きい−４になったことをレジスタ等に記
録し、ＤＣ差分成分に対する次の付加を行なう際には、
その値も参照して利用するべきである。

【０１０７】ＤＣ成分のサイズが０、つまり実際のＤＣ
差分成分ｚｚ［０］が０である場合には、固定長の符号
部分だけを用いて付随情報を付加することはできないた
め、そのブロック位置では付随情報の付加は行なわな
い。あるいは、何らかの処理により、付随情報を付加す
ることにしても良い。

【０１０８】付随情報を付加することによるＤＣ成分の
実際のずれ分は、レジスタ等に記録し、ＤＣ差分成分に
対する次の付加を行なう際に、その値も参照して利用す
るべきである。例えば、直前の付随情報の付加によっ
て、ＤＣ成分の実際の値が本来の値よりも２だけ大きく
なっている場合、レジスタにＲ＝２を記録しておく。次
の付加を行なう際に、実際のＤＣ差分成分ｚｚ［０］が
７の時、輝度信号のＤＣ差分成分のサイズは３である。
ウォータマークパターンのシンボルがマイナスで付加レ
ベルｂが１である場合、ＤＣ成分が差分符号化されてい
ることを考慮すると、付随情報を付加するためには、−
Ｒ−ｂ＝−２−１＝−３だけＤＣ差分成分を変化させる
必要がある。そのため、差分値を１０１１１１から１０
１１００に置き換え、実際のＤＣ差分成分を７から４に
し、ＤＣ成分の実際の値が１だけ小さい値になったこと
を記録するために、Ｒ＝２−３＝−１にする。付随情報
を付加することによって発生するＤＣ成分の実際のずれ
分は、上記以外の方法を用いて記録しても良い。

【０１０９】なお、ＤＣ成分（ＤＣ差分成分）を利用し
た付随情報の付加を行なう際には、上記以外の何らかの
方法を用いても良い。

【０１１０】上記先の出願においては、ＤＣ成分（ＤＣ
差分成分）を用いて付随情報を付加する場合を説明した
が、Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ（動きベクトル）の差
分値を符号化したコードの中のＭｏｔｉｏｎ＿ｒｅｓｉ
ｄｕａｌ（ＦＬＣ）を用いることも可能である。

【０１１１】すなわち、ＭＰＥＧ方式においては、図２
６の従来例で説明すると、動きベクトル検出器１５０で
ＰピクチャおよびＢピクチャの動きベクトルを検出し、
これを符号化してビットストリーム中に含めて伝送する
ようになされている。このＭｏｔｉｏｎ Ｖｅｃｔｏｒ
は、表４及び表５に示すようなＶＬＣとされるＭｏｔｉ
ｏｎ＿ｃｏｄｅと、ＦＬＣとしてのＭｏｔｉｏｎ＿ｒｅ
ｓｉｄｕａｌで表される。Ｍｏｔｉｏｎ＿ｃｏｄｅは、
Ｍｏｔｉｏｎ Ｖｅｃｔｏｒの大まかな値を表し、Ｍｏ
ｔｉｏｎ＿ｒｅｓｉｄｕａｌは、細かな値を表すための
補正値を表す。また、ｆ＿ｃｏｄｅは、Ｍｏｔｉｏｎ＿
ｃｏｄｅの精度（倍率）を表している。

【０１１２】

【表４】

【０１１３】

【表５】

【０１１４】例えば、ｆ＿ｃｏｄｅが１の場合、Ｍｏｔ
ｉｏｎ＿ｃｏｄｅは０．５精度の値を表す。これによ
り、充分細かな値が表されるので、この場合、Ｍｏｔｉ
ｏｎ＿ｒｅｓｉｄｕａｌは使用されない。

【０１１５】ｆ＿ｃｏｄｅが２である場合、Ｍｏｔｉｏ
ｎ＿ｃｏｄｅは整数精度を表し、Ｍｏｔｉｏｎ＿ｒｅｓ
ｉｄｕａｌは、０．５精度の値を表す。すなわち、この
とき、Ｍｏｔｉｏｎ＿ｒｅｓｉｄｕａｌは、０または
０．５を示す１ビットのＦＬＣで表される。

【０１１６】さらに、ｆ＿ｃｏｄｅが３である場合、Ｍ
ｏｔｉｏｎ＿ｃｏｄｅは２の倍数の精度の値を表し、Ｍ
ｏｔｉｏｎ＿ｒｅｓｉｄｕａｌは、０，０．５，１．０
または１．５を表す２ビットのＦＬＣとなる。

【０１１７】なお、ＤＣ Ｄｉｆｆｅｒｅｎｔｉａｌの
場合と同様に、Ｍｏｔｉｏｎ＿ｃｏｄｅが０である場
合、Ｍｏｔｉｏｎ＿ｒｅｓｉｄｕａｌは存在しない。

【０１１８】このようなＦＬＣであるＭｏｔｉｏｎ＿ｒ
ｅｓｉｄｕａｌに、上述したＤＣＤｉｆｆｅｒｅｎｔｉ
ａｌの場合と同様に、付随情報を付加するようにするこ
とができる。

【０１１９】付随情報を検出する際には、例えば動きベ
クトルあるいはその差分値などを足し引きして、評価値
を算出すれば良い。これ以外の方法を用いて、付随情報
の検出を行なっても良い。

【０１２０】なお、Ｍｏｔｉｏｎ＿ｒｅｓｉｄｕａｌは
ＰピクチャとＢピクチャに存在するが、ＢピクチャのＭ
ｏｔｉｏｎ＿ｒｅｓｉｄｕａｌを用いるようにすれば、
Ｂピクチャは他のピクチャの予測に用いられることがな
いので、キーデータ挿入による他のピクチャへの影響を
防止することができる。

【０１２１】固定長以外の符号（可変の符号）を用いて
付随情報の付加を行なっても良いが、その場合には、符
号化ビット列上に不必要なビットを挿入する、符号化ビ
ット列上の不必要なビットを削るなど、必要となる構成
を取って処理を行なう必要があった。これらのことは、
任意の符号化方法、あるいは任意の復号方法などにおい
て、同様に適用可能である。

【０１２２】このため、図２に示したウォータマーク付
加器１では、上述したように、符号化器テーブル器１３
に固定長符号と可変長符号を用意した。

【０１２３】繰り返すが、図２に示したウォータマーク
付加器１が図４に示したウォータマーク付加器２と異な
る点は、簡易符号解読器１１が参照する符号化テーブル
器１３である。この符号化テーブル器１３では、固定長
符号だけでなく、可変長符号のテーブルも必須となる。
図では、ＤＣ成分の差分値の符号化テーブルを用いる例
を記した。

【０１２４】図２のウォータマーク付加器１で行なわれ
る一連の処理を図３に示す。ステップＳ８Ａで対象とな
る符号を修正するために参照する符号化テーブルが、図
４に示したウォータマーク付加器２が参照する符号化テ
ーブルと異なる。先の出願では、固定長符号の符号化テ
ーブルのみを用意すれば良かったが、本実施の形態では
可変長符号のテーブルも用意する必要がある。図では、
ＤＣ成分の差分値の符号化テーブルを用いる例を記し
た。

【０１２５】このように、画像信号処理装置は、ウォー
タマーク付加器１で、改めて符号化を行わなくても付随
情報を付加でき、かつ可変長符号部分と固定長符号部分
を合わせた範囲内で符号長を変えずに付随情報を付加で
きる。

【０１２６】次に、本発明に係る画像信号復号装置及び
方法の実施の形態について説明する。この実施の形態
は、図１０に示すように、入力された符号ビット列が、
最初にウォータマーク検出器２２に入力されてウォータ
マークが検出され、そして、ウォータマーク検出器２２
より出力された符号ビット列が復号器２１に供給され、
復号される画像信号復号装置である。

【０１２７】復号器２１の構成と動作は、上記図２８に
示した復号器８１と同様であり、ここでは説明を省略す
る。

【０１２８】これに対して、図１０のウォータマーク検
出器２２は、図３０のウォータマーク検出器８２と構成
が異なり、図１１に示すように、符号化テーブル器３１
と、簡易符号解読器３２と、評価値算出器３３と、ウォ
ータマークパターン照合制御器３４と、ウォータマーク
パターン保持メモリ３５と、評価値比較器３６と、符号
変換器３７とを備えて成る。

【０１２９】ウォータマーク検出器２２には、符号化ビ
ット列が入力される。入力された符号化ビット列は、付
随情報を検出する符号の位置を探すために、簡易符号解
読器３２で簡易的に解読される。この簡易符号解読器３
２では、例えばＤＣＴの直流成分（ＤＣ成分）を符号化
するための符号化テーブル器３１を参照して、入力され
た符号の解読を行なう。この符号化テーブル器３１で
は、固定長符号と可変長符号ののテーブルが必須であ
る。簡易符号解読器３２で解読されるこの場合の符号の
位置とは、例えば符号化ビット列上の位置や、あるいは
復号された時の空間的あるいは周波数的な位置等のこと
を言い、それら以外の位置も含めて、種々の位置を探し
ても良い。どの符号の位置を探すかは、符号化ビット列
上で付随情報を検出する際に対象となる符号の種類に依
り、このことはウォータマーク付加器１のところで述べ
たことと同様である。場合によっては、符号化ビット列
の全体あるいは一部に対して復号を行ない、全体あるい
は一部の再生画像を構成しても良い。

【０１３０】符号化ビット列上で付随情報を検出する際
の対象となる符号の位置を示す符号位置情報ｂは、入力
された符号化ビット列と共に評価値算出器３３へと渡さ
れる。符号化ビット列上の対象の各符号から評価値を算
出するために、評価値算出器３３は評価対象の符号位置
ｐをウォータマークパターン照合制御器３４へと渡す。
この符号位置ｐは、ウォータマーク付加器１のところで
述べたことと同様に、１次元的あるいは２次元的な位置
表現等が用いられることが多い。

【０１３１】ウォータマークパターン照合制御器３４で
は、符号位置ｐを基にウォータマークパターン保持メモ
リ３５に記録されているウォータマークパターンのシン
ボルを参照し、得られたシンボルＳを評価値算出器３３
へと渡す。評価値算出器３３は、渡されたシンボルＳを
用いて、評価値の算出を行なう。

【０１３２】算出された評価値は、評価値比較器３６で
閾値処理され、付随情報ｆが出力される。また、入力さ
れた画像データ自体も、そのまま出力される。なお、不
正コピー防止のところで述べたことと同様の効果が得ら
れるように、点線で示した符号変換器３７が置かれ、入
力された符号化ビット列が加工あるいは処理されて出力
されることもある。符号変換器３７では、例えば符号化
ビット列を出力しない、符号化ビット列をでたらめに配
置し直す等の加工あるいは処理が行なわれる。

【０１３３】この画像信号復号装置における構成は、上
記図１０及び図１１に示した通りであり、復号器２１の
前にウォータマーク検出器２２を設けている点と、その
ウォータマーク検出器２２の内部に、符号化テーブル器
３１を設け、符号化ビット列を修正する対象を固定長符
号部分と可変長符号部分にした点が特徴的である。

【０１３４】ところで、既に本件出願人は上述したよう
に、平成９年９月２日に整理番号９７０５８８８１とし
て、符号化ビット列を修正する対象を固定長符号部分と
した、発明「画像データ処理装置および方法、伝送媒
体、並びに記録媒体」を出願している。

【０１３５】この先の出願においても、図１０に示した
ウォータマーク検出器２２を図１３に示すウォータマー
ク検出器２３としており、符号化テーブル器３８には固
定長符号のテーブルを必須とした。

【０１３６】このウォータマーク検出器２３では、図１
４に示すように、先ず、ステップＳ１１で評価値ｓｕｍ
の初期化及び閾値ｔｈの設定を行なう。次に、ステップ
Ｓ１２Ｂで符号化ビット列上で付随情報を付加する際の
対象となる符号の位置まで、符号化ビット列を読み進め
る。この時には、主にＤＣＴの直流成分（ＤＣ成分）の
差分値を符号化するテーブルを参照する。本質的に必要
となるのは、固定長符号のみと言っても過言ではない。

【０１３７】次に、ステップＳ１３で符号化ビット列上
の対象となる符号のブロック位置に応じて、ウォータマ
ークパターンとの照合を行なう。例えば、DCT の直流成
分の符号に付随情報を付加する場合、ステップＳ１４で
その符号のウォータマークのシンボルがプラスである場
合には、ステップＳ１５に進み、評価値ｓｕｍにその符
号で表される直流成分を足す。ステップＳ１６でその画
素のウォータマークのシンボルがマイナスである場合に
は、評価値ｓｕｍからその符号で表される直流成分を引
く。これらの処理をステップＳ１７において繰り返しな
がら対象領域の全符号について行う。

【０１３８】その後、ステップＳ１８で評価値ｓｕｍと
閾値ｔｈとを比較し、ｓｕｍ＞ｔｈである場合には、ス
テップＳ１９に進み、付随情報が付加されているとみな
して付随情報ｆをｏｎにする。そうでない場合には、ス
テップＳ２０に進み、付随情報ｆをｏｆｆにする。

【０１３９】以前にも述べたが、必要な構成を取って処
理を行なう限り、ＤＣＴの直流成分の符号に限らず、任
意の符号を用いて付随情報の付加あるいは検出を行なっ
ても良い。ただ、固定長の符号部分に付随情報を付加あ
るいは検出した方が、符号化ビット列の符号の長さを変
化させることなく、容易に付随情報を付加できる。ＭＰ
ＥＧで固定長の符号化が行なわれるのは、ブロック単位
で符号化される直流成分、マクロブロック単位で符号化
される動きベクトル等である。

【０１４０】これに対して図１０及び図１１に示したウ
ォータマーク検出器２２では、符号化テーブル器３１
に、固定長符号だけでなく、可変長符号のテーブルも持
たせている。図では、ＤＣ成分の差分値の符号化テーブ
ルを用いる例を記した。

【０１４１】ウォータマーク検出器２２で行なわれる一
連の処理を図１２に示す。ここでは、対象となる符号を
修正するために参照する符号化テーブルにおいて、従来
例では本質的に必要となるのは固定長符号のみであった
が、この実施の形態では可変長符号も本質的に必要とな
る。図では、ＤＣ成分の差分値の符号化テーブルを用い
る例を記した。

【０１４２】ただ、符号化ビット列上で付随情報を検出
する際の対象となる符号の位置まで、符号化ビット列を
読み進めるためには、全てもしくは少なくとも主要部分
の符号化テーブルを用意する必要がある。上記で述べた
固定長符号及び可変長符号のテーブルは、一般にこの主
要部分の符号化テーブルに相当することが多く、先の出
願、及び本実施の形態のどちらでも結局は用意されるこ
とが多い。

【０１４３】上記の例では、ＤＣ成分の差分値の符号化
テーブルを用いる例を記したが、他のどのような符号化
テーブルを利用することにしても良い。この一例とし
て、マクロブロック単位で符号化される動きベクトルの
符号化テーブル等が挙げられる。

【０１４４】評価値ｓｕｍを閾値ｔｈと比較する際に
は、先に示した比較方法以外のどのような比較方法を用
いても良い。例えば、評価値のバイアス成分Ｂが一定で
あることを利用して、どの程度バイアス成分が保持され
ているとみなすか示すバイアス信頼係数ｃ（０≦ｃ≦
１）と共に比較を行なっても良い。また、何らかの方法
を用いて標準的な評価値を算出し、その値と実際の評価
値とを比較することによって、付随情報の検出を行なっ
ても良い。

【０１４５】ウォータマークのシンボルは、プラス、マ
イナス以外のどのようなシンボルを用いても良い。ま
た、２種類ではなく、３種類以上のどのようなシンボル
を用いても良い。例えば、プラス、ゼロ、マイナスの３
種類のシンボルを用意しておき、ウォータマークパター
ンとの照合を行なった際にシンボルがゼロである符号に
ついては、評価値ｓｕｍに影響を与えない（その符号で
表される値を評価値ｓｕｍに足しも引きもしない）よう
にするなど、各シンボルにどのような意味を与えても良
い。

【０１４６】ウォータマークパターンを符号化ビット列
上に付加する範囲は、任意で構わない。また、付加した
ウォータマークパターンとの整合が取れている限り、検
出時に評価値を求める範囲は任意で構わない。さらにウ
ォータマークパターンは、時間的あるいは空間的に渡る
より広い範囲を用いて、付加あるいは検出を行なうこと
にしても良い。例えば動画像シーケンスにおいては、時
間的な基準を用い、現フレームの時間的位置だけでな
く、過去や未来のフレームも利用して良い。

【０１４７】例えば非常に大きな画像サイズを持つ静止
画像においては、１枚の画像をある単位で複数の画像領
域に分割して扱うことにし、空間的な基準を用い、現在
対象としている画像領域の符号に対して、例えば走査順
で前や後に位置する画像領域の符号も利用して良い。

【０１４８】このように、画像信号復号装置は、ウォー
タマーク検出器２１で、改めて符号化を行わなくても付
随情報を付加でき、かつ可変長符号部分と固定長符号部
分を合わせた範囲内で符号長を変えずに付随情報を検出
できる。

【０１４９】次に、上記画像信号処理装置の変形例につ
いて図１５及び図１６を用いて説明する。この変形例
は、図１に示したウォータマーク付加器２の代わりにウ
ォータマーク付加器４を用いている。

【０１５０】ウォータマーク付加器２を用いた画像信号
処理装置では、ＤＣ成分の差分値を符号化する場合を例
に、固定長符号部分と可変長符号部分を合わせた範囲内
で符号長が変わらない例を挙げた。しかし、固定長符号
部分を利用せずに、可変長符号部分の範囲内だけで符号
長が変わらないようにすることも可能である。この変形
例では、このことについて説明する。

【０１５１】１つのブロックの８×８個のＤＣＴ係数Ｃ
ｏｅｆｆ［０］［０］〜Ｃｏｅｆｆ［７］［７］は、所
定の量子化ステップで量子化され、量子化レベルＱＦ
［０］［０］〜ＱＦ［７］［７］に変換される。ＭＰＥ
Ｇ方式において、この直流成分（ＤＣ成分）は、既に述
べたように固定長符号されるが、交流成分（ＡＣ成分）
は、一般に可変長符号される。交流成分（ＡＣ成分）
は、ブロック内でジグザグスキャンにより、直流成分と
してのｓｃａｎ［０］に続いて、ｓｃａｎ［１］〜ｓｃ
ａｎ［６３］として並びかえられた後、符号化される。

【０１５２】このＡＣ成分にウォータマークを付加する
場合を考える。この場合、ウォータマークパターンは例
えば符号化の走査順に割り当てることができる。

【０１５３】上記図１３を用いて符号化の走査順の具体
例を示す。あるマクロブロックが符号化される場合、そ
のＡＣ成分は、まず輝度Ｙの左上０のブロックについ
て、その交流成分ｓｃａｎ［１］〜ｓｃａｎ［６３］が
符号化される。続いて輝度Ｙの右上１ブロックについ
て、その交流成分ｓｃａｎ［１］〜ｓｃａｎ［６３］が
符号化され、同様に ２，３のブロックが符号化され
る。輝度信号にのみウォータマークを付加する場合に
は、この右下３のブロックが符号化された後、その次
（一般的には右隣）のマクロブロックに移り、輝度Ｙの
左上０のブロックについて符号化される。以下は同様で
ある。

【０１５４】輝度信号だけでなく、色差信号にも付加す
る場合には、主に２通りの走査順が考えられる。一方
は、上記の例で輝度Ｙの右下３のブロックが符号化され
た後、続いて色差ブロック４や５のブロックを符号化す
る走査順の方法である。他方は、画面内の輝度Ｙについ
て符号化した後で、色差信号Ｃｂ，Ｃｒを符号化する走
査順の方法である。

【０１５５】上記に挙げた例は、あくまで一例であり、
他のどのような走査順であっても構わない。例えばＭＰ
ＥＧ２では、ブロック内のＤＣＴ係数の走査順として、
上記に挙げた通常のジグザグスキャンと、画像のインタ
ーレース走査により適応したオルタネートスキャンの２
種類がある。もちろん、ＡＣ成分だけでなく、ＤＣ成分
も含めた走査順であっても良い。また、全てのＡＣ成分
を必ず使う必要はない。例えば、各ブロックで使用する
ｓｃａｎ［ｘ］（０＜ｘ＜６３）をあらかじめいくつか
決めておいても良いし、特徴的な係数をいくつか選ぶこ
とにしても良い。

【０１５６】各ＤＣＴ係数（主にＡＣ成分）を符号化す
る際には、走査順で先行する（後に続く）係数０の個数
（ラン）とその係数値（レベル）が、可変長符号でまと
めて符号化される。表６〜表９には、ＭＰＥＧ２におけ
るＤＣＴ係数の符号化テーブルを示した。

【０１５７】

【表６】

【０１５８】

【表７】

【０１５９】

【表８】

【０１６０】

【表９】

【０１６１】基本的に上記表６〜表９の符号化テーブル
を用いて符号化が行なわれるが、画像内符号化（ＩＮＴ
ＲＡ）を行なう際には他の符号化テーブルを用いても良
い。また、ランとレベルの組合せが表６〜表９で用意さ
れたテーブルで表現できない場合には、エスケープ符号
に続くラン及びレベルの符号化テーブルを用いてランと
レベルがぞれぞれ固定長符号される。

【０１６２】以下では、上記表６〜表９の符号化テーブ
ルを用いて説明を行なう。

【０１６３】ＡＣ成分の符号化時の例として、以下の場
合を考える。右側には、それぞれの係数に対して付加す
るウォータマークパターンの例も、並べて記した。なお
ウォータマークパターンは、係数が０の場合には付加し
ないことにし、±１の付加量とした。

【０１６４】 ・ＡＣ 成分 ・Ｗａｔｅｒ Ｍａｒｋ パターン ｓｃａｎ［１］＝１２ ＋、１３ ｓｃａｎ［２］＝６ −、５ ｓｃａｎ［３］＝０ ＋ ｓｃａｎ［４］＝−７ ＋、−６ ： ： この例で、ウォータマークパターンを付加しない時の符
号は、以下の通りである。

【０１６５】 ［ラン］［レベル］［符号］ ０ １２ １４ｂｉｔｓ ：００００ ００００ １１０１ ００ ０ ６ ９ｂｉｔｓ ：００１０ ０００１ ０ １ −７ １４ｂｉｔｓ ：００００ ００００ １０１０ １１ ： ： ： ： また、ウォータマークパターンを付加すると、以下の通
りである。

【０１６６】 ［ラン］［レベル］［符号］ ０ １３ １４ｂｉｔｓ ：００００ ００００ １１００ １０ ０ ５ ９ｂｉｔｓ ：００１０ ０１１０ ０ １ −６ １４ｂｉｔｓ ：００００ ００００ １０１１ ０１ ： ： ： ： このように、可変長符号部分の範囲内だけで符号長が変
わらないようにすることが可能である。

【０１６７】実際にこのような処理を行なう場合には、
ウォータマークパターン付加後の符号長がどのようにな
るかをあらかじめ調べ、符号長が変わらない場合に付加
するのが一般的である。

【０１６８】付加時の自由度を増やすために、任意のブ
ロックというより広い範囲内で符号長が変わらないよう
に、符号を修正させることにしても良い。例えば、以下
の例を考える。

【０１６９】 ・ＡＣ 成分 ・Ｗａｔｅｒ Ｍａｒｋ パターン ｓｃａｎ［１］＝３ ＋、４ ｓｃａｎ［２］＝６ −、５ ｓｃａｎ［３］＝０ ＋、１ ｓｃａｎ［４］＝−８ ＋、−７ ： ： この例で、ウォータマークパターンを付加しない時の符
号は、以下の通りである。ｓｃａｎ［１］からｓｃａｎ
［４］までで、３１ｂｉｔｓである。

【０１７０】 ［ラン］［レベル］［符号］ ０ ３ ６ｂｉｔｓ：００１０ １０ ０ ６ ９ｂｉｔｓ：００１０ ０００１ ０ １ −８ １６ｂｉｔｓ：００００ ００００ ００１１ １１１１ ： ： ： ： ウォータマークパターンを付加すると、以下の通りであ
る。こちらも、ｓｃａｎ［１］からｓｃａｎ［４］まで
で３１ｂｉｔｓで、付加前と比べて符号長は変わってい
ない。

【０１７１】 ［ラン］［レベル］［符号］ ０ ４ ８ｂｉｔｓ：００００ １１００ ０ ５ ９ｂｉｔｓ：００１０ ０１１０ ０ ０ １ ３ｂｉｔｓ：１１０ ０ −７ １１ｂｉｔｓ：００００ ００１０ １０１ ： ： ： ： 実際にこのような処理を行なう場合には、現時点までに
処理した係数に対する符号長が、ウォータマークパター
ンを付加することによってどれだけ変わったかを記憶し
ておく方が良い。記憶しておいた符号長の変動分を参考
に、次の符号を修正できるかを判断するのが普通であ
る。

【０１７２】もちろん、上記の例のように、レベルだけ
でなくランも変えることにより、ウォータマークの付加
前には０だった係数を０以外の値にしても良いし、逆に
付加前には０以外の値だった係数を０にしても良い。

【０１７３】任意の係数について、ウォータマークの付
加時に本来レベルＶにすべきものを、ブロック内の符号
長を変えないためにレベルＶ＋ｍ（ｍは任意）にしても
良い。

【０１７４】もちろんｍは、例えばウォータマークパタ
ーンが＋の場合には、＋１，＋２程度の正の小さな値の
方が良い。

【０１７５】上記の例では、符号長が変わらない範囲は
任意のブロック内としたが、この範囲はどのようなもの
であっても構わない。ただ一般に ＭＰＥＧ方式では、
マクロブロック，スライス，ピクチャ，ＧＯＰなどの範
囲で上記の処理を行なった方が良い。

【０１７６】この画像信号処理装置が備えるウォータマ
ーク付加器４は、図１５に示すように、符号化テーブル
器１７の構成のみを上記図１及び図２に示したウォータ
マーク付加器１の構成と異ならせる。

【０１７７】符号化テーブル器１７は、簡易符号解読器
１１で必須となる符号化テーブルであり、符号化ビット
列を修正する対象が可変長符号部分だけである点に特徴
がある。

【０１７８】すなわち、符号化テーブル器１７では、可
変長符号のテーブルが必須となる。図では、ＤＣＴ係数
の符号化テーブル（ＡＣ成分を含む、一般に可変長符
号）を用いる例を記した。

【０１７９】ウォータマーク付加器４で行なわれる一連
の処理を図１６に示す。ステップＳ８Ｃで対象となる符
号を修正するために参照する符号化テーブルが、図２に
示したウォータマーク付加器２が参照する符号化テーブ
ルと異なる。

【０１８０】このように、変形例となる画像信号処理装
置は、ウォータマーク付加器４で、改めて符号化を行わ
なくても付随情報を付加でき、かつ可変長符号部分で符
号長を変えずに付随情報を付加できる。

【０１８１】次に上記画像信号復号装置の変形例につい
て図１７及び図１８を用いて説明する。この変形例とな
る画像信号服装装置は、図１７に示すようなウォータマ
ーク検出器２４であり、ＤＣＴ係数の符号化テーブル器
３９が特徴的である。

【０１８２】すなわち、上記図８に示したウォータマー
ク検出器２２のＤＣＴ係数の符号化器テーブル器３１が
可変長符号部分と固定長符号部分を合わせた範囲内で符
号長の変わらない付随情報を検出できたのに対し、可変
長符号部分のみで符号長の変わらない付随情報を検出で
きる。

【０１８３】符号化テーブル器３９は、可変長符号のテ
ーブルが必須となる。図では、ＤＣＴ係数の符号化テー
ブル（ＡＣ成分を含む、一般に可変長符号）を用いる例
を記した。

【０１８４】このウォータマーク検出器２４で行なわれ
る一連の処理を図１８に示す。ステップＳ１２Ｃで対象
となる符号を修正するために参照する符号化テーブルと
して、可変長符号を必要とする。

【０１８５】このように、画像信号復号装置の変形例
は、ウォータマーク検出器２４で、改めて符号化を行わ
なくても付随情報を付加でき、かつ可変長符号部分で符
号長を変えずに付随情報を検出できる。

【０１８６】ただ、符号化ビット列上で付随情報を検出
する際の対象となる符号の位置まで、符号化ビット列を
読み進めるためには、全てもしくは少なくとも主要部分
の符号化テーブルを用意する必要がある。

【０１８７】上記の例では、ＤＣＴ係数の符号化テーブ
ル（ＡＣ成分を含む、一般に可変長符号）を用いる例を
記したが、他のどのような符号化テーブルを利用するこ
とにしても良い。この一例として、マクロブロック単位
で符号化される動きベクトルの符号化テーブル等が挙げ
られる。

【０１８８】評価値ｓｕｍを閾値ｔｈと比較する際に
は、先に示した比較方法以外のどのような比較方法を用
いても良い。例えば、評価値のバイアス成分Ｂが一定で
あることを利用して、どの程度バイアス成分が保持され
ているとみなすか示すバイアス信頼係数ｃ（０≦ｃ≦
１）と共に比較を行なっても良い。また、何らかの方法
を用いて標準的な評価値を算出し、その値と実際の評価
値とを比較することによって、付随情報の検出を行なっ
ても良い。

【０１８９】また、ウォータマークのシンボルは、プラ
ス、マイナス以外のどのようなシンボルを用いても良
い。また、２種類ではなく、３種類以上のどのようなシ
ンボルを用いても良い。例えば、プラス、ゼロ、マイナ
スの３種類のシンボルを用意しておき、ウォータマーク
パターンとの照合を行なった際にシンボルがゼロである
符号については、評価値ｓｕｍに影響を与えない（その
符号で表される値を評価値ｓｕｍに足しも引きもしな
い）ようにするなど、各シンボルにどのような意味を与
えても良い。

【０１９０】ウォータマークパターンを符号化ビット列
上に付加する範囲は、任意で構わない。また、付加した
ウォータマークパターンとの整合が取れている限り、検
出時に評価値を求める範囲は任意で構わない。さらにウ
ォータマークパターンは、時間的あるいは空間的に渡る
より広い範囲を用いて、付加あるいは検出を行なうこと
にしても良い。例えば動画像シーケンスにおいては、時
間的な基準を用い、現フレームの時間的位置だけでな
く、過去や未来のフレームも利用して良い。

【０１９１】例えば非常に大きな画像サイズを持つ静止
画像においては、１枚の画像をある単位で複数の画像領
域に分割して扱うことにし、空間的な基準を用い、現在
対象としている画像領域の符号に対して、例えば走査順
で前や後に位置する画像領域の符号も利用して良い。

【０１９２】

【発明の効果】以上説明したように、本発明によれば、
改めて符号化あるいは復号を行なわなくても付随情報を
付加あるいは検出でき、かつ可変長符号部分と固定長符
号部分を合わせた範囲内又は、可変長符号部分のみのよ
うに、固定長符号部分の範囲に限定されることなく、こ
れらの処理を行なうことができる。

【図面の簡単な説明】

【図１】本発明の画像信号処理装置及び方法の実施の形
態となる画像信号処理装置の構成を示すブロック図であ
る。

【図２】上記画像信号処理装置を構成しているウォータ
マーク付加器の詳細なブロック図である。

【図３】上記図２に示したウォータマーク付加器の動作
を説明するためのフローチャートである。

【図４】先の出願におけるウォータマーク付加器の詳細
な構成を示すブロック図である。

【図５】上記図４に示した先の出願におけるウォータマ
ーク付加器の動作を説明するためのフローチャートであ
る。

【図６】固定長符号化部分の書き換え処理を説明するた
めの図である。

【図７】ＧＯＰの構造を説明するための図である。

【図８】マクロブロックの構造を説明するための図であ
る。

【図９】ＤＣＴ係数の直流成分の符号化を説明するため
の図である。

【図１０】本発明に係る画像信号復号装置及び方法の実
施の形態となる画像信号復号装置の構成を示すブロック
図である。

【図１１】上記図１０に示した画像信号復号装置を構成
するウォータマーク検出器の詳細な構成を示すブロック
図である。

【図１２】上記図１１に示したウォータマーク検出器の
動作を説明するためのフローチャートである。

【図１３】先の出願におけるウォータマーク検出器の詳
細な構成を示すブロック図である。

【図１４】上記図１３に示した先の出願におけるウォー
タマーク検出器の動作を説明するためのフローチャート
である。

【図１５】上記図２に示したウォータマーク付加器の変
形例の構成を示すブロック図である。

【図１６】上記図１５に示した変形例の動作を説明する
ためのフローチャートである。

【図１７】上記図８に示したウォータマーク検出器の変
形例の構成を示すブロック図である。

【図１８】上記図１７に示した変形例の動作を説明する
ためのフローチャートである。

【図１９】ビデオテープにおける補助情報の記録位置を
説明する図である。

【図２０】ウォータマークを説明するための図である。

【図２１】ウォータマークのパターンの例を示す図であ
る。

【図２２】ウォータマークを付加する操作を説明する図
である。

【図２３】ウォータマークが付加されている場合の評価
値を説明する図である。

【図２４】ウォータマークが付加されていない場合の評
価値を説明する図である。

【図２５】従来のエンコーダの構成を示すブロック図で
ある。

【図２６】従来のエンコーダの符号化器の構成を示すブ
ロック図である。

【図２７】従来のデコーダの構成を示すブロック図であ
る。

【図２８】従来の復号器の構成を示すブロック図であ
る。

【図２９】従来のウォータマーク付加器の構成を示すブ
ロック図である。

【図３０】従来のウォータマーク検出器の構成を示すブ
ロック図である。

【図３１】上記図２９に示したウォータマーク付加器の
動作を説明するためのフローチャートである。

【図３２】上記図３０に示したウォータマーク検出器の
動作を説明するためのフローチャートである。

【符号の説明】

１ウォータマーク付加器、１１ 簡易符号解読器、１２
付随情報付加器、１３ 符号化テーブル器、１４ ウ
ォータマークパターン照合制御器、１５ ウォータマー
クパターン保持メモリ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 CA18 CB19 CE08 CG03 CG05 CG07 DA07 5C063 AB03 AB05 BA12 CA23 CA40 DA13 DA20 5C076 AA14 BA06 CA10

Claims (12)

【特許請求の範囲】
1. 【請求項１】 画像信号に対して付随情報をウォータマ
   ークとして埋め込む画像信号処理装置において、 上記入力画像信号を解読し、上記付随情報を付加する位
   置を可変長部分と固定長部分を合わせた範囲内で検出す
   る付加位置検出手段と、 上記付加位置検出手段で検出した上記位置に上記付随情
   報を付加する付随情報付加手段とを備えることを特徴と
   する画像信号処理装置。
2. 【請求項２】 上記付加位置検出手段は、上記入力画像
   信号に直交変換処理が施されたときの直交変換係数のＤ
   Ｃ成分の可変長部分と固定長部分を合わせた範囲内で上
   記付加位置を検出することを特徴とする請求項１記載の
   画像信号処理装置。
3. 【請求項３】 画像信号に対して付随情報をウォータマ
   ークとして埋め込む画像信号処理方法において、 入力画像信号を解読し、上記付随情報を付加する位置を
   可変長部分と固定長部分を合わせた範囲内で検出し、こ
   の検出した位置に上記付随情報に基づいた上記ウォータ
   マークを付加することを特徴とする画像信号処理方法。
4. 【請求項４】 画像信号に対して付随情報をウォータマ
   ークとして埋め込む画像信号処理装置において、 入力画像信号を解読し、上記付随情報を付加する位置を
   可変長部分の範囲内で検出する付加位置検出手段と、 上記付加位置検出手段で検出した上記位置に関する情報
   と上記入力画像信号とを受け取り、上記位置に上記付随
   情報を付加する付随情報付加手段とを備えることを特徴
   とする画像信号処理装置。
5. 【請求項５】 上記付加位置検出手段は、上記入力画像
   信号に直交変換処理が施されたときの直交変換係数のＡ
   Ｃ成分の可変長部分の範囲内で上記付加位置を検出する
   ことを特徴とする請求項４記載の画像信号処理装置。
6. 【請求項６】 画像信号に対して付随情報をウォータマ
   ークとして埋め込む画像信号処理方法において、 入力画像信号を解読し、上記付随情報を付加する位置を
   可変長部分の範囲内で検出し、この検出した位置に上記
   付随情報に基づいたウォータマークを付加することを特
   徴とする画像信号処理方法。
7. 【請求項７】 ウォータマークとして付随情報が埋め込
   まれた画像信号を復号する画像信号復号装置において、 上記入力画像信号を解読し、上記付随情報が付加されて
   いる位置を可変長部分と固定長部分を合わせた範囲内で
   検出する付加位置検出手段と、 上記付加位置検出手段で検出した上記位置に関する位置
   情報を基に、上記付随情報を取り出す付随情報抽出手段
   とを備えることを特徴とする画像信号復号装置。
8. 【請求項８】 上記付加位置検出手段は、上記入力画像
   信号に直交変換処理が施されたときの直交変換係数のＤ
   Ｃ成分の可変長部分と固定長部分を合わせた範囲内で上
   記付加位置を検出することを特徴とする請求項７記載の
   画像信号復号装置。
9. 【請求項９】 ウォータマークとして付随情報が埋め込
   まれた画像信号を復号する画像信号復号方法において、 上記入力画像信号を解読し、上記付随情報が付加されて
   いる位置を可変長部分と固定長部分を合わせた範囲内で
   検出し、検出した上記位置に関する位置情報と上記入力
   画像信号とを受け取り、上記付随情報を取り出して復号
   することを特徴とする画像信号復号方法。
10. 【請求項１０】 ウォータマークとして付随情報が埋め
    込まれた画像信号を復号する画像信号復号装置におい
    て、 上記入力画像信号を解読し、上記付随情報が付加されて
    いる位置を可変長部分の範囲内で検出する付加位置検出
    手段と、 上記付加位置検出手段で検出した上記位置に関する位置
    情報と上記入力画像信号とを受け取り、上記付随情報を
    抽出する付随情報抽出手段とを備えることを特徴とする
    画像信号復号装置。
11. 【請求項１１】 上記付加位置検出手段は、上記入力画
    像信号に直交変換処理が施されたときの直交変換係数の
    ＡＣ成分の可変長部分の範囲内で上記付加位置を検出す
    ることを特徴とする請求項１０記載の画像信号復号装
    置。
12. 【請求項１２】 ウォータマークとして付随情報が埋め
    込まれた画像信号を復号する画像信号復号方法におい
    て、 上記入力画像信号を解読し、上記付随情報が付加されて
    いる位置を可変長部分の範囲内で検出し、検出した上記
    位置に関する位置情報と上記入力画像信号とを受け取
    り、上記付随情報を取り出して復号することを特徴とす
    る画像信号復号方法。