JP2003209816A - 電子透かし埋め込み装置、電子透かし埋め込み方法、電子透かし抽出装置、電子透かし抽出方法、及びデータ記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ＭＰＥＧ−４ビジュアル符号化標準（ISO/IE
C 14496-2）のようなオブジェクト符号化方式を用いて
符号化された画像データに、著作権情報等の独自情報を
電子透かしとして埋め込む際に、再生時の画質の劣化が
著しく少ないか、または劣化がみられないように埋め込
む。 【解決手段】 埋め込み・符号化制御手段１で、前記独
自情報ｓ１０３等を生成し、埋め込み領域検出手段２３
で、少なくとも１つの前景オブジェクトの形状情報を用
いて電子透かしを埋め込む埋め込み領域を検出し、埋め
込み位置決定手段２４で、前記埋め込み領域内の埋め込
み位置を決定し、空間領域電子透かし埋め込み手段９
で、暗号鍵を用いて暗号化された独自情報を、前記埋め
込み領域内の前記埋め込み位置の範囲内にある画素の輝
度値または色値に電子透かしとして埋め込む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データに人の
視覚に知覚できない形式で著作権情報等の独自情報を埋
め込む電子透かしに関する。

【０００２】

【従来の技術】近年、動画像符号化の国際的な標準化団
体MPEG（Moving Picture Experts Group）により規定さ
れた、ＭＰＥＧ−２ビデオ符号化標準（ISO/IEC 13818-
2）やＭＥＰＧ−４ビジュアル符号化標準（ISO/IEC 144
96-2）等に見られるような画像圧縮技術の進歩に伴い、
デジタル画像データを元の1/5倍から1/10倍のデータ量
に圧縮符号化できるようになるとともに、ISDNやインタ
ーネット等のデジタルネットワークインフラが整備され
て通信路が高速・広帯域化するにつれて、個人がデジタ
ルネットワークに接続した情報端末を介して、容易に圧
縮符号化された高画質の画像データを送受信できるよう
になった。そして、放送局や映画会社などが、このよう
な画像圧縮技術やデジタルネットワークを用いた個人向
けの番組や映画コンテンツの配信ビジネスを行うことを
検討している。しかし、前述のような配信ビジネスを始
めるにあたっての大きな問題として、個人によりダウン
ロードされた番組や映画コンテンツの違法コピー対策が
議論されている。

【０００３】番組や映画コンテンツの違法コピーを防止
するための対策としては、従来より、暗号技術を用い
て、前記番組や映画コンテンツをスクランブル化して映
画会社から認証された者以外の視聴を不可能にする技術
や、番組や映画コンテンツの違法コピーが発覚した際
に、放送局や映画会社のみが検出可能な方式でその番組
や映画コンテンツに埋め込まれた著作権情報等の独自情
報を抽出して違法コピーの事実を証明する技術等の開発
が盛んに行われている。そして、前述した違法コピーを
証明可能な技術の一つとして、番組や映画コンテンツ等
のデジタル画像データに人の視覚に知覚できない形式で
著作権情報等の独自情報を埋め込む技術（以下、「電子
透かし」と称す。）がある。

【０００４】以下、図２１を用いて、従来の電子透かし
の埋め込み方式について説明する。まず、電子透かしと
して埋め込む著作権情報等の独自情報７０に、利得係数
ｋを乗算器６９で乗算し、埋め込み演算器６７によっ
て、前記乗算器６９からの出力と、原画像６６のある所
定の画素の輝度値または色値のビット値を置換するなど
の方法により、前記独自情報７０を電子透かしとして埋
め込んだ画像６８を生成する。ここで、原画像６６の画
素の輝度値または色値への、前記独自情報７０の埋め込
み方式は、前述のような特定のビットプレーンのビット
値を置換するビットプレーン埋め込み方式、その他、画
像フレーム内の輝度ブロックまたは色ブロックを時間周
波数変換した後の周波数係数の特定帯域に前記独自情報
を埋め込む周波数係数埋め込み方式や、画像フレームの
動き予測後に検出された動きベクトルを前記独自情報で
制御する動きベクトル埋め込み方式等が検討されてい
る。

【０００５】また、以上のようにして電子透かしが埋め
込まれた画像から、前記独自情報７０を抽出するには、
例えば、前記独自情報７０を、ビットプレーン埋め込み
方式により電子透かしとして埋め込んだ場合、画素の輝
度値または色値から、電子透かしを埋め込んだビットプ
レーン値のビット値を抽出した後、抽出したデータを利
得係数ｋで除算することにより、前記独自情報７０を抽
出できる。

【０００６】

【発明が解決しようとする課題】しかしながら、前記ビ
ットプレーン埋め込み方式には、前記独自情報７０を電
子透かしとして埋め込むビットプレーン値を、画素の輝
度値または色値のＭＳＢ側に近づけると画質が劣化して
しまい、画素の輝度値または色値のＬＳＢ側に近づけれ
ば画質への影響度が小さくなるが、ＬＳＢ付近のビット
データを標的としたデータ改竄に弱くなる、という欠点
がある。また、前記周波数係数埋め込み方式には、前記
独自情報７０を電子透かしとして埋め込む周波数係数を
低域または高域に近づけると、画質劣化またはフィルタ
による除去の可能性が高くなってしまうため、前記独自
情報７０を電子透かしとして埋め込む埋め込む領域が、
中域の周波数係数に限定される、という欠点がある。さ
らに、前記動きベクトル埋め込み方式には、処理が複雑
になるという欠点がある。

【０００７】そして、従来の電子透かしの埋め込み方式
においては、ＭＰＥＧ−４ビジュアル符号化標準（ISO/
IEC 14496-2）のようなオブジェクト符号化方式にふさ
わしい、効率的な電子透かしの埋め込み方式は検討され
ておらず、原画像６６の画像状態に拘らず、ある所定の
位置に電子透かしが埋め込まれるため、電子透かしが埋
め込まれた画像データを再生した場合、画質の劣化が大
きい、という問題があった。

【０００８】本発明は、前記課題に鑑みてなされたもの
であり、ＭＰＥＧ−４ビジュアル符号化標準（ISO/IEC
14496-2）のようなオブジェクト符号化方式を用いて符
号化された画像データに、著作権情報等の独自情報を電
子透かしとして埋め込む際に、前記独自情報が埋め込ま
れた画像データを再生する時に、画質の劣化が著しく少
ないか、劣化が全くみられないように、電子透かしを埋
め込むことができる電子透かし埋め込み装置、または電
子透かし埋め込み方法、及び前述のようにして埋め込ま
れた前記独自情報を画像データから効率良く抽出するこ
とができる電子透かし抽出装置、または電子透かし抽出
方法、さらに、前述のような電子透かしの埋め込み処理
及び電子透かしの抽出処理をコンピュータで実行させる
ためのデータ記録媒体を提供することを目的とする。

【０００９】

【課題を解決するための手段】前記課題を解決するた
め、本発明（請求項１）にかかる電子透かし埋め込み装
置は、画像データを符号化し、かつ前記画像データを構
成する、少なくとも１つの前景オブジェクトまたは背景
オブジェクトの、画素の輝度値または色値に、著作権情
報等の独自情報を電子透かしとして埋め込む電子透かし
埋め込み装置において、前記独自情報、前記独自情報を
電子透かしとして埋め込む開始時点及び終了時点を指定
する埋め込み開始時刻及び埋め込み終了時刻等の前記電
子透かしを埋め込むために必要な埋め込み制御情報、前
記少なくとも１つの前景オブジェクト及び背景オブジェ
クトの表示位置や前後関係を指定する表示制御情報、及
び前記埋め込み制御情報等を基にして電子透かしを抽出
するために必要な抽出制御情報を生成し、符号化制御信
号及び前記埋め込み制御情報を基にして作成した埋め込
み制御信号により、前記画像データの符号化、及び電子
透かしの埋め込みを制御する埋め込み・符号化制御手段
と、前記埋め込み制御信号に応じて、前記埋め込み開始
時刻と前記埋め込み終了時刻との間に表示される、少な
くとも１つの画像フレーム内にある、少なくとも１つの
前景オブジェクトの形状情報から、前記独自情報を電子
透かしとして埋め込む埋め込み領域を検出する埋め込み
領域検出手段と、前記埋め込み制御信号に応じて、前記
埋め込み領域内の、電子透かしを埋め込む埋め込み位置
を決定する埋め込み位置決定手段と、前記埋め込み制御
信号に応じて、前記少なくとも１つの前景オブジェクト
または背景オブジェクトにおける前記埋め込み領域内
の、前記埋め込み位置の範囲内にある画素の輝度値また
は色値に、前記独自情報を電子透かしとして埋め込む空
間領域電子透かし埋め込み手段と、前記表示制御情報及
び前記抽出制御情報を符号化する制御情報符号化手段と
を備えるものである。

【００１０】また、本発明（請求項２）にかかる電子透
かし埋め込み装置は、画像データを符号化し、かつ前記
画像データを構成する、少なくとも１つの前景オブジェ
クトまたは背景オブジェクトの、画素の輝度値または色
値の時間周波数変換後の周波数係数に、著作権情報等の
独自情報を電子透かしとして埋め込む電子透かし埋め込
み装置において、前記独自情報、前記独自情報を電子透
かしとして埋め込む開始時点及び終了時点を指定する埋
め込み開始時刻及び埋め込み終了時刻等の前記電子透か
しを埋め込むために必要な埋め込み制御情報、前記少な
くとも１つの前景オブジェクト及び背景オブジェクトの
表示位置や前後関係を指定する表示制御情報、及び前記
埋め込み制御情報等を基にして電子透かしを抽出するた
めに必要な抽出制御情報を生成し、符号化制御信号及び
前記埋め込み制御情報を基にして作成した埋め込み制御
信号により、前記画像データの符号化、及び電子透かし
の埋め込みを制御する埋め込み・符号化制御手段と、前
記埋め込み制御信号に応じて、前記埋め込み開始時刻と
前記埋め込み終了時刻との間に表示される、少なくとも
１つの画像フレーム内にある、少なくとも１つの前景オ
ブジェクトの形状情報から、前記独自情報を電子透かし
として埋め込む埋め込み領域を検出する埋め込み領域検
出手段と、前記埋め込み制御信号に応じて、前記埋め込
み領域内の、電子透かしを埋め込む埋め込み位置を決定
する埋め込み位置決定手段と、前記埋め込み制御信号に
応じて、前記少なくとも１つの前景オブジェクトまたは
背景オブジェクトにおける前記埋め込み領域内の、前記
埋め込み位置の範囲内にある画素の輝度値または色値の
前記周波数係数に、前記独自情報を電子透かしとして埋
め込む周波数領域電子透かし埋め込み手段と、前記表示
制御情報及び前記抽出制御情報を符号化する制御情報符
号化手段とを備えるものである。

【００１１】また、本発明（請求項３）にかかる電子透
かし埋め込み装置は、請求項１記載の電子透かし埋め込
み装置において、前記空間領域電子透かし埋め込み手段
により、前記独自情報が電子透かしとして埋め込まれた
前記少なくとも１つの前景オブジェクトまたは背景オブ
ジェクトの画素の輝度値または色値から、前記独自情報
を削除して、元の画像データの画素の輝度値または色値
に戻す、電子透かし削除手段を備え、電子透かしの埋め
込まれた前記各前景オブジェクトまたは背景オブジェク
トを圧縮符号化する際には、前記電子透かし削除手段か
ら出力される前記各前景オブジェクトまたは背景オブジ
ェクトを参照画像データとして用いて、予測符号化を行
うものである。

【００１２】また、本発明（請求項４）にかかる電子透
かし埋め込み装置は、請求項１記載の電子透かし埋め込
み装置において、前記埋め込み領域検出手段は、前記埋
め込み開始時刻と前記埋め込み終了時刻との間に表示さ
れる少なくとも１つの画像フレーム内にある、前記少な
くとも１つの前景オブジェクトの形状情報が全て重なり
合う領域を、前記埋め込み領域として検出し、前記埋め
込み位置決定手段は、前記埋め込み領域に対応する前記
背景オブジェクトにおける領域内の、輝度ブロックまた
は色ブロック単位の埋め込み開始位置、及び上下左右方
向を組み合わせた８方向のうちの１つである埋め込み方
向を、前記領域内の画素の輝度値または色値の分布状態
より設定するとともに、前記領域内の埋め込みデータサ
イズを、前記独自情報を基にして設定することで、前記
埋め込み位置を決定し、前記空間領域電子透かし埋め込
み手段は、前記背景オブジェクトにおける前記領域内
の、前記埋め込み位置である前記埋め込み開始位置から
前記埋め込み方向に前記埋め込みデータサイズの範囲内
にある、画素の輝度値または色値に、前記独自情報を電
子透かしとして埋め込むものである。

【００１３】また、本発明（請求項５）にかかる電子透
かし埋め込み装置は、請求項２記載の電子透かし埋め込
み装置において、前記埋め込み領域検出手段は、前記埋
め込み開始時刻と前記埋め込み終了時刻との間に表示さ
れる少なくとも１つの画像フレーム内にある、少なくと
も１つの前景オブジェクトの形状情報が全て重なり合う
重なり領域を検出して、前記重なり領域内の輝度ブロッ
クまたは色ブロック内の、画素の輝度値または色値の前
記周波数係数の直流成分を中心とした前記周波数係数単
位の四分円の半径である最低周波数境界と最高周波数境
界との間にある前記周波数係数を、前記埋め込み領域と
して検出し、前記埋め込み位置決定手段は、前記埋め込
み領域に対応する前記背景オブジェクトにおける領域内
の、前記周波数係数単位の埋め込み開始位置、及び上下
左右方向を組み合わせた８方向のうちの１つである埋め
込み方向を、前記領域内の画素の輝度値または色値の分
布状態より設定するとともに、前記領域内の埋め込みデ
ータサイズを、前記独自情報を基にして設定すること
で、前記埋め込み位置を決定し、前記周波数領域電子透
かし埋め込み手段は、前記背景オブジェクトにおける前
記領域内の、前記埋め込み位置である前記埋め込み開始
位置から前記埋め込み方向に前記埋め込みデータサイズ
の範囲内にある、画素の輝度値または色値の前記周波数
係数に、前記独自情報を電子透かしとして埋め込むもの
である。

【００１４】また、本発明（請求項６）にかかる電子透
かし埋め込み装置は、請求項１記載の電子透かし埋め込
み装置において、前記埋め込み領域検出手段は、前記少
なくとも１つの前景オブジェクトの形状の輪郭線である
エッジから、前記各前景オブジェクトの形状領域の内部
方向またはパディング領域方向に、画素の輝度値または
色値単位で埋め込み領域幅を設定することにより、前記
埋め込み領域を検出し、前記埋め込み位置決定手段は、
前記埋め込み領域内の、輝度ブロックまたは色ブロック
単位の埋め込み開始位置、及び上下左右方向を組み合わ
せた８方向のうちの１つである埋め込み方向を、前記各
前景オブジェクトの動き状態より設定するとともに、前
記埋め込み領域内の埋め込みデータサイズを、前記独自
情報を基にして設定することで、前記埋め込み位置を決
定し、前記空間領域電子透かし埋め込み手段は、前記少
なくとも１つの前景オブジェクトにおける前記埋め込み
領域内の、前記埋め込み位置である前記埋め込み開始位
置から前記埋め込み方向に前記埋め込みデータサイズの
範囲内にある、画素の輝度値または色値に、前記独自情
報を電子透かしとして埋め込むものである。

【００１５】また、本発明（請求項７）にかかる電子透
かし埋め込み装置は、請求項２記載の電子透かし埋め込
み装置において、前記埋め込み領域検出手段は、前記埋
め込み領域内の、前記少なくとも１つの前景オブジェク
トの形状の輪郭線であるエッジを含む輝度ブロックまた
は色ブロックの境界ブロック内の、前記各前景オブジェ
クトの形状情報に応じて配置される画素の輝度値または
色値の前記周波数係数の外側で、かつ前記境界ブロック
内の前記周波数係数の直流成分を中心とした前記周波数
係数単位の四分円の半径である最低周波数境界と最高周
波数境界との間に、前記周波数係数単位で埋め込み領域
幅を設定することにより、前記埋め込み領域を検出し、
前記埋め込み位置決定手段は、前記埋め込み領域内の、
前記周波数係数単位の埋め込み開始位置、及び上下左右
方向を組み合わせた８方向のうちの１つである埋め込み
方向を、前記各前景オブジェクトの動き状態より設定す
るとともに、前記埋め込み領域内の埋め込みデータサイ
ズを、前記独自情報を基にして設定することで、前記埋
め込み位置を決定し、前記周波数領域電子透かし埋め込
み手段は、前記少なくとも１つの前景オブジェクトにお
ける前記埋め込み領域内の、前記埋め込み位置である前
記埋め込み開始位置から前記埋め込み方向に前記埋め込
みデータサイズの範囲内にある、画素の輝度値または色
値の前記周波数係数に、前記独自情報を電子透かしとし
て埋め込むものである。

【００１６】また、本発明（請求項８）にかかる電子透
かし埋め込み装置は、請求項５または請求項７記載の電
子透かし埋め込み装置において、前記埋め込み領域検出
手段は、画素の輝度値または色値の前記周波数係数の最
低周波数境界及び最高周波数境界を、画質への影響が最
小になる帯域、または前記埋め込み領域検出手段より後
段で使用されるフィルタの帯域を基にして決定するもの
である。

【００１７】また、本発明（請求項９）にかかる電子透
かし埋め込み装置は、請求項６記載の電子透かし埋め込
み装置において、前記埋め込み領域検出手段は、前記少
なくとも１つの前景オブジェクトの形状のエッジから、
前記各前景オブジェクトの形状領域の内部方向に設定す
る前記埋め込み領域幅を、前記各前景オブジェクトのエ
ッジ付近にある画素の輝度値または色値と、前記各前景
オブジェクトのエッジ付近にある背景オブジェクトの画
素の輝度値または色値との平均値の差、または前記各前
景オブジェクトのエッジ付近にある前記各前景オブジェ
クト及び背景オブジェクトの画素の輝度値または色値の
分散値に比例するよう設定するものである。

【００１８】また、本発明（請求項１０）にかかる電子
透かし埋め込み装置は、請求項６または請求項７記載の
電子透かし埋め込み装置において、前記埋め込み位置決
定手段は、前記少なくとも１つの前景オブジェクトが静
止物体であるとき、前記各前景オブジェクトのエッジ付
近にある埋め込み領域内の画素の輝度値または色値の分
散値が大きい部分に、前記埋め込み開始位置及び前記埋
め込み方向を設定し、前記各前景オブジェクトが移動物
体であるとき、前記埋め込み領域内の前記各前景オブジ
ェクトの移動方向と反対側のエッジ付近にある埋め込み
領域内の画素の輝度値または色値に、前記埋め込み開始
位置及び前記埋め込み方向を設定するものである。

【００１９】また、本発明（請求項１１）にかかる電子
透かし埋め込み装置は、請求項１記載の電子透かし埋め
込み装置において、前記埋め込み開始時刻と前記埋め込
み終了時刻との間に表示される少なくとも１つの画像フ
レーム内の、前記少なくとも１つの前景オブジェクトに
おける、完全に透明な状態及び完全に不透明な状態の間
の状態が任意の値をもつ透過度で表される形状情報を有
するとき、前記埋め込み領域検出手段は、前記埋め込み
開始時刻と前記埋め込み終了時刻との間に表示される少
なくとも１つの画像フレーム内にある、前記各前景オブ
ジェクトの形状情報が重なり合う領域を、前記埋め込み
領域として検出し、前記埋め込み位置決定手段は、前記
埋め込み領域に対応する、前記各前景オブジェクト及び
背景オブジェクトにおける領域内の、輝度ブロックまた
は色ブロック単位の埋め込み開始位置、及び上下左右方
向を組み合わせた８方向のうちの１つである埋め込み方
向を、前記領域内の画素の輝度値または色値の分布状態
より設定するとともに、前記領域内の埋め込みデータサ
イズを、前記独自情報を基にして設定することで、前記
埋め込み位置を決定し、前記空間領域電子透かし埋め込
み手段は、前記各前景オブジェクトの形状情報の透過度
より算出した割合で、前記独自情報を前記各前景オブジ
ェクト及び背景オブジェクトに分配するとともに、前記
各前景オブジェクト及び背景オブジェクトの前記領域内
の、前記埋め込み位置である前記埋め込み開始位置から
前記埋め込み方向に前記埋め込みデータサイズの範囲内
にある、画素の輝度値または色値に、前記各前景オブジ
ェクト及び背景オブジェクトに分配された前記独自情報
を電子透かしとして埋め込むものである。

【００２０】また、本発明（請求項１２）にかかる電子
透かし埋め込み装置は、請求項２記載の電子透かし埋め
込み装置において、前記埋め込み開始時刻と前記埋め込
み終了時刻との間に表示される少なくとも１つの画像フ
レーム内の、前記少なくとも１つの前景オブジェクトに
おける、完全に透明な状態及び完全に不透明な状態の間
の状態が任意の値をもつ透過度で表される形状情報を有
するとき、前記埋め込み領域検出手段は、前記埋め込み
開始時刻と前記埋め込み終了時刻との間に表示される少
なくとも１つの画像フレーム内にある、前記各前景オブ
ジェクトの形状情報が重なり合う領域を、前記埋め込み
領域として検出し、前記埋め込み位置決定手段は、前記
埋め込み領域に対応する、前記各前景オブジェクト及び
背景オブジェクトにおける領域内の、輝度ブロックまた
は色ブロック単位の埋め込み開始位置、及び上下左右方
向を組み合わせた８方向のうちの１つである埋め込み方
向を、前記領域内の画素の輝度値または色値の分布状態
より設定するとともに、前記領域内の埋め込みデータサ
イズを、前記独自情報を基にして設定することで、前記
埋め込み位置を決定し、前記周波数領域電子透かし埋め
込み手段は、前記各前景オブジェクトの形状情報の透過
度より算出した割合で、前記独自情報を前記各前景オブ
ジェクト及び背景オブジェクトに分配するとともに、前
記各前景オブジェクト及び背景オブジェクトの前記領域
内の、前記埋め込み位置である前記埋め込み開始位置か
ら前記埋め込み方向に前記埋め込みデータサイズの範囲
内にある、画素の輝度値または色値の前記周波数係数
に、前記各前景オブジェクト及び背景オブジェクトに分
配された前記独自情報を電子透かしとして埋め込むもの
である。

【００２１】また、本発明（請求項１３）にかかる電子
透かし埋め込み装置は、請求項１または請求項２記載の
電子透かし埋め込み装置において、前記制御情報符号化
手段は、前記抽出制御情報と、前記表示制御情報とを、
メタデータまたはバイナリデータとして符号化するもの
である。

【００２２】また、本発明（請求項１４）にかかる電子
透かし埋め込み装置は、請求項１または請求項２記載の
電子透かし埋め込み装置において、前記少なくとも１つ
の前景オブジェクト及び背景オブジェクトからなる符号
化された画像データと、前記少なくとも１つの前景オブ
ジェクトの符号化された形状情報と、メタデータ及びバ
イナリデータに符号化された前記抽出制御情報及び前記
表示制御情報とを多重化して、ストリームとして出力す
るか、前記少なくとも１つの符号化された前景オブジェ
クトと、前記少なくとも１つの前景オブジェクトの符号
化された形状情報とを１つのデータ単位とし、符号化さ
れた前記背景オブジェクトを１つのデータ単位とし、前
記メタデータ及びバイナリデータに符号化された前記抽
出制御情報及び前記表示制御情報を１つのデータ単位と
し、前記各データ単位毎に、少なくとも識別情報及びデ
ータサイズを設定したヘッダ情報を付加した後に多重化
してファイルに記録して出力するものである。

【００２３】また、本発明（請求項１５）にかかる電子
透かし埋め込み装置は、請求項１または請求項２記載の
電子透かし埋め込み装置において、前記空間領域電子透
かし埋め込み手段、もしくは前記周波数領域電子透かし
埋め込み手段は、前記独自情報を前記埋め込み制御信号
で指定する暗号鍵を用いて暗号化した後、前記少なくと
も１つの前景オブジェクトまたは前記背景オブジェクト
の画素の輝度値または色値、もしくは画素の輝度値また
は色値の前記周波数係数に、暗号化された前記独自情報
を電子透かしとして埋め込むものである。

【００２４】また、本発明（請求項１６）にかかる電子
透かし抽出装置は、符号化された画像データを構成す
る、少なくとも１つの符号化された前景オブジェクトま
たは符号化された背景オブジェクトの画素の輝度値また
は色値から、電子透かしとして埋め込まれた著作権情報
等の独自情報を抽出し、かつ前記符号化された画像デー
タを復号する電子透かし抽出装置において、前記符号化
された画像データに前記独自情報を電子透かしとして埋
め込む開始時点及び終了時点を指定する埋め込み開始時
刻及び埋め込み終了時刻等の、前記電子透かしを抽出す
るために必要な符号化された抽出制御情報、及び前記少
なくとも１つの前景オブジェクト及び前記背景オブジェ
クトの表示位置や前後関係を指定する符号化された表示
制御情報を復号する制御情報復号手段と、前記符号化さ
れた画像データの復号、及び電子透かしの抽出を制御
し、前記抽出制御情報及び表示制御情報から、抽出制御
信号及び表示制御信号を生成する抽出・復号制御手段
と、前記抽出制御信号で指定される前記埋め込み開始時
刻と前記埋め込み終了時刻との間に表示される、少なく
とも１つの画像フレーム内にある前記少なくとも１つの
前景オブジェクトの形状情報から、前記独自情報が電子
透かしとして埋め込まれている領域を、抽出領域として
検出する抽出領域検出手段と、前記抽出制御信号に応じ
て、前記少なくとも１つの前景オブジェクトまたは背景
オブジェクトにおける前記抽出領域内の前記抽出制御信
号で指定される、前記電子透かしが埋め込まれている前
記埋め込み位置の範囲内にある画素の輝度値または色値
から、前記独自情報を抽出する空間領域電子透かし抽出
手段と、前記表示制御信号に応じて、前記少なくとも１
つの前景オブジェクト及び背景オブジェクトを１つの画
面に合成して、モニターに表示する画像合成手段とを備
えるものである。

【００２５】また、本発明（請求項１７）にかかる電子
透かし抽出装置は、符号化された画像データを構成す
る、少なくとも１つの符号化された前景オブジェクトま
たは符号化された背景オブジェクトの画素の輝度値また
は色値の時間周波数変換後の周波数係数から、電子透か
しとして埋め込まれた著作権情報等の独自情報を抽出
し、かつ前記符号化された画像データを復号する電子透
かし抽出装置において、前記符号化された画像データに
前記独自情報を電子透かしとして埋め込む開始時点及び
終了時点を指定する埋め込み開始時刻及び埋め込み終了
時刻等の、前記電子透かしを抽出するために必要な符号
化された抽出制御情報、及び前記少なくとも１つの前景
オブジェクト及び背景オブジェクトの表示位置や前後関
係を指定する符号化された表示制御情報を復号する制御
情報復号手段と、前記符号化された画像データの復号、
及び電子透かしの抽出を制御し、前記抽出制御情報及び
表示制御情報から、抽出制御信号及び表示制御信号を生
成する抽出・復号制御手段と、前記抽出制御信号で指定
される前記埋め込み開始時刻と前記埋め込み終了時刻と
の間に表示される、少なくとも１つの画像フレーム内に
ある前記少なくとも１つの前景オブジェクトの形状情報
から、前記独自情報が電子透かしとして埋め込まれてい
る領域を抽出領域として検出する抽出領域検出手段と、
前記抽出制御信号に応じて、前記少なくとも１つの前景
オブジェクトまたは背景オブジェクトにおける前記抽出
領域内の前記抽出制御信号で指定される、前記電子透か
しが埋め込まれている埋め込み位置の範囲内にある、画
素の輝度値または色値の前記周波数係数から、前記独自
情報を抽出する周波数領域電子透かし抽出手段と、前記
表示制御信号に応じて、前記少なくとも１つの前景オブ
ジェクト及び背景オブジェクトを１つの画面に合成し
て、モニターに表示する画像合成手段とを備えるもので
ある。

【００２６】また、本発明（請求項１８）にかかる電子
透かし抽出装置は、請求項１６記載の電子透かし抽出装
置において、前記独自情報が、前記背景オブジェクトの
画素の輝度値または色値に、電子透かしとして埋め込ま
れているとき、前記抽出領域検出手段は、前記埋め込み
開始時刻と前記埋め込み終了時刻との間に表示される、
前記抽出制御信号により指定される画像フレーム内にあ
る、前記少なくとも１つの前景オブジェクトの形状情報
が重なり合う領域を抽出領域として検出し、前記空間領
域電子透かし抽出手段は、前記抽出領域に対応する前記
背景オブジェクトにおける領域内の、前記抽出制御信号
で指定する輝度ブロックまたは色ブロック単位の埋め込
み開始位置から、上下左右方向を組み合わせた８方向の
うちの１つである埋め込み方向に、前記独自情報のデー
タ量である埋め込みデータサイズで指定される前記埋め
込み位置の、画素の輝度値または色値から、電子透かし
として埋め込まれた前記独自情報を抽出するものであ
る。

【００２７】また、本発明（請求項１９）にかかる電子
透かし抽出装置によれば、請求項１７記載の電子透かし
抽出装置において、前記独自情報が、前記背景オブジェ
クトの画素の輝度値または色値の前記周波数係数に、電
子透かしとして埋め込まれているとき、前記抽出領域検
出手段は、前記埋め込み開始時刻と前記埋め込み終了時
刻との間に表示される、前記抽出制御信号により指定さ
れる画像フレーム内にある、前記少なくとも１つの前景
オブジェクトの形状情報が重なり合う重なり領域を検出
し、前記重なり領域内の輝度ブロックまたは色ブロック
内の画素の輝度値または色値の前記周波数係数の直流成
分を中心とした前記周波数係数単位の四分円の半径であ
る最低周波数境界と最高周波数境界との間にある前記周
波数係数を、抽出領域として検出し、前記周波数領域電
子透かし抽出手段は、前記抽出領域に対応する前記背景
オブジェクトにおける領域内の、前記抽出制御信号で指
定する前記周波数係数単位の埋め込み開始位置から、上
下左右方向を組み合わせた８方向のうちの１つである埋
め込み方向に、前記独自情報のデータ量である埋め込み
データサイズで指定される、前記埋め込み位置の範囲内
にある画素の輝度値または色値の前記周波数係数から、
電子透かしとして埋め込まれた前記独自情報を抽出する
ものである。

【００２８】また、本発明（請求項２０）にかかる電子
透かし抽出装置は、請求項１６記載の電子透かし抽出装
置において、前記独自情報が、前記少なくとも１つの前
景オブジェクトの輝度値または色値に、電子透かしとし
て埋め込まれているとき、前記抽出領域検出手段は、前
記抽出制御信号により指定される画像フレーム内にあ
る、前記抽出制御信号により指定される、前記各前景オ
ブジェクトの形状の輪郭であるエッジから、前記各前景
オブジェクトの形状領域の内部方向またはパディング領
域方向への、画素の輝度値または色値単位の埋め込み領
域幅を、抽出領域として検出し、前記空間領域電子透か
し抽出手段は、前記少なくとも１つの前景オブジェクト
における前記抽出領域内の前記抽出制御信号で指定す
る、輝度ブロックまたは色ブロック単位の埋め込み開始
位置から、上下左右方向を組み合わせた８方向のうちの
１つである埋め込み方向に、前記独自情報のデータ量で
ある埋め込みデータサイズで指定される、前記埋め込み
位置の範囲内にある画素の輝度値または色値から、電子
透かしとして埋め込まれた前記独自情報を抽出するもの
である。

【００２９】また、本発明（請求項２１）にかかる電子
透かし抽出装置は、請求項１７記載の電子透かし抽出装
置において、前記独自情報が、前記少なくとも１つの前
景オブジェクトの画素の輝度値または色値の前記周波数
係数に、電子透かしとして埋め込まれているとき、前記
抽出領域検出手段は、前記抽出制御信号により指定され
る画像フレーム内にある、前記抽出制御信号により指定
される、前記各前景オブジェクトの形状の輪郭であるエ
ッジを含む画素の輝度ブロックまたは色ブロックの境界
ブロック内の、前記各前景オブジェクトの形状情報に応
じて配置される画素の輝度値または色値の前記周波数係
数の外側で、かつ前記境界ブロック内の前記周波数係数
の直流成分を中心とした前記周波数係数単位の四分円の
半径である最低周波数境界と最高周波数境界との間にあ
る前記周波数係数単位の埋め込み領域幅を、抽出領域と
して検出し、前記周波数領域電子透かし抽出手段は、前
記少なくとも１つの前景オブジェクトにおける前記抽出
領域内の前記抽出制御信号で指定する、前記周波数係数
単位の埋め込み開始位置から、上下左右方向を組み合わ
せた８方向のうちの１つである埋め込み方向に、前記独
自情報のデータ量である埋め込みデータサイズで指定さ
れる、前記埋め込み位置の範囲内にある画素の輝度値ま
たは色値の前記周波数係数から、電子透かしとして埋め
込まれた前記独自情報を抽出するものである。

【００３０】また、本発明（請求項２２）にかかる電子
透かし抽出装置は、請求項１６記載の電子透かし抽出装
置において、前記独自情報が、前記埋め込み開始時刻と
前記埋め込み終了時刻との間に表示される少なくとも１
つの画像フレーム内の、完全に透明な状態及び完全に不
透明な状態の間の状態が任意の値をもつ透過度で表され
る形状情報を有する、前記少なくとも１つの前景オブジ
ェクトまたは背景オブジェクトの画素の輝度値または色
値に、電子透かしとして埋め込まれているとき、前記抽
出領域検出手段は、前記埋め込み開始時刻と前記埋め込
み終了時刻との間に表示される、前記抽出制御信号によ
り指定される画像フレーム内にある、前記各前景オブジ
ェクトの形状情報が重なり合う領域を抽出領域として検
出し、前記空間領域電子透かし抽出手段は、前記抽出領
域に対応する前記各前景オブジェクトまたは背景オブジ
ェクトにおける領域内の、前記抽出制御信号で指定す
る、輝度ブロックまたは色ブロック単位の埋め込み開始
位置から、上下左右方向を組み合わせた８方向のうちの
１つである埋め込み方向に、前記独自情報のデータ量で
ある埋め込みデータサイズで指定される前記埋め込み位
置の範囲内にある画素の輝度値または色値から、電子透
かしとして埋め込まれた前記独自情報を抽出するもので
ある。

【００３１】また、本発明（請求項２３）にかかる電子
透かし抽出装置は、請求項１７記載の電子透かし抽出装
置において、前記独自情報が、前記埋め込み開始時刻と
前記埋め込み終了時刻との間に表示される少なくとも１
つの画像フレーム内の、完全に透明な状態及び完全に不
透明な状態の間の状態が任意の値をもつ透過度で表され
る形状情報を有する、前記少なくとも１つの前景オブジ
ェクトまたは背景オブジェクトの画素の輝度値または色
値の前記周波数係数に、電子透かしとして埋め込まれて
いるとき、前記抽出領域検出手段は、前記埋め込み開始
時刻と前記埋め込み終了時刻との間に表示される、前記
抽出制御信号により指定される画像フレーム内にある、
前記各前景オブジェクトの形状情報が重なり合う領域を
検出し、前記重なり合う領域内の輝度ブロックまたは色
ブロック内の前記周波数係数の直流成分を中心とした前
記周波数係数単位の四分円の半径である最低周波数境界
と最高周波数境界との間にある前記周波数係数を、抽出
領域として検出し、前記周波数領域電子透かし抽出手段
は、前記抽出領域検出手段により検出された前記抽出領
域に対応する前記各前景オブジェクトまたは背景オブジ
ェクトにおける領域内の、前記抽出制御信号で指定す
る、輝度ブロックまたは色ブロック単位の埋め込み開始
位置から、上下左右方向を組み合わせた８方向のうちの
１つである埋め込み方向に、前記独自情報のデータ量で
ある埋め込みデータサイズで指定される、前記埋め込み
位置の範囲内にある画素の輝度値または色値の前記周波
数係数から、前記電子透かしとして埋め込まれた前記独
自情報を抽出するものである。

【００３２】また、本発明（請求項２４）にかかる電子
透かし埋め込み方法は、画像データを符号化し、かつ前
記画像データを構成する、少なくとも１つの前景オブジ
ェクトまたは背景オブジェクトの、画素の輝度値または
色値に、著作権情報等の独自情報を電子透かしとして埋
め込む電子透かし埋め込み方法において、前記独自情
報、前記独自情報を電子透かしとして埋め込む開始時点
及び終了時点を指定する埋め込み開始時刻及び埋め込み
終了時刻等の電子透かしを埋め込むために必要な埋め込
み制御情報、前記少なくとも１つの前景オブジェクト及
び背景オブジェクトの表示位置や前後関係を指定する表
示制御情報、及び前記埋め込み制御情報等を基にして電
子透かしを抽出するために必要な抽出制御情報を生成
し、符号化制御信号、及び前記埋め込み制御情報を基に
して生成した埋め込み制御信号により、前記画像データ
の符号化及び電子透かしの埋め込みを制御する埋め込み
・符号化制御ステップと、前記埋め込み制御信号に応じ
て、前記埋め込み開始時刻と前記埋め込み終了時刻との
間に表示される、少なくとも１つの画像フレーム内にあ
る、少なくとも１つの前景オブジェクトの形状情報か
ら、前記独自情報を電子透かしとして埋め込む、埋め込
み領域を検出する埋め込み領域検出ステップと、前記埋
め込み制御信号に応じて、前記埋め込み領域内の、電子
透かしを埋め込む埋め込み位置を決定する埋め込み位置
決定ステップと、前記埋め込み制御信号に応じて、前記
少なくとも１つの前景オブジェクトまたは背景オブジェ
クトにおける前記埋め込み領域内の、前記埋め込み位置
の範囲内にある画素の輝度値または色値に、前記独自情
報を電子透かしとして埋め込む空間領域電子透かし埋め
込みステップと、前記表示制御情報及び前記抽出制御情
報を符号化する制御情報符号化ステップとを有するもの
である。

【００３３】また、本発明（請求項２５）にかかる電子
透かし埋め込み方法は、画像データを符号化し、かつ前
記画像データを構成する、少なくとも１つの前景オブジ
ェクトまたは背景オブジェクトの、画素の輝度値または
色値の時間周波数変換後の周波数係数に、著作権情報等
の独自情報を電子透かしとして埋め込む電子透かし埋め
込み方法において、前記独自情報、前記独自情報を電子
透かしとして埋め込む開始時点及び終了時点を指定する
埋め込み開始時刻及び埋め込み終了時刻等の電子透かし
を埋め込むために必要な埋め込み制御情報、前記少なく
とも１つの前景オブジェクト及び背景オブジェクトの表
示位置や前後関係を指定する表示制御情報、及び前記埋
め込み制御情報等を基にして電子透かしを抽出するため
に必要な抽出制御情報を生成し、符号化制御信号、及び
前記埋め込み制御情報を基にして生成した埋め込み制御
信号により前記画像データの符号化及び電子透かしの埋
め込みを制御する埋め込み・符号化制御ステップと、前
記埋め込み制御信号に応じて、前記埋め込み開始時刻と
前記埋め込み終了時刻との間に表示される、少なくとも
１つの画像フレーム内にある、少なくとも１つの前景オ
ブジェクトの形状情報から、前記独自情報を電子透かし
として埋め込む、埋め込み領域を検出する埋め込み領域
検出ステップと、前記埋め込み制御信号に応じて、前記
埋め込み領域内の、電子透かしを埋め込む埋め込み位置
を決定する埋め込み位置決定ステップと、前記埋め込み
制御信号に応じて、前記少なくとも１つの前景オブジェ
クトまたは背景オブジェクトにおける前記埋め込み領域
内の、前記埋め込み位置の範囲内にある画素の輝度値ま
たは色値の前記周波数係数に、前記独自情報を電子透か
しとして埋め込む周波数領域電子透かし埋め込みステッ
プと、前記表示制御情報及び前記抽出制御情報を符号化
する制御情報符号化ステップとを有するものである。

【００３４】また、本発明（請求項２６）にかかる電子
透かし埋め込み方法は、請求項２４記載の電子透かし埋
め込み方法において、前記空間領域電子透かし埋め込み
ステップより前記独自情報が電子透かしとして埋め込ま
れた、前記少なくとも１つの前景オブジェクトまたは背
景オブジェクトの画素の輝度値または色値から前記独自
情報を削除し、元の画素の輝度値または色値に戻す電子
透かし削除ステップを有し、電子透かしの埋め込まれた
前記少なくとも１つの前景オブジェクトまたは背景オブ
ジェクトを圧縮符号化する際には、前記電子透かし削除
ステップから出力される前記少なくとも１つの前景オブ
ジェクトまたは背景オブジェクトを参照画像データとし
て用いて、予測符号化を行うものである。

【００３５】また、本発明（請求項２７）にかかる電子
透かし埋め込み方法は、請求項２４記載の電子透かし埋
め込み方法において、前記埋め込み領域検出ステップ
は、前記埋め込み開始時刻と前記埋め込み終了時刻との
間に表示される少なくとも１つの画像フレーム内にあ
る、前記少なくとも１つの前景オブジェクトの形状情報
が全て重なり合う領域を、前記埋め込み領域として検出
し、前記埋め込み位置決定ステップは、前記埋め込み領
域に対応する前記背景オブジェクトにおける領域内の、
輝度ブロックまたは色ブロック単位の埋め込み開始位
置、及び上下左右方向を組み合わせた８方向のうちの１
つである埋め込み方向を、前記領域内の画素の輝度値ま
たは色値の分布状態より設定するとともに、前記領域内
の埋め込みデータサイズを、前記独自情報を基にして設
定することで、前記埋め込み位置を決定し、前記空間領
域電子透かし埋め込みステップは、前記背景オブジェク
トにおける前記領域内の、前記埋め込み位置である前記
埋め込み開始位置から前記埋め込み方向に前記埋め込み
データサイズの範囲内にある、画素の輝度値または色値
に、前記独自情報を電子透かしとして埋め込むものであ
る。

【００３６】また、本発明（請求項２８）にかかる電子
透かし埋め込み方法は、請求項２５記載の電子透かし埋
め込み方法において、前記埋め込み領域検出ステップ
は、前記埋め込み開始時刻と前記埋め込み終了時刻との
間に表示される少なくとも１つの画像フレーム内にあ
る、少なくとも１つの前景オブジェクトの形状情報が全
て重なり合う重なり領域を検出して、前記重なり領域内
の輝度ブロックまたは色ブロック内の画素の輝度値また
は色値の前記周波数係数の直流成分を中心とした前記周
波数係数単位の四分円の半径である最低周波数境界と最
高周波数境界との間にある前記周波数係数を、前記埋め
込み領域として検出し、前記埋め込み位置決定ステップ
は、前記埋め込み領域に対応する前記背景オブジェクト
における領域内の、輝度ブロックまたは色ブロック単位
の埋め込み開始位置、及び上下左右方向を組み合わせた
８方向のうちの１つである埋め込み方向を、前記領域内
の画素の輝度値または色値の分布状態より設定し、前記
領域内の埋め込みデータサイズを、前記独自情報を基に
して設定することで、前記埋め込み位置を決定し、前記
周波数領域電子透かし埋め込みステップは、前記背景オ
ブジェクトにおける前記領域内の、前記埋め込み位置で
ある前記埋め込み開始位置から前記埋め込み方向に前記
埋め込みデータサイズの範囲内にある、画素の輝度値ま
たは色値の前記周波数係数に、前記独自情報を電子透か
しとして埋め込むものである。

【００３７】また、本発明（請求項２９）にかかる電子
透かし埋め込み方法は、請求項２４記載の電子透かし埋
め込み方法において、前記埋め込み領域検出ステップ
は、前記少なくとも１つの前景オブジェクトの形状の輪
郭線であるエッジから、前記各前景オブジェクトの形状
領域の内部方向またはパディング領域方向に、画素の輝
度値または色値単位で埋め込み領域幅を設定することに
より、前記埋め込み領域を検出し、前記埋め込み位置決
定ステップは、前記埋め込み領域内の、輝度ブロックま
たは色ブロック単位の埋め込み開始位置、及び上下左右
方向を組み合わせた８方向のうちの１つである埋め込み
方向を、前記各前景オブジェクトの動き状態より設定す
るとともに、前記埋め込み領域内の埋め込みデータサイ
ズを、前記独自情報を基にして設定することで、前記埋
め込み位置を決定し、前記空間領域電子透かし埋め込み
ステップは、前記少なくとも１つの前景オブジェクトに
おける前記埋め込み領域内の、前記埋め込み位置である
前記埋め込み開始位置から前記埋め込み方向に前記埋め
込みデータサイズの範囲内にある、画素の輝度値または
色値に、前記独自情報を電子透かしとして埋め込むもの
である。

【００３８】また、本発明（請求項３０）にかかる電子
透かし埋め込み方法は、請求項２５記載の電子透かし埋
め込み方法において、前記埋め込み領域検出ステップ
は、前記埋め込み領域内の、前記少なくとも１つの前景
オブジェクトの形状の輪郭線であるエッジを含む輝度ブ
ロックまたは色ブロックの境界ブロック内の、前記各前
景オブジェクトの形状情報に応じて配置される画素の輝
度値または色値の前記周波数係数の外側で、かつ前記境
界ブロック内の前記周波数係数の直流成分を中心とした
前記周波数係数単位の四分円の半径である最低周波数境
界と最高周波数境界との間に、前記周波数係数単位で埋
め込み領域幅を設定することにより、前記埋め込み領域
を検出し、前記埋め込み位置決定ステップは、前記埋め
込み領域内の、輝度ブロックまたは色ブロック単位の埋
め込み開始位置、及び上下左右方向を組み合わせた８方
向のうちの１つである埋め込み方向を、前記各前景オブ
ジェクトの動き状態より設定するとともに、前記埋め込
み領域内の埋め込みデータサイズを、前記独自情報を基
にして設定することで、前記埋め込み位置を決定し、前
記周波数領域電子透かし埋め込みステップは、前記少な
くとも１つの前景オブジェクトにおける前記埋め込み領
域内の、前記埋め込み位置である前記埋め込み開始位置
から前記埋め込み方向に前記埋め込みデータサイズの範
囲内にある、画素の輝度値または色値の前記周波数係数
に、前記独自情報を電子透かしとして埋め込むものであ
る。

【００３９】また、本発明（請求項３１）にかかる電子
透かし埋め込み方法は、請求項２８または請求項３０記
載の電子透かし埋め込み方法において、前記埋め込み領
域検出ステップは、画素の輝度値または色値の前記周波
数係数の最低周波数境界及び最高周波数境界を、画質へ
の影響が最小となる帯域、または前記埋め込み領域検出
ステップより後で使用されるフィルタの帯域を基にして
決定するものである。

【００４０】また、本発明（請求項３２）にかかる電子
透かし埋め込み方法は、請求項３１記載の電子透かし埋
め込み方法において、前記埋め込み領域検出ステップ
は、前記少なくとも１つの前景オブジェクトの形状のエ
ッジから、前記各前景オブジェクトの形状領域の内部方
向に設定する前記埋め込み領域幅を、前記各前景オブジ
ェクトのエッジ付近にある画素の輝度値または色値と、
前記各前景オブジェクトのエッジ付近にある背景オブジ
ェクトの画素の輝度値または色値との、平均値の差、ま
たは前記各前景オブジェクトのエッジ付近にある前記各
前景オブジェクト及び背景オブジェクトの画素の輝度値
または色値の分散値に比例するよう設定するものであ
る。

【００４１】また、本発明（請求項３３）にかかる電子
透かし埋め込み方法は、請求項２９または請求項３０記
載の電子透かし埋め込み方法において、前記埋め込み位
置決定ステップは、前記少なくとも１つの前景オブジェ
クトが静止物体であるとき、前記各前景オブジェクトの
エッジ付近にある埋め込み領域内の画素の輝度値の分散
値が大きい部分に、前記埋め込み開始位置及び前記埋め
込み方向を設定し、前記各前景オブジェクトが移動物体
であるとき、前記埋め込み領域内の前記各前景オブジェ
クトの移動方向と反対側のエッジ付近にある埋め込み領
域内の画素の輝度値または色値に、前記埋め込み開始位
置及び埋め込み方向を設定するものである。

【００４２】また、本発明（請求項３４）にかかる電子
透かし埋め込み方法は、請求項２４記載の電子透かし埋
め込み方法において、前記埋め込み開始時刻と前記埋め
込み終了時刻との間に表示される少なくとも１つの画像
フレーム内の、前記少なくとも１つの前景オブジェクト
における、完全に透明な状態及び完全に不透明な状態の
間の状態が任意の値をもつ透過度で表される形状情報を
有するとき、前記埋め込み領域検出ステップは、前記埋
め込み開始時刻と前記埋め込み終了時刻との間に表示さ
れる少なくとも１つの画像フレーム内にある、前記各前
景オブジェクトの形状情報が重なり合う領域を、前記埋
め込み領域として検出し、前記埋め込み位置決定ステッ
プは、前記埋め込み領域に対応する、前記各前景オブジ
ェクト及び背景オブジェクトにおける領域内の、輝度ブ
ロックまたは色ブロック単位の埋め込み開始位置、及び
上下左右方向を組み合わせた８方向のうちの１つである
埋め込み方向を、前記領域内の画素の輝度値または色値
の分布状態より設定するとともに、前記領域内の埋め込
みデータサイズを、前記独自情報を基にして設定するこ
とで、前記埋め込み位置を決定し、前記空間領域電子透
かし埋め込みステップは、前記各前景オブジェクトの形
状情報の透過度より算出した割合で、前記独自情報を前
記各前景オブジェクト及び背景オブジェクトに分配する
とともに、前記各前景オブジェクト及び背景オブジェク
トにおける前記領域内の、前記埋め込み位置である前記
埋め込み開始位置から前記埋め込み方向に前記埋め込み
データサイズの範囲内にある、画素の輝度値または色値
に、前記各前景オブジェクト及び背景オブジェクトに分
配された前記独自情報を電子透かしとして埋め込むもの
である。

【００４３】また、本発明（請求項３５）にかかる電子
透かし埋め込み方法は、請求項２５記載の電子透かし埋
め込み方法において、前記埋め込み開始時刻と前記埋め
込み終了時刻との間に表示される少なくとも１つの画像
フレーム内の、前記少なくとも１つの前景オブジェクト
における、完全に透明な状態及び完全に不透明な状態の
間の状態が任意の値をもつ透過度で表される形状情報を
有するとき、前記埋め込み領域検出ステップは、前記埋
め込み開始時刻と前記埋め込み終了時刻との間に表示さ
れる少なくとも１つの画像フレーム内にある、前記各前
景オブジェクトの形状情報が重なり合う領域を、前記埋
め込み領域として検出し、前記埋め込み位置決定ステッ
プは、前記埋め込み領域に対応する、前記各前景オブジ
ェクト及び背景オブジェクトにおける領域内の、輝度ブ
ロックまたは色ブロック単位の埋め込み開始位置、及び
上下左右方向を組み合わせた８方向のうちの１つである
埋め込み方向を、前記領域内の画素の輝度値または色値
の分布状態より設定するとともに、前記領域内の埋め込
みデータサイズを、前記独自情報を基にして設定するこ
とで、前記埋め込み位置を決定し、前記周波数領域電子
透かし埋め込みステップは、前記各前景オブジェクトの
形状情報の透過度より算出した割合で、前記独自情報を
前記各前景オブジェクト及び背景オブジェクトに分配す
るとともに、前記各前景オブジェクト及び背景オブジェ
クトにおける前記領域内の、前記埋め込み位置である前
記埋め込み開始位置から前記埋め込み方向に前記埋め込
みデータサイズの範囲内にある、画素の輝度値または色
値の前記周波数係数に、前記各前景オブジェクト及び背
景オブジェクトに分配された前記独自情報を電子透かし
として埋め込むものである。

【００４４】また、本発明（請求項３６）にかかる電子
透かし抽出方法は、符号化された画像データを構成す
る、少なくとも１つの符号化された前景オブジェクトま
たは符号化された背景オブジェクトの画素の輝度値また
は色値から、電子透かしとして埋め込まれた著作権情報
等の独自情報を抽出し、かつ前記符号化された画像デー
タを復号する電子透かし抽出方法において、前記符号化
された画像データに前記独自情報を電子透かしとして埋
め込む開始時点及び終了時点を指定する埋め込み開始時
刻及び埋め込み終了時刻等の前記電子透かしを抽出する
ために必要な符号化された抽出制御情報、及び前記少な
くとも１つの前景オブジェクト及び背景オブジェクトの
表示位置や前後関係を指定する符号化された表示制御情
報を復号する制御情報復号ステップと、前記抽出制御情
報及び表示制御情報から、抽出制御信号及び表示制御信
号を生成し、前記符号化された画像データの復号及び電
子透かしの抽出を制御する抽出・復号制御ステップと、
前記抽出制御信号で指定される前記埋め込み開始時刻と
前記埋め込み終了時刻との間に表示される、少なくとも
１つの画像フレーム内にある少なくとも１つの前景オブ
ジェクトの形状情報から、前記独自情報が電子透かしと
して埋め込まれている領域を、抽出領域として検出する
抽出領域検出ステップと、前記抽出制御信号に応じて、
前記少なくとも１つの前景オブジェクトまたは背景オブ
ジェクトにおける前記抽出領域内の、前記抽出制御信号
で指定される、前記電子透かしが埋め込まれている埋め
込み位置の範囲内にある画素の輝度値または色値から、
前記独自情報を抽出する空間領域電子透かし抽出ステッ
プと、前記表示制御信号に応じて、前記少なくとも１つ
の前景オブジェクト及び背景オブジェクトを１つの画面
に合成してモニターに表示する画像合成ステップとを有
するものである。

【００４５】また、本発明（請求項３７）にかかる電子
透かし抽出方法は、符号化された画像データを構成す
る、少なくとも１つの符号化された前景オブジェクトま
たは符号化された背景オブジェクトの画素の輝度値また
は色値の時間周波数変換後の周波数係数から、電子透か
しとして埋め込まれた著作権情報等の独自情報を抽出
し、かつ前記符号化された画像データを復号する電子透
かし抽出方法において、前記符号化された画像データに
前記独自情報を電子透かしとして埋め込む開始時点及び
終了時点を指定する埋め込み開始時刻及び埋め込み終了
時刻等の前記電子透かしを抽出するために必要な符号化
された抽出制御情報、及び前記少なくとも１つの前景オ
ブジェクト及び背景オブジェクトの表示位置や前後関係
を指定する符号化された表示制御情報を復号する制御情
報復号ステップと、前記抽出制御情報及び表示制御情報
から、抽出制御信号及び表示制御信号を生成し、前記符
号化された画像データの復号及び電子透かしの抽出を制
御する抽出・復号制御ステップと、前記抽出制御信号で
指定される前記埋め込み開始時刻と前記埋め込み終了時
刻との間に表示される、少なくとも１つの画像フレーム
内にある前記少なくとも１つの前景オブジェクトの形状
情報から、前記独自情報が電子透かしとして埋め込まれ
ている領域を抽出領域として検出する抽出領域検出ステ
ップと、前記抽出制御信号に応じて、前記抽出領域内
の、前記抽出制御信号で指定される、前記電子透かしが
埋め込まれている埋め込み位置の画素の輝度値または色
値の前記周波数係数から、前記独自情報を抽出する周波
数領域電子透かし抽出ステップと、前記表示制御信号に
応じて、前記少なくとも１つの前景オブジェクト及び背
景オブジェクトを１つの画面に合成してモニターに表示
する画像合成ステップとを有するものである。

【００４６】また、本発明（請求項３８）にかかる電子
透かし抽出方法は、請求項３６記載の電子透かし抽出方
法において、前記独自情報が、前記背景オブジェクトの
画素の輝度値または色値に、電子透かしとして埋め込ま
れているとき、前記抽出領域検出ステップは、前記埋め
込み開始時刻と前記埋め込み終了時刻との間に表示され
る、前記抽出制御信号により指定される画像フレーム内
にある、前記少なくとも１つの前景オブジェクトの形状
情報が重なり合う領域を抽出領域として検出し、前記空
間領域電子透かし抽出ステップは、前記抽出領域に対応
する前記背景オブジェクトにおける領域内の、前記抽出
制御信号で指定する、輝度ブロックまたは色ブロック単
位の埋め込み開始位置から、上下左右方向を組み合わせ
た８方向のうちの１つである埋め込み方向に、前記独自
情報のデータ量である埋め込みデータサイズで指定され
る前記埋め込み位置の範囲内にある、画素の輝度値また
は色値から、電子透かしとして埋め込まれた前記独自情
報を抽出するものである。

【００４７】また、本発明（請求項３９）にかかる電子
透かし抽出方法は、請求項３７記載の電子透かし抽出方
法において、前記独自情報が、前記背景オブジェクトの
画素の輝度値または色値の時間周波数変換後の周波数係
数に、電子透かしとして埋め込まれているとき、前記抽
出領域検出ステップは、前記埋め込み開始時刻と前記埋
め込み終了時刻との間に表示される、前記抽出制御信号
により指定される画像フレーム内にある、前記少なくと
も１つの前景オブジェクトの形状情報が重なり合う重な
り領域を検出し、前記重なり領域内の輝度ブロックまた
は色ブロック内の画素の輝度値または色値の前記周波数
係数の直流成分を中心とした前記周波数係数単位の四分
円の半径である最低周波数境界と最高周波数境界との間
にある前記周波数係数を、抽出領域として検出し、前記
周波数領域電子透かし抽出ステップは、前記抽出領域に
対応する前記背景オブジェクトにおける領域内の、前記
抽出制御信号で指定する、輝度ブロックまたは色ブロッ
ク単位の埋め込み開始位置から、上下左右方向を組み合
わせた８方向のうちの１つである埋め込み方向に、前記
独自情報のデータ量である埋め込みデータサイズで指定
される、前記埋め込み位置の範囲内にある画素の輝度値
または色値の前記周波数係数から、電子透かしとして埋
め込まれた前記独自情報を抽出するものである。

【００４８】また、本発明（請求項４０）にかかる電子
透かし抽出方法は、請求項３６記載の電子透かし抽出方
法において、前記独自情報が、前記少なくとも１つの前
景オブジェクトの輝度値または色値に、電子透かしとし
て埋め込まれているとき、前記抽出領域検出ステップ
は、前記抽出制御信号により指定される画像フレーム内
にある、前記抽出制御信号により指定される、前記各前
景オブジェクトの形状の輪郭であるエッジから、前記各
前景オブジェクトの形状領域の内部方向またはパディン
グ領域方向への、画素の輝度値または色値単位の埋め込
み領域幅を、抽出領域として検出し、前記空間領域電子
透かし抽出ステップは、前記各前景オブジェクトにおけ
る前記抽出領域内の、前記抽出制御信号で指定する、輝
度ブロックまたは色ブロック単位の埋め込み開始位置か
ら、上下左右方向を組み合わせた８方向のうちの１つで
ある埋め込み方向に、前記独自情報のデータ量である埋
め込みデータサイズで指定される、前記埋め込み位置の
範囲内にある画素の輝度値または色値から、電子透かし
として埋め込まれた前記独自情報を抽出するものであ
る。

【００４９】また、本発明（請求項４１）にかかる電子
透かし抽出方法は、請求項３７記載の電子透かし抽出方
法において、前記独自情報が、前記少なくとも１つの前
景オブジェクトの画素の輝度値または色値の前記周波数
係数に、電子透かしとして埋め込まれているとき、前記
抽出領域検出ステップは、前記抽出制御信号により指定
される画像フレーム内にある、前記抽出制御信号により
指定される、前景オブジェクトの形状の輪郭であるエッ
ジを含む画素の輝度ブロックまたは色ブロックの境界ブ
ロック内の、前記各前景オブジェクトの形状情報に応じ
て配置される画素の輝度値または色値の前記周波数係数
の外側で、かつ前記周波数係数の直流成分を中心として
前記周波数係数単位の四分円の半径である最低周波数境
界と最高周波数境界との間にある、前記周波数係数単位
の領域幅を、抽出領域として検出し、前記周波数領域電
子透かし抽出ステップは、前記各前景オブジェクトにお
ける前記抽出領域内の、前記抽出制御信号で指定する、
輝度ブロックまたは色ブロック単位の埋め込み開始位置
から、上下左右方向を組み合わせた８方向のうちの１つ
である埋め込み方向に、前記独自情報のデータ量である
埋め込みデータサイズで指定される、前記埋め込み位置
の範囲内にある画素の輝度値または色値の前記周波数係
数から、電子透かしとして埋め込まれた前記独自情報を
抽出するものである。

【００５０】また、本発明（請求項４２）にかかる電子
透かし抽出方法は、請求項３６記載の電子透かし抽出方
法において、前記独自情報が、前記埋め込み開始時刻と
前記埋め込み終了時刻との間に表示される少なくとも１
つの画像フレーム内の、完全に透明な状態及び完全に不
透明な状態の間の状態が任意の値をもつ透過度で表され
る形状情報を有する、前記少なくとも１つの前景オブジ
ェクト及び背景オブジェクトの画素の輝度値または色値
に、電子透かしとして埋め込まれているとき、前記抽出
領域検出ステップは、前記埋め込み開始時刻と前記埋め
込み終了時刻との間に表示される、前記抽出制御信号に
より指定される画像フレーム内にある、前記各前景オブ
ジェクトの形状情報が重なり合う領域を抽出領域として
検出し、前記空間領域電子透かし抽出ステップにおい
て、前記抽出領域に対応する前記各前景オブジェクト及
び背景オブジェクトにおける領域内の、前記抽出制御信
号で指定する、輝度ブロックまたは色ブロック単位の埋
め込み開始位置から、上下左右方向を組み合わせた８方
向のうちの１つである埋め込み方向に、前記独自情報の
データ量である埋め込みデータサイズで指定される、前
記埋め込み位置の範囲内にある画素の輝度値または色値
から、電子透かしとして埋め込まれた前記独自情報を抽
出するものである。

【００５１】また、本発明（請求項４３）にかかる電子
透かし抽出方法は、請求項３７記載の電子透かし抽出方
法において、前記独自情報が、前記埋め込み開始時刻と
前記埋め込み終了時刻との間に表示される少なくとも１
つの画像フレーム内の、完全に透明な状態及び完全に不
透明な状態の間の状態が任意の値をもつ透過度で表され
る形状情報を有する、前記少なくとも１つの前景オブジ
ェクト及び背景オブジェクトの画素の輝度値または色値
の前記周波数係数に、電子透かしとして埋め込まれてい
るとき、前記抽出領域検出ステップは、前記埋め込み開
始時刻と前記埋め込み終了時刻との間に表示される、前
記抽出制御信号により指定される画像フレーム内にあ
る、前記各前景オブジェクトの形状情報が重なり合う領
域を検出し、前記重なり合う領域内の輝度ブロックまた
は色ブロック内の前記画素の輝度値または色値の前記周
波数係数の直流成分を中心として前記周波数係数単位の
四分円の半径である最低周波数境界と最高周波数境界と
の間にある前記周波数係数を、抽出領域として検出し、
前記周波数領域電子透かし抽出ステップは、前記抽出領
域に対応する前記各前景オブジェクト及び背景オブジェ
クトにおける領域内の、前記抽出制御信号で指定する、
前記周波数係数単位の埋め込み開始位置から、上下左右
方向を組み合わせた８方向のうちの１つである埋め込み
方向に、前記独自情報のデータ量である埋め込みデータ
サイズで指定される、前記埋め込み位置の範囲内にある
画素の輝度値または色値の前記周波数係数から、前記電
子透かしとして埋め込まれた独自情報を抽出するもので
ある。

【００５２】また、本発明（請求項４４）にかかるデー
タ記録媒体は、コンピュータに、画像データを符号化
し、かつ前記画像データを構成する、少なくとも１つの
前景オブジェクトまたは背景オブジェクトの、画素の輝
度値または色値に、著作権情報等の独自情報を電子透か
しとして埋め込む処理を実行させるための電子透かし埋
め込みプログラムが記録されたデータ記録媒体であっ
て、前記電子透かし埋め込みプログラムは、前記独自情
報、前記独自情報を電子透かしとして埋め込む開始時点
及び終了時点を指定する埋め込み開始時刻及び埋め込み
終了時刻等の電子透かしを埋め込むために必要な埋め込
み制御情報、前記少なくとも１つの前景オブジェクト及
び背景オブジェクトの表示位置や前後関係を指定する表
示制御情報、及び前記埋め込み制御情報等を基にして電
子透かしを抽出するために必要な抽出制御情報を生成
し、符号化制御信号、及び前記埋め込み制御情報を基に
して生成した埋め込み制御信号により、前記画像データ
の符号化及び電子透かしの埋め込みを制御する埋め込み
・符号化制御ステップと、前記埋め込み制御信号に応じ
て、前記埋め込み開始時刻と前記埋め込み終了時刻との
間に表示される、少なくとも１つの画像フレーム内にあ
る、前記少なくとも１つの前景オブジェクトの形状情報
から、前記独自情報を電子透かしとして埋め込む、埋め
込み領域を検出する埋め込み領域検出ステップと、前記
埋め込み制御信号に応じて、前記埋め込み領域内の、電
子透かしを埋め込む埋め込み位置を決定する埋め込み位
置決定ステップと、前記埋め込み制御信号に応じて、前
記少なくとも１つの前景オブジェクトまたは背景オブジ
ェクトにおける前記埋め込み領域内の、前記埋め込み位
置の範囲内にある画素の輝度値または色値に、前記独自
情報を電子透かしとして埋め込む空間領域電子透かし埋
め込みステップと、前記表示制御情報及び前記抽出制御
情報を符号化する制御情報符号化ステップとを含むもの
である。

【００５３】また、本発明（請求項４５）にかかるデー
タ記録媒体は、コンピュータに、画像データを符号化
し、かつ前記画像データを構成する、少なくとも１つの
前景オブジェクトまたは背景オブジェクトの、画素の輝
度値または色値の時間周波数変換後の周波数係数に、著
作権情報等の独自情報を電子透かしとして埋め込む処理
を実行させるための電子透かし埋め込みプログラムが記
録されたデータ記録媒体であって、前記電子透かし埋め
込みプログラムは、前記独自情報、前記独自情報を電子
透かしとして埋め込む開始時点及び終了時点を指定する
埋め込み開始時刻及び埋め込み終了時刻等の電子透かし
を埋め込むために必要な埋め込み制御情報、前記少なく
とも１つの前景オブジェクト及び背景オブジェクトの表
示位置や前後関係を指定する表示制御情報、及び前記埋
め込み制御情報等を基にして電子透かしを抽出するため
に必要な抽出制御情報を生成し、符号化制御信号、及び
前記埋め込み制御情報を基にして生成した埋め込み制御
信号により、前記画像データの符号化及び電子透かしの
埋め込みを制御する埋め込み・符号化制御ステップと、
前記埋め込み制御信号に応じて、前記埋め込み開始時刻
と前記埋め込み終了時刻との間に表示される、少なくと
も１つの画像フレーム内にある、前記少なくとも１つの
前景オブジェクトの形状情報から、前記独自情報を電子
透かしとして埋め込む、埋め込み領域を検出する埋め込
み領域検出ステップと、前記埋め込み制御信号に応じ
て、前記埋め込み領域内の、電子透かしを埋め込む埋め
込み位置を決定する埋め込み位置決定ステップと、前記
埋め込み制御信号に応じて、前記少なくとも１つの前景
オブジェクトまたは背景オブジェクトにおける前記埋め
込み領域内の、前記埋め込み位置の範囲内にある画素の
輝度値または色値の前記周波数係数に、前記独自情報を
電子透かしとして埋め込む周波数領域電子透かし埋め込
みステップと、前記表示制御情報及び前記抽出制御情報
を符号化する制御情報符号化ステップとを含むものであ
る。

【００５４】また、本発明（請求項４６）にかかるデー
タ記録媒体は、コンピュータに、符号化された画像デー
タを復号し、かつ前記符号化された画像データを構成す
る、少なくとも１つの符号化された前景オブジェクトま
たは符号化された背景オブジェクトの画素の輝度値また
は色値から、電子透かしとして埋め込まれた著作権情報
等の独自情報を抽出する処理を実行させるための電子透
かし抽出プログラムが記録されたデータ記録媒体であっ
て、前記電子透かし抽出プログラムは、前記符号化され
た画像データに前記独自情報を電子透かしとして埋め込
む開始時点及び終了時点を指定する埋め込み開始時刻及
び埋め込み終了時刻等の、前記電子透かしを抽出するた
めに必要な符号化された抽出制御情報、及び前記少なく
とも１つの前景オブジェクト及び背景オブジェクトの表
示位置や前後関係を指定する符号化された表示制御情報
を復号する制御情報復号ステップと、前記抽出制御情報
及び表示制御情報から、抽出制御信号及び表示制御信号
を生成し、前記符号化された画像データの復号及び電子
透かしの抽出を制御する抽出・復号制御ステップと、前
記抽出制御信号で指定される前記埋め込み開始時刻と前
記埋め込み終了時刻との間に表示される、少なくとも１
つの画像フレーム内にある前記少なくとも１つの前景オ
ブジェクトの形状情報から、前記独自情報が電子透かし
として埋め込まれている領域を、抽出領域として検出す
る抽出領域検出ステップと、前記抽出制御信号に応じ
て、前記少なくとも１つの前景オブジェクトまたは背景
オブジェクトにおける前記抽出領域内の、前記抽出制御
信号で指定される、前記電子透かしが埋め込まれている
前記埋め込み位置の範囲内にある画素の輝度値または色
値から、前記独自情報を抽出する空間領域電子透かし抽
出ステップと、前記表示制御信号に応じて、前記少なく
とも１つの前景オブジェクト及び背景オブジェクトを１
つの画面に合成してモニターに表示する画像合成ステッ
プとを含むものである。

【００５５】また、本発明（請求項４７）にかかるデー
タ記録媒体は、コンピュータに、符号化された画像デー
タを復号し、かつ前記符号化された画像データを構成す
る、少なくとも１つの符号化された前景オブジェクトま
たは符号化された背景オブジェクトの画素の輝度値また
は色値の時間周波数係数変換後の周波数係数から、電子
透かしとして埋め込まれた著作権情報等の独自情報を抽
出する処理を実行させるための電子透かし抽出プログラ
ムが記録されたデータ記録媒体であって、前記電子透か
し抽出プログラムは、前記符号化された画像データに前
記独自情報を電子透かしとして埋め込む開始時点及び終
了時点を指定する埋め込み開始時刻及び埋め込み終了時
刻等の、前記電子透かしを抽出するために必要な符号化
された抽出制御情報、及び前記少なくとも１つの前景オ
ブジェクト及び背景オブジェクトの表示位置や前後関係
を指定する符号化された表示制御情報を復号する制御情
報復号ステップと、前記抽出制御情報及び表示制御情報
から、抽出制御信号及び表示制御信号を生成し、前記符
号化された画像データの復号及び電子透かしの抽出を制
御する抽出・復号制御ステップと、前記抽出制御信号で
指定される前記埋め込み開始時刻と前記埋め込み終了時
刻との間に表示される、少なくとも１つの画像フレーム
内にある前記少なくとも１つの前景オブジェクトの形状
情報から、前記独自情報が電子透かしとして埋め込まれ
ている領域を抽出領域として検出する抽出領域検出ステ
ップと、前記抽出制御信号に応じて、前記少なくとも１
つの前景オブジェクトまたは背景オブジェクトにおける
前記抽出領域内の、前記抽出制御信号で指定される、前
記電子透かしが埋め込まれている前記埋め込み位置の範
囲内にある画素の輝度値または色値の前記周波数係数か
ら、前記独自情報を抽出する周波数領域電子透かし抽出
ステップと、前記表示制御信号に応じて、前記少なくと
も１つの前景オブジェクト及び背景オブジェクトを１つ
の画面に合成してモニターに表示する画像合成ステップ
とを含むものである。

【００５６】

【発明の実施の形態】図１は、電子透かし埋め込み装置
及び電子透かし抽出装置を用いたシステムの構成図であ
る。図１に示すように、画像データ及び著作権情報等の
独自情報が、電子透かし埋め込み装置１００に入力され
ると、前記独自情報を電子透かしとして画像データに埋
め込むとともに、前記画像データを圧縮符号化し、ビッ
トストリームまたはファイルとして、ネットワークまた
はＣＤ、ＤＶＤ等の媒体に出力される。そして、前記ネ
ットワークを介して伝送されるビットストリーム、また
は前記媒体等に記録されたファイルが、電子透かし抽出
装置２００に入力されると、前記電子透かし抽出装置２
００は、前記ビットストリームまたはファイルに記録さ
れた前記符号化された画像データを伸長復号するととも
に、前記画像データから電子透かしとして埋め込まれた
前記独自情報を抽出して、画像データとともに、モニタ
ーに表示するか、前記媒体に記録する。

【００５７】また、前記電子透かし埋め込み装置１００
に入力される画像データは、図２に示すように、複数の
画像フレーム３５からなり、各画像フレーム３８は、少
なくとも１つの前景オブジェクト３６（ここでは、２つ
の前景オブジェクト）及び、背景オブジェクト３７で構
成され、前記各前景オブジェクト３６及び背景オブジェ
クト３７は、輝度値及び色値からなる画素で構成されて
いるものである。前述のように、前記少なくとも1つの
前景オブジェクト及び背景オブジェクトからなる画像デ
ータに、著作権情報等の独自情報を電子透かしとして埋
め込む前記電子透かし埋め込み装置１００、また、前記
符号化された画像データから電子透かしとして埋め込ま
れた前記独自情報を抽出する前記電子透かし抽出装置２
００について、以下に説明する。

【００５８】（実施の形態１）実施の形態１における、
電子透かし埋め込み方法、及び電子透かし埋め込み装置
について説明する。本実施の形態１では、電子透かし埋
め込み装置１００に入力される、少なくとも１つの前景
オブジェクト及び背景オブジェクトで構成される、画像
データの背景オブジェクトに、著作権情報等の独自情報
を電子透かしとして埋め込む場合について説明する。

【００５９】まず、図３を用いて、本実施の形態１にお
ける電子透かし埋め込み装置１００の構成について説明
する。図３は、本発明の実施の形態における、電子透か
し埋め込み装置の構成を示す図である。図３において、
電子透かし埋め込み装置１００は、画像データの符号化
を制御する符号化制御情報、前記独自情報の電子透かし
としての埋め込みを制御する埋め込み制御情報、前記少
なくとも1つの前景オブジェクト及び背景オブジェクト
の表示位置や前後関係を指定する表示制御情報ｓ１０
６、前記埋め込み制御情報を基にして電子透かしを抽出
するために必要な抽出制御情報ｓ１０１、及び電子透か
しとして埋め込む前記独自情報ｓ１０３を生成し、前記
埋め込み制御情報から埋め込み制御信号ｓ１０４を、ま
た前記符号化制御情報から符号化制御信号ｓ１０２を生
成するとともに、前述した各種制御信号を用いて当該装
置の制御を行う埋め込み・符号化制御手段１と、入力さ
れた画像データを構成する前記少なくとも１つの前景オ
ブジェクトの画素の輝度値及び色値ｓ２１０を用いて、
前記各前景オブジェクトの形状情報ｓ２２０で示す形状
領域の外部にある画素の輝度値及び色値にパディングを
行うパディング手段１１と、前記各前景オブジェクトの
形状情報を記録する形状情報メモリ２２と、前記各前景
オブジェクトの形状情報ｓ２２０と形状情報メモリ２２
に記録されている時間的に前または後ろの画像フレーム
内の対応する前記各前景オブジェクトの形状情報とを用
いて、形状動きベクトルｓ２６１を検出する形状動き検
出手段２１と、前記各前景オブジェクトの形状動きベク
トルｓ２６１と前記形状情報メモリ２２に記録されてい
る時間的に前または後ろの画像フレーム内の対応する前
記各前景オブジェクトの形状情報とを用いて、形状動き
補償を行う形状動き補償手段２０と、前記各前景オブジ
ェクト及び背景オブジェクトの画素の輝度値または色
値、前記各前景オブジェクトの形状情報ｓ２２０、及び
前記形状情報メモリ２２に記録されている時間的に前ま
たは後ろの画像フレーム内の対応する前記各前景オブジ
ェクトの形状情報を用いて、著作権情報等の独自情報ｓ
１０３を画像データに埋め込むための埋め込み領域を検
出する埋め込み領域検出手段２３と、前記埋め込み領域
内の、電子透かしを埋め込む開始点である埋め込み開始
位置、電子透かしを埋め込む方向である埋め込み方向、
及び電子透かしとして埋め込む前記独自情報のデータ量
である埋め込みデータサイズを決定する埋め込み位置決
定手段２４と、前記独自情報ｓ１０３を暗号化して、前
記埋め込み開始位置から前記埋め込み方向に、前記埋め
込みデータサイズの範囲内にある減算手段４Ａ，４Ｂか
ら出力する前記各前景オブジェクトまたは背景オブジェ
クトの予測誤差である画素の誤差輝度値または誤差色値
に電子透かしとして埋め込むと共に、前記独自情報ｓ１
０３が埋め込まれる前の画素の誤差輝度値または誤差色
値を出力する空間領域電子透かし埋め込み手段９と、前
記各前景オブジェクト及び背景オブジェクトの画素の誤
差輝度値及び誤差色値をブロック化し、２次元ＤＣＴ変
換または形状適応ＤＣＴ変換して、ＤＣＴ係数を出力す
るＤＣＴ変換手段（DCT）６と、前記各前景オブジェク
ト及び背景オブジェクトのＤＣＴ係数を量子化して量子
化ＤＣＴ係数を出力する量子化手段（Q）７と、前記独
自情報ｓ１０３を暗号化して、前記各前景オブジェクト
または背景オブジェクトの前記埋め込み開始位置から前
記埋め込み方向に、前記埋め込みデータサイズの範囲内
にある画素の誤差輝度値または誤差色値の前記量子化Ｄ
ＣＴ係数に、電子透かしとして埋め込む周波数領域電子
透かし埋め込み手段１０と、前記各前景オブジェクト及
び背景オブジェクトの量子化ＤＣＴ係数を逆量子化して
ＤＣＴ係数を出力する逆量子化手段（Q^-1）１２と、前
記各前景オブジェクト及び背景オブジェクトのＤＣＴ係
数を逆２次元ＤＣＴ変換または逆形状適応ＤＣＴ変換し
て、前記各前景オブジェクト及び背景オブジェクトの画
素の誤差輝度値及び誤差色値を出力する逆ＤＣＴ変換手
段（IDCT）１３と、前記暗号化された独自情報が埋め込
まれた、前記各前景オブジェクトまたは背景オブジェク
トの画素の誤差輝度値または誤差色値を前記空間領域電
子透かし埋め込み手段９から出力する対応する画素の誤
差輝度値または誤差色値で置換することにより、前記暗
号化された独自情報を削除して元の画素の誤差輝度値ま
たは誤差色値に戻す電子透かし削除手段１４と、加算手
段１５Ａ，１５Ｂから出力する前記各前景オブジェクト
及び背景オブジェクトの画素の輝度値及び色値を記録す
るフレームメモリ１７と、前記各前景オブジェクト及び
背景オブジェクトの画素の輝度値及び色値と、前記フレ
ームメモリ１７から読み出した時間的に前または後ろの
画像フレーム内の対応する前記各前景オブジェクト及び
背景オブジェクトの画素の輝度値及び色値とを用いて、
動きベクトルｓ２５１を検出する動き検出手段１８と、
前記各前景オブジェクト及び背景オブジェクトの動きベ
クトル、及び前記フレームメモリ１７から出力される時
間的に前または後ろの画像フレーム内の対応する前記各
前景オブジェクト及び背景オブジェクトの画素の輝度値
及び色値を用いて、前記各前景オブジェクト及び背景オ
ブジェクトの動き補償を行う動き補償手段１６と、前記
各前景オブジェクト及び背景オブジェクトの動きベクト
ルｓ２５１と、前記各前景オブジェクトの形状動きベク
トルｓ２６１と、前記各前景オブジェクト及び背景オブ
ジェクトの画素の誤差輝度値または誤差色値の量子化Ｄ
ＣＴ係数とを可変長符号化する可変長符号化手段（VL
C）８と、前記抽出制御情報ｓ１０１及び前記表示制御
情報ｓ１０６を符号化する制御情報符号化手段２と、前
記各前景オブジェクトの形状情報ｓ２２０の予測誤差で
ある誤差形状情報ｓ２２１を算術符号化する形状符号化
手段１９と、前記制御情報符号化手段２から出力される
符号化された抽出制御情報及び符号化された表示制御情
報と、前記可変長符号化手段８から出力される前記各種
可変長符号化データと、前記形状符号化手段１９から出
力される符号化形状情報とを多重化して、ビットストリ
ームまたはファイルｓ３００として出力する多重化手段
３と、複数の減算手段4A〜4Cと、複数の加算手段15A〜1
5Cと、入力または出力を切り替える複数のスイッチ5A〜
5Hとから構成されるものである。

【００６０】また、前記埋め込み・符号化制御手段１か
ら出力され、あるいは当該手段１に入力される、前記各
種制御信号及び情報について説明すると、前記独自情報
ｓ１０３は、画像データに電子透かしとして埋め込まれ
る著作権情報等であり、前記抽出制御情報ｓ１０１は、
前記埋め込み制御情報を基にして画像データに埋め込ま
れた前記独自情報ｓ１０３を抽出する際に必要な情報
で、具体的には、前記独自情報ｓ１０３を埋め込む位置
や、前記独自情報ｓ１０３のデータ種別等を示すもので
ある。また、前記符号化制御信号ｓ１０２は、画像デー
タの符号化を制御する信号であり、前記埋め込み制御信
号ｓ１０４は、前記埋め込み制御情報を基にして画像デ
ータへの電子透かしの埋め込みを制御する信号である。
そして、埋め込み位置情報ｓ１０５は、前記埋め込み位
置決定手段２４から出力される、画像データに前記独自
情報ｓ１０３が電子透かしとして埋め込まれる位置を指
定する情報であり、例えば、前記埋め込み開始位置、前
記埋め込み方向、及び前記埋め込みデータサイズ等であ
る。そして、前記表示制御情報ｓ１０６は、前記少なく
とも１つの前景オブジェクト及び背景オブジェクト表示
位置や前後関係を指定する情報である。

【００６１】なお、前記ＤＣＴ変換手段６において、２
次元ＤＣＴ変換、または形状適応ＤＣＴ変換が時間周波
数変換として用いられるが、前記２次元ＤＣＴ変換は、
前記各前景オブジェクトの形状情報のエッジを含まない
形状内部、または背景オブジェクトの輝度ブロックまた
は色ブロック内の画素の誤差輝度値または誤差色値を、
周波数係数であるＤＣＴ係数に変換するために用い、前
記形状適応ＤＣＴ変換は、前記各前景オブジェクトの形
状情報のエッジを含む輝度ブロックまたは色ブロックの
境界ブロック内にある、画素の誤差輝度値または誤差色
値を、周波数係数であるＤＣＴ係数に変換するために用
いるものとし、前記逆ＤＣＴ変換手段１３における、前
記逆２次元ＤＣＴ変換は、前記各前景オブジェクトの形
状情報のエッジを含まない形状内部または背景オブジェ
クトの輝度ブロックまたは色ブロック内のＤＣＴ係数
を、画素の誤差輝度値または誤差色値に変換するために
用い、前記逆形状適応ＤＣＴ変換は、前景オブジェクト
の形状情報のエッジを含む輝度ブロックまたは色ブロッ
クの境界ブロック内にあるＤＣＴ係数を、画素の誤差輝
度値または誤差色値に変換するために用いるものとす
る。また、前記２次元ＤＣＴ変換、形状適応ＤＣＴ変
換、逆２次元ＤＣＴ変換、逆形状適応ＤＣＴ変換は、Ｍ
ＰＥＧ−４ビジュアル符号化標準（ISO/IEC 14496-2）
に準拠するものとする。

【００６２】以上のように構成される、本実施の形態１
における電子透かし埋め込み装置１００は、ＭＰＥＧ−
４ビジュアル符号化標準(ISO/IEC 14496-2)に準拠した
基本構造を備えており、前記埋め込み・符号化制御手段
１から出力される、前記埋め込み制御信号ｓ１０４によ
って、スイッチ５Ａをa側、スイッチ５Ｂをｂ側、スイ
ッチ５Ｃをa側、スイッチ５Ｄをｂ側、スイッチ５Ｅをa
側、スイッチ５Ｆをｂ側、スイッチ５Ｇをａ側、スイッ
チ５Ｈをａ側に切り替えるとともに、前記埋め込み領域
検出手段２３及び前記埋め込み位置決定手段２４を停止
することにより、ＭＰＥＧ−４ビジュアル符号化標準(I
SO/IEC 14496-2)に準拠した符号化装置が実現される。

【００６３】次に、本実施の形態１における電子透かし
埋め込み装置１００で、一定期間内に表示される複数の
画像フレーム内の、少なくとも１つの前景オブジェクト
の形状情報が前記複数の画像フレーム間で重なる重なり
領域に対応する、背景オブジェクトの領域にある画素の
輝度値または色値に、著作権情報等の独自情報を電子透
かしとして埋め込む場合（以下、「背景オブジェクトの
画素に埋め込む場合」と称す。）の動作について説明す
る。なお、本実施の形態１においては、背景オブジェク
トの画素の誤差輝度値に、前記独自情報を埋め込む場合
を例に挙げて、図５〜図８を参照しながら、図１６に示
すフローチャートに従って説明する。

【００６４】図５は、一定期間内に表示される、複数の
画像フレーム内にある前景オブジェクトの形状情報の画
像フレーム間での重なり領域を示す図であり、図６は、
図５に示される重なり領域内の埋め込み領域を示す図で
あり、図７は、図６に示される埋め込み領域に、前記独
自情報である図形データ(図（a)）または文字データ
（図(b)）を、電子透かしとして埋め込む流れを示した
図であり、図１６は、本実施の形態１において、前記独
自情報を前記背景オブジェクトの画素の誤差輝度値に埋
め込む場合の一連の動作を示すフローチャート図であ
る。

【００６５】まず、埋め込み・符号化制御手段１におい
て、電子透かしを埋め込む方法を指定する埋め込みモー
ドと、電子透かしの埋め込み期間である、埋め込み開始
時刻及び埋め込み終了時刻と、前記電子透かしの埋め込
み期間に表示される複数の画像フレームのうち、電子透
かしが埋め込まれる少なくとも１つの画像フレームを指
定する埋め込み画像フレーム識別子と、前記埋め込み画
像フレーム識別子で指定する少なくとも１つの画像フレ
ーム内の、少なくとも１つの前景オブジェクト及び背景
オブジェクトのうち、電子透かしを埋め込むオブジェク
トを指定する埋め込みオブジェクト識別子とを設定する
(ステップＳ１４００)。

【００６６】ここで、図５を用いて具体的に説明する
と、本実施の形態１における、前記埋め込みモードは、
背景オブジェクトの画素の誤差輝度値への埋め込みであ
り、前記埋め込み画像フレーム識別子は、前記埋め込み
制御信号ｓ１０４により指定される前記埋め込み開始時
刻Ｔｓと前記埋め込み終了時刻Ｔｅとの間に表示される
全ての画像フレーム３９ａ〜３９ｅであり、前記埋め込
みオブジェクト識別子は、前記埋め込み期間内の全ての
画像フレーム内に存在する背景オブジェクトが指定され
る。

【００６７】次に、前記埋め込み領域検出手段２３にお
いて、電子透かしを埋め込む、埋め込み領域を検出する
（ステップＳ１４０１）。ここで、図５及び図６を用い
て、前記埋め込み領域の検出方法について説明する。ま
ず、図５に示すように、前記埋め込み領域検出手段２３
において、前記埋め込み開始時刻Ｔｓと前記埋め込み終
了時刻Ｔｅとの間の前記埋め込み画像フレーム識別子で
指定される、全ての画像フレーム３９ａ〜３９ｅ内にあ
る、前景オブジェクト（ここでは、人物）の形状情報
を、１つの画像フレーム４０内で重ね合わせ、前記前景
オブジェクトの形状情報が共通して背景オブジェクトを
隠す領域、つまり前記前景オブジェクトが重なっている
重なり領域４１を検出し、前記埋め込み領域検出手段２
３は、図６に示すように、前記重なり領域４１の内部に
完全に含まれる輝度マクロブロックを、埋め込み領域４
２として検出する。なお、前記埋め込み開始時刻Ｔｓ及
び埋め込み終了時刻Ｔｅは、ＭＰＥＧ−４ビジュアル符
号化標準（ISO/IEC 14496-2）で規定する時間指定方法
を基にして、前記埋め込み制御信号ｓ１０４により指定
されるものとする。

【００６８】次に、埋め込み位置決定手段２４におい
て、前記埋め込み制御信号ｓ１０４に応じて、前記埋め
込み領域４２内における、前記独自情報ｓ１０３を電子
透かしとして埋め込む埋め込み開始位置、埋め込み方
向、埋め込みデータサイズ、及び電子透かしを埋め込む
画素の輝度値のビットプレーン値を決定するとともに、
前述の各種データを埋め込み位置情報ｓ１０５として、
前記埋め込み・符号化制御手段１に出力する(ステップ
Ｓ１４０２)。

【００６９】ここで、前記埋め込み開始位置、埋め込み
方向、埋め込みデータサイズ、及びビットプレーン値
は、任意に設定されるものとする。なお、前記埋め込み
開始位置は、輝度マクロブロック、または輝度ブロック
単位で指定され、前記埋め込み方向は、上下左右方向を
組み合わせた８方向から選択可能であり、前記埋め込み
データサイズは前記独自情報のデータ量を基にして設定
され、前記ビットプレーン値は、画素の前記輝度値のＬ
ＳＢとＭＳＢの間の電子透かしを埋め込むビット位置を
数値で指定するものとする。

【００７０】次に、前記埋め込み制御信号ｓ１０４によ
り、スイッチ５Ａをｂ側、スイッチ５Ｂをｂ側に切り替
え、前記動き補償手段１６において、符号化制御信号ｓ
１０２に応じて、前記動き検出手段１８から出力された
前記各前景オブジェクト及び背景オブジェクトの動きベ
クトルｓ２５１と、前記フレームメモリ１７から読み出
された時間的に前または後ろの画像フレーム内の対応す
る前記各前景オブジェクト及び背景オブジェクトの画素
の輝度値及び色値とを用いて、動き補償を行い、減算手
段４Ａ,４Ｂにより、前記符号化制御信号ｓ１０２に応
じて、パディング後の前記少なくとも１つの前景オブジ
ェクトｓ２１１、及び本電子透かし埋め込み装置１００
に入力された背景オブジェクトの画素の輝度値及び色値
ｓ１１０から、前記動き補償後の前記各前景オブジェク
ト及び背景オブジェクトの画素の輝度値及び色値を減算
して、前記背景オブジェクトの画素の誤差輝度値及び誤
差色値ｓ１１１と、前記各前景オブジェクトの画素の誤
差輝度値及び誤差色値ｓ２１２とを出力し(ステップＳ
１４０３)、前記空間領域電子透かし埋め込み手段９に
おいて、前記埋め込み制御信号ｓ１０４によって指定さ
れた暗号鍵を用いて、前記独自情報ｓ１０３を暗号化
し、前記埋め込み制御信号ｓ１０４に応じて、前記埋め
込み領域４２に対応する前記背景オブジェクトの領域内
の、前記埋め込み開始位置から前記埋め込み方向に前記
埋め込みデータサイズの範囲内にある画素の誤差輝度値
ｓ１１１の、前記ビットプレーン値で指定するビット値
に、前述の暗号化した独自情報を電子透かしとして埋め
込む（ステップＳ１４０４）。

【００７１】ここで、図７を用いて、前記空間領域電子
透かし埋め込み手段９が、前記独自情報ｓ１０３を暗号
化する方法、及び前述の暗号化した独自情報を画素の誤
差輝度値に電子透かしとして埋め込む方法について説明
する。まず、図７(ａ)に示すように、前記独自情報ｓ１
０３が字形「Ｓ」のような図形データである場合、図形
データである字形「Ｓ」を完全に含む平面４３を、輝度
マクロブロックのサイズのブロック４４に分割し、前記
各ブロック４４内の字形「Ｓ」内部に属する画素値を
１、字形「Ｓ」外部に属する画素値を０として２値化し
た後、前記埋め込み制御信号ｓ１０４で指定する暗号鍵
４５と、前記各ブロック４４内の２値データとの排他的
論理和演算等を行うことにより、字形「Ｓ」である前記
独自情報ｓ１０３を暗号化したブロック４６を生成す
る。

【００７２】また、図７(ｂ)に示すように、前記独自情
報ｓ１０３が著作権情報のような文字データである場
合、前記文字データの先頭から、輝度マクロブロックの
サイズ５０毎に分割し、前述の分割された文字データを
２次元平面内の左上端から右下端へ横方向に配列してブ
ロック５１を生成した後、前記埋め込み制御信号ｓ１０
４で指定する暗号鍵４５と、前記各ブロック５１内の２
値データとの排他的論理和演算等を行うことにより、文
字データである前記独自情報ｓ１０３を暗号化したブロ
ック５２を生成する。

【００７３】そして、図７(ａ）及び（ｂ）に示すよう
に、前記埋め込み領域４２内の前記埋め込み開始位置４
７から前記埋め込み方向４８（ここでは、左上端から右
下端へ横方向）に前記埋め込みデータサイズ４９の範囲
内にある輝度マクロブロックを順番に抽出するととも
に、前記独自情報ｓ１０３が図形データである場合は、
前記図形データを完全に含む平面４３を輝度マクロブロ
ックサイズに分割して得た各ブロック４４を暗号化した
ブロック４６を左上端から右下端へ横方向に、また、前
記独自情報ｓ１０３が文字データの場合は、前記文字デ
ータを先頭から末尾方向に輝度マクロブロックサイズに
分割して得た各ブロック５１を暗号化したブロック５２
を順番に抽出し、前記抽出した輝度マクロブロック内の
画素の誤差輝度値の、ビットプレーン値で指定するビッ
ト値を、前記独自情報ｓ１０３が図形データである場合
は、前記抽出した暗号化した図形データのブロック４６
内の、また、前記独自情報ｓ１０３が文字データである
場合は、前記抽出した暗号化した文字データのブロック
５２内の、前記抽出した輝度マクロブロック内の画素の
誤差輝度値と同位置にあるビット値で置換することによ
り、前記暗号化した独自情報を画像データ内に電子透か
しとして埋め込むものである。

【００７４】次に、前記ＤＣＴ変換手段６において、前
記符号化制御信号ｓ１０２に応じて、前記各前景オブジ
ェクトの画素の誤差輝度値及び誤差色値ｓ２３１と、前
記独自情報ｓ１０３が埋め込まれた背景オブジェクトの
誤差輝度値及び誤差色値とを、２次元ＤＣＴ変換または
形状適応ＤＣＴ変換した後（ステップＳ１４０５）、前
記量子化手段７において、前記符号化制御信号ｓ１０２
に応じて、前記少なくとも１つの前景オブジェクト及び
電子透かしを埋め込んだ背景オブジェクトのＤＣＴ係数
を量子化する（ステップＳ１４０６）。そして、電子透
かしを埋め込んだ前記背景オブジェクトの量子化ＤＣＴ
係数ｓ２３２は可変長符号化手段８及びスイッチ５Ｅ，
５Ｆに送られる一方、前記各前景オブジェクトの量子化
ＤＣＴ係数は、スイッチ５Ｄ及びスイッチ５Ｆに送られ
る。

【００７５】次に、前記スイッチ５Ｃ，５Ｄは、前記埋
め込み制御信号ｓ１０４により、スイッチ５Ｃがa側、
スイッチ５Ｄがｂ側に切り替えられ、前記可変長符号化
手段８において、前記符号化制御信号ｓ１０２に応じ
て、前記各前景オブジェクトの量子化ＤＣＴ係数及び電
子透かしを埋め込んだ前記背景オブジェクトの量子化Ｄ
ＣＴ係数ｓ２３２、前記動き検出手段１８から出力され
る前記各前景オブジェクト及び背景オブジェクトの動き
ベクトルｓ２５１、及び前記形状動き検出手段２１から
出力される前記各前景オブジェクトの形状情報の形状動
きベクトルｓ２６１が、可変長符号化される（ステップ
Ｓ１４０７）。

【００７６】次に、前記制御情報符号化手段２におい
て、前記埋め込み開始時刻、前記埋め込み終了時刻、前
記独自情報ｓ１０３、前記独自情報ｓ１０３のデータ種
別、前記暗号鍵４５に対応する解読鍵、及び前記埋め込
み領域４２の前記埋め込み開始位置、前記埋め込み方
向、及び前記埋め込みデータサイズ等を含む電子透かし
を抽出する際に必要な抽出制御情報ｓ１０１、及び前記
各前景オブジェクト及び背景オジェクトを１つの画面に
合成して表示する際に必要な表示制御情報ｓ１０６が符
号化され(ステップＳ１４０８)、前記形状符号化手段１
９において、前記前景オブジェクトの形状情報ｓ２２０
の予測誤差である誤差形状情報ｓ２２１が算術符号化さ
れる(ステップＳ１４０９)。

【００７７】なお、ステップＳ１４０８において、前記
抽出制御情報ｓ１０１及び表示制御情報ｓ１０６を、制
御情報符号化手段２で、メタデータまたはバイナリデー
タに符号化するようにしてもよく、前記抽出制御情報及
び表示制御情報がメタデータに符号化される場合は、デ
ータの種類毎にタグ及びパラメータを定義し、バイナリ
データに符号化される場合は、データの種類毎にコード
表を定義して符号化するものとする。例えば、図８に、
前記抽出制御情報ｓ１０１をメタデータ化したものを示
す。

【００７８】次に、前記多重化手段３により、前記符号
化制御信号ｓ１０２に応じて、前記可変長符号化手段８
から出力された各種可変長符号化データ、前記制御情報
符号化手段２から出力される前記符号化された抽出制御
情報及び符号化された表示制御情報、及び前記形状符号
化手段１９から出力される前記符号化形状情報が多重化
されて、ビットストリームまたはファイルｓ３００とし
て出力される（ステップＳ１４１０）。

【００７９】なお、前記多重化手段３において多重化さ
れたデータを、ファイルに記録して出力する場合には、
前記各前景オブジェクトの画素の誤差輝度値及び誤差色
値の符号化された量子化ＤＣＴ係数、符号化された動き
ベクトル、符号化された形状動きベクトル、及び符号化
された形状情報をまとめて、前記各前景オブジェクトの
データ単位とし、前記背景オブジェクトの画素の誤差輝
度値及び誤差色値の符号化された量子化ＤＣＴ係数、及
び符号化された動きベクトルをまとめて、前記背景オブ
ジェクトのデータ単位とし、前記符号化された抽出制御
情報、及び前記符号化された表示制御情報を、各々１つ
のデータ単位とした後、前述した各データ単位に、少な
くとも識別情報及びデータサイズを設定したヘッダ情報
を付加した後、多重化してファイルに記録するものとす
る。

【００８０】そして、前記ステップＳ１４１０において
出力された前記画像フレームが、前記画像データ内の最
終画像フレームであれば、画像データの符号化及び電子
透かしの埋め込みを終了し、前記画像フレームが途中の
画像フレームであれば、ステップＳ１４０３に戻って、
新たな前記画像フレームに対して以上に示した方法で、
画像データの符号化及び電子透かしの埋め込みを繰り返
す（ステップＳ１４１５）。

【００８１】一方、前記スイッチ５Ｅ，５Ｆは、前記埋
め込み制御信号ｓ１０４に応じて、前記スイッチ５Ｅが
ｂ側、スイッチ５Ｆがｂ側に切り替えられ、前記逆量子
化手段１２において、前記符号化制御信号ｓ１０２に応
じて、前記量子化手段８より出力された前記少なくとも
１つの前景オブジェクト及び電子透かしを埋め込んだ前
記背景オブジェクトの量子化ＤＣＴ係数ｓ２３２が逆量
子化され（ステップＳ１４１１）、前記逆ＤＣＴ変換手
段１３において、前記符号化制御信号ｓ１０２に応じ
て、前記逆量子化手段１２から出力される、前記少なく
とも１つの前景オブジェクト及び電子透かしを埋め込ん
だ前記背景オブジェクトのＤＣＴ係数が、逆２次元ＤＣ
Ｔ変換または逆形状適応ＤＣＴ変換されて、前記各前景
オブジェクト及び電子透かしを埋め込んだ前記背景オブ
ジェクトの画素の誤差輝度値及び誤差色値となる（ステ
ップＳ１４１２）。

【００８２】次に、前記スイッチ５Ｇ,５Ｈは、前記埋
め込み制御信号ｓ１０４に応じて、前記スイッチ５Ｇが
ｂ側、前記スイッチ５Ｈがａ側に切り替えられ、前記電
子透かし削除手段１４において、前記埋め込み制御信号
ｓ１０４に応じて、電子透かしが埋め込まれた前記背景
オブジェクトの前記埋め込み領域内の、前記埋め込み開
始位置から前記埋め込み方向に前記埋め込みデータサイ
ズの範囲内にある画素の誤差輝度値または誤差色値か
ら、前記暗号化された独自情報を削除して、元の画素の
誤差輝度値または誤差色値に変換し（ステップＳ１４１
３）、前記加算手段１５Ａ,１５Ｂで、前記符号化制御
信号ｓ１０２に応じて、前記各前景オブジェクト及び背
景オブジェクトの画素の誤差輝度値及び誤差色値に、前
記動き補償手段１６から出力される時間的に前または後
ろの画像フレーム内にある前記各前景オブジェクト及び
背景オブジェクトの動き補償後の同位置にある画素の輝
度値及び色値を加算して、前記フレームメモリ１７に記
録する（ステップＳ１４１４）。

【００８３】なお、本実施の形態１において、前記埋め
込み制御信号ｓ１０４は、埋め込みモード（ここでは、
背景オブジェクトの画素の輝度値への埋め込み）、埋め
込み開始時刻Ｔｓ、埋め込み終了時刻Ｔｅ、埋め込み画
像フレーム識別子（ここでは、埋め込み期間内の全ての
画像フレーム）、埋め込みオブジェクト識別子（ここで
は、埋め込み期間内の全画像フレーム内にある背景オブ
ジェクト）、埋め込み方法（ここでは、ビットプレーン
埋め込み方式）、埋め込み方法パラメータ（ここでは、
ビットプレーン値）、暗号鍵４５及び各スイッチ5A〜5H
の切り替え方向の情報を含み、前記埋め込み位置情報ｓ
１０５は、埋め込み開始位置４７、埋め込み方向４８
（ここでは、左上端から右下端へ横方向）、及び埋め込
みデータサイズ４９の情報を含み、前記抽出制御情報ｓ
１０１は、前記埋め込みモード、前記埋め込み画像フレ
ーム識別子、前記埋め込みオブジェクト識別子、前記独
自情報の種別（ここでは、文字データまたは図形データ
のどちらか一方）、独自情報パラメータ（ここでは、図
形データの場合は図形の幅や高さ）、前記暗号鍵４５に
対応する解読鍵、前記埋め込み開始時刻Ｔｓ、前記埋め
込み終了時刻Ｔｅ、前記埋め込み開始位置４７、前記埋
め込み方向４８、前記埋め込みデータサイズ４９、前記
埋め込み方法、及び前記埋め込み方法パラメータの情報
を含むものとし、前記符号化制御信号ｓ１０２は、ＭＰ
ＥＧ−４ビジュアル符号化標準（ISO/IEC 14496-2）に
準拠した符号化を行うための制御信号であるものとす
る。

【００８４】以上の説明では、一定期間内に表示される
複数の画像フレーム内にある、少なくとも１つの前景オ
ブジェクトが有する形状情報の画像フレーム間での重な
り領域４１に対応する背景オブジェクトの領域を埋め込
み領域４２とし、前記埋め込み領域４２の画素の誤差輝
度値に前記暗号化された独自情報を電子透かしとして埋
め込む場合について説明したが、前記埋め込み領域４２
に前記暗号化された独自情報を埋め込む際に、前記埋め
込み領域４２内の画素の誤差輝度値の量子化ＤＣＴ係数
に、前記暗号化された独自情報を電子透かしとして埋め
込むものであってもよい。この実施例を、実施の形態１
の変形例として説明する。

【００８５】(実施の形態１の変形例)一定期間内に表示
される複数の画像フレーム内にある、少なくとも１つの
前景オブジェクトが有する形状情報の画像フレーム間で
の重なり領域４１に対応する背景オブジェクト領域を埋
め込み領域４２として検出し、前記埋め込み領域４２の
画素の輝度値または色値の時間周波数変換後の周波数係
数に、前記独自情報を電子透かしとして埋め込む場合
（以下、「背景オブジェクトの画素の周波数係数に埋め
込む場合」と称す。）における、本電子透かし埋め込み
装置１００の動作について説明する。なお、ここでは、
前記背景オブジェクトの画素の誤差輝度値の量子化ＤＣ
Ｔ係数に、前記独自情報を埋め込む場合を例に挙げて、
図９を参照しながら、図１７に示すフローチャートに従
って説明する。

【００８６】図９は、輝度ブロック内の画素の誤差輝度
値の量子化ＤＣＴ係数に前記独自情報を埋め込む場合の
埋め込み領域を示す図であり、図１７は、前記独自情報
を背景オブジェクトの画素の誤差輝度値の量子化ＤＣＴ
係数に埋め込む場合の一連の動作を示すフローチャート
図である。まず、前記埋め込み・符号化制御手段１にお
いて、前記実施の形態１と同様にして、前記埋め込みモ
ードと、前記埋め込み開始時刻Ｔｓ及び前記埋め込み終
了時刻Ｔｅと、前記埋め込み画像フレーム識別子と、前
記埋め込みオブジェクト識別子とを設定する(ステップ
Ｓ１５００)。具体的には、前記埋め込みモードは、前
記背景オブジェクトの画素の誤差輝度値の量子化ＤＣＴ
係数への埋め込みであり、前記埋め込み開始時刻Ｔｓ、
埋め込み終了時刻Ｔｅ、埋め込み画像フレーム識別子、
及び埋め込みオブジェクト識別子は、前記実施の形態１
と同様である。

【００８７】次に、埋め込み領域検出手段２３におい
て、前記埋め込み領域を検出する(ステップＳ１５０
１)。

【００８８】ここで、図９を用いて、前記埋め込み領域
の検出方法について以下に説明する。前記埋め込み領域
の検出方法は、まず、前記実施の形態１と同様にして図
５に示す重なり領域４１を検出し、前記重なり領域４１
における輝度ブロック内の量子化ＤＣＴ係数が最低周波
数境界と最高周波数境界とで囲まれる領域を、埋め込み
領域として検出するものである。また、前記最低周波数
境界、及び最高周波数境界はそれぞれ、図９に示すよう
に、輝度ブロックの水平周波数及び垂直周波数がともに
０の位置を中心として、半径がＲｌの四分円、及び半径
がＲｈの四分円を表し、前記半径Ｒｌ及びＲｈが、前記
埋め込み制御信号ｓ１０４で指定される再生時の画質へ
の影響が最小となる帯域、及び前記周波数領域電子透か
し埋め込み手段１０より後に設置されるフィルタによ
り、電子透かしを埋め込んだ量子化ＤＣＴ係数が削除さ
れない帯域を基にして、設定されるものとする。

【００８９】次に、前記埋め込み位置決定手段２４で、
前記埋め込み制御信号ｓ１０４に応じて、前記埋め込み
領域４２内の、前記埋め込み開始位置、前記埋め込み方
向、前記埋め込みデータサイズ、及び電子透かしを埋め
込む画素の誤差輝度値の前記量子化ＤＣＴ係数のビット
プレーン値を決定するとともに、前記各種データを埋め
込み位置情報ｓ１０５として、前記埋め込み・符号化制
御手段１に出力する(ステップＳ１５０２)。ここで、前
記埋め込み開始位置、前記埋め込み方向、前記埋め込み
データサイズ、及び前記ビットプレーン値は、前記実施
の形態１と同様の方法で指定される。

【００９０】次に、前記符号化制御信号ｓ１０２に応じ
て、前記実施の形態１と同様にして、減算手段４Ａ,４
Ｂ及び動き補償手段１６を用いて前記少なくとも１つの
前景オブジェクトの画素の誤差輝度値及び誤差色値ｓ２
１２と、前記背景オブジェクトの画素の誤差輝度値及び
誤差色値ｓ１１１とを出力した後(ステップＳ１５０
３)、前記埋め込み制御信号ｓ１０４により、スイッチ
５Ａをａ側、スイッチ５Ｂをｂ側に切り替え、前記ＤＣ
Ｔ変換手段６及び前記量子化手段７において、前記符号
化制御信号ｓ１０２に応じて、前記減算手段４Ａ，４Ｂ
から出力される前記各前景オブジェクトの画素の誤差輝
度値及び誤差色値ｓ２１２、及び前記背景オブジェクト
の画素の誤差輝度値及び誤差色値ｓ１１１を、２次元Ｄ
ＣＴ変換または形状適応ＤＣＴ変換し（ステップＳ１５
０４）、量子化する（ステップＳ１５０５）。そして、
前記量子化手段７より出力された前記各前景オブジェク
ト及び背景オブジェクトの量子化ＤＣＴ係数は、前記ス
イッチ５Ｃ，５Ｄに送られる一方、前記スイッチ５Ｅ，
５Ｆに送られる。

【００９１】前記スイッチ５Ｃ，５Ｄでは、前記埋め込
み制御信号ｓ１０４により、前記スイッチ５Ｃがｂ側、
スイッチ５Ｄがｂ側に切り替えられ、前記周波数領域電
子透かし埋め込み手段１０において、前記埋め込み制御
信号ｓ１０４により指定される暗号鍵を用いて、前記埋
め込み・符号化制御手段１から出力される前記独自情報
ｓ１０３を暗号化し、前記埋め込み領域に対応した前記
背景オブジェクトの領域内の、前記埋め込み開始位置か
ら前記埋め込み方向に前記埋め込みデータサイズの範囲
内にある輝度ブロック内の、前記最低周波数境界と前記
最高周波数境界との間にある量子化ＤＣＴ係数の、前記
ビットプレーン値で指定されるビット値に、前記暗号化
された独自情報を電子透かしとして埋め込む（ステップ
Ｓ１５０６）。

【００９２】ここで、前記周波数領域電子透かし埋め込
み手段１０が、前記独自情報ｓ１０３を暗号化する方
法、及び前記暗号化した独自情報を電子透かしとして埋
め込む方法は、前記実施の形態１と基本的に同じであ
る。また、図７に示すように、図形データまたは文字デ
ータからなる前記独自情報を暗号化して、輝度マクロブ
ロックのサイズでブロック化した後、前記暗号化された
独自情報のブロック内の２値データを、前記背景オブジ
ェクトの前記埋め込み領域に対応する前記領域内にある
輝度マクロブロック内の画素の誤差輝度値の量子化ＤＣ
Ｔ係数に電子透かしとして埋め込む際に、前記埋め込み
領域に対応する前記背景オブジェクトの前記領域内の輝
度マクロブロックを前記埋め込み開始位置から前記埋め
込み方向に前記埋め込みデータサイズだけ順番に抽出
し、抽出した前記輝度マクロブロックを構成する各輝度
ブロックを左上端から右下端へ横方向に順番に抽出しな
がら、前記各輝度ブロック内の水平周波数及び垂直周波
数がともに０の直流成分の位置を中心として、半径がＲ
ｌの四分円で示される最低周波数境界と、半径がＲｈの
四分円で示される最高周波数境界との間にある量子化Ｄ
ＣＴ係数７１を左上端から右下端へ横方向に順番に抽出
するとともに、前記暗号化された独自情報のブロック内
の２値データを左上端から右下端へ横方向に順番に抽出
しながら、抽出された前記量子化ＤＣＴ係数の前記ビッ
トプレーン値で指定されるビット値を、前記抽出された
暗号化された独自情報の２値データで置換することによ
り、前記暗号化された独自情報を電子透かしとして埋め
込むものである。

【００９３】次に、前記可変長符号化手段８において、
前記符号化制御信号ｓ１０２に応じて、前記各前景オブ
ジェクト及び背景オブジェクトの量子化ＤＣＴ係数、前
記動き検出手段１８から出力される前記各前景オブジェ
クト及び背景オブジェクトの動きベクトルｓ２５１、及
び前記形状動き検出手段２１から出力される前記各前景
オブジェクトの形状情報の形状動きベクトルｓ２６１を
可変長符号化する（ステップＳ１５０７）。

【００９４】次に、前記制御情報符号化手段２におい
て、前記実施の形態１と同様、前記独自情報ｓ１０３に
関する情報、前記暗号鍵４５に対応する解読鍵、及び前
記埋め込み領域に関する情報等を含む前記抽出制御情報
ｓ１０１、及び前記各前景オブジェクト及び背景オブジ
ェクトを１つの画面に合成して表示する際に必要な前記
表示制御情報ｓ１０６を符号化し(ステップＳ１５０
８)、前記形状符号化手段１９において、前記各前景オ
ブジェクトの形状情報ｓ２２０の予測誤差である誤差形
状情報ｓ２２１を、算術符号化する(ステップＳ１５０
９)。なお、前記ステップＳ１５０８において、前記抽
出制御情報ｓ１０１及び前記表示制御情報ｓ１０６をメ
タデータまたはバイナリデータに符号化するようにして
もよい。

【００９５】次に、前記多重化手段３で、前記符号化制
御信号ｓ１０２に応じて、前記可変長符号化手段８から
出力された各種可変長符号化データ、前記制御情報符号
化手段２から出力される符号化された前記抽出制御情報
と符号化された前記表示制御情報、及び前記形状符号化
手段１９から出力される符号化された前記形状情報を多
重化して、ビットストリームまたはファイルｓ３００と
して出力する（ステップＳ１５１０）。なお、前記多重
化手段３において、前記多重化されたデータをファイル
に記録する場合は、前記実施の形態１と同様にして行わ
れる。

【００９６】そして、前記ステップＳ１５１０において
出力された前記画像フレームが、前記画像データ内の最
終画像フレームであれば、画像データの符号化及び電子
透かしの埋め込みを終了するが、前記画像フレームが途
中の画像フレームであれば、ステップＳ１５０３に戻っ
て、新たな画像フレームに対して、以上に示した方法で
画像データの符号化及び電子透かしの埋め込みを繰り返
す（ステップＳ１５１４）。一方、前記スイッチ５Ｅ，
５Ｆは、前記埋め込み制御信号ｓ１０４により、スイッ
チ５Ｅがａ側、スイッチ５Ｆがｂ側に切り替えられ、前
記逆量子化手段１２において、前記符号化制御信号ｓ１
０２に応じて、前記少なくとも１つの前景オブジェクト
及び背景オブジェクトの量子化ＤＣＴ係数が逆量子化さ
れ（ステップＳ１５１１）、前記逆ＤＣＴ変換手段１３
において、前記符号化制御信号ｓ１０２に応じて、前記
各前景オブジェクト及び背景オブジェクトのＤＣＴ係数
が、逆２次元ＤＣＴ変換または逆形状適応ＤＣＴ変換さ
れて、前記各前景オブジェクト及び背景オブジェクトの
画素の誤差輝度値及び誤差色値に戻される（ステップＳ
１５１２）。

【００９７】この後、本実施の形態１の変形例において
は、前記実施の形態１（背景オブジェクトの画素に埋め
込む場合）と異なり、前記量子化手段７より出力される
前記少なくとも１つの前景オブジェクト及び背景オブジ
ェクトには、前記独自情報ｓ１０３が電子透かしとして
埋め込まれていないため、前記電子透かし削除手段１４
により、電子透かしの削除を行う必要がない。従って、
前記埋め込み制御信号ｓ１０４により、前記スイッチ５
Ｇがａ側、スイッチ５Ｈがａ側に切り替えられ、前記加
算手段１５Ａ，１５Ｂで、前記符号化制御信号ｓ１０２
に応じて、前記各前景オブジェクト及び背景オブジェク
トの画素の誤差輝度値及び誤差色値に、前記動き補償手
段１６から出力される、時間的に前または後ろの画像フ
レーム内にある前記各前景オブジェクト及び背景オブジ
ェクトの動き補償後の同位置にある画素の輝度値及び色
値を加算して、前記フレームメモリ１７に記録する（ス
テップＳ１５１３）。

【００９８】なお、本実施の形態１の変形例において、
前記埋め込み制御信号ｓ１０４は、埋め込みモード（こ
こでは、背景オブジェクトの画素の輝度値の周波数係数
への埋め込み）、埋め込み開始時刻Ｔｓ、埋め込み終了
時刻Ｔｅ、埋め込み画像フレーム識別子（ここでは、埋
め込み期間内の全ての画像フレーム）、埋め込みオブジ
ェクト識別子（ここでは、埋め込み期間内にあるすべて
の画像フレーム内にある背景オブジェクト）、埋め込み
方法（ここでは、ビットプレーン埋め込み方式）、埋め
込み方法パラメータ（ここでは、ビットプレーン値）、
暗号鍵４５及び各スイッチ5A〜5Hの切り替え方向の情報
を含み、前記埋め込み位置情報ｓ１０５は、埋め込み開
始位置４７、埋め込み方向４８（ここでは、左上端から
右下端へ横方向）、最低周波数境界Ｒｌ、最高周波数境
界Ｒｈ、及び埋め込みデータサイズ４９の情報を含み、
前記抽出制御情報ｓ１０１は、前記埋め込みモード、前
記埋め込み画像フレーム識別子、前記埋め込みオブジェ
クト識別子、前記独自情報の種別（ここでは、文字デー
タまたは図形データのどちらか一方）、独自情報パラメ
ータ（図形データの場合は図形の幅や高さ）、前記暗号
鍵４５に対応する解読鍵、前記埋め込み開始時刻Ｔｓ、
前記埋め込み終了時刻Ｔｅ、前記埋め込み開始位置４
７、前記埋め込み方向４８、前記最低周波数境界Ｒｌ、
前記最高周波数境界Ｒｈ、前記埋め込みデータサイズ４
９、前記埋め込み方法、及び前記埋め込み方法パラメー
タの情報を含むものとし、また、前記符号化制御信号ｓ
１０２は、ＭＰＥＧ−４ビジュアル符号化標準（ISO/IE
C 14496-2）に準拠した符号化を行うための制御信号で
あるものとする。

【００９９】そして、前記実施の形態１及びその変形例
においては、前記背景オブジェクトの画素の誤差輝度値
または、画素の誤差輝度値の量子化ＤＣＴ係数に、前記
独自情報ｓ１０３を埋め込む場合を例として説明した
が、前記背景オブジェクトの画素の誤差色値、または画
素の誤差色値の量子化ＤＣＴ係数に埋め込むものであっ
てもよく、その場合、輝度マクロブロックまたは輝度ブ
ロック毎に電子透かしの埋め込みを行っていたものを、
色マクロブロックまたは色ブロック毎に行えば、同様の
方法で実施可能である。

【０１００】以上のように、本実施の形態１及びその変
形例によれば、前記独自情報ｓ１０３を前記背景オブジ
ェクトに埋め込む場合、電子透かし埋め込み装置１００
に入力する画像データ内の前記埋め込み制御信号ｓ１０
４により指定される、一定期間内に表示される複数の画
像フレームの中の前記埋め込み画像フレーム識別子で指
定される少なくとも１つの画像フレームから、前記埋め
込み領域検出手段２３により、前記少なくとも１つの前
景オブジェクトの形状情報ｓ２２０が重なる重なり領域
４１を検出し、前記重なり領域４１に対応する前記背景
オブジェクトの領域を電子透かしの埋め込み領域４２と
して検出した後、前記埋め込み位置決定手段２４によ
り、前記埋め込み領域４２内の前記埋め込み開始位置４
７、前記埋め込み方向４８、前記埋め込みデータサイズ
４９、及び前記ビットプレーン値を設定し、前記埋め込
み領域４２内の画素の誤差輝度値または誤差色値、また
は画素の誤差輝度値または誤差色値の量子化ＤＣＴ係数
に、前記暗号化した独自情報を埋め込むようにしたの
で、本電子透かし埋め込み装置１００に入力される、画
像データをＭＰＥＧ−４ビジュアル符号化標準のような
オブジェクト符号化方式を用いて符号化する場合に、画
像を劣化させることなく、前記独自情報ｓ１０３を電子
透かしとして効率良く埋め込むことができる。

【０１０１】なお、実施の形態１及びその変形例におい
ては、前記埋め込み位置決定手段２４により、前記背景
オブジェクトの前記埋め込み領域内に、前記埋め込み開
始位置、前記埋め込み方向、前記埋め込みデータサイズ
を決定することで、前記暗号化された独自情報を電子透
かしとして埋め込む前記埋め込み位置を設定するものと
したが、前記埋め込み位置の設定方法はこれに限るもの
ではなく、例えば、前記埋め込み領域内に、埋め込み開
始位置と埋め込み終了位置とを決定することで、前記埋
め込み位置を設定するようにしてもよい。

【０１０２】（実施の形態２）以下、本発明の実施の形
態２における、電子透かし埋め込み方法、及び電子透か
し埋め込み装置について説明する。前記実施の形態１で
は、電子透かし埋め込み装置１００に入力される、少な
くとも１つの前景オブジェクト及び背景オブジェクトで
構成される画像データの前記背景オブジェクトに、著作
権情報等の独自情報を電子透かしとして埋め込む場合に
ついて説明したが、本実施の形態２においては、画像デ
ータの前記少なくとも１つの前景オブジェクトに、前記
独自情報を電子透かしとして埋め込む場合について説明
する。なお、本実施の形態２における電子透かし埋め込
み装置１００の構成については、実施の形態１と同様で
あるため、ここでは説明を省略する。

【０１０３】本実施の形態２では、一定期間内に表示さ
れる複数の画像フレーム内にある少なくとも１つの前景
オブジェクトの形状領域またはパディング領域内の画素
の輝度または色値に、著作権情報等の独自情報を電子透
かしとして埋め込む場合（以下、「前景オブジェクトの
画素に埋め込む場合」と称す。）における、電子透かし
埋め込み装置１００の動作について説明する。なお、本
実施の形態２においては、前記各前景オブジェクトの画
素の誤差輝度値に、前記独自情報を埋め込む場合を例に
挙げて、図１０〜図１１を参照しながら、図１６に示す
フローチャートに従って説明する。

【０１０４】図１０は、前記少なくとも１つの前景オブ
ジェクトのエッジから形状領域方向にある埋め込み領域
を示す図であり、図１１は、前記少なくとも１つの前景
オブジェクトのエッジからパディング領域方向にある埋
め込み領域を示す図である。まず、前記埋め込み・符号
化制御手段１において、前記埋め込みモードと、電子透
かしの埋め込み期間である、前記埋め込み開始時刻Ｔｓ
及び前記埋め込み終了時刻Ｔｅと、前記埋め込み期間内
に表示される複数の画像フレームのうち、電子透かしが
埋め込まれる少なくとも１つの画像フレームを指定する
埋め込み画像フレーム識別子と、前記埋め込み画像フレ
ーム識別子で指定する画像フレーム内の、少なくとも１
つの前景オブジェクト及び背景オブジェクトのうち、電
子透かしを埋め込むオブジェクトを指定する埋め込みオ
ブジェクト識別子とを設定する(ステップＳ１４００)。

【０１０５】ここで、図５を用いて具体的に説明する
と、本実施の形態２においては、前記埋め込みモード
は、前景オブジェクトの画素の輝度値への埋め込みであ
り、前記埋め込み画像フレーム識別子は、前記埋め込み
制御信号ｓ１０４により指定される前記埋め込み開始時
刻Ｔｓと前記埋め込み終了時刻Ｔｅとの間に表示される
全ての画像フレーム３９ａ〜３９ｅのうちの、少なくと
も１つの画像フレームであり、前記埋め込みオブジェク
ト識別子は、前記埋め込み画像フレーム識別子で指定す
る画像フレームに存在する前景オブジェクトが指定され
る。

【０１０６】次に、前記埋め込み領域検出手段２３にお
いて、電子透かしを埋め込む埋め込み領域を検出する
(ステップＳ１４０１)。ここで、図１０及び図１１を用
いて、前記埋め込み領域を検出する方法について説明す
ると、前記埋め込み領域検出手段２３により、前記埋め
込み領域として、図１０に示すように、ステップＳ１４
００において指定した前記埋め込み画像フレーム識別子
で指定する画像フレーム内の、前記埋め込みオブジェク
ト識別子で指定する、前景オブジェクト５３が有する形
状情報のエッジ５４から形状領域方向に水平画素単位で
の埋め込み領域幅Ｌｅの部分、または図１１に示すよう
に、前記前景オブジェクト５３が有する形状情報のエッ
ジ５４からパディング領域方向に水平画素単位での埋め
込み領域幅Ｌｐの部分が検出される。

【０１０７】この時、前記埋め込み領域幅Ｌｅは、前記
前景オブジェクト５３のエッジ５４の形状の複雑度や、
前記エッジ５４付近にある前景オブジェクト５３の画素
の輝度値の平均値と前記エッジ５４付近にある背景オブ
ジェクトの画素の輝度値の平均値との差や、前記エッジ
５４付近にある前記前景オブジェクト５３の画素の輝度
値及び前記エッジ５４付近にある背景オブジェクトの画
素の輝度値の分散値等が大きいほど大きく、また、前記
複雑度、前記平均値の差、あるいは前記各種分散値等が
小さいほど小さく設定されるものである。また、前記埋
め込み領域幅Ｌｐの最大値については、輝度マクロブロ
ックのサイズ内に収まるように設定するものとする。

【０１０８】また、前記埋め込み領域幅Ｌｅ及びＬｐ
は、前述のように水平画素方向に設定するだけでなく、
垂直画素方向や前記エッジ５４の法線方向等に設定して
も良いものとする。また、前記埋め込み領域幅の変更、
及び前記埋め込み領域幅の設定方向に関する情報は、前
記埋め込み領域や埋め込み領域幅に関する情報ととも
に、前記埋め込み領域検出手段２３から出力するものと
する。次に、前記埋め込み位置決定手段２４において、
前記埋め込み制御信号ｓ１０４に応じて、前記埋め込み
領域内における、前記埋め込み開始位置、前記埋め込み
方向、前記埋め込みデータサイズ、及び電子透かしを埋
め込む画素の輝度値の前記ビットプレーン値を決定する
とともに、前記各種データを埋め込み位置情報ｓ１０５
として、前記埋め込み・符号化制御手段１に出力する
(ステップＳ１４０２)。

【０１０９】ここで、前記埋め込み開始位置、及び前記
埋め込み方向は、前記前景オブジェクトの動き状態に応
じて設定する。つまり、図１０または図１１における、
前記前景オブジェクト５３が静止している場合は、視覚
感度と、画素の明度、色相、及び彩度の変化量とが反比
例する特性を利用して、前記前景オブジェクト５３のエ
ッジ５４付近にある画素の輝度値の分散値が大きい部分
に、前記埋め込み開始位置及び前記埋め込み方向を設定
し、また、前記前景オブジェクト５３が移動している場
合は、視線が物体の進行方向先に移動する特性を利用し
て、前記前景オブジェクト５３の動き方向と反対側の前
記埋め込み領域内の部分に、前記埋め込み開始位置及び
前記埋め込み方向を設定する。また、前記埋め込みデー
タサイズは、前記独自情報ｓ１０３のデータ量、さら
に、前記ビットプレーン値は、前記エッジ５４付近で生
ずるマッハ効果などの視覚特性を利用して、図１０また
は図１１における前記前景オブジェクト５３のエッジ５
４付近にある画素の輝度値の平均値及び分散値が、前記
エッジ５４付近にある前記背景オブジェクトの画素の輝
度値の平均値及び分散値より大きいほど、前記ビットプ
レーン値を高く、前記エッジ５４付近にある画素の輝度
値の平均値及び分散値が前景オブジェクト５３のエッジ
５４付近にある背景オブジェクトの画素の輝度値の平均
値及び分散値より小さいほどビットプレーン値を低く設
定するものとする。

【０１１０】次に、前記埋め込み制御信号ｓ１０４によ
り、スイッチ５Ａをａ側、スイッチ５Ｂをａ側に切り替
え、前記動き補償手段１６において、前記符号化制御信
号ｓ１０２に応じて、前記動き検出手段１８から出力さ
れた前記少なくとも１つの前景オブジェクト及び背景オ
ブジェクトの動きベクトルｓ２５１と、前記フレームメ
モリ１７から読み出された時間的に前または後ろの画像
フレーム内にある対応する前記各前景オブジェクト及び
背景オブジェクトの画素の輝度値及び色値とを用いて動
き補償を行い、減算手段４Ａ，４Ｂにより、前記符号化
制御信号ｓ１０２に応じて、パディング後の前記少なく
とも１つの前景オブジェクトｓ２１１の画素の輝度値及
び色値、及び前記背景オブジェクトの画素の輝度値及び
色値ｓ１１０から、前記動き補償後の前記各前景オブジ
ェクト及び背景オブジェクトの画素の輝度値及び色値を
減算して、前記各前景オブジェクトの画素の誤差輝度値
及び誤差色値ｓ２１２と、前記背景オブジェクトの画素
の誤差輝度値及び誤差色値ｓ１１１とを出力し(ステッ
プＳ１４０３)、前記空間領域電子透かし埋め込み手段
９において、前記埋め込み制御信号ｓ１０４によって指
定された暗号鍵を用いて、前記埋め込み・符号化制御手
段１から出力される前記独自情報ｓ１０３を暗号化し、
前記埋め込み制御信号ｓ１０４に応じて、前記各前景オ
ブジェクトの前記埋め込み領域内の、前記埋め込み開始
位置から前記埋め込み方向に前記埋め込みデータサイズ
の範囲内にある、画素の誤差輝度値ｓ１１１の、前記ビ
ットプレーン値で指定するビット値に、前記暗号化した
独自情報を電子透かしとして埋め込む(ステップＳ１４
０４)。

【０１１１】ここで、前記空間領域電子透かし埋め込み
手段９が、前記独自情報ｓ１０３を暗号化する方法は、
前記実施の形態１と同様であり、また、前記暗号化した
独自情報を電子透かしとして埋め込む方法は、図１０に
示すように、前記各前景オブジェクト５３のエッジ５４
から形状領域方向へ前記埋め込み領域幅Ｌｅの埋め込み
領域内、または図１１に示すように、前記各前景オブジ
ェクト５３のエッジ５４からパディング領域方向へ前記
埋め込み領域幅Ｌｐの埋め込み領域内の、前記埋め込み
開始位置から前記埋め込み方向（ここでは、左上端から
右下端へ横方向）に、前記埋め込みデータサイズの範囲
内にある画素の誤差輝度値を順番に抽出するとともに、
図７に示すように暗号化された前記独自情報の２値デー
タを、ブロック４６,５２単位で左上端から右下端へ横
方向に順番に抽出し、前記抽出した画素の誤差輝度値
の、前記ビットプレーン値で指定されるビット値を、前
記抽出した２値データで置換することにより、前記暗号
化された独自情報を電子透かしとして埋め込む。

【０１１２】次に、前記ＤＣＴ変換手段６において、前
記符号化制御信号ｓ１０２に応じて、前記少なくとも１
つの前景オブジェクトの画素の誤差輝度値及び誤差色値
ｓ２３１と、前記背景オブジェクトの画素の誤差輝度値
及び誤差色値ｓ１１１とをブロック化して、２次元ＤＣ
Ｔ変換または形状適応ＤＣＴ変換した後（ステップＳ１
４０５）、前記量子化手段７において、前記符号化制御
信号ｓ１０２に応じて、前記各前景オブジェクト、及び
背景オブジェクトのＤＣＴ係数を量子化する（ステップ
Ｓ１４０６）。そして、前記各前景オブジェクトの量子
化ＤＣＴ係数ｓ２３２は、可変符号化手段８及びスイッ
チ５Ｅ，５Ｆに送られる一方、前記背景オブジェクトの
量子化ＤＣＴ係数は、スイッチ５Ｃ及びスイッチ５Ｅに
送られる。

【０１１３】次に、前記スイッチ５Ｃ，５Ｄは、前記埋
め込み制御信号ｓ１０４により、前記スイッチ５Ｃがa
側、スイッチ５Ｄがｂ側に切り替えられ、前記可変長符
号化手段８において、前記符号化制御信号ｓ１０２に応
じて、前記電子透かしを埋め込んだ前記各前景オブジェ
クト及び背景オブジェクトの量子化ＤＣＴ係数、前記動
き検出手段１８から出力される前記各前景オブジェクト
及び背景オブジェクトの動きベクトルｓ２５１、及び前
記形状動き検出手段２１から出力される前記各前景オブ
ジェクトの形状情報の形状動きベクトルｓ２６１を可変
長符号化する（ステップＳ１４０７）。

【０１１４】次に、前記制御情報符号化手段２におい
て、前記符号化制御信号ｓ１０２に応じて、前記独自情
報ｓ１０３に関する情報、前記暗号鍵に対応する解読
鍵、及び前記埋め込み領域に関する情報等を含む、前記
独自情報ｓ１０３を抽出する際に必要な抽出制御情報ｓ
１０１と、前記各前景オブジェクト及び背景オブジェク
トを１つの画面に合成して表示する際に必要な表示制御
情報ｓ１０６とが符号化され(ステップＳ１４０８)、前
記形状符号化手段１９において、前記符号化制御信号ｓ
１０２に応じて、前記各前景オブジェクトの形状情報ｓ
２２０の予測誤差である誤差形状情報ｓ２２１が算術符
号化される(ステップＳ１４０９)。

【０１１５】なお、ステップＳ１４０８において、前記
制御情報符号化手段２で、前記抽出制御情報ｓ１０１及
び前記表示制御情報ｓ１０６を、メタデータまたはバイ
ナリデータに符号化するようにしてもよく、前記抽出制
御情報及び前記表示制御情報がメタデータに符号化され
る場合は、データの種類毎にタグ及びパラメータを定義
し、バイナリデータに符号化される場合は、データの種
類毎にコード表を定義して符号化するものとする。例え
ば、図８に、前記抽出制御情報ｓ１０１をメタデータ化
したものを示す。

【０１１６】次に、前記多重化手段３により、前記符号
化制御信号ｓ１０２に応じて、前記可変長符号化手段８
から出力された各種可変長符号化データ、前記制御情報
符号化手段２から出力される前記符号化された抽出制御
情報及び符号化された表示制御情報、及び前記形状符号
化手段１９から出力される前記符号化形状情報が多重化
されて、ビットストリームまたはファイルｓ３００とし
て出力される（ステップＳ１４１０）。

【０１１７】なお、前記多重化手段３において多重化さ
れたデータを、ファイルに記録して出力する場合につい
ては、前記実施の形態１と同様である。そして、前記ス
テップＳ１４１０において出力される画像フレームが、
画像データ内の最終画像フレームであれば、画像データ
の符号化及び電子透かしの埋め込みを終了し、前記画像
フレームが途中の画像フレームであれば、ステップＳ１
４０３に戻って、新たな前記画像フレームに対して以上
に示した方法で、画像データの符号化及び電子透かしの
埋め込みを繰り返す（ステップＳ１４１５）。

【０１１８】一方、前記スイッチ５Ｅ，５Ｆは、前記埋
め込み制御信号ｓ１０４に応じて、前記スイッチ５Ｅが
ａ側、スイッチ５Ｆがａ側に切り替えられ、前記逆量子
化手段１２において、符号化制御信号ｓ１０２に応じ
て、前記量子化手段８より出力された前記少なくとも１
つの前景オブジェクト及び背景オブジェクトの量子化Ｄ
ＣＴ係数が逆量子化され（ステップＳ１４１１）、前記
逆ＤＣＴ変換手段１３において、前記符号化制御信号ｓ
１０２に応じて、前記逆量子化手段１２から出力される
前記各前景オブジェクト及び背景オブジェクトのＤＣＴ
係数は、逆２次元ＤＣＴ変換または逆形状適応ＤＣＴ変
換されて、前記各前景オブジェクト及び背景オブジェク
トの画素の誤差輝度値及び誤差色値となる（ステップＳ
１４１２）。

【０１１９】次に、前記スイッチ５Ｇ,５Ｈは、前記埋
め込み制御信号ｓ１０４により、前記スイッチ５Ｇがａ
側、スイッチ５Ｈがｂ側に切り替えられ、電子透かし削
除手段１４において、前記埋め込み制御信号ｓ１０４に
応じて、前記電子透かしの埋め込まれた前記前景オブジ
ェクトの、前記埋め込み領域内の前記埋め込み開始位置
から前記埋め込み方向に、前記埋め込みデータサイズの
範囲内にある画素の誤差輝度値または誤差色値から、前
記暗号化された独自情報を削除して、元の画素の誤差輝
度値または誤差色値に変換し（ステップＳ１４１３）、
前記加算手段１５Ａ,１５Ｂで、前記符号化制御信号ｓ
１０２に応じて、前記各前景オブジェクト及び背景オブ
ジェクトの画素の誤差輝度値及び誤差色値に、前記動き
補償手段１６から出力される、時間的に前または後ろの
画像フレーム内にある前記各前景オブジェクト及び背景
オブジェクトの動き補償後の同位置にある画素の輝度値
及び色値を加算して、前記フレームメモリ１７に記録す
る（ステップＳ１４１４）。

【０１２０】なお、本実施の形態２において、前記埋め
込み制御信号ｓ１０４は、埋め込みモード（ここでは、
前景オブジェクトの画素の輝度値への埋め込み）、埋め
込み開始時刻Ｔｓ、埋め込み終了時刻Ｔｅ、埋め込み画
像フレーム識別子（ここでは、埋め込み期間内の少なく
とも1つ画像フレームを識別する値）、埋め込みオブジ
ェクト識別子（ここでは、人物を示す前景オブジェクト
を識別する値）、埋め込み方法（ここでは、ビットプレ
ーン埋め込み方式）、埋め込み方法パラメータ（ここで
は、ビットプレーン値）、暗号鍵及び各スイッチ5A〜5H
の切り替え方向の情報を含み、前記埋め込み位置情報ｓ
１０５は、埋め込み開始位置、埋め込み方向（ここで
は、左上端から右下端へ横方向）、及び埋め込みデータ
サイズの情報を含み、前記抽出制御情報ｓ１０１は、前
記埋め込みモード、前記埋め込み画像フレーム識別子、
前記埋め込みオブジェクト識別子、独自情報種別（ここ
では、文字データまたは図形データのどちらか一方）、
独自情報パラメータ（図形データの場合は図形の幅や高
さ）、前記暗号鍵４５に対応する解読鍵、前記埋め込み
開始時刻Ｔｓ、前記埋め込み終了時刻Ｔｅ、前記埋め込
み開始位置、前記埋め込み方向、前記埋め込みデータサ
イズ、前記埋め込み方法、及び前記埋め込み方法パラメ
ータの情報を含むものとし、前記符号化制御信号ｓ１０
２は、ＭＰＥＧ−４ビジュアル符号化標準（ISO/IEC 14
496-2）に準拠した符号化を行うための制御信号である
ものとする。

【０１２１】以上の説明では、一定期間内に表示され
る、少なくとも１つの画像フレーム内にある前記少なく
とも１つの前景オブジェクト５３のエッジ５４から形状
領域方向またはパディング領域方向の埋め込み領域幅Ｌ
ｅまたはＬｐ内の画素の誤差輝度値に、著作権情報等の
独自情報ｓ１０３を電子透かしとして埋め込む場合につ
いて説明したが、前記各前景オブジェクトに暗号化され
た独自情報を埋め込む際に、前記各前景オブジェクトの
前記埋め込み領域内の画素の誤差輝度値の量子化ＤＣＴ
係数に、前記暗号化された独自情報を電子透かしとして
埋め込むものであってもよい。この実施例を、実施の形
態２の変形例として説明する。

【０１２２】(実施の形態２の変形例)一定期間内に表示
される複数の画像フレーム内の、少なくとも１つの前景
オブジェクトの画素の輝度値または色値の時間周波数変
換後の周波数係数に、著作権情報等の独自情報を電子透
かしとして埋め込む場合（以下、「前景オブジェクトの
画素の周波数係数に埋め込む場合」と称す。）におけ
る、電子透かし埋め込み装置１００の動作について説明
する。なお、本実施の形態２の変形例においては、前記
少なくとも１つの前景オブジェクトの画素の誤差輝度値
の量子化ＤＣＴ係数に、前記独自情報を埋め込む場合を
例に挙げて、図１２を参照しながら、図１７に示すフロ
ーチャートに従って説明する。

【０１２３】図１２は、前景オブジェクトのエッジ部分
にある画素の誤差輝度値の量子化ＤＣＴ係数への埋め込
み領域を示す図である。まず、前記埋め込み・符号化制
御手段１において、前記実施の形態１と同様にして、前
記埋め込みモードと、前記埋め込み開始時刻Ｔｓ及び前
記埋め込み終了時刻Ｔｅと、前記埋め込み画像フレーム
識別子と、前記埋め込みオブジェクト識別子とを設定す
る(ステップＳ１５００)。具体的には、前記埋め込みモ
ードは、前記前景オブジェクトの画素の輝度値の量子化
ＤＣＴ係数への埋め込みであり、前記埋め込み開始時刻
Ｔｓ、前記埋め込み終了時刻Ｔｅ、前記埋め込み画像フ
レーム識別子、及び前記埋め込みオブジェクト識別子
は、前記実施の形態１と同様である。

【０１２４】次に、埋め込み領域検出手段２３におい
て、前記埋め込み領域を検出する(ステップＳ１５０
１)。ここで、図１２を用いて、前記埋め込み領域の検
出方法について説明すると、前記ステップＳ１５００に
おいて設定した前記埋め込み画像フレーム識別子で指定
する画像フレーム内の、前記埋め込みオブジェクト識別
子で指定する前景オブジェクト５３のエッジ５４を含む
輝度ブロックの、境界ブロック内の形状情報に応じて配
置される形状適応ＤＣＴ変換後の量子化ＤＣＴ係数が存
在する領域の境界５５より外側で、且つ、最低周波数境
界Ｒｌと最高周波数境界Ｒｈとの間の、埋め込み領域幅
Ｌｃ内に存在する量子化ＤＣＴ係数を、前記埋め込み領
域として検出する。また、前記最低周波数境界Ｒｌ、及
び前記最高周波数境界Ｒｈの設定方法は、前記実施の形
態１の変形例と同様であり、前記埋め込み領域幅Ｌｃ
は、前記独自情報ｓ１０３のデータ量に応じて決定する
ものとする。

【０１２５】次に、前記埋め込み位置決定手段２４で、
前記埋め込み制御信号ｓ１０４に応じて、前記埋め込み
領域内の前記埋め込み開始位置、前記埋め込み方向、前
記埋め込みデータサイズ、及び電子透かしを埋め込む量
子化ＤＣＴ係数のビットプレーン値を決定するととも
に、前記各種データを埋め込み位置情報ｓ１０５とし
て、前記埋め込み・符号化制御手段１に出力する(ステ
ップＳ１５０２)。ここで、前記埋め込み開始位置、前
記埋め込み方向、前記埋め込みデータサイズ、及び前記
ビットプレーン値は、前記実施の形態２と同様の方法で
指定される。

【０１２６】次に、前記動き補償手段１６において、前
記符号化制御信号ｓ１０２に応じて、前記実施の形態１
と同様の動き補償を行い、前記減算手段４Ａ,４Ｂよ
り、前記背景オブジェクトの画素の誤差輝度値及び誤差
色値ｓ１１１と、パディング後の前記前景オブジェクト
の画素の誤差輝度値及び誤差色値ｓ２１２とを出力した
後(ステップＳ１５０３)、前記埋め込み制御信号ｓ１０
４により、スイッチ５Ａをａ側、スイッチ５Ｂをｂ側に
切り替え、前記ＤＣＴ変換手段６及び前記量子化手段７
において、前記符号化制御信号ｓ１０２に応じて、前記
減算手段４Ａ，４Ｂから出力される前記各前景オブジェ
クトの画素の誤差輝度値及び誤差色値ｓ２１２、及び前
記背景オブジェクトの画素の誤差輝度値及び誤差色値ｓ
１１１を、２次元ＤＣＴ変換または形状適応ＤＣＴ変換
し（ステップＳ１５０４）、量子化する（ステップＳ１
５０５）。そして、前記量子化手段７より出力された前
記各前景オブジェクト及び背景オブジェクトの量子化Ｄ
ＣＴ係数は、前記スイッチ５Ｃ，５Ｄに送られる一方、
前記スイッチ５Ｅ，５Ｆに送られる。

【０１２７】前記スイッチ５Ｃ，５Ｄは、前記埋め込み
制御信号ｓ１０４により、前記スイッチ５Ｃがａ側、ス
イッチ５Ｄがａ側に切り替えられ、前記周波数領域電子
透かし埋め込み手段１０において、前記埋め込み制御信
号ｓ１０４により指定される暗号鍵を用いて、前記独自
情報ｓ１０３を暗号化し、前記埋め込み領域内の、前記
埋め込み開始位置から前記埋め込み方向に前記埋め込み
データサイズの範囲内にある量子化ＤＣＴ係数の、前記
ビットプレーン値で指定されるビット値を、暗号化され
た前記独自情報で置換することにより、電子透かしとし
て埋め込む(ステップＳ１５０６)。

【０１２８】ここで、前記周波数領域電子透かし埋め込
み手段１０が、前記独自情報ｓ１０３を暗号化する方法
は、前記実施の形態１と同じであり、前記暗号化した独
自情報を電子透かしとして埋め込む方法は、図１２に示
すように、輝度ブロックの量子化ＤＣＴ係数が存在する
領域の境界５５から、前記埋め込み領域幅Ｌｃ内の埋め
込み領域内の、前記埋め込み開始位置から前記埋め込み
方向（ここでは、左上端から右下端へ横方向）に、前記
埋め込みデータサイズの範囲内にある画素の誤差輝度値
の量子化ＤＣＴ係数を順番に抽出し、図７に示すよう
に、前記暗号化された独自情報の各ブロック４６，５２
内の２値データを左上端から右下端へ横方向に順番に抽
出しながら、前記抽出された量子化ＤＣＴ係数の前記ビ
ットプレーン値で指定するビット値を、前記抽出された
２値データで置換することにより、前記暗号化された独
自情報を電子透かしとして埋め込むものである。

【０１２９】次に、前記可変長符号化手段８において、
前記符号化制御信号ｓ１０２に応じて、前記各前景オブ
ジェクト及び背景オブジェクトの量子化ＤＣＴ係数、前
記各前景オブジェクト及び背景オブジェクトの動きベク
トルｓ２５１、及び前記各前景オブジェクトの形状情報
の形状動きベクトルｓ２６１を可変長符号化する（ステ
ップＳ１５０７）。次に、前記制御情報符号化手段２に
おいて、前記独自情報ｓ１０３に関する情報、暗号鍵４
５に対応する解読鍵、及び埋め込み領域に関する情報等
を含む、前記独自情報を抽出する際に必要な抽出制御情
報ｓ１０１と、前記各前景オブジェクト及び背景オブジ
ェクトを１つの画面に合成して表示する際に必要な表示
制御情報ｓ１０６とを符号化し(ステップＳ１５０８)、
前記形状符号化手段１９において、前記各前景オブジェ
クトの形状情報ｓ２２０の予測誤差である誤差形状情報
ｓ２２１を算術符号化する(ステップＳ１５０９)。な
お、前記ステップＳ１５０８において、前記抽出制御情
報ｓ１０１及び前記表示制御情報ｓ１０６をメタデータ
またはバイナリデータに符号化するようにしてもよい。

【０１３０】次に、前記多重化手段３で、前記符号化制
御信号ｓ１０２に応じて、各種可変長符号化データ、前
記制御情報符号化手段２から出力される前記符号化され
た抽出制御情報と符号化された表示制御情報、及び前記
形状符号化手段１９から出力される前記符号化形状情報
を多重化して、ビットストリームまたはファイルｓ３０
０として出力する（ステップＳ１５１０）。

【０１３１】なお、前記多重化手段３において多重化さ
れたデータを、ファイルに記録して出力する場合につい
ては、前記実施の形態１と同様である。そして、ステッ
プＳ１５１０において出力された画像フレームが、前記
画像データ内の最終画像フレームであれば、画像データ
の符号化及び電子透かしの埋め込みを終了するが、前記
画像フレームが途中の画像フレームであれば、ステップ
Ｓ１５０３に戻って、新たな画像フレームに対して、以
上に示した方法で画像データの符号化及び電子透かしの
埋め込みを繰り返す（ステップＳ１５１４）。

【０１３２】一方、前記スイッチ５Ｅ，５Ｆでは、前記
埋め込み制御信号ｓ１０４に応じて、前記スイッチ５Ｅ
がａ側、スイッチ５Ｆがｂ側に切り替えられ、前記逆量
子化手段１２において、前記符号化制御信号ｓ１０２に
応じて、前記量子化手段８より出力された前記各前景オ
ブジェクト及び背景オブジェクトの量子化ＤＣＴ係数が
逆量子化され（ステップＳ１５１１）、前記逆ＤＣＴ変
換手段１３において、前記符号化制御信号ｓ１０２に応
じて、前記逆量子化手段１２から出力される前記各前景
オブジェクト及び背景オブジェクトのＤＣＴ係数が、逆
２次元ＤＣＴ変換または逆形状適応ＤＣＴ変換されて、
元の前記各前景オブジェクト及び背景オブジェクトの画
素の誤差輝度値及び誤差色値に戻される（ステップＳ１
５１２）。

【０１３３】この後、本実施の形態２の変形例において
は、前記実施の形態２（前景オブジェクトの画素に埋め
込む場合）と異なり、前記各前景オブジェクト及び背景
オブジェクトの画素の誤差輝度値または誤差色値には前
記独自情報ｓ１０３が埋め込まれていないため、前記電
子透かし削除手段１４により電子透かしの削除を行う必
要がない。従って、前記埋め込み制御信号ｓ１０４によ
り、前記スイッチ５Ｇをａ側、前記スイッチ５Ｈをａ側
に切り替え、前記加算手段１５Ａ，１５Ｂで、前記符号
化制御信号ｓ１０２に応じて、前記各前景オブジェクト
及び背景オブジェクトの画素の誤差輝度値及び誤差色値
に、前記動き補償手段１６から出力される、時間的に前
または後ろの画像フレーム内にある前記各前景オブジェ
クト及び背景オブジェクトの動き補償後の同位置にある
画素の輝度値及び色値を加算して、前記フレームメモリ
１７に記録する（ステップＳ１５１３）。

【０１３４】なお、本実施の形態２の変形例において、
前記埋め込み制御信号ｓ１０４は、埋め込みモード（こ
こでは、前景オブジェクトの画素の輝度値の周波数係数
への埋め込み）、埋め込み開始時刻Ｔｓ、埋め込み終了
時刻Ｔｅ、埋め込み画像フレーム識別子（ここでは、埋
め込み期間内の少なくとも１つの画像フレームを識別す
る値）、埋め込みオブジェクト識別子（ここでは、人物
を示す前景オブジェクトを識別する値）、埋め込み方法
（ここでは、ビットプレーン埋め込み方式）、埋め込み
方法パラメータ（ここでは、ビットプレーン値）、暗号
鍵及び各スイッチ5A〜5Hの切り替え方向の情報を含み、
前記埋め込み位置情報ｓ１０５は、埋め込み開始位置、
埋め込み方向（ここでは、左上端から右下端へ横方
向）、最低周波数境界Ｒｌ、最高周波数境界Ｒｈ、及び
埋め込みデータサイズの情報を含み、前記抽出制御情報
ｓ１０１は、前記埋め込みモード、前記埋め込み画像フ
レーム識別子、前記埋め込みオブジェクト識別子、独自
情報種別（ここでは、文字データまたは図形データのど
ちらか一方）、独自情報パラメータ（図形データの場合
は図形の幅や高さ）、前記暗号鍵に対応する解読鍵、前
記埋め込み開始時刻Ｔｓ、前記埋め込み終了時刻Ｔｅ、
前記埋め込み開始位置、前記埋め込み方向、前記最低周
波数境界Ｒｌ、前記最高周波数境界Ｒｈ、前記埋め込み
データサイズ、前記埋め込み方法、及び前記埋め込み方
法パラメータからなるものとし、また、前記符号化制御
信号ｓ１０２は、ＭＰＥＧ−４ビジュアル符号化標準
（ISO/IEC 14496-2）に準拠した符号化を行うための制
御信号であるものとする。

【０１３５】そして、前記実施の形態２及びその変形例
においては、前記各前景オブジェクトのエッジから形状
領域方向またはパディング領域方向の前記埋め込み領域
内にある画素の誤差輝度値、または画素の誤差輝度値の
量子化ＤＣＴ係数に前記独自情報ｓ１０３を埋め込む場
合を例として説明したが、前記各前景オブジェクトの画
素の誤差色値または、画素の誤差色値の量子化ＤＣＴ係
数に埋め込むものであってもよく、その場合、輝度マク
ロブロックまたは輝度ブロック毎に電子透かしの埋め込
みを行っていたものを、色マクロブロックまたは色ブロ
ック毎に行えば、同様の方法で実施可能である。

【０１３６】以上のように、本実施の形態２及びその変
形例によれば、前記独自情報ｓ１０３を前記各前景オブ
ジェクトの画素に埋め込む場合、前記埋め込み制御信号
ｓ１０４により指定される一定期間内に表示される複数
の画像フレームの中の、前記埋め込み画像フレーム識別
子で指定される少なくとも１つの画像フレームから、前
記埋め込み領域検出手段２３により、前記画像フレーム
内の前記埋め込みオブジェクト識別子で指定する少なく
とも１つの前景オブジェクトの形状情報５３のエッジ５
４から形状情報内部へ埋め込み領域幅Ｌｅ内、また、前
記形状情報５３のエッジ５４からパディング領域方向へ
埋め込み領域幅Ｌｐ内の部分を前記埋め込み領域として
検出し、前記各前景オブジェクトの画素の誤差輝度値ま
たは誤差色値の周波数係数に埋め込む場合、前記埋め込
み領域検出手段２３により、前記埋め込み画像フレーム
識別子で指定する少なくとも１つの画像フレーム内の前
記埋め込みオブジェクト識別子で指定する前景オブジェ
クト５３のエッジを含む境界ブロック内にある画素の誤
差輝度値または誤差色値の量子化ＤＣＴ係数が存在する
領域の境界５５から、埋め込み領域幅Ｌｃと、最高周波
数境界Ｒｈと、最低周波数境界Ｒｌとで囲まれる埋め込
み領域を検出し、前記埋め込み位置決定手段２４で設定
した、前記埋め込み領域内の前記埋め込み開始位置から
前記埋め込み方向に前記埋め込みデータサイズの範囲内
にある量子化ＤＣＴ係数の前記ビットプレーン値で指定
するビット値を前記暗号化した独自情報で置換すること
により、電子透かしとして埋め込むようにしたので、本
電子透かし埋め込み装置１００に入力される画像データ
を、ＭＰＥＧ−４ビジュアル符号化標準のようなオブジ
ェクト符号化方式を用いて符号化する場合に、画質劣化
を少なくして前記独自情報ｓ１０３を電子透かしとして
効率良く埋め込むことができる。

【０１３７】また、本実施の形態２においては、前記埋
め込み位置決定手段２４により、前記暗号化された独自
情報を埋め込む、埋め込み領域内の前記埋め込み開始位
置、及び前記埋め込み方向を、前記少なくとも１つの前
景オブジェクトの動き状態に応じて指定するようにした
ので、前記暗号化された独自情報が電子透かしとして埋
め込まれた画像データをモニターで表示する際、画像の
劣化をより少なくすることができる。なお、実施の形態
２及びその変形例においては、前記埋め込み位置決定手
段２４により、前記埋め込みオブジェクト識別子で指定
した前記各前景オブジェクトの前記埋め込み領域内に、
前記埋め込み開始位置、前記埋め込み方向、前記埋め込
みデータサイズを決定することで、前記暗号化された独
自情報を電子透かしとして埋め込む前記埋め込み位置を
設定するものとしたが、前記埋め込み位置の設定方法は
これに限るものではなく、例えば、前記埋め込み領域内
に、埋め込み開始位置と埋め込み終了位置とを決定する
ことで、前記埋め込み位置を設定するようにしてもよ
い。

【０１３８】（実施の形態３）以下、本発明の実施の形
態３の電子透かし埋め込み方法、及び電子透かし埋め込
み装置について説明する。前記実施の形態１及び実施の
形態２では、本電子透かし埋め込み装置１００に入力さ
れる、画像データを構成する少なくとも１つの前景オブ
ジェクトの形状情報が２値の場合について説明したが、
本実施の形態３においては、前記形状情報が透過度を有
する場合について説明する。なお、本実施の形態３にお
ける電子透かし埋め込み装置１００の構成については、
前記実施の形態１と同様であるため、ここでは説明を省
略する。

【０１３９】本実施の形態３では、画面を構成する少な
くとも１つの前景オブジェクトの形状情報が０を完全に
透明な状態、１を完全に不透明な状態とする、０以上１
以下の任意の値をとる透過度で表される画像データの画
素の輝度値または色値に著作権情報等の独自情報を埋め
込む場合（以下、「透過度を有する画像データの画素に
埋め込む場合」と称す。）における、本電子透かし埋め
込み装置１００の動作について説明する。なお、本実施
の形態３においては、前記各前景オブジェクト及び背景
オブジェクトの画素の誤差輝度値に、前記暗号化された
独自情報を埋め込む場合を例に挙げて、図１３〜図１５
を参照しながら、図１６のフローチャートに従って説明
する。

【０１４０】図１３は、画面を構成する少なくとも１つ
の前景オブジェクトの形状情報が０以上１以下の任意の
値を持つ画像データを示す図であり、図１４は、前記各
前景オブジェクト及び背景オブジェクトの埋め込み領域
に、暗号化された独自情報を電子透かしとして埋め込む
流れを示す図である。

【０１４１】まず、埋め込み・符号化制御手段１におい
て、埋め込みモードと、電子透かしの埋め込み期間であ
る、埋め込み開始時刻Ｔｓ及び埋め込み終了時刻Ｔｅ
と、前記埋め込み期間内に表示される複数の画像フレー
ムのうち、電子透かしが埋め込まれる少なくとも１つの
画像フレームを指定する埋め込み画像フレーム識別子
と、前記埋め込み画像フレーム識別子で指定される画像
フレーム内にある少なくとも１つの前景オブジェクトま
たは背景オブジェクトのうち、電子透かしを埋め込むオ
ブジェクトを指定する埋め込みオブジェクト識別子とを
設定する(ステップＳ１４００)。具体的には、前記埋め
込みモードは、透過度を有する前景オブジェクト及び背
景オブジェクトの画素の輝度値への埋め込みであり、前
記埋め込み画像フレーム識別子は、前記埋め込み制御信
号ｓ１０４により指定される前記埋め込み開始時刻Ｔｓ
と前記埋め込み終了時刻Ｔｅとの間に表示される複数の
画像フレームの中の少なくとも１つの画像フレームであ
り、前記埋め込みオブジェクト識別子は、前記埋め込み
画像フレーム識別子で指定する画像フレームに存在する
全ての前景オブジェクト及び背景オブジェクトが指定さ
れる。

【０１４２】次に、埋め込み領域検出手段２３におい
て、電子透かしを埋め込む埋め込み領域を検出する（ス
テップＳ１４０１）。ここで、図１３を用いて、前記埋
め込み領域を検出する方法について説明すると、前記埋
め込み領域検出手段２３により、前記埋め込み・符号化
制御手段１から出力する埋め込み制御信号ｓ１０４で指
定される、前記埋め込み開始時刻Ｔｓと前記埋め込み終
了時刻Ｔｅとの間に表示される前記埋め込み画像フレー
ム識別子で指定される画像フレーム内にある、全ての前
景オブジェクトＡ５６〜Ｃ５８の形状情報が共通して背
景オブジェクトＢｇ６０を隠す領域を、埋め込み領域５
９として検出する。

【０１４３】次に、前記埋め込み位置決定手段２４にお
いて、前記埋め込み制御信号ｓ１０４に応じて、前記埋
め込み領域５９内における、埋め込み開始位置、埋め込
み方向、埋め込みデータサイズ、及び前記電子透かしを
埋め込む画素の輝度値のビットプレーン値を決定すると
ともに、前記各種データを埋め込み位置情報ｓ１０５と
して、前記埋め込み・符号化制御手段１に出力する(ス
テップＳ１４０２)。ここで、前記埋め込み開始位置、
埋め込み方向、埋め込みデータサイズ、及びビットプレ
ーン値の指定方法は、前記実施の形態１で示した方法と
同じである。

【０１４４】次に、前記埋め込み制御信号ｓ１０４によ
り、スイッチ５Ａをｂ側、スイッチ５Ｂをａ側に切り替
え、前記動き補償手段１６において、前記埋め込み制御
信号ｓ１０２に応じて、前記動き検出手段１８から出力
された前記各前景オブジェクト及び背景オブジェクトの
動きベクトルｓ２５１と、前記フレームメモリ１７から
読み出された時間的に前または後ろの画像フレームにあ
る、対応する前記各前景オブジェクト及び背景オブジェ
クトの画素の輝度値及び色値とを用いて動き補償を行
い、減算手段４Ａ，４Ｂにより、前記符号化制御信号ｓ
１０２に応じて、パディング後の前記少なくとも１つの
前景オブジェクトｓ２１１、及び本電子透かし埋め込み
装置１００に入力された前記背景オブジェクトの画素の
輝度値及び色値ｓ１１０から、前記動き補償手段１６の
出力を減算して、前記各前景オブジェクトの画素の誤差
輝度値及び誤差色値ｓ２１２と、前記背景オブジェクト
の画素の誤差輝度値及び誤差色値ｓ１１１とを出力し
（ステップＳ１４０３)、前記空間領域電子透かし埋め
込み手段９において、前記埋め込み制御信号ｓ１０４に
よって指定された暗号鍵を用いて、前記独自情報ｓ１０
３を暗号化し、図１４に示すように、前記各前景オブジ
ェクト及び背景オブジェクトの透過度を基にして、前記
各前景オブジェクト及び背景オブジェクトに埋め込む前
記暗号化した独自情報を分配した後、前記埋め込み制御
信号ｓ１０４に応じて、前記各前景オブジェクト及び背
景オブジェクト５８Ａ〜６０Ｂｇの、前記埋め込み領域
５９内の前記埋め込み開始位置から前記埋め込み方向に
前記埋め込みデータサイズの範囲内にある、画素の誤差
輝度値ｓ１１１の前記ビットプレーン値で指定されるビ
ット値に、前記各前景オブジェクト及び背景オブジェク
トへの分配後の前記暗号化された独自情報を電子透かし
として埋め込む(ステップＳ１４０４)。なお、前記空間
領域電子透かし埋め込み手段９が、前記独自情報ｓ１０
３を暗号化する方法、及び前記暗号化された独自情報を
電子透かしとして埋め込む方法は、前記実施の形態１と
同様である。

【０１４５】ここで、図１４を用いて、前記暗号化され
た独自情報を、前記各前景オブジェクトの形状情報の透
過度を基にして、前記各前景オブジェクト及び背景オブ
ジェクトに分配する方法について説明する。例えば、透
過度を０が完全に透明な画素、１が完全に不透明な画素
とし、図１４に示すように、画面が前景オブジェクトＡ
５６、前景オブジェクトＢ５７、前景オブジェクトＣ５
８、及び背景オブジェクトＢｇ６０で構成され、前記前
景オブジェトＡ５６の形状情報の透過度が０．２、前記
前景オブジェクトＢ５７の透過度が０．３、及び前記前
景オブジェクトＣ５８の透過度が０．４であるとする。

【０１４６】この時、前記背景オブジェクトＢｇ６０
は、形状情報を持たないため、透過度０であるが、前記
各前景オブジェクトＡ５６〜Ｃ５８が各々の透過度で背
景オブジェクトＢｇ６０上に表示されるため、この場合
の前記背景オブジェクトＢｇ６０の画像合成時の透過度
は、（式１）のようになる。

【０１４７】 そして、電子透かしとして埋め込む前記暗号化された独
自情報の、前記各前景オブジェクト及び背景オブジェク
トＡ５６〜Ｂｇ６０に割り当てるデータ量は、前記各前
景オブジェクト及び背景オブジェクトの形状情報の透過
度が大きくなるほど少なくなるように分配する。すなわ
ち、前記各前景オブジェクト及び背景オブジェクトＡ５
６〜Ｂｇ６０の形状情報の各透過度ＴをＴａ，Ｔｂ，Ｔ
ｃ，Ｔｂｇ、前記暗号化した独自情報の全データ量をＮ
ｓ、そして、[]をガウス関数とすると、透過度はＴｃ＞
Ｔｂ＞Ｔａ＞Ｔｂｇであるため、前記各前景オブジェク
ト及び背景オブジェクトＡ５６〜Ｂｇ６０に割り当てる
前記暗号化した独自情報のデータ量は、前記前景オブジ
ェクトＡ５６が［Ｎｓ＊Ｔｂ］個、前記前景オブジェク
トＢ５７が［Ｎｓ＊Ｔａ］個、前記前景オブジェクトＣ
５８が［Ｎｓ＊Ｔｂｇ］個、及び前記背景オブジェクト
Ｂｇ６０が［Ｎｓ＊Ｔｃ］個となる。また、前記暗号化
した独自情報の埋め込みデータ周期をＮｐ、前記各前景
オブジェクト及び背景オブジェクトの形状情報の透過度
をＴ（０≦Ｔ≦１）、及び前記各前景オブジェクト及び
背景オブジェクトに割り当てる前記暗号化した独自情報
のデータ量を計算する際に用いた前記各前景オブジェク
ト及び背景オブジェクトの透過度をＴ’とすると、透過
度Ｔの小さいオブジェクトから、優先的にＮｐ個の埋め
込み周期データの先頭から [１／Ｔ’]個の埋め込みデ
ータ間隔で最初に現れる未設定の埋め込みデータ位置
を、前記各前景オブジェクト及び背景オブジェクトの前
記埋め込みデータ位置として割り当て、前記埋め込みデ
ータ周期の末尾で前記各前景オブジェクト及び背景オブ
ジェクトに分配された全ての前記独自情報ｓ１０３が割
り当てられていない場合、前記各前景オブジェクト及び
背景オブジェクトに全ての前記独自情報ｓ１０３の前記
埋め込みデータ位置が割り当てられるまで、前記埋め込
みデータ周期の先頭から[１／Ｔ’]個の前記埋め込みデ
ータ間隔で、最初に現れる未設定の前記埋め込みデータ
位置を割り当てる動作を繰り返す。

【０１４８】例えば、前記埋め込みデータ周期Ｎｐ＝１
０とすると、前記前景オブジェクトＡ５６には、[１／
０．３]＝３個のデータ毎に[１０＊０．３]＝３個のデ
ータ、前記前景オブジェクトＢ５７には、［１／０．
２]＝５個のデータ毎に[１０＊０．２]＝２個のデー
タ、前記前景オブジェクトＣ５９には、[１／０．１]＝
１０個のデータ毎に[１０＊０．１]＝１個のデータ、及
び前記背景オブジェクトＢｇ６０には、[１／０．４]＝
２個のデータ毎に[１０＊０．４]＝４個のデータが割り
当てられる。

【０１４９】そして、以上に示した前記各前景オブジェ
クト及び背景オブジェクト対する前記埋め込みデータ位
置の割り当てを、図１５を用いて具体的に説明する。こ
こで、図１５は、前記各前景オブジェクト及び背景オブ
ジェクトに分配された前記暗号化された独自情報が割り
当てられる状態を示す図であり、図１５において、上段
は、前記埋め込みデータ周期Ｎｐ内の先頭からの前記埋
め込みデータ位置番号が示され、下段は、前記各前景オ
ブジェクト及び背景オブジェクトに割り当てられる前記
埋め込みデータ位置が示されている。

【０１５０】まず、透過度が最小である前記背景オブジ
ェクトＢｇ６０に、図１５（ａ）に示されるように、２
個の前記埋め込みデータ間隔で４個の前記埋め込みデー
タ位置が割り当てられる。つまり、前記背景オブジェク
トＢｇ６０には、１０個の埋め込みデータ周期内の１、
４、７、１０番目の前記埋め込みデータ位置が割り当て
られる。

【０１５１】次に、透過度が２番目に小さい前記前景オ
ブジェクトＡ５６に、同様にして、図１５（ｂ）に示さ
れるように、３個の前記埋め込みデータ間隔で３個の前
記埋め込みデータ位置が割り当てられる。この時、一周
期目では前記前景オブジェクトＡ５６に３番目に割り当
てられる１０番目の前記埋め込みデータ位置が、既に前
記背景オブジェクトＢｇ６０の前記埋め込みデータ位置
となっているため、二周期目の先頭から３個の前記埋め
込みデータ間隔で最初に現れる未設定の前記埋め込みデ
ータ位置である５番目の埋め込みデータ位置を、前記前
景オブジェクトＡ５６に割り当てる。さらに、透過度が
３番目に小さい前記前景オブジェクＢ５７に、図１５
（ｃ）に示されるように、５個の前記埋め込みデータ間
隔で２個の前記埋め込みデータ位置が割り当てられ、最
後に、透過度が一番大きい前記前景オブジェクトＣ５９
には、１０個の前記埋め込みデータ間隔で１個の前記埋
め込みデータ位置が割り当てられる。

【０１５２】次に、以上のようにして割り当てられた、
前記少なくとも１つの前景オブジェクト及び背景オブジ
ェクトＡ５６〜Ｂｇ６０の前記埋め込みデータ位置に、
前記各前景オブジェクト及び背景オブジェクトに分配さ
れた前記暗号化された独自情報を、電子透かしとして埋
め込む。例えば、図１４に示すように、図７に示す前記
暗号化された独自情報のブロック４６，５２に相当する
ブロック６１内の２値データを、左上端から右下端へ横
方向に、以上に示した分配方法を用いて、前記前景オブ
ジェクトＡ５６、前記前景オブジェクトＢ５７、前記前
景オブジェクトＣ５９、及び前記背景オブジェクトＢｇ
６０に分配することにより、それぞれブロック６２、ブ
ロック６３、ブロック６４、ブロック６５が生成され、
前記各前景オブジェクト及び背景オブジェクトの前記埋
め込み領域５９内の前記埋め込み開始位置４７から前記
埋め込み方向４８に前記埋め込みデータサイズ４９の範
囲内にある各輝度ブロック内の、画素の誤差輝度値の前
記ビットプレーン値で指定されるビット値を、前記各前
景オブジェクト及び背景オブジェクトＡ５６〜Ｂｇ６０
のブロック６２〜６５内の同位置にある２値データで置
換することにより、前記暗号化された独自情報を電子透
かしとして埋め込むものである。

【０１５３】次に、前記ＤＣＴ変換手段６において、前
記符号化制御信号ｓ１０２に応じて、前記各前景オブジ
ェクト及び背景オブジェクトの画素の誤差輝度値及び誤
差色値ｓ２３１をブロック化して、２次元ＤＣＴ変換ま
たは形状適応ＤＣＴ変換した後（ステップＳ１４０
５）、前記量子化手段７において、前記符号化制御信号
ｓ１０２に応じて、前記各前景オブジェクト、及び背景
オブジェクトのＤＣＴ係数を量子化する（ステップＳ１
４０６）。そして、前記量子化手段７より出力された前
記各前景オブジェクト及び背景オブジェクトの量子化Ｄ
ＣＴ係数は、スイッチ５Ｃ，５Ｄに送られる一方、スイ
ッチ５Ｅ，５Ｆに送られる。前記スイッチ５Ｃ，５Ｄ
は、前記埋め込み制御信号ｓ１０４により、前記スイッ
チ５Ｃがａ側、スイッチ５Ｄがｂ側に切り替えられ、前
記可変長符号化手段８において、前記符号化制御信号ｓ
１０２に応じて、前記各前景オブジェクト及び背景オブ
ジェクトの量子化ＤＣＴ係数、前記動き検出手段１８か
ら出力される前記各前景オブジェクト及び背景オブジェ
クトの動きベクトルｓ２５１、及び前記形状動き検出手
段２１から出力される前記各前景オブジェクトの形状情
報の形状動きベクトルｓ２６１が可変長符号化される
（ステップＳ１４０７）。

【０１５４】次に、前記制御情報符号化手段２におい
て、前記符号化制御信号ｓ１０２に応じて、前記独自情
報ｓ１０３に関する情報、前記暗号鍵に対応する解読
鍵、及び前記埋め込み領域に関する情報等を含む、前記
独自情報ｓ１０３を抽出する際に必要な抽出制御情報ｓ
１０１、及び前記各前景オブジェクト及び背景オブジェ
クトを１つの画面に合成して表示する際に必要な表示制
御情報ｓ１０６が符号化され(ステップＳ１４０８)、前
記形状符号化手段１９において、前記各前景オブジェク
トの形状情報ｓ２２０の予測誤差である誤差形状情報ｓ
２２１が算術符号化される(ステップＳ１４０９)。な
お、ステップＳ１４０８において、前記制御情報符号化
手段２で、前記抽出制御情報ｓ１０１及び前記表示制御
情報ｓ１０６を、メタデータまたはバイナリデータに符
号化するようにしてもよく、前記抽出制御情報及び前記
表示制御情報がメタデータに符号化される場合は、デー
タの種類毎にタグ及びパラメータを定義し、バイナリデ
ータに符号化される場合は、データの種類毎にコード表
を定義して符号化するものとする。例えば、図８に、前
記抽出制御情報ｓ１０１をメタデータ化したものを示
す。

【０１５５】そして、前記多重化手段３により、前記符
号化制御信号ｓ１０２に応じて、前記可変長符号化手段
８から出力された各種可変長符号化データ、前記制御情
報符号化手段２から出力される前記符号化した抽出制御
情報及び符号化された表示制御情報、及び前記形状符号
化手段１９から出力される前記符号化形状情報を多重化
し、ビットストリームまたはファイルｓ３００として出
力する（ステップＳ１４１０）。なお、前記多重化手段
３において多重化されたデータを、ファイルに記録して
出力する場合については、前記実施の形態１と同様であ
る。そして、前記ステップＳ１４１０において出力され
る画像フレームが、画像データ内の最終画像フレームで
あれば、画像データの符号化及び電子透かしの埋め込み
を終了し、前記画像フレームが途中の画像フレームであ
れば、ステップＳ１４０３に戻って、新たな前記画像フ
レームに対して以上に示した方法で、画像データの符号
化及び電子透かしの埋め込みを繰り返す（ステップＳ１
４１５）。

【０１５６】一方、前記スイッチ５Ｅ，５Ｆでは、前記
埋め込み制御信号ｓ１０４により、前記スイッチ５Ｅが
ｂ側、スイッチ５Ｆがａ側に切り替えられ、前記各前景
オブジェクト及び背景オブジェクトの量子化ＤＣＴ係数
は、前記逆量子化手段１２において、前記符号化制御信
号ｓ１０２に応じて逆量子化され（ステップＳ１４１
１）、前記逆ＤＣＴ変換手段１３で、前記符号化制御信
号ｓ１０２に応じて、前記逆量子化手段１２から出力さ
れる電子透かしを埋め込んだ前記各前景オブジェクト及
び背景オブジェクトのＤＣＴ係数が、逆２次元ＤＣＴ変
換または逆形状適応ＤＣＴ変換されて、前記各前景オブ
ジェクト及び背景オブジェクトの画素の誤差輝度値及び
誤差色値となる（ステップＳ１４１２）。

【０１５７】次に、前記埋め込み制御信号ｓ１０４によ
り、前記スイッチ５Ｇをｂ側、前記スイッチ５Ｈをｂ側
に切り替えることにより、前記電子透かし削除手段１４
において、前記埋め込み制御信号ｓ１０４に応じて、前
記空間領域電子埋め込み手段９により、前記各前景オブ
ジェクト及び背景オブジェクトの前記埋め込み領域５９
内の、前記埋め込み開始位置４７から前記埋め込み方向
４８に前記埋め込みデータサイズ４９の範囲内にある、
画素の誤差輝度値から、前記暗号化された独自情報を削
除し、元の画素の誤差輝度値に変換し（ステップＳ１４
１３）、前記加算手段１５Ａ,１５Ｂで、前記符号化制
御信号ｓ１０２に応じて、前記各前景オブジェクト及び
背景オブジェクトの画素の誤差輝度値及び誤差色値に、
前記動き補償手段１６から出力される、時間的に前また
は後ろの画像フレーム内にある前記各前景オブジェクト
及び背景オブジェクトの動き補償後の同位置にある画素
の輝度値及び色値を加算して、前記フレームメモリ１７
に記録する（ステップＳ１４１４）。

【０１５８】なお、本実施の形態３において、前記埋め
込み制御信号ｓ１０４は、埋め込みモード（ここでは、
前景オブジェクト及び背景オブジェクトの画素の輝度値
への埋め込み）、埋め込み開始時刻Ｔｓ、埋め込み終了
時刻Ｔｅ、埋め込み画像フレーム識別子（ここでは、埋
め込み期間内の全ての画像フレーム）、埋め込みオブジ
ェクト識別子（ここでは、画像フレーム内の全ての前景
オブジェクト及び背景オブジェクト）、埋め込み方法
（ここでは、ビットプレーン埋め込み方式）、埋め込み
方法パラメータ（ここでは、ビットプレーン値）、暗号
鍵、及び各スイッチ5A〜5Hの切り替え方向の情報を含
み、前記埋め込み位置情報ｓ１０５は、埋め込み開始位
置４７、埋め込み方向４８（ここでは、左上端から右下
端へ横方向）、及び埋め込みデータサイズ４９の情報を
含み、前記抽出制御情報ｓ１０１は、前記埋め込みモー
ド、前記埋め込み画像フレーム識別子、前記埋め込みオ
ブジェクト識別子、独自情報種別（ここでは、文字デー
タまたは図形データのどちらか一方）、独自情報パラメ
ータ（図形データの場合は図形の幅や高さ）、前記暗号
鍵に対応する解読鍵、前記埋め込み開始時刻Ｔｓ、前記
埋め込み終了時刻Ｔｅ、前記埋め込み開始位置４７、前
記埋め込み方向４８、前記埋め込みデータサイズ４９、
前記埋め込み方法、及び前記埋め込み方法パラメータの
情報を含むものとし、前記符号化制御信号ｓ１０２は、
ＭＰＥＧ−４ビジュアル符号化標準（ISO/IEC 14496-
2）に準拠した符号化を行うための制御信号であるもの
とする。

【０１５９】さらに、以上の説明では、画面を構成する
前記少なくとも１つの前景オブジェクトの形状情報が０
を完全に透明な状態、１を完全に不透明な状態とする、
０以上１以下の任意の値を有する透過度で表される画像
データの画素の誤差輝度値に、前記暗号化された著作権
情報等の独自情報を埋め込む場合について説明したが、
前記暗号化された独自情報を埋め込む際に、画素の誤差
輝度値の量子化ＤＣＴ係数に、前記暗号化された独自情
報を電子透かしとして埋め込むものであってもよい。こ
の実施例を、実施の形態３の変形例として説明する。

【０１６０】(実施の形態３の変形例)画面を構成する前
景オブジェクトの形状情報が０を完全に透明な状態、１
を完全に不透明な状態とする、０以上より１以下の任意
の値を有する透過度で表される画像データの画素の輝度
値または色値の時間周波数変換後の周波数係数に、前記
独自情報を電子透かしとして埋め込む場合（以下、「透
過度を有する画像データの画素の周波数係数に埋め込む
場合」と称す。）における、本電子透かし埋め込み装置
１００の動作について説明する。なお、ここでは、画素
の誤差輝度値の量子化ＤＣＴ係数に、前記独自情報ｓ１
０３を埋め込む場合を例に挙げて、図１７に示すフロー
チャートに従って説明する。

【０１６１】まず、埋め込み・符号化制御手段１におい
て、埋め込みモードと、電子透かしの埋め込み期間であ
る、埋め込み開始時刻Ｔｓ及び埋め込み終了時刻Ｔｅ
と、前記埋め込み期間に表示される複数の画像フレーム
のうち、電子透かしが埋め込まれる少なくとも１つの画
像フレームを指定する埋め込み画像フレーム識別子と、
前記埋め込み画像フレーム識別子で指定する画像フレー
ムの、電子透かしを埋め込むオブジェクトを指定する埋
め込みオブジェクト識別子とを設定する(ステップＳ１
５００)。具体的には、本実施の形態３において、前記
埋め込みモードは、前景オブジェクト及び背景オブジェ
クトの画素の輝度値の周波数係数への埋め込みであり、
前記埋め込み画像フレーム識別子、及び前記埋め込みオ
ブジェクト識別子は、前記実施の形態３と同様に指定さ
れる。

【０１６２】次に、埋め込み領域検出手段２３におい
て、電子透かしを埋め込む埋め込み領域を検出する（ス
テップＳ１５０１）。前記埋め込み領域を検出する方法
は、前記実施の形態１の変形例で説明した方法と基本的
に同じであり、前記埋め込み制御信号ｓ１０４で指定さ
れる、前記埋め込み開始時刻Ｔｓと前記埋め込み終了時
刻Ｔｅとの間に表示される、前記埋め込み画像フレーム
識別子で指定する少なくとも１つの画像フレーム内にあ
る全ての前景オブジェクトの形状情報が共通して背景オ
ブジェクトを隠す領域内の、前記少なくとも１つの前景
オブジェクト及び背景オブジェクトの輝度ブロック内の
量子化ＤＣＴ係数が、最低周波数境界Ｒｌと最高周波数
境界Ｒｈとで囲まれる範囲を、前記埋め込み領域とする
ものである。

【０１６３】次に、埋め込み位置決定手段２４におい
て、前記埋め込み制御信号ｓ１０４に応じて、前記埋め
込み領域内における、埋め込み開始位置、埋め込み方
向、埋め込みデータサイズ、及び電子透かしを埋め込む
量子化ＤＣＴ係数のビットプレーン値を設定するととも
に、前記各種データを埋め込み位置情報ｓ１０５とし
て、前記埋め込み・符号化制御手段１に出力する(ステ
ップＳ１５０２)。ここで、前記埋め込み開始位置、埋
め込み方向、埋め込みデータサイズ、及びビットプレー
ン値の指定方法は、前記実施の形態１で示した方法と同
じである。

【０１６４】次に、前記動き補償手段１６において、前
記実施の形態１と同様にして、前記符号化制御信号ｓ１
０２に応じて動き補償を行い、減算手段４Ａ,４Ｂよ
り、前記背景オブジェクトの画素の誤差輝度値及び誤差
色値ｓ１１１と、パディング後の前記少なくとも１つの
前景オブジェクトの画素の誤差輝度値及び誤差色値ｓ２
１２とを出力した後(ステップＳ１５０３)、前記埋め込
み制御信号ｓ１０４により、スイッチ５Ａがａ側、スイ
ッチ５Ｂがｂ側に切り替えられ、前記ＤＣＴ変換手段６
及び量子化手段７において、前記符号化制御信号ｓ１０
２に応じて、減算手段４Ａ，４Ｂから出力される前記各
前景オブジェクトの画素の誤差輝度値及び誤差色値ｓ２
１２、及び前記背景オブジェクトの画素の誤差輝度値及
び誤差色値ｓ１１１を、２次元ＤＣＴ変換または形状適
応ＤＣＴ変換し（ステップＳ１５０４）、量子化する
（ステップＳ１５０５）。そして、前記量子化手段７よ
り出力された前記各前景オブジェクト及び背景オブジェ
クトの量子化ＤＣＴ係数は、スイッチ５Ｃ，５Ｄに送ら
れる一方、スイッチ５Ｅ，５Ｆに送られる。

【０１６５】前記スイッチ５Ｃ，５Ｄでは、前記埋め込
み制御信号ｓ１０４により、スイッチ５Ｃがｂ側、スイ
ッチ５Ｄがａ側に切り替えられ、前記周波数領域電子透
かし埋め込み手段１０において、前記埋め込み制御信号
ｓ１０４により指定される暗号鍵を用いて、前記独自情
報ｓ１０３を暗号化し、前記各前景オブジェクト及び背
景オブジェクトの透過度を基にして、前記各前景オブジ
ェクト及び背景オブジェクトに前記暗号化した独自情報
を分配した後、前記埋め込み制御信号ｓ１０４に応じ
て、前記各前景オブジェクト及び背景オブジェクトの前
記埋め込み領域内の、前記埋め込み開始位置から前記埋
め込み方向に前記埋め込みデータサイズの範囲内にあ
る、輝度ブロックの前記最低周波数境界Ｒｌと前記最高
周波数境界Ｒｈとの間にある量子化ＤＣＴ係数の、前記
ビットプレーン値で指定されるビット値に、前記分配後
の暗号化された独自情報を、電子透かしとして埋め込む
（ステップＳ１５０６）。ここで、前記周波数領域電子
透かし埋め込み手段１０が、前記独自情報ｓ１０３を暗
号化する方法は、前記実施の形態１で説明した方法と同
じである。

【０１６６】また、画像フレーム内にある前記少なくと
も１つの前景オブジェクトの形状情報の透過度を用い
て、前記各前景オブジェクト及び背景オブジェクトに前
記暗号化された独自情報を分配する方法は、図１４に示
すように、図７に示す前記独自情報をブロック化して暗
号化した後の各ブロック４６，５２に相当するマクロブ
ロック６１内の２値データを、前記各前景オブジェクト
の形状情報の透過度に応じて分配した前記各前景オブジ
ェクト及び背景オブジェクトのブロック６２〜６５を生
成するまでは、前記実施の形態３と同様であり、その
後、前記暗号化された独自情報が分配された前記各前景
オブジェクト及び背景オブジェクト内のブロック６２〜
６５内の２値データを、前記埋め込み領域５９内の前記
埋め込み開始位置４７から前記埋め込み方向４８に前記
埋め込みデータサイズ４９の範囲内にある輝度ブロック
に埋め込む際には、前記各前景オブジェクト及び背景オ
ブジェクトの前記埋め込み領域内の、輝度マクロブロッ
ク内の輝度ブロックを左上端から右下端へ順番に抽出
し、図９に示すように各輝度ブロック内の前記最低周波
数境界と前記最高周波数境界との間にある量子化ＤＣＴ
係数を左上端から右下端へ順番に抽出するとともに、前
記各前景オブジェクト及び背景オブジェクトに分配され
た前記暗号化された独自情報のブロック６２〜６５内の
２値データを左上端から右下端へ順番に抽出しながら、
前記抽出された量子化ＤＣＴ係数のビットプレーン値で
指定されるビット値を、前記各ブロック６２〜６５内か
ら抽出された２値データで置換することにより、前記暗
号化された独自情報を画像データ内に電子透かしとして
埋め込むものである。

【０１６７】次に、前記可変長符号化手段８において、
前記符号化制御信号ｓ１０２に応じて、前記各前景オブ
ジェクト及び背景オブジェクトの量子化ＤＣＴ係数、前
記動き検出手段１８から出力される前記各前景オブジェ
クト及び背景オブジェクトの動きベクトルｓ２５１、及
び前記形状動き検出手段２１から出力される前記各前景
オブジェクトの形状情報の形状動きベクトルｓ２６１を
可変長符号化する（ステップＳ１５０７）。

【０１６８】次に、前記制御情報符号化手段２におい
て、前記符号化制御信号ｓ１０２に応じて、前記独自情
報ｓ１０３に関する情報、暗号鍵に対応する解読鍵、及
び前記埋め込み領域に関する情報等を含む、前記独自情
報を抽出する際に必要な抽出制御情報ｓ１０１、及び前
記各前景オブジェクト及び背景オブジェクトを表示する
際に必要な表示制御情報ｓ１０６が符号化され(ステッ
プＳ１５０８)、前記形状符号化手段１９において、前
記符号化制御信号ｓ１０２に応じて、前記各前景オブジ
ェクトの形状情報ｓ２２０の予測誤差である誤差形状情
報ｓ２２１を、算術符号化する(ステップＳ１５０９)。
なお、前記ステップＳ１５０８において、前記抽出制御
情報ｓ１０１及び前記表示制御情報ｓ１０６をメタデー
タまたはバイナリデータに符号化するようにしてもよ
い。

【０１６９】次に、前記多重化手段３で、前記符号化制
御信号ｓ１０２に応じて、前記可変長符号化手段８から
出力された各種可変長符号化データ、前記制御情報符号
化手段２から出力される前記符号化された抽出制御情報
と符号化された表示制御情報、及び前記形状符号化手段
１９から出力される前記符号化形状情報をともに多重化
して、ビットストリームまたはファイルｓ３００として
出力する（ステップＳ１５１０）。なお、前記多重化手
段３において多重化されたデータを、ファイルに記録し
て出力する場合については、前記実施の形態１と同様で
ある。そして、ステップＳ１５１０において出力された
画像フレームが、画像データ内の最終画像フレームであ
れば、画像データの符号化及び電子透かしの埋め込みを
終了するが、前記画像フレームが途中の画像フレームで
あれば、ステップＳ１５０３に戻って、新たな画像フレ
ームに対して、以上に示した方法で画像データの符号化
及び電子透かしの埋め込みを繰り返す（ステップＳ１５
１４）。

【０１７０】一方、前記スイッチ５Ｅ，５Ｆでは、前記
埋め込み制御信号ｓ１０４により、スイッチ５Ｅがａ
側、スイッチ５Ｆがｂ側に切り替えられ、前記量子化手
段８より出力された量子化ＤＣＴ係数は、前記逆量子化
手段１２において、前記符号化制御信号ｓ１０２に応じ
て逆量子化され（ステップＳ１５１１）、前記逆量子化
手段１２から出力される前記各前景オブジェクト及び背
景オブジェクトのＤＣＴ係数は、前記逆ＤＣＴ変換手段
１３で、前記符号化制御信号ｓ１０２に応じて、逆２次
元ＤＣＴ変換または逆形状適応ＤＣＴ変換されて、元の
前記各前景オブジェクト及び背景オブジェクトの画素の
誤差輝度値及び誤差色値に戻される（ステップＳ１５１
２）。

【０１７１】この後、本実施の形態３の変形例において
は、前記実施の形態３（透過度を有する画像データの画
素に埋め込む場合）と異なり、前記量子化手段７より出
力される前記各前景オブジェクト及び背景オブジェクト
には、前記独自情報ｓ１０３が埋め込まれていないた
め、前記電子透かし削除手段１４により電子透かしの削
除を行う必要がない。従って、前記埋め込み制御信号ｓ
１０４により、前記スイッチ５Ｇがａ側、スイッチ５Ｈ
がａ側に切り替えられ、前記加算手段１５Ａ，１５Ｂ
で、前記符号化制御信号ｓ１０２に応じて、前記各前景
オブジェクト及び背景オブジェクトの画素の誤差輝度値
及び誤差色値に、前記動き補償手段１６から出力され
る、時間的に前または後ろの画像フレーム内にある、前
記各前景オブジェクト及び背景オブジェクトの動き補償
後の同位置にある画素の輝度値及び色値を加算して、前
記フレームメモリ１７に記録する（ステップＳ１５１
３）。

【０１７２】なお、本実施の形態３の変形例において、
前記埋め込み制御信号ｓ１０４は、埋め込みモード（こ
こでは、前景オブジェクト及び背景オブジェクトの画素
の輝度値の周波数係数への埋め込み）、埋め込み開始時
刻Ｔｓ、埋め込み終了時刻Ｔｅ、埋め込み画像フレーム
識別子（ここでは、埋め込み期間内の全ての画像フレー
ム）、埋め込みオブジェクト識別子（ここでは、画像フ
レーム内の全ての前景オブジェクト及び背景オブジェク
ト）、埋め込み方法（ここでは、ビットプレーン埋め込
み方式）、埋め込み方法パラメータ（ここでは、ビット
プレーン値）、暗号鍵、及び各スイッチ5A〜5Hの切り替
え方向の情報を含み、前記埋め込み位置情報ｓ１０５
は、埋め込み開始位置４７、埋め込み方向（ここでは、
左上端から右下端へ横方向）４８、最低周波数境界Ｒ
ｌ、最高周波数境界Ｒｈ、及び埋め込みデータサイズ４
９の情報を含み、前記抽出制御情報ｓ１０１は、前記埋
め込みモード、前記埋め込み画像フレーム識別子、前記
埋め込みオブジェクト識別子、独自情報種別（ここで
は、文字データまたは図形データのどちらか一方）、独
自情報パラメータ（図形データの場合は図形の幅や高
さ）、前記暗号鍵に対応する解読鍵、前記埋め込み開始
時刻Ｔｓ、前記埋め込み終了時刻Ｔｅ、前記埋め込み開
始位置４７、前記埋め込み方向４８、前記最低周波数境
界Ｒｌ、前記最高周波数境界Ｒｈ、前記埋め込みデータ
サイズ４９、前記埋め込み方法、及び前記埋め込み方法
パラメータの情報を含むものとし、また、前記符号化制
御信号ｓ１０２は、ＭＰＥＧ−４ビジュアル符号化標準
（ISO/IEC 14496-2）に準拠した符号化を行うための制
御信号であるものとする。

【０１７３】さらに、前記実施の形態３及びその変形例
においては、前記各前景オブジェクト及び背景オブジェ
クトの画素の誤差輝度値または、画素の誤差輝度値の量
子化ＤＣＴ係数に、前記独自情報ｓ１０３を埋め込む場
合を例として説明したが、前記各前記オブジェクト及び
背景オブジェクトの画素の誤差色値、または画素の誤差
色値の量子化ＤＣＴ係数に埋め込むものであってもよ
く、その場合、輝度マクロブロックまたは輝度ブロック
毎に電子透かしの埋め込みを行っていたものを、色マク
ロブロックまたは色ブロック毎に行えば、同様の方法で
実施可能である。

【０１７４】以上のように、本実施の形態３及びその変
形例によれば、前記独自情報ｓ１０３を透過度を有する
画像データに電子透かしとして埋め込む場合、前記埋め
込み制御信号ｓ１０４により指定される前記埋め込み期
間内に表示される、複数の画像フレーム内の前記埋め込
み画像フレーム識別子で指定する少なくとも１つの画像
フレームから、前記埋め込み領域検出手段２３により、
前記画像フレーム内の全ての前景オブジェクトＡ５６〜
Ｃ５８が重なる領域を埋め込み領域５９として検出し、
前記埋め込み位置決定手段２４により、前記埋め込み領
域５９内の前記埋め込み開始位置４７、埋め込み方向４
８、埋め込みデータサイズ４９、及びビットプレーン値
を設定して、前記暗号化された独自情報を前記各前景オ
ブジェクトの透過度に応じて前記各前景オブジェクト及
び背景オブジェクトに分配した後、前記各前景オブジェ
クト及び背景オブジェクトの、前記埋め込み領域５９内
の画素の輝度値または色値、またはそれらの量子化ＤＣ
Ｔ係数に埋め込むようにしたので、本電子透かし埋め込
み装置１００に入力される、ＭＰＥＧ−４ビジュアル符
号化標準のようなオブジェクト符号化方式を用いて符号
化された画像データに対して、画像の劣化を少なくし
て、前記独自情報ｓ１０３を電子透かしとして効率良く
埋め込むことができる。

【０１７５】なお、実施の形態３及びその変形例におい
ては、前記埋め込み位置決定手段２４により、前記少な
くとも１つの前景オブジェクト及び背景オブジェクトの
前記埋め込み領域内に、前記埋め込み開始位置、前記埋
め込み方向、前記埋め込みデータサイズを決定すること
で、前記暗号化された独自情報を電子透かしとして埋め
込む前記埋め込み位置を設定するものとしたが、前記埋
め込み位置の設定方法はこれに限るものではなく、例え
ば、前記埋め込み領域内に、埋め込み開始位置と埋め込
み終了位置とを決定することで、前記埋め込み位置を設
定するようにしてもよい。

【０１７６】（実施の形態４）実施の形態４における、
電子透かし抽出方法及び電子透かし抽出装置について説
明する。本実施の形態４においては、少なくとも１つの
前景オブジェクト及び背景オブジェクトで構成される符
号化された画像データの背景オブジェクトから、電子透
かしとして埋め込まれた、著作権情報等の独自情報を抽
出する場合について説明する。まず、図４を用いて、本
実施の形態４における電子透かし抽出装置２００の構成
について説明する。図４は、本発明の実施の形態４にお
ける、電子透かし抽出装置の構成を示す図である。

【０１７７】図４において、電子透かし抽出装置２００
は、前記画像データの復号を制御する復号制御情報を生
成し、前記復号制御情報から復号制御信号ｓ１０７、及
び制御情報復号手段２７より入力する抽出制御情報ｓ１
０１から抽出制御信号ｓ１０８を生成するとともに、前
記符号化された画像データの復号及び電子透かしの抽出
を制御し、電子透かしとして抽出された前記独自情報ｓ
１０３をモニターに表示する抽出・復号制御手段２５
と、当該装置２００に入力されるビットストリームまた
はファイルｓ３００から抽出された符号化された画像デ
ータを、符号化された抽出制御情報ｓ３０２及び符号化
された表示制御情報ｓ３０１、少なくとも１つの前景オ
ブジェクトの符号化された量子化ＤＣＴ係数ｓ３０４及
び背景オブジェクトの符号化された量子化ＤＣＴ係数ｓ
３０３、前記各前景オブジェクト及び背景オブジェクト
の符号化された動きベクトルｓ３０５、前記各前景オブ
ジェクトの符号化された形状動きベクトルｓ３０６、及
び前記各前景オブジェクトの符号化形状情報ｓ３０７に
多重分離する多重分離手段２６と、前記符号化された抽
出制御情報ｓ３０２及び符号化された表示制御情報ｓ３
０１を復号する制御情報復号手段２７と、前記各前景オ
ブジェクト及び背景オブジェクトの誤差輝度値及び誤差
色値の量子化ＤＣＴ係数ｓ３０４，ｓ３０３、前記各前
景オブジェクト及び背景オブジェクトの符号化された動
きベクトルｓ３０５、及び前記各前景オブジェクトの符
号化された形状動きベクトルｓ３０６を可変長復号する
可変長復号手段(VLD)２８と、前記各前景オブジェクト
の符号化形状情報ｓ３０７を復号する形状復号手段３２
と、前記各前景オブジェクトの形状情報を記録する形状
情報メモリ２２と、前記可変長復号手段２８から出力す
る前記各前景オブジェクトの形状動きベクトルｓ２６１
と前記形状情報メモリ２２に記録されている時間的に前
または後ろの画像フレーム内にある対応する前記各前景
オブジェクトの形状情報を用いて形状動き補償を行う形
状動き補償手段２０と、前記各前景オブジェクトの形状
情報ｓ２２０から著作権情報等の独自情報ｓ１０３が電
子透かしとして埋め込まれている領域を検出する抽出領
域検出手段３３と、前記各前景オブジェクトまたは背景
オブジェクトの画素の誤差輝度値及び誤差色値の量子化
ＤＣＴ係数から、前記独自情報ｓ１０３を抽出する周波
数領域電子透かし抽出手段２９と、前記各前景オブジェ
クト及び背景オブジェクトの画素の誤差輝度値及び誤差
色値の量子化ＤＣＴ係数を逆量子化する逆量子化手段(Q
^-1)１２と、前記各前景オブジェクト及び背景オブジェ
クトの画素の誤差輝度値及び誤差色値のＤＣＴ係数を逆
２次元ＤＣＴ変換または逆形状適応ＤＣＴ変換する逆Ｄ
ＣＴ変換手段１３と、前記各前景オブジェクト及び背景
オブジェクトの誤差輝度値及び誤差色値から、前記独自
情報ｓ１０３を抽出する空間領域電子透かし抽出手段３
０と、前記各前景オブジェクト及び背景オブジェクトの
画素の輝度値及び色値を記録するフレームメモリ１７
と、前記可変長復号手段２８から出力する前記各前景オ
ブジェクト及び背景オブジェクトの動きベクトルｓ２５
１と前記フレームメモリ１７に記録されている時間的に
前または後ろの画像フレーム内にある対応する前記各前
景オブジェクト及び背景オブジェクトの画素の輝度値及
び色値を用いて動き補償を行う動き補償手段１６と、前
記表示制御信号ｓ１０９を基にして、前記各前景オブジ
ェクトの画素の輝度値及び色値ｓ２１０、及び前記背景
オブジェクトの画素の輝度値及び色値ｓ１１０、前記各
前景オブジェクトの形状情報ｓ２２０を用いて、前記各
前景オブジェクト及び背景オブジェクトを１つの画面に
合成してモニターに表示する画像合成手段３１と、複数
の加算手段15D〜15F、そして、入力を切り替える複数の
スイッチ5I〜5Pとから構成されるものである。

【０１７８】さらに、前記抽出・復号制御手段２５から
出力され、あるいは当該手段２５に入力される、各種制
御情報及び信号について説明すると、前記復号制御信号
ｓ１０７は、前記符号化された画像データの復号を制御
する信号であり、前記抽出制御信号ｓ１０８は、符号化
された画像データを構成する前記少なくとも１つの前景
オブジェクトまたは背景オブジェクトに電子透かしとし
て埋め込まれた前記独自情報ｓ１０３の抽出を制御する
信号であり、前記表示制御信号ｓ１０９は、前記少なく
とも１つの前景オブジェクト及び背景オブジェクトの合
成及びモニターへの表示を制御する信号である。なお、
前記抽出・復号制御手段２５に入力される前記抽出制御
情報ｓ１０１、及び前記表示制御情報ｓ１０６は、前記
制御情報復号手段２７から出力され、前記独自情報ｓ１
０３は、前記周波数領域電子透かし抽出手段２９もしく
は前記空間領域電子透かし抽出手段３０から出力され
る。

【０１７９】以上のように構成された、本実施の形態４
における電子透かし抽出装置２００は、前記実施の形態
１で説明したＭＰＥＧ−４ビジュアル符号化標準(ISO/I
EC 14496-2)に準拠した基本構造を有する電子透かし埋
め込み装置１００から出力されたビットストリームまた
はファイルｓ３００を復号する機能を備えており、前記
抽出・復号制御手段２５から出力される、前記抽出制御
信号ｓ１０８によって、スイッチ５Ｉをa側、スイッチ
５Ｊをｂ側、スイッチ５Ｋをa側、スイッチ５Ｌをｂ
側、スイッチ５Ｍをa側、スイッチ５Ｎをｂ側、スイッ
チ５Ｏをａ側、スイッチ５Ｐをｂ側に切り替えるととも
に、前記抽出領域検出手段３３を停止することにより実
現される。

【０１８０】次に、本実施の形態４における電子透かし
抽出装置２００で、一定期間内に表示する少なくとも１
つの画像フレーム内にある、少なくとも１つの前景オブ
ジェクトが有する形状情報が前記画像フレーム間で重な
る重なり領域に対応する背景オブジェクトの領域にある
画素の輝度値または色値から、電子透かしとして埋め込
まれた前記独自情報を抽出する場合（以下、「背景オブ
ジェクトの画素から抽出する場合」と称す。）の動作に
ついて、図１８に示すフローチャート図に従って説明す
る。

【０１８１】なお、本実施の形態４においては、背景オ
ブジェクトの画素の誤差輝度値から、前記独自情報を抽
出する場合を例に挙げて説明する。まず、多重分離手段
２６において、抽出・復号制御手段２５から出力する復
号制御信号ｓ１０７に応じて、電子透かし抽出装置２０
０に入力するビットストリームまたはファイルｓ３００
から抽出した符号化された画像データを多重分離し(ス
テップＳ１６００)、制御情報復号手段２７により、前
記多重分離手段２６から出力する符号化された抽出制御
情報ｓ１０１及び符号化された表示制御情報ｓ１０６を
復号し（ステップＳ１６０１）、抽出・復号制御手段２
５において、前記抽出制御情報ｓ１０１及び前記表示制
御情報ｓ１０６から、抽出制御信号ｓ１０８及び表示制
御信号ｓ１０９を生成して出力する(ステップＳ１６０
２)。

【０１８２】次に、可変長復号手段(VLD)２８におい
て、前記復号制御信号ｓ１０７に応じて、前記多重分離
手段２６より抽出された、前記少なくとも１つの前景オ
ブジェクトの符号化された量子化ＤＣＴ係数ｓ３０４及
び背景オブジェクトの符号化された量子化ＤＣＴ係数ｓ
３０３、前記各前景オブジェクト及び背景オブジェクト
の符号化された動きベクトルｓ３０５、及び前記各前景
オブジェクトの符号化形状動きベクトルｓ３０６を可変
長復号する（ステップＳ１６０３）。

【０１８３】次に、抽出領域検出手段３３において、前
記抽出制御信号ｓ１０８に応じて、前記抽出制御信号ｓ
１０８により指定される、埋め込み開始時刻Ｔｓと埋め
込み終了時刻Ｔｅとの間に表示される複数の画像フレー
ム内の、全ての前景オブジェクトの形状情報が共通して
背景オブジェクトを隠す重なり領域を、抽出領域として
検出する（ステップＳ１６０４）。

【０１８４】ここで、前記抽出領域検出手段３３におい
て、前記抽出領域を検出する方法は、前記実施の形態１
の「背景オブジェクトの画素に埋め込む場合」におい
て、図５及び図６を用いて説明した埋め込み領域を検出
する方法と同じである。

【０１８５】次に、前記抽出制御信号ｓ１０８により、
スイッチ５Ｉをａ側、スイッチ５Ｊをｂ側に切り替え、
逆量子化手段１２において、前記復号制御信号ｓ１０７
に応じて、前記可変長復号手段２８より出力される、前
記少なくとも１つの前景オブジェクト及び背景オブジェ
クトの量子化ＤＣＴ係数を逆量子化し（ステップＳ１６
０５）、逆ＤＣＴ変換手段１３において、前記復号制御
信号ｓ１０７に応じて、前記各前景オブジェクト及び背
景オブジェクトのＤＣＴ係数を、逆２次元ＤＣＴ変換ま
たは逆形状適応ＤＣＴ変換して、前記各前景オブジェク
ト及び背景オブジェクトの画素の誤差輝度値及び誤差色
値を出力する(ステップＳ１６０６)。

【０１８６】次に、前記抽出制御信号ｓ１０８により、
スイッチ５Ｋをａ側、スイッチ５Ｌをｂ側、スイッチ５
Ｍをｂ側、スイッチ５Ｎをｂ側に切り替え、空間領域電
子透かし抽出手段３０で、前記抽出制御信号ｓ１０８に
応じて、前記抽出領域内の前記抽出制御信号ｓ１０８で
指定する、埋め込み開始位置から埋め込み方向に埋め込
みデータサイズの範囲内にある、前記背景オブジェクト
の輝度ブロック内の画素の誤差輝度値の、前記抽出制御
信号ｓ１０８で指定するビットプレーン値のビット値か
ら、暗号化された前記独自情報を抽出した後、前記抽出
制御信号ｓ１０８で指定する解読鍵で解読して、前記独
自情報ｓ１０３を抽出する（ステップＳ１６０７）。

【０１８７】ここで、前記空間領域電子透かし抽出手段
３０において、前記独自情報を抽出する方法は、前記実
施の形態１において図７を用いて説明した、前記背景オ
ブジェクトの画素の誤差輝度値に埋め込み方法を逆に行
うことにより実現できる。

【０１８８】次に、前記抽出制御信号ｓ１０８に応じ
て、スイッチ５Ｏをｂ側、スイッチ５Ｐをｂ側に切り替
えることにより、加算手段１５Ｄ，１５Ｅで、前記復号
制御信号ｓ１０７に応じて、少なくとも１つの前景オブ
ジェクト及び背景オブジェクトの画素の誤差輝度値及び
誤差色値に、前記動き補償手段１６から出力する時間的
に前または後の画像フレーム内にある、前記各前景オブ
ジェクト及び背景オブジェクトの動き補償後の同位置に
ある画素の輝度値及び色値を加算し、前記各前景オブジ
ェクトの画素の輝度値及び色値ｓ２１０、及び背景オブ
ジェクトの画素の輝度値及び色値ｓ１１０を画像合成手
段３１に出力すると同時に(ステップＳ１６０８)、フレ
ームメモリ１７に格納する(ステップＳ１６０９)。

【０１８９】次に、前記画像合成手段３１で、前記抽出
・復号制御手段２５から出力される表示制御信号ｓ１０
９に応じて、前記加算手段１５Ｄ，１５Ｅから出力され
る、前記少なくとも１つの前景オブジェクト及び背景オ
ブジェクトの画素の輝度値及び色値ｓ２１０，ｓ１１
０、及び前記加算手段１５Ｆから出力される、前記各前
景オブジェクトの形状情報ｓ２２０を用いて、前記各前
景オブジェクト及び背景オブジェクトを１つの画面に合
成し(ステップＳ１６１０)、モニターに出力する(ステ
ップＳ１６１１）。

【０１９０】ここで、前記抽出・復号制御手段２５によ
り抽出した前記独自情報ｓ１０３が図形データである場
合は、前記抽出制御情報ｓ１０１の独自情報パラメータ
で指定する、高さ及び幅の図形として、必要に応じてモ
ニターに表示し、前記独自情報ｓ１０３が文字データで
ある場合は、そのまま文字列として、必要に応じてモニ
ターに表示するものとする。

【０１９１】なお、前記復号制御信号ｓ１０７は、MPEG
-4ビジュアル符号化標準（ISO/IEC14496-2）に準拠した
復号を行うための制御信号であるものとする。

【０１９２】また、以上の説明では、前記背景オブジェ
クトの画素の誤差輝度値から電子透かしとして埋め込ま
れた前記独自情報を抽出する場合について説明したが、
一定期間内に表示する少なくとも１つの画像フレーム内
にある、少なくとも１つの前景オブジェクトが有する形
状情報が前記画像フレーム間で重なる重なり領域に対応
する背景オブジェクトの領域内にある画素の誤差輝度値
の量子化ＤＣＴ係数から、電子透かしとして埋め込まれ
た前記独自情報を抽出する場合（以下、「背景オブジェ
クトの画素の周波数係数から抽出する場合」と称す。）
の実施例を、実施の形態４の変形例として説明する。

【０１９３】（実施の形態４の変形例）本実施の形態４
の変形例における、背景オブジェクトの画素の輝度値ま
たは色値の時間周波数変換後の周波数係数から抽出する
場合の、本電子透かし抽出装置２００の動作について、
図１９に示すフローチャートに従って説明する。なお、
ここでは、背景オブジェクトの画素の誤差輝度値の量子
化ＤＣＴ係数から、前記独自情報ｓ１０３を抽出する場
合を例に挙げて説明する。

【０１９４】まず、多重分離手段２６において、抽出・
復号制御手段２５から出力する復号制御信号ｓ１０７に
応じて、電子透かし抽出装置２００に入力するビットス
トリームまたはファイルから抽出された符号化された画
像データｓ３００を多重分離し(ステップＳ１７００)、
制御情報復号手段２７により、前記多重分離手段２６か
ら出力する符号化された抽出制御情報ｓ３０２及び符号
化された表示制御情報ｓ３０１を復号し（ステップＳ１
７０１）、抽出・復号制御手段２５において、前記抽出
制御情報ｓ１０１及び前記表示制御情報ｓ１０６から、
抽出制御信号ｓ１０８及び表示制御信号ｓ１０９を生成
して出力する(ステップＳ１７０２)。

【０１９５】次に、可変長復号手段(VLD)２８におい
て、前記復号制御信号ｓ１０７に応じて、前記多重分離
手段２６より抽出された、前記少なくとも１つの前景オ
ブジェクトの符号化された量子化ＤＣＴ係数ｓ３０４及
び背景オブジェクトの符号化された量子化ＤＣＴ係数ｓ
３０３、前記各前景オブジェクト及び背景オブジェクト
の符号化された動きベクトルｓ３０５、及び前記各前景
オブジェクトの符号化形状動きベクトルｓ３０６が可変
長復号される（ステップＳ１７０３）。

【０１９６】次に、抽出領域検出手段３３において、前
記抽出制御信号ｓ１０８に応じて、前記抽出制御信号ｓ
１０８により指定される、埋め込み開始時刻Ｔｓと埋め
込み終了時刻Ｔｅとの間に表示される少なくとも１つの
画像フレーム内の、全ての前景オブジェクトの形状情報
が共通して背景オブジェクトを隠す重なり領域を、抽出
領域として検出する(ステップＳ１７０４)。

【０１９７】ここで、前記抽出領域検出手段３３におい
て、前記抽出領域を検出する方法は、前記実施の形態１
の「背景オブジェクトの画素に埋め込む場合」におい
て、図５及び図６を用いて説明した、埋め込み領域を検
出する方法と同じである。

【０１９８】次に、前記抽出制御信号ｓ１０８により、
前記スイッチ５Ｉがｂ側、スイッチ５Ｊがｂ側に切り替
えられ、前記周波数領域電子透かし抽出手段２９で、前
記抽出制御信号ｓ１０８に応じて、前記抽出領域内の前
記抽出制御信号ｓ１０８で指定する、前記埋め込み開始
位置から前記埋め込み方向に前記埋め込みデータサイズ
の範囲内にある背景オブジェクトの輝度ブロック内の前
記抽出制御信号ｓ１０８で指定する、前記最低周波数境
界と前記最高周波数境界との間にある画素の誤差輝度値
の量子化ＤＣＴ係数の前記抽出制御信号ｓ１０８で指定
するビットプレーン値のビット値から、暗号化された独
自情報を抽出した後、前記抽出制御信号ｓ１０８で指定
する解読鍵で解読して前記独自情報ｓ１０３を抽出する
(ステップＳ１７０５)。

【０１９９】ここで、周波数領域電子透かし抽出手段２
９において、前記独自情報を抽出する方法は、前記実施
の形態１の変形例において、図７及び図９を用いて説明
した背景オブジェクトの画素の誤差輝度値の量子化ＤＣ
Ｔ係数に埋め込む方法を逆方向に行うことで実現でき
る。

【０２００】次に、逆量子化手段１２において、前記復
号制御信号ｓ１０７に応じて、前記少なくとも１つの前
景オブジェクト及び背景オブジェクトの量子化ＤＣＴ係
数を逆量子化し(ステップＳ１７０６)、逆ＤＣＴ変換手
段１３において、前記復号制御信号ｓ１０７に応じて、
前記各前景オブジェクト及び背景オブジェクトのＤＣＴ
係数を、逆２次元ＤＣＴ変換または逆形状適応ＤＣＴ変
換して、前記各前景オブジェクト及び背景オブジェクト
の画素の誤差輝度値及び誤差色値を出力する(ステップ
Ｓ１７０７)。

【０２０１】次に、前記抽出制御信号ｓ１０８に応じ
て、スイッチ５Ｋをｂ側、スイッチ５Ｌをｂ側、スイッ
チ５Ｍをａ側、スイッチ５Ｎをｂ側、スイッチ５Ｏをａ
側、スイッチ５Ｐをｂ側に切り替えることにより、加算
手段１５Ｄ，１５Ｅで、前記復号制御信号ｓ１０７に応
じて、前記少なくとも１つの前景オブジェクト及び背景
オブジェクトの画素の誤差輝度値及び誤差色値に、動き
補償手段１６から出力する時間的に前または後の画像フ
レーム内にある、前記少なくとも１つの前景オブジェク
ト及び背景オブジェクトの動き補償後の同位置にある画
素の輝度値及び色値を加算して、前記各前景オブジェク
トの画素の輝度値及び色値ｓ２１０、及び背景オブジェ
クトの画素の輝度値及び色値ｓ１１０を、画像合成手段
３１に出力し(ステップＳ１７０８)、フレームメモリ１
７に格納する(ステップＳ１７０９)。

【０２０２】次に、前記画像合成手段３１で、前記抽出
・復号制御手段２５から出力される表示制御信号ｓ１０
９に応じて、前記加算手段１５Ｄ，１５Ｅから出力され
る、前記各前景オブジェクトの画素の輝度値及び色値ｓ
２１０と、前記背景オブジェクトの画素の輝度値及び色
値ｓ１１０、及び前記加算手段１５Ｆから出力される、
前記各前景オブジェクトの形状情報ｓ２２０とを用い
て、前記少なくとも１つの前景オブジェクト及び背景オ
ブジェクトを１つの画面に合成して(ステップＳ１７１
０)、モニターに出力する(ステップＳ１７１１)。

【０２０３】ここで、前記抽出・復号制御手段２５によ
り抽出される前記独自情報ｓ１０３が図形データである
場合は、前記抽出制御情報ｓ１０１の独自情報パラメー
タで指定する、高さ及び幅の図形として、必要に応じて
モニターに表示し、前記独自情報ｓ１０３が文字データ
である場合は、そのまま文字列として、必要に応じてモ
ニターに表示するものとする。

【０２０４】なお、前記復号制御信号ｓ１０７は、MPEG
-4ビジュアル符号化標準（ISO/IEC14496-2）に準拠した
復号を行うための制御信号であるものとする。

【０２０５】さらに、前記実施の形態４及びその変形例
においては、前記背景オブジェクトの画素の誤差輝度値
または、画素の誤差輝度値の量子化ＤＣＴ係数に、前記
独自情報ｓ１０３が埋め込まれている場合を例として説
明したが、前記独自情報ｓ１０３が前記背景オブジェク
トの画素の誤差色値、または画素の誤差色値の量子化Ｄ
ＣＴ係数に埋め込まれている場合は、輝度マクロブロッ
クまたは輝度ブロック毎に電子透かしの抽出を行ってい
たものを、色マクロブロックまたは色ブロック毎に行う
ようにすれば、同様の方法で実施可能である。

【０２０６】以上のように、本実施の形態４及びその変
形例によれば、前記背景オブジェクトの画素の誤差輝度
値または誤差色値に電子透かしとして埋め込まれた前記
独自情報ｓ１０３を抽出する場合、入力されたビットス
トリームまたはファイルｓ３００に記録された符号化さ
れた画像データを復号して抽出した、前記抽出制御情報
ｓ１０１及び前記表示制御情報ｓ１０６から、前記抽出
制御信号ｓ１０８及び前記表示制御信号ｓ１０９を生成
し、前記抽出制御信号ｓ１０８に応じて、前記少なくと
も１つの前景オブジェクトの形状情報を用いて、前記背
景オブジェクトの抽出領域を検出した後、前記抽出領域
から前記独自情報ｓ１０３を抽出し、前記表示制御信号
ｓ１０９に応じて、前記独自情報ｓ１０３を、必要に応
じてモニターに表示するようにしたので、本電子透かし
抽出装置２００に入力される、ビットストリームまたは
ファイルに記録された符号化された画像データから、前
記独自情報ｓ１０３を効率良く抽出することができ、前
記符号化された画像データを復号して得られた画像デー
タを、モニターで表示する際には、前記各前景オブジェ
クト及び背景オブジェクトを合成した画像の画質が全く
劣化しない、という効果がある。

【０２０７】なお、実施の形態４及びその変形例におい
ては、前記暗号化された独自情報を電子透かしとして埋
め込む前記埋め込み位置が、前記符号化抽出制御情報ｓ
３０２において、前記背景オブジェクトの前記埋め込み
領域内の、前記埋め込み開始位置、前記埋め込み方向、
前記埋め込みデータサイズとして指定されている場合を
例として説明したが、前記符号化抽出制御情報ｓ３０２
による前記埋め込み位置の指定方法は、これに限られる
ものではなく、例えば、前記電子透かし埋め込み装置に
おいて、前記暗号化された独自情報を、前記埋め込み領
域内に設定した、埋め込み開始位置と埋め込み終了位置
の範囲内に埋め込んだ場合には、前記符号化抽出制御情
報ｓ３０２により指定される前記埋め込み位置は、前記
埋め込み開始位置及び埋め込み終了位置となる。

【０２０８】（実施の形態５）実施の形態５における、
電子透かし抽出方法、及び電子透かし抽出装置について
説明する。

【０２０９】前記実施の形態４においては、前記独自情
報が本電子透かし抽出装置２００に入力される、ビット
ストリームまたはファイルに記録された少なくとも１つ
の前景オブジェクト及び背景オブジェクトで構成される
符号化された画像データ内の、背景オブジェクトの画素
から、電子透かしとして埋め込まれた著作権情報等の独
自情報を抽出する場合について説明したが、本実施の形
態５においては、前記独自情報が前記符号化された画像
データ内の少なくとも１つの前景オブジェクトから、電
子透かしとして埋め込まれた前記独自情報を抽出する場
合について説明する。

【０２１０】なお、本実施の形態５における電子透かし
抽出装置２００は、前記実施の形態４と同様であるた
め、ここでは説明を省略する。

【０２１１】本実施の形態５における電子透かし抽出装
置２００で、一定期間内に表示する少なくとも１つの画
像フレーム内にある、少なくとも１つの前景オブジェク
トの画素の輝度値または色値から、電子透かしとして埋
め込まれた前記独自情報を抽出する場合（以下、「前景
オブジェクトの画素から抽出する場合」と称す。）の動
作について説明する。なお、本実施の形態５において
は、前記各前景オブジェクトの画素の誤差輝度値から、
前記独自情報を抽出する場合を例に挙げて、図１８に示
すフローチャートに従って説明する。

【０２１２】まず、多重分離手段２６において、抽出・
復号制御手段２５から出力する復号制御信号ｓ１０７に
応じて、電子透かし抽出装置２００に入力するビットス
トリームまたはファイルから抽出した符号化された画像
データｓ３００を多重分離し(ステップＳ１６００)、制
御情報復号手段２７により、前記多重分離手段２６から
出力する符号化された抽出制御情報ｓ１０１及び符号化
された表示制御情報ｓ１０６を復号し（ステップＳ１６
０１）、抽出・復号制御手段２５において、前記抽出制
御情報ｓ１０１及び前記表示制御情報ｓ１０６から、抽
出制御信号ｓ１０８及び表示制御信号ｓ１０９を生成し
て出力する(ステップＳ１６０２)。

【０２１３】次に、可変長復号手段(VLD)２８におい
て、前記復号制御信号ｓ１０７に応じて、前記多重分離
手段２６より抽出された、前記少なくとも１つの前景オ
ブジェクトの符号化された量子化ＤＣＴ係数ｓ３０４及
び背景オブジェクトの符号化された量子化ＤＣＴ係数ｓ
３０３、前記各前景オブジェクト及び背景オブジェクト
の符号化された動きベクトルｓ３０５、及び前記各前景
オブジェクトの符号化形状動きベクトルｓ３０６を可変
長復号する（ステップＳ１６０３）。

【０２１４】次に、抽出領域検出手段３３において、前
記抽出制御信号ｓ１０８に応じて、前記抽出制御信号ｓ
１０８により指定される埋め込み開始時刻Ｔｓと埋め込
み終了時刻Ｔｅとの間に表示される埋め込み画像フレー
ム識別子で指定する少なくとも１つの画像フレーム内
の、埋め込みオブジェクト識別子で指定する前記少なく
とも１つの前景オブジェクトのエッジから形状領域方向
への埋め込み領域幅内の画素の誤差輝度値、または前記
前景オブジェクトのエッジからパディング領域方向へ埋
め込み領域幅内の画素の誤差輝度値を、抽出領域として
検出する。

【０２１５】ここで、前記抽出領域検出手段３３におい
て、前記抽出領域を検出する方法は、前記実施の形態２
の「前景オブジェクトの画素に埋め込む場合」におい
て、図１０及び図１１を用いて説明した、埋め込み領域
を検出する方法と同じである。

【０２１６】次に、前記抽出制御信号ｓ１０８により、
前記スイッチ５Ｉがａ側、スイッチ５Ｊがｂ側に切り替
えられ、逆量子化手段１２において、前記復号制御信号
ｓ１０７に応じて、前記可変長復号手段２８より出力さ
れる、少なくとも１つの前景オブジェクト及び背景オブ
ジェクトの量子化ＤＣＴ係数を逆量子化し(ステップＳ
１６０５)、逆ＤＣＴ変換手段１３において、前記復号
制御信号ｓ１０７に応じて、前記各前景オブジェクト及
び背景オブジェクトのＤＣＴ係数を、逆２次元ＤＣＴ変
換または逆形状適応ＤＣＴ変換して、前記各前景オブジ
ェクト及び背景オブジェクトの画素の誤差輝度値及び誤
差色値を出力する(ステップＳ１６０６)。

【０２１７】次に、前記抽出制御信号ｓ１０８により、
スイッチ５Ｋをａ側、５Ｌをｂ側、５Ｍをａ側、５Ｎを
ａ側に切り替え、前記空間領域電子透かし抽出手段３０
で、前記抽出制御信号ｓ１０８に応じて、前記各前景オ
ブジェクトの前記抽出領域内にある、前記抽出制御信号
ｓ１０８で指定する、前記埋め込み開始位置から前記埋
め込み方向に前記埋め込みデータサイズの範囲内にあ
る、画素の誤差輝度値のビットプレーン値で指定するビ
ット値から、電子透かしとして埋め込まれた暗号化され
た独自情報を抽出した後、前記抽出制御信号ｓ１０８に
より指定する解読鍵で、前記暗号化された独自情報を解
読して、前記独自情報ｓ１０３を抽出する(ステップＳ
１６０７）。

【０２１８】ここで、前記空間領域電子透かし抽出手段
３０において、前記独自情報を抽出する方法は、前記実
施の形態２において図１０及び図１１を用いて示した、
前景オブジェクトの画素の誤差輝度値に埋め込み方法を
逆に行うことにより実現できる。

【０２１９】次に、前記抽出制御信号ｓ１０８に応じ
て、前記スイッチ５Ｏをａ側、前記スイッチ５Ｐをａ側
に切り替えることにより、前記加算手段１５Ｄ，１５Ｅ
で、前記復号制御信号ｓ１０７に応じて、前記少なくと
も１つの前景オブジェクト及び背景オブジェクトの画素
の誤差輝度値及び誤差色値に、前記動き補償手段１６か
ら出力する時間的に前または後の画像フレーム内にあ
る、前記各前景オブジェクト及び背景オブジェクトの動
き補償後の同位置にある画素の輝度値及び色値を加算
し、前記各前景オブジェクトの画素の輝度値及び色値ｓ
２１０、及び前記背景オブジェクトの画素の輝度値及び
色値ｓ１１０を画像合成手段３１に出力するとともに
(ステップＳ１６０８)、前記フレームメモリ１７に格納
する(ステップＳ１６０９)。

【０２２０】次に、前記画像合成手段３１で、前記抽出
・復号制御手段２５から出力される前記表示制御信号ｓ
１０９に応じて、前記加算手段１５Ｄ，１５Ｅから出力
される、前記少なくとも１つの前景オブジェクトの画素
の輝度値及び色値ｓ２１０及び背景オブジェクトの画素
の輝度値及び色値ｓ１１０、前記加算手段１５Ｆから出
力される、前記少なくとも１つの前景オブジェクトの形
状情報ｓ２２０を用いて、前記少なくとも１つの前景オ
ブジェクト及び背景オブジェクトを１つの画面に合成し
(ステップＳ１６１０)、モニターに表示する(ステップ
Ｓ１６１１)。

【０２２１】ここで、前記抽出・復号制御手段２５によ
り、抽出した前記独自情報ｓ１０３が図形データである
場合は、前記抽出制御情報ｓ１０１の独自情報パラメー
タで指定する、高さ及び幅の図形として、必要に応じて
モニターに表示し、前記独自情報ｓ１０３が文字データ
である場合は、そのまま文字列として、必要に応じてモ
ニターに表示するものとする。

【０２２２】以上の説明では、前記少なくとも１つの前
景オブジェクトの画素の誤差輝度値から電子透かしとし
て埋め込まれた前記独自情報ｓ１０３を抽出する場合に
ついて説明したが、一定期間内に表示する少なくとも１
つの画像フレーム内にある、少なくとも１つの前景オブ
ジェクトの埋め込み領域内にある画素の誤差輝度値また
は誤差色値の量子化ＤＣＴ係数から、電子透かしとして
埋め込まれた前記独自情報を抽出する場合（以下、「前
景オブジェクトの画素の周波数係数から抽出する場合」
と称す。）の実施例を、実施の形態５の変形例として説
明する。

【０２２３】（実施の形態５の変形例）本実施の形態５
の変形例における、前景オブジェクトの画素の時間周波
数変換後の周波数係数から抽出する場合の、本電子透か
し抽出装置２００の動作について説明する。なお、ここ
では、前景オブジェクトの画素の誤差輝度値の量子化Ｄ
ＣＴ係数から、前記独自情報を抽出する場合を例に挙げ
て、図１９に示すフローチャートに従って説明する。

【０２２４】まず、多重分離手段２６において、抽出・
復号制御手段２５から出力する復号制御信号ｓ１０７に
応じて、電子透かし抽出装置２００に入力するビットス
トリームまたはファイルから抽出された符号化された画
像データｓ３００を多重分離し(ステップＳ１７００)、
制御情報復号手段２７により、前記多重分離手段２６か
ら出力する符号化された抽出制御情報ｓ３０２及び符号
化された表示制御情報ｓ３０１を復号し（ステップＳ１
７０１）、前記抽出・復号制御手段２５において、前記
抽出制御情報ｓ１０１及び前記表示制御情報ｓ１０６か
ら、抽出制御信号ｓ１０８及び表示制御信号ｓ１０９を
生成して出力する(ステップＳ１７０２)。

【０２２５】次に、可変長復号手段(VLD)２８におい
て、前記復号制御信号ｓ１０７に応じて、前記多重分離
手段２６より抽出された、前記少なくとも１つの前景オ
ブジェクトの符号化された量子化ＤＣＴ係数ｓ３０４及
び背景オブジェクトの符号化された量子化ＤＣＴ係数ｓ
３０３、前記各前景オブジェクト及び背景オブジェクト
の符号化された動きベクトルｓ３０５、及び前記各前景
オブジェクトの符号化形状動きベクトルｓ３０６が可変
長復号される（ステップＳ１７０３）。

【０２２６】次に、抽出領域検出手段３３において、前
記抽出制御信号ｓ１０８に応じて、前記抽出制御信号ｓ
１０８により指定される、埋め込み開始時刻Ｔｓと埋め
込み終了時刻Ｔｅとの間に表示される少なくとも１つの
画像フレーム中の、前記埋め込み画像フレーム識別子で
指定される画像フレーム内にある、前記埋め込みオブジ
ェクト識別子で指定される少なくとも１つの前景オブジ
ェクトのエッジを含む輝度ブロックの境界ブロックを、
前記抽出領域として検出する(ステップＳ１７０４)。

【０２２７】ここで、前記抽出領域検出手段３３におい
て、前記抽出領域を検出する方法は、前記少なくとも１
つの前景オブジェクトのエッジを含む輝度ブロックの境
界ブロックを検出した後、前記実施の形態２の変形例に
示した埋め込み領域の検出方法と同様、前記境界ブロッ
ク内の前景オブジェクトの形状情報に応じて配置される
形状適応ＤＣＴ変換後の量子化ＤＣＴ係数が存在する領
域の境界外で、且つ前記抽出制御信号ｓ１０８で指定す
る最低周波数境界、最高周波数境界及び埋め込み領域幅
で囲まれる領域を、前記抽出領域として検出するもので
ある。

【０２２８】次に、前記抽出制御信号ｓ１０８により、
前記スイッチ５Ｉがａ側、前記スイッチ５Ｊがａ側に切
り替えられ、前記周波数領域電子透かし抽出手段２９に
おいて、前記抽出制御信号ｓ１０８に応じて、前記抽出
領域内の前記抽出制御信号ｓ１０８で指定する、前記埋
め込み開始位置から前記埋め込み方向に前記埋め込みデ
ータサイズの範囲内にある、画素の誤差輝度値の量子化
ＤＣＴ係数の前記ビットプレーン値で指定するビット値
から、電子透かしとして埋め込まれた前記暗号化された
独自情報を抽出した後、前記抽出制御信号ｓ１０８によ
り指定される解読鍵で前記暗号化された独自情報を解読
して、前記独自情報ｓ１０３を抽出する(ステップＳ１
７０５)。

【０２２９】ここで、前記周波数領域電子透かし抽出手
段２９において、前記独自情報を抽出する方法は、前記
実施の形態２の変形例において、図１２を用いて説明し
た前記少なくとも１つの前景オブジェクトの画素の誤差
輝度値の量子化ＤＣＴ係数に埋め込む方法を逆方向に行
うことで実現できる。

【０２３０】次に、前記逆量子化手段１２において、前
記復号制御信号ｓ１０７に応じて、前記少なくとも１つ
の前景オブジェクト及び背景オブジェクトの量子化ＤＣ
Ｔ係数を逆量子化し(ステップＳ１７０６)、前記逆ＤＣ
Ｔ変換手段１３において、前記復号制御信号ｓ１０７に
応じて、前記各前景オブジェクト及び背景オブジェクト
のＤＣＴ係数を、逆２次元ＤＣＴ変換または逆形状適応
ＤＣＴ変換して、前記各前景オブジェクト及び背景オブ
ジェクトの画素の誤差輝度値及び誤差色値を出力する
(ステップＳ１７０７)。

【０２３１】次に、前記抽出制御信号ｓ１０８に応じ
て、前記スイッチ５Ｋをａ側、前記スイッチ５Ｌをａ
側、前記スイッチ５Ｍをａ側、前記スイッチ５Ｎをｂ
側、前記スイッチ５Ｏをａ側、前記スイッチ５Ｐをｂ側
に切り替えることにより、前記加算手段１５Ｄ,１５Ｅ
で、前記復号制御信号ｓ１０７に応じて、前記少なくと
も１つの前景オブジェクト及び背景オブジェクトの画素
の誤差輝度値及び誤差色値に、前記動き補償手段１６か
ら出力する時間的に前または後の画像フレーム内にあ
る、前記少なくとも１つの前景オブジェクト及び背景オ
ブジェクトの動き補償後の同位置にある画素の輝度値及
び色値を加算して、前記少なくとも１つの前景オブジェ
クトの画素の輝度値及び色値Ｓ２１０、及び背景オブジ
ェクトの画素の輝度値及び色値ｓ１１０を画像合成手段
３１に出力するとともに(ステップＳ１７０８)、前記フ
レームメモリ１７に格納する（ステップＳ１７０９）。

【０２３２】次に、前記画像合成手段３１で、前記抽出
・復号制御手段２５から出力される前記表示制御信号ｓ
１０９に応じて、前記加算手段１５Ｄ，１５Ｅから出力
される、前記少なくとも１つの前景オブジェクトの画素
の輝度値及び色値ｓ２１０、及び背景オブジェクトの画
素の輝度値及び色値ｓ１１０と、前記加算手段１５Ｆか
ら出力される、前記少なくとも１つの前景オブジェクト
の形状情報ｓ２２０とを用いて、前記少なくとも１つの
前景オブジェクト及び背景オブジェクトを１つの画面に
合成し(ステップＳ１７１０)、モニターに表示する(ス
テップＳ１７１１)。

【０２３３】ここで、前記抽出・復号制御手段２５によ
り抽出した前記独自情報ｓ１０３が図形データである場
合は、前記抽出制御情報ｓ１０１の独自情報パラメータ
で指定する、高さ及び幅の図形として、必要に応じてモ
ニターに表示し、前記独自情報ｓ１０３が文字データで
ある場合は、そのまま文字列として、必要に応じてモニ
ターに表示するものとする。

【０２３４】なお、前記復号制御信号ｓ１０７は、MPEG
-4ビジュアル符号化標準（ISO/IEC14496-2）に準拠した
復号を行うための制御信号であるものとする。

【０２３５】さらに、前記実施の形態５またはその変形
例においては、前記少なくとも１つの前景オブジェクト
の画素の誤差輝度値、または画素の誤差輝度値の量子化
ＤＣＴ係数に、前記独自情報ｓ１０３が埋め込まれてい
た場合を例に挙げて説明したが、前記各前景オブジェク
トの画素の誤差色値、または画素の誤差色値の量子化Ｄ
ＣＴ係数に埋め込まれている場合は、輝度マクロブロッ
クまたは輝度ブロック毎に電子透かしの抽出を行ってい
たものを、色マクロブロックまたは色ブロック毎に行う
ようにすれば、同様の方法で実施可能である。

【０２３６】以上のように、本実施の形態５及びその変
形例によれば、前記少なくとも１つの前景オブジェクト
の画素の誤差輝度値または誤差色値、またはそれらのＤ
ＣＴ係数に埋め込まれた前記独自情報ｓ１０３を抽出す
る場合、入力されたビットストリームまたはファイルｓ
３００に記録された符号化された画像データを復号して
抽出した、前記抽出制御情報ｓ１０１及び前記表示制御
情報ｓ１０６から、前記抽出制御信号ｓ１０８及び前記
表示制御信号ｓ１０９を生成し、前記抽出制御信号ｓ１
０８に応じて、前記少なくとも１つの前景オブジェクト
の形状情報ｓ２２０を用いて、前記抽出領域を検出した
後、前記抽出領域から前記独自情報ｓ１０３を抽出し、
前記表示制御信号ｓ１０９に応じて、前記独自情報ｓ１
０３を、必要に応じてモニターに表示するようにしたの
で、本電子透かし抽出装置２００に入力されるビットス
トリームまたはファイルに記録された符号化された画像
データから、前記独自情報ｓ１０３を効率良く抽出する
ことができ、前記符号化された画像データを復号して得
られた画像データをモニターで表示する際には、前記各
前景オブジェクト及び背景オブジェクトを合成した画像
の画質の劣化が少ない、という効果がある。

【０２３７】なお、実施の形態５及びその変形例におい
ては、前記暗号化された独自情報を電子透かしとして埋
め込む前記埋め込み位置が、前記符号化抽出制御情報ｓ
３０２において、前記少なくとも１つの前景オブジェク
トの前記埋め込み領域内の、前記埋め込み開始位置、前
記埋め込み方向、前記埋め込みデータサイズとして指定
されている場合を例として説明したが、前記符号化抽出
制御情報ｓ３０２による前記埋め込み位置の指定方法
は、これに限られるものではなく、例えば、前記電子透
かし埋め込み装置において、前記暗号化された独自情報
を、前記埋め込み領域内に設定された、埋め込み開始位
置と埋め込み終了位置の範囲内に埋め込んだ場合には、
前記符号化抽出制御情報ｓ３０２により指定される前記
埋め込み位置は、前記埋め込み開始位置及び埋め込み終
了位置となる。

【０２３８】（実施の形態６）本実施の形態６におけ
る、電子透かし抽出方法、及び電子透かし抽出装置につ
いて説明する。前記実施の形態４及び実施の形態５で
は、本電子透かし抽出装置２００に入力される、ビット
ストリームまたはファイルに記録された符号化された画
像データ内の、少なくとも１つの前景オブジェクト、ま
たは背景オブジェクトの画素の輝度値または色値、もし
くはそれらの時間周波数変換後の周波数係数に、著作権
情報等の独自情報が埋め込まれている場合について説明
したが、本実施の形態６においては、透過度を有する前
記各前景オブジェクト及び背景オブジェクトで構成され
る前記符号化された画像データの前記各前景オブジェク
トまたは背景オブジェクトに、前記独自情報が電子透か
しとして埋め込まれている場合について説明する。

【０２３９】なお、本実施の形態６における電子透かし
抽出装置２００は、前記実施の形態４と同様であるた
め、ここでは説明を省略する。

【０２４０】本実施の形態６における電子透かし抽出装
置２００で、０を完全に透明な状態、１を完全に不透明
な状態とする０以上１以下の任意の値を有する透過度で
表される形状情報を有する、前記少なくとも１つの前景
オブジェクト及び背景オブジェクトの画素の輝度値また
は色値から、電子透かしとして埋め込まれた前記独自情
報を抽出する場合（以下、「透過度を有する前景オブジ
ェクト及び背景オブジェクトの画素から抽出する場合」
と称す。）の動作について、図１８に示すフローチャー
トに従って説明する。なお、本実施の形態６において
は、透過度を有する前記少なくとも１つの前景オブジェ
クト及び背景オブジェクトの画素の誤差輝度値から、前
記独自情報を抽出する場合を例に挙げて説明する。

【０２４１】まず、多重分離手段２６において、抽出・
復号制御手段２５から出力する復号制御信号ｓ１０７に
応じて、電子透かし抽出装置２００に入力するビットス
トリームまたはファイルｓ３００から抽出した符号化さ
れた画像データを多重分離し(ステップＳ１６００)、制
御情報復号手段２７により、前記多重分離手段２６から
出力する符号化された抽出制御情報ｓ１０１及び符号化
された表示制御情報ｓ１０６を復号し（ステップＳ１６
０１）、抽出・復号制御手段２５において、前記抽出制
御情報ｓ１０１及び前記表示制御情報ｓ１０６から、抽
出制御信号ｓ１０８及び表示制御信号ｓ１０９を生成し
て出力する(ステップＳ１６０２)。

【０２４２】次に、可変長復号手段(VLD)２８におい
て、前記復号制御信号ｓ１０７に応じて、前記多重分離
手段２６より抽出された、前記少なくとも１つの前景オ
ブジェクトの符号化された量子化ＤＣＴ係数ｓ３０４及
び背景オブジェクトの符号化された量子化ＤＣＴ係数ｓ
３０３、前記各前景オブジェクト及び背景オブジェクト
の符号化された動きベクトルｓ３０５、及び前記各前景
オブジェクトの符号化形状動きベクトルｓ３０６を可変
長復号する（ステップＳ１６０３）。

【０２４３】次に、前記抽出領域検出手段３３におい
て、前記抽出制御信号ｓ１０６で指定される、前記埋め
込み開始時刻Ｔｓと前記埋め込み終了時刻Ｔｅとの間に
表示される、前記埋め込み画像フレーム識別子で指定さ
れる少なくとも１つの画像フレーム内の、前記埋め込み
オブジェクト識別子で指定する、少なくとも１つの前景
オブジェクトの形状情報が共通して背景オブジェクトを
隠す領域を、前記抽出領域として検出する(ステップＳ
１６０４)。

【０２４４】ここで、前記抽出領域検出手段３３におい
て、前記抽出領域を検出する方法は、前記実施の形態３
の「透過度を有する画像データの画素に埋め込む場合」
において図１３を用いて説明した、埋め込み領域を検出
する方法と同じである。

【０２４５】次に、前記抽出制御信号ｓ１０８により、
前記スイッチ５Ｉがａ側、スイッチ５Ｊがｂ側に切り替
えられ、逆量子化手段１２において、前記復号制御信号
ｓ１０７に応じて、前記可変長復号手段２８より出力さ
れる前記少なくとも１つの前景オブジェクト及び背景オ
ブジェクトの量子化ＤＣＴ係数を逆量子化し(ステップ
Ｓ１６０５)、逆ＤＣＴ変換手段１３において、前記復
号制御信号ｓ１０７に応じて、前記各前景オブジェクト
及び背景オブジェクトのＤＣＴ係数を、逆２次元ＤＣＴ
変換または逆形状適応ＤＣＴ変換して、前記各前景オブ
ジェクト及び背景オブジェクトの画素の誤差輝度値及び
誤差色値を出力する(ステップＳ１６０６)。

【０２４６】次に、前記抽出制御信号ｓ１０８に応じ
て、前記スイッチ５Ｋがａ側、前記スイッチ５Ｌがｂ
側、前記スイッチ５Ｍがｂ側、前記スイッチ５Ｎがａ側
に切り替えられ、前記空間領域電子透かし抽出手段３０
において、前記抽出制御信号ｓ１０８に応じて、前記少
なくとも１つの前景オブジェクト及び背景オブジェクト
の前記抽出領域内にある、前記埋め込み開始位置から前
記埋め込み方向に前記埋め込みデータサイズの範囲内に
ある、画素の誤差輝度値の、ビットプレーン値で指定さ
れるビット値から、前記少なくとも１つの前景オブジェ
クト及び背景オブジェクトに分配された、前記暗号化さ
れた独自情報を抽出して合成した後、前記抽出制御信号
ｓ１０８により指定される解読鍵で解読して、前記独自
情報ｓ１０３を抽出する(ステップＳ１６０７)。

【０２４７】ここで、前記空間領域電子透かし抽出手段
３０において、前記独自情報を抽出する方法は、前記実
施の形態３の「透明度を有する画像データの画素に埋め
込む場合」において、図１４を用いて説明した埋め込み
方法を逆に行うことにより実現できる。

【０２４８】次に、前記抽出制御信号ｓ１０８に応じ
て、前記スイッチ５Ｏをｂ側、前記スイッチ５Ｐをａ側
に切り替え、前記加算手段１５Ｄ,１５Ｅで、前記復号
制御信号ｓ１０７に応じて、前記少なくとも１つの前景
オブジェクト及び背景オブジェクトの画素の誤差輝度値
及び誤差色値に、前記動き補償手段１６から出力する時
間的に前または後の画像フレーム内にある、前記各前景
オブジェクト及び背景オブジェクトの動き補償後の同位
置にある画素の輝度値及び色値を加算して、前記各前景
オブジェクトの画素の輝度値及び色値ｓ２１０、及び前
記背景オブジェクトの画素の輝度値及び色値ｓ１１０を
画像合成手段３１に出力するとともに(ステップＳ１６
０８)、前記フレームメモリ１７に格納する(ステップＳ
１６０９)。

【０２４９】次に、前記画像合成手段３１で、前記抽出
・復号制御手段２５から出力される前記表示制御信号ｓ
１０９に応じて、前記加算手段１５Ｄ，１５Ｅから出力
される、前記少なくとも１つの前景オブジェクトの画素
の輝度値及び色値ｓ２１０と、前記背景オブジェクトの
画素の輝度値及び色値ｓ１１０と、加算手段１５Ｆから
出力される、前記少なくとも１つの前景オブジェクトの
形状情報ｓ２２０とを用いて、前記少なくとも１つの前
景オブジェクト及び背景オブジェクトを１つの画面に合
成し(ステップＳ１６１０)、モニターに表示する(ステ
ップＳ１６１１)。

【０２５０】ここで、前記抽出・復号制御手段２５によ
り抽出した前記独自情報ｓ１０３が図形データである場
合は、前記抽出制御信号ｓ１０１の独自情報パラメータ
で指定する、高さ及び幅の図形として、必要に応じてモ
ニターに表示し、前記独自情報ｓ１０３が文字データで
ある場合は、そのまま文字列として、必要に応じてモニ
ターに表示するものとする。

【０２５１】以上の説明では、前記少なくとも１つの前
景オブジェクトの画素の誤差輝度値から電子透かしとし
て埋め込まれた前記独自情報ｓ１０３を抽出する場合に
ついて説明したが、０を完全に透明な状態、１を完全に
不透明な状態とする０以上１以下の任意の値を有する透
過度で表される形状情報を有する、前記少なくとも１つ
の前景オブジェクト及び背景オブジェクトで構成される
前記符号化された画像データ内の前記各前景オブジェク
ト及び背景オブジェクトの画素の輝度値または色値の時
間周波数変換後の周波数係数から、電子透かしとして埋
め込まれた著作権情報等の独自情報を抽出する場合（以
下、「透過度を有する前景オブジェクト及び背景オブジ
ェクトの画素の周波数係数から抽出する場合」と称
す。）について示す。

【０２５２】（実施の形態６の変形例）本実施の形態６
の変形例における、透過度を有する少なくとも１つの前
景オブジェクト及び背景オブジェクトの画素の周波数係
数から抽出する場合の、本電子透かし抽出装置２００の
処理動作について、図１９に示すフローチャートに従っ
て説明する。なお、ここでは、前記各前景オブジェクト
及び背景オブジェクトを構成する、画素の誤差輝度値の
量子化ＤＣＴ係数から、前記独自情報を抽出する場合を
例に挙げて説明する。

【０２５３】まず、多重分離手段２６において、抽出・
復号制御手段２５から出力する復号制御信号ｓ１０７に
応じて、電子透かし抽出装置２００に入力するビットス
トリームまたはファイルから抽出された符号化された画
像データｓ３００を多重分離し(ステップＳ１７００)、
制御情報復号手段２７により、前記多重分離手段２６か
ら出力する符号化された抽出制御情報ｓ３０２及び符号
化された表示制御情報ｓ３０１を復号し（ステップＳ１
７０１）、前記抽出・復号制御手段２５において、前記
抽出制御情報ｓ１０１及び前記表示制御情報ｓ１０６か
ら、抽出制御信号ｓ１０８及び表示制御信号ｓ１０９を
生成して出力する(ステップＳ１７０２)。

【０２５４】次に、可変長復号手段(VLD)２８におい
て、前記復号制御信号ｓ１０７に応じて、前記多重分離
手段２６より抽出された、前記少なくとも１つの前景オ
ブジェクトの符号化された量子化ＤＣＴ係数ｓ３０４及
び背景オブジェクトの符号化された量子化ＤＣＴ係数ｓ
３０３、前記各前景オブジェクト及び背景オブジェクト
の符号化された動きベクトルｓ３０５、及び前記各前景
オブジェクトの符号化形状動きベクトルｓ３０６が可変
長復号される（ステップＳ１７０３）。

【０２５５】次に、抽出領域検出手段３３において、前
記抽出制御信号ｓ１０８に応じて、前記抽出制御信号ｓ
１０８により指定される、埋め込み開始時刻Ｔｓと埋め
込み終了時刻Ｔｅとの間に表示される複数の画像フレー
ム中の、前記埋め込み画像フレーム識別子で指定する画
像フレーム内にある、前記埋め込みオブジェクト識別子
で指定される、前景オブジェクトの形状情報が共通して
背景オブジェクトを隠す領域を、抽出領域として検出す
る(ステップＳ１７０４)。

【０２５６】ここで、前記抽出領域検出手段３３におい
て、前記抽出領域を検出する方法は、前記実施の形態３
の変形例の「透過度を有する画像データの画素の周波数
係数に埋め込む場合」における、埋め込み領域を検出す
る方法と同じである。

【０２５７】次に、前記抽出制御信号ｓ１０８により、
前記スイッチ５Ｉがｂ側、前記スイッチ５Ｊがａ側に切
り替えられ、前記周波数領域電子透かし抽出手段２９
で、前記抽出制御信号ｓ１０８に応じて、前記少なくと
も１つの前景オブジェクト及び背景オブジェクトの前記
抽出領域内にある、前記埋め込み開始位置から前記埋め
込み方向に前記埋め込みデータサイズの範囲内にある、
輝度ブロック内の前記最低周波数境界と前記最高周波数
境界との間にある、画素の誤差輝度値の量子化ＤＣＴ係
数の前記ビットプレーン値で指定されるビット値から、
前記少なくとも１つの前景オブジェクト及び背景オブジ
ェクトに分配された前記暗号化された独自情報を抽出し
て合成した後、前記抽出制御信号ｓ１０８により指定さ
れる解読鍵で解読し、前記独自情報を抽出する(ステッ
プＳ１７０５)。

【０２５８】ここで、前記周波数領域電子透かし抽出手
段２９において、前記独自情報を抽出する方法は、前記
実施の形態３の変形例の「透過度を有する画像データの
画素の周波数係数に埋め込み場合」において、図１４を
用いて説明した埋め込み方法を逆方向に行うことで実現
できる。

【０２５９】次に、前記逆量子化手段１２において、前
記復号制御信号ｓ１０７に応じて、前記少なくとも１つ
の前景オブジェクト及び背景オブジェクトの量子化ＤＣ
Ｔ係数を逆量子化し(ステップＳ１７０６)、逆ＤＣＴ変
換手段１３において、前記復号制御信号ｓ１０７に応じ
て、前記各前景オブジェクト及び背景オブジェクトを、
逆２次元ＤＣＴ変換または逆形状適応ＤＣＴ変換して、
前記各前景オブジェクト及び背景オブジェクトの画素の
誤差輝度値及び誤差色値を出力する(ステップＳ１７０
７)。

【０２６０】次に、前記抽出制御信号ｓ１０８により、
前記スイッチ５Ｋがｂ側、前記スイッチ５Ｌがａ側、前
記スイッチ５Ｍがａ側、前記スイッチ５Ｎがｂ側、前記
スイッチ５Ｏがａ側、前記スイッチ５Ｐがｂ側に切り替
えられ、前記加算手段１５Ｄ,１５Ｅで、前記復号制御
信号ｓ１０７に応じて、前記少なくとも１つの前景オブ
ジェクト及び背景オブジェクトの画素の誤差輝度値及び
誤差色値に、前記動き補償手段１６から出力する時間的
に前または後ろの画像フレーム内にある、前記少なくと
も１つの前景オブジェクト及び背景オブジェクトの動き
補償後の同位置にある画素の輝度値及び色値を加算し
て、前記少なくとも１つの前景オブジェクトの画素の輝
度値及び色値ｓ２１０、及び前記背景オブジェクトの画
素の輝度値及び色値ｓ１１０を、画像合成手段３１に出
力するとともに(ステップＳ１７０８)、前記フレームメ
モリ１７に格納する(ステップＳ１７０９)。

【０２６１】次に、前記画像合成手段３１において、前
記抽出・復号制御手段２５から出力される前記表示制御
信号ｓ１０９に応じて、前記加算手段１５Ｄ,１５Ｅか
ら出力される前記少なくとも１つの前景オブジェクトの
画素の輝度値または色値ｓ２１０と、前記背景オブジェ
クトの画素の輝度値及び色値Ｓ２１０と、前記形状加算
手段１５Ｆから出力される前記少なくとも１つの前景オ
ブジェクトの形状情報ｓ２２０とを用いて、前記少なく
とも１つの前景オブジェクト及び背景オブジェクトを１
つの画面に合成し(ステップＳ１７１０)、モニターに表
示する(ステップＳ１７１１)。

【０２６２】ここで、前記抽出・復号制御手段２５によ
り抽出した前記独自情報ｓ１０３が図形データである場
合は、前記抽出制御情報ｓ１０１の独自情報パラメータ
で指定する、高さ及び幅の図形として、必要に応じてモ
ニターに表示し、前記独自情報ｓ１０３が文字データで
ある場合は、そのまま文字列として、必要に応じてモニ
ターに表示するものとする。

【０２６３】なお、前記復号制御信号ｓ１０７は、MPEG
-4ビジュアル符号化標準（ISO/IEC14496-2）に準拠した
復号を行うための制御信号であるものとする。

【０２６４】さらに、前記実施の形態６またはその変形
例においては、透過度を有する前記少なくとも１つの前
景オブジェクト及び背景オブジェクトの画素の誤差輝度
値、または画素の誤差輝度値の量子化ＤＣＴ係数に、前
記独自情報ｓ１０３が埋め込まれていた場合を例に挙げ
て説明したが、前記各前景オブジェクト及び背景オブジ
ェクトの画素の誤差色値、または画素の誤差色値の量子
化ＤＣＴ係数に埋め込まれている場合は、輝度マクロブ
ロックまたは輝度ブロック毎に電子透かしの抽出を行っ
ていたものを、色マクロブロックまたは色ブロック毎に
行うようにすれば、同様の方法で実施可能である。

【０２６５】以上のように、本実施の形態６及びその変
形例によれば、透過度を有する前記少なくとも１つの前
景オブジェクト及び背景オブジェクトに分配されて埋め
込まれた著作権情報等の独自情報ｓ１０３を抽出する場
合、入力されたビットストリームまたはファイルｓ３０
０に記録された符号化された画像データを復号して抽出
した前記抽出制御情報ｓ１０１及び前記表示制御情報ｓ
１０６から、前記抽出制御信号ｓ１０８及び前記表示制
御信号ｓ１０９を生成し、前記抽出制御信号ｓ１０８に
応じて、前記各前景オブジェクトが共通して背景オブジ
ェクトを隠す領域を抽出領域として検出した後、前記抽
出領域から前記独自情報ｓ１０３を抽出し、前記表示制
御信号ｓ１０９に応じて、必要に応じてモニターに表示
するようにしたので、本電子透かし抽出装置２００に入
力されるビットストリームまたはファイルに記録された
符号化された画像データから、前記独自情報ｓ１０３を
効率良く抽出することができ、前記各前景オブジェクト
及び背景オブジェクトを合成した画像データの画質の劣
化が少ない、という効果がある。

【０２６６】なお、実施の形態５及びその変形例におい
ては、前記暗号化された独自情報を電子透かしとして埋
め込む前記埋め込み位置が、前記符号化抽出制御情報ｓ
３０２において、前記少なくとも１つの前景オブジェク
ト及び背景オブジェクトの前記埋め込み領域内の、前記
埋め込み開始位置、前記埋め込み方向、前記埋め込みデ
ータサイズとして指定されている場合を例として説明し
たが、前記符号化抽出制御情報ｓ３０２による前記埋め
込み位置の指定方法は、これに限られるものではなく、
例えば、前記電子透かし埋め込み装置において、前記暗
号化された独自情報を、前記埋め込み領域内に設定され
る、埋め込み開始位置と埋め込み終了位置の範囲内に埋
め込んだ場合には、前記符号化抽出制御情報ｓ３０２に
より指定される前記埋め込み位置は、前記埋め込み開始
位置及び前記埋め込み終了位置となる。

【０２６７】さらに、前記各実施の形態及びその変形例
で示した、前記画像データへの著作権情報等の独自情報
ｓ１０３の電子透かしとしての埋め込み、または符号化
された画像データからの電子透かしとして埋め込まれた
前記独自情報ｓ１０３の抽出を、ソフトウエアにより行
うための電子透かし埋め込みプログラム、または電子透
かし抽出プログラムを、磁気ディスク、光ディスク、固
体メモリ等の記録媒体に記録することにより、前記各実
施の形態で示した電子透かしの埋め込み、または電子透
かしの抽出を、独立したコンピュータシステムにおいて
簡単に実行することが可能となる。

【０２６８】図２０は、前記各実施の形態及びその変形
例における、電子透かしの埋め込み、または電子透かし
の抽出を、前記電子透かし埋め込みプログラム、または
前記電子透かし抽出プログラムを格納したフレキシブル
ディスクを用いて、コンピュータシステムにより実施す
る場合を説明する図である。

【０２６９】図２０（ａ）は、フレキシブルディスクを
正面からみた外観、断面構造、及びフレキシブルディス
ク本体を示し、図２０（ｂ）は、前記フレキシブルディ
スクの本体の物理フォーマットの例を示している。

【０２７０】前記フレキシブルディスクＦＤは、前記フ
レキシブルディスク本体Ｄをフレキシブルディスクケー
スＦＣ内に収容した構造となっており、前記フレキシブ
ルディスク本体Ｄの表面には、同心円状に外周から内周
に向かって複数のトラックＴｒが形成され、各トラック
Ｔｒは角度方向に１６セクタＳｅに分割されている。従
って、前記プログラムを格納したフレキシブルディスク
ＦＤは、前記フレキシブルディスク本体Ｄ上に割り当て
られた領域（セクタ）Ｓｅに、前記プロブラムとしての
データが記録されてものとなっている。

【０２７１】また、図２０（ｃ）は、フレキシブルディ
スクＦＤに対する前記プログラムの記録、及びフレキシ
ブルディスクＦＤに格納したプログラムを用いたソフト
ウエアによる、電子透かしの埋め込み、または電子透か
しの抽出を行うための構成を示している。

【０２７２】前記プログラムをフレキシブルディスクＦ
Ｄに記録する場合は、コンピュータシステムＣｓから、
前記プログラムとしてのデータを、フレキシブルディス
クドライブＦ_DDを介してフレキシブルディスクＦＤに書
き込む。また、フレキシブルディスクＦＤに記録された
プログラムにより、前記電子透かし埋め込み装置、また
は前記電子透かし抽出装置を構築する場合は、フレキシ
ブルディスクドライブＦ_DDにより、プログラムをフレキ
シブルディスクから読み出し、コンピュータシステムＣ
ｓにロードする。

【０２７３】なお、前記説明では、データ記録媒体とし
て、フレキシブルディスクを用いて説明したが、光ディ
スクを用いても、前記フレキシブルディスクと同様に、
ソフトウエアによる電子透かしの埋め込み、または電子
透かしの抽出を行うことができる。また、記録媒体は前
記光ディスクやフレキシブルディスクに限るものではな
く、ＩＣカード、ＲＯＭカセット等、プログラムを記録
できるものであればどのようなものでもよく、さらに、
ネットワーク、衛星などの通信媒体も利用することがで
きる。そして、これらの記録媒体または通信媒体を用い
る場合でも、前記同様に、ソフトウエアによる電子透か
しの埋め込み、または電子透かしの抽出を実施すること
ができる。

【０２７４】

【発明の効果】以上のことにより、本発明の請求項１に
記載の電子透かし埋め込み装置によれば、画像データを
符号化し、かつ前記画像データを構成する、少なくとも
１つの前景オブジェクトまたは背景オブジェクトの、画
素の輝度値または色値に、著作権情報等の独自情報を電
子透かしとして埋め込む電子透かし埋め込み装置におい
て、前記独自情報、前記独自情報を電子透かしとして埋
め込む開始時点及び終了時点を指定する埋め込み開始時
刻及び埋め込み終了時刻等の前記電子透かしを埋め込む
ために必要な埋め込み制御情報、前記少なくとも１つの
前景オブジェクト及び背景オブジェクトの表示位置や前
後関係を指定する表示制御情報、及び前記埋め込み制御
情報等を基にして電子透かしを抽出するために必要な抽
出制御情報を生成し、符号化制御信号及び前記埋め込み
制御情報を基にして作成した埋め込み制御信号により、
前記画像データの符号化、及び電子透かしの埋め込みを
制御する埋め込み・符号化制御手段と、前記埋め込み制
御信号に応じて、前記埋め込み開始時刻と前記埋め込み
終了時刻との間に表示される、少なくとも１つの画像フ
レーム内にある、少なくとも１つの前景オブジェクトの
形状情報から、前記独自情報を電子透かしとして埋め込
む埋め込み領域を検出する埋め込み領域検出手段と、前
記埋め込み制御信号に応じて、前記埋め込み領域内の、
電子透かしを埋め込む埋め込み位置を決定する埋め込み
位置決定手段と、前記埋め込み制御信号に応じて、前記
少なくとも１つの前景オブジェクトまたは背景オブジェ
クトにおける前記埋め込み領域内の、前記埋め込み位置
の範囲内にある画素の輝度値または色値に、前記独自情
報を電子透かしとして埋め込む空間領域電子透かし埋め
込み手段と、前記表示制御情報及び前記抽出制御情報を
符号化する制御情報符号化手段とを備えるようにしたの
で、本電子透かし埋め込み装置に入力される、前記少な
くとも１つの前景オブジェクト及び背景オブジェクトを
有する画像データの画素の輝度値または色値に対して、
前記独自情報を電子透かしとして効率良く埋め込むこと
ができる。

【０２７５】また、本発明の請求項２に記載の電子透か
し埋め込み装置によれば、画像データを符号化し、かつ
前記画像データを構成する、少なくとも１つの前景オブ
ジェクトまたは背景オブジェクトの、画素の輝度値また
は色値の時間周波数変換後の周波数係数に、著作権情報
等の独自情報を電子透かしとして埋め込む電子透かし埋
め込み装置において、前記独自情報、前記独自情報を電
子透かしとして埋め込む開始時点及び終了時点を指定す
る埋め込み開始時刻及び埋め込み終了時刻等の前記電子
透かしを埋め込むために必要な埋め込み制御情報、前記
少なくとも１つの前景オブジェクト及び背景オブジェク
トの表示位置や前後関係を指定する表示制御情報、及び
前記埋め込み制御情報等を基にして電子透かしを抽出す
るために必要な抽出制御情報を生成し、符号化制御信号
及び前記埋め込み制御情報を基にして作成した埋め込み
制御信号により、前記画像データの符号化、及び電子透
かしの埋め込みを制御する埋め込み・符号化制御手段
と、前記埋め込み制御信号に応じて、前記埋め込み開始
時刻と前記埋め込み終了時刻との間に表示される、少な
くとも１つの画像フレーム内にある、少なくとも１つの
前景オブジェクトの形状情報から、前記独自情報を電子
透かしとして埋め込む埋め込み領域を検出する埋め込み
領域検出手段と、前記埋め込み制御信号に応じて、前記
埋め込み領域内の、電子透かしを埋め込む埋め込み位置
を決定する埋め込み位置決定手段と、前記埋め込み制御
信号に応じて、前記少なくとも１つの前景オブジェクト
または背景オブジェクトにおける前記埋め込み領域内
の、前記埋め込み位置の範囲内にある画素の輝度値また
は色値の前記周波数係数に、前記独自情報を電子透かし
として埋め込む周波数領域電子透かし埋め込み手段と、
前記表示制御情報及び前記抽出制御情報を符号化する制
御情報符号化手段とを備えるようにしたので、本電子透
かし埋め込み装置に入力される、前記少なくとも１つの
前景オブジェクト及び背景オブジェクトを有する画像デ
ータの、画素の輝度値または色値の時間周波数変換後の
周波数係数に対して、前記独自情報を電子透かしとして
効率良く埋め込むことができる。

【０２７６】また、本発明の請求項３に記載の電子透か
し埋め込み装置によれば、請求項１記載の電子透かし埋
め込み装置において、前記空間領域電子透かし埋め込み
手段により、前記独自情報が電子透かしとして埋め込ま
れた前記少なくとも１つの前景オブジェクトまたは背景
オブジェクトの画素の輝度値または色値から、前記独自
情報を削除して、元の画像データの画素の輝度値または
色値に戻す、電子透かし削除手段を備え、電子透かしの
埋め込まれた前記各前景オブジェクトまたは背景オブジ
ェクトを圧縮符号化する際には、前記電子透かし削除手
段から出力される前記各前景オブジェクトまたは背景オ
ブジェクトを参照画像データとして用いて、予測符号化
を行うようにしたので、前記少なくとも１つの前景オブ
ジェクトまたは背景オブジェクトの画素の輝度値または
色値に、前記独自情報を埋め込み、圧縮符号化する際
に、画質の劣化を少なくすることができる。

【０２７７】また、本発明の請求項４に記載の電子透か
し埋め込み装置によれば、請求項１記載の電子透かし埋
め込み装置において、前記埋め込み領域検出手段は、前
記埋め込み開始時刻と前記埋め込み終了時刻との間に表
示される少なくとも１つの画像フレーム内にある、前記
少なくとも１つの前景オブジェクトの形状情報が全て重
なり合う領域を、前記埋め込み領域として検出し、前記
埋め込み位置決定手段は、前記埋め込み領域に対応する
前記背景オブジェクトにおける領域内の、輝度ブロック
または色ブロック単位の埋め込み開始位置、及び上下左
右方向を組み合わせた８方向のうちの１つである埋め込
み方向を、前記領域内の画素の輝度値または色値の分布
状態より設定するとともに、前記領域内の埋め込みデー
タサイズを、前記独自情報を基にして設定することで、
前記埋め込み位置を決定し、前記空間領域電子透かし埋
め込み手段は、前記背景オブジェクトにおける前記領域
内の、前記埋め込み位置である前記埋め込み開始位置か
ら前記埋め込み方向に前記埋め込みデータサイズの範囲
内にある、画素の輝度値または色値に、前記独自情報を
電子透かしとして埋め込むようにしたので、本電子透か
し埋め込み装置に入力される、前記少なくとも１つの前
景オブジェクト及び背景オブジェクトを有する画像デー
タの、前記背景オブジェクトの画素の輝度値または色値
に、前記独自情報を電子透かしとして効率良く埋め込む
ことができる。

【０２７８】また、本発明の請求項５に記載の電子透か
し埋め込み装置よれば、請求項２記載の電子透かし埋め
込み装置において、前記埋め込み領域検出手段は、前記
埋め込み開始時刻と前記埋め込み終了時刻との間に表示
される少なくとも１つの画像フレーム内にある、少なく
とも１つの前景オブジェクトの形状情報が全て重なり合
う重なり領域を検出して、前記重なり領域内の輝度ブロ
ックまたは色ブロック内の、画素の輝度値または色値の
前記周波数係数の直流成分を中心とした前記周波数係数
単位の四分円の半径である最低周波数境界と最高周波数
境界との間にある前記周波数係数を、前記埋め込み領域
として検出し、前記埋め込み位置決定手段は、前記埋め
込み領域に対応する前記背景オブジェクトにおける領域
内の、前記周波数係数単位の埋め込み開始位置、及び上
下左右方向を組み合わせた８方向のうちの１つである埋
め込み方向を、前記領域内の画素の輝度値または色値の
分布状態より設定するとともに、前記領域内の埋め込み
データサイズを、前記独自情報を基にして設定すること
で、前記埋め込み位置を決定し、前記周波数領域電子透
かし埋め込み手段は、前記背景オブジェクトにおける前
記領域内の、前記埋め込み位置である前記埋め込み開始
位置から前記埋め込み方向に前記埋め込みデータサイズ
の範囲内にある、画素の輝度値または色値の前記周波数
係数に、前記独自情報を電子透かしとして埋め込むよう
にしたので、本電子透かし埋め込み装置に入力される、
前記少なくとも１つの前景オブジェクト及び背景オブジ
ェクトを有する画像データの、前記背景オブジェクトの
画素の輝度値または色値の前記周波数係数に、前記独自
情報を電子透かしとして効率良く埋め込むことができ
る。

【０２７９】また、本発明の請求項６に記載の電子透か
し埋め込み装置によれば、請求項１記載の電子透かし埋
め込み装置において、前記埋め込み領域検出手段は、前
記少なくとも１つの前景オブジェクトの形状の輪郭線で
あるエッジから、前記各前景オブジェクトの形状領域の
内部方向またはパディング領域方向に、画素の輝度値ま
たは色値単位で埋め込み領域幅を設定することにより、
前記埋め込み領域を検出し、前記埋め込み位置決定手段
は、前記埋め込み領域内の、輝度ブロックまたは色ブロ
ック単位の埋め込み開始位置、及び上下左右方向を組み
合わせた８方向のうちの１つである埋め込み方向を、前
記各前景オブジェクトの動き状態より設定するととも
に、前記埋め込み領域内の埋め込みデータサイズを、前
記独自情報を基にして設定することで、前記埋め込み位
置を決定し、前記空間領域電子透かし埋め込み手段は、
前記少なくとも１つの前景オブジェクトにおける前記埋
め込み領域内の、前記埋め込み位置である前記埋め込み
開始位置から前記埋め込み方向に前記埋め込みデータサ
イズの範囲内にある、画素の輝度値または色値に、前記
独自情報を電子透かしとして埋め込むようにしたので、
本電子透かし埋め込み装置に入力される、前記少なくと
も１つの前景オブジェクト及び背景オブジェクトを有す
る画像データの、前記少なくとも１つの前景オブジェク
トの画素の輝度値または色値に、前記独自情報を電子透
かしとして効率良く埋め込むことができる。

【０２８０】また、本発明の請求項７に記載の電子透か
し埋め込み装置によれば、請求項２記載の電子透かし埋
め込み装置において、前記埋め込み領域検出手段は、前
記埋め込み領域内の、前記少なくとも１つの前景オブジ
ェクトの形状の輪郭線であるエッジを含む輝度ブロック
または色ブロックの境界ブロック内の、前記各前景オブ
ジェクトの形状情報に応じて配置される画素の輝度値ま
たは色値の前記周波数係数の外側で、かつ前記境界ブロ
ック内の前記周波数係数の直流成分を中心とした前記周
波数係数単位の四分円の半径である最低周波数境界と最
高周波数境界との間に、前記周波数係数単位で埋め込み
領域幅を設定することにより、前記埋め込み領域を検出
し、前記埋め込み位置決定手段は、前記埋め込み領域内
の、前記周波数係数単位の埋め込み開始位置、及び上下
左右方向を組み合わせた８方向のうちの１つである埋め
込み方向を、前記各前景オブジェクトの動き状態より設
定するとともに、前記埋め込み領域内の埋め込みデータ
サイズを、前記独自情報を基にして設定することで、前
記埋め込み位置を決定し、前記周波数領域電子透かし埋
め込み手段は、前記少なくとも１つの前景オブジェクト
における前記埋め込み領域内の、前記埋め込み位置であ
る前記埋め込み開始位置から前記埋め込み方向に前記埋
め込みデータサイズの範囲内にある、画素の輝度値また
は色値の前記周波数係数に、前記独自情報を電子透かし
として埋め込むようにしたので、本電子透かし埋め込み
装置に入力される、前記少なくとも１つの前景オブジェ
クト及び背景オブジェクトを有する画像データの、前記
少なくとも１つの前景オブジェクトの画素の輝度値また
は色値の前記周波数係数に、前記独自情報を電子透かし
として効率良く埋め込むことができる。

【０２８１】また、本発明の請求項８に記載の電子透か
し埋め込み装置によれば、請求項５または請求項７記載
の電子透かし埋め込み装置において、前記埋め込み領域
検出手段は、画素の輝度値または色値の前記周波数係数
の最低周波数境界及び最高周波数境界を、画質への影響
が最小になる帯域、または前記埋め込み領域検出手段よ
り後段で使用されるフィルタの帯域を基にして決定する
ようにしたので、本電子透かし埋め込み装置に入力され
る前記少なくとも１つの前景オブジェクト及び背景オブ
ジェクトを有する画像データの、前記少なくとも１つの
前景オブジェクト及び背景オブジェクトの画素の輝度値
または色値の前記周波数係数に、前記独自情報を埋め込
む際に、画質の劣化を少なくすることができる。

【０２８２】また、本発明の請求項９に記載の電子透か
し埋め込み装置によれば、請求項６記載の電子透かし埋
め込み装置において、前記埋め込み領域検出手段は、前
記少なくとも１つの前景オブジェクトの形状のエッジか
ら、前記各前景オブジェクトの形状領域の内部方向に設
定する前記埋め込み領域幅を、前記各前景オブジェクト
のエッジ付近にある画素の輝度値または色値と、前記各
前景オブジェクトのエッジ付近にある背景オブジェクト
の画素の輝度値または色値との平均値の差、または前記
各前景オブジェクトのエッジ付近にある前記各前景オブ
ジェクト及び背景オブジェクトの画素の輝度値または色
値の分散値に比例するよう設定したので、前記独自情報
が埋め込まれた画像データを表示する際に、前記少なく
とも１つの前景オブジェクト及び背景オブジェクトの合
成画像の画質の劣化が少なくなるように、本電子透かし
埋め込み装置に入力される画像データの、前記少なくと
も１つの前景オブジェクトの画素の輝度値または色値
に、前記独自情報を電子透かしとして埋め込むことがで
きる。

【０２８３】また、本発明の請求項１０に記載の電子透
かし埋め込み装置によれば、請求項６または請求項７記
載の電子透かし埋め込み装置において、前記埋め込み位
置決定手段は、前記少なくとも１つの前景オブジェクト
が静止物体であるとき、前記各前景オブジェクトのエッ
ジ付近にある埋め込み領域内の画素の輝度値または色値
の分散値が大きい部分に、前記埋め込み開始位置及び前
記埋め込み方向を設定し、前記各前景オブジェクトが移
動物体であるとき、前記埋め込み領域内の前記各前景オ
ブジェクトの移動方向と反対側のエッジ付近にある埋め
込み領域内の画素の輝度値または色値に、前記埋め込み
開始位置及び前記埋め込み方向を設定するようにしたの
で、前記独自情報が埋め込まれた画像データを表示する
際に、前記少なくとも１つの前景オブジェクト及び背景
オブジェクトの合成画像の画質の劣化が少なくなるよう
に、本電子透かし埋め込み装置に入力される画像データ
の、前記少なくとも１つの前景オブジェクトの画素の輝
度値または色値の前記周波数係数に、前記独自情報を電
子透かしとして埋め込むことができる。

【０２８４】また、本発明の請求項１１に記載の電子透
かし埋め込み装置によれば、請求項１記載の電子透かし
埋め込み装置において、前記埋め込み開始時刻と前記埋
め込み終了時刻との間に表示される少なくとも１つの画
像フレーム内の、前記少なくとも１つの前景オブジェク
トにおける、完全に透明な状態及び完全に不透明な状態
の間の状態が任意の値をもつ透過度で表される形状情報
を有するとき、前記埋め込み領域検出手段は、前記埋め
込み開始時刻と前記埋め込み終了時刻との間に表示され
る少なくとも１つの画像フレーム内にある、前記各前景
オブジェクトの形状情報が重なり合う領域を、前記埋め
込み領域として検出し、前記埋め込み位置決定手段は、
前記埋め込み領域に対応する、前記各前景オブジェクト
及び背景オブジェクトにおける領域内の、輝度ブロック
または色ブロック単位の埋め込み開始位置、及び上下左
右方向を組み合わせた８方向のうちの１つである埋め込
み方向を、前記領域内の画素の輝度値または色値の分布
状態より設定するとともに、前記領域内の埋め込みデー
タサイズを、前記独自情報を基にして設定することで、
前記埋め込み位置を決定し、前記空間領域電子透かし埋
め込み手段は、前記各前景オブジェクトの形状情報の透
過度より算出した割合で、前記独自情報を前記各前景オ
ブジェクト及び背景オブジェクトに分配するとともに、
前記各前景オブジェクト及び背景オブジェクトの前記領
域内の、前記埋め込み位置である前記埋め込み開始位置
から前記埋め込み方向に前記埋め込みデータサイズの範
囲内にある、画素の輝度値または色値に、前記各前景オ
ブジェクト及び背景オブジェクトに分配された前記独自
情報を電子透かしとして埋め込むようにしたので、本電
子透かし埋め込み装置に入力される、前記少なくとも１
つの前景オブジェクト及び背景オブジェクトを有する画
像データが透過度を有する場合において、前記画像デー
タの前記少なくとも１つの前景オブジェクト及び背景オ
ブジェクトの、画素の輝度値または色値に、前記独自情
報を電子透かしとして効率良く埋め込むことができ、前
記独自情報が埋め込まれた前記透過度を有する画像デー
タを表示する際に、前記少なくとも１つの前景オブジェ
クト及び背景オブジェクトの合成画像の画質の劣化が少
ない。

【０２８５】また、本発明の請求項１２に記載の電子透
かし埋め込み装置によれば、請求項２記載の電子透かし
埋め込み装置において、前記埋め込み開始時刻と前記埋
め込み終了時刻との間に表示される少なくとも１つの画
像フレーム内の、前記少なくとも１つの前景オブジェク
トにおける、完全に透明な状態及び完全に不透明な状態
の間の状態が任意の値をもつ透過度で表される形状情報
を有するとき、前記埋め込み領域検出手段は、前記埋め
込み開始時刻と前記埋め込み終了時刻との間に表示され
る少なくとも１つの画像フレーム内にある、前記各前景
オブジェクトの形状情報が重なり合う領域を、前記埋め
込み領域として検出し、前記埋め込み位置決定手段は、
前記埋め込み領域に対応する、前記各前景オブジェクト
及び背景オブジェクトにおける領域内の、輝度ブロック
または色ブロック単位の埋め込み開始位置、及び上下左
右方向を組み合わせた８方向のうちの１つである埋め込
み方向を、前記領域内の画素の輝度値または色値の分布
状態より設定するとともに、前記領域内の埋め込みデー
タサイズを、前記独自情報を基にして設定することで、
前記埋め込み位置を決定し、前記周波数領域電子透かし
埋め込み手段は、前記各前景オブジェクトの形状情報の
透過度より算出した割合で、前記独自情報を前記各前景
オブジェクト及び背景オブジェクトに分配するととも
に、前記各前景オブジェクト及び背景オブジェクトの前
記領域内の、前記埋め込み位置である前記埋め込み開始
位置から前記埋め込み方向に前記埋め込みデータサイズ
の範囲内にある、画素の輝度値または色値の前記周波数
係数に、前記各前景オブジェクト及び背景オブジェクト
に分配された前記独自情報を電子透かしとして埋め込む
ようにしたので、本電子透かし埋め込み装置に入力され
る、前記少なくとも１つの前景オブジェクト及び背景オ
ブジェクトで構成される画像データが透過度を有する場
合において、前記画像データの前記少なくとも１つの前
景オブジェクト及び背景オブジェクトの、画素の輝度値
または色値の前記周波数係数に、前記独自情報を電子透
かしとして効率良く埋め込むことができ、前記独自情報
が埋め込まれた前記透過度を有する画像データを表示す
る際に、前記少なくとも１つの前景オブジェクト及び背
景オブジェクトの合成画像の画質の劣化が少ない。

【０２８６】また、本発明の請求項１３に記載の電子透
かし埋め込み装置によれば、請求項１または請求項２記
載の電子透かし埋め込み装置において、前記制御情報符
号化手段は、前記抽出制御情報と、前記表示制御情報と
を、メタデータまたはバイナリデータとして符号化する
ようにしたので、前記独自情報が電子透かしとして埋め
込まれた画像データをデータベースに記録して検索する
ことができる。

【０２８７】また、本発明の請求項１４に記載の電子透
かし埋め込み装置によれば、請求項１または請求項２記
載の電子透かし埋め込み装置において、前記少なくとも
１つの前景オブジェクト及び背景オブジェクトからなる
符号化された画像データと、前記少なくとも１つの前景
オブジェクトの符号化された形状情報と、メタデータ及
びバイナリデータに符号化された前記抽出制御情報及び
前記表示制御情報とを多重化して、ストリームとして出
力するか、前記少なくとも１つの符号化された前景オブ
ジェクトと、前記少なくとも１つの前景オブジェクトの
符号化された形状情報とを１つのデータ単位とし、符号
化された前記背景オブジェクトを１つのデータ単位と
し、前記メタデータ及びバイナリデータに符号化された
前記抽出制御情報及び前記表示制御情報を１つのデータ
単位とし、前記各データ単位毎に、少なくとも識別情報
及びデータサイズを設定したヘッダ情報を付加した後に
多重化してファイルに記録して出力するようにしたの
で、本電子透かし埋め込み装置に入力される画像データ
に、前記独自情報を電子透かしとして埋め込んで符号化
した後、オブジェクト指向のフォーマットを用いたファ
イルに記録することができ、前記画像データの利便性が
向上する。

【０２８８】また、請求項１５に記載の電子透かし埋め
込み装置によれば、請求項１または請求項２記載の電子
透かし埋め込み装置において、前記空間領域電子透かし
埋め込み手段、もしくは前記周波数領域電子透かし埋め
込み手段は、前記独自情報を前記埋め込み制御信号で指
定する暗号鍵を用いて暗号化した後、前記少なくとも１
つの前景オブジェクトまたは前記背景オブジェクトの画
素の輝度値または色値、もしくは画素の輝度値または色
値の前記周波数係数に、暗号化された前記独自情報を電
子透かしとして埋め込むようにしたので、前記独自情報
を秘匿して、画像データに埋め込むことができる。

【０２８９】また、本発明の請求項１６に記載の電子透
かし抽出装置によれば、符号化された画像データを構成
する、少なくとも１つの符号化された前景オブジェクト
または符号化された背景オブジェクトの画素の輝度値ま
たは色値から、電子透かしとして埋め込まれた著作権情
報等の独自情報を抽出し、かつ前記符号化された画像デ
ータを復号する電子透かし抽出装置において、前記符号
化された画像データに前記独自情報を電子透かしとして
埋め込む開始時点及び終了時点を指定する埋め込み開始
時刻及び埋め込み終了時刻等の、前記電子透かしを抽出
するために必要な符号化された抽出制御情報、及び前記
少なくとも１つの前景オブジェクト及び前記背景オブジ
ェクトの表示位置や前後関係を指定する符号化された表
示制御情報を復号する制御情報復号手段と、前記符号化
された画像データの復号、及び電子透かしの抽出を制御
し、前記抽出制御情報及び表示制御情報から、抽出制御
信号及び表示制御信号を生成する抽出・復号制御手段
と、前記抽出制御信号で指定される前記埋め込み開始時
刻と前記埋め込み終了時刻との間に表示される、少なく
とも１つの画像フレーム内にある前記少なくとも１つの
前景オブジェクトの形状情報から、前記独自情報が電子
透かしとして埋め込まれている領域を、抽出領域として
検出する抽出領域検出手段と、前記抽出制御信号に応じ
て、前記少なくとも１つの前景オブジェクトまたは背景
オブジェクトにおける前記抽出領域内の前記抽出制御信
号で指定される、前記電子透かしが埋め込まれている前
記埋め込み位置の範囲内にある画素の輝度値または色値
から、前記独自情報を抽出する空間領域電子透かし抽出
手段と、前記表示制御信号に応じて、前記少なくとも１
つの前景オブジェクト及び背景オブジェクトを１つの画
面に合成して、モニターに表示する画像合成手段とを備
えるようにしたので、本電子透かし抽出装置に入力され
る、前記独自情報が、前記少なくとも１つの前景オブジ
ェクトまたは背景オブジェクトの画素の輝度値または色
値に埋め込まれた画像データから、前記独自情報を効率
良く抽出することができ、前記独自情報が埋め込まれた
画像データをモニターで表示する際に、前記独自情報に
よる、前記少なくとも１つの前景オブジェクト及び背景
オブジェクトの合成画像の画質の劣化が少ない。

【０２９０】また、本発明の請求項１７に記載の電子透
かし抽出装置によれば、符号化された画像データを構成
する、少なくとも１つの符号化された前景オブジェクト
または符号化された背景オブジェクトの画素の輝度値ま
たは色値の時間周波数変換後の周波数係数から、電子透
かしとして埋め込まれた著作権情報等の独自情報を抽出
し、かつ前記符号化された画像データを復号する電子透
かし抽出装置において、前記符号化された画像データに
前記独自情報を電子透かしとして埋め込む開始時点及び
終了時点を指定する埋め込み開始時刻及び埋め込み終了
時刻等の、前記電子透かしを抽出するために必要な符号
化された抽出制御情報、及び前記少なくとも１つの前景
オブジェクト及び背景オブジェクトの表示位置や前後関
係を指定する符号化された表示制御情報を復号する制御
情報復号手段と、前記符号化された画像データの復号、
及び電子透かしの抽出を制御し、前記抽出制御情報及び
表示制御情報から、抽出制御信号及び表示制御信号を生
成する抽出・復号制御手段と、前記抽出制御信号で指定
される前記埋め込み開始時刻と前記埋め込み終了時刻と
の間に表示される、少なくとも１つの画像フレーム内に
ある前記少なくとも１つの前景オブジェクトの形状情報
から、前記独自情報が電子透かしとして埋め込まれてい
る領域を抽出領域として検出する抽出領域検出手段と、
前記抽出制御信号に応じて、前記少なくとも１つの前景
オブジェクトまたは背景オブジェクトにおける前記抽出
領域内の前記抽出制御信号で指定される、前記電子透か
しが埋め込まれている埋め込み位置の範囲内にある、画
素の輝度値または色値の前記周波数係数から、前記独自
情報を抽出する周波数領域電子透かし抽出手段と、前記
表示制御信号に応じて、前記少なくとも１つの前景オブ
ジェクト及び背景オブジェクトを１つの画面に合成し
て、モニターに表示する画像合成手段とを備えるように
したので、本電子透かし抽出装置に入力される、前記独
自情報が、前記少なくとも１つの前景オブジェクトまた
は背景オブジェクトの画素の輝度値または色値の前記周
波数に電子透かしとして埋め込まれた符号化された画像
データから、前記独自情報を効率良く抽出することがで
き、前記独自情報が埋め込まれた画像データをモニター
で表示する際に、前記独自情報による、前記各前景オブ
ジェクト及び背景オブジェクトの合成画像の画質の劣化
が少ない。

【０２９１】また、本発明の請求項１８に記載の電位透
かし抽出装置によれば、請求項１６記載の電子透かし抽
出装置において、前記独自情報が、前記背景オブジェク
トの画素の輝度値または色値に、電子透かしとして埋め
込まれているとき、前記抽出領域検出手段は、前記埋め
込み開始時刻と前記埋め込み終了時刻との間に表示され
る、前記抽出制御信号により指定される画像フレーム内
にある、前記少なくとも１つの前景オブジェクトの形状
情報が重なり合う領域を抽出領域として検出し、前記空
間領域電子透かし抽出手段は、前記抽出領域に対応する
前記背景オブジェクトにおける領域内の、前記抽出制御
信号で指定する輝度ブロックまたは色ブロック単位の埋
め込み開始位置から、上下左右方向を組み合わせた８方
向のうちの１つである埋め込み方向に、前記独自情報の
データ量である埋め込みデータサイズで指定される前記
埋め込み位置の、画素の輝度値または色値から、電子透
かしとして埋め込まれた前記独自情報を抽出するように
したので、本電子透かし抽出装置に入力される、前記独
自情報が、前記背景オブジェクトの画素の輝度値または
色値に電子透かしとして埋め込まれた画像データから、
前記独自情報を効率良く抽出することができ、前記独自
情報が埋め込まれた画像データをモニターで表示する際
に、前記独自情報による、前記各前景オブジェクト及び
背景オブジェクトの合成画像の画質の劣化がない。

【０２９２】また、本発明の請求項１９に記載の電子透
かし抽出装置によれば、請求項１７記載の電子透かし抽
出装置において、前記独自情報が、前記背景オブジェク
トの画素の輝度値または色値の前記周波数係数に、電子
透かしとして埋め込まれているとき、前記抽出領域検出
手段は、前記埋め込み開始時刻と前記埋め込み終了時刻
との間に表示される、前記抽出制御信号により指定され
る画像フレーム内にある、前記少なくとも１つの前景オ
ブジェクトの形状情報が重なり合う重なり領域を検出
し、前記重なり領域内の輝度ブロックまたは色ブロック
内の画素の輝度値または色値の前記周波数係数の直流成
分を中心とした前記周波数係数単位の四分円の半径であ
る最低周波数境界と最高周波数境界との間にある前記周
波数係数を、抽出領域として検出し、前記周波数領域電
子透かし抽出手段は、前記抽出領域に対応する前記背景
オブジェクトにおける領域内の、前記抽出制御信号で指
定する前記周波数係数単位の埋め込み開始位置から、上
下左右方向を組み合わせた８方向のうちの１つである埋
め込み方向に、前記独自情報のデータ量である埋め込み
データサイズで指定される、前記埋め込み位置の範囲内
にある画素の輝度値または色値の前記周波数係数から、
電子透かしとして埋め込まれた前記独自情報を抽出する
ようにしたので、本電子透かし抽出装置に入力される、
前記独自情報が、前記背景オブジェクトの画素の輝度値
または色値の前記周波数係数に電子透かしとして埋め込
まれた画像データから、前記独自情報を効率良く抽出す
ることができ、前記独自情報が埋め込まれた画像データ
をモニターで表示する際に、該独自情報による、前記各
前景オブジェクト及び背景オブジェクトの合成画像の画
質の劣化がない。

【０２９３】また、本発明の請求項２０に記載の電子透
かし抽出装置によれば、請求項１６記載の電子透かし抽
出装置において、前記独自情報が、前記少なくとも１つ
の前景オブジェクトの輝度値または色値に、電子透かし
として埋め込まれているとき、前記抽出領域検出手段
は、前記抽出制御信号により指定される画像フレーム内
にある、前記抽出制御信号により指定される、前記各前
景オブジェクトの形状の輪郭であるエッジから、前記各
前景オブジェクトの形状領域の内部方向またはパディン
グ領域方向への、画素の輝度値または色値単位の埋め込
み領域幅を、抽出領域として検出し、前記空間領域電子
透かし抽出手段は、前記少なくとも１つの前景オブジェ
クトにおける前記抽出領域内の前記抽出制御信号で指定
する、輝度ブロックまたは色ブロック単位の埋め込み開
始位置から、上下左右方向を組み合わせた８方向のうち
の１つである埋め込み方向に、前記独自情報のデータ量
である埋め込みデータサイズで指定される、前記埋め込
み位置の範囲内にある画素の輝度値または色値から、電
子透かしとして埋め込まれた前記独自情報を抽出するよ
うにしたので、本電子透かし抽出装置に入力される、前
記独自情報が、前記少なくとも１つの前景オブジェクト
の画素の輝度値または色値に電子透かしとして埋め込ま
れた画像データから、前記独自情報を効率良く抽出する
ことができ、前記独自情報が埋め込まれた画像データを
モニターで表示する際に、前記独自情報による、前記各
前景オブジェクト及び背景オブジェクトの合成画像の画
質の劣化が少ない。

【０２９４】また、本発明の請求項２１に記載の電子透
かし抽出装置によれば、請求項１７記載の電子透かし抽
出装置において、前記独自情報が、前記少なくとも１つ
の前景オブジェクトの画素の輝度値または色値の前記周
波数係数に、電子透かしとして埋め込まれているとき、
前記抽出領域検出手段は、前記抽出制御信号により指定
される画像フレーム内にある、前記抽出制御信号により
指定される、前記各前景オブジェクトの形状の輪郭であ
るエッジを含む画素の輝度ブロックまたは色ブロックの
境界ブロック内の、前記各前景オブジェクトの形状情報
に応じて配置される画素の輝度値または色値の前記周波
数係数の外側で、かつ前記境界ブロック内の前記周波数
係数の直流成分を中心とした前記周波数係数単位の四分
円の半径である最低周波数境界と最高周波数境界との間
にある前記周波数係数単位の埋め込み領域幅を、抽出領
域として検出し、前記周波数領域電子透かし抽出手段
は、前記少なくとも１つの前景オブジェクトにおける前
記抽出領域内の前記抽出制御信号で指定する、前記周波
数係数単位の埋め込み開始位置から、上下左右方向を組
み合わせた８方向のうちの１つである埋め込み方向に、
前記独自情報のデータ量である埋め込みデータサイズで
指定される、前記埋め込み位置の範囲内にある画素の輝
度値または色値の前記周波数係数から、電子透かしとし
て埋め込まれた前記独自情報を抽出するようにしたの
で、本電子透かし抽出装置に入力される、前記独自情報
が、前記少なくとも１つの前景オブジェクトの画素の輝
度値または色値の前記周波数係数に埋め込まれた画像デ
ータから、前記独自情報を効率良く抽出することがで
き、前記独自情報が埋め込まれた画像データをモニター
で表示する際に、前記独自情報による、前記各前景オブ
ジェクト及び背景オブジェクトの合成画像の画質の劣化
が少ない。

【０２９５】また、本発明の請求項２２に記載の電子透
かし抽出装置によれば、請求項１６記載の電子透かし抽
出装置において、前記独自情報が、前記埋め込み開始時
刻と前記埋め込み終了時刻との間に表示される少なくと
も１つの画像フレーム内の、完全に透明な状態及び完全
に不透明な状態の間の状態が任意の値をもつ透過度で表
される形状情報を有する、前記少なくとも１つの前景オ
ブジェクトまたは背景オブジェクトの画素の輝度値また
は色値に、電子透かしとして埋め込まれているとき、前
記抽出領域検出手段は、前記埋め込み開始時刻と前記埋
め込み終了時刻との間に表示される、前記抽出制御信号
により指定される画像フレーム内にある、前記各前景オ
ブジェクトの形状情報が重なり合う領域を抽出領域とし
て検出し、前記空間領域電子透かし抽出手段は、前記抽
出領域に対応する前記各前景オブジェクトまたは背景オ
ブジェクトにおける領域内の、前記抽出制御信号で指定
する、輝度ブロックまたは色ブロック単位の埋め込み開
始位置から、上下左右方向を組み合わせた８方向のうち
の１つである埋め込み方向に、前記独自情報のデータ量
である埋め込みデータサイズで指定される前記埋め込み
位置の範囲内にある画素の輝度値または色値から、電子
透かしとして埋め込まれた前記独自情報を抽出するよう
にしたので、本電子透かし抽出装置に入力される、前記
独自情報が、前記少なくとも１つの前景オブジェクト及
び背景オブジェクトの画素の輝度値または色値に分配さ
れた後、前記各前景オブジェクト及び背景オブジェクト
に電子透かしとして埋め込まれた画像データから、前記
独自情報を効率良く抽出することができ、前記独自情報
が埋め込まれた画像データをモニターで表示する際に、
前記独自情報による、前記各前景オブジェクト及び背景
オブジェクトの合成画像の画質の劣化が少ない。

【０２９６】また、本発明の請求項２３に記載の電子透
かし抽出装置によれば、請求項１７記載の電子透かし抽
出装置において、前記独自情報が、前記埋め込み開始時
刻と前記埋め込み終了時刻との間に表示される少なくと
も１つの画像フレーム内の、完全に透明な状態及び完全
に不透明な状態の間の状態が任意の値をもつ透過度で表
される形状情報を有する、前記少なくとも１つの前景オ
ブジェクトまたは背景オブジェクトの画素の輝度値また
は色値の前記周波数係数に、電子透かしとして埋め込ま
れているとき、前記抽出領域検出手段は、前記埋め込み
開始時刻と前記埋め込み終了時刻との間に表示される、
前記抽出制御信号により指定される画像フレーム内にあ
る、前記各前景オブジェクトの形状情報が重なり合う領
域を検出し、前記重なり合う領域内の輝度ブロックまた
は色ブロック内の前記周波数係数の直流成分を中心とし
た前記周波数係数単位の四分円の半径である最低周波数
境界と最高周波数境界との間にある前記周波数係数を、
抽出領域として検出し、前記周波数領域電子透かし抽出
手段は、前記抽出領域検出手段により検出された前記抽
出領域に対応する前記各前景オブジェクトまたは背景オ
ブジェクトにおける領域内の、前記抽出制御信号で指定
する、輝度ブロックまたは色ブロック単位の埋め込み開
始位置から、上下左右方向を組み合わせた８方向のうち
の１つである埋め込み方向に、前記独自情報のデータ量
である埋め込みデータサイズで指定される、前記埋め込
み位置の範囲内にある画素の輝度値または色値の前記周
波数係数から、前記電子透かしとして埋め込まれた前記
独自情報を抽出するようにしたので、本電子透かし抽出
装置に入力される、前記独自情報が、前記少なくとも１
つの前景オブジェクト及び背景オブジェクトの、画素の
輝度値または色値の前記周波数係数に分配された後、前
記各前景オブジェクト及び背景オブジェクトに電子透か
しとして埋め込まれた画像データから、前記独自情報を
効率良く抽出することができ、前記独自情報が埋め込ま
れた透過度を有する画像データをモニターで表示する際
に、該独自情報による、前記各前景オブジェクト及び背
景オブジェクトの合成画像の画質の劣化が少ない。

【０２９７】また、本発明の請求項２４に記載の電子透
かし埋め込み方法によれば、画像データを符号化し、か
つ前記画像データを構成する、少なくとも１つの前景オ
ブジェクトまたは背景オブジェクトの、画素の輝度値ま
たは色値に、著作権情報等の独自情報を電子透かしとし
て埋め込む電子透かし埋め込み方法において、前記独自
情報、前記独自情報を電子透かしとして埋め込む開始時
点及び終了時点を指定する埋め込み開始時刻及び埋め込
み終了時刻等の電子透かしを埋め込むために必要な埋め
込み制御情報、前記少なくとも１つの前景オブジェクト
及び背景オブジェクトの表示位置や前後関係を指定する
表示制御情報、及び前記埋め込み制御情報等を基にして
電子透かしを抽出するために必要な抽出制御情報を生成
し、符号化制御信号、及び前記埋め込み制御情報を基に
して生成した埋め込み制御信号により、前記画像データ
の符号化及び電子透かしの埋め込みを制御する埋め込み
・符号化制御ステップと、前記埋め込み制御信号に応じ
て、前記埋め込み開始時刻と前記埋め込み終了時刻との
間に表示される、少なくとも１つの画像フレーム内にあ
る、少なくとも１つの前景オブジェクトの形状情報か
ら、前記独自情報を電子透かしとして埋め込む、埋め込
み領域を検出する埋め込み領域検出ステップと、前記埋
め込み制御信号に応じて、前記埋め込み領域内の、電子
透かしを埋め込む埋め込み位置を決定する埋め込み位置
決定ステップと、前記埋め込み制御信号に応じて、前記
少なくとも１つの前景オブジェクトまたは背景オブジェ
クトにおける前記埋め込み領域内の、前記埋め込み位置
の範囲内にある画素の輝度値または色値に、前記独自情
報を電子透かしとして埋め込む空間領域電子透かし埋め
込みステップと、前記表示制御情報及び前記抽出制御情
報を符号化する制御情報符号化ステップとを有するよう
にしたので、前記少なくとも１つの前景オブジェクト及
び背景オブジェクトから構成される画像データの画素の
輝度値または色値に対して、前記独自情報を電子透かし
として効率良く埋め込むことができる。

【０２９８】また、本発明の請求項２５に記載の電子透
かし埋め込み方法によれば、画像データを符号化し、か
つ前記画像データを構成する、少なくとも１つの前景オ
ブジェクトまたは背景オブジェクトの、画素の輝度値ま
たは色値の時間周波数変換後の周波数係数に、著作権情
報等の独自情報を電子透かしとして埋め込む電子透かし
埋め込み方法において、前記独自情報、前記独自情報を
電子透かしとして埋め込む開始時点及び終了時点を指定
する埋め込み開始時刻及び埋め込み終了時刻等の電子透
かしを埋め込むために必要な埋め込み制御情報、前記少
なくとも１つの前景オブジェクト及び背景オブジェクト
の表示位置や前後関係を指定する表示制御情報、及び前
記埋め込み制御情報等を基にして電子透かしを抽出する
ために必要な抽出制御情報を生成し、符号化制御信号、
及び前記埋め込み制御情報を基にして生成した埋め込み
制御信号により前記画像データの符号化及び電子透かし
の埋め込みを制御する埋め込み・符号化制御ステップ
と、前記埋め込み制御信号に応じて、前記埋め込み開始
時刻と前記埋め込み終了時刻との間に表示される、少な
くとも１つの画像フレーム内にある、少なくとも１つの
前景オブジェクトの形状情報から、前記独自情報を電子
透かしとして埋め込む、埋め込み領域を検出する埋め込
み領域検出ステップと、前記埋め込み制御信号に応じ
て、前記埋め込み領域内の、電子透かしを埋め込む埋め
込み位置を決定する埋め込み位置決定ステップと、前記
埋め込み制御信号に応じて、前記少なくとも１つの前景
オブジェクトまたは背景オブジェクトにおける前記埋め
込み領域内の、前記埋め込み位置の範囲内にある画素の
輝度値または色値の前記周波数係数に、前記独自情報を
電子透かしとして埋め込む周波数領域電子透かし埋め込
みステップと、前記表示制御情報及び前記抽出制御情報
を符号化する制御情報符号化ステップとを有するように
したので、前記少なくとも１つの前景オブジェクト及び
背景オブジェクトから構成される画像データの画素の輝
度値または色値の前記周波数係数に対して、前記独自情
報を電子透かしとして効率良く埋め込むことができる。

【０２９９】また、本発明の請求項２６に記載の電子透
かし埋め込み方法によれば、請求項２４記載の電子透か
し埋め込み方法において、前記空間領域電子透かし埋め
込みステップより前記独自情報が電子透かしとして埋め
込まれた、前記少なくとも１つの前景オブジェクトまた
は背景オブジェクトの画素の輝度値または色値から前記
独自情報を削除し、元の画素の輝度値または色値に戻す
電子透かし削除ステップを有し、電子透かしの埋め込ま
れた前記少なくとも１つの前景オブジェクトまたは背景
オブジェクトを圧縮符号化する際には、前記電子透かし
削除ステップから出力される前記少なくとも１つの前景
オブジェクトまたは背景オブジェクトを参照画像データ
として用いて、予測符号化を行うようにしたので、前記
少なくとも１つの前景オブジェクトまたは背景オブジェ
クトの画素の輝度値または色値に前記独自情報を埋め込
んだ後、予測符号化する際に、画質の劣化を少なくする
ことができる。

【０３００】また、本発明の請求項２７に記載の電子透
かし埋め込み方法によれば、請求項２４記載の電子透か
し埋め込み方法において、前記埋め込み領域検出ステッ
プは、前記埋め込み開始時刻と前記埋め込み終了時刻と
の間に表示される少なくとも１つの画像フレーム内にあ
る、前記少なくとも１つの前景オブジェクトの形状情報
が全て重なり合う領域を、前記埋め込み領域として検出
し、前記埋め込み位置決定ステップは、前記埋め込み領
域に対応する前記背景オブジェクトにおける領域内の、
輝度ブロックまたは色ブロック単位の埋め込み開始位
置、及び上下左右方向を組み合わせた８方向のうちの１
つである埋め込み方向を、前記領域内の画素の輝度値ま
たは色値の分布状態より設定するとともに、前記領域内
の埋め込みデータサイズを、前記独自情報を基にして設
定することで、前記埋め込み位置を決定し、前記空間領
域電子透かし埋め込みステップは、前記背景オブジェク
トにおける前記領域内の、前記埋め込み位置である前記
埋め込み開始位置から前記埋め込み方向に前記埋め込み
データサイズの範囲内にある、画素の輝度値または色値
に、前記独自情報を電子透かしとして埋め込むようにし
たので、前記少なくとも１つの前景オブジェクト及び背
景オブジェクトを有する画像データの前記背景オブジェ
クトの画素の輝度値または色値に、前記独自情報を電子
透かしとして効率良く埋め込むことができる。

【０３０１】また、本発明の請求項２８に記載の電子透
かし埋め込み方法によれば、請求項２５記載の電子透か
し埋め込み方法において、前記埋め込み領域検出ステッ
プは、前記埋め込み開始時刻と前記埋め込み終了時刻と
の間に表示される少なくとも１つの画像フレーム内にあ
る、少なくとも１つの前景オブジェクトの形状情報が全
て重なり合う重なり領域を検出して、前記重なり領域内
の輝度ブロックまたは色ブロック内の画素の輝度値また
は色値の前記周波数係数の直流成分を中心とした前記周
波数係数単位の四分円の半径である最低周波数境界と最
高周波数境界との間にある前記周波数係数を、前記埋め
込み領域として検出し、前記埋め込み位置決定ステップ
は、前記埋め込み領域に対応する前記背景オブジェクト
における領域内の、輝度ブロックまたは色ブロック単位
の埋め込み開始位置、及び上下左右方向を組み合わせた
８方向のうちの１つである埋め込み方向を、前記領域内
の画素の輝度値または色値の分布状態より設定し、前記
領域内の埋め込みデータサイズを、前記独自情報を基に
して設定することで、前記埋め込み位置を決定し、前記
周波数領域電子透かし埋め込みステップは、前記背景オ
ブジェクトにおける前記領域内の、前記埋め込み位置で
ある前記埋め込み開始位置から前記埋め込み方向に前記
埋め込みデータサイズの範囲内にある、画素の輝度値ま
たは色値の前記周波数係数に、前記独自情報を電子透か
しとして埋め込むようにしたので、前記少なくとも１つ
の前景オブジェクト及び背景オブジェクトを有する画像
データの、前記背景オブジェクトの画素の輝度値または
色値の前記周波数係数に、前記独自情報を電子透かしと
して効率良く埋め込むことができる。

【０３０２】また、本発明の請求項２９に記載の電子透
かし埋め込み方法によれば、請求項２４記載の電子透か
し埋め込み方法において、前記埋め込み領域検出ステッ
プは、前記少なくとも１つの前景オブジェクトの形状の
輪郭線であるエッジから、前記各前景オブジェクトの形
状領域の内部方向またはパディング領域方向に、画素の
輝度値または色値単位で埋め込み領域幅を設定すること
により、前記埋め込み領域を検出し、前記埋め込み位置
決定ステップは、前記埋め込み領域内の、輝度ブロック
または色ブロック単位の埋め込み開始位置、及び上下左
右方向を組み合わせた８方向のうちの１つである埋め込
み方向を、前記各前景オブジェクトの動き状態より設定
するとともに、前記埋め込み領域内の埋め込みデータサ
イズを、前記独自情報を基にして設定することで、前記
埋め込み位置を決定し、前記空間領域電子透かし埋め込
みステップは、前記少なくとも１つの前景オブジェクト
における前記埋め込み領域内の、前記埋め込み位置であ
る前記埋め込み開始位置から前記埋め込み方向に前記埋
め込みデータサイズの範囲内にある、画素の輝度値また
は色値に、前記独自情報を電子透かしとして埋め込むよ
うにしたので、前記少なくとも１つの前景オブジェクト
及び背景オブジェクトを有する画像データの、前記少な
くとも１つの前景オブジェクトの画素の輝度値または色
値に、前記独自情報を電子透かしとして効率良く埋め込
むことができる。

【０３０３】また、本発明の請求項３０に記載の電子透
かし埋め込み方法によれば、請求項２５記載の電子透か
し埋め込み方法において、前記埋め込み領域検出ステッ
プは、前記埋め込み領域内の、前記少なくとも１つの前
景オブジェクトの形状の輪郭線であるエッジを含む輝度
ブロックまたは色ブロックの境界ブロック内の、前記各
前景オブジェクトの形状情報に応じて配置される画素の
輝度値または色値の前記周波数係数の外側で、かつ前記
境界ブロック内の前記周波数係数の直流成分を中心とし
た前記周波数係数単位の四分円の半径である最低周波数
境界と最高周波数境界との間に、前記周波数係数単位で
埋め込み領域幅を設定することにより、前記埋め込み領
域を検出し、前記埋め込み位置決定ステップは、前記埋
め込み領域内の、輝度ブロックまたは色ブロック単位の
埋め込み開始位置、及び上下左右方向を組み合わせた８
方向のうちの１つである埋め込み方向を、前記各前景オ
ブジェクトの動き状態より設定するとともに、前記埋め
込み領域内の埋め込みデータサイズを、前記独自情報を
基にして設定することで、前記埋め込み位置を決定し、
前記周波数領域電子透かし埋め込みステップは、前記少
なくとも１つの前景オブジェクトにおける前記埋め込み
領域内の、前記埋め込み位置である前記埋め込み開始位
置から前記埋め込み方向に前記埋め込みデータサイズの
範囲内にある、画素の輝度値または色値の前記周波数係
数に、前記独自情報を電子透かしとして埋め込むように
したので、前記少なくとも１つの前景オブジェクト及び
背景オブジェクトから構成される画像データの、前記各
前景オブジェクトの画素の輝度値または色値の前記周波
数係数に、前記独自情報を電子透かしとして効率良く埋
め込むことができる。

【０３０４】また、本発明の請求項３１に記載の電子透
かし埋め込み方法によれば、請求項２８または請求項３
０記載の電子透かし埋め込み方法において、前記埋め込
み領域検出ステップは、画素の輝度値または色値の前記
周波数係数の最低周波数境界及び最高周波数境界を、画
質への影響が最小となる帯域、または前記埋め込み領域
検出ステップより後で使用されるフィルタの帯域を基に
して決定するようにしたので、前記少なくとも１つの前
景オブジェクト及び背景オブジェクトを有する画像デー
タの、前記少なくとも１つの前景オブジェクト及び背景
オブジェクトの画素の輝度値または色値の前記周波数係
数に、前記独自情報を埋め込む際に、前記独自情報の欠
落を防止することができる。

【０３０５】また、本発明の請求項３２に記載の電子透
かし埋め込み方法によれば、請求項３１記載の電子透か
し埋め込み方法において、前記埋め込み領域検出ステッ
プは、前記少なくとも１つの前景オブジェクトの形状の
エッジから、前記各前景オブジェクトの形状領域の内部
方向に設定する前記埋め込み領域幅を、前記各前景オブ
ジェクトのエッジ付近にある画素の輝度値または色値
と、前記各前景オブジェクトのエッジ付近にある背景オ
ブジェクトの画素の輝度値または色値との、平均値の
差、または前記各前景オブジェクトのエッジ付近にある
前記各前景オブジェクト及び背景オブジェクトの画素の
輝度値または色値の分散値に比例するよう設定するよう
にしたので、前記独自情報が埋め込まれた画像データを
モニターで表示する際に、前記少なくとも１つの前景オ
ブジェクト及び背景オブジェクトの合成画像の画質の劣
化が少なくなるように、前記画像データの前記各前景オ
ブジェクトの画素に、前記独自情報を電子透かしとして
埋め込むことができる。

【０３０６】また、本発明の請求項３３に記載の電子透
かし埋め込み方法によれば、請求項２９または請求項３
０記載の電子透かし埋め込み方法において、前記埋め込
み位置決定ステップは、前記少なくとも１つの前景オブ
ジェクトが静止物体であるとき、前記各前景オブジェク
トのエッジ付近にある埋め込み領域内の画素の輝度値の
分散値が大きい部分に、前記埋め込み開始位置及び前記
埋め込み方向を設定し、前記各前景オブジェクトが移動
物体であるとき、前記埋め込み領域内の前記各前景オブ
ジェクトの移動方向と反対側のエッジ付近にある埋め込
み領域内の画素の輝度値または色値に、前記埋め込み開
始位置及び埋め込み方向を設定するようにしたので、前
記独自情報が埋め込まれた画像データをモニターで表示
する際に、前記各前景オブジェクト及び背景オブジェク
トの合成画像の画質の劣化が少なくなるように、前記各
前景オブジェクト及び背景オブジェクトを有する画像デ
ータの、前記各前景オブジェクトの画素の輝度値または
色値の前記周波数係数に、前記独自情報を埋め込むこと
ができる。

【０３０７】また、本発明の請求項３４に記載の電子透
かし埋め込み方法によれば、請求項２４記載の電子透か
し埋め込み方法において、前記埋め込み開始時刻と前記
埋め込み終了時刻との間に表示される少なくとも１つの
画像フレーム内の、前記少なくとも１つの前景オブジェ
クトにおける、完全に透明な状態及び完全に不透明な状
態の間の状態が任意の値をもつ透過度で表される形状情
報を有するとき、前記埋め込み領域検出ステップは、前
記埋め込み開始時刻と前記埋め込み終了時刻との間に表
示される少なくとも１つの画像フレーム内にある、前記
各前景オブジェクトの形状情報が重なり合う領域を、前
記埋め込み領域として検出し、前記埋め込み位置決定ス
テップは、前記埋め込み領域に対応する、前記各前景オ
ブジェクト及び背景オブジェクトにおける領域内の、輝
度ブロックまたは色ブロック単位の埋め込み開始位置、
及び上下左右方向を組み合わせた８方向のうちの１つで
ある埋め込み方向を、前記領域内の画素の輝度値または
色値の分布状態より設定するとともに、前記領域内の埋
め込みデータサイズを、前記独自情報を基にして設定す
ることで、前記埋め込み位置を決定し、前記空間領域電
子透かし埋め込みステップは、前記各前景オブジェクト
の形状情報の透過度より算出した割合で、前記独自情報
を前記各前景オブジェクト及び背景オブジェクトに分配
するとともに、前記各前景オブジェクト及び背景オブジ
ェクトにおける前記領域内の、前記埋め込み位置である
前記埋め込み開始位置から前記埋め込み方向に前記埋め
込みデータサイズの範囲内にある、画素の輝度値または
色値に、前記各前景オブジェクト及び背景オブジェクト
に分配された前記独自情報を電子透かしとして埋め込む
ようにしたので、前記少なくとも１つの前景オブジェク
ト及び背景オブジェクトで構成される画像データが透過
度を有する場合において、前記画像データの前記各前景
オブジェクト及び背景オブジェクトの、画素の輝度値ま
たは色値に、前記独自情報を電子透かしとして効率良く
埋め込むことができ、前記独自情報が埋め込まれた画像
データをモニターに表示する際に、前記各前景オブジェ
クト及び背景オブジェクトの合成画像の画質の劣化が少
ない。

【０３０８】また、本発明の請求項３５に記載の電子透
かし埋め込み方法によれば、請求項２５記載の電子透か
し埋め込み方法において、前記埋め込み開始時刻と前記
埋め込み終了時刻との間に表示される少なくとも１つの
画像フレーム内の、前記少なくとも１つの前景オブジェ
クトにおける、完全に透明な状態及び完全に不透明な状
態の間の状態が任意の値をもつ透過度で表される形状情
報を有するとき、前記埋め込み領域検出ステップは、前
記埋め込み開始時刻と前記埋め込み終了時刻との間に表
示される少なくとも１つの画像フレーム内にある、前記
各前景オブジェクトの形状情報が重なり合う領域を、前
記埋め込み領域として検出し、前記埋め込み位置決定ス
テップは、前記埋め込み領域に対応する、前記各前景オ
ブジェクト及び背景オブジェクトにおける領域内の、輝
度ブロックまたは色ブロック単位の埋め込み開始位置、
及び上下左右方向を組み合わせた８方向のうちの１つで
ある埋め込み方向を、前記領域内の画素の輝度値または
色値の分布状態より設定するとともに、前記領域内の埋
め込みデータサイズを、前記独自情報を基にして設定す
ることで、前記埋め込み位置を決定し、前記周波数領域
電子透かし埋め込みステップは、前記各前景オブジェク
トの形状情報の透過度より算出した割合で、前記独自情
報を前記各前景オブジェクト及び背景オブジェクトに分
配するとともに、前記各前景オブジェクト及び背景オブ
ジェクトにおける前記領域内の、前記埋め込み位置であ
る前記埋め込み開始位置から前記埋め込み方向に前記埋
め込みデータサイズの範囲内にある、画素の輝度値また
は色値の前記周波数係数に、前記各前景オブジェクト及
び背景オブジェクトに分配された前記独自情報を電子透
かしとして埋め込むようにしたので、前記少なくとも１
つの前景オブジェクト及び背景オブジェクトから構成さ
れる画像データが透過度を有する場合において、前記画
像データの前記各前景オブジェクト及び背景オブジェク
トの、画素の輝度値または色値の前記周波数係数に、前
記独自情報を電子透かしとして効率良く埋め込むことが
でき、前記独自情報が埋め込まれた画像データをモニタ
ーに表示する際に、前記各前景オブジェクト及び背景オ
ブジェクトの合成画像の画質の劣化が少ない。

【０３０９】また、本発明の請求項３６に記載の電子透
かし抽出方法によれば、符号化された画像データを構成
する、少なくとも１つの符号化された前景オブジェクト
または符号化された背景オブジェクトの画素の輝度値ま
たは色値から、電子透かしとして埋め込まれた著作権情
報等の独自情報を抽出し、かつ前記符号化された画像デ
ータを復号する電子透かし抽出方法において、前記符号
化された画像データに前記独自情報を電子透かしとして
埋め込む開始時点及び終了時点を指定する埋め込み開始
時刻及び埋め込み終了時刻等の前記電子透かしを抽出す
るために必要な符号化された抽出制御情報、及び前記少
なくとも１つの前景オブジェクト及び背景オブジェクト
の表示位置や前後関係を指定する符号化された表示制御
情報を復号する制御情報復号ステップと、前記抽出制御
情報及び表示制御情報から、抽出制御信号及び表示制御
信号を生成し、前記符号化された画像データの復号及び
電子透かしの抽出を制御する抽出・復号制御ステップ
と、前記抽出制御信号で指定される前記埋め込み開始時
刻と前記埋め込み終了時刻との間に表示される、少なく
とも１つの画像フレーム内にある少なくとも１つの前景
オブジェクトの形状情報から、前記独自情報が電子透か
しとして埋め込まれている領域を、抽出領域として検出
する抽出領域検出ステップと、前記抽出制御信号に応じ
て、前記少なくとも１つの前景オブジェクトまたは背景
オブジェクトにおける前記抽出領域内の、前記抽出制御
信号で指定される、前記電子透かしが埋め込まれている
埋め込み位置の範囲内にある画素の輝度値または色値か
ら、前記独自情報を抽出する空間領域電子透かし抽出ス
テップと、前記表示制御信号に応じて、前記少なくとも
１つの前景オブジェクト及び背景オブジェクトを１つの
画面に合成してモニターに表示する画像合成ステップと
を有するようにしたので、前記少なくとも１つの前景オ
ブジェクト及び背景オブジェクトから構成される画像デ
ータから、前記独自情報を効率良く抽出することがで
き、前記独自情報が埋め込まれた画像データをモニター
で表示する際に、前記独自情報による、前記各前景オブ
ジェクト及び背景オブジェクトの合成画像の画質の劣化
がないか、少ない。

【０３１０】また、本発明の請求項３７に記載の電子透
かし抽出方法によれば、符号化された画像データを構成
する、少なくとも１つの符号化された前景オブジェクト
または符号化された背景オブジェクトの画素の輝度値ま
たは色値の時間周波数変換後の周波数係数から、電子透
かしとして埋め込まれた著作権情報等の独自情報を抽出
し、かつ前記符号化された画像データを復号する電子透
かし抽出方法において、前記符号化された画像データに
前記独自情報を電子透かしとして埋め込む開始時点及び
終了時点を指定する埋め込み開始時刻及び埋め込み終了
時刻等の前記電子透かしを抽出するために必要な符号化
された抽出制御情報、及び前記少なくとも１つの前景オ
ブジェクト及び背景オブジェクトの表示位置や前後関係
を指定する符号化された表示制御情報を復号する制御情
報復号ステップと、前記抽出制御情報及び表示制御情報
から、抽出制御信号及び表示制御信号を生成し、前記符
号化された画像データの復号及び電子透かしの抽出を制
御する抽出・復号制御ステップと、前記抽出制御信号で
指定される前記埋め込み開始時刻と前記埋め込み終了時
刻との間に表示される、少なくとも１つの画像フレーム
内にある前記少なくとも１つの前景オブジェクトの形状
情報から、前記独自情報が電子透かしとして埋め込まれ
ている領域を抽出領域として検出する抽出領域検出ステ
ップと、前記抽出制御信号に応じて、前記抽出領域内
の、前記抽出制御信号で指定される、前記電子透かしが
埋め込まれている埋め込み位置の画素の輝度値または色
値の前記周波数係数から、前記独自情報を抽出する周波
数領域電子透かし抽出ステップと、前記表示制御信号に
応じて、前記少なくとも１つの前景オブジェクト及び背
景オブジェクトを１つの画面に合成してモニターに表示
する画像合成ステップとを有するようにしたので、前記
独自情報が、前記少なくとも１つの前景オブジェクトま
たは背景オブジェクトの画素の輝度値または色値の前記
周波数係数に電子透かしとして埋め込まれた画像データ
から、前記独自情報を効率良く抽出することができ、前
記独自情報が埋め込まれた画像データをモニターで表示
する際に、前記独自情報による、前記各前景オブジェク
ト及び背景オブジェクトの合成画像の画質の劣化がない
か、少ない。

【０３１１】また、本発明の請求項３８に記載の電子透
かし抽出方法によれば、請求項３６記載の電子透かし抽
出方法において、前記独自情報が、前記背景オブジェク
トの画素の輝度値または色値に、電子透かしとして埋め
込まれているとき、前記抽出領域検出ステップは、前記
埋め込み開始時刻と前記埋め込み終了時刻との間に表示
される、前記抽出制御信号により指定される画像フレー
ム内にある、前記少なくとも１つの前景オブジェクトの
形状情報が重なり合う領域を抽出領域として検出し、前
記空間領域電子透かし抽出ステップは、前記抽出領域に
対応する前記背景オブジェクトにおける領域内の、前記
抽出制御信号で指定する、輝度ブロックまたは色ブロッ
ク単位の埋め込み開始位置から、上下左右方向を組み合
わせた８方向のうちの１つである埋め込み方向に、前記
独自情報のデータ量である埋め込みデータサイズで指定
される前記埋め込み位置の範囲内にある、画素の輝度値
または色値から、電子透かしとして埋め込まれた前記独
自情報を抽出するようにしたので、前記独自情報が前記
背景オブジェクトの画素の輝度値または色値に電子透か
しとして埋め込まれた画像データから、前記独自情報を
効率良く抽出することができ、前記独自情報が埋め込ま
れた画像データをモニターで表示する際に、前記独自情
報による、前記各前景オブジェクト及び背景オブジェク
トの合成画像の画質の劣化がない。

【０３１２】また、本発明の請求項３９に記載の電子透
かし抽出方法によれば、請求項３７記載の電子透かし抽
出方法において、前記独自情報が、前記背景オブジェク
トの画素の輝度値または色値の時間周波数変換後の周波
数係数に、電子透かしとして埋め込まれているとき、前
記抽出領域検出ステップは、前記埋め込み開始時刻と前
記埋め込み終了時刻との間に表示される、前記抽出制御
信号により指定される画像フレーム内にある、前記少な
くとも１つの前景オブジェクトの形状情報が重なり合う
重なり領域を検出し、前記重なり領域内の輝度ブロック
または色ブロック内の画素の輝度値または色値の前記周
波数係数の直流成分を中心とした前記周波数係数単位の
四分円の半径である最低周波数境界と最高周波数境界と
の間にある前記周波数係数を、抽出領域として検出し、
前記周波数領域電子透かし抽出ステップは、前記抽出領
域に対応する前記背景オブジェクトにおける領域内の、
前記抽出制御信号で指定する、輝度ブロックまたは色ブ
ロック単位の埋め込み開始位置から、上下左右方向を組
み合わせた８方向のうちの１つである埋め込み方向に、
前記独自情報のデータ量である埋め込みデータサイズで
指定される、前記埋め込み位置の範囲内にある画素の輝
度値または色値の前記周波数係数から、電子透かしとし
て埋め込まれた前記独自情報を抽出するようにしたの
で、前記独自情報が前記背景オブジェクトの、画素の輝
度値または色値の前記周波数係数に電子透かしとして埋
め込まれた画像データから、前記独自情報を効率良く抽
出することができ、前記独自情報が埋め込まれた画像デ
ータをモニターで表示する際に、前記独自情報による、
前記各前景オブジェクト及び背景オブジェクトの合成画
像の画質の劣化がない。

【０３１３】また、本発明の請求項４０に記載の電子透
かし抽出方法によれば、請求項３６記載の電子透かし抽
出方法において、前記独自情報が、前記少なくとも１つ
の前景オブジェクトの輝度値または色値に、電子透かし
として埋め込まれているとき、前記抽出領域検出ステッ
プは、前記抽出制御信号により指定される画像フレーム
内にある、前記抽出制御信号により指定される、前記各
前景オブジェクトの形状の輪郭であるエッジから、前記
各前景オブジェクトの形状領域の内部方向またはパディ
ング領域方向への、画素の輝度値または色値単位の埋め
込み領域幅を、抽出領域として検出し、前記空間領域電
子透かし抽出ステップは、前記各前景オブジェクトにお
ける前記抽出領域内の、前記抽出制御信号で指定する、
輝度ブロックまたは色ブロック単位の埋め込み開始位置
から、上下左右方向を組み合わせた８方向のうちの１つ
である埋め込み方向に、前記独自情報のデータ量である
埋め込みデータサイズで指定される、前記埋め込み位置
の範囲内にある画素の輝度値または色値から、電子透か
しとして埋め込まれた前記独自情報を抽出するようにし
たので、前記独自情報が前記少なくとも１つの前景オブ
ジェクトの画素の輝度値または色値に埋め込まれた画像
データから、前記独自情報を効率良く抽出することがで
き、前記独自情報が埋め込まれた画像データをモニター
で表示する際に、前記独自情報による、前記各前景オブ
ジェクト及び背景オブジェクトの合成画像の画質の劣化
が少ない。

【０３１４】また、本発明の請求項４１に記載の電子透
かし抽出方法によれば、請求項３７記載の電子透かし抽
出方法において、前記独自情報が、前記少なくとも１つ
の前景オブジェクトの画素の輝度値または色値の前記周
波数係数に、電子透かしとして埋め込まれているとき、
前記抽出領域検出ステップは、前記抽出制御信号により
指定される画像フレーム内にある、前記抽出制御信号に
より指定される、前景オブジェクトの形状の輪郭である
エッジを含む画素の輝度ブロックまたは色ブロックの境
界ブロック内の、前記各前景オブジェクトの形状情報に
応じて配置される画素の輝度値または色値の前記周波数
係数の外側で、かつ前記周波数係数の直流成分を中心と
して前記周波数係数単位の四分円の半径である最低周波
数境界と最高周波数境界との間にある、前記周波数係数
単位の領域幅を、抽出領域として検出し、前記周波数領
域電子透かし抽出ステップは、前記各前景オブジェクト
における前記抽出領域内の、前記抽出制御信号で指定す
る、輝度ブロックまたは色ブロック単位の埋め込み開始
位置から、上下左右方向を組み合わせた８方向のうちの
１つである埋め込み方向に、前記独自情報のデータ量で
ある埋め込みデータサイズで指定される、前記埋め込み
位置の範囲内にある画素の輝度値または色値の前記周波
数係数から、電子透かしとして埋め込まれた前記独自情
報を抽出するようにしたので、前記独自情報が前記少な
くとも１つの前景オブジェクトの、画素の輝度値または
色値の前記周波数係数に埋め込まれた画像データから、
前記独自情報を効率良く抽出することができ、前記独自
情報が埋め込まれた画像データをモニターで表示する際
に、前記独自情報による、前記各前景オブジェクト及び
背景オブジェクトの合成画像の画質の劣化が少ない。

【０３１５】また、本発明の請求項４２に記載の電子透
かし抽出方法によれば、請求項３６記載の電子透かし抽
出方法において、前記独自情報が、前記埋め込み開始時
刻と前記埋め込み終了時刻との間に表示される少なくと
も１つの画像フレーム内の、完全に透明な状態及び完全
に不透明な状態の間の状態が任意の値をもつ透過度で表
される形状情報を有する、前記少なくとも１つの前景オ
ブジェクト及び背景オブジェクトの画素の輝度値または
色値に、電子透かしとして埋め込まれているとき、前記
抽出領域検出ステップは、前記埋め込み開始時刻と前記
埋め込み終了時刻との間に表示される、前記抽出制御信
号により指定される画像フレーム内にある、前記各前景
オブジェクトの形状情報が重なり合う領域を抽出領域と
して検出し、前記空間領域電子透かし抽出ステップにお
いて、前記抽出領域に対応する前記各前景オブジェクト
及び背景オブジェクトにおける領域内の、前記抽出制御
信号で指定する、輝度ブロックまたは色ブロック単位の
埋め込み開始位置から、上下左右方向を組み合わせた８
方向のうちの１つである埋め込み方向に、前記独自情報
のデータ量である埋め込みデータサイズで指定される、
前記埋め込み位置の範囲内にある画素の輝度値または色
値から、電子透かしとして埋め込まれた前記独自情報を
抽出するようにしたので、前記独自情報が前記少なくと
も１つの前景オブジェクト及び背景オブジェクトの、画
素の輝度値または色値に分配されて電子透かしとして埋
め込まれた画像データから、前記独自情報を効率良く抽
出することができ、前記独自情報が埋め込まれた画像デ
ータをモニターで表示する際に、前記独自情報による、
前記各前景オブジェクト及び背景オブジェクトの合成画
像の画質の劣化が少ない。

【０３１６】また、本発明の請求項４３に記載の電子透
かし抽出方法によれば、請求項３７記載の電子透かし抽
出方法において、前記独自情報が、前記埋め込み開始時
刻と前記埋め込み終了時刻との間に表示される少なくと
も１つの画像フレーム内の、完全に透明な状態及び完全
に不透明な状態の間の状態が任意の値をもつ透過度で表
される形状情報を有する、前記少なくとも１つの前景オ
ブジェクト及び背景オブジェクトの画素の輝度値または
色値の前記周波数係数に、電子透かしとして埋め込まれ
ているとき、前記抽出領域検出ステップは、前記埋め込
み開始時刻と前記埋め込み終了時刻との間に表示され
る、前記抽出制御信号により指定される画像フレーム内
にある、前記各前景オブジェクトの形状情報が重なり合
う領域を検出し、前記重なり合う領域内の輝度ブロック
または色ブロック内の前記画素の輝度値または色値の前
記周波数係数の直流成分を中心として前記周波数係数単
位の四分円の半径である最低周波数境界と最高周波数境
界との間にある前記周波数係数を、抽出領域として検出
し、前記周波数領域電子透かし抽出ステップは、前記抽
出領域に対応する前記各前景オブジェクト及び背景オブ
ジェクトにおける領域内の、前記抽出制御信号で指定す
る、前記周波数係数単位の埋め込み開始位置から、上下
左右方向を組み合わせた８方向のうちの１つである埋め
込み方向に、前記独自情報のデータ量である埋め込みデ
ータサイズで指定される、前記埋め込み位置の範囲内に
ある画素の輝度値または色値の前記周波数係数から、前
記電子透かしとして埋め込まれた独自情報を抽出するよ
うにしたので、前記独自情報が前記少なくとも１つの前
景オブジェクト及び背景オブジェクトの、画素の輝度値
または色値の前記周波数係数に分配された後、前記各前
景オブジェクト及び背景オブジェクトに電子透かしとし
て埋め込まれた画像データから、前記独自情報を効率良
く抽出することができ、前記独自情報が埋め込まれた画
像データをモニターで表示する際に、前記独自情報によ
る、前記各前景オブジェクト及び背景オブジェクトの合
成画像の画質の劣化が少ない。

【０３１７】また、本発明の請求項４４に記載のデータ
記録媒体によれば、コンピュータに、画像データを符号
化し、かつ前記画像データを構成する、少なくとも１つ
の前景オブジェクトまたは背景オブジェクトの、画素の
輝度値または色値に、著作権情報等の独自情報を電子透
かしとして埋め込む処理を実行させるための電子透かし
埋め込みプログラムが記録されたデータ記録媒体であっ
て、前記電子透かし埋め込みプログラムは、前記独自情
報、前記独自情報を電子透かしとして埋め込む開始時点
及び終了時点を指定する埋め込み開始時刻及び埋め込み
終了時刻等の電子透かしを埋め込むために必要な埋め込
み制御情報、前記少なくとも１つの前景オブジェクト及
び背景オブジェクトの表示位置や前後関係を指定する表
示制御情報、及び前記埋め込み制御情報等を基にして電
子透かしを抽出するために必要な抽出制御情報を生成
し、符号化制御信号、及び前記埋め込み制御情報を基に
して生成した埋め込み制御信号により、前記画像データ
の符号化及び電子透かしの埋め込みを制御する埋め込み
・符号化制御ステップと、前記埋め込み制御信号に応じ
て、前記埋め込み開始時刻と前記埋め込み終了時刻との
間に表示される、少なくとも１つの画像フレーム内にあ
る、前記少なくとも１つの前景オブジェクトの形状情報
から、前記独自情報を電子透かしとして埋め込む、埋め
込み領域を検出する埋め込み領域検出ステップと、前記
埋め込み制御信号に応じて、前記埋め込み領域内の、電
子透かしを埋め込む埋め込み位置を決定する埋め込み位
置決定ステップと、前記埋め込み制御信号に応じて、前
記少なくとも１つの前景オブジェクトまたは背景オブジ
ェクトにおける前記埋め込み領域内の、前記埋め込み位
置の範囲内にある画素の輝度値または色値に、前記独自
情報を電子透かしとして埋め込む空間領域電子透かし埋
め込みステップと、前記表示制御情報及び前記抽出制御
情報を符号化する制御情報符号化ステップとを含むよう
にしたので、コンピュータによって、前記少なくとも１
つの前景オブジェクト及び背景オブジェクトから構成さ
れる画像データの画素の輝度値または色値に対して、前
記独自情報を電子透かしとして効率良く埋め込むことが
できる。

【０３１８】また、本発明の請求項４５に記載のデータ
記録媒体によれば、コンピュータに、画像データを符号
化し、かつ前記画像データを構成する、少なくとも１つ
の前景オブジェクトまたは背景オブジェクトの、画素の
輝度値または色値の時間周波数変換後の周波数係数に、
著作権情報等の独自情報を電子透かしとして埋め込む処
理を実行させるための電子透かし埋め込みプログラムが
記録されたデータ記録媒体であって、前記電子透かし埋
め込みプログラムは、前記独自情報、前記独自情報を電
子透かしとして埋め込む開始時点及び終了時点を指定す
る埋め込み開始時刻及び埋め込み終了時刻等の電子透か
しを埋め込むために必要な埋め込み制御情報、前記少な
くとも１つの前景オブジェクト及び背景オブジェクトの
表示位置や前後関係を指定する表示制御情報、及び前記
埋め込み制御情報等を基にして電子透かしを抽出するた
めに必要な抽出制御情報を生成し、符号化制御信号、及
び前記埋め込み制御情報を基にして生成した埋め込み制
御信号により、前記画像データの符号化及び電子透かし
の埋め込みを制御する埋め込み・符号化制御ステップ
と、前記埋め込み制御信号に応じて、前記埋め込み開始
時刻と前記埋め込み終了時刻との間に表示される、少な
くとも１つの画像フレーム内にある、前記少なくとも１
つの前景オブジェクトの形状情報から、前記独自情報を
電子透かしとして埋め込む、埋め込み領域を検出する埋
め込み領域検出ステップと、前記埋め込み制御信号に応
じて、前記埋め込み領域内の、電子透かしを埋め込む埋
め込み位置を決定する埋め込み位置決定ステップと、前
記埋め込み制御信号に応じて、前記少なくとも１つの前
景オブジェクトまたは背景オブジェクトにおける前記埋
め込み領域内の、前記埋め込み位置の範囲内にある画素
の輝度値または色値の前記周波数係数に、前記独自情報
を電子透かしとして埋め込む周波数領域電子透かし埋め
込みステップと、前記表示制御情報及び前記抽出制御情
報を符号化する制御情報符号化ステップとを含むように
したので、コンピュータによって、前記少なくとも１つ
の前景オブジェクト及び背景オブジェクトから構成され
る画像データの画素の輝度値または色値の前記周波数係
数に対して前記独自情報を電子透かしとして効率良く埋
め込むことができる。

【０３１９】また、本発明の請求項４６に記載のデータ
記録媒体によれば、コンピュータに、符号化された画像
データを復号し、かつ前記符号化された画像データを構
成する、少なくとも１つの符号化された前景オブジェク
トまたは符号化された背景オブジェクトの画素の輝度値
または色値から、電子透かしとして埋め込まれた著作権
情報等の独自情報を抽出する処理を実行させるための電
子透かし抽出プログラムが記録されたデータ記録媒体で
あって、前記電子透かし抽出プログラムは、前記符号化
された画像データに前記独自情報を電子透かしとして埋
め込む開始時点及び終了時点を指定する埋め込み開始時
刻及び埋め込み終了時刻等の、前記電子透かしを抽出す
るために必要な符号化された抽出制御情報、及び前記少
なくとも１つの前景オブジェクト及び背景オブジェクト
の表示位置や前後関係を指定する符号化された表示制御
情報を復号する制御情報復号ステップと、前記抽出制御
情報及び表示制御情報から、抽出制御信号及び表示制御
信号を生成し、前記符号化された画像データの復号及び
電子透かしの抽出を制御する抽出・復号制御ステップ
と、前記抽出制御信号で指定される前記埋め込み開始時
刻と前記埋め込み終了時刻との間に表示される、少なく
とも１つの画像フレーム内にある前記少なくとも１つの
前景オブジェクトの形状情報から、前記独自情報が電子
透かしとして埋め込まれている領域を、抽出領域として
検出する抽出領域検出ステップと、前記抽出制御信号に
応じて、前記少なくとも１つの前景オブジェクトまたは
背景オブジェクトにおける前記抽出領域内の、前記抽出
制御信号で指定される、前記電子透かしが埋め込まれて
いる前記埋め込み位置の範囲内にある画素の輝度値また
は色値から、前記独自情報を抽出する空間領域電子透か
し抽出ステップと、前記表示制御信号に応じて、前記少
なくとも１つの前景オブジェクト及び背景オブジェクト
を１つの画面に合成してモニターに表示する画像合成ス
テップとを含むようにしたので、コンピュータにより、
前記独自情報が前記少なくとも１つの前景オブジェクト
または背景オブジェクトの画素の輝度値または色値に埋
め込まれた画像データから、前記独自情報を効率良く抽
出することができ、前記独自情報が埋め込まれた画像デ
ータをモニターで表示する際に、前記独自情報による、
前記各前景オブジェクト及び背景オブジェクトの合成画
像の画質の劣化がないか、少ない。

【０３２０】また、本発明の請求項４７に記載のデータ
記録媒体によれば、コンピュータに、符号化された画像
データを復号し、かつ前記符号化された画像データを構
成する、少なくとも１つの符号化された前景オブジェク
トまたは符号化された背景オブジェクトの画素の輝度値
または色値の時間周波数係数変換後の周波数係数から、
電子透かしとして埋め込まれた著作権情報等の独自情報
を抽出する処理を実行させるための電子透かし抽出プロ
グラムが記録されたデータ記録媒体であって、前記電子
透かし抽出プログラムは、前記符号化された画像データ
に前記独自情報を電子透かしとして埋め込む開始時点及
び終了時点を指定する埋め込み開始時刻及び埋め込み終
了時刻等の、前記電子透かしを抽出するために必要な符
号化された抽出制御情報、及び前記少なくとも１つの前
景オブジェクト及び背景オブジェクトの表示位置や前後
関係を指定する符号化された表示制御情報を復号する制
御情報復号ステップと、前記抽出制御情報及び表示制御
情報から、抽出制御信号及び表示制御信号を生成し、前
記符号化された画像データの復号及び電子透かしの抽出
を制御する抽出・復号制御ステップと、前記抽出制御信
号で指定される前記埋め込み開始時刻と前記埋め込み終
了時刻との間に表示される、少なくとも１つの画像フレ
ーム内にある前記少なくとも１つの前景オブジェクトの
形状情報から、前記独自情報が電子透かしとして埋め込
まれている領域を抽出領域として検出する抽出領域検出
ステップと、前記抽出制御信号に応じて、前記少なくと
も１つの前景オブジェクトまたは背景オブジェクトにお
ける前記抽出領域内の、前記抽出制御信号で指定され
る、前記電子透かしが埋め込まれている前記埋め込み位
置の範囲内にある画素の輝度値または色値の前記周波数
係数から、前記独自情報を抽出する周波数領域電子透か
し抽出ステップと、前記表示制御信号に応じて、前記少
なくとも１つの前景オブジェクト及び背景オブジェクト
を１つの画面に合成してモニターに表示する画像合成ス
テップとを含むようにしたので、コンピュータにより、
前記独自情報が前記少なくとも１つの前景オブジェクト
及び背景オブジェクトの画素の輝度値または色値の前記
周波数係数に埋め込まれた画像データから、前記独自情
報を効率良く抽出することができ、前記独自情報が埋め
込まれた画像データをモニターで表示する際に、前記独
自情報による、前記各前景オブジェクト及び背景オブジ
ェクトの合成画像の画質の劣化がないか、少ない。

【図面の簡単な説明】

【図１】本発明における、電子透かし埋め込み装置及び
電子透かし抽出装置を用いたシステムの構成図である。

【図２】本発明における、少なくとも１つの前景オブジ
ェクト及び背景オブジェクトからなる画像データの構成
を示す図である。

【図３】本発明の実施の形態における、電子透かし埋め
込み装置の構成を示した図である。

【図４】本発明の実施の形態における、電子透かし抽出
装置の構成を示した図である。

【図５】本発明の実施の形態１における、一定期間内に
表示される前景オブジェクトの形状情報の画像フレーム
間での重なり領域を示す図である。

【図６】本発明の実施の形態１における、前景オブジェ
クトの形状情報の画像フレーム間での重なり領域から電
子透かしの埋め込み領域を検出する説明図である。

【図７】本発明の実施の形態１における、前景オブジェ
クトの形状情報の画像フレーム間での重なり領域内から
検出した電子透かしの埋め込み領域に、暗号化された独
自情報を電子透かしとして埋め込む方法を示す図であ
る。

【図８】本発明の実施の形態１における、メタデータ化
した符号化された抽出制御情報の一例を示す図である。

【図９】本発明の実施の形態１の変形例における、輝度
ブロック内の画素の輝度値の周波数係数に独自情報を埋
め込む場合の埋め込み領域を示す図である。

【図１０】本発明の実施の形態２における、前景オブジ
ェクトのエッジ部分にある埋め込み領域を示す図であ
る。

【図１１】本発明の実施の形態２における、前景オブジ
ェクトのパディング領域にある埋め込み領域を示す図で
ある。

【図１２】本発明の実施の形態２の変形例における、前
景オブジェクトのエッジ部分にある画素の輝度値の周波
数係数への埋め込み領域を示す図である。

【図１３】本発明の実施の形態３における、画面を構成
する少なくとも１つの前景オブジェクトの形状情報が任
意の値の透過度を持つ画像データを示す図である。

【図１４】本発明の実施の形態３における、画面を構成
する少なくとも１つの前景オブジェクトの形状情報が任
意の値の透過度を持つ画像データの、前景オブジェクト
及び背景オブジェクトの埋め込み領域に暗号化された独
自情報を電子透かしとして埋め込む方法を示す図であ
る。

【図１５】本発明の実施の形態３における、形状情報が
任意の値の透過度を持つ、少なくとも１つの前景オブジ
ェクト及び背景オブジェクトの埋め込み領域に暗号化さ
れた独自情報を前記各前景オブジェクト及び背景オブジ
ェクトに分配する方法を示す図である。

【図１６】本発明の実施の形態における、独自情報を画
像データを構成する少なくとも１つの前景オブジェクト
及び背景オブジェクトの画素の輝度値または色値に埋め
込む場合の一連の動作を示すフローチャート図である。

【図１７】本発明の実施の形態の変形例における、独自
情報を画像データを構成する少なくとも１つの前景オブ
ジェクト及び背景オブジェクトの画素の輝度値または色
値の周波数係数に埋め込む場合の一連の動作を示すフロ
ーチャート図である。

【図１８】本発明の実施の形態における、符号化された
画像データを構成する少なくとも１つの前景オブジェク
ト及び背景オブジェクトの画素の輝度値または色値から
電子透かしとして埋め込まれた独自情報を抽出する場合
の一連の動作を示すフローチャート図である。

【図１９】本発明の実施の形態の変形例における、符号
化された画像データを構成する少なくとも１つの前景オ
ブジェクト及び背景オブジェクトの画素の輝度値または
色値の周波数係数から電子透かしとして埋め込まれた独
自情報を抽出する場合の一連の動作を示すフローチャー
ト図である。

【図２０】本発明の実施の形態及びその変形例におけ
る、電子透かしの埋め込み、または電子透かしの抽出
を、電子透かし埋め込みプログラム、または電子透かし
抽出プログラムを格納したフレキシブルディスクを用い
て、コンピュータシステムにより実施する方法を説明す
る図である。

【図２１】従来の電子透かしの埋め込み方式を説明する
図である。

【符号の説明】

１ 埋め込み・符号化制御手段 ２ 制御情報符号化手段 ３ 多重化手段 ４Ａ〜４Ｃ 減算手段 ５Ａ〜５Ｐ スイッチ ６ ＤＣＴ変換手段 ７ 量子化手段 ８ 可変長符号化手段 ９ 空間領域電子透かし埋め込み手段 １０ 周波数領域電子透かし埋め込み手段 １１ パディング手段 １２ 逆量子化手段 １３ 逆ＤＣＴ変換手段 １４ 電子透かし削除手段 １５Ａ〜１５Ｆ 加算手段 １６ 動き補償手段 １７ フレームメモリ １８ 動き検出手段 １９ 形状符号化手段 ２０ 形状動き補償手段 ２１ 形状動き検出手段 ２２ 形状情報メモリ ２３ 埋め込み領域検出手段 ２４ 埋め込み位置決定手段 ２５ 抽出・復号制御手段 ２６ 多重分離手段 ２７ 制御情報復号手段 ２８ 可変長復号手段 ２９ 周波数領域電子透かし抽出手段 ３０ 空間領域電子透かし抽出手段 ３１ 画像合成手段 ３２ 形状復号手段 ３３ 抽出領域検出手段 ３５ 複数の画像フレーム ３６，５３ 前景オブジェクト ３７ 背景オブジェクト ３８ 画像フレーム ３９ａ〜３９ｅ 画像フレーム ４０ 前景オブジェクトを重ね合わせた画像フレーム ４１ 重なり領域 ４２，５９ 埋め込み領域 ４３ 字形「Ｓ」を完全に含む平面 ４４ 字形「Ｓ」を完全に含む平面内の輝度マクロブロ
ックサイズのブロック ４５ 暗号鍵 ４６，５２ 暗号化された独自情報のブロック ４７ 埋め込み開始位置 ４８ 埋め込み方向 ４９ 埋め込みデータサイズ ５０ 輝度ブロックサイズで分割した文字データ ５１ 輝度ブロックサイズで分割した文字データを２次
元平面に配列したブロック ５４ 前景オブジェクトが有する形状情報のエッジ ５５ 形状適応ＤＣＴ変換後の量子化ＤＣＴ係数が存在
する領域の境界 ５６〜５８ 前景オブジェクトＡ〜Ｃ ６０ 背景オブジェクトＢｇ ６１ 暗号化された独自情報のブロック ６２〜６５ 少なくとも１つの前景オブジェクトおよび
背景オブジェクトに分配された暗号化された独自情報の
ブロック ６６ 原画像 ６７ 埋め込み演算器 ６８ 独自情報が埋め込まれた画像 ６９ 乗算器 ７０ 独自情報 ７１ 輝度マクロブロックを構成する各輝度ブロック内
の周波数係数への電子透かしの埋め込み領域 １００ 電子透かし埋め込み装置 ２００ 電子透かし抽出装置 ｓ１０１ 抽出制御情報 ｓ１０２ 符号化制御信号 ｓ１０３ 独自情報 ｓ１０４ 埋め込み制御信号 ｓ１０５ 埋め込み位置情報 ｓ１０６ 表示制御情報 ｓ１０７ 復号制御信号 ｓ１０８ 抽出制御信号 ｓ１０９ 表示制御信号 ｓ１１０ 背景オブジェクトの画素の輝度値及び色値 ｓ１１１ 背景オブジェクトの画素の誤差輝度値及び誤
差色値 ｓ２１０ 少なくとも１つの前景オブジェクトの画素の
輝度値及び色値 ｓ２１１ パディング後の少なくとも１つの前景オブジ
ェクト ｓ２１２ 少なくとも１つの前景オブジェクトの画素の
誤差輝度値及び誤差色値 ｓ２２０ 少なくとも１つの前景オブジェクトの形状情
報 ｓ２２１ 前景オブジェクトの形状情報ｓ２２０の予測
誤差である誤差形状情報 ｓ２３１ 電子透かしが埋め込まれた少なくとも1つの
前景オブジェクトまたは背景オブジェクトの画素の誤差
輝度値及び誤差色値 ｓ２３２ 電子透かしが埋め込まれた少なくとも１つの
前景オブジェクトまたは背景オブジェクトの量子化ＤＣ
Ｔ係数 ｓ２５１ 少なくとも１つの前景オブジェクト及び背景
オブジェクトの動きベクトル ｓ２６１ 少なくとも１つの前景オブジェクトの形状情
報の形状動きベクトル ｓ３００ ビットストリームまたはファイル ｓ３０１ 符号化された表示制御情報 ｓ３０２ 符号化された抽出制御情報 ｓ３０３ 背景オブジェクトの符号化された量子化ＤＣ
Ｔ係数 ｓ３０４ 少なくとも１つの前景オブジェクトの符号化
された量子化ＤＣＴ係数 ｓ３０５ 少なくとも１つの前景オブジェクト及び背景
オブジェクトの符号化された動きベクトル ｓ３０６ 少なくとも１つの前景オブジェクトの符号化
された形状動きベクトル ｓ３０７ 少なくとも１つの前景オブジェクトの符号化
形状情報

フロントページの続き Ｆターム(参考） 5C053 FA13 FA24 GB06 GB21 GB40 JA21 5C059 KK43 MA00 MA35 PP16 PP28 PP29 RB09 RB18 RC28 RC35 SS20 5C063 AB03 AC01 AC10 CA11 CA29 CA36 DA01 DA07 DA13 DA20 5J104 AA14 PA14

Claims (47)

【特許請求の範囲】
1. 【請求項１】 画像データを符号化し、かつ前記画像デ
   ータを構成する、少なくとも１つの前景オブジェクトま
   たは背景オブジェクトの、画素の輝度値または色値に、
   著作権情報等の独自情報を電子透かしとして埋め込む電
   子透かし埋め込み装置において、 前記独自情報、前記独自情報を電子透かしとして埋め込
   む開始時点及び終了時点を指定する埋め込み開始時刻及
   び埋め込み終了時刻等の前記電子透かしを埋め込むため
   に必要な埋め込み制御情報、前記少なくとも１つの前景
   オブジェクト及び背景オブジェクトの表示位置や前後関
   係を指定する表示制御情報、及び前記埋め込み制御情報
   等を基にして電子透かしを抽出するために必要な抽出制
   御情報を生成し、符号化制御信号及び前記埋め込み制御
   情報を基にして作成した埋め込み制御信号により、前記
   画像データの符号化、及び電子透かしの埋め込みを制御
   する埋め込み・符号化制御手段と、 前記埋め込み制御信号に応じて、前記埋め込み開始時刻
   と前記埋め込み終了時刻との間に表示される、少なくと
   も１つの画像フレーム内にある、少なくとも１つの前景
   オブジェクトの形状情報から、前記独自情報を電子透か
   しとして埋め込む埋め込み領域を検出する埋め込み領域
   検出手段と、 前記埋め込み制御信号に応じて、前記埋め込み領域内
   の、電子透かしを埋め込む埋め込み位置を決定する埋め
   込み位置決定手段と、 前記埋め込み制御信号に応じて、前記少なくとも１つの
   前景オブジェクトまたは背景オブジェクトにおける前記
   埋め込み領域内の、前記埋め込み位置の範囲内にある画
   素の輝度値または色値に、前記独自情報を電子透かしと
   して埋め込む空間領域電子透かし埋め込み手段と、 前記表示制御情報及び前記抽出制御情報を符号化する制
   御情報符号化手段と、を備える、 ことを特徴とする電子透かし埋め込み装置。
2. 【請求項２】 画像データを符号化し、かつ前記画像デ
   ータを構成する、少なくとも１つの前景オブジェクトま
   たは背景オブジェクトの、画素の輝度値または色値の時
   間周波数変換後の周波数係数に、著作権情報等の独自情
   報を電子透かしとして埋め込む電子透かし埋め込み装置
   において、 前記独自情報、前記独自情報を電子透かしとして埋め込
   む開始時点及び終了時点を指定する埋め込み開始時刻及
   び埋め込み終了時刻等の前記電子透かしを埋め込むため
   に必要な埋め込み制御情報、前記少なくとも１つの前景
   オブジェクト及び背景オブジェクトの表示位置や前後関
   係を指定する表示制御情報、及び前記埋め込み制御情報
   等を基にして電子透かしを抽出するために必要な抽出制
   御情報を生成し、符号化制御信号及び前記埋め込み制御
   情報を基にして作成した埋め込み制御信号により、前記
   画像データの符号化、及び電子透かしの埋め込みを制御
   する埋め込み・符号化制御手段と、 前記埋め込み制御信号に応じて、前記埋め込み開始時刻
   と前記埋め込み終了時刻との間に表示される、少なくと
   も１つの画像フレーム内にある、少なくとも１つの前景
   オブジェクトの形状情報から、前記独自情報を電子透か
   しとして埋め込む埋め込み領域を検出する埋め込み領域
   検出手段と、 前記埋め込み制御信号に応じて、前記埋め込み領域内
   の、電子透かしを埋め込む埋め込み位置を決定する埋め
   込み位置決定手段と、 前記埋め込み制御信号に応じて、前記少なくとも１つの
   前景オブジェクトまたは背景オブジェクトにおける前記
   埋め込み領域内の、前記埋め込み位置の範囲内にある画
   素の輝度値または色値の前記周波数係数に、前記独自情
   報を電子透かしとして埋め込む周波数領域電子透かし埋
   め込み手段と、 前記表示制御情報及び前記抽出制御情報を符号化する制
   御情報符号化手段と、を備える、 ことを特徴とする電子透かし埋め込み装置。
3. 【請求項３】 請求項１記載の電子透かし埋め込み装置
   において、 前記空間領域電子透かし埋め込み手段により、前記独自
   情報が電子透かしとして埋め込まれた前記少なくとも１
   つの前景オブジェクトまたは背景オブジェクトの画素の
   輝度値または色値から、前記独自情報を削除して、元の
   画像データの画素の輝度値または色値に戻す、電子透か
   し削除手段を備え、 電子透かしの埋め込まれた前記各前景オブジェクトまた
   は背景オブジェクトを圧縮符号化する際には、前記電子
   透かし削除手段から出力される前記各前景オブジェクト
   または背景オブジェクトを参照画像データとして用い
   て、予測符号化を行う、 ことを特徴とする電子透かし埋め込み装置。
4. 【請求項４】 請求項１記載の電子透かし埋め込み装置
   において、 前記埋め込み領域検出手段は、前記埋め込み開始時刻と
   前記埋め込み終了時刻との間に表示される少なくとも１
   つの画像フレーム内にある、前記少なくとも１つの前景
   オブジェクトの形状情報が全て重なり合う領域を、前記
   埋め込み領域として検出し、 前記埋め込み位置決定手段は、前記埋め込み領域に対応
   する前記背景オブジェクトにおける領域内の、輝度ブロ
   ックまたは色ブロック単位の埋め込み開始位置、及び上
   下左右方向を組み合わせた８方向のうちの１つである埋
   め込み方向を、前記領域内の画素の輝度値または色値の
   分布状態より設定するとともに、前記領域内の埋め込み
   データサイズを、前記独自情報を基にして設定すること
   で、前記埋め込み位置を決定し、 前記空間領域電子透かし埋め込み手段は、前記背景オブ
   ジェクトにおける前記領域内の、前記埋め込み位置であ
   る前記埋め込み開始位置から前記埋め込み方向に前記埋
   め込みデータサイズの範囲内にある、画素の輝度値また
   は色値に、前記独自情報を電子透かしとして埋め込む、 ことを特徴とする電子透かし埋め込み装置。
5. 【請求項５】 請求項２記載の電子透かし埋め込み装置
   において、 前記埋め込み領域検出手段は、前記埋め込み開始時刻と
   前記埋め込み終了時刻との間に表示される少なくとも１
   つの画像フレーム内にある、少なくとも１つの前景オブ
   ジェクトの形状情報が全て重なり合う重なり領域を検出
   して、前記重なり領域内の輝度ブロックまたは色ブロッ
   ク内の、画素の輝度値または色値の前記周波数係数の直
   流成分を中心とした前記周波数係数単位の四分円の半径
   である最低周波数境界と最高周波数境界との間にある前
   記周波数係数を、前記埋め込み領域として検出し、 前記埋め込み位置決定手段は、前記埋め込み領域に対応
   する前記背景オブジェクトにおける領域内の、前記周波
   数係数単位の埋め込み開始位置、及び上下左右方向を組
   み合わせた８方向のうちの１つである埋め込み方向を、
   前記領域内の画素の輝度値または色値の分布状態より設
   定するとともに、前記領域内の埋め込みデータサイズ
   を、前記独自情報を基にして設定することで、前記埋め
   込み位置を決定し、 前記周波数領域電子透かし埋め込み手段は、前記背景オ
   ブジェクトにおける前記領域内の、前記埋め込み位置で
   ある前記埋め込み開始位置から前記埋め込み方向に前記
   埋め込みデータサイズの範囲内にある、画素の輝度値ま
   たは色値の前記周波数係数に、前記独自情報を電子透か
   しとして埋め込む、 ことを特徴とする電子透かし埋め込み装置。
6. 【請求項６】 請求項１記載の電子透かし埋め込み装置
   において、 前記埋め込み領域検出手段は、前記少なくとも１つの前
   景オブジェクトの形状の輪郭線であるエッジから、前記
   各前景オブジェクトの形状領域の内部方向またはパディ
   ング領域方向に、画素の輝度値または色値単位で埋め込
   み領域幅を設定することにより、前記埋め込み領域を検
   出し、 前記埋め込み位置決定手段は、前記埋め込み領域内の、
   輝度ブロックまたは色ブロック単位の埋め込み開始位
   置、及び上下左右方向を組み合わせた８方向のうちの１
   つである埋め込み方向を、前記各前景オブジェクトの動
   き状態より設定するとともに、前記埋め込み領域内の埋
   め込みデータサイズを、前記独自情報を基にして設定す
   ることで、前記埋め込み位置を決定し、 前記空間領域電子透かし埋め込み手段は、前記少なくと
   も１つの前景オブジェクトにおける前記埋め込み領域内
   の、前記埋め込み位置である前記埋め込み開始位置から
   前記埋め込み方向に前記埋め込みデータサイズの範囲内
   にある、画素の輝度値または色値に、前記独自情報を電
   子透かしとして埋め込む、 ことを特徴とする電子透かし埋め込み装置。
7. 【請求項７】 請求項２記載の電子透かし埋め込み装置
   において、 前記埋め込み領域検出手段は、前記埋め込み領域内の、
   前記少なくとも１つの前景オブジェクトの形状の輪郭線
   であるエッジを含む輝度ブロックまたは色ブロックの境
   界ブロック内の、前記各前景オブジェクトの形状情報に
   応じて配置される画素の輝度値または色値の前記周波数
   係数の外側で、かつ前記境界ブロック内の前記周波数係
   数の直流成分を中心とした前記周波数係数単位の四分円
   の半径である最低周波数境界と最高周波数境界との間
   に、前記周波数係数単位で埋め込み領域幅を設定するこ
   とにより、前記埋め込み領域を検出し、 前記埋め込み位置決定手段は、前記埋め込み領域内の、
   前記周波数係数単位の埋め込み開始位置、及び上下左右
   方向を組み合わせた８方向のうちの１つである埋め込み
   方向を、前記各前景オブジェクトの動き状態より設定す
   るとともに、前記埋め込み領域内の埋め込みデータサイ
   ズを、前記独自情報を基にして設定することで、前記埋
   め込み位置を決定し、 前記周波数領域電子透かし埋め込み手段は、前記少なく
   とも１つの前景オブジェクトにおける前記埋め込み領域
   内の、前記埋め込み位置である前記埋め込み開始位置か
   ら前記埋め込み方向に前記埋め込みデータサイズの範囲
   内にある、画素の輝度値または色値の前記周波数係数
   に、前記独自情報を電子透かしとして埋め込む、 ことを特徴とする電子透かし埋め込み装置。
8. 【請求項８】 請求項５または請求項７記載の電子透か
   し埋め込み装置において、 前記埋め込み領域検出手段は、画素の輝度値または色値
   の前記周波数係数の最低周波数境界及び最高周波数境界
   を、画質への影響が最小になる帯域、または前記埋め込
   み領域検出手段より後段で使用されるフィルタの帯域を
   基にして決定する、 ことを特徴とする電子透かし埋め込み装置。
9. 【請求項９】 請求項６記載の電子透かし埋め込み装置
   において、 前記埋め込み領域検出手段は、前記少なくとも１つの前
   景オブジェクトの形状のエッジから、前記各前景オブジ
   ェクトの形状領域の内部方向に設定する前記埋め込み領
   域幅を、前記各前景オブジェクトのエッジ付近にある画
   素の輝度値または色値と、前記各前景オブジェクトのエ
   ッジ付近にある背景オブジェクトの画素の輝度値または
   色値との平均値の差、または前記各前景オブジェクトの
   エッジ付近にある前記各前景オブジェクト及び背景オブ
   ジェクトの画素の輝度値または色値の分散値に比例する
   よう設定する、 ことを特徴とする電子透かし埋め込み装置。
10. 【請求項１０】 請求項６または請求項７記載の電子透
    かし埋め込み装置において、 前記埋め込み位置決定手段は、前記少なくとも１つの前
    景オブジェクトが静止物体であるとき、前記各前景オブ
    ジェクトのエッジ付近にある埋め込み領域内の画素の輝
    度値または色値の分散値が大きい部分に、前記埋め込み
    開始位置及び前記埋め込み方向を設定し、 前記各前景オブジェクトが移動物体であるとき、前記埋
    め込み領域内の前記各前景オブジェクトの移動方向と反
    対側のエッジ付近にある埋め込み領域内の画素の輝度値
    または色値に、前記埋め込み開始位置及び前記埋め込み
    方向を設定する、 ことを特徴とする電子透かし埋め込み装置。
11. 【請求項１１】 請求項１記載の電子透かし埋め込み装
    置において、 前記埋め込み開始時刻と前記埋め込み終了時刻との間に
    表示される少なくとも１つの画像フレーム内の、前記少
    なくとも１つの前景オブジェクトにおける、完全に透明
    な状態及び完全に不透明な状態の間の状態が任意の値を
    もつ透過度で表される形状情報を有するとき、 前記埋め込み領域検出手段は、前記埋め込み開始時刻と
    前記埋め込み終了時刻との間に表示される少なくとも１
    つの画像フレーム内にある、前記各前景オブジェクトの
    形状情報が重なり合う領域を、前記埋め込み領域として
    検出し、 前記埋め込み位置決定手段は、前記埋め込み領域に対応
    する、前記各前景オブジェクト及び背景オブジェクトに
    おける領域内の、輝度ブロックまたは色ブロック単位の
    埋め込み開始位置、及び上下左右方向を組み合わせた８
    方向のうちの１つである埋め込み方向を、前記領域内の
    画素の輝度値または色値の分布状態より設定するととも
    に、前記領域内の埋め込みデータサイズを、前記独自情
    報を基にして設定することで、前記埋め込み位置を決定
    し、 前記空間領域電子透かし埋め込み手段は、前記各前景オ
    ブジェクトの形状情報の透過度より算出した割合で、前
    記独自情報を前記各前景オブジェクト及び背景オブジェ
    クトに分配するとともに、前記各前景オブジェクト及び
    背景オブジェクトの前記領域内の、前記埋め込み位置で
    ある前記埋め込み開始位置から前記埋め込み方向に前記
    埋め込みデータサイズの範囲内にある、画素の輝度値ま
    たは色値に、前記各前景オブジェクト及び背景オブジェ
    クトに分配された前記独自情報を電子透かしとして埋め
    込む、 ことを特徴とする電子透かし埋め込み装置。
12. 【請求項１２】 請求項２記載の電子透かし埋め込み装
    置において、 前記埋め込み開始時刻と前記埋め込み終了時刻との間に
    表示される少なくとも１つの画像フレーム内の、前記少
    なくとも１つの前景オブジェクトにおける、完全に透明
    な状態及び完全に不透明な状態の間の状態が任意の値を
    もつ透過度で表される形状情報を有するとき、 前記埋め込み領域検出手段は、前記埋め込み開始時刻と
    前記埋め込み終了時刻との間に表示される少なくとも１
    つの画像フレーム内にある、前記各前景オブジェクトの
    形状情報が重なり合う領域を、前記埋め込み領域として
    検出し、 前記埋め込み位置決定手段は、前記埋め込み領域に対応
    する、前記各前景オブジェクト及び背景オブジェクトに
    おける領域内の、輝度ブロックまたは色ブロック単位の
    埋め込み開始位置、及び上下左右方向を組み合わせた８
    方向のうちの１つである埋め込み方向を、前記領域内の
    画素の輝度値または色値の分布状態より設定するととも
    に、前記領域内の埋め込みデータサイズを、前記独自情
    報を基にして設定することで、前記埋め込み位置を決定
    し、 前記周波数領域電子透かし埋め込み手段は、前記各前景
    オブジェクトの形状情報の透過度より算出した割合で、
    前記独自情報を前記各前景オブジェクト及び背景オブジ
    ェクトに分配するとともに、前記各前景オブジェクト及
    び背景オブジェクトの前記領域内の、前記埋め込み位置
    である前記埋め込み開始位置から前記埋め込み方向に前
    記埋め込みデータサイズの範囲内にある、画素の輝度値
    または色値の前記周波数係数に、前記各前景オブジェク
    ト及び背景オブジェクトに分配された前記独自情報を電
    子透かしとして埋め込む、 ことを特徴とする電子透かし埋め込み装置。
13. 【請求項１３】 請求項１または請求項２記載の電子透
    かし埋め込み装置において、 前記制御情報符号化手段は、前記抽出制御情報と、前記
    表示制御情報とを、メタデータまたはバイナリデータと
    して符号化する、 ことを特徴とする電子透かし埋め込み装置。
14. 【請求項１４】 請求項１または請求項２記載の電子透
    かし埋め込み装置において、 前記少なくとも１つの前景オブジェクト及び背景オブジ
    ェクトからなる符号化された画像データと、前記少なく
    とも１つの前景オブジェクトの符号化された形状情報
    と、メタデータ及びバイナリデータに符号化された前記
    抽出制御情報及び前記表示制御情報とを多重化して、ス
    トリームとして出力するか、 前記少なくとも１つの符号化された前景オブジェクト
    と、前記少なくとも１つの前景オブジェクトの符号化さ
    れた形状情報とを１つのデータ単位とし、符号化された
    前記背景オブジェクトを１つのデータ単位とし、前記メ
    タデータ及びバイナリデータに符号化された前記抽出制
    御情報及び前記表示制御情報を１つのデータ単位とし、
    前記各データ単位毎に、少なくとも識別情報及びデータ
    サイズを設定したヘッダ情報を付加した後に多重化して
    ファイルに記録して出力する、ことを特徴とする電子透
    かし埋め込み装置。
15. 【請求項１５】 請求項１または請求項２記載の電子透
    かし埋め込み装置において、 前記空間領域電子透かし埋め込み手段、もしくは前記周
    波数領域電子透かし埋め込み手段は、前記独自情報を前
    記埋め込み制御信号で指定する暗号鍵を用いて暗号化し
    た後、前記少なくとも１つの前景オブジェクトまたは前
    記背景オブジェクトの画素の輝度値または色値、もしく
    は画素の輝度値または色値の前記周波数係数に、暗号化
    された前記独自情報を電子透かしとして埋め込む、 ことを特徴とする電子透かし埋め込み装置。
16. 【請求項１６】 符号化された画像データを構成する、
    少なくとも１つの符号化された前景オブジェクトまたは
    符号化された背景オブジェクトの画素の輝度値または色
    値から、電子透かしとして埋め込まれた著作権情報等の
    独自情報を抽出し、かつ前記符号化された画像データを
    復号する電子透かし抽出装置において、 前記符号化された画像データに前記独自情報を電子透か
    しとして埋め込む開始時点及び終了時点を指定する埋め
    込み開始時刻及び埋め込み終了時刻等の、前記電子透か
    しを抽出するために必要な符号化された抽出制御情報、
    及び前記少なくとも１つの前景オブジェクト及び前記背
    景オブジェクトの表示位置や前後関係を指定する符号化
    された表示制御情報を復号する制御情報復号手段と、 前記符号化された画像データの復号、及び電子透かしの
    抽出を制御し、前記抽出制御情報及び表示制御情報か
    ら、抽出制御信号及び表示制御信号を生成する抽出・復
    号制御手段と、 前記抽出制御信号で指定される前記埋め込み開始時刻と
    前記埋め込み終了時刻との間に表示される、少なくとも
    １つの画像フレーム内にある前記少なくとも１つの前景
    オブジェクトの形状情報から、前記独自情報が電子透か
    しとして埋め込まれている領域を、抽出領域として検出
    する抽出領域検出手段と、 前記抽出制御信号に応じて、前記少なくとも１つの前景
    オブジェクトまたは背景オブジェクトにおける前記抽出
    領域内の前記抽出制御信号で指定される、前記電子透か
    しが埋め込まれている前記埋め込み位置の範囲内にある
    画素の輝度値または色値から、前記独自情報を抽出する
    空間領域電子透かし抽出手段と、 前記表示制御信号に応じて、前記少なくとも１つの前景
    オブジェクト及び背景オブジェクトを１つの画面に合成
    して、モニターに表示する画像合成手段と、を備える、 ことを特徴とする電子透かし抽出装置。
17. 【請求項１７】 符号化された画像データを構成する、
    少なくとも１つの符号化された前景オブジェクトまたは
    符号化された背景オブジェクトの画素の輝度値または色
    値の時間周波数変換後の周波数係数から、電子透かしと
    して埋め込まれた著作権情報等の独自情報を抽出し、か
    つ前記符号化された画像データを復号する電子透かし抽
    出装置において、 前記符号化された画像データに前記独自情報を電子透か
    しとして埋め込む開始時点及び終了時点を指定する埋め
    込み開始時刻及び埋め込み終了時刻等の、前記電子透か
    しを抽出するために必要な符号化された抽出制御情報、
    及び前記少なくとも１つの前景オブジェクト及び背景オ
    ブジェクトの表示位置や前後関係を指定する符号化され
    た表示制御情報を復号する制御情報復号手段と、 前記符号化された画像データの復号、及び電子透かしの
    抽出を制御し、前記抽出制御情報及び表示制御情報か
    ら、抽出制御信号及び表示制御信号を生成する抽出・復
    号制御手段と、 前記抽出制御信号で指定される前記埋め込み開始時刻と
    前記埋め込み終了時刻との間に表示される、少なくとも
    １つの画像フレーム内にある前記少なくとも１つの前景
    オブジェクトの形状情報から、前記独自情報が電子透か
    しとして埋め込まれている領域を抽出領域として検出す
    る抽出領域検出手段と、 前記抽出制御信号に応じて、前記少なくとも１つの前景
    オブジェクトまたは背景オブジェクトにおける前記抽出
    領域内の前記抽出制御信号で指定される、前記電子透か
    しが埋め込まれている埋め込み位置の範囲内にある、画
    素の輝度値または色値の前記周波数係数から、前記独自
    情報を抽出する周波数領域電子透かし抽出手段と、 前記表示制御信号に応じて、前記少なくとも１つの前景
    オブジェクト及び背景オブジェクトを１つの画面に合成
    して、モニターに表示する画像合成手段と、を備える、 ことを特徴とする電子透かし抽出装置。
18. 【請求項１８】 請求項１６記載の電子透かし抽出装置
    において、 前記独自情報が、前記背景オブジェクトの画素の輝度値
    または色値に、電子透かしとして埋め込まれていると
    き、 前記抽出領域検出手段は、前記埋め込み開始時刻と前記
    埋め込み終了時刻との間に表示される、前記抽出制御信
    号により指定される画像フレーム内にある、前記少なく
    とも１つの前景オブジェクトの形状情報が重なり合う領
    域を抽出領域として検出し、 前記空間領域電子透かし抽出手段は、前記抽出領域に対
    応する前記背景オブジェクトにおける領域内の、前記抽
    出制御信号で指定する輝度ブロックまたは色ブロック単
    位の埋め込み開始位置から、上下左右方向を組み合わせ
    た８方向のうちの１つである埋め込み方向に、前記独自
    情報のデータ量である埋め込みデータサイズで指定され
    る前記埋め込み位置の、画素の輝度値または色値から、
    電子透かしとして埋め込まれた前記独自情報を抽出す
    る、 ことを特徴とする電子透かし抽出装置。
19. 【請求項１９】 請求項１７記載の電子透かし抽出装置
    において、 前記独自情報が、前記背景オブジェクトの画素の輝度値
    または色値の前記周波数係数に、電子透かしとして埋め
    込まれているとき、 前記抽出領域検出手段は、前記埋め込み開始時刻と前記
    埋め込み終了時刻との間に表示される、前記抽出制御信
    号により指定される画像フレーム内にある、前記少なく
    とも１つの前景オブジェクトの形状情報が重なり合う重
    なり領域を検出し、前記重なり領域内の輝度ブロックま
    たは色ブロック内の画素の輝度値または色値の前記周波
    数係数の直流成分を中心とした前記周波数係数単位の四
    分円の半径である最低周波数境界と最高周波数境界との
    間にある前記周波数係数を、抽出領域として検出し、 前記周波数領域電子透かし抽出手段は、前記抽出領域に
    対応する前記背景オブジェクトにおける領域内の、前記
    抽出制御信号で指定する前記周波数係数単位の埋め込み
    開始位置から、上下左右方向を組み合わせた８方向のう
    ちの１つである埋め込み方向に、前記独自情報のデータ
    量である埋め込みデータサイズで指定される、前記埋め
    込み位置の範囲内にある画素の輝度値または色値の前記
    周波数係数から、電子透かしとして埋め込まれた前記独
    自情報を抽出する、 ことを特徴とする電子透かし抽出装置。
20. 【請求項２０】 請求項１６記載の電子透かし抽出装置
    において、 前記独自情報が、前記少なくとも１つの前景オブジェク
    トの輝度値または色値に、電子透かしとして埋め込まれ
    ているとき、 前記抽出領域検出手段は、前記抽出制御信号により指定
    される画像フレーム内にある、前記抽出制御信号により
    指定される、前記各前景オブジェクトの形状の輪郭であ
    るエッジから、前記各前景オブジェクトの形状領域の内
    部方向またはパディング領域方向への、画素の輝度値ま
    たは色値単位の埋め込み領域幅を、抽出領域として検出
    し、 前記空間領域電子透かし抽出手段は、前記少なくとも１
    つの前景オブジェクトにおける前記抽出領域内の前記抽
    出制御信号で指定する、輝度ブロックまたは色ブロック
    単位の埋め込み開始位置から、上下左右方向を組み合わ
    せた８方向のうちの１つである埋め込み方向に、前記独
    自情報のデータ量である埋め込みデータサイズで指定さ
    れる、前記埋め込み位置の範囲内にある画素の輝度値ま
    たは色値から、電子透かしとして埋め込まれた前記独自
    情報を抽出する、 ことを特徴とする電子透かし抽出装置。
21. 【請求項２１】 請求項１７記載の電子透かし抽出装置
    において、 前記独自情報が、前記少なくとも１つの前景オブジェク
    トの画素の輝度値または色値の前記周波数係数に、電子
    透かしとして埋め込まれているとき、 前記抽出領域検出手段は、前記抽出制御信号により指定
    される画像フレーム内にある、前記抽出制御信号により
    指定される、前記各前景オブジェクトの形状の輪郭であ
    るエッジを含む画素の輝度ブロックまたは色ブロックの
    境界ブロック内の、前記各前景オブジェクトの形状情報
    に応じて配置される画素の輝度値または色値の前記周波
    数係数の外側で、かつ前記境界ブロック内の前記周波数
    係数の直流成分を中心とした前記周波数係数単位の四分
    円の半径である最低周波数境界と最高周波数境界との間
    にある前記周波数係数単位の埋め込み領域幅を、抽出領
    域として検出し、 前記周波数領域電子透かし抽出手段は、前記少なくとも
    １つの前景オブジェクトにおける前記抽出領域内の前記
    抽出制御信号で指定する、前記周波数係数単位の埋め込
    み開始位置から、上下左右方向を組み合わせた８方向の
    うちの１つである埋め込み方向に、前記独自情報のデー
    タ量である埋め込みデータサイズで指定される、前記埋
    め込み位置の範囲内にある画素の輝度値または色値の前
    記周波数係数から、電子透かしとして埋め込まれた前記
    独自情報を抽出する、 ことを特徴とする電子透かし抽出装置。
22. 【請求項２２】 請求項１６記載の電子透かし抽出装置
    において、 前記独自情報が、前記埋め込み開始時刻と前記埋め込み
    終了時刻との間に表示される少なくとも１つの画像フレ
    ーム内の、完全に透明な状態及び完全に不透明な状態の
    間の状態が任意の値をもつ透過度で表される形状情報を
    有する、前記少なくとも１つの前景オブジェクトまたは
    背景オブジェクトの画素の輝度値または色値に、電子透
    かしとして埋め込まれているとき、 前記抽出領域検出手段は、前記埋め込み開始時刻と前記
    埋め込み終了時刻との間に表示される、前記抽出制御信
    号により指定される画像フレーム内にある、前記各前景
    オブジェクトの形状情報が重なり合う領域を抽出領域と
    して検出し、 前記空間領域電子透かし抽出手段は、前記抽出領域に対
    応する前記各前景オブジェクトまたは背景オブジェクト
    における領域内の、前記抽出制御信号で指定する、輝度
    ブロックまたは色ブロック単位の埋め込み開始位置か
    ら、上下左右方向を組み合わせた８方向のうちの１つで
    ある埋め込み方向に、前記独自情報のデータ量である埋
    め込みデータサイズで指定される前記埋め込み位置の範
    囲内にある画素の輝度値または色値から、電子透かしと
    して埋め込まれた前記独自情報を抽出する、 ことを特徴とする電子透かし抽出装置。
23. 【請求項２３】 請求項１７記載の電子透かし抽出装置
    において、 前記独自情報が、前記埋め込み開始時刻と前記埋め込み
    終了時刻との間に表示される少なくとも１つの画像フレ
    ーム内の、完全に透明な状態及び完全に不透明な状態の
    間の状態が任意の値をもつ透過度で表される形状情報を
    有する、前記少なくとも１つの前景オブジェクトまたは
    背景オブジェクトの画素の輝度値または色値の前記周波
    数係数に、電子透かしとして埋め込まれているとき、 前記抽出領域検出手段は、前記埋め込み開始時刻と前記
    埋め込み終了時刻との間に表示される、前記抽出制御信
    号により指定される画像フレーム内にある、前記各前景
    オブジェクトの形状情報が重なり合う領域を検出し、前
    記重なり合う領域内の輝度ブロックまたは色ブロック内
    の前記周波数係数の直流成分を中心とした前記周波数係
    数単位の四分円の半径である最低周波数境界と最高周波
    数境界との間にある前記周波数係数を、抽出領域として
    検出し、 前記周波数領域電子透かし抽出手段は、前記抽出領域検
    出手段により検出された前記抽出領域に対応する前記各
    前景オブジェクトまたは背景オブジェクトにおける領域
    内の、前記抽出制御信号で指定する、輝度ブロックまた
    は色ブロック単位の埋め込み開始位置から、上下左右方
    向を組み合わせた８方向のうちの１つである埋め込み方
    向に、前記独自情報のデータ量である埋め込みデータサ
    イズで指定される、前記埋め込み位置の範囲内にある画
    素の輝度値または色値の前記周波数係数から、前記電子
    透かしとして埋め込まれた前記独自情報を抽出する、 ことを特徴とする電子透かし抽出装置。
24. 【請求項２４】 画像データを符号化し、かつ前記画像
    データを構成する、少なくとも１つの前景オブジェクト
    または背景オブジェクトの、画素の輝度値または色値
    に、著作権情報等の独自情報を電子透かしとして埋め込
    む電子透かし埋め込み方法において、 前記独自情報、前記独自情報を電子透かしとして埋め込
    む開始時点及び終了時点を指定する埋め込み開始時刻及
    び埋め込み終了時刻等の電子透かしを埋め込むために必
    要な埋め込み制御情報、前記少なくとも１つの前景オブ
    ジェクト及び背景オブジェクトの表示位置や前後関係を
    指定する表示制御情報、及び前記埋め込み制御情報等を
    基にして電子透かしを抽出するために必要な抽出制御情
    報を生成し、符号化制御信号、及び前記埋め込み制御情
    報を基にして生成した埋め込み制御信号により、前記画
    像データの符号化及び電子透かしの埋め込みを制御する
    埋め込み・符号化制御ステップと、 前記埋め込み制御信号に応じて、前記埋め込み開始時刻
    と前記埋め込み終了時刻との間に表示される、少なくと
    も１つの画像フレーム内にある、少なくとも１つの前景
    オブジェクトの形状情報から、前記独自情報を電子透か
    しとして埋め込む、埋め込み領域を検出する埋め込み領
    域検出ステップと、 前記埋め込み制御信号に応じて、前記埋め込み領域内
    の、電子透かしを埋め込む埋め込み位置を決定する埋め
    込み位置決定ステップと、 前記埋め込み制御信号に応じて、前記少なくとも１つの
    前景オブジェクトまたは背景オブジェクトにおける前記
    埋め込み領域内の、前記埋め込み位置の範囲内にある画
    素の輝度値または色値に、前記独自情報を電子透かしと
    して埋め込む空間領域電子透かし埋め込みステップと、 前記表示制御情報及び前記抽出制御情報を符号化する制
    御情報符号化ステップと、を有する、 ことを特徴とする電子透かし埋め込み方法。
25. 【請求項２５】 画像データを符号化し、かつ前記画像
    データを構成する、少なくとも１つの前景オブジェクト
    または背景オブジェクトの、画素の輝度値または色値の
    時間周波数変換後の周波数係数に、著作権情報等の独自
    情報を電子透かしとして埋め込む電子透かし埋め込み方
    法において、 前記独自情報、前記独自情報を電子透かしとして埋め込
    む開始時点及び終了時点を指定する埋め込み開始時刻及
    び埋め込み終了時刻等の電子透かしを埋め込むために必
    要な埋め込み制御情報、前記少なくとも１つの前景オブ
    ジェクト及び背景オブジェクトの表示位置や前後関係を
    指定する表示制御情報、及び前記埋め込み制御情報等を
    基にして電子透かしを抽出するために必要な抽出制御情
    報を生成し、符号化制御信号、及び前記埋め込み制御情
    報を基にして生成した埋め込み制御信号により前記画像
    データの符号化及び電子透かしの埋め込みを制御する埋
    め込み・符号化制御ステップと、 前記埋め込み制御信号に応じて、前記埋め込み開始時刻
    と前記埋め込み終了時刻との間に表示される、少なくと
    も１つの画像フレーム内にある、少なくとも１つの前景
    オブジェクトの形状情報から、前記独自情報を電子透か
    しとして埋め込む、埋め込み領域を検出する埋め込み領
    域検出ステップと、 前記埋め込み制御信号に応じて、前記埋め込み領域内
    の、電子透かしを埋め込む埋め込み位置を決定する埋め
    込み位置決定ステップと、 前記埋め込み制御信号に応じて、前記少なくとも１つの
    前景オブジェクトまたは背景オブジェクトにおける前記
    埋め込み領域内の、前記埋め込み位置の範囲内にある画
    素の輝度値または色値の前記周波数係数に、前記独自情
    報を電子透かしとして埋め込む周波数領域電子透かし埋
    め込みステップと、 前記表示制御情報及び前記抽出制御情報を符号化する制
    御情報符号化ステップと、を有する、 ことを特徴とする電子透かし埋め込み方法。
26. 【請求項２６】 請求項２４記載の電子透かし埋め込み
    方法において、 前記空間領域電子透かし埋め込みステップより前記独自
    情報が電子透かしとして埋め込まれた、前記少なくとも
    １つの前景オブジェクトまたは背景オブジェクトの画素
    の輝度値または色値から前記独自情報を削除し、元の画
    素の輝度値または色値に戻す電子透かし削除ステップを
    有し、 電子透かしの埋め込まれた前記少なくとも１つの前景オ
    ブジェクトまたは背景オブジェクトを圧縮符号化する際
    には、前記電子透かし削除ステップから出力される前記
    少なくとも１つの前景オブジェクトまたは背景オブジェ
    クトを参照画像データとして用いて、予測符号化を行
    う、 ことを特徴とする電子透かし埋め込み方法。
27. 【請求項２７】 請求項２４記載の電子透かし埋め込み
    方法において、 前記埋め込み領域検出ステップは、前記埋め込み開始時
    刻と前記埋め込み終了時刻との間に表示される少なくと
    も１つの画像フレーム内にある、前記少なくとも１つの
    前景オブジェクトの形状情報が全て重なり合う領域を、
    前記埋め込み領域として検出し、 前記埋め込み位置決定ステップは、前記埋め込み領域に
    対応する前記背景オブジェクトにおける領域内の、輝度
    ブロックまたは色ブロック単位の埋め込み開始位置、及
    び上下左右方向を組み合わせた８方向のうちの１つであ
    る埋め込み方向を、前記領域内の画素の輝度値または色
    値の分布状態より設定するとともに、前記領域内の埋め
    込みデータサイズを、前記独自情報を基にして設定する
    ことで、前記埋め込み位置を決定し、 前記空間領域電子透かし埋め込みステップは、前記背景
    オブジェクトにおける前記領域内の、前記埋め込み位置
    である前記埋め込み開始位置から前記埋め込み方向に前
    記埋め込みデータサイズの範囲内にある、画素の輝度値
    または色値に、前記独自情報を電子透かしとして埋め込
    む、 ことを特徴とする電子透かし埋め込み方法。
28. 【請求項２８】 請求項２５記載の電子透かし埋め込み
    方法において、 前記埋め込み領域検出ステップは、前記埋め込み開始時
    刻と前記埋め込み終了時刻との間に表示される少なくと
    も１つの画像フレーム内にある、少なくとも１つの前景
    オブジェクトの形状情報が全て重なり合う重なり領域を
    検出して、前記重なり領域内の輝度ブロックまたは色ブ
    ロック内の画素の輝度値または色値の前記周波数係数の
    直流成分を中心とした前記周波数係数単位の四分円の半
    径である最低周波数境界と最高周波数境界との間にある
    前記周波数係数を、前記埋め込み領域として検出し、 前記埋め込み位置決定ステップは、前記埋め込み領域に
    対応する前記背景オブジェクトにおける領域内の、輝度
    ブロックまたは色ブロック単位の埋め込み開始位置、及
    び上下左右方向を組み合わせた８方向のうちの１つであ
    る埋め込み方向を、前記領域内の画素の輝度値または色
    値の分布状態より設定し、前記領域内の埋め込みデータ
    サイズを、前記独自情報を基にして設定することで、前
    記埋め込み位置を決定し、 前記周波数領域電子透かし埋め込みステップは、前記背
    景オブジェクトにおける前記領域内の、前記埋め込み位
    置である前記埋め込み開始位置から前記埋め込み方向に
    前記埋め込みデータサイズの範囲内にある、画素の輝度
    値または色値の前記周波数係数に、前記独自情報を電子
    透かしとして埋め込む、 ことを特徴とする電子透かし埋め込み方法。
29. 【請求項２９】 請求項２４記載の電子透かし埋め込み
    方法において、 前記埋め込み領域検出ステップは、前記少なくとも１つ
    の前景オブジェクトの形状の輪郭線であるエッジから、
    前記各前景オブジェクトの形状領域の内部方向またはパ
    ディング領域方向に、画素の輝度値または色値単位で埋
    め込み領域幅を設定することにより、前記埋め込み領域
    を検出し、 前記埋め込み位置決定ステップは、前記埋め込み領域内
    の、輝度ブロックまたは色ブロック単位の埋め込み開始
    位置、及び上下左右方向を組み合わせた８方向のうちの
    １つである埋め込み方向を、前記各前景オブジェクトの
    動き状態より設定するとともに、前記埋め込み領域内の
    埋め込みデータサイズを、前記独自情報を基にして設定
    することで、前記埋め込み位置を決定し、 前記空間領域電子透かし埋め込みステップは、前記少な
    くとも１つの前景オブジェクトにおける前記埋め込み領
    域内の、前記埋め込み位置である前記埋め込み開始位置
    から前記埋め込み方向に前記埋め込みデータサイズの範
    囲内にある、画素の輝度値または色値に、前記独自情報
    を電子透かしとして埋め込む、 ことを特徴とする電子透かし埋め込み方法。
30. 【請求項３０】 請求項２５記載の電子透かし埋め込み
    方法において、 前記埋め込み領域検出ステップは、前記埋め込み領域内
    の、前記少なくとも１つの前景オブジェクトの形状の輪
    郭線であるエッジを含む輝度ブロックまたは色ブロック
    の境界ブロック内の、前記各前景オブジェクトの形状情
    報に応じて配置される画素の輝度値または色値の前記周
    波数係数の外側で、かつ前記境界ブロック内の前記周波
    数係数の直流成分を中心とした前記周波数係数単位の四
    分円の半径である最低周波数境界と最高周波数境界との
    間に、前記周波数係数単位で埋め込み領域幅を設定する
    ことにより、前記埋め込み領域を検出し、 前記埋め込み位置決定ステップは、前記埋め込み領域内
    の、輝度ブロックまたは色ブロック単位の埋め込み開始
    位置、及び上下左右方向を組み合わせた８方向のうちの
    １つである埋め込み方向を、前記各前景オブジェクトの
    動き状態より設定するとともに、前記埋め込み領域内の
    埋め込みデータサイズを、前記独自情報を基にして設定
    することで、前記埋め込み位置を決定し、 前記周波数領域電子透かし埋め込みステップは、前記少
    なくとも１つの前景オブジェクトにおける前記埋め込み
    領域内の、前記埋め込み位置である前記埋め込み開始位
    置から前記埋め込み方向に前記埋め込みデータサイズの
    範囲内にある、画素の輝度値または色値の前記周波数係
    数に、前記独自情報を電子透かしとして埋め込む、 ことを特徴とする電子透かし埋め込み方法。
31. 【請求項３１】 請求項２８または請求項３０記載の電
    子透かし埋め込み方法において、 前記埋め込み領域検出ステップは、画素の輝度値または
    色値の前記周波数係数の最低周波数境界及び最高周波数
    境界を、画質への影響が最小となる帯域、または前記埋
    め込み領域検出ステップより後で使用されるフィルタの
    帯域を基にして決定する、 ことを特徴とする電子透かし埋め込み方法。
32. 【請求項３２】 請求項３１記載の電子透かし埋め込み
    方法において、 前記埋め込み領域検出ステップは、前記少なくとも１つ
    の前景オブジェクトの形状のエッジから、前記各前景オ
    ブジェクトの形状領域の内部方向に設定する前記埋め込
    み領域幅を、前記各前景オブジェクトのエッジ付近にあ
    る画素の輝度値または色値と、前記各前景オブジェクト
    のエッジ付近にある背景オブジェクトの画素の輝度値ま
    たは色値との、平均値の差、または前記各前景オブジェ
    クトのエッジ付近にある前記各前景オブジェクト及び背
    景オブジェクトの画素の輝度値または色値の分散値に比
    例するよう設定する、 ことを特徴とする電子透かし埋め込み方法。
33. 【請求項３３】 請求項２９または請求項３０記載の電
    子透かし埋め込み方法において、 前記埋め込み位置決定ステップは、前記少なくとも１つ
    の前景オブジェクトが静止物体であるとき、前記各前景
    オブジェクトのエッジ付近にある埋め込み領域内の画素
    の輝度値の分散値が大きい部分に、前記埋め込み開始位
    置及び前記埋め込み方向を設定し、 前記各前景オブジェクトが移動物体であるとき、前記埋
    め込み領域内の前記各前景オブジェクトの移動方向と反
    対側のエッジ付近にある埋め込み領域内の画素の輝度値
    または色値に、前記埋め込み開始位置及び埋め込み方向
    を設定する、 ことを特徴とする電子透かし埋め込み方法。
34. 【請求項３４】 請求項２４記載の電子透かし埋め込み
    方法において、 前記埋め込み開始時刻と前記埋め込み終了時刻との間に
    表示される少なくとも１つの画像フレーム内の、前記少
    なくとも１つの前景オブジェクトにおける、完全に透明
    な状態及び完全に不透明な状態の間の状態が任意の値を
    もつ透過度で表される形状情報を有するとき、 前記埋め込み領域検出ステップは、前記埋め込み開始時
    刻と前記埋め込み終了時刻との間に表示される少なくと
    も１つの画像フレーム内にある、前記各前景オブジェク
    トの形状情報が重なり合う領域を、前記埋め込み領域と
    して検出し、 前記埋め込み位置決定ステップは、前記埋め込み領域に
    対応する、前記各前景オブジェクト及び背景オブジェク
    トにおける領域内の、輝度ブロックまたは色ブロック単
    位の埋め込み開始位置、及び上下左右方向を組み合わせ
    た８方向のうちの１つである埋め込み方向を、前記領域
    内の画素の輝度値または色値の分布状態より設定すると
    ともに、前記領域内の埋め込みデータサイズを、前記独
    自情報を基にして設定することで、前記埋め込み位置を
    決定し、 前記空間領域電子透かし埋め込みステップは、前記各前
    景オブジェクトの形状情報の透過度より算出した割合
    で、前記独自情報を前記各前景オブジェクト及び背景オ
    ブジェクトに分配するとともに、前記各前景オブジェク
    ト及び背景オブジェクトにおける前記領域内の、前記埋
    め込み位置である前記埋め込み開始位置から前記埋め込
    み方向に前記埋め込みデータサイズの範囲内にある、画
    素の輝度値または色値に、前記各前景オブジェクト及び
    背景オブジェクトに分配された前記独自情報を電子透か
    しとして埋め込む、 ことを特徴とする電子透かし埋め込み方法。
35. 【請求項３５】 請求項２５記載の電子透かし埋め込み
    方法において、 前記埋め込み開始時刻と前記埋め込み終了時刻との間に
    表示される少なくとも１つの画像フレーム内の、前記少
    なくとも１つの前景オブジェクトにおける、完全に透明
    な状態及び完全に不透明な状態の間の状態が任意の値を
    もつ透過度で表される形状情報を有するとき、 前記埋め込み領域検出ステップは、前記埋め込み開始時
    刻と前記埋め込み終了時刻との間に表示される少なくと
    も１つの画像フレーム内にある、前記各前景オブジェク
    トの形状情報が重なり合う領域を、前記埋め込み領域と
    して検出し、 前記埋め込み位置決定ステップは、前記埋め込み領域に
    対応する、前記各前景オブジェクト及び背景オブジェク
    トにおける領域内の、輝度ブロックまたは色ブロック単
    位の埋め込み開始位置、及び上下左右方向を組み合わせ
    た８方向のうちの１つである埋め込み方向を、前記領域
    内の画素の輝度値または色値の分布状態より設定すると
    ともに、前記領域内の埋め込みデータサイズを、前記独
    自情報を基にして設定することで、前記埋め込み位置を
    決定し、 前記周波数領域電子透かし埋め込みステップは、前記各
    前景オブジェクトの形状情報の透過度より算出した割合
    で、前記独自情報を前記各前景オブジェクト及び背景オ
    ブジェクトに分配するとともに、前記各前景オブジェク
    ト及び背景オブジェクトにおける前記領域内の、前記埋
    め込み位置である前記埋め込み開始位置から前記埋め込
    み方向に前記埋め込みデータサイズの範囲内にある、画
    素の輝度値または色値の前記周波数係数に、前記各前景
    オブジェクト及び背景オブジェクトに分配された前記独
    自情報を電子透かしとして埋め込む、 ことを特徴とする電子透かし埋め込み方法。
36. 【請求項３６】 符号化された画像データを構成する、
    少なくとも１つの符号化された前景オブジェクトまたは
    符号化された背景オブジェクトの画素の輝度値または色
    値から、電子透かしとして埋め込まれた著作権情報等の
    独自情報を抽出し、かつ前記符号化された画像データを
    復号する電子透かし抽出方法において、 前記符号化された画像データに前記独自情報を電子透か
    しとして埋め込む開始時点及び終了時点を指定する埋め
    込み開始時刻及び埋め込み終了時刻等の前記電子透かし
    を抽出するために必要な符号化された抽出制御情報、及
    び前記少なくとも１つの前景オブジェクト及び背景オブ
    ジェクトの表示位置や前後関係を指定する符号化された
    表示制御情報を復号する制御情報復号ステップと、 前記抽出制御情報及び表示制御情報から、抽出制御信号
    及び表示制御信号を生成し、前記符号化された画像デー
    タの復号及び電子透かしの抽出を制御する抽出・復号制
    御ステップと、 前記抽出制御信号で指定される前記埋め込み開始時刻と
    前記埋め込み終了時刻との間に表示される、少なくとも
    １つの画像フレーム内にある少なくとも１つの前景オブ
    ジェクトの形状情報から、前記独自情報が電子透かしと
    して埋め込まれている領域を、抽出領域として検出する
    抽出領域検出ステップと、 前記抽出制御信号に応じて、前記少なくとも１つの前景
    オブジェクトまたは背景オブジェクトにおける前記抽出
    領域内の、前記抽出制御信号で指定される、前記電子透
    かしが埋め込まれている埋め込み位置の範囲内にある画
    素の輝度値または色値から、前記独自情報を抽出する空
    間領域電子透かし抽出ステップと、 前記表示制御信号に応じて、前記少なくとも１つの前景
    オブジェクト及び背景オブジェクトを１つの画面に合成
    してモニターに表示する画像合成ステップと、を有す
    る、 ことを特徴とする電子透かし抽出方法。
37. 【請求項３７】 符号化された画像データを構成する、
    少なくとも１つの符号化された前景オブジェクトまたは
    符号化された背景オブジェクトの画素の輝度値または色
    値の時間周波数変換後の周波数係数から、電子透かしと
    して埋め込まれた著作権情報等の独自情報を抽出し、か
    つ前記符号化された画像データを復号する電子透かし抽
    出方法において、 前記符号化された画像データに前記独自情報を電子透か
    しとして埋め込む開始時点及び終了時点を指定する埋め
    込み開始時刻及び埋め込み終了時刻等の前記電子透かし
    を抽出するために必要な符号化された抽出制御情報、及
    び前記少なくとも１つの前景オブジェクト及び背景オブ
    ジェクトの表示位置や前後関係を指定する符号化された
    表示制御情報を復号する制御情報復号ステップと、 前記抽出制御情報及び表示制御情報から、抽出制御信号
    及び表示制御信号を生成し、前記符号化された画像デー
    タの復号及び電子透かしの抽出を制御する抽出・復号制
    御ステップと、 前記抽出制御信号で指定される前記埋め込み開始時刻と
    前記埋め込み終了時刻との間に表示される、少なくとも
    １つの画像フレーム内にある前記少なくとも１つの前景
    オブジェクトの形状情報から、前記独自情報が電子透か
    しとして埋め込まれている領域を抽出領域として検出す
    る抽出領域検出ステップと、 前記抽出制御信号に応じて、前記抽出領域内の、前記抽
    出制御信号で指定される、前記電子透かしが埋め込まれ
    ている埋め込み位置の画素の輝度値または色値の前記周
    波数係数から、前記独自情報を抽出する周波数領域電子
    透かし抽出ステップと、 前記表示制御信号に応じて、前記少なくとも１つの前景
    オブジェクト及び背景オブジェクトを１つの画面に合成
    してモニターに表示する画像合成ステップと、を有す
    る、 ことを特徴とする電子透かし抽出方法。
38. 【請求項３８】 請求項３６記載の電子透かし抽出方法
    において、 前記独自情報が、前記背景オブジェクトの画素の輝度値
    または色値に、電子透かしとして埋め込まれていると
    き、 前記抽出領域検出ステップは、前記埋め込み開始時刻と
    前記埋め込み終了時刻との間に表示される、前記抽出制
    御信号により指定される画像フレーム内にある、前記少
    なくとも１つの前景オブジェクトの形状情報が重なり合
    う領域を抽出領域として検出し、 前記空間領域電子透かし抽出ステップは、前記抽出領域
    に対応する前記背景オブジェクトにおける領域内の、前
    記抽出制御信号で指定する、輝度ブロックまたは色ブロ
    ック単位の埋め込み開始位置から、上下左右方向を組み
    合わせた８方向のうちの１つである埋め込み方向に、前
    記独自情報のデータ量である埋め込みデータサイズで指
    定される前記埋め込み位置の範囲内にある、画素の輝度
    値または色値から、電子透かしとして埋め込まれた前記
    独自情報を抽出する、 ことを特徴とする電子透かし抽出方法。
39. 【請求項３９】 請求項３７記載の電子透かし抽出方法
    において、 前記独自情報が、前記背景オブジェクトの画素の輝度値
    または色値の時間周波数変換後の周波数係数に、電子透
    かしとして埋め込まれているとき、 前記抽出領域検出ステップは、前記埋め込み開始時刻と
    前記埋め込み終了時刻との間に表示される、前記抽出制
    御信号により指定される画像フレーム内にある、前記少
    なくとも１つの前景オブジェクトの形状情報が重なり合
    う重なり領域を検出し、前記重なり領域内の輝度ブロッ
    クまたは色ブロック内の画素の輝度値または色値の前記
    周波数係数の直流成分を中心とした前記周波数係数単位
    の四分円の半径である最低周波数境界と最高周波数境界
    との間にある前記周波数係数を、抽出領域として検出
    し、 前記周波数領域電子透かし抽出ステップは、前記抽出領
    域に対応する前記背景オブジェクトにおける領域内の、
    前記抽出制御信号で指定する、輝度ブロックまたは色ブ
    ロック単位の埋め込み開始位置から、上下左右方向を組
    み合わせた８方向のうちの１つである埋め込み方向に、
    前記独自情報のデータ量である埋め込みデータサイズで
    指定される、前記埋め込み位置の範囲内にある画素の輝
    度値または色値の前記周波数係数から、電子透かしとし
    て埋め込まれた前記独自情報を抽出する、 ことを特徴とする電子透かし抽出方法。
40. 【請求項４０】 請求項３６記載の電子透かし抽出方法
    において、 前記独自情報が、前記少なくとも１つの前景オブジェク
    トの輝度値または色値に、電子透かしとして埋め込まれ
    ているとき、 前記抽出領域検出ステップは、前記抽出制御信号により
    指定される画像フレーム内にある、前記抽出制御信号に
    より指定される、前記各前景オブジェクトの形状の輪郭
    であるエッジから、前記各前景オブジェクトの形状領域
    の内部方向またはパディング領域方向への、画素の輝度
    値または色値単位の埋め込み領域幅を、抽出領域として
    検出し、 前記空間領域電子透かし抽出ステップは、前記各前景オ
    ブジェクトにおける前記抽出領域内の、前記抽出制御信
    号で指定する、輝度ブロックまたは色ブロック単位の埋
    め込み開始位置から、上下左右方向を組み合わせた８方
    向のうちの１つである埋め込み方向に、前記独自情報の
    データ量である埋め込みデータサイズで指定される、前
    記埋め込み位置の範囲内にある画素の輝度値または色値
    から、電子透かしとして埋め込まれた前記独自情報を抽
    出する、 ことを特徴とする電子透かし抽出方法。
41. 【請求項４１】 請求項３７記載の電子透かし抽出方法
    において、 前記独自情報が、前記少なくとも１つの前景オブジェク
    トの画素の輝度値または色値の前記周波数係数に、電子
    透かしとして埋め込まれているとき、 前記抽出領域検出ステップは、前記抽出制御信号により
    指定される画像フレーム内にある、前記抽出制御信号に
    より指定される、前景オブジェクトの形状の輪郭である
    エッジを含む画素の輝度ブロックまたは色ブロックの境
    界ブロック内の、前記各前景オブジェクトの形状情報に
    応じて配置される画素の輝度値または色値の前記周波数
    係数の外側で、かつ前記周波数係数の直流成分を中心と
    して前記周波数係数単位の四分円の半径である最低周波
    数境界と最高周波数境界との間にある、前記周波数係数
    単位の領域幅を、抽出領域として検出し、 前記周波数領域電子透かし抽出ステップは、前記各前景
    オブジェクトにおける前記抽出領域内の、前記抽出制御
    信号で指定する、輝度ブロックまたは色ブロック単位の
    埋め込み開始位置から、上下左右方向を組み合わせた８
    方向のうちの１つである埋め込み方向に、前記独自情報
    のデータ量である埋め込みデータサイズで指定される、
    前記埋め込み位置の範囲内にある画素の輝度値または色
    値の前記周波数係数から、電子透かしとして埋め込まれ
    た前記独自情報を抽出する、 ことを特徴とする電子透かし抽出方法。
42. 【請求項４２】 請求項３６記載の電子透かし抽出方法
    において、 前記独自情報が、前記埋め込み開始時刻と前記埋め込み
    終了時刻との間に表示される少なくとも１つの画像フレ
    ーム内の、完全に透明な状態及び完全に不透明な状態の
    間の状態が任意の値をもつ透過度で表される形状情報を
    有する、前記少なくとも１つの前景オブジェクト及び背
    景オブジェクトの画素の輝度値または色値に、電子透か
    しとして埋め込まれているとき、 前記抽出領域検出ステップは、前記埋め込み開始時刻と
    前記埋め込み終了時刻との間に表示される、前記抽出制
    御信号により指定される画像フレーム内にある、前記各
    前景オブジェクトの形状情報が重なり合う領域を抽出領
    域として検出し、 前記空間領域電子透かし抽出ステップにおいて、前記抽
    出領域に対応する前記各前景オブジェクト及び背景オブ
    ジェクトにおける領域内の、前記抽出制御信号で指定す
    る、輝度ブロックまたは色ブロック単位の埋め込み開始
    位置から、上下左右方向を組み合わせた８方向のうちの
    １つである埋め込み方向に、前記独自情報のデータ量で
    ある埋め込みデータサイズで指定される、前記埋め込み
    位置の範囲内にある画素の輝度値または色値から、電子
    透かしとして埋め込まれた前記独自情報を抽出する、 ことを特徴とする電子透かし抽出方法。
43. 【請求項４３】 請求項３７記載の電子透かし抽出方法
    において、 前記独自情報が、前記埋め込み開始時刻と前記埋め込み
    終了時刻との間に表示される少なくとも１つの画像フレ
    ーム内の、完全に透明な状態及び完全に不透明な状態の
    間の状態が任意の値をもつ透過度で表される形状情報を
    有する、前記少なくとも１つの前景オブジェクト及び背
    景オブジェクトの画素の輝度値または色値の前記周波数
    係数に、電子透かしとして埋め込まれているとき、 前記抽出領域検出ステップは、前記埋め込み開始時刻と
    前記埋め込み終了時刻との間に表示される、前記抽出制
    御信号により指定される画像フレーム内にある、前記各
    前景オブジェクトの形状情報が重なり合う領域を検出
    し、前記重なり合う領域内の輝度ブロックまたは色ブロ
    ック内の前記画素の輝度値または色値の前記周波数係数
    の直流成分を中心として前記周波数係数単位の四分円の
    半径である最低周波数境界と最高周波数境界との間にあ
    る前記周波数係数を、抽出領域として検出し、 前記周波数領域電子透かし抽出ステップは、前記抽出領
    域に対応する前記各前景オブジェクト及び背景オブジェ
    クトにおける領域内の、前記抽出制御信号で指定する、
    前記周波数係数単位の埋め込み開始位置から、上下左右
    方向を組み合わせた８方向のうちの１つである埋め込み
    方向に、前記独自情報のデータ量である埋め込みデータ
    サイズで指定される、前記埋め込み位置の範囲内にある
    画素の輝度値または色値の前記周波数係数から、前記電
    子透かしとして埋め込まれた独自情報を抽出する、 ことを特徴とする電子透かし抽出方法。
44. 【請求項４４】 コンピュータに、画像データを符号化
    し、かつ前記画像データを構成する、少なくとも１つの
    前景オブジェクトまたは背景オブジェクトの、画素の輝
    度値または色値に、著作権情報等の独自情報を電子透か
    しとして埋め込む処理を実行させるための電子透かし埋
    め込みプログラムが記録されたデータ記録媒体であっ
    て、 前記電子透かし埋め込みプログラムは、 前記独自情報、前記独自情報を電子透かしとして埋め込
    む開始時点及び終了時点を指定する埋め込み開始時刻及
    び埋め込み終了時刻等の電子透かしを埋め込むために必
    要な埋め込み制御情報、前記少なくとも１つの前景オブ
    ジェクト及び背景オブジェクトの表示位置や前後関係を
    指定する表示制御情報、及び前記埋め込み制御情報等を
    基にして電子透かしを抽出するために必要な抽出制御情
    報を生成し、符号化制御信号、及び前記埋め込み制御情
    報を基にして生成した埋め込み制御信号により、前記画
    像データの符号化及び電子透かしの埋め込みを制御する
    埋め込み・符号化制御ステップと、 前記埋め込み制御信号に応じて、前記埋め込み開始時刻
    と前記埋め込み終了時刻との間に表示される、少なくと
    も１つの画像フレーム内にある、前記少なくとも１つの
    前景オブジェクトの形状情報から、前記独自情報を電子
    透かしとして埋め込む、埋め込み領域を検出する埋め込
    み領域検出ステップと、 前記埋め込み制御信号に応じて、前記埋め込み領域内
    の、電子透かしを埋め込む埋め込み位置を決定する埋め
    込み位置決定ステップと、 前記埋め込み制御信号に応じて、前記少なくとも１つの
    前景オブジェクトまたは背景オブジェクトにおける前記
    埋め込み領域内の、前記埋め込み位置の範囲内にある画
    素の輝度値または色値に、前記独自情報を電子透かしと
    して埋め込む空間領域電子透かし埋め込みステップと、 前記表示制御情報及び前記抽出制御情報を符号化する制
    御情報符号化ステップと、を含む、 ことを特徴とするデータ記録媒体。
45. 【請求項４５】 コンピュータに、画像データを符号化
    し、かつ前記画像データを構成する、少なくとも１つの
    前景オブジェクトまたは背景オブジェクトの、画素の輝
    度値または色値の時間周波数変換後の周波数係数に、著
    作権情報等の独自情報を電子透かしとして埋め込む処理
    を実行させるための電子透かし埋め込みプログラムが記
    録されたデータ記録媒体であって、 前記電子透かし埋め込みプログラムは、 前記独自情報、前記独自情報を電子透かしとして埋め込
    む開始時点及び終了時点を指定する埋め込み開始時刻及
    び埋め込み終了時刻等の電子透かしを埋め込むために必
    要な埋め込み制御情報、前記少なくとも１つの前景オブ
    ジェクト及び背景オブジェクトの表示位置や前後関係を
    指定する表示制御情報、及び前記埋め込み制御情報等を
    基にして電子透かしを抽出するために必要な抽出制御情
    報を生成し、符号化制御信号、及び前記埋め込み制御情
    報を基にして生成した埋め込み制御信号により、前記画
    像データの符号化及び電子透かしの埋め込みを制御する
    埋め込み・符号化制御ステップと、 前記埋め込み制御信号に応じて、前記埋め込み開始時刻
    と前記埋め込み終了時刻との間に表示される、少なくと
    も１つの画像フレーム内にある、前記少なくとも１つの
    前景オブジェクトの形状情報から、前記独自情報を電子
    透かしとして埋め込む、埋め込み領域を検出する埋め込
    み領域検出ステップと、 前記埋め込み制御信号に応じて、前記埋め込み領域内
    の、電子透かしを埋め込む埋め込み位置を決定する埋め
    込み位置決定ステップと、 前記埋め込み制御信号に応じて、前記少なくとも１つの
    前景オブジェクトまたは背景オブジェクトにおける前記
    埋め込み領域内の、前記埋め込み位置の範囲内にある画
    素の輝度値または色値の前記周波数係数に、前記独自情
    報を電子透かしとして埋め込む周波数領域電子透かし埋
    め込みステップと、 前記表示制御情報及び前記抽出制御情報を符号化する制
    御情報符号化ステップと、を含む、 ことを特徴とするデータ記録媒体。
46. 【請求項４６】 コンピュータに、符号化された画像デ
    ータを復号し、かつ前記符号化された画像データを構成
    する、少なくとも１つの符号化された前景オブジェクト
    または符号化された背景オブジェクトの画素の輝度値ま
    たは色値から、電子透かしとして埋め込まれた著作権情
    報等の独自情報を抽出する処理を実行させるための電子
    透かし抽出プログラムが記録されたデータ記録媒体であ
    って、 前記電子透かし抽出プログラムは、 前記符号化された画像データに前記独自情報を電子透か
    しとして埋め込む開始時点及び終了時点を指定する埋め
    込み開始時刻及び埋め込み終了時刻等の、前記電子透か
    しを抽出するために必要な符号化された抽出制御情報、
    及び前記少なくとも１つの前景オブジェクト及び背景オ
    ブジェクトの表示位置や前後関係を指定する符号化され
    た表示制御情報を復号する制御情報復号ステップと、 前記抽出制御情報及び表示制御情報から、抽出制御信号
    及び表示制御信号を生成し、前記符号化された画像デー
    タの復号及び電子透かしの抽出を制御する抽出・復号制
    御ステップと、 前記抽出制御信号で指定される前記埋め込み開始時刻と
    前記埋め込み終了時刻との間に表示される、少なくとも
    １つの画像フレーム内にある前記少なくとも１つの前景
    オブジェクトの形状情報から、前記独自情報が電子透か
    しとして埋め込まれている領域を、抽出領域として検出
    する抽出領域検出ステップと、 前記抽出制御信号に応じて、前記少なくとも１つの前景
    オブジェクトまたは背景オブジェクトにおける前記抽出
    領域内の、前記抽出制御信号で指定される、前記電子透
    かしが埋め込まれている前記埋め込み位置の範囲内にあ
    る画素の輝度値または色値から、前記独自情報を抽出す
    る空間領域電子透かし抽出ステップと、 前記表示制御信号に応じて、前記少なくとも１つの前景
    オブジェクト及び背景オブジェクトを１つの画面に合成
    してモニターに表示する画像合成ステップと、 を含む、 ことを特徴とするデータ記録媒体。
47. 【請求項４７】 コンピュータに、符号化された画像デ
    ータを復号し、かつ前記符号化された画像データを構成
    する、少なくとも１つの符号化された前景オブジェクト
    または符号化された背景オブジェクトの画素の輝度値ま
    たは色値の時間周波数係数変換後の周波数係数から、電
    子透かしとして埋め込まれた著作権情報等の独自情報を
    抽出する処理を実行させるための電子透かし抽出プログ
    ラムが記録されたデータ記録媒体であって、 前記電子透かし抽出プログラムは、 前記符号化された画像データに前記独自情報を電子透か
    しとして埋め込む開始時点及び終了時点を指定する埋め
    込み開始時刻及び埋め込み終了時刻等の、前記電子透か
    しを抽出するために必要な符号化された抽出制御情報、
    及び前記少なくとも１つの前景オブジェクト及び背景オ
    ブジェクトの表示位置や前後関係を指定する符号化され
    た表示制御情報を復号する制御情報復号ステップと、 前記抽出制御情報及び表示制御情報から、抽出制御信号
    及び表示制御信号を生成し、前記符号化された画像デー
    タの復号及び電子透かしの抽出を制御する抽出・復号制
    御ステップと、 前記抽出制御信号で指定される前記埋め込み開始時刻と
    前記埋め込み終了時刻との間に表示される、少なくとも
    １つの画像フレーム内にある前記少なくとも１つの前景
    オブジェクトの形状情報から、前記独自情報が電子透か
    しとして埋め込まれている領域を抽出領域として検出す
    る抽出領域検出ステップと、 前記抽出制御信号に応じて、前記少なくとも１つの前景
    オブジェクトまたは背景オブジェクトにおける前記抽出
    領域内の、前記抽出制御信号で指定される、前記電子透
    かしが埋め込まれている前記埋め込み位置の範囲内にあ
    る画素の輝度値または色値の前記周波数係数から、前記
    独自情報を抽出する周波数領域電子透かし抽出ステップ
    と、 前記表示制御信号に応じて、前記少なくとも１つの前景
    オブジェクト及び背景オブジェクトを１つの画面に合成
    してモニターに表示する画像合成ステップと、を含む、 ことを特徴とするデータ記録媒体。