JP2002118843A - 背景スプライトと前景オブジェクトの分離方法、及び前景の形状マスク抽出方法、並びにその装置 - Google Patents

Abstract

(57)【要約】 【課題】 ＭＰＥＧ−４におけるスプライト符号化にお
いて、前景と背景をクリアに分離することを目的とす
る。 【解決手段】 １つの方法は、動画像から前景オブジェ
クトと背景スプライト画像を分離する方法であり、仮ス
プライトを作成し、それを基に、前景と背景を分離し、
この分離後の背景を元に背景スプライトを作成する。更
なる方法は、予め算出された背景画像と任意の画像との
差分を用いて形状マスクを抽出する方法であり、マクロ
ブロックの所定値が第１の所定の値以上である場合、そ
のマクロブロックを前景とする第１の過程と、前景と判
断されたマクロブロックの近傍のマクロブロックについ
て、マクロブロックの所定値が第２の所定の値以上であ
る場合、そのマクロブロックを前景とする第２の過程と
を有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＭＰＥＧ−４のオ
ブジェクト符号化の中のスプライト符号化において、背
景スプライトと前景オブジェクトを分離する技術に関す
る。

【０００２】特に、ＭＰＥＧ−４においてVersion 1 Ma
in Profileでビデオオブジェクト毎に符号化する「オブ
ジェクト符号化」において、背景オブジェクトをパノラ
マ画像で表現する（スプライト符号化）によりサポート
される前景オブジェクトと背景スプライトを分離抽出す
る技術に関する。

【０００３】また、本発明は、ＭＰＥＧ−４での任意形
状オブジェクト表現であるテクスチャマップと形状マス
クのうちの、形状マスクを生成する前景の形状マスク抽
出技術に関する。

【０００４】

【従来の技術】本明細書の説明において、便宜上、動物
体を前景オブジェクト、背景パノラマを背景スプライト
と記す。

【０００５】背景スプライトと前景オブジェクトを分離
する技術に関連し、従来の前景オブジェクトの抽出に関
する技術としては、第１に、一定色で作られた背景の前
面に人物等を配置して、人物等前景をクロマキー処理し
て抜き出す方法がある。

【０００６】また、第２に、予め手動でおおまかな輪郭
を指定し、その周囲の画素を前景か背景か判断する方法
がある。

【０００７】また、第３に、固定カメラの下で撮影され
た画像において、フレーム間差分によって動領域輪郭を
特定し、その内側を前景、外側を背景と判断する方法が
ある。

【０００８】従来の背景スプライトの抽出に関する技術
としては、第１に、スプライト作成に共通の前処理とし
て、隣接フレーム間のグローバルモーションを算出し、
それを基準座標からの変換（絶対グローバルモーショ
ン）を計算する。その後、絶対グローバルモーションで
位置合わせされた各フレームは時間方向にメディアン、
平均値をとる方法がある。

【０００９】また、第２に、前処理後、絶対グローバル
モーションを用いて位置合わせをし、そのままオーバラ
イト（上書き）、もしくは、アンダーライト（画素の決
定されていないところだけ、埋めていく）する方法があ
る。

【００１０】しかしながら、上記従来の前景オブジェク
トを抽出する第１の方法は、既存の映像には適用できな
いという問題と、クロマキー用の大掛りな装置を必要と
するという問題がある。

【００１１】また、上記従来の前景オブジェクトを抽出
する第２の方法は、人手を介する必要があり、リアルタ
イムアプリケーションには不適切であるという問題があ
る。

【００１２】また、上記従来の前景オブジェクトを抽出
する第３の方法は、フレーム間差分を基本としているた
め、カメラの動き（パン、チルトなど）がある場合に、
前景オブジェクトの輪郭情報が得られないという問題が
ある。また、カメラの動きをキャンセルするようなフレ
ームの位置合わせ処理を行って、差分をとったとして
も、カメラの動きを完全にキャンセルできないために、
前景オブジェクト以外のところにも差分値が現れ、前景
オブジェクトの輪郭の特定が困難になるという問題があ
る。

【００１３】また、上記従来の背景スプライトを抽出す
る第１の方法は、多少なりともグローバルモーションに
誤差があると、位置合わせが微妙にずれて、スプライト
の品質を悪化させるという問題がある。

【００１４】また、上記従来の背景スプライトを抽出す
る第２の方法は、スプライトの画質はよいものの、一番
手前にくる画像の前景がそのままスプライトに残ってし
まうという問題がある。

【００１５】次に、ＭＰＥＧ−４での任意形状オブジェ
クト表現であるテクスチャマップと形状マスクのうち
の、形状マスクとしての前景オブジェクト形状を生成す
る従来技術について説明する。

【００１６】従来の前景オブジェクト生成方法として、
背景画像と任意の画像の差分を閾値処理し、ある閾値よ
り大きい差分を得られる座標を動物体と見做し、前景画
像とする技術がある。まず、この生成された前景オブジ
ェクトを符号化する方法としてのＭＰＥＧ−４のオブジ
ェクト符号化について説明する。

【００１７】ＭＰＥＧ−４においては、任意形状の前景
オブジェクトを符号化できる。一つの前景オブジェクト
は、一対のテクスチャマップと形状マスクで表現でき
る。形状マスクには、透過度も考慮した多値形状、透過
度は考慮しない２値形状の２種類あるが、ここでは、２
値形状のみを想定する。テクスチャマップは、オブジェ
クトの存在する場所に従来方式（ＭＰＥＧ１、２等）に
おける輝度（Ｙ信号）及び色差信号（Ｃｂ、Ｃｒ信号）
が充てられるものである。形状マスクはオブジェクトの
存在する部分に２５５の値が、また、それ以外の部分に
０の値が充てられるものである。ある画素（座標）にお
いて、テクスチャに３種類、形状に１種類の計４種類の
画素値が充てられる。ここでは、区別するために、それ
ぞれをテクスチャ画素、形状画素と呼ぶことにする。テ
クスチャ画素は０から２５５の値をとる。また、形状画
素は０もしくは２５５の値をとる。図１（ａ）にテクス
チャ表現の例を、図１（ｂ）に形状マスク表現の例を示
す。

【００１８】ＭＰＥＧ−４の形状符号化について以下に
説明する。なお、以下で説明する内容はＭＰＥＧ−４に
おける形状符号化として当業者に知られているものであ
る。（詳しくは、参考文献「ＭＰＥＧ−４のすべて」p
p.38 〜116 工業調査会編）形状の符号化はｓ画素×ｓ
画素のマクロブロック単位で行われる。マクロブロック
は任意の８×８画素、１６×１６画素など任意の大きさ
でよい。形状符号化にはロスレス（可逆）、ロッシー
（非可逆）の２通りの方法がある。一番粗いロッシー符
号化では、形状がマクロブロック単位まで近似され、符
号量は一番少ない。図２に、従来のマクロブロック化の
例を示す。

【００１９】同図（ａ）は、元の形状を示し、同図
（ｂ）は、一番粗いロッシーの符号化の背景画像を用い
た前景オブジェクト抽出における、マクロブロック化の
典型例を示す。具体的にはマクロブロック内の画素にお
いて、その半分以上の画素が２５５の値をとる場合、即
ち、マクロブロックの半分以上の面積をオブジェクト形
状が占める場合、そのマクロブロック内すべての形状画
素が２５５の値をとる。それ以外の場合は、マクロブロ
ック内すべての形状画素値を０にするというものであ
る。

【００２０】以下に、ＭＰＥＧ−４オブジェクト符号化
を用いた例を示す。もともとの画像を前景オブジェクト
と背景オブジェクトに切り分け、さらに、背景オブジェ
クトをスプライトと呼ばれる一枚のパノラマ静止画像
（以下、背景スプライトと記す）で表現する。そして、
前景オブジェクトに対し形状とテクスチャの符号化を行
い、背景スプライトはＭＰＥＧ−４スプライト符号化
（前述の参考文献「ＭＰＥＧ−４のすべて」を参照）を
行う。こうすることで、画像を前景オブジェクトと背景
スプライトに切り分けずにＭＰＥＧ−４のシンプルプロ
ファイルの符号化（従来のＭＣ＋ＤＣＴをベースにした
符号化）を行った場合と比べて、同程度の画質をより少
ない符号量で達成することが可能である。

【００２１】しかしながら、上記従来のＭＰＥＧ−４形
状符号化には、以下のような問題がある。

【００２２】第１に、ロスレス符号化及び精度の高いロ
ッシー符号化では、形状が複雑な場合、形状符号量が多
くなる。特に、前景オブジェクトを自動生成する場合は
この傾向にある。

【００２３】第２に、ロスレス符号化及び精度の高いロ
ッシー符号化では、形状の復号にパディングというテク
スチャ画素を補填する処理があり、これは復号処理に多
大なコストがかかる。ソフトウェアで実時間復号を実現
する場合に問題となる。

【００２４】第３に、一番符号量の少ないロッシー符号
化では、上記の２つの問題は回避できるものの、形状が
オブジェクト内部にまで浸食し、図２（ｂ）に示すよう
に見た目に妨害となるという問題がある。

【００２５】第４に、前景に対してＭＰＥＧ−４オブジ
ェクト符号化、背景に対してスプライト符号化を用いた
場合には、劇的な符号量削減ができるのは、前景部分の
全画像に対する面積比率がある程度以下の場合であり、
それ以上の場合はかえって符号量が増大するという問題
がある。

【００２６】

【発明が解決しようとする課題】本発明は上記の点に鑑
みてなされたものであり、その第１の目的は、クロマキ
ーなどの大掛りな仕掛けを必要とせず、人手を介さず、
全自動処理で前景オブジェクトと背景スプライトを抽出
することを可能とし、更に、カメラの動きの影響を受け
ないロバストな処理手法を実現し、前景のない品質のよ
い背景スプライトを作成することが可能な前景オブジェ
クト・背景スプライト分離抽出方法及び装置及び前景オ
ブジェクト・背景スプライト分離抽出プログラムを格納
した記憶媒体を提供することである。

【００２７】本発明の第２の目的は、予め算出された背
景画像と任意の画像との差分を用いた前景の形状マスク
抽出において、前景の浸食が少なく、かつ、形状符号量
の少ないマクロブロックベースの形状近似を行うことが
可能な前景の形状マスク抽出方法及び装置及び前景の形
状マスク抽出プログラムを格納した記憶媒体を提供する
ことを目的とする。また、本発明の更なる目的は、前景
面積比率を制御することが可能な前景の形状マスク抽出
方法及び装置及び前景の形状マスク抽出プログラムを格
納した記憶媒体を提供することである。

【００２８】

【課題を解決するための手段】上記の第１の目的を達成
するために、本発明は次のように構成される。

【００２９】本発明は、動画像から前景オブジェクトと
背景スプライト画像を抽出するための前景オブジェクト
・背景スプライト分離抽出方法において、動画像におけ
る基準フレームと任意のフレームの座標系の変換を行う
グローバルモーションを算出し、任意のフレームの原画
像を前記グローバルモーションを用いて基準フレームの
座標である基準座標にマッピングし、同じ座標に所属す
る複数の画素値から該座標の画素値を求め、前景オブジ
ェクトを消去した仮スプライト（パノラマ画像）を作成
し、任意のフレームにおいて、前記仮スプライトから前
記グローバルモーションで切り出された画像と前記原画
像の差分が所定の閾値以上の部分を前景オブジェクト画
像、それ以外の部分を背景画像として切り出し、任意の
フレームにおいて、前記背景画像を前記グローバルモー
ションを用いて前記基準座標にマッピングし、画素値が
決定されていない基準座標のみ新しい画素を挿入する
か、又は、画素を上書きすることにより、背景スプライ
トを生成し、背景スプライトとして出力する。

【００３０】上記の方法において、生成された前記背景
スプライトから前記グローバルモーションで切り出され
た画像と前記原画像の差分が、所定の閾値以上の部分を
前景オブジェクト画像として出力する処理を更に行うよ
うにしてもよい。上記の第１の目的に対応する発明によ
れば、グローバルモーションを算出し、任意のフレーム
の原画像を当該グローバルモーションを用いて基準フレ
ームの座標にマッピングし、同じ座標に属する複数の画
素値から座標の画素値を求め、前景オブジェクトを消去
した仮スプライトを作成し、あるフレームにおいて仮ス
プライトからグローバルモーションで切り出された画像
を原画像の差分が所定の閾値以上の部分を前景オブジェ
クト画像とし、それ以外を背景画像として切り出して基
準座標にマッピングし、画素値が決定されていない基準
座標のみ新しい画素を挿入するか、前景オブジェクトを
削除してしまったフレームをオーバーライトすることに
より、前景スプライトを生成することが可能となる。

【００３１】また、前景オブジェクトの抽出により、ス
プライトから切り出される画像と対象となる画像の差分
（背景差分）を用いることで、グローバルモーションの
ずれや雑音に対してロバストにスプライトを抽出するこ
とが可能となる。

【００３２】上記の第２の目的を達成するために、本発
明は第１に次のように構成することができる。

【００３３】本発明は、動画像符号化の中のオブジェク
ト符号化における前景の形状マスク抽出方法であり、前
景部分を第１の値、背景部分を第２の値で表現した前景
マスク画像を入力し、前記前景マスク画像の前景部分が
マクロブロック内に、第１の所定の値ｎ（ｎ≧１）画素
以上あるかを判定し、該第１の所定の値の画素以上の前
景部分がある場合にはマクロブロック内の形状画素値を
全て第１の値に変換する第１の過程と、前記第１の過程
において、形状画素に第１の値が付与されたマクロブロ
ック近傍のマクロブロックに、第２の所定の値ｍ（ｍ＜
ｎ）画素以上の前景部分がある場合には、そのマクロブ
ロック内の形状画素値を全て第１の値に変換し、前景の
形状マスクを出力する第２の過程とからなる。

【００３４】また、上記構成において、一度背景として
判定されたマクロブロックを入力し、入力された背景の
マクロブロックと原画像との差分処理を行い、２値化処
理し、差分情報と２値情報を用いて、前記第１の過程
と、前記第２の過程を実行し、前記差分処理の結果、差
分が所定の閾値以上の画素を含むマクロブロックを前景
とし、該マクロブロックの画素値を第１の値に変換する
ようにしてもよい。

【００３５】これにより前景を回復することが可能とな
る。

【００３６】また、上記の第２の目的に対応する第１の
発明は、次のように個数マップを用いた発明として構成
することもできる。

【００３７】本発明は、動画像符号化の中のオブジェク
ト符号化における前景の形状マスク抽出方法であり、前
景マスク画像を入力し、前記前景マスク画像の前景部分
の画素数をマクロブロック毎に算出して個数マップを作
成し、前景マップを初期化し、マクロブロック毎に前記
個数マップの値が第１の所定の値ｎ（ｎ≧１）以上であ
るか否かを判定し、あるマクロブロックに対応する前記
個数マップの値が該第１の所定の値以上である場合に
は、前記前景マップにおける該マクロブロックに対応す
る位置に所定の値を設定する第１の過程と、前記第１の
過程において、前記所定の値が設定された前記前景マッ
プの位置に対応するマクロブロックの近傍のマクロブロ
ック毎に、前記個数マップの値が第２の所定の値ｍ（ｍ
＜ｎ）以上であるか否かを判定し、あるマクロブロック
に対応する前記個数マップの値が該第２の所定の値以上
である場合には、前記前景マップにおける該マクロブロ
ックに対応する位置に前記所定の値を設定し、該前景マ
ップの値から前景の形状マスクを生成して出力する第２
の過程とからなる。

【００３８】また、上記の第２の目的を達成するため
に、本発明は第２に次のように構成することができる。

【００３９】本発明は、予め算出された背景画像と任意
の画像との差分を用いて前景の形状マスクを抽出する前
景の形状マスク抽出方法において、前記背景画像と前記
任意の画像について、画素毎に絶対差分を計算し、差分
画像を求める過程と、該差分画像をマクロブロックに分
割して、該マクロブロックにおいて、エネルギーマップ
を初期化する過程と、前記マクロブロックにおけるエネ
ルギー値を算出する過程と、前記差分画像における各マ
クロブロックのエネルギー値の平均値を求める過程と、
前記任意の画像のサイズに対する前景マスクのサイズの
割合である前景率を算出し、前景の形状マスクを生成す
る前景制御算出過程とからなる。

【００４０】また、前記前景率制御算出過程において、
前記マクロブロックにおけるエネルギー値をエネルギー
値の平均値で除し、その値がα（α≧１．０）以下であ
れば０に変更し、前記エネルギー値の最大値を算出して
第１の所定の値とし、該第１の所定の値より小さい値を
第２の所定の値とし、前景マップを初期化し、仮の前景
マップを初期化し、前記エネルギー値が前記第１の所定
の値以上のマクロブロックの全てについて、前記仮の前
景マップに所定の値を設定し、前記仮の前景マップの値
が前記所定の値の数をカウントし、カウント値を全マク
ロブロック数で除した値が予め決められている第３の所
定の値よりも大きい場合には、前記マップの値から最終
の前景形状マスクを生成して出力し、そうでない場合に
は、前記仮の前景マップの値を前記前景マップにコピー
し、前記仮の前景マップに前記所定の値が設定されてい
るマクロブロックの近傍において、前記第２の所定の値
以上のエネルギーがあるマクロブロックを前景とみな
し、仮の前景マップに前記所定の値を設定する処理を、
該仮の前景マップの該所定の値の数を全マクロブロック
数で除した値が前記第３の所定の値よりも大きくなるま
で行い、前記前景マップから前景の形状マスクを生成し
て出力し、若しくは、前記処理を所定回数行った後に前
記除した値が前記第３の所定の値よりも大きくならない
場合には、前記仮の前景マップの値を前記前景マップに
コピーし、前記第１及び第２の所定の値を更新して前記
仮の前景マップを初期化する処理以降の処理を行う。

【００４１】また、上記の第２の目的を達成するため
に、本発明は第３に次のように構成することができる。

【００４２】本発明は、予め算出された背景画像と任意
の画像との差分を用いて前景の形状マスクを抽出する前
景の形状マスク抽出方法であり、前記差分から算出した
マクロブロックのエネルギー値が第１の所定の値以上で
ある場合、そのマクロブロックを前景とする第１の過程
と、前景と判断されたマクロブロックの近傍のマクロブ
ロックについて、マクロブロックのエネルギー値が第２
の所定の値以上である場合、そのマクロブロックを前景
とする第２の過程とを有する。

【００４３】また、前記第２の過程を所定の回数行うよ
うにしてもよい。

【００４４】また、本発明は、予め算出された背景画像
と任意の画像との差分を用いて前景の形状マスクを抽出
する前景の形状マスク抽出方法において、前記背景画像
と前記任意の画像との差分から各マクロブロックのエネ
ルギー値と、その平均値を算出する過程と、各マクロブ
ロックにおけるエネルギー値をその平均値で除し、その
値が所定の値以下であれば０に変更する過程と、各マク
ロブロックのエネルギー値が第１の所定の値以上である
場合、そのマクロブロックを前景とする過程と、前景と
判断されたマクロブロックの近傍のマクロブロックにつ
いて、マクロブロックのエネルギー値が第２の所定の値
以上である場合、そのマクロブロックを前景とする処理
を所定回数繰り返して行う過程とを有するようにしても
よい。

【００４５】第２の目的に対応する上記３つの発明によ
れば、マクロブロックにおける前景領域を表す形状画素
数又はマクロブロックのエネルギー値が各々所定の値以
上である場合、そのマクロブロック全体を前景と見做
し、さらに、前景と判断されたマクロブロックの近傍の
マクロブロックについて、別の値を用いて同様の判断を
行う。これは、上記第２の目的に対応する第２の発明で
は前景と見なされたマクロブロックの数がある値を超え
るまで行われる。

【００４６】これにより、領域形状が単純化されるた
め、ＭＰＥＧ−４符号化におけるオブジェクト符号化を
行った場合に符号量を少なく抑えることができる。ま
た、抽出されたオブジェクトに穴が無いため、良好な見
た目を与える効果がある。

【００４７】本発明の他の特徴及び利点は、添付の図面
を用いた以下の説明により明らかになる。

【００４８】

【発明の実施の形態】最初に、第１の目的に対応した発
明について説明する。まず、図３を用いて第１の目的に
対応した発明の原理について説明する。

【００４９】本発明は、動画像から前景オブジェクトと
背景スプライト画像を抽出するための前景オブジェクト
・背景スプライト分離抽出方法であり、まず、動画像に
おける基準フレームと任意のフレームの座標系の変換を
行うグローバルモーションを算出し（ステップ１）、任
意のフレームの原画像をグローバルモーションを用いて
基準フレームの座標である基準座標にマッピングし（ス
テップ２）、同じ座標に所属する複数の画素値から該座
標の画素値を求め（ステップ３）、前景オブジェクトを
消去した仮スプライト（パノラマ画像）を作成し（ステ
ップ４）、任意のフレームにおいて、仮スプライトから
グローバルモーションで切り出された画像と原画像の差
分が所定の閾値以上の部分を前景オブジェクト画像、そ
れ以外の部分を背景画像として切り出し（ステップ５、
６）、任意のフレームにおいて、背景画像をグローバル
モーションを用いて基準座標にマッピングし（ステップ
７）、画素値が決定されていない基準座標のみ新しい画
素を挿入して背景スプライトを生成し、背景スプライト
として出力する（ステップ８）。

【００５０】［第１の実施例］次に、本発明の第１の実
施例について説明する。この実施例は本発明の第１の目
的に対応する実施例である。

【００５１】図４は、本発明の前景オブジェクト・背景
スプライト分離抽出装置の構成を示す図である。

【００５２】同図に示す前景オブジェクト・背景スプラ
イト分離抽出装置は、グローバルモーション算出部１、
仮スプライト生成部２、前景オブジェクト抽出部３、及
び背景スプライト生成部４から構成される。

【００５３】グローバルモーション算出部１は、入力さ
れた原画像（動画像）における基準フレームと任意のフ
レームの座標系の変換（グローバルモーション）を算出
する。

【００５４】仮スプライト生成部２は、原画像とグロー
バルモーション算出部１からグローバルモーションが入
力され、任意のフレームの原画像を当該グローバルモー
ションを用いて基準フレームの座標（基準座標）にマッ
ピングし、同じ座標に所属する複数の画素値から当該座
標の画素値を求め、前景オブジェクトを消去したスプラ
イト（パノラマ画像）を作成する。

【００５５】前景オブジェクト抽出部３は、原画像とグ
ローバルモーション算出部１からグローバルモーション
及び、仮スプライト生成部２から仮スプライトが入力さ
れ、当該仮スプライトからグローバルモーションで切り
出された画像と原画像の差分がある閾値以上の部分を前
景オブジェクト画像、それ以外を背景画像として切り出
す。

【００５６】背景スプライト生成部４は、グローバルモ
ーションと前景オブジェクト抽出部３から背景画像が入
力され、任意のフレームにおいて、前述の背景画像をグ
ローバルモーションによって基準座標にマッピングし、
画素値が決定されていない基準座標にのみ新しい画素を
挿入して、背景スプライトを生成する。このように、画
素値が決定されていない基準座標にのみ新しい画素を挿
入して、背景スプライトを生成する方法をアンダーライ
トと称する。なお、背景画像の画素を背景スプライトに
そのまま上書きするオーバーライトによる方法で生成す
ることもできる。

【００５７】これにより、前景オブジェクト画像及びぼ
けのない背景スプライトを自動的に抽出することができ
る。なお、生成された背景スプライトの中で、埋まらな
い部分が生ずることがあるが、これは前景のある部分で
あるので問題ない。

【００５８】次に、図４における構成及び動作をより詳
細に説明する。

【００５９】図４におけるグローバルモーション算出部
１は、任意のフレームにおける基準フレームのグローバ
ルモーション（カメラモーションなど一組のパラメータ
で画像全体を表す動き、大局的な動き）を算出する。グ
ローバルモーションは、一般に、座標系の変換行列で表
現することができる。以下にその例を示す。

【００６０】基準フレームの座標系（ｘ０，ｙ０）と、
あるフレームＡの座標系（ｘ１，ｙ１）間の座標変換
は、以下の式（１）のとおり、

【００６１】

【数１】 で表現される。

【００６２】

【数２】 上記で算出されたグローバルモーションは、仮スプライ
ト生成部２の入力の一つとなる。

【００６３】仮スプライト生成部２は、図５に示すよう
に、時間メディアン統合部２１を有する。時間メディア
ン統合部２１は、各々のフレームにグローバルモーショ
ンを用いて各フレームの画像を基準フレームの座標系
（基準座標）にマッピングする。さらに、同じ座標にマ
ッピングされた複数の画素に関しては、画素値のメディ
アン値（中央値）を仮スプライトのその座標の値として
選択する。こうして仮スプライトが生成される。メディ
アン値を選択することで、仮スプライトは前景オブジェ
クトのないパノラマ画像として抽出される。動物体領域
がその座標値画素の半分より少なければ、メディアンを
とることで動物体を反映する画素は選択されないので、
動領域のないスプライトを生成することができる。

【００６４】仮スプライト生成部３で生成された前景の
ない仮スプライトは、前景オブジェクト抽出部３に入力
される。

【００６５】前景オブジェクト抽出部３は、原画像とグ
ローバルモーション算出部１で得られたグローバルモー
ションと、仮スプライト生成部２で得られた仮スプライ
トを入力として、前景オブジェクト画像と原画像から前
景を消去した背景画像をフレーム毎に出力する。

【００６６】図６は、本発明の第１の実施例の前景オブ
ジェクト抽出部３の構成を示す。同図に示す前景オブジ
ェクト抽出部３は、切り出し部３１、差分画像生成部３
２、差分対応部３３、マスク処理部３４から構成され
る。

【００６７】切り出し部３１は、仮スプライトと任意の
フレームにおけるグローバルモーションが入力され、仮
スプライトから画像を切り出す。この画像をＧＭ画像と
いう。

【００６８】差分画像生成部３２は、任意のフレームに
おいて、切り出し部３１で切り出されたＧＭ画像と原画
像が入力され、差分画像を出力する。当該差分は、ＧＭ
画像と原画像の対応する座標における画素値の絶対差分
値を採択する。

【００６９】差分対応部３３は２値化画像を出力する。
ここでは、差分画像が差分画像生成部３２から入力さ
れ、ある閾値よりも差分値が高いものを１、それ以外を
０として、１、０からなる２値化画像を出力する。

【００７０】マスク処理部３４は、原画像と、差分対応
部３３から２値化画像が入力され、２値化画像の画素値
１に対応する部分を原画像の値、それ以外は、０を採択
した前景オブジェクト画像を出力する。また、２値画像
の画素値０に対応する部分を原画像の値に、それ以外は
０を採択した背景画像を出力する。この背景画像は背景
スプライト生成部４の入力となる。

【００７１】背景スプライト生成部４には、前景オブジ
ェクト抽出部３から背景画像が入力され、グローバルモ
ーション算出部１からグローバルモーションが入力され
る。背景スプライト生成部４は、図７に示すオーバーラ
イト／アンダーライト統合部４１を有する。

【００７２】図７は、本発明の第１の実施例の背景スプ
ライト生成部の構成を示す図である。オーバーライト／
アンダーライト統合部４１は、グローバルモーションと
前述の背景画像を入力し、背景画像のこの画像をグロー
バルモーションと座標値から計算される基準座標の座標
にマッピングする。オーバーライト／アンダーライト統
合部４１は、オーバーライト又はアンダーライトの方法
を用いて上記の処理を行う。例えば、アンダーライトの
ときには、基準座標においてまだ画素値が確定していな
い座標（画素値未確定領域）のみ、値を挿入し、画素値
確定とする。このようにして図８に示すような画素値確
定領域を背景スプライトとして生成する。

【００７３】すなわち、図８に示すように、画素値未確
定領域に同図における右上から画像を張り付けることに
より画素値が順次確定する。左下の部分は、現フレーム
であり、新たに画素を確定する領域を示している。この
ように、画素値の決定していない部分を埋めていく処理
を行う。

【００７４】上記のように、仮の背景スプライトを作成
し、それに基づき、画面ごとの前景と背景を分離した
後、この分離後の背景を元に目的の背景スプライトを生
成することによって、クリアでぼけのない背景スプライ
トを得ることができる。

【００７５】［第２の実施例］図９は、本発明の第２の
実施例の抽出装置の構成を示す図である。この実施例は
第１の目的に対応する別の実施例である。同図に示す前
景オブジェクト・背景スプライト分離抽出装置は、グロ
ーバルモーション算出部１１、仮スプライト生成部１
２、前景オブジェクト抽出部１３、背景スプライト生成
部１４、及び前景オブジェクト抽出部１５から構成され
る。同図に示す前景オブジェクト・背景スプライト分離
抽出装置は、図４に示す構成の最後に前景オブジェクト
抽出部１５を付加したものであり、その前段までのグロ
ーバルモーション算出部１１、仮スプライト生成部１
２、前景オブジェクト抽出部１３、背景スプライト生成
部１４は、図４の構成要素と同一の機能を有し、同じ処
理を行うものとする。但し、前景オブジェクト抽出部１
３では、最終的な前景オブジェクト画像は出力しない。

【００７６】前景オブジェクト抽出部１５は、背景スプ
ライト生成部１４で算出された背景スプライトとグロー
バルモーション、原画像を入力して、前景オブジェクト
画像を出力する。前景オブジェクト抽出部１５は、前述
の図４の前景オブジェクト抽出部３及び図９の前景オブ
ジェクト抽出部１３と同様の処理を行う。

【００７７】このように、前景オブジェクト抽出処理を
２回行うことによって、背景スプライトに前景が残らな
くなる。これは以下の理由による。

【００７８】すなわち、仮スプライトから切り出された
ＧＭ画像と原画像との差分から前景を算出した時、動領
域の一部が抽出されない場合も考えられる。この領域が
背景スプライトに反映された場合、背景スプライト、及
び合成時に背景スプライトから切り出されたＧＭ画像の
品質を劣化させる。ここで、もう一度、生成された背景
スプライトと原画像とを用いて前景を求めると、背景の
誤抽出部分と前景の正しい部分の差分の値が大きくな
る。従って、この部分が前景となり背景の誤抽出を隠す
効果があり、背景スプライトに前景が残らなくなる。

【００７９】上述のように、第１及び第２の実施例によ
れば、クロマキーなどの大掛りな装置を必要としない。
また、既存の映像にも適用できる。

【００８０】また、自動的に前景オブジェクト画像及び
背景スプライトを取得することができるため人手を介さ
ない。

【００８１】また、グローバルモーションのずれや雑音
にロバストに前景を抽出することができる。

【００８２】さらに、前景が残らず、クリアで高品質の
スプライトを生成することができる。

【００８３】次に、本発明の第２の目的に対応した発明
について、第３〜第５の実施例を用いて説明する。

【００８４】なお、これから説明する第２の目的に対応
する発明は、第１及び第２の実施例を用いて説明した第
１の目的に対応する発明における前景オブジェクト抽出
部に適用することができる。すなわち、第１の実施例で
説明した図６の前景オブジェクト抽出部におけるマスク
処理部３４において、入力された２値化画像に対して後
述する初期マクロブロック近似処理及び拡張マクロブロ
ック近似処理を行い形状マスクを生成することにより、
従来より少ない形状符号量で見た目の良好な前景オブジ
ェクト画像を抽出することが可能となる。

【００８５】まず、第３〜第５の実施例に共通する概念
について説明する。第３〜第５の実施例では、前景の形
状マスクを求めることを目的とし、そのために、まず、
背景画像と任意の画像の差分を算出する。図１０
（Ａ）、（Ｂ）を用いて背景画像と任意の画像の差分を
算出する例について説明する。

【００８６】図１０（Ａ）は、通常の背景画像と任意の
画像の差分を算出する例を示す図であり、図１０（Ｂ）
は、ＭＰＥＧ−４符号化において、背景画像の代わりに
背景スプライトが用意された場合の適用例を示す図であ
る。背景スプライトから任意の画像の背景部分を切り出
し、任意の画像との差分をとる。本発明は、通常の背景
画像もしくは、背景スプライトを用いた場合の両方に適
用できる。

【００８７】次に、上記のようにして求めた差分画像か
ら前景の形状マスクを求める方法の概念について図１１
（ａ）〜（ｃ）を用いて説明する。

【００８８】同図（ａ）は、元の形状を表し、同図の一
つのマトリックスは、バウンディングボックスを示す。
バウンディングボックスとは、ＭＰＥＧ−４においてオ
ブジェクトを包含する１６画素の倍数の画素数を１辺に
持つ最小の面積の領域である。また、本発明の実施例で
は１６画素×１６画素のブロックをマクロブロックと呼
ぶ。なお、マクロブロックは任意の８×８画素など任意
の大きさでよい。

【００８９】同図（ｂ）は、従来の方法を示し、一番粗
いロッシー符号化による形状を示す。同図において、マ
クロブロック内にオブジェクトが半分以上ある場合に
は、２５５、それ以外は０を与えるため、同図（ａ）に
示す元の形状に対して、前景の形状に著しい浸食が見ら
れる。

【００９０】本発明では、２段階のマクロブロック化
（第１次マクロブロック化、第2次マクロブロック化）
を行うことにより形状マスクを抽出する。ここで、マク
ロブロック化とは、マクロブロック単位に前景か背景か
を判断し、前景と判断されたマクロブロックの形状画素
値に例えば２５５を与える処理をいう。

【００９１】本発明ではまず所定の方法により、ある条
件を満たした場合にマクロブロック全体を前景と見做
す。この処理を第１次マクロブロック化又は初期マクロ
ブロック近似処理と呼ぶ。さらに、最初にマクロブロッ
ク近似され、前景と判断されたマクロブロックの近傍
（例えば上下左右の４近傍）のマクロブロックについ
て、所定の方法にて同様の判断を下す。この処理を第２
次マクロブロック化又は拡張マクロブロック近似処理と
呼ぶ。

【００９２】上記の処理を図１１（ｃ）を用いて説明す
る。

【００９３】同図（ｃ）のａは、前述の初期マクロブロ
ック近似処理によりマクロブロック化された領域を示し
（第１次マクロブロック化領域）、ｂは、前述の拡張マ
クロブロック近似処理によりマクロブロック化された領
域を示す（第２次マクロブロック化領域）。初期マクロ
ブロック近似処理は、例えば、同図（ａ）に示す元の形
状の形状画素数がマクロブロック内に第１の所定の値以
上あればマクロブロック内の全ての形状画素に２５５
を、それ以外は０を形状画素値として与える。また、拡
張マクロブロック近似処理は初期マクロブロック近似処
理で２５５を与えられたマクロブロックの近傍のマクロ
ブロック内に元の形状の形状画素数が第２の所定の値以
上あれば形状画素値を２５５に置換するものである。後
述するように、形状画素数の代わりにマクロブロックの
エネルギー値を用いることもできる。なお、上記の例で
は４近傍の例を示したが、近傍であれば４近傍に限られ
ず、例えば、８近傍であってもよい。

【００９４】図１１（ｃ）から分かるように、本発明で
は、元の形状（図１１（ａ））に対して浸食が少なくな
る。以下、第３〜第５の実施例を用いて第２の目的に対
応する発明について具体的に説明する。

【００９５】［第３の実施例］まず、図１２、図１３を
用いて第３の実施例の概要について説明する。図１２
は、本発明の処理概要を説明するための図である。本発
明は、動画像符号化の中のオブジェクト符号化における
前景の形状マスク抽出方法であり、前景部分を２５５、
背景部分を０で表現した前景マスク画像を入力し、前景
マスク画像の前景部分の形状画素数がマクロブロック内
に、第１の所定の値ｎ（ｎ≧１）画素以上あるかを判定
し、２５５又は０を付与し（ステップ１１）、２５５が
付与された近傍のブロックに、第２の所定の値ｍ（ｍ＜
ｎ）以上の形状画素数の前景部分がある場合には、マク
ロブロックの形状画素値を全て２５５に変換し、形状マ
スクを出力する（ステップ１２）。

【００９６】図１３は、第３の実施例における形状マス
ク抽出装置の構成図である。本形状マスク抽出装置は、
前景部分を２５５、背景部分を０で表現した前景マスク
画像を入力し、前景マスク画像の前景部分の形状画素数
がマクロブロック内に、第１の所定の値ｎ（ｎ≧１）以
上あるかを判定し、２５５又は０を付与する第１のマク
ロブロック化部５１と、第１のマクロブロック化部５１
において、２５５が付与された近傍のブロックに、第２
の所定の値ｍ（ｍ＜ｎ）以上の形状画素数の前景部分が
ある場合には、形状画素値を２５５に変換し、前景の形
状マスクを出力する第２のマクロブロック化部５２から
なる。

【００９７】次に、各部について詳細に説明する。

【００９８】上述のように、図１３に示す形状マスク抽
出装置は、第１次マクロブロック化部５１と第２次マク
ロブロック化部５２から構成される。

【００９９】第１次マクロブロック化部５１には、前景
候補マスク（前景形状の候補）とバウンディングボック
スが入力される。第１次マクロブロック化部５１は、前
景マスク画像の前景部分の形状画素数がマクロブロック
内に第１の所定の値ｎ画素以上あれば、マクロブロック
内の画素に２５５を、それ以外は０を与える。

【０１００】第２次マクロブロック化部５２は、第１次
マクロブロック化部５１で２５５を与えられたマクロブ
ロックの近傍のマクロブロックに対して、第２の所定の
値ｍ（第１の所定の値ｎ＞第２の所定の値ｍ）以上の形
状画素数の前景部分を持つマクロブロックがあれば、形
状画素値を２５５に置換する。

【０１０１】これにより、第１次マクロブロック化部５
１において形状が矩形近似され、第２次マクロブロック
化部５２は、第１次マクロブロック化部５１において、
２５５を与えられたマクロブロックの近傍のマクロブロ
ックに対して、形状を矩形近似し、出力として第２次マ
クロブロック化部５２からマクロブロック化された形状
マスク（ＭＢ化形状マスク）が出力される。

【０１０２】以下、上記の装置構成と動作についてより
詳細に説明する。

【０１０３】ここでは、動画像において、背景画像が予
め与えられている場合、背景画像と原画像の差分領域を
前景オブジェクトとする例を示す。また、前述の図１３
の構成に対して、一度背景として判定された動画像を前
景として回復するための構成を付加した例を説明する。

【０１０４】図１４は、第３の実施例の形状マスク抽出
装置の詳細構成を示す図である。同図において、図１３
と同一構成部分には同一符号を付す。

【０１０５】同図に示す形状マスク抽出装置は、背景差
分部６１、２値化部６２、第１次マクロブロック化部５
１、第２次マクロブロック化部５２、及び前景回復部６
５から構成される。

【０１０６】背景差分部６１は、原画像とＧＭ画像を入
力として、原画像と背景画像の差分を抽出し、２値化部
６２に転送する。

【０１０７】２値化部６２は、背景の差分を２値化し、
前景部分に２５５を与え、背景部分に０を与える。これ
を前景候補マスクとして第１次マクロブロック化部５１
に転送する。

【０１０８】第１次マクロブロック化部５１及び第２次
マクロブロック化部５２では、２値化部６２からの２値
情報に基づき、形状が矩形近似される。

【０１０９】前景回復部６５は、この時点で０を与えら
れたマクロブロックに関して、差分情報がある閾値以上
ある画素を含むマクロブロックは前景とみなし、値を２
５５に置換する。

【０１１０】これにより、一度背景として判定されたマ
クロブロックを前景に回復することが可能となる。

【０１１１】［第３'の実施例］さて、上記の第３の実
施例では、マクロブロックが前景か否かによってマクロ
ブロック内の全ての形状画素値を２５５又は０とする
が、下記のように前景マップ（Ｖmap（ｉ，ｊ））を用
いて処理を行うこともできる。ここで、（ｉ，ｊ）は任
意のマクロブロックの位置を示し、前景マップ（Ｖmap
（ｉ，ｊ））は、前景と判定されたマクロブロックに対
して１、それ以外のマクロブロックに対して０の値を持
つ。以下、第３'の実施例について、第３の実施例と異
なる点を中心に説明する。

【０１１２】図１５は、背景の差分を２値化し、前景候
補マスクを算出した後からの処理を示すフローチャート
である。

【０１１３】前景候補マスクが与えられると、まず、各
マクロブロック内の前景候補画素すなわち、値が２５５
である形状画素の個数を計算する（ステップ１５）。こ
の計算の結果をＮmap（ｉ，ｊ）（これを個数マップと
呼ぶ。）とする。Ｎmap（ｉ，ｊ）は、各マクロブロッ
ク（ｉ，ｊ）毎に前景候補画素の個数を有する。

【０１１４】次に、前景マップを初期化する。すなわ
ち、Ｖmap（ｉ，ｊ）＝０とする（ステップ１６）。

【０１１５】続いて、第３の実施例と同様の方法によ
り、第１次マクロブロック化（ステップ１７）、第２次
マクロブロック化（ステップ１８）を行う。ただし、第
３'の実施例では、前景と判定されたマクロブロックの
位置における前景マップ（Ｖmap（ｉ，ｊ））の値を１
とする。

【０１１６】次に、前景マップの値により前景の形状マ
スクを生成して出力する（ステップ１９）。形状マスク
は、前景マップが１であるマクロブロック内の形状画素
全てを２５５、前景マップが０であるマクロブロック内
の形状画素全てを０とすることで得られる。

【０１１７】なお、第３の実施例、及び第３'の実施例
では、形状画素値として２５５、０を用いたが、２５
５、０等の値は従来の技術で説明した形状マスク表現を
用いた場合の値の例であり、形状マスクの表現方法に応
じてどのような値もとり得る。

【０１１８】上述のように、第３の実施例及び第３'の
実施例に係る本発明によれば、オブジェクトの核となる
部分とその周囲をマクロブロック化し、マクロブロック
内における前景領域の形状画素数が、所定の数以上であ
るときに、そのマクロブロックは前景領域に属するとす
るので、通常の形状符号化をする場合に較べて、マクロ
ブロック単位に前景か否かを指定するだけでよく、形状
符号量が少なくて済むという効果を奏する。なお、実験
の結果では、１／５〜１／１０の形状符号量となった。

【０１１９】また、前景の浸食も少ない形状を表現する
ことができる。

【０１２０】［第４の実施例］次に、第４の実施例につ
いて説明する。これは第３の実施例と同様、本発明の第
２の目的に対応する実施例である。

【０１２１】まず、図１６を用いて第４の実施例に係る
本発明の原理について説明する。

【０１２２】図１６は、本発明の原理を説明するための
図である。本発明は、予め算出された背景画像と任意の
画像との差分を用いて動物体を反映した動領域を抽出す
る前景の形状マスク抽出方法である。まず、背景画像と
任意の画像について、画素毎に絶対差分を計算し、絶対
差分画像として出力する（ステップ２１）。次に、任意
の画像のサイズに対する前景マスクのサイズの割合であ
る前景率を算出し、前景の形状マスクを生成する（ステ
ップ２２）。

【０１２３】次に、第４の実施例についてより詳細に説
明する。

【０１２４】図１７は、本発明の形状マスク抽出装置の
構成を示す。

【０１２５】同図に示す形状マスク抽出装置は、差分計
算部７１、前景率制御算出部７２から構成される。

【０１２６】差分計算部７１は、背景画像と任意の画像
について画素毎に絶対差分値を計算し、絶対差分画像と
して、前景率制御算出部７２に出力する。

【０１２７】前景率制御算出部７２は、任意の前景率
（画像のサイズに対する、前景の形状マスクのサイズの
割合）の前景の形状マスクを算出する。当該前景率制御
算出部７２は、マクロブロック近似処理により前景の形
状マスクを算出する。本発明の第４の実施例の前景形状
のマクロブロック近似処理について、図１１（ｃ）を用
いて説明する。

【０１２８】まず、第１の所定の値でマクロブロック化
する。これは、後述するマクロブロックのエネルギー値
が第１の所定の値以上である場合、マクロブロック全体
を前景と見做す。前述したように、この処理を初期マク
ロブロック近似処理と呼ぶ。図１１（ｃ）では、初期マ
クロブロック近似処理により求められた領域を第１次マ
クロブロック化領域として示している。さらに、最初に
マクロブロック近似され、前景と判断されたマクロブロ
ックの近傍（例えば、上下左右の４近傍）のマクロブロ
ックについて、第２の所定の値にて同様の判断を下す。
前述したよう、この処理を拡張マクロブロック近似処理
と呼ぶ。図１１（ｃ）では、拡張マクロブロック近似処
理により求められた領域を第２次マクロブロック化領域
として示している。

【０１２９】拡張マクロブロック近似処理は、直前処理
でマクロブロック化されたマクロブロックの周辺４近傍
を常にターゲットとする。この初期マクロブロック近似
処理、拡張マクロブロック近似処理は、前景マクロブロ
ック数が予め定めた最大前景比率Ｔｈ３を超えるまで繰
り返す。超えた時点で、超える直前の処理において、前
景と判断された領域を最終的な前景とする。

【０１３０】図１８は、本発明の第４の実施例の差分計
算部と前景率制御算出部の処理のフローチャートであ
る。最初に以下の説明における表記について説明する。

【０１３１】（ｉ，ｊ）は、任意のマクロブロックの位
置で、例えば、マクロブロックの大きさをｓ画素×ｓ画
素、画像サイズを縦ｈ×横ｗ画素とすると、０≦ｊ≦ｈ
／ｓ−１、０≦ｉ≦ｗ／ｓ−１の値を取る。また、
（ｌ，ｍ）は任意のマクロブロック内における座標値で
０≦ｌ≦ｓ−１，０≦ｍ≦ｓ−１の値をとる。

【０１３２】Ｅ（ｉ，ｊ）：差分画像の座標（ｉ，ｊ）
のマクロブロックにおけるエネルギーマップ； Ｎ：マクロブロック内の画素数（ｓ×ｓ）； Ｉf （ｌ，ｍ）：任意画像の座標（ｉ，ｊ）のマクロブ
ロック内の座標（ｌ，ｍ）における画素値； Ｉs （ｌ，ｍ）：背景画像の座標（ｉ，ｊ）のマクロブ
ロック内の座標（ｌ，ｍ）における画素値； Ｅave ：差分画像におけるエネルギーの平均値； Ｍ：差分画像におけるマクロブロックの数； Ｅmax ：差分画像における最大エネルギー値； ＭＡＸ（）：（）内の数列から最大値を算出する関数； Ｔｈ1 ：マクロブロック近似における第１の所定の値； Ｔｈ2 ：マクロブロック近似における第２の所定の値； Ｖmap （ｉ，ｊ）：座標（ｉ，ｊ）における前景マッ
プ、前景部分に１、それ以外に０； Ｖ’map （ｉ，ｊ）：座標（ｉ，ｊ）における前景仮マ
ップ、前景部分に１、それ以外に０； Ｃｏｕｎｔ（）：（）内の１の個数を算出する関数； Ｔｈ3 ：第３の所定の値、最大前景比率； ｋstep：最大値から引算される値； ステップ１０１） 初期化処理を行う。具体的には、差
分画像をｓ画素×ｓ画素からなるマクロブロックという
処理単位に分割し、各々のマクロブロックにおいて、エ
ネルギーマップに０の値を入れて初期化する。さらに、
第３の所定の値Ｔｈ3 、パラメータｋstepの値を、例え
ば次のように設定する。

【０１３３】 Ｅ（ｉ，ｊ）＝０，ｋstep＝１，Ｔｈ3 ＝０．１５ ステップ１０２） 各エネルギーマップを計算する。背
景画像と任意の画像に対応するマクロブロックにおい
て、各対象画像の差分絶対値を求め、その総和をマクロ
ブロック内の画素数（Ｎ）で除した値をそのマクロブロ
ックにおけるエネルギー値として算出する。なお、本明
細書においては、下記に示す式で算出される値をエネル
ギー値と称している。

【０１３４】

【数３】 または、次式に示すように差分自乗値の平方根を求め、
マクロブロック内の画素数で除した値を用いてもよい。

【０１３５】

【数４】 ステップ１０３） 差分画像において、各マクロブロッ
クのエネルギー値の平均を求める。

【０１３６】

【数５】 ステップ１０４） 各マクロブロックのエネルギー値を
エネルギー平均値で除し、これがα（α≧１．０）以下
であれば、０に変更する。

【０１３７】

【数６】 ステップ１０５） エネルギー値の最大値を算出する。

【０１３８】Ｅmax ＝ＭＡＸ（Ｅ（ｉ，ｊ）） ステップ１０６） 第１の所定の値Ｔｈ1 、第２の所定
の値Ｔｈ2 を設定する。第１の所定の値Ｔｈ1 は、エネ
ルギー値の最大値、第２の所定の値Ｔｈ2 は、第１の所
定の値Ｔｈ1 を２で除した値を設定する（なお、第２の
所定の値Ｔｈ2は、第１の所定の値Ｔｈ1 より小さい値
であればどのような値であっても構わない）。

【０１３９】Ｔｈ1 ＝Ｅmax ，Ｔｈ2 ＝Ｔｈ1 ／２ ステップ１０７） 前景マップを初期化する。

【０１４０】Ｖmap （ｉ，ｊ）＝０ ステップ１０８） 仮の前景マップを初期化する。

【０１４１】Ｖ’map （ｉ，ｊ）＝０ ステップ１０９） 初期マクロブロック近似処理を行
う。エネルギー値が第１の所定の値Ｔｈ1 以上のマクロ
ブロックすべてについて仮の前景マップに１をたてる。

【０１４２】ｉｆ（Ｅ（ｉ，ｊ）≧Ｔｈ1 ）Ｖ’map
（ｉ，ｊ）＝１ ステップ１１０） 仮の前景マップ中の１の数をカウン
トし、それを全マクロブロック数で除した値が第３の所
定の値Ｔｈ3 よりも大きい場合は、前景マップの値によ
り最終の前景形状マスクを生成して出力し、すべての処
理を終了する。最終前景形状マスクは、前景マップが１
であるマクロブロック内の画素全てを２５５、前景マッ
プが０であるマクロブロック内の画素全てを０とするこ
とで得られる。

【０１４３】ｉｆ（Ｃｏｕｎｔ（Ｖ’map （ｉ，ｊ）／
Ｍ≧Ｔｈ3 ）） ＥＮＤ ステップ１１１） 仮の前景マップの値を前景マップに
コピーする。

【０１４４】Ｖmap （ｉ，ｊ）＝Ｖ’map （ｉ，ｊ） ステップ１１２） 拡張マクロブロック処理を最大ｎ回
行うループに入る。

【０１４５】Ｉ＝０ ステップ１１３） 拡張マクロブロック処理を行う。具
体的には、仮の前景マップに１がたつマクロブロックの
近傍において、第２の所定の値Ｔｈ2 以上のエネルギー
があるマクロブロックを前景とみなし、仮の前景マップ
に１をたてる。

【０１４６】ｉｆ（Ｖ’map （ｉ，ｊ−１）＝１∪Ｖ’
map （ｉ，ｊ＋１）＝１∪Ｖ’map（ｉ＋１，ｊ）＝１
∪Ｖ’map （ｉ−１，ｊ）＝１） ｉｆ（Ｅ（ｉ，ｊ）≧Ｔｈ2 ）Ｖ’map （ｉ，ｊ）＝１ ステップ１１４） 仮の前景マップ中の１の数をカウン
トし、それを全マクロブロック数で除した値が第３の所
定の値よりも大きい場合は、前景マップの値により最終
前景マスクを生成し、出力し、すべての処理を終了す
る。

【０１４７】ｉｆ（Ｃｏｕｎｔ（Ｖ’map （ｉ，ｊ））
／Ｍ≧Ｔｈ3 ）ＥＮＤ ステップ１１５） ループ回数がある回数ｎを超えたら
拡張マクロブロック近似処理のループを抜ける。超えな
い場合にはステップ１１３に移行する。

【０１４８】Ｉ＋＋，ｉｆ（Ｉ＜ｎ） ステップ１１６） 仮の前景マップの値を前景マップに
コピーする。

【０１４９】Ｖmap （ｉ，ｊ）＝Ｖ’map （ｉ，ｊ） ステップ１１７） 第１の所定の値Ｔｈ1 、第２の所定
の値Ｔｈ2 を下記のように更新する。

【０１５０】Ｔｈ1 ＝Ｅmax −ｋstep，Ｔｈ2 ＝Ｔｈ1
／２ 上記のステップ１０８からステップ１１７の処理を繰り
返す。なお、上記の処理では、前景比率が第３の所定の
値より大きくなったときに、ステップ１０９〜ステップ
１１７のループを終了し、前景の形状マスクを出力して
処理を終了する。ここで、前景比率が第３の所定の値よ
り大きくならない場合を考慮して、第１の所定の値が予
め設定した値より小さくなった時点でループを抜け、そ
の時点での前景の形状マスクを出力して終了するように
してもよい。

【０１５１】上述のように、本発明によれば、領域形状
が単純化されるため、ＭＰＥＧ−４符号化における任意
形状符号化を用いたオブジェクト符号化に比べて形状符
号量を少なく抑えることができる。

【０１５２】また、抽出されたオブジェクトに穴が無い
ため、良好な見た目を与える効果がある。

【０１５３】さらに、前景率が大き過ぎると、かえって
符号量が増大するが、前景率を一定以下の値に制限でき
るため、ＭＰＥＧ−４符号化した場合、符号量を少なく
することができる。

【０１５４】［第５の実施例］次に、第５の実施例につ
いて説明する。これも本発明の第２の目的に対応する実
施例である。

【０１５５】図１９は第５の実施例における形状マスク
抽出装置の構成を示す図であり、本抽出装置は差分計算
部８１、前景抽出部８２を有する。

【０１５６】この構成において、背景画像と任意の画像
は差分計算部８１で画素毎に絶対差分値が計算され、絶
対差分画像として出力される。その絶対差分画像は前景
抽出部８２に入力され、ここで前景オブジェクトを算出
する。

【０１５７】第５の実施例における前景形状のマクロブ
ロック近似処理の様子は図１１（ｃ）に示したものと同
様であり、第４の実施例と同様、マクロブロックのエネ
ルギー値を基に第１の所定の値を用いて初期マクロブロ
ック近似処理を行い、第２の所定の値を用いて拡張マク
ロブロック近似処理を行う。ただし、第５の実施例では
最大前景比率（Ｔｈ３）を用いた処理（閾値処理）を行
わない。すなわち、第５の実施例における処理は、第３
の実施例における処理とほぼ同様であるが、エネルギー
値を用いる点と、拡張マクロブロック近似処理を複数回
行い得る点が第３の実施例と異なる。

【０１５８】図２０は、本発明の第５の実施例の差分計
算部と前景抽出部の処理のフローチャートである。最初
に以下の説明における表記について説明する。（ｉ，
ｊ）は、任意のマクロブロックの位置で、例えば、マク
ロブロックの大きさをｓ画素×ｓ画素、画像サイズを縦
ｈ×横ｗ画素とすると、０≦ｊ≦ｈ／ｓ−１、０≦ｉ≦
ｗ／ｓ−１の値を取る。また、（ｌ，ｍ）は任意のマク
ロブロック内における座標値で、マクロブロックの大き
さを縦横ｓ画素とすると、０≦ｌ≦ｓ−１，０≦ｍ≦ｓ
−１の値をとる。

【０１５９】Ｅ（ｉ，ｊ）：差分画像の座標（ｉ，ｊ）
のマクロブロックにおけるエネルギーマップ； Ｎ：マクロブロック内の画素数（ｓ×ｓ）； Ｉf （ｌ，ｍ）：任意画像の座標（ｉ，ｊ）のマクロブ
ロック内の座標（ｌ，ｍ）における画素値； Ｉs （ｌ，ｍ）：背景画像の座標（ｉ，ｊ）のマクロブ
ロック内の座標（ｌ，ｍ）における画素値； Ｅave ：差分画像におけるエネルギーの平均値； Ｍ：差分画像におけるマクロブロックの数； Ｅmax ：差分画像における最大エネルギー値； Ｔｈ1' ：マクロブロック近似における第１の所定の
値； Ｔｈ2' ：マクロブロック近似における第２の所定の
値； Ｖmap （ｉ，ｊ）：座標（ｉ，ｊ）における前景マッ
プ、前景部分に１、それ以外に０； ステップ２０１）初期化処理を行う。具体的には、差分
画像をｓ画素×ｓ画素から成るマクロブロックに分割
し、各々のマクロブロックにおいて、エネルギーマップ
に０の値を入れて初期化する。

【０１６０】Ｅ（ｉ，ｊ）＝０ ステップ２０２）各エネルギーマップを計算する。背景
画像と任意の画像の対応するマクロブロックにおいて、
以下に示すように、各対応画素の絶対差分または差分自
乗の平方根を求め、その総和をマクロブロック内の画素
数（例えば１６画素×１６画素のマクロブロックであれ
ば２５６）で除した値をそのマクロブロックにおけるエ
ネルギー値として算出する。

【０１６１】

【数７】 または、

【０１６２】

【数８】 ステップ２０３）差分画像において，各マクロブロック
のエネルギー値の平均を求める。

【０１６３】

【数９】 ステップ２０４）各マクロブロックのエネルギー値をエ
ネルギー平均値で除し、これがα（α≧１．０）以下の
エネルギーをすべて０とする。

【０１６４】

【数１０】 ステップ２０５）前景マップを初期化する。

【０１６５】Ｖmap （ｉ，ｊ）＝０ ステップ２０６）第１の所定の値Ｔｈ１'を設定する。
（例えばＴｈ１'＝２０） ステップ２０７）第１の所定の値Ｔｈ１'で初期マクロ
ブロック近似処理を行う。エネルギー値が第１の所定の
値Ｔｈ１'以上のマクロブロック全てについて前景マッ
プに１を立てる。

【０１６６】ｉｆ（Ｅ（ｉ，ｊ）≧Ｔｈ1' ） Ｖmap
（ｉ，ｊ）＝１ ここで、全てのマクロブロックがＴｈ１'以上の値を持
たない場合は前景が抽出されないことになる。

【０１６７】ステップ２０８）第２の所定の値Ｔｈ２'
を設定する。（例えばＴｈ２'＝Ｔｈ１'／４） ステップ２０９）ループ回数を初期化する。

【０１６８】ｋ＝０ ステップ２１０〜２１２）第２の所定の値Ｔｈ２'で拡
張マクロブロック近似をｎ回行う。拡張マクロブロック
近似処理は、初期マクロブロック近似処理の結果、前景
マップに１がたつマクロブロックの近傍において、第２
の所定の値Ｔｈ２'以上のエネルギーがあるマクロブロ
ックを前景とみなし、前景マップに１を立てる。具体的
な計算方法は第４の実施例と同様である。

【０１６９】ループ回数がｎ回になるとループを抜け、
前景の形状マスクを生成、出力して処理を終了する。前
景マップから形状マスクを求める方法は第４の実施例で
説明した通りである。

【０１７０】第５の実施例によっても、第３、４の実施
例と同様に、領域形状が単純化されるため、ＭＰＥＧ−
４符号化における任意形状符号化を用いたオブジェクト
符号化に比べて形状符号量を少なく抑えることができ
る。また、抽出されたオブジェクトに穴が無いため、良
好な見た目を与える効果がある。

【０１７１】上記各実施例における処理をプログラムと
して実現し、コンピュータに接続されるディスク装置、
フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ等の可
搬記憶媒体に格納しておき、本発明を実施する際にイン
ストールすることにより、容易に本発明を実現できる。

【０１７２】各実施例におけるプログラムを実行させる
コンピュータの構成例を図２１に示す。このコンピュー
タは、ＣＰＵ（中央処理装置）１０１、メモリ１０２、
入力装置１０３、表示装置１０４、ＣＤ−ＲＯＭドライ
ブ１０５、ハードディスク１０６、通信処理装置１０７
を有する。ＣＰＵ１０１は装置の全体を制御する。メモ
リ１０２はＣＰＵ１０１で処理するデータやプログラム
を保持する。入力装置１０３はキーボードやマウス等、
データを入力するための装置である。表示装置１０４は
ディスプレイ等の装置である。ＣＤ−ＲＯＭドライブ１
０５はＣＤ−ＲＯＭ等を駆動し、読み書きを行う。ハー
ドディスク１０６には、プログラムやデータが格納され
る。通信処理装置１０７により他のコンピュータ等とネ
ットワークを介して通信を行なうことが可能となる。本
発明の処理を実行するプログラムは、コンピュータに予
めインストールされていてもよいし、例えばＣＤ−ＲＯ
Ｍに格納され、ＣＤ−ＲＯＭドライブ１０５を介してハ
ードディスク１０６にロードするようにしてもよい。プ
ログラムが起動されると、所定のプログラム部分がメモ
リ１０２に展開され、処理が実行される。

【０１７３】なお、本発明は、上記の実施例に限定され
ることなく、特許請求の範囲内で種々変更・応用が可能
である。

【０１７４】

【発明の効果】上記のように、第１の目的に対応した発
明によれば、仮の背景スプライトを作成し、それに基づ
き、画面ごとの前景と背景を分離した後、この分離後の
背景を元に目的の背景スプライトを生成することによっ
て、クリアでぼけのない背景スプライトを得ることがで
きる。また、グローバルモーションのずれや雑音に対し
てロバストにスプライトを抽出することが可能となる。

【０１７５】また、第２の目的に対応した発明によれ
ば、領域形状が単純化されるため、ＭＰＥＧ−４符号化
におけるオブジェクト符号化を行った場合に符号量を少
なく抑えることができる。また、抽出されたオブジェク
トに穴が無いため、良好な見た目を与える効果がある。

【０１７６】

【図面の簡単な説明】

【図１】ＭＰＥＧ−４における画像表現を説明するため
の図である。

【図２】従来技術においての形状のマクロブロック近似
を説明するための図である。

【図３】第１の目的に対応する発明の原理を説明するた
めの図である。

【図４】第１の実施例における前景オブジェクト・背景
スプライト分離抽出装置の構成を示す図である。

【図５】第１の実施例における仮スプライト生成部の構
成図である。

【図６】第１の実施例における前景オブジェクト抽出部
の構成図である。

【図７】第１の実施例における背景スプライト生成部の
構成図である。

【図８】第１の実施例におけるオーバーライト／アンダ
ーライト統合部の動作を説明するための図である。

【図９】第２の実施例における前景オブジェクト・背景
スプライト分離抽出装置の構成を示す図である。

【図１０】本発明の実施例で用いられる差分画像を説明
するための図である。

【図１１】前景形状のマクロブロック近似処理を説明す
るための図である。

【図１２】第３の実施例に係る発明の原理を説明するた
めの図である。

【図１３】第３の実施例における前景の形状抽出装置の
主要構成を示す図である。

【図１４】第３の実施例における前景の形状抽出装置の
構成を示す図である。

【図１５】第３'の実施例を説明するための図である。

【図１６】第４の実施例に係る発明の原理を説明するた
めの図である。

【図１７】第４の実施例における前景の形状抽出装置の
構成を示す図である。

【図１８】第４の実施例の差分計算部と前景率制御算出
部の処理のフローチャートである。

【図１９】第５の実施例における前景の形状抽出装置の
構成を示す図である。

【図２０】第５の実施例の差分計算部と前景抽出部の処
理のフローチャートである。

【図２１】コンピュータの構成例を示す図である。

【符号の説明】

１、１１ グローバルモーション算出部 ２、１２ 仮スプライト生成部 ３、１３ 前景オブジェクト抽出部 ４、１４ 背景スプライト生成部 １５ 前景オブジェクト抽出部 ２１ 時間メディアン統合部 ３１ 切り出し部 ３２ 差分画像生成部 ３３ 差分対応部 ３４ マスク処理部 ４１ オーバーライト／アンダーライト統合部 ５１ 第１次マクロブロック化部 ５２ 第２次マクロブロック化部 ６１ 背景差分部 ６２ ２値化部 ６５ 前景回復部 ７１ 差分計算部 ７２ 前景率制御算出部 ８１ 差分計算部 ８２ 前景抽出部 １０１ ＣＰＵ（中央処理装置） １０２ メモリ １０３ 入力装置 １０４ 表示装置 １０５ ＣＤ−ＲＯＭドライブ １０６ ハードディスク １０７ 通信処理装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 渡辺 裕 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 小林 直樹 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5C059 KK06 KK11 MA00 MB02 MB04 MB22 PP04 PP16 SS20 UA02 UA22 UA39 5L096 AA01 BA08 EA35 EA43 FA32 GA08 GA10 GA19 GA28 GA41 HA03

Claims (30)

【特許請求の範囲】
1. 【請求項１】 動画像から前景オブジェクトと背景スプ
   ライト画像を抽出するための前景オブジェクト・背景ス
   プライト分離抽出方法において、 動画像における基準フレームと任意のフレームの座標系
   の変換を行うグローバルモーションを算出し、 任意のフレームの原画像を前記グローバルモーションを
   用いて基準フレームの座標である基準座標にマッピング
   し、同じ座標に所属する複数の画素値から該座標の画素
   値を求め、 前景オブジェクトを消去した仮スプライト（パノラマ画
   像）を作成し、 任意のフレームにおいて、前記仮スプライトから前記グ
   ローバルモーションで切り出された画像と前記原画像の
   差分が所定の閾値以上の部分を前景オブジェクト画像、
   それ以外の部分を背景画像として切り出し、 任意のフレームにおいて、前記背景画像を前記グローバ
   ルモーションを用いて前記基準座標にマッピングし、画
   素値が決定されていない基準座標のみ新しい画素を挿入
   するか、又は、画素を上書きすることにより、背景スプ
   ライトを生成し、背景スプライトとして出力することを
   特徴とする前景オブジェクト・背景スプライト分離抽出
   方法。
2. 【請求項２】 生成された前記背景スプライトから前記
   グローバルモーションで切り出された画像と前記原画像
   の差分が、所定の閾値以上の部分を前景オブジェクト画
   像として出力する処理を更に行う請求項１記載の前景オ
   ブジェクト・背景スプライト分離抽出方法。
3. 【請求項３】 動画像から前景オブジェクトと背景スプ
   ライト画像を抽出するための前景オブジェクト・背景ス
   プライト分離抽出装置であって、 動画像における基準フレームと任意のフレームの座標系
   の変換を行うグローバルモーションを算出するグローバ
   ルモーション算出手段と、 任意のフレームの原画像を前記グローバルモーションを
   用いて基準フレームの座標である基準座標にマッピング
   し、同じ座標に所属する複数の画素値から該座標の画素
   値を求め、前景オブジェクトを消去した仮スプライト
   （パノラマ画像）を作成する仮スプライト生成手段と、 任意のフレームにおいて、前記仮スプライトから前記グ
   ローバルモーションで切り出された画像と前記原画像の
   差分が所定の閾値以上の部分を前景オブジェクト画像、
   それ以外の部分を背景画像として切り出す前景オブジェ
   クト抽出手段と、 任意のフレームにおいて、前記背景画像を前記グローバ
   ルモーションを用いて前記基準座標にマッピングし、画
   素値が決定されていない基準座標のみ新しい画素を挿入
   するか、又は、画素を上書きすることにより、背景スプ
   ライトを生成し、背景スプライトとして出力する背景ス
   プライト生成手段とを有することを特徴とする前景オブ
   ジェクト・背景スプライト分離抽出装置。
4. 【請求項４】 前記背景スプライト生成手段で生成され
   た前記背景スプライトから、前記グローバルモーション
   で切り出された画像と前記原画像の差分が、所定の閾値
   以上の部分を前景オブジェクト画像として出力する第２
   の前景オブジェクト抽出手段を更に有する請求項３記載
   の前景オブジェクト・背景スプライト分離抽出装置。
5. 【請求項５】 動画像から前景オブジェクトと背景スプ
   ライト画像を抽出するための前景オブジェクト・背景ス
   プライト分離抽出プログラムを格納した記憶媒体であっ
   て、 動画像における基準フレームと任意のフレームの座標系
   の変換を行うグローバルモーションを算出するグローバ
   ルモーション算出プロセスと、 任意のフレームの原画像を前記グローバルモーションを
   用いて基準フレームの座標である基準座標にマッピング
   し、同じ座標に所属する複数の画素値から該座標の画素
   値を求め、前景オブジェクトを消去した仮スプライト
   （パノラマ画像）を作成する仮スプライト生成プロセス
   と、 任意のフレームにおいて、前記仮スプライトから前記グ
   ローバルモーションで切り出された画像と前記原画像の
   差分が所定の閾値以上の部分を前景オブジェクト画像、
   それ以外の部分を背景画像として切り出す前景オブジェ
   クト抽出プロセスと、 任意のフレームにおいて、前記背景画像を前記グローバ
   ルモーションを用いて前記基準座標にマッピングし、画
   素値が決定されていない基準座標のみ新しい画素を挿入
   するか、又は、画素を上書きすることにより、背景スプ
   ライトを生成し、背景スプライトとして出力する背景ス
   プライト生成プロセスとを有することを特徴とする前景
   オブジェクト・背景スプライト分離抽出プログラムを格
   納した記憶媒体。
6. 【請求項６】 前記背景スプライト生成プロセスで生成
   された前記背景スプライトから、前記グローバルモーシ
   ョンで切り出された画像と前記原画像の差分が、所定の
   閾値以上の部分を前景オブジェクト画像として出力する
   第２の前景オブジェクト抽出プロセスを更に有する請求
   項５記載の前景オブジェクト・背景スプライト分離抽出
   プログラムを格納した記憶媒体。
7. 【請求項７】 動画像符号化の中のオブジェクト符号化
   における前景の形状マスク抽出方法において、 前景部分を第１の値、背景部分を第２の値で表現した前
   景マスク画像を入力し、 前記前景マスク画像の前景部分がマクロブロック内に、
   第１の所定の値ｎ（ｎ≧１）画素以上あるかを判定し、
   該第１の所定の値の画素以上の前景部分がある場合には
   マクロブロック内の形状画素値を全て第１の値に変換す
   る第１の過程と、 前記第１の過程において、形状画素に第１の値が付与さ
   れたマクロブロック近傍のマクロブロックに、第２の所
   定の値ｍ（ｍ＜ｎ）画素以上の前景部分がある場合に
   は、そのマクロブロック内の形状画素値を全て第１の値
   に変換し、前景の形状マスクを出力する第２の過程とか
   らなることを特徴とする前景の形状マスク抽出方法。
8. 【請求項８】 一度背景として判定されたマクロブロッ
   クを入力し、 入力された背景のマクロブロックと原画像との差分処理
   を行い、２値化処理し、 差分情報と２値情報を用いて、前記第１の過程と、前記
   第２の過程を実行し、 前記差分処理の結果、差分が所定の閾値以上の画素を含
   むマクロブロックを前景とし、該マクロブロックの形状
   画素値を前記第１の値に変換する請求項７記載の前景オ
   ブジェクト形状抽出方法。
9. 【請求項９】 動画像符号化の中のオブジェクト符号化
   における前景の形状マスク抽出方法において、 前景マスク画像を入力し、 前記前景マスク画像の前景部分の画素数をマクロブロッ
   ク毎に算出して個数マップを作成し、 前景マップを初期化し、 マクロブロック毎に前記個数マップの値が第１の所定の
   値ｎ（ｎ≧１）以上であるか否かを判定し、あるマクロ
   ブロックに対応する前記個数マップの値が該第１の所定
   の値以上である場合には、前記前景マップにおける該マ
   クロブロックに対応する位置に所定の値を設定する第１
   の過程と、 前記第１の過程において、前記所定の値が設定された前
   記前景マップの位置に対応するマクロブロックの近傍の
   マクロブロック毎に、前記個数マップの値が第２の所定
   の値ｍ（ｍ＜ｎ）以上であるか否かを判定し、あるマク
   ロブロックに対応する前記個数マップの値が該第２の所
   定の値以上である場合には、前記前景マップにおける該
   マクロブロックに対応する位置に前記所定の値を設定
   し、該前景マップの値から前景の形状マスクを生成して
   出力する第２の過程とからなることを特徴とする前景の
   形状マスク抽出方法。
10. 【請求項１０】 動画像符号化の中のオブジェクト符号
    化における前景の形状マスク抽出装置であって、 前景部分を第１の値、背景部分を第２の値で表現した前
    景マスク画像を入力し、 前記前景マスク画像の前景部分がマクロブロック内に、
    第１の所定の値ｎ（ｎ≧１）画素以上あるかを判定し、
    該第１の所定の値の画素以上の前景部分がある場合には
    マクロブロック内の形状画素値を全て第１の値に変換す
    る第１のマクロブロック化手段と、 前記第１のマクロブロック化手段において、形状画素に
    第１の値が付与されたマクロブロック近傍のマクロブロ
    ックに、第２の所定の値ｍ（ｍ＜ｎ）画素以上の前景部
    分がある場合には、そのマクロブロック内の形状画素値
    を全て第１の値に変換し、前景の形状マスクを出力する
    第２のマクロブロック化手段からなることを特徴とする
    前景の形状マスク抽出装置。
11. 【請求項１１】 一度背景として判定されたマクロブロ
    ックを入力する手段と、 入力された背景のマクロブロックと原画像との差分処理
    を行う手段と、２値化処理する手段と、 差分情報と２値情報を用いて、前記第１のマクロブロッ
    ク化手段と、前記第２のマクロブロック化手段を実行す
    る手段と、 前記差分処理の結果、差分が所定の閾値以上の画素を含
    むマクロブロックを前景とし、該マクロブロックの形状
    画素値を前記第１の値に変換する手段とを更に有する請
    求項１０記載の前景の形状マスク抽出装置。
12. 【請求項１２】 動画像符号化の中のオブジェクト符号
    化における前景の形状マスク抽出装置であって、 前景マスク画像を入力する手段と、 前記前景マスク画像の前景部分の画素数をマクロブロッ
    ク毎に算出して個数マップを作成する手段と、 前景マップを初期化する手段と、 マクロブロック毎に前記個数マップの値が第１の所定の
    値ｎ（ｎ≧１）以上であるか否かを判定し、あるマクロ
    ブロックに対応する前記個数マップの値が該第１の所定
    の値以上である場合には、前記前景マップにおける該マ
    クロブロックに対応する位置に所定の値を設定する手段
    と、 前記所定の値が設定された前記前景マップの位置に対応
    するマクロブロックの近傍のマクロブロック毎に、前記
    個数マップの値が第２の所定の値ｍ（ｍ＜ｎ）以上であ
    るか否かを判定し、あるマクロブロックに対応する前記
    個数マップの値が該第２の所定の値以上である場合に
    は、前記前景マップにおける該マクロブロックに対応す
    る位置に前記所定の値を設定し、該前景マップの値から
    前景の形状マスクを生成して出力する手段とからなるこ
    とを特徴とする前景の形状マスク抽出装置。
13. 【請求項１３】 動画像符号化の中のオブジェクト符号
    化における前景の形状マスク抽出プログラムを格納した
    記憶媒体であって、 前景部分を第１の値、背景部分を第２の値で表現した前
    景マスク画像を入力し、 前記前景マスク画像の前景部分がマクロブロック内に、
    第１の所定の値ｎ（ｎ≧１）画素以上あるかを判定し、
    該第１の所定の値の画素以上の前景部分がある場合には
    マクロブロック内の形状画素値を全て第１の値に変換す
    る第１のマクロブロック化プロセスと、 前記第１のマクロブロック化プロセスにおいて、形状画
    素に第１の値が付与されたマクロブロック近傍のマクロ
    ブロックに、第２の所定の値ｍ（ｍ＜ｎ）画素以上の前
    景部分がある場合には、マクロブロック内の形状画素値
    を全て第１の値に変換し、前景の形状マスクを出力する
    第２のマクロブロック化プロセスからなることを特徴と
    する前景の形状マスク抽出プログラムを格納した記憶媒
    体。
14. 【請求項１４】 一度背景として判定されたマクロブロ
    ックを入力するプロセスと、 入力された背景のマクロブロックと原画像との差分処理
    を行うプロセスと、２値化処理するプロセスと、 差分情報と２値情報を用いて、前記第１の過程と、前記
    第２の過程を実行するプロセスと、 前記差分処理の結果、差分が所定の閾値以上の画素を含
    むマクロブロックを前景とし、該マクロブロックの形状
    画素値を前記第１の値に変換するプロセスとを更に有す
    る請求項１３記載の前景の形状マスク抽出プログラムを
    格納した記憶媒体。
15. 【請求項１５】 動画像符号化の中のオブジェクト符号
    化における前景の形状マスク抽出プログラムを格納した
    記憶媒体であって、 前景マスク画像を入力するプロセスと、 前記前景マスク画像の前景部分の画素数をマクロブロッ
    ク毎に算出して個数マップを作成するプロセスと、 前景マップを初期化するプロセスと、 マクロブロック毎に前記個数マップの値が第１の所定の
    値ｎ（ｎ≧１）以上であるか否かを判定し、あるマクロ
    ブロックに対応する前記個数マップの値が該第１の所定
    の値以上である場合には、前記前景マップにおける該マ
    クロブロックに対応する位置に所定の値を設定するプロ
    セスと、 前記所定の値が設定された前記前景マップの位置に対応
    するマクロブロックの近傍のマクロブロック毎に、前記
    個数マップの値が第２の所定の値ｍ（ｍ＜ｎ）以上であ
    るか否かを判定し、あるマクロブロックに対応する前記
    個数マップの値が該第２の所定の値以上である場合に
    は、前記前景マップにおける該マクロブロックに対応す
    る位置に前記所定の値を設定し、該前景マップの値から
    前景の形状マスクを生成して出力するプロセスとからな
    ることを特徴とする前景の形状マスク抽出プログラムを
    格納した記憶媒体。
16. 【請求項１６】 予め算出された背景画像と任意の画像
    との差分を用いて前景の形状マスクを抽出する前景の形
    状マスク抽出方法において、 前記背景画像と前記任意の画像について、画素毎に絶対
    差分を計算し、差分画像を求める過程と、 該差分画像をマクロブロックに分割して、該マクロブロ
    ックにおいて、エネルギーマップを初期化する過程と、 前記マクロブロックにおけるエネルギー値を算出する過
    程と、 前記差分画像における各マクロブロックのエネルギー値
    の平均値を求める過程と、 前記任意の画像のサイズに対する前景マスクのサイズの
    割合である前景率を算出し、前景の形状マスクを生成す
    る前景率制御算出過程からなることを特徴とする前景の
    形状マスク抽出方法。
17. 【請求項１７】 前記前景率制御算出過程において、 前記マクロブロックにおけるエネルギー値をエネルギー
    値の平均値で除し、その値がα（α≧１．０）以下であ
    れば０に変更し、 前記エネルギー値の最大値を算出して第１の所定の値と
    し、該第１の所定の値より小さい値を第２の所定の値と
    し、前景マップを初期化し、 仮の前景マップを初期化し、 前記エネルギー値が前記第１の所定の値以上のマクロブ
    ロックの全てについて、前記仮の前景マップに所定の値
    を設定し、 前記仮の前景マップの値が前記所定の値の数をカウント
    し、カウント値を全マクロブロック数で除した値が予め
    決められている第３の所定の値よりも大きい場合には、
    前記マップの値から最終の前景形状マスクを生成して出
    力し、そうでない場合には、前記仮の前景マップの値を
    前記前景マップにコピーし、 前記仮の前景マップに前記所定の値が設定されているマ
    クロブロックの近傍において、前記第２の所定の値以上
    のエネルギーがあるマクロブロックを前景とみなし、仮
    の前景マップに前記所定の値を設定する処理を、該仮の
    前景マップの該所定の値の数を全マクロブロック数で除
    した値が前記第３の所定の値よりも大きくなるまで行
    い、前記前景マップから前景の形状マスクを生成して出
    力し、 若しくは、前記処理を所定回数行った後に前記除した値
    が前記第３の所定の値よりも大きくならない場合には、
    前記仮の前景マップの値を前記前景マップにコピーし、
    前記第１及び第２の所定の値を更新して前記仮の前景マ
    ップを初期化する処理以降の処理を行う請求項１６記載
    の前景の形状マスク抽出方法。
18. 【請求項１８】 予め算出された背景画像と任意の画像
    との差分を用いて前景の形状マスクを抽出する前景の形
    状マスク抽出装置であって、 前記背景画像と前記任意の画像について、画素毎に絶対
    差分を計算し、差分画像を求める手段と、 該差分画像を処理単位であるマクロブロックに分割し
    て、該マクロブロックにおいて、エネルギーマップを初
    期化する手段と、 前記マクロブロックにおけるエネルギー値を算出する手
    段と、 前記差分画像における各マクロブロックのエネルギー値
    の平均値を求める手段と、 前記任意の画像のサイズに対する前景マスクのサイズの
    割合である前景率を算出し、前景マスクを生成する前景
    率制御算出手段とを有することを特徴とする前景の形状
    マスク抽出装置。
19. 【請求項１９】 前記前景率制御算出手段は、 前記マクロブロックにおけるエネルギー値をエネルギー
    値の平均値で除し、その値がα（α≧１．０）であれば
    ０に変更する手段と、 前記エネルギー値の最大値を算出して第１の所定の値と
    し、該第１の所定の値より小さい値を第２の所定の値と
    する手段と、前景マップを初期化する手段と、仮の前景
    マップを初期化する手段と、 前記エネルギー値が前記第１の所定の値以上のマクロブ
    ロックの全てについて、前記仮の前景マップに所定の値
    を設定する手段と、 前記仮の前景マップの値が前記所定の値の数をカウント
    し、そのカウント値を全マクロブロック数で除した値が
    予め決められている第３の所定の値よりも大きい場合に
    は、前記マップの値から最終の前景形状マスクを生成し
    て出力し、そうでない場合には、前記仮の前景マップの
    値を前記前景マップにコピーする手段と、 前記仮の前景マップに前記所定の値が設定されているマ
    クロブロックの近傍において、前記第２の所定の値以上
    のエネルギーがあるマクロブロックを前景とみなし、仮
    の前景マップに前記所定の値を設定する処理を、該仮の
    前景マップの該所定の値の数を全マクロブロック数で除
    した値が前記第３の所定の値よりも大きくなるまで行
    い、前記前景マップから前景の形状マスクを生成して出
    力する手段と、 前記処理を所定回数行った後に前記除した値が前記第３
    の所定の値よりも大きくならない場合に、前記仮の前景
    マップの値を前記前景マップにコピーし、前記第１及び
    第２の所定の値を更新して前記仮の前景マップを初期化
    する処理以降の処理を行う手段とを含む請求項１８記載
    の前景の形状マスク抽出装置。
20. 【請求項２０】 予め算出された背景画像と任意の画像
    との差分を用いて前景オブジェクト形状を抽出する前景
    オブジェクト形状抽出プログラムを格納した記憶媒体で
    あって、 前記背景画像と前記任意の画像について、画素毎に絶対
    差分を計算し差分画像を求めるプロセスと、 該差分画像を処理単位であるマクロブロックに分割し
    て、該マクロブロックにおいて、エネルギーマップを初
    期化するプロセスと、 前記マクロブロックにおけるエネルギー値を算出するプ
    ロセスと、 前記差分画像における各マクロブロックのエネルギー値
    の平均値を求めるプロセスと、 前記任意の画像のサイズに対する前景マスクのサイズの
    割合である前景率を算出し、前景の形状マスクを生成す
    る前景率制御算出プロセスとを有することを特徴とする
    前景の形状マスク抽出プログラムを格納した記憶媒体
21. 【請求項２１】 前記前景率制御算出プロセスは、 前記マクロブロックにおける前記エネルギー値を前記エ
    ネルギー値の平均値で除し、その値がα（α≧１．０）
    以下であれば０に変更するプロセスと、 前記エネルギー値の最大値を算出して第１の所定の値と
    し、該第１の所定の値より小さい値を第２の所定の値と
    するプロセスと、前景マップを初期化するプロセスと、 仮の前景マップを初期化するプロセスと、 前記エネルギー値が前記第１の所定の値以上のマクロブ
    ロックの全てについて、前記仮の前景マップに所定の値
    を設定するプロセスと、 前記仮の前景マップの値が前記所定の値の数をカウント
    し、そのカウント値を全マクロブロック数で除した値が
    予め決められている第３の所定の値よりも大きい場合に
    は、前記マップの値から最終の前景形状マスクを生成し
    て出力し、そうでない場合には、前記仮の前景マップの
    値を前記前景マップにコピーするプロセスと、 前記仮の前景マップに前記所定の値が設定されているマ
    クロブロックの近傍において、前記第２の所定の値以上
    のエネルギーがあるマクロブロックを前景とみなし、仮
    の前景マップに前記所定の値を設定する処理を、該仮の
    前景マップの該所定の値の数を全マクロブロック数で除
    した値が前記第３の所定の値よりも大きくなるまで行
    い、前記前景マップから前景の形状マスクを生成して出
    力するプロセスと、 前記処理を所定回数行った後に前記除した値が前記第３
    の所定の値よりも大きくならない場合に、前記仮の前景
    マップの値を前記前景マップにコピーし、前記第１及び
    第２の所定の値を更新して前記仮の前景マップを初期化
    するプロセス以降の処理を行うプロセスとを含む請求項
    ２０記載の前景の形状マスク抽出プログラムを格納した
    記憶媒体。
22. 【請求項２２】 予め算出された背景画像と任意の画像
    との差分を用いて前景の形状マスクを抽出する前景の形
    状マスク抽出方法において、 前記差分から算出したマクロブロックのエネルギー値が
    第１の所定の値以上である場合、そのマクロブロックを
    前景とする第１の過程と、 前景と判断されたマクロブロックの近傍のマクロブロッ
    クについて、マクロブロックのエネルギー値が第２の所
    定の値以上である場合、そのマクロブロックを前景とす
    る第２の過程とを有することを特徴とする前景の形状マ
    スク抽出方法。
23. 【請求項２３】 前記第２の過程を所定の回数行う請求
    項２２に記載の前景の形状マスク抽出方法。
24. 【請求項２４】 予め算出された背景画像と任意の画像
    との差分を用いて前景の形状マスクを抽出する前景の形
    状マスク抽出方法において、 前記背景画像と前記任意の画像との差分から各マクロブ
    ロックのエネルギー値と、その平均値を算出する過程
    と、 各マクロブロックにおけるエネルギー値をその平均値で
    除し、その値が所定の値以下であれば０に変更する過程
    と、 各マクロブロックのエネルギー値が第１の所定の値以上
    である場合、そのマクロブロックを前景とする過程と、 前景と判断されたマクロブロックの近傍のマクロブロッ
    クについて、マクロブロックのエネルギー値が第２の所
    定の値以上である場合、そのマクロブロックを前景とす
    る処理を所定回数繰り返して行う過程とを有することを
    特徴とする前景の形状マスク抽出方法。
25. 【請求項２５】 予め算出された背景画像と任意の画像
    との差分を用いて前景の形状マスクを抽出する前景の形
    状マスク抽出装置において、 前記差分から算出したマクロブロックのエネルギー値が
    第１の所定の値以上である場合、そのマクロブロックを
    前景とする第１の手段と、 前景と判断されたマクロブロックの近傍のマクロブロッ
    クについて、マクロブロックのエネルギー値が第２の所
    定の値以上である場合、そのマクロブロックを前景とす
    る第２の手段とを有することを特徴とする前景の形状マ
    スク抽出装置。
26. 【請求項２６】 前記第２の手段における処理を所定の
    回数行う手段を有する請求項２５に記載の前景の形状マ
    スク抽出装置。
27. 【請求項２７】 予め算出された背景画像と任意の画像
    との差分を用いて前景の形状マスクを抽出する前景の形
    状マスク抽出装置において、 前記背景画像と前記任意の画像との差分から各マクロブ
    ロックのエネルギー値と、その平均値を算出する手段
    と、 各マクロブロックにおけるエネルギー値をその平均値で
    除し、その値が所定の値以下であれば０に変更する手段
    と、 各マクロブロックのエネルギー値が第１の所定の値以上
    である場合、そのマクロブロックを前景とする手段と、 前景と判断されたマクロブロックの近傍のマクロブロッ
    クについて、マクロブロックのエネルギー値が第２の所
    定の値以上である場合、そのマクロブロックを前景とす
    る処理を所定回数繰り返して行う手段とを有することを
    特徴とする前景の形状マスク抽出装置。
28. 【請求項２８】 予め算出された背景画像と任意の画像
    との差分を用いて前景の形状マスクを抽出する前景の形
    状マスク抽出プログラムを格納した記憶媒体であって、 前記差分から算出したマクロブロックのエネルギー値が
    第１の所定の値以上である場合、そのマクロブロックを
    前景とする第１のプロセスと、 前景と判断されたマクロブロックの近傍のマクロブロッ
    クについて、マクロブロックのエネルギー値が第２の所
    定の値以上である場合、そのマクロブロックを前景とす
    る第２のプロセスとを有することを特徴とする前景の形
    状マスク抽出プログラムを格納した記憶媒体。
29. 【請求項２９】 前記第２のプロセスにおける処理を所
    定の回数行うプロセスを有する請求項２８に記載の前景
    の形状マスク抽出プログラムを格納した記憶媒体。
30. 【請求項３０】 予め算出された背景画像と任意の画像
    との差分を用いて前景の形状マスクを抽出する前景の形
    状マスク抽出プログラムを格納した記憶媒体であって、 前記背景画像と前記任意の画像との差分から各マクロブ
    ロックのエネルギー値と、その平均値を算出するプロセ
    スと、 各マクロブロックにおけるエネルギー値をその平均値で
    除し、その値が所定の値以下であれば０に変更するプロ
    セスと、 各マクロブロックのエネルギー値が第１の所定の値以上
    である場合、そのマクロブロックを前景とするプロセス
    と、 前景と判断されたマクロブロックの近傍のマクロブロッ
    クについて、マクロブロックのエネルギー値が第２の所
    定の値以上である場合、そのマクロブロックを前景とす
    る処理を所定回数繰り返して行うプロセスとを有するこ
    とを特徴とする前景の形状マスク抽出プログラムを格納
    した記憶媒体。