JP2001218206A

JP2001218206A - 画像符号化装置及び方法、媒体

Info

Publication number: JP2001218206A
Application number: JP2000030275A
Authority: JP
Inventors: Takefumi Nagumo; 武文名雲; Yoichi Yagasaki; 陽一矢ヶ崎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-02-02
Filing date: 2000-02-02
Publication date: 2001-08-10
Also published as: US20010024297A1

Abstract

(57)【要約】【課題】テクスチャ情報と形状情報とから符号化ビッ
トストリームを生成するような場合において、画像撮影
時の制約が無く、形状情報を生成するための計算量及び
オペレータの処理工数を低減できるようにし、画像中の
所望の画像部分についての形状情報をも生成可能とす
る。【解決手段】複数の形状情報画像２に対応する形状情
報を保持する形状情報テンプレート８０の中から所望の
形状情報を選択し、符号化器８２において、その選択さ
れた形状情報（２₁）とテクスチャ画像（オリジナル画
像１等）データとを用いてＭＰＥＧ４の画像符号化ビッ
トストリームを生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化装置及
び方法、媒体に関し、特に、例えば光磁気ディスクや磁
気テープ、フラッシュメモリ等の記録媒体に記録し、こ
れを再生してディスプレイ装置などに表示したり、テレ
ビ会議システムやテレビ電話システム、インターネット
やテレビ放送機器など、伝送路を介して送信側から受信
側に伝送し、受信側において、これを受信して表示する
場合などに用いて好適な画像符号化装置及び方法、媒体
に関する。

【０００２】

【従来の技術】図９には従来の画像符号化装置の概略構
成を示す。

【０００３】この図９は、通常の輝度、色差データ、若
しくはＲ（赤），Ｇ（緑），Ｂ（青）データ等の画像デ
ータからなるテクスチャ（texture）画像データ（以下
適宜、テクスチャ情報と呼ぶ）の符号化とともに、画像
内の物体の切り出し情報である形状情報を符号化する形
状符号化方式（シェイプコーディング：Shape Coding）
を採用した従来の画像符号化装置の一例を示している。

【０００４】すなわち、図９に示す画像符号化装置は、
形状情報をテクスチャ画像データと同時に符号化する符
号化装置であり、入力されたオリジナル（original）画
像１２０から、当該符号化装置内で何らかの手段を用い
て物体の形状情報を作成し、その作成した形状情報を、
上記オリジナル画像１２０より得られるテクスチャ画像
１２１の画像データ（テクスチャ情報）と共に符号化す
るようにしている。

【０００５】なお、ここでは、テクスチャ情報、形状情
報の符号化が可能な画像符号化方式として、いわゆるＭ
ＰＥＧ４ビデオ符号化方式（ＩＳＯ／ＩＥＣ１４４９６
−２）を使用して説明を行うが、これは一例であり、Ｍ
ＰＥＧ４の符号化のみに限定したわけではなく、同様に
形状情報を持つ符号化方式全般に適用可能である。

【０００６】この図９において、オリジナル画像１２０
の画像データは、通常の輝度、色差データ、若しくは
Ｒ，Ｇ，Ｂデータからなり、この画像データが物体情報
切り出し器１１０に入力する。

【０００７】物体情報切り出し器１１０では、入力され
たオリジナル画像１２０内の物体の形状を切り出し、そ
の切り出した物体の形状のみを表す形状情報を生成して
出力する。なお、オリジナル画像１２０内の物体１２３
の形状のみを切り出した形状情報を１枚の画像として表
した場合、図９中の形状情報画像１２２のようになる。

【０００８】ここで、通常、上記形状情報画像１２２と
して表されるような形状情報の作成には、クロマキーと
呼ばれる手法等が用いられる。なお、上記クロマキーと
は、画像の撮影時に例えば青色の床や壁を持つ室内等で
撮影を行い、画像データ内で青色の成分を持つ画素は背
景部分、青色以外の成分を持つ画素を前景部分とするこ
とにより、画像内の物体の判別を可能とする方法であ
る。このクロマキー以外の手法としては、輝度の画素値
をもとに画像の前景と背景部分を判別するルミナンスキ
ーや、最初の１フレーム目の画像上で前景部分と背景部
分を指定し、その後のフレームでは１フレーム目の情報
をもとに画像の前景部分と背景部分を判別してゆく（追
尾してゆく）方式、物体のエッジ情報をフィルタ等を用
いて検出する方法等もある。

【０００９】このような手法を用いて、上記物体情報切
り出し器１１０により生成された形状情報は、ＭＰＥＧ
４符号化器（ＭＰＥＧ４ Encoder）１１１へ送られ
る。

【００１０】また、物体情報切り出し器１１０からは、
上記オリジナル画像１２０より得られるテクスチャ画像
１２１の画像データ（テクスチャ情報）も出力され、上
記形状情報と同様にＭＰＥＧ４符号化器１１１に送られ
る。なお、テクスチャ画像データ（テクスチャ情報）
は、物体情報切り出し器１１０に入力されたオリジナル
画像１２０の画像データをそのまま出力してもよく、ま
た例えば、物体を切り出した後の前景部分のみを符号化
するような場合には、後の処理を軽減することなどを目
的として、背景部分の画素値を別の画素値に置き換えた
り、フィルタ等を用いて画像データを適宜変換したデー
タとしてもよい。

【００１１】ＭＰＥＧ４符号化器１１１は、物体情報切
り出し器１１０より出力されたテクスチャ画像データ
（テクスチャ情報）および形状情報をその入力として受
け取り、これらの情報（画像データ）をＭＰＥＧ４ビデ
オ符号化方式に従いビットストリームに変換する。当該
符号化により得られたビットストリームは、ＭＰＥＧ４
符号化ビットストリームとして、蓄積メディア１１２に
蓄積、またはハードディスク等の記憶装置１１３に記
録、若しくは直接インターネット等の通信ネットワーク
に伝送される。

【００１２】

【発明が解決しようとする課題】図９に示した従来の画
像符号化装置においては、前述した通り、輝度及び色差
データや、Ｒ，Ｇ，Ｂデータ等からなるオリジナル画像
１２０の画像データから、前述したクロマキーやルミナ
ンスキー等の各種の物体切り出し手法を使用して、形状
情報の作成を行っている。

【００１３】しかしながら、物体切り出しのための手法
として、例えば、上記クロマキーの手法を用いる場合、
背景がある色差（すなわち青色）を持つスタジオ等で撮
影しなければならないといった制約がある。

【００１４】また例えば、最初の１フレーム目の画像上
で前景部分と背景部分を指定し、その後のフレームでは
１フレーム目の情報をもとに画像の前景部分と背景部分
を判別してゆく方式、すなわち、最初の１フレーム目の
画像に対して形状情報を与えてそれを追尾させる手法の
場合、１フレーム目に対する形状情報を追尾して残りの
フレームの形状情報を求めるためには、膨大な演算が必
要になる。また１フレーム目の画像に対し形状情報を与
えるためには、例えばオペレータが手作業で物体の形状
を指定する等の操作が必要となり、操作が非常に煩雑に
なる。

【００１５】さらに、輝度の画素値をもとに画像の前景
と背景部分を判別するルミナンスキーや、物体のエッジ
情報をフィルタ等を用いて検出する方法では、例えば、
画像中の所望の画像部分（例えば図９のオリジナル画像
１２０内の任意の物体１２３に画像部分など）について
のみ切り出しを行うようなことは非常に困難である。

【００１６】そこで、本発明は、このような実情に鑑み
てなされたものであり、テクスチャ情報と形状情報とか
ら符号化ビットストリームを生成するような場合におい
て、画像撮影時の制約が無く、また、形状情報を生成す
るための計算量及びオペレータの処理工数を低減でき、
さらに、画像中の所望の画像部分についての形状情報を
も生成可能とする、画像符号化装置及び方法、媒体を提
供することを目的とする。

【００１７】

【課題を解決するための手段】本発明の画像符号化装置
は、画像信号を符号化して画像符号化ビットストリーム
を生成する画像符号化装置であり、予め用意した複数の
形状情報の中から選択された所望の形状情報と、上記画
像信号とから、所定の画像符号化フォーマットに対応す
る画像符号化ビットストリームを生成するビットストリ
ーム生成手段を有することにより、上述した課題を解決
する。

【００１８】本発明の画像符号化方法は、画像信号を符
号化して画像符号化ビットストリームを生成する画像符
号化方法であり、予め用意した複数の形状情報の中から
所望の形状情報を選択し、上記選択した所望の形状情報
と上記画像信号とから、所定の画像符号化フォーマット
に対応する画像符号化ビットストリームを生成すること
により、上述した課題を解決する。

【００１９】本発明の媒体は、画像信号を符号化した画
像符号化ビットストリームを記録若しくは伝送する媒体
であり、予め用意した複数の形状情報の中から所望の形
状情報を選択するステップと、上記選択した所望の形状
情報と上記画像信号とから、所定の画像符号化フォーマ
ットに対応する画像符号化ビットストリームを生成する
ステップとにより生成された画像符号化ビットストリー
ムを記録若しくは伝送するものである。

【００２０】

【発明の実施の形態】以下、本発明の好ましい実施の形
態について、図面を参照しながら説明する。

【００２１】図１には、本発明の第１の実施の形態の画
像符号化装置１０の概略構成を示す。なお、図１には、
本実施の形態の画像符号化装置１０から出力されたＭＰ
ＥＧ４ビットストリームを復号する復号装置１１も同時
に示している。

【００２２】この図１において、輝度及び色差データ、
或いはＲ，Ｇ，Ｂデータからなるオリジナル画像１の画
像データは、テクスチャ画像データとして符号化器８２
に入力する。

【００２３】形状情報テンプレート８０は、予め生成さ
れている複数の形状情報画像２₁，２₂，２₃，２₄，
２₅，・・・に対応する形状情報を保持しており、これ
ら複数の形状情報の中から、形状情報選択フラグにより
指定された所望の形状情報が選択され、その選択された
形状情報（図１の例では形状情報画像２₁の形状情報）
が出力される。なお、形状情報テンプレート８０が保持
する複数の形状情報は、符号化が行われていない状態の
データ（画素データ）として保持しておいても良いし、
また、予め任意の符号化フォーマットに従って符号化さ
れた状態のデータの形で保持しておいても良い。形状情
報を任意の符号化フォーマットに従って符号化して形状
情報テンプレート８０に保持しておいた場合は、当該形
状情報テンプレート８０から出力する時に、当該任意の
符号化フォーマットにしたがって符号化されている形状
情報を、その任意の符号化フォーマットに対応して復号
化してから出力するか、若しくは、後段の符号化器８２
に入力可能なフォーマットに変換してから出力する。こ
の場合、当該復号化若しくはフォーマット変換を行うた
めの変換手段を形状情報テンプレート８０の出力段に設
けるようにする。

【００２４】上記形状情報テンプレート８０から選択さ
れて出力された形状情報は、形状情報調整器８１に送ら
れる。

【００２５】形状情報調整器８１には、必要に応じて形
状情報画像調節フラグが入力される。当該形状情報調整
器８１は、上記形状情報画像調節フラグが入力された場
合、当該形状情報画像調節フラグに応じて、上記形状情
報に対応する形状情報画像２の位置及びサイズ等の調整
を行う。すなわち、この場合の形状情報調整器８１にお
ける形状情報画像２の位置の調整としては、例えばオリ
ジナル画像１に対して上記形状情報画像２を所望の位置
に配置（移動）するような調整が行われ、また、サイズ
等の調整としては、形状情報画像２を拡大、縮小、変形
等するような調整が行われる。当該形状情報画像２の位
置及びサイズ等の調整が行われた後の形状情報は、符号
化器８２に送られる。

【００２６】符号化器８２では、テクスチャ画像データ
（テクスチャ情報）及び形状情報をその入力として受け
取り、これらのデータ（画像データ）を、所定の画像符
号化フォーマットとしてのＭＰＥＧ４ビデオ符号化方式
に従い、画像符号化ビットストリームに変換する。当該
符号化により得られた画像符号化ビットストリームは、
ＭＰＥＧ４ビットストリームとして、図示しない蓄積メ
ディアに蓄積、またはハードディスク等の記憶装置に記
録、若しくは直接インターネット等の通信ネットワーク
に伝送される。

【００２７】上述したように蓄積または記録若しくは伝
送されたＭＰＥＧ４ビットストリームは、その後、画像
復号装置１１の復号器８３により復号されることにな
る。例えば、図１の画像符号化装置１０において、形状
情報テンプレート８０から形状情報画像２₁が選択さ
れ、また、当該形状情報画像２₁の位置及びサイズがオ
リジナル画像１内の物体６の一部（例えば人型の物体６
の頭部付近）に調整されたような場合、この形状情報画
像２₁とオリジナル画像１のテクスチャ画像データとを
符号化したＭＰＥＧ４ビットストリームを当該画像復号
装置１１により復号した画像は、例えば図１の復号画像
３のようになる。なお、図１の復号画像３の例の場合、
当該復号画像３中の領域５は画像オブジェクト４の外側
として扱われ、画像領域４の部分の画像のみが復号され
る。

【００２８】以上説明したように、本発明の第１の実施
の形態の画像符号化装置においては、オリジナル画像１
の画像データから形状情報を作成するのではなく、形状
情報テンプレート８０に予め保持されている形状情報群
から所望の形状情報を選択し、この形状情報とテクスチ
ャ画像データとから符号化ビットストリームを形成する
ことにより、前記図９の従来例の構成のように、入力さ
れたオリジナル画像のテクスチャ画像データから物体を
切り出す等の抽出作業を軽減することが可能となってい
る。これにより、本発明の第１の実施の形態によれば、
オリジナル画像中の物体部分の切り出しのためにクロマ
キー等を使用する場合のような画像撮影時の制約が無
く、また、形状情報を生成するための計算量及びオペレ
ータの処理工数が画像符号化時には殆ど必要なく、さら
に、画像中の所望の画像部分についての形状情報を簡単
に得ることが可能となっている。

【００２９】次に、図２には、本発明の第２の実施の形
態の画像符号化装置１２の概略構成を示す。

【００３０】この図２において、輝度及び色差データ、
或いはＲ，Ｇ，Ｂデータからなるオリジナル画像１の画
像データは、テクスチャ画像データとしてＭＰＥＧ４エ
ンコーダ２１に入力する。

【００３１】また、形状情報選択器２０は、予め生成さ
れている複数の形状情報画像２₁，２₂，２₃，２₄，
２₅，・・・に対応する形状情報を保持しており、これ
ら複数の形状情報の中から、形状情報選択フラグにより
指定された所望の形状情報を選択（図２の例では形状情
報画像２₁の形状情報）する。なお、形状情報選択器２
０が保持する複数の形状情報は、符号化が行われていな
い状態のデータ（画素データ）として保持しておいても
良いし、また、予め任意の符号化フォーマットに従って
符号化された状態のデータの形で保持しておいても良
い。形状情報を任意の符号化フォーマットに従って符号
化して形状情報選択器２０に保持しておいた場合は、当
該形状情報選択器２０から出力する時に、当該任意の符
号化フォーマットにしたがって符号化されている形状情
報を、その任意の符号化フォーマットに対応して復号化
してから出力するか、若しくは、後段の符号化器２２に
入力可能なフォーマットに変換してから出力する。この
場合、当該形状情報選択器２０は、復号化若しくはフォ
ーマット変換を行うための変換手段を備える。

【００３２】また、この第２の実施の形態の画像符号化
装置１２の場合、形状情報選択器２０には、必要に応じ
て位置，サイズ調節データも入力される。形状情報選択
器２０は、上記位置，サイズ調節信号が入力された場
合、当該位置，サイズ調節信号に応じて、上記選択され
た形状情報に対応する形状情報画像２の位置及びサイズ
等を調整し、その調整後の形状情報を出力する。すなわ
ち、この場合の形状情報選択器２０における形状情報画
像２の位置の調整としては、例えばオリジナル画像１に
対して上記形状情報画像２を所望の位置に配置（移動）
するような調整が行われ、また、サイズ等の調整として
は、形状情報画像２を拡大、縮小、変形等するような調
整が行われる。当該形状情報画像２の位置及びサイズ等
の調整が行われた後の形状情報は、ＭＰＥＧ４エンコー
ダ２１に送られる。

【００３３】ＭＰＥＧ４エンコーダ２１では、テクスチ
ャ画像データ（テクスチャ情報）及び形状情報をその入
力として受け取り、これらのデータ（画像データ）をＭ
ＰＥＧ４ビデオ符号化方式に従い画像符号化ビットスト
リームに変換する。当該符号化により得られた画像符号
化ビットストリームは、ＭＰＥＧ４符号化ビットストリ
ームとして、蓄積メディア２２に蓄積、またはハードデ
ィスク等の記憶装置２３に記録、若しくは直接インター
ネット等の通信ネットワークに伝送される。

【００３４】以上説明したように、本発明の第２の実施
の形態の画像符号化装置においては、オリジナル画像１
の画像データから形状情報を作成するのではなく、形状
情報選択器２０に予め保持されている形状情報群から所
望の形状情報を選択し、さらに位置とサイズ等を調整し
た形状情報とテクスチャ画像データとから符号化ビット
ストリームを形成することにより、前記図９の従来例の
構成のように、入力されたオリジナル画像のテクスチャ
画像データから物体を切り出す等の抽出作業を軽減する
ことが可能となっている。これにより、本発明の第２の
実施の形態によれば、オリジナル画像中の物体部分の切
り出しのためにクロマキー等を使用する場合のような画
像撮影時の制約が無く、また、形状情報を生成するため
の計算量及びオペレータの処理工数が画像符号化時には
殆ど必要なく、さらに、画像中の所望の画像部分につい
ての形状情報を簡単に得ることが可能となっている。

【００３５】次に、図３には、本発明の第３の実施の形
態の画像符号化装置１３の概略構成を示す。

【００３６】この図３に示す第３の実施の形態の画像符
号化装置１３は、ＭＰＥＧ４ビデオ符号化方式（ＩＳＯ
／ＩＥＣ１４４９６−２）における形状情報符号化方式
の性質を利用し、形状情報選択器５０内に予め保持され
る形状情報を、所定の画像符号化フォーマットとしての
ＭＰＥＧ４の形状情報符号化方式、若しくはそれに準じ
た符号化方式にて符号化した状態のビットストリームと
しておくことにより、後段のＭＰＥＧ４エンコーダ５１
内において形状情報の符号化処理を行わなくても済むよ
うにし、ＭＰＥＧ４エンコーダ５１での処理を軽減させ
ることを可能とするものである。

【００３７】ここで、図３に示す第３の実施の形態の構
成の具体的な説明の前に、ＭＰＥＧ４ビデオ符号化方式
における形状情報の符号化方法について以下に説明す
る。

【００３８】ＭＰＥＧ４ビデオ符号化方式における形状
情報の符号化に際し、符号化が行われる画像領城は、例
えば図４の（ａ）で示されるような太線内の矩形領域Ｅ
１となる。

【００３９】当該符号化が行われる矩形領域Ｅ１は、図
４の（ａ）で示されるように形状情報として切り出され
る画像オブジェクトＯＢを包括するような領域であれば
よく、その大きさは縦，横方向（垂直，水平方向）とも
に１６の倍数の画素値となるように設定される。なお、
当該符号化が行われる矩形領域Ｅ１は、形状情報として
切り出された画像オブジェクトＯＢを包括できる最小の
１６の倍数画素の大きさの矩形領域であっても、また入
力されたテクスチャ画像の大きさと等しい矩形領域、若
しくはそれ以上の大きさを持つ矩形領域等であっても良
く、縦，横方向ともに１６の倍数の画素数を有している
限り、当該符号化が行われる画像領域としての矩形領域
Ｅ１を何れの大きさに選択するかは自由である。

【００４０】また、図４と図５及び図６において、図中
細線で表される画像の外枠（画枠Ａ１）は、形状情報を
符号化する際に入力した画像の画枠を意味する。ここで
は、入力画像の画枠Ａ１の左上の画素位置を原点とし、
この原点に対する上記矩形領域Ｅ１の左上の画素位置
を、ＭＣ＿ｓｐａｔｉａｌ＿ｒｅｆといった横及び縦方
向の値で示されるベクトルで示すものとする。さらに、
上述のように縦，横方向ともに１６の倍数の画素数を持
つように選択された矩形領域Ｅ１の横幅をＶＯＰ＿ＷＩ
ＤＴＨ、縦幅をＶＯＰ＿ＨＥＩＧＨＴとする。

【００４１】ＭＰＥＧ４ビデオ符号化方式において、テ
クスチャ情報の符号化の際には、テクスチャ画像が１６
画素の正方領域毎に分割され、この１６画素の正方領域
毎に符号化が行われるが、上記形状情報の符号化の際に
も、当該テクスチャ情報の符号化の場合と同様に、形状
情報画像が１６画素の正方領域毎に分割され、当該１６
画素の正方領域毎に符号化が行われる。すなわち、上記
形状情報画像は、上記テクスチャ画像と等しい空間位置
に存在する１６画素の正方領域毎に分割され、当該１６
画素の正方領域毎に符号化が行われる。なお、形状情報
の符号化時に用いる横幅ＶＯＰ＿ＷＩＤＴＨ、縦幅ＶＯ
Ｐ＿ＨＥＩＧＨＴ、ベクトルＭＣ＿ｓｐａｔｉａｌ＿ｒ
ｅｆは、テクスチャ情報の符号化時にも参照される。こ
のように、ＭＰＥＧ４ビデオ符号化方式においては、そ
れぞれ同じ空間位置の形状情報及びテクスチャ情報を、
上記１６画素の正方領域毎に取り扱う。なお、当該１６
画素の正方領域は、マクロブロック（ＭＢ）と呼ばれて
いる。

【００４２】さらに、ＭＰＥＧ４ビデオ符号化方式にお
けるテクスチャ情報の符号化には、フレーム内相関を利
用して符号化を行うイントラ（INTRA）符号化と、フレ
ーム間相関を利用し符号化を行うインター（INTER）符
号化とがあるが、上記形状情報の符号化の際にも、上記
イントラ符号化とインター符号化が行われる。

【００４３】図４を用いて、ＭＰＥＧ４ビデオ符号化方
式における形状情報のイントラ符号化について説明す
る。

【００４４】上述したように、ＭＰＥＧ４ビデオ符号化
方式では、テクスチャ情報が１６画素の正方領域のマク
ロブロック単位で符号化され、また形状情報の符号化も
図４の（ａ）に示すように１６画素の正方領域のマクロ
ブロック単位で行われる。個々のマクロブロックＭＢ内
のデータは、それぞれマクロブロックＭＢ内に存在する
上記形状情報の符号化データ及びその近傍に存在する形
状情報のデータを用いて符号化が行われる。

【００４５】一方で、前記ベクトルＭＣ＿ｓｐａｔｉａ
ｌ＿ｒｅｆの値は、個々のマクロブロックＭＢを符号化
する際には使用されない。このため、例えばベクトルＭ
Ｃ＿ｓｐａｔｉａｌ＿ｒｅｆの値が、図４の（ａ）や
（ｂ），（ｃ），(ｄ）のようにそれぞれ異なっていた
としても、図４の（ａ）〜(ｄ）に示した各矩形領域Ｅ
１のサイズが等しく、且つ、画像オブジェクトＯＢとそ
の矩形領域Ｅ１の相対位置がそれぞれ等しい場合には、
それら図４の（ａ）〜(ｄ）の各マクロブロックＭＢ内
の形状情報を符号化したデータは等しくなる。すなわ
ち、図４の（ａ）〜(ｄ）の例で示されるように、符号
化を行う矩形領域Ｅ１のサイズが等しく、且つ、画像オ
ブジェクトＯＢとの相対位置が等しい場合、マクロブロ
ック単位での符号化後の形状情報は一意に定まる。但
し、マクロブロックデータを取りまとめるＶＯＰ＿ｈｅ
ａｄｅｒ及びＶＯＰ＿Ｈｅａｄｅｒはその限りではな
い。

【００４６】次に、図５を用いて、形状情報をフレーム
間相関を用いて符号化する場合の符号化方法について説
明する。図５の（ａ）にはフレーム間予測を行う際の予
測フレームを示す。また、図５の（ｂ）には、図５の
（ａ）の予測フレームを用い、符号化・復号化を行う符
号化フレームを示す。

【００４７】ここで、図５の（ａ）の場合のベクトルＭ
Ｃ＿ｓｐａｔｉａｌ＿ｒｅｆをＭＣ＿ＳＰ１とし、図５
の（ｂ）の場合のベクトルＭＣ＿ｓｐａｔｉａｌ＿ｒｅ
ｆをＭＣ＿ＳＰ２とする。また、ここでは、図５の
（ｂ）の図中ＭＢ１で示されたマクロブロックの符号化
を行うものとする。さらに、このマクロブロックＭＢ１
内の形状情報の符号化に用いる動き補償用ベクトルをＭ
Ｖ２とする。また、図５の（ｂ）において、矩形領域Ｅ
１の左上の画素位置から、符号化が行われるマクロブロ
ックＭＢ１の左上の画素位置までのまでのベクトルをＭ
Ｂ＿Ｐｏｓｉｔｉｏｎ２とする。

【００４８】このとき、図５の（ｂ）のマクロブロック
ＭＢ１の符号化に使用される予測画像（図５の（ｃ）の
マクロブロックＭＢ２）の位置は、入力画像の画枠Ａ１
の左上の原点からの位置に対して、下記式のように表す
ことができる。

【００４９】ＭＣ＿ＳＰ２＋ＭＢ＿Ｐｏｓｉｔｉｏｎ２
＋ＭＶ２−ＭＣ＿ＳＰ１また、図５の（ｂ）のフレームに対して用いられる画像
の参照位置を、図５の（ａ）の矩形領域Ｅ１の左上の位
置を原点として考えた場合は、図５の（ｃ）の点線で示
された矢印の位置の画像（マクロブロックＭＢ２）を予
測することとなる。この図５の（ａ）の矩形領域Ｅ１の
左上の座標からの位置を示すと、下記式のように表すこ
とができる。

【００５０】ＭＣ＿ＳＰ２＋ＭＢ＿Ｐｏｓｉｔｉｏｎ２
＋ＭＶ２−ＭＣ＿ＳＰ１これは例え、図５の（ｂ）の矩形領域Ｅ１内の位置が等
しく、動き補償用ベクトルも同じ値を持つマクロブロッ
クであっても、ＭＣ＿ＳＰ１、ＭＣ＿ＳＰ２のベクトル
値が異なる場合には、その予測画像（マクロブロックＭ
Ｂ２）の位置が異なることを示しており、また、ＭＣ＿
ＳＰ１、ＭＣ＿ＳＰ２の値が等しい場合には、矩形領域
Ｅ１内で、あるマクロブロックに対して同じ動き補償用
ベクトルが用いられれば、予測画像の位置も同じく一点
に定まることを示す。

【００５１】また、これとは別に、０以外の値を持つ形
状情報の動き補償用ベクトルは、符号化時にテクスチャ
情報の動き補償用ベクトルをその予測値として用いる場
合がある。これは、現在符号化を行っている、左、上、
右上のマクロブロックの形状情報内に動き補償用ベクト
ルが含まれていない場合であり、この場合の現状情報に
おける動き補償用ベクトルの符号化データは、テクスチ
ャ情報の符号化情報に影響をうける。この場合、イント
ラ符号化を行うことなどにより、上記問題を回避可能で
ある。

【００５２】これらのことを考慮して、以下のような制
約（１），（２）をつけて形状情報の符号化を行った場
合、図６に示すように矩形領域Ｅ１内の形状情報の値及
びその形状情報の相対位置が等しければ、各フレームＦ
１〜Ｆ５内の形状情報の配置位置がそれぞれ異なった場
合でも、対応するフレームの対応するマクロブロック内
の形状情報のデータは常に等しくなる。なお、図６の
（Ａ）はイントラ符号化の場合の例を、図６の（Ｂ）は
インター符号化の場合の例を示している。

【００５３】（１）例えばＭＣ＿ｓｐａｔｉａｌ＿ｒｅ
ｆを全フレームで共通の値を用いる。

【００５４】（２）テクスチャ情報の動き補償用ベクト
ルを予想値として用いるマクロブロックに対してはイン
トラ符号化を行う。

【００５５】そのため、これらの制約（１），（２）を
用いて符号化を行った形状情報はテクスチャ情報、ＭＣ
＿ｓｐａｔｉａｌ＿ｒｅｆの値（但し、イントラ符号化
利用時にはビットストリーム内では一定にする）によら
ず一定の値を持つ形状情報を復号可能となる。

【００５６】この制約（１），（２）を用いて、形状情
報を予め符号化し、ビットストリームとして保存してお
くことにより、ＭＰＴＧ４符号化時の形状情報の符号化
処理を軽減することができる。

【００５７】すなわち、図３に示した本発明の第３の実
施の形態では、上述した形状情報符号化方式の性質を用
いた画像符号化装置１３を実現している。

【００５８】この図３において、輝度及び色差データ、
或いはＲ，Ｇ，Ｂデータからなるオリジナル画像１の画
像データは、テクスチャ画像データとしてシェイプビッ
トストリーム（形状情報の符号化ビットストリーム）読
み込み型ＭＰＥＧ４エンコーダ５１に入力する。

【００５９】また、形状情報選択器５０は、予め生成さ
れている複数の形状情報画像２₁，２₂，２₃，２₄，
２₅，・・・に対応する形状情報を、ＭＰＥＧ４のシェ
イプ（形状情報）のビットストリームの形式として符号
化された状態で保持している。すなわち、この第３の実
施の形態の場合、形状情報選択器５０が保持する形状情
報は、上述したように、マクロブロック以下のレイヤが
ＭＰＥＧ４ビデオ符号化方式における形状情報の符号化
方法により予め符号化された符号化データとなされてい
る。なお、マクロブロック以上のシンタックスについて
は、必ずしもＭＰＥＧ４ビデオ符号化の規格に準拠して
いなくとも良い。また、これらの符号化された形状情報
については、その符号化時に前述した制約（１），
（２）に従い符号化されているものとする。

【００６０】形状情報選択器５０では、これら符号化さ
れた複数の形状情報の中から、形状情報選択フラグによ
り指定された所望の形状情報が選択（図２の例では形状
情報画像２₁の符号化された形状情報）される。当該選
択された形状情報の符号化データは、シェイプビットス
トリーム読み込み型ＭＰＥＧ４エンコーダ５１に送られ
る。

【００６１】ＭＰＥＧ４エンコーダ５１は、テクスチャ
画像データ（テクスチャ情報）及び形状情報の符号化デ
ータをその入力として受け取ると共に、必要に応じて形
状情報位置調節フラグも入力される。なお、形状情報位
置調節フラグは、形状情報の位置を初期値から変更した
場合にのみ入力が必要となり、全フレームで共通の値を
持つものとする。

【００６２】ここで、シェイプビットストリーム読み込
み型ＭＰＥＧ４エンコーダ５１について、図７を用いて
説明する。

【００６３】図７に示すシェイプビットストリーム読み
込み型ＭＰＥＧ４エンコーダ５１に入力された形状情報
の符号化データは、形状情報復号器６４とシェイプ符号
化情報分割器６６に入力する。

【００６４】形状情報復号器６４は、入力された形状情
報の符号化データのビットストリームの復号を行い、そ
の復号により得られた形状情報をテクスチャ情報符号化
器６２へ入力する。また、このときの形状情報復号器６
４は、上記復号した形状情報だけでなく、形状情報の符
号化データの復号時にデコードされたＶＯＰ＿ＷＩＤＴ
Ｈ、ＶＯＰ＿ＨＥＩＧＨＴ、ＭＣ＿ｓｐａｔｉａｌ＿ｒ
ｅｆ等の情報も同様にテクスチャ情報符号化器６２へ送
る。

【００６５】なお、本実施の形態では、形状情報を符号
化して形状情報選択器５０に保持しておく例を挙げてい
るが、当該形状情報選択器５０には、形状情報の符号化
データだけでなく、復号された形状情報画像のデータと
それに関連するＶＯＰ＿ＷＩＤＴＨ、ＶＯＰ＿ＨＥＩＧ
ＨＴ、ＭＣ＿ｓｐａｔｉａｌ＿ｒｅｆといった情報をも
同時に格納し、これら形状情報画像のデータ及びＶＯＰ
＿ＷＩＤＴＨ、ＶＯＰ＿ＨＥＩＧＨＴ、ＭＣ＿ｓｐａｔ
ｉａｌ＿ｒｅｆをテクスチャ情報符号化器６２へ直接入
力することにより、形状情報復号器６４での処理を省略
することも可能である。

【００６６】テクスチャ情報符号化器６２は、入力され
たテクスチャ画像の画像データと、復号された形状情報
のデータ、ＶＯＰ＿ＷＩＤＴＨ、ＶＯＰ＿ＨＥＩＧＨ
Ｔ、ＭＣ＿ｓｐａｔｉａｌ＿ｒｅｆを用いてテクスチャ
情報の符号化を行う。すなわち、当該テクスチャ情報符
号化器６２では、ＭＰＥＧ４ビットストリームの復号に
必要なヘッダ情報、及び、マクロブロック内のテクスチ
ャ情報の符号化を行う。このテクスチャ情報符号化器６
２での符号化により得られたテクスチャ符号化データ
は、テクスチャ符号化情報分割器６３へ送られる。

【００６７】また、このＭＰＥＧ４エンコーダ５１のテ
クスチャ情報符号化器６２には、必要に応じて形状情報
位置調節フラグも入力される。すなわち当該テクスチャ
情報符号化器６２は、形状情報画像の配置位置を変更す
るために外部より形状情報位置調節フラグが入力されて
いる場合には、ＭＣ＿ｓｐａｔｉａｌ＿ｒｅｆを形状情
報調節フラグの値に書き換え、当該形状情報位置調整フ
ラグの値に基づいて形状情報の位置を移動する。なお、
形状情報の左上位置を示すベクトルＭＣ＿ｓｐａｔｉａ
ｌ＿ｒｅｆは形状情報に含まれているものをそのまま使
用してもよいし、また、特に位置を指定したい場合は外
部より入力してもよい。

【００６８】テクスチャ符号化情報分割器６３では、図
８の（ａ）に示すようなテクスチャ符号化データを、図
８の（ｂ）に示されるようにヘッダ情報とその他のマク
ロブロックデータに分割する。これら分割されたヘッダ
情報とマクロブロックデータは、ビットストリーム合成
器６５へ送られる。

【００６９】また、シェイプ符号化情報分割器６６で
は、図８の（ｃ）に示すような形状情報（シェイプ）の
符号化データを入力として受け取り、この形状情報の符
号化データを、図８の（ｄ）に示されるようにヘッダ情
報とその他のマクロブロックデータに分割する。これら
分割されたヘッダ情報とマクロブロックデータは、ビッ
トストリーム合成器６５へ送られる。

【００７０】ビットストリーム合成器６５では、図８の
（ｅ）に示されるように、それぞれ上述のように分割さ
れて供給されるテクスチャ符号化データと形状情報の符
号化データの合成を行う。なお、当該ビットストリーム
合成器６５による合成ビットストリームのヘッダとして
は、テクスチャ符号化データのビットストリームのヘッ
ダを用い、その後、形状情報の符号化データのマクロブ
ロック、テクスチャ符号化データのマクロブロックが交
互に挿入される。ビットストリーム合成器６５では、こ
のような符号化データの合成を行い、その合成されたビ
ットストリームを出力する。

【００７１】上記ビットストリーム合成器６５にて合成
されたビットストリームは、図３のシェイプビットスト
リーム読み込み型ＭＰＥＧ４エンコーダ５１よりＭＰＥ
Ｇ４符号化ビットストリームとして出力され、蓄積メデ
ィア５２に蓄積、またはハードディスク等の記憶装置５
３に記録、若しくは直接インターネット等の通信ネット
ワークに伝送される。

【００７２】以上説明したように、本発明の第３の実施
の形態の画像符号化装置においては、オリジナル画像１
の画像データから形状情報を作成するのではなく、形状
情報選択器５０に予め保持されている形状情報群から所
望の形状情報を選択し、その形状情報とテクスチャ画像
データとから符号化ビットストリームを形成することに
より、前記図９の従来例の構成のように、入力されたオ
リジナル画像のテクスチャ画像データから物体を切り出
す等の抽出作業を軽減することが可能となっている。こ
れにより、本発明の第３の実施の形態によれば、オリジ
ナル画像中の物体部分の切り出しのためにクロマキー等
を使用する場合のような画像撮影時の制約が無く、ま
た、形状情報を生成するための計算量及びオペレータの
処理工数が画像符号化時には殆ど必要なく、さらに、画
像中の所望の画像部分についての形状情報を簡単に得る
ことが可能となっている。また、第３の実施の形態で
は、形状情報をＭＰＥＧ４ビデオ符号化方式により予め
符号化して保持しておくことにより、ＭＰＥＧ４エンコ
ーダ内での形状情報の符号化処理を不要として処理の軽
減を図っている。

【００７３】なお、上述した各実施の形態では、画像符
号化方式としてＭＰＥＧ４を例に挙げて説明したが、画
像符号化方式はＭＰＥＧ４のみに限定されるものではな
く、本発明は、形状情報の符号化が可能な他の画像符号
化方式にも広く適用可能である。

【００７４】また、本発明の各実施の形態において、上
記複数の形状情報或いはその符号化データは、図１の形
状情報テンプレート８０や図２の形状情報選択器２０、
図３の形状情報選択器５０が自体が内部に保持する場合
だけでなく、各実施の形態の画像符号化装置に併設され
た記憶装置やメモリ等に格納しておくことも可能であ
り、さらには、各実施の形態の装置からの要求に応じ、
伝送媒体を介して外部から供給されるものであってもよ
い。

【００７５】

【発明の効果】以上の説明からも明らかなように、本発
明においては、予め用意した複数の形状情報の中から選
択された所望の形状情報と画像信号とから、所定の画像
符号化フォーマットに対応する画像符号化ビットストリ
ームを生成することにより、例えば形状情報を有しない
画像信号に対して、形状情報を付加して画像符号化ビッ
トストリームを生成する際の形状情報生成及び形状情報
符号化にかかわる処理を軽減、すなわち計算量やオペレ
ータの処理工数を低減でき、また、画像撮影時の制約が
無く、されあに画像中の所望の画像部分についての形状
情報をも生成可能である。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の画像符号化装置の
概略構成を示す図である。

【図２】本発明の第２の実施の形態の画像符号化装置の
概略構成を示す図である。

【図３】本発明の第３の実施の形態の画像符号化装置の
概略構成を示す図である。

【図４】ＭＰＥＧ４ビデオ符号化方式において伝送され
る形状情報（イントラ符号化時）の説明に用いる図であ
る。

【図５】ＭＰＥＧ４ビデオ符号化方式における形状情報
の符号化時のフレーム間予測の説明に用いる図である。

【図６】ＭＰＥＧ４ビデオ符号化方式において伝送され
る形状情報（インター符号化時）の説明に用いる図であ
る。

【図７】図３のシェイプビットストリーム読み込み型Ｍ
ＰＥＧ４エンコーダの構成例を示す図である。

【図８】テクスチャ符号化データと形状情報符号化デー
タの分割及び合成の説明に用いる図である。

【図９】従来例の画像符号化装置の概略構成を示す図で
ある。

【符号の説明】

１オリジナル画像、２形状情報画像、１０第
１の実施の形態の画像符号化装置、１２第２の実施
の形態の画像符号化装置、１３第３の実施の形態の
画像符号化装置、２０，５０形状情報選択器、２
１，５１ＭＰＥＧエンコーダ、２２，５２蓄積メ
ディア、２３，５３記憶装置、８０形状情報テ
ンプレート、８１形状情報調整器、８２符号化
器、８３復号化器

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C053 FA23 GB37 JA16 LA04 LA14 5C059 MA00 MB14 MB16 NN01 PP28 SS07 SS08 SS11 SS20 UA02 UA38 5J064 AA02 BC02 BC25 BD02 BD03

Claims

【特許請求の範囲】

【請求項１】画像信号を符号化して画像符号化ビット
ストリームを生成する画像符号化装置において、予め用意した複数の形状情報の中から選択された所望の
形状情報と、上記画像信号とから、所定の画像符号化フ
ォーマットに対応する画像符号化ビットストリームを生
成するビットストリーム生成手段を有することを特徴と
する画像符号化装置。
【請求項２】上記複数の形状情報を記憶する記憶手段
と、当該記憶手段が記憶している上記複数の形状情報の中か
ら、所望の形状情報を選択する選択手段とを有すること
を特徴とする請求項１記載の画像符号化装置。
【請求項３】外部に用意された上記複数の形状情報の
中から、所望の形状情報を選択して取得する選択取得手
段を有することを特徴とする請求項１記載の画像符号化
装置。
【請求項４】任意の符号化フォーマットにより予め符
号化された複数の形状情報の中から選択された所望の形
状情報を、上記任意の符号化フォーマットに対応して復
号化、若しくは、上記ビットストリーム生成手段に入力
可能なフォーマットの形状情報に変換する変換手段を有
し、上記ビットストリーム生成手段では、上記変換手段から
得られた形状情報を用いて、上記所定の画像符号化フォ
ーマットに対応する上記画像符号化ビットストリームを
生成することを特徴とする請求項１記載の画像符号化装
置。
【請求項５】上記ビットストリーム生成手段は、上記
所定の画像符号化フォーマットを使用して予め符号化さ
れた複数の形状情報の中から選択された所望の形状情報
と、上記画像信号を上記所定の画像符号化フォーマット
により符号化した画像符号化データとを合成して、上記
画像符号化ビットストリームを生成することを特徴とす
る請求項１記載の画像符号化装置。
【請求項６】上記所定の画像符号化フォーマットを使
用して符号化された上記形状情報は、上記画像信号を上
記所定の画像符号化フォーマットにより符号化した画像
符号化データによらず、上記所定の画像符号化フォーマ
ットに対応する復号により一定の値を持つ形状情報に復
号されるデータであることを特徴とする請求項５記載の
画像符号化装置。
【請求項７】上記選択された所望の形状情報に対応す
る画像の位置及びサイズを調整する調整手段を有するこ
とを特徴とする請求項１記載の画像符号化装置。
【請求項８】画像信号を符号化して画像符号化ビット
ストリームを生成する画像符号化方法において、予め用意した複数の形状情報の中から所望の形状情報を
選択し、上記選択した所望の形状情報と上記画像信号とから、所
定の画像符号化フォーマットに対応する画像符号化ビッ
トストリームを生成することを特徴とする画像符号化方
法。
【請求項９】上記複数の形状情報を記憶し、当該記憶している上記複数の形状情報の中から、所望の
形状情報を選択することを特徴とする請求項８記載の画
像符号化方法。
【請求項１０】外部に用意された上記複数の形状情報
の中から、所望の形状情報を選択して取得することを特
徴とする請求項８記載の画像符号化方法。
【請求項１１】任意の符号化フォーマットにより予め
符号化された複数の形状情報の中から選択された所望の
形状情報を、上記任意の符号化フォーマットに対応して
復号化、若しくは、上記画像符号化ビットストリームの
生成に使用可能なフォーマットの形状情報に変換し、上記変換により得られた形状情報を用いて上記所定の画
像符号化フォーマットに対応する上記画像符号化ビット
ストリームを生成することを特徴とする請求項８記載の
画像符号化方法。
【請求項１２】上記所定の画像符号化フォーマットを
使用して予め符号化された複数の形状情報の中から選択
された所望の形状情報と、上記画像信号を上記所定の画
像符号化フォーマットにより符号化した画像符号化デー
タとを合成して、上記画像符号化ビットストリームを生
成することを特徴とする請求項８記載の画像符号化方
法。
【請求項１３】上記所定の画像符号化フォーマットを
使用して符号化された上記形状情報は、上記画像信号を
上記所定の画像符号化フォーマットにより符号化した画
像符号化データによらず、上記所定の画像符号化フォー
マットに対応する復号により一定の値を持つ形状情報に
復号されるデータであることを特徴とする請求項１２記
載の画像符号化方法。
【請求項１４】上記選択された所望の形状情報に対応
する画像の位置及びサイズを調整することを特徴とする
請求項８記載の画像符号化方法。
【請求項１５】画像信号を符号化した画像符号化ビッ
トストリームを記録若しくは伝送する媒体において、予め用意した複数の形状情報の中から所望の形状情報を
選択するステップと、上記選択した所望の形状情報と上記画像信号とから、所
定の画像符号化フォーマットに対応するステップとによ
り生成された画像符号化ビットストリームを記録若しく
は伝送することを特徴とする媒体。