JP2002016911A - オブジェクト映像符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】符号化側での簡単な処理によって複数のオブジ
ェクト間に奥行き感を持たせることを可能としたオブジ
ェクト映像符号化装置を提供する。 【解決手段】映像ソース１０中の複数のオブジェクトに
関するオブジェクト映像信号１１を各オブジェクトに対
応したオブジェクト映像符号化部１３−１〜１３−ｎに
より符号化した後、多重部１５で多重して符号化ビット
ストリーム１６を得るオブジェクト映像符号化装置にお
いて、符号量制御部１４によって映像ソース１０中の各
オブジェクトに関するシーン記述情報１２に含まれる各
オブジェクト間の奥行き情報に基づいてオブジェクト映
像符号化部１３−１〜１３−ｎから出力される各オブジ
ェクトに対応する符号化データの符号量を制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像をオブジェク
ト単位で符号化するオブジェクト映像符号化装置に係
り、特に簡単な操作により効果的に画像に奥行き感を出
すことができるオブジェクト映像符号化装置に関する。

【０００２】

【従来の技術】動画像符号化方式の国際標準の一つであ
るＭＰＥＧ−４方式では、画像をオブジェクト単位で符
号化するオブジェクト映像符号化が用いられる。このよ
うな符号化においては、オブジェクト映像符号化の対象
として複数のオブジェクトが存在し、それらのオブジェ
クトが奥行き方向に離れている場合、オブジェクト間に
奥行き感を持たせることが好ましい。

【０００３】従来では奥行き感を出すために、オブジェ
クト映像の復号化側で各オブジェクトの復号映像を合成
する映像合成部にフィルタ処理部を設け、符号化側から
の符号化ビットストリームに多重されているシーン記述
情報に含まれる奥行き情報や重なり情報を含むレイヤに
応じて、ぼかし等の効果を各オブジェクト毎にフィルタ
処理によって与える方法が採られている。

【０００４】しかし、この方法はオブジェクト映像の復
号化側で、このようなフィルタ処理機能を持たせなけれ
ば奥行き感を得ることができず、また処理自体も比較的
複雑であり、コストの上昇を伴う。

【０００５】

【発明が解決しようとする課題】上述したように、オブ
ジェクト映像符号化の対象となる複数のオブジェクト間
に奥行き感を持たせるために、復号化側でフィルタ処理
を行う方法は、予め復号化側にそのような機能を持たせ
なければ実現できず、また余分なフィルタ処理のために
コストが上昇するという問題点があった。

【０００６】本発明は、簡単な処理によって符号化側で
複数のオブジェクト間に奥行き感を持たせることを可能
としたオブジェクト映像符号化装置を提供することを目
的とする。

【０００７】

【課題を解決するための手段】上記の課題を解決するた
め、本発明に係るオブジェクト映像符号化装置は、映像
ソース中の複数のオブジェクトに関するオブジェクト映
像信号をそれぞれ符号化し、各オブジェクトに対応して
符号化データを出力する符号化手段と、映像ソース中の
各オブジェクトに関するシーン記述情報に含まれる各オ
ブジェクト間の奥行き方向の距離を示す奥行き情報、あ
るいはシーン記述情報に含まれる各オブジェクト間の重
なり情報に基づいて、符号化手段から出力される各オブ
ジェクトに対応する符号化データの符号量を制御する符
号量制御手段とを有することを特徴とする。

【０００８】符号量制御手段においては、各オブジェク
トの面積比に応じた各オブジェクトに対応する符号化デ
ータの符号量割り当てを併用してもよい。その場合、各
オブジェクトの面積比に応じた符号量割り当てを行った
後、シーン記述情報に含まれる奥行き情報または重なり
情報に基づいて、各オブジェクトに対応する符号化デー
タの符号量を制御してもよいし、各オブジェクトの面積
比及びシーン記述情報に含まれる奥行き情報または重な
り情報に基づいて、符号量割り当てを行い、各オブジェ
クトに対応する符号化データの符号量を制御するように
してもよい。

【０００９】さらに、符号量制御手段はシーン記述情報
に含まれる奥行き情報や重なり情報に基づく各オブジェ
クト毎の符号量制御に加えて、各オブジェクト毎にフレ
ーム速度を制御する機能をさらに有してもよい。

【００１０】このような本発明の構成によると、同一画
面内の複数のオブジェクトのうち、奥行き方向において
より奥にあるオブジェクトは面積の割に少ない符号量で
符号化されるので、復号化時には手前にあるオブジェク
トに比較してぼやけて見えるので、効果的に奥行き感が
表現される。簡単な処理によって符号化側で複数のオブ
ジェクト間に奥行き感を持たせることができる。

【００１１】また、この奥行き感を持たせるための処理
は符号化側で行われるものであり、復号化側でフィルタ
処理を行う方法のように復号化側に特殊な機能を持たせ
る必要がないために実用的である。さらに、処理自体も
従来の符号量制御にパラメータを一つ加えただけのもの
であって、フィルタ処理を付加することに比較して簡単
である。

【００１２】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。 （第１の実施形態）図１は、本発明の第１の実施形態に
係るオブジェクト映像符号化装置の構成を示すブロック
図である。このオブジェクト映像符号化装置は、例えば
ＭＰＥＧ−４エンコーダの一部として構成される。

【００１３】図１において、映像ソース１０からは符号
化すべきオブジェクト映像信号１１に加えてシーン記述
情報１２が出力される。このシーン記述情報１２は、例
えばＭＰＥＧ−４において規定された情報の一つであ
り、オブジェクト映像信号１１に含まれる複数のオブジ
ェクトの奥行き情報や、複数のオブジェクト間の重なり
情報（重なり情報のレイヤ）などが含まれている。

【００１４】映像ソース１０からのオブジェクト映像信
号１１は複数のオブジェクト映像符号化部１３−１〜１
３−ｎに入力され、オブジェクト単位でそれぞれ符号化
される。オブジェクト映像符号化部１３−１〜１３−ｎ
は、例えば動き補償とＤＣＴ（離散コサイン変換）及び
可変長符号化を組み合わせたＭＰＥＧ方式で用いられて
いる動画像符号化器である。この動画像符号化器につい
て簡単に説明すると、入力映像信号、または動き補償予
測により得られた予測信号と入力映像信号との差である
予測残差信号を離散コサイン変換し、得られたＤＣＴ係
数を量子化した後、可変長符号化して符号化データとし
て出力する。一方、量子化されたＤＣＴ係数を逆量子
化、逆離散コサイン変換を経て予測信号と加算すること
で局部復号信号を生成し、この局部復号信号を次の動き
補償予測のための参照画像信号としてフレームメモリに
蓄える。

【００１５】オブジェクト映像符号化部１３−１〜１３
−ｎにおける発生符号量（各オブジェクトに対応する符
号化データの符号量）は、符号量制御部１４によって制
御される。符号量制御は、例えばオブジェクト映像符号
化部１３−１〜１３−ｎにおいてＤＣＴ係数を量子化す
る際の量子化係数（量子化ステップサイズ、量子化幅と
もいう）を制御することによって行われる。

【００１６】オブジェクト映像符号化部１３−１〜１３
−ｎから出力される各オブジェクトに対応する符号化デ
ータは、多重部１５によって多重化されて符号化ビット
ストリーム１６となり、この符号化ビットストリーム１
６は例えば通信回線に送出され、後述するオブジェクト
映像復号化装置に伝送される。

【００１７】符号量制御部１４には、多重部１５からの
オブジェクト映像符号化部１３−１〜１３−ｎでの発生
符号量を示す発生符号量情報と、映像ソース１０からの
シーン記述情報１２が入力される。符号量制御部１４
は、これらの情報に基づいて以下のような手順でオブジ
ェクト映像符号化部１３−１〜１３−ｎでの発生符号量
を制御する。

【００１８】すなわち、符号化量制御部１４は基本的に
は多重部１５からの発生符号量情報に基づいて、総発生
符号量が所定範囲に収まるようにオブジェクト映像符号
化部１３−１〜１３−ｎでの発生符号量を制御するが、
その際まず第１段階の符号量制御として、各オブジェク
トの面積比に応じてオブジェクト映像符号化部１３−１
〜１３−ｎに対して発生符号量（各オブジェクトに対応
する符号化データの符号量）を割り当てる。

【００１９】例えば、図３に示すように、オブジェクト
Ａ，Ｂ，Ｃの面積をそれぞれＳａ，Ｓｂ，Ｓｃとする
と、オブジェクトＡ，Ｂ，Ｃに対応する符号化データの
符号量Ｂａ，Ｂｂ，Ｂｃについては、これらの符号量比
Ｂａ：Ｂｂ：Ｂｃが面積比Ｓａ：Ｓｂ：Ｓｃと等しくな
るように割り当てを行う。

【００２０】次に、符号量制御部１４は第２段階の符号
量制御として、シーン記述情報１２より各オブジェクト
Ａ，Ｂ，Ｃの奥行き情報を取り出し、これに基づいて各
オブジェクトＡ，Ｂ，Ｃに対応する符号化データの符号
量Ｂａ，Ｂｂ，Ｂｃをさらに制御する。

【００２１】例えば、図４に示すようにオブジェクトＡ
が奥行き方向で最も手前にあり、次にオブジェクトＢ，
Ｃの順で奥にあるものとすると、オブジェクトＡを基準
としてオブジェクトＡ−Ｂ間の距離をｄab（例えば、ｄ
ab＝３ｍ）、オブジェクトＡ−Ｃ間の距離をｄac（例え
ば、ｄac＝６ｍ）とする。シーン記述情報１２に含まれ
る奥行き情報は、このようなオブジェクトＡ，Ｂ，Ｃ間
の奥行き方向の前後関係と距離を示す情報である。

【００２２】

【表１】

【００２３】第２段階の符号量制御では、符号量制御部
１４は［表１］に示すように、奥行き情報に応じて量子
化係数に例えば３段階の重み付けを行う。符号量の制御
法として、符号量を減少させる場合は量子化係数を大き
くし、逆に符号量を増加させる場合は量子化係数を小さ
くする手法は公知であり、本実施形態においても符号量
制御部１４でこの手法を用いている。

【００２４】［表１］に従うと、例えば奥行き情報（オ
ブジェクト間の奥行き方向の距離ｄ）がLevel１（ｄ＝
３ｍ未満）であれば、量子化係数の重み付けは０とし、
奥行き情報がLevel２（ｄ＝３ｍ以上、５ｍ未満）であ
れば、量子化係数の重み付けは−１とし、奥行き情報が
Level３（ｄ＝５ｍ以上）であれば、量子化係数の重み
付けは−２とするというように、奥にあるオブジェクト
ほど量子化係数の重み付けを大きくする。これにより、
先に述べた第１段階の符号量制御でオブジェクトＡ，
Ｂ，Ｃの面積比Ｓａ：Ｓｂ：Ｓｃに応じて符号量割り当
てが決定された各オブジェクトＡ，Ｂ，Ｃ毎の符号量Ｂ
ａ，Ｂｂ，Ｂｃは、このような奥行き情報に基づく量子
化係数の重み付けに応じて再調整されることになる。

【００２５】この第２段階での符号化量制御の結果、符
号量Ｂａ，Ｂｂ，Ｂｃは、例えば(1) Ｂａ′（＝Ｂ
ａ），Ｂｂ′（＜Ｂｂ），Ｂｃ′（＜Ｂｃ）のように、
第１段階の符号量制御でＡ，Ｂ，Ｃの面積比Ｓａ：Ｓ
ｂ：Ｓｃに応じて符号量比Ｂａ：Ｂｂ：Ｂｃが決定され
た符号量Ｂａ，Ｂｂ，Ｂｃに比較して、最も手前にある
オブジェクトＡに対応する符号量Ｂａは一定、奥にある
オブジェクトＢ，Ｃに対応する符号量Ｂｂ′，Ｂｃ′は
相対的に小さくなるように制御される。

【００２６】なお、［表１］に示した量子化係数の重み
付けは一例であり、上記(1)以外の例として、例えば(2)
Ｂａ′（＞Ｂａ），Ｂｂ′（＝Ｂｂ），Ｂｃ′（＜Ｂ
ｃ）、(3) Ｂａ′（＞Ｂａ），Ｂｂ′（＞Ｂｂ），Ｂ
ｃ′（＜Ｂｃ）(4) Ｂａ′（＝Ｂａ），Ｂｂ′（＝Ｂ
ｂ），Ｂｃ′（＜Ｂｃ）等のように各符号量を制御して
もよく、要するに面積比Ｓａ：Ｓｂ：Ｓｃに応じて決定
された符号量Ｂａ，Ｂｂ，Ｂｃに比較して、手前にある
オブジェクトに対応する符号量が相対的に大きくなり、
奥にあるオブジェクトほど相対的に小さくなるように各
オブジェクトＡ，Ｂ，Ｃに対応する符号量を制御すれば
よい。また、［表１］では奥行き情報を３段階のレベル
に分けたが、これに限らず例えば２段階、あるいは４段
階以上であっても構わない。

【００２７】次に、本実施形態におけるオブジェクト映
像復号化装置について説明する。図２は、図１に示した
オブジェクト映像符号化装置に対応するオブジェクト映
像復号化装置の構成を示すブロック図であり、基本的に
従来のオブジェクト映像復号化装置と同一構成である。

【００２８】このオブジェクト映像復号化装置には、図
１に示したオブジェクト映像符号化装置から例えば通信
回線を介して伝送されてきた符号化ビットストリーム２
０が入力される。入力された符号化ビットストリーム２
０は、分離部２１によって複数のオブジェクトに対応す
る符号化データ２２−１〜２２−ｎが分離され、オブジ
ェクト映像復号化部２４−１〜２４−ｎによって復号化
された後、映像合成部２５に入力される。

【００２９】また、分離部２１からはシーン記述情報２
３も分離され、映像合成部２５に与えられる。これによ
り映像合成部２５では、シーン記述情報２３に基づいて
各オブジェクトに対応する復号映像信号を合成し、一つ
の画面内に複数のオブジェクトを含む元の映像信号を再
生する。再生された映像信号はモニタ２６に送られ、映
像として表示再生される。

【００３０】ここで、各オブジェクトの映像信号は、前
述したように奥行き方向で手前にあるオブジェクトにつ
いては小さな量子化係数で符号化され、面積に対して符
号量が比較的多くなっているため、モニタ２６では鮮明
な映像として表示される。逆に、奥にあるオブジェクト
については大きな量子化係数で符号化され、面積に対し
て符号量が比較的少なくなっているために、モニタ２６
上ではぼやけた映像となる。従って、手前にあるオブジ
ェクトＡに対して奥にあるオブジェクトＢ，Ｃはぼやけ
て見えるので、効果的に奥行き感が表現されることにな
る。

【００３１】従来の技術では、このような奥行き感を持
たせるために映像合成部２５にフィルタ処理部を設け、
奥にあるオブジェクトの復号映像信号にぼかし等のフィ
ルタ処理を施していた。これに対して、本発明では上述
のようにオブジェクト映像符号化装置側の処理で奥行き
感を持たせているため、このようなフィルタ処理部を備
えていないオブジェクト映像復号化装置においても、容
易に奥行き感を表現することができる。

【００３２】また、本発明におけるオブジェクト映像符
号化装置での奥行き感を出すための処理は、従来からの
各オブジェクトの面積比に応じた符号量制御に対して、
シーン記述情報１２に基づく符号量制御を組み合わせた
だけの簡単な処理で済むという利点を有する。

【００３３】（第２の実施形態）次に、本発明の第２の
実施形態について説明する。本実施形態に係るオブジェ
クト映像符号化装置の基本構成は、図１に示した第１の
実施形態と同様であり、シーン記述情報１２に含まれる
各オブジェクト間の重なり情報を用いて第２段階での符
号量制御を行う点が第１の実施形態と異なる。

【００３４】シーン記述情報１２に含まれる重なり情報
は、各オブジェクトの重なり部分の領域と奥行き方向の
前後関係を示す情報であり、シーン記述情報１２のうち
の所定のレイヤに記述される。

【００３５】従って、この重なり情報によっても第１の
実施形態における奥行き情報と同様に各オブジェクト間
の前後関係が分かるので、第１の実施形態と同様に各オ
ブジェクトの面積比に応じて決定された符号量に比較し
て、奥行き方向で手前にあるオブジェクトに対応する符
号量が相対的に大きくなり、奥にあるオブジェクトほど
相対的に小さくなるように各オブジェクトに対応する符
号量を制御することによって、第１の実施形態と同様の
効果を得ることができる。

【００３６】（第３の実施形態）次に、本発明の第３の
実施形態について説明する。本実施形態に係るオブジェ
クト映像符号化装置の基本構成は図１と同様であるが、
第１または第２の実施形態に加えて、符号量制御部１４
に各オブジェクト毎にフレーム速度を制御する機能をさ
らに持たせた点が特徴である。

【００３７】第１、第２の実施形態において、シーン記
述情報１２に含まれる奥行き情報や重なり情報に基づい
て各オブジェクトの映像信号に対する量子化係数の重み
付け等により符号量制御を行った場合、少ない符号量が
割り当てられたより奥のオブジェクトに動きがあると、
オブジェクト映像符号化部１３−１〜１３−ｎで用いら
れる前述のような動画像符号化器に特有のブロック歪が
生じることがある。ブロック歪があると、当然のことな
がら復号画質が劣化する。特に、この場合は特定のオブ
ジェクトの映像だけが劣化することになるので、視覚上
非常に目立ってしまう。

【００３８】このようなブロック歪による画質劣化を抑
えるため、本実施形態では符号量制御部１４において、
複数のオブジェクトのうち奥の方にあり、かつ動きのあ
る、または動きの大きいオブジェクトについては、全て
のフレームにわたって符号化せず、フレームスキップを
行ってフレーム速度を低くすることで、符号量を少なく
する。

【００３９】例えば、図５に示すようにあるフレーム時
刻ｔ＝ｔ０において全てのオブジェクトＡ，Ｂ，Ｃを符
号化するものとすると、次のフレーム時刻ｔ＝ｔ１では
図６に示すように、奥にあるオブジェクトＣについては
フレームスキップを行い、符号化しないようにする。

【００４０】このように本実施形態では、オブジェクト
単位のフレーム速度制御を併用することで、先の実施形
態と同様にオブジェクトＣの復号映像にぼけを生じさせ
て奥行き感を出すと共に、オブジェクトＣが符号化され
たｔ＝ｔ０フレーム内でのオブジェクトＣに対応する符
号量をある程度確保することにより、ブロック歪が減少
するので、復号画質の劣化を抑えることができる。

【００４１】本発明は、上記実施形態以外にも種々変形
して実施することが可能である。例えば、第１、第２の
実施形態の説明では符号量制御部１４における各オブジ
ェクトに対応する符号化データに対する符号量制御を第
１段階と第２段階に分け、第１段階で各オブジェクトの
面積比に応じた符号量割り当てによる符号量制御を行
い、次の第２段階でシーン記述情報１２に含まれる奥行
き情報や重なり情報に基づく符号量制御を行ったが、こ
れらを同時に行ってもよい。すなわち、符号量制御部１
４において各オブジェクトの面積比及びシーン記述情報
に含まれる奥行き情報または重なり情報に基づいて、各
オブジェクトに対応する符号化データの符号量割り当て
を行うことで、各オブジェクトに対応する符号化データ
の符号量を制御するようにしてもよく、先の実施形態と
同様の結果が得られる。

【００４２】

【発明の効果】以上説明したように、本発明のオブジェ
クト映像符号化装置によれば、簡単な処理によって符号
化側で複数のオブジェクト間に奥行き感を持たせること
ができる。また、本発明は本質的に符号化側でのみの処
理であるため、オブジェクト映像符号化に対応した基本
機能を有するオブジェクト映像復号化装置であれば、ど
のような装置でもオブジェクトの奥行き感を表現するこ
とが可能である。

【図面の簡単な説明】

【図１】本発明の一実施形態に係るオブジェクト映像符
号化装置の構成を示すブロック図

【図２】同実施形態に係るオブジェクト映像復号化装置
の構成を示すブロック図

【図３】同実施形態における符号量制御の第１の態様に
ついて説明するための複数のオブジェクトが存在する画
面の例を示す図

【図４】図３における各オブジェクト間の奥行き方向の
位置関係及び距離を示す図

【図５】同実施形態における符号量制御の第２の態様に
ついて説明するための複数のオブジェクトが存在する画
面のある時刻における状態を示す図

【図６】同実施形態における符号量制御の第２の態様に
ついて説明するための複数のオブジェクトが存在する画
面の次の時刻における状態を示す図

【符号の説明】

１０…映像ソース １１…オブジェクト映像信号 １２…シーン記述情報 １３−１〜１３−ｎ…オブジェクト映像符号化部 １４…符号量制御部 １５…多重部符号化ビットストリーム

Claims (5)

【特許請求の範囲】
1. 【請求項１】映像ソース中の複数のオブジェクトに関す
   るオブジェクト映像信号をそれぞれ符号化し、各オブジ
   ェクトに対応して符号化データを出力する符号化手段
   と、 前記映像ソース中の各オブジェクトに関するシーン記述
   情報に含まれる各オブジェクト間の奥行き方向の距離を
   示す奥行き情報に基づいて、前記符号化手段から出力さ
   れる各オブジェクトに対応する符号化データの符号量を
   制御する符号量制御手段とを有することを特徴とするオ
   ブジェクト映像符号化装置。
2. 【請求項２】映像ソース中の複数のオブジェクトに関す
   るオブジェクト映像信号をそれぞれ符号化し、各オブジ
   ェクトに対応して符号化データを出力する符号化手段
   と、 前記映像ソース中の各オブジェクトに関するシーン記述
   情報に含まれる各オブジェクト間の重なり情報に基づい
   て、前記符号化手段から出力される各オブジェクトに対
   応する符号化データの符号量を制御する符号量制御手段
   とを有することを特徴とするオブジェクト映像符号化装
   置。
3. 【請求項３】前記符号量制御手段は、各オブジェクトの
   面積比に応じて各オブジェクトに対応する符号化データ
   の符号量割り当てを行った後、前記シーン記述情報に含
   まれる前記奥行き情報または前記重なり情報に基づい
   て、各オブジェクトに対応する符号化データの符号量を
   制御することを特徴とする請求項１または２記載のオブ
   ジェクト映像符号化装置。
4. 【請求項４】前記符号量制御手段は、各オブジェクトの
   面積比及び前記シーン記述情報に含まれる前記奥行き情
   報または前記重なり情報に基づいて、各オブジェクトに
   対応する符号化データの符号量割り当てを行い、各オブ
   ジェクトに対応する符号化データの符号量を制御するこ
   とを特徴とする請求項１または２記載のオブジェクト映
   像符号化装置。
5. 【請求項５】前記符号量制御手段は、各オブジェクト毎
   にフレーム速度を制御する機能をさらに有することを特
   徴とする請求項１乃至４のいずれか１項記載のオブジェ
   クト映像符号化装置。