JP2011071903A

JP2011071903A - 画像符号化装置、画像符号化方法およびそのプログラム

Info

Publication number: JP2011071903A
Application number: JP2009223142A
Authority: JP
Inventors: Hideki Takehara; 英樹竹原; Kazumi Arakage; 和美荒蔭
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2009-09-28
Filing date: 2009-09-28
Publication date: 2011-04-07
Anticipated expiration: 2029-09-28
Also published as: JP5343792B2

Abstract

【課題】既存のモノラル画像用の符号化装置を用いて、画質および符号化効率を維持しながらステレオ画像を符号化する。
【解決手段】Ｍ単位符号部は、符号化ストリーム内にて参照画像が挿入される周期を一単位とし、一単位に含まれる画像を画面間予測符号化する。切替部１０は、ステレオ画像を構成する第１動画像と第２動画像を、一単位を構成すべき複数の画像ごとに交互に切り替えて、Ｍ単位符号部に供給する。参照ピクチャリスト生成部は、Ｍ単位符号部により符号化される各画像が用いる参照ピクチャリストを生成する。参照ピクチャリスト生成部は、第２動画像を構成する少なくとも一部の画像の参照ピクチャリストに、当該画像に時間的に対応する第１動画像を構成する画像を含める。
【選択図】図６

Description

本発明は、ステレオ画像を符号化するための画像符号化装置、画像符号化方法およびそのプログラムに関する。

視聴者に立体画像を認識させることができるディスプレイやプロジェクタの開発が進められている。視聴者に立体画像を認識させるには、視差画像を表示または投写する必要がある。人間の両目は数ｃｍほど離れているため、右目と左目で得られる像には位置ずれがある。人間の脳はこの位置ずれを一つの手がかりとして奥行きを認識している。逆にいえば、この両目に写すべき像の位置ずれ量を調整することにより、脳に擬似的に奥行きを認識させることができる。視差画像は、左右方向に位置ずれを持つ右目用画像と左目用画像とで構成される。以下、本明細書では視差画像をステレオ画像と表記する。

図１は、従来例１に係る立体画像処理システム５００の構成を示す図である。符号化装置５１０では、第１符号化部５１１は、左目用画像をベースレイヤとして符号化して、符号化ストリームを生成する。ここでは、時間方向の動き補償予測が用いられる。第２符号化部５１２は、右目用画像をエンハンスメントレイヤとして符号化して、符号化ストリームを生成する。ここでは、時間方向の動き補償予測および視点間の動き補償予測の両方が用いられる。多重部５１３は、左目用符号化ストリームと右目用符号化ストリームを多重化する。この多重化された符号化ストリームは、記録媒体８００に記録されて、復号装置５２０に提供される。復号装置５２０では、分離部５２１は、多重化された符号化ストリームを、左目用符号化ストリームと右目用符号化ストリームとに分離する。第１復号部５２２は、左目用符号化ストリームを復号して左目用画像を出力し、第２復号部５２３は、右目用符号化ストリームを復号して右目用画像を出力する（たとえば、特許文献１参照）。

図２は、従来例２に係る立体画像処理システム６００の構成を示す図である。符号化装置６１０では、水平画素間引部６１１、６１２は、左目用画像と右目用画像をそれぞれ水平方向に一画素ずつ間引く。フレーム合成部６１３は、間引かれた左目用画像と右目用画像を一枚のフレーム内の左右にそれぞれ並べて配置することにより、一枚の画像に合成する。符号化部６１４は、合成された画像を符号化して、符号化ストリームを生成する。復号装置６２０では、復号部６２１は、符号化ストリームを復号して再生用画像を生成する。フレーム分離部６２２は、復号された画像を左目用画像と右目用画像とに分離する。水平画素補間部６２３、６２４は、分離された左目用画像と右目用画像をそれぞれ水平方向に一画素ずつ補間し、左目用画像と右目用画像とを出力する（たとえば、特許文献２参照）。

特開２００４−７２７８８号公報特開平１１−１８１１１号公報

上記従来技術１は、既存のモノラル画像用の符号化装置を用いることができるという面があるが、ベースレイヤ用の符号化装置と、エンハンスメントレイヤ用の符号化装置の二つが必要になるという難しい面もある。

上記従来技術２は、ステレオ画像をそれぞれ左右に並べてモノラル画像とすることで、既存のモノラル画像用の符号化装置が一つで済むという面がある。ただし、ステレオ画像をそれぞれ水平方向に一画素間引くため、水平方向の解像度が低下するという難しい面がある。また、視点間動き補償予測の中で一般的に最も効率の高い同時刻の視点間動き補償予測を利用できないという難しい面もある。

本発明はこうした状況に鑑みなされたものであり、その目的は、既存のモノラル画像用の符号化装置を用いて、画質および符号化効率を維持しながらステレオ画像を符号化する技術を提供することにある。

本発明のある態様の画像符号化装置は、符号化ストリーム内にて参照画像が挿入される周期を一単位とし、一単位に含まれる画像を画面間予測符号化することが可能な符号化部と、ステレオ画像を構成する第１動画像と第２動画像を、一単位を構成すべき複数の画像ごとに交互に切り替えて、符号化部に供給する切替部と、符号化部により符号化される各画像が用いる参照ピクチャリストを生成する参照ピクチャリスト生成部と、を備える。参照ピクチャリスト生成部は、第２動画像を構成する少なくとも一部の画像の参照ピクチャリストに、当該画像に時間的に対応する第１動画像を構成する画像を含める。

本発明の別の態様は、画像符号化方法である。この方法は、符号化ストリーム内にて参照画像が挿入される周期を一単位とし、動画像を符号化する画像符号化方法であって、ステレオ画像を構成する第１動画像と第２動画像を、一単位を構成すべき複数の画像ごとに交互に符号化対象に設定する切替ステップと、切替ステップにより設定された、一単位に含まれる画像を画面間予測符号化する符号化ステップと、符号化ステップにより符号化される各画像が用いる参照ピクチャリストを生成する参照ピクチャリスト生成ステップと、を備える。参照ピクチャリスト生成ステップは、第２動画像を構成する少なくとも一部の画像の参照ピクチャリストに、当該画像に時間的に対応する第１動画像を構成する画像を含める。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

既存のモノラル画像用の符号化装置を用いて、画質および符号化効率を維持しながらステレオ画像を符号化することができる。

従来例１に係る立体画像処理システムの構成を示す図である。従来例２に係る立体画像処理システムの構成を示す図である。時間方向の動き補償予測および視点間の動き補償予測を説明するための図である。参照フレーム周期Ｍ＝３に設定されている場合の、動き補償予測と符号化順序を示す図である。左目用画像と右目用画像を一枚ずつ交互に、既存のモノラル画像用の符号化装置に入力した場合を説明するための図である。本発明の実施の形態に係る画像符号化装置の構成を示す図である。切替部に入力される左目用画像および右目用画像、ならびに切替部から出力される混在画像を示す図である。図６に示したモノラル画像符号化部の詳細な構成を示す図である。切替部から入力されるフレーム画像、視点管理部により判定される視点情報およびピクチャタイプ決定部により決定されるピクチャタイプの様子を示す図である。各符号化ピクチャの参照ピクチャリスト生成時における、参照フレーム記憶部および非参照フレーム記憶部内の復号ピクチャの様子を示す図である。図１０をもとに生成された参照ピクチャリストを示す図である。図６に示したステレオ画像変換部の詳細な構成を示す図である。一単位ピクチャデータ多重部による並べ替え前後の符号化ストリームを示す図である。実施の形態に係る画像符号化装置の全体動作を示すフローチャートである。

以下、本発明の実施の形態に係る画像符号化装置の詳細を説明する前に、そこで用いられる前提技術について説明する。当該画像符号化装置は、時間方向の動き補償予測および視点間の動き補償予測を用いて画像を符号化する。

図３は、時間方向の動き補償予測および視点間の動き補償予測を説明するための図である。時間方向の動き補償予測とは、モノラル画像の符号化で一般に利用されている動き補償予測であり、一つの視点の画像間だけで動き補償予測を行う（図３の矢印線（実線）参照）。たとえば、左目用画像のＢピクチャであるフレーム画像ＬＢ３は、同じ左目用画像のＩピクチャであるフレーム画像ＬＩ２、およびＰピクチャであるフレーム画像ＬＰ５を利用して動き補償予測を行う。なお、動き補償予測で参照されるピクチャを参照ピクチャと呼ぶ。この例では、フレーム画像ＬＩ２およびフレーム画像ＬＰ５は、フレーム画像ＬＢ３の参照ピクチャである。

ここで、Ｂピクチャは双方向に動き補償予測を行うことができるピクチャであり、Ｐピクチャは順方向（すなわち、過去方向）に動き補償予測を行うことができるピクチャであり、およびＩピクチャは動き補償予測を行わないピクチャである。

視点間の動き補償予測とは、ある視点の画像に関する動き補償予測に別視点の画像を利用する動き補償予測である（図３の矢印線（破線）参照）。たとえば、右目用画像のＰピクチャであるフレーム画像ＲＰ２は、左目用画像のＩピクチャであるフレーム画像Ｌｌ２を利用した視点間動き補償予測を行う。左目用画像と右目用画像とには視差があるものの相関性がある。したがって、視点間の動き補償予測を効果的に利用することにより、予測効率を上げることができる。

一般的に、画像が緩やかに変化する場合、同一視点における時間方向の動き補償予測のほうが視点間の動き補償予測よりも予測効率が高い傾向にある。一方、画像が急激に変化する場合、視点間の動き補償予測のほうが時間方向の動き補償予測よりも予測効率が高い傾向にある。視点間の動き補償予測の予測効率は、ベースレイヤのピクチャタイプにも依存している。一般的に、Ｉピクチャが最も予測効率が高く、つぎにＰピクチャが高く、Ｂピクチャが最も低い。

ところで、動画像の圧縮符号化方式の一つに、ＭＰＥＧ−４ＡＶＣがある。ＭＰＥＧ−４ＡＶＣは、Ｂｌｕ−ｒａｙＤｉｓｃ（登録商標）やＡＶＣＨＤ（Advanced Video Codec High Definition）（登録商標）規格に採用されている。ＭＰＥＧ−４ＡＶＣは、ＤＶＤなどで採用されているＭＰＥＧ−２の２倍の圧縮効率がある。ＭＰＥＧ−２では参照フレームメモリが二つで固定であったが、ＭＰＥＧ−４ＡＶＣでは参照フレームメモリを二つ以上持つことが可能となり、多くの参照ピクチャの中から最適な参照ピクチャを選択することが可能となり、圧縮効率の改善が図られている。

ＭＰＥＧ−４ＡＶＣの拡張規格として、ステレオ画像の符号化規格であるＭＰＥＧ−４ＡＶＣＳｔｅｒｅｏＨｉｇｈＰｒｏｆｉｌｅと呼ばれる規格が標準化されつつある（２００９年９月現在）。近年、ステレオ画像に対する符号化の取り組みが活発になっており、近い将来、Ｂｌｕ−ＲａｙディスクやＡＶＣＨＤにも採用される可能性がある。ＭＰＥＧ−４ＡＶＣＳｔｅｒｅｏＨｉｇｈＰｒｏｆｉｌｅは、ＭＰＥＧ−４ＡＶＣの拡張規格であって、符号化のツールの多くは、ＭＰＥＧ−４ＡＶＣと共通であり、上位互換性がある。

一般的なモノラル画像用の符号化装置では、参照フレーム周期Ｍを単位として動き補償予測が行われる。参照フレーム周期Ｍは、参照フレームとなるＩピクチャまたはＰピクチャの間隔を示す。

図４は、参照フレーム周期Ｍ＝３に設定されている場合の、動き補償予測と符号化順序を示す図である。動き補償予測が採用される場合の符号化順序は、参照フレーム周期Ｍに含まれる、参照フレーム画像が先に符号化され、それ以外の非参照フレーム画像が後に符号化される。図４では、参照フレーム周期Ｍに含まれる、一枚のＩピクチャまたはＰピクチャの参照フレーム画像が先に符号化され、二枚のＢピクチャの非参照フレーム画像が後に符号化される。

この符号化順序を前提とすると、参照フレーム周期Ｍの範囲内で逆方向（すなわち、未来方向）の動き補償予測を利用できることがわかる。ただし、動き補償予測では、符号化および局部復号された画像が参照ピクチャに利用されるため、符号化および局部復号されていないフレーム画像は参照ピクチャに利用することができない。すなわち、参照フレーム周期Ｍに含まれるフレーム画像より未来のフレーム画像を参照ピクチャに利用することはできない。たとえば、Ｂピクチャのフレーム画像Ｂ０およびフレーム画像Ｂ１の動き補償予測にて、まだ、符号化および局部復号されていないＰピクチャのフレーム画像Ｐ５は参照ピクチャに利用することはできない。

図５は、左目用画像と右目用画像を一枚ずつ交互に、既存のモノラル画像用の符号化装置に入力した場合を説明するための図である。左目用画像と右目用画像をそれぞれ参照フレーム周期Ｍ＝３で動き補償予測する場合、Ｍ＝５とＭ＝１とを交互に繰り返すことになる。したがって、右目用画像のＢピクチャであるフレーム画像ＲＢ１は、動き補償予測効率の高い、右目用画像のＰピクチャであるフレーム画像ＲＰ２を参照ピクチャとした順方向の動き補償予測を利用することができない。参照フレーム周期Ｍの範囲を超えてしまうためである。同様に、右目用画像のＢピクチャであるフレーム画像ＲＢ４は、右目用画像のＰピクチャであるフレーム画像ＲＰ５を参照ピクチャとした順方向の動き補償予測を利用することができない。このように、左目用画像と右目用画像を一枚ずつ交互に、当該符号化装置に入力した場合、動き補償予測の効率が大きく低下することになる。

以上の前提技術を踏まえて、以下、本発明の実施の形態を詳細に説明する。
図６は、本発明の実施の形態に係る画像符号化装置１００の構成を示す図である。当該画像符号化装置１００は、切替部１０、モノラル画像符号化部２０、ステレオ画像変換部３０および多重部４０を備える。

画像符号化装置１００に入力されるステレオ画像を構成する第１動画像と第２動画像は、切替部１０に送られる。以下、本実施の形態では、第１動画像を左目用画像とし、第２動画像を右目用画像とする。さらに、当該左目用画像をベースレイヤとして時間方向の動き補償予測だけを利用して符号化し、当該右目用画像をエンハンスメントレイヤとして、時間方向の動き補償予測および視点間動き補償予測の両方を利用して符号化する例を説明する。もちろん、右目用画像をベースレイヤ、左目用画像をエンハンスメントレイヤとしてもよい。

上述したように参照フレーム周期Ｍは、符号化ストリーム内にて参照ピクチャが挿入される周期を示す。まず、切替部１０は、参照フレーム周期Ｍを決定するとともに、決定した参照フレーム周期Ｍをモノラル画像符号化部２０に設定する。つぎに、切替部１０は、入力された左目用画像と右目用画像とを参照フレーム周期Ｍで切り替え、モノラル画像符号化部２０に出力する。より具体的には、参照フレーム周期Ｍの一単位を構成すべき複数の画像ごとに交互に切り替えて、モノラル画像符号化部２０（より厳密には、後述するＭ単位符号化部２４）に供給する。本実施の形態では参照フレーム周期Ｍが３（Ｍ＝３）で固定である例を説明する。すなわち、左目用画像と右目用画像と三枚ずつ交互に切り替えてモノラル画像符号化部２０に供給する例を説明する。

図７は、切替部１０に入力される左目用画像および右目用画像、ならびに切替部１０から出力される混在画像を示す図である。図７に示すように、切替部１０に左目用画像として、フレーム画像Ｌ０、Ｌ１、Ｌ２、Ｌ３、Ｌ４、・・・が入力される。それと並行して、切替部１０に右目用画像として、フレーム画像Ｒ０、Ｒ１、Ｒ２、Ｒ３、Ｒ４、・・・が入力される。切替部１０は、Ｍ＝３で左目用画像と右目用画像とを交互に切り替えるため、切替部１０の出力は、フレーム画像Ｌ０、Ｌ１、Ｌ２、Ｒ０、Ｒ１、Ｒ２、Ｒ３、Ｌ４、・・・となる。

本実施の形態ではＭ＝３に設定したが、Ｍ＝２，４，５，・・・などに設定してもよい。また、入力画像である左目用画像および右目用画像の少なくとも一方の画像の動き特性により、参照フレーム周期Ｍを適応的に切り替ることも可能である。なお、参照フレーム周期Ｍを適応的に切り替える場合、右目用画像の出力後に参照フレーム周期Ｍを切り替える。左目用画像と右目用画像との同期を取るためである。

図８は、図６に示したモノラル画像符号化部２０の詳細な構成を示す図である。モノラル画像符号化部２０は、視点管理部２１、ピクチャタイプ決定部２２、参照ピクチャリスト生成部２３、Ｍ単位符号化部２４、第１符号量制御部２５、第２符号量制御部２６、参照フレーム記憶部２７および非参照フレーム記憶部２８を含む。

これらの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

視点管理部２１は、切替部１０から入力されるフレーム画像の視点を管理する。すなわち、切替部１０から入力されるフレーム画像がベースレイヤであるかエンハンスメントレイヤであるかを管理する。より具体的には、切替部１０からの入力フレーム順序がＭ＊２の倍数となるタイミングでベースレイヤであると判定し、当該入力フレーム順序がＭ＊２の倍数ではなくＭの倍数となるタイミングでエンハンスメントレイヤであると判定する。つまり、偶数番目のＭで、視点情報をベースレイヤに切り替え、奇数番目のＭで視点情報をエンハンスメントレイヤに切り替える。視点管理部２１は、視点情報を参照ピクチャリスト生成部２３およびＭ単位符号化部２４に設定する。

ピクチャタイプ決定部２２は、切替部１０から入力される各フレーム画像のピクチャタイプを決定し、決定したピクチャタイプを参照ピクチャリスト生成部２３およびＭ単位符号化部２４に設定する。

ここで、ピクチャについて簡単に説明する。ピクチャとは符号化の対象となる一枚の画像信号を表す。画像信号がプログレッシブの場合、一フレームは一ピクチャとなる。画像信号がインタレースの場合、一フレームは二ピクチャとなる。一フレームが二フィールドで構成されるためである。ピクチャは、フレームまたはフィールド単位で扱うことができるため、一フレームは一ピクチャまたは二ピクチャとなる。本実施の形態では画像信号は、とくに断らない限り、プログレッシブであるとする。したがって、一フレームは一ピクチャとして考える。

図９は、切替部１０から入力されるフレーム画像、視点管理部２１により判定される視点情報およびピクチャタイプ決定部２２により決定されるピクチャタイプの様子を示す図である。図９では、Ｍ＝３の場合の、視点情報およびピクチャタイプを描いている。そこでは、切替部１０から入力されるフレーム画像の視点情報は、三枚ごとにベースレイヤ（Ｌ）とエンハンスメントレイヤ（Ｒ）との間で交互に切り替えられる。参照フレーム周期Ｍの一単位は三枚のピクチャで構成され、そのうちの二枚がＢピクチャに設定され、残りの一枚がＩピクチャまたはＰピクチャに設定される。

参照ピクチャリスト生成部２３は、Ｍ単位符号化部２４により符号化される各画像が用いる参照ピクチャリストを生成する。より具体的には、参照ピクチャリスト生成部２３は、視点管理部２１から設定された視点情報、ピクチャタイプ決定部２２により設定されたピクチャタイプにもとづいて、参照ピクチャリストを生成する。参照ピクチャリスト生成部２３は、生成した参照ピクチャリストをＭ単位符号化部２４に送る。

本実施の形態では、参照ピクチャリスト生成部２３は、エンハンスメントレイヤに属する、少なくとも一部の画像の参照ピクチャリストに、当該画像に時間的に対応するベースレイヤに属する画像を含める。より具体的には、参照ピクチャリスト生成部２３は、エンハンスメントレイヤに属する参照ピクチャに設定される画像であって、画面間予測符号化されるべき画像の参照ピクチャリストに、当該画像に時間的に対応する（たとえば、同時刻に撮影された）ベースレイヤに属する画像を含める。また、参照ピクチャリスト生成部２３は、エンハンスメントレイヤに属する参照ピクチャに設定されない画像の参照ピクチャリストに、当該画像に時間的に対応するベースレイヤに属する画像を含める。なお、参照ピクチャリスト生成部２３のより詳細な動作は後述する。

第１符号量制御部２５は、Ｍ単位符号化部２４より送られた、基準フレーム周期（Ｉピクチャが挿入される間隔を示す）Ｎ、参照フレーム周期（上述したようにＩピクチャまたはＰピクチャが挿入される間隔を示す）Ｍ、ピクチャタイプ、ベースレイヤのフレームレート、ベースレイヤのビットレート、ベースレイヤのバッファサイズ、およびベースレイヤのピクチャ符号量にもとづいて符号量制御を行う。より具体的には、これらの情報にもとづいて、ベースレイヤの目標符号量をピクチャごとに算出する。第１符号量制御部２５は、算出した符号化量をＭ単位符号化部２４に設定する。符号量制御の手法としては、たとえば、ＭＰＥＧで定義されているＴＭ５（ＴＥＳＴＭＯＤＥＬ５）などを採用することができる。

第２符号量制御部２６は、Ｍ単位符号化部２４より送られた、基準フレーム周期Ｎ、参照フレーム周期Ｍ、ピクチャタイプ、エンハンスメントレイヤのフレームレート、エンハンスメントレイヤのビットレート、エンハンスメントレイヤのバッファサイズ、およびエンハンスメントレイヤのピクチャ符号量にもとづいて符号量制御を行う。より具体的には、これらの情報にもとづいて、エンハンスメントレイヤの目標符号量をピクチャごとに算出する。第２符号量制御部２６は、算出した符号化量をＭ単位符号化部２４に設定する。

参照フレーム記憶部２７は、ベースレイヤおよびエンハンスメントレイヤに属する画像のうち、参照ピクチャに設定される画像を一時記憶する。本実施の形態では、参照ピクチャが局部復号された復号ピクチャを記憶する。

非参照フレーム記憶部２８は、ベースレイヤに属する画像のうち、ベースレイヤに属する他の画像の参照ピクチャに設定されない画像（すなわち、非参照ピクチャに設定された画像）を一時記憶する。本実施の形態では、非参照ピクチャが局部復号された復号ピクチャを記憶する。非参照フレーム記憶部２８に格納される復号ピクチャは、エンハンスメントレイヤに属するピクチャには参照されるが、ベースレイヤに属するピクチャには参照されないという趣旨で、非参照フレーム記憶部２８と表記する。

Ｍ単位符号化部２４は、参照フレーム周期Ｍの一単位に含まれる画像を画面内予測符号化するか、またはその単位に含まれる参照ピクチャおよびその参照ピクチャより過去の参照ピクチャの少なくとも一方を用いて画面間予測符号化する。より具体的には、Ｍ単位符号化部２４は、Ｉピクチャに設定された画像を画面内予測符号化する。Ｍ単位符号化部２４は、Ｐピクチャに設定された画像を、当該単位に含まれる参照ピクチャより過去の少なくとも一枚の参照ピクチャを用いて画面間予測符号化する。Ｍ単位符号化部２４は、Ｂピクチャに設定された画像を、当該単位に含まれる参照ピクチャおよびその参照ピクチャより過去の参照ピクチャの両方を用いて画面間予測符号化する。

画面間予測符号化では、Ｍ単位符号化部２４は、ピクチャタイプ決定部２２により設定されたピクチャタイプおよび参照ピクチャリスト生成部２３から送られた参照ピクチャリストにもとづき、参照フレーム記憶部２７および非参照フレーム記憶部２８内の復号ピクチャを用いて動き補償予測し、設定される目標符号量にしたがって符号化する。なお、当該目標符号量は、ベースレイヤに属する画像の場合、第１符号量制御部２５から設定され、エンハンスメントレイヤに属する画像の場合、第２符号量制御部２６から設定される。

Ｍ単位符号化部２４は、たとえば、切替部１０から入力される画像をＭＰＥＧ−４ＡＶＣＨｉｇｈＰｒｏｆｉｌｅで符号化し、符号化したＭＰＥＧ−４ＡＶＣＨｉｇｈＰｒｏｆｉｌｅストリームをステレオ画像変換部３０に送る。

Ｍ単位符号化部２４は、符号化したピクチャが参照ピクチャの場合、そのピクチャを局部復号し、復号した復号ピクチャを参照フレーム記憶部２７に格納する。また、符号化したピクチャがベースレイヤの非参照ピクチャの場合、そのピクチャを局部復号し、復号した復号ピクチャを非参照フレーム記憶部２８に格納する。また、符号化したピクチャがエンハンスメントレイヤで、非参照フレーム記憶部２８内にベースレイヤの復号ピクチャが存在する場合、非参照フレーム記憶部２８内から時間的に最も古い復号ピクチャを削除する。

つぎに、参照ピクチャリスト生成部２３の詳細な動作について説明する。本実施の形態では、参照フレーム記憶部２７内に、ベースレイヤに属する参照ピクチャに設定され、符号化および局部復号された複数の画像のうち、最新の二枚の画像を記憶する第１領域と、エンハンスメントレイヤに属する参照ピクチャに設定され、符号化および局部復号された複数の画像のうち、最新の二枚の画像を記憶する第２領域とが設定される。すなわち、参照フレーム記憶部２７内に保持される参照ピクチャに設定された画像の数を、ベースレイヤとエンハンスメントレイヤとでそれぞれ二枚とし、全体で四枚とする構成である。第１領域および第２領域は、それぞれＦＩＦＯ（First-In First-Out）方式で管理される。なお、第１領域および第２領域のそれぞれに記憶可能な参照ピクチャの数は、二に限られるものではなく、三以上であってもよい。

また、非参照フレーム記憶部２８は、ベースレイヤに属する画像のうち、非参照ピクチャに設定され、符号化および局部復号された複数の画像を入力順に、記憶する。非参照フレーム記憶部２８に保持される非参照ピクチャに設定された画像の数は、参照フレーム周期Ｍの一単位に含まれる非参照ピクチャの数とする。本実施の形態では二である。

図１０は、各符号化ピクチャの参照ピクチャリスト生成時における、参照フレーム記憶部２７および非参照フレーム記憶部２８内の復号ピクチャの様子を示す図である。Ｍ単位符号化部２４は、ベースレイヤおよびエンハンスメントレイヤの参照ピクチャに設定されたフレーム画像ＬＩ２、ＲＰ２、ＬＰ５、ＲＰ５、・・・を符号化し、その後、局部復号して、ＦＩＦＯ方式で参照フレーム記憶部２７に格納する。また、Ｍ単位符号化部２４は、ベースレイヤの非参照ピクチャに設定されたフレーム画像ＬＢ０、ＬＢ１、ＬＢ３、ＬＢ４、・・・を符号化し、その後、局部復号して、非参照フレーム記憶部２８に格納する。

参照ピクチャリスト生成部２３は、視点管理部２１から設定された視点情報、ピクチャタイプ決定部２２から設定されたピクチャタイプ、ならびに参照フレーム記憶部２７および非参照フレーム記憶部２８にそれぞれ格納されている復号ピクチャにもとづいて、参照ピクチャリストを生成する。

参照ピクチャリスト生成部２３は、ベースレイヤに属するピクチャについては、参照フレーム記憶部２７に保持されるベースレイヤの復号ピクチャを参照ピクチャリストに加える。たとえば、符号化対象のピクチャがフレーム画像ＬＰ８の場合、その符号化時点で、参照フレーム記憶部２７内にフレーム画像ＲＰ５、ＬＰ５、ＲＰ２、ＬＰ２が存在するが、これらのうち、ベースレイヤに属する復号ピクチャであるフレーム画像ＬＰ５、ＬＰ２を参照ピクチャリストに加える。すなわち、参照ピクチャリスト生成部２３は、ベースレイヤに属するピクチャの参照ピクチャリストに、参照フレーム記憶部２７の第１領域に記憶されている二枚の画像を含める。

参照ピクチャリスト生成部２３は、エンハンスメントレイヤに属する参照ピクチャ（ただし、Ｉピクチャを除く）に設定されるピクチャについて、参照フレーム記憶部２７内のエンハンスメントレイヤの復号ピクチャおよびベースレイヤの時間的に最も新しい復号ピクチャを参照ピクチャリストに加える。たとえば、符号化対象のピクチャがフレーム画像ＲＰ８の場合、その符号化時点で、参照フレーム記憶部２７内にフレーム画像ＬＰ８、ＲＰ５、ＬＰ５、ＲＰ２が存在するが、これらのうち、エンハンスメントレイヤに属する復号ピクチャであるフレーム画像ＲＰ５、ＲＰ２を参照ピクチャリストに加え、さらに、ベースレイヤの復号ピクチャであるフレーム画像ＬＰ８を当該参照ピクチャリストに加える。すなわち、参照ピクチャリスト生成部２３は、エンハンスメントレイヤに属する参照ピクチャ（ただし、Ｉピクチャを除く）に設定されるピクチャの参照ピクチャリストに、参照フレーム記憶部２７の第２領域に記憶されている二枚の画像と、その第１領域に直近に記憶された一枚の画像を含める。

参照ピクチャリスト生成部２３は、エンハンスメントレイヤに属する非参照ピクチャに設定されるピクチャについて、参照フレーム記憶部２７内のエンハンスメントレイヤの復号ピクチャおよび非参照フレーム記憶部２８内のベースレイヤの時間的に最も古い復号ピクチャを参照ピクチャリストに加える。たとえば、符号化対象のピクチャがフレーム画像ＲＢ６の場合、その符号化時点で、参照フレーム記憶部２７内にフレーム画像ＲＰ８、ＬＰ８、ＲＰ５、ＬＰ５が存在し、非参照フレーム記憶部２８内にフレーム画像ＬＢ６、ＬＢ７が存在するが、これらのうち、エンハンスメントレイヤの復号ピクチャであるフレーム画像ＲＰ８、ＲＰ５を参照ピクチャリストに加え、さらに非参照フレーム記憶部２８内のベースレイヤの時間的に最も古い復号ピクチャであるフレーム画像ＬＰ６を当該参照ピクチャリストに加える。すなわち、エンハンスメントレイヤに属する非参照ピクチャに設定されるピクチャの参照ピクチャリストに、参照フレーム記憶部２７の第２領域に記憶されている二枚の画像と、非参照フレーム記憶部２８に最も古く記憶された一枚の画像を含める。

図１１は、図１０をもとに生成された参照ピクチャリストを示す図である。エンハンスメントレイヤに属するピクチャについて、ベースレイヤの同時刻のピクチャが、参照ピクチャに加えられていることが分かる。

図６に戻り、ステレオ画像変換部３０は、モノラル画像符号化部２０から送られた符号化ストリームのヘッダ部およびフレーム順序を変更して、多重部４０に送る。本実施の形態では、ステレオ画像変換部３０は、モノラル画像符号化部２０から送られたＭＰＥＧ−４ＡＶＣＨｉｇｈＰｒｏｆｉｌｅストリームのヘッダ部を修正して、ＭＰＥＧ−４ＡＶＣＳｔｅｒｅｏＨｉｇｈＰｒｏｆｉｌｅに変換し、多重部４０に送る。

図１２は、図６に示したステレオ画像変換部３０の詳細な構成を示す図である。ステレオ画像変換部３０は、Ｍ単位ピクチャデータ分離部３１、ベースレイヤ変換部３２、エンハンスメントレイヤ変換部３３および一単位ピクチャデータ多重部３４を含む。

Ｍ単位ピクチャデータ分離部３１は、モノラル画像符号化部２０から送られたＭＰＥＧ−４ＡＶＣストリームからＭ単位でピクチャデータを取り出す。取り出したピクチャデータがベースレイヤに属する場合、そのピクチャデータをベースレイヤ変換部３２に送り、エンハンスメントレイヤに属する場合、そのピクチャデータをエンハンスメントレイヤ変換部３３に送る。

ベースレイヤ変換部３２は、Ｍ単位ピクチャデータ分離部３１から送られたＭ単位のピクチャデータのヘッダ部を、ＭＰＥＧ−４ＡＶＣＨｉｇｈＰｒｏｆｉｌｅに準ずるものに変換し、変換後のピクチャデータをピクチャデータ単位で一単位ピクチャデータ多重部３４に送る。なお、具体的な変換方法については本発明の主眼ではないため、その説明を省略する。

エンハンスメントレイヤ変換部３３は、Ｍ単位ピクチャデータ分離部３１から送られたＭ単位のピクチャデータのヘッダ部を、ＭＰＥＧ−４ＡＶＣＨｉｇｈＰｒｏｆｉｌｅに準ずるものに変換し、変換後のピクチャデータをピクチャデータ単位で一単位ピクチャデータ多重部３４に送る。

一単位ピクチャデータ多重部３４は、ベースレイヤ変換部３２から送られたピクチャデータと、エンハンスメントレイヤ変換部３３から送られたピクチャデータを一枚ずつ交互に並べて多重部４０に送る。

図１３は、一単位ピクチャデータ多重部３４による並べ替え前後の符号化ストリームを示す図である。一単位ピクチャデータ多重部３４により並べ替え前の符号化ストリームでは、ベースレイヤに属するピクチャとエンハンスメントレイヤに属するピクチャとが、Ｍ単位で交互に並べられているが、並べ替え後の符号化ストリームでは、ベースレイヤに属するピクチャとエンハンスメントレイヤに属するピクチャとが、一単位で交互に並べられている。

図６に戻り、多重部４０は、ステレオ画像変換部３０から送られる符号化ストリームと、オーディオデータなどのマルチメディアデータとを多重化する。本実施の形態では、多重部４０は、ステレオ画像変換部３０からから送られたＭＰＥＧ−４ＡＶＣＳｔｅｒｅｏＨｉｇｈＰｒｏｆｉｌｅストリームと、その他のオーディオデータなどのマルチメディアデータとを、ＭＰＥＧ−２ＴＳに多重化してする。なお、多重化方式は、ＭＰＥＧ−２ＴＳに限ることなく、ＭＰＥＧ−２ＰＳなど他の方式を採用してもよい。多重部４０により多重化された符号化ストリームは、Ｂｌｕ−Ｒａｙディスク、ＨＤＤ、半導体メモリなどの記録媒体に記録されて、または通信ネットワークを介して、復号側に提供される。

図１４は、実施の形態に係る画像符号化装置１００の全体動作を示すフローチャートである。まず、切替部１０は、参照フレーム周期Ｍを決定する（Ｓ１００）。切替部１０は、入力される左目用画像と右目用画像とをＭ単位で交互に切り替えて、モノラル画像符号化部２０に出力する（Ｓ１０１）。視点管理部２１は、切替部１０により決定されたＭをもとに、視点を決定する（Ｓ１０２）。Ｍ単位符号化部２４は、変数ｍをゼロに、初期値設定する（Ｓ１０３）。ピクチャタイプ決定部２２は、各フレーム画像のピクチャタイプを決定する（Ｓ１０４）。参照ピクチャリスト生成部２３は、視点管理部２１により決定された視点およびピクチャタイプ決定部２２により決定されたピクチャリストにもとづいて、ピクチャリストを生成する（Ｓ１０５）。

Ｍ単位符号化部２４は、切替部１０から入力される画像を所定の圧縮符号化規格にしたがい、符号化する（Ｓ１０６）。Ｍ単位符号化部２４は、符号化したフレーム画像が参照ピクチャの場合（Ｓ１０７のＹ）、それを局部復号した復号ピクチャを参照フレーム記憶部２７に格納する（Ｓ１０８）。符号化したフレーム画像が参照ピクチャでない場合（Ｓ１０７のＮ）、ステップＳ１０８からＳ１１１までの処理をスキップする。

Ｍ単位符号化部２４は、符号化したフレーム画像がベースレイヤの非参照ピクチャの場合（Ｓ１０９のＹ）、それを局部復号した復号ピクチャを非参照フレーム記憶部２８に格納する（Ｓ１１０）。符号化したフレーム画像がベースレイヤの非参照ピクチャでない場合（Ｓ１０９のＮ）、非参照フレーム記憶部２８に格納されている最も古い復号ピクチャを削除する（Ｓ１１１）。

ステレオ画像変換部３０は、モノラル画像符号化部２０により符号化された符号化ストリームのフレーム順序などを変換する（Ｓ１１２）。多重部４０は、ステレオ画像変換部３０から入力される符号化ストリームに、オーディオデータなどのマルチメディアデータを多重化する（Ｓ１１３）。

Ｍ単位符号化部２４は、変数ｍをインクリメントする（Ｓ１１４）。Ｍ単位符号化部２４は、変数ｍと参照フレーム周期Ｍとを比較し、変数ｍが参照フレーム周期Ｍに到達しない間（Ｓ１１５のＮ）、ステップＳ１０４からＳ１１４までの処理が繰り返される。変数ｍが参照フレーム周期Ｍに到達した場合（Ｓ１１５のＹ）、切替部１０は、現在処理されている画像が右目用画像であるか否か判定し、右目用画像ではない場合（すなわち、左目用画像の場合）（Ｓ１１６のＮ）、ステップＳ１０２からＳ１１５までの処理が繰り返される。右目用画像の場合（Ｓ１１６のＹ）、本画像符号化装置１００に入力される画像全体の処理が終了したか否かが判定され、終了していない場合（Ｓ１１７のＮ）、ステップＳ１００からＳ１１６までの処理が繰り返される。終了した場合（Ｓ１１７のＹ）、全体の処理が終了する。

以上説明したよう本発明の実施の形態によれば、参照フレーム周期Ｍ単位で、左目用画像と右目用画像とを交互に入力することにより、既存のＭ単位でモノラル画像を符号化する画像符号化装置を用いて、画質および符号化効率を維持しながらステレオ画像を符号化することができる。すなわち、画素を間引く処理を行わないため、それによる画質の低下を抑制することができる。また、どの符号化対象のＢピクチャも、未来方向のＰピクチャまたはＩピクチャを参照ピクチャとして利用することができるため、それを利用できないことによる符号化効率の低下を抑制することができる。

また、間引き処理、補間処理、インタレース化処理、ノンインタレース処理などを行わないため、演算量および回路規模の増大を抑制することができる。また、広く普及している画像復号装置で再生復号することができるため、ステレオ画像を用いたコンテンツの普及を促進することが期待できる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１００画像符号化装置、１０切替部、２０モノラル画像符号化部、２１視点管理部、２２ピクチャタイプ決定部、２３参照ピクチャリスト生成部、２４Ｍ単位符号化部、２５第１符号量制御部、２６第２符号量制御部、２７参照フレーム記憶部、２８非参照フレーム記憶部、３０ステレオ画像変換部、３１Ｍ単位ピクチャデータ分離部、３２ベースレイヤ変換部、３３エンハンスメントレイヤ変換部、３４一単位ピクチャデータ多重部、４０多重部。

Claims

符号化ストリーム内にて参照画像が挿入される周期を一単位とし、一単位に含まれる画像を画面間予測符号化することが可能な符号化部と、
ステレオ画像を構成する第１動画像と第２動画像を、前記一単位を構成すべき複数の画像ごとに交互に切り替えて、前記符号化部に供給する切替部と、
前記符号化部により符号化される各画像が用いる参照ピクチャリストを生成する参照ピクチャリスト生成部と、を備え、
前記参照ピクチャリスト生成部は、前記第２動画像を構成する少なくとも一部の画像の参照ピクチャリストに、当該画像に時間的に対応する前記第１動画像を構成する画像を含めることを特徴とする画像符号化装置。
前記第１動画像を構成する画像および前記第２動画像を構成する画像のうち、参照画像に設定され、符号化および局部復号された画像を記憶する第１記憶部をさらに備え、
前記参照ピクチャリスト生成部は、前記第２動画像を構成する参照画像に設定される画像であって、画面間予測符号化されるべき画像の参照ピクチャリストに、前記第１記憶部に記憶される当該画像に時間的に対応する画像を含めることを特徴とする請求項１に記載の画像符号化装置。
前記第１記憶部は、
前記第１動画像を構成する参照画像に設定され、符号化および局部復号された複数の画像のうち、最新の二枚の画像を記憶する第１領域と、
前記第２動画像を構成する参照画像に設定され、符号化および局部復号された複数の画像のうち、最新の二枚の画像を記憶する第２領域と、を含み、
前記参照ピクチャリスト生成部は、前記第２動画像を構成する参照画像に設定される画像であって、画面間予測符号化されるべき画像の参照ピクチャリストに、前記第２領域に記憶されている二枚の画像と、前記第１領域に直近に記憶された一枚の画像を含めることを特徴とする請求項２に記載の画像符号化装置。
前記第１動画像を構成する画像のうち、前記第１動画像を構成する他の画像の参照画像に設定されずに、符号化および局部復号された画像を記憶する第２記憶部をさらに備え、
前記参照ピクチャリスト生成部は、前記第２動画像を構成する参照画像に設定されない画像の参照ピクチャリストに、前記第２記憶部に記憶される当該画像に時間的に対応する画像を含めることを特徴とする請求項１に記載の画像符号化装置。
前記第１動画像を構成する画像のうち、前記第１動画像を構成する、他の画像の参照画像に設定されずに、符号化および局部復号された画像を記憶する第２記憶部をさらに備え、
前記参照ピクチャリスト生成部は、前記第２動画像を構成する参照画像に設定されない画像の参照ピクチャリストに、前記第１記憶部の第２領域に記憶されている二枚の画像と、前記第２記憶部に最も古く記憶された一枚の画像を含めることを特徴とする請求項３に記載の画像符号化装置。
符号化ストリーム内にて参照画像が挿入される周期を一単位とし、動画像を符号化する画像符号化方法であって、
ステレオ画像を構成する第１動画像と第２動画像を、前記一単位を構成すべき複数の画像ごとに交互に符号化対象に設定する切替ステップと、
前記切替ステップにより設定された、一単位に含まれる画像を画面間予測符号化する符号化ステップと、
前記符号化ステップにより符号化される各画像が用いる参照ピクチャリストを生成する参照ピクチャリスト生成ステップと、を備え、
前記参照ピクチャリスト生成ステップは、前記第２動画像を構成する少なくとも一部の画像の参照ピクチャリストに、当該画像に時間的に対応する前記第１動画像を構成する画像を含めることを特徴とする画像符号化方法。
前記第１動画像を構成する画像および前記第２動画像を構成する画像のうち、参照画像に設定され、符号化および局部復号された画像を第１記憶部に記憶する第１記憶ステップと、
前記第１動画像を構成する画像のうち、前記第１動画像を構成する、他の画像の参照画像に設定されずに、符号化および局部復号された画像を第２記憶部に記憶する第２記憶ステップと、をさらに備え、
前記第１記憶部は、
前記第１動画像を構成する参照画像に設定され、符号化および局部復号された複数の画像のうち、最新の二枚の画像を記憶する第１領域と、
前記第２動画像を構成する参照画像に設定され、符号化および局部復号された複数の画像のうち、最新の二枚の画像を記憶する第２領域と、を含み、
前記参照ピクチャリスト生成ステップは、前記第２動画像を構成する参照画像に設定される画像であって、画面間予測符号化されるべき画像の参照ピクチャリストに、前記第２領域に記憶されている二枚の画像と、前記第１領域に直近に記憶された一枚の画像を含め、
前記参照ピクチャリスト生成ステップは、前記第２動画像を構成する参照画像に設定されない画像の参照ピクチャリストに、前記第１記憶部の第２領域に記憶されている二枚の画像と、前記第２記憶部に最も古く記憶された一枚の画像を含めることを特徴とする請求項６に記載の画像符号化方法。
符号化ストリーム内にて参照画像が挿入される周期を一単位とし、動画像を符号化する画像符号化プログラムであって、
ステレオ画像を構成する第１動画像と第２動画像を、前記一単位を構成すべき複数の画像ごとに交互に符号化対象に設定する切替処理と、
前記切替処理により設定された、一単位に含まれる画像を画面間予測符号化する符号化処理と、
前記符号化処理により符号化される各画像が用いる参照ピクチャリストを生成する参照ピクチャリスト生成処理と、をコンピュータに実行させ、
前記参照ピクチャリスト生成処理は、前記第２動画像を構成する少なくとも一部の画像の参照ピクチャリストに、当該画像に時間的に対応する前記第１動画像を構成する画像を含めることを特徴とする画像符号化プログラム。
前記第１動画像を構成する画像および前記第２動画像を構成する画像のうち、参照画像に設定され、符号化および局部復号された画像を第１記憶部に記憶する第１記憶処理と、
前記第１動画像を構成する画像のうち、前記第１動画像を構成する、他の画像の参照画像に設定されずに、符号化および局部復号された画像を第２記憶部に記憶する第２記憶処理と、をさらにコンピュータに実行させ、
前記第１記憶部は、
前記第１動画像を構成する参照画像に設定され、符号化および局部復号された複数の画像のうち、最新の二枚の画像を記憶する第１領域と、
前記第２動画像を構成する参照画像に設定され、符号化および局部復号された複数の画像のうち、最新の二枚の画像を記憶する第２領域と、を含み、
前記参照ピクチャリスト生成処理は、前記第２動画像を構成する参照画像に設定される画像であって、画面間予測符号化されるべき画像の参照ピクチャリストに、前記第２領域に記憶されている二枚の画像と、前記第１領域に直近に記憶された一枚の画像を含め、
前記参照ピクチャリスト生成処理は、前記第２動画像を構成する参照画像に設定されない画像の参照ピクチャリストに、前記第１記憶部の第２領域に記憶されている二枚の画像と、前記第２記憶部に最も古く記憶された一枚の画像を含めることを特徴とする請求項８に記載の画像符号化プログラム。