JP2007336275A

JP2007336275A - 動画像再生装置

Info

Publication number: JP2007336275A
Application number: JP2006166045A
Authority: JP
Inventors: Hiroshi Mori; 弘史森
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-06-15
Filing date: 2006-06-15
Publication date: 2007-12-27
Also published as: US20070291852A1

Abstract

【課題】パケット落ちなどの影響で、エンコーダ側とデコーダ側で参照フレーム数に不一致が生じても、再生画像への影響を最小限にとどめる。
【解決手段】参照すべきフレームが欠落していない場合には、参照ピクチャリスト作成部４０が、参照フレーム枚数と、復号画像バッファ２０に記憶される復号画像の通し番号とに基づいて、参照ピクチャリストを作成し、一方、参照すべきフレームが欠落している場合には、参照ピクチャリスト補正部５０が、欠落したフレームに代わってその直前のフレームを参照するように指示した参照ピクチャリストを生成する。復号部１０は、参照ピクチャリスト作成部４０、あるいは参照ピクチャリスト補正部５０が作成した参照ピクチャリストに基づく復号画像を復号画像バッファ２０から読み出して、この読み出した復号画像に基づいて、ストリームデータを復号して復号画像を得るようにしたものである。
【選択図】図１

Description

この発明は、複数の参照フレームを利用して、高い符号化率を実現する圧縮方式を採用する動画像再生装置に関する。

周知のように、従来の動画像再生装置は、例えばＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication Sector）勧告H.264などの動画圧縮方式のように、複数の参照フレームを利用して高い符号化率を実現している（非特許文献1）。

しかしながら、伝送路が誤り環境下にあって、上記のような動画圧縮方式を採用する場合、パケット落ちなどの影響により、エンコーダ側とデコーダ側で参照フレーム数に不一致が生じることがある。このような状況に陥ってデコーダ側に参照すべきフレームが欠落していると、正常なデコード処理を行えないという問題がある。
"Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification (ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC)", in Joint Video Team of ISO/IEC MPEG and ITU-T VCEG, May 2003

従来の動画像再生装置では、伝送路が誤り環境下にある場合、パケット落ちなどの影響により、エンコーダ側とデコーダ側で参照フレーム数に不一致が生じることがある。このような状況に陥ってデコーダ側に参照すべきフレームが欠落していると参照不可能な参照フレームが発生し、デコード処理を行えないという問題点があった。

この発明は上記の問題を解決すべくなされたもので、パケット落ちなどの影響で、エンコーダ側とデコーダ側で参照フレーム数に不一致が生じても、デコード処理を行うと共に、再生画像への影響を最小限にとどめることが可能な動画像再生装置を提供することを目的とする。

上記の目的を達成するために、この発明は、動画像がフレーム毎に符号化された画像データを含むストリームデータを復号する動画像再生装置において、復号した画像データを記憶する記憶手段と、この記憶手段が記憶する画像データのうち、参照リストで示される画像データを参照して、ストリームデータに含まれる画像データを復号する復号手段と、ストリームデータから画像データに対応づけられた参照フレーム数を検出する参照フレーム数検出手段と、ストリームデータから画像データの欠落を検出する欠落検出手段と、参照フレーム数検出手段が検出した参照フレーム数にしたがって、参照リストを作成するものであって、欠落手段が画像データの欠落を検出した場合には、欠落した画像データに代わって、それ以前に復号された画像データを参照する旨を示した参照リストを作成する参照リスト作成手段とを具備して構成するようにした。

この発明によれば、パケット落ちなどの影響で、エンコーダ側とデコーダ側で参照フレーム数に不一致や、参照フレームが存在しない状態が発生しても、再生画像への影響を最小限にとどめることが可能な動画像再生装置を提供できる。

以下、図面を参照して、この発明の一実施形態について説明する。図１は、この発明の一実施形態に係わる動画像再生装置の構成を示すものである。この動画像再生装置は、復号部１０と、復号画像バッファ（ＤＰＢ：Decoded Picture Buffer）２０と、復号画像欠落検出部３０と、参照ピクチャリスト作成部４０と、参照ピクチャリスト補正部５０と、フレームメモリ６０と、画像出力部７０とを備えている。

復号部１０は、動画像が符号化されたストリームデータから、復号に用いる参照フレームの枚数を示す参照フレーム枚数numRefの情報を抽出し、これを復号画像欠落検出部３０に通知する。なお、参照フレーム枚数numRefは、ストリームデータ上のＰＰＳ（Picture Parameter Set）やSliceHeaderに含まれる。

また復号部１０は、後述する参照ピクチャリスト作成部４０、あるいは参照ピクチャリスト補正部５０から通知される参照ピクチャリストRefListに基づく復号画像を復号画像バッファ２０から読み出して、この読み出した復号画像に基づいて、ストリームデータを復号して復号画像を得る。なお、このようにして得られた復号画像には、エンコードされた順番に応じて各フレームに割り当てられた参照ピクチャ番号frame_numに基づく通し番号PicNumが付与される。

復号画像バッファ２０は、復号部１０が復号した複数枚の復号画像を、上記通し番号PicNumとともに記憶する。そして、復号画像バッファ２０は、復号部１０から復号画像が入力されると、記憶している復号画像のうち、上記通し番号PicNumに基づいて、最も古い復号画像をフレームメモリ６０に出力するとともに、この最も古い復号画像に代わって、上記入力された復号画像を記憶する。なお、以下の説明では、復号画像バッファ２０は、３枚の復号画像を記憶する場合を例に挙げて説明する。

復号画像欠落検出部３０は、復号部１０から通知される参照フレーム枚数numRefと、復号画像バッファ２０が記憶する復号画像の通し番号PicNumとに基づいて、復号部１０に入力されるストリームデータに生じた、欠落フレームの数lackRefPicを検出し、これに基づいて、参照ピクチャリスト作成部４０、あるいは参照ピクチャリスト補正部５０に参照ピクチャリストRefListを作成するように指示する。

参照ピクチャリスト作成部４０は、復号画像欠落検出部３０からの指示に従って、復号画像欠落検出部３０から通知される参照フレーム枚数numRefと、復号画像バッファ２０に記憶される復号画像の通し番号PicNumとに基づいて、参照ピクチャリストRefListを作成する。

参照ピクチャリスト補正部５０は、復号画像欠落検出部３０からの指示に従って、復号画像欠落検出部３０から通知される参照フレーム枚数numRefおよび欠落フレームの数lackRefPicと、復号画像バッファ２０に記憶される復号画像の通し番号PicNumとに基づいて、参照ピクチャリストRefListを作成する。

フレームメモリ６０は、復号画像バッファ２０から出力される復号画像を一時的に蓄積する。画像出力部７０は、フレームメモリ６０に蓄積される復号画像を、各復号画像の通し番号PicNumにしたがって読み出して、後段の図示しない表示装置などに出力する。

次に、上記構成の動画像再生装置の動作について説明する。この動画像再生装置の動作を、図２のフローチャートに示す。このフローチャートに示す処理は、ストリームデータを構成するフレーム単位で繰り返し実行される。
まずステップ２ａでは、復号部１０が、ストリームデータから、復号に用いる参照フレームの枚数を示す参照フレーム枚数numRefの情報を抽出し、これを復号画像欠落検出部３０に通知し、ステップ２ｂに移行する。

ステップ２ｂでは、復号画像欠落検出部３０が、ステップ２ａで復号部１０が通知した参照フレーム枚数numRefから、復号画像バッファ２０が記憶する復号画像の枚数を減算する。そして、復号画像欠落検出部３０は、この減算結果を、復号部１０に入力されるストリームデータに生じた、欠落フレームの数lackRefPicとし、ステップ２ｃに移行する。

ステップ２ｃでは、復号画像欠落検出部３０が、ステップ２ｂで求めた欠落フレームの数lackRefPicが０よりも大きいか否かを判定する。ここで、欠落フレーム数lackRefPicが０よりも大きい場合、すなわちストリームデータに欠落フレームが生じた場合には、復号画像欠落検出部３０は、ステップ２ｆ〜２ｈのループ処理を実行するように、参照ピクチャリスト補正部５０に指示を与える。一方、欠落フレーム数lackRefPicが０以下の場合、すなわち欠落フレームが生じていない場合には、復号画像欠落検出部３０は、ステップ２ｄの処理を実行するように、参照ピクチャリスト作成部４０に指示を与える。

ステップ２ｄでは、参照ピクチャリスト作成部４０が、復号画像欠落検出部３０からの指示に従って、復号画像欠落検出部３０から通知される参照フレーム枚数numRefと、復号画像バッファ２０に記憶される復号画像の通し番号PicNumとに基づいて、復号時に参照すべき復号画像の参照ピクチャ番号frame_numをリスト化した参照ピクチャリストRefListを作成し、復号部１０に出力する。

図３は、ストリームデータに含まれるフレームのうち、参照ピクチャ番号frame_num０〜４のフレームにおいて欠落フレームが生じなかった場合を示している。このように欠落フレームが生じなかった場合、各フレームにおいてそれぞれステップ２ｄの処理が実行され、フレーム毎に参照ピクチャリスト作成部４０が参照ピクチャリストRefListを作成する。

例えば、参照ピクチャ番号frame_num３のフレームを復号する際には、その時点で復号画像バッファ２０には、それまでに復号された参照ピクチャ番号frame_num０、frame_num１およびframe_num２の各復号画像と各復号画像の通し番号PicNumが記憶されている。

この時、参照ピクチャリスト作成部４０は、復号画像欠落検出部３０から通知される参照フレーム枚数numRefが「３」であることより、復号画像バッファ２０に記憶される３つの参照ピクチャ番号frame_num０、frame_num１およびframe_num２の各復号画像を、それぞれ対応づけられた通し番号PicNumにしたがった順序で参照するように、参照ピクチャ番号frame_numをリスト化した参照ピクチャリストRefListを作成する。

これに対して、ストリームデータに欠落フレームが生じた場合には、参照ピクチャリスト補正部５０によって、ステップ２ｅが実施され、その後ステップ２ｆ〜２ｈのループ処理が実行される。
まず、ステップ２ｅにおいて参照ピクチャリスト補正部５０は、復号画像バッファ２０に記憶される復号画像を、それぞれ対応づけられた通し番号PicNumにしたがった順序で参照するように、参照ピクチャ番号frame_numをリスト化した参照ピクチャリストRefListを作成し、ステップ２ｆに移行する。

ステップ２ｆにおいて参照ピクチャリスト補正部５０は、欠落フレームの数lackRefPicが０であるか否かを判定する。ここで、欠落フレーム数lackRefPicが０の場合には、参照ピクチャリストRefListの作成が完了したものと見なして、ステップ２ｊに移行する。一方、欠落フレーム数lackRefPicが０でない場合には、ステップ２ｇに移行する。

ステップ２ｇにおいて参照ピクチャリスト補正部５０は、復号画像バッファ２０に記憶される復号画像の通し番号PicNumを参照し、欠落フレームの参照ピクチャ番号frame_numを検出し、ステップ２ｈに移行する。

ステップ２ｈにおいて参照ピクチャリスト補正部５０は、ステップ２ｈで検出した欠落フレームを参照ピクチャリストRefList上で補うべく、ステップ２ｈで検出した欠落フレームの参照ピクチャ番号frame_numの代わりに、その直前のフレームの参照ピクチャ番号frame_numを参照ピクチャリストRefListに設定し、ステップ２ｉに移行する。

ステップ２ｉにおいて参照ピクチャリスト補正部５０は、欠落フレームの数lackRefPicから１を減じて、ステップ２ｆに移行する。以後、ステップ２ｆ〜２ｈのループ処理を参照ピクチャリスト補正部５０が実行することで、すべての欠落フレームについて、欠落フレームの参照ピクチャ番号frame_numの代わりに、その直前のフレームの参照ピクチャ番号frame_numを参照ピクチャリストRefListに設定する。

なお、欠落フレームの参照ピクチャ番号frame_numの代わり利用されるフレームは、直前のフレームとするのではなく、参照される頻度の多いマクロブロックを含むフレームとしてもよく、また、欠落フレームの直前のフレームにエラーが混入してコンシールメント処理が施されている場合は、このフレームを除き、更に１つ前のフレームを利用するなど、コンシールメント処理が施されていないフレームを利用するよう制限してもよい。

ステップ２ｊにおいて参照ピクチャリスト補正部５０は、ステップ２ｅおよびステップ２ｆ〜２ｈのループ処理により生成された参照ピクチャリストRefListを復号部１０に出力し、ステップ２ｋに移行する。

図４は、ストリームデータに含まれるフレームのうち、参照ピクチャ番号frame_num０〜４のフレームにおいて、参照ピクチャ番号frame_num２のフレームが欠落した場合を示している。この場合、参照ピクチャ番号frame_num２のフレームについては、欠落によりその復号が行われず、frame_num０，１，４の各フレームについては、それぞれステップ２ｄの処理を参照ピクチャリスト作成部４０が実行して参照ピクチャリストRefListを作成する。これについては、図３を用いて前述した処理と同様のため、説明を省略する。

一方、残る参照ピクチャ番号frame_num３のフレームについては、ステップ２ｅおよびステップ２ｆ〜２ｈのループ処理を参照ピクチャリスト補正部５０が実行し、参照ピクチャリストRefListを作成する。すなわち、参照ピクチャリスト補正部５０は、ステップ２ｅにおいて復号画像バッファ２０に記憶される復号画像に基づいて参照ピクチャリストRefListを作成し、そしてステップ２ｇにおいて、復号画像バッファ２０に記憶される復号画像の通し番号PicNumを参照し、欠落フレームが参照ピクチャ番号frame_num２のフレームであることを検出する。

そしてステップ２ｈにおいて参照ピクチャリスト補正部５０は、欠落フレーム（frame_num２）を参照ピクチャリストRefList上で補うべく、欠落フレーム（frame_num２）の代わりに、その直前のフレームの参照ピクチャ番号frame_num１を参照ピクチャリストRefListに設定する。ステップ２ｉにおいて参照ピクチャリスト補正部５０は、欠落フレームの数lackRefPicから１を減じて、ステップ２ｆに移行する。

ステップ２ｆにおいて参照ピクチャリスト補正部５０は、欠落フレームの数lackRefPicが０となったことより、参照ピクチャリストRefListの作成が完了したものと見なして、ステップ２ｊに移行する。ステップ２ｊでは、生成された参照ピクチャリストRefListを復号部１０に出力し、ステップ２ｋに移行する。

ステップ２ｋでは、復号部１０が、ステップ２ｄあるいはステップ２ｊにより参照ピクチャリスト作成部４０、あるいは参照ピクチャリスト補正部５０から参照ピクチャリストRefListが通知され、これに基づく復号画像を復号画像バッファ２０から読み出して、この読み出した復号画像に基づいて、ストリームデータを復号して復号画像を得る。

このようにして得られた復号画像は、復号画像バッファ２０に一時的に蓄積され、上述したように、後続するフレームの復号に必要に応じて用いられ、フレームメモリ６０および画像出力部７０を介して、後段の表示装置などに出力される。

以上のように、上記構成の動画像再生装置では、ストリームデータを復号する際に、参照すべきフレームが欠落している場合には、欠落したフレームに代わってそれ以前のフレームを参照するように指示した参照ピクチャリストRefListを生成し、これに基づいてストリームデータの復号を行うようにしている。

したがって、上記構成の動画像再生装置によれば、パケット落ちなどの影響で、エンコーダ側とデコーダ側で参照フレーム数に不一致が生じても、復号画像バッファ２０が記憶する復号画像の複製や順序入れ替えなどの制御を行う必要がなく、参照ピクチャリストRefListの制御だけで処理負荷の少ないコンシールメント処理が行え、再生画像への影響を最小限にとどめることができる。

すなわち、ストリーム中の参照フレーム数numRefにビット誤りが混入したような場合でも、参照ピクチャリストRefListの制御のみでコンシールメントを行うため、復号画像バッファ４０に誤りの影響を伝播せずに、以後のストリームをデコードすることが可能となる。

また上記構成の動画像再生装置では、上述したように、欠落したフレームを補った参照ピクチャリストRefListを生成する場合に、欠落したフレームの直前のフレームで欠落フレームを補うようにしているので、欠落したフレーム以前のフレームについても正常に参照することができる。

なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。

その一例として例えば、上記実施の形態では、参照フレーム枚数numRefと復号画像バッファ２０が記憶する復号画像の枚数の差から、欠落フレームの発生を検出するようにしたが、これに代わって例えば、復号部１０が参照ピクチャ番号frame_numの連続性を検証して、欠落フレームの発生を検出するようにしてもよい。
その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。

この発明に係わる動画像再生装置の一実施形態の構成を示す回路ブロック図。図１に示した動画像再生装置の復号処理を説明するためのフローチャート。フレーム欠落が生じない場合に、図２に示した処理にしたがって参照ピクチャリストが作成される過程を説明するための図。フレーム欠落が生じた場合に、図２に示した処理にしたがって参照ピクチャリストが作成される過程を説明するための図。

符号の説明

１０…復号部、２０…復号画像バッファ、３０…復号画像欠落検出部、４０…参照ピクチャリスト作成部、５０…参照ピクチャリスト補正部、６０…フレームメモリ、７０…画像出力部。

Claims

動画像がフレーム毎に符号化された画像データを含むストリームデータを復号する動画像再生装置において、
復号した画像データを記憶する記憶手段と、
この記憶手段が記憶する画像データのうち、参照リストで示される画像データを参照して、前記ストリームデータに含まれる画像データを復号する復号手段と、
前記ストリームデータから画像データに対応づけられた参照フレーム数を検出する参照フレーム数検出手段と、
前記ストリームデータから画像データの欠落を検出する欠落検出手段と、
前記参照フレーム数検出手段が検出した参照フレーム数にしたがって、前記参照リストを作成するものであって、前記欠落手段が画像データの欠落を検出した場合には、欠落した画像データに代わって、それ以前に復号された画像データを参照する旨を示した参照リストを作成する参照リスト作成手段とを具備することを特徴とする動画像再生装置。
前記参照リスト作成手段は、前記欠落手段が画像データの欠落を検出した場合には、欠落した画像データに代わって、その直前に復号された画像データを参照する旨を示した参照リストを作成することを特徴とする請求項１に記載の動画像再生装置。
前記欠落検出手段は、前記参照フレーム数検出手段が検出した参照フレーム数と、前記記憶手段が記憶する画像データの数との差から、画像データの欠落を検出することを特徴とする請求項１に記載の動画像再生装置。
前記欠落検出手段は、前記ストリームデータに含まれる画像データに付与されたフレーム番号の連続性から、画像データの欠落を検出することを特徴とする請求項１に記載の動画像再生装置。