JP2013009110A - 動画像復号装置及び動画像復号方法 - Google Patents

Abstract

【課題】複数の視点の動画像を含むストリームデータを復号する際のコンシールメントでの画像乱れを低減する。
【解決手段】実施形態の動画像復号装置は、複数の視点の動画像を含むストリームデータに含まれるマクロブロックの誤りを検出する検出手段と、誤りが検出されたマクロブロックを含むスライスについて、同一視点のピクチャを参照して復号するスライスである場合は、同一視点のピクチャに含まれるマクロブロックを用いた補間を行い、他の視点のピクチャを参照して復号するスライスである場合は、他の視点のピクチャに含まれるマクロブロックを用いた補間を行う補間手段とを備える。
【選択図】図５

Description

本発明の実施形態は、動画像復号装置及び動画像復号方法に関する。

従来、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）を複数の視点（ビュー）の動画像に拡張したＨ．２６４／ＭＶＣ（Multiview Video Coding）のストリームデータを復号する動画像復号装置では、あるビューのピクチャに含まれるマクロブロックに誤りが混入し、そのマクロブロックを含むスライスが損傷を受けた場合、損傷を受けたスライスと関連する同一ビュー内のピクチャに含まれる他のマクロブロックの情報をもとに、損傷を受けたスライスを補間して復元するコンシールメント（欠落情報補間）が行われている。

特表２０１０−５１６１０２号公報

しかしながら、上述した従来技術では、同一ビューにおいて時間方向で異なるピクチャに含まれるマクロブロックでコンシールメントが行われるため、コンシールメント後の画像に多少の乱れが生じることがあった。特に、Ｈ．２６４／ＭＶＣのストリームデータにおいて、Ｈ．２６４／ＡＶＣに準拠したベースビュー以外の他のビューについては、同一ビューのピクチャによる予測から復号を行うだけでなく、異なるビュー間の予測からの復号も行われる。このため、ビュー間の予測から復号するマクロブロックが多いピクチャは、時間方向での相関性が弱く、従来のコンシールメントでは画像の乱れが生じ易かった。

本発明は、上記に鑑みてなされたものであって、複数の視点の動画像を含むストリームデータを復号する際のコンシールメントでの画像乱れを低減することを可能とする動画像復号装置及び動画像復号方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、実施形態の動画像復号装置は、複数の視点の動画像を含むストリームデータに含まれるマクロブロックの誤りを検出する検出手段と、誤りが検出されたマクロブロックを含むスライスについて、同一視点のピクチャを参照して復号する視点のスライスである場合は、前記同一視点のピクチャに含まれるマクロブロックを用いた補間を行い、他の視点のピクチャを参照して復号する視点のスライスである場合は、前記他の視点のピクチャに含まれるマクロブロックを用いた補間を行う補間手段とを備える。

また、実施形態の動画像復号方法は、検出手段が、複数の視点の動画像を含むストリームデータに含まれるマクロブロックの誤りを検出する工程と、補間手段が、誤りが検出されたマクロブロックを含むスライスについて、同一視点のピクチャを参照して復号する視点のスライスである場合は、前記同一視点のピクチャに含まれるマクロブロックを用いた補間を行い、他の視点のピクチャを参照して復号する視点のスライスである場合は、前記他の視点のピクチャに含まれるマクロブロックを用いた補間を行う工程とを含む。

図１は、複数の視点（ビュー）を含む動画像の一例を示す概念図である。 図２は、エラー検出ブロックを含むピクチャの一例を示す概念図である。 図３は、従来のコンシールメントを例示する概念図である。 図４は、実施形態にかかるコンシールメントを例示する概念図である。 図５は、実施形態にかかる動画像復号装置の構成を例示するブロック図である。 図６は、コンシールメント処理の一例を示すフローチャートである。 図７は、補間方法の選択の一例を示すフローチャートである。 図８は、誤りが検出されたエラー検出ブロックを含むピクチャを例示する概念図である。 図９は、誤りが検出されたエラー検出ブロックを含むピクチャの復号順序で前のピクチャを例示する概念図である。 図１０は、補間方法の選択の一例を示すフローチャートである。 図１１は、誤りが検出されたエラー検出ブロックを含むピクチャを例示する概念図である。 図１２は、誤りが検出されたエラー検出ブロックを含むピクチャの復号順序で前のピクチャを例示する概念図である。 図１３は、映像再生装置の構成を例示するブロック図である。

以下、添付図面を参照して実施形態の動画像復号装置及び動画像復号方法を詳細に説明する。先ず、図１〜４を参照して実施形態の概要を説明する。図１は、複数の視点（ビュー）を含む動画像の一例を示す概念図である。図２は、エラー検出ブロックＢ２０を含むピクチャＰ２２の一例を示す概念図である。図３は、従来のコンシールメントを例示する概念図である。図４は、実施形態にかかるコンシールメントを例示する概念図である。

Ｈ．２６４／ＭＶＣ等の複数のビューを含む動画像のストリームデータは、図１に示すように、Ｈ．２６４／ＡＶＣ符号化方式に準拠したベースビューＶ０と、Ｈ．２６４／ＡＶＣ符号化方式に加えてビュー間の予測符号化が行われるノンベースビューＶ１、Ｖ２とを含む構成である。なお、図示した「Ｉ」、「Ｐ」、「Ｂ」はフレームピクチャのタイプを示しており、「Ｉ」はＩピクチャを、「Ｐ」はＰピクチャを、「Ｂ」はＢピクチャを示す。また、実施形態における動画像のストリームデータは、Ｈ．２６４／ＭＶＣに準拠するものとする。

具体的には、ベースビューＶ０は、時刻ｔ０〜ｔ４のピクチャＰ００〜Ｐ０４において、実線の矢印で示したように、同一ビューであるベースビューＶ０のピクチャを参照しての画面間（フレーム間）予測符号化が行われている。例えば、ＰピクチャであるピクチャＰ０２は前にあるＩピクチャのピクチャＰ００を参照して符号化が行われ、ＢピクチャであるピクチャＰ０１は前後のピクチャＰ００、Ｐ０２を参照して符号化が行われる。ノンベースビューＶ１は、時刻ｔ０〜ｔ４のピクチャＰ１０〜Ｐ１４において、実線の矢印で示した同一ビュー内の画面間予測符号化に加えて、点線の矢印で示した異なるビュー間での予測符号化（インタービュー予測符号化）が行われる。以後の説明では、同一ビューのピクチャを参照した予測符号化（実線の矢印）を同一フレーム内も含め単にフレーム間予測符号化と呼び、異なるビュー間でのピクチャを参照した予測符号化（点線の矢印）をインタービュー予測符号化と呼んで区別する。

なお、各ピクチャにおける符号化・復号化は、複数のマクロブロックで構成されるスライス単位で行われる。このスライス単位で符号化・復号化する際に参照するピクチャ、すなわちフレーム間予測符号化で参照するピクチャやインタービュー予測符号化で参照するピクチャ等の情報は、付加情報としてストリームデータに含まれている。したがって、ストリームデータから動画像を復号する際には、付加情報をもとに、実線の矢印又は点線の矢印で示したピクチャを参照することで、予測符号化された画像データの復号が行われる。

ここで、図１に示すように、ピクチャＰ２２に含まれるマクロブロックに誤りが混入したものとする。このマクロブロックにおける誤りの混入は、ストリームデータを通信する際のノイズなどで生じる。そして、マクロブロックにおける誤り混入の検出は、マクロブロックのＣＢＰ（Coded Block Pattern）数が突如大きな値になった場合などを検出して行われる。

具体的には、図２に示すように、ピクチャＰ２２ではラスタ順に復号が行われており、エラー検出ブロックＢ２０が誤り混入が検出されたマクロブロックである。なお、復号されるマクロブロックの順序は、図示したラスタ順だけでなく、インターリーブやワイプなどであってもよい。ピクチャＰ２２において、ブロックＢ１０は誤り混入が検出されずに復号されたブロック、ブロックＢ１１はブロックＢ１０の中でインタービュー予測符号化についての復号が行われたブロックである。また、補間対象ブロックＢ２１はエラー検出ブロックＢ２０の検出によりコンシールメントの対象となる、エラー検出ブロックＢ２０を含むブロックである。エラー検出ブロックＢ２０を含む補間対象ブロックＢ２１は、誤りの混入により損傷を受けているため、予測符号化についての復号できないことから、他のマクロブロックの情報をもとに、損傷を受けたスライスを補間して復元するコンシールメントが行われることとなる。なお、図示例では、エラー検出ブロックＢ２０を含む補間対象ブロックＢ２１について、ピクチャＰ２２の最後までを一つのスライスとする構成を例示しているが、さらに複数のスライスで分割されてもよいことは言うまでもないことである。

従来、エラー検出ブロックＢ２０を含む補間対象ブロックＢ２１についてのコンシールメントは、図３に示すように、同一ビュー内のピクチャに含まれるマクロブロックを参照して行われていた。具体的には、ピクチャＰ２２の補間対象ブロックＢ２１については、フレーム間予測符号化で参照される同一ビューＶ２のピクチャＰ２１のマクロブロックで補間されていた。これに対し、実施形態のコンシールメントでは、異なるビュー間でのピクチャを参照して復号するブロックについては、異なるビュー間のピクチャであり、インタービュー予測符号化で参照されるピクチャのマクロブロックでの補間を行う。

具体的には、図４に示すように、ピクチャＰ２２の補間対象ブロックＢ２１については、インタービュー予測符号化で参照される異なるビューＶ１のピクチャＰ１２のマクロブロックでの補間を行う。このように、異なるビュー間のピクチャＰ１２を参照して復号する補間対象ブロックＢ２１については、インタービュー予測符号化で参照されるピクチャＰ１２のマクロブロックでの補間を行うことで、コンシールメントで補間されるマクロブロックの相関性がより強くなることから、画像乱れが生じにくくなる。なお、Ｈ．２６４／ＡＶＣ符号化方式に準拠したベースビューＶ０で誤りの混入が検出されたマクロブロックを含むスライスについては、インタービュー予測符号化が行われないことから、従来どおりの同一ビュー内のピクチャに含まれるマクロブロックを参照して補間を行う。

次に、上述したコンシールメントを行う、実施形態にかかる動画像復号装置を説明する。図５は、実施形態にかかる動画像復号装置１の構成を例示するブロック図である。

図５に示すように、動画像復号装置１は、ＤＳＰ（Digital Signal Processor）などであり、Ｈ．２６４／ＭＶＣのストリームデータを復号して再生画像データを出力する。具体的には、動画像復号装置１は、Ｈ．２６４／ＭＶＣのストリームデータを受け付けて再生画像データを出力する復号部１０と、復号部１０の制御を行う復号制御部２０とを備える。復号部１０は、シンタックス解析部１１と、復号情報バッファ１２と、信号処理部１３と、コンシールメント処理部１４と、フレームバッファ１５とを備える。

シンタックス解析部１１は、Ｈ．２６４／ＭＶＣのストリームデータの入力を受け付けて、所定の方式（実施形態ではＨ．２６４／ＭＶＣに準拠した方式）にしたがってストリームデータを解析し、復号情報を生成する。この復号情報は、具体的にはストリームデータのＶＣＬ（Video Coding Layer）やＮＡＬ（Network Abstraction Layer）などに含まれる画像の符号化データ、その符号化データの復号のための付加情報などである。生成した復号情報は復号情報バッファ１２に出力されて記憶される。

また、シンタックス解析部１１は、復号情報の符号化データに含まれるマクロブロックのＣＢＰ数をチェックするなどして、マクロブロックの誤りの有無を検出する。シンタックス解析部１１によりマクロブロックの誤りが検出された場合は、そのマクロブロックに誤りがあることを、ピクチャ内におけるマクロブロックの位置を示す情報とともに復号制御部２０に通知する。なお、マクロブロックの誤り検出については、ＣＢＰ数のチェックだけでなく、いずれの検出方法であってもよい。例えば、各マクロブロックの先頭に挿入されているスキップランの長さが予め設定される上限長を超えるか否かをもとに誤り検出を行ってもよい。

復号情報バッファ１２は、シンタックス解析部１１より出力された復号情報を一時記憶する。復号情報バッファ１２がスタックした復号情報は、復号制御部２０の制御のもと、信号処理部１３又はコンシールメント処理部１４へ出力される。信号処理部１３は、復号情報バッファ１２からの復号情報の入力を受け付けて、受け付けた復号情報をもとに、所定の方式（実施形態ではＨ．２６４／ＭＶＣに準拠した方式）に従って符号化データを復号する信号処理を行う。復号されたデータ、すなわち復号されたスライスはフレームバッファ１５に出力されて記憶される。

コンシールメント処理部１４は、復号制御部２０の制御のもと、誤りが検出されたマクロブロックを含むスライスのコンシールメント処理を行う（詳細は後述する）。コンシールメント処理により補間されたスライスはフレームバッファ１５に出力されて記憶される。フレームバッファ１５は、信号処理部１３及びコンシールメント処理部１４より出力されたスライスで構築されるフレーム画像のデータを一時記憶する。フレームバッファ１５が一時記憶するフレーム画像は、例えばＩＤＲ（Instantaneous Decoder Refresh）ピクチャの復号を契機とする復号制御部２０の制御をもとに、再生画像データとして出力される。この再生画像データの出力に従い、復号情報バッファ１２、フレームバッファ１５に一時記憶されたデータは消去される。

復号制御部２０は、復号情報バッファ１２に一時記憶される復号情報や、シンタックス解析部１１より通知されるマクロブロックの誤りに関する情報を参照して、復号部１０におけるストリームデータの復号を制御する。具体的には、復号制御部２０は、誤りが検出されたマクロブロックの位置を示す情報をもとに、復号を行うスライス内のマクロブロックが誤りを含むか否かを確認する。誤りを含まない場合、復号制御部２０は、復号を行うスライスに該当する復号情報を復号情報バッファ１２より読み出して信号処理部１３へ出力する。また、誤りを含む場合、復号制御部２０は、コンシールメント処理部１４を起動して、その誤りが検出されたマクロブロックを含むスライスに該当する復号情報をコンシールメント処理部１４へ出力する。

ここで、コンシールメント処理部１４が行うコンシールメント処理の詳細を説明する。図６は、コンシールメント処理の一例を示すフローチャートである。

図６に示すように、復号制御部２０により起動されて、コンシールメント処理部１４によるコンシールメント処理が開始されると、コンシールメント処理部１４は、誤りが検出されたマクロブロックを含むスライスに該当する復号情報をもとに、補間方法を選択する（Ｓ１）。具体的には、復号情報に含まれる付加情報を参照し、誤りが検出されたマクロブロックを含むスライスがフレーム間予測符号化で符号化されており、フレーム間予測で復号するスライスである場合には、同一ビュー内のピクチャに含まれるマクロブロックを参照した補間方法、すなわちＨ．２６４／ＡＶＣ符号化方式に準拠した従来の補間方法（同一ビュー内補間）を選択する。また、誤りが検出されたマクロブロックを含むスライスがインタービュー予測符号化で符号化されており、インタービュー予測で復号するスライスである場合には、異なるビュー間のピクチャに含まれるマクロブロックを参照した補間方法（ビュー間補間）を選択する。次いで、コンシールメント処理部１４は、選択した補間方法で、誤りが検出されたマクロブロックを含むスライスを補間する補間処理を行う（Ｓ２）。

なお、Ｓ１における補間方法の選択は、誤りが検出されたマクロブロックよりも前、すなわち過去に復号されたマクロブロックの予測方法に応じて行ってもよい。具体的には、過去に復号されたマクロブロックの予測方法がインタービュー予測であるマクロブロックの数が多い場合に、異なるビュー間のピクチャに含まれるマクロブロックを参照した補間方法を選択してよい。

図７は、補間方法の選択の一例を示すフローチャートである。図７に示すように、復号制御部２０は、復号情報バッファ１２に一時記憶された付加情報を参照して、過去に復号されたブロックの予測方法を取得する（Ｓ１１）。次いで、復号制御部２０は、異なるビュー間で予測したインタービュー予測のマクロブロックの数が多く、その数が所定数を上回るか否かを判定する（Ｓ１２）。インタービュー予測のマクロブロックの数が所定数を上回る場合（Ｓ１２：ＹＥＳ）、復号制御部２０は、ビュー間補間を選択し、コンシールメント処理部１４にビュー間補間を行わせる（Ｓ１３）。なお、インタービュー予測のマクロブロックの数が所定数を上回らない場合（Ｓ１２：ＮＯ）、復号制御部２０は、同一ビュー内補間を選択し、コンシールメント処理部１４に同一ビュー内補間を行わせる（Ｓ１４）。

このように、過去に復号されたマクロブロックにおいて、インタービュー予測で復号されたマクロブロックの数が所定数より多い場合は、異なるビュー間のピクチャとの相関性が強くなることから、異なるビュー間のピクチャに含まれるマクロブロックを参照した補間方法を選択することで、コンシールメント処理部１４におけるコンシールメント処理による画像乱れが生じにくくなる。

なお、付加情報により参照する、過去に復号されたマクロブロックの範囲は、直近のＩＤＲピクチャにより復号情報バッファ１２のデータが消去された直後のマクロブロックまでであってもよいが、誤りが検出されたマクロブロックとの相関性が強いマクロブロックを選択したものであってもよい。具体的には、図８に示すように、誤りが検出されたエラー検出ブロックＢ２０を含むピクチャＰＮにおいて、誤りが検出されたエラー検出ブロックＢ２０の近傍にある復号済みの隣接ブロックＢ１２、誤りが検出されたエラー検出ブロックＢ２０を含むピクチャＰＮにおいて復号済みであるブロックＢ１０であってよい。

また、図９に示すように、誤りが検出されたエラー検出ブロックＢ２０を含むピクチャＰＮよりも前に復号されたピクチャＰＮ−１において、エラー検出ブロックＢ２０の位置に対応したブロックＢ３０、ブロックＢ３０よりも前のスライスであるブロックＢ３１、ブロックＢ３０を含むスライスであるブロックＢ３２及びピクチャＰＮ−１の全てのマクロブロック（ブロックＢ３１及びブロックＢ３２）のいずれであってもよい。

また、Ｓ１における補間方法の選択は、誤りが検出されたマクロブロックよりも前、すなわち過去に復号されたマクロブロックにおいて、インタービュー予測で復号されたマクロブロックの動きベクトルをもとにして求められた、動き補償の大きさ示す動き補償残差信号が予め設定された値よりも小さい場合に、異なるビュー間のピクチャに含まれるマクロブロックを参照した補間方法を選択してよい。この動きベクトルや動き補償残差信号は、信号処理部１３において符号化データ（マクロブロック）を復号する信号処理を行う際に算出されて、マクロブロックの位置を示すインデックスとともにフレームバッファ１５に一時記憶される。

図１０は、補間方法の選択の一例を示すフローチャートである。図１０に示すように、復号制御部２０は、インタービュー予測のマクロブロックの数が所定数を上回る場合（Ｓ１２：ＹＥＳ）、それらのマクロブロックについてフレームバッファ１５に一時記憶された動き補償残差信号が予め設定された値よりも小さいか否かを判定する（Ｓ１２ａ）。動き補償残差信号が予め設定された値よりも小さい場合（Ｓ１２ａ：ＹＥＳ）、復号制御部２０は、ビュー間補間を選択し、コンシールメント処理部１４にビュー間補間を行わせる（Ｓ１３）。なお、動き補償残差信号が予め設定された値よりも小さくない場合（Ｓ１２ａ：ＮＯ）、復号制御部２０は、同一ビュー内補間を選択し、コンシールメント処理部１４に同一ビュー内補間を行わせる（Ｓ１４）。

このように、過去に復号されたマクロブロックにおいて、インタービュー予測で復号されたマクロブロックの動き補償の大きさが小さい場合は、異なるビュー間のピクチャとの相関性が強くなることから、異なるビュー間のピクチャに含まれるマクロブロックを参照した補間方法を選択することで、コンシールメント処理部１４におけるコンシールメント処理による画像乱れが生じにくくなる。

次に、誤りが検出されたマクロブロックを含むスライスを補間するコンシールメント処理部１４の補間処理について説明する。なお、同一ビュー内補間についてはＨ．２６４／ＡＶＣ符号化方式に準拠した従来の補間方法で行われることから、以下では、ビュー間補間についての補間処理を図１１、１２を参照して説明する。図１１は、誤りが検出されたエラー検出ブロックＢ２０を含むピクチャＰＮを例示する概念図である。図１２は、誤りが検出されたエラー検出ブロックＢ２０を含むピクチャＰＮの復号順序で前のピクチャＰＮ−１を例示する概念図である。

コンシールメント処理部１４は、ビュー間補間を行う場合、補間対象ブロックに含まれるすべてのマクロブロックにおける動きベクトルを決定し、その決定した動きベクトルに対応するマクロブロックを参照して、補間対象ブロックの補間を行う。図１１に示すように、誤りが検出されたエラー検出ブロックＢ２０（と同時に補間対象ブロックである）の動きベクトルをＭＶ［ｋ］、インタービュー予測で復号されたブロックＢ１１の動きベクトルをＭＶ［ｊ］とする。また、図１２に示すように、ピクチャＰＮ−１において、エラー検出ブロックＢ２０の位置に対応したブロックＢ３０の動きベクトルをＭＶ［ｋ＿ｃｏｌ］、ブロックＢ１１の位置に対応したブロックＢ３３の動きベクトルをＭＶ［ｊ＿ｃｏｌ］とする。

ここで、コンシールメント処理部１４は、ピクチャＰＮ−１において、エラー検出ブロックＢ２０の位置に対応したブロックＢ３０の動きベクトルＭＶ［ｋ＿ｃｏｌ］（第１の動き補償情報）の値をフレームバッファ１５より読み出して、エラー検出ブロックＢ２０の動きベクトルＭＶ［ｋ］として用いてよい。具体的には、ＭＶ［ｋ］＝ＭＶ［ｋ＿ｃｏｌ］の式（Ａ）として算出してよい。この場合は、動きベクトルＭＶ［ｋ］との相関性が強いと見込まれるＭＶ［ｋ＿ｃｏｌ］を用いることで、補間による画像乱れが生じにくくなる。

また、コンシールメント処理部１４は、誤りが検出されたエラー検出ブロックＢ２０を含むピクチャＰＮにおいて復号済みであるブロックＢ１１の動きベクトルＭＶ［ｊ］（第２の動き補償情報）の値と、ピクチャＰＮ−１においてブロックＢ１１の位置に対応したブロックＢ３３の動きベクトルＭＶ［ｊ＿ｃｏｌ］（第３の動き補償情報）の値とでＭＶ［ｋ＿ｃｏｌ］をフレームバッファ１５より読み出し、スケーリング（補正）したものを、エラー検出ブロックＢ２０の動きベクトルＭＶ［ｋ］として用いてよい。具体的には、ＭＶ［ｋ］＝ＭＶ［ｋ＿ｃｏｌ］＊ＭＶ［ｊ］／ＭＶ［ｊ＿ｃｏｌ］の式（Ｂ）として算出してよい。この場合は、エラー検出ブロックＢ２０の動きベクトルＭＶ［ｋ］とする値の精度をより高めることが可能となる。

なお、式（Ａ）のＭＶ［ｋ］をＭＶＡ、式（Ｂ）のＭＶ［ｋ］をＭＶＢとして、ＭＶ［ｋ］＝（１−α）＊ＭＶＡ＋α＊ＭＶＢとして算出してもよい。ここで、αは０から１までの値をとる。αは、ＭＶ［ｋ＿ｃｏｌ］のブロックＢ３０と、ＭＶ［ｊ＿ｃｏｌ］のブロックＢ３３の動き補償における残差信号（それぞれＲ［ｋ＿ｃｏｌ］、Ｒ［ｊ＿ｃｏｌ］）の大きさの比Ｒ［ｋ＿ｃｏｌ］／Ｒ［ｊ＿ｃｏｌ］としてよい。

次に、動画像復号装置１を用いる電子機器の一例としての映像再生装置を説明する。図１３は、映像再生装置１００の構成を例示するブロック図である。

図１３に示すように、映像再生装置１００は、動画像復号装置１としての処理を行うデータプロセッサ部１１０を備える構成である。具体的には、映像再生装置１００は、光ディスク等の記録媒体２０３が用いられ、記録媒体２０３に記録されているデジタル形式の映像コンテンツデータ（映画、ドラマなどの映像コンテンツを再生するためのデータ）を読み取って映像コンテンツおよびインタラクティブデータ（映像コンテンツに関連して再生されるメニューデータ、アニメーションデータ、効果音データ、映像コンテンツの解説等のコンテンツ解説データ、クイズの問題などを含むデータ）を再生することができ、また、インターネット２０２を介してネットワークストレージ２０４に接続し、ネットワークストレージ２０４からも映像コンテンツデータを取得して映像コンテンツおよびインタラクティブデータを再生可能な構成を有している。

映像再生装置１００は、ハードディスクドライブ１０２、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）１０３、ディスクドライブ１０４およびネットワークコントローラ１０５を有し、いずれもバス１１９に接続されている。ハードディスクドライブ１０２は、高速回転する磁気ディスクに映像コンテンツデータ等のデジタルデータを記録して、デジタルデータの読み書きを行う。フラッシュメモリ１０３には、映像コンテンツデータ等のデジタルデータが記憶されてデジタルデータの読み書きが行われる。ディスクドライブ１０４は記録媒体２０３から映像コンテンツデータ等のデジタルデータを読み取り、再生信号を出力する機能を有している。ネットワークコントローラ１０５は、インターネット２０２を介してネットワークストレージ２０４との間で行われる映像コンテンツデータ等のデジタルデータの読み書きを制御する。

また、映像再生装置１００は、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０６、メモリ部１０７、ＲＯＭ部１０８およびビデオメモリ部１０９を有し、いずれもバス１１９に接続されている。ＭＰＵ１０６は、ＲＯＭ部１０８からメモリ部１０７に読み出された起動プログラムにしたがい起動され、また、プレイヤプログラムをＲＯＭ部１０８からメモリ部１０７に読み出し、そのプレイヤプログラムにしたがってシステム初期化、システム終了などを制御し、システムマイコン１１６の処理を制御する。さらに、ＭＰＵ１０６は、後述するデータプロセッサ部１１０に対して、記録媒体２０３、ネットワークストレージ２０４、ハードディスクドライブ１０２およびフラッシュメモリ１０３のいずれかから読み出される映像コンテンツデータから映像および音声を再生するように指示する。メモリ部１０７には、ＭＰＵ１０６が作動する際に用いるデータやプログラムが記憶される。ＲＯＭ部１０８には、起動プログラム、プレイヤプログラムといったＭＰＵ１０６が実行するプログラムや、データプロセッサ部１１０が実行するプログラム（例えば、映像コンテンツデータ等の圧縮符号化されている動画音声データをデコードし、映像および音声を再生するための映像再生プログラム）、恒久的なデータなどが記憶されている。ビデオメモリ部１０９には、後述する復号された再生画像データが順次書き込まれる。

データプロセッサ部１１０は映像再生プログラムにしたがい作動して、圧縮符号化されている動画音声データを動画像データと音声データに分離してそれぞれをデコードし、映像および音声を再生する。システムマイコン１１６は、映像コンテンツの再生情報を表示パネル１１７へ表示させ、ユーザ入力装置１１８（リモコンまたは映像再生装置１００に備えられた操作ボタン等の操作入力可能な装置）から入力される操作入力信号をバス１１９を介してＭＰＵ１０６に入力する。表示パネル１１７は、液晶表示パネルを有し、システムマイコン１１６の指示にしたがい、映像コンテンツおよびインタラクティブデータの再生に関する様々な情報を液晶表示パネルに表示する。

なお、実施形態の動画像復号装置１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。実施形態の動画像復号装置１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、実施形態の動画像復号装置１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施形態の動画像復号装置１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

実施形態の動画像復号装置１で実行されるプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、主記憶装置上に生成されるようになっている。

なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。

１…動画像復号装置、１０…復号部、１１…シンタックス解析部、１２…復号情報バッファ、１３…信号処理部、１４…コンシールメント処理部、１５…フレームバッファ、２０…復号制御部、１００…映像再生装置、１０２…ハードディスクドライブ、１０３…フラッシュメモリ、１０４…ディスクドライブ、１０５…ネットワークコントローラ、１０６…ＭＰＵ、１０７…メモリ部、１０８…ＲＯＭ部、１０９…ビデオメモリ部、１１０…データプロセッサ部、１１６…システムマイコン、１１７…表示パネル、１１８…ユーザ入力装置、１１９…バス、２０３…記録媒体、２０２…インターネット、２０４…ネットワークストレージ、Ｂ１０、Ｂ１１、Ｂ３０〜Ｂ３３…ブロック、Ｂ１２…隣接ブロック、Ｂ２０…エラー検出ブロック、Ｂ２１…補間対象ブロック、Ｐ００〜Ｐ２４、ＰＮ、ＰＮ−１…ピクチャ、ｔ０〜ｔ４…時刻、Ｖ０…ベースビュー、Ｖ１…ノンベースビュー、Ｖ２…ノンベースビュー

上述した課題を解決し、目的を達成するために、実施形態の動画像復号装置は、複数の視点の動画像を含むストリームデータに含まれるマクロブロックの誤りを検出する検出手段と、誤りが検出されたマクロブロックを含むスライスについて、同一視点のピクチャを参照して復号するスライスである場合は、前記同一視点のピクチャに含まれるマクロブロックを用いた補間を行い、他の視点のピクチャを参照して復号するスライスである場合は、前記他の視点のピクチャに含まれるマクロブロックを用いた補間を行い、前記誤りが検出されたマクロブロックよりも前に復号されたマクロブロックにおいて、他の視点のピクチャを参照して復号されたマクロブロックの数が予め設定された所定数を上回る場合は、前記他の視点のピクチャに含まれるマクロブロックを用いた補間を行い、前記他の視点のピクチャを参照して復号されたマクロブロックの数が予め設定された所定数を上回らない場合は、前記同一視点のピクチャに含まれるマクロブロックを用いた補間を行う補間手段とを備える。

また、実施形態の動画像復号方法は、検出手段が、複数の視点の動画像を含むストリームデータに含まれるマクロブロックの誤りを検出する工程と、補間手段が、誤りが検出されたマクロブロックを含むスライスについて、同一視点のピクチャを参照して復号するスライスである場合は、前記同一視点のピクチャに含まれるマクロブロックを用いた補間を行い、他の視点のピクチャを参照して復号するスライスである場合は、前記他の視点のピクチャに含まれるマクロブロックを用いた補間を行い、前記誤りが検出されたマクロブロックよりも前に復号されたマクロブロックにおいて、他の視点のピクチャを参照して復号されたマクロブロックの数が予め設定された所定数を上回る場合は、前記他の視点のピクチャに含まれるマクロブロックを用いた補間を行い、前記他の視点のピクチャを参照して復号されたマクロブロックの数が予め設定された所定数を上回らない場合は、前記同一視点のピクチャに含まれるマクロブロックを用いた補間を行う工程とを含む。

Claims (7)

1. 複数の視点の動画像を含むストリームデータに含まれるマクロブロックの誤りを検出する検出手段と、
   誤りが検出されたマクロブロックを含むスライスについて、同一視点のピクチャを参照して復号するスライスである場合は、前記同一視点のピクチャに含まれるマクロブロックを用いた補間を行い、他の視点のピクチャを参照して復号するスライスである場合は、前記他の視点のピクチャに含まれるマクロブロックを用いた補間を行う補間手段と、
   を備える動画像復号装置。
2. 前記補間手段は、前記誤りが検出されたマクロブロックよりも前に復号されたマクロブロックにおいて、他の視点のピクチャを参照して復号されたマクロブロックの数が予め設定された所定数を上回る場合は、前記他の視点のピクチャに含まれるマクロブロックを用いた補間を行い、
   前記他の視点のピクチャを参照して復号されたマクロブロックの数が予め設定された所定数を上回らない場合は、前記同一視点のピクチャに含まれるマクロブロックを用いた補間を行う、
   請求項１に記載の動画像復号装置。
3. 前記補間手段は、前記誤りが検出されたマクロブロックよりも前に復号されたマクロブロックにおいて、他の視点のピクチャを参照して復号されたマクロブロックの動き補償の大きさを示す値が予め設定された値より小さい場合に、前記他の視点のピクチャに含まれるマクロブロックを用いた補間を行う、
   請求項１又は２に記載の動画像復号装置。
4. 前記誤りが検出されたマクロブロックよりも前に復号されたマクロブロックは、前記誤りが検出されたマクロブロックの近傍にある復号済みのマクロブロック、前記誤りが検出されたマクロブロックを含むピクチャにおいて復号済みであるマクロブロック、前記誤りが検出されたマクロブロックを含むピクチャよりも前に復号されたピクチャにおいて、当該誤りが検出されたマクロブロックの位置に対応したマクロブロック、前記誤りが検出されたマクロブロックを含むピクチャよりも前に復号されたピクチャの全てのマクロブロックの少なくともいずれか一つである、
   請求項２又は３に記載の動画像復号装置。
5. 前記補間手段は、前記誤りが検出されたマクロブロックを含むピクチャよりも前に復号されたピクチャにおいて、当該誤りが検出されたマクロブロックの位置に対応したマクロブロックの動き補償を示す第１の動き補償情報をもとに、前記他の視点のピクチャに含まれるマクロブロックを用いた補間を行う、
   請求項１乃至４のいずれか一項に記載の動画像復号装置。
6. 前記補間手段は、前記誤りが検出されたマクロブロックを含むピクチャにおいて復号済みであるマクロブロックの動き補償を示す第２の動き補償情報と、当該ピクチャよりも前に復号されたピクチャにおいて前記復号済みであるマクロブロックの位置に対応したマクロブロックの動き補償を示す第３の動き補償情報とをもとに、前記第１の動き補償情報を補正する、
   請求項５に記載の動画像復号装置。
7. 動画像復号装置における動画像復号方法であって、
   検出手段が、複数の視点の動画像を含むストリームデータに含まれるマクロブロックの誤りを検出する工程と、
   補間手段が、誤りが検出されたマクロブロックを含むスライスについて、同一視点のピクチャを参照して復号するスライスである場合は、前記同一視点のピクチャに含まれるマクロブロックを用いた補間を行い、他の視点のピクチャを参照して復号するスライスである場合は、前記他の視点のピクチャに含まれるマクロブロックを用いた補間を行う工程と、
   を含む動画像復号方法。

Images