JP2011119803A - 多視点動画像復号装置及び多視点動画像復号方法 - Google Patents

Abstract

【課題】エラーが発生した場合であっても、復号画像の乱れを充分に抑制することができる。
【解決手段】符号化された第１視点の第１動画像情報と、符号化された第２視点の第２動画像情報とを含む動画像ストリームを復号する多視点動画像復号装置１００であって、動画像ストリームを復号する復号部１２０と、動画像ストリームからエラーを検出するエラー検出部１３０と、検出されたエラーを修復するエラー画像修復部１４０とを備え、エラー画像修復部１４０は、第１動画像情報に含まれる第１符号化画像情報にエラーが検出された場合に、第１符号化画像情報より後に復号される予定の、第２動画像情報に含まれる第２符号化画像情報を復号するように、復号部１２０を制御する復号制御部１４２と、第２符号化画像情報を復号することで生成された復号画像情報を用いて、検出されたエラーを修復する修復処理部１４３とを備える。
【選択図】図１

Description

本発明は、立体視用に複数の視点の動画像情報が符号化された動画像ストリームを復号する多視点動画像復号装置に関し、特に、１つの視点の動画像情報が別の視点の動画像情報を参照して符号化された動画像ストリームを復号する多視点動画像復号装置に関する。

動画像情報を圧縮符号化する技術の１つとして、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格に従って符号化する技術が知られている。近年、普及している主なＭＰＥＧの規格として、ＭＰＥＧ２、ＭＰＥＧ４及びＭＰＥＧ４ＡＶＣなどが知られている。

これらの圧縮技術の主な特徴は、符号化対象のピクチャ（以下、符号化対象ピクチャ）と、既に符号化され再構成されたピクチャ（以下、参照ピクチャ）との差分を符号化することである。具体的には、符号化対象ピクチャと参照ピクチャとの差分に、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）と量子化とを行い、量子化された結果を可変長符号化する。

以下では、上記の圧縮符号化技術で符号化された画像データを復号する場合について説明する。例えば、ＭＰＥＧ２で符号化された画像データは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３種類のピクチャから構成されている。

Ｉピクチャは、他のピクチャを参照しないで符号化されたピクチャである。したがって、Ｉピクチャを復号する際は、Ｉピクチャ単体で復号することができる。

Ｐピクチャは、過去のＩピクチャ又はＰピクチャを参照し、参照したピクチャとの差分を用いて符号化されるピクチャである。したがって、Ｐピクチャを復号する際は、過去のＩピクチャ又はＰピクチャを参照して復号するため、参照するＩピクチャ又はＰピクチャを予め復号しておく必要がある。

Ｂピクチャは、過去のＩピクチャ又はＰピクチャと未来のＩピクチャ又はＰピクチャとを参照して、参照したピクチャとの差分を用いて符号化されるピクチャである。したがって、Ｂピクチャを復号する際は、前後のＩピクチャ又はＰピクチャを参照して復号するため、参照する前後のＩピクチャ又はＰピクチャを予め復号しておく必要がある。

また、近年は、複数の視点のそれぞれから撮影された動画像データ（複数のチャンネルの動画像データ）を、Ｈ．２６４／ＭＶＣ規格に基づいて符号化する技術が知られている。Ｈ．２６４／ＭＶＣ規格では、複数の動画像データ間の相関関係を利用して圧縮率を向上させる。すなわち、複数の動画像データは、被写体を複数の視点から撮影することで得られたデータであるので、互いに類似しているという特徴を有する。この特徴を利用して、Ｈ．２６４／ＭＶＣ規格では、他のチャンネルの動画像データを参照して、１つのチャンネルの動画像データを符号化する。Ｈ．２６４／ＭＶＣ規格は、例えば、視聴者が立体的に感じることができる三次元映像を符号化する際に用いられる。

なお、複数のチャンネルの動画像データ間には参照関係があるので、他の動画像データから参照される動画像データにエラーが発生した場合、正しい参照画像を取得することができずに、正しい復号画像を生成することができなくなることが考えられる。すなわち、復号画像が乱れてしまう。特に、複数のチャンネルから構成される多視点動画像の場合、復号画像の乱れによって、違和感のある三次元映像が表示されてしまうことになる。

特許文献１には、エラーが発生した場合にエラーを修復するデータ復号装置が開示されている。特許文献１に開示されたデータ復号装置は、入力された符号化データにエラーを検出した場合、エラーが検出されたチャンネルと同じチャンネルのデータを用いてエラーを修復する第１修復手段と、エラーが検出されたチャンネルと異なるチャンネルのデータを用いてエラーを修復する第２修復手段とのいずれかを利用して、エラーを修復する。

特許文献２にも同様に、エラーが発生した場合にエラーを修復する立体動画像再生装置が開示されている。特許文献２に開示された立体動画像再生装置は、画像データにエラーを検出したとき、他のチャンネルの画像データを画像単位でエラー画像データに代えて補填する。

特許文献１及び特許文献２に開示されたこれらの技術は、ＭＰＥＧなどの符号化技術の特徴の１つであり、今後の復号処理の際に参照される可能性のある画像を利用して、エラーが発生した画像であるエラー画像を置き換えるエラー修復技術である。

特許第３９９２５３３号公報 特許第３３３２５７５号公報

しかしながら、上記従来技術には、エラーが発生した場合に生じる復号画像の乱れを充分に抑制することができないという課題がある。

上記のように特許文献１及び特許文献２に記載の技術では、エラーを検出した場合に、既に復号済みの画像データを用いてエラーを修復する。しかしながら、既に復号済みの画像データが常にエラーを置き換える画像として最適であるとは限らない。

例えば、左眼用画像と右眼用画像とから構成される三次元画像では、左眼用画像との相関は、直前又は直後の左眼用画像よりも同一時刻の右眼用画像の方が高い場合がある。この場合、左眼用画像にエラーが発生した場合、エラーを修復するために右眼用画像を用いることが好ましい。ところが、同一時刻の右眼用画像が左眼用画像の後に復号される場合は、エラーを修復するのに右眼用画像を用いることができない。

以上のように、上記従来技術では、エラーを修復するのにより適した画像を選択することができず、復号画像の乱れを充分に抑制することができない。

そこで、本発明は、上記従来の課題を解決するためになされたものであって、エラーが発生した場合であっても、復号画像の乱れを充分に抑制することができる多視点動画像復号装置及び多視点動画像復号方法を提供することを目的とする。

上記課題を解決するために、本発明の多視点動画像復号装置は、符号化された第１視点の第１動画像情報と、前記第１視点とは異なる第２視点の符号化された第２動画像情報とを含む動画像ストリームを復号する多視点動画像復号装置であって、前記動画像ストリームを復号する復号部と、前記動画像ストリームからエラーを検出するエラー検出部と、前記エラー検出部によって検出されたエラーを修復するエラー修復部とを備え、前記エラー修復部は、前記エラー検出部によって前記第１動画像情報に含まれる第１符号化画像情報にエラーが検出された場合に、前記第１符号化画像情報より後に復号される予定の、前記第２動画像情報に含まれる第２符号化画像情報を復号するように、前記復号部を制御する復号制御部と、前記復号部が前記第２符号化画像情報を復号することで生成された復号画像情報を用いて、前記エラー検出部によって検出されたエラーを修復する修復処理部とを備える。

これにより、通常の復号順序では復号されていない復号画像情報を用いてエラーを修復するので、より適切な画像情報を選択することが可能となり、復号画像の乱れを充分に抑制することができる。

また、前記第２動画像情報は、前記第１動画像情報を参照して符号化されており、前記エラー修復部は、さらに、前記第１符号化画像情報にエラーを検出した場合、前記第２符号化画像情報が、イントラ画像であるか否か、又は、視差補償処理を必要とするか否かを判定する判定部を備え、前記復号制御部は、前記判定部によって前記第２符号化画像情報がイントラ画像である、又は、視差補償処理を必要としないと判定された場合に、前記復号部が前記第２符号化画像情報を復号するように、前記復号部を制御してもよい。

これにより、エラーが発生した第１符号化画像情報を参照して、第２符号化画像情報が復号されることはないので、第２符号化画像情報を正しく復号することができ、より適切な画像情報を選択することができる。

また、前記修復処理部は、前記復号部が前記第２符号化画像情報を復号することで生成された復号画像情報である第１修復画像情報で、前記第１符号化画像情報の復号結果を置き換えてもよい。

また、前記第２符号化画像情報は、前記第１符号化画像情報と同じ時刻に表示される画像情報であってもよい。

これにより、同時刻の画像情報は相関が高いので、相関の高い画像情報を利用してエラーを修復することができる。

また、前記修復処理部は、前記判定部によって前記第２符号化画像情報がイントラ画像でない、又は、視差補償処理を必要とすると判定された場合に、前記第１符号化画像情報より前に、前記復号部が前記第１動画像情報を復号することで生成された復号画像情報である第２修復画像情報で、前記第１符号化画像情報の復号結果を置き換えてもよい。

これにより、エラーが発生した第１符号化画像情報を参照して、第２符号化画像情報が復号される場合であっても、第１符号化画像情報の復号結果を修復画像情報で置き換えることで、エラーを修復することができる。

また、前記復号制御部は、前記判定部によって前記第２符号化画像情報がイントラ画像でない、又は、視差補償処理を必要とすると判定された場合に、前記修復処理部によってエラーが修復された後、前記復号部に前記第２符号化画像情報を復号するように、前記復号部を制御し、前記復号部は、前記復号制御部による制御に基づいて前記第２符号化画像情報を復号することで、復号画像情報である第３修復画像情報を生成し、前記判定部は、さらに、前記復号部が前記第３修復画像情報を生成する際に前記第２修復画像情報を参照したか否かを判定し、前記修復処理部は、前記判定部によって前記第２修復画像情報を参照していないと判定された場合、前記第２修復画像情報を前記第３修復画像情報で置き換えてもよい。

これにより、第２符号化画像情報を復号した後で、さらに、第２符号化画像情報の復号結果で、エラーが発生した第１符号化画像情報を修復するのに用いた第２修復画像情報を置き換えることができる。第２符号化画像情報と第１符号化画像情報とは相関が高いので、より適切な画像を用いてエラーを修復することができる。

また、前記修復処理部は、前記復号部が前記第２符号化画像情報を復号することで生成された復号画像情報を用いて動き補償処理を行うことで、第４修復画像情報を生成し、前記第１符号化画像情報の復号結果を前記第４修復画像情報で置き換えてもよい。

また、前記エラー修復部は、フレームより小さい処理単位で、エラーが発生した画像情報を所定の画像情報で置き換えることで、前記エラー検出部によって検出されたエラーを修復してもよい。

これにより、画像情報を置き換える領域をできるだけ少なくすることができるので、エラー修復後の画像を違和感の少ない画像にすることができる。

なお、本発明は、多視点動画像復号装置として実現できるだけではなく、当該多視点動画像復号装置を構成する処理部をステップとする方法として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。

また、上記の各多視点動画像復号装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。

本発明に係る多視点動画像復号装置によれば、エラーが発生した場合であっても、復号画像の乱れを充分に抑制することができ、違和感の軽減された画像を提供することができる。

実施の形態１に係る多視点動画像復号装置の構成の一例を示すブロック図である。 実施の形態１に係るエラー画像修復部の構成の一例を示すブロック図である。 ２つのチャンネルの動画像情報から構成される動画像ストリームの一例を示す図である。 実施の形態１に係る多視点動画像復号装置の動作のうち、エラーが発生した場合の動作の一例を示すフローチャートである。 他の動画像情報から参照されない符号化ピクチャにエラーが発生した場合の処理の一例を示す模式図である。 他の動画像情報から参照される符号化ピクチャにエラーが発生した場合の処理の一例を示す模式図である。 実施の形態２に係る多視点動画像復号装置の動作のうち、エラーが発生した場合の動作の一例を示すフローチャートである。 本発明に係る多視点動画像復号装置を備えるデジタルテレビ及びデジタルビデオレコーダの一例を示す外観図である。

以下では、本発明に係る多視点動画像復号装置及び多視点動画像復号方法の実施の形態について、図面を用いて詳細に説明する。

（実施の形態１）
実施の形態１に係る多視点動画像復号装置は、符号化された第１視点の第１動画像情報と、当該第１動画像情報を参照して符号化された第２視点の第２動画像情報とを含む動画像ストリームを復号する多視点動画像復号装置であって、動画像ストリームを復号する復号部と、動画像ストリームからエラーを検出するエラー検出部と、エラー検出部によって検出されたエラーを修復するエラー修復部とを備え、エラー修復部は、エラー検出部によって第１動画像情報に含まれる第１符号化画像情報にエラーが検出された場合に、第１符号化画像情報より後に復号される予定の、第２動画像情報に含まれる第２符号化画像情報を復号するように、復号部を制御する復号制御部と、復号部が第２符号化画像情報を復号することで生成された復号画像情報を用いて、エラー検出部によって検出されたエラーを修復する修復処理部とを備えることを特徴とする。

図１は、実施の形態１に係る多視点動画像復号装置１００の構成の一例を示すブロック図である。多視点動画像復号装置１００は、複数の視点のそれぞれに対応する複数の動画像情報を含む動画像ストリームを復号する。具体的には、多視点動画像復号装置１００は、記録媒体２００から動画像ストリームを読み出し、読み出した動画像ストリームを復号することで、復号画像を生成する。生成された復号画像は、表示部２１０へ出力され、表示される。

複数の動画像情報は、例えば、互いに異なる視点から被写体を撮影することで得られた動画像を、所定の符号化規格に基づいて符号化することで生成された動画像情報である。具体的には、複数の動画像情報は、第１視点の第１動画像情報と第２視点の第２動画像情報とである。例えば、第１動画像情報及び第２動画像情報は、視聴者が立体的に感じることができる三次元映像を構成する左眼用映像及び右眼用映像に対応する。

所定の符号化規格は、例えば、Ｈ．２６４／ＭＶＣ規格である。第２動画像情報は、第１動画像情報を参照して符号化されている。すなわち、第２動画像情報に含まれる複数の符号化画像情報の少なくとも１つは、第１動画像情報を参照して符号化されている。具体的には、第１動画像情報は、ベースビューの動画像情報であり、第２動画像情報は、ディペンデントビューの動画像情報である。

ベースビューの動画像情報とは、他の視点の動画像情報を参照することなく、単独で符号化された動画像情報であり、他の視点の動画像情報を符号化する際に参照される動画像情報である。ディペンデントビューの動画像情報とは、他の動画像情報を参照して符号化された動画像情報である。

以下では、一例として、動画像ストリームが、左眼用映像に相当する左眼用チャンネル（Ｌｃｈ）の動画像情報と、右眼用映像に相当する右眼用チャンネル（Ｒｃｈ）の動画像情報とを含む場合について説明する。さらに、Ｌｃｈの動画像情報がベースビューの動画像情報であり、Ｒｃｈの動画像情報がディペンデントビューの動画像情報である場合を想定する。なお、Ｌｃｈの動画像情報がディペンデントビューであり、Ｒｃｈの動画像情報がベースビューであってもよい。

図１に示すように、多視点動画像復号装置１００は、多重分離部１１０と、復号部１２０と、エラー検出部１３０と、エラー画像修復部１４０とを備える。

多重分離部１１０は、動画像ストリームを符号化された動画像情報とその他の情報とに分離する。符号化された動画像情報は、例えば、動画像データに含まれる画像をＨ．２６４／ＭＶＣ規格などに基づいて符号化することで生成された符号化画像情報を含んでいる。分離された動画像情報は、復号部１２０へ出力される。

なお、その他の情報は、例えば、動画像ストリームに含まれる音声データ及びユーザデータなどである。音声データ及びユーザデータなどのその他の情報は、本発明に係る特徴には特に関わらないので、以下では説明を省略する。

多重分離部１１０は、具体的には、記録媒体２００から動画像ストリームを読み出し、読み出した動画像ストリームを分離する。さらに、多重分離部１１０は、符号化された動画像情報をチャンネル毎の動画像情報に分離する。つまり、動画像ストリームには、Ｌｃｈの動画像情報とＲｃｈの動画像情報とを含んでいるので、多重分離部１１０は、Ｌｃｈの動画像情報とＲｃｈの動画像情報とに分離する。各チャンネルの動画像情報は、符号化画像情報を含んでいる。符号化画像情報は、例えば、ピクチャ毎に順次復号部１２０へ出力される。

なお、記録媒体２００は、動画像ストリームを記録している記録媒体であり、例えば、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）又はＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）などの光学ディスクである。また、記録媒体２００は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの磁気ディスク、又は、半導体メモリでもよい。

復号部１２０は、多重分離部１１０から入力された符号化画像情報を順次復号する。図１に示すように、復号部１２０は、復号処理部１２１と、ベクトル算出部１２２と、補償処理部１２３と、復号画像情報構成部１２４と、復号画像情報格納バッファ１２５及び１２６とを備える。

復号処理部１２１は、入力される符号化画像情報を復号する。符号化画像情報は、Ｈ．２６４／ＭＶＣ規格に基づいて符号化された画像データである。具体的には、符号化画像情報は、対象画像と参照画像との差分である差分情報と、参照画像を特定する情報などの復号処理に必要な制御情報とを符号化することで生成された画像情報である。

復号処理部１２１は、符号化画像情報を復号することで、差分情報と制御情報とを生成する。生成された差分情報は、復号画像情報構成部１２４へ出力される。生成された制御情報は、ベクトル算出部１２２へ出力される。

ベクトル算出部１２２は、入力される制御情報に基づいて、動きベクトル又は視差ベクトルを算出する。算出された動きベクトル又は視差ベクトルは、補償処理部１２３へ出力される。

補償処理部１２３は、入力される動きベクトル又は視差ベクトルに基づいて、復号画像情報格納バッファ１２５又は１２６に格納された復号画像情報を参照することで、動き補償画像情報又は視差補償画像情報を生成する。生成された動き補償画像又は視差補償画像は、復号画像情報構成部１２４へ出力される。

復号画像情報構成部１２４は、復号処理部１２１から入力される差分情報と、補償処理部１２３から入力される動き補償画像情報又は視差補償画像情報とを加算することで、復号画像情報を生成する。生成された復号画像情報は、復号画像情報格納バッファ１２５又は１２６へ格納される。具体的には、復号画像情報構成部１２４は、生成した復号画像情報がＬｃｈの画像情報である場合、復号画像情報を復号画像情報格納バッファ１２５へ格納する。また、復号画像情報構成部１２４は、生成した復号画像情報がＲｃｈの画像情報である場合、復号画像情報を復号画像情報格納バッファ１２６へ格納する。

復号画像情報格納バッファ１２５は、Ｌｃｈの復号画像情報を格納するバッファメモリである。

復号画像情報格納バッファ１２６は、Ｒｃｈの復号画像情報を格納するバッファメモリである。なお、復号画像情報格納バッファ１２５及び１２６は、物理的に異なる２つのバッファメモリでもよく、あるいは、物理的に１つのバッファメモリが論理的に領域分割されたメモリ領域であってもよい。

エラー検出部１３０は、動画像ストリームからエラーを検出する。具体的には、エラー検出部１３０は、多重分離部１１０又は復号部１２０の動作状態を監視することで、エラーを検出する。具体的には、多重分離部１１０が記録媒体２００から動画像ストリームを読み出すのに失敗した場合、例えば、読み出した動画像ストリームの一部が欠落している場合を、エラー検出部１３０は、エラーを検出したとして、エラーが発生したことをエラー画像修復部１４０へ通知する。あるいは、復号処理部１２１が符号化画像情報を復号するのに失敗した場合、例えば、符号化画像情報の符号が規格に従っていない場合、エラー検出部１３０は、エラーを検出したとして、エラーが発生したことをエラー画像修復部１４０へ通知する。

エラー画像修復部１４０は、エラー検出部１３０によってエラーが検出された場合に、検出されたエラーを修復する。具体的には、エラー画像修復部１４０は、エラーが発生した画像（以下、エラー画像情報）を特定し、特定したエラー画像情報を所定の画像（以下、修復画像情報）で置き換えることで、エラーを修復する。

図２は、実施の形態１に係るエラー画像修復部１４０の構成の一例を示すブロック図である。図２に示すように、エラー画像修復部１４０は、判定部１４１と、復号制御部１４２と、修復処理部１４３とを備える。

判定部１４１は、エラーが第１動画像情報及び第２動画像情報のいずれで発生したかを判定する。言い換えると、判定部１４１は、エラーがベースビューの動画像情報及びディペンデントビューの動画像情報のいずれに発生したかを判定する。

さらに、エラーが第１動画像情報に発生した場合、判定部１４１は、検出されたエラーが発生した第１符号化画像情報より後に復号される予定の、第２動画像情報に含まれる第２符号化画像情報が、イントラ画像であるか否か、又は、視差補償処理を必要とするか否かを判定する。具体的には、判定部１４１は、エラーがベースビューの動画像情報に発生した場合、検出したエラーが発生した第１符号化ピクチャの次に復号する予定の、ディペンデントビューの動画像情報に含まれる第２符号化ピクチャが、エラーが発生した第１符号化ピクチャを参照して復号されるか否かを判定する。

さらに、判定部１４１は、エラーが発生した第１符号化画像情報の復号結果を所定の修復画像情報で置き換えた後に、復号部１２０が第２符号化画像情報を復号することで復号画像情報を生成する際に、置き換えられた修復画像情報を参照したか否かを判定する。具体的には、判定部１４１は、第２符号化ピクチャを復号する際に、エラーが発生した第１符号化ピクチャを復号することで生成された復号ピクチャに含まれるエラー画像情報を復号部１２０が参照したか否かを判定する。

復号制御部１４２は、エラー検出部１３０によって第１符号化画像情報にエラーが検出された場合に、当該第１符号化画像情報より後に復号される予定の第２符号化画像情報を復号するように、復号部１２０を制御する。

具体的には、復号制御部１４２は、判定部１４１によって第２符号化画像情報がイントラ画像である、又は、視差補償処理を必要としないと判定された場合に、復号部１２０が第２符号化画像情報を復号するように、復号部１２０を制御する。言い換えると、ベースビューの動画像情報に含まれる、エラーが発生した第１符号化ピクチャの次に復号する予定の、ディペンデントビューの動画像情報に含まれる第２符号化ピクチャを、復号制御部１４２は、復号部１２０に復号させる。

さらに、復号制御部１４２は、判定部１４１によって第２符号化画像情報がイントラ画像でない、又は、視差補償処理を必要とすると判定された場合に、修復処理部１４３によってエラーが修復された後、復号部１２０に第２符号化画像情報を復号するように、復号部１２０を制御する。すなわち、復号制御部１４２は、次に復号する予定の、ディペンデントビューの動画像情報に含まれる第２符号化ピクチャが視差補償処理を必要とする場合は、エラーが発生したベースビューの第１符号化ピクチャの復号結果に含まれるエラー画像情報が修復画像情報で置き換えられた後に、復号部１２０にディペンデントビューの第２符号化ピクチャを復号させる。

修復処理部１４３は、復号部１２０が第２動画像情報を復号することで生成された復号画像情報を用いて、エラー検出部１３０によって検出されたエラーを修復する。具体的には、修復処理部１４３は、復号部１２０が第２符号化画像情報を復号することで生成された第２復号画像情報を用いて第１修復画像情報を生成する。そして、修復処理部１４３は、第１符号化画像情報の復号結果を第１修復画像情報で置き換えることで、エラーを修復する。

例えば、修復処理部１４３は、ベースビューの第１符号化ピクチャにエラーが発生した場合、ディペンデントビューの第２符号化ピクチャの復号結果を用いて第１修復画像情報を生成する。例えば、修復処理部１４３は、第２符号化ピクチャの復号結果である第２復号画像情報を取得することで、第１修復画像情報を生成する。そして、修復処理部１４３は、第１符号化ピクチャの復号結果に含まれるエラー画像情報を、生成した第１修復画像情報で置き換える。

また、修復処理部１４３は、判定部１４１によって第２符号化画像情報がイントラ画像でない、又は、視差補償処理を必要とすると判定された場合に、エラーが発生した第１符号化画像情報よりも前に、復号部１２０が第１動画像情報を復号することで生成された復号画像情報である第２修復画像情報で、第１符号化画像情報の復号結果を置き換える。

具体的には、修復処理部１４３は、エラーが発生した第１符号化ピクチャの次に復号される予定の第２符号化ピクチャが第１符号化ピクチャを参照する場合、ベースビューの第１符号化画像情報より前に復号済みの復号画像情報を取得することで、第２修復画像情報を生成する。つまり、修復処理部１４３は、エラーが発生したチャンネルと同一のチャンネルの符号化画像情報であって、エラーが発生した符号化画像情報と同じ時刻又は異なる時刻の符号化画像情報を用いて、第２修復画像情報を生成する。

さらに、エラーが発生したために、第１符号化画像情報の復号結果を第２修復画像情報で置き換えた後に、修復処理部１４３は、復号部１２０が第２符号化画像情報を復号することで生成された第３修復画像情報で、第２修復画像情報を置き換える。具体的には、判定部１４１によって第３修復画像情報を生成する際に、第２修復画像情報を参照していないと判定された場合に、修復処理部１４３は、第２修復画像情報を第３修復画像情報で置き換える。

第２符号化画像情報は、その復号結果が第１符号化画像情報と同じ時刻に表示される画像情報であるので、第１符号化画像情報との相関が高い。したがって、第１符号化画像情報にエラーが発生した場合は、第２符号化画像情報の復号結果を用いて第１符号化画像情報を置き換えることが好ましい。

上記のように、修復処理部１４３は、第１符号化画像情報を第２修復画像情報で置き換えられた後に、より好ましい第３修復画像情報で置き換えるので、復号画像の乱れを充分に抑制することができる。

以上、実施の形態１に係る多視点動画像復号装置１００の構成について説明したが、例えば、インループフィルタ処理などの処理が適宜追加された構成であってもよい。

また、動画像ストリームのみが入力される場合、又は、動画像情報の分離が必要でない場合など、多視点動画像復号装置１００は、多重分離部１１０を備えていなくてもよい。

また、多視点動画像復号装置１００は、１つの復号処理部１２１を備える構成について説明したが、チャンネル毎に復号処理部、ベクトル算出部、及び補償処理部を備えてもよい。

また、多視点動画像復号装置１００は、ベクトル算出部１２２の代わりに、動き補償処理に用いる動きベクトルの算出を行う動きベクトル算出部と、視差補償処理に用いる視差ベクトルの算出を行う視差ベクトル算出部とを備えてもよい。同様に、多視点動画像復号装置１００は、補償処理部１２３の代わりに、動き補償処理を行う動き補償部と、視差補償処理を行う視差補償部とを備えてもよい。

また、多視点動画像復号装置１００は、記録媒体２００から動画像ストリームを読み出すとしたが、例えば、ネットワーク又は放送波などを介して動画像ストリームを取得してもよい。

図３は、２つのチャンネルの動画像情報から構成される動画像ストリームの一例を示す図である。図３に示すように、Ｌｃｈの動画像情報がベースビュー、Ｒｃｈの動画像情報がディペンデントビューである。つまり、Ｌｃｈの動画像情報は、Ｒｃｈの動画像情報を復号する際に参照される。

復号部１２０が動画像ストリームを復号する際、図３に示すように、Ｌｃｈの符号化画像情報とＲｃｈの符号化画像情報とをピクチャ単位で交互に復号する。なお、図３に示す平行四辺形がピクチャを示し、当該ピクチャ内に記載された番号は復号順序を示している。

動き補償の際は、同一のチャンネル内の復号済みの画像情報が参照される。例えば、図３に示すように、ベースビューのピクチャ３を復号する際に、ピクチャ１が参照される。

視差補償の際は、異なるチャンネルの復号済みの画像情報が参照される。例えば、図３に示すように、ディペンデントビューのピクチャ６を復号する際に、ピクチャ５が参照される。

なお、ピクチャ１と２、ピクチャ３と４などは、同時刻に表示される予定のピクチャ（同時刻のピクチャ）である。すなわち、左眼用画像であるピクチャ１と右眼用画像であるピクチャ２とが対となって、視聴者が立体的に感じることができる三次元画像を構成する。多視点動画像復号装置１００は、図３に示すように、対となるピクチャのうち、ベースビューのピクチャを復号した後、ディペンデントビューのピクチャを復号する。

続いて、実施の形態１に係る多視点動画像復号装置１００の動作について説明する。特に、エラーが発生した場合の動作について説明する。なお、エラーが発生していない場合、多視点動画像復号装置１００は、Ｈ．２６４／ＭＶＣ規格に従って復号を行うので、説明を省略する。

図４は、実施の形態１に係る多視点動画像復号装置１００の動作のうち、エラーが発生した場合の動作の一例を示すフローチャートである。

エラー検出部１３０がベースビューの動画像情報にエラーを検出した場合、エラー画像修復部１４０は、エラー検出部１３０からのエラー通知に基づいて、復号中のベースビューの符号化ピクチャの復号を中断する（Ｓ１０１）。例えば、図３に示すピクチャ５にエラーが発生した場合、エラー画像修復部１４０は、ピクチャ５の復号を中断する。

判定部１４１は、中断された符号化ピクチャの次に復号する予定の、ディペンデントビューの符号化ピクチャが視差補償処理を必要とするか否かを判定する（Ｓ１０２）。例えば、図３に示すピクチャ５にエラーが発生した場合、判定部１４１は、ピクチャ６がイントラピクチャであるか否か、又は、ピクチャ６が視差補償処理を必要とするか否かを判定する。なお、符号化ピクチャがイントラピクチャである場合は、当該符号化ピクチャは、他のピクチャを参照することなく復号されるので、視差補償処理を必要としない。

ディペンデントビューの符号化ピクチャが視差補償処理を必要としない場合（Ｓ１０２でＮｏ）、復号部１２０は、復号制御部１４２の制御に基づいて、ディペンデントビューの復号を行う（Ｓ１０３）。

例えば、図５Ａに示すように、ピクチャ３にエラーが発生した場合、次に復号する予定のピクチャ４は視差補償処理を必要としない。このため、復号制御部１４２は、ピクチャ４を復号するように復号部１２０を制御する。ピクチャ４は、エラーが発生したピクチャ３を参照しないので、復号部１２０は、エラーの影響を受けることなく、正しくピクチャ４を復号することができる。

復号制御部１４２は、ディペンデントビューの符号化ピクチャの復号が終了すると、ベースビューの符号化ピクチャの復号を再開させる（Ｓ１０４）。例えば、復号制御部１４２は、ディペンデントビューの符号化ピクチャの復号が終了したことを示す完了通知を復号部１２０から受け取った場合、ベースビューの符号化ピクチャの復号を再開させる。

このとき、復号部１２０は、エラーが発生した符号化ピクチャの最初から復号を行ってもよく、あるいは、中断した箇所から復号を行ってもよい。例えば、図５Ａに示すピクチャ４の復号が終了すると、復号制御部１４２は、エラーが発生したピクチャ３の復号を再開させる。

修復処理部１４３は、ディペンデントビューの符号化ピクチャの復号結果を取得することで、第１修復画像情報を生成する（Ｓ１０５）。具体的には、エラーが発生したベースビューの符号化画像情報と同じ時刻に表示されるディペンデントビューの符号化画像情報を用いて視差補償処理などを行うことで第１修復画像情報を生成する。例えば、図５Ａに示すピクチャ３でエラーが発生した場合、修復処理部１４３は、ピクチャ３と同時刻のピクチャ４の復号結果を取得することで、第１修復画像情報を生成する。

そして、修復処理部１４３は、ベースビューの符号化画像情報の復号結果の代わりに、第１修復画像情報を復号画像情報格納バッファ１２５に格納する（Ｓ１０６）。つまり、修復処理部１４３は、ベースビューの符号化画像情報の復号結果を第１修復画像情報で置き換える。なお、このとき、修復処理部１４３は、ベースビューの符号化ピクチャのうち、エラーが発生した画像のみを置き換えればよい。すなわち、修復処理部１４３は、フレームより小さい処理単位でエラーが発生した画像情報を所定の修復画像情報で置き換えてもよい。つまり、修復処理部１４３は、１フレーム又は１ピクチャ分の画像情報を全て置き換える必要はなく、エラーが発生した１スライス又は１マクロブロック分のデータを置き換えればよい。

エラーの修復終了後、エラーが発生した符号化ピクチャの復号が完了している場合は、ベースビューの次の符号化ピクチャの復号を開始する（Ｓ１１２）。図５Ａに示す例では、ピクチャ３に発生したエラーの修復、及び、ピクチャ３の復号が終了した場合、復号部１２０は、ピクチャ５の復号を開始する。

ディペンデントビューの符号化ピクチャが視差補償処理を必要とする場合（Ｓ１０２でＹｅｓ）、復号部１２０は、復号制御部１４２の制御に基づいて、ベースビューの復号を再開する（Ｓ１０７）。例えば、図５Ｂに示すように、ピクチャ５にエラーが発生した場合、次に復号する予定のピクチャ６は視差補償処理を必要とする。つまり、ピクチャ６を復号するためにはピクチャ５の復号結果が得られていなければならない。

したがって、修復処理部１４３は、ベースビューの既に復号済みの復号結果を用いて第２修復画像情報を生成する（Ｓ１０８）。例えば、修復処理部１４３は、エラーが発生した符号化ピクチャに時間的に最も近いピクチャの復号画像情報、又は、同一のピクチャ内の異なる領域の復号画像情報を取得することで、第２修復画像情報を生成する。図５Ｂに示す例では、ピクチャ５にエラーが発生した場合、修復処理部１４３は、ピクチャ３の復号結果を取得することで、第２修復画像情報を生成する。

そして、修復処理部１４３は、ベースビューのエラーが発生した符号化画像情報の復号結果の代わりに、生成した第２修復画像情報を復号画像情報格納バッファ１２５に格納する（Ｓ１０９）。例えば、図５Ｂに示す例では、修復処理部１４３は、ピクチャ５の復号結果の代わりに、ピクチャ３の復号結果を取得し、取得した復号結果を第２修復画像情報として復号画像情報格納バッファ１２５に格納する。

次に、復号部１２０は、エラーが発生した符号化ピクチャの次に復号する予定の、ディペンデントビューの符号化ピクチャを復号する（Ｓ１１０）。具体的には、図５Ｂに示すように、復号部１２０は、復号制御部１４２の制御に基づいてピクチャ６の復号を行う（Ｓ１１０）。このとき、復号部１２０は、ピクチャ５を参照しながら、すなわち、視差補償処理を行い、ピクチャ６を復号する。

判定部１４１は、復号部１２０がディペンデントビューの符号化ピクチャを復号する際に、具体的には、視差補償処理の際に、エラーが発生した箇所を参照したか否かを判定する（Ｓ１１１）。図５Ｂに示す例では、判定部１４１は、ピクチャ６を復号する際にピクチャ５のエラー箇所、すなわち、置き換えられた第２修復画像情報を参照したか否かを判定する。エラーを修復したとしても、ピクチャ５の全てを第２修復画像情報で置き換えたとは限らず、ピクチャ６の復号の際にエラー箇所を参照していない場合があるためである。

エラー箇所を参照していない場合（Ｓ１１１でＮｏ）、修復処理部１４３は、ディペンデントビューの符号化ピクチャの復号結果を取得することで、第３修復画像情報を生成し（Ｓ１０５）、復号画像情報格納バッファ１２５に格納する（Ｓ１０６）。すなわち、図５Ｂに示す例では、ピクチャ６の復号結果を取得することで、取得した復号結果を第３修復画像情報として、ピクチャ５の第２修復画像情報で置き換える。

ピクチャ６は、ピクチャ５と同時刻のピクチャであるので、ピクチャ３に比べて相関が高いことが多い。したがって、ピクチャ３から取得した第２修復画像情報よりも、ピクチャ６から取得した第３修復画像情報の方が、ピクチャ５の復号結果を置き換えるのには相応しい。ピクチャ６の復号結果にはエラーの影響は含まれていないので（Ｓ１１１でＮｏであるため）、ピクチャ５の復号結果をピクチャ６の復号結果で置き換えることができる。

なお、エラー箇所を参照している場合（Ｓ１１１でＹｅｓ）、ベースビューの次の符号化ピクチャの復号を開始する（Ｓ１１２）。

また、エラーがディペンデントビューの動画像情報に発生した場合は、対となるベースビューのピクチャが既に復号済みなので、修復処理部１４３は、対となるベースビューのピクチャの復号結果を用いて修復する。例えば、図３に示すピクチャ２にエラーが発生した場合、修復処理部１４３は、ピクチャ１の復号結果を修復画像情報として復号画像情報格納バッファ１２６に格納する。

以上のように、実施の形態１に係る多視点動画像復号装置１００は、第２動画像情報を復号する際に参照される第１動画像情報にエラーが発生した場合に、第２動画像情報の復号を先に行い、当該復号の結果を用いて第１動画像情報に発生したエラーを修復する。具体的には、多視点動画像復号装置１００は、ベースビューの第１符号化ピクチャにエラーが発生した場合に、ディペンデントビューの第２符号化ピクチャの復号を先に行う。第２符号化ピクチャは、第１符号化ピクチャと同じ時刻の符号化ピクチャであって、ベースビューの他の符号化ピクチャよりも第１符号化ピクチャとの相関が高い。

したがって、第２符号化ピクチャの復号結果を用いて第１符号化ピクチャに発生したエラーを修復することで、従来よりも精度の高いエラー修復処理を行うことができ、復号画像の乱れを充分に抑制することができる。

（実施の形態２）
実施の形態２に係る多視点動画像復号装置は、他の動画像情報から参照される動画像情報にエラーが発生した場合、他の動画像情報を復号し、復号結果に動き補償処理を行うことで、修復画像情報を生成し、生成した修復画像情報でエラー画像情報を置き換えることを特徴とする。

なお、実施の形態２に係る多視点動画像復号装置の構成は、図１に示す実施の形態１に係る多視点動画像復号装置１００の構成と同じであるので、説明を省略する。

以下では、実施の形態２に係る多視点動画像復号装置の動作について説明する。
図６は、実施の形態２に係る多視点動画像復号装置の動作のうち、エラーが発生した場合の動作の一例を示すフローチャートである。なお、図４に示す実施の形態１に係る多視点動画像復号装置１００の動作と同じ動作については、同じ符号を付し、以下では説明を省略する。

判定部１４１によって、エラーが発生したベースビューの符号化ピクチャの次に復号する予定の、ディペンデントビューの符号化ピクチャが視差補償処理を必要としないと判定された場合（Ｓ１０２でＮｏ）、復号部１２０は、復号制御部１４２の制御に基づいて、ディペンデントビューの符号化ピクチャを復号する（Ｓ１０３）。そして、復号制御部１４２は、エラーが発生したベースビューの符号化ピクチャの復号を再開する（Ｓ１０４）。

修復処理部１４３は、ディペンデントビューの符号化ピクチャの復号結果を取得し、取得した復号結果に動き補償処理を行うことで、修復画像情報を生成する（Ｓ２０５）。以降の処理は、実施の形態１と同様である。

一方で、判定部１４１によって、エラーが発生したベースビューの符号化ピクチャの次に復号する予定の、ディペンデントビューの符号化ピクチャが視差補償処理を必要とすると判定された場合（Ｓ１０２でＹｅｓ）、復号部１２０は、復号制御部１４２の制御に基づいて、ベースビューの復号を再開する（Ｓ１０７）。

そして、修復処理部１４３は、ベースビューの既に復号済みの復号結果を取得し、取得した復号結果に動き補償処理を行うことで、第２修復画像情報を生成する（Ｓ２０８）。以降の処理は、実施の形態１と同様である。

以上に示すように、実施の形態１では、ディペンデントビュー又はベースビューの復号結果をそのまま修復画像情報として用いたのに対して、実施の形態２では、ディペンデントビュー又はベースビューの復号結果を動き補償用の画像情報として用いる。

以上、実施の形態２に係る多視点動画像復号装置は、第２動画像情報を復号する際に参照される第１動画像情報にエラーが発生した場合に、第２動画像情報の復号を先に行い、当該復号の結果に動き補償処理を行うことで、修復画像情報を生成し、生成した修復画像情報でエラー画像を置き換える。具体的には、多視点動画像復号装置は、ベースビューの第１符号化ピクチャにエラーが発生した場合に、ディペンデントビューの第２符号化ピクチャの復号を先に行う。第２符号化ピクチャは、第１符号化ピクチャと同じ時刻の符号化ピクチャであって、ベースビューの他の符号化ピクチャよりも第１符号化ピクチャとの相関が高い。

したがって、第２符号化ピクチャの復号結果に動き補償処理を行うことで修復画像情報を生成し、生成した修復画像情報でエラー画像を置き換えることで、従来よりも精度の高いエラー修復処理を行うことができ、復号画像の乱れを充分に抑制することができる。

なお、修復処理部１４３は、修復画像情報を生成する際に、ディペンデントビューの復号結果に動き補償だけではなく、視差補償処理を行ってもよい。また、これら動き補償処理及び視差補償処理は、エラー画像修復部１４０内の修復処理部１４３が行ってもよく、あるいは、復号部１２０が備える補償処理部１２３が行ってもよい。

以上、本発明に係る多視点動画像復号装置及び多視点動画像復号方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

例えば、上記の説明では、ベースビューとディペンデントビューとの２つの動画像情報を例に挙げて説明したが、本発明に係る多視点動画像復号装置は、３つ以上の動画像情報を復号してもよい。例えば、１つのベースビューの動画像情報と２つのディペンデントビューの動画像情報を含む動画像ストリームを復号する際に、ベースビューの動画像情報にエラーが発生した場合を想定する。この場合、多視点動画像復号装置は、２つのディペンデントビューのいずれかを用いて修復画像情報を生成し、エラー画像情報を修復画像情報で置き換えることで、エラーを修復すればよい。

また、ディペンデントビューにエラーが発生した場合も同様に、エラー画像修復部１４０は、ベースビュー又はディペンデントビューの復号結果を利用してエラー画像情報を修復してもよい。例えば、図３に示すピクチャ６にエラーが発生した場合、エラー画像修復部１４０は、ピクチャ５の復号結果を修復画像情報として利用すればよい。

あるいは、エラー画像修復部１４０は、ピクチャ６の次に復号予定のピクチャ７を復号するように復号部１２０を制御し、ピクチャ７の復号結果を修復画像情報として利用してもよい。このように、ディペンデントビューの符号化画像情報にエラーが発生した場合、エラーが発生した符号化画像情報の次に復号される予定のベースビューに含まれる符号化画像情報を復号し、当該復号結果を利用してエラーを修復してもよい。

これにより、例えば、ピクチャ６と同時刻のピクチャであるピクチャ５にもエラーが発生している場合など、ピクチャ５の復号結果を修復画像情報として利用するのが好ましくない場合であっても、ピクチャ６に発生したエラーを修復することができる。

また、実施の形態１において、なお、修復処理部１４３は、取得した第２復号画像情報に視差補償処理を行うことで、第１修復画像情報を生成してもよい。

なお、本発明に係る多視点動画像復号装置は、例えば、図７に示すデジタルテレビ３００、又は、デジタルビデオレコーダ／プレイヤ３１０に搭載される。

なお、本発明は、上述したように、多視点動画像復号装置及び多視点動画像復号方法として実現できるだけではなく、本実施の形態の多視点動画像復号方法をコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。

また、本発明は、多視点動画像復号装置を構成する構成要素の一部又は全部を、１個のシステムＬＳＩから構成してもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭなどを含んで構成されるコンピュータシステムである。

本発明に係る多視点動画像復号装置及び多視点動画像復号方法は、エラーが発生した場合であっても、復号画像の乱れを充分に抑制することができるという効果を奏し、例えば、デジタルテレビ、ＤＶＤ及びＢＤレコーダ／プレイヤなどのデジタル機器に利用することができる。

１００ 多視点動画像復号装置
１１０ 多重分離部
１２０ 復号部
１２１ 復号処理部
１２２ ベクトル算出部
１２３ 補償処理部
１２４ 復号画像情報構成部
１２５、１２６ 復号画像情報格納バッファ
１３０ エラー検出部
１４０ エラー画像修復部
１４１ 判定部
１４２ 復号制御部
１４３ 修復処理部
２００ 記録媒体
２１０ 表示部
３００ デジタルテレビ
３１０ デジタルビデオレコーダ／プレイヤ

Claims (11)

1. 符号化された第１視点の第１動画像情報と、前記第１視点とは異なる第２視点の符号化された第２動画像情報とを含む動画像ストリームを復号する多視点動画像復号装置であって、
   前記動画像ストリームを復号する復号部と、
   前記動画像ストリームからエラーを検出するエラー検出部と、
   前記エラー検出部によって検出されたエラーを修復するエラー修復部とを備え、
   前記エラー修復部は、
   前記エラー検出部によって前記第１動画像情報に含まれる第１符号化画像情報にエラーが検出された場合に、前記第１符号化画像情報より後に復号される予定の、前記第２動画像情報に含まれる第２符号化画像情報を復号するように、前記復号部を制御する復号制御部と、
   前記復号部が前記第２符号化画像情報を復号することで生成された復号画像情報を用いて、前記エラー検出部によって検出されたエラーを修復する修復処理部とを備える
   多視点動画像復号装置。
2. 前記第２動画像情報は、前記第１動画像情報を参照して符号化されており、
   前記エラー修復部は、さらに、
   前記第１符号化画像情報にエラーを検出した場合、前記第２符号化画像情報が、イントラ画像であるか否か、又は、視差補償処理を必要とするか否かを判定する判定部を備え、
   前記復号制御部は、前記判定部によって前記第２符号化画像情報がイントラ画像である、又は、視差補償処理を必要としないと判定された場合に、前記復号部が前記第２符号化画像情報を復号するように、前記復号部を制御する
   請求項１記載の多視点動画像復号装置。
3. 前記修復処理部は、前記復号部が前記第２符号化画像情報を復号することで生成された復号画像情報である第１修復画像情報で、前記第１符号化画像情報の復号結果を置き換える
   請求項２記載の多視点動画像復号装置。
4. 前記第２符号化画像情報は、前記第１符号化画像情報と同じ時刻に表示される画像情報である
   請求項３記載の多視点動画像復号装置。
5. 前記修復処理部は、前記判定部によって前記第２符号化画像情報がイントラ画像でない、又は、視差補償処理を必要とすると判定された場合に、前記第１符号化画像情報より前に、前記復号部が前記第１動画像情報を復号することで生成された復号画像情報である第２修復画像情報で、前記第１符号化画像情報の復号結果を置き換える
   請求項３又は４記載の多視点動画像復号装置。
6. 前記復号制御部は、前記判定部によって前記第２符号化画像情報がイントラ画像でない、又は、視差補償処理を必要とすると判定された場合に、前記修復処理部によってエラーが修復された後、前記復号部に前記第２符号化画像情報を復号するように、前記復号部を制御し、
   前記復号部は、前記復号制御部による制御に基づいて前記第２符号化画像情報を復号することで、復号画像情報である第３修復画像情報を生成し、
   前記判定部は、さらに、前記復号部が前記第３修復画像情報を生成する際に前記第２修復画像情報を参照したか否かを判定し、
   前記修復処理部は、前記判定部によって前記第２修復画像情報を参照していないと判定された場合、前記第２修復画像情報を前記第３修復画像情報で置き換える
   請求項５記載の多視点動画像復号装置。
7. 前記修復処理部は、前記復号部が前記第２符号化画像情報を復号することで生成された復号画像情報を用いて動き補償処理を行うことで、第４修復画像情報を生成し、前記第１符号化画像情報の復号結果を前記第４修復画像情報で置き換える
   請求項２記載の多視点動画像復号装置。
8. 前記エラー修復部は、フレームより小さい処理単位で、エラーが発生した画像情報を所定の画像情報で置き換えることで、前記エラー検出部によって検出されたエラーを修復する
   請求項１〜７のいずれか１項に記載の多視点動画像復号装置。
9. 符号化された第１視点の第１動画像情報と、前記第１視点とは異なる第２視点の符号化された第２動画像情報とを含む動画像ストリームを復号する多視点動画像復号方法であって、
   前記動画像ストリームを復号する復号ステップと、
   前記動画像ストリームからエラーを検出するエラー検出ステップと、
   前記エラー検出ステップにおいて検出されたエラーを修復するエラー修復ステップとを含み、
   前記復号ステップでは、
   前記エラー検出ステップにおいて前記第１動画像情報に含まれる第１符号化画像情報にエラーが検出された場合に、前記第１符号化画像情報より後に復号される予定の、前記第２動画像情報に含まれる第２符号化画像情報を復号し、
   前記エラー修復ステップでは、
   前記第２符号化画像情報を復号することで生成された復号画像情報を用いて、前記エラー検出ステップにおいて検出されたエラーを修復する
   多視点動画像復号方法。
10. 符号化された第１視点の第１動画像情報と、前記第１視点とは異なる第２視点の符号化された第２動画像情報とを含む動画像ストリームを復号する多視点動画像復号方法をコンピュータに実行させるためのプログラムであって、
    前記動画像ストリームを復号する復号ステップと、
    前記動画像ストリームからエラーを検出するエラー検出ステップと、
    前記エラー検出ステップにおいて検出されたエラーを修復するエラー修復ステップとを含み、
    前記復号ステップでは、
    前記エラー検出ステップにおいて前記第１動画像情報に含まれる第１符号化画像情報にエラーが検出された場合に、前記第１符号化画像情報より後に復号される予定の、前記第２動画像情報に含まれる第２符号化画像情報を復号し、
    前記エラー修復ステップでは、
    前記第２符号化画像情報を復号することで生成された復号画像情報を用いて、前記エラー検出ステップにおいて検出されたエラーを修復する
    プログラム。
11. 符号化された第１視点の第１動画像情報と、前記第１視点とは異なる第２視点の符号化された第２動画像情報とを含む動画像ストリームを復号する集積回路であって、
    前記動画像ストリームを復号する復号部と、
    前記動画像ストリームからエラーを検出するエラー検出部と、
    前記エラー検出部によって検出されたエラーを修復するエラー修復部とを備え、
    前記エラー修復部は、
    前記エラー検出部によって前記第１動画像情報に含まれる第１符号化画像情報にエラーが検出された場合に、前記第１符号化画像情報より後に復号される予定の、前記第２動画像情報に含まれる第２符号化画像情報を復号するように、前記復号部を制御する復号制御部と、
    前記復号部が前記第２符号化画像情報を復号することで生成された復号画像情報を用いて、前記エラー検出部によって検出されたエラーを修復する修復処理部とを備える
    集積回路。

Images