JP2012070186A - 動画像復号装置、動画像復号方法、及び集積回路 - Google Patents

動画像復号装置、動画像復号方法、及び集積回路 Download PDF

Info

Publication number
JP2012070186A
JP2012070186A JP2010212711A JP2010212711A JP2012070186A JP 2012070186 A JP2012070186 A JP 2012070186A JP 2010212711 A JP2010212711 A JP 2010212711A JP 2010212711 A JP2010212711 A JP 2010212711A JP 2012070186 A JP2012070186 A JP 2012070186A
Authority
JP
Japan
Prior art keywords
picture
unit
decoded
encoded data
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010212711A
Other languages
English (en)
Other versions
JP5531881B2 (ja
Inventor
Akihiro Yamori
章弘 屋森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2010212711A priority Critical patent/JP5531881B2/ja
Priority to US13/220,965 priority patent/US9210448B2/en
Publication of JP2012070186A publication Critical patent/JP2012070186A/ja
Application granted granted Critical
Publication of JP5531881B2 publication Critical patent/JP5531881B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】多視点映像符号化技術において、エラー耐性を高める。
【解決手段】複数の視点でそれぞれ得られる各視点の動画像の各ピクチャが所定領域毎に符号化された符号化データを含む多視点符号化データを取得する取得部と、多視点符号化データに含まれる第１視点の符号化データを所定領域毎に復号する第１復号部と、多視点符号化データに含まれる第２視点の符号化データを所定領域毎に復号する第２復号部と、第１復号部により復号される複数の所定領域のうち、復号不可能な所定領域を検出する検出部と、検出部により検出された所定領域を、第２復号部による復号済みの所定領域の復号データを用いて隠蔽する隠蔽部と、を備える。
【選択図】図３

Description

本発明は、動画像が符号化された符号化データを復号する動画像復号装置、動画像復号方法、及び集積回路に関する。
近年、民生機器などで立体映像を視聴・録画する環境が整いつつある。特に、BDA（Blu-ray Disk Assosiation）は、立体映像フォーマット対応の規格化を決定した。TVや携帯電話など立体映像対応の市場も立ち上がりつつある。近い将来、デジタル放送でも立体(3D)映像放送の普及が見込まれる。
一方、立体映像放送や映像伝送において、伝送網の電波状態の悪さなどにより、放送波を正しく受信できない場合がある。放送波を正しく受信できない伝送エラーなどが発生すると、映像や音声は正しく復号出来なくなる。画像符号化の場合は、時間方向の予測を用いる為、エラーが発生したピクチャがIピクチャやPピクチャのように他のピクチャから参照されるピクチャである場合、そのエラー情報が参照され、エラーが複数のフレームに伝播してしまう。エラーが伝播するとエラーの影響範囲が拡大する。
そこで、エラーの伝播を防ぐため、エラーが発生したエラーピクチャ又はピクチャのエラー領域を、正しく復号できたピクチャ又はピクチャの所定領域を用いて、エラーを隠蔽（コンシールメント）する技術がある（例えば、特許文献１及び２）。
例えば、パニング検出を行い、エラーが発生した場合は近傍のマクロブロック（MB：MacroBlock）の動きベクトルに基づいて、エラーブロック用の動き補償用動きベクトルを設定する技術がある。
また、修復対象のマクロブロックの周辺のマクロブロックの有効性を判定し、有効と判定されたマクロブロックから画像修復用コンテキスト情報を取得し、修復に用いる推定動きベクトルを求める技術がある。
特開２００６−２０３５９８号公報 特開２００７−３２５２０６号公報
一方、ITU-T H.264(ITU-T : International Telecommunication Union Telecommunication Standardization Sector)／ISO/IEC MPEG-4 AVC(ISO/IEC : International Organization for Standardization/International Electrotechnical Commission)のStereo ProfileもしくはMVC(Multi-view Video Coding)の様な多視点映像符号化の場合は、図１に示すように、複数の各視点映像が参照、被参照の関係にある。図１は、各視点映像の参照、被参照関係の一例を示す図である。図１に示す例では、左目の視点（Left view）をBase viewとし、右目の視点（Right view）をEnhance view又はNon Base viewとする。以下、Base viewをBase側、Enhance view又はNon Base viewをDependent側ともいう。図１に示すように、Dependent側は、Base側のフレームを参照フレームとすることができる。このview間で予測を行うことを、View間予測という。図１に示す例では、Dependent側のPフレームがBase側のIフレーム又はPフレームを参照するが、これに限られず、例えばDependent側のBフレームがBase側のBフレームを参照してもよい。
ここで、多視点映像の復号化を考えた場合、エラー隠蔽処理を行うとき、それぞれの視点毎に前述した従来技術を適用することが考えられる。同一視点内の情報のみを使ってエラー隠蔽処理を行うと、ピクチャ全体が数ピクチャに渡ってエラーした際に、適切にエラーを隠蔽しきれない。
また、図１に示すように、多視点映像の符号化で複数視点間の相関を用いる場合、復号化時にBase側でエラーが発生した場合、Dependent側にもエラーが伝播し、Dependent側のエラー隠蔽処理が適切にできない。また、多視点映像符号化技術において、エラー隠蔽処理についてそれほど研究がされておらず、従来技術のエラー隠蔽処理を適用したとしても、エラー耐性が高くないという問題点があった。
そこで、開示の動画像復号装置は、上記課題に鑑みてなされたものであり、多視点映像符号化／復号化技術において、適切な復号済み画像データを用いてエラー隠蔽することでエラー耐性を高めることを目的とする。
開示の一態様における動画像復号装置は、複数の視点でそれぞれ得られる各視点の動画像の各ピクチャが所定領域毎に符号化された符号化データを含む多視点符号化データを取得する取得部と、前記多視点符号化データに含まれる第１視点の符号化データを所定領域毎に復号する第１復号部と、前記多視点符号化データに含まれる第２視点の符号化データを所定領域毎に復号する第２復号部と、前記第１復号部により復号される所定領域のうち、復号不可能な所定領域を検出する検出部と、前記検出部により検出された所定領域を、前記第２復号部による復号済みの所定領域を用いて隠蔽する隠蔽部と、を備える。
また、他の態様における動画像復号方法は、動画像復号装置における動画像復号方法であって、複数の視点でそれぞれ得られる各視点の動画像の各ピクチャが所定領域毎に符号化された符号化データを含む多視点符号化データを取得し、前記多視点符号化データに含まれる第１視点の符号化データを所定領域毎に復号し、前記多視点符号化データに含まれる第２視点の符号化データを所定領域毎に復号し、前記第１の視点の符号化データが復号される所定領域のうち、復号不可能な所定領域を検出し、前記検出された所定領域を、前記第２視点の符号化データが復号された復号済みの所定領域を用いて隠蔽する。
開示の動画像復号装置、動画像復号方法、及び集積回路によれば、多視点映像符号化技術において、適切な復号済み画像データを用いてエラー隠蔽することでエラー耐性を高めることができる。
各視点映像の参照、被参照関係の一例を示す図。 多視点映像符号化の発生情報量の一例を示す図。 動画像復号装置の概略構成の一例を示すブロック図。 多視点符号化データのストリームの一例を示す図。 実施例１における復号処理を説明するための図。 ブロック抽出部の構成の一例を示すブロック図。 エラーMB、視差MB、参照元MB、被参照MBの関係（その１）を示す図。 エラーMB、視差MB、参照元MB、被参照MBの関係（その２）を示す図。 Base側の動画像復号処理の一例を示すフローチャート。 Dependent側の動画像復号処理の一例を示すフローチャート。 適切なMBの選択処理の一例を示すフローチャート。 実施例２におけるブロック抽出部の構成の一例を示すブロック図。 エラーMB、同位置MB、参照元MB、被参照MBの関係を示す図。 エラーMB、同位置MB、被参照MBの関係を示す図。 映像再生装置の構成の一例を示すブロック図。 信号処理部の構成の一例を示すブロック図。 携帯端末の構成の一例を示すブロック図。
以下、添付図面を参照しながら実施例について詳細に説明する。
［実施例１］
まず、多視点映像符号化における各視点の発生情報量について考える。以下、多視点とは、右と左との２視点を例に説明するが、３視点以上あってもよい。また、一般的に、符号化の発生情報量について、IピクチャやPピクチャの参照ピクチャとなりうるピクチャは、Bピクチャなどの非参照ピクチャよりも、多く情報量が割り当てられる事が一般的である。情報量が多いとエラーが発生する確率が高いと考えられる。なお、符号化方式によっては、例えばH.264のようにBピクチャも参照ピクチャとなりうる。
図１に示したように、２眼（２視点）での多視点映像符号化の場合は、独立して通常再生可能なBase画像と、基本的にBase画像から差分符号化されるDependent画像の２つの視点の符号化を行う。ここで、発生情報量の観点から考えると、図２に示す様にBase画像の方が、Dependent画像よりも多く情報量が割り当てられる。
図２は、多視点映像符号化の発生情報量の一例を示す図である。図２に示す例は、HDTV映像（1280x720，30fps）をフレーム符号化で、２画面合わせて１２Mbpsで符号化した場合のピクチャの発生情報量の例である。また、図２に示す例は、あるタイミングで３０枚のピクチャ数を抽出した例である。図２（Ａ）は、Base側の発生情報量を示し、図２（Ｂ）は、Dependent側の発生情報量を示す。
図２に示すように、Dependent側の符号化では、Base側でいうIピクチャ相当のピクチャ１０は、Base側との差分符号化を行うことができるので、Base側のPピクチャ相当の情報量となる。また、Base側でいうPピクチャ相当のDependent側のPピクチャ２０は、Dependent側の片方向予測に加え、Base側の片方向予測を行うことができるので、Base側のBピクチャに近い情報まで、発生情報量を抑制することが可能である。
図２に示したように、Dependent側は、発生情報量がBase側に比べると少ないので、エラーが発生する確率がBase側よりも低くなる。また、エラーの発生確率が低いと考えられるDependent側の符号化データは、正しく復号できる可能性がBase側よりも高いといえる。よって、Dependent側の復号ピクチャを用いてBase側のエラー隠蔽処理を行えば、Base側のエラーに依存せずにエラー隠蔽処理を行うことができる。そこで、実施例１では、Base側のピクチャにエラー領域が発生した場合でも、Dependent側の復号済みのピクチャ内で、エラー領域に類似する領域を推定し、推定された領域のデータを用いてエラーが発生した領域を隠蔽する。
なお、復号対象の動画像の符号化データに含まれるピクチャは、インタレース方式により取得されるフィールド、又はプログレッシブ方式により取得されるフレームの何れであってもよい。
＜構成＞
図３は、本実施例における動画像復号装置１００の概略構成の一例を示すブロック図である。図３に示す動画像復号装置１００は、取得部１０１を有する。動画像復号装置１００は、Base側を復号する構成として、可変長復号部１０２、エラー検出部１０３、バッファメモリ１０４、選択部１０５、画像復号部１０６、隠蔽部１０７、ブロック抽出部１０８、選択部１０９、ピクチャメモリ１１０を有する。動画像復号装置１００は、Dependent側を復号する構成として、可変長復号部１２２、エラー検出部１２３、バッファメモリ１２４、選択部１２５、画像復号部１２６、隠蔽部１２７、ブロック抽出部１０８、選択部１２９、ピクチャメモリ１３０を有する。
取得部１０１は、多視点映像符号化技術を用いて符号化された多視点符号化データを取得する。多視点符号化データは、多視点においてそれぞれ得られた各視点の動画像の符号化データを含む。動画像の符号化データは、各ピクチャが所定領域毎に符号化されたデータである。
取得部１０１は、多視点符号化データを取得すると、各視点の符号化データに分離し、各視点に対応する可変長復号部１０２、１２２に出力する。取得部１０１は、多視点符号化データの各ピクチャのヘッダを参照することで、どの視点の符号化データであるかを判定できる。各ピクチャのヘッダには、Base側かDependent側かを示すデータが含まれている。
図４は、多視点符号化データのストリームの一例を示す図である。図４に示す例では、Left viewの符号化データとRight viewの符号化データとが交互に混合されて一つのストリームとなる。図４に示す「L0」はLeft viewの１枚目のピクチャ、「L1」はLeft viewの２枚目のピクチャであり、「R1」はRight viewの１枚目のピクチャ、「R2」はRight viewの２枚目のピクチャである。図４に示す例は、フレームシーケンシャル方式である。
なお、多視点符号化データのストリームは、フレームシーケンシャル方式に限らず、Left viewとRight viewそれぞれのピクチャを左右に振り分けるサイドバイサイド方式や、上下に振り分けるトップアンドボトム方式などでもよい。
図３に戻り、Base側の構成について説明する。可変長復号部１０２は、Base viewの符号化データを取得する。可変長復号部１０２は、取得した符号化データに含まれる各ピクチャに関する可変長符号化された情報を、可変長符号化方式に対応する可変長復号方式に従って復号する。可変長復号方式は、例えば、ハフマン符号あるいは算術符号に対応する復号方式である。可変長復号部１０２は、マクロブロック（MB）毎に、量子化された周波数係数（係数情報）、量子化スケール、及び動きベクトル、マクロブックタイプなどを復号し、復号データを得る。
可変長復号部１０２は、可変長復号された各マクロブロックの識別番号やピクチャ及びマクロブロックに関する情報をエラー検出部１０３に出力する。可変長復号部１０２は、各マクロブロックの動きベクトルや係数情報、量子化スケールなどの復号データをバッファメモリ１０４に出力する。
また、可変長復号部１０２は、画像復号部１０６、ブロック抽出部１０８、隠蔽部１０７の処理よりも、復号順序に従って、２以上の所定枚数分のピクチャに含まれる可変長符号化されたデータを先行して可変長復号する。
これにより、動画像復号装置１００は、エラー隠蔽対象となるピクチャよりも後に復号されるピクチャに含まれるマクロブロックが有する動きベクトルを用いることができる。なお、所定枚数は、２以上で、エラー隠蔽対象となるピクチャを参照する可能性のあるピクチャの枚数に１を加えた値までの範囲で設定される。
エラー検出部１０３は、符号化データに含まれる各ピクチャに対し、可変長復号及び／又は画像復号時にエラーが発生する領域を検出する。エラー検出部１０３は、動き補償が行われる領域の単位であるマクロブロック又は所定のブロックごとに、エラーが発生するか否かを検出する。例えば、エラー検出部１０３は、マクロブロック又は所定のブロックを復号するために必要なデータが欠落したか否かを検出する。
以下では、エラーが発生するマクロブロックをエラーマクロブロック（エラーMB）と呼ぶ。また、説明の簡略化のため、エラーが検出される各ピクチャの所定領域をマクロブロック単位で説明する。エラー検出部１０３は、エラーが検出される各ピクチャの所定領域が所定のブロック単位であっても、マクロブロックに対する処理と同様の処理を行うことでエラーを検出できる。
エラー検出部１０３は、マクロブロック毎に設けられるマクロブロックのマクロブロックアドレスの値からエラー検出対象となるマクロブロックを特定してもよい。エラー検出部１０３は、特定されたマクロブロックについて、符号化方式の規格によって定められた所定の情報が全て存在するか否かを調べる。エラー検出部１０３は、全ての情報が存在すれば、エラーがないと判定し、何れかの情報が欠けていれば、そのマクロブロックはエラーMBであると判定する。
また、エラー検出部１０３は、マクロブロックに与えられるマクロブロックアドレスのような識別番号が、連番になっているか否かを判定してもよい。エラー検出部１０３は、識別番号が連番になっていない場合、欠けた番号のマクロブロックは、復号できなかったエラーMBであると判定する。
エラー検出部１０３は、エラーの有無により、選択部１０５を制御する。エラー検出部１０３は、エラーMBを検出した場合、そのエラーMBについては、バッファメモリ１０４及び必要に応じてバッファメモリ１２４のデータがブロック抽出部１０８に読み出されるよう制御する。一方、エラー検出部１０３は、エラーMBを検出しなかった場合、バッファメモリ１０４のデータが画像復号部１０６に読み出されるよう制御する。エラー検出部１０３は、選択部１０９の制御も行う。この制御は後述する。
バッファメモリ１０４は、可変長復号部１０２により復号された動きベクトル、係数情報、量子化スケール、MBタイプなどの復号データを所定枚数分一時的に記憶する。
選択部１０５は、エラー検出部１０３により制御される。選択部１０５は、エラー検出部１０３によりエラーMB有りが通知されると、バッファメモリ１０４及びバッファメモリ１２４とブロック抽出部１０８とを接続し、エラー無しが通知されると、バッファメモリ１０４と画像復号部１０６とを接続する。
ここで、Dependent側について説明する。取得部１０１は、多視点符号化データの各ピクチャのヘッダを参照し、Dependent画像の符号化データを可変長復号部１２２に出力する。
可変長復号部１２２は、可変長復号部１０２と同様の処理を行う。例えば、可変長復号部１２２は、取得した符号化データのピクチャに含まれる可変長符号化データを復号し、復号データをバッファメモリ１２４に出力する。また、可変長復号部１２２は、エラー検出に用いられる復号データをエラー検出部１２３に出力する。
エラー検出部１２３は、エラー検出部１０３と同様の処理を行う。例えば、エラー検出部１２３は、前述した所定の方法により、各ピクチャに含まれるマクロブロックに対してエラーを検出する。また、エラー検出部１２３は、エラーMBの有無により選択部１２５を制御する。エラー検出部１２３は、選択部１２９の制御も行う。この処理は後述する。
バッファメモリ１２４は、可変長復号部１２２により復号された動きベクトル、係数情報、量子化スケールなどの復号データを一時的に記憶する。
選択部１２５は、エラーMB有りが通知されると、バッファメモリ１２４とブロック抽出部１０８とを接続し、エラー無しが通知されると、バッファメモリ１２４と画像復号部１２６とを接続する。
ここで、可変長復号部１０２と可変長復号部１２２との先行復号について図５を用いて説明する。図５は、実施例１における復号処理を説明するための図である。図５に示すブロック列は、動画像の符号化データの一部を示し、ブロック列内の各ブロックは、それぞれ１つのピクチャに対応する。ブロック内に示された記号I、P、Bは、そのピクチャタイプを表し、それぞれIピクチャ、Pピクチャ、Bピクチャである。また、ピクチャタイプに続いて示された数字は、再生順序に従ったピクチャの順番を表す。その数字が小さいほど、再生順序が早い。
図５（Ａ）は、通常の復号処理の一例を示す図である。図５（Ａ）に示す通常の復号順は、ブロック列２０１で示す通りである。
I2, B0, B1, P5, B3, B4, P8, B6, B7, ..
上記の順番で、可変長復号と画像復号とが同一のピクチャタイミングで処理される。
次に、通常の表示順は、ブロック列２０２で示す通りである。
B0, B1, I2, B3, B4, P5, B6, B7, P8, ..
上記の順番で数字の小さい順に表示される。
図５（Ｂ）は、実施例１のBase側、Dependent側の復号処理の一例を示す図である。ブロック列２１１は、Base側の各ピクチャの可変長復号処理のタイミングを表す。ブロック列２１２は、Base側の各ピクチャの画像復号処理のタイミングを表す。ブロック列２１３は、Base側の各ピクチャの表示のタイミングを表す。
ブロック列２１１及びブロック列２１２に示すように、可変長復号部１０２は、例えば３ピクチャ分、画像復号部１０６の処理などに先行して可変長復号処理を行う。これにより、ブロック抽出部１０８、隠蔽部１０７では、エラー隠蔽対象のピクチャよりも復号順で後に位置するピクチャが持つ動きベクトルを利用することができる。
例えば、ピクチャP5内にエラー領域がある場合、ブロック抽出部１０８や隠蔽部１０７は、図５（Ｂ）に示す点線の矢印元のピクチャB3、B4の可変長復号を行った結果の情報を利用することができる。
ピクチャB3やB4は、ピクチャP5を参照ピクチャとして、フレーム間符号化を行うピクチャであるため、ピクチャP5のある位置を参照して符号化されている。つまり、ピクチャB3やB4は、ピクチャP5よりも画像の復号順は後である。例えば、ピクチャP5のある領域の情報がエラーにより欠落した場合でも、その領域を参照しているピクチャB3、B4内の領域の動きベクトルを利用して、隠蔽部１０７によるエラー隠蔽処理が可能となる。
ブロック列２２１は、Dependent側の各ピクチャの可変長復号処理のタイミングを表す。ブロック列２２２は、Dependent側の各ピクチャの画像復号処理のタイミングを表す。ブロック列２２３は、Dependent側の各ピクチャの表示のタイミングを表す。
ブロック列２２１及びブロック列２２２に示すように、可変長復号部１２２は、例えば３ピクチャ分、画像復号部１２６の処理などに先行して可変長復号処理を行う。これにより、ブロック抽出部１０８、隠蔽部１０７、１２７では、エラー隠蔽されるピクチャよりも復号順で後に位置するピクチャが持つ動きベクトルを利用することができる。ここで、ピクチャP5'は、ピクチャP5を参照ピクチャとして符号化されていたとする。つまり、ピクチャP5'は、ピクチャP5よりも画像の復号順では後になる。
例えば、ピクチャP5内にエラー領域がある場合、ブロック抽出部１０８や隠蔽部１０７は、図５（Ｂ）に示す一点鎖線の矢印元のピクチャP5'の可変長復号を行なった結果の情報を利用することができる。また、ブロック抽出部１０８や隠蔽部１０７は、同様に、ピクチャB3'、B4'の可変長復号結果の情報も利用可能である。
ピクチャP5'は、ピクチャP5を参照ピクチャとして、フレーム間符号化を行うピクチャであるため、ピクチャP5のある領域を参照して符号化されている。例えば、ピクチャP5のある領域の情報がエラーにより欠落した場合でも、その領域を参照しているピクチャP5'内の領域を参照する動きベクトルを利用して、隠蔽部１０７によるエラー隠蔽処理が可能となる。
また、ブロック抽出部１０８、隠蔽部１２７でも、エラー隠蔽対象のピクチャよりも復号順で後に位置するピクチャが持つ動きベクトルを利用することができる。
例えば、ピクチャP5'内にエラー領域がある場合、ブロック抽出部１０８や隠蔽部１２７は、図５（Ｂ）に示す破線の矢印元のピクチャB3'、B4'の可変長復号を行った結果の情報を利用することができる。
ピクチャB3'やB4'は、ピクチャP5'を参照ピクチャとして、フレーム間符号化を行うピクチャであるため、ピクチャP5'のある位置を参照して符号化されている。つまり、ピクチャB3'やB4'は、ピクチャP5'よりも復号順は後である。例えば、ピクチャP5'のある領域の情報がエラーにより欠落した場合でも、その領域を参照している、ピクチャB3'、B4'内の領域の動きベクトルを利用して、隠蔽部１２７によるエラー隠蔽処理が可能となる。
図３に戻り、Base側とDependent側の画像復号及びエラー隠蔽処理について説明する。Base側の画像復号部１０６は、可変長復号された復号データに対応するピクチャの各マクロブロックを復号する。画像復号部１０６は、例えば、可変長復号された復号データに含まれる係数情報に対して逆量子化処理及び逆直行変換処理を行う。画像復号部１０６は、逆直行変換処理により得られた差分信号を、動きベクトルにより特定される参照ピクチャの対応ブロックから求められる予測画像に加算する。参照ピクチャは、ピクチャメモリ１１０に記憶されている。これにより、ピクチャのマクロブロックが復号される。
画像復号部１０６は、復号されたピクチャのマクロブロックを、そのマクロブロックに対応するマクロブロックアドレス及びそのマクロブロックを含むピクチャの識別番号とともに選択部１０９へ出力する。
Dependent側の画像復号部１２６は、Base側の画像復号部１０６と同様の処理を行い、ピクチャのマクロブロックを復号する。画像復号部１２６と画像復号部１０６との違いは、画像復号部１２６は、画像復号部１０６により復号されたBase側のピクチャも画像復号部１２６により復号されたピクチャも参照ピクチャとすることができる。一方、画像復号部１０６は、画像復号部１０６により復号されたピクチャのみ参照ピクチャとすることができる。
次に、ブロック抽出部１０８について説明する。ブロック抽出部１０８は、バッファメモリ１０４及び／又はバッファメモリ１２４から動きベクトルを取得して、その動きベクトルを用いてエラーMBに類似するマクロブロックを推定し、推定したマクロブロックを抽出する。ブロック抽出部１０８の詳細は、図６を用いて説明する。
図６は、ブロック抽出部１０８の構成の一例を示すブロック図である。ブロック抽出部１０８は、視差情報抽出部１４１、動きベクトル計算部１４２、参照ブロック抽出部１４３を有する。まず、Base側にエラーMBが発生した場合、ブロック抽出部１０８が処理する内容を説明する。
視差情報抽出部１４１は、Base側のピクチャでエラーMBが発生した場合、バッファメモリ１２４からBase側のエラーMBを参照先とする動きベクトルを抽出する。この動きベクトルは、View間の動きベクトルとなるので視差情報を示す。視差情報抽出部１４１は、抽出した視差情報を動きベクトル計算部１４２に出力する。なお、視差情報抽出部１４１は、バッファメモリ１２４にエラーMBを参照先とする動きベクトルがなかった場合、その旨を動きベクトル計算部１４２に通知する。
動きベクトル計算部１４２は、取得した視差情報を有するマクロブロック（以下、視差MBともいう）を特定し、この視差MBを参照する動きベクトル（以下、参照元動きベクトルともいう）をバッファメモリ１２４から抽出する。
動きベクトル計算部１４２は、参照元動きベクトルを有するマクロブロック（以下、参照元MBともいう）が、もう一つの動きベクトルを有するかを判定する。もう一つの動きベクトルが復号済みピクチャのマクロブロック（以下、被参照MBともいう）を参照先とする場合、動きベクトル計算部１４２は、参照元MBが有する二つの動きベクトルを用いて、エラー隠蔽用の動きベクトルを計算する。以下、エラー隠蔽用の動きベクトルは、隠蔽動きベクトルともいう。動きベクトル計算部１４２は、計算した隠蔽動きベクトルを参照ブロック抽出部１４３に出力する。
隠蔽動きベクトルは、エラーMBと被参照MBとのピクチャ内での水平方向及び垂直方向のずれ量と、エラーMBが含まれるピクチャに対応するDependent側のピクチャから被参照MBが含まれるピクチャまでのピクチャ数とを、それぞれベクトルの要素として持つ。
なお、動きベクトル計算部１４２は、視差情報抽出部１４１から動きベクトルがない旨の通知を受けると、バッファメモリ１０４からエラーMBを参照先とする動きベクトルを抽出する。動きベクトル計算部１４２は、この動きベクトルを有するブロック（同視点参照元MB）が、もう一つの動きベクトルを有するかを判定する。もう一つの動きベクトルが復号済みのピクチャを参照先とする場合、動きベクトル計算部１４２は、同視点参照元MBが持つ二つの動きベクトルを用いて隠蔽動きベクトルを計算する。動きベクトル計算部１４２は、計算した隠蔽動きベクトルを参照ブロック抽出部１４３に出力する。
参照ブロック抽出部１４３は、取得した隠蔽動きベクトルが指す復号済みピクチャのマクロブロックのマクロブロックアドレス、及びそのマクロブロックを含むピクチャの識別番号を抽出し、隠蔽部１０７に出力する。参照ブロック抽出部１４３により特定されたマクロブロックは、エラーMBに類似するマクロブロックとして推定されたことを表す。
次に、Dependent側にエラーMBが発生した場合、ブロック抽出部１０８が処理する内容を説明する。動きベクトル計算部１４２は、Dependent側にエラーMBが発生した場合、バッファメモリ１２４からエラーMBを参照先とする動きベクトルを抽出する。動きベクトル計算部１４２は、抽出した動きベクトルの参照元となるブロック（同視点参照元MB）をバッファメモリ１２４から特定する。
動きベクトル計算部１４２は、特定した同視点参照元MBが、もう一つの動きベクトルを有するか否かを判定する。もう一つの動きベクトルが復号済みピクチャを参照先とする場合、動きベクトル計算部１４２は、同視点参照元MBが有する二つの動きベクトルを用いて、隠蔽動きベクトルを計算する。動きベクトル計算部１４２は、計算した隠蔽動きベクトルを参照ブロック抽出部１４３に出力する。
参照ブロック抽出部１４３は、取得した隠蔽動きベクトルが指す復号済みピクチャのマクロブロック（被参照MB）のマクロブロックアドレス、及びそのマクロブロックを含むピクチャの識別番号を抽出し、隠蔽部１２７に出力する。
なお、動きベクトル計算部１４２は、参照元MBが複数ある場合に、いずれのブロックにするかを決めるための評価部１５０を有する。評価部１５０は、参照元MBが有する情報を用いて評価値を計算し、評価値に基づいて１つの参照元MBを選択する。評価部１５０の詳細は後述する。なお、評価部１５０は、視差MB、同視点参照元MBが複数ある場合にも評価値を計算し、１つのマクロブロックを選択する。
（隠蔽動きベクトルの具体例）
次に、エラーMB、視差MB、参照元MB、被参照MBの関係について説明し、隠蔽動きベクトルの計算を具体的に説明する。図７は、エラーMB、視差MB、参照元MB、被参照MBの関係（その１）を示す図である。図７に示す例では、図５に示す例と同じように、Base側のピクチャI2、B3、B4、P5と同じ位置関係にあるDependent側のピクチャI2'、B3'、B4'、P5'を示している。図７に示すPtypeは、ピクチャタイプを表す。
例えば、Base側の復号順３のピクチャP5 ３０１内のMB３０２の情報がエラーにより欠落した場合に、Dependent側の同じ復号順３のピクチャP5'内に、視差情報３１１分だけずれたエラーMB３０２を参照しているマクロブロック（視差MB）３０５が存在する。
視差情報３１１分の移動量をMVDとする。ピクチャP5'は、Base側ピクチャP5の直後に復号されるピクチャであるので、ピクチャP5'の復号画像は、ピクチャP5の復号時点ではまだ存在しない。
一方、Dependent側のBピクチャの可変長復号を先行して行なっているので、ピクチャP5'の視差MB３０５を参照している参照元MB３０６のベクトル情報３１２、３１３がバッファメモリ１２４に存在する。この参照元MB３０６のベクトル情報３１２、３１３を用いて、動きベクトル計算部１４２は、仮隠蔽動きベクトル(MVC')３１４を生成する。
図７に示す例は、ピクチャB4'の参照元MB３０６の後方向ベクトルMVB'３１２が視差MB３０５を指していたとすると、参照元MB３０６の前方向ベクトルFMV'３１３を用いて、仮隠蔽動きベクトル３１４は、式（１）により求められる。
MVC'＝MVF'−MVB' ・・・式（１）
動きベクトル計算部１４２は、仮隠蔽動きベクトル３１４と、視差情報（MVD）３１１とを用いて、隠蔽動きベクトル（MVC）３１５を式（２）により求める。
MVC＝MVC'−MVD ・・・式（２）
ここで、仮隠蔽動きベクトル３１４の参照先はピクチャI2'であるが、ピクチャI2'は、ピクチャP5'を復号する際に、画像復号部１２６により復号済みである。ピクチャI2'の被参照MB３０７と隠蔽動きベクトル３１５とを用いて予測した画像を、エラー隠蔽用のブロックとする。
なお、参照ブロック抽出部１４３は、ピクチャI2'の被参照MB３０７と仮隠蔽動きベクトル（MVC'）３１４とを用いて、ピクチャP5'の視差MB３０５を復号し、更に視差情報３１１を用いてエラーMB３０２のエラー隠蔽処理を行ってもよい。
図８は、エラーMB、視差MB、参照元MB、被参照MBの関係（その２）を示す図である。図８に示す例は、視差MBを参照する動きベクトルを有する参照元MBが、双方向予測MBの場合でも、被参照MBが、Bピクチャ（参照Bピクチャ）内に存在する場合、エラー隠蔽処理ができない例である。図８に示すPtypeは、ピクチャタイプを表す。
図８に示すDependent側の復号順は、
I3', rB1', B0', B2', P7', rB5', B4', B6', ..
となる。rBで示したピクチャは、参照Bピクチャを示す。
ピクチャP7 ４０１にエラーMB４０２がある場合、ピクチャP7 ４０１の画像復号時には、ピクチャP7'、rB5'、B4'、B6'の可変長復号処理が終了しているとする。
Base側のピクチャP7 ４０１にエラーMB４０２がある場合、Dependent側のピクチャP7'内に視差情報４１１分だけずれたエラーMB４０２を参照しているマクロブロック(視差MB)４０３が存在する。ピクチャP7'は、Base側のピクチャP7の直後に復号されるピクチャであるので、ピクチャP７'の復号画像はピクチャP7の復号時点ではまだ存在しない。
一方、Dependent側では、可変長復号を先行して行なっているので、ピクチャP7'の視差MB４０３を参照しているピクチャB6'の参照元MB４０４のベクトル情報４１２、４１３はバッファメモリ１２４に存在する。この参照元MB４０４のベクトル情報４１２、４１３を用いて仮隠蔽動きベクトル(MVC')４１４を生成する。
ここで、図８に示す例では、ピクチャB6'の参照元MB４０４の後方向ベクトルMVB'４１２が参照元MB４０３を指していても、前方向ベクトルMVF'４１３は、ピクチャrB5'のブロック４０５を参照していたとする。この場合、図７に示す例と同様に、参照元MB４０４の前方向ベクトルFMV'４１３を用いて、仮隠蔽動きベクトル４１４を求めることはできない。なぜなら、この仮隠蔽動きベクトル４１４の参照先はピクチャrB5'となり、ピクチャrB5'は、ピクチャP7'よりも後に画像復号されるので、被参照MBが存在しない。
よって、図８に示すように、前方向ベクトルがまだ復号されていないピクチャ内のMBを指す参照元MB４０４は、動きベクトル計算部１４２により選択されないようにする。
（参照元MBが複数ある場合）
視差MBを参照する参照元MBが複数存在する場合がある。１枚のピクチャP5'に対して、そのピクチャを参照する可能性のあるピクチャはピクチャB3'やB4'のように複数存在する。さらに、ブロック毎に複数本の動きベクトルを用いた動き予測を行うことが可能であるため、視差MBを参照する参照元MBは複数存在する可能性がある。
そこで、図６に示す動きベクトル計算部１４２の評価部１５０が、複数の参照元MBを評価することで、１つのマクロブロックを選択する。
評価部１５０は、複数のマクロブロックが、視差MBを参照している場合、複数のマクロブロックの中から、動き予測として尤も適したものをマクロブロックの情報を用いて判定する。マクロブロックの情報は、予測タイプ、差分情報（係数情報）、動きベクトルの成分などである。
（１）予測タイプを用いる判定
予測タイプで判定する場合について説明する。例えば、図７に示したP5'の視差MBを参照するブロックは、少なくとも後方向の動きベクトルを持っている。よって、予測タイプとしては、後方向予測MB(Backward MB)、双方向予測MB(Bi-direction MB)が考えられる。この場合、後方向予測MBでは、復号済みのピクチャを参照先とする可能性がある前方向の動きベクトルが存在しない。よって、
Bi-Direction MB ＞ Backward MB
とする優先順位を付け、評価部１５０は、双方向予測MBを選択する。
（２）差分情報を用いる判定
次に、差分情報を用いて判定する場合について説明する。符号化処理において、差分情報は、動きベクトルによりフレーム間差分を取り、その差分(予測誤差)をDCT、量子化の処理を施して、可変長符号化される。つまり、可変長復号後の差分情報としては、量子化係数(Coef)および量子化値(Qscale)がブロック毎に得られる。
ここで、より正確に差分情報を用いるとすると、逆量子化処理、逆DCT処理まで施し、画素レベルの差分情報を求め、その差分情報の成分の絶対値和等を求めればよい。しかし、ここでは、処理を簡略化する為に、以下の評価を行うことにする。
複数の候補ブロックが、 MB0, MB1, .., MBnであったとして、各ブロックのQscale値が、Q0, Q1, .., Qn、量子化係数値がCoef0_i,j、Coef1_i,j、,,、Coefn_i,jであったとする。評価部１５０は、差分がもっとも小さいブロックを選択する。
・第１の例
評価部１５０は、量子化スケールが小さいブロックが、差分の小さいブロックと判定する。
SelectQ = maxQ;
for (x=0; x<n;x++) {
SelectQ = min(SelectQ, Qx); //SelectQが更新されれば、選択するMBも更新する
}
・第２の例
評価部１５０は、量子化係数の差分絶対値和が小さいブロックが、差分の小さいブロックと判定する。
SelectCoef = maxCoeff;
for (x=0; x<n;x++) {
SelectCoef = min(SelectCoef, Σi,j |Coefx_i,j| ); // SelectQが更新されれば、選択するMBも更新する
}
・第３の例
評価部１５０は、単純に量子化係数の有効係数の個数が小さいブロックが、差分の小さいブロックと定する。
SelectNum = maxNum;
for (x=0; x<n;x++) {
SelectNum = min(SelectNum, Countif(Coefx_i,j != 0) ); // SelectNumが更新されれば、選択するMBも更新する
}
評価部１５０は、上記３つの例のいずれかを用いて、１つのブロックを選択すればよい。
（３）動きベクトルを用いる判定
評価部１５０は、動きベクトルが指す参照エリアとして、より多くのエリアが含まれるベクトル成分を持つブロックが、差分の小さいブロックと判定する。
動きベクトルは、マクロブロックのサイズが16x16である場合、ベクトルの成分が16の倍数に近い方が原画ブロックと参照画ブロックの重なりが大きい。よって、その観点で動きベクトルを求める。
評価部１５０は、動きベクトルが16の倍数に近いとき、16の剰余(modulo)を取った値が、0,1,2,3,…,14,15となったとすると、0>1,15>2,14>3,13>…>7,9>8の順序で優先度を高くする。評価部１５０は、優先度に基づき以下に示す式によりブロックを選択する。この式が示す意味は、成分8からより離れた動きベクトルを選択する為に、値を0〜15に丸めた上で8を減算した値-8〜7の中で絶対値の大きな動きベクトルを選択する。
SelectMV = MV0;
for (x=0; x<n;x++) {
SelectMV = min(|mod(SelectMV,16)-8|, |mod(MVx,16)-8|); // SelectMVが更新されれば、選択するMBも更新する
// 16は、MBの水平サイズ、垂直サイズを参照する場合、フレーム予測であればmod16、フィールド予測であれば mod8を用いる
}
なお、実際の動きベクトルとしては、0.5画素精度(値2が動きベクトル1)、0.25画素精度(値4が動きベクトル1)と符号化方式により、動きベクトルをあらわす精度が異なるので、評価部１５０は、その精度によって計算式を変更する。
例えば、0.25画素精度で動きベクトルが表現されている場合、
SelectMV = MV0;
for (x=0; x<n;x++) {
SelectMV = max(|mod(SelectMV,64)-32|, |mod(MVx,64)-32|); // SelectMVが更新されれば、選択するMBも更新する
}
評価部１５０は、上記に示すように精度によって計算式を変更する。同様に、動きベクトルの表現精度だけでなく、マクロブロックのサイズが16x16以外の値を取った場合でも、評価部１５０は、サイズに応じて計算式を変更すればよい。
これにより、参照元MBが複数ある場合でも、評価部１５０により適切なブロックを選択することができる。
なお、エラーMBを参照する視差MBが複数ある場合も考えられ、このときは、差分情報を用いる判定などにより動きベクトル計算部１４２が１つの視差MBを選択するようにすればよい。
また、図７に示すように、１枚のP5ピクチャに対して、そのピクチャを参照するピクチャはDependent画像のピクチャP5'のみでなく同一視点内のピクチャB3、B4の様に複数枚存在する可能性がある。また、ブロック毎に複数本の動きベクトルを用いた動き予測を行う事が可能であるため、ピクチャP5のエラーMBを動き予測により参照しているブロック（同視点参照元MBや視差MB）が複数存在する可能性がある。
この場合、評価部１５０は、エラーMBを参照するブロックが複数あれば、同視点のブロック、別視点のブロックのどちらを優先するかを決めておく。この実施例では、別視点のブロックを優先して用いることにするが、同視点のブロックを優先してもよい。
次に、選んだ視点に対し、エラーMBを参照するブロックが複数ある場合には、前述したように、評価部１５０により１つのブロックを選択すればよい。なお、視差MBを選択する場合は、評価部１５０は、（２）の差分を用いる判定や（３）の動きベクトルを用いる判定により１つのマクロブロックを選択すればよい。
図３に戻り、Base側の隠蔽部１０７は、ブロック抽出部１０８により抽出されたブロックの情報と、隠蔽動きベクトルとを用いて、隠蔽用のマクロブロックを生成する。隠蔽部１０７は、隠蔽用のマクロブロックを選択部１０９に出力する。
これにより、隠蔽部１０７は、先行して復号された視差情報を用いることで、同視点の復号ピクチャだけでなく、別視点の復号ピクチャを用いてエラー隠蔽することができる。
選択部１０９は、エラー検出部１０３により制御され、エラーMBの場合は、隠蔽部１０７により出力されるマクロブロックを選択するようにし、エラーがない場合は、画像復号部１０６により出力されるマクロブロックを選択する。選択部１０９は、同一のピクチャの識別番号及びマクロブロックアドレスに応じて、画像復号部１０６により復号されたマクロブロック又は隠蔽部１０７により生成されたマクロブロックを順に配列して、ピクチャメモリ１１０に出力する。
ピクチャメモリ１１０は、選択部１０９により出力されるマクロブロックをピクチャ単位で一時的に記憶する。ピクチャメモリ１１０に記憶されたピクチャは、表示順に従って表示部などに出力される。また、ピクチャメモリ１１０に記憶されたピクチャは、Base側やDependent側で参照される可能性があるため、必要に応じて画像復号部１０６やピクチャメモリ１３０に出力される。また、ピクチャメモリ１１０に記憶されたピクチャは、エラー隠蔽用にも利用されるため、必要に応じて隠蔽部１０７により読み出される。
Dependent側の隠蔽部１２７は、Base側の隠蔽部１０７と基本的には同様の処理を行う。異なるところは、隠蔽部１２７は、同視点の復号ピクチャを用いてエラー隠蔽処理が行われることである。
選択部１２９は、Base側の選択部１０９と同様の処理を行う。例えば、選択部１２９は、同一のピクチャの識別番号及びマクロブロックアドレスに応じて、画像復号部１２６により復号されたマクロブロック又は隠蔽部１２７により生成されたマクロブロックを順に配列して、ピクチャメモリ１３０に出力する。
ピクチャメモリ１３０は、選択部１２９により出力されるマクロブロックをピクチャ単位で一時的に記憶する。ピクチャメモリ１３０は、ピクチャメモリ１１０から出力されるBase側のピクチャを一時的に記憶する。Base側のピクチャもDependent側で参照される可能性があるからである。
また、ピクチャメモリ１３０に記憶されたDependent側のピクチャは、表示順に従って表示部などに出力される。また、ピクチャメモリ１３０に記憶されたDependent側のピクチャは、隠蔽部１２７により読み出される。また、ピクチャメモリ１３０に記憶されたBase側及びDependent側のピクチャは、参照ピクチャとして、必要に応じて画像復号部１２６に出力される。
以上の構成を有することで、隠蔽部１０７、１２７は、先行して可変長復号された動きベクトルを利用して、エラーMBに類似すると推定されたマクロブロックを隠蔽処理に用いることができる。また、隠蔽部１０７は、先に復号された他視点の動きベクトル（視差情報）を利用することで、他視点の復号済みピクチャから、エラーMBに類似すると推定されたマクロブロックを隠蔽処理に用いることができる。
＜動作＞
次に、実施例１における動画像復号装置の動作について説明する。図９は、Base側の動画像復号処理の一例を示すフローチャートである。
（Base側の復号処理）
ステップＳ１０１で、可変長復号部１０２は、取得部１０１により振り分けられたBase側の符号化データを１ピクチャ分、画像復号部１０６による画像復号に先行して可変長復号する。可変長復号部１０２は、可変長復号して得られた動きベクトルや係数情報などの復号データをバッファメモリ１０４に記憶する。また、可変長復号部１０２は、エラー検出に必要なデータ、例えばマクロブロックアドレスなどをエラー検出部１０３に出力する。
ステップＳ１０２で、動画像復号装置１００は、バッファメモリ１０４に記憶された復号データが所定枚数のピクチャ分蓄積されたか否かを判定する。所定枚数のピクチャ分、復号データが蓄積された場合（Ｓ１０２−Ｙｅｓ）、ステップＳ１０３に進み、所定枚数分のピクチャが蓄積されていない場合（Ｓ１０２−Ｎｏ）、ステップＳ１０１に戻る。これにより、可変長復号部１０２は、画像復号部１０６の画像復号に先行して、所定枚数分のピクチャを可変長復号することができる。
ステップＳ１０３で、可変長復号部１０２は、所定枚数の次のピクチャを可変長復号する。可変長復号部１０２は、可変長復号して得られた動きベクトルや係数情報などの復号データをバッファメモリ１０４に記憶する。また、可変長復号部１０２は、エラー検出に必要なデータ、例えばマクロブロックアドレスなどをエラー検出部１０３に出力する。
ステップＳ１０４で、エラー検出部１０３は、可変長復号部１０２から取得したデータに基づいて、復号順の早いピクチャからエラー領域をマクロブロック単位で検出する。エラー検出部１０３は、例えば、マクロブロックアドレスの値の連続性が途切れることなどでエラーを検出できる。
ステップＳ１０５で、エラー検出部１０３は、検出対象のマクロブロックにエラーが発生したか否かを判定する。エラーが発生した場合（ステップＳ１０５−Ｙｅｓ）、ステップＳ１０６に進み、エラーが発生しなかった場合（ステップＳ１０５−Ｎｏ）、ステップＳ１１３に進む。
ステップＳ１０６で、ブロック抽出部１０８は、Dependent側のバッファメモリ１２４に、エラーMBを参照する視差MBがあるか否かを判定する。視差MBは、エラーMBを参照する動きベクトル（視差情報）を有するDependent側のマクロブロックである。視差MBがある場合（ステップＳ１０６−Ｙｅｓ）、ステップＳ１０７に進み、視差MBがない場合（ステップＳ１０６−Ｎｏ）、ステップＳ１０９に進む。
ステップＳ１０７で、ブロック抽出部１０８は、Dependent側のバッファメモリ１２４に、視差MBを参照する参照元MBがあるか否かを判定する。参照元MBは、視差MBを参照する動きベクトルを有するDependent側のマクロブロックである。参照元MBがある場合（ステップＳ１０７−Ｙｅｓ）、ステップＳ１０８に進み、参照元MBがない場合（ステップＳ１０７−Ｎｏ）、ステップＳ１０９に進む。
ステップＳ１０８で、ブロック抽出部１０８は、参照元MBが複数ある場合、エラーMBに類似すると推定される適切なマクロブロック（MB）を選択する。ステップＳ１０８の処理は、図１１を用いて後述する。
ステップＳ１０９で、ブロック抽出部１０８は、Base側のバッファメモリ１０４に、エラーMBを参照する同視点参照元MBがあるか否かを判定する。同視点参照元MBは、Base側のピクチャにおけるマクロブロックで、エラーMBを参照する動きベクトルを有するマクロブロックである。同視点参照元MBがある場合（ステップＳ１０９−Ｙｅｓ）、ステップＳ１１０に進み、同視点参照元MBがない場合（ステップＳ１０９−Ｎｏ）、ステップＳ１１２に進む。
ステップＳ１１０で、ブロック抽出部１０８は、同視点参照元MBが複数ある場合、エラーMBに類似すると推定される適切なマクロブロックを選択する。この選択処理は、ステップＳ１０８と同様であるので、図１１を用いて後述する。
ステップＳ１１１で、隠蔽部１０７は、前述したように、先行して可変長復号された動きベクトルを用いて、復号済みのピクチャの中から、エラーMBに類似すると推定されるマクロブロックを隠蔽処理（隠蔽処理Ａ）に利用する。なお、隠蔽部１０７は、ステップＳ１０８に続く場合、別視点であるDependent側で復号された復号済みのピクチャの中に含まれるマクロブロックを隠蔽処理に用いる。隠蔽部１０７は、ステップＳ１１０に続く場合、同視点であるBase側で復号された復号済みのピクチャの中に含まれるマクロブロックを隠蔽処理に用いる。
ステップＳ１１２で、隠蔽部１０７は、先行して可変長復号された動きベクトルにエラーMBを参照する動きベクトルがなければ、既知の隠蔽処理（隠蔽処理Ｂ）を行う。既知の隠蔽処理とは、例えば、エラーMBの周辺マクロブロックの動きベクトルが参照するマクロブロックを用いて隠蔽したり、１つ前に復号されたピクチャの中で、エラーMBと同一位置のマクロブロックを用いて隠蔽したりする。ステップＳ１１２の処理では、先行して可変長復号して得られた動きベクトルを用いない既知の隠蔽方法であれば、いずれの隠蔽方法を用いてもよい。
ステップＳ１１３で、画像復号部１０６は、前述した通り、マクロブロック単位で画像を復号する。
ステップＳ１１４で、動画像復号装置１００は、１ピクチャ分のマクロブロックを画像復号処理したか否かを判定する。１ピクチャ分終了していない場合（ステップＳ１１４−Ｎｏ）、ステップＳ１０４に戻り、次のマクロブロックの処理を行い、１ピクチャ分終了している場合（ステップＳ１１４−Ｙｅｓ）、ステップＳ１１５に進む。
画像復号部１０７で復号されたマクロブロック、又は隠蔽部１０７により隠蔽処理されたマクロブロックは、選択部１０９により、マクロブロックアドレスやピクチャの識別番号などで配列され、ピクチャ単位でピクチャメモリ１１０に記憶される。
ステップＳ１１５で、動画像復号装置１００は、符号化データに含まれる全てのピクチャを復号したか否かを判定する。全ピクチャの復号化が終了している場合（ステップＳ１１５−Ｙｅｓ）、動画像復号装置１００は復号処理を終了し、全ピクチャの復号処理が終了していない場合（ステップＳ１１５−Ｎｏ）、ステップＳ１０３に戻り、１ピクチャ分の復号処理を行う。
（Dependent側の復号処理）
次に、Dependent側の復号処理について説明する。図１０は、Dependent側の動画像復号処理の一例を示すフローチャートである。
ステップＳ２０１で、可変長復号部１２２は、取得部１０１により振り分けられたDependent側の符号化データを１ピクチャ分、画像復号部１２６による画像復号に先行して可変長復号する。可変長復号部１２２は、可変長復号して得られた動きベクトルや係数情報などの復号データをバッファメモリ１２４に記憶する。また、可変長復号部１２２は、エラー検出に必要なデータ、例えばマクロブロックアドレスなどをエラー検出部１２３に出力する。
ステップＳ２０２で、動画像復号装置１００は、バッファメモリ１２４に記憶された復号データが所定枚数のピクチャ分蓄積されたか否かを判定する。所定枚数のピクチャ分、復号データが蓄積された場合（Ｓ２０２−Ｙｅｓ）、ステップＳ２０３に進み、所定枚数分のピクチャが蓄積されていない場合（Ｓ２０２−Ｎｏ）、ステップＳ２０１に戻る。これにより、可変長復号部１２２は、画像復号部１２６の画像復号に先行して、所定枚数分のピクチャを可変長復号することができる。
ステップＳ２０３で、可変長復号部１２２は、所定枚数の次のピクチャを可変長復号する。可変長復号部１２２は、可変長復号して得られた動きベクトルや係数情報などの復号データをバッファメモリ１２４に記憶する。また、可変長復号部１２２は、エラー検出に必要なデータ、例えばマクロブロックアドレスなどをエラー検出部１２３に出力する。
ステップＳ２０４で、エラー検出部１２３は、可変長復号部１２２から取得したデータに基づいて、復号順の早いピクチャからエラー領域をマクロブロック単位で検出する。エラー検出部１２３は、例えば、マクロブロックアドレスの値の連続性が途切れることなどでエラーを検出できる。
ステップＳ２０５で、エラー検出部１２３は、検出対象のマクロブロックにエラーが発生したか否かを判定する。エラーが発生した場合（ステップＳ２０５−Ｙｅｓ）、ステップＳ２０６に進み、エラーが発生しなかった場合（ステップＳ２０５−Ｎｏ）、ステップＳ２１０に進む。
ステップＳ２０６で、ブロック抽出部１０８は、Dependent側のバッファメモリ１２４に、エラーMBを参照する同視点参照元MBがあるか否かを判定する。同視点参照元MBは、Dependent側のピクチャにおけるマクロブロックで、エラーMBを参照する動きベクトルを有するマクロブロックである。同視点参照元MBがある場合（ステップＳ２０６−Ｙｅｓ）、ステップＳ２０７に進み、同視点参照元MBがない場合（ステップＳ２０６−Ｎｏ）、ステップＳ２０９に進む。
ステップＳ２０７で、ブロック抽出部１０８は、同視点参照元MBが複数ある場合、エラーMBに類似すると推定される適切なマクロブロックを選択する。この選択処理は、図１１を用いて後述する。
ステップＳ２０８で、隠蔽部１２７は、前述したように、先行して可変長復号された動きベクトルを用いて、復号済みのピクチャの中から、エラーMBに類似すると推定されるマクロブロックを隠蔽処理（隠蔽処理Ａ）に利用する。なお、隠蔽部１２７は、同視点であるDependent側で復号された復号済みのピクチャの中に含まれるマクロブロックを隠蔽処理に用いる。
ステップＳ２０９で、隠蔽部１２７は、先行して可変長復号された動きベクトルにエラーMBを参照する動きベクトルがなければ、既知の隠蔽処理（隠蔽処理Ｂ）を行う。既知の隠蔽処理とは、例えば、エラーMBの周辺マクロブロックの動きベクトルが参照するマクロブロックを用いて隠蔽したり、１つ前に復号されたピクチャの中で、エラーMBと同一位置のマクロブロックを用いて隠蔽したりする。ステップＳ２０９の処理では、先行して可変長復号して得られた動きベクトルを用いない既知の隠蔽方法であれば、いずれの隠蔽方法を用いてもよい。
ステップＳ２１０で、画像復号部１２６は、前述した通り、マクロブロック単位で画像を復号する。
ステップＳ２１１で、動画像復号装置１００は、１ピクチャ分のマクロブロックを画像復号処理したか否かを判定する。１ピクチャ分終了していない場合（ステップＳ２１１−Ｎｏ）、ステップＳ２０４に戻り、次のマクロブロックの処理を行い、１ピクチャ分終了している場合（ステップＳ２１１−Ｙｅｓ）、ステップＳ２１２に進む。
画像復号部１２７で復号されたマクロブロック、又は隠蔽部１２７により隠蔽処理されたマクロブロックは、選択部１２９により、マクロブロックアドレスやピクチャの識別番号などで配列され、ピクチャ単位でピクチャメモリ１３０に記憶される。
ステップＳ２１２で、動画像復号装置１００は、符号化データに含まれる全てのピクチャを復号したか否かを判定する。全ピクチャの復号化が終了している場合（ステップＳ２１２−Ｙｅｓ）、動画像復号装置１００は復号処理を終了し、全ピクチャの復号処理が終了していない場合（ステップＳ２１２−Ｎｏ）、ステップＳ２０３に戻り、１ピクチャ分の復号処理を行う。
（選択処理）
次に、図９のステップＳ１０８やＳ１１０、図１０のステップＳ２０７に示した適切なマクロブロックの選択処理について説明する。いずれの処理も同様に行うことができるので、図１１ではステップＳ１０８について例を用いて説明することにする。
図１１は、適切なMBの選択処理の一例を示すフローチャートである。図１１に示す例は、参照元MBが複数ある場合であるが、同視点参照元MBが複数ある場合でも同様に適用できる。
ステップＳ３０１で、ブロック抽出部１０８は、参照元MBのMBタイプが両方向予測であるか否かを判定する。参照元MBのMBタイプが両方向予測である場合（ステップＳ３０１−Ｙｅｓ）、ステップＳ３０２に進み、参照元MBのMBタイプが両方向予測でない場合（ステップＳ３０１−Ｎｏ）、ステップＳ３０５に進む。
ステップＳ３０２で、ブロック抽出部１０８は、参照元MBが有する前方向動きベクトル（MV：Motion Vector）が参照するピクチャが、復号済みのピクチャか否かを判定する。このピクチャが復号済みのピクチャである場合（ステップＳ３０２−Ｙｅｓ）、ステップＳ３０３に進み、このピクチャが復号済みのピクチャでない場合（ステップＳ３０２−Ｎｏ）、ステップＳ３０５に進む。なお、ブロック抽出部１０８は、例えば、視差MBを有するピクチャよりも復号順が前であれば復号済みであると判定すればよい。
ステップＳ３０３で、ブロック抽出部１０８は、差分係数（係数情報）や量子化スケールから計算される評価値が、所定値よりも小さいか否かを判定する。所定値の初期値は十分大きい値が設定されている。ブロック抽出部１０８は、評価対象の評価値が所定値よりも小さい値と判定した場合、その評価値を所定値に更新する。評価値の算出の仕方は、前述した評価計算の（２）や（３）の計算を用いればよい。評価値が所定値よりも小さい場合（ステップＳ３０３−Ｙｅｓ）、ステップＳ３０４に進み、評価値が所定値よりも大きい場合（ステップＳ３０３−Ｎｏ）、ステップＳ３０５に進む。
ステップＳ３０４で、ブロック抽出部１０８は、ステップＳ３０３で評価値が小さいと判定されたマクロブロックを適切な参照元MBとして更新する。
ステップＳ３０５で、ブロック抽出部１０８は、エラーMBを参照する参照元MBが他にあるか否かを判定する。参照元MBが他にある場合（ステップＳ３０５−Ｙｅｓ）、ステップＳ３０１に戻り、参照元MBが他にない場合（ステップＳ３０５−Ｎｏ）、最適な参照元MBの選択処理を終了する。この処理で最終的に更新された参照元MBが適切な参照元MBである。これにより、参照元MBが複数ある場合、適切な参照元MBを選択することができる。適切な参照元MBとは、エラーMBに一番類似すると思われるMBである。
以上、実施例１によれば、Base側のピクチャにエラー領域が発生した場合でも、Dependent側の復号済みのピクチャ内で、エラー領域に類似する領域を推定し、推定された領域のデータを用いてエラーが発生した領域を隠蔽することができる。この処理は、可変長符号化された符号化データを、画像復号されるよりも先行して数ピクチャ分可変長復号することで実現できる。
実施例１では、Base側のエラーMBを参照する視差情報を用いて、Dependent側でエラーMBに類似する視差MBを抽出する。この視差MBは、この時点ではまだ復号されていない。よって、動画像復号装置１００は、この視差MBを参照する参照元MBを特定し、この参照元MBが有する動きベクトルを用いて、視差MBに類似する被参照MBを復号済みピクチャから抽出する。この被参照MBは、視差MBに類似し、視差MBはエラーMBに類似するため、被参照MBは、エラーMBに類似することになる。よって、動画像復号装置１００は、この被参照MBを用いてエラーMBの隠蔽処理を行うことで、エラー耐性を高めることができる。また、発生符号量の観点から、Dependent画像は、Base画像よりもエラーが発生しにくいので、Dependent画像から被参照MBを抽出すれば、エラー耐性を向上させることができる。
また、復号対象となる動画像の符号化データは、例えば、MPEG(Moving Picture Expert Group)−２、H.264などに基づく多視点符号化技術に従って符号化されたデータである。また、図３に示した動画像復号装置１００が有する各部は、例えば、それぞれ別個の回路とすることができる。また、動画像復号装置１００は、動画像復号装置１００が有する各部の機能を有する回路が集積された集積回路であってもよい。また、動画像復号装置１００が有する各部は、動画像復号装置１００が有する一つ又は複数のプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールであってもよい。
また、図３に示す例では、Base側の各部とDependent側の各部とを分ける構成を示したが、対応するそれぞれの部を一つで構成し、内部処理でBase側とDependent側とを分けて処理するようにしてもよい。例えば、可変長復号部を１つにし、この可変長復号部がBase側とDependent側の符号化データをそれぞれ可変長復号するようにすればよい。
［実施例２］
次に、実施例２における動画像復号装置１００について説明する。実施例２は、エラーMBを参照する視差情報が取得できない場合に適用する。エラーMBを参照する視差情報が取得できない場合とは、エラー領域が大きく、視差情報もエラーで欠落した場合などである。また、そもそもエラーMBを参照する視差情報がない場合も含まれる。実施例２における動画像復号装置１００は、図３に示す構成と同様の構成を有する。ただし、実施例１と異なる構成は、ブロック抽出部１０８の構成である。以下、ブロック抽出部１０８の構成について説明する。
なお、立体映像においては視差が存在するものの、Base側の画像とDependent側の画像とは、基本的に似通った映像を生成していると考えられる。この考えに基づき、実施例２では、Dependent画像において、エラーMBと同等の位置のマクロブロックの情報を用いて、エラー隠蔽処理を行う。
＜構成＞
図１２は、実施例２におけるブロック抽出部１０８の構成の一例を示すブロック図である。ブロック抽出部１０８は、同位置ブロック抽出部５０１、動きベクトル計算部５０２、参照ブロック抽出部５０３を有する。まず、Base側のエラー隠蔽処理について説明する。Dependent側のエラー隠蔽処理は実施例１と同様にすればよい。
同位置ブロック抽出部５０１は、Base側のエラーMBを含むピクチャと同じ時刻に撮像されたピクチャをDependent側から特定し、このDependent側のピクチャの中から、エラーMBと同じ位置にあるマクロブロックを抽出する。以下、このエラーMBと同じ位置にあるマクロブロックを同位置MBと呼ぶ。同位置ブロック抽出部５０１は、抽出した同位置MBのマクロブロックアドレスなどの情報を動きベクトル計算部５０２に出力する。
動きベクトル計算部５０２は、同位置MBを参照する動きベクトル又は同位置MBが有する動きベクトルを用いて、隠蔽動きベクトルを計算する。隠蔽動きベクトルの計算の詳細は、図１３、１４を用いて後述する。動きベクトル計算部５０２は、計算した隠蔽動きベクトルを参照ブロック抽出部５０３に出力する。
参照ブロック抽出部５０３は、取得した隠蔽動きベクトルが指す復号済みピクチャのマクロブロック（被参照MB）のマクロブロックアドレス、及びそのマクロブロックを含むピクチャの識別番号を抽出し、隠蔽部１０７に出力する。
隠蔽部１０７は、隠蔽動きベクトルが参照するマクロブロックを用いて、エラーMBの隠蔽処理を行う。
（隠蔽動きベクトルの具体例）
次に、エラーMB、同位置MB、参照元MB、被参照MBの関係について説明し、隠蔽動きベクトルの計算を具体的に説明する。図１３は、エラーMB、同位置MB、参照元MB、被参照MBの関係を示す図である。
例えば、Base側の復号順３のピクチャP5 ６０１内のMB６０２の情報がエラーにより欠落した場合に、Dependent側の同じ復号順３のピクチャP5'内で、Base画像のエラーMB６０２と同じ位置にあるマクロブロック（同位置MB）６０３が存在する。
ピクチャP5'は、Base側ピクチャP5の直後に復号されるピクチャであるので、ピクチャP5'の復号画像は、ピクチャP5の復号時点では存在しない。
一方、Dependent側のBピクチャの可変長復号を先行して行なっているので、ピクチャP5'の同位置MB６０３を参照している参照元MB６０４のベクトル情報６１１、６１２がバッファメモリ１２４に存在する。この参照元MB６０４のベクトル情報６１１、６１２を用いて、動きベクトル計算部５０２は、仮隠蔽動きベクトル(MVC')６１３を生成する。
図１３に示す例は、ピクチャB4'の参照元MB６０４の後方向ベクトルMVB'６１１が同位置MB６０３を指していたとすると、参照元MB６０４の前方向ベクトルFMV'６１２を用いて、仮隠蔽動きベクトル６１３は、前述した式（１）により求められる。
動きベクトル計算部５０２は、仮隠蔽動きベクトル６１３を隠蔽動きベクトルとしてもよい。この場合、ピクチャI2'のブロック６０５が被参照MBとなる。また、仮隠蔽動きベクトル６１３を隠蔽動きベクトル６１４として、エラーMB６０２から参照させてもよい。この場合、エラーMBの位置から動きベクトル６１４が指すピクチャI2のブロック６０６が被参照MBとなる。
図１３に示す例は、視差情報を用いないので、多視点映像符号化技術が視差情報を用いない場合であっても適用できる。
図１４は、エラーMB、同位置MB、被参照MBの関係を示す図である。例えば、Base側の復号順３のピクチャP5 ７０１内のMB７０２の情報がエラーにより欠落した場合に、Dependent側の同じ復号順３のピクチャP5'内で、Base画像のエラーMB７０２と同じ位置にあるマクロブロック（同位置MB）７０３が存在する。
ピクチャP5'は、Base側ピクチャP5の直後に復号されるピクチャであるので、ピクチャP5'の復号画像はピクチャP5の復号時点では存在しない。
一方、Dependent側のBピクチャの可変長復号を先行して行なっているので、ピクチャP5'の同位置MB７０３が有する動きベクトル（MVO）７１２がバッファメモリ１２４に存在する。この動きベクトル７１２が参照するピクチャI2'内のブロック７０４は、視差情報（MVD2）７１３を有するとする。ここで、動きベクトル計算部５０２は、動きベクトル７１２を隠蔽動きベクトルとし、ブロック７０４を被参照MBとしてもよい。
また、動きベクトル計算部５０２は、この視差情報７１３を同位置MB７０３に適用し、視差情報７１３分同位置MB７０３からずれたマクロブロック７０７を特定する。このマクロブロック７０７にピクチャI2'を参照する動きベクトル７１４があった場合、動きベクトル計算部５０２は、この動きベクトル７１４を隠蔽用動きベクトルとし、この動きベクトル７１４が参照するブロック７０６を被参照MBとしてもよい。
また、動きベクトル計算部５０２は、動きベクトル７１４と同じ動きベクトル７１５をエラーMB７０２に適用し、この動きベクトル７１５を隠蔽動きベクトルとし、この動きベクトル７１５が参照するブロック７０８を被参照MBとしてもよい。
評価部５１０は、実施例１と同様の処理を行い、対象のマクロブロックが複数ある場合に１つのマクロブロックを選択する。
以上、実施例２によれば、エラーMBを参照する視差情報が取得できない場合でも、Base側のエラーMBを、Dependent側のマクロブロックを用いてエラー隠蔽処理を行うことができる。また、実施例２によれば、視差情報を用いない多視点映像符号化により符号化されたデータであっても、図１３に示す処理を適用できる。
［実施例３］
次に、実施例１、２で説明した動画像復号装置１００を有する映像再生装置について説明する。図１５は、映像再生装置８００の構成の一例を示すブロック図である。図１５に示す映像再生装置８００は、入力部８０１、信号処理部８０２、表示部８０３、音声出力部８０４を有する。
入力部８０１は、例えばアンテナ８０５と接続され、アンテナ８０５を介して、無線電波により搬送された映像信号を受信する回路を有する。入力部８０１は、受け取った映像信号をアナログ−デジタル変換する。入力部８０１は、デジタル化された映像信号を搬送波の変調方式に応じた復調方式で復調する。入力部８０１は、その復調された映像信号に対して、前方誤り訂正などの誤り訂正処理を行う。入力部８０１は、復調され、かつ誤り訂正処理された映像信号を信号処理部８０２に出力する。
信号処理部８０２は、例えば１個又は複数個のプロセッサ及びその周辺回路を有する。信号処理部８０２は、映像信号に含まれる符号化された動画像の符号化データ及びオーディオ信号を復号する。このとき、動画像の符号化データは、多視点映像符号化された符号化データとする。信号処理部８０２は、復号された動画像データを表示部８０３に出力する。信号処理部８０２は、復号されたオーディオ信号を音声出力部８０４に出力する。
表示部８０３は、例えば液晶ディスプレイなどの表示装置である。表示部８０３は、信号処理部８０２から取得した動画像データを表示する。
音声出力部８０４は、例えばスピーカである。音声出力部８０４は、信号処理部８０２から取得したオーディオ信号を出力する。
図１６は、信号処理部８０２の構成の一例を示すブロック図である。図１６に示す信号処理部８０２は、デマルチプレクサ８１１、動画像復号部８１２、音声復号部８１３を有する。
デマルチプレクサ８１１は、映像信号を、動画像の符号化データと、符号化されたオーディオ信号とに分離する。デマルチプレクサ８１１は、符号化データをピクチャ単位で動画像復号部８１２に出力する。デマルチプレクサ８１１は、符号化されたオーディオ信号を音声復号部８１３に出力する。
動画像復号部８１２は、上記各実施例で説明した動画像復号装置１００とすることができ、デマルチプレクサ８１１から取得した動画像の符号化データを復号する。動画像復号部８１２は、符号化データに含まれる何れかのピクチャにエラー領域が発生した場合、エラーが発生した領域を前述したように隠蔽処理を行う。動画像復号部８１２は、復号された動画像データを表示部８０３に出力する。
音声復号部８１３は、デマルチプレクサ８１１から取得した、符号化されたオーディオ信号を、その符号化方式に応じた復号方法を用いて復号する。その符号化方式として、例えば、MPEG-2 AAC又はMPEG-4 AACなどがある。
以上、実施例３によれば、映像再生装置８００は、実施例１、２で説明した動画像復号装置を用いているので、エラーの耐性を高めることができ、伝送エラーなどによる画質の劣化を抑制することができる。
［実施例４］
次に、実施例１、２で説明した動画像復号装置１００の処理を有する携帯端末について説明する。図１７は、携帯端末９００の構成の一例を示すブロック図である。図１７に示す携帯端末９００は、入出力コントローラ９０１、ＣＰＵ（Central Processing Unit）９０２、補助記憶部９０３、主記憶部９０４、無線通信回路９０５、アンテナ９０６、ディスプレイ９０７を有する。
入出力コントローラ９０１は、入力装置（携帯端末９００のキー入力部など）からの入力を制御する。入出力コントローラ９０１は、ディスプレイ（モニタなど）９０７への出力を制御する。ＣＰＵ９０２は、様々なプログラムを実行する。ＣＰＵ９０２は、いわゆるプロセッサであり、各部の処理を制御する。
補助記憶部９０３及び主記憶部９０４は、プログラム及びプログラムの実行に必要なデータを格納する。補助記憶部９０３は、前述した動画像復号装置１００の処理を行う動画像復号プログラムを有する。無線通信回路９０５は、アンテナ９０６を介したネットワークによる通信を行う。アンテナ９０６は、無線信号や映像信号の送受信を行う。
ＣＰＵ９０２は、アンテナ９０６により受信された動画像の符号化データを、無線通信回路９０５を介して取得する。ＣＰＵ９０２は、前述した動画像復号プログラムを主記憶９０４上にロードし、このプログラムを実行することで、実施例１、２で説明したエラー隠蔽処理を行うことができる。
以上、実施例４によれば、携帯端末９００は、実施例１、２で説明した動画像復号装置の処理を実行するので、エラーの耐性を高めることができ、伝送エラーなどによる画質の劣化を抑制することができる。
なお、多視点映像符号化において、Base側の画像を２Dの映像として復号再生する場合でも、敢えて再生しないDependent側の画像からエラー隠蔽処理を行うことで、エラー耐性を高めることができる。
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。
なお、以上の実施例に関し、さらに以下の付記を開示する。
（付記１）
複数の視点でそれぞれ得られる各視点の動画像の各ピクチャが所定領域毎に符号化された符号化データを含む多視点符号化データを取得する取得部と、
前記多視点符号化データに含まれる第１視点の符号化データを所定領域毎に復号する第１復号部と、
前記多視点符号化データに含まれる第２視点の符号化データを所定領域毎に復号する第２復号部と、
前記第１復号部により復号される複数の所定領域のうち、復号不可能な所定領域を検出する検出部と、
前記検出部により検出された所定領域を、前記第２復号部による復号済みの所定領域の復号データを用いて隠蔽する隠蔽部と、
を備える動画像復号装置。
（付記２）
前記第２視点の符号化データは、前記第１視点の符号化データの復号ピクチャを参照ピクチャとすることが可能な符号化方式を用いて符号化され、
前記第２復号部は、
前記第１復号部により復号された復号ピクチャが参照ピクチャである場合、前記参照ピクチャとなる復号ピクチャを用いて前記第２視点の符号化データの所定領域を復号し、
前記隠蔽部は、
前記参照ピクチャとなる復号ピクチャ内に、前記検出部により検出された所定領域がある場合、前記第２復号部による復号済みの所定領域の復号データを用いて、前記検出された所定領域を隠蔽する付記１記載の動画像復号装置。
（付記３）
前記復号不可能な所定領域を参照する視差情報を前記第２視点の符号化データから抽出する抽出部と、
前記抽出された視差情報を有する所定領域を参照する第１動きベクトルを有する参照元領域が第２動きベクトルを有する場合、前記第１及び第２動きベクトルに基づき、隠蔽用の動きベクトルを算出する算出部と、をさらに備え、
前記隠蔽部は、
前記隠蔽用の動きベクトルが参照する第２視点の復号ピクチャの所定領域の復号データを用いて、前記検出された所定領域を隠蔽する付記２記載の動画像復号装置。
（付記４）
前記第２復号部は、
前記第１復号部が前記復号不可能な領域を含む第１ピクチャを復号する前に、前記第１ピクチャに対応する前記第２視点の符号化データに含まれる第２ピクチャ、及び前記第２ピクチャより復号順が後の複数のピクチャから動きベクトル及び視差情報を復号する付記３記載の動画像復号装置。
（付記５）
前記算出部は、
前記参照元領域が複数ある場合、前記第２動きベクトルが復号済みピクチャを参照する参照元領域を選択する付記３又は４いずれか一項に記載の動画像復号装置。
（付記６）
前記算出部は、
前記第２動きベクトルが復号済みピクチャを参照する参照元領域が複数ある場合、前記参照元領域が有する差分係数又は量子化スケールから計算される評価値に基づいて参照元領域を選択する付記５記載の動画像復号装置。
（付記７）
前記復号不可能な所定領域を含むピクチャと同時刻に撮像された第２視点のピクチャに含まれる所定領域のうち、前記復号不可能な所定領域と同一位置にある所定領域を特定する特定部をさらに備え、
前記隠蔽部は、
前記特定された所定領域が有する第３動きベクトルを隠蔽用の動きベクトルとし、第１視点の復号ピクチャの所定領域のうち、前記隠蔽用の動きベクトルが参照する所定領域を用いて、前記検出された所定領域を隠蔽する付記１記載の動画像復号装置。
（付記８）
前記復号不可能な所定領域を含むピクチャと同時刻に撮像された第２視点のピクチャに含まれる所定領域のうち、前記復号不可能な所定領域と同一位置にある所定領域を特定する特定部と、
前記特定された所定領域を参照する第４動きベクトルを有する参照元領域が第５動きベクトルを有する場合、前記第４及び第５動きベクトルに基づき、隠蔽用の動きベクトルを算出する算出部と、をさらに備え、
前記隠蔽部は、
第１視点の復号ピクチャの所定領域のうち、前記隠蔽用の動きベクトルが参照する所定領域を用いて、前記検出された所定領域を隠蔽する付記１記載の動画像復号装置。
（付記９）
動画像復号装置における動画像復号方法であって、
複数の視点でそれぞれ得られる各視点の動画像の各ピクチャが所定領域毎に符号化された符号化データを含む多視点符号化データを取得し、
前記多視点符号化データに含まれる第１視点の符号化データを所定領域毎に復号し、
前記多視点符号化データに含まれる第２視点の符号化データを所定領域毎に復号し、
前記第１の視点の符号化データが復号される複数の所定領域のうち、復号不可能な所定領域を検出し、
前記検出された所定領域を、前記第２視点の符号化データが復号された復号済みの所定領域の復号データを用いて隠蔽する動画像復号方法。
（付記１０）
複数の視点でそれぞれ得られる各視点の動画像の各ピクチャが所定領域毎に符号化された符号化データを含む多視点符号化データを取得する取得部と、
前記多視点符号化データに含まれる第１視点の符号化データを所定領域毎に復号する第１復号部と、
前記多視点符号化データに含まれる第２視点の符号化データを所定領域毎に復号する第２復号部と、
前記第１復号部により復号される複数の所定領域のうち、復号不可能な所定領域を検出する検出部と、
前記検出部により検出された所定領域を、前記第２復号部による復号済みの所定領域の復号データを用いて隠蔽する隠蔽部と、
を備える集積回路。
１０１ 取得部
１０２、１２２ 可変長復号部
１０３、１２３ エラー検出部
１０４、１２４ バッファメモリ
１０５、１２５ 選択部
１０６、１２６ 画像復号部
１０７、１２７ 隠蔽部
１０８ ブロック抽出部
１０９、１２９ 選択部
１１０、１３０ ピクチャメモリ
１４１ 視差情報抽出部
１４２、５０２ 動きベクトル計算部
１４３、５０３ 参照ブロック抽出部
１５０ 評価部
５０１ 同位置ブロック抽出部
８００ 映像再生装置
９００ 携帯端末

Claims (8)

  1. 複数の視点でそれぞれ得られる各視点の動画像の各ピクチャが所定領域毎に符号化された符号化データを含む多視点符号化データを取得する取得部と、
    前記多視点符号化データに含まれる第１視点の符号化データを所定領域毎に復号する第１復号部と、
    前記多視点符号化データに含まれる第２視点の符号化データを所定領域毎に復号する第２復号部と、
    前記第１復号部により復号される複数の所定領域のうち、復号不可能な所定領域を検出する検出部と、
    前記検出部により検出された所定領域を、前記第２復号部による復号済みの所定領域の復号データを用いて隠蔽する隠蔽部と、
    を備える動画像復号装置。
  2. 前記第２視点の符号化データは、前記第１視点の符号化データの復号ピクチャを参照ピクチャとすることが可能な符号化方式を用いて符号化され、
    前記第２復号部は、
    前記第１復号部により復号された復号ピクチャが参照ピクチャである場合、前記参照ピクチャとなる復号ピクチャを用いて前記第２視点の符号化データの所定領域を復号し、
    前記隠蔽部は、
    前記参照ピクチャとなる復号ピクチャ内に、前記検出部により検出された所定領域がある場合、前記第２復号部による復号済みの所定領域の復号データを用いて、前記検出された所定領域を隠蔽する請求項１記載の動画像復号装置。
  3. 前記復号不可能な所定領域を参照する視差情報を前記第２視点の符号化データから抽出する抽出部と、
    前記抽出された視差情報を有する所定領域を参照する第１動きベクトルを有する参照元領域が第２動きベクトルを有する場合、前記第１及び第２動きベクトルに基づき、隠蔽用の動きベクトルを算出する算出部と、をさらに備え、
    前記隠蔽部は、
    前記隠蔽用の動きベクトルが参照する第２視点の復号ピクチャの所定領域の復号データを用いて、前記検出された所定領域を隠蔽する請求項２記載の動画像復号装置。
  4. 前記第２復号部は、
    前記第１復号部が前記復号不可能な所定領域を含む第１ピクチャを復号する前に、前記第１ピクチャに対応する前記第２視点の符号化データに含まれる第２ピクチャ、及び前記第２ピクチャより復号順が後の複数のピクチャから動きベクトル及び視差情報を復号する請求項３記載の動画像復号装置。
  5. 前記算出部は、
    前記参照元領域が複数ある場合、前記第２動きベクトルが復号済みピクチャを参照する参照元領域を選択する請求項３又は４いずれか一項に記載の動画像復号装置。
  6. 前記算出部は、
    前記第２動きベクトルが復号済みピクチャを参照する参照元領域が複数ある場合、前記参照元領域が有する差分係数又は量子化スケールから計算される評価値に基づいて参照元領域を選択する請求項５記載の動画像復号装置。
  7. 動画像復号装置における動画像復号方法であって、
    複数の視点でそれぞれ得られる各視点の動画像の各ピクチャが所定領域毎に符号化された符号化データを含む多視点符号化データを取得し、
    前記多視点符号化データに含まれる第１視点の符号化データを所定領域毎に復号し、
    前記多視点符号化データに含まれる第２視点の符号化データを所定領域毎に復号し、
    前記第１の視点の符号化データが復号される複数の所定領域のうち、復号不可能な所定領域を検出し、
    前記検出された所定領域を、前記第２視点の符号化データが復号された復号済みの所定領域の復号データを用いて隠蔽する動画像復号方法。
  8. 複数の視点でそれぞれ得られる各視点の動画像の各ピクチャが所定領域毎に符号化された符号化データを含む多視点符号化データを取得する取得部と、
    前記多視点符号化データに含まれる第１視点の符号化データを所定領域毎に復号する第１復号部と、
    前記多視点符号化データに含まれる第２視点の符号化データを所定領域毎に復号する第２復号部と、
    前記第１復号部により復号される複数の所定領域のうち、復号不可能な所定領域を検出する検出部と、
    前記検出部により検出された所定領域を、前記第２復号部による復号済みの所定領域のデータを用いて隠蔽する隠蔽部と、
    を備える集積回路。
JP2010212711A 2010-09-22 2010-09-22 動画像復号装置、動画像復号方法、及び集積回路 Expired - Fee Related JP5531881B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010212711A JP5531881B2 (ja) 2010-09-22 2010-09-22 動画像復号装置、動画像復号方法、及び集積回路
US13/220,965 US9210448B2 (en) 2010-09-22 2011-08-30 Moving picture decoding device, moving picture decoding method and integrated circuit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010212711A JP5531881B2 (ja) 2010-09-22 2010-09-22 動画像復号装置、動画像復号方法、及び集積回路

Publications (2)

Publication Number Publication Date
JP2012070186A true JP2012070186A (ja) 2012-04-05
JP5531881B2 JP5531881B2 (ja) 2014-06-25

Family

ID=45817747

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010212711A Expired - Fee Related JP5531881B2 (ja) 2010-09-22 2010-09-22 動画像復号装置、動画像復号方法、及び集積回路

Country Status (2)

Country Link
US (1) US9210448B2 (ja)
JP (1) JP5531881B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012119844A (ja) * 2010-11-30 2012-06-21 Mitsubishi Electric Corp エラーコンシールメント装置
JP2013106273A (ja) * 2011-11-15 2013-05-30 Fujitsu Semiconductor Ltd 画像処理装置、及び画像処理方法
JP2018087849A (ja) * 2016-11-28 2018-06-07 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2825730C (en) * 2011-02-10 2018-01-16 Panasonic Corporation Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
WO2013145327A1 (ja) * 2012-03-30 2013-10-03 富士通株式会社 生成装置、生成プログラムおよび生成方法
JP2014027448A (ja) * 2012-07-26 2014-02-06 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP6986721B2 (ja) 2014-03-18 2021-12-22 パナソニックＩｐマネジメント株式会社 復号装置及び符号化装置
US20150271514A1 (en) * 2014-03-18 2015-09-24 Panasonic Intellectual Property Management Co., Ltd. Prediction image generation method, image coding method, image decoding method, and prediction image generation apparatus

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4470431B2 (ja) * 2003-10-01 2010-06-02 ソニー株式会社 データ処理装置およびその方法
US8204133B2 (en) * 2004-10-12 2012-06-19 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding multi-view video using image stitching
JP4509809B2 (ja) 2005-01-21 2010-07-21 パイオニア株式会社 ディジタル画像復号装置及び方法
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
JP4624308B2 (ja) 2006-06-05 2011-02-02 三菱電機株式会社 動画像復号装置及び動画像復号方法
CN102325257A (zh) * 2007-07-20 2012-01-18 富士胶片株式会社 图像处理设备和图像处理方法
KR20100058471A (ko) * 2007-08-15 2010-06-03 톰슨 라이센싱 다시점 코딩된 비디오에서의 오류 은폐를 위한 방법 및 장치
JP4927928B2 (ja) 2009-11-30 2012-05-09 パナソニック株式会社 多視点動画像復号装置及び多視点動画像復号方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012119844A (ja) * 2010-11-30 2012-06-21 Mitsubishi Electric Corp エラーコンシールメント装置
JP2013106273A (ja) * 2011-11-15 2013-05-30 Fujitsu Semiconductor Ltd 画像処理装置、及び画像処理方法
JP2018087849A (ja) * 2016-11-28 2018-06-07 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
US20120069902A1 (en) 2012-03-22
US9210448B2 (en) 2015-12-08
JP5531881B2 (ja) 2014-06-25

Similar Documents

Publication Publication Date Title
JP5531881B2 (ja) 動画像復号装置、動画像復号方法、及び集積回路
KR101662963B1 (ko) 3d 비디오 코딩을 위한 장치, 방법 및 컴퓨터 프로그램
US9900576B2 (en) Simplifications on disparity vector derivation and motion vector prediction in 3D video coding
US9569819B2 (en) Coding of depth maps
JP5970609B2 (ja) ３ｄビデオ符号化における統一された視差ベクトル導出の方法と装置
US20140376638A1 (en) Moving picture coding device, moving picture coding method, and moving picture coding program, and moving picture decoding device, moving picture decoding method, and moving picture decoding program
US9350972B2 (en) Encoding device and encoding method, and decoding device and decoding method
US20110044550A1 (en) Inter-view strip modes with depth
US20100201870A1 (en) System and method for frame interpolation for a compressed video bitstream
US9105076B2 (en) Image processing apparatus, image processing method, and program
CN109068143B (zh) 视频数据解码方法和视频数据解码设备
CN114631318A (zh) 应用双向预测时推导用于加权平均的权重索引信息的图像解码方法和设备
CN114145022A (zh) 推导双向预测的权重索引信息的图像解码方法及其装置
US20140036032A1 (en) Image processing device, image processing method, and program
CN114270835A (zh) 基于默认合并模式推导预测样本的图像解码方法及其装置
US8364019B2 (en) Video decoding device and video decoding method
CN114208168A (zh) 视频或图像编码系统中的帧间预测
JP2015536109A (ja) ビデオ信号処理方法及び装置
CN114342405A (zh) 图像解码方法和用于该图像解码方法的装置
KR101720320B1 (ko) 다중 스트림 기반 3차원 영상의 에러 보정 방법 및 장치
AU2020347025A1 (en) Image encoding/decoding method and device for performing bdof, and method for transmitting bitstream
CN114375573A (zh) 使用合并候选推导预测样本的图像解码方法及其装置
CN114270821A (zh) 包括通过应用确定的预测模式来生成预测样本的图像解码方法及其装置
CN114097240A (zh) 基于双向预测的图像/视频编码方法和装置
Micallef et al. Error concealment techniques for H. 264/MVC encoded sequences

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130702

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131210

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140407

R150 Certificate of patent or registration of utility model

Ref document number: 5531881

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees