JP2014042340A

JP2014042340A - マルチビュー符号化ビデオにおけるエラー隠蔽方法及び装置

Info

Publication number: JP2014042340A
Application number: JP2013225204A
Authority: JP
Inventors: Pervin Bivas Panduit; パンディット，パーヴィン，ビバス; Peng Yin; イン，ペン
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2007-08-15
Filing date: 2013-10-30
Publication date: 2014-03-06
Anticipated expiration: 2028-08-11
Also published as: CN101779471A; EP2181549A2; JP5677548B2; WO2009023156A3; BRPI0814843A2; KR20150006488A; US20100150248A1; CN103428504A; WO2009023156A2; KR20100058471A; CN103428504B; KR101618344B1; JP2010537487A; JP5452487B2; CN101779471B

Abstract

【課題】マルチビュー符号化ビデオにおけるエラー隠蔽方法及び装置を提供する。
【解決手段】デコーダは、ビュー間ピクチャ情報とビュー間従属関係情報との少なくとも１つに基づきエラー隠蔽を用いてマルチビュービデオコンテンツを復号化する装置であって、現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記エラー隠蔽は、前記現在ピクチャの隠蔽ピクチャとして他のビューからのピクチャをコピーすることを含む。
【選択図】図１

Description

［関連出願の相互参照］
本出願は、参照することによりその全体がここに援用される、２００７年８月１５日に出願された米国仮出願第６０／９５５，８９９号の利益を主張する。
［技術分野］
本原理は、一般にビデオ復号化に関し、より詳細にはマルチビュー符号化ビデオにおけるエラー隠蔽方法及び装置に関する。

マルチビュービデオ符号化スキームは、高い符号化効率を取得するため、又は３次元（３Ｄ）テレビ、自由視点テレビなどの特定のアプリケーションをサポートするため組み合わされる複数の異なるカメラからのピクチャによるビデオ符号化システムである。多数のビューのロウバストな送信が常に保証されるとは限らず、従来のシングルビュー符号化において実行されたものと同様に欠落又は損傷したピクチャを隠蔽するための構成が必要とされる。

シングルビュー符号化を解決する複数の従来技術によるエラー隠蔽アプローチが存在する。おおまかには、これらの技術を空間誤り訂正（ＥＣ）、時間誤り訂正又は結合的な空間時間誤り訂正として分類することが可能である。

従来技術の上記及び他の欠点及び問題点が、マルチビュー符号化ビデオにおけるエラー隠蔽方法及び装置に関する本原理により解決される。

本原理の一態様によると、ビュー間ピクチャ情報とビュー間従属関係情報との少なくとも１つに基づきエラー隠蔽を用いてマルチビュービデオコンテンツを復号化するデコーダを有する装置が提供される。

本原理の他の態様によると、ビュー間ピクチャ情報とビュー間従属関係情報との少なくとも１つに基づきエラー隠蔽を用いてマルチビュービデオコンテンツを復号化するステップを有する方法が提供される。

本原理の上記及び他の態様、特徴及び効果は、添付した図面に関連して参照される以下の実施例の詳細な説明から明らかになるであろう。

図１は、本原理の一実施例による本原理が適用可能な一例となるマルチビュービデオ符号化（ＭＶＣ）エンコーダのブロック図である。図２は、本原理の一実施例による本原理が適用可能な一例となるマルチビュービデオ符号化（ＭＶＣ）デコーダのブロック図である。図３は、本原理の一実施例による本原理が適用可能な８つのビューを有するマルチビュービデオ符号化システムの時間優先符号化構成の図である。図４は、本原理の一実施例によるマルチビュービデオ符号化における一例となるエラー隠蔽方法のフロー図である。図５は、本原理の一実施例によるマルチビュービデオ符号化における他の例となるエラー隠蔽方法のフロー図である。図６は、本原理の一実施例によるマルチビュービデオ符号化における他の例となるエラー隠蔽方法のフロー図である。図７は、本原理の一実施例によるマルチビュービデオ符号化における他の例となるエラー隠蔽方法のフロー図である。図８は、本原理の一実施例によるマルチビュービデオ符号化における他の例となるエラー隠蔽方法のフロー図である。図９は、本原理の一実施例によるマルチビュービデオ符号化における他の例となるエラー隠蔽方法のフロー図である。図１０は、本原理の一実施例によるマルチビュービデオ符号化における他の例となるエラー隠蔽方法のフロー図である。

本原理は、マルチビュー符号化ビデオにおけるエラー隠蔽方法及び装置に関する。

本開示では、本原理が説明される。従って、ここで明示的には説明又は図示されないが、本原理を実現し、その趣旨及び範囲内に含まれる各種構成を当業者が創出できることが理解されるであろう。

ここに記載される全ての具体例及び条件言語は、読者が本原理及び発明者が従来技術にさらに貢献した概念を理解するのに役立つため、教育的な目的のためのものであり、具体的に記載される具体例及び条件に限定されるものでないと解釈されるべきである。

さらに、本原理の態様及び実施例と共に、その具体例を記載するここでのすべての記述は、それの構成的及び機能的に均等なものを含むものである。さらに、このような均等なものは、現在知られている均等なものと共に、将来開発される均等なもの、すなわち、構成にかかわらず同一の機能を実行する任意の開発された要素を含むことが意図される。

従って、例えば、ここに与えられるブロック図は本原理を実現する例示的な回路の概念図を表すことが、当業者により理解されるであろう。同様に、フローチャート、フロー図、状態遷移図、擬似コードなどが、コンピュータ可読媒体により実質的に表現され、コンピュータ又はプロセッサが明示的に示されているかにかかわらずコンピュータ又はプロセッサにより実行される各種処理を表すことが理解されるであろう。

図面に示される各種要素の機能は、専用のハードウェアと共に、適切なソフトウェアに関連してソフトウェアを実行可能なハードウェアの利用を介して提供されてもよい。プロセッサにより提供されると、これらの機能は、単一の専用プロセッサ、単一の共有プロセッサ又はその一部が共有可能な複数の個別のプロセッサにより提供されてもよい。さらに、“プロセッサ”又は“コントローラ”という用語の明示的使用は、ソフトウェアを実行可能なハードウェアのみを意味すると解釈されるべきでなく、暗黙的には以下に限定されるものでないが、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを格納するためのＲＯＭ（Ｒｅａｄ−ＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）及び不揮発性ストレージを含むものであってもよい。

他のハードウェア、従来及び／又はカスタムハードウェアがまた含まれてもよい。同様に、図示される何れもスイッチも単なる概念的なものである。それらの機能は、プログラム論理の処理を介して、専用論理を介して、プログラム制御及び専用論理の相互作用を介して、又は手動により実行されてもよく、特定の技術は、本記載からより具体的に理解されるものとして実践者により選択可能である。

請求項では、指定された機能を実行する手段として表される何れかの要素は、例えば、ａ）当該機能を実行する各回路要素の組み合わせ、又は当該機能を実行するソフトウェアを実行するための適切な回路と組み合わされたファームウェア、マイクロコードなどを含む何れかの形式によるソフトウェアなどを含む、当該機能を実行する何れかの方法を含むものとされる。このような請求項により規定されるような本原理は、記載される各種手段により提供される機能が請求項が求める方法により組み合わされるという事実にある。従って、これらの機能を提供可能な要素はここに示されるものと均等であるとみなされる。

本原理の“一実施例”又は“実施例”という明細書における表現は、当該実施例に関連して説明される特定の機能、構成、特徴などが本原理の少なくとも１つの実施例に含まれることを意味する。従って、明細書の各箇所に現れる“一実施例では”又は“実施例では”という表現の出現は、必ずしも全てが同一の実施例を参照しているとは限らない。さらに、ここでの特定の実施例は番号により参照されるが（例えば、実施例１、実施例２など）、このような実施例は、当該技術及び関連技術の当業者には容易に明らかなように、本原理の趣旨を維持しながら単独で又は何れかの組み合わせにより実現可能である。

ここで用いられる“ハイレベルシンタックス”とは、マクロブロックレイヤの階層的に上位にあるビットストリームに存在するシンタックスを意味する。例えば、ここで使用されるハイレベルシンタックスは、以下に限定されるものでないが、スライスヘッダレベル、ＳＥＩ（ＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ）レベル、ＰＰＳ（ＰｉｃｔｕｒｅＰａｒａｍｅｔｅｒＳｅｔ）レベル、ＳＰＳ（ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ）レベル、ＶＰＳ（ＶｉｅｗＰａｒａｍｅｔｅｒＳｅｔ）レベル及びＮＡＬ（ＮｅｔｗｏｒｋＡｂｓｔｒａｃｔｉｏｎＬａｙｅｒ）ユニットヘッダレベルにおけるシンタックスを意味するものであってもよい。

さらに、ここで綜合に用いられる“クロスビュー”及び“インタービュー”は共に、現在ビュー以外のビューに属するピクチャを意味する。

さらに、ここで用いられる“複数”とは、アイテムの２以上を意味する。従って、例えば、“複数の領域視差ベクトル”とは、２以上の領域視差ベクトルを意味する。

また、ここで用いられるように、現在復号化されているピクチャに関する“エラー”という用語は、現在ピクチャにおけるエラー（損傷など）、現在ピクチャにおける損失（受信されていないなど）などを意味する。

例えば、“Ａ及び／又はＢ”、“ＡとＢの少なくとも１つ”などの“及び／又は”と“少なくとも１つ”という用語の使用は、１番目に列記されたオプション（Ａ）のみの選択、２番目に列記されたオプション（Ｂ）のみの選択又は両方のオプション（ＡとＢ）の選択を含むものであると理解されるべきである。さらなる例として、“Ａ、Ｂ及び／又はＣ”、“Ａ、Ｂ、Ｃの少なくとも１つ”のケースでは、このような表現は、１番目に列記されたオプション（Ａ）のみの選択、２番目に列記されたオプション（Ｂ）のみの選択、３番目に列記されたオプション（Ｃ）のみの選択、１番目と２番目とに列記されたオプション（ＡとＢ）のみの選択、１番目と３番目とに列記されたオプション（ＡとＣ）のみの選択、２番目と３番目とに列記されたオプション（ＢとＣ）のみの選択、又は３つすべてのオプション（ＡとＢとＣ）の選択を含むものである。これは、当該技術及び関連技術の当業者に容易に理解されるように、列記された多数のアイテムについて同様に拡張可能である。

さらに、本原理の１以上の実施例がＩＳＯ／ＩＥＣ（ＩｎｔｅｒｎａｔｉｏｎａｌＯｒｇａｎｉｚａｔｉｏｎｆｏｒＳｔａｎｄａｒｄｉｚａｔｉｏｎ／ＩｎｔｅｒｎａｔｉｏｎａｌＥｌｅｃｔｒｏｔｅｃｈｎｉｃａｌＣｏｍｍｉｓｓｉｏｎ）のＭＰＥＧ−４（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ−４）Ｐａｒｔ１０ＡＶＣ（ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ）規格／ＩＴＵ−Ｔ（ＩｎｔｅｒｎａｔｉｏｎａｌＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎＵｎｉｏｎ，ＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎＳｅｃｔｏｒ）のＨ．２６４勧告（以降において“ＭＰＥＧ−４ＡＶＣ規格”と呼ぶ）のマルチビュービデオ符号化（ＭＶＣ）拡張に関して説明されるが、本原理は当該規格のみに限定されるものでなく、本原理の趣旨を維持しながらＭＰＥＧ−４ＡＶＣ規格の拡張を含むマルチビュービデオ符号化に関する他のビデオ符号化規格、勧告及び拡張に関して利用されてもよいことが理解されるべきである。

図１を参照するに、一例となるマルチビュービデオ符号化（ＭＶＣ）エンコーダが、参照番号１００により全体表示される。エンコーダ１００は、変換手段１１０の入力と信号通信接続される出力を有する合成手段を含む。変換手段１１０の出力は、量子化手段１１５の入力と信号通信接続される。量子化手段１１５の出力は、エントロピー符号化手段１２０の入力と逆量子化手段１２５の入力とに信号通信接続される。逆量子化手段１２５の出力は、逆変換手段１３０の入力と信号通信接続される。逆変換手段１３０の出力は、合成手段１３５の第１非反転入力と信号通信接続される。合成手段１３５の出力は、イントラ予測手段１４５の入力とデブロッキングフィルタ１５０の入力とに信号通信接続される。デブロッキングフィルタ１５０の出力は、リファレンスピクチャストア１５５（ビューｉに対する）の入力と信号通信接続される。リファレンスピクチャストア１５５の出力は、動き補償手段１７５の第１入力と動き推定手段１８０の第１入力とに信号通信接続される。動き推定手段１８０の出力は、動き補償手段１７５の第２入力と信号通信接続される。

リファレンスピクチャストア１６０（他のビューに対する）の出力は、視差／イルミネーション推定手段１７０の第１入力と視差／イルミネーション補償手段１６５の第１入力と信号通信接続される。視差／イルミネーション推定手段１７０の出力は、視差／イルミネーション補償手段１６５の第２入力と信号通信接続される。

エントロピーデコーダ１２０の出力は、エンコーダ１００の出力として利用可能である。合成手段１０５の非反転入力は、エンコーダ１００の入力として利用可能であり、視差／イルミネーション推定手段１７０の第２入力と動き推定手段１８０の第２入力と信号通信接続される。スイッチ１８５の出力は、合成手段１３５の第２非反転入力と合成手段１０５の反転入力とに信号通信接続される。スイッチ１８５は、動き補償手段１７５の出力と信号通信接続される第１入力と、視差／イルミネーション補償手段１６５の出力と信号通信接続される第２入力と、イントラ予測手段１４５の出力と信号通信接続される第３入力とを含む。

モード決定モジュール１４０は、何れの入力がスイッチ１８５により選択されるか制御するため、スイッチ１８５に接続される出力を有する。

図２を参照するに、一例となるマルチビュービデオ符号化（ＭＶＣ）デコーダが参照番号２００により全体表示される。デコーダ２００は、逆量子化手段２１０の入力と信号通信接続される出力を有するエントロピーデコーダ２０５を有する。逆量子化手段の出力は、逆変換手段２１５の入力と信号通信接続される。逆変換手段２１５の出力は、合成手段２２０の第１非反転入力と信号通信接続される。合成手段２２０の出力は、デブロッキングフィルタ２２５の入力とイントラ予測手段２３０と信号通信接続される。デブロッキングフィルタ２２５の出力は、リファレンスピクチャストア２４０（ビューｉに対する）の入力と信号通信接続される。リファレンスピクチャストア２４０の出力は、動き補償手段２３５の第１入力と信号通信接続される。

リファレンスピクチャストア２４５（他のビューに対する）の出力は、視差／イルミネーション補償手段２５０の第１入力と信号通信接続される。

エントロピー符号化手段２０５の入力は、残留ビットストリームを受信するため、デコーダ２００への入力として利用可能である。さらに、モードモジュール２６０の入力はまた、何れの入力がスイッチ２５５により選択されるか制御するための制御シンタックスを受信するため、デコーダ２００への入力として利用可能である。さらに、動き補償手段２３５の第２入力は、動きベクトルを受信するため、デコーダ２００の入力として利用可能である。また、視差／イルミネーション補償手段２５０の第２入力は、視差ベクトルとイルミネーション補償シンタックスを受信するため、デコーダ２００への入力として利用可能である。

スイッチ２５５の出力は、合成手段２２０の第２非反転入力と信号通信接続される。スイッチ２５５の第１入力は、視差／イルミネーション補償手段２５０の出力と信号通信接続される。スイッチ２５５の第２入力は、動き補償手段２３５の出力と信号通信接続される。スイッチ２５５の第３入力は、イントラ予測手段２３０の出力と信号通信接続される。モードモジュール２６０の出力は、何れの入力がスイッチ２５５により選択されるか制御するため、スイッチ２５５と信号通信接続される。デブロッキングフィルタ２２５の出力は、デコーダの出力として利用可能である。

マルチビュービデオ符号化（ＭＶＣ）シーケンスは、異なるビューポイントから同一シーンをキャプチャした２以上のビデオシーケンスのセットである。マルチビュー符号化（ＭＶＣ）シーケンスがエラー隠蔽のための特別な問題を提起することを認識した。

従って、効果的には、本原理は、マルチビュー符号化ビデオにおけるエラー隠蔽方法及び装置に関する。このような方法及び装置を提供するのに、本原理は、異なるビュー間の追加的な冗長性を利用する。

これら異なるビューの間の冗長性は、シングルビュー符号化に用いられる現在のエラー隠蔽技術を向上させるのに利用可能である。ビュー情報をビュー誤り訂正として使用して、提案される誤り訂正（ＥＣ）を分類する。ビュー誤り訂正は、個別に利用可能であるか、又は空間及び／又は時間誤り訂正と一緒に適用可能であることを提案する。

マルチビュー符号化システムは、ＭＰＥＧ−４ＡＶＣ規格について現在開発されているところである。従って、本原理による１以上の実施例の以下の説明は、上述されるように、本原理が当該規格又はその拡張にのみ限定されるものでないが、ＭＰＥＧ−４ＡＶＣ規格に対応する内容により説明される。

マルチビュービデオ符号化（ＭＶＣ）システムは、異なるポジションからシーンを見た複数のビューを含む。マルチビュービデオ符号化システムは、多数のカメラ間の相関を利用してシステムの符号化効率を向上させる。

図３を参照するに、８つのビューを有するマルチビュービデオ符号化システムの時間優先符号化構成が、参照番号３００により全体表示される。図３の例では、異なるビューからの同じ時点のすべてのピクチャが連続的に符号化される。従って、時点Ｔ０におけるすべてのピクチャ（Ｓ０〜Ｓ７）がまず符号化され、その後の時点Ｔ８のピクチャに続き、以下同様となる。これが時間優先符号化と呼ばれる。

また、ＭＰＥＧ−４ＡＶＣ規格の現在のマルチビュービデオ符号化（ＭＶＣ）拡張は、当該時点におけるピクチャを利用することによってのみビュー間予測が実行可能であるという制約を含む。従って、欠落したピクチャが時間的リファレンスだけでなくビューリファレンスとしても利用可能であるため、当該時点におけるピクチャの欠落を検出することをより関連性のあるものにする。

図３から見ることができるように、このようなマルチビュービデオ符号化システムにおいて利用される冗長性は多数ある。この冗長性を利用して、エラー隠蔽技術を向上させる。
［実施例１（ピクチャコピー）］
ＭＰＥＧ−４ＡＶＣ規格のマルチビュービデオ符号化システムでは、ある時点におけるすべてのピクチャがまず符号化される時間優先符号化が実行される。

エラー隠蔽の第１ステップは、検出である。この検出ステップの実行後、欠落したピクチャが最適な方法により隠蔽される。利用可能な方法の１つは、ピクチャコピーである。従来、シングルビューのケースでは、ピクチャコピーは、現在位置における前の時点からのピクチャをコピーすることに関する。あるいは、さらなるステップでは、欠落したピクチャが、利用可能である場合には、前の時点のピクチャと後の時点のピクチャとから補間することが可能である。しかしながら、これは最適ではない。なぜなら、ピクチャフリーズ効果を引き起こし、以降のピクチャに重大な影響を与えるためである。

マルチビュービデオ符号化によると、異なるビューからの同じ時点におけるすでに符号化されたピクチャからピクチャをコピー又は補間することが可能であることを認識してきた。これは、他のビューからのピクチャが隠蔽されたピクチャと同期され、これにより、欠落したピクチャのより良好な表示が可能であるという効果を有する。

図４を参照するに、マルチビュービデオ符号化における一例となるエラー隠蔽方法が、参照番号４００により全体表示される。

方法４００は、機能ブロック４１０に移行するスタートブロック４０５を含む。機能ブロック４１０は、現在ビューに対して復号化される現在ピクチャに関してピクチャエラーを検出し、機能ブロック４１５に移行する。機能ブロック４１５は、現在ピクチャの隠蔽ピクチャを取得するため、現在ピクチャと同じ又は異なるタイムスタンプの他のビューからのピクチャをコピーし、機能ブロック４１７に移行する。機能ブロック４１７は、時間的なビュー間エラー隠蔽を個別に又は一緒に検討し、機能ブロック４２０に移行する。機能ブロック４２０は、他のピクチャの復号化を続け、判定ブロック４２５に移行する。判定ブロック４２５は、すべてのピクチャが復号化されたか判断する。復号化された場合、エンドブロック４９９に移行する。復号化されていない場合、機能ブロック４１０に戻る。

図５を参照するに、マルチビュービデオ符号化における他の例となるエラー隠蔽方法が、参照番号５００により全体表示される。

方法５００は、機能ブロック５１０に移行するスタートブロック５０５を含む。機能ブロック５１０は、現在ビューに対して復号化される現在ピクチャについてピクチャエラーを検出し、機能ブロック５１５に移行する。機能ブロック５１５は、現在ピクチャの隠蔽ピクチャを生成するため、現在ピクチャと同じ又は異なるタイムスタンプからの現在ビューに関して他のビューからの１以上のピクチャを補間し、機能ブロック５１７に移行する。機能ブロック５１７は、時間的なビュー間エラー隠蔽を個別に又は一緒に検討し、機能ブロック５２０に移行する。機能ブロック５２０は、他のピクチャの復号化を続け、判定ブロック５２５に移行する。判定ブロック５２５は、すべてのピクチャが復号化されたか判断する。復号化されている場合、エンドブロック５９９に移行する。復号化されていない場合、機能ブロック５１０に戻る。
［実施例２（ビュー生成）］
マルチビュー符号化ビデオは、各ビューのカメラパラメータと、さらにビューの各ピクチャの深さ情報との送信をサポートするものであってもよい。ビューの合成は、ビュー予測のためのカメラパラメータと深さ情報とを用いてビューを生成するか、又は自由視点テレビのバーチャルビューを生成するため、利用される。ビュー生成はさらに、欠落したピクチャを隠蔽するため利用可能である。あるビューのピクチャが欠落すると、深さ情報と共にハイレベルシンタックスを用いて送信されたカメラパラメータが、ビューを生成するのに利用可能である。生成されたピクチャは、欠落したピクチャの良好な近似とすることができる。

図６を参照するに、マルチビュービデオ符号化における他の例となるエラー隠蔽方法が、参照番号６００により全体表示される。

方法６００は、機能ブロック６１０に移行するスタートブロック６０５を含む。機能ブロック６１０は、現在ビューに対して復号化される現在ピクチャのピクチャエラーを検出し、機能ブロック６１５に移行する。機能ブロック６１５は、現在ピクチャの隠蔽ピクチャを生成するため、深さとカメラパラメータとを用いてビュー合成を実行し、機能ブロック６１７に移行する。機能ブロック６１７は、時間的なビュー間エラー隠蔽を個別に又は一緒に検討し、判定ブロック６２５に移行する。判定ブロック６２５は、すべてのピクチャが復号化されたか判断する。復号化されている場合、エンドブロック６９９に移行する。復号化されていない場合、機能ブロック６１０に戻る。
［実施例３（大域的／局所的視差情報）］
大域的視差ベクトル（ＧＤＶ）及び／又は局所的視差ベクトル（ＲＤＶ）が、マルチビュービデオ符号化システムにおいてハイレベルシンタックスを用いて送信されてもよい。これらのＧＤＶ及びＲＤＶは、リファレンスビューに関する現在ビューの大域的なシフト又は局所的なシフトをそれぞれ表す。欠落したピクチャについて、大域的視差ベクトル情報及び／又は局所的視差ベクトル情報が、当該ベクトルだけピクチャをシフトするため、ピクチャコピーと共に利用可能である。これにより、１以上の適切な隠蔽技術を利用して充填されるシフト後のエンプティスペースが生成される。

図７を参照するに、マルチビュービデオ符号化における他の例となるエラー隠蔽方法が、参照番号７００により全体表示される。

方法７００は、機能ブロック７１０に移行するスタートブロック７０５を含む。機能ブロック７１０は、現在ビューに対して復号化される現在ピクチャのピクチャエラーを検出し、機能ブロック７１５に移行する。機能ブロック７１５は、現在ピクチャの隠蔽ピクチャを生成するため、近傍ビューに関して大域的視差ベクトル又は局所的視差ベクトルを利用し、機能ブロック７１７に移行する。機能ブロック７１７は、時間的なビュー間エラー隠蔽を個別に又は一緒に検討し、機能ブロック７２０に移行する。機能ブロック７２０は、他のピクチャの復号化を続け、判定ブロック７２５に移行する。判定ブロック７２５は、すべてのピクチャが復号化されたか判断する。復号化されている場合、エンドブロック７９９に移行する。復号化されていない場合、機能ブロック７１０に戻る。
［実施例４（動き及び／又は残差コピー）］
動きスキップは、従来技術による１つのアプローチにおける符号化ツールとして提案された。この従来技術によるアプローチによると、動き及びモード情報が、あるマクロブロック（ビットストリームにおいて指定されるように）の他のビュー（シーケンスパラメータセットに指定される従属関係に基づき）からコピーされ、この情報を利用して時間ピクチャに対して動き補償を実行する。このコンセプトは、他のビューからの残差情報が符号化効率のため現在ビューに承継される残差予測に拡張可能である。

これらの技術は、ピクチャが欠落した場合におけるエラー隠蔽に利用可能である。ピクチャが欠落したとき、すべてのマクロブロックを動きスキップマクロブロックとして扱い、近傍ビューからの動き、モード及び可能である場合には残差情報を承継することが可能である。動き、モード及び残差情報がコピーされると、リファレンスとして時間ピクチャを用いて現在ピクチャを復号化するのに必要とされるすべての情報を有することになる。

この方法の拡張は、隠蔽される現在ピクチャの近傍ビューに係るすべてのＭＭＣＯ（ＭｅｍｏｒｙＭａｎａｇｅｍｅｎｔＣｏｎｔｒｏｌＯｐｅｒａｔｉｏｎ）及びＲＰＬＲ（ＲｅｆｅｒｅｎｃｅＰｉｃｔｕｒｅＬｉｓｔＲｅｏｒｄｅｒｉｎｇ）コマンドもまたコピーすることである。

図８を参照するに、マルチビュービデオ符号化における他の例となるエラー隠蔽方法が、参照番号８００により全体表示される。

方法８００は、機能ブロックに移行するスタートブロック８０５を含む。機能ブロック８１０は、現在ビューに対して復号化される現在ピクチャのピクチャエラーを検出し、機能ブロック８１５に移行する。機能ブロック８１５は、現在ピクチャの隠蔽ピクチャを生成するため、現在ピクチャのすべてのマクロブロックを動きスキップモードマクロブロックとして検討することによって、現在ピクチャを復号化し、機能ブロック８１７に移行する。機能ブロック８１７は、時間的なビュー間エラー隠蔽を個別に又は一緒に検討し、機能ブロック８２０に移行する。機能ブロック８２０は、他のピクチャの復号化を続け、判定ブロック８２５に移行する。判定ブロック８２５は、すべてのピクチャが復号化されたか判断する。復号化されている場合、エンドブロック８９９に移行する。復号化されていない場合、機能ブロック８１０に戻る。

図９を参照するに、マルチビュービデオ符号化における他の例となるエラー隠蔽方法が、参照番号９００により全体表示される。

方法９００は、機能ブロック９１０に移行するスタートブロック９０５を含む。機能ブロック９１０は、現在ビューに対して復号化される現在ピクチャのピクチャエラーを検出し、機能ブロック９１３に移行する。機能ブロック９１３は、現在ピクチャの隠蔽ピクチャを生成するため、現在ピクチャのすべてのマクロブロック（ＭＢ）を動きスキップモードマクロブロックとしてみなすことによって、現在ピクチャを復号化し、機能ブロック９１６に移行する。機能ブロック９１６は、隠蔽ピクチャ、すなわち、エラー隠蔽を向上させるため、１以上の近傍ビューからの残差予測を検討し、機能ブロック９１７に移行する。機能ブロック９１７は、時間的なビュー間エラー隠蔽を個別に又は一緒に検討し、機能ブロック９２０に移行する。機能ブロック９２０は、他のピクチャの復号化を続け、判定ブロック９２５に移行する。判定ブロック９２５は、すべてのピクチャが復号化されたか判断する。復号化されている場合、エンドブロック９９９に移行する。復号化されていない場合、機能ブロック９１０に戻る。

図１０参照するに、マルチビュービデオ符号化における他の例となるエラー隠蔽方法が、参照番号１０００により全体表示される。

方法１０００は、機能ブロック１０１０に移行するスタートブロック１００５を含む。機能ブロック１０１０は、現在ビューに対して復号化される現在ピクチャのピクチャエラーを検出し、機能ブロック１０１３に移行する。機能ブロック１０１３は、現在ピクチャの隠蔽ピクチャを生成するため、現在ピクチャのすべてのマクロブロック（ＭＢ）を動きスキップモードマクロブロックとしてみなすことによって、現在ピクチャを復号化し、機能ブロック１０１６に移行する。機能ブロック１０１６は、隠蔽ピクチャ、すなわち、エラー隠蔽を向上させるため、１以上の近傍ビューからの残差予測を検討し、機能ブロック１０１８に移行する。機能ブロック１０１８は、現在ピクチャ（隠蔽ピクチャにより表される）のリファレンスリストを構成及び変更するため、１以上の近傍ビューからのＭＭＣＯ及びＲＰＬＲコマンドをコピーし、機能ブロック１０１９に移行する。機能ブロック１０１９は、時間的なビュー間エラー隠蔽を個別に又は一緒に検討し、機能ブロック１０２０に移行する。機能ブロック１０２０は、他のピクチャの復号化を続け、判定ブロック１０２５に移行する。判定ブロック１０２５は、すべてのピクチャが復号化されたか判断する。復号化されている場合、エンドブロック１０９９に移行する。復号化されていない場合、機能ブロック１０１０に戻る。

一部が上述された本発明の多数の付随的な効果／特徴の一部が説明される。例えば、１つの効果／特徴は、ビュー間ピクチャ情報とビュー間従属関係情報の少なくとも１つに基づきエラー隠蔽を用いてマルチビュービデオコンテンツを復号化するデコーダを有する装置である。

他の効果／特徴は、現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記エラー隠蔽は、前記現在ピクチャの隠蔽ピクチャとして他のビューからのピクチャをコピーする、上述したデコーダを有する装置である。

さらなる他の効果／特徴は、上述したように前記エラー隠蔽は、前記現在ピクチャの隠蔽ピクチャとして他のビューからのピクチャをコピーし、前記他のビューからのピクチャは、前記現在ピクチャと同じ又は異なる時点に属する、上述したデコーダを有する装置である。

さらなる他の効果／特徴は、現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記エラー隠蔽は、前記現在ピクチャの隠蔽ピクチャを取得するため、他のビューからのピクチャを補間する、上述したデコーダを有する装置である。

さらなる他の効果／特徴は、上述したように現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記エラー隠蔽は、前記現在ピクチャの隠蔽ピクチャを取得するため、他のビューからのピクチャを補間し、前記他のビューからのピクチャは、前記現在ピクチャと同じ又は異なる時点に属する、上述したデコーダを有する装置である。

さらなる他の効果／特徴は、現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記エラー隠蔽は、前記現在ピクチャの隠蔽ピクチャを取得するため、ビュー合成を利用する、上述したデコーダを有する装置である。

さらなる他の効果／特徴は、上述したように現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記エラー隠蔽は、前記現在ピクチャの隠蔽ピクチャを取得するため、ビュー合成を利用し、前記ビュー合成は、前記隠蔽ピクチャとして用いられる合成されたピクチャを生成する、上述したデコーダを有する装置である。

さらなる他の効果／特徴は、上述したように現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記エラー隠蔽は、前記現在ピクチャの隠蔽ピクチャを取得するため、ビュー合成を利用し、詳細化された合成されたピクチャが隠蔽ピクチャとして用いられるように、前記ビュー合成がさらに詳細化された合成されたピクチャを生成する、上述したデコーダを有する装置である。

さらなる他の効果／特徴は、上述したように現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記エラー隠蔽は、前記現在ピクチャの隠蔽ピクチャを取得するため、ビュー合成を利用し、前記ビュー合成は、深さ情報とカメラパラメータとを用いて、前記隠蔽ピクチャとして用いられる合成されたピクチャを生成する、上述したデコーダを有する装置である。

さらなる他の効果／特徴は、現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記エラー隠蔽は、大域的視差ベクトルと局所的視差ベクトルの少なくとも１つを用いて、現在ピクチャの隠蔽ピクチャを予測又は補間する、上述したデコーダを有する装置である。

さらなる他の効果／特徴は、現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記エラー隠蔽は、動きスキップモードを用いて、前記現在ピクチャのすべてのマクロブロックを復号化する、上述したデコーダを有する装置である。

さらなる他の効果／特徴は、現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記デコーダは、他のビューからの残差予測を用いて、前記現在ピクチャのエラー隠蔽を詳細化する、上述したデコーダを有する装置である。

さらなる他の効果／特徴は、現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記デコーダは、前記現在ピクチャのリファレンスリストを構成及び変更するため、他のビューからのＭＭＣＯ（ＭｅｍｏｒｙＭａｎａｇｅｍｅｎｔＣｏｎｔｒｏｌＯｐｅｒａｔｉｏｎ）コマンド及びＲＰＬＲ（ＲｅｆｅｒｅｎｃｅＰｉｃｔｕｒｅＬｉｓｔＲｅｏｒｄｅｒｉｎｇ）コマンドをコピーする、上述したデコーダを有する装置である。

さらなる他の効果／特徴は、現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記デコーダは、空間エラー隠蔽と時間エラー隠蔽の少なくとも１つと別々に又は一緒にビューエラー隠蔽を利用する、上述したデコーダを有する装置である。

本原理の上記及び他の特徴及び効果は、ここでの教示に基づき当業者により容易に理解されるであろう。本原理の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途プロセッサ又はこれらの組み合わせの各種形態により実現可能であることが理解されるべきである。

最も好適には、本原理の教示は、ハードウェアとソフトウェアとの組み合わせとして実現される。さらに、ソフトウェアは、プログラム機構装置に有形に実現されるアプリケーションプログラムとして実現されてもよい。アプリケーションプログラムは、何れか適切なアーキテクチャを有するマシーンにアップロードされ、実行されるようにしてもよい。好ましくは、マシーンは、１以上の中央処理ユニット（ＣＰＵ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）及び入出力（Ｉ／Ｏ）インタフェースなどのハードウェアを有するコンピュータプラットフォーム上で実現される。コンピュータプラットフォームはまた、オペレーティングシステムとマイクロ命令コードとを含むものであってもよい。ここに記載される各種処理及び機能は、マイクロ命令コードの一部、アプリケーションプログラムの一部又はこれらの何れかの組み合わせであってもよく、ＣＰＵにより実行されるようにしてもよい。さらに、追加的なデータ記憶装置及び印刷装置などの他の各種周辺装置が、コンピュータプラットフォームに接続されてもよい。

さらに、添付した図面に示されるシステム構成要素及び方法の一部は、好ましくはソフトウェアにより実現されるため、システム構成要素又は方法の機能ブロック間の実際の接続は、本原理がプログラムされる方法に応じて異なるものであってもよいことが理解されるべきである。ここでの教示が与えられると、当業者は、本原理の上記及び類似の実現形態又は構成を想到することが可能であろう。

添付した図面を参照して例示的な実施例が説明されたが、本原理はこれらの実施例に限定されるものでなく、本原理の趣旨又は範囲から逸脱することなく、各種変更及び改良が当業者に実行されるかもしれないことが理解されるべきである。このような変更及び改良のすべては、添付した請求項に与えられる本原理の範囲内に属するものとされる。

１００エンコーダ
１１０変換手段
１１５量子化手段
１２０エントロピーデコーダ
１２５逆量子化手段
１３０逆変換手段
１３５合成手段
１４０モード決定モジュール
２００デコーダ
２０５エントロピーデコーダ
２１０逆量子化手段
２１５逆変換手段

Claims

ビュー間ピクチャ情報とビュー間従属関係情報との少なくとも１つに基づきエラー隠蔽を用いてマルチビュービデオコンテンツを復号化するデコーダを有する装置であって、
現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記エラー隠蔽は、前記現在ピクチャの隠蔽ピクチャとして他のビューからのピクチャをコピーすることを含む装置。
前記他のビューからのピクチャは、前記現在ピクチャと同じ又は異なる時点に属する、請求項１記載の装置。
現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記エラー隠蔽は、前記現在ピクチャの隠蔽ピクチャを取得するため、他のビューからのピクチャを補間することを含む、請求項１記載の装置。
現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記エラー隠蔽は、前記現在ピクチャの隠蔽ピクチャを取得するため、ビュー合成を利用することを含む、請求項１記載の装置。
前記ビュー合成は、前記隠蔽ピクチャとして用いられる合成されたピクチャを生成する、請求項４記載の装置。
前記ビュー合成は、深さ情報とカメラパラメータとを用いて、前記隠蔽ピクチャとして用いられる合成されたピクチャを生成する、請求項４記載の装置。
現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記エラー隠蔽は、大域的視差ベクトルと局所的視差ベクトルの少なくとも１つを用いて、現在ピクチャの隠蔽ピクチャを予測又は補間することを含む、請求項１記載の装置。
現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記エラー隠蔽は、動きスキップモードを用いて、前記現在ピクチャのすべてのマクロブロックを復号化することを含む、請求項１記載の装置。
現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記デコーダは、他のビューからの残差予測を用いて、前記現在ピクチャのエラー隠蔽を詳細化する、請求項１記載の装置。
現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記デコーダは、前記現在ピクチャのリファレンスリストを構成及び変更するため、他のビューからのＭＭＣＯ（ＭｅｍｏｒｙＭａｎａｇｅｍｅｎｔＣｏｎｔｒｏｌＯｐｅｒａｔｉｏｎ）コマンド及びＲＰＬＲ（ＲｅｆｅｒｅｎｃｅＰｉｃｔｕｒｅＬｉｓｔＲｅｏｒｄｅｒｉｎｇ）コマンドをコピーする、請求項１記載の装置。
ビュー間ピクチャ情報とビュー間従属関係情報との少なくとも１つに基づきエラー隠蔽を用いてマルチビュービデオコンテンツを復号化するステップを有する方法であって、
現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記エラー隠蔽は、前記現在ピクチャの隠蔽ピクチャとして他のビューからのピクチャをコピーすることを含む方法。
現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記エラー隠蔽は、前記現在ピクチャの隠蔽ピクチャを取得するため、他のビューからのピクチャを補間することを含む、請求項１１記載の方法。
現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記エラー隠蔽は、前記現在ピクチャの隠蔽ピクチャを取得するため、ビュー合成を利用することを含む、請求項１１記載の方法。
前記ビュー合成は、前記隠蔽ピクチャとして用いられる合成されたピクチャを生成する、請求項１３記載の方法。
前記ビュー合成は、詳細化された合成されたピクチャが前記隠蔽ピクチャとして使用されるように、さらに詳細化される合成されたピクチャを生成する、請求項１３記載の方法。
前記ビュー合成は、深さ情報とカメラパラメータとを用いて、前記隠蔽ピクチャとして用いられる合成されたピクチャを生成する、請求項１３記載の方法。
現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記エラー隠蔽は、大域的視差ベクトルと局所的視差ベクトルの少なくとも１つを用いて、現在ピクチャの隠蔽ピクチャを予測又は補間することを含む、請求項１１記載の方法。
現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記エラー隠蔽は、動きスキップモードを用いて、前記現在ピクチャのすべてのマクロブロックを復号化することを含む、請求項１１記載の方法。
現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記復号化するステップは、他のビューからの残差予測を用いて、前記現在ピクチャのエラー隠蔽を詳細化する、請求項１１記載の方法。
現在ビューに対して復号化され、エラーを有すると検出された現在ピクチャに対して、前記復号化するステップは、前記現在ピクチャのリファレンスリストを構成及び変更するため、他のビューからのＭＭＣＯ（ＭｅｍｏｒｙＭａｎａｇｅｍｅｎｔＣｏｎｔｒｏｌＯｐｅｒａｔｉｏｎ）コマンド及びＲＰＬＲ（ＲｅｆｅｒｅｎｃｅＰｉｃｔｕｒｅＬｉｓｔＲｅｏｒｄｅｒｉｎｇ）コマンドをコピーする、請求項１１記載の方法。