JP2010516102A

JP2010516102A - マルチビュー符号化ビデオにおいてビデオ・エラー補正を行う方法および装置

Info

Publication number: JP2010516102A
Application number: JP2009544936A
Authority: JP
Inventors: ビブハスパンデイツト，パービン; スー，イエピン; イン，ペン
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2007-01-04
Filing date: 2008-01-04
Publication date: 2010-05-13
Also published as: EP2116059A2; WO2008085909A2; US20090296826A1; KR20090099547A; WO2008085909A3; CN101675667A

Abstract

マルチビュー符号化ビデオにおいてビデオ・エラー補正を行う方法および装置を提供する。装置は、ビットストリームからのマルチビュー・ビデオ・コンテンツに対応する少なくとも１つのビューのピクチャを復号するデコーダ（１００）を備える。デコーダ（１００）は、少なくとも１つのビューの特定の１つに対応するピクチャの何れかが失われているどうかを、既存のシンタックスエレメントを用いて判定する。既存のシンタックスエレメントは、ピクチャ損失判定以外の別の機能を実行するものである（３１５）。少なくとも１つのビューの特定の１つは、ビデオ符号化標準およびビデオ符号化勧告の少なくとも１つに準拠している。

Description

関連出願の相互参照
本願は、２００７年１月４日出願の米国仮特許出願第６０／８８３４５８号の利益を主張するものであり、その開示内容全体が本願に組み込まれている。

本発明は概ねビデオの復号に関し、より詳細には、マルチビュー符号化ビデオにおいてビデオ・エラー補正を行う方法および装置に関する。

破損したビットストリームにおいてピクチャが失われたとき、いくつかのピクチャ単位のエラー隠蔽方法を使用して、失われたピクチャを隠蔽することができる。隠蔽を実行するためには、ピクチャが失われたと判定し、当該ピクチャの位置を決定しなければならない。

シングル・ビューの場合には、ピクチャの損失を検出する方法はいくつかある。ＩＳＯ／ＩＥＣＭＰＥＧ−４Ｐａｒｔ１０ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ（ＡＶＣ）標準／ＩＴＵ−ＴＨ．２６４勧告（以下「ＭＰＥＧ−４ＡＶＣ標準」と呼ぶ）では、ｆｒａｍｅ＿ｎｕｍの概念が参照ピクチャの損失を検出する目的に適う。さらに、リカバリ・ポイントＳＥＩメッセージ、サブシーケンスＳＥＩメッセージ、リカバリ・ポイントＳＥＩメッセージ、参照ピクチャ・マーキング反復ＳＥＩメッセージなどの付加拡張情報（ＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ）（ＳＥＩ）メッセージ、ピクチャ・オーダ・カウント（ＰＯＣ）設計、およびマルチ・リファレンス・ピクチャ・バッファリング（ｍｕｌｔｉｐｌｅｒｅｆｅｒｅｎｃｅｐｉｃｔｕｒｅｂｕｆｆｅｒｉｎｇ）も、ピクチャ損失検出のために使用することができる。

ただし、これらの方法は、マルチビューの場合には拡張されていない。

本発明は、従来技術の上記その他の欠点および不利に対処するものであり、マルチビュー符号化ビデオにおいてビデオ・エラー検出を行う方法および装置に関するものである。

本発明の一態様によれば、装置が提供される。この装置は、ビットストリームからのマルチビュー・ビデオ・コンテンツに対応する少なくとも１つのビューのピクチャを復号するデコーダを備える。このデコーダは、少なくとも１つのビューの特定の１つに対応するピクチャの何れかが失われているどうかを既存のシンタックスエレメントを用いて判定する。既存のシンタックスエレメントは、ピクチャ損失判定以外の別の機能を実行するものである。少なくとも１つのビューの特定の１つは、ビデオ符号化標準およびビデオ符号化勧告の少なくとも１つに準拠している。

本発明の他の態様によれば、方法が提供される。この方法は、ビットストリームからのマルチビュー・ビデオ・コンテンツに対応する少なくとも１つのビューのピクチャを復号するステップを含む。この復号ステップは、少なくとも１つのビューの特定の１つに対応するピクチャの何れかが失われているどうかを既存のシンタックスエレメントを用いて判定するステップを含む。既存のシンタックスエレメントは、ピクチャ損失判定以外の別の機能を実行するものである。

本発明のさらに他の態様によれば、装置が提供される。この装置は、ビットストリームからのマルチビュー・ビデオ・コンテンツに対応する少なくとも１つのビューのピクチャを復号するデコーダを備える。ピクチャは、ビデオ・シーケンスの少なくとも一部分を表す。ピクチャの少なくともいくつかは、ビデオ・シーケンス内の異なる時刻に対応する。デコーダは、異なる時刻の特定の１つに対応する全てのピクチャが失われているかどうかを既存のシンタックスエレメントを用いて判定する。既存のシンタックスエレメントは、ピクチャ損失判定以外の別の機能を実行するものである。

本発明のさらに他の態様によれば、方法が提供される。この方法は、ビットストリームからのマルチビュー・ビデオ・コンテンツに対応する少なくとも１つのビューのピクチャを復号するステップを含む。これらのピクチャは、ビデオ・シーケンスの少なくとも一部分を表す。これらのピクチャの少なくともいくつかは、ビデオ・シーケンス内の異なる時刻に対応する。復号ステップは、異なる時刻の特定の１つに対応する全てのピクチャが失われているかどうかを既存のシンタックスエレメントを用いて判定するステップを含む。既存のシンタックスエレメントは、ピクチャ損失判定以外の別の機能を実行するものである。

本発明の上記その他の特徴、特色および利点は、以下の例示的な実施例の詳細な説明を添付の図面と関連付けて読めば明らかになるであろう。

本発明は、以下の例示的な図面によってより深く理解することができる。

本発明の一実施例による、本発明を適用することができる例示的なマルチビュー・ビデオ符号化（ＭＶＣ）デコーダを示すブロック図である。本発明の一実施例による、本発明を適用することができるビューの数が８個であるマルチビュー・ビデオ符号化システムのタイム・ファースト符号化構造を示す図である。本発明の一実施例による、失われたピクチャに対するエラー隠蔽を用いてビデオ・シーケンスに対応するビデオ・データを復号する例示的な方法を示すフローチャートである。本発明の一実施例による、失われたピクチャに対するエラー隠蔽を用いてビデオ・シーケンスに対応するビデオ・データを復号する別の例示的な方法を示すフローチャートである。本発明の一実施例による、エラー隠蔽を用いてビデオ・シーケンスに対応するビデオ・データを復号するさらに別の例示的な方法を示すフローチャートである。本発明の一実施例による、エラー隠蔽を用いてビデオ・シーケンスに対応するビデオ・データを復号するさらに別の例示的な方法を示すフローチャートである。

本発明は、マルチビュー符号化ビデオにおいてビデオ・エラー検出を行う方法および装置に関する。

本明細書では、本発明について説明する。従って、本明細書に明示的に記述または図示してはいないが本発明を実施し、本発明の趣旨および範囲内に含まれる様々な構成を、当業者なら考案することができることを理解されたい。

本明細書に記載する全ての例および条件に関する表現は、本発明と発明者が与える当技術分野をさらに進歩させるための概念とを読者が理解するのを助けるという教育的な目的を有するものであり、これらの具体的に列挙した例および条件に限定されないものと解釈されたい。

さらに、本発明の原理、特徴および実施例ならびに本発明の具体的な例について本明細書で述べる全ての記述は、その構造的均等物および機能的均等物の両方を含むものとする。さらに、これらの均等物には、現在既知の均等物と将来開発されるであろう均等物の両方が含まれる、すなわち、その構造にかかわらず同じ機能を実行する、将来開発される任意の要素が含まれるものとする。

従って、例えば、当業者なら、本明細書に示すブロック図が本発明を実施する例示的な回路の概念図を表していることを理解するであろう。同様に、任意のフローチャート、流れ図、状態遷移図、擬似コードなどが、コンピュータ可読媒体中に実質的に表現され、明示される場合もされない場合もあるコンピュータまたはプロセッサによって実行される様々なプロセスを表すことも理解されたい。

図面に示す様々な要素の機能は、専用のハードウェア、および適当なソフトウェアと連動してソフトウェアを実行することができるハードウェアを使用して実現することができる。プロセッサによって実現するときには、これらの機能は単一の専用プロセッサで実現することも、単一の共用プロセッサで実現することも、あるいはその一部を共用することもできる複数の個別プロセッサで実施することもできる。さらに、「プロセッサ」または「制御装置」という用語を明示的に用いていても、ソフトウェアを実行することができるハードウェアのみを指していると解釈すべきではなく、ディジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するための読取り専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）および不揮発性記憶装置（ただしこれらに限定されない）を暗に含むことがある。

従来の、且つ／または特注のその他ハードウェアも含まれることがある。同様に、図面に示す任意のスイッチも、概念的なものに過ぎない。スイッチの機能は、プログラム論理の動作によっても、専用論理によっても、プログラム制御と専用論理の相互作用によっても、あるいは手作業でも実施することができ、実施者が前後関係から具体的に判断して特定の技術を選択することができる。

本明細書の特許請求の範囲において、特定の機能を実行する手段として表現されている任意の要素は、例えば、（ａ）当該機能を実行する回路素子の組合せや、（ｂ）ファームウェアやマイクロコードなども含めた任意の形態のソフトウェアを、当該ソフトウェアを実行して当該機能を実行する適当な回路と組み合わせたものなども含む、当該機能を実行する任意の態様を含むものとする。特許請求の範囲によって定義される本発明は、列挙する様々な手段が実施する機能を、特許請求の範囲が要求するかたちで組み合わせることにある。従って、これらの機能を実施することができる任意の手段を、本明細書に示す手段の均等物とみなすものとする。

本明細書において、本発明の「一実施例」または「実施例」と述べていれば、それは、当該実施例と関連づけて述べられる特定の特色、構造、特性などが、本発明の少なくとも１つの実施例には含まれているということを意味する。従って、本明細書では様々な箇所で「一実施例では」または「実施例では」という表現が出てくるが、それら全てが必ずしも同じ実施例のことを言っているとは限らない。

本明細書で用いる「高レベル・シンタックス」という用語は、階層的にマクロブロック・レイヤの上位に位置するビットストリームに存在するシンタックスを指す。例えば、本明細書で用いる「高レベル・シンタックス」という用語は、スライス・ヘッダ・レベル、シーケンス・パラメータ・セット（ＳＰＳ）レベル、ピクチャ・パラメータ・セット（ＰＰＳ）レベル、ビュー・パラメータ・セット（ＶＰＳ）レベル、ネットワーク・アブストラクション・レイヤ（ＮＡＬ）ユニット・ヘッダ・レベルのシンタックス、および付加拡張情報（ＳＥＩ）メッセージのシンタックスを指すことができる。ただし、これらに限定されるわけではない。

説明のため、また簡潔にするために、本明細書では、以下の実施例を、シーケンス・パラメータ・セットを使用する場合に関連して説明する。ただし、本発明は、本明細書に開示する改良した信号方式に関するシーケンス・パラメータ・セットの使用のみに限定されるわけではなく、従って、この改良した信号方式は、本発明の趣旨を維持しながら、スライス・ヘッダ・レベル、シーケンス・パラメータ・セット（ＳＰＳ）レベル、ピクチャ・パラメータ・セット（ＰＰＳ）レベル、ビュー・パラメータ・セット（ＶＰＳ）レベル、ネットワーク・アブストラクション・レイヤ（ＮＡＬ）ユニット・ヘッダ・レベルのシンタックス、および付加拡張情報（ＳＥＩ）メッセージのシンタックスなど（ただしこれらに限定されない）、少なくとも上述したタイプの高レベル・シンタックスに関して実施することができることを理解されたい。

さらに、本明細書では本発明の１つまたは複数の実施例をＭＰＥＧ−４ＡＶＣ標準に関連して説明しているが、本発明はこの標準のみに限定されるわけではなく、従って、本発明の趣旨を維持しながら、ＭＰＥＧ―４ＡＶＣ標準の拡張など、その他のビデオ符号化標準、勧告およびそれらの拡張に関連して利用することもできることも理解されたい。

さらに、「および／または」という表現、例えば「Ａおよび／またはＢ」という表現を使用するのは、記載した第１の選択肢（Ａ）を選択する場合、記載した第２の選択肢（Ｂ）を選択する場合、または両選択肢（ＡおよびＢ）を選択する場合を含むものとすることを理解されたい。別の例として、「Ａ、Ｂおよび／またはＣ」の場合には、この表現は、記載した第１の選択肢（Ａ）を選択する場合、記載した第２の選択肢（Ｂ）を選択する場合、記載した第３の選択肢（Ｃ）を選択する場合、記載した第１および第２の選択肢（ＡおよびＢ）を選択する場合、記載した第１および第３の選択肢（ＡおよびＣ）を選択する場合、記載した第２および第３の選択肢（ＢおよびＣ）を選択する場合、または３つ全ての選択肢（ＡおよびＢおよびＣ）を選択する場合を含むものとする。これは、当技術分野および関連技術分野の当業者には明らかなように、列挙した項目の数だけ拡張することができる。

図１を参照すると、例示的なマルチビュー・ビデオ符号化（ＭＶＣ）デコーダの全体を、参照番号１００で示してある。デコーダ１００は、逆量子化器１１０の入力部に信号通信で接続された出力部を有するエントロピ・デコーダ１０５を備える。逆量子化器の出力部は、逆変換器１１５の入力部に信号通信で接続される。逆変換器１１５の出力部は、コンバイナ１２０の第１の非反転入力部に信号通信で接続される。コンバイナ１２０の出力部は、デブロッキング・フィルタ１２５の入力部およびイントラ予測器１３０の入力部に信号通信で接続される。デブロッキング・フィルタ１２５の出力部は、参照ピクチャ記憶装置１４０（ビューｉ用）の入力部に信号通信で接続される。参照ピクチャ記憶装置１４０の出力部は、動き補償器１３５の第１の入力部に信号通信で接続される。

参照ピクチャ記憶装置１４５（その他のビュー用）の出力部は、視差／照度補償器１５０の第１の入力部に信号通信で接続される。

エントロピ・コーダ１０５の入力部は、デコーダ１００への入力部として利用して、残余ビットストリームを受信することができる。さらに、モード・モジュール１６０の入力部は、デコーダ１００への入力部として利用して、どの入力をスイッチ１５５が選択するかを制御する制御シンタックスを受信することができる。さらに、動き補償器１３５の第２の入力部は、デコーダ１００の入力部として利用して、動きベクトルを受信することができる。また、視差／照度補償器１５０の第２の入力部は、デコーダ１００への入力部として利用して、視差ベクトルおよび照度補償シンタックスを受信することができる。

スイッチ１５５の出力部は、コンバイナ１２０の第２の非反転入力部に信号通信で接続される。スイッチ１５５の第１の入力部は、視差／照度補償器１５０の出力部に信号通信で接続される。スイッチ１５５の第２の入力部は、動き補償器１３５の出力部に信号通信で接続される。スイッチ１５５の第３の入力部は、イントラ予測器１３０の出力部に信号通信で接続される。モード・モジュール１６０の出力部は、スイッチ１５５に信号通信で接続されて、どの入力をスイッチ１５５が選択するかを制御する。デブロッキング・フィルタ１２５の出力部は、デコーダの出力部として利用することができる。

本発明によれば、マルチビュー符号化ビデオにおいてビデオ・エラー隠蔽を行う方法および装置が提供される。本発明は、少なくとも、マルチビュー符号化ビデオの場合のピクチャ損失の問題に対処するものである。本明細書では、特定の時刻に属する全てのピクチャがいつ失われたのかを検出する方法および装置を提供する。

インターネットや無線ネットワークなど、エラーの生じやすい伝送環境では、伝送されるビデオ・ビットストリームは、例えばチャネル障害などによって生じる破損を受ける恐れがある。一部の実用システムが共通して経験する状況は、特定の圧縮ビデオ・ピクチャがビットストリームから欠落することである。これは、特に、リアルタイム転送プロトコル（ＲＴＰ）パケットなどの伝送単位にまで符号化できるほどピクチャが小さい、ビット・レートの低い用途に当てはまる。受信機側では、ロバストなビデオ・デコーダが、このような損失を検出して、隠蔽することができなければならない。

マルチビュー・ビデオ符号化（ＭＶＣ）では、符号化ビデオ・シーケンス中にいくつかのビューが存在する。ＭＰＥＧ−４ＡＶＣ標準のこのＭＶＣ拡張の場合には、各ピクチャは、それが属しているビューを識別するためのビュー識別子と関連付けられている。表１は、スケーラブル・ビデオ符号化（ＳＶＣ）／マルチビュー・ビデオ符号化（ＭＶＣ）拡張シンタックスのネットワーク・アブストラクション・レイヤ（ＮＡＬ）ユニット・ヘッダを示す。さらに（ＭＰＥＧ−４ＡＶＣ標準のシンタックスに加えて）、様々なビューのピクチャの復号に援用されるいくつかの高レベル・シンタックスがある。これらのシンタックスは、シーケンス・パラメータ・セット（ＳＰＳ）拡張に存在する。表２は、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）拡張のシーケンス・パラメータ・セット（ＳＰＳ）を示す。

従って、ＭＰＥＧ−４ＡＶＣ標準に基づくマルチビュー・ビデオ符号化の今回の提案（以下「ＭＰＥＧ−４ＡＶＣに関する今回のＭＶＣ提案」と呼ぶ）は、シーケンス・パラメータ・セット（ＳＰＳ）に高レベル・シンタックスを含み、当該シーケンス中の符号化ビューの数を示す。さらに、ＭＰＥＧ−４ＡＶＣに関する今回のＭＶＣ提案は、ビューについてビュー間参照情報を含む。ＭＰＥＧ−４ＡＶＣに関する今回のＭＶＣ提案ではさらに、参照ビュー識別子を別個に送信することにより、アンカー・ピクチャと非アンカー・ピクチャを区別する。これを表２に示す。表２には、どのビューが特定のビューの参照として使用されているかという情報が示されている。発明者等は、マルチビュー符号化ビデオの場合に、この情報（符号化ビューの数）を使用してピクチャ損失を検出することができることを知り、これを提案する。

ＭＰＥＧ−４ＡＶＣ標準の今回のマルチビュー・ビデオ符号化（ＭＶＣ）拡張では、複数のビューのセットにおける少なくとも１つのビューがＭＰＥＧ−４ＡＶＣ標準に適合しているものとする。ＭＰＥＧ−４ＡＶＣ標準に適合したピクチャとマルチビュー・ビデオ符号化に適合したピクチャとは、表３に示すように異なるＮＡＬユニット・タイプを使用しているので、ＭＰＥＧ−４ＡＶＣ標準に適合したビューに属するピクチャは、そのネットワーク・アブストラクション・レイヤ（ＮＡＬ）ユニット・タイプによって識別される。表３を参照すると、ネットワーク・アブストラクション・レイヤ（ＮＡＬ）ユニット・タイプ・コードが示してある。

ＭＰＥＧ−４ＡＶＣ標準に適合したビューに属する各スライスは、その後にサフィックスＮＡＬユニット（ｓｕｆｆｉｘＮＡＬｕｎｉｔ）と呼ばれる別のＮＡＬユニットが続くものとする。このＮＡＬユニットは、以下の意味を有する。
サフィックスＮＡＬユニット：復号順序において別のＮＡＬユニットの直後に続くＮＡＬユニットであり、関連ＮＡＬユニットと呼ばれる直前のＮＡＬユニットの記述情報を含む。サフィックスＮＡＬユニットは、２０または２１に等しいｎａｌ＿ｒｅｆ＿ｉｄｃを有するものとする。ｓｖｃ＿ｍｖｃ＿ｆｌａｇが０に等しいときには、サフィックスＮＡＬユニットは、ともに０に等しいｄｅｐｅｎｄｅｎｃｙ＿ｉｄおよびｑｕａｌｉｔｙ＿ｌｅｖｅｌを有するものとし、符号化スライスを含まないものとする。ｓｖｃ＿ｍｖｃ＿ｆｌａｇが１に等しいときには、サフィックスＮＡＬユニットは、０に等しいｖｉｅｗ＿ｌｅｖｅｌを有するものとし、符号化スライスを含まないものとする。サフィックスＮＡＬユニットは、関連ＮＡＬユニットと同じ符号化ピクチャに属する。

一実施例では、プレフィックスＮＡＬユニットが、ＭＰＥＧ−４ＡＶＣ標準に適合したピクチャの最初のスライスの前にあってもよい。プレフィックスＮＡＬユニットは、ＮＡＬユニット・タイプ１４によって識別される。ＭＰＥＧ−４ＡＶＣ標準に適合したピクチャの残りの全てのスライスの後には、サフィックスＮＡＬユニットがあることになる。

上記の定義から分かるように、サフィックスＮＡＬユニットは、ＭＰＥＧ−４ＡＶＣ標準に適合したＮＡＬユニット・タイプの後に必ず存在し、そのｖｉｅｗ＿ｉｄ情報を含むことになる。さらに、プレフィックスＮＡＬユニットは、ＭＰＥＧ−４ＡＶＣ標準に適合したＮＡＬユニットの最初のスライスに対してのみ存在することになる。

ＭＰＥＧ−４ＡＶＣ標準の今回のマルチビュー符号化拡張では、全てのビューについて、特定の時刻に属するピクチャが最初に符号化されるものとされている。図２を参照すると、ビューの数が８個であるマルチビュー・ビデオ符号化システムのタイム・ファースト符号化構造の全体を、参照番号２００で示してある。図２の例では、異なるビューに含まれる同時刻の全てのピクチャが、連続的に符号化される。従って、時刻Ｔ０の全てのピクチャ（Ｓ０〜Ｓ７）が最初に符号化され、その後に時刻Ｔ８のピクチャ（Ｓ０〜Ｓ７）が符号化され、以下同様に続く。これをタイム・ファースト符号化（ｔｉｍｅ−ｆｉｒｓｔｃｏｄｉｎｇ）と呼ぶ。

また、ＭＰＥＧ−４ＡＶＣ標準の今回のマルチビュー符号化拡張では、その時刻でしかピクチャを用いてビュー間予測を行うことができないという制約がある。さらに、少なくとも１つのビューはＭＰＥＧ−４ＡＶＣ標準に適合したシンタックスで符号化するという要件もある。本明細書では、このビューを、ベース・ビュー（ｂａｓｅｖｉｅｗ）と呼ぶ。このビューは、独立して、すなわちいかなるビュー間参照予測も用いずに、復号することができる。また、このビューは、その他の全てのビューのビュー間参照の基礎となり、従って、ある時刻の第１のピクチャとして符号化される可能性が最も高い。従って、その他のビューの客観的品質のためには、このピクチャを適時隠蔽することが望ましい。図２のＳ０は、ＭＰＥＧ−４ＡＶＣ標準に適合したビューの一例である。

所与の時刻の全てのビューのピクチャが既に受信され、復号されているかどうかを判定するためには、タイム・ファースト符号化、ある時刻の最初に符号化されたピクチャが、ＭＰＥＧ−４ＡＶＣ標準に適合したピクチャであること、およびシーケンス中の符号化されたビューの数に基づくこと、が考慮される。

従って、所与の時刻の全てのビューのピクチャが既に受信され復号されている、ＭＰＥＧ−４ＡＶＣ標準に適合したピクチャを受信する、あるいはサフィックスＮＡＬユニットまたはプレフィックスＮＡＬユニットを受信する、の何れかが当てはまる場合に、異なる時刻の復号が行われると判定することができる。

従って、前述の情報を用いて、本明細書に記載する少なくとも２つの例示的な方法で、ＭＰＥＧ−４ＡＶＣ標準に適合したピクチャが失われたかどうかを判定することができる。もちろん、本明細書で提供する本発明の教示があれば、当技術分野および関連技術分野の当業者なら、本発明の趣旨を維持しながら、ＭＰＥＧ−４ＡＶＣ標準に適合したピクチャが失われたかどうかを判定するための、これらの方法およびその他の様々な方法を思いつくであろう。

以下、ＭＰＥＧ−４ＡＶＣ標準に適合したピクチャが失われたかどうかの判定に関する例示的な実施例について説明する。この実施例では、デコーダは、所与の時刻の全てのビューのピクチャを受信し、復号した後で、異なる時刻のピクチャの受信を予測する。デコーダが受信を予測する最初のピクチャは、ＭＰＥＧ−４ＡＶＣ標準に適合したピクチャである。次いで、デコーダは、このピクチャのＮＡＬユニット・タイプを調べることにより、このピクチャが実際にＭＰＥＧ−４ＡＶＣ標準に適合したピクチャであるかどうかを確認することができる。ＮＡＬユニット・タイプがＭＰＥＧ−４ＡＶＣ標準に適合したＮＡＬユニットでない場合には、ＭＰＥＧ−４ＡＶＣ標準に適合したピクチャが受信されていないと結論づけることができる。そのピクチャが実際にＭＰＥＧ−４ＡＶＣ標準に適合している場合には、適当な隠蔽アルゴリズム／プロセスを呼び出して、そのピクチャを隠蔽することができる。

別の例示的な実施例では、サフィックスＮＡＬユニットまたはプレフィックスＮＡＬユニットのみを受信した場合に、ＭＰＥＧ−４ＡＶＣ標準に適合したピクチャの損失を検出することができる。サフィックスＮＡＬユニットは、全てのＭＰＥＧ−４ＡＶＣに適合したＮＡＬユニットに関連付けられており、ＭＰＥＧ−４ＡＶＣ標準に適合したＮＡＬユニットの直後に存在する。プレフィックスＮＡＬユニットは、ＭＰＥＧ−４ＡＶＣ標準に適合したピクチャの最初のスライスに対してのみ存在する。サフィックスＮＡＬユニットまたはプレフィックスＮＡＬユニットのみを受信した場合には、ＭＰＥＧ−４ＡＶＣ標準に適合したＮＡＬユニットが失われたことが分かる。

損失が起きやすい環境では、特定の時刻の全てのピクチャが失われる可能性もある。適当な隠蔽を実行することができるように、このような損失を検出することが望ましい。

上述のように、図２は、マルチビュー符号化の一例を示す図である。図２では、階層Ｂピクチャを時間領域で使用している。階層Ｂピクチャの符号化に適用できる様々な符号化順序がある。１つは、符号化順序がＴ０，Ｔ８，Ｔ４，Ｔ２，Ｔ１，Ｔ３，Ｔ６，Ｔ５，Ｔ７となる、低遅延モードである。別の方法は、レイヤ・ファースト（ｌａｙｅｒｆｉｒｓｔ）符号化と呼ばれることもあり、時間レベルによってピクチャが符号化される。ピクチャの時間レベルは、表１に示すＮＡＬユニット・ヘッダに示されている。この場合では、符号化順序は、Ｔ０，Ｔ８，Ｔ４，Ｔ２，Ｔ６，Ｔ１，Ｔ３，Ｔ５，Ｔ７となる。何れの場合も、アンカー・ピクチャは時間レベル０を有することができる。

レイヤ・ファースト符号化を用いる用途では、所与の時刻の全てのピクチャが失われたかどうかを判定する。

図２の例では、４つの時間レイヤ０；１；２；３が存在する。これら４つのレイヤは、以下のようにピクチャと関係している。
ピクチャＴ０，Ｔ８ − 時間レベル０
ピクチャＴ４ − 時間レベル１
ピクチャＴ２，Ｔ６ − 時間レベル２
ピクチャＴ５，Ｔ５ − 時間レベル３

従って、レイヤ・ファースト符号化の時間的符号化順序は、０，１，２，３，０，１，２，３，と続いていく。これは、時間レイヤが最高の時間レベルまで上昇し、その後０（アンカー・ピクチャの時間レベル）に減少することを意味する。このことに鑑みて、特定の時刻の時間レベル０の全てのピクチャが失われた場合には、０，１，２，３，１，２，３，０，１，２，３，という時間レベル順序が得られることになる。

すなわち、最高の時間レベルの後で、時間レベルは低下するが０までは低下しない。この状態は、時間レベル０が欠落しており、従って、時間レベル０に関連するピクチャが失われたことを示している。

この方法は、時間レベル０のピクチャの損失の検出のみでなく、その他の任意の時間レベルの損失の検出にも使用することができる。レイヤ・ファースト符号化を想定しているので、全てのレイヤは上記の例で述べたように昇順に受信される。デコーダはこの順序を常に把握し、（受信した時間レベルと予想した時間レベルのずれを検出することによって）欠落している時間レベルを検出することができる。

例えば、０，１，２，３，０，１，２，３のように符号化された４つの時間レベルがあり、受信した時間レベルが０，１，２，３，０，１，２，３，０，１，３，０，２，３である場合には、内部カウンタを保持することにより、グループ・オブ・ピクチャ（ｇｒｏｕｐｏｆｐｉｃｔｕｒｅｓ）（ＧＯＰ）３では時間レベル２が失われ、ＧＯＰ４では時間レベル１が失われていると判定することができる。次いで、適当なエラー隠蔽アルゴリズム／プロセスを呼び出して、失われたピクチャを隠蔽することができる。

図３を参照すると、失われたピクチャに対するエラー隠蔽を用いてビデオ・シーケンスに対応するビデオ・データを復号する例示的な方法の全体を、参照番号３００で示してある。

方法３００は、機能ブロック３１０に制御を渡す開始ブロック３０５を含む。機能ブロック３１０では、シーケンス・パラメータ・セット（ＳＰＳ）、ピクチャ・パラメータ・セット（ＰＰＳ）、ビュー・パラメータ・セット（ＶＰＳ）、ネットワーク・アブストラクション・レイヤ（ＮＡＬ）ユニット・ヘッダ、および／または付加拡張情報（ＳＥＩ）メッセージを解析し、制御を機能ブロック３１５に渡す。機能ブロック３１５では、変数ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ＿１＋１に等しい変数ＮｕｍＶｉｅｗｓを設定し、ゼロに等しい変数ＰｒｅｖＰＯＣを設定し、ゼロに等しい変数ＲｅｃｖＰｉｃを設定し、制御を判定ブロック３２０に渡す。判定ブロック３２０では、ビデオ・シーケンスの末端に到達したかどうかを判定する。到達している場合には、制御は終了ブロック３９９に渡される。そうでない場合には、制御は機能ブロック３２５に渡される。

機能ブロック３２５では、次のピクチャのピクチャ・オーダ・カウント（ＰＯＣ）を読み取り、変数ＲｅｃｖＰｉｃを増分し、制御を判定ブロック３３０に渡す。判定ブロック３３０では、変数ＣｕｒｒＰＯＣが変数ＰｒｅｖＰＯＣに等しいかどうかを判定する。等しい場合には、制御は機能ブロック３３５に渡される。そうでない場合には、制御は判定ブロック３４０に渡される。

機能ブロック３３５では、現在のピクチャを復号し、制御を機能ブロック３２５に戻す。

判定ブロック３４０では、現在のピクチャがＭＰＥＧ−４ＡＶＣ標準に適合しているかどうかを判定する。適合している場合には、制御は機能ブロック３３５に戻される。そうでない場合には、制御は機能ブロック３４５に渡される。

機能ブロック３４５では、ＭＰＥＧ−４ＡＶＣ標準に適合しているピクチャを隠蔽し、制御を機能ブロック３３５に戻す。

図４を参照すると、失われたピクチャに対するエラー隠蔽を用いてビデオ・シーケンスに対応するビデオ・データを復号する別の例示的な方法の全体を、参照番号４００で示してある。

方法４００は、機能ブロック４１０に制御を渡す開始ブロック４０５を含む。機能ブロック４１０では、シーケンス・パラメータ・セット（ＳＰＳ）、ピクチャ・パラメータ・セット（ＰＰＳ）、ビュー・パラメータ・セット（ＶＰＳ）、ネットワーク・アブストラクション・レイヤ（ＮＡＬ）ユニット・ヘッダ、および／または付加拡張情報（ＳＥＩ）メッセージを解析し、制御を機能ブロック４１５に渡す。機能ブロック４１５では、変数ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ＿１＋１に等しい変数ＮｕｍＶｉｅｗｓを設定し、ゼロに等しい変数ＰｒｅｖＰＯＣを設定し、ゼロに等しい変数ＲｅｃｖＰｉｃを設定し、制御を判定ブロック４２０に渡す。判定ブロック４２０では、ビデオ・シーケンスの末端に到達したかどうかを判定する。到達している場合には、制御は終了ブロック４９９に渡される。そうでない場合には、制御は機能ブロック４２５に渡される。

機能ブロック４２５では、次のピクチャのピクチャ・オーダ・カウント（ＰＯＣ）を読み取り、変数ＲｅｃｖＰｉｃを増分し、制御を判定ブロック４３０に渡す。判定ブロック４３０では、受信したのがサフィックスＮＡＬユニットのみであるかどうかを判定する。受信したのがサフィックスＮＡＬユニットのみである場合には、制御は機能ブロック４３５に渡される。そうでない場合には、制御は機能ブロック４４０に渡される。

機能ブロック４３５では、ＭＰＥＧ−４ＡＶＣに適合したピクチャを隠蔽し、制御を機能ブロック４４０に渡す。

機能ブロック４４０では、現在のピクチャを復号し、制御を機能ブロック４３５に戻す。

図５を参照すると、エラー隠蔽を用いてビデオ・シーケンスに対応するビデオ・データを復号するさらに別の例示的な方法の全体を、参照番号５００で示してある。

方法５００は、機能ブロック５１０に制御を渡す開始ブロック５０５を含む。機能ブロック５１０では、シーケンス・パラメータ・セット（ＳＰＳ）、ピクチャ・パラメータ・セット（ＰＰＳ）、ビュー・パラメータ・セット（ＶＰＳ）、ネットワーク・アブストラクション・レイヤ（ＮＡＬ）ユニット・ヘッダ、および／または付加拡張情報（ＳＥＩ）メッセージを解析し、制御を機能ブロック５１５に渡す。機能ブロック５１５では、変数ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ＿１＋１に等しい変数ＮｕｍＶｉｅｗｓを設定し、ゼロに等しい変数ＰｒｅｖＰＯＣを設定し、ゼロに等しい変数ＲｅｃｖＰｉｃを設定し、制御を判定ブロック５２０に渡す。判定ブロック５２０では、ビデオ・シーケンスの末端に到達したかどうかを判定する。到達している場合には、制御は終了ブロック５９９に渡される。そうでない場合には、制御は機能ブロック５２５に渡される。

機能ブロック５２５では、次のピクチャのピクチャ・オーダ・カウント（ＰＯＣ）を読み取り、変数ＲｅｃｖＰｉｃを増分し、制御を判定ブロック５３０に渡す。判定ブロック５３０では、受信したのがプレフィックスＮＡＬユニットのみであるかどうかを判定する。受信したのがプレフィックスＮＡＬユニットのみである場合には、制御は機能ブロック５３５に渡される。そうでない場合には、制御は機能ブロック５４０に渡される。

機能ブロック５３５では、ＭＰＥＧ−４ＡＶＣに適合したピクチャを隠蔽し、制御を機能ブロック５４０に渡す。

機能ブロック５４０では、現在のピクチャを復号し、制御を機能ブロック５３５に戻す。

図６を参照すると、エラー隠蔽を用いてビデオ・シーケンスに対応するビデオ・データを復号するさらに別の例示的な方法の全体を、参照番号６００で示してある。

方法６００は、機能ブロック６１０に制御を渡す開始ブロック６０５を含む。機能ブロック６１０では、シーケンス・パラメータ・セット（ＳＰＳ）、ピクチャ・パラメータ・セット（ＰＰＳ）、ビュー・パラメータ・セット（ＶＰＳ）、ネットワーク・アブストラクション・レイヤ（ＮＡＬ）ユニット・ヘッダ、および／または付加拡張情報（ＳＥＩ）メッセージを解析し、制御を機能ブロック６１５に渡す。機能ブロック６１５では、変数ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ＿１＋１に等しい変数ＮｕｍＶｉｅｗｓを設定し、ゼロに等しい変数ＰｒｅｖＰＯＣを設定し、ゼロに等しい変数ＲｅｃｖＰｉｃを設定し、ゼロに等しい変数ＶｉｅｗＣｏｄｉｎｇＯｒｄｅｒを設定し、ゼロに等しい変数ＣｕｒｒＴｅｍｐＬｅｖｅｌを設定し、ゼロに等しい変数ＥｘｐｅｃｔｅｄＴｅｍｐＬｅｖｅｌを設定し、制御を判定ブロック６２０に渡す。判定ブロック６２０では、ビデオ・シーケンスの末端に到達したかどうかを判定する。到達している場合には、制御は終了ブロック６９９に渡される。そうでない場合には、制御は機能ブロック６２５に渡される。

機能ブロック６２５では、次のピクチャのピクチャ・オーダ・カウント（ＰＯＣ）を読み取り、変数ＲｅｃｖＰｉｃを増分し、現在の時間レベルを読み取り（すなわち変数ＣｕｒｒＴｅｍｐＬｅｖｅｌを読み取ることによって）、制御を判定ブロック６３０に渡す。判定ブロック６３０では、変数ＣｕｒｒＴｅｍｐＬｅｖｅｌが変数ＥｘｐｅｃｔｅｄＴｅｍｐＬｅｖｅｌに等しいかどうかを判定する。ＥｘｐｅｃｔｅｄＴｅｍｐＬｅｖｅｌに等しい場合には、制御は機能ブロック６３５に渡される。そうでない場合には、制御は機能ブロック６４０に渡される。

機能ブロック６３５では、現在のピクチャを復号し、変数ＥｘｐｅｃｔｅｄＴｅｍｐＬｅｖｅｌを更新し、制御を判定ブロック６２０に戻す。

機能ブロック６４０では、全ての失われた時間レベルのピクチャを隠蔽し、制御を判定ブロック６２０に戻す。

次に、その一部については上記で既に説明した、本発明の多くの付随的な利点／特色の一部について説明する。例えば、１つの利点／特色は、ビットストリームからのマルチビュー・ビデオ・コンテンツに対応する少なくとも１つのビューのピクチャを復号するデコーダを備えた装置である。デコーダは、少なくとも１つのビューの特定の１つに対応するピクチャの何れかが失われているどうかを既存のシンタックスエレメントを用いて判定する。既存のシンタックスエレメントは、ピクチャ損失判定以外の別の機能を実行するものである。少なくとも１つのビューの特定の１つは、ビデオ符号化標準およびビデオ符号化勧告の少なくとも１つに準拠している。

別の利点／特色は、デコーダを備えた上述の装置であって、既存のシンタックスエレメントがマルチビュー・ビデオ符号化シンタックスエレメントである装置である。

さらに別の利点／特色は、既存のシンタックスエレメントがマルチビュー・ビデオ符号化シンタックスエレメントであるデコーダを備えた上述の装置であって、マルチビュー・ビデオ符号化シンタックスエレメントが、国際標準化機構／国際電気標準会議ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告の拡張に対応する装置である。

さらに別の利点／特色は、デコーダを備えた上述の装置であって、ビデオ符号化標準およびビデオ符号化勧告の前記少なくとも１つが、国際標準化機構／国際電気標準会議ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告に対応する装置である。

さらに、別の利点／特色は、デコーダを備えた上述の装置であって、前記既存のシンタックスエレメントが高レベルに存在する装置である。

さらに、別の利点／特色は、デコーダを備えた上述の装置であって、高レベルが、スライス・ヘッダ・レベル、シーケンス・パラメータ・セット・レベル、ピクチャ・パラメータ・セット・レベル、ビュー・パラメータ・セット・レベル、ネットワーク抽象化レイヤ・ユニット・ヘッダ・レベル、および付加拡張情報メッセージに対応するレベルの少なくとも１つに対応する装置である。

また、別の利点／特色は、デコーダを備えた上述の装置であって、既存のシンタックスエレメントの別の機能が、少なくとも１つのビューも含んでいるビットストリーム中の符号化ビューの数を示すことである装置である。

さらに、別の利点／特色は、デコーダを備えた上述の装置であって、ピクチャの何れかが、国際標準化機構／国際電気標準会議ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告に適合した特定のピクチャを少なくとも１つ含み、デコーダが、少なくとも１つの特定のピクチャが失われているかどうかをタイム・ファースト符号化情報に基づいて判定する装置である。

さらに、別の利点／特色は、デコーダを備えた上述の装置であって、ピクチャがビデオ・シーケンスの少なくとも一部分を表し、ピクチャの少なくともいくつかがビデオ・シーケンス内の異なる時刻に対応し、ピクチャの何れかが、国際標準化機構／国際電気標準会議ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告に適合した特定のピクチャを少なくとも１つ含み、デコーダが、少なくとも１つの特定のピクチャが失われているかどうかを、異なる時刻の特定の１つの時刻に受信された、少なくとも１つのビューのうちの特定の１つに対応するピクチャの数と、異なる時刻の別の特定の１つの時刻に受信された、少なくとも１つのビューのうちの特定の１つに対応するピクチャのうちの最初のピクチャとに基づいて判定する装置である。

さらに、別の利点／特色は、少なくとも１つの特定のピクチャが失われているかどうかを、異なる時刻の特定の１つの時刻に受信された、少なくとも１つのビューのうちの特定の１つに対応するピクチャの数と、異なる時刻の別の特定の１つの時刻に受信された、少なくとも１つのビューのうちの特定の１つに対応するピクチャのうちの最初のピクチャとに基づいて判定するデコーダを備えた上述の装置であって、異なる時刻の別の特定の１つの時刻に受信されたピクチャのうちの最初のピクチャが、国際標準化機構／国際電気標準会議ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告に適合していない装置である。

また、別の利点／特色は、デコーダを備えた上述の装置であって、デコーダが、少なくとも１つのビューのうちの特定の１つに対応するピクチャの少なくとも１つに対応するサフィックス・ネットワーク抽象化レイヤ・ユニットのみを受信したときに、ピクチャの少なくとも１つが失われていることを示し、ピクチャの少なくとも１つが、国際標準化機構／国際電気標準会議ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告に適合している装置である。

さらに、別の利点／特色は、デコーダを備えた上述の装置であって、デコーダが、少なくとも１つのビューのうちの特定の１つに対応するピクチャの少なくとも１つに対応するプレフィックス・ネットワーク抽象化レイヤ・ユニットのみを受信したときに、ピクチャの少なくとも１つが失われていることを示し、ピクチャの少なくとも１つが、国際標準化機構／国際電気標準会議ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告に適合している装置である。

さらに、別の利点／特色は、ビットストリームからのマルチビュー・ビデオ・コンテンツに対応する少なくとも１つのビューのピクチャを復号するデコーダを備えた装置である。ピクチャは、ビデオ・シーケンスの少なくとも一部分を表す。ピクチャの少なくともいくつかは、ビデオ・シーケンス内の異なる時刻に対応する。デコーダは、異なる時刻の特定の１つに対応する全てのピクチャが失われているかどうかを既存のシンタックスエレメントを用いて判定する。既存のシンタックスエレメントは、ピクチャ損失判定以外の別の機能を実行するものである。

さらに別の利点／特色は、デコーダを備えた上述の装置であって、既存のシンタックスエレメントが高レベルに存在する装置である。

さらに、別の利点／特色は、デコーダを備えた上述の装置であって、既存のシンタックスエレメントの別の機能が時間レベルを示すことである装置である。

また、別の利点／特色は、前記既存のシンタックスエレメントの別の機能が時間レベルを示すことであるデコーダを備えた上述の装置であって、異なる時刻の特定の１つの時刻に対応するピクチャがアンカー・ピクチャおよび非アンカー・ピクチャを含み、デコーダが、異なる時刻の特定の１つの時刻に対応する全てのアンカー・ピクチャが失われているかどうかを時間レベルを用いて確認し、用いられる時間レベルが第１の時間レベルである装置である。

さらに、別の利点／特色は、異なる時刻の前記特定の１つの時刻に対応する全てのアンカー・ピクチャが失われているかどうかを時間レベルを用いて確認するデコーダを備え、用いられる時間レベルが第１の時間レベルである上述の装置であって、デコーダが、ビットストリーム内の最高の時間レベルから非ゼロの時間レベルへの時間レベルの降下を利用して、異なる時刻の特定の１つに対応する、ゼロに等しい第１の時間レベルを有する全てのアンカー・ピクチャの損失を検出し、前記降下が少なくとも２以上の整数値である装置である。

さらに、別の利点／特色は、異なる時刻の特定の１つの時刻に対応する全てのアンカー・ピクチャが失われているかどうかを時間レベルを用いて確認するデコーダを備え、用いられる時間レベルが第１の時間レベルである上述の装置であって、デコーダが、欠落している時間レベルに属し、かつ、異なる時刻の特定の１つに対応する全ての非アンカー・ピクチャが失われているかどうかを、欠落している時間レベルが存在しないことに基づいて判定する装置である。

本発明の上記その他の特色および利点は、当業者なら本明細書の教示に基づいて容易に確認することができる。本発明の教示は、ハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサまたはそれらの組合せといった様々な形態で実施することができることを理解されたい。

本発明の教示は、ハードウェアとソフトウェアの組合せとして実施されることが最も好ましい。さらに、ソフトウェアは、プログラム記憶装置に物理的に実装されたアプリケーション・プログラムとして実施することができる。アプリケーション・プログラムは、任意の適当なアーキテクチャを備えるマシンにアップロードし、このマシンによって実行することができる。このマシンは、１つまたは複数の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）および入出力（Ｉ／Ｏ）インタフェースなどのハードウェアを有するコンピュータ・プラットフォームに実装されることが好ましい。コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロ命令コードを含むこともできる。本明細書に記載の様々なプロセスおよび機能は、ＣＰＵによって実行することができる、マイクロ命令コードの一部またはアプリケーション・プログラムの一部あるいはそれらの任意の組合せとすることもできる。さらに、追加のデータ記憶装置や印刷装置など、その他の様々な周辺機器をコンピュータ・プラットフォームに接続することもできる。

さらに、添付の図面に示すシステム構成要素および方法の一部はソフトウェアで実施することが好ましいので、システム構成要素間またはプロセス機能ブロック間の実際の接続形態は、本発明を実施する態様によって変わることがあることを理解されたい。本明細書の教示があれば、当業者なら、上記の、またそれに類する本発明の実施態様または構成を思いつくことができるであろう。

本明細書では添付の図面を参照しながら例示的な実施例について説明したが、本発明はこれらの具体的な実施例に限定されるものではなく、当業者なら、本発明の趣旨または範囲を逸脱することなく様々な変更および修正を加えることができることを理解されたい。これらの変更および修正は全て、添付の特許請求の範囲に記載する本発明の範囲に含まれるものとする。

Claims

ビットストリームからのマルチビュー・ビデオ・コンテンツに対応する少なくとも１つのビューのピクチャを復号するデコーダ（１００）を備えた装置であって、該デコーダは、前記少なくとも１つのビューの特定の１つに対応するピクチャの何れかが失われているどうかを既存のシンタックスエレメントを用いて判定し、該既存のシンタックスエレメントは、ピクチャ損失判定以外の別の機能を実行するものであり、前記少なくとも１つのビューの前記特定の１つは、ビデオ符号化標準およびビデオ符号化勧告の少なくとも１つに準拠している、前記装置。
前記既存のシンタックスエレメントは、マルチビュー・ビデオ符号化シンタックスエレメントである、請求項１に記載の装置。
前記マルチビュー・ビデオ符号化シンタックスエレメントは、国際標準化機構／国際電気標準会議ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告の拡張に対応する、請求項２に記載の装置。
ビデオ符号化標準およびビデオ符号化勧告の前記少なくとも１つは、国際標準化機構／国際電気標準会議ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告に対応する、請求項１に記載の装置。
前記既存のシンタックスエレメントが高レベルに存在する、請求項１に記載の装置。
前記高レベルは、スライス・ヘッダ・レベル、シーケンス・パラメータ・セット・レベル、ピクチャ・パラメータ・セット・レベル、ビュー・パラメータ・セット・レベル、ネットワーク抽象化レイヤ・ユニット・ヘッダ・レベル、および付加拡張情報メッセージに対応するレベルの少なくとも１つに対応する、請求項１に記載の装置。
前記既存のシンタックスエレメントの前記別の機能は、前記少なくとも１つのビューを含んでいる前記ビットストリーム中の符号化ビューの数を示すことである、請求項１に記載の装置。
前記ピクチャの前記何れかが、国際標準化機構／国際電気標準会議ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告に適合した特定のピクチャを少なくとも１つ含み、前記デコーダ（１００）は、前記少なくとも１つの特定のピクチャが失われているかどうかをタイム・ファースト符号化情報に基づいて判定する、請求項１に記載の装置。
前記ピクチャがビデオ・シーケンスの少なくとも一部分を表し、前記ピクチャの少なくともいくつかが前記ビデオ・シーケンス内の異なる時刻に対応し、前記ピクチャの前記何れかが、国際標準化機構／国際電気標準会議ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告に適合した特定のピクチャを少なくとも１つ含み、前記デコーダ（１００）は、前記少なくとも１つの特定のピクチャが失われているかどうかを、前記異なる時刻の特定の１つの時刻に受信された、前記少なくとも１つのビューのうちの前記特定の１つに対応するピクチャの数と、前記異なる時刻の別の特定の１つの時刻に受信された、前記少なくとも１つのビューのうちの前記特定の１つに対応するピクチャのうちの最初のピクチャとに基づいて判定する、請求項１に記載の装置。
前記異なる時刻の前記別の特定の１つの時刻に受信されたピクチャのうちの前記最初のピクチャは、国際標準化機構／国際電気標準会議ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告に適合していない、請求項９に記載の装置。
前記デコーダ（１００）は、前記少なくとも１つのビューのうちの前記特定の１つに対応するピクチャの少なくとも１つに対応するサフィックス・ネットワーク抽象化レイヤ・ユニットのみを受信したときに、前記ピクチャの前記少なくとも１つが失われていることを示し、前記ピクチャの前記少なくとも１つが、国際標準化機構／国際電気標準会議ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告に適合している、請求項１に記載の装置。
前記デコーダ（１００）は、前記少なくとも１つのビューのうちの前記特定の１つに対応するピクチャの少なくとも１つに対応するプレフィックス・ネットワーク抽象化レイヤ・ユニットのみを受信したときに、前記ピクチャの前記少なくとも１つが失われていることを示し、前記ピクチャの前記少なくとも１つが、国際標準化機構／国際電気標準会議ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告に適合している、請求項１に記載の装置。
ビットストリームからのマルチビュー・ビデオ・コンテンツに対応する少なくとも１つのビューのピクチャを復号するステップを含む方法であって、該復号ステップは、前記少なくとも１つのビューの特定の１つに対応するピクチャの何れかが失われているどうかを既存のシンタックスエレメントを用いて判定するステップを含み、該既存のシンタックスエレメントは、ピクチャ損失判定以外の別の機能を実行するものである（３１５）、前記方法。
前記既存のシンタックスエレメントは、マルチビュー・ビデオ符号化シンタックスエレメントである（３１５）、請求項１３に記載の方法。
前記マルチビュー・ビデオ符号化シンタックスエレメントは、国際標準化機構／国際電気標準会議ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告の拡張に対応する（３１０）、請求項１４に記載の方法。
ビデオ符号化標準およびビデオ符号化勧告の前記少なくとも１つは、国際標準化機構／国際電気標準会議ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告に対応する（３４０）、請求項１３に記載の方法。
前記既存のシンタックスエレメントが高レベルに存在する（３１０）、請求項１３に記載の方法。
前記高レベルは、スライス・ヘッダ・レベル、シーケンス・パラメータ・セット・レベル、ピクチャ・パラメータ・セット・レベル、ビュー・パラメータ・セット・レベル、ネットワーク抽象化レイヤ・ユニット・ヘッダ・レベル、および付加拡張情報メッセージに対応するレベルの少なくとも１つに対応する（３１０）、請求項１３に記載の方法。
前記既存のシンタックスエレメントの前記別の機能は、前記少なくとも１つのビューを含んでいる前記ビットストリーム中の符号化ビューの数を示すことである（３１５）、請求項１３に記載の方法。
前記ピクチャの前記何れかが、国際標準化機構／国際電気標準会議ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告に適合した特定のピクチャを少なくとも１つ含み、前記判定ステップは、前記少なくとも１つの特定のピクチャが失われているかどうかをタイム・ファースト符号化情報に基づいて判定するステップを含む、請求項１３に記載の方法。
前記ピクチャがビデオ・シーケンスの少なくとも一部分を表し、前記ピクチャの少なくともいくつかが前記ビデオ・シーケンス内の異なる時刻に対応し、前記ピクチャの前記何れかが、国際標準化機構／国際電気標準会議ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告に適合した特定のピクチャを少なくとも１つ含み、前記判定ステップは、前記少なくとも１つの特定のピクチャが失われているかどうかを、前記異なる時刻の特定の１つの時刻に受信された、前記少なくとも１つのビューのうちの前記特定の１つに対応するピクチャの数と、前記異なる時刻の別の特定の１つの時刻に受信された、前記少なくとも１つのビューのうちの前記特定の１つに対応するピクチャのうちの最初のピクチャとに基づいて判定するステップを含む（３１５，３２５，３３０，３４０）、請求項１３に記載の方法。
前記異なる時刻の前記別の特定の１つの時刻に受信されたピクチャのうちの前記最初のピクチャは、国際標準化機構／国際電気標準会議ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告に適合していない（３４０）、請求項２１に記載の方法。
前記復号ステップは、前記少なくとも１つのビューのうちの前記特定の１つに対応するピクチャの少なくとも１つに対応するサフィックス・ネットワーク抽象化レイヤ・ユニットのみを受信したときに、前記ピクチャの前記少なくとも１つが失われていることを示すステップを含み、前記ピクチャの前記少なくとも１つが、国際標準化機構／国際電気標準会議ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告に適合している（４３０）、請求項１３に記載の方法。
前記復号ステップは、前記少なくとも１つのビューのうちの前記特定の１つに対応するピクチャの少なくとも１つに対応するプレフィックス・ネットワーク抽象化レイヤ・ユニットのみを受信したときに、前記ピクチャの前記少なくとも１つが失われていることを示すステップを含み、前記ピクチャの前記少なくとも１つが、国際標準化機構／国際電気標準会議ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告に適合している（５３０）、請求項１３に記載の方法。
ビットストリームからのマルチビュー・ビデオ・コンテンツに対応する少なくとも１つのビューのピクチャを復号するデコーダ（１００）を備え、前記ピクチャはビデオ・シーケンスの少なくとも一部分を表し、前記ピクチャの少なくともいくつかが前記ビデオ・シーケンス内の異なる時刻に対応する装置であって、前記デコーダは、前記異なる時刻の特定の１つに対応するピクチャが失われているかどうかを既存のシンタックスエレメントを用いて判定し、前記既存のシンタックスエレメントは、ピクチャ損失判定以外の別の機能を実行するものである、前記装置。
前記既存のシンタックスエレメントは、マルチビュー・ビデオ符号化シンタックスエレメントである、請求項２５に記載の装置。
前記マルチビュー・ビデオ符号化シンタックスエレメントは、国際標準化機構／国際電気標準会議ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告の拡張に対応する、請求項２６に記載の装置。
前記既存のシンタックスエレメントは高レベルに存在する、請求項２５に記載の装置。
前記高レベルは、スライス・ヘッダ・レベル、シーケンス・パラメータ・セット・レベル、ピクチャ・パラメータ・セット・レベル、ビュー・パラメータ・セット・レベル、ネットワーク抽象化レイヤ・ユニット・ヘッダ・レベル、および付加拡張情報メッセージに対応するレベルの少なくとも１つに対応する、請求項２５に記載の装置。
前記既存のシンタックスエレメントの前記別の機能は時間レベルを示すことである、請求項２５に記載の装置。
前記異なる時刻の前記特定の１つの時刻に対応するピクチャがアンカー・ピクチャおよび非アンカー・ピクチャを含み、前記デコーダは、前記異なる時刻の前記特定の１つの時刻に対応するアンカー・ピクチャが失われているかどうかを前記時間レベルを用いて確認し、用いられる前記時間レベルが第１の時間レベルである、請求項３０に記載の装置。
前記デコーダ（１００）は、前記ビットストリーム内の最高の時間レベルから非ゼロの時間レベルへの時間レベルの降下を利用して、前記異なる時刻の前記特定の１つに対応する、ゼロに等しい前記第１の時間レベルを有するアンカー・ピクチャの損失を検出し、前記降下が少なくとも２以上の整数値である、請求項３１に記載の装置。
前記デコーダ（１００）は、欠落している時間レベルに属し、かつ、前記異なる時刻の前記特定の１つに対応する非アンカー・ピクチャが失われているかどうかを、前記欠落している時間レベルが存在しないことに基づいて判定する、請求項３１に記載の装置。
ビットストリームからのマルチビュー・ビデオ・コンテンツに対応する少なくとも１つのビューのピクチャを復号するステップを含み、前記ピクチャは、ビデオ・シーケンスの少なくとも一部分を表し、前記ピクチャの少なくともいくつかが前記ビデオ・シーケンス内の異なる時刻に対応する方法であって、前記復号ステップは、前記異なる時刻の特定の１つに対応するピクチャが失われているかどうかを既存のシンタックスエレメントを用いて判定するステップを含み、前記既存のシンタックスエレメントは、ピクチャ損失判定以外の別の機能を実行するものである（６３０）、前記方法。
前記既存のシンタックスエレメントは、マルチビュー・ビデオ符号化シンタックスエレメントである（６２５）、請求項３４に記載の方法。
前記マルチビュー・ビデオ符号化シンタックスエレメントは、国際標準化機構／国際電気標準会議ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告の拡張に対応する（６２５）、請求項３５に記載の方法。
前記既存のシンタックスエレメントは高レベルに存在する（６１０）、請求項３４に記載の方法。
前記高レベルは、スライス・ヘッダ・レベル、シーケンス・パラメータ・セット・レベル、ピクチャ・パラメータ・セット・レベル、ビュー・パラメータ・セット・レベル、ネットワーク抽象化レイヤ・ユニット・ヘッダ・レベル、および付加拡張情報メッセージに対応するレベルの少なくとも１つに対応する（６１０）、請求項３４に記載の方法。
前記既存のシンタックスエレメントの前記別の機能は時間レベルを示すことである（６２５）、請求項３４に記載の方法。
前記異なる時刻の前記特定の１つの時刻に対応するピクチャがアンカー・ピクチャおよび非アンカー・ピクチャを含み、前記判定ステップは、前記異なる時刻の前記特定の１つの時刻に対応するアンカー・ピクチャが失われているかどうかを時間レベルを用いて確認するステップを含み、用いられる前記時間レベルが第１の時間レベルである（６３０）、請求項３９に記載の方法。
前記確認ステップは、前記ビットストリーム内の最高の時間レベルから非ゼロの時間レベルへの時間レベルの降下を利用して、前記異なる時刻の前記特定の１つに対応する、ゼロに等しい前記第１の時間レベルを有するアンカー・ピクチャの損失を検出するステップを含み、前記降下が少なくとも２以上の整数値である（６３０）、請求項４０に記載の方法。
前記復号ステップは、欠落している時間レベルに属し、かつ、前記異なる時刻の前記特定の１つに対応する非アンカー・ピクチャが失われているかどうかを、前記欠落している時間レベルが存在しないことに基づいて判定する（６３０，６４０）、請求項３１に記載の方法。