JP2010527216A - マルチビュー・ビデオ符号化（ｍｖｃ）情報の符号化においてスライス群を使用する方法及び装置 - Google Patents

Abstract

マルチビュー・ビデオ符号化（ＭＶＣ）情報の符号化及び復号化においてスライス群を使用する方法及び装置を提供する。複数のスライス群（５１０、５１５、５２０）を使用して、マルチビュー・ビデオ・コンテンツに対応する少なくとも２つのビューを符号化する装置（１００）及び方法（５００）について説明する。更に、複数のスライス群（６２０）を使用して、マルチビュー・ビデオ・コンテンツに対応する少なくとも２つのビューを復号化する装置（２００）及び方法（６１０）について説明する。

Description

本出願は、その内容全部を本明細書及び特許請求の範囲に援用する、西暦２００７年５月１６日付出願の米国特許仮出願第６０／９３８３６３号の利益を主張する。更に、本出願は、「ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＴＨＥ ＵＳＥ ＯＦ ＳＬＩＣＥ ＧＲＯＵＰＳ ＩＮ ＤＥＣＯＤＩＮＧ ＭＵＬＴＩ−ＶＩＥＷ ＶＩＤＥＯ ＣＯＤＩＮＧ （ＭＶＣ） ＩＮＦＯＲＭＡＴＩＯＮ」と題する、本願の譲受人に譲渡され、本明細書及び特許請求の範囲にその内容が援用され、本出願と同時に出願された米国特許出願（代理人整理番号第ＰＵ０８００２４号）に関連している。

本願の原理は一般に、ビデオの符号化及び復号化に関し、特に、マルチビュー・ビデオ符号化（ＭＶＣ）情報の符号化及び復号化においてスライス群を使用する方法及び装置に関する。

Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ （ＩＳＯ／ＩＥＣ） Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４ （ＭＰＥＧ−４） Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＡＶＣ） ｓｔａｎｄａｒｄ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ （ＩＴＵ−Ｔ）（国際標準化機構／国際電気会議 動画像専門家グループ−４ パート１０ 高度ビデオ符号化標準／国際電気通信連合 電気通信分野）Ｈ．２６４勧告（以降 「ＭＰＥＧ−４ ＡＶＣ標準」）は、表５に示すような、ステレオ・ビデオ情報（ＳＶＩ）ＳＥＩメッセージとして表す付加拡張情報（ＳＥＩ）メッセージによる、３Ｄビデオ符号化のフレームワークを提供する。

ＳＶＩ ＳＥＩメッセージは、符号化ビデオ系列全体が、ステレオビュー・コンテンツを形成するピクチャ対を含むという表示を復号化器に供給する。更に、ＳＶＩ ＳＥＩメッセージは、２つのビューがフィールド形式に構成されているか、又はフレーム形式に構成されているかを規定し、前述のビューが別個に符号化されるか否か、及び前述のビューのどれが独立して符号化されているかを規定する。フィールド形式下では、特定の時間インスタンスの各ビューはインタレースされたビデオ・フレームの各フィールドに符号化される。フレーム形式の下では、出力順序における別のフレームはそれぞれ、ビューを表す。

ＭＰＥＧ−４ ＡＶＣ標準は、各ピクチャをスライスに区分するための更なる高位構文を導入している。更に、前述のスライスは種々のスライス群に属し得る。前述のスライス群は、別々のスライス群タイプを有し得る。複数のスライス群は、符号化されたマクロブロック（ＭＢ）の系列を復号化ピクチャに、いくつかの柔軟なやり方でマッピングすることを可能にする。マクロブロックの割り当ては、各マクロブロックが属するスライス群がどれであるかを示すマクロブロック・スライス群マップによって定められる。ＭＰＥＧ−４ＡＶＣ標準は、インタリーブされたスライス群、分散したスライス群マッピング、１つ又は複数の「フォアグラウンド」スライス群、及び「残りの」１つのスライス群、スライス群の変更、並びに各スライス群マップ・ユニットへのスライス群の明示的な割り当てという別々のスライス群タイプをサポートする。これにより、別々のスライスがどのようにして符号化されるかにおける柔軟性が大きくなる。スライス群の主な目的は、誤り耐性とすることが可能である。スライス群の別のアプリケーションは、関心領域（ＲＯＩ）符号化である。

ＭＰＥＧ−４ＡＶＣ標準は、スライス群境界を跨るインター予測の制約を規定するために使用されるＳＥＩメッセージも含む。これは、並列処理に有用であり得る。

従来技術の前述並びに他の弊害及び欠点が、マルチビュー・ビデオ符号化（ＭＶＣ）情報の符号化及び復号化においてスライス群を使用する方法及び装置に関する本願の原理によって対処される。

本願の原理の局面によれば、装置が提供される。装置は、マルチビュー・ビデオ・コンテンツに対応する少なくとも２つのビューを複数のスライス群を使用して符号化する符号化器を含む。

本願の原理の別の局面によれば、方法が提供される。方法は、マルチビュー・ビデオ・コンテンツに対応する少なくとも２つのビューを複数のスライス群を使用して符号化する工程を含む。

本願の原理の更に別の局面によれば、装置が提供される。装置は、マルチビュー・ビデオ・コンテンツに対応する少なくとも２つのビューを複数のスライス群を使用して復号化する復号化器を含む。

本願の原理の更なる局面によれば、方法が提供される。方法は、マルチビュー・ビデオ・コンテンツに対応する少なくとも２つのビューを複数のスライス群を使用して復号化する工程を含む。

ＭＰＥＧ‐４ ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）拡張によってビデオ符号化を行うことができるビデオ符号化器を示すブロック図である。 ＭＰＥＧ‐４ ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）拡張によってビデオ復号化を行うことができるビデオ復号化器を示すブロック図である。 本願の原理の実施例による、本願の原理を適用することができる、階層Ｂピクチャを使用した、ＭＰＥＧ‐４ＡＶＣ標準に基づくインタービュー時間予測構造を示す図である。 本願の原理の実施例による、単一のフレーム上の４つのビューの例示的なタイリングを示す図である。 本願の原理の実施例による、スライス群を使用してマルチビュー・ビデオ・コンテンツを符号化する例示的な方法を示す流れ図である。 本願の原理の実施例による、スライス群を使用してマルチビュー・ビデオ・コンテンツを復号化する例示的な方法を示す流れ図である。 本願の原理の実施例による、スライス群を使用してマルチビュー・ビデオ・コンテンツを符号化する別の例示的な方法を示す流れ図である。 本願の原理の実施例による、スライス群を使用してマルチビュー・ビデオ・コンテンツを復号化する別の例示的な方法を示す流れ図である。 本願の原理の実施例による、スライス群を使用してマルチビュー・ビデオ・コンテンツを符号化する更に別の例示的な方法を示す流れ図である。 本願の原理の実施例による、スライス群を使用してマルチビュー・ビデオ・コンテンツを復号化する更に別の例示的な方法を示す流れ図である。

本願の原理は、例示的な図により、更に詳細に理解することができる。

本発明の前述並びに他の局面、構成及び効果は、添付図面とともに読まれる例示的な実施例の以下の詳細な説明から明らかになるであろう。

本願の原理は、マルチビュー・ビデオ符号化（ＭＶＣ）情報の符号化及び復号化においてスライス群を使用する方法及び装置に関する。

本明細書及び特許請求の範囲は、本願の原理を示す。よって、当業者は、本明細書及び特許請求の範囲に明示的に説明するか、又は示していないが、本願の原理を実施し、その趣旨及び範囲の範囲内に含まれる種々の構成を考え出すことができるであろう。

本明細書及び特許請求の範囲記載の例及び条件付文言は全て、本願の原理、及び当該技術分野を発展させるために本願の発明者が貢献する概念の、読者の理解を支援するための教示の目的を意図しており、前述の、特記した例及び条件への限定なしであると解するものとする。

更に、本願の原理、局面、及び実施例、並びにそれらの具体例を記載した、本明細書及び特許請求の範囲の記載は全て、その構造的均等物及び機能的均等物を包含することを意図している。更に、前述の均等物は、現在知られている均等物、及び将来に開発される均等物（すなわち、構造にかかわらず、同じ機能を行う、開発された何れかの構成要素）をともに含むことが意図されている。

よって、例えば、本明細書及び特許請求の範囲に提示されたブロック図が、本願の原理を実施する例証的な回路の概念図を表すことは当業者によって理解されるであろう。同様に、フローチャート、流れ図、状態遷移図、擬似コード等は何れも、コンピュータ読み取り可能な媒体において実質的に表し、コンピュータ又はプロセッサにより、前述のコンピュータ又はプロセッサが明記されているかにかかわらず、実行し得る種々の処理を表す。

図に示す種々の構成要素の機能は、専用ハードウェア、及び適切なソフトウェアに関連してソフトウェアを実行することができるハードウェアの使用によって提供することができる。プロセッサによって提供される場合、機能は、単一の専用プロセッサによって提供されるか、単一の共有プロセッサによって提供されるか、又は、複数の個々のプロセッサ（この一部は共有であり得る）によって提供され得る。更に、「プロセッサ」又は「コントローラ」の語を明示的に使用していることは、ソフトウェアを実行することができるハードウェアを専ら表すものと解するべきでなく、暗黙的には、限定列挙でないが、ディジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するための読み取り専用メモリ（「ＲＯＭ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）及び不揮発性記憶装置を含み得る。

他のハードウェア（汎用及び／又はカスタム）も含まれ得る。同様に、図に示すスイッチは何れも概念のみである。その機能は、プログラム・ロジックの動作により、専用ロジックにより、プログラム制御及び専用ロジックの相互作用により、又は手作業で行うことができ、その具体的な手法は、コンテキストからより具体的に理解されるように、実現者によって選択可能である。

本願の特許請求の範囲では、特定の機能を行う手段として表される構成要素は何れも、その機能を行う何れの手段（例えば、ａ）その機能を行う回路構成要素の組合せや、ｂ）機能を行うためにそのソフトウェアを実行する適切な回路と組み合わせた、ファームウェア、マイクロコード等を含む、何れかの形態のソフトウェア）も包含することが意図される。前述の特許請求の範囲で規定された本願の原理は、記載された種々の手段によって提供される機能が、請求項が要求するやり方で組合せられ、集約されるということに存在する。よって、前述の機能を提供することが可能な手段は何れも、本願の明細書及び特許請求の範囲記載のものと均等であるとみなされる。

本願明細書における、本願の原理の「ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ」又は「ａｎ ｅｍｂｏｄｉｍｅｎｔ」への言及は、本願の実施例に関して説明した特定の構成、構造、特性等が本願の原理の少なくとも一実施例に含まれていることを意味している。よって、本明細書全体の種々の箇所に記載された「ｉｎ ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ」又は「ｉｎ ａｎ ｅｍｂｏｄｉｍｅｎｔ」の句は、必ずしも、同じ実施例を全て表している訳でない。

「及び／又は」の語を使用していること、例えば、「Ａ及び／又はＢ」の場合は、最初に挙げられた選択肢（Ａ）の選択、第２に挙げられた選択肢（Ｂ）の選択、又は両方の選択肢（Ａ及びＢ）の選択を包含することが意図されている。更なる例として、「Ａ、Ｂ、及び／又はＣ」の場合、前述の句は、第１に挙げられた選択肢（Ａ）の選択、第２に挙げられた選択肢（Ｂ）の選択、第３に挙げられた選択肢（Ｃ）の選択、第１に挙げられた選択肢及び第２に挙げられた選択肢（Ａ及びＢ）の選択、第１に挙げられた選択肢及び第３に挙げられた選択肢（Ａ及びＣ）の選択、第２に挙げられた選択肢及び第３に挙げられた選択肢（Ｂ及びＣ）の選択、又は、３つの選択肢（Ａ、Ｂ及びＣ）全ての選択を包含することを意図している。当該技術分野及び関連技術分野において通常の知識を有する者が容易に分かるように、このことは、挙げられたいくつもの項目について拡張することができる。

更に、本願の原理の１つ又は複数の実施例はＭＰＥＧ−４ ＡＶＣ標準に関して説明しているが、本願の原理はこの標準にのみ限定されず、よって、本願の原理の趣旨を維持しながら、他のビデオ符号化の標準、勧告、及びそれらの拡張（ＭＰＥＧ−４ＡＶＣ標準の拡張を含む）に関して利用することができる。

本明細書及び特許請求の範囲では、「高位構文」は、階層的にマクロブロック層の上の、ビットストリーム内に存在している構文を表す。例えば、本明細書及び特許請求の範囲記載の高位構文は、スライス・ヘッダ・レベル、付加拡張情報（ＳＥＩ）レベル、ピクチャ・パラメータ・セット（ＰＰＳ）レベル、シーケンス・パラメータ・セット（ＳＰＳ）レベル、及びネットワーク抽象化層（ＮＡＬ）ユニット・ヘッダ・レベルにおける構文を表し得るが、それらに限定されない。

図１を参照すれば、ＭＰＥＧ−４ ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）拡張によってビデオ符号化を行うことができるビデオ符号化器は全体を参照符号１００で示す。

ビデオ符号化器１００は、合成器１８５の非反転入力と信号通信する出力を有するフレーム配列バッファ１１０を含む。合成器１８５の出力は変換器及び量子化器１２５の第１の入力と信号通信で接続される。変換器及び量子化器１２５の出力は、エントロピ符号化器１４５の第１の入力、並びに、逆変換器及び逆量子化器１５０の第１の入力と信号通信で接続される。エントロピ符号化器１４５の出力は、合成器１９０の第１の非反転入力と信号通信で接続される。合成器１９０の出力は、出力バッファ１３５の第１の入力と信号通信で接続される。

符号化器コントローラ１０５の第１の出力は、フレーム配列バッファ１１０の第２の入力、逆変換器及び逆量子化器１５０の第２の入力、ピクチャタイプ決定モジュール１１５の入力、マクロブロックタイプ（ＭＢタイプ）決定モジュール１２０の入力、イントラ予測モジュール１６０の第２の入力、デブロッキング・フィルタ１６５の第２の入力、動き補償器１７０の第１の入力、動き推定器１７５の第１の入力、及び参照ピクチャ・バッファ１８０の第２の入力と信号通信で接続される。

符号化器コントローラ１０５の第２の出力は、付加拡張情報（ＳＥＩ）挿入器１３０の第１の入力、変換器及び量子化器１２５の第２の入力、エントロピ符号化器１４５の第２の入力、出力バッファ１３５の第２の入力、並びに、シーケンス・パラメータ・セット（ＳＰＳ）及びピクチャ・パラメータ・セット（ＰＰＳ）挿入器１４０の入力と信号通信で接続される。

ピクチャタイプ決定モジュール１１５の第１の出力は、フレーム配列バッファ１１０の第３の入力と信号通信で接続される。ピクチャタイプの決定モジュール１１５の第２の出力は、マクロブロックタイプの決定モジュール１２０の第２の入力と信号通信で接続される。

シーケンス・パラメータ・セット（ＳＰＳ）及びピクチャ・パラメータ・セット（ＰＰＳ）挿入器１４０の出力は合成器１９０の第３の非反転入力と信号通信で接続される。
逆量子化器及び逆変換器１５０の出力は合成器１１９の第１の非反転入力と信号通信で接続される。合成器１１９の出力はイントラ予測モジュール１６０の第１の入力及びデブロッキング・フィルタ１６５の第１の入力と信号通信で接続される。デブロッキング・フィルタ１６５の出力は参照ピクチャ・バッファ１８０の第１の入力と信号通信で接続される。参照ピクチャ・バッファ１８０の出力は動き推定器１７５の第２の入力と信号通信で接続される。動き推定器１７５の第１の出力は動き補償器１７０の第２の入力と信号通信で接続される。動き推定器１７５の第２の出力は、エントロピ符号化器１４５の第３の入力と信号通信で接続される。

動き補償器１７０の出力はスイッチ１９７の第１の入力と信号通信で接続される。イントラ予測モジュール１６０の出力はスイッチ１９７の第２の入力と信号通信で接続される。マクロブロックタイプの決定モジュール１２０の出力はスイッチ１９７の第３の入力と信号通信で接続される。スイッチ１９７の第３の入力は、（制御入力、すなわち、第３の入力と比較して）スイッチの「データ」入力を動き補償器１７０又はイントラ予測モジュール１６０によって供給されるか否かを判定する。スイッチ１９７の出力は、合成器１１９の第２の非反転入力、及び合成器１８５の反転入力と信号通信で接続される。

符号化器制御の第２の入力は、スライス群情報１８６を受け取る。併せて参照符号１８９で表されるビュー０乃至ビューＮ−１は、タイリング・モジュール１８８に供給される。タイリング・モジュール１８８は入力ピクチャ１０１を供給するためにビューをタイリングする。

フレーム配列バッファ１１０及び符号化器コントローラ１０５の第１の入力は、入力ピクチャ１０１を受け取るために、符号化器１００の入力として利用可能である。更に、付加拡張情報（ＳＥＩ）挿入器１３０の入力は、メタデータを受け取るために、符号化器１００の入力として利用可能である。出力バッファ１３５の出力は、ビットストリームを出力するために、符号化器１００の出力として利用可能である。

図２を参照すれば、ＭＰＥＧ−４ ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）拡張によってビデオ復号化を行うことができるビデオ復号化器は全体を参照符号２００で示す。

ビデオ復号化器２００は、エントロピ復号化器２４５の第１の入力と信号通信で接続された出力を有する入力バッファ２１０を含む。エントロピ復号化器２４５の第１の出力は逆変換器及び逆量子化器２５０の第１の入力と信号通信で接続される。逆変換器及び逆量子化器２５０の出力は、合成器２２５の第２の非反転入力と信号通信で接続される。合成器２２５の出力はデブロッキング・フィルタ２６５の第２の入力及びイントラ予測モジュール２６０の第１の入力と信号通信で接続される。デブロッキング・フィルタ２６５の第２の出力は参照ピクチャ・バッファ２８０の第１の入力と信号通信で接続される。参照ピクチャ・バッファ２８０の出力は動き補償器２７０の第２の入力と信号通信で接続される。

エントロピ復号化器２４５の第２の出力は、動き補償器２７０の第３の入力及びデブロッキング・フィルタ２６５の第１の入力と信号通信で接続される。エントロピ復号化器２４５の第３の出力は、復号化器コントローラ２０５の入力と信号通信で接続される。復号化器コントローラ２０５の第１の入力はエントロピ復号化器２４５の第２の入力と信号通信で接続される。復号化器コントローラ２０５の第２の出力は、逆変換器及び逆量子化器２５０の第２の入力と信号通信で接続される。復号化器コントローラ２０５の第３の出力は、デブロッキング・フィルタ２６５の第３の入力と信号通信で接続される。復号化器コントローラ２０５の第４の出力は、イントラ予測モジュール２６０の第２の入力、動き補償器２７０の第１の入力、及び参照ピクチャ・バッファ２８０の第２の入力と信号通信で接続される。

動き補償器２７０の出力はスイッチ２９７の第１の入力と信号通信で接続される。イントラ予測モジュール２６０の出力はスイッチ２９７の第２の入力と信号通信で接続される。スイッチ２９７の出力は、合成器２２５の第１の非反転入力と信号通信で接続される。

入力バッファ２１０の入力は、入力ビットストリームを受け取るために、復号化器２００の入力として利用可能である。デブロッキング・フィルタ２６５の第１の出力は、出力ピクチャを出力するために、復号化器２００の出力として利用可能である。

図３に移れば、階層Ｂピクチャを使用した、ＭＰＥＧ−４ＡＶＣ標準に基づいたインタービュー時間予測構造の全体を参照符号３００で示す。

図４に移れば、単一のフレーム上の４つのビューの例示的なタイリング全体を参照符号４００で示す。

本願の原理によれば、スライス群を使用した、マルチビュー・ビデオ・コンテンツの符号化及び復号化を可能にするためにＭＰＥＧ−４ＡＶＣ標準フレームワークを拡張する。前述の新たな機能をサポートするために、ＭＰＥＧ−４ＡＶＣ標準を使用してスライスにおいてマルチビュー・ビデオ情報をシグナリングするための新たな高位構文を策定した。上述の通り、１つ又は複数の実施例を本明細書及び特許請求の範囲においてＭＰＥＧ−４ＡＶＣ標準に関して説明しているが、本願の原理はそれに限定されるものでなく、他のビデオ符号化手法に拡張することが可能である。

本願の原理によれば、ＭＰＥＧ−４ＡＶＣ標準と互換のスライス群を使用して単一のフレームにおいて複数のビューを符号化する。上述の通り、ＭＰＥＧ−４ ＡＶＣ標準は、各ピクチャをスライスに区分するための更なる高位構文を導入している。更に、前述のスライスは種々のスライス群に属し得る。前述のスライス群は、別々のスライス群タイプを有し得る。ＭＰＥＧ−４ＡＶＣ標準は、インタリーブされたスライス群、分散したスライス群マッピング、１つ又は複数の「フォアグラウンド」スライス群、及び「残りの」１つのスライス群、スライス群の変更、並びに各スライス群マップ・ユニットへのスライス群の明示的な割り当てという別々のスライス群タイプをサポートする。これにより、別々のスライスがどのようにして符号化されるかにおける柔軟性が大きくなる。スライス群の主たる目的は、誤り耐性とすることが可能である。スライス群の別のアプリケーションは、関心領域（ＲＯＩ）符号化である。ＡＶＣは、スライス群境界を跨るインター予測の制約を規定するために使用されるＳＥＩメッセージも含む。これは、並列処理に有用であり得る。

ＳＥＩメッセージを使用し、スライス群の概念も使用して、別々のスライス群を、独立して符号化し、復号化することが可能であるということを利用すれば、別々のビューからの各ピクチャを別個のスライス群として符号化することが可能である。上述の通り、図４は、単一のフレーム上の別々のビューの例示的なタイリング４００を示す。ＭＰＥＧ−４ＡＶＣ標準のフレームワークでは、タイリングされたビューそれぞれは特定のスライス群であるとすることが可能である。例えば、左上の象限はスライス群１であり得、右上の象限はスライス群２であり得、左下の象限はスライス群３であり得、右下の象限はスライス群４であり得る。これを達成するための１つの考えられる方法は、スライス群タイプ・マップのタイプ２及び６の何れかを使用することである。スライス群タイプ２は、「フォアグラウンド」スライス群及び「残りの」スライス群を表す。本願の原理によれば、「フォアグラウンド」スライス群は、残りの領域としての１つのビューを備えているか、又は「残りの」領域を備えていない矩形領域として規定することが可能である。重ならないビューをもたらす他の組合せの何れも可能である。スライス群タイプ６は、構文におけるマクロブロック・スライス群マッピングの明示的なシグナリングを可能にする。よって、ビュー毎に、どのスライス群にビューが属するかをシグナリングすることが可能である。

このシグナリング後、各ビューは次いで、ＳＥＩメッセージを使用したインター予測のために制約され得る。表１は、本願の原理の実施例による、ＭＰＥＧ−４ＡＶＣ標準とともに使用する動き制約されたスライス群セットの付加拡張情報（ＳＥＩ）メッセージ構文を示す。これにより、各ビューがそれ自身のビューのみから予測されることが確実になる。

別々のスライス群からのビュー情報はいくつかの別々のやり方で抽出することが可能である。一実施例では、表３に示すようにＳＥＩメッセージを使用することが可能である
表３は、ＭＰＥＧ−４ＡＶＣ標準互換のスライス群とともに使用するマルチビュー・ビデオ符号化（ＭＶＣ）付加拡張情報（ＳＥＩ）メッセージを示す。

各ビューの位置を表す部分は除外されている。この情報はＰＰＳから容易に入手可能であるからである。ｓｌｉｃｅ＿ｇｒｏｕｐ＿ｉｄ［ｖｉｅｗ＿ｉｄ［ｉ］］として表す更なる構文が付加される。この更なる構文は、ＰＰＳにおいて、シグナリングされるスライス群を、対応するｖｉｅｗ＿ｉｄビューにマッピングするために使用される。よって、この情報を使用して、どのスライス群がどのｖｉｅｗ＿ｉｄに対応するかを判定することが可能である。ｓｌｉｃｅ＿ｇｒｏｕｐ＿ｉｄ［ｖｉｅｗ＿ｉｄ［ｉ］］の意味規則は以下の通りである。

ｓｌｉｃｅ＿ｇｒｏｕｐ＿ｉｄ［ｖｉｅｗ＿ｉｄ［ｉ］］は、ｖｉｅｗ＿ｉｄ［ｉ］によって規定されるビューに対応するラスタ走査順序において、スライス群マップ・ユニットのスライス群を識別する。構文要素ｓｌｉｃｅ＿ｇｒｏｕｐ＿ｉｄ［ｖｉｅｗ＿ｉｄ［ｉ］］のサイズは、Ｃｅｉｌ（Ｌｏｇ２（ｎｕｍ＿ｓｌｉｃｅ＿ｇｒｏｕｐｓ＿ｍｉｎｕｓ１ ＋ １ ） ）ビットである。ｓｌｉｃｅ＿ｇｒｏｕｐ＿ｉｄ［ｖｉｅｗ＿ｉｄ［ｉ］］の値は、０以上、ｎｕｍ＿ｓｌｉｃｅ＿ｇｒｏｕｐｓ＿ｍｉｎｕｓ１以下の範囲内である。

別の実施例では、ビュー情報をＰＰＳにおいてスライス群情報とともにシグナリングすることが可能である。この実施例の例は表２に示す。すなわち、表２は、本願の実施例による、修正されたピクチャ・パラメータ・セット（ＰＰＳ）ＲＢＳＰ構文を示す。

ここでは、スライス群タイプが２の場合、左及び右のサポートに加えてｖｉｅｗ＿ｉｄ情報をシグナリングする。スライス群タイプが６の場合、次いで、ｓｌｉｃｅ＿ｇｒｏｕｐ＿ｉｄからｖｉｅｗ＿ｉｄへのマッピングを提供する。これにより、各スライス群の関連ｖｉｅｗ＿ｉｄがもたらされる。この情報を次いで使用して別々のビューを抽出することが可能である。

更に、ｖｉｅｗ＿ｉｄ［ｉ］によって識別されるビューが、インター予測の何れの他のビューにも依存しない旨を示すｓｅｌｆ＿ｃｏｎｔａｉｎｅｄ＿ｆｌａｇ［ｉ］と呼ばれるフラグを加えることにより、ＳＥＩメッセージを適合させている。ｓｅｌｆ＿ｃｏｎｔａｉｎｅｄ＿ｆｌａｇ［ｉ］は表４に示し、以下のように規定している。

ｓｅｌｆ＿ｃｏｎｔａｉｎｅｄ＿ｆｌａｇ［ｉ］が１に等しいことは、符号化ビデオ・ピクチャのｖｉｅｗ＿ｉｄ［ｉ］部分によって識別されたビューの復号化処理におけるインター予測動作は何れも、ｖｉｅｗ＿ｉｄ［ｊ］（ｉはｊに等しくない）に対応する領域の部分の参照領域を表すことを示す。ｓｅｌｆ＿ｃｏｎｔａｉｎｅｄ＿ｆｌａｇ［ｉ］が０に等しいことは、符号化ビデオ・ピクチャのｖｉｅｗ＿ｉｄ［ｉ］部分によって識別されたビューの復号化処理におけるインター予測動作の一部は、ｖｉｅｗ＿ｉｄ［ｊ］（ｉはｊに等しくない）に対応する領域の部分の参照領域を表しても表さなくてもよいことを示す。

図５に移れば、スライス群を使用してマルチビュー・ビデオ・コンテンツを符号化する例示的な方法の全体を参照符号５００で示す。

方法５００は開始ブロックを含み、開始ブロックは制御を機能ブロック５１０に渡す。機能ブロック５１０はビュー０乃至Ｎ−１を入力し、制御を機能ブロック５１５に渡す。機能ブロック５１５は入力ビューをタイリングし、制御を機能ブロック５２０に渡す。機能ブロック５２０はタイル毎のスライス群情報を供給し、制御を機能ブロック５２５に渡す。機能ブロック５２５はスライス群タイプ２又は６を使用し、制御を機能ブロック５３０に渡す。機能ブロック５３０は、スライス群間の動きを制約するための付加拡張情報（ＳＥＩ）メッセージを作成し、制御を機能ブロック５３５に渡す。機能ブロック５３５は、スライス群を含むシーケンス・パラメータ・セット（ＳＰＳ）及びピクチャ・パラメータ・セット（ＰＰＳ）情報を作成し、制御を機能ブロック５４０に渡す。機能ブロック５４０は、タイリングされたビデオ系列を符号化し、制御を終了ブロック５９９に渡す。

図６に移れば、スライス群を使用してマルチビュー・ビデオ・コンテンツを復号化する例示的な方法全体を参照符号６００で示す。

方法６００は開始ブロック６０５を含み、開始ブロック６０５は制御を機能ブロック６１０に渡す。機能ブロック６１０は、動きが制約された付加拡張情報（ＳＥＩ）メッセージ及びシーケンス・パラメータ・セット（ＳＰＳ）を解析し、制御を機能ブロック６１５に渡す。機能ブロック６１５は、ピクチャ・パラメータ・セット（ＰＰＳ）を解析し、制御を機能ブロック６２０に渡す。機能ブロック６２０はスライス群情報を解析し、制御を機能ブロック６２５に渡す。機能ブロック６２５はスライス群タイプ２又は６を解析し、制御を機能ブロック６３０に渡す。機能ブロック６３０は各スライス群を復号化し、制御を機能ブロック６３５に渡す。機能ブロック６３５は各スライス群を抽出して別々のビューを取得し、制御を終了ブロック６９９に渡す。

図７を参照すれば、スライス群を使用してマルチビュー・ビデオ・コンテンツを符号化する別の例示的な方法の船体を参照符号７００で示す。

方法７００は開始ブロック７０５を含み、開始ブロック７０５は制御を機能ブロック７１０に渡す。機能ブロック７１０はビュー０乃至Ｎ−１を入力し、制御を機能ブロック７１５に渡す。機能ブロック７１５は入力ビューをタイリングし、制御を機能ブロック７２０に渡す。機能ブロック７２０はタイル毎のスライス群情報を供給し、制御を機能ブロック７２５に渡す。機能ブロック７２５はスライス群タイプ２又は６を使用し、制御を決定ブロック７３０に渡す。決定ブロック７３０は、現在のスライス群タイプが２に等しいか否かを判定する。肯定の場合、制御は機能ブロック７３５に渡される。さもなければ、制御は機能ブロック７４０に渡される。

機能ブロック７３５は、ｔｏｐ＿ｌｅｆｔ座標及びｂｏｔｔｏｍ＿ｒｉｇｈｔ座標により、スライス毎のｖｉｅｗ＿ｉｄを規定し、制御を機能ブロック７４５に渡す。

機能ブロック７４５は符号化処理を続け、制御を終了ブロック７９９に渡す。

機能ブロック７４０は、スライス群毎のｖｉｅｗ＿ｉｄを規定し、制御を機能ブロック７４５に渡す。

図８に移れば、スライス群を使用してマルチビュー・ビデオ・コンテンツを復号化する別の例示的な方法の全体を参照符号８００で示す。

方法８００は開始ブロック８０５を含む。開始ブロック８０５は制御を機能ブロック８１０に渡す。機能ブロック８１０はシーケンス・パラメータ・セット（ＳＰＳ）を解析し、制御を機能ブロック８１５に渡す。機能ブロック８１５はピクチャ・パラメータ・セット（ＰＰＳ）を解析し、制御を機能ブロック８２０に渡す。機能ブロック８２０はスライス群情報を解析し、制御を決定ブロック８２５に渡す。決定ブロック８２５は、現在のスライス群タイプがタイプ２に等しいか否かを判定する。肯定の場合、制御は機能ブロック８３０に渡される。さもなければ、制御は機能ブロック８３５に渡される。

機能ブロック８３０は、ｔｏｐ＿ｌｅｆｔ座標及びｂｏｔｔｏｍ＿ｒｉｇｈｔ座標とともにスライス群毎にｖｉｅｗ＿ｉｄを解析し、制御を機能ブロック８４０に渡す。

機能ブロック８４０は復号化処理を続け、制御を終了ブロック８９９に渡す。

機能ブロック８３５はスライス群毎にｖｉｅｗ＿ｉｄを解析し、制御を機能ブロック８４０に渡す。

図９に移れば、スライス群を使用してマルチビュー・ビデオ・コンテンツを符号化する更に別の例示的な方法の全体を参照符号９００で示す。

方法９００は開始ブロック９０５を含み、開始ブロック９０５は制御を機能ブロック９１０に渡す。機能ブロック９１０は、マルチビュー・ビデオ符号化付加拡張情報（ＳＥＩ）メッセージを開始し、制御を機能ブロック９１５に渡す。機能ブロック９１５は符号化ビュー−１の数を書き込み、制御を機能ブロック９２０に渡す。機能ブロック９２０は元のピクチャの幅及び高さを書き込み、制御を決定ブロック９２５に渡す。決定ブロック９２５は、全てのビューが済んでいるか否かを判定する。肯定の場合、制御は機能ブロック９３０に渡される。さもなければ、制御は機能ブロック９３５に渡される。

機能ブロック９３０はビューを符号化し、制御を終了ブロック９９９に渡す。

機能ブロック９３５は、付加拡張情報（ＳＥＩ）メッセージにおけるｖｉｅｗ＿ｉｄの書き込みを行い、制御を機能ブロック９４０に渡す。制御ブロック９４０は、ｓｌｉｃｅ＿ｇｒｏｕｐ＿ｉｄを書き込み、制御を機能ブロック９４５に渡す。機能ブロック９４５は、付加拡張情報（ＳＥＩ）メッセージにおけるｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇの書き込みを行い、制御を機能ブロック９５０に渡す。機能ブロック９５０は、付加拡張情報（ＳＥＩ）メッセージにおける付加拡張情報（ＳＥＩ）パラメータを書き込み、制御を決定ブロック９２５に返す。

図１０に移れば、スライス群を使用してマルチビュー・ビデオ・コンテンツを復号化する更に別の例示的な方法の全体を参照符号１０００で示す。

方法１０００は開始ブロック１００５を含み、開始ブロック１００５は制御を機能ブロック１０１０に渡す。機能ブロック１０１０は、マルチビュー・ビデオ付加拡張情報（ＳＥＩ）メッセージを解析し、制御を機能ブロック１０１５に渡す。機能ブロック１０２０は符号化ビュー−１の数を解析し、制御を機能ブロック１０２０に渡す。機能ブロック１０２０は元のピクチャの幅及び高さを書き込み、制御を決定ブロック１０２５に渡す。決定ブロック１０２５は、全てのビューが済んでいるか否かを判定する。肯定の場合、制御は機能ブロック１０３０に渡される。さもなければ、制御は機能ブロック１０３５に渡される。

機能ブロック１０３０はビューを符号化し、制御を終了ブロック１０９９に渡す。

機能ブロック１０３５はｖｉｅｗ＿ｉｄを解析し、制御を機能ブロック１０４０に渡す。機能ブロック１０４０はｓｌｉｃｅ＿ｇｒｏｕｐ＿ｉｄを解析し、制御を機能ブロック１０４５に渡す。機能ブロック１０４５は、ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇを解析し、制御を機能ブロック１０５０に渡す。機能ブロック１０５０は他の付加拡張情報（ＳＥＩ）パラメータを解析し、制御を決定ブロック１０２５に返す。

次に、本発明の多くの付随的な効果／構成の一部について説明する。この一部は上述している。例えば、一効果／構成は、マルチビュー・ビデオ・コンテンツに対応する少なくとも２つのビューを複数のスライス群を使用して符号化する符号化器を有する装置である。

別の効果／構成は、前述の符号化器を有する装置であって、複数のスライス群のうちの少なくとも一部が、既存のビデオ符号化標準又は既存のビデオ符号化勧告に準拠している装置である。

更に別の効果／構成は、上述の符号化器を有する装置であって、複数のスライス群のうちの少なくとも一部が、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ（国際標準化機構／国際電気会議 動画像専門家グループ−４ パート１０ 高度ビデオ符号化標準／国際電気通信連合 電気通信分野） Ｈ．２６４勧告に準拠している装置である。

更に別の効果／構成は、上述の符号化器を有する装置であって、符号化器が、少なくとも２つのビューそれぞれを、複数のスライス群のうちのそれぞれの別個のスライス群として符号化する装置である。

更に、別の効果／構成は、前述の複数のスライス群のうちのそれぞれの別個のスライス群として、少なくとも２つのビューそれぞれを符号化する符号化器を有する装置であって、符号化器が、付加拡張情報メッセージを使用して、複数のスライス群のうちのそれぞれの別個のスライス群として少なくとも２つのビューそれぞれを符号化する装置である。

更に、別の効果／構成は、上述の付加拡張情報（ＳＥＩ）メッセージを使用する符号化器を有する装置であって、付加拡張情報メッセージが、複数のスライス群のうちの少なくとも一部の動きが制約される旨を示す装置である。

更に、別の効果／構成は、前述の符号化器を有する装置であって、符号化器が、スライス群識別子情報を含めるよう既存のビデオ符号化標準又はビデオ符号化勧告の既存の付加拡張情報メッセージを修正する装置である。

更に、別の効果／構成は、上述の符号化器を有する装置であって、符号化器は、少なくとも２つのビューのビュー識別子情報及びスライス群識別子情報をシグナリングするようピクチャ・パラメータ・セットを修正する装置である。

更に、別の効果／構成は、上述の符号化器を有する装置であって、ピクチャ・パラメータ・セットは、スライス群タイプ２及びスライス群タイプ６のうちの少なくとも一方を規定するよう修正される装置である。

更に、別の効果／構成は、符号化器を有する装置であって、ピクチャ・パラメータ・セットは上述のように修正され、スライス群タイプ２及びスライス群タイプ６がピクチャ・パラメータ・セットにおいて規定された場合、ビュー識別情報からスライス群識別情報へのマッピングがもたらされる。

更に、別の効果／構成は、上述の符号化器を有する装置であって、符号化器は、高位構文要素を使用して、少なくとも２つのビューそれぞれが、独立して符号化される旨をシグナリングする装置である。

更に、別の効果／構成は、上述の符号化器を有する装置であって、高位構文要素は、スライス・ヘッダ・レベル、シーケンス・パラメータ・セット・レベル、ピクチャ・パラメータ・セット・レベル、ビュー・パラメータ・セット・レベル、ネットワーク抽象化層ユニット・ヘッダ・レベル、及び付加拡張情報メッセージに対応するレベルのうちの少なくとも１つに対応する装置である。

本願の原理の前述並びに他の特徴及び効果は、本明細書及び特許請求の範囲記載の教示に基づいて、当業者が容易に確かめることができる。本願の原理の教示は、種々の形態のハードウェア、ソフトウェア、ファームウェア、特殊用途向プロセッサ、又はそれらの組み合わせで実現することができる。

最も好ましくは、本願の原理の教示は、ハードウェア及びソフトウェアの組合せとして実現される。更に、ソフトウェアは、プログラム記憶装置上に有形に実施されたアプリケーション・プログラムとして実現することができる。アプリケーション・プログラムは、何れかの適切なアーキテクチャを有するマシンにアップロードし、前述のマシンによって実行することができる。好ましくは、マシンは、１つ又は複数の中央処理装置（「ＣＰＵ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）や、入出力（「Ｉ／Ｏ」）インタフェースなどのハードウェアを有するコンピュータ・プラットフォーム上に実現される。コンピュータ・プラットフォームは、オペレーティング・システム及びマイクロ命令コードも含み得る。本明細書及び特許請求の範囲記載の種々の処理及び機能は、ＣＰＵによって実行することができるアプリケーション・プログラムの一部若しくはマイクロ命令コードの一部（又はそれらの組み合わせ）であり得る。更に、種々の他の周辺装置を更なるデータ記憶装置や印刷装置などのコンピュータ・プラットフォームに接続することができる。

添付図面に表す構成システム部分及び方法の一部は好ましくはソフトウェアで実現されるので、システム部分（又は処理機能ブロック）間の実際の接続は、本願の原理がプログラムされるやり方によって変わり得る。本明細書及び特許請求の範囲記載の教示があれば、当業者は、本願の原理の前述及び同様な実現形態又は構成に想到することができるであろう。

例証的な実施例を添付図面を参照して本明細書及び特許請求の範囲において記載しているが、本願の原理は上述のまさにその実施例に限定されず、本願の原理の範囲又は趣旨から逸脱しない限り、種々の変更及び修正を当業者により、本願の原理において行うことができる。前述の変更及び修正は全て、特許請求の範囲記載の本願の原理の範囲内に含まれることが意図されている。

Claims (25)

1. 装置であって、
   マルチビュー・ビデオ・コンテンツに対応する少なくとも２つのビューを複数のスライス群を使用して符号化する符号化器を備えた装置。
2. 請求項１記載の装置であって、前記複数のスライス群のうちの少なくとも一部は、既存のビデオ符号化標準又は既存のビデオ符号化勧告に準拠する装置。
3. 請求項１記載の装置であって、前記複数のスライス群のうちの少なくとも一部が、国際標準化機構／国際電気会議 動画像専門家グループ−４ パート１０ 高度ビデオ符号化標準／国際電気通信連合 電気通信分野Ｈ．２６４勧告に準拠している装置。
4. 請求項１記載の装置であって、前記符号化器は、前記少なくとも２つのビューそれぞれを前記複数のスライス群のうちのそれぞれの別個のスライス群として符号化する装置。
5. 請求項４記載の装置であって、前記符号化器は、付加拡張情報メッセージを使用して、前記複数のスライス群のうちのそれぞれの別個のスライス群として前記少なくとも２つのビューそれぞれを符号化する装置。
6. 請求項５記載の装置であって、前記付加拡張情報メッセージは、前記複数のスライス群の少なくとも一部の動きが制約される旨を示す装置。
7. 請求項１記載の装置であって、前記符号化器は、スライス群識別子情報を含めるよう、既存のビデオ符号化標準又はビデオ符号化勧告の既存の付加拡張情報メッセージを修正する装置。
8. 請求項１記載の装置であって、前記符号化器は、前記少なくとも２つのビューについてビュー識別子情報及びスライス群識別子情報をシグナリングするようピクチャ・パラメータ・セットを修正する装置。
9. 請求項１記載の装置であって、ピクチャ・パラメータ・セットは、スライス群タイプ２及びスライス群タイプ６のうちの少なくとも一方を規定するよう修正される装置。
10. 請求項９記載の装置であって、前記スライス群タイプ２及び前記スライス群タイプ６が前記ピクチャ・パラメータ・セットにおいて規定された場合、ビュー識別子情報からスライス群識別子情報へのマッピングがもたらされる装置。
11. 請求項１記載の装置であって、前記符号化器は、高位構文要素を使用して、前記少なくとも２つのビューそれぞれが独立して符号化される旨をシグナリングする装置。
12. 請求項１記載の装置であって、高位構文要素は、スライス・ヘッダ・レベル、シーケンス・パラメータ・セット・レベル、ピクチャ・パラメータ・セット・レベル、ビュー・パラメータ・セット・レベル、ネットワーク抽象化層ユニット・ヘッダ・レベル、及び付加拡張情報メッセージに対応するレベルのうちの少なくとも１つに対応する装置。
13. 方法であって、
    マルチビュー・ビデオ・コンテンツに対応する少なくとも２つのビューを複数のスライス群を使用して符号化する工程
    を含む方法。
14. 請求項１３記載の方法であって、前記複数のスライス群のうちの少なくとも一部は、既存のビデオ符号化標準又は既存のビデオ符号化勧告に準拠する方法。
15. 請求項１３記載の方法であって、前記複数のスライス群のうちの少なくとも一部が、国際標準化機構／国際電気会議 動画像専門家グループ−４ パート１０ 高度ビデオ符号化標準／国際電気通信連合 電気通信分野Ｈ．２６４勧告に準拠している方法。
16. 請求項１３記載の方法であって、前記符号化する工程は、前記少なくとも２つのビューそれぞれを前記複数のスライス群のうちのそれぞれの別個のスライス群として符号化する方法。
17. 請求項１６記載の方法であって、前記符号化する工程は、
    付加拡張情報メッセージを使用して、前記複数のスライス群のうちのそれぞれの別個のスライス群として前記少なくとも２つのビューそれぞれを符号化する方法。
18. 請求項１７記載の方法であって、前記付加拡張情報メッセージは、前記複数のスライス群の少なくとも一部の動きが制約される旨を示す方法。
19. 請求項１３記載の方法であって、前記符号化する工程は、スライス群識別子情報を含めるよう、既存のビデオ符号化標準又はビデオ符号化勧告の既存の付加拡張情報メッセージを修正する工程を含む方法。
20. 請求項１３記載の方法であって、前記符号化する工程は、前記少なくとも２つのビューについてビュー識別子情報及びスライス群識別子情報をシグナリングするようピクチャ・パラメータ・セットを修正する工程を含む方法。
21. 請求項１３記載の方法であって、前記ピクチャ・パラメータ・セットは、スライス群タイプ２及びスライス群タイプ６のうちの少なくとも一方を規定するよう修正される方法。
22. 請求項２１記載の方法であって、前記スライス群タイプ６が前記ピクチャ・パラメータ・セットにおいて規定された場合、ビュー識別子情報からスライス群識別子情報へのマッピングがもたらされる方法。
23. 請求項１３記載の方法であって、前記符号化する工程は、高位構文要素を使用して、前記少なくとも２つのビューそれぞれが独立して符号化される旨をシグナリングする工程を含む方法。
24. 請求項１３記載の方法であって、前記高位構文要素は、スライス・ヘッダ・レベル、シーケンス・パラメータ・セット・レベル、ピクチャ・パラメータ・セット・レベル、ビュー・パラメータ・セット・レベル、ネットワーク抽象化層ユニット・ヘッダ・レベル、及び付加拡張情報メッセージに対応するレベルのうちの少なくとも１つに対応する方法。
25. ビデオを符号化するビデオ信号構造であって、
    複数のスライス群を使用して符号化された、マルチビュー・ビデオ・コンテンツに対応する少なくとも２つのビュー
    を含むビデオ信号構造。

Images