JP2010531622A - 多視点符号化映像のシングルループ復号化を支援するエンコーダ及びデコーダでの方法及び装置 - Google Patents

多視点符号化映像のシングルループ復号化を支援するエンコーダ及びデコーダでの方法及び装置 Download PDF

Info

Publication number
JP2010531622A
JP2010531622A JP2010514775A JP2010514775A JP2010531622A JP 2010531622 A JP2010531622 A JP 2010531622A JP 2010514775 A JP2010514775 A JP 2010514775A JP 2010514775 A JP2010514775 A JP 2010514775A JP 2010531622 A JP2010531622 A JP 2010531622A
Authority
JP
Japan
Prior art keywords
view
video content
decoding
loop
view video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010514775A
Other languages
English (en)
Other versions
JP5583578B2 (ja
JP2010531622A5 (ja
Inventor
パンディット，パーヴィン，ビバス
イン，ペン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2010531622A publication Critical patent/JP2010531622A/ja
Publication of JP2010531622A5 publication Critical patent/JP2010531622A5/ja
Application granted granted Critical
Publication of JP5583578B2 publication Critical patent/JP5583578B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

多視点符号化映像のシングルループの復号化をサポートするエンコーダ及びデコーダでの方法及び装置が提供される。本装置は、ビュー間予測を使用して多視点映像コンテンツが符号化されるとき、多視点映像コンテンツのシングルループの復号化をイネーブルにするため、多視点映像コンテンツを符号化するエンコーダ１００を含む。同様に、ビュー間予測を使用して多視点映像コンテンツが符号化されるとき、多視点映像コンテンツのシングルループの復号化をサポートするため、多視点映像コンテンツを符号化する方法４００が記載される。対応するデコーダ装置２００及び方法５００も記載される。

Description

本発明は、映像符号化及び復号化に関し、より詳細には、多視点符号化映像のシングルループ復号化を支援するエンコーダ及びデコーダでの方法及び装置に関する。
本出願は、2007年6月28日に提出された米国特許仮出願第60/946,932号の利益を特許請求するものであり、この仮出願は、完全な形で本明細書において引用により盛り込まれる。さらに、本出願は、同一出願人によるものであって、本出願と同時に提出される“METHODS AND APPARATUS AT AN ENCODER AND DECODER FOR SUPPORTING SINGLE LOOP DECODING OF MULTI-VIEW CODED VIDEO”と題された代理人番号PU070161の非仮出願に関するものであり、この仮出願は、本明細書において引用において盛り込まれる。
多視点映像符号化（MVC: Multi-view Video Coding）は、自由視点及び３次元（３Ｄ）ビデオアプリケーション、ホームエンターテイメント及び調査を含む多様な用途に機能する。それら多視点の用途では、関与するビデオデータの量は膨大である。
多視点映像源は同じ又は類似のシーンの多数のビューを含むので、多数のビューの画像間で高い程度の相関が存在する。したがって、時間的な冗長度に加えてビューの冗長度を利用することができ、同じ又は類似のシーンの異なるビューにわたりビューの予測を行うことで達成される。
第一の従来技術のアプローチでは、ＭＶＣの符号化効率を改善するため、モーションスキップモードが提案される。第一の従来技術のアプローチは、２つの隣接するビュー間の動きの関して類似性が存在するという考えから生じている。
モーションスキップモードは、同じ時間的な瞬間での隣接するビューにおける対応するマクロブロックから直接的に、マクロブロックタイプ、動きベクトル、及びリファレンスインデックスのような動き情報を推測する。この方法は、２つの以下のステージに分解される。（１）対応するマクロブロックのサーチ、及び（２）動き情報の導出。第一のステージでは、隣接するビューのピクチャにおける対応する位置（マクロブロック）を示すため、グローバルディスパリティベクトル（ＧＤＶ）が使用される。グローバルディスパリティベクトルは、現在のピクチャと隣接するビューのピクチャとの間のマクロブロックサイズのユニットにより測定される。グローバルディスパリティベクトルは、たとえばアンカーピクチャ毎にといった周期的に予測及び復号化することができる。係るケースでは、ノン・アンカーピクチャのグローバルディスパリティベクトルは、アンカーピクチャから最近のグローバルディスパリティベクトルを使用して補間される。第二のステージでは、動き情報は、隣接するビューのピクチャにおける対応するマクロブロックから導出され、動き情報は、現在のマクロブロックに適用される。モーションスキップモードは、現在のマクロブロックがベースビューのピクチャにあるか、又はJMVM（Joint Multi-view Video Model）で定義されるアンカーピクチャにある場合にディスエーブルにされる。これは、第一の従来技術のアプローチの提案される方法は、インター予測プロセスの別のやり方を与えるため、隣接するビューからのピクチャを利用するためである。
デコーダにモーションスキップモードの使用を通知するため、motion_skip_flagが多視点映像符号化のマクロブロックレイヤのシンタックスエレメントのヘッドに含まれる。motion_skip_flagがイネーブルにされた場合、現在のマクロブロックは、隣接するビューにおける対応するマクロブロックから、マクロブロックタイプ、動きベクトル及びリファレンスインデックスを導出する。
しかし、実際のシナリオでは、多数のカメラを含む多視点映像システムは、異機種のカメラ、又は完全に較正されていないカメラを使用して構築される。多くのカメラにより、複雑度と同様にデコーダのメモリの要件は、著しく増加する。さらに、所定の用途は、あるビューのセットから幾つかのビューを復号化することのみを必要とする場合がある。結果として、出力のために必要とされないビューを完全に再構成する必要がない場合がある。
従来技術のこれらの課題及び問題点並びに他の課題及び問題点は、本発明により対処され、本発明は、多視点符号化映像のシングルループの復号化をサポートするエンコーダ及びデコーダでの方法及び装置に向けられる。
本発明の態様によれば、装置が提供される。本装置は、多視点映像のコンテンツがビュー間予測を使用して符号化されるとき、多視点映像コンテンツのシングルループの復号化をイネーブルにするため、多視点映像コンテンツを符号化するエンコーダを含む。
本発明の別の態様によれば、方法が提供される。本方法は、多視点映像のコンテンツがビュー間予測を使用して符号化されるとき、多視点映像コンテンツのシングルループの復号化をサポートするため、多視点映像コンテンツを符号化するステップを含む。
本発明の更に別の態様によれば、装置が提供される。本装置は、多視点映像のコンテンツがビュー間予測を使用して符号化されるとき、シングルループの復号化を使用して多視点映像コンテンツを復号化するデコーダを含む。
本発明の更なる態様によれば、方法が提供される。本方法は、多視点映像のコンテンツがビュー間予測を使用して符号化されるとき、シングルループの復号化を使用して多視点映像コンテンツを復号化するステップを含む。
本発明のこれらの態様、特徴及び利点、並びに他の態様、特徴及び利点は、添付図面と共に読まれる、例示的な実施の形態の以下の詳細な説明から明らかとなるであろう。
本発明は、以下の例示的な図面に従って良好に理解されるであろう。
本発明の実施の形態に係る、本発明が適用される場合がある例示的な多視点映像符号化（MVC）エンコーダのブロック図である。 本発明の実施の形態に係る、本発明が適用される場合がある例示的な多視点映像符号化（MVC）デコーダのブロック図である。 本発明の実施の形態に係る、本発明が適用される場合がある例示的なMVCシステムの符号化構造の図である。 本発明の実施の形態に係る、シングルループの復号化を支援する、多視点映像コンテンツを符号化する例示的な方法のフローダイアグラムである。 本発明の実施の形態に係る、多視点映像コンテンツのシングルループの復号化の例示的な方法のフローダイアグラムである。 本発明の実施の形態に係る、シングルループの復号化を支援する、多視点映像コンテンツを符号化する別の例示的な方法のフローダイアグラムである。 本発明の実施の形態に係る、多視点映像コンテンツのシングルループの復号化の別の例示的な方法のフローダイアグラムである。
本発明は、多視点符号化映像のシングルループの復号化を支援するエンコーダ及びデコーダでの方法及び装置に向けられる。
本実施の形態の記載は、本発明を例示するものである。したがって、当業者であれば、本実施の形態において明示的に記載又は図示されていないが、本発明を実施し、且つ本発明の精神及び範囲に含まれる様々なアレンジメントを創作することができることを理解されたい。
本実施の形態で引用される全ての例及び条件付き言語は、本発明の原理及び当該技術分野を促進するために本発明者により寄与される概念の理解において読者を支援する教育的な目的が意図されており、係る引用される例及び条件に限定されないものとして解釈されるべきである。
さらに、本発明の原理、態様及び実施の形態を引用する全ての説明は、その特定の例と同様に、本発明の構造的に等価な概念と機能的な等価な概念の両者を包含することが意図される。さらに、係る等価な概念は、現在公知の等価な概念と同様に、将来的に開発される等価な概念、すなわち構造に係らず、同じ機能を実行する開発されたエレメントの両者を含むことが意図される。
したがって、たとえば、本実施の形態で表されるブロック図は、本発明の原理を実施する例示的な回路の概念図を表すことを当業者により理解されるであろう。同様に、任意のフローチャート、フローダイアグラム、状態遷移図、擬似コード等は、コンピュータ読取可能なメディアで実質的に表される様々なプロセスであって、コンピュータ又はプロセッサが明示的に示されるか否かに係らず、コンピュータ又はプロセッサにより実行される様々なプロセスを表すことが理解されるべきである。
図示される様々なエレメントの機能は、適切なソフトウェアに関連してソフトウェアを実行可能なハードウェアと同様に、専用ハードウェアの使用を通して提供される場合がある。プロセッサにより提供されたとき、機能は、１つの専用プロセッサにより、１つの共有プロセッサにより、又はそのうちの幾つかが共有される複数の個々のプロセッサにより提供される場合がある。さらに、用語「プロセッサ」又は「コントローラ」の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に示すように解釈されるべきではなく、限定されるものではないが、デジタルシグナルプロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するリードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、及び不揮発性ストレージを暗黙的に含む。
コンベンショナル及び／又はカスタムである他のハードウェアも含まれる場合がある。同様に、図示される任意のスイッチは、概念的なものである。その機能は、プログラムロジックの動作を通して、専用ロジックを通して、プログラム制御と専用ロジックのインタラクションを通して、又は更には手動で実行される場合があり、特定の技術は、文脈から更に詳細に理解されるように実現者により選択可能である。
本発明の特許請求の範囲では、ある特定の機能を実行する手段として表現されるエレメントは、たとえば、ａ）その機能を実行する回路エレメントの組み合わせ、又はｂ）その機能を実行するソフトウェアを実行する適切な回路と結合される、ファームウェア、マイクロコード等を含む任意の形式のソフトウェアを含む、その機能を実行する任意のやり方を包含することが意図される。係る請求項により定義される発明は、様々な引用される手段により提供される機能は結合され、請求項が要求するやり方で纏められるという事実にある。したがって、それらの機能を提供する任意の手段は、本実施の形態に示される機能に等価であるものとみなされる。
本発明の「１実施の形態」又は「実施の形態」への明細書における参照は、実施の形態と共に記載される特定の特徴、構造、特性等は、本発明の少なくとも１つの実施の形態に含まれることを意味する。したがって、明細書を通して様々な位置に現れるフレーズ「１実施の形態では」又は「実施の形態では」の出現は、必ずしも同じ実施の形態を全て参照するものではない。さらに、フレーズ「別の実施の形態では」は、記載される実施の形態の対象が別の実施の形態と全体的に又は部分的に結合されることから排除しない。
たとえば、「Ａ及び／又はＢ」及び「Ａ及びＢの少なくとも１つ」の場合における用語「及び／又は」及び「少なくとも１つ」の使用は、最初に列挙されたオプション（Ａ）のみの選択、又は第二の列挙されたオプション（Ｂ）のみの選択、又は両方のオプションＡ及びＢの選択を包含することが意図される。更なる例として、「Ａ，Ｂ及び／又はＣ」及び「Ａ，Ｂ及びＣの少なくとも１つ」の場合では、係るフレーズは、最初に列挙されたオプション（Ａ）のみの選択、第二に列挙されたオプション（Ｂ）のみの選択、又は、第三の列挙されたオプション（Ｃ）のみの選択、或いは、第一及び第二の列挙されたオプション（Ａ及びＢ）の選択、或いは、第一及び第三の列挙されたオプション（Ａ及びＣ）のみの選択、或いは、第二及び第三の列挙されたオプション（Ｂ及びＣ）のみの選択、或いは、全ての３つのオプション（Ａ及びＢ及びＣ）の選択を包含する。これは、当業者により容易に明らかであるように、列挙される多数のアイテムについて拡張される場合がある。
本実施の形態で使用されるように、「多視点映像系列（Multi-view video sequence）」は、異なる視点から同じシーンを捕捉する２以上の映像系列のセットを示す。
さらに、本実施の形態において交換可能に使用されるように、「クロスビュー（cross view）」及び「インタービュー（inter-view）」の両者は、現在のビュー以外のビューに属するピクチャを示す。
さらに、本実施の形態で使用されるように、フレーズ「完全な再構成がない（without complete reconstruction）」とは、符号化又は復号化ループにおいて動き補償が実行されない場合を示す。
さらに、本発明はMPEG-4 AVC標準の多視点映像符号化の拡張に関して本実施の形態で記載されるが、本発明はこの標準及び対応する拡張にのみ限定されるものではなく、本発明の精神を維持しつつ、多視点映像符号化に関連する他のビデオ符号化標準、勧告、及びその拡張に関して利用される場合がある。
図１を参照して、例示的な多視点映像符号化（MVC）エンコーダは、参照符号１００により示される。エンコーダ１００は、変換器１１０の入力と信号通信で接続される出力を有する結合手段１０５を有する。変換器１００の出力は、量子化器１１５の入力と信号通信で接続される。量子化器１１５の出力は、エントロピーコーダ１２０の入力及び逆量子化器１２５の入力と信号通信で接続される。逆量子化器１２５の出力は、逆変換器１３０の入力と信号通信で接続される。逆変換器１３０の出力は、結合器１３５の第一の非反転入力と信号通信で接続される。結合器１３５の出力は、イントラ予測器１４５の入力とデブロッキングフィルタ１５０の入力と信号通信で接続される。デブロッキングフィルタ１５０の出力は、（ビューｉ用の）参照画像ストア１５５の入力と信号通信で接続される。参照画像ストア１５５の出力は、動き補償器１７５の第一の入力と動き予測器１８０の第一の入力と信号通信で接続される。動き予測器１８０の出力は、動き補償器１７５の第二の入力と信号通信で接続される。
（他のビュー用の）参照画像ストア１６０の出力は、ディスパリティ／イルミネーション予測器１７０の第一の入力とディスパリティ／イルミネーション補償器１６５の第一の入力と信号通信で接続される。ディスパリティ／イルミネーション予測器１７０の出力は、ディスパリティ／イルミネーション補償器１６５の第二の入力と信号通信で接続される。
エントロピーデコーダ１２０の出力は、エンコーダ１００の出力として利用可能である。結合器１０５の非反転入力は、エンコーダ１００の入力として利用可能であり、ディスパリティ／イルミネーション予測器１７０の第二の入力と動き予測器１８０の第二の入力と信号通信で接続される。スイッチ１８５の出力は、結合器１３５の第二の非反転入力と結合器１０５の反転入力と信号通信で接続される。スイッチ１８５は、動き補償器１７５の出力と信号通信で接続される第一の入力、ディスパリティ／イルミネーション補償器１６５の出力と信号通信で接続される第二の入力、及びイントラ予測器１４５の出力と信号通信で接続される第三の入力を含む。
モード判定モジュール１４０は、どの入力がスイッチ１８５により選択されるかを制御するスイッチ１８５に接続される出力を有する。
図２を参照して、例示的な多視点映像符号化（MVC）デコーダは、参照符号２００により示される。デコーダ２００は、逆量子化器２１０の入力と信号通信で接続される出力を有するエントロピーデコーダ２０５を含む。逆量子化器の出力は、逆変換器２１５の入力と信号通信で接続される。逆変換器２１５の出力は、結合器２２０の第一の非反転入力と信号通信で接続される。結合器２２０の出力は、デブロッキングフィルタ２２５の入力及びイントラ予測器２３０の入力と信号通信で接続される。デブロッキングフィルタ２２５の出力は、（ビューｉ用の）参照画像ストア２４０の入力と信号通信で接続される。参照画像ストア２４０の出力は、動き補償器２３５の第一の入力と信号通信で接続される。
（他のビュー用の）参照画像ストア２４５の出力は、ディスパリティ／イルミネーション補償器２５０の第一の入力と信号通信で接続される。
エントロピーコーダ２０５の入力は、残差のビットストリームを受信するため、デコーダ２００の入力として利用可能である。さらに、モードモジュール２６０の入力は、どの入力がスイッチ２５５により選択されるかを制御する制御シンタックスを受信するため、デコーダ２００の入力として利用可能である。さらに、動き補償器２３５の第二の入力は、動きベクトルを受信するため、デコーダ２００の入力として利用可能である。また、ディスパリティ／イルミネーション補償器２５０の第二の入力は、ディスパリティベクトル及びイルミネーション補償シンタックスを受信するため、デコーダ２００への入力として利用可能である。
スイッチ２５５の出力は、結合手段２２０の第二の非反転入力と信号通信で接続される。スイッチ２５５の第一の入力は、ディスパリティ／イルミネーション補償器２５０の出力と信号通信で接続される。スイッチ２５５の第二の入力は、動き補償器２３５の出力と信号通信で接続される。スイッチ２５５の第三の入力は、イントラ予測器２３０の出力と信号通信で接続される。モードモジュール２６０の出力は、どの入力がスイッチ２５５により選択されるかを制御するため、スイッチ２５５と信号通信で接続される。デブロッキングフィルタ２２５の出力は、デコーダの出力として利用可能である。
上述されたように、本発明は、多視点符号化映像のシングルループの復号化をサポートするエンコーダ及びデコーダでの方法及び装置に向けられる。
本発明は、多視点映像コンテンツのうちの所定のビューのみが復号化される場合に特に適する。係る応用は、参照ビュー（すなわち画素データ）を完全に再構成することを含まない。実施の形態では、それらのビューからの所定のエレメントは、他のビューについて推定及び使用され、したがって金と時間が節約される。
現在の多視点映像符号化の仕様は、全てのビューが完全に再構成されることを要求する。次いで、再構成されたビューは、ビュー間の参照として使用される。図３を参照して、８つのビューをもつ例示的なＭＶＣシステムの符号化構造は、参照符号３００により示される。
再構成されたビューがビュー間の参照として使用された事実の結果として、それぞれのビューは、たとえそれぞれのビューが出力されない場合があるとしても、完全に復号化され、メモリ記憶される必要がある。これは、係る出力されないビューを復号化するプロセッサの時間を費やし、係る出力されたビューの復号化画像を記憶するメモリを費やす必要があるので、メモリ及びプロセッサの利用の観点で非常に効率的ではない。
したがって、本発明によれば、多視点符号化系列のシングルループの復号化をサポートする方法及び装置を提案する。上述されたように、本実施の形態で提供される例はMPEG-4AVC標準の多視点映像符号化の拡張に関して記載されるが、本実施の形態で提供される本発明の教示が与えられると、本発明の精神を維持しつつ、当業者により任意の多視点映像符号化システムに本発明が容易に適用される場合があることを理解されるであろう。
シングルループの復号化の１実施の形態では、アンカーピクチャのみがリファレンスととして完全に再構成されたピクチャを使用し、ノン・アンカーピクチャは、リファレンスとして完全に再構成されたピクチャを使用しない。ノン・アンカーピクチャの符号化効率を改善するため、ビュー間予測によって、隣接するビューを完全に再構成する必要なしに、隣接するビューから所定のデータが推定されるように、ビュー間予測が使用されることが提案される。隣接する参照ビューは、表１に示されるシーケンスパラメータセットにより示される。表１は、本発明の実施の形態に係る、MPEG-4 AVC標準の多視点映像符号化の拡張のシーケンスパラメータセット（SPS: Sequence Parameter Set）シンタックスを示す。
Figure 2010531622
 完全な再構成なしに隣接する参照ビューから推定することができる情報は、以下の１以上の組み合わせである。（１）動き及びモード情報、（２）残差予測、（３）イントラ予測モード、（４）イルミネーション補償オフセット、（５）深度情報、及び（６）デブロッキング強度。先行するタイプの情報は例示的なものであって、本発明は、完全な再構成なしに隣接するビューから推定することができる情報に関して先行するタイプの情報のみに限定されない。たとえば、ピクチャ又はピクチャ部分の符号化及び／又は復号化に関連する任意のタイプの情報を含めて、隣接するビューからピクチャの少なくとも１部の特性に関連する任意のタイプの情報は、本発明の精神を維持しつつ、本発明に従って使用される場合があることを理解されたい。さらに、係る情報は、本発明の精神を維持しつつ、シンタックス及び／又は他のソースから推定される場合がある。
動き及びモード情報に関して、これは、動きベクトル、モード及び参照インデックス情報が隣接するビューから推定することができる現在の多視点映像符号化の仕様におけるモーションスキップモードに類似する。さらに、推定される動き情報は、更なるデータを送出することでリファインすることができる。さらに、ディスパリティ情報も推定される。
残差予測に関して、隣接するビューからの残差データは、現在のマクロブロックの残差の予測データとして使用される。この残差データは、現在のマクロブロックについて更なるデータを送出することで更にリファインされる。
イントラ予測モードに関して、係るモードを推定することもできる。再構成されたイントラマクロブロックの何れかは、予測データとして直接に使用することができるか、又は、イントラ予測モードは、現在のマクロブロックについて直接に使用することができる。
イルミネーション補償オフセットに関して、イルミネーション補償オフセット値を推定することができ、更にリファインすることができる。
深さ情報に関して、深さ情報を推定することができる。
多視点映像符号化系列がシングルループの復号化をサポートするかを判定するため、ハイレベルのシンタックスは、以下の１以上で存在することができる。シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）、ネットワーク抽象レイヤ（NAL）ユニットヘッダ、スライスヘッダ、及び補足的な付加情報（SEI）メッセージ。シングルループの多視点映像復号化は、プロファイルとして規定することもできる。
表２は、本実施の形態に係る、non_anchor_single_loop_decoding_flagシンタックスエレメントを含む、MPEG-4 AVC標準の多視点映像符号化の拡張について提案されるシーケンスパラメータセット（SPS）のシンタックスを示す。non_anchor_single_loop_decoding_flagは、ノン・アンカーピクチャの参照を示すループに加えられる付加的なシンタックスエレメントである。non_anchor_single_loop_decoding_flagシンタックスエレメントは、ビュー“ｉ”のノン・アンカーピクチャの参照がビュー“ｉ”を復号化するために完全に復号化されるべきか否かを示すために加えられる。non_anchor_single_loop_decoding_flagシンタックスエレメントは、以下のシンタックスを有する。
１に等しいnon_anchor_single_loop_decoding_flag[i]は、view_id[i]に等しいビューidをもつビューのノン・アンカーピクチャの参照ビューは、そのビューを復号化するために完全に再構成される必要がないことを示す。０に等しいnon_anchor_single_loop_decoding_flag[i]は、view_id[i]に等しいビューidをもつビューのノン・アンカーピクチャの参照ビューは、そのビューを復号化するために完全に再構成されるべきであることを示す。
Figure 2010531622
 表３は、別の実施の形態に係る、non_anchor_single_loop_decoding_flagシンタックスエレメントを含む、MPEG-4 AVC標準の多視点映像符号化の拡張について提案されるシーケンスパラメータセット（SPS）のシンタックスを示す。non_anchor_single_loop_decoding_flagシンタックスエレメントは、全体のシーケンスについて、全てのノン・アンカーピクチャは、参照ビューを完全に再構成することなしに復号化することができることを示すために使用される。non_anchor_single_loop_decoding_flagシンタックスエレメントは、以下のセマンティクスを有する。
１に等しいnon_anchor_single_loop_decoding_flagは、全てのビューの全てのノン・アンカーピクチャは、対応する参照ビューのピクチャを完全に再構成することなしに復号化することができることを示す。
Figure 2010531622
 シングルループの復号化の別の実施の形態では、アンカーピクチャは、シングルループの復号化に関してイネーブルにされる。表４は、別の実施の形態に係る、anchor_single_loop_decoding_flagシンタックスエレメントを含む、MPEG-4 AVC標準の多視点映像符号化の拡張について提案されるシーケンスパラメータセット（SPS）のシンタックスを示す。anchor_single_loop_decoding_flagシンタックスエレメントは、シーケンスパラメータセットにおけるアンカーピクチャ依存ループに存在することができる。anchor_single_loop_decoding_flagシンタックスエレメントは、以下のセマンティクスを有する。
１に等しいanchor_single_loop_decoding_flag[i]は、view_id[i]に等しいビューidをもつビューのアンカーピクチャの参照ビューは、そのビューを復号化するために完全に再構成される必要がないことを示す。０に等しいanchor_single_loop_decoding_flag[i]は、view_id[i]に等しいビューidをもつビューのアンカーピクチャの参照ビューは、そのビューを復号化するために完全に再構成されるべきであることを示す。
Figure 2010531622
 表５は、別の実施の形態に係る、anchor_single_loop_decoding_flagシンタックスエレメントを含む、MPEG-4 AVC標準の多視点映像符号化の拡張について提案されるシーケンスパラメータセット（SPS）のシンタックスを示す。anchor_single_loop_decoding_flagシンタックスエレメントは、以下のセマンティクスを有する。
１に等しいanchor_single_loop_decoding_flagは、全てのビューの全てのアンカーピクチャは、対応する参照ビューのピクチャを完全に再構成することなしに復号化することができることを示す。
Figure 2010531622
 図４を参照して、シングルループの復号化のサポートにおける多視点映像コンテンツを符号化する例示的な方法は、参照符号４００により示される。
本方法４００は、開始ブロック４０５を含み、この開始ブロックは、機能ブロック４１０に制御を移す。機能ブロック４１０は、エンコーダのコンフィギュレーションファイルを分析し、制御を判定ブロック４１５に移す。判定ブロック４１５は、変数ｉが符号化されるべきビューの数未満であるか否かを判定する。変数ｉが符号化されるべきビューの数未満である場合、制御を判定ブロック４２０に移す。さもなければ、制御を終了ブロック４９９に移す。
判定ブロック４２０は、シングルループの符号化がビューｉのアンカーピクチャについてイネーブルにされるか否かを判定する。シングルループの符号化がビューｉのアンカーピクチャについてイネーブルにされる場合、制御を機能ブロック４２５に移す。さもなければ、制御を機能ブロック４６０に移す。
機能ブロック４２５は、anchor_single_loop_decoding_flag[i]を１に等しく設定し、制御を判定ブロック４３０に移す。判定ブロック４３０は、シングルループの符号化がビューｉのノン・アンカーピクチャについてイネーブルにされるか否かを判定する。シングルループの符号化がビューｉのノン・アンカーピクチャについてイネーブルにされる場合、制御を機能ブロック４３５に移す。さもなければ、制御を機能ブロック４６５に移す。
機能ブロック４３５は、non_anchor_single_loop_decoding_flag[i]を１に等しく設定し、制御を機能ブロック４４０に移す。
機能ブロック４４０は、anchor_single_loop_decoding_flag[i]及びnon_anchor_single_loop_decoding_flag[i]をビューｉのシーケンスパラメータセット（SPS）及びピクチャパラメータセット（PPS）、ネットワーク抽象レイヤ（NAL）ユニットヘッダ及び／又はスライスヘッダに書き込み、制御を機能ブロック４４５に移す。機能ブロック４４５は、インター予測が含まれないとき、あるビューのマクロブロックを符号化する間、ＳＰＳからのビュー間の依存を考慮し、制御を機能ブロック４５０に移す。機能ブロック４５０は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、及びシングルループの符号化の深度情報の組み合わせを推定し、制御を機能ブロック４５５に移す。機能ブロック４５５は、１だけ変数ｉをインクリメントし、制御を判定ブロック４１５にリターンする。
機能ブロック４６０は、anchor_single_loop_decoding_flag[i]をゼロに設定し、制御を判定ブロック４３０に移す。
機能ブロック４６５は、non_anchor_single_loop_decoding_flag[i]をゼロに等しく設定し、制御を機能ブロック４４０に移す。
図５を参照して、多視点映像コンテンツのシングルループの復号化の例示的な方法は、参照符号５００により示される。
本方法５００は、開始ブロック５０５を含み、この開始ブロックは、制御を機能ブロック５１０に移す。機能ブロック５１０は、anchor_single_loop_decoding_flag[i]及びnon_anchor_single_loop_decoding_flag[i]をビューｉのシーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）、ネットワーク抽象レイヤ（NAL）ユニットヘッダ、又はスライスヘッダから読取り、制御を判定ブロック５１５に移す。判定ブロック５１５は、変数ｉが復号化されるべきビュー数未満であるか否かを判定する。変数ｉが復号化されるべきビュー数未満である場合、制御を判定ブロック５２０に移す。さもなければ、制御を終了ブロック５９９に移す。
判定ブロック５２０は、現在のピクチャがアンカーピクチャであるか否かを判定する。現在のピクチャがアンカーピクチャである場合、制御を判定ブロック５２５に移す。さもなければ、制御を判定ブロック５７５に移す。
判定ブロック５２５は、anchor_single_loop_decoding_flag[i]が１に等しいか否かを判定する。anchor_single_loop_decoding_flag[i]が１に等しい場合、制御を機能ブロック５３０に移す。さもなければ、制御を機能ブロック５４０に移す。
機能ブロック５３０は、インター予測が含まれないとき、ビューｉのマクロブロックを復号化するとき、シーケンスパラメータセット（SPS）からのビュー間の依存度を考慮し、制御を機能ブロック５３５に移す。機能ブロック５３５は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、モーションスキップマクロブロックの深さ情報の組み合わせを推定し、制御を機能ブロック５７０に移す。
機能ブロック５７０は、１だけ変数ｉをインクリメントし、制御を判定ブロック５１５に移す。
判定ブロック５４０は、インター予測が含まれるとき、ビューｉのマクロブロックを復号化する間、シーケンスパラメータセット（SPS）からビュー間の依存度を考慮し、制御を機能ブロック５４５に移す。機能ブロック５４５は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、及び深さ情報の組み合わせを推定し、制御を機能ブロック５７０に移す。
判定ブロック５７５は、anchor_single_loop_decoding_flag[i]が１に等しいか否かを判定する。anchor_single_loop_decoding_flag[i]が１に等しい場合、制御を機能ブロック５５０に移す。さもなければ、制御を機能ブロック５６０に移す。
機能ブロック５５０は、ビュー間予測が含まれないとき、ビューｉのマクロブロックを復号化する間、シーケンスパラメータセット（SPS）からのビュー間の依存度を考慮し、制御を機能ブロック５５５に移す。機能ブロック５５５は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、及びモーションスキップマクロブロックの深度情報の組み合わせを推定する。
機能ブロック５６０は、インター予測が含まれるとき、ビューｉのマクロブロックを復号化する間、シーケンスパラメータセット（SPS）からのビュー間の依存度を考慮し、制御を機能ブロック５６５に移す。機能ブロック５６５は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、及び深さデータの組み合わせを推定し、制御を機能ブロック５７０に移す。
図６を参照して、シングルループの復号化のサポートにおける多視点映像コンテンツを符号化する別の例示的な方法は、参照符号６００により示される。
本方法６００は、開始ブロック６０５を含み、この開始ブロックは、制御を機能ブロック６１０に移す。機能ブロック６１０は、エンコーダのコンフィギュレーションファイルを分析し、制御を判定ブロック６１５に移す。判定ブロック６１５は、それぞれのビューについて全てのアンカーピクチャについてシングルループの符号化がイネーブルにされるか否かを判定する。シングルループの符号化がイネーブルにされる場合、制御を機能ブロック６２０に移す。さもなければ、制御を機能ブロック６６５に移す。
機能ブロック６２０は、anchor_single_loop_decoding_flagを１に等しく設定し、制御を判定ブロック６２５に移す。判定ブロック６２５は、それぞれの全てのノン・アンカーピクチャについてシングルループの符号化がイネーブルにされるか否かを判定する。シングルループの符号化がイネーブルにされる場合、制御を機能ブロック６３０に移す。さもなければ、制御を機能ブロック６６０に移す。
機能ブロック６３０は、non_anchor_single_loop_decoding_flagを１に等しく設定し、制御を機能ブロック６３５に移す。機能ブロック６３５は、anchor_single_loop_decoding_flagを、シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）、ネットワーク抽象レイヤ（NAL）ユニットヘッダ及び／又はスライスヘッダに書込み、制御を判定ブロック６４０に移す。判定ブロック６４０は、変数ｉが符号化されるべきビューの数未満であるか否かを判定する。変数ｉが符号化されるべきビューの数未満である場合、制御を機能ブロック６４５に移す。さもなければ、制御を終了ブロック６９９に移す。
機能ブロック６４５は、ビュー間予測が含まれないとき、あるビューのマクロブロックを符号化する間、ＳＰＳからのビュー間の依存度を考慮し、制御を機能ブロック６５０に移す。機能ブロック６５０は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、シングルループ符号化の深さ情報の組み合わせを推定し、制御を機能ブロック６５５に移す。機能ブロック６５５は、変数ｉを１だけインクリメントし、制御を判定ブロック６４０に移す。
機能ブロック６６５は、anchor_single_loop_decoding_flagをゼロに等しく設定し、制御を判定ブロック６２５に移す。
機能ブロック６６０は、non_anchor_single_loop_decoding_flagをゼロに等しく設定し、制御を機能ブロック６３５に移す。
図７を参照して、多視点映像コンテンツのシングルループの復号化の別の例示的な方法は、参照符号７００により示される。
本方法７００は、開始ブロック７０５を含み、この開始ブロックは、制御を機能ブロック７１０に移す。機能ブロック７１０は、anchor_single_loop_decoding_flag及びnon_anchor_single_loop_decoding_flagを、ビューｉのシーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）、ネットワーク抽象レイヤ（NAL）ユニットヘッダ、スライスヘッダから読み出し、制御を判定ブロック７１５に移す。判定ブロック７１５は、変数ｉが復号化されるべきビューの数未満であるか否かを判定する。変数ｉが復号化されるべきビューの数未満である場合、制御を判定ブロック７２０に移す。さもなければ、制御を終了ブロック７９９に移す。
判定ブロック７２０は、現在のピクチャがアンカーピクチャであるか否かを判定する。現在のピクチャがアンカーピクチャである場合、制御を判定ブロック７２５に移す。さもなければ、制御を判定ブロック７７５に移す。
判定ブロック７２５は、anchor_single_loop_decoding_flagが１に等しいか否かを判定する。anchor_single_loop_decoding_flagが１に等しい場合、制御を機能ブロック７３０に移す。さもなければ、制御を機能ブロック７４０に移す。
機能ブロック７３０は、インター予測が含まれないとき、ビューｉのマクロブロックを復号化するとき、シーケンスパラメータセット（SPS）からのビュー間の依存度を考慮し、制御を機能ブロック７３５に移す。機能ブロック７３５は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、モーションスキップマクロブロックの深度情報の組み合わせを推定し、制御を機能ブロック７７０に移す。
機能ブロック７７０は、変数ｉを１だけインクリメントし、制御を判定ブロック７１５に移す。
機能ブロック７４０は、インター予測が含まれるとき、ビューｉのマクロブロックを復号化する間、シーケンスパラメータセット（SPS）からのビュー間の依存度を考慮し、制御を機能ブロック７４５に移す。機能ブロック７４５は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、深度情報の組み合わせを推定し、制御を機能ブロック７７０に移す。
判定ブロック７７５は、non_anchor_single_loop_decoding_flagが１に等しいか否かを判定する。non_anchor_single_loop_decoding_flagが１に等しい場合、制御を機能ブロック７５０に移す。さもなければ、制御を機能ブロック７６０に移す。
機能ブロック７５０は、ビュー間予測が含まれないとき、ビューｉのマクロブロックを復号化する間、シーケンスパラメータセット（SPS）からのビュー間の依存度を考慮し、制御を機能ブロック７５５に移す。機能ブロック７５５は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、及びモーションスキップマクロブロックの深度情報の組み合わせを推定し、制御を機能ブロック７７０に移す。
機能ブロック７６０は、インター予測が含まれるとき、ビューｉのマクロブロックを復号化する間、シーケンスパラメータセット（SPS）からのビュー間の依存度を考慮し、制御を機能ブロック７６５に移す。機能ブロック７６５は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、及び深さ情報の組み合わせを推定し、制御を機能ブロック７７０に移す。
本発明の多数の付随する利点／特徴のうちの幾つかの説明が与えられ、そのうちの幾つかは、先に記載された。たとえば、１つの利点／特徴は、多視点映像コンテンツがビュー間予測を使用して符号化されるとき、多視点映像コンテンツのシングルループの復号化をイネーブルにするため、多視点映像コンテンツを符号化するエンコーダを有する装置である。
別の利点／特徴は、上述されたエンコーダを有する装置であり、多視点映像コンテンツは、参照ビュー及び他のビューを含む。他のビューは、参照ビューの完全な再構成なしに再構成可能である。
更に別の利点／特徴は、上述されたようなエンコーダを有する装置であり、ビュー間予測は、多視点映像コンテンツの参照ビューからの動き情報、インター予測モード、イントラ予測モード、参照インデックス、残差データ、深度情報、イルミネーション補償オフセット、デブロッキング強度、及びディスパリティデータの少なくとも１つを推定する。
更に別の利点／特徴は、上述されたエンコーダを有する装置であり、ビュー間予測は、所与のビューに関して多視点映像コンテンツの参照ビューからの少なくとも１つのピクチャの少なくとも１部に関連する特性から多視点コンテンツの所与のビューの情報を推定し、少なくとも１つのピクチャの少なくとも１部に関する情報を復号化することを含む。
さらに、別の利点／特徴は、上述されたエンコーダを有する装置であり、ハイレベルシンタックスエレメントは、シングルループの複合化が多視点映像コンテンツについてイネーブルにされたことを示すために使用される。
さらに、別の利点／特徴は、記載されたハイレベルシンタックスを使用するエンコーダを有する装置であり、ハイレベルシンタックスエレメントは、個々に、多視点映像コンテンツにおけるアンカーピクチャ及びノン・アンカーピクチャについてシングルループの復号化がイネーブルにされたかを示し、シングルループの復号化がイネーブルにされたかをビュー毎に示し、シングルループの復号化がイネーブルにされたかをシーケンス毎に示し、多視点映像コンテンツにおけるノン・アンカーピクチャのみについてシングルループの復号化がイネーブルにされたことを示す。
本発明のこれらの特徴及び利点、並びに他の特徴及び利点は、本実施の形態における教示に基づいて当業者により容易に確認される場合がある。本発明の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途向けプロセッサ、又はその組み合わせで実現される場合があることを理解されたい。
最も好ましくは、本発明の教示は、ハードウェアとソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、プログラムストレージユニットで実施されるアプリケーションプログラムとして実現される場合がある。アプリケーションプログラムは、適切なアーキテクチャを有するコンピュータにアップロードされるか、該コンピュータにより実行される場合がある。好ましくは、コンピュータは、１以上の中央処理装置（CPU）、ランダムアクセスメモリ（RAM）及び入力／出力（I/O）インタフェースのようなコンピュータプラットフォームで実現される。また、コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含む場合がある。本実施の形態で記載される様々なプロセス及び機能は、CPUにより実行されるマイクロ命令コードの一部又はアプリケーションプログラムの一部であるか、或いはそれらの組み合わせである場合がある。さらに、様々な他の周辺装置は、更なるデータストレージユニット及びプリンティングユニットのようなコンピュータプラットフォームに接続される場合がある。
さらに、記憶媒体で符号化された映像信号データを有する記憶媒体への引用は、明細書で引用されるか、請求項で引用されるかに係らず、係るデータは記録される任意のタイプのコンピュータ読取可能な記憶媒体を含むことが理解される。
添付図面で示されるシステム構成要素及び方法の幾つかはソフトウェアで実現されることが好ましいため、システム構成要素又はプロセス機能ブロック間の実際の接続は、本発明がプログラムされるやり方に依存して異なる場合があることを理解されたい。本実施の形態の教示が与えられると、当業者であれば、本発明のこれら及び類似の実現又はコンフィギュレーションを創作することができるであろう。
例示的な実施の形態は添付図面を参照して記載されたが、本発明はそれら正確な実施の形態に限定されず、様々な変形及び変更は本発明の範囲又は精神から逸脱することなしに当業者により実施される場合がある。全ての係る変形及び変更は、特許請求の範囲で述べられる本発明の範囲に含まれることが意図される。

Claims (18)

  1. 多視点映像コンテンツがビュー間予測を使用して符号化されたとき、シングルループの復号化を使用して前記多視点映像コンテンツを復号化するデコーダを有する、
    ことを特徴とする装置。
  2. 前記多視点映像コンテンツは、参照ビューと他のビューを含み、前記他のビューは、前記参照ビューの完全な再構成なしに再構成可能である、
    請求項１記載の装置。
  3. 前記ビュー間予測は、前記多視点映像コンテンツの参照ビューからの動き情報、インター予測モード、イントラ予測モード、参照インデックス、残差データ、深度情報、イルミネーション補償オフセット、デブロッキング強度、及びディスパリティデータの少なくとも１つを推定することを含む、
    請求項１記載の装置。
  4. 前記ビュー間予測は、所与のビューに関して前記多視点映像コンテンツの参照ビューからの少なくとも１つのピクチャの少なくとも１部に関連する特性から前記多視点映像コンテンツの前記所与のビューの情報を推定すること、及び前記少なくとも１つのピクチャの少なくとも１つに関連する情報を復号化することを含む、
    請求項１記載の装置。
  5. 前記デコーダは、高水準のシンタックスエレメントを使用して多視点映像コンテンツについてシングルループの復号化が可能であるかを判定する、
    請求項１記載の装置。
  6. 前記デコーダは、高水準のシンタックスエレメントを使用して、前記多視点映像コンテンツにおけるアンカーピクチャ及びノンアンカーピクチャについて前記シングルループの復号化が個別に可能にされるか、ビュー毎に前記シングルループの復号化が可能にされるか、シーケンス毎に前記シングルループの復号化が可能にされるか、又は、前記多視点映像コンテンツにおけるノンアンカーピクチャのみについて前記シングルループの復号化が可能にされるかを判定する、
    請求項５記載の装置。
  7. 多視点映像コンテンツがビュー間予測を使用して符号化されたとき、シングルループの復号化を使用して前記多視点映像コンテンツを復号化するステップを含む、
    ことを特徴とする方法。
  8. 前記多視点映像コンテンツは、参照ビューと他のビューを含み、前記他のビューは、前記参照ビューの完全な再構成なしに再構成可能である、
    請求項７記載の方法。
  9. 前記ビュー間予測は、前記多視点映像コンテンツの参照ビューからの動き情報、インター予測モード、イントラ予測モード、参照インデックス、残差データ、深度情報、イルミネーション補償オフセット、デブロッキング強度、及びディスパリティデータの少なくとも１つを推定することを含む、
    請求項７記載の方法。
  10. 前記ビュー間予測は、所与のビューに関して前記多視点映像コンテンツの参照ビューからの少なくとも１つのピクチャの少なくとも１部に関連する特性から前記多視点映像コンテンツの前記所与のビューの情報を推定すること、及び前記少なくとも１つのピクチャの少なくとも１つに関連する情報を復号化することを含む、
    請求項７記載の方法。
  11. 前記復号化するステップは、高水準のシンタックスエレメントを使用して多視点映像コンテンツについてシングルループの復号化が可能であるかを判定するステップを含む、
    請求項７記載の方法。
  12. 前記判定するステップは、高水準のシンタックスエレメントを使用して、前記多視点映像コンテンツにおけるアンカーピクチャ及びノンアンカーピクチャについて前記シングルループの復号化が個別に可能にされるか、ビュー毎に前記シングルループが可能にされるか、シーケンス毎に前記シングルループの復号化が可能にされるか、又は、前記多視点映像コンテンツにおけるノンアンカーピクチャのみについて前記シングルループの復号化が可能にされるかを判定する、
    請求項１１記載の方法。
  13. 映像符号化、復号化及び伝送の映像信号構造であって、
    多視点映像コンテンツがビュー間予測を使用して符号化されたとき、前記多視点映像コンテンツのシングルループの復号化を支援するために符号化される多視点映像コンテンツを含む、
    ことを特徴とする映像信号構造。
  14. 前記多視点映像コンテンツは、参照ビューと他のビューを含み、前記他のビューは、前記参照ビューの完全な再構成なしに再構成可能である、
    請求項１３記載の映像信号構造。
  15. 前記ビュー間予測は、前記多視点映像コンテンツの参照ビューからの動き情報、インター予測モード、イントラ予測モード、参照インデックス、残差データ、深度情報、イルミネーション補償オフセット、デブロッキング強度、及びディスパリティデータの少なくとも１つを推定することを含む、
    請求項１３記載の映像信号構造。
  16. 前記ビュー間予測は、所与のビューに関して前記多視点映像コンテンツの参照ビューからの少なくとも１つのピクチャの少なくとも１部に関連する特性から前記多視点映像コンテンツの前記所与のビューの情報を推定すること、及び前記少なくとも１つのピクチャの少なくとも１つに関連する情報を復号化することを含む、
    請求項１３記載の映像信号構造。
  17. 前記多視点映像コンテンツについてシングルループの復号化が可能であることを示すため、高水準のシンタックスエレメントが使用される、
    請求項１３記載の映像信号構造。
  18. 前記高水準のシンタックスエレメントは、前記多視点映像コンテンツにおけるアンカーピクチャ及びノンアンカーピクチャについて前記シングルループの復号化が可能にされるか、ビュー毎に前記シングルループの復号化が可能にされるか、シーケンス毎に前記シングルループの復号化が可能にされるか、又は、前記多視点映像コンテンツにおけるノンアンカーピクチャのみについて前記シングルループの復号化が可能にされるかを示す、
    請求項１７記載の映像信号構造。
JP2010514775A 2007-06-28 2008-06-24 多視点符号化映像のシングルループ復号化を支援するエンコーダ及びデコーダでの方法及び装置 Expired - Fee Related JP5583578B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US94693207P 2007-06-28 2007-06-28
US60/946,932 2007-06-28
PCT/US2008/007827 WO2009005626A2 (en) 2007-06-28 2008-06-24 Single loop decoding of multi-vieuw coded video

Publications (3)

Publication Number Publication Date
JP2010531622A true JP2010531622A (ja) 2010-09-24
JP2010531622A5 JP2010531622A5 (ja) 2011-07-28
JP5583578B2 JP5583578B2 (ja) 2014-09-03

Family

ID=40040168

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2010514791A Expired - Fee Related JP5738590B2 (ja) 2007-06-28 2008-06-24 多視点符号化映像のシングルループ復号化を支援するエンコーダ及びデコーダでの方法及び装置
JP2010514775A Expired - Fee Related JP5583578B2 (ja) 2007-06-28 2008-06-24 多視点符号化映像のシングルループ復号化を支援するエンコーダ及びデコーダでの方法及び装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2010514791A Expired - Fee Related JP5738590B2 (ja) 2007-06-28 2008-06-24 多視点符号化映像のシングルループ復号化を支援するエンコーダ及びデコーダでの方法及び装置

Country Status (7)

Country Link
US (2) US20100135388A1 (ja)
EP (2) EP2168383A2 (ja)
JP (2) JP5738590B2 (ja)
KR (2) KR101548717B1 (ja)
CN (2) CN101690231A (ja)
BR (2) BRPI0811469A8 (ja)
WO (2) WO2009005658A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015534416A (ja) * 2012-11-07 2015-11-26 エルジー エレクトロニクス インコーポレイティド ビデオ信号処理方法及び装置
JP2016500996A (ja) * 2012-11-07 2016-01-14 エルジー エレクトロニクス インコーポレイティド 多視点ビデオ信号の処理方法及び装置

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100934677B1 (ko) 2006-01-12 2009-12-31 엘지전자 주식회사 다시점 비디오의 처리
KR101276847B1 (ko) 2006-01-12 2013-06-18 엘지전자 주식회사 다시점 비디오의 처리
US20070177671A1 (en) * 2006-01-12 2007-08-02 Lg Electronics Inc. Processing multiview video
TWI344792B (en) * 2006-07-12 2011-07-01 Lg Electronics Inc A method and apparatus for processing a signal
KR101366092B1 (ko) 2006-10-13 2014-02-21 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
US8548261B2 (en) 2007-04-11 2013-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
EP2215844A2 (en) * 2007-10-15 2010-08-11 Nokia Corporation Motion skip and single-loop encoding for multi-view video content
CN101540652B (zh) * 2009-04-09 2011-11-16 上海交通大学 多视角视频码流的终端异构自匹配传输方法
EP2425626A2 (en) 2009-05-01 2012-03-07 Thomson Licensing Inter-layer dependency information for 3dv
KR20110007928A (ko) * 2009-07-17 2011-01-25 삼성전자주식회사 다시점 영상 부호화 및 복호화 방법과 장치
KR101054875B1 (ko) 2009-08-20 2011-08-05 광주과학기술원 깊이 영상의 부호화를 위한 양방향 예측 방법 및 장치
KR101289269B1 (ko) * 2010-03-23 2013-07-24 한국전자통신연구원 영상 시스템에서 영상 디스플레이 장치 및 방법
WO2012036903A1 (en) 2010-09-14 2012-03-22 Thomson Licensing Compression methods and apparatus for occlusion data
RU2480941C2 (ru) 2011-01-20 2013-04-27 Корпорация "Самсунг Электроникс Ко., Лтд" Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности
CN103765902B (zh) * 2011-08-30 2017-09-29 英特尔公司 多视角视频编码方案
AU2012323631B2 (en) * 2011-10-11 2015-09-17 Mediatek Inc. Method and apparatus of motion and disparity vector derivation for 3D video coding and HEVC
EP2777273B1 (en) 2011-11-11 2019-09-04 GE Video Compression, LLC Efficient multi-view coding using depth-map estimate for a dependent view
KR102318349B1 (ko) 2011-11-11 2021-10-27 지이 비디오 컴프레션, 엘엘씨 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩
EP3739886A1 (en) * 2011-11-18 2020-11-18 GE Video Compression, LLC Multi-view coding with efficient residual handling
EP2842334B1 (en) * 2012-07-05 2019-02-20 MediaTek Inc. Method and apparatus of unified disparity vector derivation for 3d video coding
WO2014023024A1 (en) * 2012-08-10 2014-02-13 Mediatek Singapore Pte. Ltd. Methods for disparity vector derivation
CN103686165B (zh) * 2012-09-05 2018-01-09 乐金电子(中国)研究开发中心有限公司 深度图像帧内编解码方法及视频编解码器
US9426462B2 (en) 2012-09-21 2016-08-23 Qualcomm Incorporated Indication and activation of parameter sets for video coding
WO2014053517A1 (en) 2012-10-01 2014-04-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding using derivation of subblock subdivision for prediction from base layer
KR20140048783A (ko) * 2012-10-09 2014-04-24 한국전자통신연구원 깊이정보값을 공유하여 움직임 정보를 유도하는 방법 및 장치
US10136143B2 (en) * 2012-12-07 2018-11-20 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
CN107770546B (zh) * 2012-12-10 2020-04-10 Lg 电子株式会社 解码图像的方法和使用其的装置
JPWO2014104242A1 (ja) * 2012-12-28 2017-01-19 シャープ株式会社 画像復号装置、および画像符号化装置
US9516306B2 (en) * 2013-03-27 2016-12-06 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC
WO2015006922A1 (en) * 2013-07-16 2015-01-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction
WO2015139187A1 (en) * 2014-03-17 2015-09-24 Mediatek Inc. Low latency encoder decision making for illumination compensation and depth look-up table transmission in video coding
KR20160118363A (ko) * 2014-03-20 2016-10-11 니폰 덴신 덴와 가부시끼가이샤 화상 부호화 장치 및 방법, 화상 복호 장치 및 방법, 및 이들의 프로그램
WO2018196682A1 (en) * 2017-04-27 2018-11-01 Mediatek Inc. Method and apparatus for mapping virtual-reality image to a segmented sphere projection format

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010525724A (ja) * 2007-04-25 2010-07-22 エルジー エレクトロニクス インコーポレイティド ビデオ信号をデコーディング／エンコーディングする方法および装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3055438B2 (ja) * 1995-09-27 2000-06-26 日本電気株式会社 ３次元画像符号化装置
US7924923B2 (en) * 2004-11-30 2011-04-12 Humax Co., Ltd. Motion estimation and compensation method and device adaptive to change in illumination
KR101199498B1 (ko) * 2005-03-31 2012-11-09 삼성전자주식회사 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
US8228994B2 (en) * 2005-05-20 2012-07-24 Microsoft Corporation Multi-view video coding based on temporal and view decomposition
JP4414379B2 (ja) * 2005-07-28 2010-02-10 日本電信電話株式会社 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
US8559515B2 (en) * 2005-09-21 2013-10-15 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-view video
US8644386B2 (en) * 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
KR101276720B1 (ko) * 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR101244911B1 (ko) * 2005-10-11 2013-03-18 삼성전자주식회사 카메라 파라미터를 이용한 다시점 동영상 부호화 및 복호화장치 및 방법과 이를 수행하기 위한 프로그램이 기록된기록매체
KR100763194B1 (ko) * 2005-10-14 2007-10-04 삼성전자주식회사 단일 루프 디코딩 조건을 만족하는 인트라 베이스 예측방법, 상기 방법을 이용한 비디오 코딩 방법 및 장치
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
JP4570159B2 (ja) * 2006-01-06 2010-10-27 Ｋｄｄｉ株式会社 多視点映像符号化方法、装置及びプログラム
WO2007080480A2 (en) * 2006-01-09 2007-07-19 Nokia Corporation Error resilient mode decision in scalable video coding
US8315308B2 (en) * 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
KR100934677B1 (ko) * 2006-01-12 2009-12-31 엘지전자 주식회사 다시점 비디오의 처리
KR100772873B1 (ko) * 2006-01-12 2007-11-02 삼성전자주식회사 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
KR100754205B1 (ko) * 2006-02-07 2007-09-03 삼성전자주식회사 다시점 동영상 부호화 장치 및 방법
US8170116B2 (en) * 2006-03-27 2012-05-01 Nokia Corporation Reference picture marking in scalable video encoding and decoding
US8699583B2 (en) * 2006-07-11 2014-04-15 Nokia Corporation Scalable video coding and decoding
WO2008023968A1 (en) * 2006-08-25 2008-02-28 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
JP4793366B2 (ja) * 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
FR2907575B1 (fr) * 2006-10-18 2009-02-13 Canon Res Ct France Soc Par Ac Procede et dispositif de codage d'images representant des vues d'une meme scene
EP2080382B1 (en) * 2006-10-20 2016-07-20 Nokia Technologies Oy System and method for implementing low-complexity multi-view video coding
US8320456B2 (en) * 2007-01-17 2012-11-27 Lg Electronics Inc. Method and apparatus for processing a video signal
US8548261B2 (en) * 2007-04-11 2013-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010525724A (ja) * 2007-04-25 2010-07-22 エルジー エレクトロニクス インコーポレイティド ビデオ信号をデコーディング／エンコーディングする方法および装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015534416A (ja) * 2012-11-07 2015-11-26 エルジー エレクトロニクス インコーポレイティド ビデオ信号処理方法及び装置
JP2016500996A (ja) * 2012-11-07 2016-01-14 エルジー エレクトロニクス インコーポレイティド 多視点ビデオ信号の処理方法及び装置
US9854269B2 (en) 2012-11-07 2017-12-26 Lg Electronics Inc. Method and apparatus for processing multiview video signal with part of non-reference view

Also Published As

Publication number Publication date
CN101690230A (zh) 2010-03-31
JP5738590B2 (ja) 2015-06-24
KR101548717B1 (ko) 2015-09-01
US20100135388A1 (en) 2010-06-03
JP5583578B2 (ja) 2014-09-03
EP2168380A2 (en) 2010-03-31
WO2009005658A2 (en) 2009-01-08
JP2010531623A (ja) 2010-09-24
BRPI0811469A8 (pt) 2019-01-22
WO2009005658A3 (en) 2009-05-14
US20100118942A1 (en) 2010-05-13
CN101690231A (zh) 2010-03-31
BRPI0811469A2 (pt) 2014-11-04
KR20100032390A (ko) 2010-03-25
KR101395659B1 (ko) 2014-05-19
BRPI0811458A2 (pt) 2014-11-04
WO2009005626A3 (en) 2009-05-22
WO2009005626A2 (en) 2009-01-08
EP2168383A2 (en) 2010-03-31
KR20100030625A (ko) 2010-03-18

Similar Documents

Publication Publication Date Title
JP5583578B2 (ja) 多視点符号化映像のシングルループ復号化を支援するエンコーダ及びデコーダでの方法及び装置
JP5801054B2 (ja) スライスデータ用のマルチパスビデオのシンタックス構造をサポートする方法及び装置
JP6395667B2 (ja) 多視点映像符号化及び復号化用の、ハイレベルシンタックスを使用した改善されたシグナリングのための方法及び装置
RU2433561C2 (ru) Способы и устройство для кодирования видео с несколькими представлениями
JP5351020B2 (ja) バーチャルリファレンスピクチャを使用した方法及び装置
KR101383735B1 (ko) 멀티-뷰 비디오 코딩 시스템에서 사용하기 위한 방법 및 장치
US8553781B2 (en) Methods and apparatus for decoded picture buffer (DPB) management in single loop decoding for multi-view video
JP5677548B2 (ja) マルチビュー符号化ビデオにおけるエラー隠蔽方法及び装置
JP2018142977A (ja) 改善されたイントラ・クロマ符号化および復号のための方法および装置
KR20150086553A (ko) 다시점 비디오 코딩시스템에 있어 비디오 사용성 정보(ｖｕｉ)를 통합하기 위한 방법 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110613

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121204

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130301

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130531

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131023

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20131031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131126

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140225

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140617

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140716

R150 Certificate of patent or registration of utility model

Ref document number: 5583578

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees