JP2008503973A - 多視点シーケンス符号化／復号化方法及びそのディスプレイ方法 - Google Patents

多視点シーケンス符号化／復号化方法及びそのディスプレイ方法 Download PDF

Info

Publication number
JP2008503973A
JP2008503973A JP2007517962A JP2007517962A JP2008503973A JP 2008503973 A JP2008503973 A JP 2008503973A JP 2007517962 A JP2007517962 A JP 2007517962A JP 2007517962 A JP2007517962 A JP 2007517962A JP 2008503973 A JP2008503973 A JP 2008503973A
Authority
JP
Japan
Prior art keywords
picture
auxiliary
viewpoint
bitstream
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007517962A
Other languages
English (en)
Other versions
JP2008503973A5 (ja
Inventor
クワン フーン ソン，
ジェオン イウン リム，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academic Cooperation Foundation of Yonsei University
Original Assignee
Industry Academic Cooperation Foundation of Yonsei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Academic Cooperation Foundation of Yonsei University filed Critical Industry Academic Cooperation Foundation of Yonsei University
Publication of JP2008503973A publication Critical patent/JP2008503973A/ja
Publication of JP2008503973A5 publication Critical patent/JP2008503973A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】多視点シーケンスデータを効率的に符号化及び復号化できる多視点シーケンス符号化／復号化方法及びそのディスプレイ方法を提供する。また、符号化されたデータを効率的に多視点シーケンスに復号化する装置及びその装置を用いたディスプレイ方法を提供する。
【解決手段】複数の視点から獲得した複数のピクチャーを符号化することで、ビットストリームを生成する段階を含み、前記ビットストリームは、複数のピクチャーそれぞれに対する視点情報を含み、前記視点情報は、対応するピクチャーが複数の視点のうち何れの視点に対応するかを指定する情報である多視点シーケンス符号化方法を構成する。
【選択図】図６

Description

本発明は、多視点シーケンス符号化／復号化方法に関するもので、特に、多視点シーケンス符号化／復号化方法及びそのディスプレイ方法に関するものである。本発明は、広範囲な応用に適しており、特に、多視点シーケンスデータの符号化／復号化を行い、受信端によって要求された視点に対応する動映像を復号化するための視点選択が可能な応用に適している。
一般的に、現在のメディアは、単純なテキスト及び２次元ビデオをディスプレイするだけでなく、人間の視覚、聴覚、触覚、嗅覚、味覚などの五感を統合的に認知し、事物や状況を正確かつ鮮明に把握できるようにする。このようなマルチメディアは、通信と結合して一層重要な意味を有するようになり、高速及び大容量の情報伝送技術が発達しながら画像電話、遠隔会議、遠隔ショッピングなどのマルチメディア通信が可能になった。
マルチメディア技術は、３次元信号処理技術として発展するとき、一層生動感のある力
を発揮するはずである。このために、人間の生活空間を現実的かつ自然的に再現できる３次元映像処理及び通信技術の開発が必要である。
一方、私たちが生きている世界は、上下左右のみならず、深さ感も含む３次元世界である。したがって、人々は、平面のように感じられる２次元映像のみならず、深さ感までも感じられる立体感及び現実感のある３次元立体映像に対して多くの関心を示しており、現在、３次元映像処理技術は、通信、放送、仮想現実、教育、医療、娯楽などの多様な分野で応用されている。
２次元映像で３次元を表現する最も簡単な方式は、ステレオ方式である。ステレオ映像は、左右映像で構成されているので、データ量が膨大になるという問題点がある。したがって、ステレオ映像は、大容量の保存装置、ネットワーク及び高速のコンピュータシステムを要求する。また、ステレオ映像を独立的に符号化する場合、２次元映像を伝送するための帯域幅より約２倍の帯域幅が要求される。ステレオ映像を時間軸に拡張したステレオシーケンスや時間軸及び視点軸に拡張した多視点シーケンスの場合、視点数に比例してデータ量が増加し、要求される帯域幅も増加する。
３次元映像に対する関心が高まるにつれて、各機関、大学及び実験室などでは、３次元映像圧縮及び復元ディスプレイシステムに対する研究が行われている。
上記のような３次元映像システムの受信端では、多視点シーケンスを復号化してディスプレイできる３次元ディスプレイが必要である。現在開発されている３次元液晶表示装置（ＬＣＤ）モニターは、一人の観察者に立体感を提供するディスプレイであり、最近、多数の観察者に立体感及び事実感を提供できる３次元多視点ディスプレイモニターが開発中にある。
しかしながら、視点数が増加することで、３次元多視点シーケンスのデータ量及び演算量が増加するので、３次元多視点シーケンスを効率的に符号化及び復号化できる多視点シーケンス符号化／復号化器（ＣＯＤＥＣ）が要求される。また、使用者が保有しているディスプレイによって、受信端で特定の視点のみを復号化することも要求される。
本発明は上記の問題点を解決するためのもので、多視点シーケンス符号化／復号化方法及びそのディスプレイ方法に関するものである。
本発明の目的は、多視点シーケンスデータを効率的に符号化及び復号化できる多視点シーケンス符号化／復号化方法及びそのディスプレイ方法を提供することにある。
本発明の他の目的は、符号化されたデータを効率的に多視点シーケンスに復号化する装置及びその装置を用いたディスプレイ方法を提供することにある。
本発明の付加的な特徴及び長所は、後述する詳細な説明で明らかになるだろう。本発明の目的及び他の長所は、添付の図面のみならず、詳細な説明及び特許請求の範囲に記載された構造によって具現及び獲得される。
本発明の目的及び他の利点を達成するために、本発明に係る多視点シーケンス符号化方法は、複数の視点から獲得した複数のピクチャーを符号化することで、ビットストリームを生成する段階を含み、前記ビットストリームは、複数のピクチャーに対する視点情報を含み、前記視点情報は、対応するピクチャーが複数の視点のうち何れの視点に対応するかを指定する情報である。
本発明の目的及び他の利点を達成するために、本発明に係る多視点シーケンス符号化方法は、メーン視点に対する第１ピクチャータイプのピクチャーを符号化することで、メーンビットストリームを生成する段階と、一つ以上の補助視点に対する補助ビットストリームを生成する段階と、を含み、前記補助ビットストリームは、前記第１ピクチャータイプのピクチャーを用いて予測された第２ピクチャータイプのピクチャーを符号化することで生成され、前記補助ビットストリームは、前記第２ピクチャータイプのピクチャーに対する視点情報を含み、前記視点情報は、前記第２ピクチャータイプの対応するピクチャーが前記一つ以上の補助視点のうち何れの補助視点に対応するかを指定する情報である。
本発明の目的及び他の利点を達成するために、多視点シーケンス復号化方法は、複数の視点から獲得したピクチャーをそれぞれ符号化することで生成されたメーンビットストリームを受信する段階と、特定のピクチャーが前記複数の視点のうち何れに対応するかを指定する視点情報を確認する段階と、前記確認された視点情報によって、ディスプレイで特定の視点と関連したピクチャーを復号化する段階と、を含む。
本発明の目的及び他の利点を達成するために、多視点シーケンス復号化方法は、メーン視点から獲得したピクチャーを符号化することで生成されたメーンビットストリーム、及び複数の補助視点から獲得したピクチャーを符号化することで生成された補助ビットストリームを受信する段階と、前記メーンビットストリーム内のピクチャーを復元する段階と、前記補助ビットストリーム内に存在する視点情報によって前記メーンビットストリーム内の前記復元されたピクチャーを用いることで、ディスプレイで特定の補助視点と関連したピクチャーに対する予測復元を選択的に行う段階と、を含む。
本発明の目的及び他の利点を達成するために、多視点シーケンス復号化装置は、メーン視点から獲得したピクチャーを符号化することで生成されたメーンビットストリームを受信し、前記メーンビットストリーム内のピクチャーを復元するメーンビットストリーム復号化部と、複数の補助ビットストリームから獲得したピクチャーを符号化することで生成された補助ビットストリームを受信する補助ビットストリーム復号化部と、を含み、前記補助ビットストリーム復号化部は、前記補助ビットストリーム内に存在する視点情報によって前記メーンビットストリーム内の前記復元されたピクチャーを用いることで、特定の補助視点のピクチャーに対する予測復元を選択的に行う。
本発明の目的及び他の利点を達成するために、多視点シーケンスディスプレイ方法は、メーン視点に対応するピクチャーをディスプレイする第１ディスプレイモード、及び前記メーン視点に対応するピクチャー及び一つ以上の補助視点に対応するピクチャーを一緒にディスプレイする第２ディスプレイモードを含み、前記第１ディスプレイモードまたは前記第２ディスプレイモードが、前記ピクチャーを含むビットストリーム内に存在する視点
情報によって選択される。
上述した説明及び後述する本発明の詳細な説明は、本発明の理解を助けるために提示された例示に過ぎなく、その範囲は、特許請求の範囲に記載された通りである。
本発明は、多視点シーケンスを効率的に符号化し、受信端で特定の視点のみを復号化するので、符号化／復号化を一層円滑にかつ効率的に行うことができる。
また、本発明は、３次元映像処理技術を採用した通信、放送、仮想現実、教育、医療及び娯楽などの多様の分野に適用される。
また、本発明の方法は、プログラムで具現され、コンピュータ可読の記録媒体（ＣＤ−ＲＯＭ、ＲＡＭ、ＲＯＭ、フロッピーディスク、ハードディスク、光磁気ディスクなど）に保存される。
以下、本発明の好適な実施形態について、添付の図面に基づいて詳細に説明する。
本発明では、可能な限り現在広く用いられる一般的な用語を選択したが、特定の場合に出願人が任意に選定した用語もあり、その場合、該当する発明の説明部分でその意味を詳細に記載した。そのため、本発明は、単純な用語の名称でなく、用語の持つ意味によって把握すべきである。
本発明で用いられる"多視点シーケンス”は、同一の事物に対して視点の異なる動映像が同時に獲得されることを意味する。例えば、"多視点シーケンス”は、複数の動映像撮影機構（例えば、カメラ）を用いて多様な角度及び多様な方向に同一の事物を撮影することで得られた動映像を意味する。
特に、本発明の"メーン視点"は、多視点のうち符号化の基準になる視点を意味する。"メーン視点"に対応する動映像は、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．６２３、Ｈ．２６４などの従来の動映像符号化方式によってビットストリームに符号化される。このビットストリームは、本発明の"メーンビットストリーム"と呼ばれる。説明の便宜上、本発明では、従来の動映像符号化方式の一例であるＭＰＥＧ−２が用いられる。
本発明の"補助視点"は、多視点のうちメーン視点でない視点を意味する。"補助視点"に対応する動映像は、後述する本発明の固有な符号化方式によってビットストリームに符号化される。このビットストリームは、本発明の"補助ビットストリーム"と呼ばれる。
また、本発明の"ビットストリーム"は、"メーンストリーム"または"補助ストリーム"として包括的に用いられる。
図１は、本発明に適用される多視点シーケンス符号化装置のブロック図である。
本発明に係る符号化方法で、ＭＰＥＧ−２との互換性のために基準となるシーケンスは、ＭＰＥＧ−２エンコーダーで符号化されてメーンビットストリームを生成し、補助視点シーケンスに対して補助ビットストリームを生成する。すなわち、メーンビットストリームは、"Ｉ（後述する）"ピクチャーを含むシーケンスに対するデータを含み、補助ビットストリームは、その他のシーケンスの変異推定及び動き推定を通して符号化した多様な種類の情報を含む。
図１を参照すると、本発明に適用される多視点符号化装置は、前処理部１１０、動き推定／補償部１２０，１３０、変異推定／補償部１４０、ビット率制御部１５０及び差映像符号化部１６０，１７０を含む。
多視点シーケンスデータＡが入力されると、前処理部１１０は、ノイズ除去及びインバランシング（ＩｍｂａｌａｎｃＩｎｇ）問題を解決しながら、前処理過程を通して多視点シーケンスデータ間の相関度を高めることで、変異推定及び動き推定から得られた各ベクターの信頼度を増加させ、前処理データを変異推定／補償部１４０、動き推定／補償部１２０，１３０及び差映像符号化部１６０，１７０に提供する。
したがって、インバランシング問題は、基準映像と補正すべき補正映像の平均及び分散を用いてインバランシングを補正し、メディアンフィルターを用いてノイズを簡単に除去することで解決される。
前処理部１１０は、補助ビットストリームに"視点情報"を挿入し、復号化器で特定の視点のみを復元できる情報を提供する。これを、図２を参照して説明する。
変異推定／補償部１４０及び動き推定／補償部１２０，１３０は、"Ｉ"ピクチャーを含むシーケンス軸を基準にして変異ベクター及び動きベクターを推定し、半画素補償方法を用いて補償する。
差映像符号化部１６０，１７０は、一層改善した映像画質及び立体感を提供するために、前処理部１１０から提供される元の映像と、変異推定／補償部１４０及び動き推定／補償部１２０，１３０で補償された復元映像との差情報に対して符号化を行い、提供される多視点シーケンスに対するビットストリームを生成することができる。
ビット率制御部１５０は、各ピクチャーにビットを効率的に割り当てるためのビット率を制御することができる。
図２は、本発明によって生成された補助ビットストリームの一例を示す図である。
図２を参照すると、本発明によって挿入された"視点情報"２１０は、例えば、補助ビットストリーム内のピクチャーヘッダーにｎビットで挿入される。このとき、ｎビットは、最大２ｎ個の視点まで支援することができる。
すなわち、"視点情報"は、特定のピクチャーが複数の補助視点のうち何れの補助視点に対応するかを指定する情報として用いられる。そのため、複数の視点に対する各ピクチャーが補助ビットストリーム内に混合された場合、"視点情報"は、特定の視点と結合されたピクチャーのみを選択的に復元する必要がある。
"視点情報”は、補助ビットストリームのみに限定されず、メーンビットストリームと補助ビットストリームの区分なしに、特定の視点と関連したピクチャーの意味として用いられる。
以下、本発明に係る多視点シーケンス符号化を行う特定の方法を説明する。
一般的な符号化方式、例えば、ＭＰＥＧ-２符号化方式で、符号化の基本単位はＧＯＰ（Ｇｒｏｕｐ Ｏｆ ＰＩｃｔｕｒｅｓ）である。ＧＯＰは、"Ｉ"ピクチャー、"Ｐ"ピクチャー及び"Ｂ"ピクチャーを含む。
"Ｉ"ピクチャーは、イントラ符号化を行うためのもので、シーケンスのランダムアクセスを可能にする。"Ｐ"ピクチャーは、以前に符号化された"Ｉ"ピクチャーや"Ｐ"ピクチャーを基準映像として動きベクターを単方向に推定し、"Ｂ"ピクチャーは、"Ｉ"ピクチャー及び"Ｐ"ピクチャーを用いて動きベクターを両方向に推定する。ＧＯＰの長さ、すなわち、"Ｎ"は、"Ｉ"ピクチャー間の距離を意味し、"Ｍ"は、"Ｉ"ピクチャーと"Ｐ"ピクチャーとの間の距離を意味する。
"Ｉ"ピクチャー、"Ｐ"ピクチャー及び"Ｂ"ピクチャーは、ＭＰＥＧ-２符号化方式に用いられるピクチャー用語である。符号化方式が互いに異なると、使用可能な用語も異なってくる。例えば、異なったＭＰＥＧ２方式によるメーンビットストリームで、任意の基準ピクチャーを参照せずに復号化されるピクチャーは"Ｌ"ピクチャーという。また、少なくとも一つまたは二つの基準ピクチャーを参照して復号化されるピクチャーは"Ｈ"ピクチャーという。
本発明では、多視点シーケンスを符号化するために、多視点シーケンス符号化の基本単位である"ＧＧＯＰ（Ｇｒｏｕｐ ｏｆ ＧＯＰ）構造を提案する。
本発明の"ＧＧＯＰ"は、ＭＰＥＧ-２のＧＯＰと異なって、時間軸及び視点軸に対応する各ピクチャーを含む。すなわち、"ＧＧＯＰ"構造を用いて空間上の相関性、時間軸上の相関性、視点間の相関性を除去し、多視点シーケンスを効率的に符号化することができる。
図３Ａ及び図３Ｂは、本発明によって５視点シーケンスを符号化するための"ＧＧＯＰ"の一実施形態を示す図で、それぞれ"Ｏｎｅ-Ｉ"タイプ（図３Ａ）、"Ｔｗｏ-Ｉ"タイプ（図３Ｂ）及び"Ｆｉｖｅ-Ｉ"（図３Ｃ）を意味する。説明の便宜上、"Ｎ＝６及びＭ＝３"である場合を例に挙げて説明する。ここで、本発明が"Ｎ＝６及びＭ＝３"である場合に限定されないことは、当業者にとって明らかである。
図３Ａを参照すると、本発明の"ＧＧＯＰ"構造のうち"Ｏｎｅ−Ｉ"タイプは、１個の"Ｉ"ピクチャー、１個の"Ｐｔ"ピクチャー、４個の"Ｂｔ"ピクチャー、４個の"Ｐｓ"ピクチャー及び２０個の"Ｂｔ，ｓ"ピクチャーを含む。
この場合、"Ｐｔ"ピクチャーは、ＭＰＥＧ−２で用いられる"Ｐ"ピクチャーと同様に、動きベクターをそれぞれ単方向に推定するピクチャータイプで、"Ｂｔ"ピクチャーは、ＭＰＥＧ−２で用いられる"Ｂ"ピクチャーと同様に、動きベクターを両方向に推定するピクチャータイプである。本発明において、"Ｉ"ピクチャー、"Ｐｔ"ピクチャー及び"Ｂｔ"ピクチャーは、メーンビットストリームを構成する第１タイプピクチャーという。
"Ｐｓ"ピクチャーは、視点間の相関、すなわち、変異推定を用いて復元する映像で、"Ｂｔ，ｓ"ピクチャーは、時間軸には動きベクター、視点軸には変異ベクターまたは二つのベクターの補間を用いて復元された映像を意味する。
図３Ａに示すように、"Ｎ＝６及びＭ＝３"である場合の"Ｏｎｅ−Ｉ"タイプで、基準となるシーケンス、すなわち、ＭＰＥＧ−２で符号化するシーケンスが１個含まれている。この場合、矢印は、変異ベクター及び動きベクターを予測するための方向を意味する。
"Ｉ"ピクチャーが含まれたメーン視点シーケンスである"…Ｂｔ、Ｂｔ、Ｉ、Ｂｔ、Ｂｔ、Ｐｔ、…”は、ＭＰＥＧ−２との互換性のためにＭＰＥＧ−２エンコーダーで符号化される。生成されたビットストリームは、ＭＰＥＧ−２のシンタックスと同一に設定される。上述したように、メーンシーケンスに対応するビットストリームは、メーンビットストリームとして定義され、補助視点に対応するシーケンスのデータは、補助ビットストリームとして定義される。したがって、図３Ａに示した５視点"Ｏｎｅ−Ｉ"タイプである場合、１個のメーンビットストリーム及び１個の補助ビットストリームを生成することができる。
多視点シーケンスを獲得するときのカメラ間の間隔、すなわち、ベースラインが大きい場合、視点間のエラーが増加する。そのため、メーン視点から遠く離れた視点軸に対応するシーケンスの画質が劣化する憂いがある。したがって、ベースラインの大きい多視点カメラから獲得した多視点シーケンスを符号化する場合、二つ以上のメーンシーケンスが必要である。
カメラ撮影角度によって多視点が指定される場合、カメラ間のカメラ撮影角度差がベースラインになる。また、カメラ撮影角度差が大きい場合、二つ以上のメーンシーケンスが設定されることが好ましい。
図３Ｂは、５視点"Ｔｗｏ−Ｉ"タイプを示すもので、ベースラインの大きい多視点カメラから獲得した多視点シーケンスを符号化するために提案されたものである。この場合、
多視点シーケンスエンコーダーは、二つのメーンビットストリーム及び一つの補助ビットストリームを生成することができる。
３番目の視点における"Ｂｓ"ピクチャーは、互いに隣接する左右映像で予測された変異を用いたり、二つの変異の補間を用いて復元されたピクチャータイプを意味する。
本発明において、"Ｐｓ"ピクチャー、"Ｂｓ"ピクチャー及び"Ｂｔ，ｓ"ピクチャーは、補助ビットストリームを構成する第２タイプピクチャーという。
一方、図３Ｃに示した"ＦＩｖｅ−Ｉ"タイプは、変異推定を行わず、多視点シーケンスをそれぞれＭＰＥＧ−２シーケンスと見なして独立的に符号化する場合を意味する。この場合、５個のメーンビットストリームが生成される。このとき、変異推定を行っていないため、補助ビットストリームは生成されない。
図３Ａ及び図３Ｃに基づいて説明した本発明の一実施形態では、５視点シーケンスに対応する"ＧＧＯＰ"構造を例に挙げたが、これは、視点数が増加しても拡張可能である。
図４Ａ及び図４Ｂは、本発明に係る９視点シーケンスを符号化するための"ＧＧＯＰ"の一例を示す図で、それぞれ"Ｔｗｏ−Ｉ"タイプ及び"Ｔｈｒｅｅ−Ｉ"タイプを示している。この場合も、ＭＰＥＧ−２との互換性のために、"Ｉ"ピクチャーが含まれている基準シーケンスは、ＭＰＥＧ−２エンコーダーによって符号化された後でメインストリームを生成する。これと同様に、他の視点シーケンスは、補助ビットストリームを生成する。
図４Ａは、"Ｎ＝６及びＭ＝３"である場合、"Ｔｗｏ−Ｉ"タイプに対する"ＧＧＯＰ"構造を示している。"ＧＧＯＰ"構造は、２個の"Ｉ"ピクチャー、２個の"Ｐｔ"ピクチャー、６個の"Ｐｓ"ピクチャー、６個の"Ｂｓ"ピクチャー及び３８個の"Ｂｔ，ｓ"ピクチャーを含む。
図４Ｂは、ベースラインが大きい場合、多視点カメラから獲得された９視点シーケンスに対する"ＧＧＯＰ"構造を示している。この場合、３個のメーンビットストリーム及び１個の補助ビットストリームが生成される。図３Ｃに示した５視点シーケンスのための"ＦＩｖｅ−Ｉ"タイプのような変異推定を用いる代りに、各視点に対応するシーケンスは、ＭＰＥＧ−２エンコーダーを用いて符号化される。
本発明は、受信端で保有しているディスプレイの特徴を考慮し、特定の視点に該当するシーケンスのみを復元可能にする概念を提案する。
図５は、本発明の一実施形態に係る多視点シーケンスディスプレイ方法の概念を説明するための概略図である。
図５を参照すると、本発明に係るディスプレイ方法で、受信された多視点シーケンスビットストリームは、受信端で保有しているディスプレイの種類によって特定の視点のみを選択することで復元される。
例えば、送信端で５視点シーケンスを符号化し、符号化されたシーケンスを受信端に伝送したとき、受信端で３視点シーケンスのみをディスプレイできる多視点モニターがある場合、使用者は、５視点だけでなく、３視点シーケンスも見られなくなる。このような問題点の発生は、送信端で多視点シーケンスを符号化するとき、視点に対する情報がないことに起因する。したがって、本発明は、このような問題点を解決しようとする。
すなわち、送信端で５視点シーケンスを符号化し、符号化されたシーケンスを受信端に
伝送したとき、受信端で３視点シーケンスのみをディスプレイできる３次元多視点モニターがある場合、使用者は、５視点のうち所望の３個の視点のみを選択して復元することができる（モード２：これは、第２ディスプレイモードと呼ばれる）。選択的な復元が可能な情報は、上述した"視点情報"に対応する。
受信端が多視点モニターでない２次元シーケンスのみをディスプレイできるモニターを有する場合、メーンビットストリームのみを復元してディスプレイに伝送することができる（モード０：これは、第１ディスプレイモードと呼ばれる）。
特に、本発明に係るディスプレイ方法は、メーン視点に対応するピクチャーのみをディスプレイする第１ディスプレイモード、及びメーン視点に対応するピクチャー及び一つ以上の補助視点に対応する他のピクチャーをディスプレイする第２ディスプレイモードを有し、ディスプレイモードのうち一つが、各ピクチャーを含むビットストリーム内に存在する視点情報によってディスプレイされるように選択されることを特徴とする。
図６は、本発明によって復号化を行うために伝送されるヘッダー情報を説明するためのビットストリームを示す図である。
図６を参照すると、多視点シーケンスビットストリームを生成するとき、ピクチャーヘッダー情報に"視点情報"を挿入し、現在符号化しているピクチャーが何番目の視点のデータであるかを示す情報を提供する。視点に対する情報は、２ｎ視点のシーケンスを支援できるｎビットに設定される。
図６は、補助ビットストリームのみに"視点情報"が挿入されることを示しているが、用途によって、メーンビットストリーム内の一側に"視点情報"が挿入されることもある。
図７は、本発明が適用される多視点シーケンス復号化装置のブロック図である。
図７を参照すると、本発明が適用される復号化装置は、メーンビットストリーム復号化部７１０及び補助ビットストリーム復号化部７２０を含む。
メーンビットストリーム復号化部７１０は、ＭＰＥＧ−２デコーダーで復号化を行い、補助ビットストリーム復号化部７２０は、変異ベクター及び動きベクターを用いて復号化を行う。このとき、受信端で特定の視点のみを復号化するためにピクチャーヘッダー情報で"視点情報"を確認し、現在デコーディングするデータが何番目の視点に該当するかを確認する。すなわち、本発明では、特定の視点が復元されるので、デコーディング時間及び復号化部の計算量を減少させられる。
特に、メーンビットストリーム復号化部７１０は、メーン視点によって生成されたメーンビットストリームを受信し、メーンビットストリーム内のピクチャーを復元する。
補助ビットストリーム復号化部７２０は、複数の補助視点によって生成された補助ビットストリームを受信し、メーンビットストリーム復号化部７１０によって復元されたメーンビットストリーム内のピクチャーを用いることで、補助ビットストリーム内に存在する視点情報によって特定の補助視点のピクチャーに対する予測復元を選択的に行う。
図８Ａ乃至図８Ｅは、本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図で、５視点の場合を示している。
実験で用いた映像大きさは７２０×５７６である。マクロブロックの大きさは１６×１６である。変異推定のためのｘ方向の探索範囲は−１６〜１６に設定する。平行式カメラを仮定したので、ｙ方向の探索範囲は設定されない。動き推定のために、ｘ方向及びｙ方向の探索範囲は−１６〜１６に設定する。実験で用いたビデオフォーマットは、Ｙ：Ｕ：Ｖ＝４：２：０に設定する。
図１０は、図８Ａ〜図８Ｅに示した５視点シーケンスの多様なビット率での符号化結果を説明するためのグラフである。
図１０を参照すると、"Ｏｎｅ−Ｉ"タイプ及び"Ｔｗｏ−Ｉ"タイプと、変異推定を行っていない"ＦＩｖｅ−Ｉ"タイプとを比較したとき、類似したビット率で良好な効率を示すことを確認することができる。
一方、上述したように、本発明は、流動性のある"ＧＧＯＰ"構造を提案する。すなわち、ベースラインの大きい多視点シーケンスを符号化するためには、視点間の相関性を補完するための"Ｔｗｏ−Ｉ"タイプを適用し、ベースラインの小さい多視点シーケンスに対しては"Ｏｎｅ−Ｉ"タイプを適用することで、"Ｔｗｏ−Ｉ"タイプと比較するとき、"Ｉ"フレームを除いた残りのピクチャータイプにビット量をより多く割り当てる。
図１１Ａ及び図１１Ｂは、図９Ａに示したシーケンスの多様なビット率での符号化結果を説明するためのグラフで、ベースラインの小さい場合及びベースラインの大きい場合を示している。
図１１Ａ及び図１１Ｂを参照すると、ベースラインの小さい多視点シーケンスでは、"Ｏｎｅ−Ｉ"タイプがＰＳＮＲ面で優れた効率を示し、ベースラインの大きい多視点シーケンスでは、"Ｔｗｏ−Ｉ"タイプがＰＳＮＲ面で"Ｏｎｅ−Ｉ"タイプより優れた性能を示すことを確認することができる。
図１２Ａ及び図１２Ｂは、ベースラインの大きい映像をそれぞれ"Ｏｎｅ−Ｉ"タイプ及び"Ｔｗｏ−Ｉ"タイプで符号化を行った場合の結果映像を比較した図である。
図１２Ａ及び図１２Ｂを参照すると、ベースラインの大きい多視点シーケンスである場合、視点間の相関性が減少する。これを補完するために、"Ｉ"フレームを増加させる。減少した相関性を補完するために"Ｉ"フレームを増加させた"Ｔｗｏ−Ｉ"タイプが、一層優れた効率を有する。したがって、本発明の"ＧＧＯＰ"構造が、多視点シーケンスに対するベースラインの大きさによって流動性を有することを知ることができる。
一方、本発明の"ＧＧＯＰ"構造で"Ｂｔ，ｓ"フレームは、変異ベクターまたは動きベクターのうち予測エラーの少ないベクターを選択したり、二つのベクターの平均合計を使用する。動きの大きい多視点シーケンスの場合、動きベクターよりも変異ベクターで復元することでエラーを一層減少させるので、変異ベクターのみを選択する。その反対に、時間軸に相関度が減少すると、動きベクターを用いて予測することが一層効率的であるので、動きベクターを選択する。
図１３Ａ及び図１３Ｂは、本発明のＢｔ，ｓフレームの性能を説明するための結果映像を
示す図である。図１３Ａは、多視点シーケンスをＭＰＥＧ−２シーケンスと見なして独立的に符号化を行った場合の結果映像で、図１３Ｂは、本発明によって符号化を行った場合の結果映像である。
図１３Ａを参照すると、従来のＭＰＥＧ−２においては、変異ベクターを用いて動きの大きい領域を予測できないので、大きなエラーが発生した。しかし、本発明によると、変異ベクターを用いて動きの大きい領域を予測できるので、エラーを減少させることができる。
本発明において、送信端でメーンビットストリーム及び補助ビットストリームを受信端に伝送すると、受信端で特定の視点のみを復元することができる。
図１４Ａ及び図１４Ｂは、受信端にステレオシーケンスのみをディスプレイできる３次元モニターが提供される場合、図９Ａ乃至図９Ｅに示した５視点のビットストリームを受信した使用者が２番目の視点及び４番目の視点を選択したときの結果映像を示す図である。
すなわち、図１４Ａ及び図１４Ｂは、ＭＰＥＧ−２復号化器を用いて獲得した結果映像を示し、図１４Ｃ及び図１４Ｄは、本発明に係る復号化方法を用いて復号化した結果映像を示している。
図示したように、図１４Ｃ及び図１４Ｄの映像が、他のものより鮮明であることを確認することができる。図１４Ａ及び図１４Ｂの映像は、変異ベクターのみを用いて復元した結果であり、図１４Ｃ及び図１４Ｄの映像は、"Ｂｔ，ｓ"ピクチャーを含む。したがって、動きベクターや変異ベクターが大きい場合、予測エラーを減少させることができる。
以上説明した本発明は、上述した実施形態及び添付の図面によって限定されるものではなく、本発明の技術的思想から逸脱しない範囲内で多様な置換、変形及び変更が可能であることは、本発明の属する技術分野で通常の知識を有する者にとって明らかである。
本発明に適用される多視点シーケンス符号化装置のブロック図である。 本発明によって生成された補助ビットストリームの一例を示す図である。 本発明によって５視点シーケンスを符号化するための"ＧＧＯＰ"の一実施形態を示す図である。 本発明によって５視点シーケンスを符号化するための"ＧＧＯＰ"の一実施形態を示す図である。 本発明に係る９視点シーケンスを符号化するための"ＧＧＯＰ"の一実施形態を示す図である。 本発明に係る９視点シーケンスを符号化するための"ＧＧＯＰ"の一実施形態を示す図である。 本発明の一実施形態に係る多視点シーケンスディスプレイ方法の概念を説明するための概略図である。 本発明によって復号化を行うために伝送されるヘッダー情報を説明するためのビットストリームを示す図である。 本発明に係る多視点シーケンス復号化装置のブロック図である。 本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。 本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。 本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。 本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。 本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。 本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。 本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。 本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。 本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。 本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。 図８Ａ乃至図８Ｅに示した５視点シーケンスの多様なビット率での符号化結果を説明するためのグラフである。 図９Ａに示したシーケンスの多様なビット率での符号化結果を説明するためのグラフである。 図９Ａに示したシーケンスの多様なビット率での符号化結果を説明するためのグラフである。 ベースラインの大きい映像をそれぞれ"Ｏｎｅ−Ｉ"タイプと"Ｔｗｏ−Ｉ"タイプで符号化した場合の結果映像を比較した図である。 ベースラインの大きい映像をそれぞれ"Ｏｎｅ−Ｉ"タイプと"Ｔｗｏ−Ｉ"タイプで符号化した場合の結果映像を比較した図である。 本発明のＢｔ，ｓフレームの性能を説明するための結果映像を示す図である。 本発明のＢｔ，ｓフレームの性能を説明するための結果映像を示す図である。 受信端にステレオシーケンスのみをディスプレイできる３次元モニターが提供される場合、図９Ａ乃至図９Ｅに示した５視点のビットストリームを受信した使用者が２番目の視点及び４番目の視点を選択したときの結果映像を示す図である。 受信端にステレオシーケンスのみをディスプレイできる３次元モニターが提供される場合、図９Ａ乃至図９Ｅに示した５視点のビットストリームを受信した使用者が２番目の視点及び４番目の視点を選択したときの結果映像を示す図である。 受信端にステレオシーケンスのみをディスプレイできる３次元モニターが提供される場合、図９Ａ乃至図９Ｅに示した５視点のビットストリームを受信した使用者が２番目の視点及び４番目の視点を選択したときの結果映像を示す図である。 受信端にステレオシーケンスのみをディスプレイできる３次元モニターが提供される場合、図９Ａ乃至図９Ｅに示した５視点のビットストリームを受信した使用者が２番目の視点及び４番目の視点を選択したときの結果映像を示す図である。
符号の説明
１１０：前処理部
１２０，１３０：動き推定／補償部
１４０：変異推定／補償部
１５０：ビット率制御部
１６０，１７０：差映像符号化部

Claims (20)

  1. 複数の視点から獲得した複数のピクチャーを符号化することで、ビットストリームを生成する段階を含み、前記ビットストリームは、複数のピクチャーそれぞれに対する視点情報を含み、前記視点情報は、対応するピクチャーが複数の視点のうち何れの視点に対応するかを指定する情報であることを特徴とする多視点シーケンス符号化方法。
  2. メーン視点に対する第１ピクチャータイプのピクチャーを符号化することで、メーンビットストリームを生成する段階と、
    一つ以上の補助視点に対する補助ビットストリームを生成する段階と、を含み、
    前記補助ビットストリームは、前記第１ピクチャータイプのピクチャーを用いて予測された第２ピクチャータイプのピクチャーを符号化することで生成され、
    前記補助ビットストリームは、前記第２ピクチャータイプのピクチャーそれぞれに対する視点情報を含み、前記視点情報は、前記第２ピクチャータイプの対応するピクチャーが前記一つ以上の補助視点のうち何れの補助視点に対応するかを指定する情報であることを特徴とする多視点シーケンス符号化方法。
  3. 前記視点情報は、前記補助ビットストリーム内の各ピクチャーヘッダーに挿入されることを特徴とする請求項２に記載の多視点シーケンス符号化方法。
  4. 前記第１ピクチャータイプのピクチャーは、イントラピクチャー（Ｉピクチャー）、イントラピクチャー（Ｉピクチャー）の単方向動き推定による予測ピクチャー（Ｐｔピクチャー）、イントラピクチャー（Ｉピクチャー）及び／または予測ピクチャー（Ｐｔピクチャー）の両方向動き推定による予測ピクチャー（Ｂｔピクチャー）を含むことを特徴とする請求項２に記載の多視点シーケンス符号化方法。
  5. 前記第２ピクチャータイプのピクチャーは、前記第１ピクチャータイプのピクチャーの
    変異推定による予測ピクチャー（Ｐｓ、Ｂｓ）、及び前記第１ピクチャータイプ及び前記予測ピクチャー（Ｐｓ、Ｂｓ）の動きベクター及び変異ベクターによる予測ピクチャー（Ｂｔ，ｓ）を含むことを特徴とする請求項４に記載の多視点シーケンス符号化方法。
  6. 前記補助ビットストリームは、一つのストリームを構成し、前記補助ビットストリームは、複数の補助視点と関連した前記第２ピクチャータイプの全ての予測ピクチャー（Ｐｓ、Ｂｓ、Ｂｔ，ｓ）の組み合わせを含むことを特徴とする請求項５に記載の多視点シーケンス符号化方法。
  7. 一つ以上の特定の視点シーケンスが、入力された多視点シーケンスのメーン視点として指定され、前記視点シーケンスの残りが、補助視点として指定されることを特徴とする請求項２に記載の多視点シーケンス符号化方法。
  8. 前記メーンビットストリームは、メーンビットストリームの数がメーン視点の数に対応するように生成されることを特徴とする請求項７に記載の多視点シーケンス符号化方法。
  9. 前記メーン視点の数は、前記多視点シーケンスのベースラインの範囲に依存することを特徴とする請求項７に記載の多視点シーケンス符号化方法。
  10. 各視点と関連したシーケンスは、それぞれの個別シーケンス撮影装置（例えば、カメラ）から獲得したシーケンスであることを特徴とする請求項７に記載の多視点シーケンス符号化方法。
  11. 各視点と関連したシーケンスは、シーケンス撮影装置（例えば、カメラ）の撮影角度によって獲得したシーケンスであることを特徴とする請求項７に記載の多視点シーケンス符号化方法。
  12. 複数の視点から獲得したピクチャーをそれぞれ符号化することで生成されたメーンビットストリームを受信する段階と、
    特定のピクチャーが前記複数の視点のうち何れに対応するかを指定する視点情報を確認する段階と、
    前記確認された視点情報によって、ディスプレイで特定の視点と関連したピクチャーを復号化する段階と、を含むことを特徴とする多視点シーケンス復号化方法。
  13. メーン視点から獲得したピクチャーを符号化することで生成されたメーンビットストリーム、及び複数の補助視点から獲得したピクチャーを符号化することで生成された補助ビットストリームを受信する段階と、
    前記メーンビットストリーム内のピクチャーを復元する段階と、
    前記補助ビットストリーム内に存在する視点情報によって前記メーンビットストリーム内の前記復元されたピクチャーを用いることで、ディスプレイで特定の補助視点と関連したピクチャーに対する予測復元を選択的に行う段階と、を含むことを特徴とする多視点シーケンス復号化方法。
  14. 前記視点情報は、特定のピクチャーが複数の補助視点のうち何れに対応するかを指定する情報であることを特徴とする請求項１３に記載の多視点シーケンス復号化方法。
  15. 前記視点情報は、各ピクチャーヘッダー情報内に含まれることを特徴とする請求項１４に記載の多視点シーケンス復号化方法。
  16. メーン視点から獲得したピクチャーを符号化することで生成されたメーンビットストリームを受信し、前記メーンビットストリーム内のピクチャーを復元するメーンビットストリーム復号化部と、
    複数の補助ビットストリームから獲得したピクチャーを符号化することで生成された補助ビットストリームを受信する補助ビットストリーム復号化部と、を含み、
    前記補助ビットストリーム復号化部は、前記補助ビットストリーム内に存在する視点情報によって前記メーンビットストリーム内の前記復元されたピクチャーを用いることで、特定の補助視点のピクチャーに対する予測復元を選択的に行うことを特徴とする多視点シーケンス復号化装置。
  17. 前記視点情報は、特定のピクチャーが複数の補助視点のうち何れに対応するかを指定する情報であることを特徴とする請求項１６に記載の多視点シーケンス復号化装置。
  18. 前記視点情報は、各ピクチャーヘッダー情報内に含まれることを特徴とする請求項１７に記載の多視点シーケンス復号化装置。
  19. メーン視点に対応するピクチャーをディスプレイする第１ディスプレイモード、及び前記メーン視点に対応するピクチャー及び一つ以上の補助視点に対応するピクチャーを一緒にディスプレイする第２ディスプレイモードを含み、前記第１ディスプレイモードまたは前記第２ディスプレイモードが、前記ピクチャーを含むビットストリーム内に存在する視点情報によって選択される多視点シーケンスディスプレイ方法。
  20. 前記視点情報は、特定のピクチャーが複数の視点のうち何れに対応するかを指定する情報であることを特徴とする請求項１９に記載の多視点シーケンスディスプレイ方法。
JP2007517962A 2004-06-25 2005-06-24 多視点シーケンス符号化／復号化方法及びそのディスプレイ方法 Pending JP2008503973A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020040048340A KR100679740B1 (ko) 2004-06-25 2004-06-25 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
PCT/KR2005/001969 WO2006001653A1 (en) 2004-06-25 2005-06-24 Method of coding and decoding multiview sequence and method of displaying thereof

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011000757A Division JP2011109690A (ja) 2004-06-25 2011-01-05 多視点シーケンス符号化／復号化方法及びそのディスプレイ方法

Publications (2)

Publication Number Publication Date
JP2008503973A true JP2008503973A (ja) 2008-02-07
JP2008503973A5 JP2008503973A5 (ja) 2009-08-13

Family

ID=35782029

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2007517962A Pending JP2008503973A (ja) 2004-06-25 2005-06-24 多視点シーケンス符号化／復号化方法及びそのディスプレイ方法
JP2011000757A Pending JP2011109690A (ja) 2004-06-25 2011-01-05 多視点シーケンス符号化／復号化方法及びそのディスプレイ方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2011000757A Pending JP2011109690A (ja) 2004-06-25 2011-01-05 多視点シーケンス符号化／復号化方法及びそのディスプレイ方法

Country Status (6)

Country Link
US (1) US20090103619A1 (ja)
EP (1) EP1772022A1 (ja)
JP (2) JP2008503973A (ja)
KR (1) KR100679740B1 (ja)
CN (3) CN101902656A (ja)
WO (1) WO2006001653A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010515400A (ja) * 2007-01-03 2010-05-06 サムスン エレクトロニクス カンパニー リミテッド 全域差ベクトルを利用した多視点映像の符号化、復号化方法及び装置
JP2010516100A (ja) * 2007-01-04 2010-05-13 トムソン ライセンシング 高レベル・シンタックスを用いてマルチ・ビュー符号化ビデオにおいてビデオ・エラー隠蔽を行う方法および装置
JP2010516102A (ja) * 2007-01-04 2010-05-13 トムソン ライセンシング マルチビュー符号化ビデオにおいてビデオ・エラー補正を行う方法および装置
WO2011105297A1 (ja) * 2010-02-23 2011-09-01 日本電信電話株式会社 動きベクトル推定方法、多視点映像符号化方法、多視点映像復号方法、動きベクトル推定装置、多視点映像符号化装置、多視点映像復号装置、動きベクトル推定プログラム、多視点映像符号化プログラム、及び多視点映像復号プログラム
WO2011114755A1 (ja) * 2010-03-16 2011-09-22 シャープ株式会社 多視点画像符号化装置
JP2011216965A (ja) * 2010-03-31 2011-10-27 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム
US8363732B2 (en) 2006-03-30 2013-01-29 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
JP2013138428A (ja) * 2006-07-06 2013-07-11 Thomson Licensing マルチビュービデオ符号化及び復号化のためにフレームナンバー及び／又はピクチャオーダカウント（ｐｏｃ）を分離する方法及び装置
US8520961B2 (en) 2006-10-13 2013-08-27 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
US8532181B2 (en) 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8532412B2 (en) 2007-04-11 2013-09-10 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding and multi-view image
WO2013146636A1 (ja) * 2012-03-30 2013-10-03 シャープ株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
US10244231B2 (en) 2006-07-06 2019-03-26 Interdigital Vc Holdings, Inc. Method and apparatus for decoupling frame number and/or picture order count (POC) for multi-view video encoding and decoding

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100811649B1 (ko) * 2006-01-11 2008-03-11 연세대학교 산학협력단 다시점 부호화 방법과 그에 사용되는 비트율 제어 방법
US20090201992A1 (en) * 2005-10-07 2009-08-13 Jeong-Il Seo Method and apparatus for encoding and decoding hopping default view for multiple cameras system
KR100667830B1 (ko) * 2005-11-05 2007-01-11 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
KR100829857B1 (ko) 2005-12-08 2008-05-16 한국전자통신연구원 다시점 영상을 이용한 홈쇼핑 서비스 시스템 및 그 방법
BRPI0620645B8 (pt) 2006-01-05 2022-06-14 Nippon Telegraph & Telephone Método e aparelho de codificação de vídeo, e método e aparelho de decodificação de vídeo
EP1972141A4 (en) * 2006-01-07 2017-04-05 Electronics and Telecommunications Research Institute Method and apparatus for inter-viewing reference in multi-viewpoint video coding
KR101276847B1 (ko) 2006-01-12 2013-06-18 엘지전자 주식회사 다시점 비디오의 처리
EP1982517A4 (en) 2006-01-12 2010-06-16 Lg Electronics Inc MULTIVATE VIDEO PROCESSING
KR100754205B1 (ko) 2006-02-07 2007-09-03 삼성전자주식회사 다시점 동영상 부호화 장치 및 방법
EP1999968A2 (en) * 2006-03-29 2008-12-10 Thomson Licensing Multi-view video coding method and device
KR100780844B1 (ko) * 2006-04-28 2007-11-29 광주과학기술원 다시점 화상 복호화기, 다시점 화상 데이터 처리 시스템,다시점 화상 데이터 처리 방법 및 이를 수행하는프로그램을 기록한 기록매체
JP5590881B2 (ja) * 2006-05-03 2014-09-17 テレフオンアクチーボラゲット エル エム エリクソン（パブル） メディア表現からメディアを再構成する方法及び装置
KR100813064B1 (ko) * 2006-05-19 2008-03-14 엘지전자 주식회사 비디오 영상 복호화/부호화 방법 및 장치, 데이터 포맷
KR101039204B1 (ko) * 2006-06-08 2011-06-03 경희대학교 산학협력단 다시점 비디오 코딩에서의 움직임 벡터 예측 방법 및 이를이용한 다시점 영상의 부호화/복호화 방법 및 장치
WO2007148909A1 (en) 2006-06-19 2007-12-27 Lg Electronics, Inc. Method and apparatus for processing a vedeo signal
CN100438632C (zh) * 2006-06-23 2008-11-26 清华大学 一种交互式多视点视频的编码方法
KR101450921B1 (ko) * 2006-07-05 2014-10-15 톰슨 라이센싱 멀티뷰 비디오 엔코딩 및 디코딩을 위한 방법 및 장치
KR101370919B1 (ko) 2006-07-12 2014-03-11 엘지전자 주식회사 신호처리방법 및 장치
EP3179725B1 (en) * 2006-07-20 2024-05-08 InterDigital VC Holdings, Inc. Method and apparatus for signaling view scalability in multi-view video coding
BRPI0716957A2 (pt) 2006-10-13 2013-10-29 Thomson Licensing Sintaxe de gerenciamento de lista de imagens de referência para codificação de vídeo de múltiplas vistas
CN102780883B (zh) * 2006-10-13 2015-03-04 汤姆逊许可公司 用于包含多视点视频编码的参考图像管理的方法
KR101385808B1 (ko) * 2006-10-16 2014-04-17 톰슨 라이센싱 비디오 동작 동안 ｎａｌ 유닛을 이용하여 동시 디코딩 리프레시를 시그널링하는 방법
EP2512139B1 (en) 2006-10-30 2013-09-11 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
KR101366289B1 (ko) * 2006-12-13 2014-02-21 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
WO2008085885A2 (en) * 2007-01-04 2008-07-17 Thomson Licensing Methods and apparatus for multi-view information conveyed in high level syntax
TR201809177T4 (tr) 2007-04-12 2018-07-23 Dolby Int Ab Video kodlama ve kod çözmede döşeme.
CN101291434A (zh) * 2007-04-17 2008-10-22 华为技术有限公司 多视编解码方法及装置
JP2009004940A (ja) * 2007-06-20 2009-01-08 Victor Co Of Japan Ltd 多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラム
JP2009004939A (ja) * 2007-06-20 2009-01-08 Victor Co Of Japan Ltd 多視点画像復号方法、多視点画像復号装置及び多視点画像復号プログラム
JP2011502375A (ja) * 2007-10-10 2011-01-20 韓國電子通信研究院 ステレオスコピックデータの保存および再生のためのメタデータ構造ならびにこれを利用するステレオスコピックコンテンツファイルの保存方法
WO2009131287A1 (en) * 2008-04-23 2009-10-29 Lg Electronics Inc. Method for encoding and decoding image of ftv
JP5298201B2 (ja) * 2008-10-07 2013-09-25 テレフオンアクチーボラゲット エル エム エリクソン（パブル） メディアコンテナファイル
CN104768031B (zh) 2009-01-26 2018-02-09 汤姆森特许公司 用于视频解码的装置
BRPI1008226A2 (pt) * 2009-02-12 2019-09-24 Nippon Telegraph & Telephone método de codificação de imagem como múltiplas vistas, método de decodificação de imagem com múltiplas vistas, dispositivo de codificação de imagem com múltiplas vistas,dispositivo de codificação de imagem com múltiplas vistas,programa de codificação de imagem como múltiplas vistas, programa de codificação de imagem como múltiplas vistas.
JP2011087195A (ja) * 2009-10-16 2011-04-28 Sony Corp 画像処理装置および画像処理方法
US9215445B2 (en) 2010-01-29 2015-12-15 Thomson Licensing Block-based interleaving
KR101599042B1 (ko) * 2010-06-24 2016-03-03 삼성전자주식회사 다시점 깊이 영상 부호화 장치 및 그 방법, 그리고, 다시점 깊이 영상 복호화 장치 및 그 방법
JP5549476B2 (ja) * 2010-08-24 2014-07-16 ソニー株式会社 画像処理装置と画像処理方法
MX338309B (es) * 2010-09-03 2016-04-12 Sony Corp Dispositivo de codificacion, metodo de codificacion, dispositivo de descodificacion, y metodo de descodificacion.
KR101512255B1 (ko) * 2010-12-17 2015-04-14 후지쯔 가부시끼가이샤 입체시 동화상 생성 장치 및 입체시 동화상 생성 방법
US9131217B2 (en) * 2011-12-09 2015-09-08 Qualcomm Incorporated Reference picture list modification for view synthesis reference pictures
JP6480185B2 (ja) * 2012-01-19 2019-03-06 ヴィド スケール インコーポレイテッド 映像符号化参照ピクチャリストをシグナリングおよび構築する方法および装置
US10009628B2 (en) * 2013-06-07 2018-06-26 Apple Inc. Tuning video compression for high frame rate and variable frame rate capture
NL2014986B1 (en) * 2015-06-18 2017-01-23 Filigrade B V Waste separation method.
KR20170029244A (ko) * 2015-09-07 2017-03-15 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 관리 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0698312A (ja) * 1992-09-16 1994-04-08 Fujitsu Ltd 画像高能率符号化方式
JP2004048116A (ja) * 2002-07-08 2004-02-12 Monolith Co Ltd 画像データ符号化および復号のための方法および装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
TW335480B (en) * 1995-09-29 1998-07-01 Matsushita Electric Ind Co Ltd Method and apparatus for encoding a bistream for multi-angle connection
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
JPH09200715A (ja) * 1996-01-19 1997-07-31 Canon Inc 通信装置、通信方法及び通信システム
US6445740B1 (en) * 1997-07-11 2002-09-03 Koninklijke Philips Electronics N.V. Audiovisual data decoding method
JP3776595B2 (ja) * 1998-07-03 2006-05-17 日本放送協会 多視点画像の圧縮符号化装置および伸長復号化装置
JP2001008232A (ja) 1999-06-25 2001-01-12 Matsushita Electric Ind Co Ltd 全方位映像出力方法と装置
CN1141845C (zh) * 2001-04-29 2004-03-10 王林 视点分离式立体电视机
KR100397511B1 (ko) 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR100481732B1 (ko) 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
JP2004007266A (ja) * 2002-05-31 2004-01-08 Sony Corp 画像符号化装置及び方法、画像復号装置及び方法、並びにプログラム及び記録媒体
KR100475060B1 (ko) * 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0698312A (ja) * 1992-09-16 1994-04-08 Fujitsu Ltd 画像高能率符号化方式
JP2004048116A (ja) * 2002-07-08 2004-02-12 Monolith Co Ltd 画像データ符号化および復号のための方法および装置

Cited By (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8432972B2 (en) 2006-03-30 2013-04-30 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8576920B2 (en) 2006-03-30 2013-11-05 Lg Electronics, Inc. Method and apparatus for decoding/encoding a video signal
US8457207B2 (en) 2006-03-30 2013-06-04 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8559523B2 (en) 2006-03-30 2013-10-15 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8634475B2 (en) 2006-03-30 2014-01-21 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal using a reference picture list for inter-view prediction
US8611419B2 (en) 2006-03-30 2013-12-17 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8611427B2 (en) 2006-03-30 2013-12-17 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8363732B2 (en) 2006-03-30 2013-01-29 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8472519B2 (en) 2006-03-30 2013-06-25 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8428130B2 (en) 2006-03-30 2013-04-23 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8559505B2 (en) 2006-03-30 2013-10-15 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8565303B2 (en) 2006-03-30 2013-10-22 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8411744B2 (en) 2006-03-30 2013-04-02 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8483273B2 (en) 2006-03-30 2013-07-09 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8565319B2 (en) 2006-03-30 2013-10-22 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8526504B2 (en) 2006-03-30 2013-09-03 Lg Electronics Inc. Method and apparatus for decoding/encoding a multi-view video signal with inter-view reference picture list management
US8571113B2 (en) 2006-03-30 2013-10-29 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US10244231B2 (en) 2006-07-06 2019-03-26 Interdigital Vc Holdings, Inc. Method and apparatus for decoupling frame number and/or picture order count (POC) for multi-view video encoding and decoding
JP2013138429A (ja) * 2006-07-06 2013-07-11 Thomson Licensing マルチビュービデオ符号化及び復号化のためにフレームナンバー及び／又はピクチャオーダカウント（ｐｏｃ）を分離する方法及び装置
JP2013138428A (ja) * 2006-07-06 2013-07-11 Thomson Licensing マルチビュービデオ符号化及び復号化のためにフレームナンバー及び／又はピクチャオーダカウント（ｐｏｃ）を分離する方法及び装置
JP2018042277A (ja) * 2006-07-06 2018-03-15 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ マルチビュービデオ符号化及び復号化のためにフレームナンバー及び／又はピクチャオーダカウント（ｐｏｃ）を分離する方法及び装置
US9641842B2 (en) 2006-07-06 2017-05-02 Thomson Licensing Method and apparatus for decoupling frame number and/or picture order count (POC) for multi-view video encoding and decoding
US8559508B2 (en) 2006-08-25 2013-10-15 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8761255B2 (en) 2006-08-25 2014-06-24 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8532182B2 (en) 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8532180B2 (en) 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8855200B2 (en) 2006-08-25 2014-10-07 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8767827B2 (en) 2006-08-25 2014-07-01 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8559507B2 (en) 2006-08-25 2013-10-15 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8532178B2 (en) 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8532184B2 (en) 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8532183B2 (en) 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8532181B2 (en) 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8724700B2 (en) 2006-08-25 2014-05-13 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8718136B2 (en) 2006-08-25 2014-05-06 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8711932B2 (en) 2006-08-25 2014-04-29 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8681863B2 (en) 2006-08-25 2014-03-25 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8660179B2 (en) 2006-08-25 2014-02-25 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8630344B2 (en) 2006-08-25 2014-01-14 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8649433B2 (en) 2006-08-25 2014-02-11 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8520961B2 (en) 2006-10-13 2013-08-27 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
JP2010515400A (ja) * 2007-01-03 2010-05-06 サムスン エレクトロニクス カンパニー リミテッド 全域差ベクトルを利用した多視点映像の符号化、復号化方法及び装置
JP2010516100A (ja) * 2007-01-04 2010-05-13 トムソン ライセンシング 高レベル・シンタックスを用いてマルチ・ビュー符号化ビデオにおいてビデオ・エラー隠蔽を行う方法および装置
JP2010516102A (ja) * 2007-01-04 2010-05-13 トムソン ライセンシング マルチビュー符号化ビデオにおいてビデオ・エラー補正を行う方法および装置
US9282327B2 (en) 2007-01-04 2016-03-08 Thomson Licensing Llc Method and apparatus for video error concealment in multi-view coded video using high level syntax
US8611688B2 (en) 2007-04-11 2013-12-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding and multi-view image
US8532412B2 (en) 2007-04-11 2013-09-10 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding and multi-view image
US9088779B2 (en) 2007-04-11 2015-07-21 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding and multi-view image
US8670626B2 (en) 2007-04-11 2014-03-11 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding and multi-view image
JP5237500B2 (ja) * 2010-02-23 2013-07-17 日本電信電話株式会社 動きベクトル推定方法、多視点映像符号化方法、多視点映像復号方法、動きベクトル推定装置、多視点映像符号化装置、多視点映像復号装置、動きベクトル推定プログラム、多視点映像符号化プログラム、及び多視点映像復号プログラム
WO2011105297A1 (ja) * 2010-02-23 2011-09-01 日本電信電話株式会社 動きベクトル推定方法、多視点映像符号化方法、多視点映像復号方法、動きベクトル推定装置、多視点映像符号化装置、多視点映像復号装置、動きベクトル推定プログラム、多視点映像符号化プログラム、及び多視点映像復号プログラム
WO2011114755A1 (ja) * 2010-03-16 2011-09-22 シャープ株式会社 多視点画像符号化装置
JP2011193352A (ja) * 2010-03-16 2011-09-29 Sharp Corp 多視点画像符号化装置
JP2011216965A (ja) * 2010-03-31 2011-10-27 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム
WO2013146636A1 (ja) * 2012-03-30 2013-10-03 シャープ株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム

Also Published As

Publication number Publication date
EP1772022A1 (en) 2007-04-11
CN101023681B (zh) 2010-10-06
CN101895768A (zh) 2010-11-24
CN101902656A (zh) 2010-12-01
WO2006001653A1 (en) 2006-01-05
KR20050122717A (ko) 2005-12-29
CN101023681A (zh) 2007-08-22
KR100679740B1 (ko) 2007-02-07
US20090103619A1 (en) 2009-04-23
JP2011109690A (ja) 2011-06-02

Similar Documents

Publication Publication Date Title
JP2008503973A (ja) 多視点シーケンス符号化／復号化方法及びそのディスプレイ方法
JP5170786B2 (ja) マルチビュービデオのスケーラブルコーディングおよびデコーディング方法、ならびにコーディングおよびデコーディング装置
KR101450670B1 (ko) 블록 기반의 양안식 영상 포맷 생성 방법과 장치 및 양안식영상 복원 방법과 장치
JP4611386B2 (ja) 多視点映像のスケーラブル符号化、復号化方法及び装置
KR100667830B1 (ko) 다시점 동영상을 부호화하는 방법 및 장치
CN100512431C (zh) 用于编码和解码立体视频的方法和装置
KR100760258B1 (ko) 범용적 다시점 동영상 부호화/복호화 장치 및 방법
KR100728009B1 (ko) 다시점 동영상을 부호화하는 방법 및 장치
Ho et al. Overview of multi-view video coding
KR100738867B1 (ko) 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법
US20090190662A1 (en) Method and apparatus for encoding and decoding multiview video
US20070064800A1 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
US20080205791A1 (en) Methods and systems for use in 3d video generation, storage and compression
US20090002481A1 (en) Method and apparatus for generating stereoscopic image bitstream using block interleaved method
WO2009155827A1 (zh) 立体视频编解码方法、装置及系统
Lim et al. A multiview sequence CODEC with view scalability
KR20070092566A (ko) 균일한 화질을 제공하는 다시점 영상 부호화 및 복호화방법 및 장치
EP1927250A1 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
MX2008002391A (es) Metodo y aparato para codificar video de vistas multiples.
JP2013098986A (ja) 映像符号化方法及び装置、並びに映像復号化方法及び装置
Maugey et al. Navigation domain representation for interactive multiview imaging
WO2006110007A1 (en) Method for coding in multiview video coding/decoding system
KR100783722B1 (ko) 다양한 수신환경을 고려한 스테레오 비디오 부호화방법 및 장치
KR20080114450A (ko) 블록 인터리브드 방식의 양안 영상 정보를 포함하는 양안식영상 비트스트림 생성 방법 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110426