JP2011109690A - 多視点シーケンス符号化／復号化方法及びそのディスプレイ方法 - Google Patents

多視点シーケンス符号化／復号化方法及びそのディスプレイ方法 Download PDF

Info

Publication number
JP2011109690A
JP2011109690A JP2011000757A JP2011000757A JP2011109690A JP 2011109690 A JP2011109690 A JP 2011109690A JP 2011000757 A JP2011000757 A JP 2011000757A JP 2011000757 A JP2011000757 A JP 2011000757A JP 2011109690 A JP2011109690 A JP 2011109690A
Authority
JP
Japan
Prior art keywords
picture
viewpoint
auxiliary
bitstream
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011000757A
Other languages
English (en)
Inventor
Kwang Hoon Sohn
クワン フーン ソン，
Jeong Eun Lim
ジェオン イウン リム，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Industry Academic Cooperation Foundation of Yonsei University
Original Assignee
LG Electronics Inc
Industry Academic Cooperation Foundation of Yonsei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc, Industry Academic Cooperation Foundation of Yonsei University filed Critical LG Electronics Inc
Publication of JP2011109690A publication Critical patent/JP2011109690A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】多視点シーケンスデータを効率的に符号化及び復号化できる多視点シーケンス符号化／復号化方法及びそのディスプレイ方法を提供する。また、符号化されたデータを効率的に多視点シーケンスに復号化する装置及びその装置を用いたディスプレイ方法を提供する。
【解決手段】複数の視点から獲得した複数のピクチャーを符号化することで、ビットストリームを生成する段階を含み、前記ビットストリームは、複数のピクチャーそれぞれに対する視点情報を含み、前記視点情報は、対応するピクチャーが複数の視点のうち何れの視点に対応するかを指定する情報である多視点シーケンス符号化方法を構成する。
【選択図】図６

Description

本発明は、多視点シーケンス符号化／復号化方法に関するもので、特に、多視点シーケンス符号化／復号化方法及びそのディスプレイ方法に関するものである。本発明は、広範囲な応用に適しており、特に、多視点シーケンスデータの符号化／復号化を行い、受信端によって要求された視点に対応する動映像を復号化するための視点選択が可能な応用に適している。
一般的に、現在のメディアは、単純なテキスト及び２次元ビデオをディスプレイするだけでなく、人間の視覚、聴覚、触覚、嗅覚、味覚などの五感を統合的に認知し、事物や状況を正確かつ鮮明に把握できるようにする。このようなマルチメディアは、通信と結合して一層重要な意味を有するようになり、高速及び大容量の情報伝送技術が発達しながら画像電話、遠隔会議、遠隔ショッピングなどのマルチメディア通信が可能になった。
マルチメディア技術は、３次元信号処理技術として発展するとき、一層生動感のある力を発揮するはずである。このために、人間の生活空間を現実的かつ自然的に再現できる３次元映像処理及び通信技術の開発が必要である。
一方、私たちが生きている世界は、上下左右のみならず、深さ感も含む３次元世界である。したがって、人々は、平面のように感じられる２次元映像のみならず、深さ感までも感じられる立体感及び現実感のある３次元立体映像に対して多くの関心を示しており、現在、３次元映像処理技術は、通信、放送、仮想現実、教育、医療、娯楽などの多様な分野で応用されている。
２次元映像で３次元を表現する最も簡単な方式は、ステレオ方式である。ステレオ映像は、左右映像で構成されているので、データ量が膨大になるという問題点がある。したがって、ステレオ映像は、大容量の保存装置、ネットワーク及び高速のコンピュータシステムを要求する。また、ステレオ映像を独立的に符号化する場合、２次元映像を伝送するための帯域幅より約２倍の帯域幅が要求される。ステレオ映像を時間軸に拡張したステレオシーケンスや時間軸及び視点軸に拡張した多視点シーケンスの場合、視点数に比例してデータ量が増加し、要求される帯域幅も増加する。
３次元映像に対する関心が高まるにつれて、各機関、大学及び実験室などでは、３次元映像圧縮及び復元ディスプレイシステムに対する研究が行われている。
上記のような３次元映像システムの受信端では、多視点シーケンスを復号化してディスプレイできる３次元ディスプレイが必要である。現在開発されている３次元液晶表示装置（ＬＣＤ）モニターは、一人の観察者に立体感を提供するディスプレイであり、最近、多数の観察者に立体感及び事実感を提供できる３次元多視点ディスプレイモニターが開発中にある。
しかしながら、視点数が増加することで、３次元多視点シーケンスのデータ量及び演算量が増加するので、３次元多視点シーケンスを効率的に符号化及び復号化できる多視点シーケンス符号化／復号化器（ＣＯＤＥＣ）が要求される。また、使用者が保有しているディスプレイによって、受信端で特定の視点のみを復号化することも要求される。
本発明は上記の問題点を解決するためのもので、多視点シーケンス符号化／復号化方法及びそのディスプレイ方法に関するものである。
本発明の目的は、多視点シーケンスデータを効率的に符号化及び復号化できる多視点シーケンス符号化／復号化方法及びそのディスプレイ方法を提供することにある。
本発明の他の目的は、符号化されたデータを効率的に多視点シーケンスに復号化する装置及びその装置を用いたディスプレイ方法を提供することにある。
本発明の付加的な特徴及び長所は、後述する詳細な説明で明らかになるだろう。本発明の目的及び他の長所は、添付の図面のみならず、詳細な説明及び特許請求の範囲に記載された構造によって具現及び獲得される。
本発明の目的及び他の利点を達成するために、本発明に係る多視点シーケンス符号化方法は、複数の視点から獲得した複数のピクチャーを符号化することで、ビットストリームを生成する段階を含み、前記ビットストリームは、複数のピクチャーに対する視点情報を含み、前記視点情報は、対応するピクチャーが複数の視点のうち何れの視点に対応するかを指定する情報である。
本発明の目的及び他の利点を達成するために、本発明に係る多視点シーケンス符号化方法は、メーン視点に対する第１ピクチャータイプのピクチャーを符号化することで、メーンビットストリームを生成する段階と、一つ以上の補助視点に対する補助ビットストリームを生成する段階と、を含み、前記補助ビットストリームは、前記第１ピクチャータイプのピクチャーを用いて予測された第２ピクチャータイプのピクチャーを符号化することで生成され、前記補助ビットストリームは、前記第２ピクチャータイプのピクチャーに対する視点情報を含み、前記視点情報は、前記第２ピクチャータイプの対応するピクチャーが前記一つ以上の補助視点のうち何れの補助視点に対応するかを指定する情報である。
本発明の目的及び他の利点を達成するために、多視点シーケンス復号化方法は、複数の視点から獲得したピクチャーをそれぞれ符号化することで生成されたメーンビットストリームを受信する段階と、特定のピクチャーが前記複数の視点のうち何れに対応するかを指定する視点情報を確認する段階と、前記確認された視点情報によって、ディスプレイで特定の視点と関連したピクチャーを復号化する段階と、を含む。
本発明の目的及び他の利点を達成するために、多視点シーケンス復号化方法は、メーン視点から獲得したピクチャーを符号化することで生成されたメーンビットストリーム、及び複数の補助視点から獲得したピクチャーを符号化することで生成された補助ビットストリームを受信する段階と、前記メーンビットストリーム内のピクチャーを復元する段階と、前記補助ビットストリーム内に存在する視点情報によって前記メーンビットストリーム内の前記復元されたピクチャーを用いることで、ディスプレイで特定の補助視点と関連したピクチャーに対する予測復元を選択的に行う段階と、を含む。
本発明の目的及び他の利点を達成するために、多視点シーケンス復号化装置は、メーン視点から獲得したピクチャーを符号化することで生成されたメーンビットストリームを受信し、前記メーンビットストリーム内のピクチャーを復元するメーンビットストリーム復号化部と、複数の補助ビットストリームから獲得したピクチャーを符号化することで生成された補助ビットストリームを受信する補助ビットストリーム復号化部と、を含み、前記補助ビットストリーム復号化部は、前記補助ビットストリーム内に存在する視点情報によって前記メーンビットストリーム内の前記復元されたピクチャーを用いることで、特定の補助視点のピクチャーに対する予測復元を選択的に行う。
本発明の目的及び他の利点を達成するために、多視点シーケンスディスプレイ方法は、メーン視点に対応するピクチャーをディスプレイする第１ディスプレイモード、及び前記メーン視点に対応するピクチャー及び一つ以上の補助視点に対応するピクチャーを一緒にディスプレイする第２ディスプレイモードを含み、前記第１ディスプレイモードまたは前記第２ディスプレイモードが、前記ピクチャーを含むビットストリーム内に存在する視点情報によって選択される。
上述した説明及び後述する本発明の詳細な説明は、本発明の理解を助けるために提示された例示に過ぎなく、その範囲は、特許請求の範囲に記載された通りである。
本発明は、多視点シーケンスを効率的に符号化し、受信端で特定の視点のみを復号化するので、符号化／復号化を一層円滑にかつ効率的に行うことができる。
また、本発明は、３次元映像処理技術を採用した通信、放送、仮想現実、教育、医療及び娯楽などの多様の分野に適用される。
また、本発明の方法は、プログラムで具現され、コンピュータ可読の記録媒体（ＣＤ−ＲＯＭ、ＲＡＭ、ＲＯＭ、フロッピーディスク、ハードディスク、光磁気ディスクなど）に保存される。
本発明に適用される多視点シーケンス符号化装置のブロック図である。 本発明によって生成された補助ビットストリームの一例を示す図である。 本発明によって５視点シーケンスを符号化するための"ＧＧＯＰ"の一実施形態を示す図である。 本発明によって５視点シーケンスを符号化するための"ＧＧＯＰ"の一実施形態を示す図である。 本発明によって５視点シーケンスを符号化するための"ＧＧＯＰ"の一実施形態を示す図である。 本発明に係る９視点シーケンスを符号化するための"ＧＧＯＰ"の一実施形態を示す図である。 本発明に係る９視点シーケンスを符号化するための"ＧＧＯＰ"の一実施形態を示す図である。 本発明の一実施形態に係る多視点シーケンスディスプレイ方法の概念を説明するための概略図である。 本発明によって復号化を行うために伝送されるヘッダー情報を説明するためのビットストリームを示す図である。 本発明に係る多視点シーケンス復号化装置のブロック図である。 本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。 本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。 本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。 本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。 本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。 本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。 本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。 本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。 本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。 本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図である。 図８Ａ乃至図８Ｅに示した５視点シーケンスの多様なビット率での符号化結果を説明するためのグラフである。 図９Ａに示したシーケンスの多様なビット率での符号化結果を説明するためのグラフである。 図９Ａに示したシーケンスの多様なビット率での符号化結果を説明するためのグラフである。 ベースラインの大きい映像をそれぞれ"Ｏｎｅ−Ｉ"タイプと"Ｔｗｏ−Ｉ"タイプで符号化した場合の結果映像を比較した図である。 ベースラインの大きい映像をそれぞれ"Ｏｎｅ−Ｉ"タイプと"Ｔｗｏ−Ｉ"タイプで符号化した場合の結果映像を比較した図である。 本発明のＢｔ，ｓフレームの性能を説明するための結果映像を示す図である。 本発明のＢｔ，ｓフレームの性能を説明するための結果映像を示す図である。 受信端にステレオシーケンスのみをディスプレイできる３次元モニターが提供される場合、図９Ａ乃至図９Ｅに示した５視点のビットストリームを受信した使用者が２番目の視点及び４番目の視点を選択したときの結果映像を示す図である。 受信端にステレオシーケンスのみをディスプレイできる３次元モニターが提供される場合、図９Ａ乃至図９Ｅに示した５視点のビットストリームを受信した使用者が２番目の視点及び４番目の視点を選択したときの結果映像を示す図である。 受信端にステレオシーケンスのみをディスプレイできる３次元モニターが提供される場合、図９Ａ乃至図９Ｅに示した５視点のビットストリームを受信した使用者が２番目の視点及び４番目の視点を選択したときの結果映像を示す図である。 受信端にステレオシーケンスのみをディスプレイできる３次元モニターが提供される場合、図９Ａ乃至図９Ｅに示した５視点のビットストリームを受信した使用者が２番目の視点及び４番目の視点を選択したときの結果映像を示す図である。
以下、本発明の好適な実施形態について、添付の図面に基づいて詳細に説明する。
本発明では、可能な限り現在広く用いられる一般的な用語を選択したが、特定の場合に出願人が任意に選定した用語もあり、その場合、該当する発明の説明部分でその意味を詳細に記載した。そのため、本発明は、単純な用語の名称でなく、用語の持つ意味によって把握すべきである。
本発明で用いられる"多視点シーケンス”は、同一の事物に対して視点の異なる動映像が同時に獲得されることを意味する。例えば、"多視点シーケンス”は、複数の動映像撮影機構（例えば、カメラ）を用いて多様な角度及び多様な方向に同一の事物を撮影することで得られた動映像を意味する。
特に、本発明の"メーン視点"は、多視点のうち符号化の基準になる視点を意味する。"メーン視点"に対応する動映像は、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．６２３、Ｈ．２６４などの従来の動映像符号化方式によってビットストリームに符号化される。このビットストリームは、本発明の"メーンビットストリーム"と呼ばれる。説明の便宜上、本発明では、従来の動映像符号化方式の一例であるＭＰＥＧ−２が用いられる。
本発明の"補助視点"は、多視点のうちメーン視点でない視点を意味する。"補助視点"に対応する動映像は、後述する本発明の固有な符号化方式によってビットストリームに符号化される。このビットストリームは、本発明の"補助ビットストリーム"と呼ばれる。
また、本発明の"ビットストリーム"は、"メーンストリーム"または"補助ストリーム"として包括的に用いられる。
図１は、本発明に適用される多視点シーケンス符号化装置のブロック図である。
本発明に係る符号化方法で、ＭＰＥＧ−２との互換性のために基準となるシーケンスは、ＭＰＥＧ−２エンコーダーで符号化されてメーンビットストリームを生成し、補助視点シーケンスに対して補助ビットストリームを生成する。すなわち、メーンビットストリームは、"Ｉ（後述する）"ピクチャーを含むシーケンスに対するデータを含み、補助ビットストリームは、その他のシーケンスの変異推定及び動き推定を通して符号化した多様な種類の情報を含む。
図１を参照すると、本発明に適用される多視点符号化装置は、前処理部１１０、動き推定／補償部１２０，１３０、変異推定／補償部１４０、ビット率制御部１５０及び差映像符号化部１６０，１７０を含む。
多視点シーケンスデータＡが入力されると、前処理部１１０は、ノイズ除去及びインバランシング（ＩｍｂａｌａｎｃＩｎｇ）問題を解決しながら、前処理過程を通して多視点シーケンスデータ間の相関度を高めることで、変異推定及び動き推定から得られた各ベクターの信頼度を増加させ、前処理データを変異推定／補償部１４０、動き推定／補償部１２０，１３０及び差映像符号化部１６０，１７０に提供する。
したがって、インバランシング問題は、基準映像と補正すべき補正映像の平均及び分散を用いてインバランシングを補正し、メディアンフィルターを用いてノイズを簡単に除去することで解決される。
前処理部１１０は、補助ビットストリームに"視点情報"を挿入し、復号化器で特定の視点のみを復元できる情報を提供する。これを、図２を参照して説明する。
変異推定／補償部１４０及び動き推定／補償部１２０，１３０は、"Ｉ"ピクチャーを含むシーケンス軸を基準にして変異ベクター及び動きベクターを推定し、半画素補償方法を用いて補償する。
差映像符号化部１６０，１７０は、一層改善した映像画質及び立体感を提供するために、前処理部１１０から提供される元の映像と、変異推定／補償部１４０及び動き推定／補償部１２０，１３０で補償された復元映像との差情報に対して符号化を行い、提供される多視点シーケンスに対するビットストリームを生成することができる。
ビット率制御部１５０は、各ピクチャーにビットを効率的に割り当てるためのビット率を制御することができる。
図２は、本発明によって生成された補助ビットストリームの一例を示す図である。
図２を参照すると、本発明によって挿入された"視点情報"２１０は、例えば、補助ビットストリーム内のピクチャーヘッダーにｎビットで挿入される。このとき、ｎビットは、最大２ｎ個の視点まで支援することができる。
すなわち、"視点情報"は、特定のピクチャーが複数の補助視点のうち何れの補助視点に対応するかを指定する情報として用いられる。そのため、複数の視点に対する各ピクチャーが補助ビットストリーム内に混合された場合、"視点情報"は、特定の視点と結合されたピクチャーのみを選択的に復元する必要がある。
"視点情報”は、補助ビットストリームのみに限定されず、メーンビットストリームと補助ビットストリームの区分なしに、特定の視点と関連したピクチャーの意味として用いられる。
以下、本発明に係る多視点シーケンス符号化を行う特定の方法を説明する。
一般的な符号化方式、例えば、ＭＰＥＧ-２符号化方式で、符号化の基本単位はＧＯＰ（Ｇｒｏｕｐ Ｏｆ ＰＩｃｔｕｒｅｓ）である。ＧＯＰは、"Ｉ"ピクチャー、"Ｐ"ピクチャー及び"Ｂ"ピクチャーを含む。
"Ｉ"ピクチャーは、イントラ符号化を行うためのもので、シーケンスのランダムアクセスを可能にする。"Ｐ"ピクチャーは、以前に符号化された"Ｉ"ピクチャーや"Ｐ"ピクチャーを基準映像として動きベクターを単方向に推定し、"Ｂ"ピクチャーは、"Ｉ"ピクチャー及び"Ｐ"ピクチャーを用いて動きベクターを両方向に推定する。ＧＯＰの長さ、すなわち、"Ｎ"は、"Ｉ"ピクチャー間の距離を意味し、"Ｍ"は、"Ｉ"ピクチャーと"Ｐ"ピクチャーとの間の距離を意味する。
"Ｉ"ピクチャー、"Ｐ"ピクチャー及び"Ｂ"ピクチャーは、ＭＰＥＧ-２符号化方式に用いられるピクチャー用語である。符号化方式が互いに異なると、使用可能な用語も異なってくる。例えば、異なったＭＰＥＧ２方式によるメーンビットストリームで、任意の基準ピクチャーを参照せずに復号化されるピクチャーは"Ｌ"ピクチャーという。また、少なくとも一つまたは二つの基準ピクチャーを参照して復号化されるピクチャーは"Ｈ"ピクチャーという。
本発明では、多視点シーケンスを符号化するために、多視点シーケンス符号化の基本単位である"ＧＧＯＰ（Ｇｒｏｕｐ ｏｆ ＧＯＰ）構造を提案する。
本発明の"ＧＧＯＰ"は、ＭＰＥＧ-２のＧＯＰと異なって、時間軸及び視点軸に対応する各ピクチャーを含む。すなわち、"ＧＧＯＰ"構造を用いて空間上の相関性、時間軸上の相関性、視点間の相関性を除去し、多視点シーケンスを効率的に符号化することができる。
図３Ａ及び図３Ｂは、本発明によって５視点シーケンスを符号化するための"ＧＧＯＰ"の一実施形態を示す図で、それぞれ"Ｏｎｅ-Ｉ"タイプ（図３Ａ）、"Ｔｗｏ-Ｉ"タイプ（図３Ｂ）及び"Ｆｉｖｅ-Ｉ"（図３Ｃ）を意味する。説明の便宜上、"Ｎ＝６及びＭ＝３"である場合を例に挙げて説明する。ここで、本発明が"Ｎ＝６及びＭ＝３"である場合に限定されないことは、当業者にとって明らかである。
図３Ａを参照すると、本発明の"ＧＧＯＰ"構造のうち"Ｏｎｅ−Ｉ"タイプは、１個の"Ｉ"ピクチャー、１個の"Ｐｔ"ピクチャー、４個の"Ｂｔ"ピクチャー、４個の"Ｐｓ"ピクチャー及び２０個の"Ｂｔ，ｓ"ピクチャーを含む。
この場合、"Ｐｔ"ピクチャーは、ＭＰＥＧ−２で用いられる"Ｐ"ピクチャーと同様に、動きベクターをそれぞれ単方向に推定するピクチャータイプで、"Ｂｔ"ピクチャーは、ＭＰＥＧ−２で用いられる"Ｂ"ピクチャーと同様に、動きベクターを両方向に推定するピクチャータイプである。本発明において、"Ｉ"ピクチャー、"Ｐｔ"ピクチャー及び"Ｂｔ"ピクチャーは、メーンビットストリームを構成する第１タイプピクチャーという。
"Ｐｓ"ピクチャーは、視点間の相関、すなわち、変異推定を用いて復元する映像で、"Ｂｔ，ｓ"ピクチャーは、時間軸には動きベクター、視点軸には変異ベクターまたは二つのベクターの補間を用いて復元された映像を意味する。
図３Ａに示すように、"Ｎ＝６及びＭ＝３"である場合の"Ｏｎｅ−Ｉ"タイプで、基準となるシーケンス、すなわち、ＭＰＥＧ−２で符号化するシーケンスが１個含まれている。この場合、矢印は、変異ベクター及び動きベクターを予測するための方向を意味する。
"Ｉ"ピクチャーが含まれたメーン視点シーケンスである"…Ｂｔ、Ｂｔ、Ｉ、Ｂｔ、Ｂｔ、Ｐｔ、…”は、ＭＰＥＧ−２との互換性のためにＭＰＥＧ−２エンコーダーで符号化される。生成されたビットストリームは、ＭＰＥＧ−２のシンタックスと同一に設定される。上述したように、メーンシーケンスに対応するビットストリームは、メーンビットストリームとして定義され、補助視点に対応するシーケンスのデータは、補助ビットストリームとして定義される。したがって、図３Ａに示した５視点"Ｏｎｅ−Ｉ"タイプである場合、１個のメーンビットストリーム及び１個の補助ビットストリームを生成することができる。
多視点シーケンスを獲得するときのカメラ間の間隔、すなわち、ベースラインが大きい場合、視点間のエラーが増加する。そのため、メーン視点から遠く離れた視点軸に対応するシーケンスの画質が劣化する憂いがある。したがって、ベースラインの大きい多視点カメラから獲得した多視点シーケンスを符号化する場合、二つ以上のメーンシーケンスが必要である。
カメラ撮影角度によって多視点が指定される場合、カメラ間のカメラ撮影角度差がベースラインになる。また、カメラ撮影角度差が大きい場合、二つ以上のメーンシーケンスが設定されることが好ましい。
図３Ｂは、５視点"Ｔｗｏ−Ｉ"タイプを示すもので、ベースラインの大きい多視点カメラから獲得した多視点シーケンスを符号化するために提案されたものである。この場合、多視点シーケンスエンコーダーは、二つのメーンビットストリーム及び一つの補助ビットストリームを生成することができる。
３番目の視点における"Ｂｓ"ピクチャーは、互いに隣接する左右映像で予測された変異を用いたり、二つの変異の補間を用いて復元されたピクチャータイプを意味する。
本発明において、"Ｐｓ"ピクチャー、"Ｂｓ"ピクチャー及び"Ｂｔ，ｓ"ピクチャーは、補助ビットストリームを構成する第２タイプピクチャーという。
一方、図３Ｃに示した"ＦＩｖｅ−Ｉ"タイプは、変異推定を行わず、多視点シーケンスをそれぞれＭＰＥＧ−２シーケンスと見なして独立的に符号化する場合を意味する。この場合、５個のメーンビットストリームが生成される。このとき、変異推定を行っていないため、補助ビットストリームは生成されない。
図３Ａ及び図３Ｃに基づいて説明した本発明の一実施形態では、５視点シーケンスに対応する"ＧＧＯＰ"構造を例に挙げたが、これは、視点数が増加しても拡張可能である。
図４Ａ及び図４Ｂは、本発明に係る９視点シーケンスを符号化するための"ＧＧＯＰ"の一例を示す図で、それぞれ"Ｔｗｏ−Ｉ"タイプ及び"Ｔｈｒｅｅ−Ｉ"タイプを示している。この場合も、ＭＰＥＧ−２との互換性のために、"Ｉ"ピクチャーが含まれている基準シーケンスは、ＭＰＥＧ−２エンコーダーによって符号化された後でメインストリームを生成する。これと同様に、他の視点シーケンスは、補助ビットストリームを生成する。
図４Ａは、"Ｎ＝６及びＭ＝３"である場合、"Ｔｗｏ−Ｉ"タイプに対する"ＧＧＯＰ"構造を示している。"ＧＧＯＰ"構造は、２個の"Ｉ"ピクチャー、２個の"Ｐｔ"ピクチャー、６個の"Ｐｓ"ピクチャー、６個の"Ｂｓ"ピクチャー及び３８個の"Ｂｔ，ｓ"ピクチャーを含む。
図４Ｂは、ベースラインが大きい場合、多視点カメラから獲得された９視点シーケンスに対する"ＧＧＯＰ"構造を示している。この場合、３個のメーンビットストリーム及び１個の補助ビットストリームが生成される。図３Ｃに示した５視点シーケンスのための"ＦＩｖｅ−Ｉ"タイプのような変異推定を用いる代りに、各視点に対応するシーケンスは、ＭＰＥＧ−２エンコーダーを用いて符号化される。
本発明は、受信端で保有しているディスプレイの特徴を考慮し、特定の視点に該当するシーケンスのみを復元可能にする概念を提案する。
図５は、本発明の一実施形態に係る多視点シーケンスディスプレイ方法の概念を説明するための概略図である。
図５を参照すると、本発明に係るディスプレイ方法で、受信された多視点シーケンスビットストリームは、受信端で保有しているディスプレイの種類によって特定の視点のみを選択することで復元される。
例えば、送信端で５視点シーケンスを符号化し、符号化されたシーケンスを受信端に伝送したとき、受信端で３視点シーケンスのみをディスプレイできる多視点モニターがある場合、使用者は、５視点だけでなく、３視点シーケンスも見られなくなる。このような問題点の発生は、送信端で多視点シーケンスを符号化するとき、視点に対する情報がないことに起因する。したがって、本発明は、このような問題点を解決しようとする。
すなわち、送信端で５視点シーケンスを符号化し、符号化されたシーケンスを受信端に伝送したとき、受信端で３視点シーケンスのみをディスプレイできる３次元多視点モニターがある場合、使用者は、５視点のうち所望の３個の視点のみを選択して復元することができる（モード２：これは、第２ディスプレイモードと呼ばれる）。選択的な復元が可能な情報は、上述した"視点情報"に対応する。
受信端が多視点モニターでない２次元シーケンスのみをディスプレイできるモニターを有する場合、メーンビットストリームのみを復元してディスプレイに伝送することができる（モード０：これは、第１ディスプレイモードと呼ばれる）。
特に、本発明に係るディスプレイ方法は、メーン視点に対応するピクチャーのみをディスプレイする第１ディスプレイモード、及びメーン視点に対応するピクチャー及び一つ以上の補助視点に対応する他のピクチャーをディスプレイする第２ディスプレイモードを有し、ディスプレイモードのうち一つが、各ピクチャーを含むビットストリーム内に存在する視点情報によってディスプレイされるように選択されることを特徴とする。
図６は、本発明によって復号化を行うために伝送されるヘッダー情報を説明するためのビットストリームを示す図である。
図６を参照すると、多視点シーケンスビットストリームを生成するとき、ピクチャーヘッダー情報に"視点情報"を挿入し、現在符号化しているピクチャーが何番目の視点のデータであるかを示す情報を提供する。視点に対する情報は、２ｎ視点のシーケンスを支援で
きるｎビットに設定される。
図６は、補助ビットストリームのみに"視点情報"が挿入されることを示しているが、用途によって、メーンビットストリーム内の一側に"視点情報"が挿入されることもある。
図７は、本発明が適用される多視点シーケンス復号化装置のブロック図である。
図７を参照すると、本発明が適用される復号化装置は、メーンビットストリーム復号化部７１０及び補助ビットストリーム復号化部７２０を含む。
メーンビットストリーム復号化部７１０は、ＭＰＥＧ−２デコーダーで復号化を行い、補助ビットストリーム復号化部７２０は、変異ベクター及び動きベクターを用いて復号化を行う。このとき、受信端で特定の視点のみを復号化するためにピクチャーヘッダー情報で"視点情報"を確認し、現在デコーディングするデータが何番目の視点に該当するかを確認する。すなわち、本発明では、特定の視点が復元されるので、デコーディング時間及び復号化部の計算量を減少させられる。
特に、メーンビットストリーム復号化部７１０は、メーン視点によって生成されたメーンビットストリームを受信し、メーンビットストリーム内のピクチャーを復元する。
補助ビットストリーム復号化部７２０は、複数の補助視点によって生成された補助ビットストリームを受信し、メーンビットストリーム復号化部７１０によって復元されたメーンビットストリーム内のピクチャーを用いることで、補助ビットストリーム内に存在する視点情報によって特定の補助視点のピクチャーに対する予測復元を選択的に行う。
図８Ａ乃至図８Ｅは、本発明に係る符号化／復号化方法を説明するための多視点シーケンスを示す図で、５視点の場合を示している。
実験で用いた映像大きさは７２０×５７６である。マクロブロックの大きさは１６×１６である。変異推定のためのｘ方向の探索範囲は−１６〜１６に設定する。平行式カメラを仮定したので、ｙ方向の探索範囲は設定されない。動き推定のために、ｘ方向及びｙ方向の探索範囲は−１６〜１６に設定する。実験で用いたビデオフォーマットは、Ｙ：Ｕ：Ｖ＝４：２：０に設定する。
図１０は、図８Ａ〜図８Ｅに示した５視点シーケンスの多様なビット率での符号化結果を説明するためのグラフである。
図１０を参照すると、"Ｏｎｅ−Ｉ"タイプ及び"Ｔｗｏ−Ｉ"タイプと、変異推定を行っていない"ＦＩｖｅ−Ｉ"タイプとを比較したとき、類似したビット率で良好な効率を示すことを確認することができる。
一方、上述したように、本発明は、流動性のある"ＧＧＯＰ"構造を提案する。すなわち、ベースラインの大きい多視点シーケンスを符号化するためには、視点間の相関性を補完するための"Ｔｗｏ−Ｉ"タイプを適用し、ベースラインの小さい多視点シーケンスに対しては"Ｏｎｅ−Ｉ"タイプを適用することで、"Ｔｗｏ−Ｉ"タイプと比較するとき、"Ｉ"フレームを除いた残りのピクチャータイプにビット量をより多く割り当てる。
図１１Ａ及び図１１Ｂは、図９Ａに示したシーケンスの多様なビット率での符号化結果を説明するためのグラフで、ベースラインの小さい場合及びベースラインの大きい場合を示している。
図１１Ａ及び図１１Ｂを参照すると、ベースラインの小さい多視点シーケンスでは、"Ｏｎｅ−Ｉ"タイプがＰＳＮＲ面で優れた効率を示し、ベースラインの大きい多視点シーケンスでは、"Ｔｗｏ−Ｉ"タイプがＰＳＮＲ面で"Ｏｎｅ−Ｉ"タイプより優れた性能を示すことを確認することができる。
図１２Ａ及び図１２Ｂは、ベースラインの大きい映像をそれぞれ"Ｏｎｅ−Ｉ"タイプ及び"Ｔｗｏ−Ｉ"タイプで符号化を行った場合の結果映像を比較した図である。
図１２Ａ及び図１２Ｂを参照すると、ベースラインの大きい多視点シーケンスである場合、視点間の相関性が減少する。これを補完するために、"Ｉ"フレームを増加させる。減少した相関性を補完するために"Ｉ"フレームを増加させた"Ｔｗｏ−Ｉ"タイプが、一層優れた効率を有する。したがって、本発明の"ＧＧＯＰ"構造が、多視点シーケンスに対するベースラインの大きさによって流動性を有することを知ることができる。
一方、本発明の"ＧＧＯＰ"構造で"Ｂｔ，ｓ"フレームは、変異ベクターまたは動きベクターのうち予測エラーの少ないベクターを選択したり、二つのベクターの平均合計を使用する。動きの大きい多視点シーケンスの場合、動きベクターよりも変異ベクターで復元することでエラーを一層減少させるので、変異ベクターのみを選択する。その反対に、時間軸に相関度が減少すると、動きベクターを用いて予測することが一層効率的であるので、動きベクターを選択する。
図１３Ａ及び図１３Ｂは、本発明のＢｔ，ｓフレームの性能を説明するための結果映像を示す図である。図１３Ａは、多視点シーケンスをＭＰＥＧ−２シーケンスと見なして独立的に符号化を行った場合の結果映像で、図１３Ｂは、本発明によって符号化を行った場合の結果映像である。
図１３Ａを参照すると、従来のＭＰＥＧ−２においては、変異ベクターを用いて動きの大きい領域を予測できないので、大きなエラーが発生した。しかし、本発明によると、変異ベクターを用いて動きの大きい領域を予測できるので、エラーを減少させることができる。
本発明において、送信端でメーンビットストリーム及び補助ビットストリームを受信端に伝送すると、受信端で特定の視点のみを復元することができる。
図１４Ａ及び図１４Ｂは、受信端にステレオシーケンスのみをディスプレイできる３次元モニターが提供される場合、図９Ａ乃至図９Ｅに示した５視点のビットストリームを受信した使用者が２番目の視点及び４番目の視点を選択したときの結果映像を示す図である。
すなわち、図１４Ａ及び図１４Ｂは、ＭＰＥＧ−２復号化器を用いて獲得した結果映像を示し、図１４Ｃ及び図１４Ｄは、本発明に係る復号化方法を用いて復号化した結果映像を示している。
図示したように、図１４Ｃ及び図１４Ｄの映像が、他のものより鮮明であることを確認することができる。図１４Ａ及び図１４Ｂの映像は、変異ベクターのみを用いて復元した結果であり、図１４Ｃ及び図１４Ｄの映像は、"Ｂｔ，ｓ"ピクチャーを含む。したがって
、動きベクターや変異ベクターが大きい場合、予測エラーを減少させることができる。
以上説明した本発明は、上述した実施形態及び添付の図面によって限定されるものではなく、本発明の技術的思想から逸脱しない範囲内で多様な置換、変形及び変更が可能であることは、本発明の属する技術分野で通常の知識を有する者にとって明らかである。
１１０：前処理部
１２０，１３０：動き推定／補償部
１４０：変異推定／補償部
１５０：ビット率制御部
１６０，１７０：差映像符号化部

Claims (4)

  1. メインビットストリーム及び補助ビットストリームを含む多視点ビデオビットストリームを受信する段階（ここで、前記メインビットストリームは、メイン視点のピクチャーを符号化して生成され、前記補助ビットストリームは、補助視点のピクチャーを符号化して生成され、前記メイン視点は、前記補助視点と独立して複号化され、前記補助視点は、前記メイン視点以外の視点であり、前記メイン視点及び前記補助視点のそれぞれのピクチャーは、視点情報を含み、ピクチャーの前記視点情報は、前記ピクチャーが複数個の視点のうちいずれの視点に該当するかを示す。）と、
    前記メイン視点の第１ピクチャーを複号化する段階と、
    前記補助視点の第２ピクチャーの視点情報を前記多視点ビデオビットストリームから獲得する段階と、
    前記第２ピクチャーの前記視点情報に基づいて、前記複号化された第１ピクチャーを用いて前記第２ピクチャーの予測復元を行う段階と、
    を含むことを特徴とする多視点ビデオ複号化方法。
  2. 前記第１ピクチャーは、イントラ方式でコーディングされたピクチャーであることを特徴とする、請求項１に記載の多視点ビデオ複号化方法。
  3. 前記第１ピクチャー及び前記第２ピクチャーは、同一時間に獲得され、互いに異なる視点情報を有することを特徴とする、請求項１に記載の多視点ビデオ複号化方法。
  4. メイン視点の第１ピクチャーを複号化するメインビットストリーム複号化ユニットと、
    補助視点の第２ピクチャーの視点情報を多視点ビデオビットストリームから獲得し、前記第２ピクチャーの前記視点情報に基づいて、前記複号化された第１ピクチャーを用いて前記第２ピクチャーの予測復元を行う補助ビットストリーム複号化ユニットと、
    を含み、
    前記多視点ビデオビットストリームは、メインビットストリーム及び補助ビットストリームを含み、前記メインビットストリームは、メイン視点のピクチャーを符号化して生成され、前記補助ビットストリームは、補助視点のピクチャーを符号化して生成され、前記メイン視点は、前記補助視点と独立して複号化され、前記補助視点は、前記メイン視点以外の視点であり、前記メイン視点及び前記補助視点のそれぞれのピクチャーは、視点情報を含み、ピクチャーの前記視点情報は、前記ピクチャーが複数個の視点のうちいずれの視点に該当するかを示すことを特徴とする多視点ビデオビットストリーム複号化装置。
JP2011000757A 2004-06-25 2011-01-05 多視点シーケンス符号化／復号化方法及びそのディスプレイ方法 Pending JP2011109690A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020040048340A KR100679740B1 (ko) 2004-06-25 2004-06-25 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
KR10-2004-0048340 2004-06-25

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2007517962A Division JP2008503973A (ja) 2004-06-25 2005-06-24 多視点シーケンス符号化／復号化方法及びそのディスプレイ方法

Publications (1)

Publication Number Publication Date
JP2011109690A true JP2011109690A (ja) 2011-06-02

Family

ID=35782029

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2007517962A Pending JP2008503973A (ja) 2004-06-25 2005-06-24 多視点シーケンス符号化／復号化方法及びそのディスプレイ方法
JP2011000757A Pending JP2011109690A (ja) 2004-06-25 2011-01-05 多視点シーケンス符号化／復号化方法及びそのディスプレイ方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2007517962A Pending JP2008503973A (ja) 2004-06-25 2005-06-24 多視点シーケンス符号化／復号化方法及びそのディスプレイ方法

Country Status (6)

Country Link
US (1) US20090103619A1 (ja)
EP (1) EP1772022A1 (ja)
JP (2) JP2008503973A (ja)
KR (1) KR100679740B1 (ja)
CN (3) CN101023681B (ja)
WO (1) WO2006001653A1 (ja)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100811649B1 (ko) * 2006-01-11 2008-03-11 연세대학교 산학협력단 다시점 부호화 방법과 그에 사용되는 비트율 제어 방법
WO2007043775A1 (en) * 2005-10-07 2007-04-19 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding hopping default view for multiple cameras system
KR100667830B1 (ko) * 2005-11-05 2007-01-11 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
KR100829857B1 (ko) 2005-12-08 2008-05-16 한국전자통신연구원 다시점 영상을 이용한 홈쇼핑 서비스 시스템 및 그 방법
US8548064B2 (en) 2006-01-05 2013-10-01 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method by using selected parallax for parallax compensation, apparatuses therefor, programs therefor, and storage media for storing the programs
EP1972141A4 (en) * 2006-01-07 2017-04-05 Electronics and Telecommunications Research Institute Method and apparatus for inter-viewing reference in multi-viewpoint video coding
KR101276847B1 (ko) 2006-01-12 2013-06-18 엘지전자 주식회사 다시점 비디오의 처리
KR100943912B1 (ko) 2006-01-12 2010-03-03 엘지전자 주식회사 다시점 비디오의 처리 방법 및 장치
KR100754205B1 (ko) 2006-02-07 2007-09-03 삼성전자주식회사 다시점 동영상 부호화 장치 및 방법
ZA200807142B (en) * 2006-03-29 2010-02-24 Thomson Licensing Multi view video coding method and device
BRPI0710048A2 (pt) 2006-03-30 2011-08-02 Lg Electronics Inc método e aparelho para decodificar / codificar um sinal de vìdeo
KR100780844B1 (ko) * 2006-04-28 2007-11-29 광주과학기술원 다시점 화상 복호화기, 다시점 화상 데이터 처리 시스템,다시점 화상 데이터 처리 방법 및 이를 수행하는프로그램을 기록한 기록매체
BRPI0710236A2 (pt) * 2006-05-03 2011-08-09 Ericsson Telefon Ab L M método e aparelho para a reconstrução de mìdia, produto de programa de computador, aparelho para criar uma representação de mìdia, objeto de dados de ponto de acesso randÈmico, e, representação e documento ou recipiente de mìdia
KR100813064B1 (ko) * 2006-05-19 2008-03-14 엘지전자 주식회사 비디오 영상 복호화/부호화 방법 및 장치, 데이터 포맷
KR101039204B1 (ko) * 2006-06-08 2011-06-03 경희대학교 산학협력단 다시점 비디오 코딩에서의 움직임 벡터 예측 방법 및 이를이용한 다시점 영상의 부호화/복호화 방법 및 장치
US8325814B2 (en) 2006-06-19 2012-12-04 Lg Electronics Inc. Method and apparatus for processing a video signal
CN100438632C (zh) * 2006-06-23 2008-11-26 清华大学 一种交互式多视点视频的编码方法
WO2008005124A2 (en) * 2006-07-05 2008-01-10 Thomson Licensing Methods and apparatus for multi-view video encoding and decoding
CN101611633B (zh) 2006-07-06 2012-10-03 汤姆逊许可证公司 用于针对多视角视频编码和解码解耦合帧号和/或图像顺序计数（poc）的方法和装置
EP2039170B1 (en) * 2006-07-06 2019-09-04 InterDigital VC Holdings, Inc. Method and apparatus for decoupling frame number and/or picture order count (poc) for multi-view video encoding and decoding
US20090290643A1 (en) 2006-07-12 2009-11-26 Jeong Hyu Yang Method and apparatus for processing a signal
KR101353204B1 (ko) * 2006-07-20 2014-01-21 톰슨 라이센싱 멀티-뷰 비디오 코딩에서의 뷰 스케일러빌리티를 신호로 알리기 위한 방법 및 장치
WO2008023967A1 (en) 2006-08-25 2008-02-28 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
CN102761744B (zh) 2006-10-13 2015-10-28 汤姆逊许可公司 用于多视点视频编码的参考图像列表管理语法
BRPI0717321A2 (pt) 2006-10-13 2013-10-22 Thomson Licensing Método para gerenciamento de imagens de referência envolvendo codificação de vídeo com mútiplas visualizações
KR101366092B1 (ko) 2006-10-13 2014-02-21 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
US20100002761A1 (en) * 2006-10-16 2010-01-07 Thomson Licensing Method for using a network abstract layer unit to signal an instantaneous decoding refresh during a video operation
EP2512139B1 (en) 2006-10-30 2013-09-11 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
KR101366289B1 (ko) * 2006-12-13 2014-02-21 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
KR100823287B1 (ko) * 2007-01-03 2008-04-21 삼성전자주식회사 전역 차이 벡터를 이용한 다시점 영상의 부호화, 복호화방법 및 장치
EP2116063B1 (en) * 2007-01-04 2017-03-08 Thomson Licensing Methods and apparatus for multi-view information conveyed in high level syntax
JP2010516102A (ja) * 2007-01-04 2010-05-13 トムソン ライセンシング マルチビュー符号化ビデオにおいてビデオ・エラー補正を行う方法および装置
BRPI0806829A2 (pt) 2007-01-04 2014-06-03 Thomson Licensing Método e aparelho para ocultamento de erros na transmissão de vídeo em vídeos codificados em múltiplas vistas que utilizam um alto nível de sintaxe
US8548261B2 (en) 2007-04-11 2013-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
FI3920538T3 (fi) 2007-04-12 2023-04-05 Dolby Int Ab Limittäminen videon enkoodauksessa ja dekoodauksessa
CN101291434A (zh) * 2007-04-17 2008-10-22 华为技术有限公司 多视编解码方法及装置
JP2009004939A (ja) * 2007-06-20 2009-01-08 Victor Co Of Japan Ltd 多視点画像復号方法、多視点画像復号装置及び多視点画像復号プログラム
JP2009004940A (ja) * 2007-06-20 2009-01-08 Victor Co Of Japan Ltd 多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラム
JP2011502375A (ja) * 2007-10-10 2011-01-20 韓國電子通信研究院 ステレオスコピックデータの保存および再生のためのメタデータ構造ならびにこれを利用するステレオスコピックコンテンツファイルの保存方法
WO2009131287A1 (en) * 2008-04-23 2009-10-29 Lg Electronics Inc. Method for encoding and decoding image of ftv
RU2504917C2 (ru) * 2008-10-07 2014-01-20 Телефонактиеболагет Лм Эрикссон (Пабл) Файл медиаконтейнера
CN104702960B (zh) 2009-01-26 2018-01-02 汤姆森特许公司 用于视频解码的装置
JP5436458B2 (ja) * 2009-02-12 2014-03-05 日本電信電話株式会社 多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム
JP2011087195A (ja) * 2009-10-16 2011-04-28 Sony Corp 画像処理装置および画像処理方法
EP2529557A1 (en) 2010-01-29 2012-12-05 Thomson Licensing Block-based interleaving
TWI461052B (zh) * 2010-02-23 2014-11-11 Nippon Telegraph & Telephone 移動向量推估方法、多視點影像編碼方法、多視點影像解碼方法、移動向量推估裝置、多視點影像編碼裝置、多視點影像解碼裝置、移動向量推估程式、多視點影像編碼程式及多視點影像解碼程式
JP4746702B1 (ja) * 2010-03-16 2011-08-10 シャープ株式会社 多視点画像符号化装置
JP2011216965A (ja) * 2010-03-31 2011-10-27 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム
KR101599042B1 (ko) * 2010-06-24 2016-03-03 삼성전자주식회사 다시점 깊이 영상 부호화 장치 및 그 방법, 그리고, 다시점 깊이 영상 복호화 장치 및 그 방법
JP5549476B2 (ja) * 2010-08-24 2014-07-16 ソニー株式会社 画像処理装置と画像処理方法
BR112013004450A2 (pt) * 2010-09-03 2017-05-30 Sony Corp dispositivo e método de codificação, e, dispositivo e método de decodificação
KR101512255B1 (ko) * 2010-12-17 2015-04-14 후지쯔 가부시끼가이샤 입체시 동화상 생성 장치 및 입체시 동화상 생성 방법
US9131217B2 (en) * 2011-12-09 2015-09-08 Qualcomm Incorporated Reference picture list modification for view synthesis reference pictures
TWI741503B (zh) * 2012-01-19 2021-10-01 美商Ｖｉｄ衡器股份有限公司 影像編碼參考圖像清單發信及建構方法及裝置
JP2013211776A (ja) * 2012-03-30 2013-10-10 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
US10009628B2 (en) * 2013-06-07 2018-06-26 Apple Inc. Tuning video compression for high frame rate and variable frame rate capture
NL2014986B1 (en) * 2015-06-18 2017-01-23 Filigrade B V Waste separation method.
KR20170029244A (ko) * 2015-09-07 2017-03-15 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 관리 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0698312A (ja) * 1992-09-16 1994-04-08 Fujitsu Ltd 画像高能率符号化方式
JP2000023198A (ja) * 1998-07-03 2000-01-21 Nippon Hoso Kyokai <Nhk> 多視点画像の圧縮符号化装置および伸長復号化装置
JP2004007266A (ja) * 2002-05-31 2004-01-08 Sony Corp 画像符号化装置及び方法、画像復号装置及び方法、並びにプログラム及び記録媒体
JP2004048116A (ja) * 2002-07-08 2004-02-12 Monolith Co Ltd 画像データ符号化および復号のための方法および装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
TW335480B (en) * 1995-09-29 1998-07-01 Matsushita Electric Ind Co Ltd Method and apparatus for encoding a bistream for multi-angle connection
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
JPH09200715A (ja) * 1996-01-19 1997-07-31 Canon Inc 通信装置、通信方法及び通信システム
AU7927298A (en) * 1997-07-11 1999-02-08 France Telecom Audiovisual data decoding method
JP2001008232A (ja) 1999-06-25 2001-01-12 Matsushita Electric Ind Co Ltd 全方位映像出力方法と装置
CN1141845C (zh) * 2001-04-29 2004-03-10 王林 视点分离式立体电视机
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR100481732B1 (ko) 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
KR100475060B1 (ko) * 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0698312A (ja) * 1992-09-16 1994-04-08 Fujitsu Ltd 画像高能率符号化方式
JP2000023198A (ja) * 1998-07-03 2000-01-21 Nippon Hoso Kyokai <Nhk> 多視点画像の圧縮符号化装置および伸長復号化装置
JP2004007266A (ja) * 2002-05-31 2004-01-08 Sony Corp 画像符号化装置及び方法、画像復号装置及び方法、並びにプログラム及び記録媒体
JP2004048116A (ja) * 2002-07-08 2004-02-12 Monolith Co Ltd 画像データ符号化および復号のための方法および装置

Also Published As

Publication number Publication date
KR20050122717A (ko) 2005-12-29
CN101902656A (zh) 2010-12-01
KR100679740B1 (ko) 2007-02-07
CN101895768A (zh) 2010-11-24
CN101023681B (zh) 2010-10-06
US20090103619A1 (en) 2009-04-23
EP1772022A1 (en) 2007-04-11
WO2006001653A1 (en) 2006-01-05
CN101023681A (zh) 2007-08-22
JP2008503973A (ja) 2008-02-07

Similar Documents

Publication Publication Date Title
JP2011109690A (ja) 多視点シーケンス符号化／復号化方法及びそのディスプレイ方法
JP5170786B2 (ja) マルチビュービデオのスケーラブルコーディングおよびデコーディング方法、ならびにコーディングおよびデコーディング装置
CN100512431C (zh) 用于编码和解码立体视频的方法和装置
JP4611386B2 (ja) 多視点映像のスケーラブル符号化、復号化方法及び装置
KR100667830B1 (ko) 다시점 동영상을 부호화하는 방법 및 장치
Ho et al. Overview of multi-view video coding
KR101450670B1 (ko) 블록 기반의 양안식 영상 포맷 생성 방법과 장치 및 양안식영상 복원 방법과 장치
KR100728009B1 (ko) 다시점 동영상을 부호화하는 방법 및 장치
EP2538675A1 (en) Apparatus for universal coding for multi-view video
US20080205791A1 (en) Methods and systems for use in 3d video generation, storage and compression
KR100738867B1 (ko) 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법
US20090190662A1 (en) Method and apparatus for encoding and decoding multiview video
Lim et al. A multiview sequence CODEC with view scalability
KR20070092566A (ko) 균일한 화질을 제공하는 다시점 영상 부호화 및 복호화방법 및 장치
WO2009155827A1 (zh) 立体视频编解码方法、装置及系统
JP2009505604A (ja) 多視点動映像を符号化する方法及び装置
JP2013098986A (ja) 映像符号化方法及び装置、並びに映像復号化方法及び装置
KR101386651B1 (ko) 다시점 비디오 인코딩 및 디코딩 방법 및 이를 이용한 인코딩 및 디코딩 장치
WO2006110007A1 (en) Method for coding in multiview video coding/decoding system
KR100783722B1 (ko) 다양한 수신환경을 고려한 스테레오 비디오 부호화방법 및 장치
KR20080114450A (ko) 블록 인터리브드 방식의 양안 영상 정보를 포함하는 양안식영상 비트스트림 생성 방법 및 장치

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121212

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130507