JP2011109671A - 三次元オブジェクトの分割に基づく背景画像の最適圧縮（ａｃｂｉ） - Google Patents

三次元オブジェクトの分割に基づく背景画像の最適圧縮（ａｃｂｉ） Download PDF

Info

Publication number
JP2011109671A
JP2011109671A JP2010259497A JP2010259497A JP2011109671A JP 2011109671 A JP2011109671 A JP 2011109671A JP 2010259497 A JP2010259497 A JP 2010259497A JP 2010259497 A JP2010259497 A JP 2010259497A JP 2011109671 A JP2011109671 A JP 2011109671A
Authority
JP
Japan
Prior art keywords
image
background image
data rate
video
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010259497A
Other languages
English (en)
Inventor
Wang-He Lou
ヒ ロウ ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Digital Electronics America Inc
Original Assignee
Mitsubishi Digital Electronics America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Digital Electronics America Inc filed Critical Mitsubishi Digital Electronics America Inc
Publication of JP2011109671A publication Critical patent/JP2011109671A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】三次元（３Ｄ）ビデオのためのエンコーディングプロセスを提供すること。
【解決手段】 三次元（３Ｄ）ビデオのためのエンコーディングプロセスであって、第１のエンコーダシステムにおいて、第１のベース画像の背景画像を最適に圧縮するステップと、第２のエンコーダシステムにおいて、該最適に圧縮された背景画像と、該第１のベース画像の第１の３Ｄオブジェクトと、第２のベース画像の第２の３Ｄオブジェクトとをエンコードするステップとを含み、該背景画像の該圧縮は、該第２のエンコーダシステムを出る該エンコードされた背景画像ならびに第１および第２の３Ｄオブジェクトのデータレートの関数である、エンコーディングプロセス。
【選択図】図５

Description

（分野）
本明細書に記載される実施形態は、一般にビデオ圧縮に関し、より具体的には、三次元（３Ｄ）画像ペアの伝送データレートを通常の二次元（２Ｄ）ビデオ画像の伝送データレート内に減少させる、３Ｄビデオの圧縮のためのシステムおよび方法に関する。
（背景情報）
３Ｄビデオサービスによって視聴者に提供された膨大な視聴経験は、さらに多くの視聴者を毎日、そのようなサービスに引き付けている。高品質３Ｄディスプレイがより入手可能になり、３Ｄコンテンツがかつてよりも早く製作されているが、３Ｄビデオサービスへの要求は、３Ｄビデオの配信を制限する、３Ｄビデオ伝送に要求される超高速のデータレート（すなわち帯域幅）のために達成されておらず、３Ｄビデオサービスを損なっている。３Ｄビデオは、それがマルチビュー画像、すなわち、少なくとも２つのビュー（右目用ビュー／画像と左目用ビュー／画像）を含むために超高速のデータレートを要求する。結果として、３Ｄビデオの伝送のためのデータレートは、単に両方の目に対する単一の画像のみを要求する従来の２Ｄビデオに対する伝送のためのデータレートよりもはるかに高い。従来の圧縮技術はこの問題を解決しない。
従来の、または標準化された３Ｄビデオ圧縮技術（例えば、ＭＰＥＧ−４／Ｈ．２６４ＭＶＣ−Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）は、マルチビューあるいは画像ペア同時放送のデータレートを約２５％減少させるために、ビュー間プレディケーションと同様に時間プレディケーションを利用する。２つのビューに対する単一の画像、すなわち、２Ｄビデオと比較して、圧縮された３Ｄビデオのデータレートは、従来の２Ｄビデオ（２つのビューに対する単一の画像）のデータレートよりもなお７５％大きい。結果としてのデータレートは、３Ｄコンテンツを現行の放送ネットワーク上に送達するにはなお高すぎる。
このように、３Ｄビデオに対する伝送データレート要求を従来の２Ｄビデオの伝送データレート内に減少させて、現行の２Ｄビデオネットワーク上で３Ｄビデオ配信および表示を可能にするシステムおよび方法を提供することが望まれる。
（概要）
本明細書に提供される実施形態は、三次元（３Ｄ）画像ペアの伝送データレートを従来の２Ｄビデオ画像の伝送データレート内に減少させる３Ｄビデオ圧縮のシステムおよび方法に向けられている。本明細書に記載される３Ｄビデオ圧縮のシステムおよび方法は、３Ｄビデオキャプチャーシステムおよび人間の視覚システム（ＨＶＳ）の特性を利用し、３Ｄビデオの３Ｄオブジェクトを高い忠実度に維持する一方で、背景画像の冗長性を減少させる。
一実施形態において、三次元（３Ｄ）ビデオに対するエンコードシステムは、第１のベース画像の背景画像を最適に圧縮するように構成された最適エンコーダシステムと、最適に圧縮された背景画像、第１のベース画像の第１の３Ｄオブジェクト、および第２のベース画像の第２の３Ｄオブジェクトをエンコードするように構成された一般的エンコーダシステムとを含み、最適エンコードシステムによる背景画像の圧縮は、第２のエンコーダシステムを出るエンコードされた背景画像ならびに第１および第２の３Ｄオブジェクトのデータレートの関数である。
動作の際、第１のベース画像の背景画像は最適エンコーダシステムによって最適に圧縮され、最適に圧縮された背景画像は、一般的エンコーダシステムによって、第１のベース画像の第１の３Ｄオブジェクト、および第２のベース画像の第２の３Ｄオブジェクトと共にエンコードされ、背景画像の圧縮は、一般的エンコーダシステムを出るエンコードされた背景画像ならびに第１および第２の３Ｄオブジェクトのデータレートの関数である。
例示的な実施形態の他のシステム、方法、特徴、および利点が、以下の図および詳細な説明の試験の際に当業者に明らかであろう、または明らかになるであろう。
本願は、さらに以下の手段を提供する。
（項目１）
三次元（３Ｄ）ビデオのためのエンコーディングプロセスであって、
第１のエンコーダシステムにおいて、第１のベース画像の背景画像を最適に圧縮するステップと、
第２のエンコーダシステムにおいて、該最適に圧縮された背景画像と、該第１のベース画像の第１の３Ｄオブジェクトと、第２のベース画像の第２の３Ｄオブジェクトとをエンコードするステップと
を含み、
該背景画像の該圧縮は、該第２のエンコーダシステムを出る該エンコードされた背景画像ならびに第１および第２の３Ｄオブジェクトのデータレートの関数である、エンコーディングプロセス。
（項目２）
上記第１および第２の３Ｄオブジェクトを上記第１および第２のベース画像から分割するステップをさらに含む、上記項目に記載のプロセス。
（項目３）
上記分割するステップは、３Ｄオブジェクトマスクを作成するステップを含む、上記項目のいずれか一項に記載のプロセス。
（項目４）
上記３Ｄオブジェクトマスクを作成するステップは、上記第１のベース画像の各ピクセルを上記第２のベース画像内の対応するピクセルと比較するステップを含む、上記項目のいずれか一項に記載のプロセス。
（項目５）
上記背景画像を上記第１のベース画像から分割するステップをさらに含む、上記項目のいずれか一項に記載のプロセス。
（項目６）
上記背景画像を最適に圧縮するステップは、該背景画像の各ピクセルのカラービットを減少させるステップを含む、上記項目のいずれか一項に記載のプロセス。
（項目７）
上記背景画像を最適に圧縮するステップは、該背景画像の解像度を減少させるステップをさらに含む、上記項目のいずれか一項に記載のプロセス。
（項目８）
上記第２のエンコーダシステムを出る上記エンコードされた背景画像ならびに第１および第２の３Ｄオブジェクトのデータレートが所定のデータレートよりも大きい場合に、該背景画像の各ピクセルのカラービットの削減および該背景画像の解像度の削減を増加させる、上記項目のいずれか一項に記載のプロセス。
（項目９）
上記背景画像のフレームレートを減少させるステップをさらに含む、上記項目のいずれか一項に記載のプロセス。
（項目１０）
上記第２のエンコーダシステムを出る上記エンコードされた背景画像ならびに第１および第２の３Ｄオブジェクトをモジュレートおよびマルチプレックスするステップをさらに含む、上記項目のいずれか一項に記載のプロセス。
（項目１１）
三次元（３Ｄ）ビデオのためのエンコーディングシステムであって、
第１のベース画像の背景画像を最適に圧縮するように構成されている第１のエンコーダシステムと、
該最適に圧縮された背景画像と、該第１のベース画像の第１の３Ｄオブジェクトと、第２のベース画像の第２の３Ｄオブジェクトとをエンコードするように構成されている第２のエンコーダシステムと
を含み、
該第１のエンコーダシステムによる該背景画像の該圧縮は、該第２のエンコーダシステムを出る該エンコードされた背景画像ならびに第１および第２の３Ｄオブジェクトのデータレートの関数である、エンコーディングシステム。
（項目１２）
上記第１のエンコーダシステムにおいて、上記第１および第２の３Ｄオブジェクトを上記第１および第２のベース画像から分割し、上記背景画像を該第１のベース画像から分割するようにさらに構成されている、上記項目のいずれか一項に記載のシステム。
（項目１３）
上記第１のエンコーダシステムにおいて、上記背景画像の各ピクセルのカラービットを減少させるようにさらに構成されている、上記項目のいずれか一項に記載のシステム。
（項目１４）
上記第１のエンコーダシステムにおいて、上記背景画像の解像度を減少させるようにさらに構成されている、上記項目のいずれか一項に記載のシステム。
（項目１５）
上記第１のエンコーダシステムにおいて、上記背景画像のフレームレートを減少させるようにさらに構成されている、上記項目のいずれか一項に記載のシステム。
（項目１６）
上記第２のエンコーダシステムを出る上記エンコードされた背景画像ならびに第１および第２の３Ｄオブジェクトをモジュレートおよびマルチプレックスするように構成されているモジュレータ／マルチプレクサを含む、上記項目のいずれか一項に記載のシステム。
（摘要）
三次元（３Ｄ）画像ペアの伝送データレートを従来の２Ｄビデオ画像の伝送データレート内に減少させる３Ｄビデオ圧縮のためのシステムおよび方法。本明細書に記載される３Ｄビデオ圧縮のシステムおよび方法は、ビデオキャプチャーシステムおよび人間の視覚システム（ＨＶＳ）の特性を利用し、３Ｄビデオの３Ｄオブジェクトを高い忠実度に維持する一方で、背景画像の冗長性を減少させる。
例示的な実施形態の詳細が、構造および動作を含めて、類似の参照番号が類似の部分を指す付属の図の研究によって部分的に探り出され得る。図中の要素は尺度を決める必要がなく、代わりに本発明の原理を図示することに強調点が置かれている。さらにすべての図は概念を伝えることが意図されており、相対的なサイズ、形状、および他の詳細な属性が、厳密な意味でまたは正確にというよりはむしろ概略的に図示され得る。
図１は、現実の世界のオブジェクトを見る、人間の視覚の概略図である。 図２は、立体的ディスプレイを見る、人間の視覚の概略図である。 図３は、３Ｄ立体的ビデオのキャプチャーシステムの概略図である。 図４は、左右の画像ペアの、焦点の合った３Ｄオブジェクトおよび焦点の合っていない背景の概略図である。 図５は、背景画像の最適圧縮（ＡＣＢＩ）に基づく３Ｄビデオシステムの概略図である。 図６は、ＡＣＢＩに基づく３Ｄビデオ信号圧縮のためのシステムおよびプロセスの概略図である。 図７は、ＡＣＢＩに基づく３Ｄビデオ信号圧縮のためのデータレート制御のフローチャートである。 図８は、ＡＣＢＩに基づく３Ｄビデオ信号圧縮のためのシステムおよびプロセスの概略図である。 図９は、左および右のビュー画像のピクセル間の差の閾値を最適に設定するためのプロセスのフローチャートである。 図１０は、左および右のビュー画像の間の絶対的な差のヒストグラムである。
同様の構造または機能の要素は、一般に図を通して例示的目的のための類似の参照数字によって表わされることに気付かれるべきである。図はただ好ましい実施形態の記載を容易にすることを意図されたものであることにも気付かれるべきである。
（詳細な説明）
以下に開示される追加の特徴および教示の各々は、個別にまたは他の特徴および教示と組み合わせて利用され、３Ｄオブジェクトの分割に基づく背景画像の最適圧縮（ＡＣＢＩ）を用いて強化型３Ｄビデオ信号圧縮を容易にするシステムおよび方法を作成する。多くのこれら追加の特徴および教示を個別にまたは組み合わせて利用する本発明の代表的な実施例が、添付の図を参照してここでさらに詳細に説明される。詳細な説明は、単に本教示の好ましい局面を実施するためのさらなる詳細を当業者に教示するためのものであり、本発明の範囲を限定する意図はない。それゆえ、以下の詳細な説明に開示される特徴およびステップの組み合わせは、本発明を広義に実施するために必ずしも必要ではなく、代わりにただ単に本教示の代表的実施例を特に説明するために教示される。
さらに、代表的実施例の種々の特徴および従属の請求範囲は、本教示の追加の有用な実施を提供するために、特別におよび明白に列挙されてはいない方法で組み合わせられ得る。加えて、本説明および／または請求範囲に開示されるすべての特徴が、特許請求する主題を実施形態および／または特許請求範囲における特徴の構成とは独立に限定する目的のためと同様に、本来の開示目的のために、個別におよび互いに独立に開示されることが意図されていることにはっきりと気付かれるべきである。また、実体の群のすべての数値範囲または指標は、特許請求する主題を限定する目的のためと同様に、本来の開示目的のために、すべてのありうる中間の値または中間の実体を開示することにも気付かれるべきである。
本発明が機能する態様に転ずる前に、人間の視覚システムおよび立体的ビデオ、すなわち、３Ｄビデオのための画像キャプチャーシステムの主要な特性を簡潔に復習することが有用であると考えられる。
人間の視覚システム１０が図１および図２に関して説明される。人間の目１１および１２は、観察される現実の世界の光景におけるオブジェクト、例えば自動車１３に、目のレンズを調節することで自動的に焦点を合わせることができる。焦点距離１５は、２つの目が焦点を合わせられた距離である。人間の視覚の別の重要なパラメータは、輻輳距離１６である。輻輳距離１６は、２つの目の固定軸が収束する距離である。現実の世界では、輻輳距離１６および焦点距離１５は、図１に示されるようにほとんど同じである。
現実の世界の光景において、網膜画像のオブジェクトは、焦点が合った状態が最も鮮明であり、焦点の合っていないまたは焦点距離にないオブジェクトはぼやけている。３Ｄ画像は深さを含むので、ぼやけ度は深さによって変化する。例えば、ぼやけは焦点Ｐにより近い点ではより少なく、焦点Ｐから遠い点ではより高い。ぼやけ度の変化はぼやけ傾斜と呼ばれる。ぼやけ傾斜は、人間の視覚における３Ｄ感知のための重要な因子である。
焦点を合わせるために形状を変化させる目のレンズの能力は、調整と呼ばれる。現実の世界の光景を見るとき、観察者の目は、光景の凝視部分に対するぼやけを最小にするように調整する。図１において、観察者は、オブジェクト（自動車）１３に焦点を合わせるよう目を調整させ、従って、自動車１３は鮮明になり、一方で前景の木１４は焦点が合っていないのでぼやけている。
刺激に対して、すなわち、オブジェクトが見られていると、網膜上で鮮明に焦点を合わせるために、目は、オブジェクトの焦点距離に近い距離に調整されなければならない。許容範囲、または焦点深度はおおよそ＋／−０．３ジオプターである。ジオプターは、メートルで表した視距離の逆数である（Ｃａｍｐｂｅｌｌ，Ｆ．Ｗ．，Ｔｈｅ Ｄｅｐｔｈ ｏｆ ｆｉｅｌｄ ｏｆ ｔｈｅ ｈｕｍａｎ ｅｙｅ，Ｊｏｕｎａｌ ｏｆ Ｍｏｄｅｒｎ Ｏｐｔｉｃｓ，４，１５７−１６４（１９５７）；Ｈｏｆｆｍａｎ，Ｄ．Ｍ．，ｅｔ ａｌ．，Ｖｅｒｇｅｎｃｅ−ａｃｃｏｍｏｄａｔｉｏｎ ｃｏｎｆｌｉｃｔｓ ｈｉｎｄｅｒ ｖｉｓｕａｌ ｐｅｒｆｏｒｍａｎｃｅ ａｎｄ ｃａｕｓｅ ｖｉｓｕａｌ ｆａｔｉｇｕｅ，Ｊｏｕｒｎａｌ ｏｆ Ｖｉｓｉｏｎ ８（３）：３３，１−３０（２００８）；Ｍａｒｔｉｎ Ｂａｎｋ，ｅｔｃ．Ｃｏｎｓｅｑｕｅｎｃｅｓ ｏｆ Ｉｎｃｏｒｒｅｃｔ Ｆｏｃｕｓ Ｃｕｅｓ ｉｎ Ｓｔｅｒｅｏ Ｄｉｓｐｌａｙｓ，Ｉｎｆｏｒｍａｔｉｏｎ Ｄｉｓｐｌａｙ，ｐｐ１０−１４，Ｖｏｌ．２４，ＮＯ．７（Ｊｕｌｙ ２００８）を参照）。
２Ｄディスプレイシステムにおいては、全画面が常に焦点が合っている状態である。全画面が常に焦点が合っているので、ぼやけ傾斜はない。平坦な画面を伴う多くの３Ｄディスプレイシステムにおいては、全画面が常に焦点が合っている状態であり、ぼやけ傾斜深度効果を減ずる。しかしながら、この欠点を克服するために、立体的映像ベースのディスプレイ２０は、図２に描写されるように、２つの目２１および２２の各々の個別の画像を提示する。個別の画像内のオブジェクト２８および２９は両眼視差を作成するために水平方向に移動させられ、そして、両眼視差は焦点位置、すなわち、画面２７での焦点距離２５を越えた輻輳距離２６において、輻輳Ｖに対する刺激を作成する。この両眼視差は、それが各目によって見られる画像に、実際の３Ｄ光景を見ているときに目によって経験される差と同様の差を再作成するので、３Ｄ感覚を作成する。
３Ｄビデオ技術は、２つの主要なカテゴリー：容積的なものと、立体的なものに分類される。容積的なディスプレイにおいて、３Ｄオブジェクト上の各点は、単純に３Ｄ容積内の三次元のピクセルとして定義される三次元ピクセルによって表され、三次元ピクセルから出る光は、輻輳と調整の両方に対する修正効果を伴って視聴者の目に届く。しかしながら、容積的なシステムにおけるオブジェクトは、小さいサイズに限られる。本明細書に説明される実施形態は立体的ビデオに向けられている。
立体的ビデオキャプチャーシステム：上記で言及されたように、立体的映像ディスプレイは、１つの画像を左目に提供し、異なる画像を右目に提供するが、これらの画像は両方とも平坦な２Ｄ画像デバイスによって生成される。左目用の画像と右目用の画像とから成る画像のペアは、立体的画像ペアまたは画像ペアと呼ばれる。１つの光景の２つ以上の画像はマルチビュー画像と呼ばれる。本明細書に説明される実施形態は立体的映像ディスプレイに焦点を合わせているが、本明細書に説明されるシステムおよび方法はマルチビュー画像に適用される。
従来の立体的ビデオキャプチャーシステムにおいて、カメラは２組のパラメータを設定することで画像を撮影する。１組のパラメータは、カメラの物理的特性に対する理想的透視投影のジオメトリに関連する。これらのパラメータは、カメラの定数ｆ（画像面とレンズとの間の距離）、光軸と、画像面上に位置される測定基準面の中の画像面との交点である主点、レンズのジオメトリックな歪曲特性、ならびに水平および垂直のスケールファクター、すなわち、行間および列間の距離から成る。
別の組のパラメータは、３Ｄワールドの基準フレームの中におけるカメラ位置に関連する。これらのパラメータは、ワールドの座標フレームとカメラを中心とした３Ｄ座標フレームとの間の剛体変換を決定する。
人間の視覚システム同様に、オブジェクトのキャプチャーされた画像は、焦点が合っている場所で鮮明であり、焦点が合っていない場所ではぼやけている。ぼやけ度は深度によって変化し、ぼやけは焦点により近い点ではぼやけはより少なく、焦点から遠い点ではより高い。ぼやけ傾斜も３Ｄディスプレイの重要な因子である。オブジェクトの画像は焦点の合っていない距離ではぼやけている。
図３に示されるように、従来の立体的映像キャプチャーシステム３０において、２つのカメラ３１および３２は、現実の世界の光景の左右の画像を撮る。両方のカメラは、それらのレンズの調節によって異なる焦点深度面をもたらす。焦点位置にあるオブジェクト、すなわち、自動車３３は、焦点距離３５において各画像内で鮮明であり、一方で、焦点位置をはずれたオブジェクト、すなわち、木３４は、各画像内でいくぶん、ぼやけている。焦点範囲３８内の他のオブジェクトは各画像内でいくぶん鮮明である。
人間の視覚システムおよび立体的映像キャプチャーシステムに照らして、本明細書に説明される、３Ｄビデオコンテンツの圧縮、配信、記憶、および表示のためのシステムおよび方法は、好ましくは焦点の合っている３Ｄオブジェクトの高い忠実度を維持し、一方で、背景および前景画像は、それらの解像度、色の深みに関して、およびフレームレートにさえ関して最適に調節される。
画像ペアにおいて、カメラが焦点を合わせる３Ｄオブジェクトの数は限られている。焦点の合っている３Ｄオブジェクトは詳細部分まで鮮明である。画像ペアの他の部分は背景画像である。背景画像は、画像ペアの背景部分が焦点範囲を外れているので、２Ｄ画像と同様にほとんどまたは全く深度情報を伴わない２Ｄ画像と同様であり、それゆえ、ほとんどまたは全く深度詳細を伴わないでぼやけている。以下でさらに詳細に議論されるように、画像ペアの焦点の合っていない背景部分から焦点の合った３Ｄオブジェクトを分割することによって、３Ｄビデオコンテンツの圧縮が著しく強化され得る。
ぼやけ度およびぼやけ傾斜は、３Ｄオブジェクト（すなわち、画像の焦点の合った部分）を画像の背景（すなわち、画像の焦点の合っていない部分）から分離するために用いられ得る、基本的かつ重要な概念である。より高いぼやけ度の部分は背景画像を構成する。より低いぼやけ度部分は焦点の合ったオブジェクトである。ぼやけ傾斜は、画像内の２点間のぼやけ度の差である。より高いぼやけ傾斜の部分は、焦点の合ったオブジェクトのエッジで発生する。重みは、ぼやけ度の計算のための、ピクセル位置と相関関係にあるパラメータである。
オブジェクトが焦点を合わせられると、画像内の１つのピクセルは、理想的にはオブジェクトの１点によって決められる。オブジェクトが焦点を合わせられていないと、１つのピクセルは、オブジェクトの近接する隣接点によって決められ、ピクセルはぼやけ、スポットのように見える。
デジタル画像に対して、ぼやけ度の定義は数学的に以下のように定義される：
ぼやけ度ｋはぼやけたピクセルを決定するために用いられるピクセルマトリックスディメンションである。
ぼやけ度１：ピクセルはマトリックスＸ±１ピクセルおよびＹ±１の平均；
ぼやけ度２：ピクセルはマトリックスＸ±２ピクセルおよびＹ±２の平均；
ぼやけ度ｋ：ピクセルはマトリックスＸ±ｋピクセルおよびＹ±ｋの平均；
Figure 2011109671
Figure 2011109671
 表１（Ａ）および２（Ａ）内の数は、焦点の合ったオブジェクトの中心ピクセルに対する各ピクセルの位置に対応する。表１（Ｂ）および２（Ｂ）内の数は各ピクセルの重みに対応し、中心ピクセルの重みが最高であり、すなわち、
Ｗ（０，０）＝２（blur ｄｅｇｒｅｅ）＝２ｋ
である。
ピクセルの重みは、以下のように割り当てられる。
２０ ２１ ２２．．．２ｋ−１ ２ｋ ２ｋ−１ ．．．２２ ２１ ２０
例えば、水平軸および垂直軸上で、
１，２，．．．２ｋ−１，ｗ（０，０），．．．２ｋ−１，２，１
他のセルも表１および表２に示されるように割り当てられる。
ぼやけ度０は、ｋ＝０；Ｗ（０，０）＝１を意味する。他のすべての重み＝０である。それゆえ、ピクセルは焦点を合わせられ、焦点を合わせられたオブジェクト上の関連する点によってのみ決定される。
ぼやけ度は、オブジェクトの焦点の合っていない画像および焦点の合っている画像を撮影することによってテストされ得る。焦点の合っていない画像はＰｃ（０，０）として表される。オブジェクトの焦点の合っている画像の関連する点のピクセルは、Ｐ（０，０）として表される。ぼやけたピクセルは、Ｂｒ＝ｋの場合、
Ｐｂ（０，０）＝１／Ｍ［Σｗ（ｉ，ｊ）Ｐ（ｉ，ｊ）］
によって計算される：式中、Ｍ＝Σｗ（ｉ，ｊ）であり、
ｉは−ｋからｋまで、
ｊは−ｋからｋまでである。
ぼやけ度は、最小絶対差分計算を用いて決定される：
ＭＡＤ＝Ｍｉｎ（｜Ｐｂ（０，０）−Ｐｃ（０，０）｜）
ぼやけ度（Ｂｒ）は、主として１点を計算することで決定され得る。しかしながら、統計的には、ぼやけ度（Ｂｒ）は、絶対差分の最小和または最小二乗平均誤差計算で複数ピクセルの面積として測定されるべきである。
２点ＡおよびＢのぼやけ傾斜（Ｂｇ）は、点Ａのぼやけ度と点Ｂのぼやけ度との差である：
Ｂｇ（Ａ，Ｂ）＝Ｂｒ（Ａ）−Ｂｒ（Ｂ）。
ぼやけ度ｋがより高いときには、ピクセル解像度および色の深みは、人間の視覚では気付かれない認識レベルで有意に減少させられ得る。結果として、圧縮比率はぼやけ度ｋがより高いときにより高くなり得る。
焦点の合っているオブジェクトは、背景部分から画像のぼやけ度およびぼやけ傾斜を用いて分離され得る。焦点の合っているオブジェクトと焦点の合っていないオブジェクトとの比較は図４に示される。しかしながら、ぼやけ度およびぼやけ傾斜の計算は、特に単一の映像または画像（すなわち、２Ｄ）ビデオにおいては、複雑かつ困難であり得る。
３Ｄビデオにおいては、２つ以上の映像または画像が同時に見られる（例えば、左のビューおよび右のビュー）、すなわち、３Ｄビデオの各フレームは２つ以上の画像を含む。２つの映像または画像において背景から焦点の合っているオブジェクトを分割することは、２Ｄビデオより簡単であり、ぼやけ度を直接計算することなく達成され得る。
デジタル画像プロセッシングに対しては、ぼやけはエッジのコントラストおよび高周波部分を減少させるローパスフィルターである。立体的映像または３Ｄビデオにおいては、焦点の合っているオブジェクトは鮮明であり、左の画像と右の画像との間には有意な差があるが、一方で、他の部分、焦点範囲から外れた部分は、なめらかであり、左の画像と右の画像との間のより少ない差を示す。図４に示されるように、焦点の合っているオブジェクトのピクセルは１つの点Ｐであり、焦点の合っていないオブジェクトのピクセルはスポットＳである。左の画像と右の画像との比較は、焦点の合っているオブジェクトを焦点の合っていないオブジェクトまたは背景から区別する。このように、左の画像と右の画像との比較は、左および右の画像の中の焦点の合っているオブジェクトを左および右の画像の中の背景から分離するために用いられ得る。ぼやけ度の差のために、焦点の合っているオブジェクト上のピクセル間の差は、背景画像上のそれよりも大きい。ぼやけ度を計算する代わりに、左および右の画像のピクセル間の差が、焦点の合っているオブジェクトを左および右の画像の中の背景から分割するために用いられ得る。３Ｄオブジェクトを背景から分離するために、閾値差が画像比較に対して設定され得る。ぼやけ度は計算されないが、焦点の合っているオブジェクトの画像の背景からの分割の原理は、ぼやけ度およびぼやけ傾斜の概念に基づいている。
図５、６、７、および８に詳細に転じると、圧縮、伝送、復元、および３Ｄビデオコンテンツの表示のシステムおよび方法が説明され描写される。図５に示されるように、背景画像の最適圧縮（ＡＣＢＩ）に基づく３Ｄビデオシステム８０は、好ましくは信号パーサ９０、最適エンコーダ１００、一般的エンコーダ１３０、および伝送ネットワーク２００に連結されたマルチプレクサ／モジュレータ１４０を含む。エンコードされた信号を表示するために、３Ｄビデオシステム８０は、好ましくはデマルチプレクサ／デモジュレータ１５５、一般的デコーダ１６０、ならびに伝送ネットワーク２００およびディスプレイ３００に連結された最適デコーダ１７０を含む。信号パーサ９０、最適エンコーダ１００、一般的エンコーダ１３０、およびマルチプレクサ／モジュレータ１４０は、単一デバイスまたは、集積回路、ＡＳＩＣチップ、ソフトウェア、またはそれらの組み合わせとしての複数デバイスの一部であり得る。同様にデマルチプレクサ／デモジュレータ１５５、一般的デコーダ１６０、および最適デコーダ１７０は、受信機１５０のような単一デバイスまたは、集積回路、ＡＳＩＣチップ、ソフトウェア、またはそれらの組み合わせとしての複数デバイスの一部であり得る。
信号パーサ９０は３Ｄビデオ信号を左および右の画像に構文解析する。最適エンコーダ１００は３Ｄオブジェクトを背景画像から分割し、背景画像をエンコードまたは圧縮する。最適エンコードされた信号は次に一般的エンコーダ１３０によってエンコードまたは圧縮される。しかしながら、図７に示されるように、一般的エンコーダ１３０を出るエンコードされた信号のデータレートが、伝送ネットワークのデータレート能力（例えばＡＴＳＣにおけるビットレートは約１９メガビット／秒（ｍｂｐｓ）である）よりも大きい場合には、最適エンコーダ１００がそのエンコードパラメータを変更し、新しいエンコードパラメータに従って再度背景画像をエンコードまたは圧縮する。一般的エンコーダ１３０を出るエンコードされた信号のデータレートが、伝送ネットワークのデータレート能力よりも小さいか等しい場合には、信号が伝送／配信ネットワーク２００に伝送される前に、マルチプレクサ／モジュレータ１４０が次に一般的にエンコードされた信号をマルチプレックスおよびモジュレートする。一旦、システム８０のディスプレイ端で受信されると、マルチプレックスおよびモジュレートされた信号は、デマルチプレクサ／デモジュレータ１５５によってデマルチプレックスおよびデモジュレートされる。一般的デコーダ１６０は次にエンコードされた信号をデコードし、最適デコーダ１７０は最適にエンコードされた背景画像を最適にデコードし、左および右の画像ペアを形成するために、背景画像を左および右のオブジェクトと合成させる。画像ペアは次にユーザに表示するためにディスプレイ３００に伝送される。
図６を参照すると、ＡＣＢＩエンコーダ１００のシステムおよびプロセスブロック図が提供される。ＡＣＢＩエンコーダ１００は左および右の画像を信号パーサ９０（図４参照）から受信し、それらを左および右の画像フレームメモリブロック１０３および１０４に格納する。画像コンパレータ１０５は左および右の画像をピクセル毎に比較する。コンパレータによって比較されるべき各ピクセルのパラメータは、映像またはビデオのクラス、例えばカラー映像に対するＲ Ｇ ＢまたはＹ Ｐｒ Ｐｂによって決定される。左および右の画像のピクセルの比較において、コンパレータ１０５は、左および右のビュー画像のピクセルのパラメータ間の差を計算する。例えば、Ｒ Ｇ Ｂの場合、
差＝｜Ｒｌ−Ｒｒ｜＋｜Ｇｌ−Ｇｒ｜＋｜Ｂｌ−Ｂｒ｜
Ｙ Ｐｒ Ｐｂの場合、
差＝｜Ｙｌ−Ｙｒ｜。
左および右の画像の各ピクセルのパラメータ間の差は、Ｌ−Ｒ画像フレームメモリブロック１０６に送信され、次に閾値コンパレータ１０７に渡される。閾値コンパレータ１０７によって用いられるパラメータ間の差の閾値は、以前の情報か最適計算のいずれかによって設定される。差の閾値は、通常は３Ｄビデオソースによる。３Ｄビデオコンテンツがビデオゲームおよびアニメーションフィルムのようなコンピューターグラフィックスによって作成された場合には、差の閾値は、映画やＴＶのカメラによる３Ｄビデオコンテンツのそれよりも高くなる。それゆえ、差の閾値は、３Ｄビデオソースに従って設定され得る。よりロバストなアルゴリズムが閾値設定に用いられ得る。例えば、閾値５００の最適計算が図９および１０に提示される。図９は、最適計算のフローチャートである。左および右の画像間の絶対差分がステップ５１０で計算される。次に絶対差分のヒストグラムがステップ５２０で計算される。例示的ヒストグラムが図１０に示される。次に、ステップ５３０がヒストグラムの低値エリアにピークがあるかどうかを決定する。背景ピクセルの差はぼやけのために似ており、背景エリアは大きいので、普通、ヒストグラムの低値には１つのピークがある。低値エリアに１つのピークも見つからない場合には、デフォルトの閾値が図６の１０７において用いられる。低値エリアに１つのピークが見つかった場合には、ステップ５４０が図１０に示されるピークの上限を探す。ピークの限度は次に図６の１０７において閾値として用いられる。
同じ座標の左および右のピクセル間の差が閾値よりも大きい場合、すなわち、左および右のピクセルが焦点の合っているオブジェクトの場合には、次に閾値コンパレータ１０７は、同じピクセル座標に対するマスクデータを１に設定し、閾値よりも小さい場合、すなわち、左および右のピクセルが背景の場合には、閾値コンパレータ１０７は、同じピクセル座標に対するマスクデータを０に設定する。閾値コンパレータ１０７は、オブジェクトマスクまたはフィルタを構築するためにマスクデータを用いるオブジェクトマスク生成器１０８にマスクデータを渡す。
左の画像は左の画像フレームメモリブロック１０３から回収され、３Ｄオブジェクトセレクタ１０９によってオブジェクトマスク生成器１０８から受信したオブジェクトマスクを用いて処理され、左の画像の背景から３Ｄオブジェクトを検出または分割する。すなわち、左の画像の背景のピクセルが３Ｄオブジェクトセレクタ１０９によって０に設定される。左の画像から回収された３Ｄオブジェクトは、左の３Ｄオブジェクトメモリブロック１１３に送信される。
右の画像は右の画像フレームメモリブロック１０４から回収され、３Ｄオブジェクトセレクタ１１０によってオブジェクトマスク生成器１０８から受信したオブジェクトマスクを用いて処理され、右の画像の背景から３Ｄオブジェクトを検出または分割する、すなわち、右の画像の背景のピクセルが３Ｄオブジェクトセレクタ１１０によって０に設定される。右の画像から回収された３Ｄオブジェクトは、右の３Ｄオブジェクトメモリブロック１１４に送信される。
左および右の画像の３Ｄオブジェクトは、３Ｄパラメータ計算機１１５に次々に渡され、計算機は左のオブジェクト画像および右のオブジェクト画像からの３Ｄパラメータを計算または決定してそれらを３Ｄパラメータメモリブロック１１６に格納する。好ましくは、計算された３Ｄパラメータは、例えば、パララックス（ｐａｒａｌｌａｘ）、視差（ｄｉｓｐａｒｉｔｙ）、深度範囲などを含み得る。
背景画像の分割：３Ｄオブジェクトマスク生成器１０８によって生成された３Ｄオブジェクトマスクは、次々にマスク変換器１１１に渡され、反転マスク、すなわち、背景分割マスクまたはフィルタが、３Ｄオブジェクトマスクにおいてゼロを１におよび１をゼロに変化させる反転処理によって３Ｄオブジェクトマスクから作成される。背景画像は、次に背景セレクタ１１２によって、右の画像フレームメモリブロック１０４から渡された右の画像および、反転されたまたは背景の分割マスクを用いてベースのビュー画像から分離される。背景セレクタ１１２は、ベースのビュー画像から回収された、分割された背景画像を、背景画像メモリブロック１１７に渡し、背景ピクセル位置情報を最適コントローラ１１８に渡す。背景の位置情報は、最適コントローラ１１８によって、カラーアダプタ１１９、空間アダプタ１２０、および時間アダプタ１２１によって処理されるべきピクセルを決定するために用いられる。背景セレクタ１１２によってゼロに設定された３Ｄオブジェクトのピクセルは、カラーアダプタ１１９、空間アダプタ１２０、および時間アダプタ１２１によってスキップされる。
現実の世界のビデオにおいて、所与の画像内の焦点の合っている３Ｄオブジェクトのサイズは、動的に変化する。最適コントローラ１１８は、カラーアダプタ１１９、空間アダプタ１２０、および時間アダプタ１２１を、所与の画像内の焦点の合っている３Ｄオブジェクトのサイズと、関連するデータレートとの関数として最適に制御する。最適コントローラ１１８は、ピクセル位置情報を背景セレクタ１１２から受信し、データレートメッセージを一般的エンコーダ１３０から受信し、次に制御信号をカラーアダプタ１１９に送信して、背景画像の各ピクセルのカラービットを減少させる。背景画像の各ピクセルのカラービットは好ましくは、一般的エンコーダ１３０を出るエンコードされた信号のデータレートに依存して、１から３ビット減少させられる。一般的エンコーダのデータレートは、ビデオ、オーディオ、および特定のアプリケーションに対するユーザのデータを含む圧縮された信号ストリームのビットレートである。通常、１ビットの減少が好ましい。一般的エンコーダ１３０を出るエンコードされた信号のデータレートが所与の伝送ネットワークに対する特定値よりも高い場合には、２または３ビットが減少させられる。
最適コントローラ１１８はまた、制御信号を空間アダプタ１２０に送信する。空間アダプタ１２０は、伝送のために背景画像のピクセルを部分抽出し、背景画像の解像度を減少させる。以下の実施例において、背景画像のピクセルは水平方向および垂直方向に半分に減少させられる。ピクセルが減少させられる量は、一般的エンコーダ１３０を出るエンコードされた信号のデータレートにも依存する。カラーアダプタ１１９がカラービットを減少させ、空間アダプタ１２０が解像度を減少させた後に、一般的エンコーダ１３０のデータレートがなお特定のデータレートよりも高い場合には、次に時間アダプタ１２１が背景画像のフレームレートを減少させるために用いられ得る。フレームレートが下がるとデータレートは有意に減少させられる。フレームレートの変化はビデオ品質を劣化し得るので、背景画像のフレームレートを減少させることは通常、好ましくない。従って、時間アダプタ１２１は好ましくはバイパスされた状態に設定される。
図７は、背景画像のための、最適制御ベースの圧縮を用いるエンコーディングおよび伝送のプロセス４００におけるステップを示す。示されるように、背景画像のピクセルパラメータ、すなわち、カラービットおよび解像度は、上記で図６に関連して議論されたようにステップ４１０で最適に圧縮される。背景画像の最適に圧縮されたピクセルは、他の信号要素、すなわち、３Ｄオブジェクトおよびパラメータ、ならびに最適コントローラ１１８からの制御データに従って、ステップ４２０において一般的にエンコードされる。ステップ４３０において、システムは、図６のエンコーダ１３０を去るエンコードされた信号のデータレートが目標データレートまたは伝送ネットワークの特定のデータレート能力よりも大きいかどうかを決定する。データレートが目標データレートよりも大きい場合には、異なる圧縮パラメータの組でステップ４１０が背景画像のピクセル上で繰り返される。ステップ４３０において、図６の一般的エンコーダ１３０は、一般的エンコーダ１３０を出るエンコードされた信号のデータレートを最適コントローラ１１８に送信し、データレートに応じて、最適コントローラ１１８はカラーアダプタ１１９にカラービット削減を増加するように、空間アダプタ１２０に解像度削減を増加するように、および時間アダプタ１２１にフレームレートを減少するように指図し得る。
図６のエンコーダ１３０を去るエンコードされた信号のデータレートが目標データレートまたは伝送ネットワークの特定のデータレート能力よりも大きくない場合には、最適コントローラ１１８は一般的エンコーダ１３０に、エンコードされた信号要素およびデータをマルチプレクサ／モジュレータ１４０に解放するように信号を出し、マルチプレクサ／モジュレータ１４０はステップ４４０においてエンコードされた信号およびデータをモジュレーティング／マルチプレクシングし、次にステップ４５０においてネットワーク２００（図５）を越えて伝送される。
背景画像は焦点が合っておらず、ぼやけているので、解像度および色の深みは３Ｄオブジェクトの人間の視覚システムによる限りの最小認識状態のそれよりも低くあり得る。上述の通り、カラーアダプタ１１９は背景画像を受信し、好ましくは伝送のために背景画像のカラービットを減少させる。例えば、色の深みが色当たり８ビットから色当たり７ビットに減少させられると、または色当たり１０ビットから色当たり８ビットに減少させられると、データレートはおよそ１／８または１／５減少させられる。色の深みは、デコーディングの際に最下位ビットにおいてゼロを追加することで、最小損失で回復させられ得る。
背景画像は焦点が合っておらず、ぼやけているので、背景画像の解像度も、伝送のために好ましくは減少させられる。上述の通り、空間アダプタ１２０は減少させられたカラービットを伴う背景画像を受信し、好ましくは、水平方向および／または垂直方向に背景画像のピクセルを減少させる。例えば、１９２０×１０８０の解像度を有するＨＤフォーマットにおいては、各方向で背景画像の解像度を半分に減少させることが可能であり、デコーディングの際に人間の視覚システムによる限りの最小認識状態を伴って空間的補間によって回復することが可能である。
高画質でないビデオの場合には、背景画像のフレームレートが伝送のために減少させられ得る。時間アダプタ１２１が、どのフレームを伝送し、どのフレームを伝送しないかを決定するために用いられ得る。受信機において、伝送されなかったフレームは時間補間によって回復され得る。しかしながら、背景画像のフレームレートを減少することは、それが、ＭＰＥＧのような主要なビデオ圧縮標準に用いられる運動構成を悪化させるので好ましくない。このように、時間アダプタ１２１は、背景画像の最適圧縮において好ましくはバイパスされる。
背景画像の最適圧縮の処理の後に、データレートは有利なことに有意に減少させられる。いくつかの実施例がデータの削減を説明するために提示される。
実施例１。通常、３Ｄオブジェクトによって包含される平均エリアは全画像エリアの１／４よりも小さい。３Ｄオブジェクトが全画像エリアの１／４を占める場合、背景画像は全画像エリアの３／４を占める。従って、４ピクセルのうちの３ピクセルが背景である。
カラーアダプタ１１９によってピクセル当たり８カラービットがピクセル当たり７カラービットに減少させられると、背景画像のデータレートは背景画像の本来のデータレートの７／８に減少させられる。背景における単一カラービットの削減は人間の視覚システムに対しては気付かれない。
１９２０×１０８０のＨＤフォーマットにおいて、背景画像の解像度は伝送のために水平方向に１／２、および垂直方向に１／２の９６０×５４０の解像度に減少させられる。背景画像の伝送ピクセルは、結果として、本来の背景画像のピクセルの１／４に減少させられる。
この実施例において、時間アダプタ１２１はバイパスされていて、伝送のためのデータ削減に寄与していない。
画像の３Ｄオブジェクトは、好ましくは従来の圧縮を用いて、最高の忠実度で伝送され、従って、全画像のピクセルの１／４を含む３Ｄオブジェクトのピクセルは同じデータレートに維持される。背景画像の最適圧縮（ＡＣＢＩ）ベースのデータレート削減は以下のように計算される：
右の画像における３Ｄオブジェクト（１／４エリア）の本来のデータレートの割合：
１／４×１００％＝２５％
右の画像における背景画像（３／４エリア）の本来のデータレートの割合：
Figure 2011109671
 右の画像の本来のデータレートの割合：
２５％＋１６．４％＝４１．４％
画像ペアの１つの画像、すなわち、右の画像のデータレートは、ＡＣＢＩを用いると、ＡＣＢＩを伴わない本来の右の画像のデータレートのわずか４１．４％である。左と右の画像の背景画像は実質的に同じであるので、右の画像の背景が、受信機において左の画像に対する背景を生成するために用いられ得る。ＡＣＢＩを伴う画像ペアのデータレートは、次に、画像ペアの第２の画像、すなわち、左の画像の３Ｄオブジェクトのデータレート（これも本来の画像のデータレートの２５％である）を、ＡＣＢＩを伴う右の画像のデータレートに追加することで、単一画像のデータレートの関数として計算され得る：
単一画像の本来のデータレートの割合：
４１．４％＋２５％＝６６．４％
結果として、ＡＣＢＩを伴う画像ペアのデータレートは、有利なことにＡＣＢＩを伴わない本来の１つの画像のわずか６６．４％である。
実施例２。この実施例においては、背景の垂直方向の解像度が減少させられ、一方で水平方向の解像度は減少させられない。他のすべてのパラメータは実施例１と同様である。従って、右の画像における背景画像（３／４エリア）の本来のデータレートの割合は：
Figure 2011109671
 右の画像のデータレートの割合は：
２５％＋３２．８％＝５７．８％
画像ペアの１つの画像、すなわち、右の画像のデータレートは、ＡＣＢＩを伴うと、ＡＣＢＩを伴わない右の画像のデータレートの５７．８％である。上述のように、ＡＣＢＩを伴う画像ペアのデータレートは、画像ペアの第２の画像、すなわち、左の画像に対する３Ｄオブジェクトのデータレート（これも本来の画像のデータレートの２５％である）を、ＡＣＢＩを伴う右の画像のデータレートに追加することで、単一画像のデータレートの関数として計算され得る：
単一画像の本来のデータレートの割合：
５７．８％＋２５％＝８２．８％
結果として、ＡＣＢＩを伴う画像ペアのデータレートは、有利なことにＡＣＢＩを伴わない１つの画像のわずか８２．８％である。
実施例３。この実施例において、３Ｄオブジェクトは統計的に全画像エリアの１／２を占め、背景画像は全画像エリアのわずか１／２を占める。従って、画像の半分のピクセルが背景である。
右の画像における３Ｄオブジェクト（１／２エリア）の本来のデータレートの割合：
１／２×１００％＝５０％
背景画像のピクセル当たり８カラービットが１ビット減少させられる；背景画像の解像度は、水平方向に１／２、および垂直方向に１／２減少させられる。右の画像における背景画像（１／２エリア）の本来のデータレートの割合：
Figure 2011109671
 右の画像の本来のデータレートの割合は
５０％＋１１％＝６１％
単一画像の本来のデータレートの割合
６１％＋５０％＝１１１％
結果として、ＡＣＢＩを伴う画像ペアのデータレートは、有利なことにＡＣＢＩを伴わない１つの画像のわずか１１１％である。平均データレートが２Ｄビデオ帯域幅よりも高い、この場合において、最適コントローラ１７３は背景画像のカラービットと空間解像度をさらに減少させるように、また最悪の事態におけるデータのオーバーフローを避けるために背景画像のフレームレートを時間的に減少させることすら行なうようにコマンドを発行する。
ＡＣＢＩおよび現行の圧縮技術によってエンコードされた３Ｄコンテンツは、現行の２Ｄビデオ配信または伝送のネットワーク２００上で大抵の場合送達され得る。現実の世界のビデオにおいて、焦点の合っている３Ｄオブジェクトのサイズは動的に変化する。データレートは、焦点の合っている３Ｄオブジェクトのサイズによって変化する。３Ｄオブジェクトは、大部分のビデオ光景においておそらく半分未満の画像であるので、ＡＣＢＩ圧縮の後の総合的な平均データレートは、２Ｄビデオ帯域幅の半分以下である。しかしながら、さらにおそらく実際の３Ｄビデオの中の３Ｄオブジェクトは、全画像中の１／４未満であると考えられ、データレートはより効率的に圧縮されることが大いに見込まれる。
３Ｄパラメータのソースから受信機への伝送は重要である。３Ｄパラメータは、３Ｄ光景を正確にレンダリングするためにデコーダおよびディスプレイをサポートする。関心の３Ｄパラメータの例は以下を含み得る：
パララックス：表示される２つの立体的画像における対応する点の間の距離。
視差：立体画像デバイスまたは録画された画像上の共役点間の距離。
深度範囲：正の最大許容パララックスを作り出す背景点から負の最大許容パララックスを作り出す前景点までのカメラスペースにおける距離。
いくつかの３Ｄパラメータがビデオキャプチャーシステムによって提供される。いくつかの３Ｄパラメータは、左および右の画像の３Ｄオブジェクトを用いて計算され得る。
ＡＣＢＩ処理の後の一般的エンコーディング：３Ｄオブジェクトの分割およびＡＣＢＩの後、左および右の画像の３ＤオブジェクトおよびＡＣＢＩは一般的エンコーダ１３０によってエンコードされる。一般的エンコーダ１３０は単一のエンコーダまたは複数のエンコーダまたはエンコーダモジュールであり得、好ましくはＭＰＥＧ２、ＭＰＥＧ−４／Ｈ．２６４ ＡＶＣ，ＶＣ−１などのような標準の圧縮技術を用いる。左および右のビューの３Ｄオブジェクトは好ましくは完全な忠実度でエンコードされる。左および右のビューの３Ｄオブジェクトは一般に全画像よりも小さいので、３Ｄオブジェクトを伝送することに必要とされるデータレートはより低い。そのデータレートを減少させるためにＡＣＢＩによって処理された背景画像も一般的エンコーダ１３０に送信される。
３Ｄパラメータは好ましくは一般的エンコーダ１３０によってデータパッケージとしてエンコードされる。最適コントローラ１１８は、制御データおよび制御信号を一般的エンコーダ１３０に送信し、一方で、一般的エンコーダ１３０は、一般的エンコーダ１３０を出るエンコードされた信号のデータレートを最適コントローラ１１８にフィードバックする。最適コントローラ１１８は、一般的エンコーダ１３０を出るエンコードされた信号のデータレートに従って、制御信号をカラーアダプタ１１９、空間アダプタ１２０、および時間アダプタ１２１に適合させる。
一般的エンコーダ１３０からの出力は、以下に記載されるように背景画像（ＢＧ）および制御データ（ＣＤ）とともに、３Ｄオブジェクトのエンコードされた右の画像（Ｒ−３Ｄ）、３Ｄオブジェクトのエンコードされた左の画像（Ｌ−３Ｄ）、および３Ｄパラメータ（３Ｄ Ｐａｒ）を含むエンコードされたデータパッケージを含む。エンコードされた背景画像、立体的画像ペアのエンコードされた３Ｄオブジェクト、３Ｄパラメータおよび最適コントローラ１１８からの制御データは、マルチプレクサ／モジュレータ１４０によってマルチプレックスおよびモジュレートされ、次に、図５に示されるように、オフエアーブロードキャスタ、ケ−ブルおよび衛星ネットワークのような配信ネットワーク２００に送信され、次に、受信機１５０によって受信される。
左のビューおよび右のビュー画像の回復：図８を参照して、受信されたすべてのビデオデータおよび３Ｄパラメータは、デマルチプレクサ／デモジュレータ１５５によってデモジュレートおよびデマルチプレックスされ、ＭＰＥＧ２、ＭＰＥＧ−４／Ｈ．２６４ ＡＶＣ，ＶＣ−１などのような標準の復元技術を用いる一般的デコーダまたは複数デコーダ１６０に送信される。
左および右の画像のエンコードされた左および右の３Ｄオブジェクトは、一般的デコーダによってデコードされ、左および右の３Ｄオブジェクトメモリ１７１および１７２に渡され格納される。背景画像およびＡＣＢＩ制御データも同様に一般的デコーダ１６０によってデコードされる。ＡＣＢＩ制御データは最適コントローラ１７３に送信される。時間アダプタ１２１が背景画像のフレームレートを減少させる場合には、フレームレート情報が一般的デコーダによってデコードされ、最適コントローラ１７３に送信され、最適コントローラ１７３は制御信号を時間回復モジュール１７４に送信する。最適コントローラ１７３はまた、空間削減およびカラービット削減の情報を、空間回復モジュール１７５およびカラー回復モジュール１７６に送信する。
背景画像は、時間回復モジュール１７４に送信される。時間回復モジュール１７４は好ましくは、フレームレートをフレーム補間によって本来のビデオフレームレートに変換して戻す、フレーム変換器である。前記で議論されたように、フレーム変換は運動補償を含む複雑なプロセスを含み、圧縮プロセスにおいて好ましくはバイパスされる。
空間回復は空間回復モジュール１７５によって、近接の隣接ピクセルによる補間により紛失したピクセルを回復することによって実施される。例えば、背景画像において、ピクセルのいくつかはデコードされ、一方で、他は空間アダプタ１２０における部分抽出のために失われる。
Figure 2011109671
 表３において、以下のピクセルが一般的デコーダによってデコードされる。
Ｐ（０，０），Ｐ（２，０），Ｐ（４，０）
Ｐ（０，２），Ｐ（２，２），Ｐ（４，２）
Ｐ（０，４），Ｐ（２，４），Ｐ（４，４）
以下のピクセルが補間によって回復させられる。
Ｐ（１，０）＝１／２［Ｐ（０，０）＋Ｐ（２，０）］
Ｐ（１，２）＝１／２［Ｐ（０，２）＋Ｐ（２，２）］
Ｐ（０，１）＝１／２［Ｐ（０，０）＋Ｐ（０，２）］
Ｐ（２，１）＝１／２［Ｐ（２，０）＋Ｐ（２，２）］
Ｐ（１，１）＝１／４［Ｐ（１，０）＋Ｐ（１，２）＋Ｐ（０，１）＋Ｐ（２，１）］
すべての紛失したピクセルは、同様の方法で回復させられる。補間方法は、上記のアルゴリズムに限定されない。他の先進的な補間アルゴリズムが同様に用いられ得る。
カラー回復は、カラー回復モジュール１７６によって、ビットのシフト操作を用いて実施される。デコードされた背景画像が７ビットの場合、カラーの８ビットは１ビットの左シフトによって回復させられ得、一方で、カラーの１０ビットは３ビットの左シフトによって回復させられ得る。
背景画像は、左の画像を回復するために左の３Ｄオブジェクトと共に画像合成器１７８に送信される。背景画像はまた、右の画像を回復するために右の３Ｄオブジェクトと共に別の画像合成器１８０に送信される。結果として、立体的画像の左および右の画像がデコードされ、回復させられる。
右のビュー画像および左のビュー画像が、ブロック１９０およびブロック１９１として示される。エンコードされた３Ｄパラメータはデマルチプレクサ１５５によってデマルチプレックスされ、デコーダ１６０によってデコードされ、３Ｄレンダリングおよびディスプレイモジュール１９３に送信される。３Ｄパラメータは、３Ｄ光景を正確にレンダリングするために用いられる。システムまたは視聴者の３Ｄパラメータ操作は、３Ｄレンダリングの品質および視聴者の３Ｄ視聴体験を変更するために提供される。
ＡＣＢＩの２Ｄ下位互換性：２Ｄビデオとの下位互換性を可能にするために、ビデオスイッチ１７９が追加される。左のビュー画像および右のビュー画像が画像合成器１７８および１８０からビデオスイッチ１７９に送信される。左の画像ブロック１９１は、デコードされた左のビュー画像か、デコードされた右（ベース）のビュー画像のいずれかを表示し得る。左の画像ブロック１９１がデコードされた左のビュー画像を表示する場合、モードは３Ｄビューである。左の画像ブロック１９１がデコードされた右のビュー画像を表示する場合、モードは２Ｄビューである。
本明細書に記載される、３Ｄオブジェクトの分割に基づくＡＣＢＩシステムおよびプロセスは、２Ｄビデオ帯域幅の制約との、まさしく下位互換性がある。重大な帯域幅の制約をかかえる放送システムに対して、ビデオ信号の３Ｄコンテンツは２Ｄが配信される下位互換性の態様で配信され得る。コンテンツの単なる２Ｄ成分ではない完全な３Ｄコンテンツを配信するための、追加の帯域幅要求は、最小化される。上記で議論されてきたデータレートの削減推定値は、ＡＣＢＩがデータレートを有意に減少させるので、ＡＣＢＩを用いた圧縮された３Ｄビデオが、２Ｄビデオのために使用される現行のブロードキャスタの帯域幅内に合致することを示した。
２Ｄモードと３Ｄモードとの間の継ぎ目のない切り替え：
３Ｄから２Ｄへの切り替え−視聴者は３Ｄモードで３Ｄコンテンツを見ており、２Ｄプログラムへの変更を決断する。ＡＣＢＩシステムは、３Ｄ視聴から２Ｄ視聴への継ぎ目のない移行を許可する。受信機１５０は、ビデオスイッチ１７９によって左のビューをベースのビュー（右のビュー）画像に切り替え得る。左のビュー画像は、右のビュー画像と同じものになり、３Ｄは継ぎ目なく２Ｄに切り替えられる。視聴者は３Ｄモードを２Ｄモードに切り替えるためにリモートコントローラを用い得、左のビューは右のビューに切り替えられる。両目は同じベースビュービデオを見る。
２Ｄから３Ｄへの切り替え−−視聴者は２Ｄモードで２Ｄコンテンツを見ており、３Ｄプログラムへの変更を決断する。システムは、２Ｄ視聴から３Ｄ視聴への継ぎ目のない移行を許可する。受信機１５０は、ビデオスイッチブロック１７９によって左のビューをベースのビュー（右のビュー）画像から左のビューに切り替え得、従って、２Ｄは継ぎ目なく３Ｄモードに切り替えられる。
前述の明細書において、発明がそれらの特定の実施形態を参照して説明されてきた。しかしながら、種々の修正および変更が本発明のより広義の精神および範囲から逸脱することなく、それらになされ得ることは明らかである。例えば、読者は、本明細書に記載されたプロセスフロー図に示されるプロセス動作の特定の順序および組み合わせが単に例示的なものであり、もしそうでなければ述べられたものであり、本発明が異なるまたは追加のプロセス動作、あるいは、プロセス動作の異なる組み合わせまたは順序を用いて実施され得ることを理解するべきである。別の実施例のように、１つの実施形態の各特徴は、他の実施形態に示される他の特徴と混合され整合され得る。当業者に公知の特徴およびプロセスは、望まれれば同様に組み入れられ得る。加えて、また明らかに、特徴は望まれれば追加され差し引かれ得る。従って、本発明は添付の特許請求範囲およびそれらの均等物にかんがみる場合を除いて限定されるべきでない。
９０ 信号パーサ
１００ 最適エンコーダ
１３０ 一般的エンコーダ
１４０ マルチプレクサ／モジュレータ
１５０ 伝送ネットワーク
１５５ デマルチプレクサ／デモジュレータ
１６０ 一般的デコーダ
１７０ 最適デコーダ
３００ ディスプレイ

Claims (16)

  1. 三次元（３Ｄ）ビデオのためのエンコーディングプロセスであって、
    第１のエンコーダシステムにおいて、第１のベース画像の背景画像を最適に圧縮するステップと、
    第２のエンコーダシステムにおいて、該最適に圧縮された背景画像と、該第１のベース画像の第１の３Ｄオブジェクトと、第２のベース画像の第２の３Ｄオブジェクトとをエンコードするステップと
    を含み、
    該背景画像の該圧縮は、該第２のエンコーダシステムを出る該エンコードされた背景画像ならびに第１および第２の３Ｄオブジェクトのデータレートの関数である、エンコーディングプロセス。
  2. 前記第１および第２の３Ｄオブジェクトを前記第１および第２のベース画像から分割するステップをさらに含む、請求項１に記載のプロセス。
  3. 前記分割するステップは、３Ｄオブジェクトマスクを作成するステップを含む、請求項２に記載のプロセス。
  4. 前記３Ｄオブジェクトマスクを作成するステップは、前記第１のベース画像の各ピクセルを前記第２のベース画像内の対応するピクセルと比較するステップを含む、請求項３に記載のプロセス。
  5. 前記背景画像を前記第１のベース画像から分割するステップをさらに含む、請求項１に記載のプロセス。
  6. 前記背景画像を最適に圧縮するステップは、該背景画像の各ピクセルのカラービットを減少させるステップを含む、請求項５に記載のプロセス。
  7. 前記背景画像を最適に圧縮するステップは、該背景画像の解像度を減少させるステップをさらに含む、請求項６に記載のプロセス。
  8. 前記第２のエンコーダシステムを出る前記エンコードされた背景画像ならびに第１および第２の３Ｄオブジェクトのデータレートが所定のデータレートよりも大きい場合に、該背景画像の各ピクセルのカラービットの削減および該背景画像の解像度の削減を増加させる、請求項７に記載のプロセス。
  9. 前記背景画像のフレームレートを減少させるステップをさらに含む、請求項８に記載のプロセス。
  10. 前記第２のエンコーダシステムを出る前記エンコードされた背景画像ならびに第１および第２の３Ｄオブジェクトをモジュレートおよびマルチプレックスするステップをさらに含む、請求項９に記載のプロセス。
  11. 三次元（３Ｄ）ビデオのためのエンコーディングシステムであって、
    第１のベース画像の背景画像を最適に圧縮するように構成されている第１のエンコーダシステムと、
    該最適に圧縮された背景画像と、該第１のベース画像の第１の３Ｄオブジェクトと、第２のベース画像の第２の３Ｄオブジェクトとをエンコードするように構成されている第２のエンコーダシステムと
    を含み、
    該第１のエンコーダシステムによる該背景画像の該圧縮は、該第２のエンコーダシステムを出る該エンコードされた背景画像ならびに第１および第２の３Ｄオブジェクトのデータレートの関数である、エンコーディングシステム。
  12. 前記第１のエンコーダシステムにおいて、前記第１および第２の３Ｄオブジェクトを前記第１および第２のベース画像から分割し、前記背景画像を該第１のベース画像から分割するようにさらに構成されている、請求項１１に記載のシステム。
  13. 前記第１のエンコーダシステムにおいて、前記背景画像の各ピクセルのカラービットを減少させるようにさらに構成されている、請求項１２に記載のシステム。
  14. 前記第１のエンコーダシステムにおいて、前記背景画像の解像度を減少させるようにさらに構成されている、請求項１３に記載のシステム。
  15. 前記第１のエンコーダシステムにおいて、前記背景画像のフレームレートを減少させるようにさらに構成されている、請求項１４に記載のシステム。
  16. 前記第２のエンコーダシステムを出る前記エンコードされた背景画像ならびに第１および第２の３Ｄオブジェクトをモジュレートおよびマルチプレックスするように構成されているモジュレータ／マルチプレクサを含む、請求項１５に記載のシステム。
JP2010259497A 2009-11-20 2010-11-19 三次元オブジェクトの分割に基づく背景画像の最適圧縮（ａｃｂｉ） Pending JP2011109671A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/623,183 2009-11-20
US12/623,183 US20110122224A1 (en) 2009-11-20 2009-11-20 Adaptive compression of background image (acbi) based on segmentation of three dimentional objects

Publications (1)

Publication Number Publication Date
JP2011109671A true JP2011109671A (ja) 2011-06-02

Family

ID=44061795

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010259497A Pending JP2011109671A (ja) 2009-11-20 2010-11-19 三次元オブジェクトの分割に基づく背景画像の最適圧縮（ａｃｂｉ）

Country Status (2)

Country Link
US (1) US20110122224A1 (ja)
JP (1) JP2011109671A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5420074B2 (ja) * 2010-07-02 2014-02-19 パナソニック株式会社 映像信号変換装置、映像信号変換方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070064319A (ko) * 2004-08-06 2007-06-20 유니버시티 오브 워싱톤 가변 응시 시거리 주사 광 디스플레이
US20120257817A1 (en) * 2009-12-15 2012-10-11 Koichi Arima Image output apparatus
US8660178B2 (en) * 2010-07-01 2014-02-25 Broadcom Corporation Method and system for multi-layer rate control for a multi-codec system
US20120050480A1 (en) * 2010-08-27 2012-03-01 Nambi Seshadri Method and system for generating three-dimensional video utilizing a monoscopic camera
JP5058354B1 (ja) * 2011-04-19 2012-10-24 株式会社東芝 電子機器、表示制御方法及びプログラム
CN103108197A (zh) * 2011-11-14 2013-05-15 辉达公司 一种用于3d视频无线显示的优先级压缩方法和系统
KR20130065074A (ko) * 2011-12-09 2013-06-19 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
JP6070692B2 (ja) * 2012-03-30 2017-02-01 ソニー株式会社 画像処理装置および方法、並びに、プログラム
US20130329985A1 (en) * 2012-06-07 2013-12-12 Microsoft Corporation Generating a three-dimensional image
US9064295B2 (en) 2013-02-04 2015-06-23 Sony Corporation Enhanced video encoding using depth information
US11218682B2 (en) * 2015-01-21 2022-01-04 Nevermind Capital Llc Methods and apparatus for processing and or encoding images with negative parallax
US9871967B2 (en) * 2015-01-22 2018-01-16 Huddly As Video transmission based on independently encoded background updates
EP3144883A1 (en) * 2015-09-16 2017-03-22 Thomson Licensing Method and apparatus for sharpening a video image using an indication of blurring
US10078999B2 (en) * 2016-03-22 2018-09-18 Intel Corporation Dynamic bandwidth usage reduction for displays
US11025882B2 (en) 2016-04-25 2021-06-01 HypeVR Live action volumetric video compression/decompression and playback
WO2018057866A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Multi-perspective imaging system and method
US10846918B2 (en) * 2017-04-17 2020-11-24 Intel Corporation Stereoscopic rendering with compression
US10229537B2 (en) * 2017-08-02 2019-03-12 Omnivor, Inc. System and method for compressing and decompressing time-varying surface data of a 3-dimensional object using a video codec
US10432944B2 (en) 2017-08-23 2019-10-01 Avalon Holographics Inc. Layered scene decomposition CODEC system and methods
CN108055452B (zh) * 2017-11-01 2020-09-18 Oppo广东移动通信有限公司 图像处理方法、装置及设备
CN109767389B (zh) * 2019-01-15 2023-06-20 四川大学 基于局部和非局部联合先验的自适应加权双范数遥感图像盲超分辨重建方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2512894B2 (ja) * 1985-11-05 1996-07-03 ソニー株式会社 高能率符号化／復号装置
US5267333A (en) * 1989-02-28 1993-11-30 Sharp Kabushiki Kaisha Image compressing apparatus and image coding synthesizing method
KR950000830B1 (ko) * 1990-06-25 1995-02-02 미쯔비시덴끼 가부시끼가이샤 디지탈 비디오 신호의 부호화 방법 및 이를 이용한 고능률 부호화장치
US5285276A (en) * 1991-03-12 1994-02-08 Zenith Electronics Corp. Bi-rate high definition television signal transmission system
US5706290A (en) * 1994-12-15 1998-01-06 Shaw; Venson Method and apparatus including system architecture for multimedia communication
US5377104A (en) * 1993-07-23 1994-12-27 Teledyne Industries, Inc. Passive seismic imaging for real time management and verification of hydraulic fracturing and of geologic containment of hazardous wastes injected into hydraulic fractures
CA2195110A1 (en) * 1994-07-14 1996-02-01 Stephen G. Johnson Method and apparatus for compressing images
US5854856A (en) * 1995-07-19 1998-12-29 Carnegie Mellon University Content based video compression system
DE69732089T2 (de) * 1996-10-04 2005-12-08 Nippon Telegraph And Telephone Corp. Vorrichtung und verfahren zur zeitlichen und räumlichen integration und verwaltung einer vielzahl von videos sowie speichermedium zur speicherung eines programms dafür
US6167155A (en) * 1997-07-28 2000-12-26 Physical Optics Corporation Method of isomorphic singular manifold projection and still/video imagery compression
US6477201B1 (en) * 1998-05-22 2002-11-05 Sarnoff Corporation Content-adaptive compression encoding
US6256423B1 (en) * 1998-09-18 2001-07-03 Sarnoff Corporation Intra-frame quantizer selection for video compression
US6281903B1 (en) * 1998-12-04 2001-08-28 International Business Machines Corporation Methods and apparatus for embedding 2D image content into 3D models
US20040028130A1 (en) * 1999-05-24 2004-02-12 May Anthony Richard Video encoder
US6502139B1 (en) * 1999-06-01 2002-12-31 Technion Research And Development Foundation Ltd. System for optimizing video on demand transmission by partitioning video program into multiple segments, decreasing transmission rate for successive segments and repeatedly, simultaneously transmission
US6873723B1 (en) * 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6853755B2 (en) * 2001-03-28 2005-02-08 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive compression of scanned documents
US6792140B2 (en) * 2001-04-26 2004-09-14 Mitsubish Electric Research Laboratories, Inc. Image-based 3D digitizer
US20050063596A1 (en) * 2001-11-23 2005-03-24 Yosef Yomdin Encoding of geometric modeled images
US7203356B2 (en) * 2002-04-11 2007-04-10 Canesta, Inc. Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications
US20060268181A1 (en) * 2003-02-21 2006-11-30 Koninklijke Philips Electronics N.V. Groenewoudseweg 1 Shot-cut detection
US7139433B2 (en) * 2003-03-13 2006-11-21 Sharp Laboratories Of America, Inc. Compound image compression method and apparatus
US7428341B2 (en) * 2003-05-27 2008-09-23 Zaxel Systems, Inc. Method and apparatus for lossless data transformation with preprocessing by adaptive compression, multidimensional prediction, multi-symbol decoding enhancement enhancements
US7415162B2 (en) * 2003-05-27 2008-08-19 Zaxel Systems, Inc. Method and apparatus for lossless data transformation with preprocessing by adaptive compression, multidimensional prediction, multi-symbol decoding enhancement enhancements
US7113200B2 (en) * 2004-05-21 2006-09-26 Polycom, Inc. Method and system for preparing video communication image for wide screen display
US7292257B2 (en) * 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
US7436981B2 (en) * 2005-01-28 2008-10-14 Euclid Discoveries, Llc Apparatus and method for processing video data
AU2005269310C1 (en) * 2004-07-30 2010-05-20 Euclid Discoveries, Llc Apparatus and method for processing video data
US7358975B2 (en) * 2004-11-02 2008-04-15 Microsoft Corporation Texture-based packing, such as for packing 8-bit pixels into one bit
CA2599483A1 (en) * 2005-02-23 2006-08-31 Craig Summers Automatic scene modeling for the 3d camera and 3d video
WO2007066709A1 (ja) * 2005-12-07 2007-06-14 Sony Corporation 符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム
US20070201502A1 (en) * 2006-02-28 2007-08-30 Maven Networks, Inc. Systems and methods for controlling the delivery behavior of downloaded content
WO2008039371A2 (en) * 2006-09-22 2008-04-03 Objectvideo, Inc. Video background replacement system
US20080240230A1 (en) * 2007-03-29 2008-10-02 Horizon Semiconductors Ltd. Media processor with an integrated TV receiver

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5420074B2 (ja) * 2010-07-02 2014-02-19 パナソニック株式会社 映像信号変換装置、映像信号変換方法
US8942547B2 (en) 2010-07-02 2015-01-27 Panasonic Corporation Video signal converting apparatus and video signal converting method

Also Published As

Publication number Publication date
US20110122224A1 (en) 2011-05-26

Similar Documents

Publication Publication Date Title
JP2011109671A (ja) 三次元オブジェクトの分割に基づく背景画像の最適圧縮（ａｃｂｉ）
JP5763184B2 (ja) ３次元画像に対する視差の算出
US7027659B1 (en) Method and apparatus for generating video images
CN107615338B (zh) 用于生成和使用降低分辨率图像并且/或者将这样的图像传送到重放或内容分发设备的方法和装置
TWI685679B (zh) 用於全視差壓縮光場三維成像系統之方法
EP2201784B1 (en) Method and device for processing a depth-map
Fehn et al. Key technologies for an advanced 3D TV system
US9077966B2 (en) Apparatus and method for processing video content
US9473788B2 (en) Frame-compatible full resolution stereoscopic 3D compression and decompression
Shao et al. Stereoscopic video coding with asymmetric luminance and chrominance qualities
EP2932711B1 (en) Apparatus and method for generating and rebuilding a video stream
Pourazad et al. Generating the depth map from the motion information of H. 264-encoded 2D video sequence
US20130194395A1 (en) Method, A System, A Viewing Device and a Computer Program for Picture Rendering
KR20140041489A (ko) 스테레오스코픽 이미지의 동시적인 스테레오스코픽 및 모노스코픽 디스플레이를 가능하게 하기 위한 스테레오스코픽 이미지의 자동 컨버전
US20180350038A1 (en) Methods and Systems for Light Field Compression With Residuals
EP3437319A1 (en) Multi-camera image coding
US9628769B2 (en) Apparatus and method for generating a disparity map in a receiving device
KR101686168B1 (ko) 스트레오스코픽 동영상 파일의 구성 방법
Fezza et al. Perceptually driven nonuniform asymmetric coding of stereoscopic 3d video
KR20130138156A (ko) 영상 제공 장치 및 방법, 그리고 영상 재생 장치 및 방법
Shao et al. JND-based asymmetric coding of stereoscopic video for mobile 3DTV applications
JP2004242000A (ja) 符号化装置および方法、並びに復号装置および方法
Meuel et al. Illumination change robust, codec independent lowbit rate coding of stereo from singleview aerial video
Emori et al. Data format and view synthesis for free-viewpoint video streaming of super multiview video
Bang et al. Effects of selection of a reference view on quality improvement of hybrid 3DTV

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20111007