JP2007536825A - 立体テレビジョン信号処理方法、送信システムおよびビユーア拡張装置 - Google Patents

Abstract

本発明は、２つの標準的なビデオ流を１つの標準的なビデオ流に効率的に符号化された方法で結合する方法を提供し、それにおいては立体的３Ｄ画像、２つの観察画像表示能力、パノラマ表示およびユーザと対話する“パンおよび走査”を提供することによってテレビジョン観察技術を強化する。高解像度ビデオのための標準方式が使用され、それはＡＴＳＣおよＳＭＰＴＥ標準方式でによって規制されている。現在単一の標準的なビデオ流が占有している標準的な２つのビデオ流を有することによって記録、送信、再生および表示のための装置の標準的な設置されたベースを使用する手段が提供される。
【選択図】 図１

Description

本発明は、２つのビデオ流を標準的な単一のビデオ流に組合わせるために使用される方法に関する。特に、本発明は２つの標準的なビデオ流を組合わせて標準的な単一のビデオ流を占有させ、種々の方法で観察者の体験を強化させる手段を提供する方法に関する。

この出願は、２００４年５月７日に出願された米国特許出願１０／８４０６５８号（発明の名称：立体テレビジョン信号処理方法、送信システムおよび観察強化）の継続出願であり、その明細書の全てはここで参考文献とされる。
この出願は、２００３年５月７日に出願された米国特許出願６０／４６８２６０号（発明の名称：立体３ＤＴＶシステム：エンド・ツー・エンド方法）の優先権を有し、その明細書の全てはここで参考文献とされる。

２つのビデオ流を標準的な単一のビデオ流に組合わせるために使用される種々の方法および従来技術が存在しており、これらの発明の多くは表示装置上に立体３Ｄ（３次元）内容を表示することを集中している。

それらの方法は典型的にフィールド順次多重化、スペクトル多重化、画像を水平または垂直方向に圧縮することによる空間的多重化、アナグリフ、垂直リトレースデータ挿入方式、水平ディスパリティ符号化方式、差信号に基づいた圧縮ベース方式、ベクトルマッピング、ＭＰＥＧ ＩＰＢブロックベクトル方式、ＤＣＴ変換、レート制御方式等を使用している。

ビデオ標準方式は現在急速にデジタルおよび高解像度標準方式によって置換されつつある。ＡＴＳＣ（アドバンスド・テレビジョンシステムズ・コミッティ）およびＳＭＰＴＥ（映画およびテレビジョンエンジニアのソサヤティ）は２つの主要な標準方式規制機関であり、ＦＣＣ（フェデラル通信コミッティ）は放送およびテレビ製造業者により規定されるこれらの標準方式のタイムベースを管理している。

デジタル領域での活動によって、発明者は多くの新しいエキサイティングな技術を生成することが可能になり、それはこの変化をデジタルビデオに与えることにより可能にされる。本発明は、２つの標準的なビデオ流を、標準的な単一のビデオ流を占有させるように組合わせて、いくつかの方法で観察者に観察画像を強化する方法を提供する。

本発明は、２つの標準的なビデオ流を組合わせて標準的な単一のビデオ流に結合する方法を提供し、その方法は、２つの低解像度の画像フレームを、画素データの損失なく、タイル接合して１つの高解像度の画像フレームに結合することによって行なわれる。
このタイル接合方法に適合する種々のＨＤＴＶ標準方式があり、それらは、画素データを２つの低解像度の画像フレームから単一の高解像度の画像フレームの新しい画素位置にマップすることによって行なわれる。これは２つの低解像度の画像フレームのセグメントにより高解像度の画像フレームをタイル接合することによって行なわれる。

２つのカメラの観察画像が立体３次元（３Ｄ）用、パノラマ用、またはパンおよび走査用に対して符号化されたとき、このタイル接合は、多くの場合にカメラが１つのカメラ位置から移動するとき、他方のカメラは同じベクトル方向に移動することを確実にする。またこのタイル接合は、多くの場合にカメラが１つのカメラ位置から移動しないとき、他方のカメラも同様に移動しないことを確実にする。

それ故、このタイル接合方法は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＷＭ−９のような圧縮アルゴリズムによるタイル接合されたフレームシーケンスの圧縮に有効であり、それはもっと効率よく符号化する時間的な冗長度に依存している。

フィールドインターリーブまたはインターレースによる２つのビデオ流を組合わせるその他の方法の多くは、圧縮アルゴリズムによる符号化するのは効率的ではないフレームを発生する。
タイル接合されたフレームを有し、許容可能なビデオ圧縮アルゴリズムにより圧縮されたそのようなフレームシーケンスを有することによって、テープ、メモリ、またはディスク表面を使用する記憶装置による単一ソースフィードであるようにこのデータを処理することが可能であり、地上、ケーブル、または衛星ヘッドエンドにより送信され、他のヘッドエンドまたはセット・トップ・ボックスにより受信されることが可能である。

セット・トップ・ボックス、テレビジョン装置、メディアプレイヤー、またはＰＣ或いはその他の専用のデコード装置は、このタイル接合された画像をデコードして２つの標準のビデオ流に戻し、テレビジョン装置、プロジェクタ、またはコンピュータモニタのような表示装置上に表示することができる。

この表示装置は、観察者に、この明細書で記載されているように２Ｄモード、二重観察モード、パンおよび走査モード、および立体３Ｄモードのような種々のモードを提供する能力を与えることができる。

本発明をさらによく理解するために、例示として添付図面を参照にして以下詳細に説明する。
図１は、立体的画像対の左眼の観察である例えば１２８０×７２０の画素のフレーム解像度を有する第１のビデオソースを示している。この解像度はＡＴＳＣおよびＳＭＰＴＥビデオ標準方式である。このフレームは図３に示されているさらに高い解像度のフレームに符号化される。図１は図２の第２のビデオソースと区別するために図中に“左眼”と記載されている。

図２は、立体的画像対の右眼の観察である例えば１２８０×７２０の画素のフレーム解像度を有する第２のビデオソースを示している。この解像度はＡＴＳＣおよびＳＭＰＴＥビデオ標準方式である。このフレームは図３に示されているさらに高い解像度のフレームに符号化される。図２は図１の第１のビデオソースと区別するために図中に“右眼”と記載されている。

図３は、立体的画像対を構成することのできる例えば１９２０×１０８０の画素のフレーム解像度を有するタイル接合されたフレームとして図１および２の１対の組合わされたビデオフレームを示している。この解像度はＡＴＳＣおよびＳＭＰＴＥビデオ標準方式である。図３は符号化されたタイル接合されたフレームと考えられる。これは典型的なタイル接合のレイアウトであるが、タイル接合されたセグメントのこの配置に限定されない。
図３の右下隅の６４０×３６０の画素の，フレームの面積の１／９を占める区域は、サムネイルサブフレームのような付加的な画像の挿入のために使用され、或いは、圧縮効率を改善するのであればタイル接合の縫い合わされた区域に隣接する画像の区域として使用されてもよい。

２つの標準的なビデオ流を１つの標準的なビデオ流に組合わせるために、図１および２に示されている各ビデオ流はまずデジタル化されて関連するメモリバッファに供給される。このメモリバッファは画素単位のシーケンスに基づいて各入来するビデオ流に対して更新される。

メモリバッファは、メモリの書込み、読取りバス帯域幅が同時読取りおよび書込みサイクルに対して充分な大きさであり、読取り書込みアドレスの競合がハードウエアまたはバンクスイッチ（切替スイッチ）によって避けられて競合が生じないことが確実であれば、２ポートのＦＩＦＯ構造であってもよく、或いは単一ポートのＳＲＡＭまたはＶＲＡＭ構造であってもよい。

２つの低い解像度の入力フレーム（図１および２）からの画素データの、タイル接合された高い解像度の出力フレーム（図３）の画素データへの再マップは２つの方法のいずれか１つで行われることができる。

第１の方法では、各入力フレーム（図１および２）からメモリ中への書込みサイクルは線形にアドレスされ、読取りサイクルはアドレス発生器を有し、そのアドレス発生器は出力フレーム（図３）をタイル接合するために必要なシーケンスに整合するためにアドレスを変更する。この場合にメモリバッファは２つの入力ビデオフレームを保持する容量を有する必要があり、或いはスイッチバンクにより競合を避けることが行われるならば４つの入力ビデオフレームを保持する容量を有する必要がある。

第２の方法では、各入力フレーム（図１および２）からメモリ中への書込みサイクルはアドレス発生器によってアドレスされ、そのアドレス発生器は、出力のタイル接合されたフレーム（図３）に対する出力読取りサイクルが線形にアドレスされるように書込みアドレスを変更する。この場合には、メモリバッファは単一の出力のタイル接合されたフレームを保持するための容量を有する必要があり、或いはスイッチバンクにより競合を避けることが行われるならば２つの出力フレームを保持する容量を有する必要がある。

全ての場合において、上記の方法により、或いは任意のその他の方法により、メモリからのタイル接合されたフレーム（図３）の読取りは、異なる時間に捕捉された記憶されたフレーム（図１および２）の境界を横切って読取られてはならない。
入力ソースフレーム（図１および２）は典型的に共に発生器ロックされてこのメモリモデルの動作を確実にする。

上記の方法は２つのソースフレーム（図１および２）を出力のタイル接合されたフレーム（図３）に組合わせるハートウエア方法を示している。この動作はまたコンピュータのメモリまたはディスクに記憶されている２つのソースフレーム（図１および２）から同じ出力フレーム（図３）を生成するためにソフトウエアでフレームを生成することによって行なわれることもできる。

このタイル接合方法に適合する種々のＨＤＴＶ標準方式が存在し、それは２つの低い解像度のフレームから画素データの損失なしに、単一のより高い解像度の新しい画素位置に画素データをマップすることによって行われる。

これらの現在の標準方式の画素解像度には次のものが含まれている。
（水平×垂直）
１）１９２０×１０８０
２）１２８０×７２０
３） ７０４×４８０
４） ６４０×４８０
図示され、説明された例では、１２８０×７２０の２つのフレームが１つの１９２０×１０８０のフレームにタイル接合されることができる。同様に６４０×４８０の２つのフレームが１つの１２８０×７２０のフレームにタイル接合されることも可能である。

これらの例では、画素データは失われることはなく、また、出力のタイル接合されたフレームのタイル接合要求に整合するために入力フレームの大きさを減少させることも可能である。その場合には画素の補間が必要であり、若干の画素データがこの変換で失われるであろう。

２つのカメラの観察像が立体的３Ｄ用として符号化されるとき（図１および２）、或いはパノラマ用またはパンおよび走査用として符号化されるとき、このタイル接合方法および発生された出力フレーム（図３）は、大抵の場合に、１つのカメラ（図１）からのカメラの移動があるとき、他方のカメラ（図２）は同じベクトル方向に移動する。また、このタイル接合（図３）は多くの場合に１つのカメラ（図１）からのカメラの移動がないとき、他方のカメラ（図２）は通常は同様に移動しない。

それ故、このタイル接合方法はＭＰＥＧ−２，ＭＰＥＧ−４およびＷＭ−９のようなビデオ圧縮アルゴリズムによってタイル接合されたフレームシーケンスの圧縮に有効であり、それはもっと効率のよい符号化のための一時的な冗長度に依存している。圧縮ＣＯＤＥＣ（コーダデコーダ）に対する入力画像は単一のカメラソースから来たように現れる。

多くのビデオ圧縮アルゴリズムは、フィールドインターリーブまたはインターレースのような２つのソースからの組合わせ画像の大抵の他の方法を効率よく符号化することは困難である。

符号化され“タイル接合された”フレーム（図３）および許容可能な圧縮アルゴリズムにより圧縮されたそのようなフレームを有することによって単一のソースまたは単一のカメラが通過するときこのデータを処理することが可能になる。

現在大抵の放送インフラストラクチャは圧縮アルゴリズムの選択ではＭＰＥＧ−２を使用している。
これはもっとよいアルゴリズムが利用可能になったときには変更されることが可能である。ＭＰＥＧ−２ビデオ流として符号化されたタイル接合されたビデオフレーム（図３）を有することによって、圧縮、記憶、記録、アーカイブ、送信、受信オヨビ圧縮解除に使用されるＭＰＥＧ−２をサポートする全てのインフラストラクチャが変更せずに使用可能になる。

タイル接合されたビデオは、タイル接合された単一のビデオ流（図３）に圧縮から復元された後、テレビジョン装置、プロジェクタ、或いはコンピュータモニタのような表示装置で観察する直前に２つのビデオ流（図１および２）に復号して戻される必要がある。

これは消費者応用ではセット・トップ・ボックス、メディアプレーヤ、ＰＣ、その他の専用のデコード装置で行われることができる。
この表示装置は可能であるいくつかのモードを観察者に提供する１以上の能力を有していてもよく、この明細書では２次元モード、二重観察モード、パンおよび走査モード、および立体的３次元モードとして記載されている。

２次元（２Ｄ）モードはデコードされたビデオの単一流を表示するモードである。図１または図２はいずれも通常の２Ｄビデオである。デコーダは１つの固定されたビデオソースの表示を与える。

二重観察モードは、観察者が図１または図２のいずれかのビデオソースを選択するＡ／Ｂスイッチのようにデコーダからの２つのビデオソースの１つを選択することを可能にする。表示装置への入力は１つのビデオソースから他方のビデオソースへ多重化されることができる。観察者は、例えば手動で符号化されている２つのカメラの画像から選択することができる。

パンおよび走査モードは、符号化されタイル接合されたフレームのソース材料がパノラマ観察画像を生成するために水平または垂直のいずれかで共に縫い合わされたビデオ画像を含むモードである。これは、縫い合わされたビデオ画像が水平または垂直のいずれかのパノラマ観察画像を生成するようにそれぞれ共通の側で視野を有する２つの隣接するビデオカメラから捕捉することにより行われる。
観察者はスクリーン全体のパノラマの任意の部分を観察するためのスライドウインドウを調節することができる。
このウインドウは、読取られているメモリのアドレスを開始する画素列たは行をシフトすることによりデコーダによって行われることが必要であり、表示装置に表示される。

立体的３次元モードは、２つのビデオソース（図１および２）を表示し、通常左眼と右眼のカメラ画像を含むタイル接合されたビデオ流（図３）を獲得するモードである。表示装置は立体的３次元表示を行い、表示装置はアナグリフ、偏光、またはフィールドインターリーブのような任意の３次元フォーマットでサポートされることができる。
観察者はまた、二重観察モードを選択して、左眼の観察画像（図１）と右眼の観察画像（図２）とを手動で選択することによって２次元の立体ビデオの内容を観察する選択肢を有している。
表示装置が従来技術の標準的な数学的プロセスによりアナグリフ３次元に２つのビデオ流を変換することができる場合には、観察者はカラー眼鏡を使用してアナグリフ３次元画像を観察することができる。

左右の各眼に対するソース材料は、すでにアナグリフフォーマットであるような符号化が行われていてもよく、その場合にはテレビジョン装置は着色された左眼の観察画像（図１）と右眼の観察画像（図２）との合算されたものを表示する。観察者はカラー眼鏡を使用してアナグリフ３次元画像を観察することができる。

左右の各眼に対するソース材料もまた、すでにアナグリフフォーマットであるような符号化が行われてもよく、その場合にはテレビジョン装置は着色されない２次元の通常の観察画像（図１）と結合された着色された左眼と右眼の観察画像（図２）との合算されたものを表示する。観察者はカラー眼鏡を使用してアナグリフ３次元画像を観察し、或いは眼鏡なしで２次元モードで観察することができる。

テレビジョンが、２重ビデオ流からのフィールドインターリーブされた立体３Ｄ画像を生成することができるならば、観察者は偏光眼鏡を使用して立体３Ｄが像を観察することができる。

テレビジョンが２重ビデオ流からフィールドインターリーブ立体３Ｄを生成することができるならば、観察者はシャッター眼鏡を使用して立体的３Ｄ画像を観察することができる。

本発明で認められるように、２重ビデオ流のソースを有することにより可能にされるディスプレイ装置へ与えられるの可能性は、強化された観察像を生成する。

本発明の多くの特徴および利点は詳細な説明から明らかであり、したがって、特許請求の範囲により本発明の精神および技術的範囲に含まれる本発明の特徴および利点の全てをカバーすることが意図されている。さらに、当業者は多くの変形、変更を容易に行うことが可能であるから、本発明を図示され、例示された構造および動作に正確に限定することを望むものではなく、適切な偏光および均等な構成は本発明の技術的範囲に含まれるであろう。

第１のビデオソースを示す図。 第２のビデオソースを示す図。 図１と図２のビデオフレームの組合わせた対を示す図。

Claims (11)

1. ２つの標準的なビデオ流を単一の標準的なビデオ流に結合する方法において、
   ２つの低解像度の画像フレームを、画素データの損失なく、タイル接合することにより“タイル接合されたフレーム”と呼ばれる１つの高解像度の画像フレームに結合する結合方法。
2. 請求項１記載の方法によってタイル接合されたフレームを、ＭＰＥＧ−２、ＭＰＥＧ−４、ＷＭ−９のような圧縮アルゴリズムにより効率よく符号化するタイル接合されたフレームの符号化方法。
3. 請求項１記載の方法によってタイル接合されたフレームを、単一のビデオ流を受ける標準的な記録装置を使用することによって記憶するフレームの記憶方法。
4. 請求項１記載の方法によってタイル接合されたフレームを、単一のビデオ流を受取る標準的な送信装置を使用して送信するフレームの送信方法。
5. 請求項１記載の方法によってタイル接合されたフレームを、単一のビデオ流を受取る標準的な受信装置を使用して受信するフレームの送信方法。
6. 請求項１記載の方法によりタイル接合されたフレームを、２つの標準的なビデオ流にデコードするフレームのデコード方法。
7. ２つのデコードされたビデオ流を、テレビジョン装置、プロジェクタ、またはコンピュータモニタのような表示装置上に表示する表示方法。
8. 表示装置が２次元（２Ｄ）モードで正常の“２Ｄ”ビデオを表示するために使用される請求項７記載の方法。
9. 表示装置は、ユーザ（観察者）の選択可能な２重観察モードで正常の“２Ｄ”ビデオとして２つのビデオソースの１つを表示するために使用され、観察者は、例えば、符号化されている２つのカメラの観察画像から手動で選択可能である請求項７記載の方法。
10. 表示装置は、水平または垂直のいずれかで縫い付けられて接合されている２つの結合されたビデオソースを表示するために使用され、観察者の選択可能なパンおよび走査モードで正常の“２Ｄ”ビデオとして表示され、観察者が例えば、符号化されている２つの隣接するカメラの観察画像から２つのフレームの縫い付けられたパノラマフレーム内のフルスクリーン表示の位置を手動で調節可能である請求項７記載の方法。
11. 表示装置は、アナグリフ、偏光、或いはフィールドまたはフレームインターリーブのような表示装置がサーポートすることができる任意の３次元フォーマットで立体３次元として２つのビデオソースを表示するために使用され、通常は左眼と右眼の観察を含む２重ビデオ流を必要とするが、任意の３次元フォーマットで立体３次元として２つのビデオソースを、観察者が２次元モードでビデオ内容を観察することを希望するときにはその表示もサポートするように表示する請求項７記載の方法。

Images