JP2007295559A - ビデオ処理および表示 - Google Patents

Abstract

【課題】大型のテレビジョン画面または表示画面を必要とすることなく、視聴者により広い視野を提供し、それによって従来のビデオ提示よりも高い臨場感を提供すること。
【解決手段】従来のテレビジョン上のビデオ表示を補足するために、テレビジョンに隣接する壁および他の表面上にサラウンドビデオストリームが投影される。サラウンドビデオストリームは、メインカメラと並置された広角レンズカメラから発生させることができる。サラウンドビデオストリームは、ローカルプロセッサにおいて壁面の平面ジオメトリからの逸脱分を補正するために処理され得る。サラウンドビデオストリームが受信されない場合は、ビデオプロセッサは、メインビデオ信号に由来するサラウンドビデオストリームを合成することができる。メインビデオ信号で表現される移動オブジェクトは、視聴者の視野全域にわたる移動の知覚を実現する、サラウンドビデオの形で合成され得る。
【選択図】図１

Description

本発明は、ビデオ処理および表示に関する。諸実施形態は、大型のテレビジョン画面または表示画面を必要とすることなく、視聴者により広い視野を提供し、それによって従来のビデオ提示よりも高い臨場感を提供することを目的とする。

家庭環境での従来のテレビジョン視聴は通常、単一のテレビジョンモニタを含む。いくつかの状況では、より大きい視聴領域を提供するためにフラットスクリーン型の表示装置または投影装置が使用されることもある。当然のこととして、視聴者が表示装置のオーディオ機能を外部ステレオで補強し、またはこれをサラウンドサウンド型ハイファイシステムと置き換えることが一般に行われている。

既知の１つのシステム（Ｐｈｉｌｉｐｓ社のＡｍｂｉｌｉｇｈｔ ＦｌａｔＴＶ（商標））は、テレビジョンの周囲の壁に放射される組込み型ソフトライトを含み、よりくつろいだ視聴環境を提供すると共に、知覚される映像（ｐｉｃｔｕｒｅ）の詳細、コントラスト、および色を改善することを目的とする。周囲光の色は、画面像の優勢色（ｐｒｅｖａｉｌｉｎｇ ｃｏｌｏｒｓ）でライン毎に調整され得るが、それ以上の画像情報は存在しない。したがって、このシステムは、知覚度を高めることはできるが、それ自体が視聴者の視野の僅かな割合しか占有せず、映像内容との関連性も非常に乏しい故に、そのシーンの実際の「臨場感」を高めることはない。

したがって、自宅での放送テレビジョン番組またはＤＶＤフィルムの鑑賞は、「現実世界」のシーンを眺めることとは非常に異なる経験を提供する。目に対するビデオ画像の角度は、最適なまたは典型的な視聴距離ではほんの数度しかない。目の視野の大部分は、視聴環境すなわちリビングルームの家具や壁の装飾品などで満たされる。

ＩＭＡＸなど広角表示を実現する従来の方法は、非常に高い解像度のカメラと表示システムとを必要とし、家庭環境での使用には適さない。放送リンクを介してかかる高解像度画像を配信するのに必要とされるデータ転送速度により、かかるシステムの配備は非現実的なものとなる。

さらに、かかるシステムが家庭環境でセットアップされる場合には、従来のＴＶセットがあればそれをどかして場所を空ける必要が生じ、その結果、従来のＴＶ視聴が妨げられることになる。
Ｃｈｕｎｇ，Ｈ．Ｙ．らの「Ｅｆｆｉｃｉｅｎｔ Ｂｌｏｃｋ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｍｅｔｈｏｄ ｕｓｉｎｇ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｃｏｎｓｉｓｔｅｎｃｙ」Ｉｎ Ｐｒｏｃ．ＩＡＰＲ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ（ＭＶＡ２００５）、５５０〜５５３頁、Ｔｓｕｋｕｂａ Ｓｃｉｅｎｃｅ Ｃｉｔｙ、Ｊａｐａｎ、２００５年５月（ｈｔｔｐ：／／ｗｗｗ．ｃｓｉｓ．ｈｋｕ．ｈｋ／〜ｋｙｋｗｏｎｇ／ｐｕｂｌｉｃａｔｉｏｎｓ／ｈｙｃｈｕｎｇ＿ｍｖａ０５．ｐｄｆ） Ｂｉｍｂｅｒ，Ｏ．らの「Ｅｎａｂｌｉｎｇ Ｖｉｅｗ−Ｄｅｐｅｎｄａｎｔ Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｐｒｏｊｅｃｔｉｏｎ ｉｎ Ｒｅａｌ Ｅｎｖｉｒｏｎｍｅｎｔｓ」Ｆｏｕｒｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、Ｏｃｔ ５〜８、Ｖｉｅｎｎａ、Ａｕｓｔｒｉａ、１４〜２３頁

本発明は、上述のシステムの欠点を緩和するように改善された視聴システムを提供することを目的とする。諸実施形態は有利なことに、既存のテレビジョン機器と後方互換性を有することができる。

一態様では、本発明は、ビデオ表示を提供する方法であって、主表示領域に主ビデオ表示を提供するステップと、前記主表示領域の周囲の領域に、前記主ビデオ表示よりも品質が低いサラウンドビデオ表示を提供するステップとを含む方法から成る。

別の態様では、本発明は、ビデオ表示を提供する方法であって、主表示領域に主ビデオ表示を提供するステップと、前記主表示領域の周囲の領域に、前記主表示よりも解像度が低く、前記主表示よりも実質的に広い視野にわたって広がるサラウンドビデオ表示を提供するステップとを含む方法から成る。

別の態様では、本発明は、ビデオコンテンツを配信する方法であって、主ビデオ表示を提供するように復号可能である、シーンの第１のビューに関する主表現を供給するステップと、前記第１のビューよりも広角なビューであり、前記主表示領域の周囲の領域にサラウンドビデオ表示を提供するように別個に復号可能である、前記シーンの第２のビューに関するサラウンド表現を供給するステップとを含む方法から成る。

別の態様では、本発明は、ビデオコンテンツを配信する方法であって、主ビデオ表示を提供するように復号可能である、シーンの第１のビューに関する主表現を供給するステップと、前記主表示領域の周囲の領域にサラウンドビデオ表示を提供するように別個に復号可能なサラウンド情報を、前記主ビデオ表示内の少なくとも１つのオブジェクトの視認可能な動き（ａｐｐａｒｅｎｔ ｍｏｔｉｏｎ）が前記サラウンドビデオ表示に外挿されるように供給するステップとを含む方法から成る。

別の態様では、本発明は、ビデオ入力を受信する入力段と、前記入力段に接続され、部屋内の画面上の主表示に関する主ビデオ信号を提供するように適合された主表示ドライバと、前記入力段に接続され、前記部屋の表面の内、前記画面に隣接する表面上に投影されるサラウンド表示に関するサラウンドビデオ信号を提供するように適合され、また、前記表面のジオメトリパラメータを保持し、前記サラウンドビデオ信号内の前記パラメータを補正するように適合されたサラウンドビデオプロセッサとを備えるビデオ処理装置から成る。

別の態様では、本発明は、ビデオ入力を受信する入力段と、前記入力段に接続され、主表示に関する主ビデオ信号を提供するように適合された主表示ドライバと、前記入力段に接続され、サラウンド表示に関するサラウンドビデオ信号を提供するように適合され、前記主表示内で表現される移動オブジェクトの軌道が前記サラウンド表示に外挿されるサラウンドビデオプロセッサとを備えるビデオ処理装置から成る。

別の態様では、本発明は、主ビデオ表示とサラウンドビデオ投影装置とを含むビデオ表示装置を較正する方法であって、投影される前記サラウンドビデオが周囲を取り囲む（ｓｕｒｒｏｕｎｄ）が、前記主ビデオ表示と実質的に重複しないように、前記投影装置と主ビデオ表示とを位置合わせする（ｒｅｇｉｓｔｅｒ）ステップを含む方法から成る。

別の態様では、本発明は、主ビデオ表示とサラウンドビデオ投影装置とを含むビデオ表示装置を較正する方法であって、前記主ビデオ表示の周囲物上に投影されるサラウンドビデオ画像を修正する際に使用される、前記周囲物のジオメトリおよび／または反射率および／または色を示すデータを記憶するステップを含む方法から成る。

別の態様では、本発明は、ビデオ情報を受信する手段と、主ビデオ表示に信号を出力する手段と、周囲オブジェクト情報記憶手段と、記憶済みの前記周囲オブジェクト情報に基づいてサラウンドビデオ画像データを変換する画像変換手段と、サラウンド投影装置にサラウンドビデオ信号を出力する手段とを備えるビデオ処理装置から成る。

別の態様では、本発明は、主ビデオ表示に信号を出力する主表示ドライバと、周囲オブジェクト情報記憶域と、記憶済みの前記周囲オブジェクト情報に基づいてサラウンドビデオ画像データを変換する画像変換プロセッサと、サラウンドビデオ信号を出力するサラウンドビデオ表示ドライバと、前記サラウンドビデオ信号を受信するサラウンド投影装置とを備えるシステムから成る。

別の態様では、本発明は、少なくとも１つの放送規格に対応する、主視野に関する主ビデオをキャプチャする主ビデオキャプチャ手段と、前記主視野の周囲のサラウンド視野に関するサラウンドビデオをキャプチャするサラウンドビデオキャプチャ手段とを備えるビデオキャプチャ装置から成る。

別の態様では、本発明は、少なくとも１つの符号化ビデオ信号を受信するステップと、主表示デバイス上に主ビデオ表示を生成する主信号を提供するステップと、前記主表示デバイスの周囲に所在する少なくとも１つのオブジェクト上に投影されることによってサラウンドビデオ表示を生成するサラウンド信号を提供するステップであって、前記主ビデオ表示内の少なくとも１つのオブジェクトの視認可能な動きが前記サラウンドビデオ表示に外挿されるステップとを含む方法を実施するように構成されたコンピュータプログラム、またはコンピュータプログラム製品、または論理回路、またはビデオ処理用ハードウェアから成る。

キャプチャ機能、再生機能、および処理機能の間には相当の対応関係が存在することが理解されるであろう。説明を簡潔にするために、本明細書では別段の明示的な記述がない限りまたは文脈上明示されない限り、全体的な特徴は、１つの文脈で特定されるものであり、例えば、方法の諸特徴は、装置の諸特徴（あるいはコンピュータコードまたはプログラムの諸特徴）として提供され、逆もまた同様に提供されてもよく、キャプチャシステムの諸特徴は、再生システムに追加され、逆もまた同様に追加されてもよい。

諸実施形態は、視界（中心視領域と周辺視領域の両方）の大部分を占めることができ、それによって提示されるシーンの臨場感を高めることができる。
好ましい一実施形態では、広角レンズまたは魚眼レンズが取り付けられた（高解像度の）補助カメラが、メインカメラと関連付けられ、典型的には当該メインカメラに強固に取り付けられることが提案される。メインカメラは通常どおりアクションを記録するが、補助カメラは周囲のシーンを記録する。魚眼レンズは、１８０度に近い視野を有することができる。補助カメラの精密な視野および他の特徴は、本発明にとって重要ではない。

メインの記録と補助の記録はどちらも、別々ではあるが同期的な２つのビデオストリームとして使用可能な状態にされてもよい。所要の再生機器を有する視聴者は、２番目の「サラウンド」ビデオストリームを使用して、各自の視聴環境の壁上、床上、および天井に画像を投影し、各自の視野をほぼ占有するようにすることができる。部屋のジオメトリ（または他の特徴）によって画像に加えられる歪みを取り除くために、実時間型画像操作ソフトウェアが提供されることが好ましい。投影画像の内、通常のＴＶ表示装置の範囲に収まる部分は、典型的には空白とされるが、何らかの問題が生じないようにより低い強度とされもよい。

したがって、高解像度ビデオ画像は、視聴者の注視点の中心に所在するより小さい画面上に表示される。２番目の「サラウンド」ビデオは、視聴者の周辺視全体に及ぶ遥かに大きい領域を覆うように表示される。補助ストリームの表示される表面領域が大きいことから、当該ストリームは、より低い解像度の画像として知覚される。

通常の視聴機器を有する視聴者は、いつもどおり標準的なビデオストリームを自由に鑑賞することができる。
同期的な「サラウンド」ビデオレコーディングをキャプチャすることが（または上述の補助カメラを使用してキャプチャされなかったアーカイブまたは他のビデオと共に使用することが）不可能である場合または現実的でない場合には、本発明は、メインビデオ画像の分析結果を（場合によってはオーディオサウンドトラックの分析結果も）検討してサラウンドビデオストリームを合成し、当該ストリームは、例えば（メインカメラまたはシーン内のオブジェクトの）色単位および動き単位でメインビデオ画像と空間的に関係付けられる。

「サラウンド」ビデオ画像は一般に、メイン画像よりも品質が低くなるが、例えば、ほぼ確実にメイン画面よりも空間解像度が低くなり、メイン画面よりも暗くなる可能性が高く、各壁のジオメトリが正確に補正されないことに起因する何らかの残留歪みを示す可能性が高い。しかしながら、視聴される番組は従来型の表示に主眼を置いて撮影されているので（番組は一般に、サラウンド画像を利用しない場合にも視聴者に知覚され得る形で撮影されるので）、視聴者の注意は通常、当該表示装置に集中することになる。「サラウンド」画像の主なタスクは、解像度および画像品質の他の側面に関する要件が一般に低くなる視聴者の周辺視に関する情報を提供することである。

ここで、図面を参照して本発明の諸実施形態について説明する。

図１を参照すると、それぞれフレーム内に強固に取り付けられた２台のカメラ１０、１１が使用される。これらのカメラはハンドヘルド型であっても、三脚上に取り付けられても、他の任意の適切な様式で支持されてもよい。メインカメラ１０は通常どおり、フレームショットに対して自由に移動されるが、２台目のカメラ１１は、メインカメラよりも遥かに広い視野をキャプチャするように魚眼レンズが取り付けられており、サラウンドビデオストリームを記録するのに使用される。サラウンドビデオストリームは、シーンが記録された環境をキャプチャし、その結果、当該環境がより良く理解されるようになる。

各カメラは、フレーム同期化される。テレビジョンおよび映画プロダクションでよく知られるカチンコ（ｃｌａｐｐｅｒｂｏａｒｄ）が使用されてもよく、例えば同期性は、ゲンロックおよびタイムコードを使用して電気的に均等に提供され得る。

図２を参照すると、既存のビデオ再生システム（内部または外部オーディオ機能を有するビデオ表示装置から構成されることが想定される）に投影装置が追加される。標準的な表示システムは通常どおり、メインビデオストリームを提示するのに使用される。当該システムは、それだけに限らないが、陰極線管、プラズマ画面、液晶表示装置を包含することが企図される「従来の」テレビジョンを含むことができ、当該テレビジョンは、アナログ方式であっても、デジタル方式であっても、高精細度（ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ）方式であってもよい。当該システムは、ビデオ投影装置によって画像が投影されるビデオ投影画面も含むことができ、当該ビデオ投影装置は、以下に記載される投影装置と統合されても統合されなくてもよい。

本発明によるシステムの一例では、投影装置２０は、広い視野のビデオストリームを視聴環境の壁（４０ａ〜ｄ）上、天井、および床上に投影するのに使用される。この広角投影は、従来のビデオ投影装置２０と曲面鏡２１とを使用することによって達成される。

図３を参照すると、サラウンドビデオストリームを記録し、前記ストリームをユーザに配信し、前記ストリームを表示するシステムが提供される。この画像キャプチャシステムは、メイン画像用のカメラ１０が１台、魚眼レンズを有する第２のカメラ１１が１台、合計２台のカメラを含み、後者のカメラは、ビデオストリームを提供する。次いで撮影後編集４１で、ビデオが処理される。メインカメラのズームが変更されたときは、それに従ってサラウンド画像の目盛係数が調整されてもよい。画像ベース分析４２は、
ｉ．それぞれの目盛係数を演繹するためにメイン画像およびサラウンド画像を分析すること（画像処理の分野では、例えば相関ベースの方法や、オブジェクトマッチングまたはオブジェクト認識、あるいは動き推定など、このタスクに使用され得る多くの技法が知られている）、または
ｉｉ．カメラのレンズに取り付けられたセンサーから得られたそれぞれの焦点距離を示すデータを分析すること
によって発生し得る。

これらと同様の技法が、メインビデオとサラウンドビデオの相対的な配置を判定または特定するのに使用されてもよい（例えばサラウンドビデオは、それ自体の中心がメイン画像に置かれてもよく、また、カメラの下方ではなく上方に所在するオブジェクトのより広範なビューを与えるために、それ自体の中心がメイン画像よりも少しだけ上の方に置かれてもよい）。この分析は、後にエンドユーザ側で実行されてもよい。ビデオストリームは、放送または物理媒体５０を介してユーザに配信される。配信時には、視聴環境に起因する歪みを補正するためのジオメトリ補正４３が実施されるが、特にサラウンドビデオストリームが記録されていない場合には、それに加えて画像ベース分析が実行されることもある。部屋の固定ジオメトリによって画像に加えられる歪みを取り除くために、実時間型ビデオ操作ソフトウェアが使用されてもよい。このソフトウェアは、サラウンド画像の縮尺がメインビデオ内に示されるオブジェクトの縮尺と正しく整合するように、サラウンド画像の追加的な縮尺変更を実施する。処理遅延を補償するために、２つのビデオストリームのリタイミング４４が行われる。メイン画像は、ＬＣＤモニタなどのビデオ表示装置３０上に表示される。周辺画像は、図２に示される投影装置２０または投影システムによって視聴環境４０に投影される。

サラウンドビデオストリームが記録されていない場合では、サラウンドビデオストリームを合成するために、ビデオが分析されてもよい。本明細書にはいくつの例示的なアルゴリズムが示されるが、それらの内のどのアルゴリズムが使用されてもよく、また、それらの組合せあるいは修正形態が使用されてもよい。

１．エッジ色（ｅｄｇｅ ｃｏｌｏｒ）の外挿
既存のビデオ素材を基にしてより広いサラウンドビューを提供するために、サラウンドビデオ信号を合成することが提案される。この信号は、オリジナル画像の動きの各側面と、オリジナル画像のエッジの優勢色とを含む。優勢なエッジ色を使用することにより、拡大ビューをビデオの背景色と整合させることが可能となり、したがって、そのシーンに取り囲まれる基本的な感覚をもたらすことが可能となる。オリジナル画像内の動きは、追加的な動作の手掛かり（ｅｘｔｒａ ｍｏｖｅｍｅｎｔ ｃｕｅ）を視聴者に与え、その結果従来の表示上に示される動作が周囲ビュー上でも表現されるようになる、合成ビュー内で表現される。

従来画像のエッジから基本的な動きおよび色を抽出するために、当該画像のエッジ周辺に所在するピクセルブロックの平均色が取得され、より大きなサラウンド画像の範囲を満たすまで複製される。

図４を参照すると、この平均化プロセスは、画像３１のエッジ内部の境界線３３に沿う各ピクセル毎に行われる。この境界線の範囲は、画像に関するレターボックスまたはピラーボックス方式のブラックボーダーを考慮に入れて、映像サイズよりも小さくなっている。この境界線に沿う各ピクセルに関して、境界線上のピクセルを含めたｎ×ｎのピクセルブロック３２の平均色を発見するために、当該ピクセルブロック全体の平均化が行われる。次いで、平均化の結果得られたブロックの色は、サラウンドビデオ画像３２内において、元のピクセルと投影ビューのエッジとがそれを基により大きいサラウンド画像内で整列することになる、線３５の端から端まで複製される。

次いで、従来の表示が占めるサラウンド画像内の領域が、画像内で黒にセットされる。これにより、投影されるサラウンド画像の光が従来の表示上に当たらないようになる。合成画像の明るさは、ピクセルが画像の中心から離れるほど暗くなり、サラウンドビューからフェードアウトしていくように調整されてもよい。

このアプローチは、表示装置の各辺について有効に作用する。合成ビュー内の動きは、オリジナル画像と良く整合し、前景オブジェクトの動作によって生じる反射光の変化と同様の外観を示す。動きおよびテクスチャの詳細がサラウンドビュー内で表現される程度は、ブロックを平均化するサイズによって制御され得る。シーンの前景内のオブジェクトがサラウンド画像内で発生する程度を制御するために、境界線の平均化のサイジングが使用されてもよい。

しかしながら、このアプローチでは、単一のピクセルブロックの値がより大きな画像の角の領域全体を占めるまで複製されるので、サラウンドビューの角の領域では制限が生じる可能性もある。この影響を最小限に抑えるために、合成ビュー全体に対して、サラウンド画像の各辺と各角の間の遷移を滑らかにするフィルタリングが実施されてもよい。

２．放射色（ｒａｄｉａｌ ｃｏｌｏｒ）の外挿
図５に提示される代替的な合成アルゴリズムは、上述の平均化技法を使用するが、「サラウンド」画像内の各ピクセルの位置を再びオリジナルビデオ画像３１の中心に外挿することによって「サラウンドビデオ」画像３２を生成し、中心ピクセルと「サラウンドビデオ」のピクセルとの間の外挿から得られる線３６に近接して所在する、オリジナル画像のエッジ上のピクセルの色に従って、当該画像３２の色指定を行う。

３．移動テクスチャパターンをレンダリングするためのオブジェクトまたはカメラの動き測定
動きの手掛かり（ｍｏｔｉｏｎ ｃｕｅ）は、周辺視に由来するより重要な手掛かりの１つとなる可能性がある。したがって、サラウンドビデオを合成する１つの方法は、メイン画像の動き特性と整合する動き特性を有する画像を生成することである。例えば、推定されるカメラ動作に従って移動される疑似ランダムテクスチャが生成されてもよい。したがって、カメラが左にパンしたときに、当該テクスチャはメイン画像内の動作と整合するレートで左に移動される。別法として、疑似ランダムテクスチャを使用する代わりに、画像に関するいくつかの特徴（ファインディテールなど）が抽出されてもよく、また、それらの特徴は、メイン画像内の動きが生じた結果、複製されたテクスチャがサラウンド画像内を整合速度で移動することになるように、サラウンド画像の範囲を満たすまで複製されてもよい。

単に画像のファインディテールを取得することにより複製プロセスが隠蔽され得、その結果、テクスチャの外観がランダムに見えることになるが、当該テクスチャは、メイン画像のコンテンツと概ね同じ方向に移動する。サラウンド画像の低い周波数は、上述の色の外挿方法の１つを使用して合成され得る。

４．オブジェクトまたはカメラの動作を使用した画像テクスチャの外挿
ビデオ画像内のオブジェクトの動作を分析することにより（オブジェクトのサイズおよび位置を時間にわたって抽出して、それ自体の速度および方向を導出し、場合によってはそれ自体の加速度も導出することにより）、サラウンドビデオ画像内で移動オブジェクトの表現が合成され得る。分析された動作特性は、サラウンド画像内でレンダリングされるオブジェクトに適用され、その結果、当該オブジェクトがメイン画像の各辺（あるいは最上部または最下部）に向けて途切れなく移動する印象が与えられる。重なり合った一連の静止画像を基にパノラマ画像を作成するのに使用されるよく知られた「画像スティッチング」アプローチと同様の方法を使用して広角画像を構築するために、オブジェクトの動作ではなくカメラに対して（すなわち、背景の視認可能な動作を測定することによって）同様の技法が適用されてもよい。この種の処理では、所与のフレームに関する情報が有益なことに前の時点と後の時点の両方から取得され得るので、合成サラウンドビデオを生成する前に画像シーケンス全体を処理することが好ましい。したがって、この処理は、ビデオが配信される前に放送局がサラウンドビデオチャネルを生成することによって実施される前処理段階として適用できる可能性が高い。別法として、この処理は、家庭用デバイス（ＤＶＤドライブを備えるＰＣなど）に記憶されたコンテンツを使用して、番組または映画の視聴前にそれらのサラウンドビデオを生成するように実施されてもよい。

この画像合成処理に含まれるステップの一例は、次のとおりである。
１．各ビデオフレームについて、それぞれ動きが異なる複数のオブジェクトにセグメント化する。かかるセグメント化を達成する複数の方法が知られているが、例えば、Ｃｈｕｎｇ，Ｈ．Ｙ．らの「Ｅｆｆｉｃｉｅｎｔ Ｂｌｏｃｋ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｍｅｔｈｏｄ ｕｓｉｎｇ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｃｏｎｓｉｓｔｅｎｃｙ」Ｉｎ Ｐｒｏｃ．ＩＡＰＲ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ（ＭＶＡ２００５）、５５０〜５５３頁、Ｔｓｕｋｕｂａ Ｓｃｉｅｎｃｅ Ｃｉｔｙ、Ｊａｐａｎ、２００５年５月（ｈｔｔｐ：／／ｗｗｗ．ｃｓｉｓ．ｈｋｕ．ｈｋ／〜ｋｙｋｗｏｎｇ／ｐｕｂｌｉｃａｔｉｏｎｓ／ｈｙｃｈｕｎｇ＿ｍｖａ０５．ｐｄｆ）を参照されたい。

２．各オブジェクトについて、それ以前に確認されたオブジェクトのリストを調べ、オブジェクトのサイズ、位置、移動方向などのパラメータを突き合わせることによって対応オブジェクトを特定する。現フレームに由来する情報を使用して、マッチオブジェクトに関連して記憶された動きベクトル、サイズ、形状、および画像情報を更新する。オブジェクトの一部分が画像の外側に移動したことにより、または別のオブジェクトの背後に移動したことにより、当該オブジェクト部分がもはや視覚可能でなくなった場合は、それらの部分の形状および画像情報の変更は行わない。それ以前に確認された対応オブジェクトが存在しない場合には、観測済みオブジェクトのリスト上の新しいオブジェクトを作成する。

３．リスト内のすべてのオブジェクトについて、現フレーム内で確認されることが予想されたオブジェクト、および現フレーム内で確認されないことが予想されたオブジェクトを削除する。確認されないことが予想されたオブジェクト（すなわち、全体的に画像の外側に出るオブジェクト）については、それらが一定の速度で移動し続けるものと仮定することによってそれぞれの位置を更新する。

４．エッジ色の外挿など先述の方法の内の１つを使用して、初期のサラウンドビデオ画像を合成する。
５．部分的にまたは全体的に画像の外側に出るリスト内の各オブジェクトについて、それ自体について記憶された位置および画像データを使用して、合成サラウンドビデオ画像内の適切な位置でオブジェクトを描画する。任意選択で、オブジェクトは、それ自体がメイン画像から消えた時点からの経過時間の長さに従ってまたはそれ自体の移動距離に従って透明レベルまたは程度が増加する、ローパスフィルタリングを用いて描画されてもよい。

いくつかの代替実施形態が可能であり、上述の諸実施形態は決して排他的なものではなく、限定的なものでもない。一部の可能な修正は、次のものを含む。
・ＣＲＴまたはフラットスクリーン型の表示装置ではなく投影装置を使用してメインビデオストリームを提示すること。
・広角レンズを有する投影装置を使用してサラウンドビデオ画像を提示すること。
・他の任意の将来的なビデオ表示デバイス（電子的な壁紙など）を使用してメインビデオ画像またはサラウンドビデオ画像を提示すること。電子的な壁紙（液晶表示装置技術に基づく可能性もある）などの提案の場合では、壁紙の駆動は、周囲オブジェクト上への「投影」として解釈されるであろう。
・広角レンズを有する単一の高解像度カメラを使用して場面（ｆｏｏｔａｇｅ）をキャプチャし、中心部分を電子的に抽出してメインビデオストリームを作成すること。

投影ベースのサラウンドビデオシステムの機能を拡張するために、他の既知の技法が組み込まれてもよい。例えば、典型的な家庭環境で見受けられ得る表面など反射率が異なる不規則な表面上に画像を投影する際に、投影画像の正確な補正を実施する複数の方法が知られている。かかる方法の一例は、Ｂｉｍｂｅｒ，Ｏ．らの「Ｅｎａｂｌｉｎｇ Ｖｉｅｗ−Ｄｅｐｅｎｄａｎｔ Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｐｒｏｊｅｃｔｉｏｎ ｉｎ Ｒｅａｌ Ｅｎｖｉｒｏｎｍｅｎｔｓ」Ｆｏｕｒｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、Ｏｃｔ ５〜８、Ｖｉｅｎｎａ、Ａｕｓｔｒｉａ、１４〜２３頁に記載される。

かかる方法を適用するために、１つのアプローチは、カメラを使用して一連の投影較正パターンの画像をキャプチャする。カメラは、好ましくは典型的な視聴者（例えばリビングルームのソファの中央に座る視聴者）の頭の位置に配置されるべきであるが、別法として、便宜上投影装置ユニットと統合されてもよい。較正パターンは、投影画像内の様々な位置における一連の線、ドット、あるいは正方形から成るものであってもよい。画像が投影される壁の非理想的なジオメトリおよび反射率を補償するために、各投影パターンのキャプチャ画像を分析することにより、投影画像に適用されるべきジオメトリ、明るさ、および色の補正値を計算することが可能である。メイン表示画面の位置およびサイズを判定するためにキャプチャ画像が分析されてもよく、これにより、投影画像の縮尺および配置が整合するように調整されることが可能となる。

キャプチャシステムの図である。 再生システムの図である。 記録配信システムの図である。 主画像からの外挿を示す図である。 主画像からの代替的な外挿を示す図である。

符号の説明

１０ カメラ
１１ カメラ
２０ 投影装置
２１ 曲面鏡
３０ ビデオ表示装置
４０ 視聴環境
４０ａ〜４０ｄ 壁
５０ 放送または物理媒体
３１ オリジナルビデオ画像
３２ サラウンドビデオ画像
３３ 境界線
３４ ピクセルブロック
３５ 線

Claims (47)

1. ビデオ表示を提供する方法であって、主表示領域に主ビデオ表示を提供するステップと、前記主表示領域の周囲の領域に、前記主ビデオ表示よりも品質が低いサラウンドビデオ表示を提供するステップとを含む方法。
2. 前記主ビデオ表示は、専用画面領域を有する主表示デバイスから提供される、請求項１に記載の方法。
3. 前記主ビデオ表示は、アクティブ画面を有するデバイスから提供される、請求項１に記載の方法。
4. 前記サラウンドビデオ表示は、前記主表示デバイスの周囲に所在する少なくとも１つのオブジェクト上に投影されることによって提供される、請求項２に記載の方法。
5. 前記少なくとも１つのオブジェクトのジオメトリに基づいて、投影された前記サラウンドビデオ表示を補正するステップをさらに含む、請求項４に記載の方法。
6. 前記主ビデオ表示内の少なくとも１つのオブジェクトの視認可能な動きが前記サラウンドビデオ表示に外挿される、請求項１に記載の方法。
7. ビデオ表示を提供する方法であって、主表示領域に主ビデオ表示を提供するステップと、前記主表示領域の周囲の領域に、前記主表示よりも解像度が低く、前記主表示よりも実質的に広い視野にわたって広がるサラウンドビデオ表示を提供するステップとを含む方法。
8. 前記主ビデオ表示は、主表示デバイス上に提供され、前記サラウンドビデオ表示は、前記主表示デバイスの周囲に所在する少なくとも１つのオブジェクト上に投影されることによって提供される、請求項７に記載の方法。
9. 少なくとも１つの符号化ビデオ信号を受信するステップと、前記主表示デバイスに前記主ビデオを表示させる主信号と、サラウンドビデオ投影装置に前記サラウンドビデオを表示させるサラウンド信号とを提供するステップとをさらに含む、請求項８に記載の方法。
10. 前記サラウンド信号は、前記主ビデオ信号に基づいてサラウンド情報を合成する際に使用される情報を含む、請求項９に記載の方法。
11. 主ビデオ信号の内容に基づいてサラウンドビデオ信号の少なくとも一部を合成するステップを含む、請求項９に記載の方法。
12. 前記主ビデオ表示内の少なくとも１つのオブジェクトの視認可能な動きが前記サラウンドビデオ表示に外挿される、請求項７に記載の方法。
13. サラウンドビデオ信号は、前記主ビデオ表示の周囲物のジオメトリに基づいて全体的なサラウンド画像を実時間で変換することによって提供される、請求項９に記載の方法。
14. ビデオコンテンツを配信する方法であって、主ビデオ表示を提供するように復号可能である、シーンの第１のビューに関する主表現を供給するステップと、前記第１のビューよりも広角なビューであり、前記主表示領域の周囲の領域にサラウンドビデオ表示を提供するように別個に復号可能である、前記シーンの第２のビューに関するサラウンド表現を供給するステップとを含む方法。
15. 主表現は、主ビデオ信号を含み、前記サラウンド表現は、前記主ビデオ信号よりも粗く量子化されたまたは前記主ビデオ信号よりも低いビットレートで符号化されたサラウンドビデオ信号を含む、請求項１４に記載の方法。
16. ビデオコンテンツを配信する方法であって、主ビデオ表示を提供するように復号可能である、シーンの第１のビューに関する主表現を供給するステップと、前記主表示領域の周囲の領域にサラウンドビデオ表示を提供するように別個に復号可能なサラウンド情報を、前記主ビデオ表示内の少なくとも１つのオブジェクトの視認可能な動きが前記サラウンドビデオ表示に外挿されるように供給するステップとを含む方法。
17. 前記サラウンドビデオ表示は、前記主ビデオ表示よりも低い色解像度または輝度解像度を有する、請求項１６に記載の方法。
18. ビデオ入力を受信する入力段と、前記入力段に接続され、部屋内の画面上の主表示に関する主ビデオ信号を提供するように適合された主表示ドライバと、前記入力段に接続され、前記部屋の表面の内、前記画面に隣接する表面上に投影されるサラウンド表示に関するサラウンドビデオ信号を提供するように適合され、また、前記表面のジオメトリパラメータを保持し、前記サラウンドビデオ信号内の前記パラメータを補正するように適合されたサラウンドビデオプロセッサとを備えるビデオ処理装置。
19. 前記入力段は、サラウンドビデオ情報を伴う主ビデオ入力を受信するように適合される、請求項１８に記載の装置。
20. 前記サラウンドビデオ情報は、前記主ビデオ信号で表現されるシーンのより広角なビューを表現するビデオ信号を含む、請求項１９に記載の装置。
21. 前記サラウンドビデオプロセッサは、前記サラウンドビデオ信号における前記画面の領域をマスキングするように適合される、請求項１８に記載の装置。
22. 前記サラウンドビデオプロセッサは、前記ビデオ入力に含まれる主ビデオ情報を分析し、それを基にサラウンドビデオ信号を合成するように適合される、請求項１８に記載の装置。
23. 前記サラウンドビデオプロセッサは、前記主表示内で表現される移動オブジェクトの軌道が前記サラウンド表示に外挿されるように適合される、請求項１８に記載の装置。
24. 前記サラウンドビデオ表示は、前記主ビデオ表示よりも品質が低い、請求項１８に記載の装置。
25. ビデオ入力を受信する入力段と、前記入力段に接続され、主表示に関する主ビデオ信号を提供するように適合された主表示ドライバと、前記入力段に接続され、サラウンド表示に関するサラウンドビデオ信号を提供するように適合され、前記主表示内で表現される移動オブジェクトの軌道が前記サラウンド表示に外挿されるサラウンドビデオプロセッサとを備えるビデオ処理装置。
26. 前記主表示ドライバは、部屋内の画面上の主表示に関する主ビデオ信号を提供するように適合され、前記サラウンドビデオプロセッサは、前記部屋の表面の内、前記画面に隣接する表面上に投影されるサラウンド表示に関するサラウンドビデオ信号を提供するように適合される、請求項２５に記載の装置。
27. 前記サラウンドビデオプロセッサは、前記表面のジオメトリパラメータを保持し、前記サラウンドビデオ信号内の前記パラメータを補正するように適合される、請求項２５に記載の装置。
28. 前記サラウンドビデオプロセッサは、前記サラウンドビデオ信号における前記画面の領域をマスキングするように適合される、請求項２６に記載の装置。
29. 前記入力段は、サラウンドビデオ情報を伴う主ビデオ入力を受信するように適合される、請求項２５に記載の装置。
30. 前記サラウンドビデオ情報は、前記主ビデオ信号で表現されるシーンのより広角なビューを表現するビデオ信号を含む、請求項２９に記載の装置。
31. 前記サラウンドビデオプロセッサは、前記ビデオ入力に含まれる主ビデオ情報を分析し、それを基にサラウンドビデオ信号を合成するように適合される、請求項３０に記載の装置。
32. 前記サラウンドビデオ信号は、前記主ビデオ信号よりも低い空間解像度を有する、請求項２９に記載の装置。
33. 前記サラウンドビデオ信号は、前記主ビデオ信号よりも低い時間解像度を有する、請求項２９に記載の装置。
34. 主ビデオ表示とサラウンドビデオ投影装置とを含むビデオ表示装置を較正する方法であって、投影される前記サラウンドビデオが周囲を取り囲むが、前記主ビデオ表示と実質的に重複しないように、前記投影装置と主ビデオ表示とを位置合わせするステップを含む方法。
35. 前記主ビデオ表示に対応するマスキング領域が定義される、請求項３４に記載の方法。
36. 主ビデオ表示とサラウンドビデオ投影装置とを含むビデオ表示装置を較正する方法であって、前記主ビデオ表示の周囲物上に投影されるサラウンドビデオ画像を修正する際に使用される、前記周囲物のジオメトリおよび／または反射率および／または色を示すデータを記憶するステップを含む方法。
37. 前記サラウンドビデオ情報を投影する投影装置と関連付けられたカメラから取得される画像に基づいて、少なくとも１つの較正パラメータを設定するステップを含む、請求項３６に記載の方法。
38. 少なくとも１つの較正画像またはビデオシーケンスを投影するステップをさらに含む、請求項３７に記載の方法。
39. 前記主ビデオ表示の周囲に所在するオブジェクトの色または反射率について前記サラウンドビデオ信号を補正するステップを含む、請求項３６に記載の方法。
40. ビデオ情報を受信する手段と、主ビデオ表示に信号を出力する手段と、周囲オブジェクト情報記憶手段と、記憶済みの前記周囲オブジェクト情報に基づいてサラウンドビデオ画像データを変換する画像変換手段と、サラウンド投影装置にサラウンドビデオ信号を出力する手段とを備えるビデオ処理装置。
41. 前記周囲オブジェクト情報の少なくともいくつかを判定する較正手段をさらに備える請求項４０に記載の装置。
42. 周囲オブジェクトを含む画像を受信するカメラ入力手段をさらに備える、請求項４０に記載の装置。
43. 主ビデオ表示に信号を出力する主表示ドライバと、周囲オブジェクト情報記憶域と、記憶済みの前記周囲オブジェクト情報に基づいてサラウンドビデオ画像データを変換する画像変換プロセッサと、サラウンドビデオ信号を出力するサラウンドビデオ表示ドライバと、前記サラウンドビデオ信号を受信するサラウンド投影装置とを備えるシステム。
44. 少なくとも１つの合成サラウンドビデオ信号を選択し、あるいは、任意選択で、前記サラウンドビデオ信号を提供する情報が受信されない場合または記憶されていない場合はどのような信号も選択しないモードセレクタを含む請求項４３に記載のシステム。
45. 少なくとも１つの放送規格に対応する、主視野に関する主ビデオをキャプチャする主ビデオキャプチャ手段と、前記主視野の周囲のサラウンド視野に関するサラウンドビデオをキャプチャするサラウンドビデオキャプチャ手段とを備えるビデオキャプチャ装置。
46. 前記サラウンドビデオキャプチャ手段は、前記主視野と重複するまたは前記主視野を包含するビデオをキャプチャするように構成される、請求項４５に記載の装置。
47. 少なくとも１つの符号化ビデオ信号を受信するステップと、主表示デバイス上に主ビデオ表示を生成する主信号を提供するステップと、前記主表示デバイスの周囲に所在する少なくとも１つのオブジェクト上に投影されることによってサラウンドビデオ表示を生成するサラウンド信号を提供するステップであって、前記主ビデオ表示内の少なくとも１つのオブジェクトの視認可能な動きが前記サラウンドビデオ表示に外挿されるステップとを含む方法を実施するように構成されたコンピュータプログラム、またはコンピュータプログラム製品、または論理回路、またはビデオ処理用ハードウェア。

Images