JP2004525437A - 一群の実際のビデオおよび／または静止画像から新規ビデオおよび／または静止画像を合成する方法および装置 - Google Patents
一群の実際のビデオおよび／または静止画像から新規ビデオおよび／または静止画像を合成する方法および装置 Download PDFInfo
- Publication number
- JP2004525437A JP2004525437A JP2002547092A JP2002547092A JP2004525437A JP 2004525437 A JP2004525437 A JP 2004525437A JP 2002547092 A JP2002547092 A JP 2002547092A JP 2002547092 A JP2002547092 A JP 2002547092A JP 2004525437 A JP2004525437 A JP 2004525437A
- Authority
- JP
- Japan
- Prior art keywords
- image
- depth
- images
- pixels
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/44—Morphing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
画像ベースのテレプレゼンスシステムは、局部奥行きマップを使用して複数の固定作画部から選択されたビデオ画像をフォワードワープし、ワーピングされた画像をマージさせて仮想位置から見るように現れる高品質の画像を生成する。作画部によって作成される画像から、少なくとも２つの画像が選択されて、仮想画像（１０３）を作成する。奥行きマップは、選択された各画像（１０４）に対応して生成される。選択された画像は、対応する奥行きマップ（１０５，１０６）を使用して計算されるワープパラメータを使用して、仮想視点へワーピングされる。最後に、ワープ画像は、マージされて、選択された視点（１０７）から見るような高品質の仮想画像を作成する。システムは、多くの作画部を最適化し、より高い解像度を達成することの両方に役立つビデオブランケットの作画部を使用している。好適なビデオブランケットでは、カメラは、表面上に幾何学的パターンで配置されている。
Description
【技術分野】
【０００１】
米国政府は、本発明における支払済みライセンスを有し、且つ、限られた状況の下で特許権所有者に対してＤＡＲＰＡによって認可された契約番号ＤＡＡＢ０７−９８−Ｄ−Ｈ７５１、およびＮ０００１９−９９−Ｃ−１３８５の条件により規定された合理的な条件に基づいて他人に許諾することを求める権利を有する。
【０００２】
本発明は、画像処理の領域、詳細には少なくとも２つの実像からの任意の視点から見られる仮想画像の作成に向けられている。
【背景技術】
【０００３】
スマートビデオ処理用のアルゴリズムにおける、集積電子工学および増加する精巧さへのコンピュータ能力の極度の進歩によって、特殊効果の妙技がもたらされ、それが、劇的な画像および現世離れした空想的世界を創り出している。それはまた、ビデオおよび画像のより進歩した解析手法を主流分野にもたらしている。更に、ビデオカメラは、広く普及してきている。たった２、３ドルのビデオＣＭＯＳカメラは既に、車、携帯用コンピュータ、更にはおもちゃにまで組み込まれている。カメラは、マイクロプロセッサと全く同様に、あらゆる形態の製品およびシステムの至る所に組み込まれている。
【０００４】
同時に、インターネットおよびその他の配信メディアの帯域幅の増加によって、カメラシステムが広範にわたって使用されるようになり、遠隔地のライブビデオ映像を供給している。これによって、より一層の対話的および仮想的な（immersive）テレプレゼンス、すなわち、見る人に、自分たちが実際遠隔地にいるように感じさせることのできる仮想表現への要望が高まってきている。遠隔テレプレゼンス用に遠隔サイトの視野を提供するために、そのサイト全体にわたって実際に見る人の移動が可能となる環境を作成することが必要である。この環境は、静的部分（建物、道路、木等）および動的部分（人、自動車等）から成る。環境の静的部分の形状は、多くの公知の技術を使って、オフラインでモデリングすることができる。比較的複雑な環境に対しては、これらの技術はどれもまだ完全に自動化された解決策を提供していないが、静的部分は変化しないので、オフラインの非リアルタイムな対話型モデリングが、いくつかのアプリケーションに対して十分であろう。多くの市販システム（GDIS、PhotoModeler等）は、環境および対象物用の対話型ツールを提供している。
【０００５】
静的場面の一般的モデリング用に、サイトモデルが、実行可能なオプションを提供している。しかし、サイトモデルは、現在および変化する場面の外観を捕捉する外観表現を含んでいない。定義によれば、１場面の動的構成部品は１回もモデリングできない。静的部品に対してさえも、場面の外観は、変化する照明および影によって変化し、環境の変更によって変化する。場面の静的部品の最新の外観を維持するために、ビデオは、場面に関する費用効果の良い、有用な現在情報のソースを提供する。
【０００６】
T.Kanade、P.J.NarayanおよびP.Randerによる米国特許第６，０８４，９７９号、「仮想現実作成の方法」は、動的に変化する内部表現を使って仮想視点から画像を作成する方法を説明している。この内部表現は、対象物を中央に配置した３次元の場面のモデルであって、半球状ドーム内に設置された５１台のビデオカメラの画像から２段階のプロセスで作成されている。このシステムの画像品質は、一般的には高いが、必要な内部表現を作成する計算上の複雑さが、このシステムはオフラインで動作することを意味し、そのことがテレプレゼンス用アプローチとしては受け入れられなくしている。また、各フレーム用に扱う必要のあるビデオデータは膨大な量であるため、ＣＭＵグループはフレーム速度を６Ｈｚに低減させる結果となっている。
【０００７】
半郊外環境の現在の映像は、リアルタイムに近い状態でサイトモデルへ合わせることができることは、以前に説明されている。テクスチャモデルは次いで、標準的グラフィックパイプラインを利用してレンダリングできる。モデルを映像と組み合わせるこのプロセスの視覚的な比喩は、映像フラッシュライトである。与えられた１回の瞬間時間での多数のカメラビューは、それらが対応する視点から場面の外観を捕捉する映像フラッシュライトとして考えられる。多数の外観は、モデルと一貫して組み合わされて、多数のユーザに、映像フラッシュライトからの現在の外観を眺めながら環境の中を自由に見て回る能力を提供する。映像フラッシュライトについての記載は、S.Hsu、S.Samarasekera、R.KumarおよびH.S.Sawhneyによる「映像を使用したポーズ推定、モデル改良、および強化された仮想化」中に含まれており、CVPR2000に記載されている。
【０００８】
サイトモデル、および以前に説明した映像フラッシュライト方法は、非常に印象的な遠隔目視システムを備えている一方で、所望の対話型テレプレゼンスには少々満たない。人間などの動的対象物の現実的なテレプレゼンスのためには、レンダリングだけではなく、モデリングもリアルタイムで行わなければならない。例えば、一人の人が部屋または中庭などの閉鎖環境内で動き回っている際、ユーザは、ユーザの制御下で、その人の周りを仮想的に歩きたいであろう。連続的に変化する視点をユーザの制御下で提供するためには、動的対象物の表現を連続的に構築し、且つ維持することが望ましい。
【０００９】
従来のグラフィックパイプラインベースのレンダリングでは、多角形モデルおよび場面グラフィックとして記憶されている場面および対象物は、Ｚバッファ法およびテクスチャマッピングを利用してレンダリングされている。このようなレンダリングの複雑さは、場面の複雑さに依存する。標準的なグラフィックパイプラインハードウェアが、高性能のレンダリングのために最適化されている。
【００１０】
しかし、動的場面を伴うテレプレゼンスアプリケーションにおいては、モデリングおよびレンダリングの両方を、オンラインでリアルタイムに行うことが望ましい。使用する方法は、人間対象物を含む多様な場面に適用できる必要があるが、他の場面の捕捉およびレンダリングを除いておくべきでない。従って、幾何学的モデルが入手可能なこともあるという仮定は、非現実的である。人間の形状については、一般的な身体モデルを仮定し、次にそのモデルを画像へ適合することが、有用なアプローチであるとの議論があるであろう。とはいえ、このアプローチを不可能にするような、モデルから画像への対応付け、初期化、および最適化といった未解決の問題がある。
【００１１】
SIGGRAPH1995に記載のL.McMillaおよびG.Bishopによる「Plenopticモデリング：画像ベースのレンダリングシステム」の中で記述されているように、画像ベースのモデリングおよびレンダリングは、場面のモデリングおよびレンダリングについて考えるための新しいフレームワークとして出現している。画像ベースの表現およびレンダリングは、可能性として、高品質のレンダリングと相対的に独立した場面の計算上の複雑さとの混合を提供する。画像ベースのレンダリング技術は、一場面の完全な量のビューを同時に網羅する必要は無く、少量の範囲内で、ある数量の視点からの視野を提供するだけでよいテレプレゼンス等のアプリケーションに特に適しているであろう。画像ベースのレンダリングの複雑さは、新しいビュー内でレンダリングされる画素数の桁数からくるので、場面の複雑さは、計算に大きな影響をもたらさない。
【００１２】
画像ベースのモデリングおよびレンダリングでは、動的対象物のビューを捕捉するために多数のカメラを使用している。多数のビューが、どのような与えられた時間の瞬間でも同期化され、連続的に更新される。目標は、対象物の周りの合理的な範囲内にあるどの仮想視点からでも、各時間の瞬間に、対象物の周りを３６０度の適用範囲を提供することである。
【００１３】
同時に多くのユーザへズームの制御を提供するために、ズームレンズおよびカメラの使用は実現不可能である。ズームレンズを介する物理的制御は、１回にひとつの視点についてのみ可能であり、１人のユーザによってのみ可能である。実データに基づく解像度の合成制御は、限られた解像度制御を提供できる。普通、そのような制御は、目に見えるほどの品質低下を伴わずに少なくとも２倍の拡大率を提供できるかもしれない。
【００１４】
実際のカメラ間で、仮想視点は、２台の最近接のカメラからの画像をトゥイーン化(tweening)することによって作成できる。オプティカルフロー法は、通常、トゥイーン化画像を作成するために使用される。あいにく、従来のオプティカルフロー法のみを使用すると、トゥイーン化画像の作成にいくつかの問題点を引き起こすことになる。特に難しいのは、特に薄い構造物の大きな動き、例えば、野球バットのスイングの解像度、および、例えば、人間の手と身体の間のオクルージョン／ディオクルージョンである。
【発明の開示】
【００１５】
本発明は、画像ベースのテレプレゼンスシステム内で実施され、その内部では、画像は局部奥行きマップ(local depth map)を使用してフォワードワープされ、次いで、マージされて高品質の仮想画像を形成している。本発明のひとつの局面によれば、このシステムは、改良された方法を使用して、複数の固定電子カメラによって網羅される１場面内のひとつの仮想視点から見られるような、高品質の仮想画像をリアルタイムで作成する。最初に、固定電子カメラによって生成された画像の中から、少なくとも２つの画像を選択して、高品質の仮想画像の作成に使用する。選択した画像は、これらの画像に対応する奥行きマップを作成するために使用される。次に、ワープパラメータを計算して、選択した画像を、対応する奥行きマップを使用して仮想視点へワープさせ、次いで、これらのワープパラメータのセットを使用してワープさせる。最後に、ワープ画像がマージされて、選択した視点から見られるような高品質の仮想画像を作成する。
【００１６】
本発明の別の局面によれば、システムは、色区分法を使用して、特に、テクスチャのない領域における奥行きマップ計算の品質と速度を改良する。最初に、画像を（画素値、またはサブ画素値との組み合わせによって）類似色の区分へ分割し、各区分の初期推定奥行きが作成される。奥行きは、多くの反復の上で洗練され、ここで、各区分の奥行きは他の区分の奥行きを固定したままで、順次最適化される。
【００１７】
本発明の別の局面によれば、システムは、電子カメラのビデオブランケット(video blanket)配列を採用している。このビデオブランケットは、カメラの数の最適化に役立つ。好適なビデオブランケットでは、複数のカメラが、表面上に幾何学的模様で配置されている。
【発明を実施するための最良の形態】
【００１８】
本発明は、対話型テレプレゼンスへの従来のアプローチが持つ多くの問題を克服する。これは、新しい画像ベースのアプローチを使用して達成される。従来型オプティカルフローベースのトゥイーン化の限界は、場面を３次元で捕捉し、次に、その場面を新しい視点からレンダリングすることによって克服できる。従来技術のグローバル３次元表現をリアルタイムで実行するための重要な問題は、全てのビューを各時間の瞬間に集中処理するための要求事項である。アルゴリズムおよびカメラ配置の改良によって、本発明は、これらの問題を回避し、有用な対話型テレプレゼンスを達成できる。
【００１９】
遠隔テレプレゼンスのひとつの重要な局面は、絶えず変化する遠隔環境の視点を提供し、それによって、環境内での安定性および自然な動きを提供する能力である。実際のシステムでは、視点は、与えられたアプリケーションに該当する遠隔作業空間の全ての部分を網羅する。例えば、ビジネス会議用には、物理的に出席している人間が、着席している間、または、動いている間に見るであろう作業空間・出席者のビューを提供することは当然である。更に、グローバルパノラマ的および仮想的なビューを提供して完全な環境を示すことができる。また、場面の部分にズームインする能力も提供できる。スムーズな平行移動によって、人間が物理的な場面を検索する方法を真似る。このようなテレプレゼンスシステムのひとつの重要な局面は、広範囲な視点内でビューパラメータに対して、カメラズームの要素と合わせて、多くのユーザに独自のコントロールを提供するというユニークな特徴である。
【００２０】
本発明の好適な実施例では、カメラの配列をビデオブランケットとして使用して、所望する場面の視野を提供する。カメラは、最適な方法で配置し、処理に必要な画素の総量を最少化する一方で、視野を最大化する。カメラ間の奥行き・視差マップは、局部形状マップの生成に使用される色分別法の助けを借りて計算する。次に、局部形状マップを、解像度画像データと共に使用して、実カメラの視点だけではなく、実カメラの範囲内に配置される仮想カメラ用の視点から多くの解像度レンダリングを提供する。
【００２１】
本発明の好適な実施例では、所望の仮想視点用の形状によって、ビデオブランケット構成に対する３つの異なる表面を使用する。これらの表面は、平面状、管状および球状である。管状および球状の表面は、必ずしも閉鎖されていないことに留意されたい。平面状および管状の構成では共に、カメラを６角形に配置させ、表面全域がタイル張り(tiled)される６角形の頂点に配置させている。球状構成では、カメラは、フラーレン内の炭素原子のように配置してもよく、表面全域がタイル状にされる５角形および６角形の配列の頂点に配置してもよい。
【００２２】
信頼できる局部奥行きマップを作成するためのアルゴリズムが、開発されている。捕捉された画像内にある場面の全ての点の一般的位置および対応する位置にある多数のカメラの相対的ポーズおよび固有のパラメータが与えられれば、静的場面の３次元構造は、三角測量と呼ばれる方法を使って復元できる。立体視は、機械解析によって画像形状対応付け（対応付けマッチング(correspondence matching)）を確立することによって、この目標を達成する非侵襲的技術である。本発明の好適な実施例では、発明者は、ビューベースによる場面の体積的表現を用いた３次元復元アルゴリズムを用いる。
【００２３】
対応付けマッチングを生成する便利な方法は、オプティカルフロー法を用いることである。しかし、対のカメラ間の大きな変位または一般的には大きな差異は、そのような変位は、勾配または検索ベースの方法の捕捉範囲内にはないことがあるので、標準的なオプティカルフローアルゴリズムでは扱えない。理想的には、検索ベースのアルゴリズムの広大な捕捉範囲および勾配ベースのアルゴリズムによって生成されるオプティカルフロー値の精度を得たいものである。大きな変位の問題および従来のオプティカルフロー法に見られる小形の対象物の非互換性を克服するため、およびそれらの適応性を高めるために、発明者は、多数仮説のオプティカルフロー・視差推定アルゴリズムを設計しているが、このアルゴリズムは、広範囲の検索の特徴と高精度のコースツーファイン(coarse to fine)勾配法とを結合している。
【００２４】
アルゴリズムは、１セットの固定された差異でスタートする。各点でのフローの推定は、各仮説に関して精度をあげてゆく。最終のオプティカルフローは、各点での最良のフローを選択することによって生成される。一旦、奥行き情報が局部立体画像から得られると、新しい近接ビューを、フォワードワーピングアルゴリズムを使用してレンダリングすることができる。好適な実施例では、メッシュベースの超解像度アルゴリズムを実行している。正確なオクルージョン互換性走査順序を使用すると、ワープ画像は説得力のある３次元効果を示す。このアルゴリズムが持つ４つの主要素は、奥行きマップからのフローレンダリング、奥行き変換、メッシュベースの超解像度ワーピング、およびオクルージョン互換性走査である。最後に、２台またはそれ以上のカメラからのワープ画像はマージされて、画像品質を更に改良し、特に、オクルージョン／ディオクルージョンの取り扱いを改良する。
【００２５】
このテレプレゼンスシステム用の好適な操作モードの例は：
観測モード−人々がテレプレゼンスを利用して遠隔地を観るが、その地の人達あるいは物とは対話しない−見るけれど見られはしない。ユーザは、物理的にはそこに居ない状態で、あたかもその場面に居るように感じる。アプリケーションには以下を含んでいる：
安全性：警備員が（仮想的で控えめに）施設の周りを歩いて、許可された人の活動を観察し、可能性のある侵入者を調査する。
【００２６】
旅行：ユーザが、よく知らない都市を訪れ、（仮想的に）その都市の道路を歩いて日々の生活および文化を観察する。
【００２７】
会話モード−二人またはそれ以上の人が異なった場所でテレプレゼンスシステムを利用してお互いに会話をする。テレプレゼンスシステムは、物理的対面に匹敵する顔と顔を合わせる視的な接触を提供する。それにより、人々がアイコンタクトをし、誰が誰を見ているか、あるいは誰が注意を払っているか、そして誰が目をそらしているかを見ることが可能となる。アプリケーションには以下を含んでいる：
ビジネスのビデオ会議および家族と友人との間の仮想の会合。
【００２８】
対話モード−二人またはそれ以上の人がテレプレゼンスを利用して、彼らが何らかの共通作業をする時に、互いを観察する。システムは、観察および会話の両方を提供する−これにより、会話を続けながら、一人が、もう一人の彼または彼女が手で行っていることを観察できる。アプリケーションには以下を含んでいる：
軍務室：異なる場所にいる軍事リーダが、作業現場および使命行動を示す壁掛け掲示を含む（仮想の）作業環境を共有して、あたかも同じ部屋にいるかのように歩き回り、互いに話をする。
【００２９】
通信会議：遠隔地にいるビジネスマンが、ホワイトボードおよびビューグラフディスプレイ装置等の共通（仮想的）作業領域を含む会議に参加すると同時に、あたかも同じ部屋にいるかのように歩き回り、互いに話をする。
【００３０】
手術室：異なる場所にいる外科医のチームが、手術を行う。実際の手術室にいる外科医が実際の外科ステップを実施する一方で、遠隔地にいる外科医は患者を詳細に観察し、アドバイスを提供し、仮想の作業空間で手順を示す。
【００３１】
台所：友人同士、各々が彼または彼女自身の台所にいながら、レシピを共有し、準備のステップを示す。彼らは、あたかも同じ部屋にいるかのように、互いの手を観察し、鍋の中を見て、話をする。
【００３２】
スポーツ：自分の家にいる友人同士が、仮想の共通の競技場で一緒になり、彼らがあたかもグランド上にいるかのように、イベントを眺めながら、放送されているスポーツイベントを楽しむ。
【００３３】
本発明は、人的対象物等の複雑な対象物を近接範囲で撮った動的画像を捕捉して、広範囲な対象物のビューを網羅するリアルタイムのレンダリングに対して修正可能な表現を作成できる方法に焦点を当てている。この目標を実現するために、３分野で進歩がなされている：
最適化されたビデオブランケット配列のカメラの使用、
色区分を利用して改良された、奥行きマップ推定方法、そして
新しい画像ベースのアプローチを用いて、テレプレゼンスシステムを作成する。ここで、画像は、局部奥行きマップを使用してフォワードワーピングされ、次いで、マージされて高品質の仮想画像を形成する。
【００３４】
図１は、平面状に配置されて、カメラにより場面の視野を提供するビデオブランケットの好適な実施例を示す。図１は、場面の有効な視野を提供するために使用されるカメラ１の６角形構成を示す略図である。６角形の水平方向の伸びは、６角形のアスペクト比が使用されるカメラのそれと同一であるようなものであってもよいし、代替として、水平または垂直方向の伸びはなくてもよい。
【００３５】
カメラの間隔およびビデオブランケットの広さ（カメラの数）は、アプリケーションの仕様による。また、図１に示す平面状のビデオブランケットの好適な実施例が、水平方向に主軸を有し、その方向に少し伸びている６角形を示しているとはいえ、この形状はどちらも必要ではないことにも留意されたい。
【００３６】
上記の通り、従来のオプティカルフロートゥイーン化法を使用するテレプレゼンスシステムでは、カメラ間の最大角度分離が６〜８度未満の場合にのみ、適切なトゥイーン化画像が得られることが分かっている。本発明では、３０〜４０度まで高いカメラ間の角度分離を使用して、実際的でかつ正確なトゥイーン化画像を生成している。
【００３７】
同様の６角形のカメラ構成を、管状表面上に配置して、場面を１周する視点を可能にしてもよい。テレプレゼンスアプリケーションが全３６０度からの視点を使用しなければ、ビデオブランケットは、所望の視点の角度範囲に等しい角度範囲を有することのみ必要となる。同様に、管状ビデオブランケットの直線範囲は、所望の直線視点を含む十分な距離に到達していることのみ必要である。管状表面の直線の向きは、アプリケーションの仕様によって、どの方向に向いていてもよいことに留意されたい。また、管は円形である必要はない。特に、スタジアム等の楕円形場面の有効範囲は、ビデオブランケットのアプローチに良く適しているだろう。非円形管は、いくらか追加の計算の複雑さの原因となるが、この追加による複雑さの大半は、カメラの配置および方向を表す入力パラメータを計算している間にオフラインで生じるであろう。従って、非円形管状表面上のビデオブランケットは、円形管状表面上のそれと同程度の容易さで使用できる。周囲の形状または長さが変化する管状表面を使用することも可能である。
【００３８】
球状表面上では、６角形は、平面上および管状表面上程きれいなタイル状にはならない。管状ビデオブランケットと同様に、球状ビデオブランケットは可能な全角度からの視点を提供する必要はなく、従って、全表面を網羅する必要はなくてもよい。最もよくあることは、球状表面は、テレプレゼンスのユーザが少なくとも半球状領域からの視点を望む場合に使用されることであろう。これらのアプリケーションに対する球状ビデオブランケットは、一緒にタイル状にされた６角形および５角形の頂点に配置されるカメラから成る。フラーレン内の炭素原子は、種々の球状表面を最適にタイル状にするための６角形および５角形の配列方法の有用なモデルを提供している。
【００３９】
どの表面を使用するにしても、テレプレゼンスの場所への物理的制約により、多くのカメラをビデオブランケット表面上の最適な位置に、または表面上に全く配置することができないことが時々ある。この場合には、カメラは、できるだけ最適な位置に近く配置すべきであり、カメラの位置および方向に対する入力パラメータを計算する場合に、差異を対処できる。位置決めにおけるこれらの変更により、いくつかのカメラ間の角度分離が所望のテレプレゼンス用の最大値を越す場合に、最適なセットアップに追加のカメラを使用することになるかもしれない。
【００４０】
対話型テレプレゼンスを生成できるシステムを実現するために、複数のカメラからの場面内で任意の視点からリアルタイムで高品質の仮想画像を生成する信頼性の高い手段を持つことが望ましい。図２は、高品質の仮想画像を作成するための、本発明の好適な実施例の方法を示すフローチャートである。
【００４１】
図２では、最初に実像を撮り１０１、視点を選択する１０２。次に、カメラおよび視点パラメータに基づいて、システムは、高品質の仮想画像を作成するために使用すべき画像をステップ１０３で選択する。選択された各画像用に、局部奥行きマップを計算する１０４。次に、局部奥行きマップからの視点パラメータおよび情報を使用して計算を行い１０５、実像を選択した視点にワープさせるために使用すべきワープパラメータを決定する。画像は、選択した視点へワープされる１０６。最後に、ワープ画像が、マージされ１０７、選択した視点から見られるのと同様の場面の高品質な仮想画像がもたらされる１０８。
【００４２】
ステップ１０２での視点選択は、ユーザが、ジョイスティック、トラックボールまたはマウス等を使用して対話的に行うか、あるいは、ユーザの向きおよび位置等の基準に基づいてもよい。また、視点選択１０２は、場面の中のあるセットを追跡するか、またはある特徴を追跡するか、または、上記方法の組み合わせかを予め決めておいてもよい。
【００４３】
ステップ１０３での画像選択は通常、仮想視点がカメラとほぼ同一面にある場合は、実カメラの位置の仮想視点への近接に基づいて、２つまたは３つの最良画像を選択する。視点が、カメラによって画成される表面から大きく離れている場合、または、オクルージョン／ディオクルージョンに問題があると懸念される場合、選択基準は、仮想視点の線から離れているカメラ、更には直交するビューのフィールドを有するカメラからの画像を含んでいてもよい。
【００４４】
ステップ１０４での局部奥行きマップ計算は、当該技術に精通している者にとっては明らかな多くの方法で行ってもよい。本発明の好適な実施例では、オプティカルフロー法を取り入れたビューベースの容積法を使用している。本発明の別の好適な実施例では、色区分ベースの立体方法(stereo method)を使用して、局部奥行きマップを得ている。これらの方法は、リアルタイム計算への従順性によって選択される。レンジファインダおよび構造光システム等の、奥行きを検知する非目視センサの使用も検討されている。
【００４５】
ひとたび奥行きマップが分かれば、実像を新しい視点へワープさせるためのワープパラメータは、奥行きベースのワーピングアルゴリズムを使用して、ステップ１０５で生成できる。基準画像内で得た奥行き情報が使用できる前に、レンダリングを目的として、それを新しいビュー座標方式へ変換することが望ましい。基準ビューおよび新規ビューとの間の相対的ポーズ(relative pose)が分かっているので、奥行き変換は簡単に得ることができる。
【００４６】
本発明者は、基準ビュー内の画素の奥行きＺが、方程式（１）で表わしてもよいことを判定した。
【００４７】
【数１】
【００４８】
方程式（１）で、ｋは視差、そしてｄは前面からの距離である。従って、画像マトリクスＭ内の点Ｐの３次元座標は、Ｐ＝Ｍ-1［ｘ，ｙ，１］TＺである。回転マトリックスおよび平行移動マトリックスＲおよびＴをそれぞれ使用すると、新規ビュー内の３次元座標は、Ｐ’＝ＲＭ-1［ｘ，ｙ，１］TＺ＋Ｔであり、次いで、新しい奥行きが得られる。この奥行き情報は、例えば、多くのワープ画像がＺバッファ法を使用してブレンドされる場合に有用である。
【００４９】
奥行き情報を使用することによって、画像ワーピングプロセス１０６は、正確な可視性(visibility)（場面のどの部分が見えるべきか）を生成するのに役立つ。穴埋め(hole filling)および画像ブレンディング等の技術を使用して、露出しているオクルード画面領域を埋めることができる。当該技術に精通している者にとって公知の、種々の画像ワーピング技術を使用して、実像を新規視点へフォワードワーピングしてもよい。本発明で使用されるであろうフォワードワーピング技術の例は、米国特許第５，９６３，２１３号に記載されている。
【００５０】
本発明の好適な実施例で使用する方法は、図８を参照して以下に詳細に記載する。
【００５１】
場面の多くの局部奥行きマップを復元する場合、新規ビューは、これらの局部ビューからのワープ画像を組み合わせることによって合成してよい。正確な可視性を維持するために、奥行き情報も、この新規ビューへ変換することが望ましい。これは、局部奥行き画像をフォワードワーピングすることによって実行される。
【００５２】
次いで、ワープ画像は、高品質の仮想画像へマージされる。画像マージングプロセス１０７は、差し止め請求権を持つ当該技術に精通している者にとっては公知の、いかなる標準的方法で行ってもよく、ワープ画像内の欠落画素は、平均値の一部として、またはフィルタされた値の中でのいずれも、最終画像には寄与しない。言い換えれば、ひとつの画像からオクルードされるいかなる特徴も、その特徴がオクルードされない画像からの情報によって独占的に埋められる。本発明の好適な実施例では、ひとつの特徴が他の多くのワープ画像からの多数の値を有する場合、局部奥行きマップが使用されて、特徴の表現を最適化するマージング方法を決定する。本発明で使用されるであろうマージング方法の例は、米国特許出願第０９／２７４，０６４号、「背景情報の挿入によりリアルタイムで安定した画像から黒色領域を除去する方法および装置(METHOD AND APPARATUS FOR REMOVING BLANK AREAS FROM REAL-TIME STABILIZED IMAGES BY INSERTING BACKGROUND INFORMATION)」に記載されている。
【００５３】
最終ステップ１０８は、高品質の仮想画像を提供することである。
【００５４】
多様な制約の下で画像マッチングに依存する多様な方法が、立体視において局部奥行きマップを作成するために開発されている。初期の立体視の研究についての考察が、１９８９年のIEEE Transactions on System,Man,and Cybernetics, vol.19,no.6のU.DhondおよびJ.Aggarwalによる「立体からの構造：考察」の中に見ることができる。本発明のひとつの実施例では、局部奥行き推定の色区分法の好適例が使用されて、一対のカメラの一般化された立体配列を用いる高密度（dense)場面構造の推定を改良している。立体視では標準であるように、固有のカメラパラメータおよび外部ポーズの情報が提供されると仮定する。高密度３次元構造の抽出は、１対の画像間の対応付けを確立することを含む。
【００５５】
立体マッチングは、マッチングのあいまい性、場面構造の変化に起因する画像変形、鮮明な表面境界の描写、および２つの画像におけるオクルージョン／ディオクルージョンに起因するマッチングしない領域、の問題に対処しなければならない。一般的には、マッチングにおけるあいまい性を処理するために、ウインドウ処理を行って、１画素より大きな領域上の情報を集積する。これは、古典的なマッチングのあいまい性除去と奥行きの正確さとの兼ね合いを導く。十分な詳細を有する領域では、小形のウインドウで十分なマッチング情報を提供できるかもしれないが、より広範囲にわたる奥行き変化（差異）へのマッチングは、あいまい性マッチングのために可能ではないかもしれない。
【００５６】
現存する多くの立体アルゴリズムにおける困難な仕事のひとつは、テクスチャのない領域内で正確な奥行きを見つけることである。小形のウインドウは本来、これらの領域においてあいまいであるので、最高のマッチングスコアをピッキングすることによって作成される奥行きマップは通常、ノイズが多い。
【００５７】
好適な色区分アプローチにとって重要な観察は、同系色の領域内では、通常は、大きな奥行きの不連続性はないということである。この観察は、基準画像の同系色領域への区分に基づく奥行き表現が有用であることを意味している。各色区分に対して平面に残余差異を加えた表現を使用して、局部奥行きマップの好適な色区分方法が作成されている。より具体的には、各色区分において、奥行き表面は、各ピクセルに小さな奥行き変化を加えた平面としてモデリングする。この表現を使用して、テクスチャのない領域内の奥行きは、スムーズであることが保障される。更に、近接領域に基づいて与えられた領域の奥行きを仮定することによって、マッチングしていない領域用にさえ合理的な奥行き推定を得る方法を使用してよい。
【００５８】
このモデルは、テクスチャのない領域内のスムーズさを保障する。多数の小さな区分が存在するような、スムーズではあるがテクスチャのある領域に対しては、スムーズさは区分全域にわたって強要するものではない。しかし、奥行き推定は、これらの領域内では、スムーズさの制約がなくても信頼できる傾向にある。
【００５９】
この方法においては、色区分は最終目標ではないことを強調しなければならない。スムーズな表面の過区分は許容される。本発明の好適な実施例は、奥行き境界が色区分境界と一致するという一般的に有効な発見的手法に基づいている。色区分と意味／対象物領域との関連性を、一般的に、色区分作業として試みる必要はない。各区分用に表現を初期化する方法は、画像差異に基づき局部マッチングスコアを計算することである。次いで、ひとつの区分内で各画素用に最高のマッチングを見つけ出し、平面に適合させる。単純な再帰的アルゴリズムが平面を再帰的に調整する。
【００６０】
また、局部マッチングスコアに基づくか、または走査線に沿ってのみグローバル可視性を実行することを試みる代わりに、より基本的なグローバルマッチング基準が使用される。奥行きが正しい場合、奥行きによって第２の視点へレンダリングされる画像は、その視点からの実像に類似しているはずであると、基準は述べている。この基準は、合成による解析のパラダイムに従い、そして、基本的なマッチング基準である。与えられたいかなる奥行きマップについてもその良さを、グローバル可視性を強調することによってチェックする方法を提供する。正確な奥行き境界および薄い構造物も、この基準に基づいて得られる。
【００６１】
このアプローチに関する２つの当面の問題点には、膨大な解空間および高価な合成プロセスがある。Ｎ個の画素を持つひとつの画像用として、各画素はｄ個の異なる数量化された奥行き値を有するとすれば、可能性のある異なる奥行きマップの合計数は、ｄNとなる。徹底的な検索は、これらの構成のそれぞれをワーピングし、解として最良の構成を見つける。
【００６２】
提起したアプローチに対する第２の問題は、反復ごとの合成のコストである。解空間が画素数、例えば０．５Ｎにおいて線形であるとしても、最良の奥行きマップを見つけるために、基準画像を０．５Ｎ回ワープすることは、計算上まだ実際的ではない。
【００６３】
最初の問題について解決するために、色区分ベースの表現、および近接奥行き仮説法を、局部検索アルゴリズムの中で組み合わせる。計算上の配慮以上に重要なことは、このアプローチが、同系色領域内で奥行きのスムーズさを強調し、マッチングしていない領域に対して合理的な奥行きを推定することを可能にすることでもある。
【００６４】
そのものずばりの強引な(greedy)局部検索アルゴリズムを使用してもよい。好適なアルゴリズムでは、各区分の隣接する奥行きの仮定は全て、他の区域が固定されている間に試験される。最高のグローバルマッチングスコアを与える近接奥行き仮定は記録される。全ての区分が試験された後、それらの奥行きは、初期の奥行き、およびマッチングスコアによる最高の近接仮定から選択することによって更新される。このプロセスは、奥行きの変化を伴う合計の区分数が小さくなるか、または、反復回数が一定の値を越すまで、反復して行われる。
【００６５】
正確な奥行きを仮定することによって、ワープ画像がより良いマッチングを引き起こすので、このプロセスによって、正確な奥行きが広がることが可能になる。例えば、背景の区分の奥行きは、近傍のテクスチャ処理を施した前景領域からの奥行きの広がりが原因で、前景の奥行きとして間違って計算されるかもしれない。しかし、誤りは、背景区分が、近接する正確な背景区分の奥行きを有するよう仮定され、その仮定が勝てば、訂正できる。このプロセスは、大量の初期奥行きの誤りを許容するよう見出された。
【００６６】
近接する奥行きを仮定する別の利点は、マッチングされていない領域に対し合理的な奥行きを得るよう役立つことである。マッチングされていない領域については、奥行きは、図４に示すように近接する背景区分の延長のようなものである。図４の図面は、ひとつの基準内にある３つの区分、背景にある区分５００、前景にある区分５０４、および第２の画像（図示なし）によってオクルードされる区分５０２を示している。点線５０６は、第２の画像内にある区分５０４の位置を示す。区分５０２は画像のうちのひとつだけに現れるので、特定の奥行きを得ることは可能ではない。本発明の好適な色区分方法では、区分の奥行きは、定義されないまま残すよりは、むしろ、区分５００の奥行きと同一であると仮定してもよい。この推定は、追加画像からの情報によって精度を上げてもよい。
【００６７】
図３はこの好適な、局部奥行きマップの色区分方法のステップを示すフローチャートである。最初に、画像は色区分へ区分される、ステップ４００。画像を同系色領域内へ分解するアルゴリズムはどれでもこの目的には機能する。アルゴリズムにおける最も重要なパラメータは、ひとつの領域を多数のサブ領域へ区分するための閾値として選択される画素値（または、サブ画素値と組み合わせた範囲）の範囲である。この範囲が小さい場合は、画像は過区分化できる。この範囲が大きい場合は、画像は過少区分化される。好適なアルゴリズムは、各区分の内側で奥行きの連続性を厳密に補強するので、過少区分は避けるべきである。１９９７年のProceedings of IEEE Conference on Computer Vision and Pattern Recognitionの、D.ComaniciuおよびP.Meerによる「特徴空間のロバスト解析：色画像区分」の中で提起されている方法は、使用できるひとつの方法である。
【００６８】
次に、初期の奥行き推定は、各区分に対してなされる、図３のステップ４０２。初期の奥行き表現のための３ステップは、（i）画像差異体積でマッチングスコアを計算する、（ii）各区分内における平面適合、および(iii)各区分内の残余差異計算、である。
【００６９】
標準的な（平行な）立体セットアップ用には、第２のビューにある点の対応付けは、基準ビューと同一の走査線上にある。対応する点の水平方向の変位は、位置差異と呼ぶ。同様に、任意の２つのビューに対しても、マッチングする点は第２の画像内のエピポーラ線上にある。標準的な立体セットアップ用に、高密度な点の対応付けを計算するために、画像差異体積におけるマッチングスコアは最初に計算する。より具体的には、（範囲内および固定した変位間隔で）可能性のある全ての水平方向の変位のためのマッチングスコアを、最初に計算する。これが、３次元のマッチングスコア配列を形成するが、これを、画像差異マッチング体積と呼ぶ。各セル（ｘ、ｙ、ｚ）は、基準画像内の画素（ｘ、ｙ）および第２の画像内の（ｘ＋ｄ、ｙ）との間の相関のためにマッチングスコアを保持する。次に、各画素に対しては、最高のスコアがピックされ、対応する変移が奥行きへ変換される。同様の考え方が、公式がより複雑になることを除いて、任意のビューに適用される。どちらの場合でも、同一の差異表面は、基準ビュー内の前面である。
【００７０】
画像差異マッチング体積が計算されると、各色区分用に平面が適合される。最初に、区分の中で各画素用に最高の奥行き値を見出し、次に、奥行き値に最も適合する平面を計算する。より具体的には、各区分内の平面の方程式は、方程式（２）によって与えられる。
Ｚp＝１／Ｚ＝ａｘ＋ｂｙ＋ｃ （２）
（ｘ、ｙ）が画像点である場合、Ｚは基準カメラ座標システムにおけるその奥行きである。次に、ａ、ｂ、ｃは方程式（３）に示す線形システムの最少二乗法の解である。
Ａ［ａ，ｂ，ｃ］t＝Ｂ （３）
ここで、Ａの各行は画素用の［ｘ,ｙ,１］ベクトルで、Ｂの各行はその対応する１／Ｚである。
【００７１】
反復適合プロセスは、異常値の影響を削減するよう成されてもよい。この考えは、図５ａ〜図５ｃで説明されている。最初に、画像内の画素ごとの奥行きを、最高のマッチングスコアをピックすることによって決定する。マッチングスコアは、階調の正規相関マッチング（または絶対誤差合計）スコア、または点の周りの色ウインドウ、隣り合う画素間の動きの類似性等の多くの測定値によって計算されてもよい。アライメントの品質をチェックするための異なるアプローチが、K.Hanna、R.Kumar、J.Bergen、J.Lubin、H.Sawhneyによる米国特許申請第０９／３８４，１１８号「画像処理の方法と装置」の中に記載されている。
【００７２】
ひとたび最高のマッチングスコアが決定されると、平面６００は区分の中に適合される。次の反復の中で各画素の奥行きが、適合された平面の与えられた範囲６０８内で、その範囲内の最高のマッチングスコアを見つけることによって選択される。図５ｂでは、範囲外にある画素６０４および６０６は範囲６０８内に適合するように変更されている。平面パラメータは、これらの奥行きに基づいて、適宜、更新される。図５ｃは、新規平面６０２および新規範囲６１０を説明している。このプロセスは、平面パラメータが大きく変化しなくなるまで数回にわたって反復する。このプロセスは、特に、マッチングのあいまいさが発生するような、テクスチャのない大きな領域内に平面を適合するのに有用である。より一般的には、Ｍ−推定、最小二乗メディアン推定、またはＲＡＮＳＡＣのような、他の何れのロバストな平面適合方法も使用してよい。
【００７３】
この好適な表現によって、各区分内の平面モデルからの小さな変更が可能となる。各画素の実際の奥行きは、方程式（４）に示す。
１／Ｚ＝Ｚp＋Ｚr （４）
ひとたび平面パラメータが決定されると、各画素用にＺpが分かる。Ｚrは小さなＺpの範囲内で、画像差異体積内の最高のマッチングを配置することによって計算する。残余差異Ｚrは、各区分の中でスムーズ化され、初期の色区分ベースの奥行き表現を得る。
【００７４】
図３にある次のステップ４０４は、各色区分用に多くの奥行き仮定を作成することである。各区分用の仮定は、近接する各区分から生成される。与えられた区分の平面パラメータは、近接する区分のこれらを使用して、置き換えられ、仮定を作成する。次に、各画素用の残余差異は、平面の周りを検索し、与えられた区分内でスムーズ化することによって見出される。
【００７５】
次に、単一の区分の奥行き仮定が試験されるが、この間、他の区分は全て初期の奥行きを維持する、ステップ４０６。奥行き表現は、全部の区分の試験が行われた後に、更新される。毎回、ひとつの区分の奥行きだけが変化するので、画像の小部分だけ試験する必要がある。好適なアルゴアルゴリズムを、図６ａ〜図６ｄに示す。基準画像である図６ａは、最初に、初期の奥行き（すなわち各区用の初期の奥行き）を使用して第２のビューへワープ化される。この画像をベースワープと呼ぶ、図６ｂ。
【００７６】
ここで、区分７００の奥行きが、そのマッチング度合いを計算するために近接する仮定のひとつで置き換えられた場合、奥行きの変化で影響を受ける画素だけを考慮すればよい。例えば、図６ｃでは、区分７００の奥行きが変化している。図６ｄのワープ画像内では、区分７０２の領域７０６が可視となり、一方で、区分７００は不可視となっている。新規奥行きマップのマッチングスコアは、領域７０６のマッチングスコアをベースワープスコアに加え、そして、区分７００のマッチングスコアを引くことによって計算される。この例は、これらの仮定を検定するための好適なアルゴリズムを提案している。
【００７７】
この好適なアルゴリズムには、ベースワープ用に、各画素用に、ワープされた奥行き、区分ＩＤ、および２つの最上部層のマッチングスコアが記憶されている。ベースワープのマッチングスコアの変化は、可視となる画素のマッチングスコアを加算し、不可視となる画素のマッチングスコアを減算することによって計算する。各試験では、ひとつの区分の奥行きのみが変化するので、２つの最上部層だけが可視となるかもしれないが、これらの層に関する情報は記録しておくべきである。３番目の層は、もともとはその前にあって常に不可視の２層の少なくともひとつによって閉塞されるので、マッチングスコアには影響を及ぼさない。
【００７８】
図３にある次のステップ４０８は、最良で前向きな改良を加えた仮定を使用して各区分の奥行きを更新する。どの仮定も前向きな改良を与えない場合は、その区分用には、初期の奥行きを保持しておく。
【００７９】
次に、奥行きマップの改良プロセスが、予め決定しておいた最大反復数に到達しているかを確定する、ステップ４１０。この数が到達している場合は、現在の奥行きマップが最終の局部奥行きマップとして選択される、ステップ４１４。数が到達していない場合は、最も最近に行った一連の奥行き変化を解析する、ステップ４１２。変化が予め決めた基準以下の場合は、現在の奥行きマップが最終の局部奥行きマップとして選択される、ステップ４１４。そうでなければ、プロセスはステップ４０４へ戻り、別の奥行き仮定の反復が始まる。ステップ４１０は、計算の必要性が少ないので、ステップ４１０および４１２の好適な順序付けが、選択されていることに留意されたいが、これらのステップは、保存してもよいし、一方を除外してもよい。
【００８０】
平面および小さな残余差異の表現は、高度な曲面を有する対象物には十分でないかもしれない。より自由度の高い奥行き表現が、この問題を解決する可能性のあることは検討されてきている。また、奥行き境界が同系の色区分内に現れることが、時々生じることがある。問題となる区分、または計画的過少区分の中に分割を仮定する方法を使用して、これらの問題を克服してもよい。
【００８１】
更に、色区分は、オプティカルフロー計算にも使用できることに留意されたい。奥行きベースのフォワードワーピングをオクルージョン互換性のある走査ワーピングに置き換えることによって、これらの方法を組み合わせてもよい。頂点の位置等の一定の情報が、大まかに分かる場合は、これが有益なアプローチであることを立証することになるかもしれない。
【００８２】
本発明の別の好適な実施例では、ビューベースの容積法を使用して画像の奥行きマップを作成する。分かりやすくするために、ビューベースの容積法の概念を、標準的な２カメラ修正画像システムを使って説明する。２つの画像内の対応する点を決定するためにオプティカルフローを使用してよい。エピポールの形状から、最初の画像（基準画像）内のどの画像点に対しても、第２の画像（検査画像）内の対応する点は、共に、カメラを分離する線に平行な走査線上にある。この線に沿う対応付けを見つけることが、１次元検索問題である。検査画像内の変位量を、差異と呼ぶ。２次元画像用でも、合計の検索空間は３次元である。画像座標、および、差異を使用してこの空間をパラメータ化することができ、その空間を場面体積と呼ぶ。ビューベースの体積アプローチは、基準画像内の全ての画素の全ての差異値について、マッチングのよさを計算することによって、この体積を生成する。各画素用の最大マッチングスコアを用いて、可能性のあるひとつの解を達成できる。しかし、画像ノイズおよびマッチングのあいまいさにより、その解はノイズがあるか、または全く間違っているかもしれない。場面の多用な物理的制約を課して、解を正当化できる。計算上は、これらの制約は、３次元体積の緩和プロセスとして便宜的に公式化する。
【００８３】
場面構造の多くの制約が提起されている。T.PoggioおよびD.Marrは、Proceedings of the Royal Society,London B,204,1979の中の「人物の立体視についての計算理論」と題する記事の中で２つの制約を提起している：協調的制約および一意性制約である。協調的制約は、物事には結束性があるので、差異はほとんどの場所でスムーズに変化すると述べている。一意性制約は、基準画像内の各画素に対して、一意的奥行きは復元されて、対応する３次元ボクセルを形成するような要求を課している。ビューベースの体積表現においては、これら２つの制約は、２つの計算規則に転換される。協調的制約は、隣接するボクセルが類似の値を有する傾向にあることを意味している。一意性制約は、基準カメラか検査カメラのいずれかからの光線発射の都度、ひとつのボクセルだけが実際の物理的表面上にあることを要求している。
【００８４】
協調的制約をむやみに使用すると、奥行きの不連続性に近い問題を引き起こすであろう。画像のテクスチャ部分は、隣接するテクスチャのない領域内へ成長する傾向がある。この問題を克服するために、像の連続性制約を取り入れることができる。この制約は、スムーズな画像領域が、奥行きの大きな不連続性を有するべきではない条件を述べている。これは、画像密度の値がより近似している場合にのみ、より強固な強調が発生するので、３次元体積の計算用語に転換するのは容易である。これら２つの意見は、全く同じではないが、テクスチャ領域は、一般的には、より優れた奥行き推定を有するので、協調が少なくても深刻な問題にはならない。
【００８５】
３次元体積内の各ボクセルの値が、反復数ｎでＬn（ｘ，ｙ，ｄ）であるとする。協調的帯域内で集められるローカルサポートＳn（ｘ，ｙ，ｄ）は方程式（２）で与えられる、
【００８６】
【数２】
【００８７】
ここで、Φは協調的帯域を示し、ｅ（ｘ，ｙ，ｘ’，ｙ’）は、基準画像内の画素（ｘ，ｙ）および（ｘ’，ｙ’）用の類似度関数である。一意性制約を強調するために、ボクセル（ｘ，ｙ，ｄ）に対し抑制Ｒn（ｘ，ｙ，ｄ）が方程式（３）で与えられる、
【００８８】
【数３】
【００８９】
ここで、Θは抑制帯域である。全体として、ボクセル（ｘ，ｙ，ｄ）に対する更新式は、方程式（４）で与えられる。
【００９０】
【数４】
【００９１】
パラメータβは一意性制約の強度をコントロールする。好適な実施例では、β＝３である。
【００９２】
アルゴリズムは、画像座標および視差を使用して、体積をパラメータ化することによって任意の画像構成へ拡大できる。基本的には、視差は検査画像内のエピポーラ線に沿った変位量を表わし、一般化された、差異として見ることができる。視差は、検査ビューのポーズに対して不変な相対的アフィン構造である。これは、２つ以上のビューを集積する機構を提供する。
【００９３】
初期体積の相関スコアが緩和プロセスで使用されるので、ロバストな相関関数を使用することが好ましい。２つの候補として、正規自己相関および二乗誤差合計がある。正規相関はテクスチャ領域用にはよいが、スムーズな領域上では明確でない。反対にＳＳＤは、強さのマッチングにはよいが、全体的な照明の変化に敏感である。本発明の好適な実施例では、方程式（５）に示すように、これら２つの関数の一次線形組み合わせが使用される。
【００９４】
【数５】
【００９５】
αはＳＳＤ用の加重係数である。好適な実施例では、α＝０．５である。
【００９６】
修正してない２カメラシステムでは、体積全体を走査するために、各視差平面に関して、各光線の交差を計算することが望ましい。このプロセスは、計算上、費用がかかる。この問題を克服するために、本発明の好適な実施例では、近似値を適用する。体積全体を走査する目的は、光線に沿って最高値を見つけることなので、この値は、検査画像の画素からの各光線発射について記憶しておいてもよい。次いで、検査画像内の各ボクセルの位置を計算する。次いで、最も近接する検査画素内に記憶される値を、使用する。ボクセルは、抑制光線に沿った最大値かもしれないので、各光線に沿った２つの最大値を、その対応する奥行きと同様に記憶させる。
【００９７】
単純なスプラッティングベースのフォワードワーピングアルゴリズムを使用してワープ画像内の画素値を得てもよいが、この形式のアルゴリズムは、過大または過小のスプラッティングカーネルを使用することによって、不鮮明な画像、または孔の原因となるかもしれない。W.R.MarkおよびG.Bishopによって「３次元画像ワーピングのレンダリング後の有効な復元技術」（UNC Computer Science Technical Report TR98-011,University of North Carolina, March 21, 1998）と題する記事の中で提起されているフォワードワーピングアルゴリズムを、本発明の好適な実施例の中で使用してもよい。このアルゴリズムは、メッシュベースの内部表面表現によって、画素をスプラッティングすることによって画像変形の問題を解決する。奥行きの不連続性は、メッシュの伸びが一定の閾値を超えた時、検知される。図８は、本発明の好適な実施例で使用されるプロセスを示す。最初の基準画像６０、およびそれに対応するフロー６１は、より高い解像度に対して最初にスーパーサンプリングされる。次いで、その解像度で各画素６２に対して、それを囲む４角形６３が、その近接する画素６２の位置を平均化することによって得られる。最初の画素値は、次に、この４角形領域６３の中へスプラットされる。最後に、高解像度の画像が、最初のサイズへダウンサンプリングされる。
【００９８】
Ｚバッファは、レンダリングされた画像内で対象物の正確な可視性を確実にするために使用されるレンダリング技術である。Ｚバッファは、本発明の中で使用してよいが、計算上の要求から、リアルタイムのアプリケーションに対する理想的な選択には少し劣る。本発明の好適な実施例で使用され、図７ａ〜図７ｄに示されるもうひとつの、より有用な技術は、オクルージョン互換性走査順序４１によって画素をワープすることである。図７ａに示すように、基準画像内のエピポール４０が分かっていれば、理想的な走査順序４１は、エピポーラ線に対して垂直方向に沿って動き、同時に、エピポール４０を縮小の焦点、または拡大の焦点として使用して、エピポール４０へ向かって、またはエピポール４０から離れてゆくことである。図７ｂに、このプロセスの概略近似を示す。エピポールがハッチングされた領域５０内にある場合、４シート水平・垂直走査順序が使用される。エピポールが領域５１内にある場合、４シート垂直・水平走査順序が使用される。図７ｃおよび図７ｄは、エピポールが縮小の焦点である場合について、これらの走査順序を別々に示す。この近似は、エピポール４０が画像の外側にある場合でも、うまく機能する。
【００９９】
図９は、画像処理すべき空間の平面図であって、多様な角度から場面７０の画像を捕捉するために使用する多数のカメラ７１を示している。本発明の好適な実施例では、カメラ７１は、図１に示すようなビデオブランケット構成で配置される。
【０１００】
図１０は、本発明の仮想カメラシステム８０のブロックダイアグラムである。実像を捕捉するために、少なくとも２台のカメラが使用される。カメラの位置、向き、および解像度を特定するパラメータは、オフラインで計算できる。本発明の好適な実施例では、これらのカメラ８１は、ビデオブランケット構成で配列される。視点選択入力８２は、高品質の仮想画像を作成するための位置、向き、およびズームパラメータを特定し、画像選択手段８３の制御も提供する。カメラおよび視点のパラメータに基づいて、画像選択手段８３は次に、高品質の仮想画像を作成するために使用される少なくとも２つの画像を選択する。選択された各画像に対して、奥行き推定手段８４によって、局部奥行きマップが計算される。次に、計算手段８５は、実像を選択された視点へワープするために必要なワープパラメータの計算を行う。カメラおよび視点のパラメータは、局部奥行きマップからの情報と共に使用される。ワープパラメータは次いで、画像ワーパ８６によって使用され、実像を選択された視点へワープさせる。奥行き推定、ワープパラメータ計算、および画像ワーピングのプロセスは、連続的に実行するか、または図１０に示すように、パイプライン化された並列的プロセスとして実行してよい。本発明の好適な実施例では、これらの要素、８４，８５および８６の３つ全てにおいて、並列処理を使用する。最後に、画像マージ装置８７は、ワープ画像を、選択された視点から見られる場面の、高品質の仮想画像へマージさせる。出力８８は、少なくともひとつのビデオモニタ、録画装置、コンピュータ、放送システム、または組み合わせであってもよい。
【０１０１】
本発明の好適な実施例では、仮想カメラシステム８０は、図３を参照して上記の方法を用いて操作される。
【０１０２】
図１１は、本発明で使用する画像処理のステップを示す一連の図面であって、２つの選択された実像９０および１９０から高品質の仮想画像９３を作成する。描かれた場面は、壁、および壁の前に吊るされている立方体９４を含む。画像９０は、少し上方から右に向かう立方体９４を示す一方で、画像１９０は、少し上方から左に向かう立方体９４を示す。高品質仮想画像９３内では、立方体９４は、少し上方から真っ直ぐな方向で見える。
【０１０３】
最初の奥行きマップ９１および１９１は、ステップ９６によって作成される。奥行きマップ９１および１９１内では、立方体９４は、多様な奥行きの所に置かれていることが示されている一方で、壁は、均一な奥行きを有する。次に、少し上方で真っ直ぐな方向からの立方体９４を示すワープ画像９２および１９２が、ステップ９７で生成される。オクルード領域９５は、ワープされた各画像９２および１９２内に現れている。これらのオクルード領域９５は、画像９０および１９０内で立方体９４によってオクルードされていた壁の一部である。最後に、ワープ画像９２および１９２は、ステップ９８でマージされて、高品質な仮想画面９３を生成する。この画像内では、画像９２からオクルードされた領域９５は、ワープ画像１９２からのその領域のための情報を使用することによって、埋められる。システムは、２つの画像間の奥行きマップの差異を使用して領域を確認する。同様に、画像１９２からオクルードされた領域９５は、ワープ画像９２からのその領域のための情報を使用することによって、埋められる。この方法で、本発明のこの好適な方法は、損失領域を出すことなく、高品質な仮想画像を作成する。
【結論】
【０１０４】
要約すれば、本発明は、間隔を置いたカメラ群に基づく視野を提供する可能性を示す。アプローチは、局部奥行き検知、グローバルポーズ推定および画像ベースのレンダリングに依存する。計算の全ては局部的なカメラ群を伴うので、アルゴリズムは、ハードウェアおよびリアルタイムの実行へ容易にマッピングできる。従って、本発明者は、適切な画像パラメータ、カメラ構成および関係するアルゴリズムを用いて、映像ベースの奥行き検知を使用することが可能となり、仮想テレプレゼンスシステムのための、自由度が高く、多目的でコスト効率のよい解決策を提供できる。
【０１０５】
対話型テレプレゼンスは、これらの改良点を全て使用することもあるが、それぞれは個々に、従来の技術状況からの進歩を表わしている。従って、当該技術に精通している者にとって、これらの改良点のうち、一度に１または２つだけ使用することが有利であると分かることが時としてあることは言うまでもない。そのような使用は、本発明の精神から逸脱するものではない。同様に考えて、当該技術に精通している者にとって、上述の好適な実施例に対して、多くの変更、および応用が本発明を実質的に変更することなくなされるであろうことは、言うまでもない。
【図面の簡単な説明】
【０１０６】
【図１】図１は、場面の有効な視野を提供するよう使用される６角形構成のカメラを説明する構成図である。
【図２】図２は、高品質の仮想画像を作成するための本発明の方法のフローチャートである。
【図３】図３は、色区分を使用して、局部奥行きマップを作成するための好適なフローチャートである。
【図４】図４は、色区分を説明するために、ある場面を示す一対の図面である。
【図５】図５ａ、５ｂおよび５ｃは、反復形平面化プロセスを示す図である。
【図６】図６ａ、６ｂ、６ｃおよび６ｄは、仮定された色区分奥行きマップの迅速な仮説試験を示す図である。
【図７ａ】図７ａは、エピポールの寸法形状が分かっている画像ワーピング用のオクルージョン互換性走査順序法(compatible traversal order method)を示す図である。
【図７ｂ】図７ｂは、画像の行および列をガイドラインとして使用して追従すべき適切な走査順序を決める２つの領域を示す図である。
【図７ｃ】図７ｃは、エピポールが図７ｂの領域５０内にある図形縮小の焦点である４シートの水平・垂直走査順序を説明する図である。
【図７ｄ】図７ｄは、エピポールが図７ｂの領域５１内にある図形縮小の焦点である４シートの水平・垂直走査順序を説明する図形である。
【図８】図８は、ワーピング画像の品質を改良するために使用されるメッシュベースのスプラッティング(splatting)プロセスの説明に有用な画像図である。
【図９】図９は、画像処理する空間の平面図であって、多様な角度から場面の画像を捕捉するために使用している多数のカメラを示している。
【図１０】図１０は、本発明の仮想カメラシステムのブロック図である。
【図１１】図１１は、選択された２つの実像から高品質の仮想画像を作成するために、本発明の中で使用した画像処理のステップを説明する一連の図である。
【符号の説明】
【０１０７】
１ カメラ
４０ エピポール
４１ オクルージョン互換性走査順序
５０ 領域
５１ 領域
６０ 基準画像
６１ フロー
６２ 画素
６３ ４角形領域
７０ 場面
７１ カメラ
８０ 仮想カメラシステム
８１ カメラ
８２ 視点選択入力
８３ 画像選択手段
８４ 奥行き推定手段
８５ 計算手段
８６ 画像ワーパ
８７ 画像マージ装置
８８ 出力
９０ 実像
９１ マップ
９２ ワープ画像
９２ 画像
９３ 仮想画像
９４ 立方体
９５ オクルード領域
９６ ステップ
９７ ステップ
９８ ステップ
Ｍ 画像マトリクス
ｎ 反復数
Ｐ 点
Ｒ 平行移動マトリックス
Ｒn 抑制
Ｓn ローカルサポート
Ｚr 残余差異
β パラメータ
【０００１】
米国政府は、本発明における支払済みライセンスを有し、且つ、限られた状況の下で特許権所有者に対してＤＡＲＰＡによって認可された契約番号ＤＡＡＢ０７−９８−Ｄ−Ｈ７５１、およびＮ０００１９−９９−Ｃ−１３８５の条件により規定された合理的な条件に基づいて他人に許諾することを求める権利を有する。
【０００２】
本発明は、画像処理の領域、詳細には少なくとも２つの実像からの任意の視点から見られる仮想画像の作成に向けられている。
【背景技術】
【０００３】
スマートビデオ処理用のアルゴリズムにおける、集積電子工学および増加する精巧さへのコンピュータ能力の極度の進歩によって、特殊効果の妙技がもたらされ、それが、劇的な画像および現世離れした空想的世界を創り出している。それはまた、ビデオおよび画像のより進歩した解析手法を主流分野にもたらしている。更に、ビデオカメラは、広く普及してきている。たった２、３ドルのビデオＣＭＯＳカメラは既に、車、携帯用コンピュータ、更にはおもちゃにまで組み込まれている。カメラは、マイクロプロセッサと全く同様に、あらゆる形態の製品およびシステムの至る所に組み込まれている。
【０００４】
同時に、インターネットおよびその他の配信メディアの帯域幅の増加によって、カメラシステムが広範にわたって使用されるようになり、遠隔地のライブビデオ映像を供給している。これによって、より一層の対話的および仮想的な（immersive）テレプレゼンス、すなわち、見る人に、自分たちが実際遠隔地にいるように感じさせることのできる仮想表現への要望が高まってきている。遠隔テレプレゼンス用に遠隔サイトの視野を提供するために、そのサイト全体にわたって実際に見る人の移動が可能となる環境を作成することが必要である。この環境は、静的部分（建物、道路、木等）および動的部分（人、自動車等）から成る。環境の静的部分の形状は、多くの公知の技術を使って、オフラインでモデリングすることができる。比較的複雑な環境に対しては、これらの技術はどれもまだ完全に自動化された解決策を提供していないが、静的部分は変化しないので、オフラインの非リアルタイムな対話型モデリングが、いくつかのアプリケーションに対して十分であろう。多くの市販システム（GDIS、PhotoModeler等）は、環境および対象物用の対話型ツールを提供している。
【０００５】
静的場面の一般的モデリング用に、サイトモデルが、実行可能なオプションを提供している。しかし、サイトモデルは、現在および変化する場面の外観を捕捉する外観表現を含んでいない。定義によれば、１場面の動的構成部品は１回もモデリングできない。静的部品に対してさえも、場面の外観は、変化する照明および影によって変化し、環境の変更によって変化する。場面の静的部品の最新の外観を維持するために、ビデオは、場面に関する費用効果の良い、有用な現在情報のソースを提供する。
【０００６】
T.Kanade、P.J.NarayanおよびP.Randerによる米国特許第６，０８４，９７９号、「仮想現実作成の方法」は、動的に変化する内部表現を使って仮想視点から画像を作成する方法を説明している。この内部表現は、対象物を中央に配置した３次元の場面のモデルであって、半球状ドーム内に設置された５１台のビデオカメラの画像から２段階のプロセスで作成されている。このシステムの画像品質は、一般的には高いが、必要な内部表現を作成する計算上の複雑さが、このシステムはオフラインで動作することを意味し、そのことがテレプレゼンス用アプローチとしては受け入れられなくしている。また、各フレーム用に扱う必要のあるビデオデータは膨大な量であるため、ＣＭＵグループはフレーム速度を６Ｈｚに低減させる結果となっている。
【０００７】
半郊外環境の現在の映像は、リアルタイムに近い状態でサイトモデルへ合わせることができることは、以前に説明されている。テクスチャモデルは次いで、標準的グラフィックパイプラインを利用してレンダリングできる。モデルを映像と組み合わせるこのプロセスの視覚的な比喩は、映像フラッシュライトである。与えられた１回の瞬間時間での多数のカメラビューは、それらが対応する視点から場面の外観を捕捉する映像フラッシュライトとして考えられる。多数の外観は、モデルと一貫して組み合わされて、多数のユーザに、映像フラッシュライトからの現在の外観を眺めながら環境の中を自由に見て回る能力を提供する。映像フラッシュライトについての記載は、S.Hsu、S.Samarasekera、R.KumarおよびH.S.Sawhneyによる「映像を使用したポーズ推定、モデル改良、および強化された仮想化」中に含まれており、CVPR2000に記載されている。
【０００８】
サイトモデル、および以前に説明した映像フラッシュライト方法は、非常に印象的な遠隔目視システムを備えている一方で、所望の対話型テレプレゼンスには少々満たない。人間などの動的対象物の現実的なテレプレゼンスのためには、レンダリングだけではなく、モデリングもリアルタイムで行わなければならない。例えば、一人の人が部屋または中庭などの閉鎖環境内で動き回っている際、ユーザは、ユーザの制御下で、その人の周りを仮想的に歩きたいであろう。連続的に変化する視点をユーザの制御下で提供するためには、動的対象物の表現を連続的に構築し、且つ維持することが望ましい。
【０００９】
従来のグラフィックパイプラインベースのレンダリングでは、多角形モデルおよび場面グラフィックとして記憶されている場面および対象物は、Ｚバッファ法およびテクスチャマッピングを利用してレンダリングされている。このようなレンダリングの複雑さは、場面の複雑さに依存する。標準的なグラフィックパイプラインハードウェアが、高性能のレンダリングのために最適化されている。
【００１０】
しかし、動的場面を伴うテレプレゼンスアプリケーションにおいては、モデリングおよびレンダリングの両方を、オンラインでリアルタイムに行うことが望ましい。使用する方法は、人間対象物を含む多様な場面に適用できる必要があるが、他の場面の捕捉およびレンダリングを除いておくべきでない。従って、幾何学的モデルが入手可能なこともあるという仮定は、非現実的である。人間の形状については、一般的な身体モデルを仮定し、次にそのモデルを画像へ適合することが、有用なアプローチであるとの議論があるであろう。とはいえ、このアプローチを不可能にするような、モデルから画像への対応付け、初期化、および最適化といった未解決の問題がある。
【００１１】
SIGGRAPH1995に記載のL.McMillaおよびG.Bishopによる「Plenopticモデリング：画像ベースのレンダリングシステム」の中で記述されているように、画像ベースのモデリングおよびレンダリングは、場面のモデリングおよびレンダリングについて考えるための新しいフレームワークとして出現している。画像ベースの表現およびレンダリングは、可能性として、高品質のレンダリングと相対的に独立した場面の計算上の複雑さとの混合を提供する。画像ベースのレンダリング技術は、一場面の完全な量のビューを同時に網羅する必要は無く、少量の範囲内で、ある数量の視点からの視野を提供するだけでよいテレプレゼンス等のアプリケーションに特に適しているであろう。画像ベースのレンダリングの複雑さは、新しいビュー内でレンダリングされる画素数の桁数からくるので、場面の複雑さは、計算に大きな影響をもたらさない。
【００１２】
画像ベースのモデリングおよびレンダリングでは、動的対象物のビューを捕捉するために多数のカメラを使用している。多数のビューが、どのような与えられた時間の瞬間でも同期化され、連続的に更新される。目標は、対象物の周りの合理的な範囲内にあるどの仮想視点からでも、各時間の瞬間に、対象物の周りを３６０度の適用範囲を提供することである。
【００１３】
同時に多くのユーザへズームの制御を提供するために、ズームレンズおよびカメラの使用は実現不可能である。ズームレンズを介する物理的制御は、１回にひとつの視点についてのみ可能であり、１人のユーザによってのみ可能である。実データに基づく解像度の合成制御は、限られた解像度制御を提供できる。普通、そのような制御は、目に見えるほどの品質低下を伴わずに少なくとも２倍の拡大率を提供できるかもしれない。
【００１４】
実際のカメラ間で、仮想視点は、２台の最近接のカメラからの画像をトゥイーン化(tweening)することによって作成できる。オプティカルフロー法は、通常、トゥイーン化画像を作成するために使用される。あいにく、従来のオプティカルフロー法のみを使用すると、トゥイーン化画像の作成にいくつかの問題点を引き起こすことになる。特に難しいのは、特に薄い構造物の大きな動き、例えば、野球バットのスイングの解像度、および、例えば、人間の手と身体の間のオクルージョン／ディオクルージョンである。
【発明の開示】
【００１５】
本発明は、画像ベースのテレプレゼンスシステム内で実施され、その内部では、画像は局部奥行きマップ(local depth map)を使用してフォワードワープされ、次いで、マージされて高品質の仮想画像を形成している。本発明のひとつの局面によれば、このシステムは、改良された方法を使用して、複数の固定電子カメラによって網羅される１場面内のひとつの仮想視点から見られるような、高品質の仮想画像をリアルタイムで作成する。最初に、固定電子カメラによって生成された画像の中から、少なくとも２つの画像を選択して、高品質の仮想画像の作成に使用する。選択した画像は、これらの画像に対応する奥行きマップを作成するために使用される。次に、ワープパラメータを計算して、選択した画像を、対応する奥行きマップを使用して仮想視点へワープさせ、次いで、これらのワープパラメータのセットを使用してワープさせる。最後に、ワープ画像がマージされて、選択した視点から見られるような高品質の仮想画像を作成する。
【００１６】
本発明の別の局面によれば、システムは、色区分法を使用して、特に、テクスチャのない領域における奥行きマップ計算の品質と速度を改良する。最初に、画像を（画素値、またはサブ画素値との組み合わせによって）類似色の区分へ分割し、各区分の初期推定奥行きが作成される。奥行きは、多くの反復の上で洗練され、ここで、各区分の奥行きは他の区分の奥行きを固定したままで、順次最適化される。
【００１７】
本発明の別の局面によれば、システムは、電子カメラのビデオブランケット(video blanket)配列を採用している。このビデオブランケットは、カメラの数の最適化に役立つ。好適なビデオブランケットでは、複数のカメラが、表面上に幾何学的模様で配置されている。
【発明を実施するための最良の形態】
【００１８】
本発明は、対話型テレプレゼンスへの従来のアプローチが持つ多くの問題を克服する。これは、新しい画像ベースのアプローチを使用して達成される。従来型オプティカルフローベースのトゥイーン化の限界は、場面を３次元で捕捉し、次に、その場面を新しい視点からレンダリングすることによって克服できる。従来技術のグローバル３次元表現をリアルタイムで実行するための重要な問題は、全てのビューを各時間の瞬間に集中処理するための要求事項である。アルゴリズムおよびカメラ配置の改良によって、本発明は、これらの問題を回避し、有用な対話型テレプレゼンスを達成できる。
【００１９】
遠隔テレプレゼンスのひとつの重要な局面は、絶えず変化する遠隔環境の視点を提供し、それによって、環境内での安定性および自然な動きを提供する能力である。実際のシステムでは、視点は、与えられたアプリケーションに該当する遠隔作業空間の全ての部分を網羅する。例えば、ビジネス会議用には、物理的に出席している人間が、着席している間、または、動いている間に見るであろう作業空間・出席者のビューを提供することは当然である。更に、グローバルパノラマ的および仮想的なビューを提供して完全な環境を示すことができる。また、場面の部分にズームインする能力も提供できる。スムーズな平行移動によって、人間が物理的な場面を検索する方法を真似る。このようなテレプレゼンスシステムのひとつの重要な局面は、広範囲な視点内でビューパラメータに対して、カメラズームの要素と合わせて、多くのユーザに独自のコントロールを提供するというユニークな特徴である。
【００２０】
本発明の好適な実施例では、カメラの配列をビデオブランケットとして使用して、所望する場面の視野を提供する。カメラは、最適な方法で配置し、処理に必要な画素の総量を最少化する一方で、視野を最大化する。カメラ間の奥行き・視差マップは、局部形状マップの生成に使用される色分別法の助けを借りて計算する。次に、局部形状マップを、解像度画像データと共に使用して、実カメラの視点だけではなく、実カメラの範囲内に配置される仮想カメラ用の視点から多くの解像度レンダリングを提供する。
【００２１】
本発明の好適な実施例では、所望の仮想視点用の形状によって、ビデオブランケット構成に対する３つの異なる表面を使用する。これらの表面は、平面状、管状および球状である。管状および球状の表面は、必ずしも閉鎖されていないことに留意されたい。平面状および管状の構成では共に、カメラを６角形に配置させ、表面全域がタイル張り(tiled)される６角形の頂点に配置させている。球状構成では、カメラは、フラーレン内の炭素原子のように配置してもよく、表面全域がタイル状にされる５角形および６角形の配列の頂点に配置してもよい。
【００２２】
信頼できる局部奥行きマップを作成するためのアルゴリズムが、開発されている。捕捉された画像内にある場面の全ての点の一般的位置および対応する位置にある多数のカメラの相対的ポーズおよび固有のパラメータが与えられれば、静的場面の３次元構造は、三角測量と呼ばれる方法を使って復元できる。立体視は、機械解析によって画像形状対応付け（対応付けマッチング(correspondence matching)）を確立することによって、この目標を達成する非侵襲的技術である。本発明の好適な実施例では、発明者は、ビューベースによる場面の体積的表現を用いた３次元復元アルゴリズムを用いる。
【００２３】
対応付けマッチングを生成する便利な方法は、オプティカルフロー法を用いることである。しかし、対のカメラ間の大きな変位または一般的には大きな差異は、そのような変位は、勾配または検索ベースの方法の捕捉範囲内にはないことがあるので、標準的なオプティカルフローアルゴリズムでは扱えない。理想的には、検索ベースのアルゴリズムの広大な捕捉範囲および勾配ベースのアルゴリズムによって生成されるオプティカルフロー値の精度を得たいものである。大きな変位の問題および従来のオプティカルフロー法に見られる小形の対象物の非互換性を克服するため、およびそれらの適応性を高めるために、発明者は、多数仮説のオプティカルフロー・視差推定アルゴリズムを設計しているが、このアルゴリズムは、広範囲の検索の特徴と高精度のコースツーファイン(coarse to fine)勾配法とを結合している。
【００２４】
アルゴリズムは、１セットの固定された差異でスタートする。各点でのフローの推定は、各仮説に関して精度をあげてゆく。最終のオプティカルフローは、各点での最良のフローを選択することによって生成される。一旦、奥行き情報が局部立体画像から得られると、新しい近接ビューを、フォワードワーピングアルゴリズムを使用してレンダリングすることができる。好適な実施例では、メッシュベースの超解像度アルゴリズムを実行している。正確なオクルージョン互換性走査順序を使用すると、ワープ画像は説得力のある３次元効果を示す。このアルゴリズムが持つ４つの主要素は、奥行きマップからのフローレンダリング、奥行き変換、メッシュベースの超解像度ワーピング、およびオクルージョン互換性走査である。最後に、２台またはそれ以上のカメラからのワープ画像はマージされて、画像品質を更に改良し、特に、オクルージョン／ディオクルージョンの取り扱いを改良する。
【００２５】
このテレプレゼンスシステム用の好適な操作モードの例は：
観測モード−人々がテレプレゼンスを利用して遠隔地を観るが、その地の人達あるいは物とは対話しない−見るけれど見られはしない。ユーザは、物理的にはそこに居ない状態で、あたかもその場面に居るように感じる。アプリケーションには以下を含んでいる：
安全性：警備員が（仮想的で控えめに）施設の周りを歩いて、許可された人の活動を観察し、可能性のある侵入者を調査する。
【００２６】
旅行：ユーザが、よく知らない都市を訪れ、（仮想的に）その都市の道路を歩いて日々の生活および文化を観察する。
【００２７】
会話モード−二人またはそれ以上の人が異なった場所でテレプレゼンスシステムを利用してお互いに会話をする。テレプレゼンスシステムは、物理的対面に匹敵する顔と顔を合わせる視的な接触を提供する。それにより、人々がアイコンタクトをし、誰が誰を見ているか、あるいは誰が注意を払っているか、そして誰が目をそらしているかを見ることが可能となる。アプリケーションには以下を含んでいる：
ビジネスのビデオ会議および家族と友人との間の仮想の会合。
【００２８】
対話モード−二人またはそれ以上の人がテレプレゼンスを利用して、彼らが何らかの共通作業をする時に、互いを観察する。システムは、観察および会話の両方を提供する−これにより、会話を続けながら、一人が、もう一人の彼または彼女が手で行っていることを観察できる。アプリケーションには以下を含んでいる：
軍務室：異なる場所にいる軍事リーダが、作業現場および使命行動を示す壁掛け掲示を含む（仮想の）作業環境を共有して、あたかも同じ部屋にいるかのように歩き回り、互いに話をする。
【００２９】
通信会議：遠隔地にいるビジネスマンが、ホワイトボードおよびビューグラフディスプレイ装置等の共通（仮想的）作業領域を含む会議に参加すると同時に、あたかも同じ部屋にいるかのように歩き回り、互いに話をする。
【００３０】
手術室：異なる場所にいる外科医のチームが、手術を行う。実際の手術室にいる外科医が実際の外科ステップを実施する一方で、遠隔地にいる外科医は患者を詳細に観察し、アドバイスを提供し、仮想の作業空間で手順を示す。
【００３１】
台所：友人同士、各々が彼または彼女自身の台所にいながら、レシピを共有し、準備のステップを示す。彼らは、あたかも同じ部屋にいるかのように、互いの手を観察し、鍋の中を見て、話をする。
【００３２】
スポーツ：自分の家にいる友人同士が、仮想の共通の競技場で一緒になり、彼らがあたかもグランド上にいるかのように、イベントを眺めながら、放送されているスポーツイベントを楽しむ。
【００３３】
本発明は、人的対象物等の複雑な対象物を近接範囲で撮った動的画像を捕捉して、広範囲な対象物のビューを網羅するリアルタイムのレンダリングに対して修正可能な表現を作成できる方法に焦点を当てている。この目標を実現するために、３分野で進歩がなされている：
最適化されたビデオブランケット配列のカメラの使用、
色区分を利用して改良された、奥行きマップ推定方法、そして
新しい画像ベースのアプローチを用いて、テレプレゼンスシステムを作成する。ここで、画像は、局部奥行きマップを使用してフォワードワーピングされ、次いで、マージされて高品質の仮想画像を形成する。
【００３４】
図１は、平面状に配置されて、カメラにより場面の視野を提供するビデオブランケットの好適な実施例を示す。図１は、場面の有効な視野を提供するために使用されるカメラ１の６角形構成を示す略図である。６角形の水平方向の伸びは、６角形のアスペクト比が使用されるカメラのそれと同一であるようなものであってもよいし、代替として、水平または垂直方向の伸びはなくてもよい。
【００３５】
カメラの間隔およびビデオブランケットの広さ（カメラの数）は、アプリケーションの仕様による。また、図１に示す平面状のビデオブランケットの好適な実施例が、水平方向に主軸を有し、その方向に少し伸びている６角形を示しているとはいえ、この形状はどちらも必要ではないことにも留意されたい。
【００３６】
上記の通り、従来のオプティカルフロートゥイーン化法を使用するテレプレゼンスシステムでは、カメラ間の最大角度分離が６〜８度未満の場合にのみ、適切なトゥイーン化画像が得られることが分かっている。本発明では、３０〜４０度まで高いカメラ間の角度分離を使用して、実際的でかつ正確なトゥイーン化画像を生成している。
【００３７】
同様の６角形のカメラ構成を、管状表面上に配置して、場面を１周する視点を可能にしてもよい。テレプレゼンスアプリケーションが全３６０度からの視点を使用しなければ、ビデオブランケットは、所望の視点の角度範囲に等しい角度範囲を有することのみ必要となる。同様に、管状ビデオブランケットの直線範囲は、所望の直線視点を含む十分な距離に到達していることのみ必要である。管状表面の直線の向きは、アプリケーションの仕様によって、どの方向に向いていてもよいことに留意されたい。また、管は円形である必要はない。特に、スタジアム等の楕円形場面の有効範囲は、ビデオブランケットのアプローチに良く適しているだろう。非円形管は、いくらか追加の計算の複雑さの原因となるが、この追加による複雑さの大半は、カメラの配置および方向を表す入力パラメータを計算している間にオフラインで生じるであろう。従って、非円形管状表面上のビデオブランケットは、円形管状表面上のそれと同程度の容易さで使用できる。周囲の形状または長さが変化する管状表面を使用することも可能である。
【００３８】
球状表面上では、６角形は、平面上および管状表面上程きれいなタイル状にはならない。管状ビデオブランケットと同様に、球状ビデオブランケットは可能な全角度からの視点を提供する必要はなく、従って、全表面を網羅する必要はなくてもよい。最もよくあることは、球状表面は、テレプレゼンスのユーザが少なくとも半球状領域からの視点を望む場合に使用されることであろう。これらのアプリケーションに対する球状ビデオブランケットは、一緒にタイル状にされた６角形および５角形の頂点に配置されるカメラから成る。フラーレン内の炭素原子は、種々の球状表面を最適にタイル状にするための６角形および５角形の配列方法の有用なモデルを提供している。
【００３９】
どの表面を使用するにしても、テレプレゼンスの場所への物理的制約により、多くのカメラをビデオブランケット表面上の最適な位置に、または表面上に全く配置することができないことが時々ある。この場合には、カメラは、できるだけ最適な位置に近く配置すべきであり、カメラの位置および方向に対する入力パラメータを計算する場合に、差異を対処できる。位置決めにおけるこれらの変更により、いくつかのカメラ間の角度分離が所望のテレプレゼンス用の最大値を越す場合に、最適なセットアップに追加のカメラを使用することになるかもしれない。
【００４０】
対話型テレプレゼンスを生成できるシステムを実現するために、複数のカメラからの場面内で任意の視点からリアルタイムで高品質の仮想画像を生成する信頼性の高い手段を持つことが望ましい。図２は、高品質の仮想画像を作成するための、本発明の好適な実施例の方法を示すフローチャートである。
【００４１】
図２では、最初に実像を撮り１０１、視点を選択する１０２。次に、カメラおよび視点パラメータに基づいて、システムは、高品質の仮想画像を作成するために使用すべき画像をステップ１０３で選択する。選択された各画像用に、局部奥行きマップを計算する１０４。次に、局部奥行きマップからの視点パラメータおよび情報を使用して計算を行い１０５、実像を選択した視点にワープさせるために使用すべきワープパラメータを決定する。画像は、選択した視点へワープされる１０６。最後に、ワープ画像が、マージされ１０７、選択した視点から見られるのと同様の場面の高品質な仮想画像がもたらされる１０８。
【００４２】
ステップ１０２での視点選択は、ユーザが、ジョイスティック、トラックボールまたはマウス等を使用して対話的に行うか、あるいは、ユーザの向きおよび位置等の基準に基づいてもよい。また、視点選択１０２は、場面の中のあるセットを追跡するか、またはある特徴を追跡するか、または、上記方法の組み合わせかを予め決めておいてもよい。
【００４３】
ステップ１０３での画像選択は通常、仮想視点がカメラとほぼ同一面にある場合は、実カメラの位置の仮想視点への近接に基づいて、２つまたは３つの最良画像を選択する。視点が、カメラによって画成される表面から大きく離れている場合、または、オクルージョン／ディオクルージョンに問題があると懸念される場合、選択基準は、仮想視点の線から離れているカメラ、更には直交するビューのフィールドを有するカメラからの画像を含んでいてもよい。
【００４４】
ステップ１０４での局部奥行きマップ計算は、当該技術に精通している者にとっては明らかな多くの方法で行ってもよい。本発明の好適な実施例では、オプティカルフロー法を取り入れたビューベースの容積法を使用している。本発明の別の好適な実施例では、色区分ベースの立体方法(stereo method)を使用して、局部奥行きマップを得ている。これらの方法は、リアルタイム計算への従順性によって選択される。レンジファインダおよび構造光システム等の、奥行きを検知する非目視センサの使用も検討されている。
【００４５】
ひとたび奥行きマップが分かれば、実像を新しい視点へワープさせるためのワープパラメータは、奥行きベースのワーピングアルゴリズムを使用して、ステップ１０５で生成できる。基準画像内で得た奥行き情報が使用できる前に、レンダリングを目的として、それを新しいビュー座標方式へ変換することが望ましい。基準ビューおよび新規ビューとの間の相対的ポーズ(relative pose)が分かっているので、奥行き変換は簡単に得ることができる。
【００４６】
本発明者は、基準ビュー内の画素の奥行きＺが、方程式（１）で表わしてもよいことを判定した。
【００４７】
【数１】
方程式（１）で、ｋは視差、そしてｄは前面からの距離である。従って、画像マトリクスＭ内の点Ｐの３次元座標は、Ｐ＝Ｍ-1［ｘ，ｙ，１］TＺである。回転マトリックスおよび平行移動マトリックスＲおよびＴをそれぞれ使用すると、新規ビュー内の３次元座標は、Ｐ’＝ＲＭ-1［ｘ，ｙ，１］TＺ＋Ｔであり、次いで、新しい奥行きが得られる。この奥行き情報は、例えば、多くのワープ画像がＺバッファ法を使用してブレンドされる場合に有用である。
【００４９】
奥行き情報を使用することによって、画像ワーピングプロセス１０６は、正確な可視性(visibility)（場面のどの部分が見えるべきか）を生成するのに役立つ。穴埋め(hole filling)および画像ブレンディング等の技術を使用して、露出しているオクルード画面領域を埋めることができる。当該技術に精通している者にとって公知の、種々の画像ワーピング技術を使用して、実像を新規視点へフォワードワーピングしてもよい。本発明で使用されるであろうフォワードワーピング技術の例は、米国特許第５，９６３，２１３号に記載されている。
【００５０】
本発明の好適な実施例で使用する方法は、図８を参照して以下に詳細に記載する。
【００５１】
場面の多くの局部奥行きマップを復元する場合、新規ビューは、これらの局部ビューからのワープ画像を組み合わせることによって合成してよい。正確な可視性を維持するために、奥行き情報も、この新規ビューへ変換することが望ましい。これは、局部奥行き画像をフォワードワーピングすることによって実行される。
【００５２】
次いで、ワープ画像は、高品質の仮想画像へマージされる。画像マージングプロセス１０７は、差し止め請求権を持つ当該技術に精通している者にとっては公知の、いかなる標準的方法で行ってもよく、ワープ画像内の欠落画素は、平均値の一部として、またはフィルタされた値の中でのいずれも、最終画像には寄与しない。言い換えれば、ひとつの画像からオクルードされるいかなる特徴も、その特徴がオクルードされない画像からの情報によって独占的に埋められる。本発明の好適な実施例では、ひとつの特徴が他の多くのワープ画像からの多数の値を有する場合、局部奥行きマップが使用されて、特徴の表現を最適化するマージング方法を決定する。本発明で使用されるであろうマージング方法の例は、米国特許出願第０９／２７４，０６４号、「背景情報の挿入によりリアルタイムで安定した画像から黒色領域を除去する方法および装置(METHOD AND APPARATUS FOR REMOVING BLANK AREAS FROM REAL-TIME STABILIZED IMAGES BY INSERTING BACKGROUND INFORMATION)」に記載されている。
【００５３】
最終ステップ１０８は、高品質の仮想画像を提供することである。
【００５４】
多様な制約の下で画像マッチングに依存する多様な方法が、立体視において局部奥行きマップを作成するために開発されている。初期の立体視の研究についての考察が、１９８９年のIEEE Transactions on System,Man,and Cybernetics, vol.19,no.6のU.DhondおよびJ.Aggarwalによる「立体からの構造：考察」の中に見ることができる。本発明のひとつの実施例では、局部奥行き推定の色区分法の好適例が使用されて、一対のカメラの一般化された立体配列を用いる高密度（dense)場面構造の推定を改良している。立体視では標準であるように、固有のカメラパラメータおよび外部ポーズの情報が提供されると仮定する。高密度３次元構造の抽出は、１対の画像間の対応付けを確立することを含む。
【００５５】
立体マッチングは、マッチングのあいまい性、場面構造の変化に起因する画像変形、鮮明な表面境界の描写、および２つの画像におけるオクルージョン／ディオクルージョンに起因するマッチングしない領域、の問題に対処しなければならない。一般的には、マッチングにおけるあいまい性を処理するために、ウインドウ処理を行って、１画素より大きな領域上の情報を集積する。これは、古典的なマッチングのあいまい性除去と奥行きの正確さとの兼ね合いを導く。十分な詳細を有する領域では、小形のウインドウで十分なマッチング情報を提供できるかもしれないが、より広範囲にわたる奥行き変化（差異）へのマッチングは、あいまい性マッチングのために可能ではないかもしれない。
【００５６】
現存する多くの立体アルゴリズムにおける困難な仕事のひとつは、テクスチャのない領域内で正確な奥行きを見つけることである。小形のウインドウは本来、これらの領域においてあいまいであるので、最高のマッチングスコアをピッキングすることによって作成される奥行きマップは通常、ノイズが多い。
【００５７】
好適な色区分アプローチにとって重要な観察は、同系色の領域内では、通常は、大きな奥行きの不連続性はないということである。この観察は、基準画像の同系色領域への区分に基づく奥行き表現が有用であることを意味している。各色区分に対して平面に残余差異を加えた表現を使用して、局部奥行きマップの好適な色区分方法が作成されている。より具体的には、各色区分において、奥行き表面は、各ピクセルに小さな奥行き変化を加えた平面としてモデリングする。この表現を使用して、テクスチャのない領域内の奥行きは、スムーズであることが保障される。更に、近接領域に基づいて与えられた領域の奥行きを仮定することによって、マッチングしていない領域用にさえ合理的な奥行き推定を得る方法を使用してよい。
【００５８】
このモデルは、テクスチャのない領域内のスムーズさを保障する。多数の小さな区分が存在するような、スムーズではあるがテクスチャのある領域に対しては、スムーズさは区分全域にわたって強要するものではない。しかし、奥行き推定は、これらの領域内では、スムーズさの制約がなくても信頼できる傾向にある。
【００５９】
この方法においては、色区分は最終目標ではないことを強調しなければならない。スムーズな表面の過区分は許容される。本発明の好適な実施例は、奥行き境界が色区分境界と一致するという一般的に有効な発見的手法に基づいている。色区分と意味／対象物領域との関連性を、一般的に、色区分作業として試みる必要はない。各区分用に表現を初期化する方法は、画像差異に基づき局部マッチングスコアを計算することである。次いで、ひとつの区分内で各画素用に最高のマッチングを見つけ出し、平面に適合させる。単純な再帰的アルゴリズムが平面を再帰的に調整する。
【００６０】
また、局部マッチングスコアに基づくか、または走査線に沿ってのみグローバル可視性を実行することを試みる代わりに、より基本的なグローバルマッチング基準が使用される。奥行きが正しい場合、奥行きによって第２の視点へレンダリングされる画像は、その視点からの実像に類似しているはずであると、基準は述べている。この基準は、合成による解析のパラダイムに従い、そして、基本的なマッチング基準である。与えられたいかなる奥行きマップについてもその良さを、グローバル可視性を強調することによってチェックする方法を提供する。正確な奥行き境界および薄い構造物も、この基準に基づいて得られる。
【００６１】
このアプローチに関する２つの当面の問題点には、膨大な解空間および高価な合成プロセスがある。Ｎ個の画素を持つひとつの画像用として、各画素はｄ個の異なる数量化された奥行き値を有するとすれば、可能性のある異なる奥行きマップの合計数は、ｄNとなる。徹底的な検索は、これらの構成のそれぞれをワーピングし、解として最良の構成を見つける。
【００６２】
提起したアプローチに対する第２の問題は、反復ごとの合成のコストである。解空間が画素数、例えば０．５Ｎにおいて線形であるとしても、最良の奥行きマップを見つけるために、基準画像を０．５Ｎ回ワープすることは、計算上まだ実際的ではない。
【００６３】
最初の問題について解決するために、色区分ベースの表現、および近接奥行き仮説法を、局部検索アルゴリズムの中で組み合わせる。計算上の配慮以上に重要なことは、このアプローチが、同系色領域内で奥行きのスムーズさを強調し、マッチングしていない領域に対して合理的な奥行きを推定することを可能にすることでもある。
【００６４】
そのものずばりの強引な(greedy)局部検索アルゴリズムを使用してもよい。好適なアルゴリズムでは、各区分の隣接する奥行きの仮定は全て、他の区域が固定されている間に試験される。最高のグローバルマッチングスコアを与える近接奥行き仮定は記録される。全ての区分が試験された後、それらの奥行きは、初期の奥行き、およびマッチングスコアによる最高の近接仮定から選択することによって更新される。このプロセスは、奥行きの変化を伴う合計の区分数が小さくなるか、または、反復回数が一定の値を越すまで、反復して行われる。
【００６５】
正確な奥行きを仮定することによって、ワープ画像がより良いマッチングを引き起こすので、このプロセスによって、正確な奥行きが広がることが可能になる。例えば、背景の区分の奥行きは、近傍のテクスチャ処理を施した前景領域からの奥行きの広がりが原因で、前景の奥行きとして間違って計算されるかもしれない。しかし、誤りは、背景区分が、近接する正確な背景区分の奥行きを有するよう仮定され、その仮定が勝てば、訂正できる。このプロセスは、大量の初期奥行きの誤りを許容するよう見出された。
【００６６】
近接する奥行きを仮定する別の利点は、マッチングされていない領域に対し合理的な奥行きを得るよう役立つことである。マッチングされていない領域については、奥行きは、図４に示すように近接する背景区分の延長のようなものである。図４の図面は、ひとつの基準内にある３つの区分、背景にある区分５００、前景にある区分５０４、および第２の画像（図示なし）によってオクルードされる区分５０２を示している。点線５０６は、第２の画像内にある区分５０４の位置を示す。区分５０２は画像のうちのひとつだけに現れるので、特定の奥行きを得ることは可能ではない。本発明の好適な色区分方法では、区分の奥行きは、定義されないまま残すよりは、むしろ、区分５００の奥行きと同一であると仮定してもよい。この推定は、追加画像からの情報によって精度を上げてもよい。
【００６７】
図３はこの好適な、局部奥行きマップの色区分方法のステップを示すフローチャートである。最初に、画像は色区分へ区分される、ステップ４００。画像を同系色領域内へ分解するアルゴリズムはどれでもこの目的には機能する。アルゴリズムにおける最も重要なパラメータは、ひとつの領域を多数のサブ領域へ区分するための閾値として選択される画素値（または、サブ画素値と組み合わせた範囲）の範囲である。この範囲が小さい場合は、画像は過区分化できる。この範囲が大きい場合は、画像は過少区分化される。好適なアルゴリズムは、各区分の内側で奥行きの連続性を厳密に補強するので、過少区分は避けるべきである。１９９７年のProceedings of IEEE Conference on Computer Vision and Pattern Recognitionの、D.ComaniciuおよびP.Meerによる「特徴空間のロバスト解析：色画像区分」の中で提起されている方法は、使用できるひとつの方法である。
【００６８】
次に、初期の奥行き推定は、各区分に対してなされる、図３のステップ４０２。初期の奥行き表現のための３ステップは、（i）画像差異体積でマッチングスコアを計算する、（ii）各区分内における平面適合、および(iii)各区分内の残余差異計算、である。
【００６９】
標準的な（平行な）立体セットアップ用には、第２のビューにある点の対応付けは、基準ビューと同一の走査線上にある。対応する点の水平方向の変位は、位置差異と呼ぶ。同様に、任意の２つのビューに対しても、マッチングする点は第２の画像内のエピポーラ線上にある。標準的な立体セットアップ用に、高密度な点の対応付けを計算するために、画像差異体積におけるマッチングスコアは最初に計算する。より具体的には、（範囲内および固定した変位間隔で）可能性のある全ての水平方向の変位のためのマッチングスコアを、最初に計算する。これが、３次元のマッチングスコア配列を形成するが、これを、画像差異マッチング体積と呼ぶ。各セル（ｘ、ｙ、ｚ）は、基準画像内の画素（ｘ、ｙ）および第２の画像内の（ｘ＋ｄ、ｙ）との間の相関のためにマッチングスコアを保持する。次に、各画素に対しては、最高のスコアがピックされ、対応する変移が奥行きへ変換される。同様の考え方が、公式がより複雑になることを除いて、任意のビューに適用される。どちらの場合でも、同一の差異表面は、基準ビュー内の前面である。
【００７０】
画像差異マッチング体積が計算されると、各色区分用に平面が適合される。最初に、区分の中で各画素用に最高の奥行き値を見出し、次に、奥行き値に最も適合する平面を計算する。より具体的には、各区分内の平面の方程式は、方程式（２）によって与えられる。
Ｚp＝１／Ｚ＝ａｘ＋ｂｙ＋ｃ （２）
（ｘ、ｙ）が画像点である場合、Ｚは基準カメラ座標システムにおけるその奥行きである。次に、ａ、ｂ、ｃは方程式（３）に示す線形システムの最少二乗法の解である。
Ａ［ａ，ｂ，ｃ］t＝Ｂ （３）
ここで、Ａの各行は画素用の［ｘ,ｙ,１］ベクトルで、Ｂの各行はその対応する１／Ｚである。
【００７１】
反復適合プロセスは、異常値の影響を削減するよう成されてもよい。この考えは、図５ａ〜図５ｃで説明されている。最初に、画像内の画素ごとの奥行きを、最高のマッチングスコアをピックすることによって決定する。マッチングスコアは、階調の正規相関マッチング（または絶対誤差合計）スコア、または点の周りの色ウインドウ、隣り合う画素間の動きの類似性等の多くの測定値によって計算されてもよい。アライメントの品質をチェックするための異なるアプローチが、K.Hanna、R.Kumar、J.Bergen、J.Lubin、H.Sawhneyによる米国特許申請第０９／３８４，１１８号「画像処理の方法と装置」の中に記載されている。
【００７２】
ひとたび最高のマッチングスコアが決定されると、平面６００は区分の中に適合される。次の反復の中で各画素の奥行きが、適合された平面の与えられた範囲６０８内で、その範囲内の最高のマッチングスコアを見つけることによって選択される。図５ｂでは、範囲外にある画素６０４および６０６は範囲６０８内に適合するように変更されている。平面パラメータは、これらの奥行きに基づいて、適宜、更新される。図５ｃは、新規平面６０２および新規範囲６１０を説明している。このプロセスは、平面パラメータが大きく変化しなくなるまで数回にわたって反復する。このプロセスは、特に、マッチングのあいまいさが発生するような、テクスチャのない大きな領域内に平面を適合するのに有用である。より一般的には、Ｍ−推定、最小二乗メディアン推定、またはＲＡＮＳＡＣのような、他の何れのロバストな平面適合方法も使用してよい。
【００７３】
この好適な表現によって、各区分内の平面モデルからの小さな変更が可能となる。各画素の実際の奥行きは、方程式（４）に示す。
１／Ｚ＝Ｚp＋Ｚr （４）
ひとたび平面パラメータが決定されると、各画素用にＺpが分かる。Ｚrは小さなＺpの範囲内で、画像差異体積内の最高のマッチングを配置することによって計算する。残余差異Ｚrは、各区分の中でスムーズ化され、初期の色区分ベースの奥行き表現を得る。
【００７４】
図３にある次のステップ４０４は、各色区分用に多くの奥行き仮定を作成することである。各区分用の仮定は、近接する各区分から生成される。与えられた区分の平面パラメータは、近接する区分のこれらを使用して、置き換えられ、仮定を作成する。次に、各画素用の残余差異は、平面の周りを検索し、与えられた区分内でスムーズ化することによって見出される。
【００７５】
次に、単一の区分の奥行き仮定が試験されるが、この間、他の区分は全て初期の奥行きを維持する、ステップ４０６。奥行き表現は、全部の区分の試験が行われた後に、更新される。毎回、ひとつの区分の奥行きだけが変化するので、画像の小部分だけ試験する必要がある。好適なアルゴアルゴリズムを、図６ａ〜図６ｄに示す。基準画像である図６ａは、最初に、初期の奥行き（すなわち各区用の初期の奥行き）を使用して第２のビューへワープ化される。この画像をベースワープと呼ぶ、図６ｂ。
【００７６】
ここで、区分７００の奥行きが、そのマッチング度合いを計算するために近接する仮定のひとつで置き換えられた場合、奥行きの変化で影響を受ける画素だけを考慮すればよい。例えば、図６ｃでは、区分７００の奥行きが変化している。図６ｄのワープ画像内では、区分７０２の領域７０６が可視となり、一方で、区分７００は不可視となっている。新規奥行きマップのマッチングスコアは、領域７０６のマッチングスコアをベースワープスコアに加え、そして、区分７００のマッチングスコアを引くことによって計算される。この例は、これらの仮定を検定するための好適なアルゴリズムを提案している。
【００７７】
この好適なアルゴリズムには、ベースワープ用に、各画素用に、ワープされた奥行き、区分ＩＤ、および２つの最上部層のマッチングスコアが記憶されている。ベースワープのマッチングスコアの変化は、可視となる画素のマッチングスコアを加算し、不可視となる画素のマッチングスコアを減算することによって計算する。各試験では、ひとつの区分の奥行きのみが変化するので、２つの最上部層だけが可視となるかもしれないが、これらの層に関する情報は記録しておくべきである。３番目の層は、もともとはその前にあって常に不可視の２層の少なくともひとつによって閉塞されるので、マッチングスコアには影響を及ぼさない。
【００７８】
図３にある次のステップ４０８は、最良で前向きな改良を加えた仮定を使用して各区分の奥行きを更新する。どの仮定も前向きな改良を与えない場合は、その区分用には、初期の奥行きを保持しておく。
【００７９】
次に、奥行きマップの改良プロセスが、予め決定しておいた最大反復数に到達しているかを確定する、ステップ４１０。この数が到達している場合は、現在の奥行きマップが最終の局部奥行きマップとして選択される、ステップ４１４。数が到達していない場合は、最も最近に行った一連の奥行き変化を解析する、ステップ４１２。変化が予め決めた基準以下の場合は、現在の奥行きマップが最終の局部奥行きマップとして選択される、ステップ４１４。そうでなければ、プロセスはステップ４０４へ戻り、別の奥行き仮定の反復が始まる。ステップ４１０は、計算の必要性が少ないので、ステップ４１０および４１２の好適な順序付けが、選択されていることに留意されたいが、これらのステップは、保存してもよいし、一方を除外してもよい。
【００８０】
平面および小さな残余差異の表現は、高度な曲面を有する対象物には十分でないかもしれない。より自由度の高い奥行き表現が、この問題を解決する可能性のあることは検討されてきている。また、奥行き境界が同系の色区分内に現れることが、時々生じることがある。問題となる区分、または計画的過少区分の中に分割を仮定する方法を使用して、これらの問題を克服してもよい。
【００８１】
更に、色区分は、オプティカルフロー計算にも使用できることに留意されたい。奥行きベースのフォワードワーピングをオクルージョン互換性のある走査ワーピングに置き換えることによって、これらの方法を組み合わせてもよい。頂点の位置等の一定の情報が、大まかに分かる場合は、これが有益なアプローチであることを立証することになるかもしれない。
【００８２】
本発明の別の好適な実施例では、ビューベースの容積法を使用して画像の奥行きマップを作成する。分かりやすくするために、ビューベースの容積法の概念を、標準的な２カメラ修正画像システムを使って説明する。２つの画像内の対応する点を決定するためにオプティカルフローを使用してよい。エピポールの形状から、最初の画像（基準画像）内のどの画像点に対しても、第２の画像（検査画像）内の対応する点は、共に、カメラを分離する線に平行な走査線上にある。この線に沿う対応付けを見つけることが、１次元検索問題である。検査画像内の変位量を、差異と呼ぶ。２次元画像用でも、合計の検索空間は３次元である。画像座標、および、差異を使用してこの空間をパラメータ化することができ、その空間を場面体積と呼ぶ。ビューベースの体積アプローチは、基準画像内の全ての画素の全ての差異値について、マッチングのよさを計算することによって、この体積を生成する。各画素用の最大マッチングスコアを用いて、可能性のあるひとつの解を達成できる。しかし、画像ノイズおよびマッチングのあいまいさにより、その解はノイズがあるか、または全く間違っているかもしれない。場面の多用な物理的制約を課して、解を正当化できる。計算上は、これらの制約は、３次元体積の緩和プロセスとして便宜的に公式化する。
【００８３】
場面構造の多くの制約が提起されている。T.PoggioおよびD.Marrは、Proceedings of the Royal Society,London B,204,1979の中の「人物の立体視についての計算理論」と題する記事の中で２つの制約を提起している：協調的制約および一意性制約である。協調的制約は、物事には結束性があるので、差異はほとんどの場所でスムーズに変化すると述べている。一意性制約は、基準画像内の各画素に対して、一意的奥行きは復元されて、対応する３次元ボクセルを形成するような要求を課している。ビューベースの体積表現においては、これら２つの制約は、２つの計算規則に転換される。協調的制約は、隣接するボクセルが類似の値を有する傾向にあることを意味している。一意性制約は、基準カメラか検査カメラのいずれかからの光線発射の都度、ひとつのボクセルだけが実際の物理的表面上にあることを要求している。
【００８４】
協調的制約をむやみに使用すると、奥行きの不連続性に近い問題を引き起こすであろう。画像のテクスチャ部分は、隣接するテクスチャのない領域内へ成長する傾向がある。この問題を克服するために、像の連続性制約を取り入れることができる。この制約は、スムーズな画像領域が、奥行きの大きな不連続性を有するべきではない条件を述べている。これは、画像密度の値がより近似している場合にのみ、より強固な強調が発生するので、３次元体積の計算用語に転換するのは容易である。これら２つの意見は、全く同じではないが、テクスチャ領域は、一般的には、より優れた奥行き推定を有するので、協調が少なくても深刻な問題にはならない。
【００８５】
３次元体積内の各ボクセルの値が、反復数ｎでＬn（ｘ，ｙ，ｄ）であるとする。協調的帯域内で集められるローカルサポートＳn（ｘ，ｙ，ｄ）は方程式（２）で与えられる、
【００８６】
【数２】
ここで、Φは協調的帯域を示し、ｅ（ｘ，ｙ，ｘ’，ｙ’）は、基準画像内の画素（ｘ，ｙ）および（ｘ’，ｙ’）用の類似度関数である。一意性制約を強調するために、ボクセル（ｘ，ｙ，ｄ）に対し抑制Ｒn（ｘ，ｙ，ｄ）が方程式（３）で与えられる、
【００８８】
【数３】
ここで、Θは抑制帯域である。全体として、ボクセル（ｘ，ｙ，ｄ）に対する更新式は、方程式（４）で与えられる。
【００９０】
【数４】
パラメータβは一意性制約の強度をコントロールする。好適な実施例では、β＝３である。
【００９２】
アルゴリズムは、画像座標および視差を使用して、体積をパラメータ化することによって任意の画像構成へ拡大できる。基本的には、視差は検査画像内のエピポーラ線に沿った変位量を表わし、一般化された、差異として見ることができる。視差は、検査ビューのポーズに対して不変な相対的アフィン構造である。これは、２つ以上のビューを集積する機構を提供する。
【００９３】
初期体積の相関スコアが緩和プロセスで使用されるので、ロバストな相関関数を使用することが好ましい。２つの候補として、正規自己相関および二乗誤差合計がある。正規相関はテクスチャ領域用にはよいが、スムーズな領域上では明確でない。反対にＳＳＤは、強さのマッチングにはよいが、全体的な照明の変化に敏感である。本発明の好適な実施例では、方程式（５）に示すように、これら２つの関数の一次線形組み合わせが使用される。
【００９４】
【数５】
αはＳＳＤ用の加重係数である。好適な実施例では、α＝０．５である。
【００９６】
修正してない２カメラシステムでは、体積全体を走査するために、各視差平面に関して、各光線の交差を計算することが望ましい。このプロセスは、計算上、費用がかかる。この問題を克服するために、本発明の好適な実施例では、近似値を適用する。体積全体を走査する目的は、光線に沿って最高値を見つけることなので、この値は、検査画像の画素からの各光線発射について記憶しておいてもよい。次いで、検査画像内の各ボクセルの位置を計算する。次いで、最も近接する検査画素内に記憶される値を、使用する。ボクセルは、抑制光線に沿った最大値かもしれないので、各光線に沿った２つの最大値を、その対応する奥行きと同様に記憶させる。
【００９７】
単純なスプラッティングベースのフォワードワーピングアルゴリズムを使用してワープ画像内の画素値を得てもよいが、この形式のアルゴリズムは、過大または過小のスプラッティングカーネルを使用することによって、不鮮明な画像、または孔の原因となるかもしれない。W.R.MarkおよびG.Bishopによって「３次元画像ワーピングのレンダリング後の有効な復元技術」（UNC Computer Science Technical Report TR98-011,University of North Carolina, March 21, 1998）と題する記事の中で提起されているフォワードワーピングアルゴリズムを、本発明の好適な実施例の中で使用してもよい。このアルゴリズムは、メッシュベースの内部表面表現によって、画素をスプラッティングすることによって画像変形の問題を解決する。奥行きの不連続性は、メッシュの伸びが一定の閾値を超えた時、検知される。図８は、本発明の好適な実施例で使用されるプロセスを示す。最初の基準画像６０、およびそれに対応するフロー６１は、より高い解像度に対して最初にスーパーサンプリングされる。次いで、その解像度で各画素６２に対して、それを囲む４角形６３が、その近接する画素６２の位置を平均化することによって得られる。最初の画素値は、次に、この４角形領域６３の中へスプラットされる。最後に、高解像度の画像が、最初のサイズへダウンサンプリングされる。
【００９８】
Ｚバッファは、レンダリングされた画像内で対象物の正確な可視性を確実にするために使用されるレンダリング技術である。Ｚバッファは、本発明の中で使用してよいが、計算上の要求から、リアルタイムのアプリケーションに対する理想的な選択には少し劣る。本発明の好適な実施例で使用され、図７ａ〜図７ｄに示されるもうひとつの、より有用な技術は、オクルージョン互換性走査順序４１によって画素をワープすることである。図７ａに示すように、基準画像内のエピポール４０が分かっていれば、理想的な走査順序４１は、エピポーラ線に対して垂直方向に沿って動き、同時に、エピポール４０を縮小の焦点、または拡大の焦点として使用して、エピポール４０へ向かって、またはエピポール４０から離れてゆくことである。図７ｂに、このプロセスの概略近似を示す。エピポールがハッチングされた領域５０内にある場合、４シート水平・垂直走査順序が使用される。エピポールが領域５１内にある場合、４シート垂直・水平走査順序が使用される。図７ｃおよび図７ｄは、エピポールが縮小の焦点である場合について、これらの走査順序を別々に示す。この近似は、エピポール４０が画像の外側にある場合でも、うまく機能する。
【００９９】
図９は、画像処理すべき空間の平面図であって、多様な角度から場面７０の画像を捕捉するために使用する多数のカメラ７１を示している。本発明の好適な実施例では、カメラ７１は、図１に示すようなビデオブランケット構成で配置される。
【０１００】
図１０は、本発明の仮想カメラシステム８０のブロックダイアグラムである。実像を捕捉するために、少なくとも２台のカメラが使用される。カメラの位置、向き、および解像度を特定するパラメータは、オフラインで計算できる。本発明の好適な実施例では、これらのカメラ８１は、ビデオブランケット構成で配列される。視点選択入力８２は、高品質の仮想画像を作成するための位置、向き、およびズームパラメータを特定し、画像選択手段８３の制御も提供する。カメラおよび視点のパラメータに基づいて、画像選択手段８３は次に、高品質の仮想画像を作成するために使用される少なくとも２つの画像を選択する。選択された各画像に対して、奥行き推定手段８４によって、局部奥行きマップが計算される。次に、計算手段８５は、実像を選択された視点へワープするために必要なワープパラメータの計算を行う。カメラおよび視点のパラメータは、局部奥行きマップからの情報と共に使用される。ワープパラメータは次いで、画像ワーパ８６によって使用され、実像を選択された視点へワープさせる。奥行き推定、ワープパラメータ計算、および画像ワーピングのプロセスは、連続的に実行するか、または図１０に示すように、パイプライン化された並列的プロセスとして実行してよい。本発明の好適な実施例では、これらの要素、８４，８５および８６の３つ全てにおいて、並列処理を使用する。最後に、画像マージ装置８７は、ワープ画像を、選択された視点から見られる場面の、高品質の仮想画像へマージさせる。出力８８は、少なくともひとつのビデオモニタ、録画装置、コンピュータ、放送システム、または組み合わせであってもよい。
【０１０１】
本発明の好適な実施例では、仮想カメラシステム８０は、図３を参照して上記の方法を用いて操作される。
【０１０２】
図１１は、本発明で使用する画像処理のステップを示す一連の図面であって、２つの選択された実像９０および１９０から高品質の仮想画像９３を作成する。描かれた場面は、壁、および壁の前に吊るされている立方体９４を含む。画像９０は、少し上方から右に向かう立方体９４を示す一方で、画像１９０は、少し上方から左に向かう立方体９４を示す。高品質仮想画像９３内では、立方体９４は、少し上方から真っ直ぐな方向で見える。
【０１０３】
最初の奥行きマップ９１および１９１は、ステップ９６によって作成される。奥行きマップ９１および１９１内では、立方体９４は、多様な奥行きの所に置かれていることが示されている一方で、壁は、均一な奥行きを有する。次に、少し上方で真っ直ぐな方向からの立方体９４を示すワープ画像９２および１９２が、ステップ９７で生成される。オクルード領域９５は、ワープされた各画像９２および１９２内に現れている。これらのオクルード領域９５は、画像９０および１９０内で立方体９４によってオクルードされていた壁の一部である。最後に、ワープ画像９２および１９２は、ステップ９８でマージされて、高品質な仮想画面９３を生成する。この画像内では、画像９２からオクルードされた領域９５は、ワープ画像１９２からのその領域のための情報を使用することによって、埋められる。システムは、２つの画像間の奥行きマップの差異を使用して領域を確認する。同様に、画像１９２からオクルードされた領域９５は、ワープ画像９２からのその領域のための情報を使用することによって、埋められる。この方法で、本発明のこの好適な方法は、損失領域を出すことなく、高品質な仮想画像を作成する。
【結論】
【０１０４】
要約すれば、本発明は、間隔を置いたカメラ群に基づく視野を提供する可能性を示す。アプローチは、局部奥行き検知、グローバルポーズ推定および画像ベースのレンダリングに依存する。計算の全ては局部的なカメラ群を伴うので、アルゴリズムは、ハードウェアおよびリアルタイムの実行へ容易にマッピングできる。従って、本発明者は、適切な画像パラメータ、カメラ構成および関係するアルゴリズムを用いて、映像ベースの奥行き検知を使用することが可能となり、仮想テレプレゼンスシステムのための、自由度が高く、多目的でコスト効率のよい解決策を提供できる。
【０１０５】
対話型テレプレゼンスは、これらの改良点を全て使用することもあるが、それぞれは個々に、従来の技術状況からの進歩を表わしている。従って、当該技術に精通している者にとって、これらの改良点のうち、一度に１または２つだけ使用することが有利であると分かることが時としてあることは言うまでもない。そのような使用は、本発明の精神から逸脱するものではない。同様に考えて、当該技術に精通している者にとって、上述の好適な実施例に対して、多くの変更、および応用が本発明を実質的に変更することなくなされるであろうことは、言うまでもない。
【図面の簡単な説明】
【０１０６】
【図１】図１は、場面の有効な視野を提供するよう使用される６角形構成のカメラを説明する構成図である。
【図２】図２は、高品質の仮想画像を作成するための本発明の方法のフローチャートである。
【図３】図３は、色区分を使用して、局部奥行きマップを作成するための好適なフローチャートである。
【図４】図４は、色区分を説明するために、ある場面を示す一対の図面である。
【図５】図５ａ、５ｂおよび５ｃは、反復形平面化プロセスを示す図である。
【図６】図６ａ、６ｂ、６ｃおよび６ｄは、仮定された色区分奥行きマップの迅速な仮説試験を示す図である。
【図７ａ】図７ａは、エピポールの寸法形状が分かっている画像ワーピング用のオクルージョン互換性走査順序法(compatible traversal order method)を示す図である。
【図７ｂ】図７ｂは、画像の行および列をガイドラインとして使用して追従すべき適切な走査順序を決める２つの領域を示す図である。
【図７ｃ】図７ｃは、エピポールが図７ｂの領域５０内にある図形縮小の焦点である４シートの水平・垂直走査順序を説明する図である。
【図７ｄ】図７ｄは、エピポールが図７ｂの領域５１内にある図形縮小の焦点である４シートの水平・垂直走査順序を説明する図形である。
【図８】図８は、ワーピング画像の品質を改良するために使用されるメッシュベースのスプラッティング(splatting)プロセスの説明に有用な画像図である。
【図９】図９は、画像処理する空間の平面図であって、多様な角度から場面の画像を捕捉するために使用している多数のカメラを示している。
【図１０】図１０は、本発明の仮想カメラシステムのブロック図である。
【図１１】図１１は、選択された２つの実像から高品質の仮想画像を作成するために、本発明の中で使用した画像処理のステップを説明する一連の図である。
【符号の説明】
【０１０７】
１ カメラ
４０ エピポール
４１ オクルージョン互換性走査順序
５０ 領域
５１ 領域
６０ 基準画像
６１ フロー
６２ 画素
６３ ４角形領域
７０ 場面
７１ カメラ
８０ 仮想カメラシステム
８１ カメラ
８２ 視点選択入力
８３ 画像選択手段
８４ 奥行き推定手段
８５ 計算手段
８６ 画像ワーパ
８７ 画像マージ装置
８８ 出力
９０ 実像
９１ マップ
９２ ワープ画像
９２ 画像
９３ 仮想画像
９４ 立方体
９５ オクルード領域
９６ ステップ
９７ ステップ
９８ ステップ
Ｍ 画像マトリクス
ｎ 反復数
Ｐ 点
Ｒ 平行移動マトリックス
Ｒn 抑制
Ｓn ローカルサポート
Ｚr 残余差異
β パラメータ
Claims (10)
- 固定された複数の作画部を使用するシステムにおいて
、前記固定された複数の作画部によって網羅される場面内で仮想視点から見られるような高品質の仮想画像をリアルタイムで作成する方法であって、
前記高品質の仮想画像を作成する際に使用される前記固定された複数の作画部のうちの少なくとも２つに対応する少なくとも２つの画像を選択するステップと、
少なくとも２つの前記画像に対応する少なくとも２つの奥行きマップを作成するステップであって、
少なくとも２つの画像を複数の区分へ分割するステップであって、各区分の画素が実質的に同系の値を有するステップと、
各区分に対応する奥行き値を計算するステップと、
各区分に対応する前記奥行き値を最適化するステップと、
前記複数の最適化奥行き値から前記少なくとも２つの奥行きマップを作成するステップと、を有するステップと、
前記少なくとも２つの画像に対応する前記少なくとも２つの奥行きマップを使用して前記少なくとも２つの画像に対応する少なくとも２セットのワープパラメータを決定するステップと、
前記少なくとも２つの画像に対応する前記少なくとも２セットのワープパラメータを使用して前記仮想視点を表わす少なくとも２つのワープ画像を生成するよう前記少なくとも２つの画像をワーピングするステップと、
前記高品質の仮想画像を作成するよう前記少なくとも２つのワープ画像をマージするステップと、を有する、作成方法。 - 更に、オペレータによって供給されるデータに基づいて前記仮想視点を選択するステップを有する、請求項１に記載の方法。
- 更に、前記場面内の少なくともひとつの特徴の追跡に基づいて前記仮想視点を選択するステップを有する、請求項１に記載の方法。
- 前記少なくとも２つの画像を選択するステップが、前記少なくとも２つの画像に対応するそれぞれの視点への前記仮想視点の近接に基づいている、請求項１に記載の方法。
- 前記少なくとも２つの画像を選択するステップが、正確に２つの画像を選択する、請求項１に記載の方法。
- 前記少なくとも２つの画像を選択するステップが、正確に３つの画像を選択する、請求項１に記載の方法。
- 仮想視点から見えるような高品質の仮想画像をリアルタイムで作成する仮想カメラシステムであって、
複数の固定された作画部と、
前記高品質の仮想画像を作成する際に使用する前記複数の固定されたカメラのうち少なくとも２つのそれぞれから画像を選択するための画像選択手段と、
前記少なくとも２つの画像に対応する少なくとも２つの奥行きマップを作成するための色区分奥行き推定手段と、
前記少なくとも２つの奥行きマップに基づいて、前記仮想視点に対する前記少なくとも２つの画像のそれぞれのワーピングを画成する少なくとも２セットのワープパラメータを計算するための計算手段と、
前記計算手段からの前記少なくとも２セットのワープパラメータを前記少なくとも２つの画像にそれぞれ適用して、少なくとも２つのワープ画像を作成する画像ワーパと、
前記少なくとも２つのワープ画像をマージさせて、前記高品質の仮想画像を生成する、画像マージ装置と、を備える、仮想カメラシステム。 - 第１の複数の画素を含む第１の画像と第２の複数の画素を含む第２の画像から場面の局部奥行きマップを作成する装置であって、
前記第１の画像を複数の隣接する区分へ区分化するステップであって、各区分は前記第１の複数の画素の更に複数の画素を有し、前記更に複数の画素の画素値は所定の画素値の範囲内にあるステップと、
前記更に複数の画素と前記第２の複数の画素とを比較することによって、前記更に複数の画素の画素奥行きを決定するステップと、
前記更に複数の画素の前記所定の画素奥行きに基づいて区分表面を決定するステップと、
前記更に複数の画素と前記第２の複数の画素とを比較することによって、前記区分表面の所定の奥行き範囲内にあるよう前記更に複数の画素の画素奥行きを更新するステップと、を有する、装置。 - 第１の視点からの場面を示す第１の画像と第２の視点から場面を示す第２の画像とから場面の局部奥行きマップを作成する方法であって、前記第１の画像は第１の複数の画素を含み、前記第２の画像は第２の複数の画素を含み、各画素は画素値を有し、
ａ．前記画素値を複数の画素値範囲へ分割するステップと、
ｂ．前記第１の画像を複数の区分へ区分するステップであって、各区分は、画素値を前記複数の画素値範囲のうちのひとつの範囲内に有するよう選択される前記第１の複数の画素からのサブセットの画素を含むステップと、
ｃ．前記複数の区分に対する複数の奥行き値を決定するステップと、
ｄ．前記第１の画像を、複数の奥行き値を使用して前記第２の視点からの前記場面を示すワープ画像へワーピングするステップと、
ｅ．前記第２の画像と前記ワープ画像の第１のマッチングスコアを計算するステップと、
ｆ．前記複数の区分の与えられたひとつの区分が、近接する区分の近接する奥行き値に等しい仮定の奥行き値を有すると仮定するステップと、
ｇ．前記第２の画像と前記仮定の奥行き値に基づく仮定のワープ画像との仮定のマッチングスコアを計算するステップと、
ｈ．前記仮定のマッチングスコアが前記第１のマッチングスコアよりも良好な場合、前記与えられた区分の与えられた奥行き値を前記仮定の奥行き値に変更するステップと、を有する、方法。 - 請求項９に記載の方法であって、ステップ（ｃ）が、
ｃ１．選択されたサブセットの画素と前記第２の複数の画素と比較することによって、選択された区分に対応する前記選択されたサブセットの画素の画素奥行きを決定するステップと、
ｃ２．前記選択されたサブセットの画素の前記決定された画素奥行きに基づいて、選択された区分表面を決定するプロセスと、
ｃ３．前記選択されたサブセットの画素と前記第２の複数の画素とを比較することによって、前記選択された区分表面の所定の奥行き範囲内にあるよう前記選択されたサブセットの画素の前記所定の画素奥行きを更新するステップと、
ｃ４．前記選択された区分表面の前記選択されたサブセットの画素の前記決定された画素奥行きに基づいて、前記選択された区分の全ての画素に対する奥行き値を決定するステップと、を含む、請求項９に記載の方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US25065100P | 2000-12-01 | 2000-12-01 | |
| US09/978,158 US7085409B2 (en) | 2000-10-18 | 2001-10-16 | Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery |
| PCT/US2001/046705 WO2002045001A1 (en) | 2000-12-01 | 2001-12-03 | Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004525437A true JP2004525437A (ja) | 2004-08-19 |
Family
ID=26941033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002547092A Pending JP2004525437A (ja) | 2000-12-01 | 2001-12-03 | 一群の実際のビデオおよび／または静止画像から新規ビデオおよび／または静止画像を合成する方法および装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7085409B2 (ja) |
| EP (1) | EP1337961A4 (ja) |
| JP (1) | JP2004525437A (ja) |
| WO (1) | WO2002045001A1 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007141228A (ja) * | 2005-11-15 | 2007-06-07 | Sharp Corp | 自由視点におけるバーチャルビューの特定および合成 |
| WO2012111756A1 (ja) * | 2011-02-18 | 2012-08-23 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| WO2012114975A1 (ja) * | 2011-02-24 | 2012-08-30 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| JP2014507722A (ja) * | 2011-12-29 | 2014-03-27 | インテル コーポレイション | 一般化されたロバストなマルチチャンネル特徴検出器 |
| KR20190010646A (ko) * | 2016-05-25 | 2019-01-30 | 캐논 가부시끼가이샤 | 제어 디바이스, 제어 방법 및 저장 매체 |
| JPWO2019050038A1 (ja) * | 2017-09-11 | 2020-10-15 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 画像生成方法および画像生成装置 |
| JP2020532797A (ja) * | 2017-09-01 | 2020-11-12 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 前の目線からのレンダリングされたコンテンツおよびレンダリングされなかったコンテンツを使用した新しいフレームの生成 |
Families Citing this family (288)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8253729B1 (en) * | 1983-05-09 | 2012-08-28 | Geshwind David M | Trimming depth buffer during 2D to 3D conversion |
| US8958654B1 (en) * | 2001-04-25 | 2015-02-17 | Lockheed Martin Corporation | Method and apparatus for enhancing three-dimensional imagery data |
| GB2378341B (en) * | 2001-07-31 | 2005-08-24 | Hewlett Packard Co | Improvements in and relating to dislaying digital images |
| US7031497B2 (en) * | 2001-11-05 | 2006-04-18 | Koninklijke Philips Electronics N.V. | Method for computing optical flow under the epipolar constraint |
| US6753900B2 (en) * | 2002-05-07 | 2004-06-22 | Avaya Techology Corp. | Method and apparatus for overcoming the limitations of camera angle in video conferencing applications |
| US7489812B2 (en) * | 2002-06-07 | 2009-02-10 | Dynamic Digital Depth Research Pty Ltd. | Conversion and encoding techniques |
| US7006703B2 (en) * | 2002-06-28 | 2006-02-28 | Microsoft Corporation | Content recognizer via probabilistic mirror distribution |
| US7301564B2 (en) * | 2002-07-17 | 2007-11-27 | Hewlett-Packard Development Company, L.P. | Systems and methods for processing a digital captured image |
| JP3744002B2 (ja) * | 2002-10-04 | 2006-02-08 | ソニー株式会社 | 表示装置、撮像装置、および撮像／表示システム |
| EP1567988A1 (en) * | 2002-10-15 | 2005-08-31 | University Of Southern California | Augmented virtual environments |
| US7171057B1 (en) | 2002-10-16 | 2007-01-30 | Adobe Systems Incorporated | Image blending using non-affine interpolation |
| KR100960294B1 (ko) * | 2002-10-23 | 2010-06-07 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 디지털 비디오 신호를 후-처리하기 위한 방법 및 컴퓨터 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체 |
| US6847728B2 (en) | 2002-12-09 | 2005-01-25 | Sarnoff Corporation | Dynamic depth recovery from multiple synchronized video streams |
| JP3855053B2 (ja) * | 2003-01-30 | 2006-12-06 | 国立大学法人 東京大学 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| JP3728508B2 (ja) * | 2003-02-17 | 2005-12-21 | 国立大学法人 東京大学 | 画像生成装置及び方法 |
| US7425984B2 (en) * | 2003-04-04 | 2008-09-16 | Stmicroelectronics, Inc. | Compound camera and methods for implementing auto-focus, depth-of-field and high-resolution functions |
| US7268804B2 (en) * | 2003-04-04 | 2007-09-11 | Stmicroelectronics, Inc. | Compound camera and method for synthesizing a virtual image from multiple input images |
| WO2004114224A1 (ja) * | 2003-06-20 | 2004-12-29 | Nippon Telegraph And Telephone Corporation | 仮想視点画像生成方法及び３次元画像表示方法並びに装置 |
| JP2005050037A (ja) * | 2003-07-31 | 2005-02-24 | Canon Inc | 画像処理方法および装置 |
| JP4262013B2 (ja) * | 2003-07-31 | 2009-05-13 | キヤノン株式会社 | 画像処理方法および画像生成装置 |
| US7593597B2 (en) * | 2003-08-06 | 2009-09-22 | Eastman Kodak Company | Alignment of lens array images using autocorrelation |
| JP2005100367A (ja) * | 2003-09-02 | 2005-04-14 | Fuji Photo Film Co Ltd | 画像生成装置、画像生成方法、及び画像生成プログラム |
| JP4673570B2 (ja) * | 2004-03-31 | 2011-04-20 | 株式会社セガ | 画像生成装置、画像表示方法及びプログラム |
| JP2005295004A (ja) * | 2004-03-31 | 2005-10-20 | Sanyo Electric Co Ltd | 立体画像処理方法および立体画像処理装置 |
| WO2006002299A2 (en) * | 2004-06-22 | 2006-01-05 | Sarnoff Corporation | Method and apparatus for recognizing 3-d objects |
| US7292257B2 (en) * | 2004-06-28 | 2007-11-06 | Microsoft Corporation | Interactive viewpoint video system and process |
| US7366354B2 (en) * | 2004-06-30 | 2008-04-29 | Xerox Corporation | 10-bit per pixel processing using 8-bit resources |
| US20060028476A1 (en) * | 2004-08-03 | 2006-02-09 | Irwin Sobel | Method and system for providing extensive coverage of an object using virtual cameras |
| JP2006054504A (ja) * | 2004-08-09 | 2006-02-23 | Olympus Corp | 画像生成方法および装置 |
| US20070247517A1 (en) * | 2004-08-23 | 2007-10-25 | Sarnoff Corporation | Method and apparatus for producing a fused image |
| US7342586B2 (en) * | 2004-09-13 | 2008-03-11 | Nbor Corporation | System and method for creating and playing a tweening animation using a graphic directional indicator |
| US7227567B1 (en) | 2004-09-14 | 2007-06-05 | Avaya Technology Corp. | Customizable background for video communications |
| US7050084B1 (en) | 2004-09-24 | 2006-05-23 | Avaya Technology Corp. | Camera frame display |
| CA2587644C (en) * | 2004-11-12 | 2015-01-13 | Mok3, Inc. | Method for inter-scene transitions |
| KR100603603B1 (ko) * | 2004-12-07 | 2006-07-24 | 한국전자통신연구원 | 변위 후보 및 이중 경로 동적 프로그래밍을 이용한 스테레오 변위 결정 장치 및 그 방법 |
| US7706576B1 (en) | 2004-12-28 | 2010-04-27 | Avaya Inc. | Dynamic video equalization of images using face-tracking |
| US7460150B1 (en) | 2005-03-14 | 2008-12-02 | Avaya Inc. | Using gaze detection to determine an area of interest within a scene |
| US7672516B2 (en) * | 2005-03-21 | 2010-03-02 | Siemens Medical Solutions Usa, Inc. | Statistical priors for combinatorial optimization: efficient solutions via graph cuts |
| US7564476B1 (en) | 2005-05-13 | 2009-07-21 | Avaya Inc. | Prevent video calls based on appearance |
| DE102005034597A1 (de) * | 2005-07-25 | 2007-02-08 | Robert Bosch Gmbh | Verfahren und Anordnung zur Erzeugung einer Tiefenkarte |
| US7720282B2 (en) * | 2005-08-02 | 2010-05-18 | Microsoft Corporation | Stereo image segmentation |
| EP1971154A4 (en) * | 2006-01-05 | 2010-10-27 | Nippon Telegraph & Telephone | VIDEO CODING METHOD AND DECODING METHOD, DEVICE THEREFOR, DEVICE THEREFOR AND STORAGE MEDIUM WITH THE PROGRAM |
| US7668304B2 (en) * | 2006-01-25 | 2010-02-23 | Avaya Inc. | Display hierarchy of participants during phone call |
| US8433050B1 (en) | 2006-02-06 | 2013-04-30 | Avaya Inc. | Optimizing conference quality with diverse codecs |
| US8165282B1 (en) | 2006-05-25 | 2012-04-24 | Avaya Inc. | Exploiting facial characteristics for improved agent selection |
| US8340422B2 (en) * | 2006-11-21 | 2012-12-25 | Koninklijke Philips Electronics N.V. | Generation of depth map for an image |
| US10298834B2 (en) | 2006-12-01 | 2019-05-21 | Google Llc | Video refocusing |
| US8044952B2 (en) * | 2007-01-22 | 2011-10-25 | Sharp Laboratories Of America, Inc. | Method for supporting intuitive view specification in the free-viewpoint television application |
| US8593506B2 (en) * | 2007-03-15 | 2013-11-26 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for forming a panoramic image of a scene having minimal aspect distortion |
| WO2008111080A1 (en) * | 2007-03-15 | 2008-09-18 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for forming a panoramic image of a scene having minimal aspect distortion |
| JP5642547B2 (ja) * | 2007-08-31 | 2014-12-17 | 古野電気株式会社 | 画像処理方法、画像表示方法、画像処理装置、及び画像表示装置 |
| US8351685B2 (en) * | 2007-11-16 | 2013-01-08 | Gwangju Institute Of Science And Technology | Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same |
| US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
| US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| KR101733443B1 (ko) | 2008-05-20 | 2017-05-10 | 펠리칸 이매징 코포레이션 | 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리 |
| US8073243B2 (en) * | 2008-05-30 | 2011-12-06 | General Instrument Corporation | Replacing image information in a captured image |
| WO2010010521A2 (en) | 2008-07-24 | 2010-01-28 | Koninklijke Philips Electronics N.V. | Versatile 3-d picture format |
| EP2327224A2 (en) * | 2008-08-29 | 2011-06-01 | Thomson Licensing | View synthesis with heuristic view blending |
| US20100066731A1 (en) * | 2008-09-16 | 2010-03-18 | James Calvin Vecore | Configurator Process and System |
| KR101502362B1 (ko) * | 2008-10-10 | 2015-03-13 | 삼성전자주식회사 | 영상처리 장치 및 방법 |
| EP2180449A1 (en) * | 2008-10-21 | 2010-04-28 | Koninklijke Philips Electronics N.V. | Method and device for providing a layered depth model of a scene |
| JP2012507181A (ja) * | 2008-10-28 | 2012-03-22 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像特性のための遮蔽データの発生 |
| US8233664B2 (en) * | 2008-11-12 | 2012-07-31 | Eastman Kodak Company | Determining relative depth of points in multiple videos |
| EP2374110A4 (en) * | 2008-12-19 | 2013-06-05 | Saab Ab | SYSTEM AND METHOD FOR MIXING A SCENE AND A VIRTUAL SCENARIO |
| US8937645B2 (en) | 2008-12-19 | 2015-01-20 | Koninklijke Philips N.V. | Creation of depth maps from images |
| US8908995B2 (en) * | 2009-01-12 | 2014-12-09 | Intermec Ip Corp. | Semi-automatic dimensioning with imager on a portable device |
| US8866821B2 (en) | 2009-01-30 | 2014-10-21 | Microsoft Corporation | Depth map movement tracking via optical flow and velocity prediction |
| US8774512B2 (en) * | 2009-02-11 | 2014-07-08 | Thomson Licensing | Filling holes in depth maps |
| US8164617B2 (en) * | 2009-03-25 | 2012-04-24 | Cisco Technology, Inc. | Combining views of a plurality of cameras for a video conferencing endpoint with a display wall |
| JP5249114B2 (ja) * | 2009-04-03 | 2013-07-31 | Ｋｄｄｉ株式会社 | 画像生成装置、方法及びプログラム |
| WO2010134502A1 (ja) * | 2009-05-18 | 2010-11-25 | 小平アソシエイツ株式会社 | 画像情報出力方法 |
| JP5182229B2 (ja) * | 2009-06-02 | 2013-04-17 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| GB2483213B8 (en) * | 2009-06-11 | 2016-09-14 | Toshiba Res Europ Ltd | 3D image generation |
| JP2011060216A (ja) * | 2009-09-14 | 2011-03-24 | Fujifilm Corp | 画像処理装置および画像処理方法 |
| US8644644B2 (en) * | 2009-09-14 | 2014-02-04 | Adobe Systems Incorporation | Methods and apparatus for blending images |
| US8643701B2 (en) | 2009-11-18 | 2014-02-04 | University Of Illinois At Urbana-Champaign | System for executing 3D propagation for depth image-based rendering |
| US8514491B2 (en) * | 2009-11-20 | 2013-08-20 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| TWI398158B (zh) * | 2009-12-01 | 2013-06-01 | Ind Tech Res Inst | 產生立體影像之影像深度的方法 |
| US8638329B2 (en) * | 2009-12-09 | 2014-01-28 | Deluxe 3D Llc | Auto-stereoscopic interpolation |
| US8538135B2 (en) * | 2009-12-09 | 2013-09-17 | Deluxe 3D Llc | Pulling keys from color segmented images |
| US8902229B2 (en) * | 2010-01-13 | 2014-12-02 | Samsung Electronics Co., Ltd. | Method and system for rendering three dimensional views of a scene |
| JP5303754B2 (ja) * | 2010-02-24 | 2013-10-02 | 日本電信電話株式会社 | 多視点映像符号化方法、多視点映像復号方法、多視点映像符号化装置、多視点映像復号装置、及びプログラム |
| US8787663B2 (en) * | 2010-03-01 | 2014-07-22 | Primesense Ltd. | Tracking body parts by combined color image and depth processing |
| US20110222757A1 (en) | 2010-03-10 | 2011-09-15 | Gbo 3D Technology Pte. Ltd. | Systems and methods for 2D image and spatial data capture for 3D stereo imaging |
| KR101289269B1 (ko) * | 2010-03-23 | 2013-07-24 | 한국전자통신연구원 | 영상 시스템에서 영상 디스플레이 장치 및 방법 |
| TWI407774B (zh) * | 2010-04-06 | 2013-09-01 | Teco Elec & Machinery Co Ltd | 多視角即時立體影像處理系統 |
| US9053573B2 (en) * | 2010-04-29 | 2015-06-09 | Personify, Inc. | Systems and methods for generating a virtual camera viewpoint for an image |
| JP5848754B2 (ja) | 2010-05-12 | 2016-01-27 | ペリカン イメージング コーポレイション | 撮像装置アレイおよびアレイカメラのためのアーキテクチャ |
| JP5574852B2 (ja) * | 2010-06-30 | 2014-08-20 | キヤノン株式会社 | 情報処理装置、情報処理方法、システム及びプログラム |
| FR2963144B1 (fr) * | 2010-07-26 | 2012-12-07 | Vit | Installation d'inspection optique de circuits electroniques |
| FR2963093B1 (fr) * | 2010-07-26 | 2012-08-03 | Vit | Installation d'inspection optique 3d de circuits electroniques |
| KR101688153B1 (ko) * | 2010-08-11 | 2016-12-20 | 엘지전자 주식회사 | 3차원 영상의 편집 방법 및 이를 이용하는 이동 단말기 |
| KR101676830B1 (ko) * | 2010-08-16 | 2016-11-17 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| US8655093B2 (en) * | 2010-09-02 | 2014-02-18 | Edge 3 Technologies, Inc. | Method and apparatus for performing segmentation of an image |
| EP2426929A1 (en) | 2010-09-06 | 2012-03-07 | Telefonaktiebolaget L M Ericsson AB (Publ) | Viewpoint navigation |
| US9565415B2 (en) | 2010-09-14 | 2017-02-07 | Thomson Licensing | Method of presenting three-dimensional content with disparity adjustments |
| JP2012085252A (ja) * | 2010-09-17 | 2012-04-26 | Panasonic Corp | 画像生成装置、画像生成方法、プログラムおよびプログラムを記録した記録媒体 |
| JP5002702B2 (ja) * | 2010-12-03 | 2012-08-15 | 株式会社東芝 | 視差画像生成装置、立体映像表示装置及び視差画像生成方法 |
| JP5858380B2 (ja) * | 2010-12-03 | 2016-02-10 | 国立大学法人名古屋大学 | 仮想視点画像合成方法及び仮想視点画像合成システム |
| US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
| US9177381B2 (en) * | 2010-12-22 | 2015-11-03 | Nani Holdings IP, LLC | Depth estimate determination, systems and methods |
| GB201102794D0 (en) * | 2011-02-17 | 2011-03-30 | Metail Ltd | Online retail system |
| CN102129550B (zh) * | 2011-02-17 | 2013-04-17 | 华南理工大学 | 场景感知方法 |
| US8666191B2 (en) * | 2011-03-02 | 2014-03-04 | Canon Kabushiki Kaisha | Systems and methods for image capturing |
| KR101792501B1 (ko) * | 2011-03-16 | 2017-11-21 | 한국전자통신연구원 | 특징기반의 스테레오 매칭 방법 및 장치 |
| EP2509324A1 (en) * | 2011-04-08 | 2012-10-10 | Thomson Licensing | Method and apparatus for analyzing stereoscopic or multi-view images |
| JP2014519741A (ja) | 2011-05-11 | 2014-08-14 | ペリカン イメージング コーポレイション | アレイカメラ画像データを伝送および受信するためのシステムおよび方法 |
| PL2715449T3 (pl) | 2011-05-31 | 2017-06-30 | Nokia Technologies Oy | Sposoby, urządzenia i komputerowe produkty programistyczne do generowania obrazów panoramicznych przy użyciu danych mapy głębi obrazu |
| KR20140045458A (ko) | 2011-06-28 | 2014-04-16 | 펠리칸 이매징 코포레이션 | 어레이 카메라와 함께 사용하는 광학 장치 |
| US20130265459A1 (en) | 2011-06-28 | 2013-10-10 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
| US9300946B2 (en) | 2011-07-08 | 2016-03-29 | Personify, Inc. | System and method for generating a depth map and fusing images from a camera array |
| JP5968107B2 (ja) * | 2011-09-01 | 2016-08-10 | キヤノン株式会社 | 画像処理方法、画像処理装置およびプログラム |
| KR101975247B1 (ko) * | 2011-09-14 | 2019-08-23 | 삼성전자주식회사 | 영상 처리 장치 및 그 영상 처리 방법 |
| WO2013043761A1 (en) | 2011-09-19 | 2013-03-28 | Pelican Imaging Corporation | Determining depth from multiple views of a scene that include aliasing using hypothesized fusion |
| KR102002165B1 (ko) | 2011-09-28 | 2019-07-25 | 포토내이션 리미티드 | 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법 |
| US9613453B2 (en) | 2011-10-04 | 2017-04-04 | Google Inc. | Systems and method for performing a three pass rendering of images |
| US9401041B2 (en) | 2011-10-26 | 2016-07-26 | The Regents Of The University Of California | Multi view synthesis method and display devices with spatial and inter-view consistency |
| TWI540538B (zh) * | 2011-10-27 | 2016-07-01 | 晨星半導體股份有限公司 | 對立體影像之處理方法 |
| CN103108200B (zh) * | 2011-11-09 | 2016-03-02 | 晨星软件研发(深圳)有限公司 | 对立体影像的处理方法 |
| GB2496393B (en) * | 2011-11-09 | 2016-08-24 | Canon Kk | Method and device for generating a super-resolution image portion |
| US20130129192A1 (en) * | 2011-11-17 | 2013-05-23 | Sen Wang | Range map determination for a video frame |
| US8611642B2 (en) | 2011-11-17 | 2013-12-17 | Apple Inc. | Forming a steroscopic image using range map |
| US20130127988A1 (en) * | 2011-11-17 | 2013-05-23 | Sen Wang | Modifying the viewpoint of a digital image |
| US9041819B2 (en) | 2011-11-17 | 2015-05-26 | Apple Inc. | Method for stabilizing a digital video |
| US8774513B2 (en) | 2012-01-09 | 2014-07-08 | General Electric Company | Image concealing via efficient feature selection |
| US9237330B2 (en) * | 2012-02-21 | 2016-01-12 | Intellectual Ventures Fund 83 Llc | Forming a stereoscopic video |
| EP2817955B1 (en) | 2012-02-21 | 2018-04-11 | FotoNation Cayman Limited | Systems and methods for the manipulation of captured light field image data |
| US9210392B2 (en) | 2012-05-01 | 2015-12-08 | Pelican Imaging Coporation | Camera modules patterned with pi filter groups |
| US9779546B2 (en) | 2012-05-04 | 2017-10-03 | Intermec Ip Corp. | Volume dimensioning systems and methods |
| US9007368B2 (en) | 2012-05-07 | 2015-04-14 | Intermec Ip Corp. | Dimensioning system calibration systems and methods |
| US10007858B2 (en) | 2012-05-15 | 2018-06-26 | Honeywell International Inc. | Terminals and methods for dimensioning objects |
| US9610101B2 (en) | 2012-06-11 | 2017-04-04 | Lihai Zhang | Long-bone fracture-reduction robot |
| US9773333B2 (en) * | 2012-06-12 | 2017-09-26 | Sony Corporation | Information processing device, information processing method, and program |
| US9258562B2 (en) | 2012-06-13 | 2016-02-09 | Qualcomm Incorporated | Derivation of depth map estimate |
| US9858649B2 (en) | 2015-09-30 | 2018-01-02 | Lytro, Inc. | Depth-based image blurring |
| EP2873028A4 (en) | 2012-06-28 | 2016-05-25 | Pelican Imaging Corp | SYSTEMS AND METHOD FOR DETECTING DEFECTIVE CAMERA ARRAYS, OPTICAL ARRAYS AND SENSORS |
| US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
| US10321127B2 (en) | 2012-08-20 | 2019-06-11 | Intermec Ip Corp. | Volume dimensioning system calibration systems and methods |
| EP4296963A3 (en) | 2012-08-21 | 2024-03-27 | Adeia Imaging LLC | Method for depth detection in images captured using array cameras |
| CN104685513B (zh) | 2012-08-23 | 2018-04-27 | 派力肯影像公司 | 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计 |
| WO2014043641A1 (en) | 2012-09-14 | 2014-03-20 | Pelican Imaging Corporation | Systems and methods for correcting user identified artifacts in light field images |
| US20140092281A1 (en) * | 2012-09-28 | 2014-04-03 | Pelican Imaging Corporation | Generating Images from Light Fields Utilizing Virtual Viewpoints |
| US9939259B2 (en) | 2012-10-04 | 2018-04-10 | Hand Held Products, Inc. | Measuring object dimensions using mobile computer |
| US20140104413A1 (en) | 2012-10-16 | 2014-04-17 | Hand Held Products, Inc. | Integrated dimensioning and weighing system |
| KR101874482B1 (ko) * | 2012-10-16 | 2018-07-05 | 삼성전자주식회사 | 깊이 영상으로부터 고해상도 3차원 영상을 복원하는 장치 및 방법 |
| CN102999901B (zh) * | 2012-10-17 | 2016-06-29 | 中国科学院计算技术研究所 | 基于深度传感器的在线视频分割后的处理方法及系统 |
| CN103795961A (zh) * | 2012-10-30 | 2014-05-14 | 三亚中兴软件有限责任公司 | 会议电视网真系统及其图像处理方法 |
| US9143711B2 (en) | 2012-11-13 | 2015-09-22 | Pelican Imaging Corporation | Systems and methods for array camera focal plane control |
| CN103974055B (zh) * | 2013-02-06 | 2016-06-08 | 城市图像科技有限公司 | 3d照片生成系统及方法 |
| WO2014122506A1 (en) * | 2013-02-07 | 2014-08-14 | Nokia Corporation | Image processing of sub -images of a plenoptic image |
| WO2014130849A1 (en) | 2013-02-21 | 2014-08-28 | Pelican Imaging Corporation | Generating compressed light field representation data |
| WO2014133974A1 (en) | 2013-02-24 | 2014-09-04 | Pelican Imaging Corporation | Thin form computational and modular array cameras |
| US9638883B1 (en) | 2013-03-04 | 2017-05-02 | Fotonation Cayman Limited | Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process |
| WO2014138697A1 (en) | 2013-03-08 | 2014-09-12 | Pelican Imaging Corporation | Systems and methods for high dynamic range imaging using array cameras |
| US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
| US9521416B1 (en) | 2013-03-11 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for image data compression |
| WO2014164909A1 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | Array camera architecture implementing quantum film sensors |
| US9080856B2 (en) | 2013-03-13 | 2015-07-14 | Intermec Ip Corp. | Systems and methods for enhancing dimensioning, for example volume dimensioning |
| WO2014164550A2 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
| US9106784B2 (en) | 2013-03-13 | 2015-08-11 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing |
| US9519972B2 (en) | 2013-03-13 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
| WO2014153098A1 (en) | 2013-03-14 | 2014-09-25 | Pelican Imaging Corporation | Photmetric normalization in array cameras |
| WO2014159779A1 (en) | 2013-03-14 | 2014-10-02 | Pelican Imaging Corporation | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
| US20140267598A1 (en) * | 2013-03-14 | 2014-09-18 | 360Brandvision, Inc. | Apparatus and method for holographic poster display |
| US9538081B1 (en) | 2013-03-14 | 2017-01-03 | Amazon Technologies, Inc. | Depth-based image stabilization |
| US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
| US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
| US20140267759A1 (en) * | 2013-03-15 | 2014-09-18 | Digitalglobe, Inc. | Estimation of fine structure within pixels in satellite imagery |
| US9633442B2 (en) | 2013-03-15 | 2017-04-25 | Fotonation Cayman Limited | Array cameras including an array camera module augmented with a separate camera |
| WO2014150856A1 (en) | 2013-03-15 | 2014-09-25 | Pelican Imaging Corporation | Array camera implementing quantum dot color filters |
| US9438888B2 (en) | 2013-03-15 | 2016-09-06 | Pelican Imaging Corporation | Systems and methods for stereo imaging with camera arrays |
| US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
| US20140267618A1 (en) * | 2013-03-15 | 2014-09-18 | Google Inc. | Capturing and Refocusing Imagery |
| KR102117273B1 (ko) * | 2013-03-21 | 2020-06-01 | 삼성전자주식회사 | 수술 로봇 시스템 및 그 제어 방법 |
| US10334151B2 (en) | 2013-04-22 | 2019-06-25 | Google Llc | Phase detection autofocus using subaperture images |
| CN103310445A (zh) * | 2013-06-01 | 2013-09-18 | 吉林大学 | 用于虚拟视点绘制的虚拟视点摄像机参数估计方法 |
| US10228452B2 (en) | 2013-06-07 | 2019-03-12 | Hand Held Products, Inc. | Method of error correction for 3D imaging device |
| US9239950B2 (en) | 2013-07-01 | 2016-01-19 | Hand Held Products, Inc. | Dimensioning system |
| US10785463B2 (en) * | 2013-07-16 | 2020-09-22 | Texas Instruments Incorporated | Super-resolution in structured light imaging |
| KR101519209B1 (ko) * | 2013-08-06 | 2015-05-11 | 현대자동차주식회사 | Avm 영상 제공 장치 및 방법 |
| CN105531998B (zh) * | 2013-08-19 | 2017-07-07 | 诺基亚技术有限公司 | 用于对象检测和分割的方法、装置及计算机程序产品 |
| US9464885B2 (en) | 2013-08-30 | 2016-10-11 | Hand Held Products, Inc. | System and method for package dimensioning |
| US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
| US9185276B2 (en) | 2013-11-07 | 2015-11-10 | Pelican Imaging Corporation | Methods of manufacturing array camera modules incorporating independently aligned lens stacks |
| US10119808B2 (en) | 2013-11-18 | 2018-11-06 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
| US9426361B2 (en) | 2013-11-26 | 2016-08-23 | Pelican Imaging Corporation | Array camera configurations incorporating multiple constituent array cameras |
| EP2887277A1 (en) * | 2013-12-18 | 2015-06-24 | Thales Nederland B.V. | Method, system and computer program for decision support |
| US10089740B2 (en) | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
| US9247117B2 (en) | 2014-04-07 | 2016-01-26 | Pelican Imaging Corporation | Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array |
| US9521319B2 (en) | 2014-06-18 | 2016-12-13 | Pelican Imaging Corporation | Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor |
| US9823059B2 (en) | 2014-08-06 | 2017-11-21 | Hand Held Products, Inc. | Dimensioning system with guided alignment |
| US11205305B2 (en) | 2014-09-22 | 2021-12-21 | Samsung Electronics Company, Ltd. | Presentation of three-dimensional video |
| US10313656B2 (en) * | 2014-09-22 | 2019-06-04 | Samsung Electronics Company Ltd. | Image stitching for three-dimensional video |
| US10250871B2 (en) | 2014-09-29 | 2019-04-02 | Fotonation Limited | Systems and methods for dynamic calibration of array cameras |
| US10775165B2 (en) | 2014-10-10 | 2020-09-15 | Hand Held Products, Inc. | Methods for improving the accuracy of dimensioning-system measurements |
| US9779276B2 (en) | 2014-10-10 | 2017-10-03 | Hand Held Products, Inc. | Depth sensor based auto-focus system for an indicia scanner |
| US10810715B2 (en) | 2014-10-10 | 2020-10-20 | Hand Held Products, Inc | System and method for picking validation |
| US10060729B2 (en) | 2014-10-21 | 2018-08-28 | Hand Held Products, Inc. | Handheld dimensioner with data-quality indication |
| US9752864B2 (en) | 2014-10-21 | 2017-09-05 | Hand Held Products, Inc. | Handheld dimensioning system with feedback |
| US9557166B2 (en) | 2014-10-21 | 2017-01-31 | Hand Held Products, Inc. | Dimensioning system with multipath interference mitigation |
| US9897434B2 (en) | 2014-10-21 | 2018-02-20 | Hand Held Products, Inc. | Handheld dimensioning system with measurement-conformance feedback |
| US9762793B2 (en) | 2014-10-21 | 2017-09-12 | Hand Held Products, Inc. | System and method for dimensioning |
| CN104517292A (zh) * | 2014-12-25 | 2015-04-15 | 杭州电子科技大学 | 基于平面单应矩阵约束的多摄像机高密度人群分割方法 |
| US10412373B2 (en) | 2015-04-15 | 2019-09-10 | Google Llc | Image capture for virtual reality displays |
| US10419737B2 (en) | 2015-04-15 | 2019-09-17 | Google Llc | Data structures and delivery methods for expediting virtual reality playback |
| US10567464B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video compression with adaptive view-dependent lighting removal |
| US10275898B1 (en) | 2015-04-15 | 2019-04-30 | Google Llc | Wedge-based light-field video capture |
| US10444931B2 (en) | 2017-05-09 | 2019-10-15 | Google Llc | Vantage generation and interactive playback |
| US11328446B2 (en) | 2015-04-15 | 2022-05-10 | Google Llc | Combining light-field data with active depth data for depth map generation |
| US10565734B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline |
| US10469873B2 (en) | 2015-04-15 | 2019-11-05 | Google Llc | Encoding and decoding virtual reality video |
| US10440407B2 (en) | 2017-05-09 | 2019-10-08 | Google Llc | Adaptive control for immersive experience delivery |
| US10341632B2 (en) | 2015-04-15 | 2019-07-02 | Google Llc. | Spatial random access enabled video system with a three-dimensional viewing volume |
| US10540818B2 (en) | 2015-04-15 | 2020-01-21 | Google Llc | Stereo image generation and interactive playback |
| US10546424B2 (en) | 2015-04-15 | 2020-01-28 | Google Llc | Layered content delivery for virtual and augmented reality experiences |
| US9942474B2 (en) | 2015-04-17 | 2018-04-10 | Fotonation Cayman Limited | Systems and methods for performing high speed video capture and depth estimation using array cameras |
| KR102341267B1 (ko) * | 2015-05-04 | 2021-12-20 | 삼성전자주식회사 | 양안 시차 영상에 대한 렌더링 방법 및 장치 |
| US9786101B2 (en) | 2015-05-19 | 2017-10-10 | Hand Held Products, Inc. | Evaluating image values |
| US10066982B2 (en) | 2015-06-16 | 2018-09-04 | Hand Held Products, Inc. | Calibrating a volume dimensioner |
| US20160377414A1 (en) | 2015-06-23 | 2016-12-29 | Hand Held Products, Inc. | Optical pattern projector |
| US9857167B2 (en) | 2015-06-23 | 2018-01-02 | Hand Held Products, Inc. | Dual-projector three-dimensional scanner |
| US9835486B2 (en) | 2015-07-07 | 2017-12-05 | Hand Held Products, Inc. | Mobile dimensioner apparatus for use in commerce |
| EP3396313B1 (en) | 2015-07-15 | 2020-10-21 | Hand Held Products, Inc. | Mobile dimensioning method and device with dynamic accuracy compatible with nist standard |
| US10094650B2 (en) | 2015-07-16 | 2018-10-09 | Hand Held Products, Inc. | Dimensioning and imaging items |
| US20170017301A1 (en) | 2015-07-16 | 2017-01-19 | Hand Held Products, Inc. | Adjusting dimensioning results using augmented reality |
| US9979909B2 (en) | 2015-07-24 | 2018-05-22 | Lytro, Inc. | Automatic lens flare detection and correction for light-field images |
| KR102101217B1 (ko) * | 2015-08-31 | 2020-04-17 | 주식회사 실리콘아츠 | 헤드 마운트 디스플레이의 가상현실 생성방법 및 이를 수행하는 헤드 마운트 디스플레이 |
| US10748264B2 (en) * | 2015-09-09 | 2020-08-18 | Sony Corporation | Image processing apparatus and image processing method |
| US9773022B2 (en) | 2015-10-07 | 2017-09-26 | Google Inc. | Displaying objects based on a plurality of models |
| US9741125B2 (en) * | 2015-10-28 | 2017-08-22 | Intel Corporation | Method and system of background-foreground segmentation for image processing |
| US10249030B2 (en) | 2015-10-30 | 2019-04-02 | Hand Held Products, Inc. | Image transformation for indicia reading |
| US10225544B2 (en) | 2015-11-19 | 2019-03-05 | Hand Held Products, Inc. | High resolution dot pattern |
| US10025314B2 (en) | 2016-01-27 | 2018-07-17 | Hand Held Products, Inc. | Vehicle positioning and object avoidance |
| JP2019515698A (ja) * | 2016-03-02 | 2019-06-13 | コヴィディエン リミテッド パートナーシップ | 手術画像および／またはビデオの中で閉塞物体を除去するシステムならびに方法 |
| US10057562B2 (en) * | 2016-04-06 | 2018-08-21 | Facebook, Inc. | Generating intermediate views using optical flow |
| US20170302910A1 (en) * | 2016-04-19 | 2017-10-19 | Motorola Mobility Llc | Method and apparatus for merging depth maps in a depth camera system |
| US10339352B2 (en) | 2016-06-03 | 2019-07-02 | Hand Held Products, Inc. | Wearable metrological apparatus |
| US10275892B2 (en) | 2016-06-09 | 2019-04-30 | Google Llc | Multi-view scene segmentation and propagation |
| US9940721B2 (en) | 2016-06-10 | 2018-04-10 | Hand Held Products, Inc. | Scene change detection in a dimensioner |
| US10163216B2 (en) | 2016-06-15 | 2018-12-25 | Hand Held Products, Inc. | Automatic mode switching in a volume dimensioner |
| US10477178B2 (en) * | 2016-06-30 | 2019-11-12 | Massachusetts Institute Of Technology | High-speed and tunable scene reconstruction systems and methods using stereo imagery |
| US10127712B2 (en) * | 2016-07-08 | 2018-11-13 | Google Llc | Immersive content framing |
| US10650488B2 (en) * | 2016-08-11 | 2020-05-12 | Teknologian Tutkimuskeskus Vtt Oy | Apparatus, method, and computer program code for producing composite image |
| JP6419128B2 (ja) | 2016-10-28 | 2018-11-07 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
| US10382680B2 (en) * | 2016-10-31 | 2019-08-13 | Verizon Patent And Licensing Inc. | Methods and systems for generating stitched video content from multiple overlapping and concurrently-generated video instances |
| US10325391B2 (en) * | 2016-11-21 | 2019-06-18 | Qualcomm Incorporated | Oriented image stitching for spherical image content |
| WO2018100928A1 (ja) | 2016-11-30 | 2018-06-07 | キヤノン株式会社 | 画像処理装置および方法 |
| JP6948171B2 (ja) * | 2016-11-30 | 2021-10-13 | キヤノン株式会社 | 画像処理装置および画像処理方法、プログラム |
| US10679361B2 (en) | 2016-12-05 | 2020-06-09 | Google Llc | Multi-view rotoscope contour propagation |
| US10909708B2 (en) | 2016-12-09 | 2021-02-02 | Hand Held Products, Inc. | Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements |
| US10762653B2 (en) * | 2016-12-27 | 2020-09-01 | Canon Kabushiki Kaisha | Generation apparatus of virtual viewpoint image, generation method, and storage medium |
| US10038894B1 (en) * | 2017-01-17 | 2018-07-31 | Facebook, Inc. | Three-dimensional scene reconstruction from set of two dimensional images for consumption in virtual reality |
| JP7159057B2 (ja) * | 2017-02-10 | 2022-10-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 自由視点映像生成方法及び自由視点映像生成システム |
| US11047672B2 (en) | 2017-03-28 | 2021-06-29 | Hand Held Products, Inc. | System for optically dimensioning |
| US10594945B2 (en) | 2017-04-03 | 2020-03-17 | Google Llc | Generating dolly zoom effect using light field image data |
| US10474227B2 (en) | 2017-05-09 | 2019-11-12 | Google Llc | Generation of virtual reality with 6 degrees of freedom from limited viewer data |
| JP6871801B2 (ja) * | 2017-05-11 | 2021-05-12 | キヤノン株式会社 | 画像処理装置、画像処理方法、情報処理装置、撮像装置および画像処理システム |
| US10354399B2 (en) | 2017-05-25 | 2019-07-16 | Google Llc | Multi-view back-projection to a light-field |
| US10733748B2 (en) | 2017-07-24 | 2020-08-04 | Hand Held Products, Inc. | Dual-pattern optical 3D dimensioning |
| EP3435670A1 (en) * | 2017-07-25 | 2019-01-30 | Koninklijke Philips N.V. | Apparatus and method for generating a tiled three-dimensional image representation of a scene |
| US11049218B2 (en) | 2017-08-11 | 2021-06-29 | Samsung Electronics Company, Ltd. | Seamless image stitching |
| US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
| US10545215B2 (en) * | 2017-09-13 | 2020-01-28 | Google Llc | 4D camera tracking and optical stabilization |
| US10684537B2 (en) * | 2017-11-14 | 2020-06-16 | Texas Instruments Incorporated | Camera-assisted arbitrary surface characterization and correction |
| US10681318B2 (en) * | 2017-11-14 | 2020-06-09 | Texas Instruments Incorporated | Camera-assisted arbitrary surface characterization and slope-based correction |
| KR102650217B1 (ko) * | 2017-12-07 | 2024-03-21 | 삼성전자주식회사 | 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치 |
| US10504274B2 (en) * | 2018-01-05 | 2019-12-10 | Microsoft Technology Licensing, Llc | Fusing, texturing, and rendering views of dynamic three-dimensional models |
| US10965862B2 (en) | 2018-01-18 | 2021-03-30 | Google Llc | Multi-camera navigation interface |
| CA3093875A1 (en) | 2018-03-27 | 2019-10-03 | Hitachi America, Ltd. | 3d device simulator visualizer platform as a service |
| US10584962B2 (en) | 2018-05-01 | 2020-03-10 | Hand Held Products, Inc | System and method for validating physical-item security |
| EP3804328A4 (en) | 2018-06-29 | 2022-03-09 | Proprio, Inc. | SYNTHESIS OF AN IMAGE FROM A VIRTUAL PERSPECTIVE USING PIXELS FROM A PHYSICAL IMAGING ARRANGEMENT |
| US10986325B2 (en) * | 2018-09-12 | 2021-04-20 | Nvidia Corporation | Scene flow estimation using shared features |
| WO2020073982A1 (en) * | 2018-10-11 | 2020-04-16 | Shanghaitech University | System and method for extracting planar surface from depth image |
| TWI687706B (zh) * | 2019-04-02 | 2020-03-11 | 廣達電腦股份有限公司 | 移動裝置之定位系統 |
| EP3821267A4 (en) | 2019-09-17 | 2022-04-13 | Boston Polarimetrics, Inc. | SURFACE MODELING SYSTEMS AND METHODS USING POLARIZATION MARKERS |
| US11639846B2 (en) | 2019-09-27 | 2023-05-02 | Honeywell International Inc. | Dual-pattern optical 3D dimensioning |
| CN114746717A (zh) | 2019-10-07 | 2022-07-12 | 波士顿偏振测定公司 | 利用偏振进行表面法线感测的系统和方法 |
| EP3816942A1 (en) * | 2019-10-29 | 2021-05-05 | Koninklijke Philips N.V. | An image processing method for setting transparency values and color values of pixels in a virtual image |
| MX2022005289A (es) | 2019-11-30 | 2022-08-08 | Boston Polarimetrics Inc | Sistemas y metodos para segmentacion de objetos transparentes usando se?ales de polarizacion. |
| US11195303B2 (en) | 2020-01-29 | 2021-12-07 | Boston Polarimetrics, Inc. | Systems and methods for characterizing object pose detection and measurement systems |
| JP2023511747A (ja) | 2020-01-30 | 2023-03-22 | イントリンジック イノベーション エルエルシー | 偏光画像を含む異なる撮像モダリティで統計モデルを訓練するためのデータを合成するためのシステムおよび方法 |
| WO2021243088A1 (en) | 2020-05-27 | 2021-12-02 | Boston Polarimetrics, Inc. | Multi-aperture polarization optical systems using beam splitters |
| CN111932594B (zh) * | 2020-09-18 | 2023-12-19 | 西安拙河安见信息科技有限公司 | 一种基于光流的十亿像素视频对齐方法及装置、介质 |
| US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
| US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
| US20220353530A1 (en) * | 2021-04-29 | 2022-11-03 | Active Theory Inc | Method and System for Encoding a 3D Scene |
| CN117242768A (zh) * | 2021-05-14 | 2023-12-15 | Oppo广东移动通信有限公司 | 虚拟视点绘制、渲染、解码方法及装置、设备、存储介质 |
| US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US581942A (en) * | 1897-05-04 | saniter | ||
| WO1995006297A1 (en) | 1993-08-27 | 1995-03-02 | Massachusetts Institute Of Technology | Example-based image analysis and synthesis using pixelwise correspondence |
| US5649032A (en) | 1994-11-14 | 1997-07-15 | David Sarnoff Research Center, Inc. | System for automatically aligning images to form a mosaic image |
| US5703961A (en) * | 1994-12-29 | 1997-12-30 | Worldscape L.L.C. | Image transformation and synthesis methods |
| IL113496A (en) | 1995-04-25 | 1999-09-22 | Cognitens Ltd | Apparatus and method for recreating and manipulating a 3d object based on a 2d projection thereof |
| US6009188A (en) | 1996-02-16 | 1999-12-28 | Microsoft Corporation | Method and system for digital plenoptic imaging |
| US6084979A (en) | 1996-06-20 | 2000-07-04 | Carnegie Mellon University | Method for creating virtual reality |
| US6075905A (en) | 1996-07-17 | 2000-06-13 | Sarnoff Corporation | Method and apparatus for mosaic image construction |
| US5917937A (en) | 1997-04-15 | 1999-06-29 | Microsoft Corporation | Method for performing stereo matching to recover depths, colors and opacities of surface elements |
| US6078701A (en) | 1997-08-01 | 2000-06-20 | Sarnoff Corporation | Method and apparatus for performing local to global multiframe alignment to construct mosaic images |
| US6166744A (en) | 1997-11-26 | 2000-12-26 | Pathfinder Systems, Inc. | System for combining virtual images with real-world scenes |
| JP3745117B2 (ja) * | 1998-05-08 | 2006-02-15 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| US6198852B1 (en) | 1998-06-01 | 2001-03-06 | Yeda Research And Development Co., Ltd. | View synthesis from plural images using a trifocal tensor data structure in a multi-view parallax geometry |
| US6268846B1 (en) * | 1998-06-22 | 2001-07-31 | Adobe Systems Incorporated | 3D graphics based on images and morphing |
| US6469710B1 (en) * | 1998-09-25 | 2002-10-22 | Microsoft Corporation | Inverse texture mapping using weighted pyramid blending |
| JP3634677B2 (ja) * | 1999-02-19 | 2005-03-30 | キヤノン株式会社 | 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体 |
-
2001
- 2001-10-16 US US09/978,158 patent/US7085409B2/en not_active Expired - Lifetime
- 2001-12-03 WO PCT/US2001/046705 patent/WO2002045001A1/en not_active Application Discontinuation
- 2001-12-03 EP EP01996134A patent/EP1337961A4/en not_active Withdrawn
- 2001-12-03 JP JP2002547092A patent/JP2004525437A/ja active Pending
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007141228A (ja) * | 2005-11-15 | 2007-06-07 | Sharp Corp | 自由視点におけるバーチャルビューの特定および合成 |
| WO2012111756A1 (ja) * | 2011-02-18 | 2012-08-23 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| US9361734B2 (en) | 2011-02-18 | 2016-06-07 | Sony Corporation | Image processing device and image processing method |
| US9716873B2 (en) | 2011-02-18 | 2017-07-25 | Sony Corporation | Image processing device and image processing method |
| WO2012114975A1 (ja) * | 2011-02-24 | 2012-08-30 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| US9235749B2 (en) | 2011-02-24 | 2016-01-12 | Sony Corporation | Image processing device and image processing method |
| JP2014507722A (ja) * | 2011-12-29 | 2014-03-27 | インテル コーポレイション | 一般化されたロバストなマルチチャンネル特徴検出器 |
| KR102121931B1 (ko) | 2016-05-25 | 2020-06-11 | 캐논 가부시끼가이샤 | 제어 디바이스, 제어 방법 및 저장 매체 |
| KR20190010646A (ko) * | 2016-05-25 | 2019-01-30 | 캐논 가부시끼가이샤 | 제어 디바이스, 제어 방법 및 저장 매체 |
| JP2020532797A (ja) * | 2017-09-01 | 2020-11-12 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 前の目線からのレンダリングされたコンテンツおよびレンダリングされなかったコンテンツを使用した新しいフレームの生成 |
| JP7123127B2 (ja) | 2017-09-01 | 2022-08-22 | マジック リープ， インコーポレイテッド | 前の目線からのレンダリングされたコンテンツおよびレンダリングされなかったコンテンツを使用した新しいフレームの生成 |
| JP7166484B1 (ja) | 2017-09-01 | 2022-11-07 | マジック リープ， インコーポレイテッド | 前の目線からのレンダリングされたコンテンツおよびレンダリングされなかったコンテンツを使用した新しいフレームの生成 |
| JP2022179473A (ja) * | 2017-09-01 | 2022-12-02 | マジック リープ， インコーポレイテッド | 前の目線からのレンダリングされたコンテンツおよびレンダリングされなかったコンテンツを使用した新しいフレームの生成 |
| JP7201869B1 (ja) | 2017-09-01 | 2023-01-10 | マジック リープ， インコーポレイテッド | 前の目線からのレンダリングされたコンテンツおよびレンダリングされなかったコンテンツを使用した新しいフレームの生成 |
| JP2023015119A (ja) * | 2017-09-01 | 2023-01-31 | マジック リープ， インコーポレイテッド | 前の目線からのレンダリングされたコンテンツおよびレンダリングされなかったコンテンツを使用した新しいフレームの生成 |
| JPWO2019050038A1 (ja) * | 2017-09-11 | 2020-10-15 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 画像生成方法および画像生成装置 |
| JP7387434B2 (ja) | 2017-09-11 | 2023-11-28 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像生成方法および画像生成装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20020061131A1 (en) | 2002-05-23 |
| EP1337961A4 (en) | 2007-03-14 |
| WO2002045001A1 (en) | 2002-06-06 |
| EP1337961A1 (en) | 2003-08-27 |
| US7085409B2 (en) | 2006-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004525437A (ja) | 一群の実際のビデオおよび／または静止画像から新規ビデオおよび／または静止画像を合成する方法および装置 | |
| Chan et al. | Image-based rendering and synthesis | |
| Scharstein | View synthesis using stereo vision | |
| KR100888537B1 (ko) | 이미지의 ２ 계층이며, 삼차원인 표현을 생성하기 위한 컴퓨터 구현 방법, 시스템 및 컴퓨터―판독가능 매체 | |
| US20020158873A1 (en) | Real-time virtual viewpoint in simulated reality environment | |
| US20040104935A1 (en) | Virtual reality immersion system | |
| Klein | Visual tracking for augmented reality | |
| CN101198964A (zh) | 使用红外图案照射创建对象的三维图像 | |
| WO2004012141A2 (en) | Virtual reality immersion system | |
| Cheung et al. | Markerless human motion transfer | |
| Rander | A multi-camera method for 3D digitization of dynamic, real-world events | |
| Starck et al. | Virtual view synthesis of people from multiple view video sequences | |
| Mulligan et al. | Stereo-based environment scanning for immersive telepresence | |
| Kurillo et al. | A framework for collaborative real-time 3D teleimmersion in a geographically distributed environment | |
| Farbiz et al. | Live three-dimensional content for augmented reality | |
| Kompatsiaris et al. | 3-D model-based segmentation of videoconference image sequences | |
| Vasudevan et al. | A methodology for remote virtual interaction in teleimmersive environments | |
| Rosenhahn et al. | Automatic human model generation | |
| Cheng et al. | Texture mapping 3d planar models of indoor environments with noisy camera poses | |
| Popescu et al. | The modelcamera | |
| Xiao et al. | 3d object transfer between non-overlapping videos | |
| Ladikos et al. | Real-time 3d reconstruction for occlusion-aware interactions in mixed reality | |
| Yamamoto | Case studies of producing mixed reality worlds | |
| Jiddi | Photometric registration of indoor real scenes using an RGB-D camera with application to mixed reality | |
| Miller | High Quality Novel View Rendering from Multiple Cameras |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041109 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070829 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070904 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20071204 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20071211 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080104 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080111 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080204 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080212 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080507 |