JP2014220804A - 単一の２次元画像からシーンを再構成する方法 - Google Patents

Abstract

【課題】新規の幾何学的制約、及び関連する最適化手順を用いて、シーンのピクセルレベルの分類及び可能なレイアウト（ｐｏｓｓｉｂｌｅ ｌａｙｏｕｔ）を改善する。
【解決手段】互いに直交する交差線、消失点及び消失線に基づいてシーンの幾何学的制約を満たす結合点を特定することによって単一の２次元（２Ｄ）画像から３次元（３Ｄ）実世界シーンを再構成する。結合点に従って２Ｄ画像をサンプリングすることによって、シーンの可能なレイアウトが生成される。次に、可能なレイアウトから最適なレイアウトを選択するようにエネルギー関数が最大にされる。エネルギー関数は条件付き確率場（ＣＲＦ）モデルを用いて可能なレイアウトを評価する。
【選択図】図１Ｂ

Description

本発明は、包括的にはコンピュータービジョンに関し、より詳細には、２次元画像から３次元シーンを再構成することに関する。

２Ｄ画像から３Ｄシーンを再構成することは、コンピュータービジョンアプリケーション及び他のイメージングアプリケーションにおいて非常に重要な問題である。従来の３Ｄ再構成方法は、通常、シーン内の奥行きを得るのに２つ以上の画像を用いる。しかしながら、単一の２Ｄ画像からの奥行きの復元は、極度に不良設定の問題である。点及び多角形等の幾何学的エンティティを用いて３Ｄシーンを再構成するのではなく、１つの方法は、ポップアップモデルを構成する３Ｄ再構成手順を用いる。この方法は、いくつかの画像特徴及び幾何学的特徴を用いて、領域を地面、建物及び空として自動的に分類する。別の方法は、共平面性制約及び連結性制約に基づいて、画像特徴及び弱い推定を用いて絶対的な奥行きを推測する。

屋内シーンのモデリングの場合、１つの方法は、直方体モデルを用いて部屋の幾何学的形状を近似する。そのモデルを用いて、画像内のピクセルは、左壁、中央壁、右壁、床及び天井として分類される。屋内シーンの場合、この分類を、屋内シーンレイアウト推定又は単にレイアウト推定と呼ぶ。最適なレイアウトを推定するために、数百個の直方体がサンプリングされ、各直方体がいくつかの画像特徴及び幾何学的特徴に基づいてスコアを割り当てられる。この直方体推定問題をレイアウト推定と呼ぶ。この方法は、トレーニング画像を用いてテクスチャ、色及びライン特徴を分類し、ピクセルレベルの分類を得る。

本発明の実施形態は、単一の２Ｄ画像から３Ｄシーンを再構成する方法を提供する。単一の２Ｄ画像から３Ｄの実世界シーンを再構成することは、低コストの単一カメラによる解決法に興味を有する多数のコンピュータービジョンアプリケーションによって用いることができる、非常に重要で大部分が未解決の問題である。本発明の主な焦点は、屋内シーンを再構成することである。しかしながら、本方法は、シーンの事前の幾何学的知識に基づいて適切な制約が満たされるとき、屋外シーンの再構成にも用いることができる。

実世界シーンは、コンピューターグラフィック又はコンピューター支援設計によって生成されるような人工的な３Ｄシーンよりも難解であることに留意されたい。人工的な３Ｄシーンでは、方法は一般的に事前に制約される。実世界内のシーンは無限にあり、分類することが困難であり、制約は推測することしかできない。

オフライン事前処理段階において、トレーニング画像を用いて、消失点と、３Ｄ空間においてＸ方向、Ｙ方向又はＺ方向に沿った互いに直交するラインとに関連付けられた特徴を特定する。トレーニング中、直方体レイアウトのいくつかの正の例及び負の例、並びにそれらの対応する特徴が用いられる。真のレイアウト及び考え得る仮説を所与として、分類器はレイアウトのスコアを最大にするように学習する。

画像内のラインは、画像処理、マシンビジョン及びコンピュータービジョンにおいて既知の手順を用いて検出することができる。特定の方向における全ての消失線は、消失点、例えばｖｐ_ｘ、ｖｐ_ｙ及びｖｐ_ｚにおいて終端する。消失線及び消失点は、射影幾何学における概念である。トレーニング画像は、テクスチャ、色及びライン特徴に基づいてピクセルレベルの分離を可能にする分類器を構成するのに用いられる。次に、トレーニングされた分類器を用いて、様々な領域、例えば左壁、右壁、前壁、床、天井及びクラッターに従って各ピクセルをラベル付けすることができる。

実施形態による再構成方法は、新規の幾何学的制約、及び関連する最適化手順を用いて、シーンのピクセルレベルの分類及び可能なレイアウト（ｐｏｓｓｉｂｌｅ ｌａｙｏｕｔ）を改善する。屋内シーンの場合、部屋のレイアウトは箱状（長方形）であり、凹型であることが仮定される。屋外シーンの場合、レイアウトは通常凸型である。

本発明において、結合点特徴を用いて３Ｄシーンを再構成する。結合点は、２つ以上のラインが交差する２Ｄシーン画像内の点、例えばピクセルである。入射ラインの数及び向きに依拠して、結合点はＬ、Ｋ、Ｔ、Ｘ、Ｙ、Ｗとして分類することができる。

本方法は、暗黙的に以下の制約、すなわち、順序制約、連結性制約、消失点制約、平面性制約及び境界制約を用いる。

順序制約は、例えば、消失点を用いてカメラの向きを処理した後、天井領域にあるとして分類されたピクセルが常に、床領域に属するとして分類されたピクセルの上方に位置するべきであるという規則を指す。他の順序規則を組み込むことができ、例として、例えば建物を含む屋外シーンの場合、建物の屋根は地表面の上方にある。

連結性制約は、単一の領域が、ピクセルの単一の連結された組に関連付けられるという規則を指す。すなわち、左壁用のピクセルの組は、右壁又は床のピクセルとは別個である。この規則は、屋内シーン及び屋外シーンについて等しく適用可能である。

消失点制約は、異なる領域を分離するラインが関連する消失点を通過するという規則を指す。

平面性制約は、部屋の異なる面に対応する平面が、その向きに沿った結合点に有利に働く（ｆａｖｏｒ）べきであるという規則を指す。複数の消失点を用いて結合点を検出する。本方法は、結合点に基づく局所平面性制約を用いて、平面上に位置するピクセルが同じラベル付けを有することを強制する。

境界制約は、レイアウトの境界ラインが、レイアウトの境界において優勢なＹ及びＷのような多くの結合点を含むべきであるという規則を指す。

理論上、部屋のレイアウトを指定するのに８つのラインが必要である。しかしながら、本発明では最小数の４つのラインを用い、これらを用いてレイアウトを一意に取得することができる。直方体レイアウトの他のラインは、消失点の知識を用いて推測するか又は求めることができる。

本方法は、交差線を結合点として特定する投票に基づく効率な手順も提供する。結合点は、条件付き確率場（ＣＲＦ）モデル及びエネルギー関数を用いてレイアウトを推定するのに用いられる。画像処理において、エネルギーは通常、画像内の有用な情報量に関連する。

このため、実施形態は、結合点に基づく新規の幾何学的制約、すなわち、シーンのレイアウトを推定するためのＣＲＦに基づくエネルギー関数を含む。５つ全ての幾何学的制約がＣＲＦモデルのエネルギー関数に組み込まれ、可能な限り最良なレイアウトの特定において、エネルギー関数の最大化によって、これらの制約を満たすことを試みる。

実施形態のうちのいくつかは、最適なレイアウトを用いて、家電製品、監視アプリケーション、人間追跡システム、娯楽システム、並びに暖房、換気及び空調（ＨＶＡＣ）システムにフィードバックすることができる。

本発明の実施形態による再構成方法によって処理されるシーンの２Ｄ画像である。 本発明の実施形態による図１Ａの方法のフローチャートである。 屋外シーンの合成線画である。 実画像から抽出された欠落したライン及び遮蔽されたラインを有する屋内シーンの線画である。 本発明の実施形態による３つの消失点を有するシーンの画像である。 本発明の実施形態による３つの消失点を有するシーンの画像である。 本発明の実施形態による３つの消失点を有するシーンの画像である。 本発明の実施形態による結合点を検出する投票手順の概略図である。 本発明の実施形態による結合点のラインの異なる部分組の概略図である。 本発明の実施形態による結合点タイプの概略図である。 本発明の実施形態による結合点に基づくレイアウトの概略図である。 本発明の実施形態による結合点に基づくレイアウトの概略図である。 本発明の実施形態による結合点に基づくレイアウトの概略図である。 本発明の実施形態による、射線を用いて可能なレイアウトを生成するＣＲＦグラフの概略図である。 本発明の実施形態による、射線を用いて可能なレイアウトを生成するＣＲＦグラフの概略図である。 本発明の実施形態による、射線を用いて可能なレイアウトを生成するＣＲＦグラフの概略図である。 本発明の実施形態による天候制御システムのブロック図である。

本発明の実施形態は、図１Ａに示すような単一の２次元画像１０１から３次元（３Ｄ）シーンを再構成する方法１００を提供する。画像は単眼カメラ１０３によって取得することができる。広角カメラを用いてシーンを可能な限り多く観察することが好ましい。

図１Ａは、屋内シーン、例えば居間の画像１０１を示している。そのような人工構造は、大部分はラインの大きな組を含む。２つ以上のラインが異なる点において交差する。これらの交差を「結合点」と呼ぶ。ラインによって形成されるパターンに基づいて、結合点を、Ｋ結合点、Ｌ結合点、Ｔ結合点、Ｗ結合点、Ｘ結合点及びＹ結合点として分類する。

これらの結合点のタイプ及びロケーションは、シーンに関する幾何学的手がかりを提供する。例えば、部屋の４つの角はＹ結合点を形成する。Ｌ結合点、Ｔ結合点及びＸ結合点は一般的に、壁、天井又は床等の平面上に現れる。Ｗ結合点は、家具の境界の底部において一般的であり、壁及び天井には頻繁に表れない。本発明の方法は２Ｄ画像におけるこれらの結合点を特定し、これらの結合点を用いて３Ｄシーンを再構成する。

再構成方法
図１Ｂは、２Ｄ画像１０１において３Ｄシーンを再構成する図１の方法１００を更に詳細に示している。第１に、ライン、消失点、例えばｖｐ_ｘ、ｖｐ_ｙ及びｖｐ_ｚを特定し、候補結合点１０２を潜在的に形成することができるラインをクラスター化する。結合点は、投票手順１１０によって、最良な（最も可能性の高い）結合点１２１を特定するのに用いられる。

最良の結合点に基づいて、結合点に基づくサンプリングを用いてシーンの可能なレイアウト１２１が生成される（１２０）。可能なレイアウトは、３Ｄシーンの最適なレイアウト１３５を求める（１３０）のに用いられる。可能なレイアウトは条件付き確率場（ＣＲＦ）モデル１３１及び最大化されるエネルギー関数１３２を用いて処理される。エネルギー関数１３２は最も可能性の高い結合点１２１も用いる。屋内シーンの場合、部屋の可能なレイアウトは、箱状（長方形）であり凹型である可能性が最も高いことを推定することができる。

ＣＲＦモデルはグラフを含む。グラフは結合点及び可能なレイアウトを用いて構成される。エネルギー関数は全ての可能な結合点に基づく。ＣＲＦ及びエネルギー関数は、トレーニング画像及び構造化されたサポートベクトルマシン（ＳＶＭ）を用いてトレーニングすることができる。トレーニングは事前処理ステップにおいてオフラインで行うことができる。レイアウトは、任意の数のコンピュータービジョンアプリケーション１４０によって用いることができる。

上記の方法１００のステップは、当該技術分野において既知のメモリ及び入／出力インターフェースに接続されたプロセッサにおいて実行することができる。ここで、上記のステップ並びに本発明の他の要素及び特徴をより詳細に説明する。

制約
実施形態による再構成方法は、ピクセルレベルの分類及びシーンの可能なレイアウトのために複数の幾何学的制約を暗黙的に用いる。この方法は、５つのピクセルワイズの制約、すなわち、順序制約、連結性制約、消失点制約、平面性制約及び境界制約を用いる。順序制約は、例えば、消失点を用いてカメラの向きを処理した後、天井領域にあるとして分類されたピクセルが常に、床領域に属するとして分類されたピクセルの上方に位置するべきであるという規則を指す。他の順序規則を組み込むことができ、例として、例えば建物を含む屋外シーンの場合、建物の屋根は地表面の上方にある。連結性制約は、単一の領域が、ピクセルの単一の連結された組に関連付けられるという規則を指す。すなわち、左壁用のピクセルの組は、右壁又は床のピクセルとは別個である。この規則は、屋内シーン及び屋外シーンについて等しく適用可能である。消失点制約は、異なる領域を分離するラインが関連する消失点を通過するという規則を指す。本方法はまた、検出された結合点に基づく局所平面性制約を用いて、平面上に位置するピクセルが同じラベル付けを有することを強制する。境界制約は、レイアウトの境界が、Ｙ及びＷのような結合点を含むという規則を指す。本発明による制約は、解空間を大幅に低減する。換言すれば、本発明では、従来技術のように全ての方向ではなく、６つの方向（＋ｘ，−ｘ，＋ｙ，−ｙ，＋ｚ及び−ｚ）において幾何学的制約を満たす２Ｄ画像内のピクセルを評価すればよい。これによって、処理を２桁も高速化することができる。

結合点の特定
図２は、屋外シーンの簡略化された線画である。実世界シーンにおいて、欠落したライン及びスプリアスラインが生じ得る。本発明では、結合点を特定し、それらのタイプを分類し、それらの結合点を用いてシーンの幾何学的形状又はレイアウトを推定する。幾つかの例示的な結合点が示される。

図３は、検出されたラインを有する屋内３Ｄシーンの線画である。本発明では、従来の結合点と異なる結合点のクラスを検討する。すなわち、本発明では、「マンハッタン」結合点と呼ばれる３つの主要な直交方向において交差するラインによって形成される結合点を検討する。また、単一の平面上に位置する結合点も検討する。例えば、Ｌ結合点は単一平面上に位置する。従来のラベル付けでは、この結合点をＬ結合点とすることができない。従来技術によって定義される結合点は、単一平面上の結合点を検討しない。このため、本発明者らが本研究において定義する「マンハッタン」結合点は、単一平面上の結合点も考察し、このため本発明の結合点は、従来の結合点の厳密な部分組ではない。マンハッタン結合点は、従来の結合点を上回る多くの利点を提供する。

図４Ａ、図４Ｂ及び図４Ｃに示すように、３つのＸ消失点、Ｙ消失点及びＺ消失点を、ｖｐ_ｘ、ｖｐ_ｙ及びｖｐ_ｚと呼ぶ。マンハッタン結合点の場合、結合点が凸型であるか又は凹型であるかを、近傍の結合点を検討することなく推測することができる。実世界画像では、結合点タイプの誤分類が起こり得る。したがって、本発明では投票手順を用いる。

本発明では、隣接するラインを、凸型、凹型又は遮蔽としてラベル付けする問題を明示的に解決していないが、この情報を暗黙的に用いてレイアウト推定問題を解決する。コンピューター支援設計（ＣＡＤ線画）を解析するのに用いられるような従来手法では、結合点は、制約を満たす手順において、よく知られた絶対制約（ｈａｒｄ ｃｏｎｓｔｒａｉｎｔ）を受けるのに対し、本発明の実世界のシナリオでは、シーンの空間レイアウトを推定するのに、確率論的推測手順において、特定された結合点のみを考慮制約（ｓｏｆｔ ｃｏｎｓｔｒａｉｎｔ）として用いることができる。

投票に基づく特定
本発明の投票手順では、累算器において、各点（ピクセル）ｐに、特定のパラメーターに対する投票が割り当てられる。投票は、累算器における最大の投票が、検出されることになるオブジェクト又はパターンのインスタンスに対応するように設計される。２段階手順を用いて結合点を特定する。第１に、消失点に沿ったライン上のピクセルのみを用いて６つの累算器に投票する。第２に、６つの累算器のコンテンツに積演算を適用することによって、異なるタイプの結合点を特定する。

投票
各累算器ｊは、画像から均一にサンプリングされたピクセルの部分組への投票を記憶する。累算器における特定の点ｐにおける投票をＶ_ｊ（ｐ）として表す。ここで、

である。

点ｐごとに、ｐとｖｐ_ｉ（ｉ＝｛ｘ，ｙ，ｚ｝）とを結ぶ線と共線をなす全てのラインは、ｐ及ｖｐ_ｉに対するそのロケーションに依拠して

又は

に投票する。ラインがｐとｖｐ_ｉとの間の領域内に存在する場合、投票は

に対して行われる。ラインがｐとｖｐ_ｉとの間の領域外に存在し、ｖｐ_ｉに隣接していない場合、投票は

に対して行われる。投票はラインの長さによって重み付けされる。長いラインは、短いスプリアスラインよりも実際の特徴を示すことが推定される。表記

は、消失点ｖｐ_ｉに向かうラインを指し、表記

は消失点ｖｐ_ｉから離れるラインを指す。

図５Ａは例示的な投票を示す。６つの累算器が、直交する方向に沿った６つのラインから得られた投票を記憶する。この例では、ピクセル（点）ｐに対応する累算器のコンテンツは、

及び

である。

結合点の特定
６つの累算器を用いて、積演算を用いて結合点を特定する。全ての点ｐにおいて、対応する６つの累算器Ｖ_ｊ（ｐ）は、その点に入射するラインの存在を示す。

図５Ｂに示すように、異なる結合点はこれらの６つの要素の異なる部分組に対応する。結合点を特定するために、特定の方向においてラインが存在することを確保し、また、他の方向においてラインが存在しないという幾何学的制約を確保する必要がある。換言すれば、点ｐの場合、いくつかの累算器は非ゼロであり、他の累算器はゼロである。これは、本方法が結合点の特定に成功する鍵となる洞察である。

以下を定義する。

全ての結合点タイプをＪ_Ａとして表す。ここで、Ａ⊆Ｓである。点Ｐ及び結合点タイプＪ_Ａについて、以下の投票関数を定める。

ここで、δ（ｇ）は、ｇ＝０のとき１であり、ｇの他の全ての値の場合に０であるディラックのδ関数である。ｆ（ｐ，Ａ）が非ゼロである場合、点ｐにおけるタイプＪ_Ａの結合点を特定する。

図６は、Ｋ、Ｌ、Ｔ、Ｗ、Ｘ及びＹの異なる結合点の場合の例を示している。２６個の可能な結合点が存在する。しかしながら、これらの結合点のうちのいくつかは有用でない。これは例えば、単なるライン上の点である任意の「結合点」である。本発明による結合点はマンハッタン（直交）結合点になるように制約される。結合点の構成は大文字の形に適合する（ｃｏｎｆｏｒｍ）。Ｗ結合点は床において一般的である。Ｙ結合点は境界及び角において一般的であるので均等に分散し、高いスコアを有する。Ｌ、Ｔ及びＸは平面領域に対応し、それらの向きに応じて分散している。

マンハッタン又は直交結合点
本発明による直交結合点は以下のように形式的に定義される。２つのラインｌ_ｉ及びｌ_ｊ間の最小角度をθ（ｌ_ｉ，ｌ_ｊ）とする。ピクセルｐにおける様々な結合点タイプは以下のように定義される。

Ｌ結合点：画像ピクセルｐから、２つの異なる消失点に沿った２つのラインを得る。

Ｗ結合点：画像ピクセルｐから、３つの異なる消失点に沿い、かつθ（ｌ_１，ｌ_２）＋θ（ｌ_２，ｌ_３）＜１８０度を満たす３つのラインｌ_１、ｌ_２、ｌ_３を得る。

Ｘ結合点：画像ピクセルｐから、ラインのうちの２つが１つの消失点に沿い、他の２つのラインが別の消失点に沿う４つのラインを得る。

Ｔ結合点：画像ピクセルｐから、ラインのうちの２つが１つの消失点に沿い、他のラインが異なる消失点に沿う３つのラインを得る。

Ｙ結合点：画像ピクセルｐから、全ての３つのラインが３つの異なる消失点に沿い、かつθ（ｌ_１，ｌ_２）＋θ（ｌ_２，ｌ_３）＜１８０度を満たす３つのラインｌ_１、ｌ_２、ｌ_３を得る。

Ｋ結合点：画像ピクセルｐから、ラインｌ_１及びｌ_４が１つの消失点に沿い、ｌ_１、ｌ_２及びｌ_３が３つの異なる消失点に沿い、かつθ（ｌ_１，ｌ_２）＋θ（ｌ_２，ｌ_３）＋θ（ｌ_３，ｌ_４）＜１８０度を満たす４つのラインｌ_１、ｌ_２、ｌ_３及びｌ_４を得る。

推論
本発明では、構造化されたＳＶＭを用いて、可能なレイアウトを評価し、最適なレイアウトを特定するのに用いられるエネルギー関数をトレーニングする。推論手順において、本発明の方法の実行に重要な２つの着想を用いる。第１に、結合点に基づくサンプリングを用いて可能なレイアウトを生成する。第２に、条件付き確率場（ＣＲＦ）モデルに基づいてエネルギー関数を用いる。エネルギー関数は、特定のレイアウトに必要とされるエネルギーの観点でコストを求める。エネルギー関数を最大化することによって、最適なレイアウトを推定することが可能になる。

結合点に基づくサンプリング
図７Ａ、図７Ｂ及び図７Ｃは、結合点へのラインに沿った２Ｄ画像内の点のみがサンプリングされる、本発明による結合点に基づくレイアウトサンプリングの概念を示している。図７Ａに示すように、ｖｐ_ｘを通る２つの平行な射線及びｖｐ_ｙを通る２つの垂直な射線をサンプリングすることによって、５つの面が左壁、天井、中央壁、床及び右壁に対応する可能なレイアウトを生成することができる。図７Ｂに示すように、画像は３つの消失点の位置に基づいて４つの象限に分割される。部屋の各角は、画像内に見える場合、象限のうちの１つにおいてのみ見ることができ、Ｙ結合点の特定のサブタイプに関連付けられる。これらの象限ごとに、特定されたＹ結合点を記憶する。図７Ｃに示すような通常のサンプリングを行うと、２つの連続した射線がまたがる錐内の高スコアのＹ結合点が特定される。これらの高スコアのＹ結合点を用いて、新たな１組の射線を生成してレイアウトをサンプリングする。非常に僅かな数のサンプルを用いるが、実際のレイアウトに近い可能なレイアウトを依然として生成することができる。

図７Ａに示すように、ｖｐ_ｘを通る２つの水平な射線（ｙ_１及びｙ_２）並びにｖｐ_ｙを通る２つの垂直な射線（ｙ_３及びｙ_４）をサンプリングすることによって、様々なレイアウトを生成することができる。本発明では、特定された結合点に対する制約を順守するサンプリングを用いる。これによって、３つの消失点の位置に基づいて、画像を４つの象限に分割することが可能になる。いくつかの画像において、これらの象限のうちの１つ又は複数が画像境界外にあり得ることに留意されたい。直方体モデルの４つの角は、各角がこれらの象限のうちの１つのみに位置するという特性を満たす。これらの角はＹ結合点である。

これらの象限のそれぞれにおいて、対応するＹ結合点を特定する。均一なサンプリングから開始し、隣接した射線の全ての対間で、式（１）によって与えられる最大スコアを有するＹ結合点を特定する。これらの結合点を用いて新たな１組の光線を得る。このデータに依拠したサンプリングにより、依然として粗いサンプリングを用いながら、真のレイアウトに近い可能なレイアウトを特定することが可能になる。

ＣＲＦモデルを用いた可能なレイアウトの評価
トレーニング画像｛ｄ_１，ｄ_２，．．．，ｄ_ｎ｝∈Ｄ１３９及び対応するレイアウト｛ｌ_１，ｌ_２，．．．，ｌｎ｝∈Ｌを所与として、マッピングｇ：Ｄ，Ｌ→Ｒを学習して最適なレイアウトを特定する。ここで、ｌ_ｉ＝｛ｙ_１，ｙ_２，ｙ_３，ｙ_４｝であり、ここでｙ_ｉは図７Ａに示すようにレイアウトを生成するのに用いられる射線に対応する。

画像ｄ及びその真のレイアウトｌ_ｉの正しい組合せの場合に、関数ｇ（ｄ，ｌ_ｉ）の出力が大きくなるようにしてマッピングを学習する。真のレイアウトではない任意のレイアウトｌについて、レイアウト間の偏差Δ（ｌ，ｌ_ｉ）が増大するにつれ、ｇ（ｄ，ｌ）が減少することも確実にする。通例、関数ｇは形式ｇ（ｄ，ｌ）＝ｗ^Ｔψ（ｄ，ｌ）をとり、ここでｗは学習するパラメーターベクトルであり、ψ（ｄ，ｌ）は、画像ｄ及びレイアウトｌから求めることができる特徴のベクトルである。マッピング関数は、構造学習技法によって定式化される二次計画法を用いて弁別的に学習することができる。

ＣＲＦモデルを用いて、エネルギー関数を用いて各可能なレイアウトをスコアリングし評価する。通例、ＣＲＦモデルに基づくエネルギー関数の学習パラメーターは、難解な非劣モジュラー関数の場合に自明でない。しかしながら、本発明のレイアウト推定問題は、画像分割又はステレオビジョン等の他のコンピュータービジョン問題と異なる。本発明による消失点によって課される幾何学的制約は、解空間を大幅に低減する。

しかしながら、本発明では、推論を行うためにグラフカット又はメッセージ受け渡し等の従来の手法を用いない。代わりに、可能なレイアウトを網羅的に生成し、エネルギー関数に基づいて最適なレイアウトを決定する。さらに、結合点の使用によってデータに依拠するサンプリングが与えられ、粗いサンプリングを用いることが可能になる。視覚問題では稀である有限の解空間を利用することによって、本発明によるＣＲＦに基づくエネルギー関数は、劣モジュラー性にも２変数ポテンシャル（ｐａｉｒｗｉｓｅ ｐｏｔｅｎｔｉａｌ）にも制限されない。

図８Ａは、可能なレイアウトを生成するのに用いられる射線を用いて本発明によるＣＲＦグラフを構成する方法を示している。レイアウトをサンプリングするのに用いられる射線を所与として、画像空間を１組の多角形に分割する。各多角形はＣＲＦ内のノードｘ_ｉに対応する。各ノードは５つのラベル｛左（Ｌ）、中央（Ｍ）、右（Ｒ）、床（Ｆ）、天井（Ｃ）｝を有する。これらは部屋の５つの面に対応する。

図８Ｂに示すように、２つのノードｘ_ｉ及びｘ_ｊは、それらのノードがラインｐｑを共有しているとき、隣接している。本発明によるＣＲＦにおける２変数ポテンシャルは、ｐｑ又はラインｐｑ上の点ｒにおける特殊な特定された結合点に一致する画像内のラインの存在に基づいて求めることができる。

図８Ｃに示すように、真のレイアウトの角は通例、特殊なＹ結合点と一致する。ｔがＹ結合点として特定される場合、この事前情報を、入射ノードｘ_ｉ、ｘ_ｊ及びｘ_ｋを伴う３変数クリーク（ｔｒｉｐｌｅ ｃｌｉｑｕｅ）の形態で組み込むことができる。

詳細には、射線は画像空間をいくつかの多角形に分割する。本発明による頂点の組はｘ＝｛ｘ_１，ｘ_２，．．．，ｘ_ｎ｝によって与えられ、ここで、ｘ_ｉは画像内の多角形に対応するノードである。エッジの組は、ノードｘ_ｉ及びｘ_ｊがラインを共有するとき、｛ｉ，ｊ｝∈Ｅである。各可能なレイアウトは、４つの光線ｙ＝｛ｙ_１，ｙ_２，ｙ_３，ｙ_４｝によってパラメーター化することができ、ここで、ｙ_ｉ＝｛１，２，．．．，ｋ｝であり、ｋは用いられるサンプル数に対応する。

本発明によるＣＲＦグラフでは、全てのノードｘ_ｉ＝｛Ｌ，Ｍ，Ｒ，Ｆ，Ｃ｝であり、左壁（Ｌ）、中央壁（Ｍ）、右壁（Ｒ）、床（Ｆ）及び天井（Ｃ）によって与えられる５つの面に対応する。ｙを所与として、対応するｘを求めることができ、ｘからｙを同様に求めることができる。境界において、ＣＲＦグラフ内のノードｘ_ｉは、射線ｙによって与えられる２つの領域に対応することができる。そのような場合、ノードｘ_ｉは多角形内の最大エリアをカバーする面に対応するラベルをとる。ＣＲＦモデルは、３次エネルギー関数Ｅとして表される。この３次エネルギー関数Ｅは、１変数項、２変数項及び３変数クリーク項を有する以下の形式の変数、特徴及びパラメーターを伴う。

ここで、Ψ（ｉ，ａ）によって１変数ポテンシャルを表し、Ψ（ｉ，ｊ，ａ，ｂ）によって２変数ポテンシャルを表し、Ψ（ｉ，ｊ，ｋ，ａ，ｂ，ｃ）によって３変数クリークを表す。これらのポテンシャルは、結合点を用いて計算されるエネルギー関数内の特徴に対応する。１変数ポテンシャルは、ｘ_ｉ＝ａのときに関数に加えられるコストに対応する。２変数項は、ｘ_ｉ＝ａかつｘ_ｊ＝ｂのときのコストを表す。同様にして、３変数クリークは、３つの変数が特殊なラベルをとるときのコストを表す。Ｔは、図８Ｃに示すように、高スコアの結合点に対応する入射ノードを表す３つ組｛ｉ，ｊ，ｋ｝からなる組である。

関数δ_ｉａは、ｘ_ｉ＝ａのとき１であり、そうでない場合に０であるクロネッカーのデルタ関数である。このエネルギー関数において学習するパラメーターはω＝｛ω_ｉ，ω_ｉｊ，ω_ｉｊｋ｝であり、トレーニングデータから求められる。以下のように、屋内シーン及び屋外シーンにおいて通常観察される結合点に対する考慮制約を用いてポテンシャルを構成する。

１変数ポテンシャル
Ｌ結合点、Ｔ結合点及びＸ結合点を用いて１変数項を構成する。全てのノードｘ_ｉについて、多角形内部で特定された特殊なタイプの全ての結合点の累積和を求める。全ての面について、面の向きを考慮に入れる。例えば、中央壁はＺ平面上にわたる結合点のみから結合点スコアを得る。これは、結合点スコアを記憶する累算器に対するマスクを用いて求めることができる。

２変数ポテンシャル
図８Ｂは、ラインｐｑを共有する２つの隣接するノードｘ_ｉ及びｘ_ｊを示している。特殊なＹ結合点又はＷ結合点に対応するラインｐｑ上の点ｒが存在する場合、ノードｘ_ｉ及びｘ_ｊが異なるラベルをとることを促す。ラインｐｑ上のＹ結合点及びＷ結合点の結合点スコアを２変数ポテンシャルとして用いる。画像内の元のラインから到来する更なる２変数ポテンシャルも用いる。

ｐｑに適合する画像内のラインが存在するとき、ｘ_ｉ及びｘ_ｊを２つの面に分ける。これは、結合点を特定するために構成した累算器セルの差異から直接得ることができる。図８Ｂに示す例では、差異

は、画像内の任意のラインのラインｐｑとの重なりの長さを与える。

３変数クリークポテンシャル
図８Ｃは、３つのノードｘ_ｉ、ｘ_ｊ及びｘ_ｋと入射する点ｒを示している。この点が、図７Ｂに示すような角に対応するＹ結合点として特定される場合、この点と入射するレイアウトに、より高いスコアを割り当てる。このため、Ｙ結合点がｒと一致する場合、この結合点スコアを、３つの入射ノードに対する３変数クリークポテンシャルとして用いる。３つの入射ノードに事前確率を課すことによって、レイアウトが入射点を通過することを促すことができる。

１変数、２変数、及び３変数クリークポテンシャルを得た後、式（２）における本発明によるエネルギー関数は、Ｅ（ｘ，ω））＝ω^ＴΦ（Ψ，ｘ）として表すこともできる。ここで、Φ（Ψ，ｘ）はｘ及びΨから求めることができる線形ベクトルである。構造化されたＳＶＭを用いて重みパラメーターωを学習することができる。

用途
図９に示すように、シーン再構成は複数の用途で用いることができる。例えば、カメラは、最適な部屋の幾何学的形状、例えば直方体レイアウトの観点における部屋の実際の物理ボリュームを得るように既知の高さで、家電製品上に又は家電製品の近くに搭載される。監視用途では、最適レイアウトを用いてシーン内の人物を追跡する境界条件を提供する。レイアウトを用いて、部屋内のテレビ、音響機器等の娯楽ユニットを最適に位置合わせすることもできる。部屋のレイアウトを用いて、無線通信を介してロボット式清掃機器を誘導することができる。

さらに、部屋の幾何学的形状を用いて、以下のように室内空調機又はヒートポンプの１つ又は複数のフィードバック利得を求めることができる。空間から熱を取り除くように構成された蒸気圧縮システムを検討する。多くのタイプの蒸気圧縮機において、特に変速アクチュエーター（変速コンプレッサー及びファン）を有する蒸気圧縮機において、アクチュエーターに送信されるコマンドは、フィードバックコントローラーから決定される。フィードバック利得が低すぎるとき、アクチュエーターは低速に動き、したがって、室温はサーモスタットの設定点における変化に低速に応答する。フィードバック利得が高過ぎるとき、アクチュエーターは設定点の変化に過剰反応し、部屋を過剰に冷却させる場合がある。この過剰に冷却した部屋は不快である場合があり、更には空調機を暖房モードに（そのような機能が利用可能なシステムにおいて）切り替えさせ、空調機が冷房モードと暖房モードとに切り替わるリミットサイクルとなる場合がある。

したがって、応答が低速であるが安定した室温応答と、高速であるがリミットサイクルを引き起こす応答とのトレードオフの平衡をとるフィードバック利得を選択することが望ましい。従来から、空調機が配備される部屋の大きさが製造者によって事前に知られていないことに起因して、全ての予期される部屋の大きさの場合に安定する、控えめな（ｃｏｎｓｅｒｖａｔｉｖｅ）フィードバック利得の組が通常選択される。

しかしながら、単一ビュー再構成アルゴリズムを用いると、部屋内の空気の実際の物理ボリュームの推定値を得ることができる。室温応答は、空調機と相互作用する部屋内の空気のボリュームに依拠するので、最適な高速室温応答を与えると以前に判断された適切なフィードバック利得の組を選択する一方、依然として安定性を保持することができる。さらに、直方体レイアウトから直接求められる部屋の縦横比を用いて選択を精緻化し、例えば、空調機がすぐ近くの空気としか相互作用することができず、したがってより大きな利得を安全に選択することができる細長い部屋又は廊下の場合に、適切な利得を選択することができる。

カメラ１０３が暖房、換気及び空調ユニット９００の出口に、又はその付近にある場合、部屋に入る最適な空気流量を求めることができる。

Claims (20)

1. 単一の２次元（２Ｄ）画像からシーンを再構成する方法であって、
   前記シーンは３次元（３Ｄ）実世界シーンであり、
   互いに直交する交差線、消失点及び消失線に基づいて前記シーンの幾何学的制約を満たす結合点を特定するステップと、
   前記結合点に従って前記２Ｄ画像をサンプリングすることによって前記シーンの可能なレイアウトを生成するステップと、
   前記可能なレイアウトから最適なレイアウトを選択するようにエネルギー関数を最大にするステップと、
   を含み、
   前記エネルギー関数は、前記可能なレイアウトを評価するために条件付き確率場（ＣＲＦ）モデルを用い、
   前記ステップは、プロセッサにおいて実行される、
   単一の２次元画像からシーンを再構成する方法。
2. 前記シーンは、屋内又は屋外である、
   請求項１に記載の方法。
3. 前記幾何学的制約は、順序制約と、連結性制約と、消失点制約と、共平面性制約とを含む、
   請求項１に記載の方法。
4. 最も可能性の高い結合点は、投票手順によって特定される、
   請求項１に記載の方法。
5. 前記結合点のラインの構成は、大文字Ｋ、Ｌ、Ｔ、Ｗ、Ｘ及びＹの形に適合する、
   請求項１に記載の方法。
6. 前記ＣＲＦモデルは、ノードが結合点から導出され、隣接するラインが前記結合点から構成されるエッジであるグラフを含む、
   請求項１に記載の方法。
7. 前記ＣＲＦモデルは、変数、特徴及びパラメーターを伴う３次エネルギー関数として表される、
   請求項６に記載の方法。
8. 前記変数は、左壁（Ｌ）、中央壁（Ｍ）、右壁（Ｒ）、床（Ｆ）及び天井（Ｃ）に対応するラベル｛Ｌ，Ｍ，Ｒ，Ｆ，Ｃ｝をとるグラフ内のノードｘ_ｉである、
   請求項７に記載の方法。
9. 前記特徴は、Ｌ結合点、Ｔ結合点、Ｗ結合点、Ｘ結合点及びＹ結合点から求められる、
   請求項７に記載の方法。
10. 前記エネルギー関数の前記パラメーターは、トレーニング画像及び構造化されたサポートベクトルマシン（ＳＶＭ）を用いてトレーニングされる、
    請求項７に記載の方法。
11. 投票は、ラインの長さによって重み付けされる、
    請求項４に記載の方法。
12. 前記可能なレイアウトは、前記結合点を通るラインに沿って前記２Ｄ画像内のピクセルをサンプリングすることによって生成される、
    請求項１に記載の方法。
13. 最適な部屋の幾何学的形状を得るために、家電製品上にカメラが搭載される、
    請求項１に記載の方法。
14. 監視用途において人間を追跡する境界条件を提供するために、前記最適なレイアウトが用いられる
    請求項１に記載の方法。
15. 前記最適な部屋の幾何学的形状に従って、娯楽ユニット上に搭載された前記カメラを位置合わせするために、前記最適なレイアウトが用いられる
    請求項１３に記載の方法。
16. 無線通信を用いてロボット掃除機を誘導するために、前記最適なレイアウトが用いられる
    請求項１に記載の方法。
17. 部屋に入る空気の最適流量を求めるために、部屋内の暖房、換気及び空調ユニットの出口に又は前記出口の近くにカメラがある、
    請求項１に記載の方法。
18. 前記部屋の直方体レイアウトから前記部屋の実際の物理ボリュームを求めるために、前記カメラの高さが用いられる
    請求項１７に記載の方法。
19. 室内空調機又はヒートポンプの１つ又は複数のフィードバック利得を求めるために、前記部屋の前記実際の物理ボリュームが用いられる
    請求項１８に記載の方法。
20. 前記室内空調機又は前記ヒートポンプの１つ又は複数のフィードバック利得を求めるために、前記ボリューム及び縦横比が前記直方体レイアウトから直接求められる、
    請求項１９に記載の方法。

Images