JP2021528794A

JP2021528794A - 撮影に基づいて三次元空間シーンを再構成するための方法

Info

Publication number: JP2021528794A
Application number: JP2021520260A
Authority: JP
Inventors: 孝敏黄; 明趙; ▲ペイ▼ 蔡
Original assignee: 上海亦我信息技術有限公司
Priority date: 2018-07-03
Filing date: 2018-10-30
Publication date: 2021-10-21
Anticipated expiration: 2038-10-30
Also published as: KR20210008400A; CA3103844C; GB2588030A; CN111247561B; GB2588030B; CA3103844A1; CN111247561A; CN108961395A; US20200111250A1; US11200734B2; CN108961395B; JP7162933B2; GB202018574D0; WO2020006941A1

Abstract

本発明は、撮影に基づいて三次元空間シーンを再構成するための方法を開示する。前記方法は、全ての空間における写真をインポートし、三次元空間のカメラ位置から見る時の各画素の観察方向が撮影する時の方向に一致するように、写真を、撮影する時の方向及び視角に従って三次元空間に対応させるステップＳ１と、部屋を複数の平面の集合と見なし、まず１つの平面を確定し、次に平面間の相互関係と平面間の交線によって全ての平面を１つずつ確定するステップＳ２と、マーキングシステムによって部屋の空間構造をマーキングし、サイズ情報を取得するステップＳ３と、テップＳ３で収集されたポイント座標情報によって部屋の三次元モデルを確立するステップＳ４とを含む。本発明は、サイズ情報とテクスチャ情報を同時に含み且つ詳細を失わない三次元空間モデルを、復元することができるだけでなく、三次元空間シーンを速く且つ容易に編集及び変更することができ、また、サイズ情報を含み且つ歪みがない二次元平面図を同時に生成することができる。
【選択図】図１

Description

本発明は、三次元モデリング方法に関し、特に、撮影に基づいて三次元空間シーンを再構成するための方法に関する。

三次元空間モデリングは、近年、急速に発展して応用されている技術であり、仮想現実、家屋装飾、室内設計等の分野で広く応用され、従来の三次元空間シーンモデリングは、一般的に次のスキームを採用している。

１、両眼立体視（ＢｉｎｏｃｕｌａｒＳｔｅｒｅｏＶｉｓｉｏｎ）システムを使用し、視差原理に基づいてイメージング装置を使用して異なる位置から被測定物の２枚の画像を取得し、画像の対応する点の間の位置偏差を計算することにより、物体の三次元幾何学的情報を取得する方法が採用される。２つの目で取得された画像を融合してそれらの間の違いを観察することにより、明らかな奥行き感を得て、特徴間の対応関係を確立し、異なる画像への同一の空間における物理点の映像点を対応させることができる。この方法では、撮影装置が簡単であるが、三次元空間を再構成するために、多くの写真を撮影する必要があり、非常に時間がかかり、且つ後でモデルの計算に多くの時間が必要になり、モデルに問題が発生すると、修復方法が非常に面倒であり、非専門家が操作できず、そのため、両眼立体視システムは、長年使用されているが、広く普及することができない。

２、レーザーポイントクラウドテクノロジーは、ＴＯＦ又は構造光測距原理を使用し、物体の表面の各サンプリングポイントの空間座標を取得し、ターゲット空間分布とターゲット表面特性を表現するための一連の大量ポイントの集合を得るものであり、このポイント集合が「ポイントクラウド」と呼ばれる。ポイントクラウドの属性は、空間解像度、ポイント精度、表面法線ベクトルなどを含む。しかし、レーザーポイントクラウドテクノロジーでは、ユーザは体積が膨大であり、高価であり、操作が複雑なポイントクラウド装置を追加的に購入する必要があり、一方で大量のデータが生成され、記憶及び処理に不利であり、複数のグループのデータをステッチする必要がある場合、データ量が膨大であるため、長い時間がかかり、効果が高くない。したがって、レーザーポイントクラウドテクノロジーは長年使用されているが、普及が非常に困難である。

以上のことから分かるように、上記問題を解決するための簡単で使用しやすく、コストが低いが効果が高い方法は現在まで提案されていない。

本発明が解決しようとする技術課題は、サイズ情報とテクスチャ情報を同時に含み且つ詳細を失わない三次元空間モデルを、復元することができるだけでなく、三次元空間シーンを速く且つ容易に編集及び変更することができ、また、サイズ情報を含み且つ歪みがない二次元平面図を同時に生成することができる、撮影に基づいて三次元空間シーンを再構成する方法を提供することである。

上記技術課題を解決するために本発明によって採用される技術案は、撮影に基づいて三次元空間シーンを再構成するための方法を提供することである。前記方法は、全ての空間における写真をインポートし、同一の撮影ポイントで撮影された、空間の主な特徴を含む１グループの写真を空間ごとにインポートし、三次元空間のカメラ位置から見る時の各画素の観察方向が撮影する時の方向に一致するように、写真を、撮影する時の方向及び視角に従って三次元空間に対応させるステップＳ１と、部屋を複数の平面の集合と見なし、まず１番目の平面を確定し、次に平面間の相互関係と平面間の交線によって全ての平面を１つずつ確定するステップＳ２と、マーキングシステムによって部屋の空間構造をマーキングし、サイズ情報を取得するステップＳ３と、テップＳ３で収集されたポイント座標情報によって部屋の三次元モデルを確立するステップＳ４とを含む。

上述した撮影に基づいて三次元空間シーンを再構成するための方法では、前記ステップＳ１はさらに、各空間の写真を３６０度パノラマビューに合成し、その後三次元空間のカメラ位置から見る時の各画素の観察方向が撮影する時の方向に一致するように、パノラマビューを三次元空間に対応させることを含む。

上述した撮影に基づいて三次元空間シーンを再構成するための方法では、前記ステップＳ２において、１番目の平面を確定することは、平面の垂直に交差する３本の壁線を見つけて１つの平面を確定し、又は平面の４つの隅を見つけて１つの平面確定することを含む。

上述した撮影に基づいて三次元空間シーンを再構成するための方法では、前記ステップＳ２において、１番目の平面を確定することはさらに、平面へのカメラレンズの投影ポイントを記録して平面の位置を確定し、又は関連点を記録して平面へのカメラレンズの投影ポイントを推算し、平面の位置を確定することを含む。

上述した撮影に基づいて三次元空間シーンを再構成するための方法では、前記ステップＳ２の前に、さらに、写真に垂直補正線をマーキングし、写真が撮影される時の撮影装置の傾きによる画像の傾きを補正することと、写真において写真の地面に垂直な線を垂直補正線として見つけ、又は写真の水平線を見つけ、写真の水平線に垂直な線を垂直補正線として１本描画することと、垂直補正線を基準として写真を垂直補正線が実際の水平面に垂直になるまで回転させることと、異なる方位の複数本の垂直補正線を取得し、垂直補正を完了することとを含む。

上述した撮影に基づいて三次元空間シーンを再構成するための方法では、前記ステップＳ３は、写真を１つの高精度の球内に放置し、カメラレンズの位置を球の中央に設定し、次に球の中央に写真の撮影視角を復元するステップＳ３１と、球に４つのフレームポイントを予め設定し、各フレームポイントに上部ポイントと下部ポイントが含まれ、フレームポイントをドラッグして各ポイントを実際の部屋の空間における隅の位置に対応させ、部屋の本体フレーム構造を形成し、又は各下隅の位置を順次マーキングし、地面の輪郭を形成し、さらに垂直壁線を組み合わせて対応する上隅を見つけ、上隅の位置をマーキングし、部屋全体の基本的な輪郭を取得するステップＳ３２と、既知のカメラの撮影高さによって部屋の高さを取得し、部屋の輪郭サイズを推算し、又は既知の長さのスケールを置くことにより、平面の輪郭サイズを特定し、部屋の輪郭サイズを推算するステップＳ３３とを含む。

上述した撮影に基づいて三次元空間シーンを再構成するための方法では、ステップＳ３２において、マーキングされる隅が遮られる場合、壁線が見えると、垂直方向と水平方向に交差する２本の壁線の交点によって隅の位置を確定し、壁の下隅と壁線の両方が遮られるが、上隅又は壁線が見えると、まず上面と上隅を確定し、次に上隅と下隅の位置を同一の比率でスケーリングし、下隅のポイントを下面に維持させ、それによって隅の位置を確定する。

上述した撮影に基づいて三次元空間シーンを再構成するための方法では、ステップＳ３２はさらに、部屋内の物体にマークポイントを付加し、２つのマークポイントを１本のマークラインに構成し、部屋の壁を拡張して部屋の基本的な物体構造を追加し、前記基本的な物体がドア、開放空間、通常の窓、出窓、階段を含み、非矩形の部屋の場合、凹凸壁構造のマークポイントを付加して部屋の構造を拡張し、凹凸壁の位置及び深さを調整することにより、拡張された空間構造を確定し、任意の自由構造の壁の場合、自由マークポイントを付加して壁の構造を任意に拡張し、二重構造の場合、階段及び階段上り口構造のマークポイントを付加し、２つの階の階段上り口を接続して上下の階を直列に接続し、階段構造を拡張することを含み、ステップＳ３３はさらに、カメラレンズの高さが既知であり、又は既知の長さのスケールを置き、部屋の物体をマーキングすることにより、現実世界におけるサイズとモデルにおけるサイズの計算比率を得て、次にモデル全体を同一の比率でスケーリングし、部屋内の物体の実際のサイズを計算することを含む。

上述した撮影に基づいて三次元空間シーンを再構成するための方法は、異なる部屋の写真におけるドア又は開放空間画像情報を比較することにより、各部屋を接続し、各部屋の空間位置及び向き情報を取得し、マーキングされたドア又は開放空間によって写真におけるドア又は開放空間を透過する画面を比較し、それぞれの写真において一致する画面を取得し、同じドア又は開放空間を見つけ、同じドア又は開放空間を有する部屋を接続し、全ての部屋を直列に接続した後、接続された部屋の位置と向きを計算し、１つの部屋を接続された部屋として選択し、該部屋のドアをトラバースし、接続されていない部屋を見つけ、現在の接続されている部屋の位置と向きによって、２つの部屋を接続しているドア又は開放空間の位置と向きを組み合わせ、接続されていない部屋の位置と向きを計算し、その後、接続されていない部屋を接続された部屋としてマーキングし、接続されていない部屋を引き続き見つけ、接続されていない部屋がなくなるまで、全ての部屋の接続を完了するステップ５をさらに含む。

上述した撮影に基づいて三次元空間シーンを再構成するための方法は、Ｓ３で収集されたポイント座標情報によって写真を分割し、部屋のテクスチャマップを得て、部屋のテクスチャを取得し、まず各面を１つのポリゴンに設定し、頂点情報を１グループの三次元座標とし、頂点座標の外付け矩形によってテクスチャマップの大きさを計算し、ピクチャーの画素点をトラバースし、ポリゴンにおける各画素点に対応する空間座標点位置を取得し、全ての画素点をトラバースし、一面のテクスチャマッピングを完了し、部屋の全ての面のテクスチャマッピングを順次完了するステップＳ６をさらに含む。

上述した撮影に基づいて三次元空間シーンを再構成するための方法は、ステップＳ３でマーキングシステムによって取得された部屋のモデルにより、高さ情報を無視し、単一の部屋の二次元輪郭を取得し、ステップＳ５で取得された各部屋の位置座標と向き情報に基づき、各部屋輪郭の位置と向きを設定し、二次元平面図の生成を完了するステップＳ７をさらに含む。

上述した撮影に基づいて三次元空間シーンを再構成するための方法では、前記写真の撮影装置は、魚眼レンズ付き携帯電話、パノラマカメラ、魚眼レンズ付きカメラ、通常の携帯電話、通常のデジタルカメラを含む。

従来技術に比べ、本発明は次の有益な効果を有している：本発明によって提供される撮影に基づいて三次元空間シーンを再構成するための方法では、サイズ情報とテクスチャ情報を同時に含み且つ詳細を失わない三次元空間モデルを復元し、走査不全に起因してモデルの破損を引き起こすことがなく、家具、内装等の原因でモデルに大きな干渉を与えることがなく、三次元空間シーンを速く且つ容易に編集及び変更することができ、また、サイズ情報を含み且つ歪みがない二次元平面図を同時に生成することができる、携帯電話の魚眼レンズ、パノラマカメラ、魚眼レンズ付きカメラ、及び通常の携帯電話と通常のデジタルカメラを含むがこれらに限定されない広範な撮影方式をサポートし、コストが低い。

本発明の実施例における撮影に基づいて三次元空間シーンを再構成するための方法のフローチャートである。本発明の実施例における平面を確定することを示す略図である。本発明の実施例における平面の垂直に交差する３本の壁線を見つけて１番目の平面を確定することを示す概略図である。本発明の実施例における極座標から直交座標への変換を示す概略図である。本発明の実施例における平面の４つの隅を見つけて１番目の平面を確定することを示す概略図である。本発明の実施例における関連点を記録して平面へのカメラレンズの投影ポイントを推算することにより、１番目の平面を確定することを示す概略図である。本発明の実施例における垂直補正を示す概略図である。本発明の実施例におけるマーキングされた部屋空間構造に凹凸壁構造を追加することを示す概略図である。本発明の実施例におけるマーキングされた部屋空間構造に自由マークポイントを付加して壁の構造を任意に拡張することを示す概略図である。ａは本発明の実施例におけるカメラから壁の隅を見た側面図である。ｂは本発明の実施例におけるカメラから壁の隅を見た上面図である。本発明の実施例における地面に既知の長さのスケールを置いて輪郭サイズを推算することを示す概略図である。本発明の実施例における既知の長さのスケールを地面に対して一定の角度をなして置いて輪郭サイズを推算することを示す概略図である。

本発明の上記目的、特徴と有益な効果をより明確且つ容易に理解できるために、以下に図面を組み合わせて本発明の具体的な実施例を詳細に説明する。

図１は本発明の撮影に基づいて三次元空間シーンを再構成するための方法のフローチャートである。

図１を参照すると、本発明によって提供される撮影に基づいて三次元空間シーンを再構成するための方法は、全ての空間における写真をインポートし、同一の撮影ポイントで撮影された、空間の主な特徴を含む１グループの写真を空間ごとにインポートし、三次元空間のカメラ位置から見る時の各画素の観察方向が撮影する時の方向に一致するように、写真を、撮影する時の方向及び視角に従って三次元空間に対応させるステップＳ１と、部屋を複数の平面の集合と見なし、まず１番目の平面を確定し、次に平面間の相互関係と平面間の交線によって全ての平面を１つずつ確定するステップＳ２と、マーキングシステムによって部屋の空間構造をマーキングし、サイズ情報を取得するステップＳ３と、テップＳ３で収集されたポイント座標情報によって部屋の三次元モデルを確立するステップＳ４とを含む。

好ましくは、ステップＳ１はさらに、各空間の写真を３６０度パノラマビューに合成し、その後、三次元空間のカメラ位置から見る時の各画素の観察方向が撮影する時の方向に一致するように、パノラマビューを三次元空間に対応させることを含む。

本発明によって提供される撮影に基づいて三次元空間シーンを再構成するための方法では、ステップＳ２において、１番目の平面を確定することは、平面の垂直に交差する３本の壁線を見つけて１つの平面を確定し、又は平面の４つの隅を見つけて１つの平面を確定することを含む。１番目の平面を確定することはさらに、平面へのカメラレンズの投影ポイントを記録することにより、平面の位置を確定し、又は関連点を記録して平面へのカメラレンズの投影ポイントを推算することにより、平面の位置を確定することを含む。

写真を三次元空間に対応させるという原則は、各画素が撮影する時の方向に一致するように維持され、１つのピクセルから撮影ポイント（撮影する時のレンズの位置）までの距離情報が記録又は提供されないことである。モデリングの基本原理は、屋内モデルを複数の平面（地面、壁面、天井を含む）の集合とし、下隅を３つの平面（地面と２つの壁面）の交点とし、上隅を３つの平面（天井と２つの壁面）の交点とし、壁線を２つの平面（壁）の交線として見なすことである。先に１つの平面の位置を位置決めすることができれば、全ての平面を復元してモデリングを完了するまで、この平面の隅と線によって他の平面を順次確定することができる。

図２を参照すると、先に地面Ｓ１を確定することができれば、既知の壁面Ｓ２と地面Ｓ１の垂直関係、及びＳ１とＳ２の交線（壁線）Ｌ１により、壁面Ｓ２を確定することができる。同様に、壁線Ｌ２によって壁面Ｓ３及び空間内の全ての互いに直交する壁面の位置を引き続き確定することができる。

具体的には、屋内の壁がほとんど矩形で構成される場合、平面の垂直に交差する３本の壁線によって平面を確定するという方法ａ（隣接直角法）が採用される。

図３を参照すると、Ｐがカメラレンズの位置であり、Ｐ１Ｐ２Ｐ３及びＰ２Ｐ３Ｐ４からなる角がいずれも直角であれば、Ｐ１Ｐ２Ｐ３Ｐ４の位置する平面を確定することができる。図３において写真で壁を観察すると、Ｐ１、Ｐ２、Ｐ３及びＰ４はいずれもこの壁に位置する。ここで、Ｐ２Ｐ３が該壁の地面に垂直な辺であり、Ｐ１Ｐ２が該壁と天井の交線であり、Ｐ３Ｐ４が該壁と地面の交線である。Ｐ１が壁と天井の交線上のＰ２と異なるポイントであり、Ｐ４が壁と床の交線上のＰ３と異なるポイントである。観察ポイントに対する４つのポイントの座標は極座標で

として表され、明らかに、半径

が未知数であり、他の２つの値が観察されてもよい。

図４を参照すると、極座標から直交座標への変換は、次のように定義される：

と定義されると、

である。

図３を参照すると、Ｐ１Ｐ２がＰ２Ｐ３に垂直であるので、２つの線分ベクトルの内積が０であり、即ち、

、同様に、Ｐ３Ｐ４がＰ２Ｐ３に垂直であるので、

、また、Ｐ１Ｐ２がＰ３Ｐ４に平行であるので、２つのベクトルの内積は２つのベクトルのモデルの積に等しく、即ち、

であり、（５）、（６）、（７）を展開すると、

、

である。方程式が３つあるが、未知数が４つあるため、上記の方程式を直接解くことができず、しかし、

が１であると仮定し、他の３つの点のｒと

の比を求めることができる。このように平面とカメラの位置を求められる。

を（８）に代入すると、

を得て、

と定義されると、

を得ることができ、同様に

を得ることがきる。（１２）、（１３）を（１０）に代入すると、

を得る。（１４）の両側が同時に２乗され、０ｘ１で除算されると、

を得る。これは

に関する４次方程式であり、この方程式を解いて、

の４つの値を求めることができる。１つの変数の４次方程式の根を求める式については、ＢａｉｄｕＥｎｃｙｃｌｏｐｅｄｉａを参照できるため、ここでは詳しく展開しない。
ｈｔｔｐｓ：／／ｂａｉｋｅ．ｂａｉｄｕ．ｃｏｍ／ｉｔｅｍ／％Ｅ４％Ｂ８％８０％Ｅ５％８５％８３％Ｅ５％９Ｂ％９Ｂ％Ｅ６％ＡＣ％Ａ１％Ｅ６％９６％Ｂ９％Ｅ７％Ａ８％８Ｂ％Ｅ６％Ｂ１％８２％Ｅ６％Ａ０％Ｂ９％Ｅ５％８５％ＡＣ％Ｅ５％ＢＣ％８Ｆ／１０７２１９９６？ｆｒ＝ａｌａｄｄｉｎ

４次方程式についてはＷｉｋｉｐｅｄｉａを参照できるため、ここでは詳しく展開しない。
ｈｔｔｐｓ：／／ｚｈ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／％Ｅ５％９Ｂ％９Ｂ％Ｅ６％ＡＣ％Ａ１％Ｅ６％９６％Ｂ９％Ｅ７％Ａ８％８Ｂ

の４つの値のうち、正の実数のみが意味を有しているが、複数の正の実数値が存在する可能性がある。

他の平面は、以上と同様の方法を使用して確定されてもよい。各平面の複数の可能性から正しい解を見つけるために、次の方法を使用する：隣接直角法を使用して１番目の平面Ｓ１を確定し、以上の平面の１つの正の実数の解を使用し、平面Ｓ１の位置を確定でき、１つの隣接する平面Ｓ２を選択し、隣接直角法を使用してこの平面を確定し、１つの正の実数の解を使用して平面Ｓ２の位置を確定し、前のステップを繰り返し、全てが完了するまで他の平面の位置を確定し、ある平面の正の実数の解が見つけられず、又は隣接する平面との交線が間違っている場合、前の平面に戻って次の正の実数の解を使用し、前のステップを繰り返して全ての平面を確定する。全ての平面が空間において実際に存在するため、上記の方法で全ての平面の位置を確定することができる。以上は、各平面において２つの隣接する直角を見つけることができると仮定している。ある平面が２つの隣接する直角の条件を満たしない場合、位置が確定された、隣接する平面、及び該隣接する平面との交線によって確定されてもよい。図２に示すように、Ｓ２がＳ１垂直であると仮定すると、Ｓ２はＳ１の位置及びＳ１とＳ２の交線Ｌ１によって一意に確定されてもよい。

具体的には、一つの壁が矩形であると仮定し、平面の四隅を見つけて１つの平面を確定するという方法ｂ（矩形法）が採用される。部屋では、ほとんどの壁が矩形であるため、矩形の４つの頂点を使用して壁の位置を確定することは明らかである。矩形法は、隣接直角法の特殊な例である。

図５を参照すると、矩形法では、線分Ｐ１Ｐ４が線分Ｐ２Ｐ３に平行でなければならないが、隣接直角法では、Ｐ１はＰ１Ｐ２が存在する直線上の任意の点であってもよい。同様に、Ｐ４はＰ３Ｐ４が存在する直線上の任意の点であってもよく、矩形法における解く方式は隣接直角法と類似するため、ここでは説明を省略する。

具体的には、平面へのカメラの投影によって平面を確定するという方法ｃ（投影法）が採用される。撮影する時に、ある平面へのカメラレンズの投影が記録されると、該投影によって該平面の位置を一意に確定することができる（カメラと平面の間の距離が既知であり、又は仮定される）。

図２に示すように、カメラの位置と投影を結ぶ線は地面Ｓ１に垂直である。カメラの高さが既知であれば、地面位置が確定される。実際の操作では、投影ポイントを取得／記録する方法は、カメラを三脚又はスタンドに置いて撮影し、三脚／ブラケットが地面に対して垂直にすることである。三脚／ブラケットが置かれる中心点は投影ポイントである。又は三脚／ブラケットが壁面に当接されて該壁面に垂直であり、三脚／ブラケットが壁面に置かれる中心点は投影ポイントであり、又は投影ポイントにマークを付ける。他の平面を確定する場合、投影法を使用して１番目の平面Ｓ１を確定し、１つの隣接する平面Ｓ２を選択し、Ｓ２がＳ１に垂直であると仮定すると、Ｓ２はＳ１の位置及びＳ１とＳ２の交線Ｌ１によって一意に確定されてもよく、同様の方法を使用して全ての平面を順次確定する。実際の操作中、ほとんどの壁面が地面又は天井に垂直であるため、１番目の平面が壁面であれば、上記のステップで地面又は天井を１番目の隣接する平面として選択し、次に全ての壁面を順次確定する。

具体的には、関連点を記録して平面へのカメラレンズの投影ポイントを推算することにより、平面の位置を確定するという方法ｄ（勾配投影法）が採用される。この方法は投影方法と類似するが、投影されたポイントを記録しなく、記録されたポイントによって投影ポイントの位置を推算できる。三脚／ブラケットが地面に置かれる（ベースが地面に貼着される）が、地面に垂直ではなく、三脚／ブラケットが壁面に当接される（ベースが壁面に貼着される）が、壁に垂直ではないという方法がある。三脚／ブラケットが平面に垂直ではない場合、平面への投影は１本の線分である。

図６を参照すると、Ｐがカメラレンズの位置であり、Ｐ１がカメラブラケットのベースの中心点であり、Ｐ２が平面上の投影ポイントであり、平面へのブラケットＰ１Ｐ３の投影線がＰ１Ｐ２である。ベースに対する投影線の方向（レンズ方向とベースの間の相対関係、又はベース上のブラケットの位置に固定され且つ関係を予知するマークによって確定される）Ｐ１Ｐ２が既知であれば、既知のブラケットの傾斜角Ｐ３Ｐ１Ｐ２、及び既知のブラケットの高さ又は１つの仮定された高さに基づき、投影ポイントＰ２の位置を計算することができ、即ち、投影ポイントＰ２によって全ての平面を投影法で確定することができる。

好ましくは、ステップＳ２を行う前に、さらに、写真に垂直補正線をマーキングし、写真が撮影される時の撮影装置の傾きによる画像の傾きを補正することと、写真において写真の地面に垂直な線を垂直補正線として見つけ、又は写真の水平線を見つけ、写真の水平線に垂直な線を垂直補正線として１本描画することと、垂直補正線を基準として写真を垂直補正線が実際の水平面に垂直になるまで回転させることと、異なる方位の複数本の垂直補正線を取得し、垂直補正を完了することとを含む。

図７を参照すると、垂直補正を行う場合、見つけられた線分の２つの端点（水平線から変換された垂直線分を含む）を球面に投影し、Ｐ１、Ｐ２を取得し、カメラの傾きにより、球の中心ＯとＰ１、Ｐ２からなる平面と水平面Ｈの夾角が直角ではなく、Ｐ１Ｐ２の中間点をＰとし、ＰをＨに投影してＰ’を得て、球の中心ＯとＰ’の連結線を軸とし、写真を平面ＯＰ１Ｐ２が平面Ｈに垂直となるまで回転させる。

本発明によって提供される撮影に基づいて三次元空間シーンを再構成するための方法では、ステップＳ３は、写真を１つの高精度の球内に放置し、カメラレンズの位置を球の中央に設定し、次に球の中央に写真の撮影視角を復元するステップＳ３１と、球に４つのフレームポイントを予め設定し、各フレームポイントに上部ポイントと下部ポイントが含まれ、フレームポイントをドラッグして各ポイントを実際の部屋の空間における隅の位置に対応させ、部屋の本体フレーム構造を形成し、又は各下隅の位置を順次マーキングし、地面輪郭を形成し、さらに垂直壁線を組み合わせて対応する上隅を見つけ、上隅の位置をマーキングし、部屋全体の基本的な輪郭を取得するステップＳ３２と、既知のカメラの撮影高さによって部屋の高さを計算し、部屋の輪郭サイズを推算し、又は既知の長さのスケールを置くことにより、平面の輪郭サイズを特定し、部屋の輪郭サイズを推算するステップＳ３３とを含む。

具体的に実施する過程では、ステップＳ３２は様々な方式を採用して部屋の空間構造及び物体をマーキングすることができ、その中の１つのマーキング方式（フレーム法）のステップは次のとおりである。

図８と図９を参照すると、シーンでは、平面Ｓ１に４つのフレームポイント（Ｐ１、Ｐ２、Ｐ３、Ｐ４）が予め設定されて１つの矩形を構成し、矩形の長さ及び幅が変更されてもよいが、矩形関係を維持する必要がある。各フレームポイントが１つのフレームポイント（Ｐ１ａ、Ｐ２ａ、Ｐ３ａとＰ４ａ）にそれぞれ対応し、各ペアの上下フレームポイントの連結線（例えばＰ１Ｐ１ａ）が平面Ｓ１に垂直である。各フレームポイントを空間の隅の位置に移動する。部屋の形状が規則的な直方体である場合、上部と下部の合計８つのフレームポイントは、直方体の全ての平面を完全に記述し、空間モデリングを完了する。

非直方体の部屋の場合、凹凸壁構造の４つのマークポイント、例えば図８におけるＰ５、Ｐ６、Ｐ７とＰ８を付加して部屋の構造を速く拡張し、凹凸壁の位置及び深さを調整することにより、拡張された空間構造を確定することができる。多くの壁の凹凸構造が依然として矩形又は直角関係にある（図８におけるＰ５Ｐ６がＰ２Ｐ５に垂直であり、Ｐ６Ｐ７がそれぞれＰ５Ｐ６及びＰ７Ｐ８に垂直であり、Ｐ７Ｐ８がＰ８Ｐ３に垂直である）ため、この方法は効果的にモデリングすることができる。

任意の自由構造の壁の場合、自由マークポイントを付加して壁の構造を任意に拡張することができる。図９に示すように、Ｐ７は平面Ｓ１の任意の点であってもよく、Ｐ５Ｐ７がＰ２Ｐ５に垂直でなくてもよく、Ｐ５Ｐ７がＰ７Ｐ８に垂直でなくてもよく、Ｐ７Ｐ８がＰ８Ｐ３に垂直でなくてもよい。

隅が物体に遮られる場合、壁線が通常、基準物体として現れ、壁線の位置は、フレームポイントとフレームポイントの間の連結線によって確定されてもよく、１つの隅の場合、該隅の垂直壁線と水平壁線が確定されると、該隅の位置を確認することができる。図８では、Ｐ４が遮られるが、Ｐ１Ｐ４とＰ３Ｐ４の一部が見える場合、依然として２本の線の交点によってＰ４の位置を得ることができる。

２つのマークポイントの間に１本のマークラインが形成され、マークラインをクリックして部屋の壁を拡張し、ドア、開放空間、通常の窓、出窓、階段などの様々な部屋の基本的な物体構造を追加する。壁面に基本的な物体構造を追加することもできる。

二重構造の場合、階段と階段上り口を追加し、２つの階の階段上り口を接続して上下の階を直列に接続することができ、複数の階についてこのように類推する。

上記のマーキングステップにより、マークポイントに基づくデータ構造を得ることができ、該マークポイント構造には部屋の壁構造と部屋の主な物体（例えばドア、ドアの開口部、開放空間、通常の窓、出窓、階段）の空間情報が記録され、テキストの形態でローカルに保存される。

具体的な実施過程では、ステップＳ３２において、さらにある平面に各隅の位置をマーキングして該平面の輪郭を形成することができ、他の平面は、全ての平面をマーキングして部屋輪郭を形成する（隅を一つずつマーキングする方法）まで、壁線と隅によって徐々に確認される。先に地面をマーキングすることを例とし、具体的なステップは以下のとおりである：

１つの完全な地面輪郭を形成するために、図で各隅の位置を順次マーキングする。地面から各壁面の下隅の情報が与えられ、且つ天井の平面輪郭は一般的に地面輪郭と同じであり、垂直の壁線と組合わせ、部屋の高ささえ確認されれば、部屋の輪郭を復元できる。その中の１つの下隅を選択し、それに対応する上隅を見つけ、上隅の位置をマーキングし、部屋の高さを得て、部屋全体の基本的な輪郭を得る。図８に示すように、平面Ｓ１にＰ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７とＰ８がマーキングされると、Ｓ１の輪郭が記述される。次に各ポイントからＳ１への垂線を描き、さらにＳ２、Ｓ３及び他の平面を取得する。

具体的な実施過程では、ステップＳ３３でサイズを確定する方法の一つは、既知のカメラの撮影高さによって部屋の高さを計算し、部屋の輪郭サイズを推算することである。

図１０ａと図１０ｂを参照すると、隅の位置と部屋の高さの基本的な計算方法は次のとおりである：
隅の位置に関し、カメラの高さｈ１、及びカメラから隅Ｐ１を見るピッチ角φ１が既知である場合、ｄ＝ｔａｎφ１＊ｈ１であり、カメラから下隅を見る方向角θが既知である場合、平面図から隅Ｐ１の座標（ｘ、ｙ、ｚ）＝（ｄ＊ｓｉｎθ、−ｈ１、ｄ＊ｃｏｓθ）を計算できる。

部屋の高さに関し、カメラから上隅Ｐ１を見るピッチ角φ２、カメラの高さｈ１が既知であり、上隅Ｐ２と下隅Ｐ１が同一の垂直線に位置する場合、ｈ２＝ｄ／ｔａｎ（１８０−φ２）、部屋の高さｈ＝ｈ１＋ｈ２である。

具体的な実施過程では、ステップＳ３３でサイズを確定する方法２は、既知の長さのスケールを置くことで、ある平面（地面／壁面）の輪郭サイズを特定し、これによって他の平面の輪郭サイズを推算することである。

図１１を参照すると、地面にスケールを置き、既知のスケールの長さによってカメラの高さ（地面までの距離）を計算することができ、その後は方法１と同じである。カメラの高さが分からず、カメラの高さがｈであると仮定し、地面スケールＲが既知であり、実際の長さがＬｒであり、座標系で測定された長さがＬｒ^，であり、且つｈ，Ｌｒ^，が同一の座標系内にあり、単位が同じであると、カメラの実際の高さｈ^，＝Ｌｒ／Ｌｒ＊ｈである。スケールをある壁面に密着して置くこともでき、カメラから壁面までの距離を計算し、さらに下隅によって地面位置を確定することができ、その後は方法１と同じである。図１１に示すように、スケールＲが壁面Ｓ２に置かれ、その同じ点として、位置決めされた１番目の相対的な大きさ（大きさが予め設定された任意のデフォルト値である）を知った後、スケールが該平面にあるため、スケールによって座標系で測定されてもよい長さＬｒ’と現実世界でのスケールの長さＬｒの計算比率、即ち比率ｒ＝Ｌｒ／Ｌｒ’は、座標系における単位長さが現実世界での長さに対応することを示し、座標系でのこの平面の任意の辺の長さがＬ，であれば、実際の長さＬ＝Ｌ’＊ｒであり、そのため、座標系における全ての辺の実際の長さを知ることができる。

図１２を参照すると、スケールは必ずしも地面又は壁面に密着する必要がない。ある平面と固定された角度さえ形成すれば、平面の投影長さを三角関数で計算し、これによって該平面の位置を確定することもできる。地面を例とし、スケールがＰｒ１Ｐｒ２であり、Ｐｒ１Ｐｒ２の実際の長さが既知であり、スケールと平面の間の固定角度がθ、即ち∠Ｐｒ１であることが知られている場合、まず角度θ及び地面へのスケールの投影に基づき、Ｐｒ１Ｐｒ２^，の実際の長さをＬｒとして確定し、座標系で投影Ｐｒ１Ｐｒ２^，の長さをＬｒ^，として測定し、その後の計算が前の方法と同じであり、他の全ての辺の実際の長さは、比率ｒ＝Ｌｒ／Ｌｒ’によって確定される。

具体的には、ステップＳ３２において、マーキングされる隅が遮られる場合、壁線が見えると、垂直方向と水平方向に交差する２本の壁線の交点によって隅の位置を確定し、壁の下隅と壁線の両方が遮られるが、上隅又は壁線が見えると、まず上面と上隅を確定し、次に上隅と下隅の位置を同一の比率でスケーリングし、下隅のポイントを下面に維持させ、それによって隅の位置を確定する。

本発明によって提供される撮影に基づいて三次元空間シーンを再構成するための方法は、異なる部屋の写真におけるドア又は開放空間画像情報を比較することにより、各部屋を接続し、各部屋の空間位置及び向き情報を取得し、マーキングされたドア又は開放空間によって写真におけるドア又は開放空間を透過する画面を比較し、それぞれの写真において一致する画面を取得し、同じドア又は開放空間を見つけ、同じドア又は開放空間を有する部屋を接続し、全ての部屋を直列に接続した後、接続された部屋の位置と向きを計算し、１つの部屋を接続された部屋として選択し、該部屋のドアをトラバースし、接続されていない部屋を見つけ、現在の接続されている部屋の位置と向きによって、２つの部屋を接続しているドア又は開放空間の位置と向きを組み合わせ、接続されていない部屋の位置と向きを計算し、その後、接続されていない部屋を接続された部屋としてマーキングし、接続されていない部屋を引き続き見つけ、接続されていない部屋がなくなるまで、全ての部屋の接続を完了するステップ５をさらに含む。

本発明によって提供される撮影に基づいて三次元空間シーンを再構成するための方法は、Ｓ３で収集されたポイント座標情報によって写真を分割し、部屋のテクスチャマップを得て、部屋のテクスチャを取得し、まず各面を１つのポリゴンに設定し、頂点情報を１グループの三次元座標とし、頂点座標の外付け矩形によってテクスチャマップの大きさを計算し、ピクチャーの画素点をトラバースし、ポリゴンにおける各画素点に対応する空間座標点の位置を取得し、全ての画素点をトラバースし、一面のテクスチャマッピングを完了し、部屋の全ての面のテクスチャマッピングを順次完了するステップＳ６をさらに含む。

本発明によって提供される撮影に基づいて三次元空間シーンを再構成するための方法は、ステップＳ３でマーキングシステムによって取得された部屋のモデルにより、高さ情報を無視し、単一の部屋の二次元輪郭を取得し、ステップＳ５で取得された各部屋の位置座標と向き情報に基づき、各部屋輪郭の位置と向きを設定し、二次元平面図の生成を完了するステップＳ７をさらに含む。

具体的には、前記写真の撮影装置は、魚眼レンズ付き携帯電話、パノラマカメラ、魚眼レンズ付きカメラ、通常の携帯電話及び通常のデジタルカメラを含む。

上述したように、本発明によって提供される撮影に基づいて三次元空間シーンを再構成するための方法では、サイズ情報とテクスチャ情報を同時に含み且つ詳細を失わない三次元空間モデルを復元し、走査不全に起因してモデルの破損を引き起こすことがなく、家具、内装等の原因でモデルに大きな干渉を与えることがなく、三次元空間シーンを速く且つ容易に編集及び変更することができ、また、サイズ情報を含み且つ歪みがない二次元平面図を同時に生成することができる、携帯電話の魚眼レンズ、パノラマカメラ、魚眼レンズ付きカメラ、及び通常の携帯電話と通常のデジタルカメラを含むがこれらに限定されない広範な撮影方式をサポートし、コストが低い。

本発明は、好ましい実施例で開示されたが、本発明はこれに限定されるものではなく、当業者であれば、本発明の精神と範囲を逸脱せずにいくつかの修正および改良を行うことができるので、本発明の保護範囲は特許請求の範囲によって限定されたものに準ずるべきである。

（付記）
（付記１）
前記方法は、
Ｓ１：すべての空間の写真を導入し、空間ごとに、同じ撮影点で撮影した空間の主な特徴を含む写真のセットを導入し、撮影時の方向と画角に応じて、３次元空間のカメラ位置から見たときに各画素が撮影時と同じ方向に見えるように、写真を３次元空間に一致させるステップと、
Ｓ２：部屋を複数の平面の集合体とし、まずは最初の平面を決定し、平面間の相互関係や交差線を介してすべての平面を１つずつ決定するステップと、
Ｓ３：マーキングシステムを用いて部屋の空間構造をマーキングし、寸法情報を取得するステップと、
Ｓ４：Ｓ３で収集した点座標情報から部屋の３次元空間モデルを作成するステップとを含む、ことを特徴とする撮影に基づいて３次元空間シーンを再構成する方法。

（付記２）
前記ステップＳ１では、各空間の写真を３６０度パノラマに合成し、３次元空間内のカメラ位置から見たときに各画素が撮影時と同じ方向に見えるように、パノラマを３次元空間に対応させることをさらに含む、ことを特徴とする付記１に記載の撮影に基づいて３次元空間シーンを再構成する方法。

（付記３）
前記ステップＳ２では、最初の平面を決定する方法は、平面上で垂直に交差する３つの壁線を見つけることによって平面を決定するか、または平面の４つのコーナーを見つけることによって平面を決定することを含む、ことを特徴とする付記１に記載の撮影に基づいて３次元空間シーンを再構成する方法。

（付記４）
前記ステップＳ２では、最初の平面を決定する方法は、平面でのカメラレンズの投影点を記録したり、関連点を記録して平面でのカメラレンズの投影点を推算したりして、平面の位置を決定することをさらに含む、ことを特徴とする付記１に記載の撮影に基づいて３次元空間シーンを再構成する方法。

（付記５）
前記ステップＳ２に先立って、撮影時の撮影装置の歪みによる画像の傾きを補正するために、写真に垂直補正線をマーキングするステップと、写真の地面に垂直な線を垂直補正線とするか、または写真の水平線を見つけて写真の水平線に垂直な線を垂直補正線とするステップと、垂直補正線を基準にして、垂直補正線が実際の水平面に垂直になるまで写真を回転させるステップと、異なる向きの複数の垂直補正線を得て垂直補正を完了させるステップとをさらに含む、ことを特徴とする付記１に記載の撮影に基づいて３次元空間シーンを再構成する方法。

（付記６）
前記ステップＳ３は、
Ｓ３１：高精度な球体の内部に写真を配置し、球体の中心にカメラのレンズ位置を設定し、球体の中心で写真を撮影した画角を復元するステップと、
Ｓ３２：球体の内部に４つのフレームポイントをプリセットし、各フレームポイントには上部ポイントと下部ポイントが含まれ、各ポイントが部屋の実際の部屋空間のコーナー位置に対応するようにフレームポイントをドラッグし、部屋の主なフレーム構造を形成したり、または各下部コーナーの位置を順番にマーキングして地面の輪郭を形成し、垂直壁線と組み合わせて対応する上部コーナーを見つけ、上部コーナーの位置をマーキングし、部屋全体の基本的な輪郭を取得するステップと、
Ｓ３３：既知のカメラ撮影高さに基づいて部屋の高さを求め、部屋の輪郭寸法を推算したり、既知の長さの定規を配置して平面の輪郭寸法を求め、さらに部屋の輪郭寸法を推算したりするステップとを含む、ことを特徴とする付記１に記載の撮影に基づいて３次元空間シーンを再構成する方法。

（付記７）
ステップＳ３２では、マーキングすべきコーナーが遮られるとき、壁線が見える場合には、水平に交差する２本の壁線の交点に垂直になるようにすることでコーナーの位置を決定し、壁の下部コーナーと壁線の両方が遮られるが上部コーナーまたは壁線が見える場合には、まず上部平面と上部コーナーの位置を決定し、次に上部コーナーと下部コーナーの位置を等比例にして拡大縮小し、下部コーナーの点を下部平面に保持してコーナーの位置を決定する、ことを特徴とする付記６に記載の撮影に基づいて３次元空間シーンを再構成する方法。

（付記８）
ステップＳ３２では、部屋のオブジェクトにマーキング点を追加し、２つのマーキング点を１つのマーキング線に形成し、部屋の壁体を拡張し、ドア、開放空間、通常の窓、出窓や階段を含む部屋の基本オブジェクトの構造を追加することと、非長方形の部屋の場合は、部屋の構造を拡張するために凹凸壁構造のマーキング点を追加し、凹凸壁の位置と深さを調整することにより、拡張された空間構造を決定することと、自由に形成された任意の壁体の場合は、自由なマーキング点を追加して壁体の構造を自由に拡張することと、二重構造の場合は、階段と階段口構造のマーキング点を追加し、二階の階段口を接続して上下の段階を互いに接続し、階段構造を拡張することとを含み、ステップＳ３３では、既知のカメラレンズ高さまたは配置された既知の長さの定規に従って、部屋のオブジェクトをマーキングし、モデル内の寸法に対する実世界の寸法の計算比率を得て、次にモデル全体を等比例にして拡大縮小し、部屋のオブジェクトの真の寸法を算出することをさらに含む、ことを特徴とする付記６に記載の撮影に基づいて３次元空間シーンを再構成する方法。

（付記９）
ステップＳ５をさらに含み、前記ステップＳ５では、異なる部屋の写真に含まれるドアまたは開放空間の画像情報を比較し、各部屋を接続して各部屋の空間位置情報および向き情報を取得することと、マーキングされたドアまたは開放空間から、写真に含まれるドアまたは開放空間の画像を比較し、互いの写真に含まれるマッチング画像を取得して、同じドアまたは開放空間を見つけ、同じドアまたは開放空間を有する部屋を接続することと、すべての部屋を接続した後、部屋を接続する位置と向きを算出し、一つの部屋を選択して接続された部屋として、その部屋のドアをトラバースし、未接続の部屋を探し、接続された部屋の位置と向きに基づいて、二つの部屋のドアまたは開放空間を接続する位置と向きと組み合わせて、未接続の部屋の位置と向きを算出し、そして未接続の部屋を接続された部屋としてマーキングすることと、未接続の部屋がなくなるまで未接続の部屋を探し続け、すべての部屋の接続を完了させることとを含む、ことを特徴とする付記８に記載の撮影に基づいて３次元空間シーンを再構成する方法。

（付記１０）
Ｓ３で収集した点座標情報により写真を分割し、部屋テクスチャマップを取得して部屋テクスチャを取得するステップ、すなわち、ステップＳ６をさらに含み、前記ステップＳ６では、まず、各平面を多角形として、頂点情報を３次元座標の集合として設定し、頂点座標の外側の矩形でテクスチャマップのサイズを算出することと、写真の画素点をトラバースし、多角形上の各画素に対応する点の空間座標の位置を取得することと、全画素点をトラバースし、単一平面のテクスチャマップを完成させることと、順番に部屋のすべての平面のテクスチャマップを完成させることとを含む、ことを特徴とする付記１に記載の撮影に基づいて３次元空間シーンを再構成する方法。

（付記１１）
さらにステップＳ７を含み、前記ステップＳ７では、ステップＳ３でマーキングシステムが取得した部屋のモデルにより、高さ情報を無視して、単一部屋の２次元輪郭を取得することと、ステップＳ５で取得した各部屋の位置座標と向き情報に応じて各部屋の輪郭の位置座標と向きを設定し、２次元平面図を生成することとを含む、ことを特徴とする付記９に記載の撮影に基づいて３次元空間シーンを再構成する方法。

（付記１２）
前記写真の撮影装置は、魚眼レンズ付き携帯電話、パノラマカメラ、魚眼レンズ付きカメラ、通常の携帯電話および通常のデジタルカメラを含む、ことを特徴とする付記１に記載の撮影に基づいて３次元空間シーンを再構成する方法。

Claims

前記方法は、
Ｓ１：すべての空間の写真を導入し、空間ごとに、同じ撮影点で撮影した空間の主な特徴を含む写真のセットを導入し、撮影時の方向と画角に応じて、３次元空間のカメラ位置から見たときに各画素が撮影時と同じ方向に見えるように、写真を３次元空間に一致させるステップと、
Ｓ２：部屋を複数の平面の集合体とし、まずは最初の平面を決定し、平面間の相互関係や交差線を介してすべての平面を１つずつ決定するステップと、
Ｓ３：マーキングシステムを用いて部屋の空間構造をマーキングし、寸法情報を取得するステップと、
Ｓ４：Ｓ３で収集した点座標情報から部屋の３次元空間モデルを作成するステップとを含む、ことを特徴とする撮影に基づいて３次元空間シーンを再構成する方法。
前記ステップＳ１では、各空間の写真を３６０度パノラマに合成し、３次元空間内のカメラ位置から見たときに各画素が撮影時と同じ方向に見えるように、パノラマを３次元空間に対応させることをさらに含む、ことを特徴とする請求項１に記載の撮影に基づいて３次元空間シーンを再構成する方法。
前記ステップＳ２では、最初の平面を決定する方法は、平面上で垂直に交差する３つの壁線を見つけることによって平面を決定するか、または平面の４つのコーナーを見つけることによって平面を決定することを含む、ことを特徴とする請求項１に記載の撮影に基づいて３次元空間シーンを再構成する方法。
前記ステップＳ２では、最初の平面を決定する方法は、平面でのカメラレンズの投影点を記録したり、関連点を記録して平面でのカメラレンズの投影点を推算したりして、平面の位置を決定することをさらに含む、ことを特徴とする請求項１に記載の撮影に基づいて３次元空間シーンを再構成する方法。
前記ステップＳ２に先立って、撮影時の撮影装置の歪みによる画像の傾きを補正するために、写真に垂直補正線をマーキングするステップと、写真の地面に垂直な線を垂直補正線とするか、または写真の水平線を見つけて写真の水平線に垂直な線を垂直補正線とするステップと、垂直補正線を基準にして、垂直補正線が実際の水平面に垂直になるまで写真を回転させるステップと、異なる向きの複数の垂直補正線を得て垂直補正を完了させるステップとをさらに含む、ことを特徴とする請求項１に記載の撮影に基づいて３次元空間シーンを再構成する方法。
前記ステップＳ３は、
Ｓ３１：高精度な球体の内部に写真を配置し、球体の中心にカメラのレンズ位置を設定し、球体の中心で写真を撮影した画角を復元するステップと、
Ｓ３２：球体の内部に４つのフレームポイントをプリセットし、各フレームポイントには上部ポイントと下部ポイントが含まれ、各ポイントが部屋の実際の部屋空間のコーナー位置に対応するようにフレームポイントをドラッグし、部屋の主なフレーム構造を形成したり、または各下部コーナーの位置を順番にマーキングして地面の輪郭を形成し、垂直壁線と組み合わせて対応する上部コーナーを見つけ、上部コーナーの位置をマーキングし、部屋全体の基本的な輪郭を取得するステップと、
Ｓ３３：既知のカメラ撮影高さに基づいて部屋の高さを求め、部屋の輪郭寸法を推算したり、既知の長さの定規を配置して平面の輪郭寸法を求め、さらに部屋の輪郭寸法を推算したりするステップとを含む、ことを特徴とする請求項１に記載の撮影に基づいて３次元空間シーンを再構成する方法。
ステップＳ３２では、マーキングすべきコーナーが遮られるとき、壁線が見える場合には、水平に交差する２本の壁線の交点に垂直になるようにすることでコーナーの位置を決定し、壁の下部コーナーと壁線の両方が遮られるが上部コーナーまたは壁線が見える場合には、まず上部平面と上部コーナーの位置を決定し、次に上部コーナーと下部コーナーの位置を等比例にして拡大縮小し、下部コーナーの点を下部平面に保持してコーナーの位置を決定する、ことを特徴とする請求項６に記載の撮影に基づいて３次元空間シーンを再構成する方法。
ステップＳ３２では、部屋のオブジェクトにマーキング点を追加し、２つのマーキング点を１つのマーキング線に形成し、部屋の壁体を拡張し、ドア、開放空間、通常の窓、出窓や階段を含む部屋の基本オブジェクトの構造を追加することと、非長方形の部屋の場合は、部屋の構造を拡張するために凹凸壁構造のマーキング点を追加し、凹凸壁の位置と深さを調整することにより、拡張された空間構造を決定することと、自由に形成された任意の壁体の場合は、自由なマーキング点を追加して壁体の構造を自由に拡張することと、二重構造の場合は、階段と階段口構造のマーキング点を追加し、二階の階段口を接続して上下の段階を互いに接続し、階段構造を拡張することとを含み、ステップＳ３３では、既知のカメラレンズ高さまたは配置された既知の長さの定規に従って、部屋のオブジェクトをマーキングし、モデル内の寸法に対する実世界の寸法の計算比率を得て、次にモデル全体を等比例にして拡大縮小し、部屋のオブジェクトの真の寸法を算出することをさらに含む、ことを特徴とする請求項６に記載の撮影に基づいて３次元空間シーンを再構成する方法。
ステップＳ５をさらに含み、前記ステップＳ５では、異なる部屋の写真に含まれるドアまたは開放空間の画像情報を比較し、各部屋を接続して各部屋の空間位置情報および向き情報を取得することと、マーキングされたドアまたは開放空間から、写真に含まれるドアまたは開放空間の画像を比較し、互いの写真に含まれるマッチング画像を取得して、同じドアまたは開放空間を見つけ、同じドアまたは開放空間を有する部屋を接続することと、すべての部屋を接続した後、部屋を接続する位置と向きを算出し、一つの部屋を選択して接続された部屋として、その部屋のドアをトラバースし、未接続の部屋を探し、接続された部屋の位置と向きに基づいて、二つの部屋のドアまたは開放空間を接続する位置と向きと組み合わせて、未接続の部屋の位置と向きを算出し、そして未接続の部屋を接続された部屋としてマーキングすることと、未接続の部屋がなくなるまで未接続の部屋を探し続け、すべての部屋の接続を完了させることとを含む、ことを特徴とする請求項８に記載の撮影に基づいて３次元空間シーンを再構成する方法。
Ｓ３で収集した点座標情報により写真を分割し、部屋テクスチャマップを取得して部屋テクスチャを取得するステップ、すなわち、ステップＳ６をさらに含み、前記ステップＳ６では、まず、各平面を多角形として、頂点情報を３次元座標の集合として設定し、頂点座標の外側の矩形でテクスチャマップのサイズを算出することと、写真の画素点をトラバースし、多角形上の各画素に対応する点の空間座標の位置を取得することと、全画素点をトラバースし、単一平面のテクスチャマップを完成させることと、順番に部屋のすべての平面のテクスチャマップを完成させることとを含む、ことを特徴とする請求項１に記載の撮影に基づいて３次元空間シーンを再構成する方法。
さらにステップＳ７を含み、前記ステップＳ７では、ステップＳ３でマーキングシステムが取得した部屋のモデルにより、高さ情報を無視して、単一部屋の２次元輪郭を取得することと、ステップＳ５で取得した各部屋の位置座標と向き情報に応じて各部屋の輪郭の位置座標と向きを設定し、２次元平面図を生成することとを含む、ことを特徴とする請求項９に記載の撮影に基づいて３次元空間シーンを再構成する方法。
前記写真の撮影装置は、魚眼レンズ付き携帯電話、パノラマカメラ、魚眼レンズ付きカメラ、通常の携帯電話および通常のデジタルカメラを含む、ことを特徴とする請求項１に記載の撮影に基づいて３次元空間シーンを再構成する方法。