JP2021051660A

JP2021051660A - 三次元空間における座標軸決定方法並びに面特定方法

Info

Publication number: JP2021051660A
Application number: JP2019175407A
Authority: JP
Inventors: 宣夫猪股; Nobuo Inomata
Original assignee: Actcube Inc
Current assignee: Actcube Inc
Priority date: 2019-09-26
Filing date: 2019-09-26
Publication date: 2021-04-01
Anticipated expiration: 2039-09-26
Also published as: JP6688518B1

Abstract

【課題】３６０°パノラマ画像から、コンピュータにより自動的に３Ｄモデルを生成するために必要な三次元座標の座標軸を決定する座標軸決定方法並びに家具などの三次元モデルを配置するために必要な床面などの所定面を特定するための面特定方法を提供する。【解決手段】３６０°パノラマ画像から所定の視線の角度における視野画像を生成する視野画像生成工程と、視野画像から線分の抽出を行う線分抽出工程と、抽出された線分と、所定の角度判定基準ベクトルとに基づき、角度評価点を算出する角度評価点算出工程とを含み、視線の角度を、所定角度ずつずらして、視野画像生成工程、線分抽出工程及び角度評価点算出工程を繰り返すことにより、角度評価点が最も高い視線の角度を算出し、角度評価点が最も高い視線の角度における視線と一致する軸を、座標軸における水平方向のいずれかの軸と決定する。【選択図】図１

Description

本発明は、３６０°パノラマ画像から三次元モデルを生成するにあたり、三次元空間の座標軸を決定する座標軸決定方法に関する。さらに本発明は、３６０°パノラマ画像と決定された座標軸とから、３６０°パノラマ画像に含まれる所定面を、三次元モデルにおける面として生成するにあたり、３６０°パノラマ画像に含まれる所定面の特定方法に関する。

近年、不動産物件の内覧のために、３６０°パノラマ画像が用いられている。さらには、この３６０°パノラマ画像と、ＶＲ技術（バーチャル・リアリティ）とを組み合わせることにより、現地に訪れたかのような感覚で、不動産物件の内覧を行うことができる。

このように３６０°パノラマ画像を用いると、現地に訪れて内覧を行う場合に比べて、より短い時間で多くの物件を確認することができる。また、入居中の物件であっても内覧を行うことができる。

さらには、このような３６０°パノラマ画像から、不動産物件の３Ｄモデルを作成し、例えば、作成された不動産物件の３Ｄモデル内に、家具の３Ｄモデルなどを配置して、実際に家具を配置した際の部屋の雰囲気をシミュレートするようなサービスも知られている。

特開２０１５−１２５００２号公報

近年では、例えば、リコー社のＴＨＥＴＡ＋（登録商標）などの３６０°パノラマ画像を容易に撮影することができる全天球カメラと呼ばれる撮影装置が従来と比べ比較的安価に入手可能であり、３６０°パノラマ画像の撮影におけるハードルも低くなっている。

このため、３６０°パノラマ画像を用いて、あらゆる不動産物件について、実際に家具を配置した際の部屋の雰囲気のシミュレートを行えるようにしたいという要望が生まれている。

しかしながら、従来は、３６０°パノラマ画像に基づき、３Ｄモデルの製作技術者によって個別に３Ｄモデルを作成することが一般的であった。製作技術者によって作成される３Ｄモデルは、正確性に富んでいるが、作成のための時間やコストがかかるという問題点がある。

特許文献１には、３６０°パノラマ画像に基づき３Ｄモデルを作成するために、３６０°パノラマ画像における計測点の三次元座標を計測する三次元座標計測方法も提案されているが、水平面を有する空間において水平調整が可能な撮影手段によって計測用画像を撮影する必要があるため、計測用画像を容易に撮影することはできない。

また、３６０°パノラマ画像に基づき３Ｄモデルを作成するためには、３６０°パノラマ画像に含まれる床面などの所定面を特定する必要があるが、このような所定面の特定を自動的に行うことはできていなかった。

本発明では、このような現状に鑑み、３６０°パノラマ画像から、コンピュータにより自動的に３Ｄモデルを生成するために必要な三次元座標の座標軸を決定する座標軸決定方法並びに家具などの三次元モデルを配置するために必要な床面などの所定面を特定するための面特定方法を提供することを目的とする。

本発明は、上述するような従来技術における課題を解決するために発明されたものであって、本発明の三次元空間における座標軸決定方法は、
３６０°パノラマ画像から三次元モデルを生成するにあたり、三次元空間における座標軸を決定する座標軸決定方法であって、
前記３６０°パノラマ画像から所定の視線の角度における視野画像を生成する視野画像生成工程と、
前記視野画像から線分の抽出を行う線分抽出工程と、
抽出された前記線分と、所定の角度判定基準ベクトルとに基づき、角度評価点を算出する角度評価点算出工程と、
を含み、
前記視線の角度を、所定角度ずつずらして、前記視野画像生成工程、前記線分抽出工程及び前記角度評価点算出工程を繰り返すことにより、前記角度評価点が最も高い前記視線の角度を算出し、
前記角度評価点が最も高い視線の角度における視線と一致する軸を、前記座標軸における水平方向のいずれかの軸と決定することを特徴とする。

このような座標軸決定方法では、前記角度評価点を、下記式（１）、（２）に基づき算出することができる。

なお、

である。

また、本発明の面特定方法は、
３６０°パノラマ画像に含まれる所定面を特定する面特定方法であって、
三次元空間において、請求項１または２に記載の座標軸決定方法によって決定された水平方向の軸を含む基準面を設定する基準面設定工程と、
前記水平方向の軸のいずれかと一致する視線の角度における視野画像において抽出された線分と、前記基準面に設定された高さ判定基準線とに基づき、高さ評価点を算出する高さ評価点算出工程と、
を含み、
前記三次元空間における前記基準面の高さを、所定距離ずつずらして、前記高さ評価点算出工程を繰り返すことにより、前記高さ評価点が最も高い前記基準面の高さを算出し、該高さにおける前記基準面を、前記三次元空間における所定面と特定することを特徴とする。

このような面特定方法では、前記高さ評価点を、下記式（３）、（４）に基づき算出することができる。

なお、

である。

また、上述する座標軸決定方法をコンピュータにより実行させるためのプログラム、上述する面特定方法をコンピュータにより実行させるためのプログラム、及び、これらのプログラムを記録したコンピュータ可読記録媒体も本発明の実施態様に含まれる。

本発明によれば、全天球カメラなどで撮影された３６０°パノラマ画像を用いて、コンピュータにより自動的に座標軸を決定し、また、床面などの所定面を検出し、面の３Ｄモデルを自動的に生成することができる。

このため、時間やコストをかけずに、３６０°パノラマ画像に基づく３Ｄモデルを作成することができる。

図１は、本実施形態における座標軸決定方法の流れを説明するためのフローチャートである。図２は、任意の角度αにおける視野画像の一例である。図３は、図２の視野画像から線分のみを抽出した場合の一例である。図４は、図３に示す線分抽出画像に、角度判定基準ベクトルを重ねた状態の図の一例であって、実線は、角度評価点算出に用いられる選択された線分、点線は、選択されなかった線分、二点鎖線は、角度判定基準ベクトルを示す。図５は、角度評価点が高い視野画像の一例であって、実線は、角度評価点算出に用いられる選択された線分、点線は、選択されなかった線分、二点鎖線は、角度判定基準ベクトルを示す。図６は、本実施形態における所定面の特定方法の流れを説明するためのフローチャートである。図７は、線分抽出されたＺ軸方向の視野画像に、高さ判定基準ベクトルを重ねた状態の図の一例であって、点線は、線分抽出された視野画像、二点鎖線は、高さ判定基準ベクトルを示す。図８は、基準面の高さを下げた際の角度判定基準ベクトルを説明するための図であって、実線は、高さ評価点算出に用いられる選択された線分、点線は、選択されなかった線分、二点鎖線は、高さ判定基準ベクトルを示す。図９は、高さ評価点が高い視野画像の一例であって、実線は、高さ評価点算出に用いられる選択された線分、点線は、選択されなかった線分、二点鎖線は、高さ判定基準ベクトルを示す。図１０は、３６０°パノラマ画像と部屋の三次元モデルとの関係を説明するための模式図である。図１１は、部屋の三次元モデルに家具の三次元モデルを置いた状態で生成された視野画像の一例である。

以下、本発明の実施の形態（実施例）を図面に基づいて、より詳細に説明する。
本明細書において、３６０°パノラマ画像とは、所定の位置から上下左右全方位について撮影された画像であって、特に、コンピュータ上の３Ｄ空間における球体の内周面にテクスチャーマッピングされたものをいう。このような３６０°パノラマ画像は、通常、撮影された位置を原点とし、例えば、視線の角度や画角などを設定することによって、３６０°パノラマ画像から、任意の視野画像を生成することができる。

なお、３６０°パノラマ画像としては、必ずしも、上下左右全方位について撮影されている必要はなく、部分的に撮影されていなくとも構わない。また、このような３６０°パノラマ画像は、全天球カメラを用いて撮影したものであってもよいし、通常のカメラを用いて撮影された全方位の写真や、全方位を撮影できるように複数台のカメラによって撮影された写真をコンピュータ上で合成処理したものであってもよい。

また、本実施形態においては、３６０°パノラマ画像として、家屋の部屋を撮影した画像の例として説明するが、家屋に限らず、例えば、倉庫や工場内部を撮影した画像であってもよく、少なくとも床面として略水平面が撮影された画像であれば構わない。

図１は、本実施形態における座標軸決定方法の流れを説明するためのフローチャートである。

まず、３６０°パノラマ画像から、視線の角度αとして、任意の角度を設定し（Ｓ１０１）、その角度αにおける視野画像を生成する（Ｓ１０２）。
次いで、図２に示すような視野画像から、例えば、ハフ（Hough）変換やＬＳＤ（Line Segment Detection）などの既知の画像処理を行うことによって、線分検出を行う（Ｓ１０３）。次いで、図３に示すように、検出された線分のみを抽出する（Ｓ１０４）。

次いで、図４に示すように、抽出された線分から、角度判定基準ベクトル（本実施形態では、水平方向の直線ベクトル）に対して、所定範囲の許容角度を有し、かつ、所定長さ以上の線分を選択し（Ｓ１０５）、角度αの視野画像について、下記式（１）、（２）に基づき、角度評価点を算出する（Ｓ１０６）。

なお、

である。

本実施形態において、許容角度の所定範囲としては、「抽出された線分」と「角度判定基準ベクトル」との角度が、＋３°〜−３°とし、所定長さは、検出された線分の長さの上位３０％とすることができる。しかしながら、許容角度の所定範囲や所定長さについては、線分検出のアルゴリズムなどによって適宜変更することが好ましい。

角度評価点は、例えば、図４に示すように、抽出された線分と、角度判定基準ベクトルとの角度が大きい場合には、低い値となる。また、抽出された線分の長さが短いものが多い場合にも、低い値となる。

一方で、図５に示すように、抽出された線分と、角度判定基準ベクトルとの角度が小さい場合には、高い値となる。また、抽出された線分の長さが長いものが多い場合にも、高い値となる。

このようにして算出される角度評価点を、所定範囲の角度αの視野画像について算出する。角度αとして、任意の角度βずつずらして、すなわち、α＝α＋βとして（Ｓ１０７）、角度αの視野画像を生成するようにすればよい。なお、視線の角度は、水平方向（パン）、垂直方向（チルト）、回転方向（ロール）に移動させることができ、それぞれ順次移動させることによって、角度評価点を算出することが好ましい。

角度βが小さいほど、判定精度は高くなるが、演算処理にかかる負荷が大きくなる。一方で、角度βが大きいほど、演算処理にかかる負荷は小さくなるが、判定精度は低くなる。したがって、演算処理を行うコンピュータの処理能力や、判定精度などを勘案して、適宜、角度βを決定することが好ましい。

そして、角度αにおける角度評価点ｈ_a（α）について、例えば、二分法、割線法などの数値解析法を用いて、最も角度評価点の高い角度αを算出する（Ｓ１０８）。
このように算出された角度αにおける視線と一致する軸を、コンピュータ上の３Ｄ空間におけるＸ軸またはＺ軸、すなわち、水平方向の軸と決定する。なお、本実施形態では、Ｚ軸とする。Ｚ軸が決定すれば、Ｚ軸を含む水平面において、Ｚ軸と直交する軸をＸ軸とし、Ｚ軸を含む鉛直面において、Ｚ軸と直交する軸をＹ軸とすることができるため、コンピュータ上の３Ｄ空間における座標軸を決定することができる（Ｓ１０９）。

以上のように処理することによって、３６０°パノラマ画像の原点と、座標軸とを決定することができ、この原点と座標軸とに基づき、３６０°パノラマ画像に含まれる所定面を以下のように検出することができる。

図６は、本実施形態における所定面の決定方法の流れを説明するためのフローチャートである。

まず、線分抽出されたＺ軸方向の視野画像について、コンピュータ上の３Ｄ空間においてＸ軸及びＺ軸を含む高さＨ＝０の平面（基準面）を設定する（Ｓ２０１）。基準面には、Ｚ軸と平行な方向の高さ判定基準線を設定する。

この基準面を、任意の距離γだけ鉛直方向に下げることによって、視野画像における高さ判定基準ベクトルは、遠近法に基づき、図７に示すように、放射線状に広がる。

図８に示すように、抽出された線分から、高さ判定基準線と交差する線分のみを選択し、この選択された線分から、高さ判定基準線に対して、所定範囲の許容角度を有し、かつ、所定長さ以上の線分を選択し（Ｓ２０２）、高さＨの基準面について、下記式（３）、（４）に基づき、高さ評価点を算出する（Ｓ２０３）。

なお、

である。

本実施形態において、許容角度の所定範囲としては、「抽出された線分」と「高さ判定基準線」との角度が、＋３°〜−３°とし、所定長さは、検出された線分の長さの上位３０％とすることができる。しかしながら、許容角度の所定範囲や所定長さについては、線分検出のアルゴリズムなどによって適宜変更することが好ましい。

高さ評価点は、例えば、図８に示すように、抽出された線分と、高さ判定基準線との角度が大きい場合には、低い値となる。また、抽出された線分の長さが短いものが多い場合にも、低い値となる。

一方で、図９に示すように、抽出された線分と、高さ判定基準線との角度が小さい場合には、高い値となる。また、抽出された線分の長さが長いものが多い場合にも、高い値となる。

このようにして算出される高さ評価点を、所定範囲の高さＨの基準面について算出する。高さＨとして、任意の距離γずつ下げて、すなわち、Ｈ＝Ｈ−γとして（Ｓ２０４）、基準面を再設定するようにすればよい。

距離γが小さいほど、判定精度は高くなるが、演算処理にかかる負荷が大きくなる。一方で、距離γが大きいほど、演算処理にかかる負荷は小さくなるが、判定精度は低くなる。したがって、演算処理を行うコンピュータの処理能力や、判定精度などを勘案して、適宜、距離γを決定することが好ましい。

そして、高さＨにおける高さ評価点ｈ_h（Ｈ）について、例えば、二分法、割線法などの数値解析法を用いて、最も高さ評価点の高い高さＨを算出する（Ｓ２０５）。
このように算出された高さＨが、原点を基準とした床面の高さと決定することができ、このときの基準面を、コンピュータ上の３Ｄ空間における床面とすることができる（Ｓ２０６）。

同様に、Ｓ２０４において、基準面を上げるようにすれば、天井面を検出することができ、また、Ｓ２０１において、Ｙ軸及びＺ軸を含む平面を基準面とすれば、図９における左右の壁面を検出することができる。また、線分抽出されたＸ軸方向の視野画像を用いることで、残りの壁面も検出することができる。

なお、壁面の検出は、上述した方法に限らず、例えば、特定された床面と、視野画像から抽出された線分の交差位置とから、壁面と床面との境界線を特定するようにし、この境界線から壁面を検出するようにすることもできる。

このように検出された床面、天井面、壁面を、コンピュータ上の３Ｄ空間において、三次元モデルの面として生成することによって、３６０°パノラマ画像に対応した部屋の三次元モデル（６つの面で囲まれた部屋の三次元モデル）を生成することができる。

そして、図１０に示すように、３６０°パノラマ画像（撮影された画像Ｐがテクスチャーマッピングされた球体モデルＣ）の原点Ｏと、部屋の三次元モデルＭの原点Ｏとを一致させ、かつ、原点Ｏと３Ｄ空間における視点とを一致させる。

このように、テクスチャーを有するモデル（球体モデルＣ）と、部屋の三次元モデルＭとを別に設定していることから、例えば、部屋の一部が撮影されていない場合であっても、撮影されている範囲で、床面、天井面、壁面を検出すれば、６つの面で囲まれた部屋の三次元モデルＭを生成することができる。

また、３６０°パノラマ画像における任意の２点間の実際の距離と、３Ｄ空間における対応する２点間の距離との比率を算出することによって、３Ｄ空間における任意の２点間の距離を算出することができるようになる。また、実空間と、３Ｄ空間との比率に基づき、例えば、図１０に示すように、家具などの三次元モデルＦの縮尺を決定することができる。このため、部屋の三次元モデルＭにおける床面の上に、家具の三次元モデルＦを配置し、部屋の雰囲気のシミュレートなどを行うこともでき、原点Ｏから所定の視野Ｖにおける視野画像を生成することで、図１１に示すように、家具が配置された状態における視野画像を容易に得ることができる。

なお、部屋の三次元モデルＭとしては、少なくとも床面を有していれば、その床面のモデル上に家具などの三次元モデルＦを配置することが可能となる。したがって、所定面として床面を特定することができれば、例えば、不動産物件において、家具を配置した際の部屋の雰囲気をシミュレートすることも可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれに限定されることはなく、例えば、上記実施形態では、線分の検出、抽出、選択を順次行っているが、採用するアルゴリズムによっては、例えば、線分の検出、抽出、選択を同時に行うようにしてもよいなど、本発明の目的を逸脱しない範囲で種々の変更が可能である。

また、上述するような座標軸決定方法及び面特定方法は、コンピュータにより実行させるためのプログラムとすることもでき、このようなプログラムを記録した、例えば、磁気テープ（デジタルデータストレージ（ＤＤＳ）など）、磁気ディスク（ハードディスクドライブ（ＨＤＤ）、フレキシブルディスク（ＦＤ）など）、光ディスク（コンパクトディスク（ＣＤ）、デジタルバーサタイルディスク（ＤＶＤ）、ブルーレイディスク（ＢＤ）など）、光磁気ディスク（ＭＯ）、フラッシュメモリ（ＳＳＤ（Solid State Drive）、メモリーカード、ＵＳＢメモリなど）などのコンピュータ可読記録媒体も本発明の一態様として含まれる。

Claims

３６０°パノラマ画像から三次元モデルを生成するにあたり、三次元空間における座標軸を決定する座標軸決定方法であって、
前記３６０°パノラマ画像から所定の視線の角度における視野画像を生成する視野画像生成工程と、
前記視野画像から線分の抽出を行う線分抽出工程と、
抽出された前記線分と、所定の角度判定基準ベクトルとに基づき、角度評価点を算出する角度評価点算出工程と、
を含み、
前記視線の角度を、所定角度ずつずらして、前記視野画像生成工程、前記線分抽出工程及び前記角度評価点算出工程を繰り返すことにより、前記角度評価点が最も高い前記視線の角度を算出し、
前記角度評価点が最も高い視線の角度における視線と一致する軸を、前記座標軸における水平方向のいずれかの軸と決定することを特徴とする座標軸決定方法。
前記角度評価点を、下記式（１）、（２）に基づき算出することを特徴とする請求項１に記載の座標軸決定方法。

なお、

である。
３６０°パノラマ画像に含まれる所定面を特定する面特定方法であって、
三次元空間において、請求項１または２に記載の座標軸決定方法によって決定された水平方向の軸を含む基準面を設定する基準面設定工程と、
前記水平方向の軸のいずれかと一致する視線の角度における視野画像において抽出された線分と、前記基準面に設定された高さ判定基準線とに基づき、高さ評価点を算出する高さ評価点算出工程と、
を含み、
前記三次元空間における前記基準面の高さを、所定距離ずつずらして、前記高さ評価点算出工程を繰り返すことにより、前記高さ評価点が最も高い前記基準面の高さを算出し、該高さにおける前記基準面を、前記三次元空間における所定面と特定することを特徴とする面特定方法。
前記高さ評価点を、下記式（３）、（４）に基づき算出することを特徴とする請求項３に記載の面特定方法。

なお、

である。
請求項１または２に記載の座標軸決定方法をコンピュータにより実行させるためのプログラム。
請求項３または４に記載の面特定方法をコンピュータにより実行させるためのプログラム。
請求項５または６に記載のプログラムを記録したコンピュータ可読記録媒体。