JP2019185776A - 室内空間の３次元地図生成方法及び装置 - Google Patents

Abstract

【課題】室内空間に対するイメージと形象に関する情報を利用して仮想の空間で３次元で室内空間を表示する地図の生成方法及び装置を提供する。【解決手段】室内空間に対するイメージである室内空間イメージを少なくとも一つ獲得する段階と、少なくとも一つの室内空間イメージで前記室内空間の構造に対応する領域である背景領域及び前記室内空間に位置した物体に対応する領域である非背景領域を区分する段階と、少なくとも一つの室内空間イメージで前記背景領域を非背景領域に拡張して少なくとも一つの拡張室内空間イメージを生成する段階と、少なくとも一つの拡張室内空間イメージと前記室内空間に対する深さ値の情報を含む地形情報に基づいて深さ−イメージ連携情報を生成する段階と、少なくとも一つの拡張室内空間イメージ、地形情報及び深さ−イメージ連携情報を利用して室内空間に対する３次元地図を生成する段階とを含む。【選択図】図３

Description

本発明は、室内空間に対する３次元地図生成方法及び装置に関し、さらに詳しくは、室内空間に対するイメージと形象に関する情報を利用して仮想の空間で３次元で室内空間を表示する地図の生成方法及び装置に関する。

室内空間のモデリングと関連して、伝統的にカメラとレーザセンサーを融合してレーザセンサーが取得した地形値にカメラが取得した映像値を混合してカラー点群データを構成する方式が多く使用され、建築業界などでは、ＦＡＲＯ、ＲｉｅＧＬ、ＬｅｉＣＡなどの業社がこれを商用化して適用している。

また、キネクト（ｋｉｎｅｃｔ）あるいは類似した動作原理を有する３次元センサーを活用してカラー点群デートを取得し、センサーの移動軌跡を推定して累積したデータを移動軌跡上に累積させる方法を通じて、３次元空間をモデリングすることができる。

しかし、このような従来の技術には、下記のような問題点が存在する。
第一、センサー測定と関連した様々な形態の誤差（センシング誤差、センサー位置推定誤差、多重センサー間整合誤差など）が室内空間の３次元地図に影響を及ぼして、ユーザの集中度を低下させる可能性がある。例えば、図１を参照すると、映像センサーの小さな位置推定誤差によって柱に映りこむべき映像情報が底に映りこまれ、これにより実感のわく３次元地図の作成が難しくなることが分かる。

第二、任意の室内環境で複雑な室内構成物の形象を映像のピクセル（ｐｉｘｅｌ）と１対１マッチングになるように完璧にモデリングできない可能性もある。例えば、図２を参照すると、映像と形象の不一致が発生し、これにより実感のわく３次元地図の作成が難しくなることが分かる。特に、インテリアー工程後にシャンデリアのように非常に複雑な形象の物体が多数存在する場合、形象と映像を１対１でマッチングすることは、センサー自体の測定誤差水準を超えるため、現在のシステムでは事実上不可能な課業である。

第三、任意の室内環境を完全に複写するためには、机下や狭い隙間などの室内空間の全ての場所に対するデータを全て獲得しなければならない。これを行うためには、複雑な形態のセンサーシステムが必要なだけでなく、このようなセンサーシステムで長時間データを取得しなければならない。また、従来の技術を実施する場合は、動く人や移動中の物体が存在する場合、センサーが測定するのに十分な時間が与えられず、センサーシステムの移動によって移動中の人や物体も別個に移動するため、これに対する地形情報が作成できないという限界がある。これにより、従来の技術を利用する場合は、移動中の人や物体がない時にデータを取得するか、移動中の人や物体がある時はセンサーの視野角から外れるまで待たなければならないという不便があった。

従って、上述したような３次元地図の生成時に発生する既存の問題点を解決することができる新しい３次元地図生成方法及び装置に対する必要性が台頭している。

韓国登録特許第１０−１８３５４３４号公報

本発明は、上述した従来技術の問題を解決しながら、室内空間で取得された情報を活用して仮想空間で当該室内空間と類似した３次元地図を作成する方法及び装置を提供する。

本発明が解決しようとする課題は、以上で言及した課題に制限されず、言及されなかったまた他の課題は、下記の記載から当業者に明確に理解できるであろう。

上記目的を達成するために、本発明で提供する室内空間の３次元地図生成方法は、室内空間に対するイメージである室内空間イメージを少なくとも一つ獲得する段階と、前記少なくとも一つの室内空間イメージで前記室内空間の構造に対応する領域である背景領域及び前記室内空間に位置した物体に対応する領域である非背景領域を区分する段階と、前記少なくとも一つの室内空間イメージで前記背景領域を前記非背景領域に拡張して少なくとも一つの拡張室内空間イメージを生成する段階と、前記少なくとも一つの拡張室内空間イメージと前記室内空間に対する深さ値の情報を含む地形情報に基づいて深さ−イメージ連携情報を生成する段階と、前記少なくとも一つの拡張室内空間イメージ、前記地形情報及び前記深さ−イメージ連携情報を利用して前記室内空間に対する３次元地図を生成する段階とを含む。

好ましくは、前記非背景領域を区分する段階の以前に、前記室内空間に対する深さ値の情報である深さ値情報を獲得する段階と、前記深さ値情報を利用して前記室内空間に対する外郭情報である室内空間外郭情報を生成する段階とをさらに含み、前記地形情報は、前記深さ値情報及び前記室内空間外郭情報を含むことができる。

好ましくは、前記深さ−イメージ連携情報を生成する段階の以後に、前記少なくとも一つの拡張室内空間イメージ及び前記地形情報に含まれた特徴を利用して前記地形情報及び前記深さ−イメージ連携情報のうち少なくとも一つを更新する段階を含み、前記３次元地図を生成する段階は、前記更新された地形情報及び深さ−イメージ連携情報のうち少なくとも一つを利用することができる。

好ましくは、前記深さ−イメージ連携情報を生成する段階と前記室内空間に対する３次元地図を生成する段階との間に、前記地形情報及び前記深さ−イメージ連携情報を利用して、前記少なくとも一つの室内空間イメージで前記背景領域及び前記非背景領域を再区分する段階と、前記少なくとも一つの室内空間イメージで前記背景領域を前記非背景領域に拡張して少なくとも一つの拡張室内空間イメージを再生成する段階とを含み、前記３次元地図を生成する段階は、前記再生成された少なくとも一つの拡張室内空間イメージを利用することができる。

好ましくは、前記背景領域及び前記非背景領域を再区分する段階は、前記少なくとも一つの室内空間イメージ中の一つである対象イメージに対して前記背景領域及び前記非背景領域を再区分する時、前記深さ−イメージ連携情報及び前記少なくとも一つの室内空間イメージのうち前記対象イメージを除いた少なくとも一つの補完イメージをさらに利用することができる。

好ましくは、前記室内空間に対する３次元地図を生成する段階は、前記深さ−イメージ連携情報に基づいて、前記少なくとも一つの拡張室内空間イメージのうち前記３次元地図上の所定の基準位置に対応する基準ポーズと連携する一つの拡張室内空間イメージを選別して、代表イメージとして決定する段階と、前記深さ−イメージ連携情報及び前記基準ポーズを利用して、前記少なくとも一つの拡張室内空間イメージのうち前記代表イメージを除いた少なくとも一つの補完イメージを決定する段階と、前記代表イメージ、前記少なくとも一つの補完イメージ、前記地形情報及び前記深さ−イメージ連携情報を利用して３次元地図を生成する段階とを含むことができる。

好ましくは、複数の物体に対する形象及びイメージに関する情報を含む物体ＤＢから、少なくとも一つの物体に関する情報を含む物体情報を獲得する段階と、前記物体情報に基づいて、前記生成された３次元地図に前記少なくとも一つの物体に対応する少なくとも一つの仮想物体を追加する段階とをさらに含むことができる。

好ましくは、前記物体情報は、前記室内空間に位置した物体に関する情報であることができる。

好ましくは、前記物体ＤＢに新しい物体に関する情報が追加されるか既存の仮想物体に関する情報が更新されれば、前記３次元地図に追加された前記少なくとも一つの仮想物体を選択的に更新する段階をさらに含むことができる。

好ましくは、前記少なくとも一つの仮想物体中に光を反射する材質を含む仮想物体である反射仮想物体が含まれている時、前記少なくとも一つの拡張室内空間イメージ及び前記地形情報を利用して、前記３次元地図上の所定の基準位置に対応する基準ポーズに対して前記反射仮想物体を通じて反射する前記室内空間に対する映像である反射映像を前記反射仮想物体に表示する段階をさらに含むことができる。

好ましくは、前記少なくとも一つの室内空間イメージから前記室内空間に位置する光源に関する位置及び明るさに関する情報を含む光源情報を推定する段階と、前記少なくとも一つの拡張室内空間イメージに前記光源情報による照明効果を反映する段階とをさらに含むことができる。

また、上記目的を達成するために、本発明で提供する室内空間の３次元地図生成装置は、室内空間に対するイメージである室内空間イメージを少なくとも一つ獲得する獲得部と、前記少なくとも一つの室内空間イメージで前記室内空間の構造に対応する領域である背景領域及び前記室内空間に位置した物体に対応する領域である非背景領域を区分する区分部と、前記少なくとも一つの室内空間イメージで前記背景領域を前記非背景領域に拡張して少なくとも一つの拡張室内空間イメージを生成する拡張部と、前記少なくとも一つの拡張室内空間イメージと前記室内空間に対する深さ値の情報を含む地形情報に基づいて深さ−イメージ連携情報を生成する連携部と、前記少なくとも一つの拡張室内空間イメージ、前記地形情報及び前記深さ−イメージ連携情報を利用して前記室内空間に対する３次元地図を生成する生成部とを含む。

好ましくは、前記獲得部は、前記室内空間に対する深さ値の情報である深さ値情報をさらに獲得し、前記深さ値情報を利用して前記室内空間に対する外郭情報である室内空間外郭情報を生成する外郭情報生成部をさらに含み、前記地形情報は、前記深さ値情報及び前記室内空間外郭情報を含むことができる。

好ましくは、前記連携部は、前記少なくとも一つの拡張室内空間イメージ及び前記地形情報に含まれた特徴を利用して前記地形情報及び前記深さ−イメージ連携情報のうち少なくとも一つを更新し、前記生成部は、前記更新された地形情報及び深さ−イメージ連携情報のうち少なくとも一つを利用することができる。

好ましくは、前記区分部は、前記地形情報及び前記深さ−イメージ連携情報を利用して、前記少なくとも一つの室内空間イメージで前記背景領域及び前記非背景領域を再区分し、前記拡張部は、前記少なくとも一つの室内空間イメージで前記背景領域を前記非背景領域に拡張して少なくとも一つの拡張室内空間イメージを再生成し、前記生成部は、前記再生成された少なくとも一つの拡張室内空間イメージを利用することができる。

好ましくは、前記区分部が前記少なくとも一つの室内空間イメージ中の一つである対象イメージに対して前記背景領域及び前記非背景領域を再区分する時、前記深さ−イメージ連携情報及び前記少なくとも一つの室内空間イメージのうち前記対象イメージを除いた少なくとも一つの補完イメージをさらに利用することができる。

好ましくは、前記生成部は、前記深さ−イメージ連携情報に基づいて、前記少なくとも一つの拡張室内空間イメージのうち前記３次元地図上の所定の基準位置に対応する基準ポーズと連携する一つの拡張室内空間イメージを選別して、代表イメージとして決定し、前記深さ−イメージ連携情報及び前記基準ポーズを利用して、前記少なくとも一つの拡張室内空間イメージのうち前記代表イメージを除いた少なくとも一つの補完イメージを決定し、前記代表イメージ、前記少なくとも一つの補完イメージ、前記地形情報及び前記深さ−イメージ連携情報を利用して３次元地図を生成することができる。

好ましくは、複数の物体に対する形象及びイメージに関する情報を含む物体ＤＢから、少なくとも一つの物体に関する情報を含む物体情報を獲得するＤＢ連結部をさらに含み、前記生成部は、前記物体情報に基づいて、前記生成された３次元地図に前記少なくとも一つの物体に対応する少なくとも一つの仮想物体を追加することができる。

好ましくは、前記物体情報は、前記室内空間に位置した物体に関する情報であることができる。

好ましくは、前記物体ＤＢに新しい物体に関する情報が追加されるか既存の仮想物体に関する情報が更新されれば、前記生成部が前記３次元地図に追加された前記少なくとも一つの仮想物体を選択的に更新することができる。

好ましくは、前記生成部は、前記少なくとも一つの仮想物体中に光を反射する材質を含む仮想物体である反射仮想物体が含まれている時、前記少なくとも一つの拡張室内空間イメージ及び前記地形情報を利用して、前記３次元地図上の所定の基準位置に対応する基準ポーズに対して前記反射仮想物体を通じて反射して見える前記室内空間に対する映像である反射映像を前記反射仮想物体にさらに表示することができる。

好ましくは、前記少なくとも一つの室内空間イメージから前記室内空間に位置する光源に関する位置及び明るさに関する情報を含む光源情報を推定する光源推定部と、前記少なくとも一つの拡張室内空間イメージに前記光源情報による照明効果を反映する光源反映部とをさらに含むことができる。

本発明は、センサー測定と関連した様々な形態の誤差が存在する場合も、当該誤差の影響を相対的に少なく受ける空間の背景（ｂａｃｋｇｒｏｕｎｄ）部分だけを活用することで、多様な誤差が存在する環境でも、強靭かつ安定して３Ｄ地図を構築することができる効果がある。特に、本発明は、背景の境界線（ｂｏｕｎｄａｒｙ）部分を積極的に活用して強靭性と安全性を追い求め、さらに詳しくは、背景部分が非背景部分となす内部境界線は、背景部分を拡張する方向に増強させ、背景内で映像のエッジと地形のエッジ部分は、相互整合性が高くなる方向に補正することで、強靭かつ安定して３Ｄ地図を構築することができる。

また、本発明は、安定して背景を構成した後、当該背景内に置かなければならない他の非背景部分に対して、既構築された物体ＤＢ（ｄａｔａｂａｓｅ）に累積された映像及び形象の情報を活用して背景上に置く方法論を選び、これを通じて、誤差に敏感なだけでなく、その特性上、センサー情報から精密な情報構築がほとんど不可能な物体に対しても既構築された物体ＤＢを活用して精密に表現することができる効果がある。また、時間差をおいて物体ＤＢに新しい物体が登録されるか更新された場合、以前に既製作された地図の物体に対してもより精密な映像及び形象情報を更新された物体ＤＢを通じて反映できるようになり、この全ての過程がコンピュータアルゴリズムを通じて追加の労動力を投入せずに行われることができる。

また、本発明は、背景部分に対して一部の情報だけを取得した場合も、背景に対する構成が可能であり、非背景部分に対して一部の情報だけを取得した場合も、如何なる物体で如何なるポーズであるかを強靭に予測することができるため、全ての時点で全てのデータを長時間取得せずに短時間で一部の情報だけを取得しただけでも全体情報を類推して表現することができる効果がある。また、本発明は、データの取得中に最終の地図には表現されないことが好ましい人などの動的な客体等が存在する場合も、これを非背景部分として見做して除去することができる効果がある。特に、本発明で実施する単一地形−複数映像表現法を活用する場合、特定の映像情報で高い仕切りなどの相当な塞がりにより背景に対する推論及び拡張が難しい場合でも、他の場所で取得された映像情報を活用してより正確で効果的に背景部分を復元することができる。

また、本発明は、上記のように単一地形−複数映像表現法を活用して地図データを構成した場合、ユーザの移動によって室内の自然な照明効果の変化が可能であり、動感のある仮想地図を表現することができる効果がある。

柱の映像情報が底に投影されて視覚的誤謬が発生した例示図面である。 映像と形象の不一致により３次元地図で物体の外観に視覚的誤謬が発生した例示図面である。 本発明の一実施例による室内空間の３次元地図生成方法を説明するためのフローチャートである。 本発明の他の実施例による室内空間の３次元地図生成方法を説明するためのフローチャートである。 本発明の一実施例による代表イメージと補完イメージを利用した室内空間の３次元地図生成方法を説明するためのフローチャートである。 本発明のまた他の実施例による室内空間の３次元地図生成方法を説明するためのフローチャートである。 本発明のさらに他の実施例による室内空間の３次元地図生成方法を説明するためのフローチャートである。 本発明の一実施例による室内空間の３次元地図生成装置を示すブロック図である。 本発明の他の実施例による室内空間の３次元地図生成装置を示すブロック図である。 本発明のまた他の実施例による室内空間の３次元地図生成装置を示すブロック図である。 データ取得のためのセンサーシステムの例示として、カメラ、慣性センサー、距離測定センサーが付着したタイヤ型移動ロボット、リュックサック型システム、ハンド型システムの図面である。 ライダーセンサーを利用して生成した３次元地形情報の図面である。 ３６０度パノラミックイメージと深さ値をメッシュ（ｍｅｓｈ）形態で連携させた図面である。 物体が位置しない室内空間を示す図面である。 多様な種類の物体が位置した室内空間を示す図面である。 室内空間の背景領域を示す図面である。 室内空間の非背景領域を示す図面である。 本発明の一実施例による背景領域を非背景領域に拡張した結果を示す図面である。 本発明の一実施例による拡張室内空間イメージと室内構造外郭情報のそれぞれに含まれたエッジを示す図面である。 イメージ上の領域が地形情報で同一の領域を有するように区画した例示を示す図面である。 点群データで形成した地形情報の多様な実施例を示す図面である。 メッシュ形態で構成した地形情報の多様な実施例を示す図面である。 室内空間が特定ポーズを基準として深さ−イメージ連携形態で表現され、ユーザビューアにおける任意の視野を表現しなければならない場合、拡張室内空間イメージを活用する実施例に対する図面である。

本発明は、多様な変更を加えることができ、様々な実施例を持つことができるので、特定の実施例を図面に例示し、詳細な説明に詳しく説明する。しかし、これは、本発明を特定の実施形態について限定しようとするものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物または代替物を含むと理解されるべきである。各図面を説明しながら類似した参照符号を類似した構成要素について使用した。

第１、第２、Ａ、Ｂなどの用語は、多様な構成要素を説明するのに使用されることができるが、上記構成要素は上記用語によって限定されてはならない。上記用語は、一つの構成要素を他の構成要素から区別する目的だけで使用される。例えば、本発明の権利範囲を外れることなく第１構成要素は第２構成要素と命名されることができ、同様に、第２構成要素も第１構成要素と命名されることができる。及び／またはという用語は、複数の関連して記載された項目の組み合わせまたは複数の関連して記載された項目のいずれかの項目を含む。

ある構成要素が他の構成要素に「連結されて」いるか「接続されて」いると言及された場合は、その他の構成要素に直接的に連結されているかまたは接続されていてもよく、中間に他の構成要素が存在してもよいと理解されるべきである。一方、ある構成要素が他の構成要素に「直接連結されて」いるか「直接接続されて」いると言及された場合は、中間に他の構成要素が存在しないと理解されるべきである。

本出願で使用した用語は、単に特定の実施例を説明するために使用されたもので、本発明を限定しようとする意図ではない。単数の表現は、文脈上明らかに異なって意味しない限り、複数の表現を含む。本出願において、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定するものであって、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたものなどの存在または付加可能性を予め排除しないと理解されるべきである。

特に定義されない限り、技術的または科学的な用語を含みここで使用される全ての用語は、本発明が属する技術分野で通常の知識を持った者によって一般的に理解されるものと同一の意味を持っている。一般的に使用される辞書に定義されている用語は、関連技術の文脈上で持つ意味と一致する意味を持つと解釈されるべきであり、本出願で明らかに定義しない限り、理想的または過度に形式的な意味で解釈されない。

以下、本発明による好ましい実施例を添付の図面を参照して詳しく説明する。
本発明を実施するためには、イメージ情報の取得が可能なセンサーを含むセンサーシステムを活用して室内空間でデータを取得する必要がある。特に、センサーの視野角に比べて室内空間が遥かに広くて大きいため、室内空間のデータを充分に盛り込むようにセンサーを移動しながらデータを取得する必要がある。この時、センサーは、カメラ単独で使用するか、深さ測定のために複数のカメラを使用することができ、慣性センサーや距離測量が可能なレーザセンサーなどをさらに結合して使用することができる。

この時、センサー値は、室内空間で移動中に獲得されたため、個別センサーデータが取得された３次元ポーズ（ｐｏｓｅ）がそれぞれ異なることがある。そこで、正確な３次元地図の作成のためには、個別センサーデータが取得されたポーズ値を正確に予測する必要があり、そのため、スラム（ＳＬＡＭ、Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）などの技法を活用して３次元ポーズを予測することができる。しかし、センサーシステムが図１１のように移動ロボットなどを活用した場合、固定された高さでデータを取得するため、２次元ポーズの状態ベクターを推定するだけでも、本発明を実施することができるようになる。即ち、センサー取得ポーズの一貫性が確保されたデータを取得することができる。

一方、センサー値の構成は、センサーの種類によって異なることができる。一例として、センサーが単一カメラだけで構成された場合、センサー値はカメラ映像だけで構成され、当該映像を活用して映像内の特徴点を抽出し、単一カメラの場合は当該特徴点間の相対的距離を、複数のカメラの場合は当該特徴点間の絶対距離を予測することができる。特に、特徴点を抽出せずとも単一カメラの場合は累積した映像情報を活用してピクセルの深さを予測することができ、複数のカメラの場合、複数のカメラ映像やその累積した情報を活用してピクセルの深さを予測することもできる。

さらに、追加の慣性センサー、深さ測定センサーなどの情報が共に活用された場合、各センサーの固有特性に合わせてセンサー情報処理をすることができる。一例として、図１１のように、慣性センサー情報が獲得可能な場合に、これを活用してスラムの性能を向上させるか、映像情報の処理時に映像取得地点に対する推定（ｐｒｅｄｉｃｔｉｏｎ）情報として使用して、映像取得地点に対する補正（ｃｏｒｒｅｃｔｉｏｎ）をより容易にすることができる。また、慣性情報の加速度値あるいは角速度値を活用して実際の移動距離を予想することができ、これを単一カメラあるいは複数のカメラから抽出された深さ値のスケール（ｓｃａｌｅ）を補正するのに活用することもできる。

同様に、ライダ（ＬｉＤＡＲ）やキネクト（Ｋｉｎｅｃｔ）のように、レイ（ｒａｙ）単位で深さ測定が可能なセンサー情報を取得可能な場合、当該データの取得ポーズをスラムを通じて予測し、予測されたポーズを基盤として深さ測定データを並べて、図１２のように３次元地形情報をより正確に予測することができる。

この時、地形情報は、図２１のように、レイ別に測定された点を集めておいた点群形態（上）、または点群から物体を排除した背景に該当する点だけを集めておいた点群形態（中）、または物体で塞がれた背景部分を背景部分の地形的連続性に基づいて復元した点群形態（下）を含むことができる。

また、地形情報は、図２２のように、メッシュ（ｍｅｓｈ）形態で拡張して表現した場合（左上：室外時点、左下：室内時点）、メッシュから物体を排除した背景に該当するメッシュだけを集めておいた場合（右上：室外時点、右下：室内時点）などを含むことができる。

この時、３次元地図の原データの表現方法は、センサーの構成及び実施方法によって非常に多様である。その中で３６０度カメラを使用する場合、図１３のように取得された映像をパノラマイメージで表現し、推定された深さ値をメッシュ（ｍｅｓｈ）形態でパノラマイメージに連携し、取得された映像あるいはメッシュの特定基準点対比の座標値を３Ｄあるいは２Ｄポーズ形態で格納することができる。図１３は、特定ポーズのデータに対する例示であり、３次元地図の原データは、室内空間の広さによって多数のデータで構成されることができる。

一方、図１１を参照すると、本発明の一実施例による室内空間の３次元地図生成装置は、カメラ、慣性センサー、ライダーセンサーなどを含むセンサーシステムが付着したタイヤ型移動ロボットから３次元地図生成のために必要なデータを有線または無線通信を通じて受信して獲得することができる。あるいは、本発明の一実施例による室内空間の３次元地図生成装置は、センサーシステムが付着したタイヤ型移動ロボットに直接搭載されて、３次元地図生成を行うことができる。または、本発明の一実施例による室内空間の３次元地図生成装置は、リュックサック型システムや、小型スキャナや、カメラと慣性センサーを具備したスマートフォン自体あるいはスマートフォン拡張装置を付着したシステムに搭載されて、３次元地図生成を行なうことができる。

しかし、本発明の一実施例による室内空間の３次元地図生成装置は、図１１に例示されたシステムを利用するのに限定されず、その他にも多様な種類のセンサーシステムを含む機器から３次元地図生成のために必要なデータを受信するか、または多様な種類の機器に搭載されて３次元地図生成を行なうことができることは勿論である。

図３は、本発明の一実施例による室内空間の３次元地図生成方法を説明するためのフローチャートである。

段階Ｓ３１０では、３次元地図生成装置が室内空間に対するイメージである室内空間イメージを少なくとも一つ獲得する。

例えば、３次元地図生成装置は、カメラが付着した外部機器からまたは３次元地図生成装置に付着したカメラから室内空間に対するイメージである室内空間イメージを少なくとも一つ獲得することができる。

この時、室内空間イメージは、室内空間内部の多様な位置でその室内空間を撮影したイメージであることができる。

段階Ｓ３２０では、３次元地図生成装置が少なくとも一つの室内空間イメージで室内空間の構造に対応する領域である背景領域及び室内空間に位置した物体に対応する領域である非背景領域を区分する。

この時、背景領域は、室内空間イメージで室内空間自体の構造だけに該当する部分を意味することができる。また、非背景領域は、室内空間イメージで室内空間に位置した物体あるいは移動中の人のように、最終の地図で表現しないことが好ましい部分を意味することができる。

例えば、図１４〜図１７を参照すると、図１５は、室内空間に多様な物体（机、本棚、椅子など）が位置する室内空間イメージに該当することができる。この時、図１６のように、物体が除去（白色で表示された領域）された部分は背景領域であり、図１７のように、物体に対応する部分は非背景領域に該当することができる。この時、図１４を参照すると、背景領域は、その室内空間を形成する建築物自体の構造を意味するか、またはその建築物自体の構造に建築物に付着した構造物（例えば、ドア、窓など）まで含むことを意味することができる。

一方、３次元地図生成装置は、少なくとも一つの室内空間イメージに存在する構成要素のうち他の要素で塞がることにより連続的でないこともあるが、実際環境の構成上では連続的に構成された要素を背景領域として区分することができる。また、３次元地図生成装置は、少なくとも一つの室内空間イメージで背景領域として区分された以外の領域を非背景領域として区分することができる。この時、３次元地図生成装置は、少なくとも一つの室内空間イメージを構成するイメージのピクセル値に基づいて、背景領域と非背景領域とを区分することができる。

この時、背景領域は、図１４のように、人が生活する環境で時間的に最も先に構成された部分であることができる。即ち、背景領域は一般的に上貼りあるいはペイント工事が終わった時点で存在する構成物の組み合わせであり、以後、図１５のように、背景領域上に非背景要素（例えば、各種の物体）が流入されることができる。また、背景領域は、他の要素によって一部塞がれてデータが完全でないが、塞がれない部分と類似性を持つことができると推論されて、塞がれない部分をホールフィリング（ｈｏｌｅ ｆｉｌｌｉｎｇ）やインペインティング（ｉｎｐａｉｎｔｉｎｇ）技法を使って再構成することができる部分に該当することができる。また、背景領域は、建物内部の大きい看板や案内デスクなどのように他の物体を塞ぐことがあるが、当該物体のエッジ部分で映像と地形の整合度が全てのデータ内で一致するか別途の整合過程を通じて一致させることができる部分であることができる。

段階Ｓ３３０では、３次元地図生成装置が少なくとも一つの室内空間イメージで背景領域を非背景領域に拡張して少なくとも一つの拡張室内空間イメージを生成する。

この時、３次元地図生成装置は、少なくとも一つの室内空間イメージそれぞれの背景領域に関する情報を利用して背景領域を非背景領域に拡張することで、拡張室内空間イメージを生成することができる。

例えば、図１６を参照すると、３次元地図生成装置は、室内空間イメージで背景領域に関する情報を利用してこれを非背景領域に拡張することができる。即ち、３次元地図生成装置は、背景領域に含まれたエッジ（ｅｄｇｅ）に関する情報を利用して、非背景領域に該当する部分を推論し補強して拡張室内空間イメージを生成することができる。

さらに具体的に、３次元地図生成装置は、背景領域に含まれたエッジが非背景領域との境界線１６１０で断絶された場合、そのエッジの延長線が背景領域と非背景領域との間の境界線１６１０を超えて非背景領域につながるという推論を通じて、拡張室内空間イメージを生成することができる。

この時、３次元地図生成装置は、特定の室内空間イメージ以外に他の一つ以上の室内空間イメージを背景補完イメージとして指定し、特定の室内空間イメージの非背景領域に該当する領域をその背景補完イメージの情報を使用して減らしていくことができる。

一方、図１９を参照すると、３次元地図生成装置は、必要に応じて部分的に拡張を進行することができる。この時、図１８（ａ）は、１０％の拡張が進行された場合であり、図１８（ｂ）は、３０％の拡張が進行された場合であり、図１８（ｃ）は、全体拡張が進行された場合である。もし、ユーザが室内空間に物体が存在しないように室内空間の構造だけをモデリングし、その仮想の室内空間に任意の仮想物体を置くことを望む場合は、図１８（ｃ）のように１００％拡張することも可能である。

段階Ｓ３４０において、３次元地図生成装置がその少なくとも一つの拡張室内空間イメージと室内空間に対する深さ値の情報を含む地形情報に基づいて、深さ−イメージ連携情報を生成する。

この時、深さ−イメージ連携情報は、その少なくとも一つの拡張室内空間イメージのピクセルに対応する室内空間の深さ値がマッチングされた情報であることができる。

そのため、３次元地図生成装置は、その少なくとも一つの拡張室内空間イメージと地形情報の他にも、その少なくとも一つの拡張室内空間イメージと地形情報それぞれの取得位置及び取得角度に対する情報を含むイメージ取得ポーズと深さ取得ポーズをさらに利用して、深さ−イメージ連携情報を生成することができる。

さらに具体的に、３次元地図生成装置は、少なくとも一つの拡張室内空間イメージに連携されたイメージ取得ポーズを通じて、個別イメージのピクセル全体あるいは一部が地形情報に含まれた深さ値と対応する座標関係を探すことができる。そして、これを少なくとも一つの拡張室内空間イメージに対して繰り返し適用する方法で深さ−イメージ連携情報を生成することができる。

一方、イメージセンサーの解像度が距離センサーの解像度より高い場合は、その少なくとも一つの拡張室内空間イメージのピクセルのうち対応する深さ値が存在しない未マッピングピクセルが発生することができるが、３次元地図生成装置は、未マッピングピクセルに対しては内挿法を利用して推定された深さ値をマッピングすることができる。

他の実施例では、３次元地図生成装置がその少なくとも一つの拡張室内空間イメージ及び地形情報に含まれた特徴を利用して、地形情報及び深さ−イメージ連携情報のうち少なくとも一つを更新することができる。

例えば、図１３を参照すると、３次元地図生成装置は、個別イメージピクセルの全体あるいは一部が特定の基準座標に連動し、当該基準座標と地形情報の関係が連動した深さ−イメージ連携情報が与えられて、イメージピクセルに地形情報がマッピング可能になった場合、拡張室内空間イメージ及び地形情報のそれぞれに含まれた特徴が所定の基準によって整合するように基準座標及び地形情報のうち少なくとも一つを更新する特徴基盤整合過程を行なうことができる。

この時、特徴基盤整合過程における特徴は、拡張室内空間イメージと地形情報のそれぞれに存在し、相互連携が可能な形態であることができ、さらに具体的に、エッジ情報、点情報、線分情報、線情報、平面切れ情報、平面情報あるいはこれらの組み合わせで構成されることができる。

例えば、図１９を参照すると、３次元地図生成装置は、少なくとも一つの拡張室内空間イメージのエッジ１９１０と地形情報のエッジ１９２０とが互いに一致しない場合、拡張室内空間イメージのエッジ１９１０と地形情報のエッジ１９２０との間の相互一致性が増大するように、基準座標を修正することもできる。

他の実施例において、３次元地図生成装置が特徴基盤整合過程で地形情報を修正することにより、拡張室内空間イメージのエッジ１９１０と地形情報のエッジ１９２０との整合性を高めることができる。

即ち、３次元地図生成装置が上述したように特徴基盤整合過程を通じて基準座標及び地形情報のうち少なくとも一つを更新した場合、その更新された情報に基づいて、図１３のような深さ−イメージ連携情報を更新することができる。また、３次元地図生成装置は、その更新された深さ−イメージ連携情報及び地形情報のうち少なくとも一つを３次元地図を生成するために利用することができる。

また他の実施例において、３次元地図生成装置が地形情報及び深さ−イメージ連携情報を利用して背景領域と非背景領域とを再区分して、少なくとも一つの拡張室内空間イメージを再生成することができる。

即ち、３次元地図生成装置は、深さ−イメージ連携情報を利用してより正確に背景領域と非背景領域とを再区分することができる。さらに具体的に、３次元地図生成装置は、図２０のように地形情報で同一の平面に該当する境界線１６２０（即ち、特徴）を深さ−イメージ連携情報を通じてイメージにマッピングし、当該マッピング情報を活用して境界線１６１０の内部をＡ、Ｂ、Ｃに区画し、区画された情報を活用して背景領域のイメージを非背景領域に拡張することができる。

この時、地形情報の特徴は、イメージと地形情報のそれぞれに存在し、相互連携が可能な形態であることができ、さらに具体的に、エッジ情報、点情報、線分情報、線情報、平面切れ情報、平面情報あるいはこれらの組み合わせで構成されることができる。

また、３次元地図生成装置は、室内空間イメージでそれぞれ再区分された背景領域を非背景領域に拡張して少なくとも一つの拡張室内空間イメージを再生成することができる。そして、３次元地図生成装置は、その再生成された少なくとも一つの拡張室内空間イメージを３次元地図を生成するために利用することができる。

また他の実施例では、３次元地図生成装置が少なくとも一つの室内空間イメージ中の一つである対象イメージに対して背景領域及び非背景領域を再区分する時、深さ−イメージ連携情報及び少なくとも一つの室内空間イメージのうち対象イメージを除いた少なくとも一つの補完イメージをさらに利用することができる。

即ち、３次元地図生成装置は、深さ−イメージ連携情報を利用して特定の対象イメージ内のピクセルのうち基準座標係と遠く離れている部分を特定することができ、当該部分に対しては、特定イメージ以外の少なくとも一つ以上の補完イメージと深さ−イメージ情報を同時に活用して背景領域を非背景領域に拡張することができる。また、特定対象イメージで塞がりなどによって背景を推定するのが容易でない領域に対して、深さ−イメージ連携情報を通じて当該領域に対するより優れたイメージ情報を持っている少なくとも一つ以上の補完イメージを特定することができ、これを活用して背景領域を非背景領域に拡張することができる。

最後に、段階Ｓ３５０では、３次元地図生成装置が少なくとも一つの拡張室内空間イメージ、地形情報及び深さ−イメージ連携情報を利用して室内空間に対する３次元地図を生成する。

この時、３次元地図生成装置は、深さ−イメージ連携情報に基づいて少なくとも一つの拡張室内空間イメージを地形情報にマッピングすることで、より動感のある３次元地図を生成することができる。その生成された３次元地図は、スマートフォン、ＰＣ及びタブレットなどで動作するユーザビューア（ｖｉｅｗｅｒ）で連動可能な形態であり、ユーザは、ユーザビューアを通じて室内空間に対する３次元地図を見ることができる。

また、３次元地図生成装置は、上述した特徴基盤整合過程を行なうことで、ユーザに体感される実感度を向上させることができる。

一方、３次元地図生成装置は、室内空間でユーザビューアで表現しなければならない視野が単一拡張室内空間イメージで表現可能な視野の範囲を超えた場合、深さ−イメージ連携情報を活用して一つ以上の拡張室内空間イメージを活用してユーザの視野を表現することができる。

さらに具体的には、図２３に示すように、ユーザビューアで表現しなければならない視野の基準位置２３１０が、深さ−イメージ連携情報を持っている拡張室内空間イメージ２３２１、２３３１、２３４１、２３５１の基準位置２３２０、２３３０、２３４０、２３５０と異なる場合、単一拡張室内空間イメージでユーザビューアの視野が表現できなくなり、遺失視野が発生する問題がある。

この場合、ユーザ視野の基準位置２３１０の視野を全て表現するために、必要な複数の拡張室内空間イメージを深さ−イメージ連携情報を通じて特定し、その中でユーザビューアの基準ポーズと近接したポーズに連携された拡張室内空間イメージを代表イメージとして指定し、その代表イメージ以外の少なくとも一つの拡張室内空間イメージを補完イメージとして決め、ユーザビューアで表現する視野を代表イメージと少なくとも一つの補完イメージとを同時に活用してユーザビューアの視野を全て表現することができる。

一方、３次元地図生成装置が代表イメージと少なくとも一つの補完イメージとを共に利用して３次元地図を生成する詳しい方法は、図５に対する説明で具体的に後述する。

他の実施例では、３次元地図生成装置が少なくとも一つの室内空間イメージを利用して地形情報を生成することができる。

例えば、３次元地図生成装置は、少なくとも一つの室内空間イメージを利用してイメージ内の特徴点を抽出し、単一カメラの場合、当該特徴点間の相対的距離を、複数のカメラの場合は、当該特徴点間の絶対距離を予測することができる。また、３次元地図生成装置は、特徴点を抽出せずとも、単一カメラの場合は、累積した映像情報を活用してピクセルの深さを予測することができ、複数のカメラの場合は、複数のカメラ映像やその累積した情報を活用してピクセルの深さを予測することができる。

これにより、３次元地図生成装置は、少なくとも一つの室内空間イメージを利用して地形情報を生成することができる。

このように、本発明の一実施例による室内空間の３次元地図生成方法は、誤差の影響を相対的に少なく受ける空間の背景部分だけを活用して、多様な誤差が存在する環境でも強靭かつ安定して３Ｄ地図を構築することができる効果がある。

図４は、本発明の他の実施例による室内空間の３次元地図生成方法を説明するためのフローチャートである。

段階Ｓ４１０では、３次元地図生成装置が室内空間に対するイメージである室内空間イメージを少なくとも一つ獲得する。

段階Ｓ４２０では、３次元地図生成装置が室内空間に対する深さ値の情報である深さ値情報を獲得する。

例えば、３次元地図生成装置は、深さ測定センサーが搭載された外部機器からまたは３次元地図生成装置に付着した深さ測定センサーから室内空間に対する深さ値情報を獲得することができる。

段階Ｓ４３０では、３次元地図生成装置が深さ値情報を利用して室内空間に対する外郭情報である室内空間外郭情報を生成する。

ここで、室内空間外郭情報は、物体が存在しない、室内空間の構造に関する外郭情報であることができる。

一方、３次元地図生成装置は、コンベックスカット（ｃｏｎｖｅｘ ｃｕｔ）などのようなアルゴリズムを利用して、室内空間に存在する物体が除去された状態の室内空間外郭情報を生成することができる。ここで、コンベックスカットアルゴリズムは、室内空間の深さ値情報（ｐｏｉｎｔ ｃｌｏｕｄ ｄａｔａ）を利用してリアルタイムで室内空間の構造を抽出するアルゴリズムである。

段階Ｓ４４０では、３次元地図生成装置が少なくとも一つの室内空間イメージで室内空間の構造に対応する領域である背景領域及び室内空間に位置した物体に対応する領域である非背景領域を区分する。

段階Ｓ４５０では、３次元地図生成装置が少なくとも一つの室内空間イメージで背景領域を非背景領域に拡張して少なくとも一つの拡張室内空間イメージを生成する。

段階Ｓ４６０では、３次元地図生成装置がその少なくとも一つの拡張室内空間イメージと室内空間に対する深さ値の情報を含む地形情報に基づいて深さ−イメージ連携情報を生成する。

最後に段階Ｓ４７０では、３次元地図生成装置が少なくとも一つの拡張室内空間イメージ、地形情報及び深さ−イメージ連携情報を利用して室内空間に対する３次元地図を生成する。

ここで、地形情報は、深さ値情報と室内空間外郭情報を含むことができる。

図５は、本発明の一実施例による代表イメージと補完イメージを利用した室内空間の３次元地図生成方法を説明するためのフローチャートである。

段階Ｓ５１０では、３次元地図生成装置が深さ−イメージ連携情報に基づいて、少なくとも一つの拡張室内空間イメージのうち３次元地図上の所定の基準位置に対応する基準ポーズと連携する一つの拡張室内空間イメージを選別して、代表イメージとして決定する。

例えば、３次元地図生成装置は、少なくとも一つの拡張室内空間イメージのうちユーザビューアのポーズを基準ポーズとして、その基準ポーズに最も近いポーズと連携する一つを選別して代表イメージとして決定することができる。

段階Ｓ５２０では、３次元地図生成装置が深さ−イメージ連携情報及び基準ポーズを利用して、少なくとも一つの拡張室内空間イメージのうち代表イメージを除いた少なくとも一つの補完イメージを決定する。

例えば、３次元地図生成装置は、その基準ポーズに隣接した少なくとも一つの補完イメージを追加的に決定することができる。

最後に段階Ｓ５３０では、３次元地図生成装置が代表イメージ、少なくとも一つの補完イメージ、地形情報及び深さ−イメージ連携情報を利用して３次元地図を生成する。

即ち、３次元地図生成装置は、代表イメージと少なくとも一つの補完イメージとを同時に活用して、ユーザビューアに該当する視野を全て表現することもできる。

図６は、本発明のまた他の実施例による室内空間の３次元地図生成方法を説明するためのフローチャートである。

段階Ｓ６１０では、３次元地図生成装置が室内空間に対するイメージである室内空間イメージを少なくとも一つ獲得する。

段階Ｓ６２０では、３次元地図生成装置が少なくとも一つの室内空間イメージで室内空間の構造に対応する領域である背景領域及び室内空間に位置した物体に対応する領域である非背景領域を区分する。

段階Ｓ６３０では、３次元地図生成装置が少なくとも一つの室内空間イメージで背景領域を非背景領域に拡張して少なくとも一つの拡張室内空間イメージを生成する。

段階Ｓ６４０では、３次元地図生成装置がその少なくとも一つの拡張室内空間イメージと室内空間に対する深さ値の情報を含む地形情報に基づいて深さ−イメージ連携情報を生成する。

段階Ｓ６５０では、３次元地図生成装置が少なくとも一つの拡張室内空間イメージ、地形情報及び深さ−イメージ連携情報を利用して室内空間に対する３次元地図を生成する。

段階Ｓ６６０では、３次元地図生成装置が複数の物体に対する形象及びイメージに関する情報を含む物体ＤＢから、少なくとも一つの物体に関する情報を含む物体情報を獲得する。

この時、物体ＤＢは、多様な種類の物体のそれぞれに対して、種類、名称、形象及びイメージなどに関する情報を含むことができる。また、３次元地図生成装置は、ある物体の形象に関する情報とイメージに関する情報を結合することで、その物体の３次元外観を仮想の空間で再現することができる。一方、物体の形象に関する情報は、物体の大きさに関する情報を含むことができる。

一方、３次元地図生成装置は、生成された３次元地図上に位置したい少なくとも一つの物体に関する物体情報を物体ＤＢから獲得することができる。この時、地図上に位置したい少なくとも一つの物体は、その室内空間に実際に位置する物体またはその室内空間に位置していない任意の物体であることができる。

他の実施例では、３次元地図生成装置が少なくとも一つの拡張室内空間イメージを利用して、その室内空間に位置する物体を判別することができる。

そのため、３次元地図生成装置は、多様な物体の映像及び形象情報を含む物体ＤＢを活用することができ、物体ＤＢ内に含まれた情報あるいは物体の映像及び形象情報から抽出された特徴情報を活用して物体の区分（ｓｅｇｍｅｎｔａｔｉｏｎ）、分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）作業などに活用することができる。

そして、その判別された物体が物体ＤＢに存在しないか他の形態で存在すると判断される場合、ユーザに新しい物体あるいは修正された物体に関する形象及びイメージ情報を物体ＤＢに追加するか更新することを要請することができる。

または、３次元地図生成装置は、その判別された物体と完全に同一の物体を探すより、最も類似した大きさと形態を有する物体を物体ＤＢで検索することができる。これは、拡張室内空間イメージの背景部分が室内空間イメージの背景部分より広いため、非背景領域に存在する物体に比べて多少小さい物体が物体ＤＢで選択されて配置されても、視覚的に不自然さを発生しないからである。反対に、非背景領域に存在する物体より多少大きい物体を選択して配置しても、その物体の後ろの背景が構築されているため、背景と物体との間にデータ欠如や不自然な部分が存在しなくなる。

最後に段階Ｓ６７０では、３次元地図生成装置が物体情報に基づいて、生成された３次元地図にその少なくとも一つの物体に対応する少なくとも一つの仮想物体を追加する。

即ち、３次元地図生成装置は、物体情報に含まれた少なくとも一つの物体に対応する少なくとも一つの仮想物体を３次元地図に位置させることで、少なくとも一つの仮想物体を含む３次元地図を完成することができる。

他の実施例では、３次元地図生成装置が物体ＤＢに新しい物体に関する情報が追加されるか既存の仮想物体に関する情報が更新されれば、その３次元地図に追加された少なくとも一つの仮想物体を選択的に更新することができる。

即ち、３次元地図生成装置は、時間差をおいて物体ＤＢに新しい物体が登録されるか更新された場合、既存に生成された３次元地図に位置した仮想物体に対してもその登録されるか更新された新しい情報を反映することができる。また、３次元地図生成装置は、その過程がコンピュータアルゴリズムを通じて繰り返されることで、追加の労動力を投入せずに持続的に３次元地図に位置した物体の情報を更新することができる。

また、３次元地図生成装置は、物体ＤＢに新しい物体に関する情報が追加されるか既存の仮想物体に関する情報が更新された場合に、それにより３次元地図に位置した仮想物体の情報を更新しなければならない場合のみに選択的に仮想物体の情報を更新することができる。

例えば、３次元地図生成装置は、Ａ物体を３次元地図上に追加しようとしたが、物体ＤＢにＡ物体に関する情報がなく、これと類似したＢ物体に対応する仮想物体を３次元地図上に追加することができる。しかし、その後、物体ＤＢにＡ物体に関する情報が新しく追加された場合は、３次元地図生成装置は、Ｂ物体に対応する仮想物体をＡ物体に対応する仮想物体に代替することができる。

同様に、３次元地図生成装置は、Ａ物体を３次元地図上に追加した後、物体ＤＢにＡ物体に関する情報が更新されたら、Ａ物体に対応する仮想物体を更新することができる。

また他の実施例では、３次元地図生成装置がその少なくとも一つの仮想物体中に光を反射する材質を含む仮想物体である反射仮想物体が含まれている時、その反射仮想物体を通じて反射する室内空間に対する反射映像をその反射仮想物体にさらに表示することができる。

ここで、反射仮想物体に含まれて光を反射する材質は、鏡、ガラス及び金属などが該当することができるが、これに限定されるものではない。また、物体ＤＢに含まれた複数の物体に対する形象及びイメージに関する情報には、複数の物体のそれぞれに対して光を反射する材質を含むか否かと共に、その反射材質の透過度及び領域に関する情報がさらに含まれることができる。

この時、３次元地図生成装置は、その少なくとも一つの仮想物体中に反射仮想物体が含まれていれば、３次元地図の基準位置に対応する基準ポーズに対してその反射仮想物体を通じて反射する反射映像をその反射仮想物体の表面に表示することができる。

例えば、３次元地図生成装置は、その基準ポーズを中心として３次元地図を鑑賞するユーザがその反射仮想物体を眺める時、その反射仮想物体を通じて反射する室内空間に対する映像をその反射仮想物体の表面にさらに表示することができる。これは、物体ＤＢに含まれた反射仮想物体には、室内空間に対する映像が反射されないからである。

そのため、３次元地図生成装置は、少なくとも一つの拡張室内空間イメージ及び地形情報を利用してその反射仮想物体に含まれた反射材質の領域に対応する新しい深さ−イメージ連携情報を構成することができる。または、３次元地図生成装置は、上記で生成した深さ−イメージ連携情報からその反射仮想物体に含まれた反射材質の領域に対応する新しい深さ−イメージ連携情報を抽出することができる。

そして、３次元地図生成装置は、その新しい深さ−イメージ連携情報に基づいて反射材質の透過度を考慮して、ユーザが基準ポーズでその反射仮想物体を眺める時、その反射材質に表現されなければならない反射映像を生成することができる。また、３次元地図生成装置は、その反射映像をその反射仮想物体に含まれた反射材質の領域に表すことができる。

さらに具体的に、３次元地図生成装置は、その反射材質が鏡の場合、室内空間内の任意の位置でその鏡を眺めた時、その鏡に照らされる映像を生成して反射仮想物体に表示することができる。また、３次元地図生成装置は、その反射材質が半透明ガラスの場合、室内空間内の任意の位置でその半透明ガラスを眺めた時、その半透明ガラスの透過度に比例して反射された映像と透過された映像とが重畳して反射仮想物体に表示することができる。

このように、３次元地図生成装置がユーザの時点を連続的に変化させながら反射仮想物体に反射映像をリアルタイムで更新する場合、鏡などの反射材質に映る室内空間の映像が実際の変化と同一に変化する効果を付与することができるので、より動感のある３次元地図を生成することができる。

図７は、本発明のまた他の実施例による室内空間の３次元地図生成方法を説明するためのフローチャートである。

段階Ｓ７１０では、３次元地図生成装置が室内空間に対するイメージである室内空間イメージを少なくとも一つ獲得する。

段階Ｓ７２０では、３次元地図生成装置が少なくとも一つの室内空間イメージで室内空間の構造に対応する領域である背景領域及び室内空間に位置した物体に対応する領域である非背景領域を区分する。

段階Ｓ７３０では、３次元地図生成装置が少なくとも一つの室内空間イメージで背景領域を非背景領域に拡張して少なくとも一つの拡張室内空間イメージを生成する。

段階Ｓ７４０では、３次元地図生成装置がその少なくとも一つの拡張室内空間イメージと室内空間に対する深さ値の情報を含む地形情報に基づいて深さ−イメージ連携情報を生成する。

段階Ｓ７５０では、３次元地図生成装置が少なくとも一つの拡張室内空間イメージ、地形情報及び深さ−イメージ連携情報を利用して室内空間に対する３次元地図を生成する。

段階Ｓ７６０では、３次元地図生成装置が少なくとも一つの室内空間イメージから室内空間に位置する光源に関する位置及び明るさに関する情報を含む光源情報を推定する。

即ち、３次元地図生成装置は、少なくとも一つの室内空間イメージのそれぞれから、イメージに含まれたピクセル値の情報を利用して光源の位置及び明るさを推定することができる。

例えば、３次元地図生成装置は、少なくとも一つの室内空間イメージのそれぞれから所定範囲のピクセル値に対応する位置を光源の位置として推定することができ、その推定された位置のピクセル値によって光源の明るさを推定することができる。

最後に段階Ｓ７７０では、３次元地図生成装置が少なくとも一つの拡張室内空間イメージに光源情報による照明効果を反映する。

例えば、３次元地図生成装置が背景領域を非背景領域に拡張して拡張室内空間イメージを生成する過程で、非背景領域に対する照明効果が消えることができる。この時、３次元地図生成装置は、拡張室内空間イメージに光源効果による照明効果を反映することで、より実感のわく３次元地図を生成することができる。

また、３次元地図生成装置は、３次元地図に少なくとも一つの仮想物体が位置している場合に、光源情報に含まれた光源の位置及び明るさによって、その少なくとも一つの仮想物体に対する影をさらに追加して、３次元地図の実感性を向上させることができる。

他の実施例では、３次元地図生成装置が３次元地図に照明効果を反映する時、ユーザが地図を鑑賞するリアルタイム環境で反映せず、ユーザが地図を鑑賞する前に事前作業を通じて反映することで、リアルタイムの照明効果の演算による負荷を減らすことができる。

その結果、３次元地図生成装置が一つの室内構造外郭情報と少なくとも一つの拡張室内空間イメージを活用して３次元地図を構成する場合、少なくとも一つの拡張室内空間イメージの個数に比例するリアルタイム負荷を減らすことができる。

図８は、本発明の一実施例による室内空間の３次元地図生成装置を示すブロック図である。

図８を参照すると、本発明の一実施例による室内空間の３次元地図生成装置８００は、獲得部８１０、区分部８２０、拡張部８３０、連携部８４０及び生成部８５０を含む。また、選択的に外郭情報生成部（図示せず）をさらに含むことができる。

獲得部８１０は、室内空間に対するイメージである室内空間イメージを少なくとも一つ獲得する。

区分部８２０は、少なくとも一つの室内空間イメージで室内空間の構造に対応する領域である背景領域及び室内空間に位置した物体に対応する領域である非背景領域を区分する。

拡張部８３０は、少なくとも一つの室内空間イメージで背景領域を非背景領域に拡張して少なくとも一つの拡張室内空間イメージを生成する。

連携部８４０は、少なくとも一つの拡張室内空間イメージと室内空間に対する深さ値の情報を含む地形情報に基づいて深さ−イメージ連携情報を生成する。

生成部８５０は、少なくとも一つの拡張室内空間イメージ、地形情報及び深さ−イメージ連携情報を利用して室内空間に対する３次元地図を生成する。

最後に、外郭情報生成部（図示せず）は、深さ値情報を利用して室内空間に対する外郭情報である室内空間外郭情報を生成する。

他の実施例では、獲得部８１０は、室内空間に対する深さ値の情報である深さ値情報をさらに獲得し、地形情報は、深さ値情報及び外郭情報生成部（図示せず）が生成した室内空間外郭情報を含むことができる。

また他の実施例では、連携部８４０は、少なくとも一つの拡張室内空間イメージ及び地形情報に含まれた特徴を利用して地形情報及び深さ−イメージ連携情報のうち少なくとも一つを更新し、生成部８５０は、その更新された地形情報及び深さ−イメージ連携情報のうち少なくとも一つを利用することができる。

また他の実施例では、区分部８２０は、地形情報及び深さ−イメージ連携情報を利用して、少なくとも一つの室内空間イメージで背景領域及び非背景領域を再区分し、拡張部８３０は、少なくとも一つの室内空間イメージで背景領域を非背景領域に拡張して少なくとも一つの拡張室内空間イメージを再生成し、生成部８５０は、その再生成された少なくとも一つの拡張室内空間イメージを利用することができる。

また他の実施例では、区分部８２０が少なくとも一つの室内空間イメージのうち一つの対象イメージに対して背景領域及び非背景領域を再区分する時、深さ−イメージ連携情報及び少なくとも一つの室内空間イメージのうち対象イメージを除いた少なくとも一つの補完イメージをさらに利用することができる。

さらに他の実施例では、生成部８５０は、深さ−イメージ連携情報に基づいて、少なくとも一つの拡張室内空間イメージのうち３次元地図上の所定の基準位置に対応する基準ポーズと連携する一つの拡張室内空間イメージを選別して、代表イメージとして決定し、その深さ−イメージ連携情報及び基準ポーズを利用して、少なくとも一つの拡張室内空間イメージのうち代表イメージを除いた少なくとも一つの補完イメージを決定し、代表イメージ、少なくとも一つの補完イメージ、地形情報及び深さ−イメージ連携情報を利用して３次元地図を生成することができる。

図９は、本発明の他の実施例による室内空間の３次元地図生成装置を示すブロック図である。

図９を参照すると、本発明の一実施例による室内空間の３次元地図生成装置８００は、獲得部８１０、区分部８２０、拡張部８３０、連携部８４０、生成部８５０及びＤＢ連結部８６０を含む。

獲得部８１０は、室内空間に対するイメージである室内空間イメージを少なくとも一つ獲得する。

区分部８２０は、少なくとも一つの室内空間イメージで室内空間の構造に対応する領域である背景領域及び室内空間に位置した物体に対応する領域である非背景領域を区分する。

拡張部８３０は、少なくとも一つの室内空間イメージで背景領域を非背景領域に拡張して少なくとも一つの拡張室内空間イメージを生成する。

連携部８４０は、少なくとも一つの拡張室内空間イメージと室内空間に対する深さ値の情報を含む地形情報に基づいて深さ−イメージ連携情報を生成する。

生成部８５０は、少なくとも一つの拡張室内空間イメージ、地形情報及び深さ−イメージ連携情報を利用して室内空間に対する３次元地図を生成する。

最後にＤＢ連結部８６０は、複数の物体に対する形象及びイメージに関する情報を含む物体ＤＢから、少なくとも一つの物体に関する情報を含む物体情報を獲得する。

他の実施例では、生成部８５０は、物体情報に基づいて、生成された３次元地図に少なくとも一つの物体に対応する少なくとも一つの仮想物体を追加することができる。

また他の実施例では、物体情報は、室内空間に位置した物体に関する情報であることができる。

さらに他の実施例では、物体ＤＢに新しい物体に関する情報が追加されるか既存の仮想物体に関する情報が更新されれば、生成部８５０がその３次元地図に追加された少なくとも一つの仮想物体を選択的に更新することができる。また他の実施例では、生成部８５０は、その少なくとも一つの仮想物体中に光を反射する材質を含む仮想物体である反射仮想物体が含まれている時、少なくとも一つの拡張室内空間イメージ及び地形情報を利用して、３次元地図上の所定の基準位置に対応する基準ポーズに対して反射仮想物体を通じて反射して見える室内空間に対する映像である反射映像を反射仮想物体にさらに表示することができる。

図１０は、本発明のまた他の実施例による室内空間の３次元地図生成装置を示すブロック図である。

図１０を参照すると、本発明の一実施例による室内空間の３次元地図生成装置８００は、獲得部８１０、区分部８２０、拡張部８３０、連携部８４０、生成部８５０、光源推定部８７０及び光源反映部８８０を含む。

獲得部８１０は、室内空間に対するイメージである室内空間イメージを少なくとも一つ獲得する。

区分部８２０は、少なくとも一つの室内空間イメージで室内空間の構造に対応する領域である背景領域及び室内空間に位置した物体に対応する領域である非背景領域を区分する。

拡張部８３０は、少なくとも一つの室内空間イメージで背景領域を非背景領域に拡張して少なくとも一つの拡張室内空間イメージを生成する。

連携部８４０は、少なくとも一つの拡張室内空間イメージと室内空間に対する深さ値の情報を含む地形情報に基づいて深さ−イメージ連携情報を生成する。

生成部８５０は、少なくとも一つの拡張室内空間イメージ、地形情報及び深さ−イメージ連携情報を利用して室内空間に対する３次元地図を生成する。

光源推定部８７０は、少なくとも一つの室内空間イメージから室内空間に位置する光源に関する位置及び明るさに関する情報を含む光源情報を推定する。

最後に光源反映部８８０は、少なくとも一つの拡張室内空間イメージに光源情報による照明効果を反映する。

一方、上述した本発明の実施例は、コンピュータで実行可能なプログラムで作成可能であり、コンピュータで読み込める記録媒体を利用して前記プログラムを動作させる汎用のデジタルコンピュータで具現することができる。

上記コンピュータで読み込める記録媒体は、マグネチック格納媒体（例えば、ロム、フロッピーディスク、ハードディスク等）、光学的読取媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ等）を含む。

これまで本発明についてその好ましい実施例を中心として検討した。本発明が属する技術分野で通常の知識を持った者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現可能なことが理解できるであろう。従って、開示された実施例は、限定的な観点ではなく説明的な観点で考慮されるべきである。本発明の範囲は、前述した説明ではなく特許請求の範囲に表れており、それと同等な範囲内にある全ての差異点は、本発明に含まれると解釈されるべきである。

Claims (22)

1. 室内空間に対するイメージである室内空間イメージを少なくとも一つ獲得する段階と、
   前記少なくとも一つの室内空間イメージで前記室内空間の構造に対応する領域である背景領域及び前記室内空間に位置した物体に対応する領域である非背景領域を区分する段階と、
   前記少なくとも一つの室内空間イメージで前記背景領域を前記非背景領域に拡張して少なくとも一つの拡張室内空間イメージを生成する段階と、
   前記少なくとも一つの拡張室内空間イメージと前記室内空間に対する深さ値の情報を含む地形情報に基づいて深さ−イメージ連携情報を生成する段階と、
   前記少なくとも一つの拡張室内空間イメージ、前記地形情報及び前記深さ−イメージ連携情報を利用して前記室内空間に対する３次元地図を生成する段階と、
   を含むことを特徴とする室内空間の３次元地図生成方法。
2. 前記非背景領域を区分する段階の以前に、
   前記室内空間に対する深さ値の情報である深さ値情報を獲得する段階と、
   前記深さ値情報を利用して前記室内空間に対する外郭情報である室内空間外郭情報を生成する段階とをさらに含み、
   前記地形情報は、
   前記深さ値情報及び前記室内空間外郭情報を含むことを特徴とする請求項１に記載の室内空間の３次元地図生成方法。
3. 前記深さ−イメージ連携情報を生成する段階の以後に、
   前記少なくとも一つの拡張室内空間イメージ及び前記地形情報に含まれた特徴を利用して前記地形情報及び前記深さ−イメージ連携情報のうち少なくとも一つを更新する段階を含み、
   前記３次元地図を生成する段階は、
   前記更新された地形情報及び深さ−イメージ連携情報のうち少なくとも一つを利用することを特徴とする請求項１に記載の室内空間の３次元地図生成方法。
4. 前記深さ−イメージ連携情報を生成する段階と前記室内空間に対する３次元地図を生成する段階との間に、
   前記地形情報及び前記深さ−イメージ連携情報を利用して、前記少なくとも一つの室内空間イメージで前記背景領域及び前記非背景領域を再区分する段階と、
   前記少なくとも一つの室内空間イメージで前記背景領域を前記非背景領域に拡張して少なくとも一つの拡張室内空間イメージを再生成する段階と、
   を含み、
   前記３次元地図を生成する段階は、
   前記再生成された少なくとも一つの拡張室内空間イメージを利用することを特徴とする請求項１に記載の室内空間の３次元地図生成方法。
5. 前記背景領域及び前記非背景領域を再区分する段階は、
   前記少なくとも一つの室内空間イメージ中の一つである対象イメージに対して前記背景領域及び前記非背景領域を再区分する時、
   前記深さ−イメージ連携情報及び前記少なくとも一つの室内空間イメージのうち前記対象イメージを除いた少なくとも一つの補完イメージをさらに利用することを特徴とする請求項４に記載の室内空間の３次元地図生成方法。
6. 前記室内空間に対する３次元地図を生成する段階は、
   前記深さ−イメージ連携情報に基づいて、前記少なくとも一つの拡張室内空間イメージのうち前記３次元地図上の所定の基準位置に対応する基準ポーズと連携する一つの拡張室内空間イメージを選別して、代表イメージとして決定する段階と、
   前記深さ−イメージ連携情報及び前記基準ポーズを利用して、前記少なくとも一つの拡張室内空間イメージのうち前記代表イメージを除いた少なくとも一つの補完イメージを決定する段階と、
   前記代表イメージ、前記少なくとも一つの補完イメージ、前記地形情報及び前記深さ−イメージ連携情報を利用して３次元地図を生成する段階と、
   を含むことを特徴とする請求項１に記載の室内空間の３次元地図生成方法。
7. 複数の物体に対する形象及びイメージに関する情報を含む物体ＤＢから、少なくとも一つの物体に関する情報を含む物体情報を獲得する段階と、
   前記物体情報に基づいて、前記生成された３次元地図に前記少なくとも一つの物体に対応する少なくとも一つの仮想物体を追加する段階と、
   をさらに含むことを特徴とする請求項１に記載の室内空間の３次元地図生成方法。
8. 前記物体情報は、
   前記室内空間に位置した物体に関する情報であることを特徴とする請求項７に記載の室内空間の３次元地図生成方法。
9. 前記物体ＤＢに新しい物体に関する情報が追加されるか既存の仮想物体に関する情報が更新されれば、前記３次元地図に追加された前記少なくとも一つの仮想物体を選択的に更新する段階
   をさらに含むことを特徴とする請求項７に記載の室内空間の３次元地図生成方法。
10. 前記少なくとも一つの仮想物体中に光を反射する材質を含む仮想物体である反射仮想物体が含まれている時、
    前記少なくとも一つの拡張室内空間イメージ及び前記地形情報を利用して、前記３次元地図上の所定の基準位置に対応する基準ポーズに対して前記反射仮想物体を通じて反射する前記室内空間に対する映像である反射映像を前記反射仮想物体に表示する段階
    をさらに含むことを特徴とする請求項７に記載の室内空間の３次元地図生成方法。
11. 前記少なくとも一つの室内空間イメージから前記室内空間に位置する光源に関する位置及び明るさに関する情報を含む光源情報を推定する段階と、
    前記少なくとも一つの拡張室内空間イメージに前記光源情報による照明効果を反映する段階と、
    をさらに含むことを特徴とする請求項１に記載の室内空間の３次元地図生成方法。
12. 室内空間に対するイメージである室内空間イメージを少なくとも一つ獲得する獲得部と、
    前記少なくとも一つの室内空間イメージで前記室内空間の構造に対応する領域である背景領域及び前記室内空間に位置した物体に対応する領域である非背景領域を区分する区分部と、
    前記少なくとも一つの室内空間イメージで前記背景領域を前記非背景領域に拡張して少なくとも一つの拡張室内空間イメージを生成する拡張部と、
    前記少なくとも一つの拡張室内空間イメージと前記室内空間に対する深さ値の情報を含む地形情報に基づいて深さ−イメージ連携情報を生成する連携部と、
    前記少なくとも一つの拡張室内空間イメージ、前記地形情報及び前記深さ−イメージ連携情報を利用して前記室内空間に対する３次元地図を生成する生成部と、
    を含むことを特徴とする室内空間の３次元地図生成装置。
13. 前記獲得部は、前記室内空間に対する深さ値の情報である深さ値情報をさらに獲得し、
    前記深さ値情報を利用して前記室内空間に対する外郭情報である室内空間外郭情報を生成する外郭情報生成部をさらに含み、
    前記地形情報は、
    前記深さ値情報及び前記室内空間外郭情報を含むことを特徴とする請求項１２に記載の室内空間の３次元地図生成装置。
14. 前記連携部は、
    前記少なくとも一つの拡張室内空間イメージ及び前記地形情報に含まれた特徴を利用して前記地形情報及び前記深さ−イメージ連携情報のうち少なくとも一つを更新し、
    前記生成部は、
    前記更新された地形情報及び深さ−イメージ連携情報のうち少なくとも一つを利用することを特徴とする請求項１２に記載の室内空間の３次元地図生成装置。
15. 前記区分部は、前記地形情報及び前記深さ−イメージ連携情報を利用して、前記少なくとも一つの室内空間イメージで前記背景領域及び前記非背景領域を再区分し、
    前記拡張部は、前記少なくとも一つの室内空間イメージで前記背景領域を前記非背景領域に拡張して少なくとも一つの拡張室内空間イメージを再生成し、
    前記生成部は、
    前記再生成された少なくとも一つの拡張室内空間イメージを利用することを特徴とする請求項１２に記載の室内空間の３次元地図生成装置。
16. 前記区分部が
    前記少なくとも一つの室内空間イメージ中の一つである対象イメージに対して前記背景領域及び前記非背景領域を再区分する時、
    前記深さ−イメージ連携情報及び前記少なくとも一つの室内空間イメージのうち前記対象イメージを除いた少なくとも一つの補完イメージをさらに利用することを特徴とする請求項１５に記載の室内空間の３次元地図生成装置。
17. 前記生成部は、
    前記深さ−イメージ連携情報に基づいて、前記少なくとも一つの拡張室内空間イメージのうち前記３次元地図上の所定の基準位置に対応する基準ポーズと連携する一つの拡張室内空間イメージを選別して、代表イメージとして決定し、
    前記深さ−イメージ連携情報及び前記基準ポーズを利用して、前記少なくとも一つの拡張室内空間イメージのうち前記代表イメージを除いた少なくとも一つの補完イメージを決定し、
    前記代表イメージ、前記少なくとも一つの補完イメージ、前記地形情報及び前記深さ−イメージ連携情報を利用して３次元地図を生成することを特徴とする請求項１２に記載の室内空間の３次元地図生成装置。
18. 複数の物体に対する形象及びイメージに関する情報を含む物体ＤＢから、少なくとも一つの物体に関する情報を含む物体情報を獲得するＤＢ連結部をさらに含み、
    前記生成部は、
    前記物体情報に基づいて、前記生成された３次元地図に前記少なくとも一つの物体に対応する少なくとも一つの仮想物体を追加することを特徴とする請求項１２に記載の室内空間の３次元地図生成装置。
19. 前記物体情報は、
    前記室内空間に位置した物体に関する情報であることを特徴とする請求項１８に記載の室内空間の３次元地図生成装置。
20. 前記物体ＤＢに新しい物体に関する情報が追加されるか既存の仮想物体に関する情報が更新されれば、
    前記生成部が
    前記３次元地図に追加された前記少なくとも一つの仮想物体を選択的に更新することを特徴とする請求項１８に記載の室内空間の３次元地図生成装置。
21. 前記生成部は、
    前記少なくとも一つの仮想物体中に光を反射する材質を含む仮想物体である反射仮想物体が含まれている時、
    前記少なくとも一つの拡張室内空間イメージ及び前記地形情報を利用して、前記３次元地図上の所定の基準位置に対応する基準ポーズに対して前記反射仮想物体を通じて反射して見える前記室内空間に対する映像である反射映像を前記反射仮想物体にさらに表示することを特徴とする請求項１８に記載の室内空間の３次元地図生成装置。
22. 前記少なくとも一つの室内空間イメージから前記室内空間に位置する光源に関する位置及び明るさに関する情報を含む光源情報を推定する光源推定部と、
    前記少なくとも一つの拡張室内空間イメージに前記光源情報による照明効果を反映する光源反映部と、
    をさらに含むことを特徴とする請求項１２に記載の室内空間の３次元地図生成装置。