本開示では、情報処理装置、推論モデル構築方法、情報処理方法、推論モデル、プログラム、及び記録媒体について、幾つかの例示的な態様を説明する。また、幾つかの態様において使用可能なデータ構造などについても説明する。
例示的な態様は、例えば、建築物リアリティキャプチャシステムの実用化及び運用を好適に行うために利用可能である。リアリティキャプチャは、実体物のデータをデジタルカメラやレーザースキャナーで取得して3次元モデルを構築する技術であり、計測、仮想現実、拡張現実など様々な分野で用いられている。本開示では、建築分野におけるリアリティキャプチャへの応用について説明するが、他分野のリアリティキャプチャ(例えば、土木分野)やリアリティキャプチャ以外の技術に例示的な態様を応用することも可能である。また、本明細書にて引用された文献に記載されている事項や、その他の任意の公知技術を、例示的な態様に援用することが可能である。
本開示において説明される要素の機能の少なくとも一部は、回路構成(circuitry)又は処理回路構成(processing circuitry)を用いて実装される。回路構成又は処理回路構成は、開示された機能の少なくとも一部を実行するように構成及び/又はプログラムされた、汎用プロセッサ、専用プロセッサ、集積回路、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)、従来の回路構成、及びそれらの任意の組み合わせのいずれかを含む。プロセッサは、トランジスタ及び/又は他の回路構成を含む、処理回路構成又は回路構成とみなされる。本開示において、回路構成、ユニット、手段、又はこれらに類する用語は、開示された機能の少なくとも一部を実行するハードウェア、又は、開示された機能の少なくとも一部を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されたハードウェアであってよく、或いは、記載された機能の少なくとも一部を実行するようにプログラム及び/又は構成された既知のハードウェアであってもよい。ハードウェアが或るタイプの回路構成とみなされ得るプロセッサである場合、回路構成、ユニット、手段、又はこれらに類する用語は、ハードウェアとソフトウェアとの組み合わせであり、このソフトウェアはハードウェア及び/又はプロセッサを構成するために使用される。
以下に説明する例示的な態様を任意に組み合わせてもよい。例えば、2つ以上の例示的な態様を少なくとも部分的に組み合わせることが可能である。
<第1の態様>
本態様に係る情報処理装置の構成例を図1及び図2に示す。情報処理装置1は、例えば、建築物リアリティキャプチャシステムに含まれていてよい。建築物リアリティキャプチャシステムは、実際の建築物を計測してデジタルデータを取得する機能を有する。本態様は、実際の建築物の計測データと設計データとの比較を容易化するためのデータ構造(フォーマット)を提供するように構成されていてよい。
本態様に係る情報処理装置1は、データセット受付部13と処理部15とを少なくとも含み、制御部11とユーザーインターフェイス12と記憶部14とを更に含む。
制御部11は、情報処理装置1の各種制御を実行するように構成されている。制御部11は、例えば、プロセッサ及び記憶装置を含むハードウェアと、制御ソフトウェアとの協働によって実現される。制御部11は、1つのコンピュータに設けられ、又は2以上のコンピュータに分散配置されている。
ユーザーインターフェイス12は、例えば、表示デバイス、操作デバイス、入力デバイスなどを含む。幾つかの例示的な態様のユーザーインターフェイス12は、タッチスクリーン、ポインティングデバイス、コンピュータグラフィクスなどを利用したグラフィカルユーザーインターフェイス(GUI)を含む。ユーザーインターフェイス12は、1つのコンピュータに設けられ、又は2以上のコンピュータに分散配置されている。
データセット受付部13は、情報処理装置1により処理されるデータを受け付ける機能を有する。このデータ受付機能は、外部からデータを受け付ける機能である。データ受付機能は、例えば、外部(装置、システム、データベースなど)との間でデータ通信を行うための通信デバイスを用いて実現されてもよいし、記録媒体に記録されているデータを読み出すためのドライブ装置を用いて実現されてもよい。データセット受付部13により外部から受け付けられるデータは、例えば、コンピュータを用いて生成されたデータ(BIMデータ、CADデータなど)であってもよいし、情報処理装置1、他の装置及び他のシステムのいずれかによって過去に取得及び/又は加工されたデータでもあってもよい。本態様では、データセット受付部13は、予め作成されたBIMデータを少なくとも含むデータセットを受け付ける。また、データ受付機能に適用可能な記録媒体は、コンピュータ可読な非一時的記録媒体であり、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであってよい。
幾つかの例示的な態様に係る情報処理装置(又は、これを含むシステム)は、データ受付機能に加え、又はデータ受付機能の代わりに、データ生成機能を有していてもよい。データ生成機能は、例えば、実体物からデータを収集する機能、実体物から収集されたデータを加工する機能、コンピュータを利用してデータを生成する機能、及び、予め生成されたデータを加工する機能のいずれかを含んでいてよい。
実体物からデータを収集する機能は、例えば、無人航空機(UAV)や作業者などの移動体に搭載されたカメラ(全周カメラ)又はビデオカメラ(全周ビデオカメラ)により実体物を撮影する機能、及び、レーザースキャナーやトータルステーションにより実体物をスキャンしてデータを収集する機能のいずれか一方又は双方を含んでいてよい。当該機能を有する情報処理装置(又は、これを含むシステム)は、1以上の計測装置を含んでいてよい。
実体物から収集されたデータを加工する機能は、例えば、少なくともプロセッサを用いて実現され、実体物の撮影画像やスキャンデータに所定の処理を適用して他のデータを生成する機能を含んでいてよい。その例として、前述したSfM、MVS、SLAM(V−SLAM;Visual SLAM)などを用いたデータ処理機能がある。また、機械学習を利用して構築された学習済みモデルを用いたデータ処理機能もその一例である。当該機能を有する情報処理装置(又は、これを含むシステム)は、1つのコンピュータに設けられ、又は2以上のコンピュータに分散配置される。
コンピュータを利用してデータを生成する機能は、例えば、BIMアプリケーションを用いてBIMデータを生成する機能や、CAD(Computer−Aided Disign)アプリケーションを用いてCADデータを生成する機能のような、コンピュータグラフィクスを用いたデータ生成機能を含んでいてよい。また、コンピュータを利用してデータを生成する機能は、施工管理アプリケーション、維持管理アプリケーション、補修管理アプリケーションなどの各種建築アプリケーションを用いてデータを生成する機能を含んでいてよい。当該機能を有する情報処理装置(又は、これを含むシステム)は、1つのコンピュータに設けられ、又は2以上のコンピュータに分散配置される。
予め生成されたデータを加工する機能は、例えば、少なくともプロセッサを用いて実現され、情報処理装置1、他の装置及び他のシステムのいずれかによって過去に取得及び/又は加工された実体物のデータに所定の処理を適用して他のデータを生成する機能を含んでいてよい。当該機能に適用可能な技術は、実体物から収集されたデータを加工する機能に適用可能な技術と同様であってよい。予め生成されたデータの例としてBIMデータがある。当該機能を有する情報処理装置(又は、これを含むシステム)は、1つのコンピュータに設けられ、又は2以上のコンピュータに分散配置される。
本態様において、実体物は建築物である。建築物は、予め生成された設計データ(BIMデータ、設計図書、施工図、施工計画書など)に基づき施工される。データセット受付部13は、設計データに含まれるBIMデータの少なくとも一部を含むデータセットを受け付ける。
本開示では、設計データに記録されている建築物データ(及び/又は、設計データを加工して得られた建築物データ)を仮想建築物と呼ぶことがあり、その構成要素(建築部材)を仮想部材と呼ぶことがある。幾つかの例示的な態様において、仮想部材はBIMモデルが提供する部材モデルであり、複数の部材モデルを用いて構成された建築物が仮想建築物である。
一方、本開示において、設計データに基づき施工された建築物を実体建築物と呼ぶことがあり、その構成要素(建築部材)を実体部材と呼ぶことがある。上記の実体物はここに言う実体建築物に相当する。実体建築物は、設計データに基づき完成された建築物だけでなく、施工途中の建築物(未完成の建築物)であってもよいし、更には施工前の建築現場であってもよい。
本開示において、建築部材は、柱、梁、壁、スラブ、屋根、基礎などの構造部材に加え、窓、ドア、階段、タイル、フローリングなどの非構造部材や、各種の部品や、各種の機械や、各種の機器や、各種の設備などを含んでいてもよい。より一般に、本開示における建築部材は、仮想部材として登録可能な任意の物であってよく、また、実体部材として使用可能な任意の物であってよい。
記憶部14は、各種のデータ(情報)を記憶するように構成されている。記憶部14は、例えば、データセット受付部13により取得されたデータを記憶する。記憶部14は、例えば、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)などの比較的大容量の記憶装置(メモリ、ストレージデバイス)を含む。記憶部14は、1つの記憶装置又は2以上の記憶装置を含む。本態様において、記憶装置14には、データセット141、経路情報142、訓練データ143、及び推論モデル144が記憶される。
データセット141は、データセット受付部13により受け付けられたものである。データセット141は、建築物の設計に関する任意のデータや情報であってよい。本態様のデータセット141は、情報処理装置1の外部にあるBIMアプリケーション(BIMツール)を用いて設計された仮想建築物(複数の仮想部材)のBIMデータを少なくとも含んでおり、設計図書、施工図、施工計画書などを更に含んでいてもよい。また、データセット141は、任意のデータや情報(例えば、BIMデータ、設計図書、施工図、施工計画書)のうちのいずれか1以上のデータから生成されたデータを含んでよい。
本態様のデータセット141は、仮想部材情報を含んでいてよい。仮想部材情報は、仮想建築物の構成要素である複数の仮想部材についての情報を含む。より詳細には、仮想部材情報は、各仮想部材について、予め設定された複数の属性に関する情報を含む。ここに言う属性は、仮想部材が有する性質、特徴、特性などを意味する。
幾つかの例示的な態様において、仮想部材の複数の属性は、例えば、仮想部材識別情報(仮想部材ID)、仮想部材形状情報、仮想部材位置情報、部材施工日情報などを含む。なお、仮想部材の属性はこれらに限定されず、例えば材質など任意の性質、特徴、特性であってよい。
仮想部材IDは、仮想部材を識別するための情報である。仮想部材IDは、仮想部材の種別(柱、梁、壁、スラブ、屋根、基礎、窓、ドア、階段、タイル、フローリング、部品、機械、機器、設備など)を示す。仮想部材IDは、例えば、実体部材に付与された識別情報(部材番号など)であってもよい。仮想部材IDは、例えば、BIMデータ、設計図書、施工図などから取得される。また、仮想部材IDは、個々にユニークな識別情報であってもよい。このような仮想部材IDとして、中立でオープンなCADデータモデルのファイル形式であるIndustry Foundation Classes(IFC)により提供される識別情報がある。仮想部材形状情報は、仮想部材の形状を表す情報である。仮想部材形状情報は、仮想部材の姿勢や向きなどを表す情報を含んでいてもよい。仮想部材形状情報は、例えば、BIMデータ、設計図書、施工図などから取得される。仮想部材位置情報は、仮想建築物における仮想部材の位置を表す。仮想部材の位置は、例えば、仮想建築物が定義された仮想空間(3次元座標系で定義された3次元仮想空間)における仮想部材の座標によって表現される。仮想部材位置情報は、例えば、BIMデータ、設計図書、施工図などから取得される。部材施工日情報は、仮想部材に対応する実体部材を建築現場において設置する日(施工日、施工予定日)を示す。部材施工日情報は、例えば、施工図、施工計画書から取得される。
情報処理装置1(例えば、制御部11及び記憶部14)は、例えば、データセット141を管理するための設計データベースを提供する。例えば、設計データベースには、BIMアプリケーションを用いて設計された仮想建築物(複数の仮想部材)のデータが格納される。設計データベースは、この仮想建築物に含まれる複数の仮想部材を一つひとつ管理するように構成されている。例えば、設計データベースには、実際のBIMデータを含むデータセット141が格納される。設計データベースは、例えば、仮想建築物ごとにデータセット141を管理する。設計データベースは、例えば、テーブル形式のデータ構造(フォーマット)を用いて仮想部材情報を管理するように構成されている。
記憶部14に記憶されるデータや情報はこれらに限定されず、その一例として実体部材データがある。実体部材データは、実体部材に関する任意のデータや情報であってよい。実体部材データは、例えば、データセット141に含まれるBIMデータなどに基づき施工された実体建築物を計測(撮影、レーザースキャンなど)して取得された計測データ(撮影画像、スキャンデータ、点群データなど)に基づき生成される。実体建築物の計測は、外部システム(UAV、トータルステーションなど)により実行される。また、計測データに基づく実体部材データの生成は、情報処理装置1又は外部システムにより実行される。実体部材データは、例えば、データセット141と同じ形式のBIMデータとして生成され管理される。
実体部材データは、実体建築物の構成要素である複数の実体部材についての情報を含む。より詳細には、実体部材データは、各実体部材について、予め設定された複数の属性に関する情報を含む。ここに言う属性は、実体部材が有する性質、特徴、特性などを意味する。
幾つかの例示的な態様において、実体部材の複数の属性は、前述した仮想部材の複数の属性に対応している。例えば、実体部材の複数の属性は、実体部材識別情報(実体部材ID)、実体部材形状情報、実体部材位置情報、計測日情報などを含む。なお、実体部材の属性はこれらに限定されず、例えば材質など任意の性質、特徴、特性であってよい。実体部材の属性情報は、例えば、情報処理装置1又は外部システム等によって生成される。
実体部材IDは、実体部材を識別するための情報である。仮想部材IDと同様に、実体部材IDは、仮想部材の種別を示す情報であり、例えば、実体部材に付与された識別情報(部材番号など)であってもよい。幾つかの例示的な態様において、実体部材IDは、対応する仮想部材IDと同じであってよい(例えば、IFCにより提供される識別情報)。或いは、実体部材IDは、対応する仮想部材IDと異なる情報であり、且つ、対応する仮想部材IDとの関連を情報処理装置1(及び外部システム等)が認識可能な所定の形式であってもよい。実体部材形状データは、計測データに基づき取得された実体部材の形状を表すデータである。実体部材形状データは、実体部材の姿勢や向きなどを表すデータを含んでいてもよい。実体部材位置データは、実体建築物における実体部材の位置を表す。実体部材の位置は、例えば、計測データに基づき作成された実体建築物のBIMモデルが定義された仮想空間(3次元座標系で定義された3次元仮想空間)における実体部材の座標によって表現される。計測日情報は、実体建築物の計測を実施した日を示す。計測日情報は、例えば、実体建築物の計測を実施する計測システム(移動体、トータルステーション、コンピュータなど)によって生成される。
なお、仮想部材の属性である部材施工日情報と、実体部材の属性である計測日情報とは、少なくとも年、月、日の情報を含み、時、分、秒などの情報を更に含んでいてもよい。また、設計が行われた場所の標準時と、実体建築物が存在する場所の標準時とが異なる場合、情報処理装置1又は外部システム等は、部材施工日情報と計測日情報とを同じ標準時で表現するように変換を行うように構成されてよい。
情報処理装置1(例えば、制御部11及び記憶部14)は、例えば、実体部材データを管理するための実体部材データベースを提供する。例えば、実体部材データベースには、実体建築物の計測データを処理して得られた実体建築物のBIMモデル(複数の実体部材のBIMモデル)のデータが格納される。実体部材データベースは、実体建築物モデルに含まれる複数の実体部材モデルを一つひとつ管理するように構成されている。例えば、実体部材データベースには、実体建築物BIMモデルが格納される。実体部材データベースは、例えば、実体建築物BIMモデルごとに実体部材データを管理する。実体部材データベースは、例えば、設計データベースと同様に、テーブル形式のデータ構造(フォーマット)を用いて実体部材データを管理するように構成されている。
経路情報142は、処理部15(後述の経路設定部151)により設定された経路を表す。訓練データ143は、処理部15(後述の仮想画像セット生成部152)により生成された仮想画像セットを含む。推論モデル144は、処理部15(後述の推論モデル構築部153)により構築される。経路情報142、訓練データ143、及び推論モデル144については後述する。
処理部15は、データ処理を実行するように構成されている。処理部15は、例えば、プロセッサ及び記憶装置を含むハードウェアと、データ処理ソフトウェアとの協働によって実現される。処理部15は、1つのコンピュータに設けられ、又は2以上のコンピュータに分散配置される。処理部15は、経路設定部151、仮想画像セット生成部152、及び推論モデル構築部153を含む。
経路設定部151は、少なくともBIMデータを含むデータセット141に基づいて、このBIMデータが表す仮想建築物の内部及び/又は外部における経路を設定するように構成されている。制御部11は、経路設定部151により設定された経路を表す情報を記憶部14に保存する(経路情報142)。経路設定部151は、例えば、プロセッサ及び記憶装置を含むハードウェアと、経路設定ソフトウェアとの協働によって実現される。
経路設定に使用可能なアルゴリズムの例として、動的計画法、ヘルドカープ・アルゴリズム、線形計画法、論理木、分枝限定法、線形計画法、群論的アルゴリズム、切除平面法、分枝カット法、リン・カーニハン・アルゴリズム、局所探索アルゴリズム、焼きなまし法、ホップ・フィールド・ネットワーク、ボルツマン機械、遺伝的アルゴリズム、タブー検索、ヒューリスティック・アルゴリズム、クリストフィード・アルゴリズム、多項式時間近似アルゴリズムなどがある。
また、経路設定部151は、機械学習により構築された学習済みモデルを用いて経路設定を行ってもよい。この機械学習には、例えば、多数のBIMデータから生成された訓練データが用いられる。また、この機械学習は、例えば、巡回セールスマン問題を解くための手法と同じ要領で実施され、教師あり学習、教師なし学習、及び強化学習のうちの少なくとも1つの手法を含んでいてよい。
経路設定部151は、例えば、仮想建築物を構成する全ての建築部材(仮想建築部材、仮想部材)の近くを通過するように設定される。典型的には、経路設定部151は、仮想部材に対する距離が所定の許容範囲に含まれるように経路を設定するように構成されてよい。これにより、この仮想建築物に基づき施工された実体建築物の実体部材を好適な距離から撮影することができる。例えば、仮想部材に対する距離が近いほど、対応する実体部材を計測するときの精度が向上する傾向があることを考慮して、許容範囲(最大距離)を設定することができる。また、仮想部材に対する距離が遠いほど、計測の効率性が向上する傾向があることを考慮して、許容範囲(最小距離)を設定することができる。
経路設定部151は、1次元エリアを経路として設定してもよい。つまり、経路設定部151は、仮想建築物の内部及び外部における線状の経路を設定してもよい。また、経路設定部151により設定される経路は、2次元エリア又は3次元エリアであってもよい。2次元エリアや3次元エリアは、例えば、移動しつつ計測を行っている移動体が障害物を回避するために移動可能な範囲を表す。
仮想画像セット生成部152は、データセット141及び経路情報142に基づいて、経路情報142が表す経路に沿った仮想建築物の複数の画像を生成するように構成されている。このような仮想建築物の画像を仮想画像と呼び、複数の仮想画像を仮想画像セットと呼ぶ。仮想画像セット生成部152は、例えば、プロセッサ及び記憶装置を含むハードウェアと、仮想画像セット生成ソフトウェアとの協働によって実現される。
制御部11は、仮想画像セット生成部152により生成された仮想画像セットを記憶部14に保存する(訓練データ143)。訓練データ143は、仮想画像セットを少なくとも含み、他のデータを更に含んでいてもよい(後述)。
仮想画像は、仮想建築物を表す画像であり、例えば、データセット141に含まれるBIMデータ(設計BIMとも呼ばれる)をレンダリングすることによって得られるレンダリングデータである。このようなレンダリングデータ(仮想画像)は、設計BIM中の複数の位置のそれぞれについて構築される。本態様では、経路情報142に表された経路上の複数の位置のそれぞれについて、仮想画像セット生成部152は、その位置を視点としたボリュームレンダリングを設計BIMに適用する。これにより、経路情報142に表された経路に沿った設計BIMの複数のレンダリングデータ(仮想画像セット)が得られる。各レンダリングデータに対し、対応する位置情報(設計BIM中の視点の3次元座標)を、属性情報として付帯させることができる。レンダリングデータの属性情報はこれに限定されない。例えば、レンダリングデータの属性情報は設計BIMに関する任意の情報、レンダリング処理に関する任意の情報、レンダリングデータに関する任意の情報などを含んでいてよい。
推論モデル構築部153は、仮想画像セット生成部152により生成された仮想画像セットを少なくとも含む訓練データ143を用いた機械学習を所定のニューラルネットワークに適用して、建築物の計測データから建築部材のデータを特定するための推論モデルを構築するように構成されている。制御部11は、推論モデル構築部153により構築された推論モデルを記憶部14に保存する(推論モデル144)。推論モデル構築部153は、例えば、プロセッサ及び記憶装置を含むハードウェアと、推論モデル構築ソフトウェアとの協働によって実現される。
推論モデルの用途として、例えば、実体建築物の計測(撮影、レーザースキャン)を行う移動体の制御、実体建築物の計測データ(撮影画像、スキャンデータ、点群データなど)に基づくBIMデータの作成などがある。
推論モデル構築部153の構成の一例を図2に示す。本例の推論モデル構築部153は、学習処理部153Aと、ニューラルネットワーク153Bとを含む。
ニューラルネットワーク153Bは、典型的には、畳み込みニューラルネットワーク(CNN)を含む。畳み込みニューラルネットワークの構造の一例を図2に示す。入力層には、画像が入力される。
入力層の後ろには、畳み込み層とプーリング層とのペアが複数配置されている。図2に示す例においては畳み込み層とプーリング層とのペアが2つ設けられているが、ペアの個数は任意である。
畳み込み層では、画像から特徴(輪郭など)を把握するための畳み込み演算が行われる。畳み込み演算は、入力された画像に対する、この画像と同じ次元のフィルタ関数(重み係数、フィルタカーネル)の積和演算である。畳み込み層では、入力された画像の複数の部分にそれぞれ畳み込み演算を適用する。より具体的には、畳み込み層では、フィルタ関数が適用された部分画像の各画素の値に、その画素に対応するフィルタ関数の値(重み)を乗算して積を算出し、この部分画像の複数の画素にわたって積の総和を求める。このように得られた積和値は、出力される画像における対応画素に代入される。フィルタ関数を適用する箇所(部分画像)を移動させながら積和演算を行うことで、入力された画像の全体についての畳み込み演算結果が得られる。このような畳み込み演算によれば、多数の重み係数を用いて様々な特徴が抽出された画像が多数得られる。つまり、平滑化画像やエッジ画像などの多数のフィルタ処理画像が得られる。畳み込み層により生成される多数の画像は特徴マップと呼ばれる。
プーリング層では、直前の畳み込み層により生成された特徴マップの圧縮(データの間引きなど)が行われる。より具体的には、プーリング層では、特徴マップ内の注目画素の所定の近傍画素における統計値を所定の画素間隔ごとに算出し、入力された特徴マップよりも小さな寸法の画像を出力する。なお、プーリング演算に適用される統計値は、例えば、最大値(max pooling)又は平均値(average pooling)である。また、プーリング演算に適用される画素間隔は、ストライド(stride)と呼ばれる。
畳み込みニューラルネットワークでは、畳み込み層とプーリング層とのペアを複数設けて処理を行うことにより、入力された画像から多くの特徴を抽出することができる。
畳み込み層とプーリング層との最後のペアの後ろには、全結合層が設けられている。図2に示す例においては2つの全結合層が設けられているが、全結合層の個数は任意である。全結合層では、畳み込み及びプーリングによって圧縮された特徴量を用いて、画像分類、画像セグメンテーション、回帰などの処理を行う。最後の全結合層の後ろには、出力結果を提供する出力層が設けられている。
なお、幾つかの例示的な態様において、畳み込みニューラルネットワークは、全結合層を含まなくてもよいし、サポートベクターマシンや再帰型ニューラルネットワーク(RNN)を含んでいてもよい。また、ニューラルネットワーク153Bに対する機械学習は、転移学習であってもよい。つまり、ニューラルネットワーク153Bは、他の訓練データ(訓練画像)を用いた学習が既に行われてパラメータ調整が為されたニューラルネットワークを含んでいてもよい。また、モデル構築部153(学習処理部153A)は、学習済みのニューラルネットワーク(153B)に対してファインチューニングを行うようにしてもよい。ニューラルネットワーク153Bは、例えば、公知のオープンソースのニューラルネットワークアーキテクチャを含んでいてもよい。
学習処理部153Aは、訓練データ143を用いた機械学習をニューラルネットワーク153Bに適用する。ニューラルネットワーク153Bが畳み込みニューラルネットワークである場合、学習処理部153Aにより調整されるパラメータは、例えば、畳み込み層のフィルタ係数と、全結合層の結合重み及びオフセットとである。
訓練データ143は、前述したように仮想画像セットを少なくとも含んでいる。訓練データ143は、仮想画像以外のデータを更に含んでいてもよい。例えば、訓練データ143は、任意の物の撮影画像、人の撮影画像などを含んでいてもよい。物の撮影画像の例として、建築部材の画像、梯子や脚立などの道具の画像がある。また、人の画像の例として、建築現場における作業者の画像がある。また、訓練データ143は、実体建築物の他の計測データ(スキャンデータ、点群データなど)を含んでいてもよい。また、データ拡張、データオーギュメンテーションなどの技術を用いて、訓練データの個数を増加させてもよい。
本態様では、BIMデータ(設計BIM)から作成された仮想画像を用いることで、実体建築物の計測データを大量に収集する手間を省くことができる。特に、多数のBIMデータから多数の仮想画像(仮想画像セット)を作成して訓練データとすることで、機械学習の品質向上及び推論モデルの品質向上を図ることができる。
また、建築部材の撮影画像、建築部材以外の物の撮影画像や、人の撮影画像を訓練データとして用いることで、道具や作業者を検出するように推論モデルを訓練することが可能である。それにより、障害物や作業者を回避するように移動体を制御することや、計測データからBIMデータを作成する際に障害物や作業者のデータを除外することが可能になる。
訓練データ143に含まれる仮想画像及び/又は計測データ(撮影画像、スキャンデータ、点群データなど)は、建築部材の表面の状態を表すテクスチャ情報を含んでいてもよい。テクスチャ情報を用いることで、オブジェクトの表面のテクスチャが反映された最終出力を得ることができる。それにより、移動体制御やBIMデータ作成の品質向上を図ることができる。
推論モデルを構築するための訓練手法は任意であってよいが、例えば、教師あり学習、教師なし学習、及び強化学習のいずれか、又は、いずれか2以上の組み合わせであってよい。典型的には、入力画像に最終出力のラベルが付された訓練データを用いて教師あり学習が実施される。また、ニューラルネットワーク153Bの特定のユニットに処理が集中しないようにするために、学習処理部153Aは、幾つかのユニットをランダムに選んで無効化し、残りのユニットを用いて学習を行ってもよい(ドロップアウト)。
また、推論モデル構築に用いられる手法は、ここに示した例に限定されず、例えば、サポートベクターマシン、ベイズ分類器、ブースティング、k平均法、カーネル密度推定、主成分分析、独立成分分析、自己組織化写像、ランダムフォレスト、敵対的生成ネットワーク(GAN)などの任意の手法を利用することが可能である。
本態様に係る情報処理装置1の動作について説明する。情報処理装置1の動作の一例を図3に示す。
まず、少なくともBIMデータを含むデータセットが準備される(S1)。データセットの準備は、自動及び/又は手動で行われ、例えばクラウドコンピュータなどのコンピュータを用いて行われる。
次に、情報処理装置1は、データセット受付部13により、ステップS1で準備されたデータセットを受け付ける(S2)。受け付けられたデータセットは、制御部11によって記憶部14に保存される(データセット141)。
次に、経路設定部151は、ステップS2で受け付けられたデータセット141に基づいて、データセット141中のBIMデータが表す仮想建築物の内部及び/又は外部における経路を設定する(S3)。設定された経路を表す情報は、制御部11によって記憶部14に保存される(経路情報142)。
次に、仮想画像セット生成部152は、データセット141及び経路情報142に基づいて、ステップS3で設定された経路に沿った、データセット141中のBIMデータが表す仮想建築物の仮想画像セットを生成する(S4)。生成された仮想画像セットは、(他のデータとともに)制御部11によって記憶部14に保存される(訓練データ143)。
次に、推論モデル構築部153の学習処理部153Aは、ステップS4で生成された仮想画像セットを少なくとも含む訓練データ143を用いた機械学習をニューラルネットワーク153Bに適用して、建築物の計測データから建築部材のデータを特定するための推論モデルを構築する(S5)。構築された推論モデルは、制御部11によって記憶部14に保存される(推論モデル144)(エンド)。
本態様において構築された推論モデル144は、例えば、建築物の内部及び/又は外部を(自律的又は他律的に)移動しながら計測データを収集するように構成された移動体に提供される。また、推論モデル144は、このような移動体により収集された建築物の計測データから建築部材のデータを特定するように構成されたコンピュータに提供される。なお、推論モデル144の用途はこれらに限定されず、任意であってよい。また、例えば転移学習やファインチューニングのために、推論モデル144の少なくとも一部を利用することが可能である。
このように本態様に係る情報処理装置1は、建築物のリアリティキャプチャなどに使用可能であって、データセット受付部13と、経路設定部151と、仮想画像セット生成部152と、推論モデル構築部153とを備える。データセット受付部13は、BIMデータを少なくとも含むデータセットを受け付けるように構成されている。経路設定部151は、データセット受付部13により受け付けられたデータセットに基づいて、このデータセット中のBIMデータが表す仮想建築物の内部及び/又は外部における経路を設定するように構成されている。仮想画像セット生成部152は、データセット受付部13により受け付けられたデータセットと、経路設定部151により設定された経路とに基づいて、この経路に沿った仮想建築物の仮想画像セットを生成するように構成されている。推論モデル構築部153は、仮想画像セット生成部152により生成された仮想画像セットを少なくとも含む訓練データを用いた機械学習を所定のニューラルネットワークに適用して、建築物の計測データから建築部材のデータを特定するための推論モデルを構築するように構成されている。
本態様に係る情報処理装置1において、経路設定部151は、BIMデータに記録されている建築部材データ(仮想建築部材)に対する距離が所定の許容範囲に含まれるように経路を設定するように構成されていてよい。
また、本態様に係る情報処理装置1において、経路設定部151は、1次元エリア、2次元エリア、及び3次元エリアのいずれかを、経路として設定するように構成されていてよい。
また、本態様に係る情報処理装置1において、推論モデル構築に用いられるニューラルネットワークは、畳み込みニューラルネットワークを含んでいてよい。
また、本態様は、建築物のリアリティキャプチャなどに使用可能な推論モデルを構築する方法を提供する。この推論モデル構築方法は、次の工程を少なくとも含む:BIMデータを少なくとも含むデータセットを準備する工程(データセット準備工程);準備されたデータセットに基づいて、このデータセット中のBIMデータが表す仮想建築物の内部及び/又は外部における経路を設定する工程(経路設定工程);準備されたデータセットと、設定された経路とに基づいて、この経路に沿った仮想建築物の仮想画像セットを生成する工程(仮想画像セット生成工程);生成された仮想画像セットを少なくとも含む訓練データを用いた機械学習を所定のニューラルネットワークに適用して、建築物の計測データから建築部材のデータを特定するための推論モデルを構築する工程(推論モデル構築工程)。なお、これらの工程のいずれかは、2以上のサブ工程を含んでいてよい(以下同様)。
本態様に係る推論モデル構築方法において、経路設定工程は、BIMデータに記録されている仮想建築部材に対する距離が所定の許容範囲に含まれるように経路を設定するように実行されてよい。
また、本態様に係る推論モデル構築方法において、経路設定工程は、1次元エリア、2次元エリア、及び3次元エリアのいずれかを経路として設定するように実行されてよい。
また、本態様に係る推論モデル構築方法において、推論モデル構築工程で用いられるニューラルネットワークは、畳み込みニューラルネットワークを含んでいてよい。
本態様は、データセット準備工程、経路設定工程、仮想画像セット生成工程、及び推論モデル構築工程のそれぞれをコンピュータに実行させるプログラムを提供する。このコンピュータは、例えば、建築物のリアリティキャプチャに使用可能な単一のコンピュータ、又は2以上のコンピュータを含むシステムである。
更に、本態様は、このようなプログラムが記録された、コンピュータ可読な非一時的記録媒体を提供する。この非一時的記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリのいずれかであってよい。
本態様は、データセット準備工程、経路設定工程、仮想画像セット生成工程、及び推論モデル構築工程を通じて構築された推論モデルを提供する。
また、本態様は、このような推論モデルを用いて建築物の計測データから建築部材のデータを特定する処理をコンピュータに実行させるプログラムを提供する。
更に、本態様は、このようなプログラムが記録された、コンピュータ可読な非一時的記録媒体を提供する。この非一時的記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリのいずれかであってよい。
このような本態様によれば、建築管理における一つひとつの建築部材(例えば、柱、梁、壁、床、天井など)の状態確認のために、仮想画像セットを用いて訓練された推論モデルを利用することができる。これにより、例えば、BIMデータに含まれる各部材が実際に施工されたか確認する作業や、施工された位置が適切であるか確認する作業の省力化を図ることができる。また、学習済みモデルを用いてこれらの作業を行えるため、十分な経験を有する作業者を多くの建築現場に割り当てる必要が無くなる。更に、仮想画像セットを用いて機械学習を行うように構成されているので、実際の建築物の画像を大量に集める必要がない。したがって、訓練データを収集する作業の省力化を図ることができ、大量の訓練データを容易に収集することが可能になる。このように、本態様によれば、様々な観点から建築管理の効率化を図ることが可能である。
<第2の態様>
第2及び第3の態様では、各建築部材の施工日(施工された日、施工予定日)と建築物の計測日(計測予定日)とに対応した機械学習をニューラルネットワークに適用して推論モデルを構築するための幾つかの例を説明する。
第2の態様に係る情報処理装置の構成例を図4に示す。情報処理装置4は、第1の態様の情報処理装置1の処理部15に、BIMデータ構築部154を付加し、且つ、BIMデータ構築部154の出力を経路設定部151及び仮想画像セット生成部152の双方に提供するように構成されたものである。BIMデータ構築部154は、例えば、プロセッサ及び記憶装置を含むハードウェアと、BIMデータ構築ソフトウェアとの協働によって実現される。第1の態様と共通の要素については、特に言及しない限り説明は省略する。
本態様において準備されるデータセット141は、第1の態様と同様のBIMデータに加えて、このBIMデータに記録されている仮想建築部材それぞれの施工日を示す施工日情報(部材施工日情報)と、建築物の計測日を示す計測日情報とを更に含んでいる。
部材施工日情報は、仮想部材に対応する実体部材を建築現場において設置する日(施工した日、施工予定日)を示す。部材施工日情報は、例えば、施工図、施工計画書から取得される。
計測日情報は、実体建築物の計測日を示す。本態様においては、計測日情報は、将来行われる計測の日(計測予定日)を示し、例えば次回計測日を示す。なお、実体建築物の計測は、建築物計測システム(移動体、トータルステーション、コンピュータなどを含む)によって実施される。計測日情報は、例えば、施工計画書、管理計画書などから取得される。
部材施工日情報及び計測日情報は、少なくとも年、月、日の情報を含み、時、分、秒などの情報を更に含んでいてもよい。また、設計が行われた場所の標準時と、実体建築物が存在する場所の標準時とが異なる場合、情報処理装置4(又は外部システム等)は、部材施工日情報と計測日情報とを同じ標準時で表現するように変換を行うことができる。
BIMデータ構築部154は、BIMデータと部材施工日情報と計測日情報とを少なくとも含むデータセット141に基づいて、施工日が計測日以前の仮想建築部材のみが施工された状態に対応したBIMデータ(第1のBIMデータ)を構築するように構成されている。
例えば、BIMデータ構築部154は、まず、データセット141中のBIMデータに記録された各仮想部材の施工日を計測日と比較することで、BIMデータに記録された複数の仮想部材のうちから、施工日が計測日以前の仮想部材を選択する。ここで、施工日が計測日以前の仮想部材は、施工日が計測日と同じ仮想部材又は施工日が計測日よりも前の日である仮想部材であってもよいし、施工日が計測日よりも前の日である仮想部材であってもよい。
次に、BIMデータ構築部154は、選択された仮想部材群のみを含む第1のBIMデータを構築する。例えば、BIMデータ構築部154は、選択されなかった各仮想部材をデータセット141中のBIMデータから削除することによって、選択された仮想部材群のみを含む第1のBIMデータを構築するように構成されてよい。
このようにして構築される第1のBIMデータは、計測日における建築部材の配置に相当するBIMデータである。第1のBIMデータは、例えば、施工途中の実体建築物の計測のために有効である。
BIMデータ構築部154により構築された第1のBIMデータは、経路設定部151及び仮想画像セット生成部152の双方に送られる。
本態様の経路設定部151は、BIMデータ構築部154により構築された第1のBIMデータに基づいて、第1のBIMデータが表す仮想建築物の内部及び/又は外部における経路を設定する。第1のBIMデータに基づき設定される経路を第1の経路と呼ぶ。
このようにして設定される第1の経路は、当該計測日に設置されている建築部材のみを考慮したものである。つまり、第1の経路は、当該計測日の計測作業のために最適化された経路であると言える。よって、当該計測日の計測作業を効率的に行うことが可能となる。
本態様の仮想画像セット生成部152は、BIMデータ構築部154により構築された第1のBIMデータと、経路設定部151により第1のBIMデータに基づき設定された第1の経路とに基づいて、第1の経路に沿った仮想建築物の仮想画像セットを生成する。第1のBIMデータ及び第1の経路に基づき生成される仮想画像セットを第1の仮想画像セットと呼ぶ。
本態様の推論モデル構築部153は、このような第1の仮想画像セットを少なくとも含む訓練データ(第1の訓練データ)を用いた機械学習をニューラルネットワークに適用して、当該計測日に対応した推論モデルを構築する。
第1の仮想画像セットは、当該計測日の計測作業のために最適化された第1の経路に沿った複数の仮想画像である。このような第1仮想画像セットを用いて機械学習を行うことで、推論モデル(当該計測日における移動体の制御や、当該計測日に取得された計測データの解析に用いられる)の性能向上を図ることができる。
複数の計測日のそれぞれに対応した推論モデルを予め作成することができる。つまり、複数の計測日に対応する複数の推論モデルを準備することができる。また、その過程で得られる多数の仮想画像(異なる計測日における多数の仮想画像)をそれぞれの推論モデルの構築(機械学習)に用いることができる。これにより、訓練データの個数を増加させることができる。また、建築部材の個数や位置の変化に応じた部材特定処理を学習させることができる。
このように、本態様に係る情報処理装置4は、第1の態様の要素に加え、BIMデータ構築部154を含んでいる。また、データセット受付部13により受け付けられるデータセットは、BIMデータに記録されている仮想建築部材それぞれの施工日を示す施工日情報と、建築物の計測日を示す計測日情報とを更に含んでいる。BIMデータ構築部154は、このデータセットに基づいて、施工日が計測日以前の仮想建築部材のみが施工された状態に対応した第1のBIMデータを構築するように構成されている。また、本態様の経路設定部151は、第1のBIMデータに基づいて第1の経路を設定するように構成されている。更に、本態様の仮想画像セット生成部152は、第1のBIMデータ及び第1の経路に基づいて第1の仮想画像セットを生成するように構成されている。加えて、本態様の推論モデル構築部153は、第1の仮想画像セットを少なくとも含む第1の訓練データを用いた機械学習をニューラルネットワークに適用して、当該計測日に対応した推論モデルを構築するように構成されている。
また、本態様は、建築物のリアリティキャプチャなどに使用可能な推論モデルを構築する方法を提供する。この推論モデル構築方法において、データセット準備工程で準備されるデータセットは、BIMデータに記録されている仮想建築部材それぞれの施工日を示す施工日情報と、建築物の計測日を示す計測日情報とを更に含んでいる。更に、推論モデル構築工程は、施工日及び計測日に対応した機械学習をニューラルネットワークに適用して推論モデルを構築するように実行される。
より具体的に説明すると、本態様の推論モデル構築方法は、第1のBIMデータ構築工程を更に含む。第1のBIMデータ構築工程は、データセット準備工程で準備されたデータセットに基づいて、施工日が計測日以前の仮想建築部材のみが施工された状態に対応した第1のBIMデータを構築するように実行される。また、本態様の経路設定工程は、第1のBIMデータに基づいて第1の経路を設定するように実行される。更に、本態様の仮想画像セット生成工程は、第1のBIMデータ及び第1の経路に基づいて第1の仮想画像セットを生成するように実行される。加えて、本態様の推論モデル構築工程は、第1の仮想画像セットを少なくとも含む第1の訓練データを用いた機械学習をニューラルネットワークに適用して、当該計測日に対応した推論モデルを構築するように実行される。
本態様は、データセット準備工程、第1のBIMデータ構築工程、経路設定工程、仮想画像セット生成工程、及び推論モデル構築工程のそれぞれをコンピュータに実行させるプログラムを提供する。このコンピュータは、例えば、建築物のリアリティキャプチャに使用可能な単一のコンピュータ、又は2以上のコンピュータを含むシステムである。
更に、本態様は、このようなプログラムが記録された、コンピュータ可読な非一時的記録媒体を提供する。この非一時的記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリのいずれかであってよい。
本態様は、データセット準備工程、第1のBIMデータ構築工程、経路設定工程、仮想画像セット生成工程、及び推論モデル構築工程を通じて構築された推論モデルを提供する。
また、本態様は、このような推論モデルを用いて建築物の計測データから建築部材のデータを特定する処理をコンピュータに実行させるプログラムを提供する。
更に、本態様は、このようなプログラムが記録された、コンピュータ可読な非一時的記録媒体を提供する。この非一時的記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリのいずれかであってよい。
このような本態様によれば、前述したように、計測日における建築部材の配置に相当するBIMデータに基づいて当該計測日の計測作業のために最適な計測経路を設定することができ、この最適な経路に沿った最適な仮想画像セットを生成することができ、この最適な仮想画像セットを用いて機械学習を行うことで当該計測日について最適化された推論モデルを構築することができる。したがって、当該計測日における計測作業や、当該計測日に得られた計測データの処理を好適に行うことが可能になる。
<第3の態様>
第2の態様では、BIMデータ構築部154により構築されたBIMデータ(第1のBIMデータ)は、経路設定部151及び仮想画像セット生成部152の双方に用いられる。これに対し、以下に説明する第3の態様では、BIMデータ構築部154により構築されたBIMデータ(本態様では第2のBIMデータと呼ぶ)は、仮想画像セット生成部152のみに用いられる。
すなわち、本態様では、仮想画像セットは、計測日における建築部材の配置に相当するBIMデータから生成されるが、経路は、計測日にかかわらずに設定される。例えば、本態様の経路は、第1の態様と同様に、データセット受付部13により受け付けられたデータセット141中のBIMデータに基づき設定された経路であってよい。或いは、本態様の経路は、或る計測日について設定された経路であってよい。
本態様に係る情報処理装置の構成例を図5に示す。情報処理装置5は、第1の態様の情報処理装置1の処理部15に、BIMデータ構築部154を付加し、且つ、BIMデータ構築部154の出力を仮想画像セット生成部152に提供するように構成されたものである。
第2の態様と同様に、本態様において準備されるデータセット141は、第1の態様と同様のBIMデータに加えて、このBIMデータに記録されている仮想建築部材それぞれの施工日を示す施工日情報(部材施工日情報)と、建築物の計測日を示す計測日情報とを更に含んでいる。
BIMデータ構築部154は、第2の態様と同様の機能及び構成を有し、BIMデータと部材施工日情報と計測日情報とを少なくとも含むデータセット141に基づいて、施工日が計測日以前の仮想建築部材のみが施工された状態に対応したBIMデータ(第2のBIMデータ)を構築するように構成されている。このようにして構築される第2のBIMデータは、計測日における建築部材の配置に相当するBIMデータである。BIMデータ構築部154により構築された第2のBIMデータは、仮想画像セット生成部152に送られる。
前述したように、本態様の経路設定部151は、例えば、第1の態様と同様に、データセット141中のBIMデータに基づき経路を設定する。或いは、或る計測日について既に設定された経路を用いてもよい。
本態様の仮想画像セット生成部152は、BIMデータ構築部154により構築された第2のBIMデータと、経路設定部151により設定された経路とに基づいて、この経路に沿った仮想建築物の仮想画像セットを生成する。第2のBIMデータに基づき生成される仮想画像セットを第2の仮想画像セットと呼ぶ。
本態様の推論モデル構築部153は、このような第2の仮想画像セットを少なくとも含む訓練データ(第2の訓練データ)を用いた機械学習をニューラルネットワークに適用して、当該計測日に対応した推論モデルを構築する。
このように、本態様に係る情報処理装置5は、第1の態様の要素に加え、BIMデータ構築部154を含んでいる。また、データセット受付部13により受け付けられるデータセットは、BIMデータに記録されている仮想建築部材それぞれの施工日を示す施工日情報と、建築物の計測日を示す計測日情報とを更に含んでいる。BIMデータ構築部154は、このデータセットに基づいて、施工日が計測日以前の仮想建築部材のみが施工された状態に対応した第2のBIMデータを構築するように構成されている。また、本態様の仮想画像セット生成部152は、第2のBIMデータと、他のBIMデータから設定された経路とに基づいて、第2の仮想画像セットを生成するように構成されている。更に、本態様の推論モデル構築部153は、第2の仮想画像セットを少なくとも含む第2の訓練データを用いた機械学習をニューラルネットワークに適用して、当該計測日に対応した推論モデルを構築するように構成されている。
また、本態様は、建築物のリアリティキャプチャなどに使用可能な推論モデルを構築する方法を提供する。この推論モデル構築方法において、データセット準備工程で準備されるデータセットは、BIMデータに記録されている仮想建築部材それぞれの施工日を示す施工日情報と、建築物の計測日を示す計測日情報とを更に含んでいる。更に、推論モデル構築工程は、施工日及び計測日に対応した機械学習をニューラルネットワークに適用して推論モデルを構築するように実行される。
より具体的に説明すると、本態様の推論モデル構築方法は、第2のBIMデータ構築工程を更に含む。第2のBIMデータ構築工程は、データセット準備工程で準備されたデータセットに基づいて、施工日が計測日以前の仮想建築部材のみが施工された状態に対応した第2のBIMデータを構築するように実行される。また、本態様の仮想画像セット生成工程は、第2のBIMデータと、他のBIMデータに基づき設定された経路とに基づいて、第2の仮想画像セットを生成するように実行される。更に、本態様の推論モデル構築工程は、第2の仮想画像セットを少なくとも含む第2の訓練データを用いた機械学習をニューラルネットワークに適用して、当該計測日に対応した推論モデルを構築するように実行される。
本態様は、データセット準備工程、第2のBIMデータ構築工程、経路設定工程、仮想画像セット生成工程、及び推論モデル構築工程のそれぞれをコンピュータに実行させるプログラムを提供する。このコンピュータは、例えば、建築物のリアリティキャプチャに使用可能な単一のコンピュータ、又は2以上のコンピュータを含むシステムである。
更に、本態様は、このようなプログラムが記録された、コンピュータ可読な非一時的記録媒体を提供する。この非一時的記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリのいずれかであってよい。
本態様は、データセット準備工程、第2のBIMデータ構築工程、経路設定工程、仮想画像セット生成工程、及び推論モデル構築工程を通じて構築された推論モデルを提供する。
また、本態様は、このような推論モデルを用いて建築物の計測データから建築部材のデータを特定する処理をコンピュータに実行させるプログラムを提供する。
更に、本態様は、このようなプログラムが記録された、コンピュータ可読な非一時的記録媒体を提供する。この非一時的記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリのいずれかであってよい。
このような本態様によれば、第2の態様のように計測経路の最適化は為されないが、計測日における建築部材の配置に相当するBIMデータに基づく仮想画像セットを用いて機械学習を行うことができるので、当該計測日について好適な推論モデルを構築することが可能である。
第2の態様では、計測日に対応したBIMデータが経路設定及び仮想画像セット生成の双方に用いられ、第3の態様では、計測日に対応したBIMデータが仮想画像セットのみに用いられている。これらに対し、計測日に対応したBIMデータを経路設定のみに用いる構成を採用することも可能である。これらの動作の例を図6に示す。
まず、BIMデータ、施工日情報、及び計測日情報を少なくとも含むデータセットが準備される(S11)。データセットの準備は、自動及び/又は手動で行われ、例えばクラウドコンピュータなどのコンピュータを用いて行われる。
次に、情報処理装置4又は5は、データセット受付部13により、ステップS11で準備されたデータセットを受け付ける(S12)。受け付けられたデータセットは、制御部11によって記憶部14に保存される(データセット141)。
次に、BIMデータ構築部154は、ステップS12で受け付けられたデータセット141に基づいて、施工日が計測日以前の仮想建築部材のみが施工された状態に対応したBIMデータを構築する(S13)。ステップS13で構築されたBIMデータを、計測日対応BIMデータと呼ぶ。計測日対応BIMデータは、制御部11によって記憶部14に保存される(データセット141)。
次に、経路設定部151は、例えば、ステップS12で受け付けられたBIMデータ又はステップS13で構築された計測日対応BIMデータに基づいて、仮想建築物の内部及び/又は外部における経路を設定する(S14)。設定された経路を表す情報は、制御部11によって記憶部14に保存される(経路情報142)。
次に、仮想画像セット生成部152は、ステップS12で受け付けられたBIMデータ又はステップS13で構築された計測日対応BIMデータと、ステップS14で設定された経路とに基づいて仮想画像セットを生成する(S15)。生成された仮想画像セットは、(他のデータとともに)制御部11によって記憶部14に保存される(訓練データ143)。
次に、推論モデル構築部153は、ステップS15で生成された仮想画像セットを少なくとも含む訓練データ143を用いた機械学習をニューラルネットワークに適用して推論モデルを構築する(S16)。構築された推論モデルは、制御部11によって記憶部14に保存される(推論モデル144)(エンド)。
<第4の態様>
第4の態様に係る情報処理装置の構成例を図7に示す。情報処理装置7は、第1の態様の情報処理装置1の処理部15に第1の情報合成部155を付加したものである。第1の情報合成部155は、例えば、プロセッサ及び記憶装置を含むハードウェアと、第1の情報合成ソフトウェアとの協働によって実現される。第1の態様と共通の要素については、特に言及しない限り説明は省略する。
本態様では、建築部材のテクスチャが参照される。テクスチャは、オブジェクトの表面の状態を表すパラメータであり、例えば、表面の色、明るさ、微小な凹凸などの均質度合を表現するパラメータであってよい。本態様のテクスチャは、原料、材料、素材、材質、表面仕上などに応じた建築部材の表面状態を表す。テクスチャは、原料、材料、素材、材質、表面仕上などの種類によって特定されてもよい。
本態様で準備されるデータセットは、第1の態様と同様のBIMデータに加え、この仮想建築物を構成する部材(仮想建築部材)の表面の状態を表すテクスチャ情報を含む。データセット受付部13は、BIMデータとテクスチャ情報とを少なくとも含むデータセットを受け付ける。受け付けられたデータセットは、制御部11によって記憶部14に保存される(データセット141)。
第1の情報合成部155は、仮想画像セット生成部152によりデータセット141及び経路情報142に基づき生成された仮想画像セットに、データセット141中のテクスチャ情報を合成するように構成されている。これにより生成された情報を第1の合成情報と呼ぶ。生成された第1の合成情報は、制御部11によって記憶部14に保存される(訓練データ143)。
例えば、第1の情報合成部155は、まず、BIMデータにおける仮想部材の位置(3次元座標)と、このBIMデータから生成された仮想画像における3次元座標とを照合することで、BIMデータ中の仮想部材に対応する仮想画像中の位置を特定する。換言すると、第1の情報合成部155は、BIMデータ中の仮想部材と仮想画像中の仮想部材との間の対応付けを行う。更に、第1の情報合成部155は、BIMデータ中の仮想部材のテクスチャ情報を、この仮想部材に対応する仮想画像中の仮想部材に割り当てる。なお、BIMデータ中の一つの仮想部材が2以上の仮想画像に描出されている場合には、これら仮想画像のそれぞれにおける対応仮想画像に当該仮想画像のテクスチャ情報を付与することができる。このようにして仮想画像セットとテクスチャ情報とが合成されて第1の合成情報が生成される。
本態様の推論モデル構築部153は、仮想画像セット及びテクスチャ情報から生成された第1の合成情報を少なくとも含む訓練データ143を用いた機械学習をニューラルネットワークに適用するように構成される。それにより、建築物の計測データから建築部材のデータを特定するための推論モデルが構築される。
本態様に係る情報処理装置7の動作について説明する。情報処理装置7の動作の一例を図8に示す。
まず、BIMデータとテクスチャ情報とを少なくとも含むデータセットが準備される(S21)。データセットの準備は、自動及び/又は手動で行われ、例えばクラウドコンピュータなどのコンピュータを用いて行われる。
次に、情報処理装置7は、データセット受付部13により、ステップS21で準備されたデータセットを受け付ける(S22)。受け付けられたデータセットは、制御部11によって記憶部14に保存される(データセット141)。
次に、経路設定部151は、ステップS22で受け付けられたデータセット141に基づいて、データセット141中のBIMデータが表す仮想建築物の内部及び/又は外部における経路を設定する(S23)。設定された経路を表す情報は、制御部11によって記憶部14に保存される(経路情報142)。
次に、仮想画像セット生成部152は、データセット141及び経路情報142に基づいて、ステップS23で設定された経路に沿った、データセット141中のBIMデータが表す仮想建築物の仮想画像セットを生成する(S24)。生成された仮想画像セットは、第1の情報合成部155に送られる。
次に、第1の情報合成部155は、ステップS24で生成された仮想画像セットと、ステップS22で受け付けられたデータセット141中のテクスチャ情報とを合成して第1の合成情報を生成する(S25)。生成された第1の合成情報は、(他のデータとともに)制御部11によって記憶部14に保存される(訓練データ143)。
次に、推論モデル構築部153は、ステップS25で生成された第1の合成情報(仮想画像セットとテクスチャ情報との合成情報)を少なくとも含む訓練データ143を用いた機械学習をニューラルネットワークに適用して、建築物の計測データから建築部材のデータを特定するための推論モデルを構築する(S26)。構築された推論モデルは、制御部11によって記憶部14に保存される(推論モデル144)(エンド)。
このように、本態様に係る情報処理装置7は、第1の態様の要素に加え、第1の情報合成部155を含んでいる。また、データセット141は、BIMデータに加え、仮想建築部材の表面の状態を表すテクスチャ情報を含んでいる。第1の情報合成部155は、仮想画像セット生成部152により生成された仮想画像セットに、データセット141に含まれるテクスチャ情報を合成することで、第1の合成情報を生成するように構成されている。更に、推論モデル構築部153は、第1の情報合成部155により生成された第1の合成情報を少なくとも含む訓練データ143を用いた機械学習をニューラルネットワークに適用することで推論モデルを構築するように構成されている。
また、本態様は、建築物のリアリティキャプチャなどに使用可能な推論モデルを構築する方法を提供する。この推論モデル構築方法において、データセット準備工程は、BIMデータと、仮想建築部材の表面の状態を表すテクスチャ情報とを含むデータセットを準備するように実行される。本態様の推論モデル構築方法は、更に、仮想画像セットにテクスチャ情報を合成して第1の合成情報を生成する工程を含む(第1の合成工程)。推論モデル構築工程は、第1の合成工程で生成された第1の合成情報を少なくとも含む訓練データを用いた機械学習をニューラルネットワークに適用して推論モデルを構築するように実行される。
本態様は、データセット準備工程、経路設定工程、仮想画像セット生成工程、第1の合成工程、及び推論モデル構築工程のそれぞれをコンピュータに実行させるプログラムを提供する。このコンピュータは、例えば、建築物のリアリティキャプチャに使用可能な単一のコンピュータ、又は2以上のコンピュータを含むシステムである。
更に、本態様は、このようなプログラムが記録された、コンピュータ可読な非一時的記録媒体を提供する。この非一時的記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリのいずれかであってよい。
本態様は、データセット準備工程、経路設定工程、仮想画像セット生成工程、第1の合成工程、及び推論モデル構築工程を通じて構築された推論モデルを提供する。
また、本態様は、このような推論モデルを用いて建築物の計測データから建築部材のデータを特定する処理をコンピュータに実行させるプログラムを提供する。
更に、本態様は、このようなプログラムが記録された、コンピュータ可読な非一時的記録媒体を提供する。この非一時的記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリのいずれかであってよい。
このような本態様によれば、建築部材のテクスチャ情報を用いて機械学習を行うことができる。このようにして構築された推論モデルは、建築物の計測データに表現されたオブジェクトの表面状態(テクスチャ)の特徴量を抽出し、抽出されたテクスチャ特徴量を考慮して建築部材のデータを特定するように構成される。このような推論モデルを用いることで、テクスチャを考慮しない場合と比較して、建築部材データ特定処理の精度や確度の向上を図ることが可能である。
<第5の態様>
第5の態様に係る情報処理装置の構成例を図9に示す。情報処理装置9は、第1の態様の情報処理装置1の処理部15に第2の情報合成部156を付加したものである。第2の情報合成部156は、例えば、プロセッサ及び記憶装置を含むハードウェアと、第2の情報合成ソフトウェアとの協働によって実現される。第1の態様と共通の要素については、特に言及しない限り説明は省略する。
本態様は、建築物の計測の障害となる物体(障害物)を考慮する。つまり、本態様は、建築物の計測時に現場に存在する可能性のある障害物に関する情報が参照される。障害物の例として、梯子や脚立などの道具、作業者、計測のための装置(移動体、トータルステーション、コンピュータ)などがある。
本態様で準備されるデータセットは、第1の態様と同様のBIMデータに加え、障害物を表す障害物情報を含む。データセット受付部13は、BIMデータと障害物情報とを少なくとも含むデータセットを受け付ける。受け付けられたデータセットは、制御部11によって記憶部14に保存される(データセット141)。
障害物情報は、例えば、障害物の撮影画像や、障害物のスキャンデータを含む。具体的には、障害物情報は、梯子や脚立などの道具の撮影画像及び/又はスキャンデータや、建築現場における作業者の撮影画像及び/又はスキャンデータであってよい。
第2の情報合成部156は、仮想画像セット生成部152によりデータセット141及び経路情報142に基づき生成された仮想画像セットに、データセット141中の障害物情報を合成するように構成されている。これにより生成された情報を第2の合成情報と呼ぶ。生成された第2の合成情報は、制御部11によって記憶部14に保存される(訓練データ143)。
例えば、第2の情報合成部155は、仮想画像に障害物情報(障害物の撮影画像など)を埋め込むことによって第2の合成情報を生成する。これにより、障害物情報が様々な位置に埋め込まれた仮想画像セットが得られる(第2の合成情報)。なお、障害物情報の埋め込み位置は、例えば、実際の建築現場の撮影画像に基づき決定される。
本態様の推論モデル構築部153は、仮想画像セット及び障害物情報から生成された第2の合成情報を少なくとも含む訓練データ143を用いた機械学習をニューラルネットワークに適用するように構成される。それにより、建築物の計測データから建築部材のデータを特定するための推論モデルが構築される。
本態様に係る情報処理装置9の動作について説明する。情報処理装置9の動作の一例を図10に示す。
まず、BIMデータと障害物情報とを少なくとも含むデータセットが準備される(S31)。データセットの準備は、自動及び/又は手動で行われ、例えばクラウドコンピュータなどのコンピュータを用いて行われる。
次に、情報処理装置9は、データセット受付部13により、ステップS31で準備されたデータセットを受け付ける(S32)。受け付けられたデータセットは、制御部11によって記憶部14に保存される(データセット141)。
次に、経路設定部151は、ステップS32で受け付けられたデータセット141に基づいて、データセット141中のBIMデータが表す仮想建築物の内部及び/又は外部における経路を設定する(S33)。設定された経路を表す情報は、制御部11によって記憶部14に保存される(経路情報142)。
次に、仮想画像セット生成部152は、データセット141及び経路情報142に基づいて、ステップS33で設定された経路に沿った、データセット141中のBIMデータが表す仮想建築物の仮想画像セットを生成する(S34)。生成された仮想画像セットは、第2の情報合成部156に送られる。
次に、第2の情報合成部156は、ステップS34で生成された仮想画像セットと、ステップS32で受け付けられたデータセット141中の障害物情報とを合成して第2の合成情報を生成する(S35)。生成された第2の合成情報は、(他のデータとともに)制御部11によって記憶部14に保存される(訓練データ143)。
次に、推論モデル構築部153は、ステップS35で生成された第2の合成情報(仮想画像セットと障害物情報との合成情報)を少なくとも含む訓練データ143を用いた機械学習をニューラルネットワークに適用して、建築物の計測データから建築部材のデータを特定するための推論モデルを構築する(S36)。構築された推論モデルは、制御部11によって記憶部14に保存される(推論モデル144)(エンド)。
このように、本態様に係る情報処理装置9は、第1の態様の要素に加え、第2の情報合成部156を含んでいる。また、データセット141は、BIMデータに加え、障害物情報を含んでいる。第2の情報合成部156は、仮想画像セット生成部152により生成された仮想画像セットに、データセット141に含まれる障害物情報を合成することで、第2の合成情報を生成するように構成されている。更に、推論モデル構築部153は、第2の情報合成部156により生成された第2の合成情報を少なくとも含む訓練データ143を用いた機械学習をニューラルネットワークに適用することで推論モデルを構築するように構成されている。
また、本態様は、建築物のリアリティキャプチャなどに使用可能な推論モデルを構築する方法を提供する。この推論モデル構築方法において、データセット準備工程は、BIMデータと障害物情報とを含むデータセットを準備するように実行される。本態様の推論モデル構築方法は、更に、仮想画像セットに障害物情報を合成して第2の合成情報を生成する工程を含む(第2の合成工程)。推論モデル構築工程は、第2の合成工程で生成された第2の合成情報を少なくとも含む訓練データを用いた機械学習をニューラルネットワークに適用して推論モデルを構築するように実行される。
本態様は、データセット準備工程、経路設定工程、仮想画像セット生成工程、第2の合成工程、及び推論モデル構築工程のそれぞれをコンピュータに実行させるプログラムを提供する。このコンピュータは、例えば、建築物のリアリティキャプチャに使用可能な単一のコンピュータ、又は2以上のコンピュータを含むシステムである。
更に、本態様は、このようなプログラムが記録された、コンピュータ可読な非一時的記録媒体を提供する。この非一時的記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリのいずれかであってよい。
本態様は、データセット準備工程、経路設定工程、仮想画像セット生成工程、第2の合成工程、及び推論モデル構築工程を通じて構築された推論モデルを提供する。
また、本態様は、このような推論モデルを用いて建築物の計測データから建築部材のデータを特定する処理をコンピュータに実行させるプログラムを提供する。
更に、本態様は、このようなプログラムが記録された、コンピュータ可読な非一時的記録媒体を提供する。この非一時的記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリのいずれかであってよい。
このような本態様によれば、障害物情報を用いて機械学習を行うことができる。このようにして構築された推論モデルは、建築物の計測データに混入した障害物の特徴量を抽出し、抽出された障害物特徴量を考慮して建築部材のデータを特定するように構成される。このような推論モデルを用いることで、障害物を考慮しない場合と比較して、建築部材データ特定処理の精度や確度の向上を図ることが可能である。
例えば、本態様によれば、建築部材以外の物の撮影画像や人の撮影画像が合成された仮想画像セットを訓練データとして用いることにより、障害物に相当するデータ領域が建築物の計測データ(撮影画像、スキャンデータ、点群データなど)に混入した場合に、この障害物データ領域を検出するように推論モデルを訓練することが可能である。それにより、障害物を回避するように移動体を制御することや、計測データからBIMデータを作成する際に障害物のデータを除外することが可能になる。
<第6の態様>
第6の態様に係る情報処理装置の構成例を図11に示す。情報処理装置1100は、第1の態様の情報処理装置1の処理部15にラベル付与部157を付加したものである。ラベル付与部157は、例えば、プロセッサ及び記憶装置を含むハードウェアと、ラベル付与ソフトウェアとの協働によって実現される。第1の態様と共通の要素については、特に言及しない限り説明は省略する。
本態様は、推論モデル構築において教師あり学習を用いる場合に採用される。教師あり学習では、データとラベル(正解ラベル)とのペアが準備され、入力データに対応するニューラルネットワークの出力をラベルと比較してパラメータ調整が行われる。本態様は、データに対してラベルを付与する機能を有するものである。換言すると、本態様は、教師あり学習のための訓練データを作成するものである。
ラベル付与部157は、データセット141中のBIMデータに記録されている仮想建築部材に関するラベルを、仮想画像セット生成部152により生成された仮想画像セットに付与するように構成されている。
ラベルの例として建築部材の種類がある。建築部材の種類は、例えば、柱、梁、壁、スラブ、屋根、基礎、窓、ドア、階段、タイル、フローリング、各種部品、各種機械、各種機器、各種設備などであってよい。また、ラベルは、建築部材のテクスチャを表す情報であってもよい。
ラベルの種類の他の例として障害物の種類がある。障害物の種類は、例えば、梯子や脚立などの道具、作業者、計測のための装置(移動体、トータルステーション、コンピュータ)などであってよい。
本態様のラベル付与(アノテーション)は、手動及び自動のいずれでもよい。また、手動アノテーションと自動アノテーションとの協働及び/又は切り替えが可能であってもよい。
手動アノテーションの場合、ラベル付与部157は、例えば、制御部11と連携して、アノテーション作業のためのGUIをユーザーインターフェイス12に表示させる。このアノテーションGUIは、例えば、仮想画像とソフトウェアキーとを表示する。ラベル付与部157は、ソフトウェアキーを用いて入力されたラベルを、対応する仮想画像に付与するように構成される。
例えば、ユーザーは、表示された仮想画像を観察し、建築部材に相当する画像領域を指定する。更に、ユーザーは、この建築部材の種類を指定する。これらの指定操作はユーザーインターフェイス12を用いて行われる。ラベル付与部157は、指定された画像領域に対して、指定された建築部材の種類を割り当てる。これにより、建築部材の種類を表すラベルが仮想画像に付与される。なお、単一の仮想画像に対して複数のラベルを付与してもよい。例えば、単一の仮想画像中の異なる画像領域に対し、それぞれ、建築部材の種類を表すラベルを付与することができる。また、単一の仮想画像中の単一の画像領域に対し、建築部材の種類を表すラベルと、テクスチャを表すラベルとを付与することができる。
自動アノテーションの場合、ラベル付与部157は、例えば、半教師あり学習を通じて仮想画像にラベルを付与するように構成されてよい。半教師あり学習に利用される訓練データは、その一部にのみラベルが付与されている。ラベル付与部157は、例えば、ラベルありデータを用いた機械学習で構築された識別器を含み、この識別器を用いてラベルなしデータを識別(推定)し、その結果をラベルとして当該ラベルなしデータに付与するように構成される。このようにしてラベルが付与されたデータを用いて教師あり学習を行うことによって推論モデルを構築することができる。
ここで、半教師あり学習の手法は、任意であってよい。例えば、次のような手法を用いることができる:ブートストラップ法(自己訓練、共訓練、半教師ありサポートベクターマシン、能動学習など);グラフベース半教師あり学習(半教師ありk近傍法グラフ、半教師あり混合分布モデル、半教師ありサポートベクターマシン、能動学習など);生成モデル(条件付きGAN、条件付きサイクルGAN、半教師あり混合分布モデル、変分自己符号化法、ラダーネットワーク、敵対的オートエンコーダなど)。
また、自動アノテーションは半教師あり学習を用いた手法に限定されず、任意の公知の自動アノテーション手法を採用することが可能である。
制御部11は、仮想画像セット生成部152により生成された仮想画像セットと、ラベル付与部157により仮想画像セットに付与されたラベルとを、記憶部14に保存する(訓練データ143)。つまり、本態様の訓練データ143は、仮想画像セット生成部152により生成された仮想画像セットと、ラベル付与部157により仮想画像セットに付与されたラベルとを少なくとも含む。
本態様の推論モデル構築部153は、このような訓練データ143を用いた教師あり学習をニューラルネットワークに適用するように構成されている。それにより、建築物の計測データから建築部材のデータを特定するための推論モデルが構築される。
なお、本態様の変形例において、推論モデル構築部153は、訓練データ143を用いた半教師あり学習をニューラルネットワークに適用することによって推論モデルを構築するように構成されていてもよい。
本態様に係る情報処理装置1100の動作について説明する。情報処理装置1100の動作の一例を図12に示す。
まず、BIMデータを少なくとも含むデータセットが準備される(S41)。データセットの準備は、自動及び/又は手動で行われ、例えばクラウドコンピュータなどのコンピュータを用いて行われる。
次に、情報処理装置1100は、データセット受付部13により、ステップS41で準備されたデータセットを受け付ける(S42)。受け付けられたデータセットは、制御部11によって記憶部14に保存される(データセット141)。
次に、経路設定部151は、ステップS42で受け付けられたデータセット141に基づいて、データセット141中のBIMデータが表す仮想建築物の内部及び/又は外部における経路を設定する(S43)。設定された経路を表す情報は、制御部11によって記憶部14に保存される(経路情報142)。
次に、仮想画像セット生成部152は、データセット141及び経路情報142に基づいて、ステップS43で設定された経路に沿った、データセット141中のBIMデータが表す仮想建築物の仮想画像セットを生成する(S44)。生成された仮想画像セットは、ラベル付与部157に送られる。
次に、ラベル付与部157は、データセット141中のBIMデータに記録されている仮想建築部材に関するラベルを、ステップS44で生成された仮想画像セットに付与する(S45)。ラベル付けされた仮想画像セットは、(他のデータとともに)制御部11によって記憶部14に保存される(訓練データ143)。
次に、推論モデル構築部153は、ステップS45で生成されたラベル付き仮想画像セットを少なくとも含む訓練データ143を用いた教師あり学習をニューラルネットワークに適用して、建築物の計測データから建築部材のデータを特定するための推論モデルを構築する(S46)。構築された推論モデルは、制御部11によって記憶部14に保存される(推論モデル144)(エンド)。
このように、本態様に係る情報処理装置1100は、第1の態様の要素に加え、ラベル付与部157を含んでいる。ラベル付与部157は、BIMデータに記録されている仮想建築部材に関するラベルを仮想画像セットに付与するように構成されている。更に、推論モデル構築部153は、仮想画像セット及びラベルを少なくとも含む訓練データ143を用いた教師あり学習をニューラルネットワークに適用することで推論モデルを構築するように構成されている。
また、本態様は、建築物のリアリティキャプチャなどに使用可能な推論モデルを構築する方法を提供する。この推論モデル構築方法は、更に、BIMデータに記録されている仮想建築部材に関するラベルを仮想画像セットに付与する工程を含む(ラベル付与工程)。推論モデル構築工程は、仮想画像セット及びラベルを少なくとも含む訓練データを用いた教師あり学習をニューラルネットワークに適用して推論モデルを構築するように実行される。
本態様は、データセット準備工程、経路設定工程、仮想画像セット生成工程、ラベル付与工程、及び推論モデル構築工程のそれぞれをコンピュータに実行させるプログラムを提供する。このコンピュータは、例えば、建築物のリアリティキャプチャに使用可能な単一のコンピュータ、又は2以上のコンピュータを含むシステムである。
更に、本態様は、このようなプログラムが記録された、コンピュータ可読な非一時的記録媒体を提供する。この非一時的記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリのいずれかであってよい。
本態様は、データセット準備工程、経路設定工程、仮想画像セット生成工程、ラベル付与工程、及び推論モデル構築工程を通じて構築された推論モデルを提供する。
また、本態様は、このような推論モデルを用いて建築物の計測データから建築部材のデータを特定する処理をコンピュータに実行させるプログラムを提供する。
更に、本態様は、このようなプログラムが記録された、コンピュータ可読な非一時的記録媒体を提供する。この非一時的記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリのいずれかであってよい。
このような本態様によれば、BIMデータに記録されている仮想建築部材に関するラベルを仮想画像セットに対して手動及び又は自動で付与することができるので、推論モデルを構築するための教師あり学習(又は、半教師あり学習)を好適に行うことができる。
<第7の態様>
第7の態様に係る情報処理装置の構成例を図13に示す。情報処理装置1300は、第1の態様の情報処理装置1に送信部16を付加したものである。図13において、制御部11とユーザーインターフェイス12とを接続する矢印は省略されており、これらの接続形態は第1の態様と同様である。第1の態様と共通の要素については、特に言及しない限り説明は省略する。
送信部16は、推論モデル構築部153により構築された推論モデルを所定の移動体に送信するように構成されている。送信部16は、有線通信デバイス及び無線通信デバイスの少なくとも一方を含んでいてよい。移動体は、建築物の内部及び/又は外部を自律的に移動しつつ計測を行うように構成されている。移動体は、例えばUAV又は自走車である。また、移動体は人であってよく、推論モデルを携帯端末に送信することができる。
処理部15は、推論モデル構築部153により構築された推論モデルに基づいて、移動体を制御するための情報(移動制御情報)を作成するように構成されていてよい。作成された移動制御情報は、送信部16によって移動体に提供される。移動制御情報は、記憶部14に記憶されている情報にルールベースの処理を適用することによって作成されてもよい。
本態様に係る情報処理装置1300の動作について説明する。情報処理装置1300の動作の一例を図14に示す。
まず、BIMデータを少なくとも含むデータセットが準備される(S51)。データセットの準備は、自動及び/又は手動で行われ、例えばクラウドコンピュータなどのコンピュータを用いて行われる。
次に、情報処理装置1300は、データセット受付部13により、ステップS51で準備されたデータセットを受け付ける(S52)。受け付けられたデータセットは、制御部11によって記憶部14に保存される(データセット141)。
次に、経路設定部151は、ステップS52で受け付けられたデータセット141に基づいて、データセット141中のBIMデータが表す仮想建築物の内部及び/又は外部における経路を設定する(S53)。設定された経路を表す情報は、制御部11によって記憶部14に保存される(経路情報142)。
次に、仮想画像セット生成部152は、データセット141及び経路情報142に基づいて、ステップS53で設定された経路に沿った、データセット141中のBIMデータが表す仮想建築物の仮想画像セットを生成する(S54)。生成された仮想画像セットは、(他のデータとともに)制御部11によって記憶部14に保存される(訓練データ143)。
次に、推論モデル構築部153は、ステップS54で生成された仮想画像セットを少なくとも含む訓練データ143を用いた機械学習を所定のニューラルネットワークに適用して、建築物の計測データから建築部材のデータを特定するための推論モデルを構築する(S55)。構築された推論モデルは、制御部11によって記憶部14に保存される(推論モデル144)。
次に、制御部11は、推論モデル144を記憶部14から読み出して送信部16に送る。また、処理部15は、前述した移動制御情報を作成することができる。作成された移動制御情報は送信部16に送られる。送信部16は、所定の移動体に向けて推論モデル144及び/又は移動制御情報を送信する(S56)。移動体は、推論モデル144及び/又は移動制御情報を受信し、建築物の内部及び/又は外部を自律的に移動しつつ計測を行う(エンド)。
このように、本態様に係る情報処理装置1300は、第1の態様の要素に加え、送信部16を含んでいる。送信部16は、推論モデル構築部153により構築された推論モデル144を、建築物の内部及び/又は外部を自律的に移動しつつ計測を行うように構成された移動体に向けて送信するように構成されている。
また、本態様は、建築物のリアリティキャプチャなどに使用可能な推論モデルを構築する方法を提供する。この推論モデル構築方法は、更に、建築物の内部及び/又は外部を自律的に移動しつつ計測を行うように構成された移動体に向けて推論モデルを送信する工程を含む(送信工程)。
本態様は、データセット準備工程、経路設定工程、仮想画像セット生成工程、推論モデル構築工程、及び送信工程のそれぞれをコンピュータに実行させるプログラムを提供する。このコンピュータは、例えば、建築物のリアリティキャプチャに使用可能な単一のコンピュータ、又は2以上のコンピュータを含むシステムである。
更に、本態様は、このようなプログラムが記録された、コンピュータ可読な非一時的記録媒体を提供する。この非一時的記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリのいずれかであってよい。
本態様は、データセット準備工程、経路設定工程、仮想画像セット生成工程、推論モデル構築工程、及び送信工程を通じて得られた推論モデルを提供する。
また、本態様は、このような推論モデルを用いて建築物の計測データから建築部材のデータを特定する処理をコンピュータに実行させるプログラムを提供する。
更に、本態様は、このようなプログラムが記録された、コンピュータ可読な非一時的記録媒体を提供する。この非一時的記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリのいずれかであってよい。
このような本態様によれば、構築された推論モデルを移動体に容易に提供することができるので、推論モデル構築から移動体による計測への移行を円滑化することが可能である。
<第8の態様>
第8の態様に係るシステムの構成例を図15に示す。情報処理装置1500は、第1の態様の情報処理装置1の処理部15から経路設定部151を除外したものである。第1の態様と共通の要素については、特に言及しない限り説明は省略する。
本態様では、BIMデータと経路情報とを少なくとも含むデータセットが準備される。経路情報は、BIMデータが表す仮想建築物の内部及び/又は外部における経路を表す情報である。経路の設定方法は第1の態様と同様であってよいが、情報処理装置1500以外の装置又はシステムを用いて経路が設定される。
本態様の仮想画像セット生成部152は、データセット受付部13により受け付けられたデータセットに基づいて、経路情報が表す経路に沿った、BIMデータが表す仮想建築物の内部及び/又は外部の仮想画像セットを生成するように構成されている。
本態様の推論モデル構築部153は、仮想画像セット生成部152により生成された仮想画像セットを少なくとも含む訓練データを用いた機械学習をニューラルネットワークに適用して、建築物の計測データから建築部材のデータを特定するための推論モデルを構築するように構成されている。
本態様に係る情報処理装置1500の動作について説明する。情報処理装置1500の動作の一例を図16に示す。
まず、BIMデータと経路情報とを少なくとも含むデータセットが準備される(S61)。データセットの準備は、自動及び/又は手動で行われ、例えばクラウドコンピュータなどのコンピュータを用いて行われる。
次に、情報処理装置1500は、データセット受付部13により、ステップS61で準備されたデータセットを受け付ける(S62)。受け付けられたデータセットは、制御部11によって記憶部14に保存される(データセット141)。なお、図15に示す例では、経路情報もデータセット141に含まれているが、データセット受付部13により受け付けられたデータセットに含まれる経路情報を第1の態様と同様の経路情報142として記憶部14に保存してもよい。
次に、仮想画像セット生成部152は、ステップS62で受け付けられたデータセット141に基づいて、経路情報が表す経路に沿った、BIMデータが表す仮想建築物の仮想画像セットを生成する(S63)。生成された仮想画像セットは、(他のデータとともに)制御部11によって記憶部14に保存される(訓練データ143)。
次に、推論モデル構築部153は、ステップS63で生成された仮想画像セットを少なくとも含む訓練データ143を用いた機械学習を所定のニューラルネットワークに適用して、建築物の計測データから建築部材のデータを特定するための推論モデルを構築する(S64)。構築された推論モデルは、制御部11によって記憶部14に保存される(推論モデル144)(エンド)。
このように、本態様に係る情報処理装置1500は、第1の態様の要素から経路設定部151を除外した構成を有する。データセット受付部13は、BIMデータと経路情報とを少なくとも含むデータセットを受け付けるように構成されている。仮想画像セット生成部152は、データセット受付部13により受け付けられたデータセットに基づいて、経路情報が表す経路に沿った、BIMデータが表す仮想建築物の内部及び/又は外部の仮想画像セットを生成するように構成されている。推論モデル構築部153は、仮想画像セット生成部152により生成された仮想画像セットを少なくとも含む訓練データを用いた機械学習を所定のニューラルネットワークに適用して、建築物の計測データから建築部材のデータを特定するための推論モデルを構築するように構成されている。
また、本態様は、建築物のリアリティキャプチャなどに使用可能な推論モデルを構築する方法を提供する。この推論モデル構築方法は、次の工程を少なくとも含む:BIMデータと経路情報とを少なくとも含むデータセットを準備する工程(データセット準備工程);準備されたデータセットに基づいて、経路情報が表す経路に沿った、BIMデータが表す仮想建築物の仮想画像セットを生成する工程(仮想画像セット生成工程);生成された仮想画像セットを少なくとも含む訓練データを用いた機械学習を所定のニューラルネットワークに適用して、建築物の計測データから建築部材のデータを特定するための推論モデルを構築する工程(推論モデル構築工程)。すなわち、本態様の推論モデル構築方法は、第1の態様の方法から、経路設定工程を除外するとともに、データセット準備工程において経路情報を準備するように構成したものである。
本態様は、データセット準備工程、仮想画像セット生成工程、及び推論モデル構築工程のそれぞれをコンピュータに実行させるプログラムを提供する。このコンピュータは、例えば、建築物のリアリティキャプチャに使用可能な単一のコンピュータ、又は2以上のコンピュータを含むシステムである。
更に、本態様は、このようなプログラムが記録された、コンピュータ可読な非一時的記録媒体を提供する。この非一時的記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリのいずれかであってよい。
本態様は、データセット準備工程、仮想画像セット生成工程、及び推論モデル構築工程を通じて構築された推論モデルを提供する。
また、本態様は、このような推論モデルを用いて建築物の計測データから建築部材のデータを特定する処理をコンピュータに実行させるプログラムを提供する。
更に、本態様は、このようなプログラムが記録された、コンピュータ可読な非一時的記録媒体を提供する。この非一時的記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリのいずれかであってよい。
このような本態様によれば、第1の態様と同様に、様々な観点から建築管理の効率化を図ることが可能である。更に、本態様は、予め作成された経路情報を利用するように構成されているので、第1の態様と比較して処理負荷が低く、処理リソースも小さくて済むという利点がある。
<第9の態様>
第9の態様に係るシステムの構成例を図17に示す。情報処理装置1700は、第1の態様の情報処理装置1の処理部15から経路設定部151と仮想画像セット生成部152とを除外し、且つ、データセット受付部13の代わりに仮想画像セット受付部17を設けたものである。すなわち、情報処理装置1700は、第8の態様の情報処理装置1500の処理部15から仮想画像セット生成部152を除外し、且つ、データセット受付部13の代わりに仮想画像セット受付部17を設けたものである。第1の態様と共通の要素については、特に言及しない限り説明は省略する。
本態様では、BIMデータが表す仮想建築物の内部及び/又は外部の、所定の経路に沿った仮想画像セットが準備される。経路の設定方法及び仮想画像セットの生成方法は第1の態様と同様であってよいが、情報処理装置1500以外の装置又はシステムを用いて経路の設定と仮想画像セットの生成とが実行される。
仮想画像セット受付部17は、第1の態様のデータセット受付部13と同様の構成を有し、情報処理装置1700により処理されるデータ(仮想画像セット)を受け付ける機能を有する。仮想画像セット受付部17は、例えば、外部(装置、システム、データベースなど)との間でデータ通信を行うための通信デバイスを含んでいてよい。また、仮想画像セット受付部17は、記録媒体に記録されているデータを読み出すためのドライブ装置を含んでいてもよい。
本態様の推論モデル構築部153は、仮想画像セット受付部17により受け付けられた仮想画像セットを少なくとも含む訓練データを用いた機械学習をニューラルネットワークに適用して、建築物の計測データから建築部材のデータを特定するための推論モデルを構築するように構成されている。
本態様に係る情報処理装置1700の動作について説明する。情報処理装置1700の動作の一例を図18に示す。
まず、BIMデータに基づき仮想建築物の内部及び/又は外部における経路が設定され、この経路に沿った仮想建築物の仮想画像セットが準備される(S71)。仮想画像セットの準備は、自動及び/又は手動で行われ、例えばクラウドコンピュータなどのコンピュータを用いて行われる。
次に、情報処理装置1700は、仮想画像セット受付部17により、ステップS71で準備された仮想画像セットを受け付ける(S72)。受け付けられたデータセットは、制御部11によって記憶部14に保存される(訓練データ143)。
次に、推論モデル構築部153は、ステップS72で受け付けられた仮想画像セットを少なくとも含む訓練データ143を用いた機械学習を所定のニューラルネットワークに適用して、建築物の計測データから建築部材のデータを特定するための推論モデルを構築する(S73)。構築された推論モデルは、制御部11によって記憶部14に保存される(推論モデル144)(エンド)。
このように、本態様に係る情報処理装置1700は、第1の態様の要素から経路設定部151と仮想画像セット生成部152を除外するとともに、データセット受付部13の代わりに仮想画像セット受付部17を設けた構成を有する。仮想画像セット受付部17は、BIMデータが表す仮想建築物の内部及び/又は外部の、所定の経路に沿った仮想画像セットを受け付けるように構成されている。推論モデル構築部153は、仮想画像セット受付部17により受け付けられた仮想画像セットを少なくとも含む訓練データを用いた機械学習を所定のニューラルネットワークに適用して、建築物の計測データから建築部材のデータを特定するための推論モデルを構築するように構成されている。
また、本態様は、建築物のリアリティキャプチャなどに使用可能な推論モデルを構築する方法を提供する。この推論モデル構築方法は、次の工程を少なくとも含む:BIMデータが表す仮想建築物の内部及び/又は外部の、所定の経路に沿った仮想画像セットを準備する工程(仮想画像セット準備工程);準備された仮想画像セットを少なくとも含む訓練データを用いた機械学習を所定のニューラルネットワークに適用して、建築物の計測データから建築部材のデータを特定するための推論モデルを構築する工程(推論モデル構築工程)。すなわち、本態様の推論モデル構築方法は、第1の態様の方法から、経路設定工程と仮想画像セット生成工程とを除外するとともに、データセット準備工程の代わりに仮想画像セット準備工程を設けたものである。
本態様は、仮想画像セット準備工程、及び推論モデル構築工程のそれぞれをコンピュータに実行させるプログラムを提供する。このコンピュータは、例えば、建築物のリアリティキャプチャに使用可能な単一のコンピュータ、又は2以上のコンピュータを含むシステムである。
更に、本態様は、このようなプログラムが記録された、コンピュータ可読な非一時的記録媒体を提供する。この非一時的記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリのいずれかであってよい。
本態様は、仮想画像セット準備工程、及び推論モデル構築工程を通じて構築された推論モデルを提供する。
また、本態様は、このような推論モデルを用いて建築物の計測データから建築部材のデータを特定する処理をコンピュータに実行させるプログラムを提供する。
更に、本態様は、このようなプログラムが記録された、コンピュータ可読な非一時的記録媒体を提供する。この非一時的記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリのいずれかであってよい。
このような本態様によれば、第1の態様と同様に、様々な観点から建築管理の効率化を図ることが可能である。更に、本態様は、予め生成された仮想画像セットを利用するように構成されているので、第1の態様と比較して処理負荷が低く、処理リソースも小さくて済むという利点がある。第8の態様との比較においても同様である。
<第10の態様>
以上に説明した例示的な態様(第1〜第9の態様)は、推論モデルの構築に関するものである。これに対し、第10の態様は、推論モデルの利用に関するものである。
本態様で用いられる推論モデルは、例えば、第1〜第9の態様のいずれかに係る推論モデル、第1〜第9の態様のいずれかに係る推論モデルと同等の推論モデル、又は、第1〜第9の態様のいずれかに係る推論モデルに基づき構築された推論モデルであってよい。
第1〜第9の態様のいずれかに係る推論モデルと同等の推論モデルとしては、例えば、第1〜第9の態様のいずれかに係る推論モデルの均等範囲に属する推論モデル、第1〜第9の態様のいずれかに係る推論モデルと実質的に同一の構築方法により得られた推論モデル、第1〜第9の態様のいずれかに係る推論モデルと実質的に同一の構成を有する推論モデル、第1〜第9の態様のいずれかに係る推論モデルと実質的に同一の機能を有する推論モデルなどがある。
また、第1〜第9の態様のいずれかに係る推論モデルに基づき構築された推論モデルとしては、例えば、第1〜第9の態様のいずれかに係る推論モデルに更なる機械学習を適用して得られた推論モデル、第1〜第9の態様のいずれかに係る推論モデルに転移学習を適用して得られた推論モデル、第1〜第9の態様のいずれかに係る推論モデルの少なくとも一部を含む推論モデルなどがある。
以下に説明するように、本態様は、建築物を計測して得られたデータ(計測データ)から建築部材のデータを特定するように構成されているが、推論モデルの利用はこれに限定されない。例えば、幾つかの例示的な態様は、建築物の計測データから他のデータを特定するように構成され、又は、建築物以外の対象の計測データから所定のデータを特定するように構成される。
本態様に係る情報処理装置の構成例を図19に示す。情報処理装置1900は、例えば、建築物リアリティキャプチャシステムに含まれていてよい。建築物リアリティキャプチャシステムは、実際の建築物を計測してデジタルデータ(撮影画像、スキャンデータ、点群データなどの計測データ)を取得する機能を有する。これにより取得された計測データが情報処理装置1900に入力される。
例えば、情報処理装置1900は、UAVや自走車などの移動体に搭載されていてもよいし、計測者が携帯するモバイルコンピュータであってもよいし、計測現場(建築現場)で用いられるコンピュータ(エッジコンピュータなど)であってもよいし、計測現場以外の場所で用いられるコンピュータ(クラウドコンピュータなど)であってもよい。
本態様に係る情報処理装置1900は、記憶部24と処理部25とを少なくとも含み、制御部21とユーザーインターフェイス22とデータ受付部23とを更に含む。
制御部21は、情報処理装置1900の各種制御を実行するように構成されている。制御部21は、例えば、プロセッサ及び記憶装置を含むハードウェアと、制御ソフトウェアとの協働によって実現される。制御部21は、1つのコンピュータに設けられ、又は2以上のコンピュータに分散配置されている。
ユーザーインターフェイス22は、例えば、表示デバイス、操作デバイス、入力デバイスなどを含む。幾つかの例示的な態様のユーザーインターフェイス22は、タッチスクリーン、ポインティングデバイス、コンピュータグラフィクスなどを利用したグラフィカルユーザーインターフェイス(GUI)を含む。ユーザーインターフェイス22は、1つのコンピュータに設けられ、又は2以上のコンピュータに分散配置されている。
データ受付部23は、情報処理装置1900により処理されるデータを受け付ける機能を有する。データ受付部23は、外部(装置、システム、データベースなど)との間でデータ通信を行うための通信デバイスを含んでいてもよい。また、データ受付部23は、記録媒体に記録されているデータを読み出すためのドライブ装置を含んでいてもよい。また、受け付けられるデータを生成する装置(計測装置、情報処理装置など)に情報処理装置1900が組み込まれている場合、データ受付部23は当該装置内のバスを含んでいてもよい。
データ受付部23は、例えば、建築物の計測データを受け付ける。また、データ受付部23は、推論モデルを受け付ける。なお、情報処理装置1900が推論モデル構築機能を有する場合、データ受付部23は推論モデルを外部から受け付けなくてもよい。
データ受付部23により受け付けられる計測データは、例えば、UAVや自走車や作業者などの移動体に搭載されたカメラ(全周カメラ)又はビデオカメラ(全周ビデオカメラ)を用いて建築物を撮影することにより取得されるか、又は、レーザースキャナーやトータルステーションを用いて建築物をスキャンすることにより取得される。
また、データ受付部23により受け付けられる計測データは、撮影やスキャンにより取得されたデータ(生データ)に所定の処理を適用して生成されたものであってもよい。生データに適用される処理の例として、SfM、MVS、SLAM(V−SLAM)などがある。
記憶部24は、各種のデータ(情報)を記憶するように構成されている。記憶部24は、例えば、データ受付部23により受け付けられたデータを記憶する。記憶部24は、例えば、HDD、SSDなどの比較的大容量の記憶装置を含む。本態様において、記憶装置24には、推論モデル241と計測データ242とが記憶される。
推論モデル241は、BIMデータが表す仮想建築物の内部及び/又は外部における所定の経路に沿った仮想画像セットを少なくとも含む訓練データを用いた機械学習を所定のニューラルネットワークに適用して構築された学習済みモデルである。推論モデル241は、データ受付部23によって受け付けられ、制御部21によって記憶部24に保存される。
推論モデル241は、例えば、第1〜第9の態様のいずれかの推論モデル144であってよい。また、推論モデル241は、第1〜第9の態様のいずれかの推論モデル144に基づき構築された推論モデル、推論モデル144と同等の推論モデル、又は、推論モデル144と同等の推論モデルに基づき構築された推論モデルであってもよい。
計測データ242は、実際の建築物を計測して取得されたデータである。計測データ242は付帯情報を有していてよい。付帯情報は、例えば、前述した属性に関する情報であってよく、他の任意の情報であってもよい。
計測データは、例えば、移動体に搭載されたカメラ(全周カメラ)やビデオカメラ(全周ビデオカメラ)により建築物を撮影して得られた撮影画像(静止画像、動画像(映像))、レーザースキャナーやトータルステーションにより建築物をスキャンして得られたスキャンデータなどであってよい。また、計測データ242は、撮影画像やスキャンデータなどの生データを加工して得られたデータであってもよい。
計測データ242は、データ受付部23によって受け付けられ、制御部21によって記憶部24に保存される。なお、データ受付部23が受け付けた計測データを処理部25に送り、所定の処理を施した後に計測データ242として記憶部24に保存するようにしてもよい。処理部25が実行する当該処理は、推論モデル241を用いたデータ処理の前処理と言える。この前処理の例として、SfM、MVS、SLAM(V−SLAM)などがある。
処理部25は、データ処理を実行するように構成されている。処理部25は、例えば、プロセッサ及び記憶装置を含むハードウェアと、データ処理ソフトウェアとの協働によって実現される。処理部25は、1つのコンピュータに設けられ、又は2以上のコンピュータに分散配置される。本態様の処理部25は、特徴量抽出器251と、特定器252とを含む。
特徴量抽出器251は、推論モデル241を用いて実現される。特徴量抽出器251は、推論モデル241に入力された計測データ242から特徴量を抽出する。
推論モデル241が畳み込みニューラルネットワークを含む場合、特徴量抽出器251は、例えば、複数の畳み込み層と複数のプーリング層とを含む(図2を参照)。
計測データ242から抽出される特徴量の種類は、推論モデル241の構成により定められている。例えば、推論モデル241が畳み込みニューラルネットワークを含む場合、特徴量抽出器251により抽出される特徴量(特徴マップ)の種類は、畳み込み層の構成(カーネル(フィルタ)、活性化関数など)などによって定められている。
特定器252は、推論モデル241を用いて実現される。特定器252は、特徴量抽出器251により抽出された特徴量に基づいて、計測データ242に含まれる建築部材のデータを特定する。
推論モデル241が畳み込みニューラルネットワークを含む場合、特徴量抽出器251は、例えば、1以上の全結合層と出力層とを含む(図2を参照)。
特徴量から特定される建築部材のデータの種類は、推論モデル241の構成により定められている。例えば、推論モデル241が畳み込みニューラルネットワークを含む場合、特定器252により特定される建築部材のデータの種類は、全結合層の構成(重み、バイアス、活性化関数など)や、出力層の構成(ノード数など)により定められている。
出力層のノード数は、例えば、識別される建築部材の種類(柱、梁、壁、スラブ、屋根、基礎、窓、ドア、階段、タイル、フローリング、各種の部品、各種の機械、各種の機器、各種の設備など)の個数と等しい。この場合、例えば、出力層では、計測データ242中の或るデータ領域(何らかの建築部材に対応するデータ領域)がそれぞれの種類である確率が求められ、最も高確率の種類が選択される。これにより、計測データ242中の或るデータ領域に対応する建築部材の種類が特定される。本例では、推論モデル241は、画像セグメンテーション(例えば、セマンティックセグメンテーション)を実行するように構成される。
本態様に係る情報処理装置1900の動作について説明する。情報処理装置1900の動作の一例を図20に示す。
まず、情報処理装置1900は、データ受付部23により、予め構築された推論モデルを受け付ける(S81)。受け付けられた推論モデルは、制御部21によって記憶部24に保存される(推論モデル241)。
次に、情報処理装置1900は、データ受付部23により、予め取得された建築物の計測データを受け付ける(S82)。受け付けられた計測データは、制御部21によって記憶部24に保存される(計測データ242)。
次に、制御部21は、推論モデル241を処理部25(プロセッサ)にロードする。これにより、処理部25は、特徴量抽出器251及び特定器252として動作可能になる。制御部21は、計測データ242を処理部25(推論モデル241)に入力する(S83)。
次に、特徴量抽出器251は、入力された計測データ242から特徴量を抽出する(S84)。
次に、特定器252は、ステップS84で抽出された特徴量に基づいて建築部材のデータを特定する(S85)。
次に、制御部21は、ステップS85で特定された建築部材のデータをユーザーインターフェイス22の表示デバイスに表示させる(S86)(エンド)。
このように、本態様に係る情報処理装置1900は、記憶部24と処理部25とを含む。記憶部24は、BIMデータが表す仮想建築物の内部及び/又は外部における所定の経路に沿った仮想画像セットを少なくとも含む訓練データを用いた機械学習を所定のニューラルネットワークに適用して構築された推論モデル241を記憶する。処理部25は、推論モデル241を用いてデータ処理を行う。より具体的には、処理部25は、推論モデル241を用いることで、特徴量抽出器251及び特定器252として機能する。特徴量抽出器251は、計測データ242から特徴量を抽出する。特定器252は、特徴量抽出器251により抽出された特徴量に基づいて建築部材のデータを特定する。
また、本態様は、建築物のリアリティキャプチャなどにおいて利用可能な情報処理方法を提供する。この情報処理方法は、次の工程を少なくとも含む:BIMデータが表す仮想建築物の内部及び/又は外部における所定の経路に沿った仮想画像セットを少なくとも含む訓練データを用いた機械学習を所定のニューラルネットワークに適用して構築された推論モデルを受け付ける工程(推論モデル受け付け工程);受け付けられた推論モデルを用いてデータ処理を行うプロセッサにより、建築物の計測データから特徴量を抽出する工程(特徴量抽出工程);受け付けられた推論モデルを用いてデータ処理を行うプロセッサにより、特徴量抽出工程で抽出された特徴量に基づいて建築部材のデータを特定する(建築部材データ特定工程)。
本態様は、推論モデル受け付け工程、特徴量抽出工程、及び建築部材データ特定工程のそれぞれをコンピュータに実行させるプログラムを提供する。このコンピュータは、例えば、建築物のリアリティキャプチャに使用可能な単一のコンピュータ、又は2以上のコンピュータを含むシステムである。
更に、本態様は、このようなプログラムが記録された、コンピュータ可読な非一時的記録媒体を提供する。この非一時的記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリのいずれかであってよい。
このような本態様によれば、建築物の計測データ(撮影画像、スキャンデータ、点群データなど)から建築部材のデータを自動で特定することができるので、建築管理の効率化を図ることが可能である。
<第11の態様>
第11の態様では、第1〜第10の態様のいずれかを応用して実現可能なシステム及びその使用形態について説明する。本システムは、建築分野の情報管理(施工管理、維持管理、補修管理など)に用いられ、移動体(UAV、自走車、人など)、測量機器(トータルステーション、光波測距儀、セオドライト、距離計など)、データ処理技術(SfM、MVS、SLAMなど)、モデリング技術(コンピュータグラフィクス、CAD、BIMなど)の様々な技術を利用した融合的システムである。
本態様に係るシステムの構成例を図21に示す。システム2100は、UAV2110と、UAVコントローラ2120と、トータルステーション2130と、エッジコンピュータ2140とを含む。クラウドコンピュータ2150は、システム2100に含まれていてもよいし、システム2100との間でデータ通信可能な外部装置であってもよい。なお、UAV2110、UAVコントローラ2120、トータルステーション2130、及びエッジコンピュータ2140のいずれかは、システム2100の外部装置であってもよい。
なお、本態様に対して特許文献1〜12の技術を組み合わせることが可能であり、また、特開2018−138922号公報、特開2018−138923号公報などに記載された技術を援用することが可能である。
UAV2110は、小型の無人飛行体であり、(実体)建築物の内部及び/又は外部を飛行して建築物のデータを収集する。UAV2110は、各種制御を行う制御部2111と、建築物のデータを収集するための撮影部2112と、V−SLAM処理を実行するV−SLAM部2113と、障害物検知処理を実行する障害物検知部2114とを含む。
図示は省略するが、UAV2110は、一般的なUAVと同様に、複数のプロペラ、各プロペラを回転させるプロペラモータなど、飛行するための要素を備えている。また、図示は省略するが、UAV2110は、例えば、慣性計測装置(IMU)、全地球航法衛星システム(GNSS)を用いた位置測定・航法・計時のための装置など、標準的なUAVに搭載可能な任意の手段を備えていてもよい。また、図示は省略するが、UAV2110は、トータルステーション2130によるUAV2110の追尾のための部材を備えていてよい。この部材は、例えば、プリズム、反射シールなどの再帰反射体であってよい。
制御部2111は、例えば、プロセッサ及び記憶装置を含むハードウェアと、制御ソフトウェアとの協働によって実現される。UAV2110は、制御部2111の制御の下に自律飛行が可能である。また、UAV2110は、UAVコントローラ2120などを用いた遠隔操作飛行も可能である。その際、制御部2111は、UAVコントローラ2120などからの操作指示信号に基づいてUAV2110の飛行制御を行う。制御部2111は、他の装置(UAVコントローラ2120、エッジコンピュータ2140など)との間でデータ通信を行うための通信デバイスを含む。このデータ通信は、典型的には無線通信であるが、有線通信が可能であってもよい。
撮影部2112は、例えば、デジタルカメラ、レーザースキャナー、及びスペクトルカメラのいずれか1つ以上を含んでいてよい。デジタルカメラとしては、典型的には、全方位カメラ(omnidirectional camera;全周カメラ、360度カメラとも呼ばれる)が用いられる。撮影部2112が全方位カメラにより周辺環境の画像(映像)を取得する場合について特に詳細に説明するが、他の場合についても同様の処理を行うことが可能である。
V−SLAM部2113は、例えば、プロセッサ及び記憶装置を含むハードウェアと、V−SLAMソフトウェアとの協働によって実現される。V−SLAM部2113は、撮影部2112により取得された映像をリアルタイムで解析して、UAV2110の周辺環境(建築物など)の3次元情報を生成し、且つ、UAV2110(特に撮影部2112)の位置及び姿勢を推定する。V−SLAM部2113が実行する処理は、公知のV−SLAM処理と同様であってよい。なお、V−SLAMと同様の出力を生成することが可能な他の技術を代替的に用いることが可能である。
障害物検知部2114は、例えば、プロセッサ及び記憶装置を含むハードウェアと、障害物検知ソフトウェアとの協働によって実現される。障害物検知部2114は、例えば、撮影部2112により取得された映像を構成する画像(フレーム)を推論モデル(学習済みモデル)に入力することにより、障害物(道具、作業者など)に相当する画像領域を検出する。この推論モデルは、例えば、第1〜第10の態様のいずれかにおける推論モデルであってよい。なお、障害物検知部2114は、障害物に相当する画像領域を検出するためにルールベースの処理を用いてもよい。また、障害物検知部2114は、推論モデルを用いた処理とルールベース処理とを組み合わせて障害物検知を行うように構成されてもよい。
障害物検知部2114からの出力は制御部2111に入力される。制御部2111は、障害物検知部2114からの出力に基づいて、検知された障害物への衝突を避けるための制御を行う。この制御は、例えば、飛行経路の変更、空中浮揚、着陸、自律飛行から他律飛行への切り替え、警告音の出力、及び、UAVコントローラ2120に警告情報(警告音、警告表示など)を出力させるための指示のいずれかであってよい。
UAVコントローラ2120は、UAV2110を遠隔操作するためのリモートコントローラとして用いられる。また、UAVコントローラ2120は、計測対象の建築物に関する情報(BIMモデル、CADモデル、部材の情報、施工計画など)を表示するために用いられる。また、UAVコントローラ2120は、UAV2110に関する情報(飛行経路、撮影部2112により得られた映像、警告など)を出力するために用いられる。また、UAVコントローラ2120は、UAV2110の飛行計画(飛行経路)の作成や編集に用いられてもよい。
UAVコントローラ2120は、制御部2121とユーザーインターフェイス2122とを含む。制御部2121は、UAVコントローラ2120の各部を制御する。プロセッサ及び記憶装置を含むハードウェアと、制御ソフトウェアとの協働によって実現される。制御部2121は、他の装置(UAV2110、エッジコンピュータ2140など)との間でデータ通信を行うための通信デバイスを含む。このデータ通信は、典型的には無線通信であるが、有線通信が可能であってもよい。
ユーザーインターフェイス2122は、例えば、表示デバイス、操作デバイス、入力デバイスなどを含む。ユーザーインターフェイス2122は、典型的には、タブレット、スマートフォンなどのモバイルコンピュータであり、タッチスクリーン、GUIなどを含む。
トータルステーション2130は、飛行しているUAV2110を追尾するために用いられる。UAV2110に再帰反射体が設けられている場合、トータルステーション2130は、追尾光(測距光)を出力し、再帰反射体による追尾光の反射光を受光することによって、再帰反射体を追尾する。トータルステーション2130は再帰反射体の追尾を行いつつ、トータルステーション2130の設置位置(又は、他の基準位置)を基準とした3次元座標(斜距離(slope distance)、水平角、鉛直角など)を測定する。追尾機能は、例えば、プロセッサ及び記憶装置を含むハードウェアと、追尾ソフトウェアとの協働によって実現される。また、3次元座標測定機能は、例えば、プロセッサ及び記憶装置を含むハードウェアと、3次元座標測定ソフトウェアとの協働によって実現される。
UAV2110に再帰反射体が設けられない場合、例えば、UAV2110に複数の受光センサを設けることができる(図示は省略する)。各受光センサは、トータルステーション2130からの追尾光を受光可能である。複数の受光センサのうちのいずれの受光センサが追尾光を受光したか判断することで、トータルステーション2130に対するUAV2110の向きを推定することが可能である。この推定処理は、例えば、UAV2110、UAVコントローラ2120、トータルステーション2130、及びエッジコンピュータ2140のいずれかにより実行される。
トータルステーション2130は、他の装置(UAV2110、UAVコントローラ2120、エッジコンピュータ2140など)との間でデータ通信を行うための通信デバイスを含む。このデータ通信は、典型的には無線通信であるが、有線通信が可能であってもよい。トータルステーション2130は、前述の追尾とともに逐次に取得されるUAV2110の位置情報(3次元座標)をリアルタイムでUAV2110に送信することができる。
このように、UAV2110は、トータルステーション2130から送信される情報により、自身の現在位置を認識することができる。また、UAV2110は、V−SLAM部2113により得られた情報により、自身の現在位置を認識することができる。
トータルステーション2130による追尾の死角領域をUAV2110が飛行しているとき、UAV2110は、V−SLAMに基づく(比較的大まかな)位置情報のみをリアルタイムで認識する。
一方、死角領域以外の領域をUAV2110が飛行しているとき、UAV2110は、V−SLAMに基づく(比較的大まかな)位置情報と、トータルステーション2130に基づく(比較的詳細な)位置情報との双方を、リアルタイムで認識することができる。双方の位置情報をリアルタイムで取得できるとき、UAV2110は、双方の位置情報を対応付けることができる。
また、UAV2110は、双方の位置情報を取得可能なときにはトータルステーション2130に基づく(比較的詳細な)位置情報を参照して自律飛行し、それ以外のときにはV−SLAMに基づく(比較的大まかな)位置情報を参照して自律飛行するように構成されていてよい。
エッジコンピュータ2140は、建築現場でのエッジコンピューティングを実現するためのコンピュータであり、UAV2110、UAVコントローラ2120、トータルステーション2130などの装置からのデータを建築現場(又はその近く)で処理する。このようなエッジコンピューティングの導入により、システム2100全体における負荷増大や通信遅延の解消を図ることができる。
エッジコンピュータ2140は、UAV2110、UAVコントローラ2120、トータルステーション2130など、建築現場において用いられる装置との間でデータ通信を行うための通信デバイスを含む。このデータ通信は、典型的には無線通信であるが、有線通信が可能であってもよい。
また、エッジコンピュータ2140は、クラウドコンピュータ2150との間でデータ通信を行うための通信デバイスを含む。このデータ通信は、典型的には無線通信であるが、有線通信が可能であってもよい。
更に、エッジコンピュータ2140は、BIMデータ処理アプリケーションや建築データ管理アプリケーションを含んでいてよい。本態様において、エッジコンピュータ2140は、SfM・MVS部2141と施工管理部2142とを含む。
SfM・MVS部2141は、例えば、プロセッサ及び記憶装置を含むハードウェアと、SfMソフトウェア及びMVSソフトウェアとの協働によって実現される。SfM・MVS部2141は、例えば、UAV2110の撮影部2112により取得された映像と、UAV2110のV−SLAM部2113により取得されたUAV2110の位置情報と、トータルステーション2130により取得されたUAV2110の位置情報とに基づいて、UAV2110の位置情報(実際に飛行した経路)と、(実体)建築物の3次元モデルとを作成するように構成される。
SfM・MVS部2141は、SfM処理として、UAV2110が飛行しながら取得した映像から、UAV2110の位置情報を推定する。より具体的には、SfM・MVS部2141は、UAV2110が飛行しながら取得した映像にSfM処理を適用することにより、UAV2110が実際に飛行した経路を表す時系列3次元座標と、時系列3次元座標における各3次元座標に対応したUAV2110の姿勢とを求める。すなわち、SfM・MVS部2141は、撮影部2112に含まれるカメラの移動経路を表す時系列3次元座標と、この移動経路に沿ったカメラの時系列姿勢情報とを取得する。SfM処理において、トータルステーション2130により取得されたUAV2110の位置情報(3次元座標)を参照することができる。これにより、取得される時系列3次元座標及び時系列姿勢情報の精度の向上を図ることができる。本例のSfM処理は、公知のSfM処理と同様であってよい。なお、本例のSfM処理と同様の出力を生成することが可能な他の技術を代替的に用いることが可能である。
更に、SfM・MVS部2141は、MSV処理として、SfM処理で求められたUAV2110の位置情報(カメラの時系列位置情報及び時系列姿勢情報)と、UAV2110が飛行しながら取得した映像とに基づいて、(実体)建築物の点群データを生成する。
本例において、エッジコンピュータ2140(SfM・MVS部2141、施工管理部2142、又は他のデータ処理部)は、撮影部2112により取得された映像を構成する画像(フレーム)を推論モデルに入力することにより、建築部材に相当する画像領域(部材領域)を検出するように構成されてよい(画像セグメンテーション)。この推論モデルは、例えば、第1〜第10の態様のいずれかにおける推論モデルであってよい。また、エッジコンピュータ2140(SfM・MVS部2141、施工管理部2142、又は他のデータ処理部)は、検出された各部材領域に対応した部材属性(種類、識別情報(ID)、形状、位置、計測日、計測時刻など)を特定することができる。この処理においても推論モデルを用いることができる。なお、エッジコンピュータ2140は、部材領域検出及び部材属性特定のためにルールベースの処理を用いてもよい。また、エッジコンピュータ2140は、推論モデルを用いた処理とルールベース処理とを組み合わせて部材領域検出及び部材属性特定を行うように構成されてもよい。
施工管理部2142は、例えば、プロセッサ及び記憶装置を含むハードウェアと、施工管理ソフトウェアとの協働によって実現される。施工管理部2142は、システム2100により扱われる各種データの管理を行うように構成されている。施工管理部2142が実行する処理については後述する。
クラウドコンピュータ2150は、コンピュータネットワークを経由して遠隔地から建築現場にコンピュータ資源をサービスの形で提供するクラウドコンピューティングを実現するためのコンピュータである。このようなクラウドコンピューティングの導入により、システム2100に提供可能なサービスの拡張性、柔軟性、効率性などの向上を図ることができる。
クラウドコンピュータ2150は、例えば、BIMツール、データ管理ツール、これらツールに用いられるデータ(設計BIM、施工情報、計測BIMなど)を管理し、エッジコンピュータ2140に提供するように構成される。本態様において、クラウドコンピュータ2150は、BIM部2151とデータ管理部2152とを含む。
BIM部2151は、BIMツールなどの各種ツールや、BIMツールに用いられるデータなどの各種データを、エッジコンピュータ2140に提供する。BIM部2151は、例えば、プロセッサ及び記憶装置を含むハードウェアと、BIMソフトウェアとの協働によって実現される。BIM部2151が実行する処理については後述する。
データ管理部2152は、各種ツールや各種データを管理する。データ管理部2152は、例えば、プロセッサ及び記憶装置を含むハードウェアと、データ管理ソフトウェアとの協働によって実現される。データ管理部2152が実行する処理については後述する。
このような本態様のシステム2100により扱われるデータの構造(データフォーマット)の例を図22に示す。データフォーマット2250は、設計データ2210と、レンダリングデータ2220と、計測データ2230と、検査情報2240と、検査用知識ベース2250と、検査データ2260とを含む。つまり、データフォーマット2250は、少なくともこれらの種類のデータが記録される領域を含んだデータ構造を有する。
設計データ2210が記録される領域には、BIMデータ(設計BIM)、設計図など、前述した各種の設計データが記録される。
レンダリングデータ2220が記録される領域には、設計BIMをレンダリングして得られた画像データ(仮想画像)が記録される。レンダリングデータは、設計BIM中の複数の位置のそれぞれについて構築される。例えば、予め設定された飛行経路上の複数の位置のそれぞれについて、その位置を視点としたボリュームレンダリングを設計BIMに適用する。それにより、設計BIM中の飛行経路に沿った複数のレンダリングデータ(複数の仮想画像)が得られる。各レンダリングデータに対し、対応する位置情報(設計BIM中の視点の3次元座標)を、属性情報として付帯させることができる。レンダリングデータの属性情報はこれに限定されない。例えば、レンダリングデータの属性情報は設計BIMに関する任意の情報、レンダリング処理に関する任意の情報、レンダリングデータに関する任意の情報などを含んでいてよい。
計測データ2230が記録される領域には、(実体)建築物を計測して取得された各種のデータが記録される。このようなデータの例として、建築物の点群データ(スキャンデータ)、各計測位置の3次元座標、UAV2110の撮影部2112により取得された映像、2次元画像、寸法情報、計測日、計測時刻などがある。また、これらのデータのいずれかに関するパラメータ情報を記録することもできる。例えば、点群データ作成処理に関するパラメータ情報や、撮影部2112による撮影処理に関するパラメータ情報などを記録することが可能である。
検査情報2240が記録される領域には、仮想部材に対応した実体部材を検査するための各種情報(検査情報)が記録される。検査情報2240は、例えば、各検査位置(各仮想部材の位置)における検査対象(仮想部材)の形状、寸法、施工日、施工時刻などを含む。つまり、検査情報2240は、各仮想部材の複数の属性に関する情報を含んでいてよい。検査情報はこれらに限定されず、検査に関する任意の情報を含んでいてよい。
検査用知識ベース2250が記録される領域には、仮想部材に対応した実体部材を検査するために用いられる各種の知識が記録される。検査用知識ベース2250は、例えば、計測経路(飛行経路に沿った複数の検査位置)、前述した推論モデルなどを含む。また、検査用知識ベース2250は、ルールベースのアルゴリズムを含んでいてもよい。
検査データ2260が記録される領域には、仮想部材に対応した実体部材を検査することにより取得された各種のデータ(検査データ)が記録される。検査データ2260は、例えば、検査位置における対象物の有無(仮想部材に対応する実体部材の有無)、仮想部材に対する実体部材の偏位(位置ずれの有無、位置ずれの方向、位置ずれの向きなど)、検査位置が所定条件を満足しているかの判定結果などを含む。この判定は、例えば、予め設定された飛行経路上から得たデータに基づき検査が行われたか否かの判定、換言すると、当該時点において障害物回避(又は、他の理由による飛行経路からの逸脱)が行われたか否かの判定を含んでよい。
このような本態様のシステム2100の動作例について、図23A、図23B及び図23Cを更に参照して説明する。
本動作例の一連の工程(検査)を実施するタイミングは任意である。例えば、所定の施工プロセスごとに検査を実施することができる。例示的な用途として、以下の一連の工程を各工事日に実施することで、各工事日における施工進捗状況をデータ化することができる。本動作例の用途が施工進捗状況確認のみである場合、各仮想部材に対応した実体部材の有無の検査のみを実施するようにしてよい。他の用途の場合、より高い精度で検査を行うようにしてよい。
(S91:飛行経路を生成する)
本動作例ではまず、クラウドコンピュータ2150が、エッジコンピュータ2140(施工管理部2142)が、設計BIM、施工情報(部材ごとの施工日情報)、UAV2110を用いた検査を実施する日(計測日情報)、障害物画像(仮想的に生成された画像、実際の撮影画像)などを、エッジコンピュータ2140に送信する。エッジコンピュータ2140は、クラウドコンピュータ2150から提供された情報に基づいて、当該計測日におけるUAV2110の飛行経路を決定する。
飛行経路の生成は、クラウドコンピュータ2150が行ってもよいし、UAVコントローラ2120が行ってもよいし、他のコンピュータが行ってもよい(以下同様)。また、計測日情報をクラウドコンピュータ2150から取得する代わりに、エッジコンピュータ2140又はUAVコントローラ2120が計測日情報を生成してもよい。飛行経路の生成は、全自動、半自動、又は手動で行われる。施工日情報は、施工時刻を含んでいてもよい。
飛行経路は、例えば、UAV2110の撮影部2112と検査対象(部材、床、天井、壁、設備、柱など)との間の距離が許容範囲に含まれるように決定される。例えば、この距離が近いほど検査精度が向上することを考慮して許容範囲(最大距離)を設定することができる。他方、建築物の全体を撮影できるように許容範囲(最小距離)を設定することができる。
(S92:飛行経路をUAVに送信する)
エッジコンピュータ2140は、例えばユーザーの指示を受けて、ステップS91で生成された飛行経路の情報をUAV2110に送信する。
(S93:仮想画像を生成する)
また、エッジコンピュータ2140は、ステップS91で生成された飛行経路に基づいて設計BIMをレンダリングすることにより仮想画像(レンダリングデータ)を生成する。例えば、エッジコンピュータ2140は、設計BIMが定義された3次元仮想空間内を仮想UAV(仮想カメラ)が当該飛行経路に沿って飛行したときに得られる仮想的な映像を生成する。より具体的には、エッジコンピュータ2140は、当該飛行経路上の複数の位置のそれぞれについて、当該位置から仮想カメラで取得される仮想BIM(仮想建築物)の画像を生成する。
(S94:推論モデルを構築する)
エッジコンピュータ2140は、ステップS93で生成された仮想画像(及び、他の複数の仮想画像)を訓練データとした機械学習を所定のニューラルネットワークに適用することで、実体建築物のデータから部材データを特定するための推論モデル(第1の推論モデル)を構築する。この処理は、例えば、前述したいずれかの例示的な態様にしたがって実行されてよい。
また、エッジコンピュータ2140は、ステップS91でクラウドコンピュータ2150から提供された障害物画像(及び、他の複数の障害物画像)を訓練データとした機械学習を所定のニューラルネットワークに適用することで、実体建築物のデータに混入した障害物のデータを特定するための推論モデル(第2の推論モデル)を構築する。この処理は、例えば、前述したいずれかの例示的な態様にしたがって実行されてよい。
なお、仮想画像及び障害物画像の双方を訓練データとすることで、第1の推論モデル及び第2の推論モデルの双方として機能する単一の推論モデルを構築することができる。この処理は、例えば、前述したいずれかの例示的な態様にしたがって実行されてよい。本例の推論モデルは、実体建築物のデータから部材データと障害物データとを特定するように訓練されたものである。以下の説明ではこのような推論モデルを採用するが、これに限定されない。また、推論モデルは他の機能を有していてもよい。
訓練データは、部材のテクスチャ情報や、障害物のテクスチャ情報を含んでいてもよい。また、推論モデル構築に用いられるニューラルネットワークモデルは、典型的には畳み込みニューラルネットワークである。なお、推論モデル構築に用いられる手法は、本例に限定されず、例えば、サポートベクターマシン、ベイズ分類器、ブースティング、k平均法、カーネル密度推定、主成分分析、独立成分分析、自己組織化写像、ランダムフォレスト、敵対的生成ネットワーク(GAN)などの任意の手法を適用することが可能である。
(S95:推論モデルをUAVに送信する)
エッジコンピュータ2140は、ステップS94で構築された推論モデルをUAV2110に送信する。
(S96:建築物の計測作業を開始する)
ステップS91〜S95の準備の後、実体建築物の計測作業が開始される。
(S97:UAVとトータルステーションとを同期させる)
計測作業では、まず、UAV2110とトータルステーション(TS)1430との同期が実施される。つまり、UAV2110内の時計とトータルステーション2130内の時計とが同期される。これにより、UAV2110により得られる映像に付帯される時刻(撮影時刻)と、トータルステーション2130により取得されるUAV2110の位置情報に付帯される時刻(計測時刻)とが同期される。ここで、撮影時刻は、V−SLAM処理を用いて映像から取得される位置情報に付帯される。
UAV2110及びトータルステーション2130の双方が屋外にある場合、例えば、航法衛星からの航法信号(原子時計に基づく時刻情報を含む)を利用して双方の時計を同期させることができる。他方、UAV2110及びトータルステーション2130の一方が屋内にある場合、例えば、UAV2110及びトータルステーション2130の双方が接続可能なネットワーク上のタイムサーバを利用して双方の時計を同期させることができる。なお、同期の手法はこれらに限定されない。
(S98:トータルステーションによるUAVの追尾を開始する)
ステップS97の時刻同期の後、ユーザーは、例えばUAVコントローラ2120を用いて計測開始を指示する。トータルステーション2130は、UAVコントローラ2120からの計測開始指示を受けたUAV2110の追尾を開始する。また、トータルステーション2130は、UAV2110の位置情報の生成と、この位置情報のUAV2110へのリアルタイム送信とを開始する。
(S99:飛行と撮影と障害物検知を開始する)
また、ステップS98の計測開始指示を受けたUAV2110は、ステップS92で受信した飛行経路を参照した自律飛行と、撮影部2112による撮影(及び、映像の保存)と、V−SLAM部2113及び障害物検知部2114による障害物検知処理とを開始する。
(S100:外部からの情報に基づき飛行制御を行う)
UAV2110は、トータルステーション2130からリアルタイムで送信される追尾情報(追尾対象であるUAV2110の位置情報)と、ステップS92で受信した飛行経路とに基づく飛行制御によって、自律飛行を行う。なお、ステップS100〜S104は、ステップS104で「Yes」と判断されるまで繰り返し実行される。
(S101:追尾中断時は自身で得た情報に基づき飛行制御を行う)
トータルステーション2130による追尾の死角範囲にUAV2110が入ると、例えば、UAV2110は、トータルステーション2130からの追尾情報を受信できなくなる。UAV2110は、追尾情報の受信が途絶えたことに対応し、自律飛行制御のために参照する位置情報を、トータルステーション2130からの追尾情報から、V−SLAM部2113により逐次に取得される位置情報に切り替えるように構成されてよい。更に、UAV2110は、追尾情報の受信が再開したことに対応し、自律飛行制御のために参照する位置情報を、V−SLAM部2113により逐次に取得される位置情報から、トータルステーション2130からの追尾情報に切り替えるように構成されてよい。
なお、トータルステーション2130による追尾の死角範囲にUAV2110が入ったとしても、電波の反射や透過などにより何らかの追尾情報がUAV2110に到達することも有り得る。このような場合を想定し、UAV2110は、追尾情報が示す位置情報から問題を検出するように構成されていてよい。例えば、UAV2110は、追尾情報が示す位置情報と、V−SLAM部2113で得られた位置情報とを照合することによって問題を検出するように構成されていてよい(前述したように、双方の位置情報は同期されている)。この構成の一例として、UAV2110は、双方の位置情報(3次元座標)の間の誤差を算出し、この誤差が所定閾値以上であるときに「問題有り」と判断し、この誤差が所定閾値未満であるときに「問題無し」と判断するように構成されてよい。UAV2110は、判断結果が「問題無し」から「問題有り」に移行したことに対応して、自律飛行制御のために参照する位置情報を、トータルステーション2130からの追尾情報から、V−SLAM部2113により逐次に取得される位置情報に切り替えるように構成されてよい。更に、UAV2110は、判断結果が「問題有り」から「問題無し」に移行したことに対応して、自律飛行制御のために参照する位置情報を、V−SLAM部2113により逐次に取得される位置情報から、トータルステーション2130からの追尾情報に切り替えるように構成されてよい。
このような構成により、トータルステーション2130によるUAV2110の追尾が中断している間、UAV2110は、V−SLAM部2113により逐次に求められる位置及び姿勢に基づいて自律飛行制御を行うことができる。
(S102:障害物を検知したか?)
障害物検知部2114が障害物を検知すると(S102:Yes)、動作はステップS103に移行する。障害物を検知しない間は(S102:No)、動作はステップS103をスキップしてステップS104に進む。
(S103:障害物回避制御を行う)
ステップS102で障害物が検知されると(S102:Yes)、UAV2110は、前述した障害物回避動作のための制御を行う。例えば、UAV2110は、検知された障害物の位置、方向、寸法などを求め、この障害物への衝突を避ける経路を決定し、この経路に沿って飛行する。典型的には、この衝突回避経路の始点及び終点は、ステップS92で受信した飛行経路上に位置する。すなわち、UAV2110は、ステップS92で受信した飛行経路から外れて障害物を迂回し、当該飛行経路に復帰する。
(S104:飛行終了地点に到着したか?)
UAV2110は、トータルステーション2130からの追尾情報や、V−SLAM部2113により取得される位置情報に基づいて、ステップS92で受信した飛行経路の終点(飛行終了地点)に到達したか判断することができる。飛行終了地点に到達していないと判断されたとき(S104:No)、動作はステップS100に戻る。一方、飛行終了地点に到達したと判断されたとき(S104:Yes)、動作はステップS105に進む。以上で、実体建築物の計測(撮影)は完了となる。
(S105:撮影画像をエッジコンピュータに送信する)
飛行終了地点まで到達したら(S104:Yes)、UAV2110は、飛行しながら取得した撮影画像(映像)をエッジコンピュータ2140に送る。なお、UAV2110は、飛行しながら逐次に撮影画像をエッジコンピュータ2140に送ってもよいし、飛行中は撮影画像を蓄積しておき飛行完了後にまとめてエッジコンピュータ2140に送ってもよい。また、UAV2110は、所定時間ごとに撮影画像の蓄積と送信とを繰り返してもよい。或いは、UAV2110は、所定のデータ量だけ撮影画像が蓄積される度に送信するようにしてもよい。
以下の工程はいずれも、UAV2110で取得された画像に基づく一連の処理である(後処理)。UAV2110が飛行しながら撮影画像をエッジコンピュータ2140に送信する場合、UAV2110の飛行が完了する前に後処理を開始してもよい。つまり、撮影と後処理とを並行して逐次的に行ってもよい。これにより、作業時間の短縮を図ることが可能となる。他方、撮影完了後に後処理を開始する場合には、全ての撮影画像を参照して後処理を実行できるため、処理の精度や確度の向上を図ることが可能である。例えば、或る撮影画像を解析するときに、その前後の撮影画像を参照することが可能である。
ここで、エッジコンピュータ2140は、撮影画像が後処理に適しているか否か判定するができる。例えば、エッジコンピュータ2140は、撮影画像の品質(輝度、コントラスト、ピント、色、精細性など)を評価するように構成されていてよい。品質が不十分であると判定された場合、UAV2110による撮影を再度実施することや、画質を向上させるための画像処理を撮影画像に適用することができる。この画像処理には、例えば、機械学習により構築された推論モデルが利用される。また、この画像処理は、前後の撮影画像を利用した補間的な処理を含んでもよい。UAV2110による撮影中に画像品質評価を開始してもよい。撮影中に画像品質が不十分と判定されたとき、品質が不十分と判定された撮影画像が取得された位置(又は、飛行経路においてそれよりも上流の位置)に戻って再撮影するようにしてもよい。
同様に、トータルステーション2130は、UAV2110の追尾とともに収集されたUAV2110(撮影部2112、再帰反射体)の時系列3次元座標及び時系列姿勢情報をエッジコンピュータ2140に送信する。
(S106:カメラの位置・姿勢を求める)
エッジコンピュータ2140は、UAV2110により取得された撮影画像(映像の各フレーム)と、トータルステーション2130により取得された時系列情報(時系列3次元座標、時系列姿勢情報)とに基づいてSfM処理を実行することにより、飛行経路上の複数の位置のそれぞれにおける撮影部2112(カメラ)の位置及び姿勢を求める。ここで、ステップS97においてUAV2110とトータルステーション2130とを同期させたので、映像の時刻情報と時系列情報の時刻情報とを対応付けることができる。エッジコンピュータ2140は、この時刻の対応付けを行うことで、映像と時系列情報との組み合わせに対してSfM処理を適用することができる。
(S107:撮影画像から部材エリアを抽出する)
エッジコンピュータ2140は、ステップS94で構築された推論モデルを用いて、UAV2110により取得された撮影画像(映像の各フレーム)から、設計BIMに含まれる部材(仮想部材)に相当する画像領域(部材エリア、部材領域)を抽出する。この抽出処理は、例えば、設計BIM中の部材エリアを特定する処理と、特定された部材エリア以外の画像領域をマスクする処理とを含む。ここで、エッジコンピュータ2140は、特定された部材エリアに対応する実体部材の所定の属性を特定する処理を行ってもよい。
エッジコンピュータ2140は、ステップS107で得られた情報がこれ以降の処理に適しているか否か判定することができる。例えば、多数の仮想部材について、対応する実体部材の部材エリアが抽出されなかった場合に「不適」と判定される。不適と判定された場合、エッジコンピュータ2140は、例えば、再撮影を要求するための制御を行うことができる。
(S108:部材エリアの特徴点とその座標を求める)
エッジコンピュータ2140は、ステップS107で抽出された部材エリアの特徴点を検出する。特徴点は、1以上の点、1以上の線、及び1以上の面のいずれかであってよい。また、特徴点は、模様などであってもよい。更に、エッジコンピュータ2140は、検出された特徴点の3次元座標を求める。
(S109:部材の面データを生成する)
エッジコンピュータ2140は、ステップS107で抽出された部材エリアに対応する実体部材の面データを生成する。例えば、エッジコンピュータ2140は、ステップS108で検出された特徴点に基づいて、撮影位置が異なる2以上の撮影画像の位置合わせを行う(レジストレーション)。典型的には、これら撮影画像は部分的にオーバーラップしている。エッジコンピュータ2140は、MVS処理を用いることで、これら撮影画像の撮影位置に基づき、これら撮影画像に共通して描出されている部材の面データを生成する。
より詳細に説明する。エッジコンピュータ2140は、設計BIMと映像との間のレジストレーションを行う。これにより、例えば、設計BIMが定義された3次元空間(3次元座標系)に映像の各フレーム(撮影画像)が埋め込まれる。
次に、エッジコンピュータ2140は、設計BIM中の仮想部材の所定の面について、その近傍に位置する撮影画像中の点群を求める。例えば、エッジコンピュータ2140は、仮想部材の所定の面に対する距離が所定閾値内以下である撮影画像中の点を特定することによって点群を特定する。映像の各フレームについてこのような処理を実行することにより、仮想部材の所定の面の近傍に位置する3次元座標点群が得られる。
次に、エッジコンピュータ2140は、求められた3次元座標点群に基づいて、仮想部材の所定の面に対応する映像中の面を決定する。例えば、エッジコンピュータ2140は、3次元座標点群の少なくとも一部に基づく近似面(平面、自由曲面など)を求める。この近似面が上記の面データである。つまり、この近似面は、仮想部材の所定の面に相当する映像中の面データ(面画像)として扱われる。換言すると、この近似面は、仮想部材に対応する実体部材の部分(面)であって、この仮想部材の所定の面に対応する部分(面)として扱われる。エッジコンピュータ2140は、仮想部材の所定の面と、それに基づき決定された映像中の面(実体部材の面)とを対応付ける。これにより、仮想部材と実体部材とが対応付けられ、仮想部材の属性(位置、形状など)と実体部材の属性(位置、形状など)とが対応付けられる。
(S110:計測BIMを作成する)
エッジコンピュータ2140は、ステップS109で生成された複数の面データに基づいて3次元モデル(計測BIM)を作成する。つまり、エッジコンピュータ2140は、ステップS109で求められた複数の実体部材のデータに基づいて計測BIMを作成する。作成された計測BIMは、クラウドコンピュータ2150に送信され、保存される。計測BIMは、設計BIMとの比較、施工管理、維持管理、補修管理などに用いられる。以上で、本動作例は終了である(エンド)。
以上の開示は、この発明の実施態様の例に過ぎない。よって、この発明の要旨の範囲内における任意の変形(省略、置換、付加等)を施すことが可能である。