JP2023181036A - 指摘支援システム、指摘支援方法及び指摘支援プログラム - Google Patents

Abstract

【課題】作業現場で、指摘事項の確認作業を支援するための指摘支援システム、指摘支援方法及び指摘支援プログラムを提供する。【解決手段】指摘支援システムＣＳ１は、検査結果情報を記録する検査情報記憶部２４を備え、指摘内容の確認を支援する。この指摘支援システムＣＳ１は、検査時に、指摘位置と、指摘位置を撮影した撮影画像と、撮影画像を撮影した撮影時状況に関する情報を検査情報記憶部２４に記録する検査部２１２と、指摘箇所の確認時に、検査情報記憶部２４に記録された撮影画像とともに、指摘位置と撮影時状況とを示す情報を出力する支援部２１３とを備える。【選択図】図１

Description

本開示は、作業現場における指摘の確認作業を支援する指摘支援システム、指摘支援方法及び指摘支援プログラムに関する。

現場において、作業者が現場状況を確認し、問題状況を指摘する作業を行なうことがある。この場合、空間における位置を把握するための画像出力システムが検討されている（例えば、特許文献１参照）。この文献に開示された技術においては、タブレット端末により、全天球画像情報記憶部に記憶された全天球画像を、立方体の各面に対応させた要素画像に変換する。変換した要素画像のうち、前方、後方、左方及び右方を示す要素画像を、連続するように横一列に配置する。更に、前方を示す要素画像の上方及び下方に、上方及び下方を示す要素画像を配置する。

また、現場において、構造物の状況を確認するために、拡張現実技術を用いる場合もある（例えば、特許文献２参照）。この文献に開示された技術においては、足場を設置する床と、床の墨出し線の両端部の位置を特定する。そして、墨出し線の両端部の位置を用いて、第１仮想壁のモデルを生成するとともに、この第１仮想壁とほぼ直交する第２仮想壁のモデルを生成する。

特開２０１９－１２３０２号公報 特開２０１６－３８８６７号公報

しかしながら、指摘箇所を是正するために、現場を確認する場合、指摘位置の把握が難しいことがある。特に、コンピュータ端末の操作に慣れていない場合や、コンピュータ端末の性能によっては、是正指示を受けた担当者が指摘位置の特定に手間がかかることがある。

上記課題を解決するための指摘支援システムは、検査結果情報を記録する検査情報記憶部を備え、指摘内容の確認を支援する。そして、検査時に、指摘位置と、前記指摘位置を撮影した撮影画像と、前記撮影画像を撮影した撮影時状況に関する情報を前記検査情報記憶部に記録する検査部と、指摘箇所の確認時に、前記検査情報記憶部に記録された撮影画像とともに、前記指摘位置と前記撮影時状況とを示す情報を出力する支援部と、を備える。

他の特徴及び態様は、以下の詳細な説明、図面、及びクレームから明らかとなるであろう。

実施形態のシステムの説明図である。 実施形態のハードウェア構成の説明図である。 実施形態のＢＩＭ情報記憶部の説明図である。 実施形態の検査情報記憶部の説明図である。 実施形態の協力会社情報記憶部の説明図である。 実施形態の設計処理の説明図である。 実施形態の検査作業開始処理の説明図である。 実施形態の検査時処理の説明図である。 実施形態の是正時処理の説明図である。 実施形態の画面フローの説明図である。 実施形態の確認画面の説明図である。 実施形態の確認画面の説明図である。 実施形態の確認画面の説明図である。 実施形態の確認画面の説明図である。 実施形態の確認画面の説明図である。

本説明は、記載の方法、装置、及び／又はシステムの包括的な理解を提供するものである。該方法、装置、及び／又はシステムの修正及び均等は、当業者には明らかである。動作のシーケンスは例示的なものであり、動作が必ず特定の順序で生じる場合は例外として、当業者に明らかであるように変更されてもよい。当業者に周知である機能及び構造に関する説明は省略される場合がある。

例示的な実施形態は異なる形態を有する場合があり、記載の例に限定されない。しかしながら、記載の例は、完全で且つ完成されており、本開示の全範囲を当業者に伝えるものである。

以下、図１～図１５を用いて、指摘支援システム、指摘支援方法及び指摘支援プログラムを具体化した一実施形態を説明する。本実施形態では、建築物の建築現場において、検査結果に応じて是正のために、指摘事項の確認を支援する場合に用いる指摘支援システム、指摘支援方法、指摘支援プログラムとして説明する。
図面及び詳細な説明を通じて、同じ参照符号は同じ要素を参照する。図面は縮尺に応じていない場合があり、図面における相対的な寸法、比率、及び要素の描画は、明瞭さ、図示、及び簡便のために誇張されている場合がある。

本実施形態では、図１に示すように、指摘支援システムＣＳ１は、ネットワークを介して相互に接続された設計装置１０、第１ユーザ装置１２、第２ユーザ装置１４、支援装置２０を用いる。

（ハードウェア構成の説明）
図２を用いて、設計装置１０、第１ユーザ装置１２、第２ユーザ装置１４、支援装置２０を構成する情報処理装置Ｈ１０のハードウェア構成を説明する。情報処理装置Ｈ１０は、通信装置Ｈ１１、入力装置Ｈ１２、表示装置Ｈ１３、記憶装置Ｈ１４、プロセッサＨ１５を備える。なお、このハードウェア構成は一例であり、他のハードウェアにより実現することも可能である。

通信装置Ｈ１１は、他の装置との間で通信経路を確立して、データの送受信を実行するインタフェースであり、例えばネットワークインタフェースや無線インタフェース等である。

入力装置Ｈ１２は、各種情報の入力を受け付ける装置であり、例えばマウスやキーボード等である。表示装置Ｈ１３は、各種情報を表示するディスプレイ等である。なお、入力装置Ｈ１２及び表示装置Ｈ１３として、タッチパネルディスプレイを用いてもよい。

記憶装置Ｈ１４は、設計装置１０、第１ユーザ装置１２、第２ユーザ装置１４、支援装置２０の各種機能を実行するためのデータや各種プログラムを格納する記憶装置である。記憶装置Ｈ１４の一例としては、ＲＯＭ、ＲＡＭ、ハードディスク等がある。

プロセッサＨ１５は、記憶装置Ｈ１４に記憶されるプログラムやデータを用いて、設計装置１０、第１ユーザ装置１２、第２ユーザ装置１４、支援装置２０における各処理を制御する。プロセッサＨ１５の一例としては、例えばＣＰＵやＭＰＵ等がある。このプロセッサＨ１５は、ＲＯＭ等に記憶されるプログラムをＲＡＭに展開して、各処理のための各種プロセスを実行する。

プロセッサＨ１５は、自身が実行するすべての処理についてソフトウェア処理を行なうものに限られない。例えば、プロセッサＨ１５は、自身が実行する処理の少なくとも一部についてハードウェア処理を行なう専用のハードウェア回路（例えば、特定用途向け集積回路：ＡＳＩＣ）を備えてもよい。すなわち、プロセッサＨ１５は、以下で構成し得る。

〔１〕コンピュータプログラム（ソフトウェア）に従って動作する１つ以上のプロセッサ
〔２〕各種処理のうち少なくとも一部の処理を実行する１つ以上の専用のハードウェア回路
〔３〕それらの組み合わせ、を含む回路（circuitry）
プロセッサは、ＣＰＵ並びに、ＲＡＭ及びＲＯＭ等のメモリを含み、メモリは、処理をＣＰＵに実行させるように構成されたプログラムコード又は指令を格納している。メモリすなわちコンピュータ可読媒体は、汎用又は専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。

（システム構成）
次に、図１を用いて、指摘支援システムＣＳ１の各機能を説明する。
設計装置１０は、ＢＩＭ（Building Information Modeling）を用いて、構造物の設計処理（３次元ＣＡＤ処理）を行なうためのコンピュータ端末である。このＢＩＭでは、建築に用いる要素の形状だけではなく、建物要素の属性（プロパティ）を管理することができる。この設計装置１０は、オペレーティングシステム上で動作するＢＩＭアプリケーションにより、ＢＩＭ実行部として機能する。

ＢＩＭ実行部は、ＢＩＭ技術により、３次元モデル（オブジェクト）を仮想３次元空間上で配置することにより、３次元ＣＡＤ（computer-aided design）を実現する。各３次元モデルは、建築に関する各種情報を属性として保持している。

図１に示す第１ユーザ装置１２は、現場において構造物の検査を支援するコンピュータ端末（例えば、タブレット端末）である。この第１ユーザ装置１２は、タッチパネルディスプレイ、カメラを備える。更に、第１ユーザ装置１２は、作業支援プログラムを実行することにより、位置特定部、ＭＲ処理部を実現するとともに、表示モデル記憶部を備える。

タッチパネルディスプレイは、各種情報を入力するための入力部として機能するとともに、各種情報を出力するための出力部として機能する。なお、入力部、出力部は、情報の入力や出力が可能なハードウェアであれば、タッチパネルディスプレイに限定されるものではない。

カメラは、被写体を撮影する撮影部である。
位置特定部は、自己位置推定により、第１ユーザ装置１２の現在地を特定する処理を実行する。この自己位置推定には、例えば、カメラで逐次撮影された画像の相対的な変化に応じて移動距離を推定する視覚オドメトリー技術（ＶＯ：visual odometry）を用いることができる。この技術では、位置特定部は、撮影画像内の特徴点の検出、特徴点の相関位置関係に応じて、カメラの動きを推定する。なお、位置の特定は、視覚オドメトリー技術を用いる方法に限定されるものではない。例えば、３軸の加速度センサやジャイロセンサ等のＩＭＵ（Inertial Measurement Unit）を用いたり、併用したりして、ＶＩＯ（visual-inertial odometry）を行なうようにしてもよい。

ＭＲ処理部は、カメラによって撮影した画像に対して、表示モデル記憶部に記録されたＭＲモデルを重畳して表示する処理を実行する。
表示モデル記憶部には、支援装置２０から取得した表示モデルが記録される。更に、検査において、指摘事項が登録された場合、マップピンオブジェクトの３次元モデルが登録される。このマップピンオブジェクトは、指摘事項の配置を示すオブジェクトである。マップピンオブジェクトは、属性情報として、後述する指摘ＩＤ、指摘事項情報を保持する。

第２ユーザ装置１４は、第１ユーザ装置１２の検査結果の確認を支援するためのコンピュータ端末である。第２ユーザ装置１４としては、例えば、携帯可能なスマートフォンやタブレット端末等のスマートデバイスを用いることができる。この第２ユーザ装置１４は、指摘事項の是正を行なう担当者（ユーザ）によって用いられる。そして、担当者は、この第２ユーザ装置１４を用いて、問題がある箇所を確認して、是正作業を行なう。この第２ユーザ装置１４は、入力装置Ｈ１２及び表示装置Ｈ１３としてのタッチパネルディスプレイを備える。

タッチパネルディスプレイは、各種情報を入力するための入力部として機能するとともに、各種情報を出力するための出力部として機能する。なお、入力部、出力部は、情報の入力や出力が可能なハードウェアであれば、タッチパネルディスプレイに限定されるものではない。

支援装置２０は、現場状況の確認を支援する処理を実行するコンピュータシステムである。この支援装置２０は、制御部２１、ＢＩＭ情報記憶部２２、表示モデル記憶部２３、検査情報記憶部２４、協力会社情報記憶部２５を備える。

制御部２１は、後述する処理（変換段階、検査段階、支援段階等を含む処理）を行なう。このための処理プログラムを実行することにより、制御部２１は、変換部２１１、検査部２１２、支援部２１３等として機能する。

変換部２１１は、３次元ＣＡＤデータを、複合現実の仮想空間に表示可能なデータに変換する。ここでは、ＢＩＭを利用して設計された３次元ＣＡＤデータを、軽量化、ポリゴン化して、第１ユーザ装置１２の表示アプリケーションで利用可能なフォーマットに変換する。
検査部２１２は、第１ユーザ装置１２に入力された指摘情報を取得する。
支援部２１３は、指摘個所の是正のための確認を支援する。

図３に示すように、ＢＩＭ情報記憶部２２には、ＢＩＭにおいて作成したＢＩＭモデル情報２２０が記録される。このＢＩＭモデル情報２２０は、３次元ＣＡＤを用いて、建築物の設計を行なった場合に記録される。ＢＩＭモデル情報２２０は、プロジェクト情報に対して、ＢＩＭモデル（要素モデル、配置情報、属性情報）を含む。

プロジェクト情報は、プロジェクトＩＤ、建築現場の名称、経度・緯度、建設現場の方位等に関する情報を含む。
要素モデルは、建築現場を構成する各要素の３次元形状（３次元モデル）に関する情報である。本実施形態では、要素として、建築要素オブジェクト、空間オブジェクト、マーカオブジェクト、マップピンオブジェクト等が用いられる。建築要素オブジェクトは、建築に用いる資機材に関するオブジェクトである。空間オブジェクトは、部屋や領域等を仕切る空間を特定するオブジェクトである。マーカオブジェクトは、仮想空間と現実空間との位置合わせに用いるオブジェクトである。

配置情報は、３次元モデルを配置（仮想空間内の座標）に関する情報を含む。
属性情報は、この要素モデルのオブジェクトＩＤを含む。建築要素オブジェクトには、更に、仕様（資機材の種類、規格、寸法、面積、体積、素材、価格等）、工程に関するプロパティ情報が記録される。マーカオブジェクトには、属性情報としてマーカＩＤが記録される。マップピンオブジェクトには、属性情報として指摘ＩＤが記録される。

表示モデル記憶部２３は、複合現実の仮想空間において表示可能な３次元モデル（ＭＲモデル情報）が記録される。このＭＲモデル情報は、ＢＩＭモデル情報の変換処理を行なった場合に記録される。このＭＲモデル情報にも、ＢＩＭモデル情報２２０と同様に、要素モデル、仮想空間における配置情報、属性情報が記録されている。

図４に示すように、検査情報記憶部２４には、現場での検査における指摘事項に関する検査結果情報２４０が記録される。この検査結果情報２４０は、第１ユーザ装置１２から指摘情報を取得した場合に記録される。検査結果情報２４０は、プロジェクトＩＤ、指摘ＩＤ、日時、場所、画像、指摘位置、撮影時状況、部位、指摘事項、工種、協力会社、検査記録作成者、ステータスに関する情報を含む。

プロジェクトＩＤは、建築現場（プロジェクト）を特定するための識別子である。
指摘ＩＤは、このプロジェクトにおける各指摘を特定するための識別子である。
日時情報は、この指摘が登録された年月日及び時刻に関する情報である。

場所情報は、この指摘が行なわれた空間（例えば、寝室・トイレ等を含む部屋）を特定するための識別子である。
画像は、この指摘箇所を撮影した画像である。この画像には指摘を行なった位置に関する情報が含まれる。この位置には、マップピンオブジェクトが設定されている。

指摘位置情報は、指摘によりマップピンオブジェクトが設定された場所の空間座標である。この指摘位置により、ＢＩＭ情報記憶部２２には、ＢＩＭにおいて作成したＢＩＭモデル情報２２０で構成される３次元仮想空間内にマップピンオブジェクトが配置される。

撮影時状況情報は、指摘箇所を撮影したときのカメラの状況に関する情報である。撮影時状況情報には、撮影時のカメラの空間座標、撮影時の姿勢に関する情報（仰俯角）を含める。

部位情報は、この指摘が行なわれた建築要素である。
指摘事項情報は、指摘された検査項目に関する情報である。指摘事項としては、例えば、資材における「キズ」や、「取付金物忘れ」等の問題が記録される。

工種情報は、工事の種類を特定するための情報である。この工種には、屋根工事、ブロック工事、鉄筋工事、ガラス工事、防水工事、内装仕上工事、建具工事等がある。
協力会社情報は、工事を行なった協力会社を特定するための識別子（協力会社名）に関する情報である。

検査記録作成者情報は、検査結果情報２４０を登録した担当者を識別するための情報である。
ステータス情報は、この指摘についての是正状況を特定するための情報である。例えば、「指示中」、「是正済」等が記録される。

図５に示すように、協力会社情報記憶部２５には、建築現場において各部位の施工を行なう協力会社に関する協力会社情報２５０が記録される。この協力会社情報２５０は、協力会社の登録が行なわれた場合に記録される。協力会社情報２５０は、場所、工種、協力会社名、連絡先に関する情報を含む。

場所情報は、工事が行なわれる空間（例えば、部屋）を特定するための識別子である。
工種情報は、工事を行なう職種に関する情報である。

協力会社名は、工事を行なった協力会社の名前であって、協力会社を特定するための識別子である。
連絡先は、この協力会社に対して、是正指示の通知を送信するための連絡先（例えば、メールアドレス）である。

（指摘支援処理）
図６～図１５を用いて、指摘支援処理を説明する。指摘支援処理では、設計処理（図６）、検査作業開始処理（図７）、検査時処理（図８）、是正時処理（図９）を実行する。

（設計処理）
図６を用いて、設計処理を説明する。
まず、ユーザは、設計装置１０を用いて、ＢＩＭモデル生成処理を実行する（ステップＳ１０１）。具体的には、ユーザは、設計装置１０のＣＡＤ画面上で、建物を構成する各要素（オブジェクト）の３次元モデル（要素モデル）を配置することにより、建物の設計を行なう。各要素についての属性情報が入力された場合、設計装置１０は、属性情報を含めたＢＩＭモデル情報２２０を、支援装置２０のＢＩＭ情報記憶部２２に記録する。

次に、設計装置１０を用いて、位置補正マーカの設置処理を実行する（ステップＳ１０２）。具体的には、ユーザは、建物の所定位置に、所定の向きで、位置補正マーカ（第１位置補正マーカ）を設置する。この位置補正マーカも、ＢＩＭ上での一つのオブジェクトである。この場合、設計装置１０は、このオブジェクトの属性情報として「マーカ」、「マーカＩＤ」、「マーカ寸法」を設定する。

次に、支援装置２０の制御部２１は、ＭＲ用データ変換処理を実行する（ステップＳ１０３）。具体的には、設計装置１０に設計完了が入力された場合、制御部２１の変換部２１１は、ＢＩＭ情報記憶部２２に記録されたＢＩＭモデル情報２２０のＢＩＭモデルを、複合現実の仮想空間内で表示可能なＭＲモデルに変換する。ここでは、ＢＩＭモデルを軽量化してポリゴン化し、第１ユーザ装置１２で表示可能な形式のＭＲモデルを生成する。このＭＲモデルには、建築要素オブジェクト、空間オブジェクト、マーカオブジェクトの３次元モデルが含まれる。

（検査作業開始処理）
次に、図７を用いて、検査作業開始処理を説明する。
ここでは、現場において、ＢＩＭにおいて設定された位置補正マーカに対応する位置に、予め位置補正マーカ（第２位置補正マーカ）を印刷したシートを配置しておく。位置補正マーカとしては、マーカＩＤをコード化した２次元コード画像を用いる。

まず、第１ユーザ装置１２を用いて、位置補正マーカ撮影処理を実行する（ステップＳ２０１）。具体的には、ユーザは、第１ユーザ装置１２を携帯して、位置補正マーカが配置されている場所まで移動する。この場合、第１ユーザ装置１２のタッチパネルディスプレイを用いて、シートの位置補正マーカを撮影する。

次に、第１ユーザ装置１２は、位置補正マーカのデコード処理を実行する（ステップＳ２０２）。具体的には、第１ユーザ装置１２は、位置補正マーカをデコードする。
次に、第１ユーザ装置１２は、位置合わせ処理を実行する（ステップＳ２０３）。具体的には、第１ユーザ装置１２は、デコードしたマーカＩＤの仮想空間内の位置補正マーカの配置を、撮影した位置補正マーカの位置に対応させる。この対応付けにより、撮影された位置（座標）や向きを特定して、仮想空間内の座標軸を、現実空間内の座標軸に合わせる。この結果、取得したＭＲモデルを用いて、第１ユーザ装置１２のカメラを視点とする仮想空間の視野画像を、カメラの撮影画像に写像可能なように位置合わせを実現する。

なお、移動後に、新たなシートを見つけた場合には、再度、第１ユーザ装置１２は、位置補正マーカ撮影処理（ステップＳ２０１）～位置合わせ処理（ステップＳ２０３）を実行する。

更に、移動時には、第１ユーザ装置１２は、自己位置の推定処理を実行する（ステップＳ２０４）。具体的には、位置特定部は、逐次、撮影された画像において、自己位置推定により、仮想空間内において、視点の配置（カメラ位置や向き）を特定する。

次に、第１ユーザ装置１２は、オブジェクトの表示処理を実行する（ステップＳ２０５）。具体的には、第１ユーザ装置１２は、空間オブジェクト内に含まれ、仮想空間内の視点から見えるオブジェクトを、タッチパネルディスプレイに出力する。この場合、タッチパネルディスプレイに、カメラの撮影画像と、仮想空間の視野内の表示対象のＭＲモデル画像とを重畳させた複合現実画像を表示する。
そして、ユーザは、第１ユーザ装置１２を携帯しながら、建築現場を巡回して検査を行なう。

（検査時処理）
次に、図８を用いて、検査時処理を説明する。建築現場の巡回時に、担当者が問題を発見した場合には、第１ユーザ装置１２の検査入力アプリケーションを起動する。この場合、第１ユーザ装置１２のタッチパネルディスプレイには、検査入力画面が表示される。

そして、担当者が、問題箇所の指摘を行なう場合には、第１ユーザ装置１２は、撮影処理を実行する（ステップＳ３０１）。具体的には、担当者は、第１ユーザ装置１２のカメラを用いて、指摘箇所を撮影する。

この場合、第１ユーザ装置１２は、撮影時状況情報の取得処理を実行する（ステップＳ３０２）。具体的には、第１ユーザ装置１２は、自己位置の推定処理（ステップＳ２０４）によって特定される現在位置、姿勢情報を取得する。

次に、第１ユーザ装置１２は、指摘位置情報の取得処理を実行する（ステップＳ３０３）。具体的には、担当者は、第１ユーザ装置１２のタッチパネルディスプレイに表示された複合現実画像において、指摘箇所の位置（指摘位置）を指定する。

この場合、第１ユーザ装置１２は、複合現実画像上の指摘位置に、マップピンオブジェクトを配置する。そして、第１ユーザ装置１２は、指摘位置に関する情報（座標）を取得する。

次に、第１ユーザ装置１２は、指摘内容の取得処理を実行する（ステップＳ３０４）。具体的には、第１ユーザ装置１２は、検査入力画面に入力された部位、指摘事項、工種等を取得する。

次に、第１ユーザ装置１２は、協力会社情報の取得処理を実行する（ステップＳ３０５）。具体的には、第１ユーザ装置１２は、場所や工種に応じて、検査入力画面に入力された協力会社名を取得する。

検査入力画面において登録ボタンが選択された場合、支援装置２０の制御部２１は、指摘情報の登録処理を実行する（ステップＳ３０６）。具体的には、制御部２１の検査部２１２は、第１ユーザ装置１２から各種情報を取得する。そして、検査部２１２は、指摘ＩＤを付与した検査結果情報２４０を生成し、検査情報記憶部２４に記録する。この検査結果情報２４０には、プロジェクトＩＤ、指摘ＩＤ、日時、場所、画像、指摘位置、撮影時状況、部位、指摘事項、工種、協力会社に関する情報を含める。

次に、支援装置２０の制御部２１は、是正指示の通知処理を実行する（ステップＳ３０７）。具体的には、制御部２１の検査部２１２は、検査結果情報２４０に記録された協力会社の連絡先を、協力会社情報記憶部２５から取得する。そして、検査部２１２は、この連絡先に是正指示を送信する。この是正指示には、検査結果情報２４０に記録された情報を含める。

（是正時処理）
次に、図９を用いて、是正時処理を説明する。是正時には、担当者は第２ユーザ装置１４を携帯する。指摘箇所を是正する場合には、第２ユーザ装置１４の是正確認アプリケーションを起動する。

まず、支援装置２０の制御部２１は、検査結果の抽出処理を実行する（ステップＳ４０１）。具体的には、制御部２１の支援部２１３は、第２ユーザ装置１４に入力された協力会社名を取得する。この場合、支援部２１３は、第２ユーザ装置１４から取得した協力会社が記録された検査結果情報２４０を検査情報記憶部２４から取得する。

次に、支援装置２０の制御部２１は、一覧リスト表示処理を実行する（ステップＳ４０２）。具体的には、制御部２１の支援部２１３は、取得した検査結果情報２４０を用いて、検査結果の一覧リストを作成する。そして、支援部２１３は、第２ユーザ装置１４のタッチパネルディスプレイに、一覧リストを表示する。

この場合、図１０に示すように、支援部２１３は、第２ユーザ装置１４のタッチパネルディスプレイに、一覧リスト５１０を含む確認画面５００を出力する。
図１１に示すように、確認画面５００には、一覧リスト５１０を含む。
更に、支援部２１３が、一覧リスト５１０において、以下の抽出条件を取得した場合、抽出条件を用いて、検査結果情報２４０を特定する。

・柱、梁、壁などのオブジェクトの部材種別
・オブジェクトＩＤ
・是正対象の工種
・是正対象の場所
・検査記録作成者
そして、支援部２１３は、抽出条件を用いて、指摘事項の並び替えや絞り込みを行なう。

次に、支援装置２０の制御部２１は、確認画面の表示処理を実行する（ステップＳ４０３）。具体的には、担当者は、第２ユーザ装置１４を用いて、一覧リスト５１０において指摘事項を選択する。

この場合、図１０に示すように、制御部２１の支援部２１３は、指摘事項について、指摘内容表示５２０、平面図５３０、撮影時状況表示５４０、仮想現実画像５５０、付せん表示画像５６０からなる複数種類の表示（表示セット）を、順次、出力する。

図１２に示すように、指摘内容表示５２０には、選択された指摘事項の検査結果情報２４０に記録された情報を含める。更に、指摘内容表示５２０には、撮影画像５２１を含める。この撮影画像５２１には、検査結果情報２４０の指摘位置に、ＢＩＭ情報記憶部２２に記録されたマップピンオブジェクトｂ１が表示される。

更に、支援部２１３は、ＢＩＭモデル情報２２０を用いて、選択された指摘事項の場所を含む平面図を生成する。そして、制御部２１の支援部２１３は、確認画面５００において平面図５３０を出力する。図１２に示すように、平面図５３０には、検査結果情報２４０の指摘位置にマップピンオブジェクトｂ１が表示される。

確認画面５００における表示変更ボタンの選択等の所定のトリガに応じて、制御部２１の支援部２１３は、確認画面５００に撮影時状況表示５４０を出力する。
図１３に示すように、支援部２１３は、平面図５３０において、検査結果情報２４０の撮影時状況情報に対応する空間座標に、矢印形状の撮影時状況表示５４０を表示する。この撮影時状況表示５４０は、撮影時の姿勢に応じて、矢印形状の向き（撮影位置やカメラの向き）が設定される。

確認画面５００における表示変更ボタンの再選択等の所定のトリガに応じて、制御部２１の支援部２１３は、確認画面５００に仮想現実画像５５０を出力する。
図１４に示すように、支援部２１３は、確認画面５００において、検査結果情報２４０の指摘位置に、マップピンオブジェクトｂ１を配置した仮想現実画像５５０を表示する。この仮想現実画像５５０は、検査結果情報２４０の撮影位置に視点を設定して、指摘位置を臨んだ仮想現実画像（主観視点での画像）である。

確認画面５００において、撮影画像が選択された場合、図１０に示すように、制御部２１の支援部２１３は、付せん表示画像５６０を出力する。
図１５に示すように、支援部２１３は、検査結果情報２４０の指摘位置にマップピンオブジェクトｂ１を配置するとともに、その近傍に付せん表示画像５６０を表示する。この付せん表示画像５６０には、検査結果情報２４０の指摘内容を表示した、付せんオブジェクトｂ３を配置する。なお、付せん表示画像５６０におけるマップピンオブジェクトｂ１、付せんオブジェクトｂ３は、ユーザ操作に応じて、非表示にしたり、表示位置を変更したりすることができる。

本実施形態によれば、以下のような効果を得ることができる。
（１）本実施形態では、設計装置１０は、位置補正マーカの設置処理を実行する（ステップＳ１０２）。そして、第１ユーザ装置１２は、位置補正マーカ撮影処理（ステップＳ２０１）、位置補正マーカのデコード処理（ステップＳ２０２）、位置合わせ処理（ステップＳ２０３）を実行する。これにより、ＢＩＭにより設計されたオブジェクトと、現実空間のオブジェクトとの位置合わせを行なうことができる。

（２）本実施形態では、第１ユーザ装置１２は、指摘情報の登録処理を実行する（ステップＳ３０６）。これにより、複数の第１ユーザ装置１２を用いる場合にも、指摘事項等の情報共有を行なうことができる。

（３）本実施形態では、支援装置２０の制御部２１は、検査結果の抽出処理を実行する（ステップＳ４０１）。これにより、第２ユーザ装置１４を利用する協力会社が対応すべき検査結果を出力することができる。

（４）本実施形態では、支援装置２０の制御部２１は、一覧リスト表示処理を実行する（ステップＳ４０２）。この場合、指摘事項の並び替えや絞り込みを行なう。これにより、所望の抽出条件に応じて、検査結果を出力することができる。

（５）本実施形態では、支援装置２０の制御部２１は、確認画面の表示処理を実行する（ステップＳ４０３）。これにより、第２ユーザ装置１４を用いて、指摘箇所を確認することができる。例えば、ＭＲ技術を用いた第１ユーザ装置１２により登録した検査結果を、第２ユーザ装置１４において、ＭＲ技術を用いないで、効率的に確認することができる。

（６）本実施形態では、支援部２１３は、平面図５３０において、撮影時状況表示５４０を表示する。この撮影時状況表示５４０は、撮影時の姿勢に応じて、矢印形状の向きが設定される。これにより、画像が撮影された位置や向きを特定することができる。そして、検査時の撮影位置を考慮して、是正時にも、検査時と同様に、指摘箇所を確認して是正することができる。

（７）本実施形態では、支援部２１３は、確認画面５００において、マップピンオブジェクトｂ１を配置した仮想現実画像５５０を表示する。この仮想現実画像５５０は、検査時の撮影時状況に応じた配置で、指摘位置を臨むように生成される。これにより、仮想現実画像を用いて、検査時と同様に、指摘箇所を確認して是正することができる。

（８）本実施形態では、支援部２１３は、検査結果情報２４０の指摘位置において、付せんオブジェクトｂ３を配置した付せん表示画像５６０を表示する。これにより、撮影画像において指摘内容を確認して是正することができる。

本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態では、建物の建築現場において、検査結果の是正を行なう場合に用いる。本開示の適用対象は、建築現場に限定されるものではない。すなわち、本開示のＢＩＭは、例えば、土木等の建設設計に用いられるＣＩＭ（Construction Information Modeling）を含む技術である。

・上記実施形態では、設計装置１０、第１ユーザ装置１２、第２ユーザ装置１４、支援装置２０を用いる。ハードウェア構成は、これに限定されるものではない。例えば、設計装置１０や第１ユーザ装置１２において、ＢＩＭモデル情報からＭＲモデル情報に変換するようにしてもよい。この場合には、変換部２１１を各装置に設ける。

また、検査情報記憶部２４を、ＢＩＭ情報を管理する支援装置２０とは異なる検査管理サーバに設けてもよい。この場合には、第１ユーザ装置１２は、検査結果を検査管理サーバにアップロードする。

・上記実施形態では、第１ユーザ装置１２として、タッチパネルディスプレイを備えたタブレット端末を用いる。これに代えて、HoloLens（登録商標）等のＨＭＤ（Head Mounted Display）を用いてもよい。

・上記実施形態では、検査作業開始処理において、位置補正マーカを用いて、カメラの撮影画像と、仮想空間の視野内の表示対象のＭＲモデル画像との位置合わせを行なう。位置合わせにおいて、位置補正マーカの利用や処理の順番は、上記方法に限定されるものではない。例えば、ＭＲモデル画像を表示させて、撮影画像との位置合わせを行なうようにしてもよい。また、第１ユーザ装置１２は、自己位置推定により、第１ユーザ装置１２の現在地を特定する処理を実行する。第１ユーザ装置１２の現在位置の特定方法は、これに限定されるものではない。例えば、ＧＰＳ（Global Positioning System）を用いてもよい。また、ＬＩＤＡＲ（Light Detection and Ranging）技術を用いてもよい。
・上記実施形態では、検査情報記憶部２４の検査結果情報２４０には、撮影時のカメラの空間座標、撮影時の姿勢に関する情報（仰俯角）を含める。撮影時状況情報は、これらに限定されるものではない。撮影時状況を示す情報であればよく、撮影時のカメラの空間座標のみや、その他の情報を含めてもよい。

・上記実施形態では、指摘事項について、平面図５３０、撮影時状況表示５４０、仮想現実画像５５０、付せん表示画像５６０からなる複数種類の表示形態（表示セット）を、順次、出力する。出力される表示は、これらに限定されるものではない。

また、指摘位置や指摘内容に応じて、確認画面に表示する表示セットを変更してもよい。この場合には、支援部２１３に、指摘位置又は指摘内容に応じて、表示する画像を特定するための表示セット情報を記憶させておく。例えば、壁のように大面積の部材と、柱のように特徴的形状を有する部材とによって、確認画面で表示させる形態を変更する。

・上記実施形態では、支援部２１３が、一覧リスト５１０において、部材種別～検査記録作成者の抽出条件を取得する。抽出条件はこれらに限定されるものではない。ＢＩＭモデル情報２２０や検査結果情報２４０に記録される情報を用いることができる。

次に、上記実施形態及び別例から把握できる技術的思想について以下に追記する。
（ａ）要素モデルを記憶したＢＩＭ情報記憶部を更に備え、
前記要素モデルを用いて、撮影位置から指摘位置を臨んだ２次元の仮想現実画像を生成して、前記確認画面において出力することを特徴とする請求項１に記載の指摘支援装置。

（ｂ）前記支援部が、前記指摘位置を含む平面図において、前記撮影位置を表示することを特徴とする請求項１又は（ａ）に記載の指摘支援装置。
（ｃ）前記支援部が、前記撮影時の撮影方向に関する情報を取得し、前記確認画面において、確認時に撮影方向に関する情報を記録することを特徴とする請求項１、（ａ）又は（ｂ）に記載の指摘支援装置。

（ｄ）前記支援部が、前記指摘位置を含む平面図において、前記撮影方向を表示することを特徴とする請求項１又は（ｃ）に記載の指摘支援装置。
（ｅ）前記撮影画像において、前記指摘位置に対応させて、指摘内容を含む付せん情報を表示することを特徴とする請求項１、（ａ）～（ｄ）の何れか１項に記載の指摘支援装置。

クレーム及びその均等の精神及び範囲から逸脱することなく、形態及び詳細における様々な変更が上記の例に対してなされてよい。上記の例は説明を目的としたものに過ぎず、限定を目的とするものではない。各例における特徴の記載は、他の例における同様の特徴又は態様に対し適用可能であると考えられるべきものである。シーケンスが異なる順序により実行される場合であってもよい。及び／又は、記載のシステム、アーキテクチャ、装置、又は回路における構成要素が異なるように組み合わされる場合であってもよい。及び／又は、他の構成要素又はその均等によって置換乃至補完される場合であってもよい。開示の範囲は、詳細な説明によって定められるものではなく、クレーム及びその均等によって定められる。クレームの範囲内にある全ての変形が及びその均等が開示に含まれる。

ＣＳ１…指摘支援システム、１０…設計装置、１２…第１ユーザ装置、１４…第２ユーザ装置、２０…支援装置、２１…制御部、２１１…変換部、２１２…検査部、２１３…支援部、２２…ＢＩＭ情報記憶部、２３…表示モデル記憶部、２４…検査情報記憶部、２５…協力会社情報記憶部。

Claims (3)

1. 検査結果情報を記録する検査情報記憶部を備え、指摘内容の確認を支援する指摘支援システムであって、
   検査時に、指摘位置と、前記指摘位置を撮影した撮影画像と、前記撮影画像を撮影した撮影時状況に関する情報を前記検査情報記憶部に記録する検査部と、
   指摘箇所の確認時に、前記検査情報記憶部に記録された撮影画像とともに、前記指摘位置と前記撮影時状況とを示す情報を出力する支援部と、を備えることを特徴とする指摘支援システム。
2. 検査結果情報を記録する検査情報記憶部を備えた指摘支援システムを用いて、指摘内容の確認を支援する方法であって、
   前記指摘支援システムが、
   検査時に、指摘位置と、前記指摘位置を撮影した撮影画像と、前記撮影画像を撮影した撮影時状況に関する情報を前記検査情報記憶部に記録し、
   指摘箇所の確認時に、前記検査情報記憶部に記録された撮影画像とともに、前記指摘位置と前記撮影時状況とを示す情報を出力することを特徴とする指摘支援方法。
3. 検査結果情報を記録する検査情報記憶部を備えた指摘支援システムを用いて、指摘内容の確認を支援するためのプログラムであって、
   前記指摘支援システムを、
   検査時に、指摘位置と、前記指摘位置を撮影した撮影画像と、前記撮影画像を撮影した撮影時状況に関する情報を前記検査情報記憶部に記録する検査部、
   指摘箇所の確認時に、前記検査情報記憶部に記録された撮影画像とともに、前記指摘位置と前記撮影時状況とを示す情報を出力する支援部として機能させることを特徴とする指摘支援プログラム。

Images