JP2022161770A

JP2022161770A - Work support system and work support method

Info

Publication number: JP2022161770A
Application number: JP2021085471A
Authority: JP
Inventors: 拓馬中林; Takuma Nakabayashi; 允哉中村; Mitsuya Nakamura; 雄一池田; Yuichi Ikeda
Original assignee: Obayashi Corp
Current assignee: Obayashi Corp
Priority date: 2021-04-11
Filing date: 2021-05-20
Publication date: 2022-10-21

Abstract

To provide a work support system and a work support method for supporting efficient and accurate confirmation work at a work site.SOLUTION: A work support system A1 includes a design device 10 for designing by arranging elements in a virtual space using BIM, and a work support device 30 for displaying a three-dimensional model of the elements arranged in the virtual space. The design device 10 uses the BIM to place first position correction markers in the virtual space. The work support device 30 then performs the position matching of the real space and the virtual space based on the positional relationship between a second position correction marker captured in the real space by a camera 30b and the first position correction marker arranged in the virtual space, thereby outputting a mixed reality image in which the three-dimensional model of the elements arranged in the virtual space is superimposed on the image captured by the camera 30b.SELECTED DRAWING: Figure 1

Description

本開示は、作業現場での確認作業を支援する作業支援システム及び作業支援方法に関する。 The present disclosure relates to a work support system and a work support method that support confirmation work at a work site.

現場において、作業者が、現場図面等を参照しながら、現場状況を確認することがある。この場合、コンピュータ端末を用いることもある（例えば、特許文献１参照）。この文献に開示された技術においては、建設中のプラントにおけるプラントの建設や、維持管理作業を支援するため、タブレットは、測定された実位置から、記憶手段に格納されている仮想空間内の立体形状を表示するための仮想カメラの仮想位置を求める。そして、仮想カメラの視点で仮想空間内のオブジェクトを、進捗状態ごとに異なる表示形態にて表示手段に表示する。表示されたオブジェクトのＩＤと、入力されたオブジェクトの検査データとを対応付けて記憶手段に格納する。 At the site, workers sometimes check the site conditions while referring to site drawings and the like. In this case, a computer terminal may be used (see Patent Document 1, for example). According to the technique disclosed in this document, in order to support plant construction and maintenance work in a plant under construction, the tablet is used to convert the measured actual position into a three-dimensional space in a virtual space stored in a storage means. Find the virtual position of the virtual camera for displaying the shape. Then, the object in the virtual space from the virtual camera's viewpoint is displayed on the display means in different display forms for each progress state. The ID of the displayed object and the input inspection data of the object are associated with each other and stored in the storage means.

また、建築物の設計においては、ＢＩＭ（Building Information Modeling）を用いることがある。そして、このＢＩＭを用いて、構造物の検査を行なうこともある（例えば、特許文献２参照）。この文献に開示された技術においては、ユーザ端末の制御部は、現在位置を特定し、現在位置に応じた３次元モデルの仮想画像を、カメラから取得した構造物画像に合わせて重畳表示する。更に、制御部は、構造物画像を用いて、検査対象の評価項目の評価結果を取得し、評価結果を、３次元モデルにおける検査対象の位置に関連付けて、検査情報記憶部に記録する。 BIM (Building Information Modeling) is sometimes used in the design of buildings. Then, this BIM is sometimes used to inspect structures (see Patent Document 2, for example). In the technique disclosed in this document, the control unit of the user terminal specifies the current position, and superimposes a virtual image of a three-dimensional model corresponding to the current position on the structure image obtained from the camera. Further, the control unit uses the structure image to obtain evaluation results of the evaluation items of the inspection target, associates the evaluation results with the position of the inspection target in the three-dimensional model, and records them in the inspection information storage unit.

特開２０１５－０１１６２０号公報JP 2015-011620 A 特開２０１９－０２７８５５号公報JP 2019-027855 A

しかしながら、仮想空間の３次元モデルと現在位置との位置合わせがずれていると、的確な作業を行なうことができない。また、ＢＩＭデータは、このような位置合わせを考慮して生成されていない。 However, if the three-dimensional model of the virtual space is misaligned with the current position, the work cannot be performed accurately. Also, BIM data is not generated with such alignment in mind.

上記課題を解決するための作業支援システムは、ＢＩＭを用いて、仮想空間に要素を配置して設計を行なう設計装置と、仮想空間に配置された要素の３次元モデルを表示する作業支援装置とを備える。前記設計装置が、前記ＢＩＭを用いて、前記仮想空間に第１位置補正マーカを配置する。そして、前記作業支援装置が、現実空間において、カメラにより撮影された第２位置補正マーカと、前記仮想空間に配置された第１位置補正マーカとの位置関係により、前記現実空間と前記仮想空間との位置合わせを行ない、前記仮想空間に配置された要素の３次元モデルを、前記カメラによる撮影画像に重畳した複合現実画像を出力する。 A work support system for solving the above problems includes a design device that uses BIM to design elements by arranging them in a virtual space, and a work support device that displays a three-dimensional model of the elements arranged in the virtual space. Prepare. The design device uses the BIM to place a first position correction marker in the virtual space. Then, the work support device determines the positional relationship between the second position correction marker photographed by the camera and the first position correction marker arranged in the virtual space in the real space. and outputs a mixed reality image in which the three-dimensional model of the element arranged in the virtual space is superimposed on the image taken by the camera.

本開示によれば、作業現場において、効率的かつ的確な確認作業を支援することができる。 According to the present disclosure, it is possible to support efficient and accurate confirmation work at the work site.

実施形態のシステムの説明図。Explanatory drawing of the system of embodiment. 実施形態のハードウェア構成の説明図。Explanatory drawing of the hardware constitutions of embodiment. 実施形態のＢＩＭ情報記憶部の説明図。FIG. 4 is an explanatory diagram of a BIM information storage unit according to the embodiment; 実施形態の検査情報記憶部の説明図。FIG. 4 is an explanatory diagram of an examination information storage unit according to the embodiment; 実施形態の処理手順の説明図。Explanatory drawing of the processing procedure of embodiment. 実施形態の処理手順の説明図。Explanatory drawing of the processing procedure of embodiment. 実施形態の処理手順の説明図。Explanatory drawing of the processing procedure of embodiment. 実施形態の処理手順の説明図。Explanatory drawing of the processing procedure of embodiment. 実施形態の処理手順の説明図。Explanatory drawing of the processing procedure of embodiment. 実施形態の３次元ＣＡＤ図面の説明図。Explanatory drawing of the three-dimensional CAD drawing of embodiment. 実施形態の表示画面の説明図。Explanatory drawing of the display screen of embodiment. 実施形態の表示画面の説明図。Explanatory drawing of the display screen of embodiment. 実施形態の表示画面の説明図。Explanatory drawing of the display screen of embodiment. 実施形態の表示画面の説明図。Explanatory drawing of the display screen of embodiment. 実施形態の表示画面の説明図。Explanatory drawing of the display screen of embodiment. 実施形態の表示画面の説明図。Explanatory drawing of the display screen of embodiment. 実施形態の表示画面の説明図。Explanatory drawing of the display screen of embodiment. 実施形態の表示画面の説明図。Explanatory drawing of the display screen of embodiment. 実施形態の表示画面の説明図。Explanatory drawing of the display screen of embodiment. 実施形態の表示画面の説明図。Explanatory drawing of the display screen of embodiment.

以下、図１～図２０を用いて、作業支援システム及び作業支援方法を具体化した一実施形態を説明する。本実施形態では、建物の建築現場において、ＢＩＭ画像と現場状況とを比較しながら検査を行なう場合に用いる作業支援システム及び作業支援方法として説明する。
本実施形態では、図１に示すように、ネットワークを介して相互に接続された設計装置１０、支援サーバ２０、作業支援装置３０を用いる。 An embodiment of a work support system and a work support method will be described below with reference to FIGS. 1 to 20. FIG. In the present embodiment, a work support system and a work support method that are used when performing an inspection while comparing a BIM image with a site situation at a construction site of a building will be described.
In this embodiment, as shown in FIG. 1, a design device 10, a support server 20, and a work support device 30, which are interconnected via a network, are used.

（ハードウェア構成の説明）
図２を用いて、設計装置１０、支援サーバ２０、作業支援装置３０を構成する情報処理装置Ｈ１０のハードウェア構成を説明する。情報処理装置Ｈ１０は、通信装置Ｈ１１、入力装置Ｈ１２、表示装置Ｈ１３、記憶装置Ｈ１４、プロセッサＨ１５を備える。なお、このハードウェア構成は一例であり、他のハードウェアにより実現することも可能である。 (Description of hardware configuration)
The hardware configuration of the information processing device H10 that constitutes the design device 10, the support server 20, and the work support device 30 will be described with reference to FIG. The information processing device H10 includes a communication device H11, an input device H12, a display device H13, a storage device H14, and a processor H15. Note that this hardware configuration is an example, and can be realized by other hardware.

通信装置Ｈ１１は、他の装置との間で通信経路を確立して、データの送受信を実行するインタフェースであり、例えばネットワークインタフェースや無線インタフェース等である。 The communication device H11 is an interface that establishes a communication path with another device and executes data transmission/reception, such as a network interface or a wireless interface.

入力装置Ｈ１２は、各種情報の入力を受け付ける装置であり、例えばマウスやキーボード等である。表示装置Ｈ１３は、各種情報を表示するディスプレイ等である。なお、入力装置Ｈ１２及び表示装置Ｈ１３として、タッチパネルディスプレイを用いてもよい。 The input device H12 is a device that receives input of various information, such as a mouse and a keyboard. The display device H13 is a display or the like that displays various information. A touch panel display may be used as the input device H12 and the display device H13.

記憶装置Ｈ１４は、設計装置１０、支援サーバ２０、作業支援装置３０の各種機能を実行するためのデータや各種プログラムを格納する記憶装置である。記憶装置Ｈ１４の一例としては、ＲＯＭ、ＲＡＭ、ハードディスク等がある。 The storage device H14 is a storage device that stores data and various programs for executing various functions of the design device 10, the support server 20, and the work support device 30. FIG. Examples of the storage device H14 include ROM, RAM, hard disk, and the like.

プロセッサＨ１５は、記憶装置Ｈ１４に記憶されるプログラムやデータを用いて、設計装置１０、支援サーバ２０、作業支援装置３０における各処理を制御する。プロセッサＨ１５の一例としては、例えばＣＰＵやＭＰＵ等がある。このプロセッサＨ１５は、ＲＯＭ等に記憶されるプログラムをＲＡＭに展開して、各処理のための各種プロセスを実行する。 The processor H15 controls each process in the design device 10, the support server 20, and the work support device 30 using programs and data stored in the storage device H14. Examples of the processor H15 include, for example, a CPU and an MPU. This processor H15 expands programs stored in ROM or the like into RAM and executes various processes for each process.

プロセッサＨ１５は、自身が実行するすべての処理についてソフトウェア処理を行なうものに限られない。例えば、プロセッサＨ１５は、自身が実行する処理の少なくとも一部についてハードウェア処理を行なう専用のハードウェア回路（例えば、特定用途向け集積回路：ＡＳＩＣ）を備えてもよい。すなわち、プロセッサＨ１５は、以下で構成し得る。 Processor H15 is not limited to performing software processing for all the processing that it itself executes. For example, the processor H15 may include a dedicated hardware circuit (for example, an application specific integrated circuit: ASIC) that performs hardware processing for at least part of the processing performed by the processor H15. That is, the processor H15 can be configured as follows.

〔１〕コンピュータプログラム（ソフトウェア）に従って動作する１つ以上のプロセッサ
〔２〕各種処理のうち少なくとも一部の処理を実行する１つ以上の専用のハードウェア回路
〔３〕それらの組み合わせ、を含む回路（circuitry）
プロセッサは、ＣＰＵ並びに、ＲＡＭ及びＲＯＭ等のメモリを含み、メモリは、処理をＣＰＵに実行させるように構成されたプログラムコード又は指令を格納している。メモリすなわちコンピュータ可読媒体は、汎用又は専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。 [1] One or more processors that operate according to a computer program (software) [2] One or more dedicated hardware circuits that perform at least part of various processes [3] Combinations thereof (circuitry)
A processor includes a CPU and memory, such as RAM and ROM, which stores program code or instructions configured to cause the CPU to perform processes. Memory or computer-readable media includes any available media that can be accessed by a general purpose or special purpose computer.

（システム構成）
次に、図１を用いて、作業支援システムＡ１の各機能を説明する。
設計装置１０は、ＢＩＭ（Building Information Modeling）を用いて、構造物の設計処理（３次元ＣＡＤ処理）を行なうためのコンピュータ端末である。このＢＩＭでは、建築に用いる要素の形状だけではなく、建物要素の属性（プロパティ）を管理することができる。この設計装置１０は、オペレーティングシステム上で動作するＢＩＭアプリケーションにより、ＢＩＭ実行部１１として機能する。 (System configuration)
Next, each function of the work support system A1 will be described with reference to FIG.
The design device 10 is a computer terminal for designing a structure (three-dimensional CAD processing) using BIM (Building Information Modeling). This BIM can manage not only the shape of elements used for architecture but also the attributes (properties) of building elements. This design device 10 functions as a BIM execution unit 11 by means of a BIM application that runs on an operating system.

ＢＩＭ実行部１１は、ＢＩＭ技術により、３次元モデル（オブジェクト）を仮想３次元空間上で配置することにより、３次元ＣＡＤ（computer-aided design）を実現する。各３次元モデルは、建築に関する各種情報を属性として保持している。 The BIM execution unit 11 implements three-dimensional CAD (computer-aided design) by arranging a three-dimensional model (object) in a virtual three-dimensional space using BIM technology. Each three-dimensional model holds various types of information about architecture as attributes.

支援サーバ２０は、複合現実（ＭＲ：Mixed Reality）を利用して、現場状況の管理を支援する処理を実行するコンピュータシステムである。この支援サーバ２０は、制御部２１、ＢＩＭ情報記憶部２２、表示モデル記憶部２３、検査情報記憶部２４を備える。 The support server 20 is a computer system that uses mixed reality (MR) to perform processing that supports the management of site conditions. This support server 20 includes a control unit 21 , a BIM information storage unit 22 , a display model storage unit 23 and an inspection information storage unit 24 .

制御部２１は、後述する処理（変換段階、管理段階等を含む処理）を行なう。このための処理プログラムを実行することにより、制御部２１は、変換部２１１、管理部２１２等として機能する。 The control unit 21 performs processing (processing including a conversion stage, a management stage, etc.) to be described later. By executing a processing program for this purpose, the control unit 21 functions as a conversion unit 211, a management unit 212, and the like.

変換部２１１は、３次元ＣＡＤデータを、複合現実の仮想空間に表示可能なデータに変換する。ここでは、ＢＩＭを利用して設計された３次元ＣＡＤデータを、軽量化、ポリゴン化して、作業支援装置３０の表示アプリケーションで利用可能なフォーマットに変換する。
管理部２１２は、作業支援装置３０から現場状況における検査結果を取得し、検査情報記憶部２４に記録する。 The conversion unit 211 converts the three-dimensional CAD data into data that can be displayed in a mixed reality virtual space. Here, the three-dimensional CAD data designed using BIM is reduced in weight, polygonized, and converted into a format that can be used by the display application of the work support device 30 .
The management unit 212 acquires inspection results in the field situation from the work support device 30 and records them in the inspection information storage unit 24 .

図３に示すように、ＢＩＭ情報記憶部２２には、ＢＩＭにおいて作成したＢＩＭモデル情報２２０が記録される。このＢＩＭモデル情報２２０は、３次元ＣＡＤを用いて、建築物の設計を行なった場合に記録される。ＢＩＭモデル情報２２０は、プロジェクト情報に対して、ＢＩＭモデル（要素モデル、配置情報、属性情報）を含む。 As shown in FIG. 3, BIM model information 220 created in BIM is recorded in the BIM information storage unit 22 . This BIM model information 220 is recorded when a building is designed using three-dimensional CAD. The BIM model information 220 includes BIM models (element models, layout information, attribute information) for project information.

プロジェクト情報は、プロジェクトＩＤ、建築現場の名称、経度・緯度、建設現場の方位等に関する情報を含む。
要素モデルは、建築現場を構成する各要素の３次元形状（３次元モデル）に関する情報である。本実施形態では、要素として、建築要素オブジェクト、空間オブジェクト、マーカオブジェクトが用いられる。建築要素オブジェクトは、建築に用いる資機材に関するオブジェクトである。空間オブジェクトは、部屋や領域等を仕切る空間を特定するオブジェクトである。マーカオブジェクトは、仮想空間と現実空間との位置合わせに用いるオブジェクトである。 The project information includes project ID, name of construction site, longitude/latitude, direction of construction site, and the like.
The element model is information on the three-dimensional shape (three-dimensional model) of each element that constitutes the construction site. In this embodiment, architectural element objects, spatial objects, and marker objects are used as elements. A building element object is an object related to materials and equipment used for construction. A space object is an object that identifies a space that partitions a room, area, or the like. A marker object is an object used for aligning the virtual space and the real space.

配置情報は、３次元モデルを配置（仮想空間内の座標）に関する情報を含む。
属性情報は、この要素モデルのオブジェクトＩＤを含む。建築要素オブジェクトには、更に、仕様（資機材の種類、規格、寸法、面積、体積、素材、価格等）、工程に関するプロパティ情報が記録される。マーカオブジェクトには、属性情報としてマーカＩＤが記録される。マップピンオブジェクトには、属性情報として指摘ＩＤが記録される。 The placement information includes information on placement of the 3D model (coordinates in virtual space).
Attribute information includes the object ID of this element model. The building element object further records property information regarding specifications (types of materials and equipment, standards, dimensions, areas, volumes, materials, prices, etc.) and processes. A marker ID is recorded in the marker object as attribute information. A pointing ID is recorded in the map pin object as attribute information.

表示モデル記憶部２３は、複合現実の仮想空間において表示可能な３次元モデル（ＭＲモデル情報）が記録される。このＭＲモデル情報は、ＢＩＭモデル情報２２０の変換処理を行なった場合に記録される。このＭＲモデル情報にも、ＢＩＭモデル情報２２０と同様に、仮想空間における配置情報、属性情報が記録されている。 The display model storage unit 23 records a three-dimensional model (MR model information) that can be displayed in a mixed reality virtual space. This MR model information is recorded when the BIM model information 220 is converted. In this MR model information, similarly to the BIM model information 220, the arrangement information and attribute information in the virtual space are recorded.

図４に示すように、検査情報記憶部２４には、現場での検査における指摘に関する検査結果情報２４０が記録される。この検査結果情報２４０は、作業支援装置３０から指摘情報を取得した場合に記録される。検査結果情報２４０は、プロジェクトＩＤ、指摘ＩＤ、指摘箇所座標、カメラ座標、日時、部屋、部位、検査項目、メモ、写真、音声に関する情報を含む。 As shown in FIG. 4, the inspection information storage unit 24 records inspection result information 240 relating to indications made in on-site inspections. This inspection result information 240 is recorded when indication information is acquired from the work support device 30 . The inspection result information 240 includes information on a project ID, indication ID, indication location coordinates, camera coordinates, date and time, room, site, inspection item, memo, photograph, and sound.

プロジェクトＩＤは、指摘があったプロジェクトを特定するための識別子である。
指摘ＩＤは、このプロジェクトにおける各指摘を特定するための識別子である。
指摘箇所座標情報は、この指摘の位置（仮想空間内の座標）に関する情報を含む。
カメラ座標情報は、この指摘を作成した際のカメラ位置（仮想空間内の座標）に関する情報を含む。 The project ID is an identifier for identifying the pointed project.
An indication ID is an identifier for specifying each indication in this project.
Pointed-out location coordinate information includes information about the position of this point (coordinates in virtual space).
The camera coordinate information includes information on the camera position (coordinates in virtual space) when this indication was created.

日時情報は、この指摘が登録された年月日及び時刻に関する情報を含む。
部屋情報は、この指摘が行なわれた空間を特定するための識別子に関する情報を含む。例えば、指摘が行なわれた空間のオブジェクトＩＤを用いてもよい。 The date and time information includes information on the date and time when this indication was registered.
The room information includes information on an identifier for specifying the space in which this indication has been made. For example, the object ID of the space in which the indication was made may be used.

部位情報は、この指摘が行なわれた建築要素に関する情報を含む。例えば、指摘が行なわれた資材（建築要素）のオブジェクトＩＤを用いてもよい。
検査項目情報は、指摘された項目に関する情報を含む。例えば、資材における「キズ」等が記録される。
メモ情報は、検査項目における具体的な説明に関する情報を含む。
写真情報は、必要に応じて、この指摘箇所を撮影した画像である。
音声情報は、必要に応じて、検査項目における具体的な説明の音声、もしくは環境音の録音情報を含む。 The site information includes information about the building element for which this indication has been made. For example, the object ID of the indicated material (construction element) may be used.
Inspection item information includes information about the indicated item. For example, "scratches" in the material are recorded.
The memo information includes information on specific explanations for inspection items.
The photographic information is an image obtained by photographing the indicated portion, if necessary.
The audio information includes audio recordings of specific explanations of inspection items or environmental sounds as required.

図１に示す作業支援装置３０は、現場において構造物の検査を支援するコンピュータ端末（例えば、タブレット端末）である。この作業支援装置３０は、タッチパネルディスプレイ３０ａ、カメラ３０ｂ、位置特定部３０ｃを備える。更に、作業支援装置３０は、作業支援プログラムを実行することにより、ＭＲ処理部３１、検査支援部３２を実現するとともに、表示モデル記憶部３５を備える。 A work support device 30 shown in FIG. 1 is a computer terminal (for example, a tablet terminal) that supports inspection of a structure on site. This work support device 30 includes a touch panel display 30a, a camera 30b, and a position specifying section 30c. Furthermore, the work support device 30 implements an MR processing unit 31 and an examination support unit 32 by executing a work support program, and also includes a display model storage unit 35 .

タッチパネルディスプレイ３０ａは、各種情報を入力するための入力部として機能するとともに、各種情報を出力するための出力部として機能する。なお、入力部、出力部は、情報の入力や出力が可能なハードウェアであれば、タッチパネルディスプレイ３０ａに限定されるものではない。 The touch panel display 30a functions as an input section for inputting various types of information, and also functions as an output section for outputting various types of information. Note that the input unit and the output unit are not limited to the touch panel display 30a as long as they are hardware capable of inputting and outputting information.

カメラ３０ｂは、被写体を撮影する撮影部である。
位置特定部３０ｃは、自己位置推定により、作業支援装置３０の現在地を特定する処理を実行する。この自己位置推定には、例えば、カメラ３０ｂで逐次撮影された画像の相対的な変化に応じて移動距離を推定する視覚オドメトリー技術（ＶＯ：visual odometry）を用いることができる。この技術では、位置特定部３０ｃは、撮影画像内の特徴点の検出、特徴点の相関位置関係に応じて、カメラ３０ｂの動きを推定する。なお、位置の特定は、視覚オドメトリー技術を用いる方法に限定されるものではない。例えば、３軸の加速度センサやジャイロセンサ等のＩＭＵ（Inertial Measurement Unit）を用いたり、併用したりして、ＶＩＯ（visual-inertial odometry）を行なうようにしてもよい。 The camera 30b is a photographing unit that photographs a subject.
The position specifying unit 30c performs a process of specifying the current location of the work support device 30 by self-position estimation. For this self-position estimation, for example, a visual odometry technique (VO: visual odometry) that estimates the movement distance according to relative changes in images sequentially captured by the camera 30b can be used. In this technique, the position specifying unit 30c estimates the motion of the camera 30b according to the detection of feature points in the captured image and the correlation positional relationship of the feature points. Note that the position identification is not limited to the method using the visual odometry technique. For example, VIO (visual-inertial odometry) may be performed using an IMU (Inertial Measurement Unit) such as a triaxial acceleration sensor or a gyro sensor, or in combination.

ＭＲ処理部３１は、カメラ３０ｂによって撮影した画像に対して、表示モデル記憶部３５に記録されたＭＲモデルを重畳して表示する処理を実行する。
検査支援部３２は、カメラ３０ｂによる撮影画像とＭＲモデルとを比較して、建築要素の検査を支援する処理を実行する。 The MR processing unit 31 superimposes and displays the MR model recorded in the display model storage unit 35 on the image captured by the camera 30b.
The inspection support unit 32 compares the image captured by the camera 30b with the MR model, and executes processing for supporting the inspection of building elements.

表示モデル記憶部３５には、支援サーバ２０から取得した表示モデルが記録される。更に、検査において、指摘事項が登録された場合、マップピンオブジェクトの３次元モデルが登録される。このマップピンオブジェクトは、指摘事項の配置を示すオブジェクトである。マップピンオブジェクトは、属性情報として指摘ＩＤ、検査項目を保持する。 The display model acquired from the support server 20 is recorded in the display model storage unit 35 . Further, in the inspection, if the findings are registered, the 3D model of the map pin object is registered. This map pin object is an object that indicates the placement of indications. A map pin object holds an indication ID and an inspection item as attribute information.

〔作業支援処理〕
図５～図２０を用いて、作業支援処理を説明する。以下では、設計処理（図５）、作業開始処理（図６）、作業時処理（図７）、指摘支援処理（図８）、検査支援処理（図９）の順番で説明する。 [Work support processing]
The work support processing will be described with reference to FIGS. 5 to 20. FIG. The design process (FIG. 5), work start process (FIG. 6), work process (FIG. 7), indication support process (FIG. 8), and inspection support process (FIG. 9) will be described below in this order.

（設計処理）
まず、図５を用いて、設計処理を説明する。
ここでは、設計装置１０のＢＩＭ実行部１１は、ＢＩＭモデル生成処理を実行する（ステップＳ１０１）。具体的には、ユーザは、設計装置１０のＢＩＭ実行部１１を用いて、プロジェクト情報を入力する。この場合、ＢＩＭ実行部１１は、プロジェクト情報を含めたＢＩＭモデル情報２２０を、支援サーバ２０のＢＩＭ情報記憶部２２に記録する。 (design processing)
First, the design process will be described with reference to FIG.
Here, the BIM execution unit 11 of the design device 10 executes BIM model generation processing (step S101). Specifically, the user uses the BIM execution unit 11 of the design apparatus 10 to input project information. In this case, the BIM execution section 11 records the BIM model information 220 including the project information in the BIM information storage section 22 of the support server 20 .

そして、ユーザは、ＢＩＭ実行部１１によって出力されたＣＡＤ画面上で、建物を構成する各要素（オブジェクト）の３次元要素モデルを配置することにより、設計を行なう。各要素についての属性情報が入力された場合、ＢＩＭ実行部１１は、ＢＩＭモデルの属性情報として記録する。そして、ＢＩＭ実行部１１は、作成したＢＩＭモデル情報２２０を、支援サーバ２０のＢＩＭ情報記憶部２２に記録する。 Then, the user designs the building by arranging a three-dimensional element model of each element (object) that constitutes the building on the CAD screen output by the BIM execution unit 11 . When attribute information about each element is input, the BIM execution unit 11 records it as attribute information of the BIM model. The BIM execution unit 11 then records the created BIM model information 220 in the BIM information storage unit 22 of the support server 20 .

次に、設計装置１０のＢＩＭ実行部１１は、位置補正マーカの設置処理を実行する（ステップＳ１０２）。具体的には、ユーザは、設計装置１０のＢＩＭ実行部１１を用いて、建物の所定位置に、所定の向きで、位置補正マーカ（第１位置補正マーカ）を設置する。この位置補正マーカも、ＢＩＭ上での一つのオブジェクトである。この場合、ＢＩＭ実行部１１は、このオブジェクトの属性情報として「マーカ」、「マーカＩＤ」、「マーカ寸法」を設定する。本実施形態では、位置補正マーカを、例えば、通り芯の交点等、現場において、位置決め容易で、配置し易い場所に設定する。
図１０に示すように、ＢＩＭのＣＡＤ図面５００に位置補正マーカ５０１を設置する。 Next, the BIM execution unit 11 of the design device 10 executes a position correction marker installation process (step S102). Specifically, the user uses the BIM execution unit 11 of the design device 10 to install a position correction marker (first position correction marker) at a predetermined position on the building in a predetermined orientation. This position correction marker is also one object on BIM. In this case, the BIM execution unit 11 sets "marker", "marker ID", and "marker dimension" as attribute information of this object. In the present embodiment, the position correction marker is set at a location such as the intersection of the grid lines that is easy to position and arrange on site.
As shown in FIG. 10, a position correction marker 501 is placed on a BIM CAD drawing 500 .

次に、支援サーバ２０の制御部２１は、ＭＲ用データ変換処理を実行する（ステップＳ１０３）。具体的には、設計装置１０に設計完了が入力された場合、制御部２１の変換部２１１は、ＢＩＭ情報記憶部２２に記録されたＢＩＭモデル情報２２０のＢＩＭモデルを、複合現実の仮想空間内で表示可能なＭＲモデルに変換する。ここでは、ＢＩＭモデルを軽量化してポリゴン化し、作業支援装置３０のＭＲ処理部３１で表示可能な形式のＭＲモデルを生成する。このＭＲモデルには、建築要素オブジェクト、空間オブジェクト、マーカオブジェクトの３次元モデルが含まれる。 Next, the control unit 21 of the support server 20 executes MR data conversion processing (step S103). Specifically, when design completion is input to the design device 10, the conversion unit 211 of the control unit 21 converts the BIM model of the BIM model information 220 recorded in the BIM information storage unit 22 into the mixed reality virtual space. to convert to a displayable MR model. Here, the BIM model is reduced in weight and polygonized to generate an MR model in a format that can be displayed by the MR processing unit 31 of the work support device 30 . This MR model includes three-dimensional models of building element objects, spatial objects, and marker objects.

（作業開始処理）
次に、図６を用いて、作業開始処理を説明する。ここでは、現場において、ＢＩＭにおいて設定された位置補正マーカに対応する位置に、予め位置補正マーカ（第２位置補正マーカ）を印刷したシートを配置しておく。位置補正マーカとしては、マーカＩＤをコード化した２次元コード画像を用いる。この２次元コード画像は、ＢＩＭで設計した所定の大きさの矩形状の外枠を有しており、ＢＩＭで配置された向きに置く。そして、作業支援装置３０において、作業支援プログラムを実行させて、ＭＲ処理部３１を起動する。 (work start processing)
Next, the work start process will be described with reference to FIG. Here, at the site, a sheet on which a position correction marker (second position correction marker) is printed in advance is arranged at a position corresponding to the position correction marker set in BIM. A two-dimensional code image in which the marker ID is encoded is used as the position correction marker. This two-dimensional code image has a rectangular outer frame of a predetermined size designed by BIM, and is placed in the orientation arranged by BIM. Then, in the work support device 30, the work support program is executed, and the MR processing section 31 is activated.

ここでは、作業支援装置３０は、プロジェクト選択処理を実行する（ステップＳ２０１）。具体的には、ユーザは、支援サーバ２０の表示モデル記憶部２３に記録されたプロジェクトを選択する。この場合、ＭＲ処理部３１は、表示モデル記憶部２３から、選択されたプロジェクトのＭＲモデルを取得し、表示モデル記憶部３５に記録する。 Here, the work support device 30 executes project selection processing (step S201). Specifically, the user selects a project recorded in the display model storage unit 23 of the support server 20 . In this case, the MR processing unit 31 acquires the MR model of the selected project from the display model storage unit 23 and records it in the display model storage unit 35 .

次に、作業支援装置３０は、位置補正マーカ撮影処理を実行する（ステップＳ２０２）。具体的には、ユーザは、位置補正マーカが配置されている場所まで移動する。そして、タッチパネルディスプレイ３０ａで位置補正マーカを確認する。 Next, the work support device 30 executes position correction marker photographing processing (step S202). Specifically, the user moves to the place where the position correction marker is placed. Then, the position correction marker is confirmed on the touch panel display 30a.

この場合、タッチパネルディスプレイ３０ａの表示画面において、マーカ位置合わせの作業指示項目ボタンを選択すると、画面に、マーカを特定する四角形枠が表示される。
そして、図１１に示す表示画面５１０のように、現場に配置されたシート５１１を作業支援装置３０のカメラ３０ｂで捉える。シート５１１には、マーカＩＤをコード化した２次元コード画像が所定の大きさで、位置補正マーカとして印刷されている。そして、画面に表示された四角形枠を、シート５１１の位置補正マーカ５１２に重なるように一致させた状態を確認した後、タッチパネルディスプレイ３０ａで撮影する。 In this case, when the work instruction item button for marker alignment is selected on the display screen of the touch panel display 30a, a square frame specifying the marker is displayed on the screen.
Then, as shown in a display screen 510 shown in FIG. 11, a sheet 511 arranged at the site is captured by the camera 30b of the work support device 30. FIG. A two-dimensional code image in which the marker ID is encoded is printed on the sheet 511 as a position correction marker in a predetermined size. Then, after confirming that the square frame displayed on the screen is aligned with the position correction marker 512 of the sheet 511 so as to overlap, the touch panel display 30a is used to capture an image.

次に、作業支援装置３０は、位置補正マーカのデコード処理を実行する（ステップＳ２０３）。具体的には、ＭＲ処理部３１は、位置補正マーカ５１２をデコードして、マーカＩＤ、マーカ寸法を取得する。 Next, the work support device 30 executes decoding processing of the position correction marker (step S203). Specifically, the MR processing unit 31 decodes the position correction marker 512 and acquires the marker ID and marker dimensions.

次に、作業支援装置３０は、位置合わせ処理を実行する（ステップＳ２０４）。具体的には、ＭＲ処理部３１は、撮影された２次元コード画像の撮影画像内の配置（形状、大きさ、向き）を、デコードしたマーカＩＤの仮想空間内の位置補正マーカの配置に対応させる。この対応付けにより、撮影された位置（座標）や向きを特定して、仮想空間内の座標軸を、現実空間内の座標軸に合わせるとともに、マーカ寸法に応じて縮尺を決定する。この結果、取得したＭＲモデルを用いて、作業支援装置３０のカメラ３０ｂを視点とする仮想空間の視野画像を、カメラ３０ｂの撮影画像に写像可能なように位置合わせを実現する。 Next, the work support device 30 executes alignment processing (step S204). Specifically, the MR processing unit 31 makes the arrangement (shape, size, orientation) of the photographed two-dimensional code image in the photographed image correspond to the arrangement of the position correction marker in the virtual space of the decoded marker ID. Let Based on this association, the photographed position (coordinates) and orientation are specified, the coordinate axes in the virtual space are aligned with the coordinate axes in the real space, and the scale is determined according to the marker dimensions. As a result, using the acquired MR model, alignment is realized so that the visual field image of the virtual space with the camera 30b of the work support device 30 as a viewpoint can be mapped onto the captured image of the camera 30b.

次に、作業支援装置３０は、空間オブジェクトの特定処理を実行する（ステップＳ２０５）。具体的には、ＭＲ処理部３１は、仮想空間内の視点が、空間オブジェクト内に含まれる場合には、この空間オブジェクトの属性情報を、タッチパネルディスプレイ３０ａに出力する。 Next, the work support device 30 executes spatial object identification processing (step S205). Specifically, when the viewpoint in the virtual space is included in a spatial object, the MR processing unit 31 outputs the attribute information of this spatial object to the touch panel display 30a.

次に、作業支援装置３０は、重畳度に応じて、オブジェクトの表示処理を実行する（ステップＳ２０６）。具体的には、ＭＲ処理部３１は、タッチパネルディスプレイ３０ａに、カメラ３０ｂの撮影画像と、仮想空間の視野内の表示対象のＭＲモデル画像とを重畳させた複合現実画像を表示する。更に、ＭＲ処理部３１は、タッチパネルディスプレイ３０ａに、スライダを表示する。このスライダを用いることにより、タッチパネルディスプレイ３０ａに表示されるＭＲモデル画像の重畳度を調整することができる。 Next, the work support device 30 executes object display processing according to the degree of superimposition (step S206). Specifically, the MR processing unit 31 displays, on the touch panel display 30a, a mixed reality image in which an image captured by the camera 30b and an MR model image to be displayed within the field of view of the virtual space are superimposed. Furthermore, the MR processing unit 31 displays a slider on the touch panel display 30a. By using this slider, it is possible to adjust the degree of superimposition of the MR model image displayed on the touch panel display 30a.

図１２の表示画像５２０に示すように、スライダＳＤ１により重畳度「１００％」にすると、ＭＲモデル画像のみとなる。
図１３に示すように、表示画像５３０のスライダＳＤ１により重畳度を下げると、ＭＲモデルが透過するようになり、現場の実像とＭＲモデル画像が重畳した形態で表示される。 As shown in the display image 520 of FIG. 12, when the degree of superimposition is set to "100%" by the slider SD1, only the MR model image is displayed.
As shown in FIG. 13, when the degree of superimposition is lowered by the slider SD1 of the display image 530, the MR model becomes transparent, and the real image of the scene and the MR model image are displayed in a superimposed form.

図１４に示すように、表示画像５４０のスライダＳＤ１により重畳度「０％」にすると、ＭＲモデルが透明になり、現場の撮影画像のみが表示される。
そして、後述するようにユーザは、作業支援装置３０を携帯して移動しながら、検査を行なう。 As shown in FIG. 14, when the degree of superimposition is set to "0%" by the slider SD1 of the display image 540, the MR model becomes transparent and only the photographed image of the scene is displayed.
Then, as will be described later, the user carries the work support device 30 and performs the inspection while moving.

また、後述するように、移動後に、新たなシート５１１を見つけることもある。
図１５に示すように、この場合には、再び、マーカ位置合わせの作業指示項目ボタンを選択する。そして、表示画像５５０に表示される四角形枠の位置補正マーカ５５２を用いて、作業支援装置３０は、位置補正マーカ撮影処理（ステップＳ２０２）～位置合わせ処理（ステップＳ２０４）を実行する。 Also, as will be described later, a new sheet 511 may be found after the movement.
As shown in FIG. 15, in this case, the work instruction item button for marker alignment is selected again. Then, using the square-frame position correction marker 552 displayed in the display image 550, the work support device 30 executes the position correction marker imaging process (step S202) to the alignment process (step S204).

（作業時処理）
次に、図７を用いて、作業時処理を説明する。ユーザは、検査を行なうために、作業支援装置３０を携帯して移動する。この処理は、継続して実行される。 (processing during work)
Next, with reference to FIG. 7, the working process will be described. The user carries work support device 30 with him/her to perform inspection. This process is continuously executed.

この場合、作業支援装置３０は、自己位置の推定処理を実行する（ステップＳ３０１）。具体的には、位置特定部３０ｃは、逐次撮影された画像において、自己位置推定により、仮想空間内において、視点の配置（カメラ位置や向き）を特定する。 In this case, the work support device 30 executes self-position estimation processing (step S301). Specifically, the position specifying unit 30c specifies the placement of the viewpoint (camera position and orientation) in the virtual space by estimating the self-position in the sequentially captured images.

次に、作業支援装置３０は、視野内の指摘事項の表示処理を実行する（ステップＳ３０２）。具体的には、ＭＲ処理部３１は、表示しているプロジェクトＩＤに関連付けられた検査結果情報２４０を、検査情報記憶部２４から取得する。そして、ＭＲ処理部３１は、検査結果情報２４０の指摘箇所座標情報を用いて、指摘の位置を特定する。次に、ＭＲ処理部３１は、検査結果情報２４０の検査項目を取得する。そして、ＭＲ処理部３１は、指摘の位置に、検査項目を表示したマップピンオブジェクトを、仮想空間において、他の３次元オブジェクトと識別できるように、明示的に表示する。なお、このマップピンオブジェクトは、仮想空間と現実空間の重畳度の影響を受けず、視野内に常に表示される。この場合、距離が遠ければマップピンオブジェクトが小さくなるように表示する。 Next, the work support device 30 executes display processing of the indicated matter within the field of view (step S302). Specifically, the MR processing unit 31 acquires the inspection result information 240 associated with the displayed project ID from the inspection information storage unit 24 . Then, the MR processing unit 31 uses the indicated location coordinate information of the inspection result information 240 to specify the indicated position. Next, the MR processing unit 31 acquires inspection items of the inspection result information 240 . Then, the MR processing unit 31 explicitly displays the map pin object displaying the inspection item at the indicated position so that it can be distinguished from other three-dimensional objects in the virtual space. Note that this map pin object is always displayed within the field of view without being affected by the degree of overlap between the virtual space and the real space. In this case, the farther the map pin object, the smaller it is displayed.

次に、作業支援装置３０は、ステップＳ２０５と同様に、空間オブジェクトの特定処理を実行する（ステップＳ３０３）。
次に、作業支援装置３０は、表示対象属性の選択の判定処理を実行する（ステップＳ３０４）。具体的には、仮想空間に特定の種類のオブジェクトのみを表示させる場合には、タッチパネルディスプレイ３０ａにおいて表示対象属性を指定する。 Next, the work support device 30 executes spatial object identification processing (step S303), as in step S205.
Next, the work support device 30 executes determination processing for selecting attributes to be displayed (step S304). Specifically, when only a specific type of object is to be displayed in the virtual space, a display target attribute is designated on the touch panel display 30a.

表示対象属性が選択された場合（ステップＳ３０４において「ＹＥＳ」の場合）、表示対象属性に応じてオブジェクトの特定処理を実行する（ステップＳ３０５）。この場合、ＭＲ処理部３１は、表示モデル記憶部３５において、指定された表示対象属性を有するＭＲモデルを表示対象として特定する。 If a display target attribute is selected ("YES" in step S304), object identification processing is executed according to the display target attribute (step S305). In this case, the MR processing unit 31 identifies the MR model having the designated display target attribute as the display target in the display model storage unit 35 .

一方、表示対象属性が選択されていない場合（ステップＳ３０４において「ＮＯ」の場合）、表示対象属性に応じてオブジェクトの特定処理（ステップＳ３０５）をスキップして、表示モデル記憶部３５において、すべてのＭＲモデルを表示対象として特定する。 On the other hand, if the display target attribute is not selected ("NO" in step S304), the object specifying process (step S305) is skipped according to the display target attribute, and the display model storage unit 35 stores all Identify the MR model as a display target.

そして、作業支援装置３０は、ステップＳ２０６と同様に、重畳度に応じてオブジェクトの表示処理を実行する（ステップＳ３０６）。具体的には、ＭＲ処理部３１は、表示モデル記憶部３５において、指定された表示対象のＭＲモデルを表示する。 Then, the work support device 30 executes the display processing of the object according to the degree of superimposition, as in step S206 (step S306). Specifically, the MR processing unit 31 displays the designated MR model to be displayed in the display model storage unit 35 .

（指摘支援処理）
次に、図８を用いて、指摘支援処理を説明する。
まず、作業支援装置３０は、オブジェクト選択処理を実行する（ステップＳ４０１）。具体的には、ユーザが、検査対象を確認する場合、タッチパネルディスプレイ３０ａにＭＲモデル画像を表示させた状態で、選択するオブジェクトを指で指定する。この場合、ＭＲ処理部３１は、指定されたオブジェクトのオブジェクトＩＤを特定する。 (Indication support processing)
Next, referring to FIG. 8, the indication support processing will be described.
First, the work support device 30 executes object selection processing (step S401). Specifically, when the user confirms the inspection target, the user designates an object to be selected with a finger while the MR model image is displayed on the touch panel display 30a. In this case, the MR processing unit 31 identifies the object ID of the designated object.

次に、作業支援装置３０は、属性情報の表示処理を実行する（ステップＳ４０２）。具体的には、ＭＲ処理部３１は、表示モデル記憶部２３から、指定されたオブジェクトの属性情報を取得し、タッチパネルディスプレイ３０ａに出力する。 Next, the work support device 30 executes attribute information display processing (step S402). Specifically, the MR processing unit 31 acquires the attribute information of the designated object from the display model storage unit 23 and outputs it to the touch panel display 30a.

例えば、図１６に示すように、表示画面５６０において、オブジェクト５６１を指定する場合を想定する。
この場合、図１７に示すように、表示画面５６０には、属性情報５６２が表示される。 For example, assume that an object 561 is designated on a display screen 560 as shown in FIG.
In this case, attribute information 562 is displayed on the display screen 560 as shown in FIG.

次に、作業支援装置３０は、指摘事項の設定処理を実行する（ステップＳ４０３）。具体的には、ユーザが指摘事項を入力する場合、タッチパネルディスプレイ３０ａにおいて、指摘箇所をタッチする。この場合、ＭＲ処理部３１は、指摘事項入力画面５７２をタッチパネルディスプレイ３０ａに出力する。 Next, the work support device 30 executes a process of setting an indication (step S403). Specifically, when the user inputs an item to be pointed out, the user touches the point to be pointed out on the touch panel display 30a. In this case, the MR processing unit 31 outputs the indication input screen 572 to the touch panel display 30a.

図１８に示すように、表示画面５７０において、タッチ位置にマップピンオブジェクト５７１を配置し、指摘事項入力画面５７２をタッチパネルディスプレイ３０ａに出力する。そして、検査項目が入力された場合、ＭＲ処理部３１は、マップピンオブジェクト５７１の近傍に検査項目を表示する。なお、この段階では、まだ、指摘事項は支援サーバ２０に登録されていないので、マップピンオブジェクト５７１には光彩が付加された形態で、第１色（例えば白色等）で表示される。
更に、指摘箇所を、必要に応じて、カメラ３０ｂを用いて撮影する。この場合、作業支援装置３０は、指摘箇所座標、カメラ座標を特定する。
図１９に示すように、指摘箇所をカメラ３０ｂで撮影した場合には、撮影画像５７３は指摘事項入力画面５７２に設定される。
また、ＭＲ処理部３１は、ユーザの指示に応じて、検査項目における具体的な説明の音声、もしくは環境音を録音し、音声情報として検査情報記憶部２４に記録する。 As shown in FIG. 18, on the display screen 570, a map pin object 571 is arranged at the touched position, and an indication input screen 572 is output to the touch panel display 30a. Then, when inspection items are input, the MR processing unit 31 displays the inspection items near the map pin object 571 . At this stage, the indicated item has not yet been registered in the support server 20, so the map pin object 571 is displayed in the first color (for example, white) in a form in which a glow is added.
Furthermore, the indicated point is photographed using the camera 30b as necessary. In this case, the work support device 30 specifies pointed-out location coordinates and camera coordinates.
As shown in FIG. 19, when the indicated point is photographed by the camera 30b, the photographed image 573 is set on the indicated item input screen 572. As shown in FIG.
In addition, the MR processing unit 31 records the voice of a specific explanation of the inspection item or the environmental sound according to the user's instruction, and records it in the inspection information storage unit 24 as voice information.

次に、作業支援装置３０は、サーバ登録処理を実行する（ステップＳ４０４）。具体的には、ユーザが指摘事項の入力を完了した場合、指摘事項入力画面５７２の「記録を保存」ボタンを選択する。この場合、ＭＲ処理部３１は、指摘事項入力画面５７２の入力内容を支援サーバ２０に送信する。この指摘事項には、タッチ位置に応じた指摘箇所座標、カメラ座標、日時、部屋、部位、検査項目、メモに関するデータを含める。そして、支援サーバ２０の管理部２１２は、指摘ＩＤを付与した検査結果情報２４０を生成し、検査情報記憶部２４に記録する。 Next, the work support device 30 executes server registration processing (step S404). Specifically, when the user has completed inputting the indicated item, the user selects the “save record” button on the indicated item input screen 572 . In this case, the MR processing unit 31 transmits the input contents of the indicated item input screen 572 to the support server 20 . The indicated item includes data on indicated point coordinates, camera coordinates, date and time, room, site, inspection item, and memo corresponding to the touch position. Then, the management unit 212 of the support server 20 generates inspection result information 240 to which the pointing ID is assigned, and records it in the inspection information storage unit 24 .

図２０の表示画面５８０に示すように、登録済みの表示形態（光彩を削除した形態）に変化させたマップピンオブジェクト５８１が表示される。ＭＲ処理部３１は、このマップピンオブジェクト５８１を、指摘項目に応じた第２色（例えば、黄色や赤色）で表示する。 As shown in the display screen 580 of FIG. 20, a map pin object 581 changed to the registered display form (the form with the glow removed) is displayed. The MR processing unit 31 displays this map pin object 581 in a second color (for example, yellow or red) according to the indicated item.

（検査支援処理）
次に、図９を用いて、検査支援処理を説明する。
ここでは、作業支援装置３０は、ステップＳ４０１と同様に、オブジェクト選択処理を実行する（ステップＳ５０１）。 (Inspection support processing)
Next, the examination support processing will be described with reference to FIG.
Here, the work support device 30 executes object selection processing (step S501) as in step S401.

次に、作業支援装置３０は、撮影画像の取得処理を実行する（ステップＳ５０２）。具体的には、検査支援部３２は、カメラ３０ｂによって撮影した画像において、選択されたオブジェクトに対応する建築要素画像を抽出する。 Next, the work support device 30 executes a captured image acquisition process (step S502). Specifically, the inspection support unit 32 extracts a building element image corresponding to the selected object in the image captured by the camera 30b.

次に、作業支援装置３０は、画像の比較処理を実行する（ステップＳ５０３）。具体的には、検査支援部３２は、建築要素画像の性状と、選択されたオブジェクトのＭＲモデル情報（要素モデル、属性）を用いて、両者の性状を比較する。性状としては、例えば、形状、大きさ、材質、色彩等の少なくとも一つを用いる。 Next, the work support device 30 executes image comparison processing (step S503). Specifically, the inspection support unit 32 uses the property of the building element image and the MR model information (element model, attribute) of the selected object to compare the properties of both. At least one of shape, size, material, color and the like is used as the property.

次に、作業支援装置３０は、現場状況の正否評価処理を実行する（ステップＳ５０４）。具体的には、検査支援部３２は、資機材画像により特定した性状と、ＭＲモデル情報の性状との一致又は不一致に応じて正否を判定する。 Next, the work support device 30 executes correctness evaluation processing of the site situation (step S504). Specifically, the examination support unit 32 determines whether the property specified by the material/equipment image matches or disagrees with the property of the MR model information.

次に、作業支援装置３０は、現場状況の登録処理を実行する（ステップＳ５０５）。具体的には、検査支援部３２は、支援サーバ２０に判定結果を送信する。この判定結果には、選択されたオブジェクトのオブジェクトＩＤ、空間オブジェクトのオブジェクトＩＤ、判定結果に関するデータを含める。支援サーバ２０の管理部２１２は、受信した判定結果に対して指摘ＩＤを付与する。そして、管理部２１２は、検査結果情報２４０を生成し、検査情報記憶部２４に記録する。ここで、検査結果情報２４０の日時データ領域には、現在日時を記録する。部屋データ領域には、空間オブジェクトのオブジェクトＩＤを記録する。部位データ領域には、選択されたオブジェクトのオブジェクトＩＤを記録する。検査項目データ領域には、性状相違を示す情報を記録する。メモデータ領域には、性状相違の内容（形状、大きさ、材質、色彩等）を記録する。 Next, the work support device 30 executes a site situation registration process (step S505). Specifically, the examination support unit 32 transmits the determination result to the support server 20 . The determination result includes the object ID of the selected object, the object ID of the spatial object, and data regarding the determination result. The management unit 212 of the support server 20 assigns an indication ID to the received determination result. The management unit 212 then generates inspection result information 240 and records it in the inspection information storage unit 24 . Here, the current date and time is recorded in the date and time data area of the inspection result information 240 . The object ID of the space object is recorded in the room data area. The part data area records the object ID of the selected object. Information indicating property differences is recorded in the inspection item data area. In the memo data area, the content of the property difference (shape, size, material, color, etc.) is recorded.

本実施形態によれば、以下のような効果を得ることができる。
（１）本実施形態では、設計装置１０のＢＩＭ実行部１１は、位置補正マーカの設置処理を実行する（ステップＳ１０２）。そして、作業支援装置３０は、位置補正マーカ撮影処理（ステップＳ２０２）、位置補正マーカのデコード処理（ステップＳ２０３）、位置合わせ処理（ステップＳ２０４）を実行する。これにより、ＢＩＭにより設計されたオブジェクトと、現実空間のオブジェクトとの位置合わせを行なうことができる。 According to this embodiment, the following effects can be obtained.
(1) In the present embodiment, the BIM execution unit 11 of the design device 10 executes a position correction marker installation process (step S102). Then, the work support device 30 executes position correction marker imaging processing (step S202), position correction marker decoding processing (step S203), and alignment processing (step S204). Thereby, the object designed by BIM and the object in the real space can be aligned.

（２）本実施形態では、設計装置１０のＢＩＭ実行部１１は、位置補正マーカの設置処理を実行する（ステップＳ１０２）。ここでは、位置補正マーカを、現場において、位置決め容易で、配置し易い場所に設定する。これにより、構造物の設計に用いる基準位置を用いて、位置合わせのためのマーカを配置することができる。例えば、通り芯等の基準位置では、現実空間において墨出し（水平位置や中心位置の表示）が行なわれているので、的確に位置補正マーカが付されたシートを配置することができる。 (2) In the present embodiment, the BIM execution unit 11 of the design device 10 executes a position correction marker installation process (step S102). Here, the position correction marker is set at a location where it can be easily positioned and arranged on site. As a result, it is possible to place the markers for alignment using the reference positions used for designing the structure. For example, since marking (displaying the horizontal position and the center position) is performed in the real space at the reference position such as the center line, the sheet with the position correction marker can be accurately arranged.

（３）本実施形態では、新たなシート５１１を見つけた場合には、位置補正マーカ５５２により、作業支援装置３０は、位置補正マーカ撮影処理（ステップＳ２０２）～位置合わせ処理（ステップＳ２０４）を実行する。これにより、自己位置推定により生じた誤差を是正することができる。 (3) In the present embodiment, when a new sheet 511 is found, the work support device 30 executes the position correction marker photographing process (step S202) to the alignment process (step S204) using the position correction marker 552. do. This makes it possible to correct errors caused by self-position estimation.

（４）本実施形態では、作業支援装置３０は、視野内の指摘事項の表示処理を実行する（ステップＳ３０２）。これにより、ＭＲモデル画像において視認しにくい位置にある指摘事項を容易に把握することができる。 (4) In the present embodiment, the work support device 30 executes display processing of the indicated item within the field of view (step S302). As a result, it is possible to easily comprehend an indication item located at a difficult-to-visually-recognized position in the MR model image.

（５）本実施形態では、作業支援装置３０は、サーバ登録処理を実行する（ステップＳ４０４）。これにより、複数の作業支援装置３０を用いる場合にも、指摘事項等の情報共有を行なうことができる。 (5) In the present embodiment, the work support device 30 executes server registration processing (step S404). As a result, even when a plurality of work support devices 30 are used, information such as indications can be shared.

（６）本実施形態では、作業支援装置３０は、撮影画像の取得処理（ステップＳ５０２）、画像の比較処理（ステップＳ５０３）、現場状況の正否評価処理（ステップＳ５０４）を実行する。これにより、現場において、効率的に検査を行なうことができる。 (6) In the present embodiment, the work support device 30 executes a photographed image acquisition process (step S502), an image comparison process (step S503), and a site situation correctness evaluation process (step S504). As a result, inspection can be efficiently performed on site.

本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態では、建物の建築現場において、ＢＩＭ画像と現場状況とを比較しながら検査を行なう場合に用いる。本開示の適用対象は、建築現場に限定されるものではない。すなわち、本開示のＢＩＭは、例えば、土木等の建設設計に用いられるＣＩＭ（Construction Information Modeling）を含む技術である。 This embodiment can be implemented with the following modifications. This embodiment and the following modified examples can be implemented in combination with each other within a technically consistent range.
- The above-described embodiment is used when inspecting a building construction site while comparing the BIM image with the site situation. The application of the present disclosure is not limited to construction sites. That is, the BIM of the present disclosure is technology including, for example, CIM (Construction Information Modeling) used for construction design such as civil engineering.

・上記実施形態では、設計装置１０、支援サーバ２０及び作業支援装置３０を用いる。ハードウェア構成は、これに限定されるものではない。例えば、設計装置１０や作業支援装置３０において、ＢＩＭモデル情報からＭＲモデル情報に変換するようにしてもよい。この場合には、変換部２１１を各端末に設ける。 - In the above embodiment, the design device 10, the support server 20, and the work support device 30 are used. The hardware configuration is not limited to this. For example, the design device 10 or work support device 30 may convert BIM model information into MR model information. In this case, the converter 211 is provided in each terminal.

また、検査情報記憶部２４を、ＢＩＭ情報を管理する支援サーバ２０とは異なる検査管理サーバに設けてもよい。この場合には、作業支援装置３０は、検査結果を検査管理サーバにアップロードする。 Also, the examination information storage unit 24 may be provided in an examination management server different from the support server 20 that manages BIM information. In this case, the work support device 30 uploads the inspection result to the inspection management server.

・上記実施形態では、作業支援装置３０として、タッチパネルディスプレイ３０ａを備えたタブレット端末を用いる。これに代えて、HoloLens（登録商標）等のＨＭＤ（Head Mounted Display）を用いてもよい。この場合には、音声認識、使用者の手を利用したハンドジェスチャー等の操作により、入力を行なう。 - In the above-described embodiment, a tablet terminal equipped with a touch panel display 30a is used as the work support device 30 . Alternatively, an HMD (Head Mounted Display) such as HoloLens (registered trademark) may be used. In this case, input is performed by voice recognition, hand gestures using the user's hand, or other operations.

・上記実施形態では、作業支援装置３０の位置特定部３０ｃは、自己位置推定により、作業支援装置３０の現在地を特定する処理を実行する。作業支援装置３０の現在位置の特定方法は、これに限定されるものではない。例えば、ＧＰＳ（Global Positioning System）を用いてもよい。また、ＬＩＤＡＲ（Light Detection and Ranging）技術を用いてもよい。 - In the above-described embodiment, the position specifying unit 30c of the work support device 30 executes the process of specifying the current location of the work support device 30 by self-position estimation. The method of identifying the current position of work support device 30 is not limited to this. For example, GPS (Global Positioning System) may be used. Alternatively, LIDAR (Light Detection and Ranging) technology may be used.

・上記実施形態では、設計装置１０のＢＩＭ実行部１１は、位置補正マーカの設置処理を実行する（ステップＳ１０２）。ここでは、位置補正マーカを、例えば、通り芯の交点等、現場において、位置決め容易で、配置し易い場所に設定する。これに代えて、設計装置１０が、位置補正マーカを設定するようにしてもよい。例えば、設計装置１０に、現場において基準となる部分を認識するためのマーカ位置選択情報を保持させておく。マーカ位置選択情報としては、複数の通り芯の交点等を用いることができる。また、複数の位置補正マーカを配置する場合には、所定間隔毎に、配置位置を特定する。そして、ＢＩＭ実行部１１が、マーカ位置選択情報を用いて、特定した配置位置に位置補正マーカを設定する。この場合、現場の工程に応じて、位置補正マーカを配置する場所を決定するようにしてもよい。例えば、工程に応じて、外部から視認可能なオブジェクトを特定し、このオブジェクトに応じて、位置補正マーカの配置を決定する。 - In the above-described embodiment, the BIM execution unit 11 of the design apparatus 10 executes the position correction marker installation process (step S102). Here, the position correction marker is set at a location such as the intersection of the grid lines that is easy to position and arrange on site. Alternatively, the design device 10 may set position correction markers. For example, the design device 10 holds marker position selection information for recognizing a reference portion on site. As the marker position selection information, intersection points of a plurality of grid lines can be used. Also, when arranging a plurality of position correction markers, the arrangement positions are specified at predetermined intervals. Then, the BIM execution unit 11 uses the marker position selection information to set the position correction marker at the identified arrangement position. In this case, the locations where the position correction markers are placed may be determined according to the process at the site. For example, an object that can be visually recognized from the outside is specified according to the process, and the arrangement of the position correction markers is determined according to this object.

また、位置合わせに用いる位置補正マーカも、２次元コード画像に限定されるものではない。固有の識別子として認識できるものであれば、２次元画像だけでなく３次元形状でもよい。この場合も、ＢＩＭの建築要素オブジェクトにマーカ属性を付与することで、２次元コード画像と同様に位置合わせが可能となる。例えば、現場において、既に配置されている既設オブジェクトを位置補正マーカとして利用してもよい。既設オブジェクトとしては、早い段階で配置される非常灯等を用いることができる。この場合には、位置特定部３０ｃが、画像認識処理により、既設オブジェクトを認識する。そして、位置特定部３０ｃが、認識したオブジェクト配置及び形状と、ＢＩＭモデル情報の要素モデルの配置（形状、大きさ、向き）とを比較して、位置合わせを行なう。 Also, the position correction marker used for alignment is not limited to the two-dimensional code image. A three-dimensional shape as well as a two-dimensional image may be used as long as it can be recognized as a unique identifier. In this case as well, by assigning a marker attribute to the BIM building element object, alignment can be performed in the same manner as in the case of the two-dimensional code image. For example, existing objects that have already been placed on site may be used as position correction markers. As an existing object, an emergency light or the like that is placed at an early stage can be used. In this case, the position specifying unit 30c recognizes the existing object by image recognition processing. Then, the position specifying unit 30c performs alignment by comparing the recognized object arrangement and shape with the arrangement (shape, size, orientation) of the element model of the BIM model information.

・上記実施形態では、位置補正マーカを、床に配置するが、位置補正マーカの配置は、床等の平面に限定されない。例えば、柱の側面に垂直に配置してもよい。床スラブのコンクリートがまだ打設されずに鉄筋だけが組まれているような工程において、位置補正マーカを床スラブ上に配置した場合には、位置補正マーカが歪むことがある。このような施工状況においても、柱の側面は、歪みが少ないため、撮影位置を特定して、位置合わせの誤差を少なくすることができる。 - In the above embodiment, the position correction markers are placed on the floor, but the placement of the position correction markers is not limited to a plane such as the floor. For example, it may be arranged perpendicular to the side of the pillar. When the position correction markers are arranged on the floor slab in a process in which concrete is not yet placed in the floor slab and only reinforcing bars are assembled, the position correction markers may be distorted. Even in such a construction situation, since the side surface of the pillar is less distorted, it is possible to specify the photographing position and reduce the alignment error.

・上記実施形態では、作業支援装置３０は、表示対象属性の特定処理を実行する（ステップＳ３０５）。ここで、ＭＲモデル情報に含まれる工程に応じて、表示対象属性を特定するようにしてもよい。例えば、ＭＲモデル情報の工程実施日に基づいて、現在日時の時点で構築されている建築要素を表示対象属性として特定する。また、次の工程において、構築される建築要素を表示対象として特定してもよい。また、工程ごとに建築要素のプリセットを登録できるようにしておき、プリセットに応じて、表示対象を特定するようにしてもよい。 - In the above-described embodiment, the work support device 30 executes the display target attribute identification process (step S305). Here, the attribute to be displayed may be specified according to the process included in the MR model information. For example, based on the process execution date of the MR model information, the architectural elements constructed at the current date and time are specified as display target attributes. Also, in the next step, the building element to be constructed may be specified as a display target. Alternatively, a preset of building elements may be registered for each process, and a display target may be specified according to the preset.

更に、後工程で配置される建築要素により、撮影位置から視認できなくなるオブジェクトについては、後工程においても視認可能なオブジェクトと異なる表示形態（例えば、半透明や点線等）に変更して表示するようにしてもよい。 Furthermore, for objects that cannot be seen from the shooting position due to architectural elements that will be placed in the post-process, they will be displayed in a different display format (e.g. semi-transparent, dotted line, etc.) from the visible object in the post-process. can be

・上記実施形態では、作業支援装置３０は、指摘事項の設定処理を実行する（ステップＳ４０３）。ここで、指摘事項入力画面の部屋欄に、空間オブジェクトのオブジェクトＩＤを初期設定するようにしてもよい。 - In the above-described embodiment, the work support device 30 executes the process of setting the pointed out item (step S403). Here, the object ID of the space object may be initially set in the room column of the indicated item input screen.

・上記実施形態では、作業支援装置３０は、画像の比較処理（ステップＳ５０３）、現場状況の正否評価処理（ステップＳ５０４）を実行する。検査方法は、画像比較に限定されるものではない。例えば、カメラ３０ｂによる撮影画像の画像認識処理を用いてもよい。この場合には、検査支援部３２が画像認識処理により、被写体の形状、大きさ、材質を特定する。そして、検査支援部３２は、表示モデル記憶部３５に記録されたオブジェクトの属性情報と比較して、正否を判定して出力する。 In the above-described embodiment, the work support device 30 executes the image comparison processing (step S503) and the correctness evaluation processing of the site situation (step S504). The inspection method is not limited to image comparison. For example, image recognition processing of an image captured by the camera 30b may be used. In this case, the inspection support unit 32 identifies the shape, size, and material of the subject through image recognition processing. Then, the inspection support unit 32 compares it with the attribute information of the object recorded in the display model storage unit 35, judges whether it is correct or not, and outputs it.

・上記実施形態では、作業支援装置３０は、画像の比較処理（ステップＳ５０３）、現場状況の正否評価処理（ステップＳ５０４）を実行する。ここで、正否評価結果に基づいて、ＭＲモデル画像の表示形態を変更するようにしてもよい。例えば、ＭＲモデル画像の配色を変更する。具体的には、検査支援部３２は、ＭＲモデル画像と構造物画像との差異を領域毎に算出し、差異が大きい領域については、濃いはっきりとした配色でＭＲモデル画像を表示する。一方、ＭＲモデル画像と構造物画像との差異が小さい領域については、ＭＲ処理部３１は、ＢＩＭ画像の透明度を高くして表示する。 In the above-described embodiment, the work support device 30 executes the image comparison processing (step S503) and the correctness evaluation processing of the site situation (step S504). Here, the display form of the MR model image may be changed based on the result of the correctness evaluation. For example, the color scheme of the MR model image is changed. Specifically, the inspection support unit 32 calculates the difference between the MR model image and the structure image for each area, and displays the MR model image in dark and clear colors for areas where the difference is large. On the other hand, for areas where the difference between the MR model image and the structure image is small, the MR processing unit 31 displays the BIM image with increased transparency.

・上記実施形態では、作業支援装置３０は、視野内の指摘事項の表示処理を実行する（ステップＳ３０２）。ここでは、ＭＲ処理部３１は、仮想空間において、指摘の位置に、検査項目を表示したマップピンオブジェクトを表示する。指摘事項の表示は、マップピンオブジェクトを用いる場合に限定されない。例えば、建築要素オブジェクトに指摘事項を表示するようにしてもよい。 - In the above-described embodiment, the work support device 30 performs the process of displaying the indicated matter within the field of view (step S302). Here, the MR processing unit 31 displays a map pin object displaying the inspection item at the indicated position in the virtual space. The display of indications is not limited to the use of map pin objects. For example, an indication may be displayed on the building element object.

次に、上記実施形態及び別例から把握できる技術的思想について以下に追記する。
（ａ）ＢＩＭを用いて、仮想空間に配置されたオブジェクトの３次元モデルを記録する表示モデル記憶部に接続された作業支援装置であって、
前記作業支援装置が、
現実空間において、カメラにより撮影された位置補正マーカと、前記ＢＩＭの前記仮想空間に配置された位置補正マーカの３次元モデルとの位置関係により、前記現実空間と前記仮想空間との位置合わせを行ない、
前記仮想空間に配置されたオブジェクトを、前記カメラによる撮影画像に重畳した複合現実画像を出力するＭＲ処理部を備えることを特徴とする作業支援装置。
（ｂ）前記ＭＲ処理部が、
現在位置を特定し、
前記現在地が含まれる空間オブジェクトを特定し、
前記空間オブジェクトの属性情報を出力することを特徴とする（ａ）に記載の作業支援装置。 Next, technical ideas that can be grasped from the above embodiment and another example will be added below.
(a) A work support device connected to a display model storage unit that records a three-dimensional model of an object placed in a virtual space using BIM,
The work support device is
In the physical space, the physical space and the virtual space are aligned based on the positional relationship between the position correction marker captured by the camera and the three-dimensional model of the position correction marker arranged in the virtual space of the BIM. ,
A work support device comprising an MR processing unit that outputs a mixed reality image in which an object placed in the virtual space is superimposed on an image captured by the camera.
(b) the MR processing unit
Identify your current location,
identifying a spatial object that includes the current location;
The work support device according to (a), wherein attribute information of the spatial object is output.

（ｃ）前記ＭＲ処理部が、
前記仮想空間に配置されたオブジェクトの属性情報において工程を特定し、
前記工程を用いて、前記複合現実画像に出力するオブジェクトを特定することを特徴とする請求項（ａ）又は（ｂ）に記載の作業支援装置。 (c) the MR processing unit
identifying a step in the attribute information of the object placed in the virtual space;
4. The work support apparatus according to claim 1, wherein an object to be output to said mixed reality image is specified using said step.

（ｄ）前記ＭＲ処理部が、前記撮影画像に入力された指摘事項を示すオブジェクトを生成し、前記仮想空間内に表示することを特徴とする請求項（ａ）～（ｃ）の何れか一項に記載の作業支援装置。 (d) The MR processing unit generates an object indicating the pointed out item input to the captured image, and displays the object in the virtual space. Work support device according to the item.

（ｅ）前記複合現実画像を用いて入力された指摘事項を、前記仮想空間内の位置に関連付けて記録する検査支援部を更に備えることを特徴とする請求項（ａ）～（ｄ）の何れか一項に記載の作業支援装置。
（ｆ）前記検査支援部が、前記撮影画像に含まれるオブジェクトの性状と、仮想空間に配置されたオブジェクトの性状とを比較し、比較結果を出力することを特徴とする（ｅ）に記載の作業支援装置。 (e) further comprising an inspection support unit that records the indications input using the mixed reality image in association with a position in the virtual space. or the work support device according to item 1.
(f) The examination support unit according to (e), wherein the property of the object included in the photographed image is compared with the property of the object placed in the virtual space, and the comparison result is output. Work support device.

（ｇ）位置補正マーカとして、仮想空間内において、マーカ位置選択情報を用いて選択したオブジェクト又は前記オブジェクトの基準線を設定することを特徴とする（ａ）～（ｆ）の何れか一項に記載の作業支援装置。 (g) An object selected by using marker position selection information or a reference line of the object is set in virtual space as a position correction marker. Work support device as described.

Ａ１…作業支援システム、１０…設計装置、１１…ＢＩＭ実行部、２０…支援サーバ、２１…制御部、２１１…変換部、２１２…管理部、２２…ＢＩＭ情報記憶部、２３…表示モデル記憶部、２４…検査情報記憶部、３０…作業支援装置、３０ａ…タッチパネルディスプレイ、３０ｂ…カメラ、３０ｃ…位置特定部、３１…ＭＲ処理部、３２…検査支援部、３５…表示モデル記憶部 A1 Work support system 10 Design device 11 BIM execution unit 20 Support server 21 Control unit 211 Conversion unit 212 Management unit 22 BIM information storage unit 23 Display model storage unit , 24... Inspection information storage unit, 30... Work support device, 30a... Touch panel display, 30b... Camera, 30c... Position specifying unit, 31... MR processing unit, 32... Inspection support unit, 35... Display model storage unit

Claims

A work support system comprising a design device for designing by arranging elements in a virtual space using BIM, and a work support device for displaying a three-dimensional model of the elements arranged in the virtual space,
The design device places a first position correction marker in the virtual space using the BIM,
The work support device is
aligning the physical space and the virtual space based on the positional relationship between the second position correction marker photographed by a camera and the first position correction marker arranged in the virtual space in the physical space;
A work support system that outputs a mixed reality image in which a three-dimensional model of elements placed in the virtual space is superimposed on an image captured by the camera.

Work support using a work support system using a design device for designing by arranging elements in a virtual space using BIM and a work support device for displaying a three-dimensional model of the elements arranged in the virtual space a method of performing
The design device places a first position correction marker in the virtual space using the BIM,
The work support device is
aligning the physical space and the virtual space based on the positional relationship between the second position correction marker photographed by a camera and the first position correction marker arranged in the virtual space in the physical space;
A work support method comprising: outputting a mixed reality image in which a three-dimensional model of an element arranged in the virtual space is superimposed on an image captured by the camera.