JP2021018710A - 現場連携システムおよび管理装置 - Google Patents

Abstract

【課題】点検作業の効率化を図れる現場連携システムおよび管理装置を提供する。【解決手段】 実施形態に係る現場連携システムは、端末装置と管理装置を備える。端末装置は、位置計測部と、表示部と、を有する。位置計測部は自己（端末装置自身）の位置を計測する。表示装置は画像を表示する。管理装置は、データベースと、表示制御部と、を有する。データベースは、構造物の配置を表す三次元データを記憶する。表示制御部は、前記三次元データおよび前記計測された端末装置の位置に基づき、前記構造物を示す画像と、前記端末装置の位置を示すアイコンと、を前記表示部上に対応して表示させる。【選択図】図２

Description

本発明の実施形態は、現場連携システムおよび管理装置に関する。

プラント、建物、設備等について、定期的に巡視点検を行い、点検の結果、必要であれば何らかの処置を行うのが通例である。このような巡視点検および処置の内容について、効率的な作業と確実な記録、管理が求められる。
一方、プラント等の構成の管理（コンフィグレーション・マネージメント）のために、３Ｄ−ＣＡＤと設計図書を紐付けて管理するためのシステム開発が進められている。巡視点検の記録や処置内容、現場映像などの現場情報を紐付けて管理することで、より詳細な構成の管理を実現できると考えられる。

特開２０１０−６１２６２号公報

しかしながら、点検記録などの現場のデータは、上記のようなデータベースと連携して管理できていないのが現状である。
また、現状の現場作業では、手書きによる記録や、タブレットでの記録方法があるが、点検箇所の相違や記録の際の入力ミスや手書きされた記録を入力する際の転記ミスが発生する可能性がある。さらには、経験のある作業者でないと対応が困難なことも多い。このように、従来の手法では、点検記録と設計情報を関連付けた確実な管理は困難である。

本発明の実施形態は、このような事情を考慮してなされたもので、点検作業の効率化を図れる現場連携システムおよび管理装置を提供することを目的とする。

実施形態に係る現場連携システムは、端末装置と管理装置を備える。端末装置は、位置計測部と、表示部と、を有する。位置計測部は自己（端末装置自身）の位置を計測する。表示装置は端末装置のカメラ画像および点検に必要な情報を表示する。管理装置は、データベースと、表示制御部と、を有する。データベースは、構造物の配置を表す三次元データを記憶する。表示制御部は、前記三次元データおよび前記計測された端末装置の位置に基づき、前記構造物を示す画像と、前記端末装置の位置を示すアイコンと、を前記表示部上に対応して表示させる。

本発明の実施形態により、点検作業の効率化を図れる現場連携システムおよび管理装置を提供される。

現場連携システムの概略を表す図である。 現場連携システムを示すブロック図である。 対象部材の選択方法の一例を表す模式図である。 作業計画テーブルの一例を表す模式図である。 端末装置２の画面に表示される画像の一例を表す図である。 図５の一部を表す図である。 撮像支援用の画面（レイアウト図）の一例を示す図である。 撮像支援用の画面（位置合わせ画面）の一例を示す図である。

以下、図面を参照しながら、現場連携システムの実施形態について詳細に説明する。
図１に示すように、本実施形態の現場連携システムは、ネットワークＮＷを介して接続される、管理装置１と端末装置２を備える。事務所の管理者Ｍが管理装置１を扱い、現場の作業者Ｗが端末装置２を所持、操作する。

ネットワークＮＷは、例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット回線、または携帯通信網である。ネットワークＮＷは、所定のネットワーク機器、例えば、無線ＬＡＮアクセスポイントまたはアンテナで構成されても良い。無線ＬＡＮには、例えば、ＷｉＦｉの規格を利用できる。

現場連携システムは、現場での作業者Ｗ（の作業）と事務所での管理者Ｍの連携を図る。現場には、構造物Ｓ、および点検または検査などの作業対象となる対象部材Ｏ（ここでは、Ｏ１，Ｏ２，Ｏ３)が配置されている。

作業者Ｗが作業を行う現場（エリア）は、例えば、発電プラントにおける所定の区画に設けられた建物内であり、壁で囲まれた複数の部屋がある。それぞれの部屋に作業の対象となる対象部材Ｏが配置される。これらの対象部材Ｏは、計器、操作スイッチ、バルブ、配管、装置、センサのいずれでも良い。

対象部材Ｏは建物の所定の部分、例えば、窓、扉、壁、天井、床、通路、壁の開口部、室内空間の一部の範囲であっても良い。また、巨大な１つの装置の一部が対象部分であっても良い。さらに、１つの装置の複数箇所が対象部材Ｏであっても良い。

現場には、位置の基準となる基準マーカＭＳが一または複数配置される。また、後述のように、対象部材Ｏに対応して対象マーカＭＯを配置してもよい。これらの詳細は後述する。

管理装置１は、管理者Ｍが視認を行うディスプレイ４に接続される。なお、管理装置１は、例えば、ＰＣ（例えば、デスクトップＰＣ、ノートＰＣ、タブレット型ＰＣ）から構成できる。

端末装置２は、スマートフォン、ＰＣ（例えば、ウェアラブルコンピュータ（スマートグラス）、タブレット型ＰＣ,ノートＰＣ）で構成できる。ウェアラブルコンピュータは、作業者Ｗが装着する透過型ヘッドマウントディスプレイを備える。その他、端末装置２は、撮影機能、通話機能、通信機能をそれぞれ持つ複数の機器で構成されても良い。

図２は、現場連携システムのブロック図である。
管理装置１は、データベース１１（設計情報データベース１１Ａ，部材データベース１１Ｂ，管理データベース１１Ｃ）、端末位置受信部１２，端末位置特定部１３，表示制御部１４，閲覧部１５，作業計画作成部１６，指示入力部１７を有する。

端末装置２は、位置計測部２１、撮像部２２，対象認識部２３，表示部２４，入力部２５，閲覧部２６，情報追加部２７、撮像支援部２８を有する。

データベース１１は、データを保持する記憶装置であり、内容に応じて、設計情報データベース１１Ａ，部材データベース１１Ｂ，管理データベース１１Ｃに区分できる。

設計情報データベース１１Ａは、プラント、構造物（建物、設備）などの配置や寸法に関する三次元データ（例えば、３次元ＣＡＤデータ）や図面（配管結線図、部材（機器等）配置図、外形図、構造図）の情報を保存する。

部材データベース１１Ｂは，構造物の部材（機器等）に関する設計資料や仕様などの図書あるいは図面あるいはデータが保存されている。
部材データベース１１Ｂは，追加情報を保存できる。追加情報は、巡視点検の情報、現場で撮影した写真・動画（例えば、撮像部２２で撮影された画像）、施工後や改造後に取得したレーザスキャンデータなどである。追加情報は、後述のように、端末装置２の情報追加部２７によって追加できる。

管理データベース１１Ｃは、部材の名称、その位置、仕様などの属性情報を保存する。
管理データベース１１Ｃには、基準位置管理テーブルが設けられる。基準位置管理テーブルには、基準位置ＩＤに対応付けて、３Ｄ位置情報とマーカＩＤと部材ＩＤとが登録される。

基準位置ＩＤは、複数の基準位置（基準マーカＭＳ）を個々に識別可能な識別情報である。なお、１つの基準位置に対して１つの基準位置ＩＤが付与される。

基準位置管理テーブルに登録される３Ｄ位置情報は、基準マーカＭＳが設けられた位置を指定する３次元座標の情報である。なお、座標の情報には、水平方向（Ｘ軸，Ｙ軸）と垂直方向（Ｚ軸）の位置を指定する情報を含む。また、この３Ｄ位置情報には、基準位置の向きまたは向きに関する情報が含まれる。

前述の基準マーカＭＳを原点（起点）として座標を設定できる。なお、座標は、基準マーカＭＳを原点としなくても良く、建物の所定の位置を座標の原点としても良い。

マーカＩＤは、複数の基準マーカＭＳを個々に識別可能な識別情報である。１つの基準マーカＭＳに対して１つのマーカＩＤが付与される。

部材ＩＤは、複数の対象部材Ｏを個々に識別可能な識別情報である。１つの対象部材Ｏに対して１つの部材ＩＤが付与される。

管理データベース１１Ｃには、部材管理テーブルが設けられる。部材管理テーブルには、部材ＩＤに対応付けて、３Ｄ位置情報、部材名、参考情報（参考情報自体、またはその所在）、マーカＩＤ、外観画像ＩＤ、３Ｄ形状ＩＤが登録されている。

３Ｄ位置情報は、対象部材Ｏの位置を指定する座標を示す位置情報である。なお、水平方向（Ｘ軸，Ｙ軸）と垂直方向（Ｚ軸）の位置を指定する情報を含む。また、この３Ｄ位置情報には、対象部材Ｏの向きまたは向きに関する情報が含まれる。

部材名は、対象部材の名称である。
参考情報は、対象部材Ｏに関連する情報（例えば、図面、図書）自体、またはその所在（例えば、参考情報の保存先のリンク）である。

マーカＩＤは、対象部材Ｏに対応する対象マーカＭＯを個々に識別可能な識別情報である。後述のように、対象マーカＭＯを用いることで、端末装置２の対象認識部２３による対象部材Ｏの認識が容易となる。

１つの対象マーカＭＯに対して１つのマーカＩＤが付与される。但し、複数の対象部材Ｏに対して１つのマーカＩＤが付与されても良い。
対象部材Ｏに対して、マーカＩＤが付与されなくても良い。つまり、対象部材Ｏまたはその近接位置に対象マーカＭＯが配置されなくても良い。この場合には、外観画像または３次元形状情報に基づいて、対象部材Ｏが認識される。

外観画像ＩＤは、管理データベース１１Ｃに予め登録された複数の対象部材Ｏの外観画像を個々に識別可能な識別情報である。
なお、１つの部材ＩＤに対応付けて複数の外観画像ＩＤが登録されても良い。つまり、１つの対象部材Ｏに対して異なる方向から撮影された複数の外観画像が管理データベース１１Ｃに予め登録されても良い。

なお、対象部材Ｏに、外観画像ＩＤが付与されなくても良い。つまり、対象部材Ｏの外観画像が管理データベース１１Ｃに登録されていなくても良い。この場合には、対象マーカまたは３次元形状情報に基づいて対象部材Ｏの認識が成される。

管理データベース１１Ｃは、作業計画およびその結果の情報（後述の作業計画テーブル）を記憶する。この詳細は後述する。

端末位置受信部１２は，端末装置２から発信された端末装置２の位置情報（計測された端末装置２の位置および向きの情報）を受信する。

端末位置特定部１３は、設計情報データベース１１Ａ中の三次元データ上での端末装置２の位置および向きを特定する（端末装置２の位置および向きの座標を三次元データ上の座標に変換）。

表示制御部１４は、三次元データおよび計測された端末装置２の位置および向きに基づき、構造物Ｓを示す画像（端末装置２の位置および向きに対応する画像）を生成する。表示制御部１４は、この画像に、端末装置２の位置および向きを示すアイコン（後述の端末位置アイコンＩｐ，端末方向アイコンＩｒ）を付加して、端末装置２に送信する。この画像は、端末装置２の表示部２４上に表示される。すなわち、表示制御部１４は、三次元データおよび計測された端末装置２の位置に基づき、構造物Ｓを示す画像と、端末装置２の位置を示すアイコンと、を端末装置２の表示部２４上に対応して表示させる機能を有する。

端末位置受信部１２、端末位置特定部１３、および表示制御部１４による位置情報の受信、位置の特定、画像生成の処理はリアルタイムに行うことができる。すなわち、表示制御部１４は、端末位置受信部１２による位置（および向き）の情報の受信に対応して、端末装置２の表示部２４上に表示させるアイコン（端末位置アイコンＩｐ，端末方向アイコンＩｒ）の位置（および向き）を更新する。

表示制御部１４は、次のように、端末装置２の表示部２４上に種々の画像を表示させることができる。
例えば、表示制御部１４は、対象部材Ｏに対する作業の順番を識別する第２のアイコン（後述の対象部材アイコンＩｏ）を、対象部材Ｏの位置に対応するように、端末装置２の表示部２４上に表示させることができる。

表示制御部１４は、対象部材Ｏの参考情報（参考情報自体、またはその所在）に対応する第３のアイコン（後述の参考情報アイコンＩｒｆ）を端末装置２の表示部２４上に表示させることができる。後述のように、端末装置２の閲覧部２６による、参考情報アイコンＩｒｆへの操作によって、参考情報を閲覧することができる。

表示制御部１４は、後述の指示入力部１７によって入力された作業の指示を、三次元データ上の位置に対応するように、端末装置２の表示部２４上に表示させることができる。

表示制御部１４は、後述のように、端末装置２の情報追加部２７によって入力された追加情報を端末装置２の表示部２４上に表示させることができる。

閲覧部１５は、管理者Ｍが必要な情報を閲覧できる。管理者Ｍが、例えば、検索ワードを入力すると、データベース１１から関連情報（例えば、ＣＡＤ図や図書の該当部分）が抽出され、ディスプレイ４に表示される。
閲覧部１５は、たとえば、ＰＣやタブレット型ＰＣのユーザインターフェース（ＵＩ）である。

作業計画作成部１６は、管理者Ｍが作業計画を立案するのを援助する。このために、作業計画作成部１６は、部材選択機能、入力機能を有する。

作業計画作成部１６は、管理者Ｍによる対象部材の選択を容易とする部材選択機能を提供する。例えば、作業計画作成部１６は、対象部材選択用のレイアウト、リストを表示する。
図３は、対象部材選択用のレイアウトの一例であり、複数の部材（ここでは、ポンプＡ、バルブＡ，Ｂ,機器Ａ，Ｂ）を表す図形が表示される。管理者Ｍは、この画面上から対象部材を選択できる。例えば、作業の対象としたい部材の画像をクリック（またはタップ）する。

作業計画作成部１６は、管理者Ｍによる作業計画の入力を容易とする入力機能を提供する。例えば、作業計画作成部１６は、作業計画用のテーブル（作業計画テーブル）を表示する。

図４は、入力された作業計画テーブルの一例であり、部材、作業の順番等を対応して表す。詳しくは、作業計画テーブルには、順番（Ｎｏ．）、位置（座標：ＰＸ，ＰＹ，ＰＺ）、向き（角度：ＲＸ，ＲＹ，ＲＺ）、部材ＩＤ，部材名、点検の内容、対応アイコンの色・輝度（Ｒ，Ｇ，Ｂ、Ａ）、参考情報、結果、日時、担当者が対応して表されている。
なお、結果、日時、担当者は、点検時に作業者Ｗが入力するため、ここでは空欄となっている。

順番（Ｎｏ．）は、点検の順序を表す。ここでは、整数１〜６の順に点検作業が行われる。
座標（ＰＸ，ＰＹ，ＰＺ）、角度（ＲＸ，ＲＹ，ＲＺ）は、対象部材が配置される場所の位置（座標）、対象部材の向き（角度）である。
部材ＩＤは、部材を識別する識別子である。
部材名は、対象部材の名称である。
内容は、点検の内容である。例えば、バルブの開または閉の確認、ポンプの動作または停止の確認である。
色・輝度は、対象部材Ｏを示すアイコンの色および輝度である。ここでは、Ｒ，Ｇ，Ｂの三原色で色彩を表している。
参考情報は、その部材に関連する情報、例えば、図面、図書である。ここでは、参考情報の保存先のリンク（参考情報の所在、例えば、ＵＲＬ）を示している。但し、参考情報自体であってもよい。

管理者Ｍは、作業計画テーブルに、これらの情報全てを入力する必要はない。作業の順番に対応する対象部材が選択されると、座標、角度、部材ＩＤ，部材名、参考情報（の所在）は、作業計画作成部１６が自動的に入力することができる。このとき、管理データベース１１Ｃの部材管理テーブルの３Ｄ位置情報、部材ＩＤ、部材名、参考情報（の所在）の情報を利用できる。

なお、管理者Ｍは、例えば、点検の内容、アイコンの色、輝度を適宜に変更しても良い。

指示入力部１７は、事務所の管理者Ｍが作業中の作業者Ｗに指示情報を提示するためのものである。指示入力部１７は、三次元データ上の位置と、作業の指示と、を入力する。
すなわち、管理者Ｍは、指示入力部１７を用い、三次元データ上で位置を指定して、バーチャル付箋などで作業指示を送ることができる。事務所の閲覧部１５（ＵＩ）によって、で表示されている三次元データの空間上をクリック等することで、位置を特定できる。

管理装置１は、三次元データ上の位置と、作業の指示を端末装置２に送信する。端末装置２の表示部２４は、撮像部２２で撮像された画像（実空間上の画像）と共に、作業指示の情報を表示できる。作業指示の情報は、入力された位置に対応するように表示部２４上に表示される。この結果、作業者Ｗは端末装置２上で指示情報を確認することができる。なお、バーチャル付箋の情報はリスト形式とすることができる。

なお、表示制御部１４が、入力された作業の指示を、三次元データ上の位置に対応するように、端末装置２の表示部２４上に表示させてもよい。

位置計測部２１は、端末装置２自身（自己）の位置および向きを計測する。
この計測には、次のように多様な手法を適用できる。
（１）ＧＰＳ（Global Positioning System）
屋外の現場であれば、衛星測位システム、例えば、ＧＰＳを利用してもよい。すなわち、ＧＰＳ衛星からの電波を受信することで、端末装置２の位置を確認できる。

屋内の現場であれば、次のように、ＰＤＲ、ビーコンや自己位置推定技術（ＳＬＡＭ）を適用してもよい。
（２）歩行者自律航法（ＰＤＲ: Pedestrian Dead Reckoning）
ＰＤＲでは、例えば、加速度センサ、角速度センサなどの慣性センサを用いて、端末装置２の位置および向きを計測する。
加速度センサを端末装置２に搭載すると、この端末装置２が移動したときに生じる加速度を検出できる。また、この加速度センサにより重力加速度の検出も行える。
角速度センサ（ジャイロセンサ）を端末装置２に搭載すると、この端末装置２の筐体の向きが変化したときに生じる角速度を検出できる。この端末装置２の筐体の向きにより端末装置２の向きを把握することができる。

（３）ＳＬＡＭ
端末装置２の位置および向きの推定には、ＳＬＡＭ（Simultaneous Localization and Mapping）技術、またはＳｆＭ（Structure from Motion）技術などを用いることができる。
例えば、ＶＳＬＡＭ（Visual SLAM）技術を用いて、端末装置２で撮影された画像に基づいて、その位置および向きの変位を算出できる。

ＶＳＬＡＭ技術では、例えば、端末装置２の撮像部２２にステレオカメラを用い、３次元測定センサで取得した情報を用いて、端末装置２の周辺の物体の特徴点を抽出することができる。この特徴点の集合させたものを３次元特徴点群データと称する。そして、ステレオカメラで撮影した撮影画像（動画像）を解析し、物体の特徴点（例えば、箱状の物体の辺または角の部分）をリアルタイムに追跡する。この３次元特徴点群データに基づいて、端末装置２の位置および向きの３次元情報を推定することができる。

３次元測定センサは、端末装置２の周辺の物体の３次元形状を測定する。３次元測定センサを端末装置２の筐体の背面側に設け、例えば、物体にレーザを投光してその反射光を受光素子により受光することで、端末装置２から物体までの距離を測定することができる。例えば、３次元測定センサは、投光パルスに対する受光パルスの遅れ時間を距離に換算するＴｏＦ（Time of Flight）方式を用いて、端末装置２から周辺の物体までの距離を測定して３次元点群化できる。

また、端末装置２の周辺の物体の３次元特徴点群データを所定の時間毎に検出し、時系列において前後する３次元特徴点群データ間の変位に基づいて、端末装置２の位置および向きの変位を算出することができる。また、時系列に得られる一連の端末装置２の位置および向きから、現在位置および現在向きに先立つ端末装置２の移動経路が得られる。

既述のように、現場に基準点となる基準マーカＭＳを設置し、基準マーカＭＳからの相対位置（Ｘ，Ｙ，Ｚ）を算出することで、端末装置２の位置情報を取得できる。既述の基準位置管理テーブルを用いることにより、三次元データ上での端末装置２の位置を確認できる。

作業者Ｗは、作業を開始するときに、まず、基準マーカＭＳを撮影する。ここで、端末装置２は、基準マーカＭＳが写った撮影画像に基づいて、端末装置２の位置および向きを推定する。なお、基準マーカＭＳの撮影を開始し、移動中も撮影を継続することで、基準位置から端末装置２が移動した移動経路を推定できる。

対象部材Ｏまたはその近接位置に、対象マーカＭＯを配置できる。なお、対象部材Ｏの近接位置とは、端末装置２により対象部材Ｏを撮影したときに対象部材Ｏと同時に写る範囲内にある位置のことを示す。

基準マーカＭＳ、対象マーカＭＯは、画像認識が可能な図形である。例えば、マトリックス型二次元コード、所謂ＱＲコード（登録商標）を基準マーカＭＳ、対象マーカＭＯとして用いることができる。また、基準マーカＭＳ、対象マーカＭＯは、他の基準マーカＭＳ、対象マーカＭＯから識別可能なマーカＩＤを示す情報が含まれる。このようにすれば、複数の基準マーカＭＳ、対象マーカＭＯをそれぞれ識別することができる。管理装置１の管理データベース１１Ｃ（部材管理テーブル）には、それぞれのマーカＩＤに対応して対象部材Ｏに関する情報が登録される。

基準マーカＭＳ、対象マーカＭＯを設ける態様としては、例えば、基準マーカＭＳ、対象マーカＭＯが印刷されたパネルを作成し、このパネルを、作業開始前に現場の壁面または対象部材Ｏの近傍に配置しておく。なお、壁面または対象部材Ｏに基準マーカＭＳ、対象マーカＭＯを直接印刷しても良い。

撮像部２２は，例えば、ＣＣＤ（Charge-Coupled Device）等の画像素子を有し、端末装置２の周辺の物体を光学的に撮影する。撮像部２２をステレオカメラとしてもよい。ステレオカメラは、筐体の背面側に設けられるレンズ付きの２つの画像素子を備え、物体を複数の異なる方向から同時に撮影することにより、その物体までの奥行き方向の情報が取得できる。このステレオカメラは、既述の位置計測部２１でのＶＳＬＡＭ処理、および後述の対象認識部２３での対象部材Ｏの認識に利用できる。

対象認識部２３は、撮影画像に写る対象部材Ｏを認識する。この対象認識部２３は、例えば、端末装置２の位置および向き（撮影方向）と対象部材Ｏに対応する位置とに基づいて、撮影画像に写る物体のうち、いずれの物体が対象部材Ｏであるかを認識する。

また、対象認識部２３は、対象マーカＭＯに対応する位置情報に基づいて対象部材Ｏを認識してもよい。このようにすれば、対象マーカＭＯに基づいて対象部材Ｏを認識することができるので、対象部材Ｏの認識精度を向上できる。

また、対象認識部２３は、対象マーカＭＯが写る撮影画像に基づいて対象部材Ｏを認識する。このようにすれば、対象マーカＭＯにより対象部材Ｏを認識できるので、対象部材Ｏの認識精度を向上させることができる。

また、対象認識部２３は、撮影された外観画像に基づいて対象部材Ｏを認識してもよい。このようにすれば、物体の外観に基づいて対象部材Ｏを認識できるので、対象部材Ｏの認識精度を向上できる。

また、対象認識部２３は、３次元形状情報に基づいて対象部材Ｏを認識してもよい。このようにすれば、物体の３次元形状に基づいて対象部材Ｏを認識するので、対象部材Ｏの認識精度を向上できる。３次元形状情報は、撮像部２２（ここでは、ステレオカメラ）で撮影された撮影画像に基づいて取得されても良いし、３次元測定センサに基づいて取得されても良い。

表示部２４は、表示装置、例えば、液晶表示装置、ＥＬ（Electro-Luminescence）表示装置であり、管理装置１の表示制御部１４から送信される画像や撮像部２２で撮影された撮影画像を表示する。
入力部２５は、作業者Ｗにより操作され、所定の情報の入力操作が行えるようにした入力デバイスである。入力部２５は表示部２４と一体的に設けられるタッチパネルで構成できる。

図５は、端末装置２の画面に表示される画像の一例を表す。
端末装置２の表示部２４上に、対象部材Ｏ（ここでは、Ｏ１，Ｏ２，Ｏ３）を含む構造物Ｓの立体画像が表示される。この画像は、三次元データに基づく管理装置１からの画像データに基づく仮想空間表示である。この画像は、対象部材アイコン（部材に対応する第４のアイコン）Ｉｏ１〜Ｉｏ３、端末位置アイコンＩｐ，端末方向アイコンＩｒ、作業内容表示Ｄｗ，ＡＲ表示Ｄａｒを含む。

対象部材アイコンＩｏ１〜Ｉｏ３はそれぞれ、対象部材Ｏ１，Ｏ２，Ｏ３に対応し、作業計画テーブルに規定された作業の順番（Ｎｏ．ここでは、１，２，３）、対応アイコンの色・輝度（Ｒ，Ｇ，Ｂ、Ａ）に基づいて表示される。すなわち、対象部材アイコンＩｏ１〜Ｉｏ３は、対象部材Ｏへの作業の順序を表す。

端末位置アイコンＩｐ、端末方向アイコンＩｒは併せて、端末装置の位置および向きを示すアイコンに対応する。
端末位置アイコンＩｐは、端末装置２の位置に対応して表示され、作業者Ｗの位置確認を容易とする。
端末方向アイコンＩｒは、端末装置２の向き（撮像方向）を示す。このアイコンＩｒで示される範囲内が撮像範囲となる。ここでは、対象部材Ｏ１，Ｏ２，Ｏ３に端末装置２が向けられている。

作業内容表示Ｄｗは、作業計画テーブルの内容の一部が表示されている。ここでは、順番（Ｎｏ．）、座標（ＰＸ，ＰＹ，ＰＺ）、角度（ＲＸ，ＲＹ，ＲＺ）、部材名、点検の内容、対応アイコンの色・輝度（Ｒ，Ｇ，Ｂ、Ａ）が示されている。

ＡＲ表示Ｄａｒは、構造物Ｓの立体画像上に表示され、この上で相対的に移動できる。図６は、ＡＲ表示Ｄａｒを拡大して表す。
ＡＲ表示Ｄａｒは、拡張現実（ＡＲ）技術を用いており、端末装置２の撮像部２２が撮像する画像と、対象部材アイコンＩｏ１〜Ｉｏ３を重畳して表示する。対象認識部２３が対象部材Ｏを認識することで、対象部材Ｏの位置に対応する対象部材アイコンＩｏの表示が可能となる。
なお、ＡＲ技術とは、現実環境が映された画像（例えば、撮像部２２で撮影された画像）中の所定の物体の位置などに対応して、３Ｄモデル、テキストなどの所定のコンテンツを表示させる技術である。

図６に示すように、例えば、対象部材アイコンＩｏ（１ｏ１〜Ｉｏ３）をタップすると、そのアイコンに対応する対象部材Ｏの説明画面Ｔ、および参考情報アイコンＩｒｆが表示される。説明画面Ｔは、例えば、作業計画テーブルに示される順番（Ｎｏ．）、座標（ＰＸ，ＰＹ，ＰＺ）、角度（ＲＸ，ＲＹ，ＲＺ）、部材ＩＤ、部材名、内容の情報を含む。

閲覧部２６は、表示される第３のアイコンへの操作によって、参考情報を閲覧する。
作業者Wが、閲覧部２６を用いて、参考情報アイコンＩｒｆをタップすると、その対象部材Ｏに関連する図面や図書が表示される。ここでは、参考情報のリンクを開いて、参考情報を表示している。但し、作業計画テーブルが参考情報自体を含む場合には、その参考情報をそのまま表示すればよい。

現状の現場作業では、図面や図書を確認するためにバインダーを持ち込み、該当するものをその場で選ぶ必要があるが、本機能によりそのような負荷も軽減される。また、作業の状況に応じて、確認すべき図面や図書を事務所から伝送することもできる。

情報追加部２７は、部材に関する追加情報を入力する。次のように、情報追加部２７を用いることで、部材の選択、追加情報の入力が可能となる。
作業者Ｗが、情報追加部２７を用いて、情報を追加する部材を選択する。この選択は、例えば、ＡＲ表示Ｄａｒ上で対象をタップすることで行える。このタップにより対象認識部２３が機能し、部材が特定される。その結果、特定された部材と対応するように情報追加アイコンＩｉが表示される。
情報追加アイコンＩｉをタップすると、その対象に関する情報の入力が可能となり、入力部２５によって情報を入力できる。

入力された追加情報は、管理装置１に送信される。このとき、対象の位置情報が付加され、追加情報とともに送信され、適宜に管理データベース１１Ｃ上に反映される。
この追加情報は、バーチャル付箋で、実空間上および／または三次元データ（３Ｄ−ＣＡＤ）空間上に配置できる。その内容に対応して、付箋の色を変更可能としてもよい。

このとき、テキスト情報以外に、画像情報（例えば、撮像部２２で撮影する写真）も追加でき、さらには撮影時の端末装置２の位置・向きの情報を記録、保存してもよい。この場合、撮像部２２が、追加情報として画像を撮影し、撮影時の端末装置２の位置および向きと共に記録する。

なお、以上は、ネットワークNWを介してリアルタイムに管理装置１と端末装置２の間で情報伝達を行う場合を説明しているが、管理装置１と端末装置２は常にネットワークNWを介して接続されている必要はない。情報の受け渡しを行う場合にのみネットワークNWあるいは他のネットワーク、USBなどの有線で接続される構成でもよい。

撮像支援部２８は、記録された位置および向きに対応する再度の撮影（同じ位置・向きでの撮影）を支援する。たとえば、作業のタイミングが別の日時や担当者が異なる場合に、撮影時の位置や向きを再現し、同じ見え方での確認や、処置内容を同じ位置と角度で記録することができる。

撮像支援部２８は、次のように、記録された端末装置２の位置および向きに対応する撮像範囲を表示部２４上に表示させる。
まず、図７に示すように、レイアウト図中に前回撮影した位置と方位および現在の位置と方位を示す。その他周辺に機器などがあれば表示されている。この表示により、撮影位置と現在の位置関係が確認でき、撮影位置に誘導できる。
図８に示すように、端末装置２の撮影画面上にフレームＦ１，過去フレームＦ０が表示される。フレームＦ１は、現在の撮像範囲を表すフレームである。フレームＦ０は、その対象を過去に撮影したときの端末装置２の位置および向きに対応する撮像範囲を示す。

現在と過去の端末装置２の位置・向きが一致すれば、フレームＦ０，Ｆ１の範囲（４隅）は一致する。しかし、現在と過去の端末装置２の位置・向きが一致しないと、フレームＦ０，Ｆ１の範囲（４隅）は一致しない。例えば、現在の端末装置２と対象の距離が、過去のときより離れていると、フレームＦ０はフレームＦ１より小さくなる。また、現在の端末装置２と対象の角度が、過去のときと異なると、フレームＦ０とフレームＦ１の向きが異なる。

作業者ＷがフレームＦ０，Ｆ１が一致するように、対象との距離、角度を調整することで、過去の測定時と同様の位置や向きでの撮影が可能となる。

（現場連携システムの動作）
以下、現場連携システムの動作につき説明する。

（１）作業計画の作成
作業計画が作成される。管理者Ｍが作業計画作成部１６を用いて、対象部材Ｏ、順序等を特定する作業計画テーブルを作成する。

（２）端末装置２の位置確認
作業者Ｗは、現場の基準マーカＭＳを撮像部２２で撮像する。撮像された画像に基づいて、端末装置２の位置、および向き（基準位置・向き）が判定される。この判定には、管理装置１の基準位置管理テーブルの情報を利用できる。但し、この判定は、管理装置１，端末装置２のいずれで行ってもよい。
端末装置２の位置計測部２１は、この基準位置・向きと、例えば、ＰＤＲ、ＳＬＡＭ、ビーコン等での測定とを併用することで、現在の端末装置２の位置、および向きを精度良く計測できる。

（３）端末装置２での表示
端末装置２の表示部２４は、次のように、仮想空間表示と拡張現実（ＡＲ）表示の双方が可能である。

ａ）仮想空間表示
端末装置２の表示部２４は、構造物Ｓを示す画像と、端末装置２の位置と向きを示すアイコン（端末位置アイコンＩｐ，端末方向アイコンＩｒ）を表示する。この表示は、実空間の画像を含まない仮想空間表示とすることができる。

例えば、管理装置１の表示制御部１４が、三次元データおよび位置計測部２１によって計測された端末装置２の位置および向きに基づき、構造物Ｓを示す画像と、端末装置２の位置と向きを示すアイコンを表示部２４上に表示させることができる。このとき、表示制御部１４は、端末位置受信部１２が端末装置２からの位置情報を受信する度に、表示部２４上に表示させるアイコンの位置を更新することができる。
また、表示制御部１４が、作業の順番を識別する第２のアイコン（対象部材アイコンＩｏ１〜Ｉｏ３）を、対象部材Ｏの位置に対応するように、表示部２４上に表示させる。

このように、端末装置２の位置、および向きを示すアイコンＩｐ、Ｉｒ、および対象部材Ｏを示すアイコンＩｏを表示することで、作業者Ｗを支援できる。
また、画面上に作業計画の一部（作業内容表示Ｄｗ）を表示すると作業者Ｗの便宜を図れる。

ｂ）拡張現実（ＡＲ）表示
端末装置２の表示部２４は、撮像部２２によって撮影された画像と、対象部材Ｏに対応する第４のアイコン（対象部材アイコンＩｏ１〜Ｉｏ３）と、を対応して表示する（ＡＲ表示Ｄａ）。この表示は、実空間の画像を含む拡張現実（ＡＲ）表示である。

例えば、対象認識部２３が対象部材Ｏを認識することで、対象部材Ｏの位置に対応する対象部材アイコンＩｏの表示が可能となる。

（４）参考情報の閲覧
作業者Ｗは、閲覧部２６を用いて、参考情報を閲覧できる。
例えば、仮想空間表示または拡張現実（ＡＲ）表示のいずれかに含まれる対象部材アイコンＩｏへの操作によって、参考情報を閲覧できる。例えば、対象部材アイコンＩｏをタップすることで、その対象部材Ｏの参考情報（例えば、図面）を表示できる。

（５）事務所からの指示
管理装置１でも、現在の端末装置２の位置・向きに対応する現場の画像を表示できる。管理者Ｍは、作業の進行状況を把握して、必要に応じて、指示入力部１７を用い、指示の追加、変更を行える。このとき、現場での追加情報を参考にすることができる。

例えば、管理者Ｍが、三次元データ上の位置と、作業の指示と、を入力する。表示制御部１４は、この作業の指示を、三次元データ上の位置に対応するように、表示部２４上に表示させる。この指示の追加・変更は、端末装置２の表示部２４上に、例えば、バーチャル付箋として表示できる。
作業者Ｗは、この指示の追加・変更に基づいて、作業の追加、変更を行える。この結果、現場の状況に応じた柔軟な対応が容易となる。

（６）現場での情報の追加
現場では、必要に応じて、情報追加部２７を用いて、適宜の情報の追加を行える。対象を特定し、気がついた情報を追加する。
例えば、仮想空間表示または拡張現実（ＡＲ）表示のいずれかに含まれる対象部材アイコンＩｏへの操作（例えば、タップ）によって、情報追加アイコンＩｉを表示させ、これをタップすることで、その対象部材に関する情報の入力が可能となる。

入力された追加情報は、管理装置１に送信され、管理装置１のデータベース１１に反映される。さらに、表示制御部１４が、この追加情報を表示部２４上に表示させることができる。

（７）撮像の支援
この追加情報として、撮像部２２が撮影する画像を利用できる。この場合、撮像部２２は、画像を撮影し、撮影時の端末装置２の位置および向きと共に記録する。
このとき、撮像支援部２８は、記録された位置および向きに対応する再度の撮影を支援する。例えば、撮像支援部２８は、記録された端末装置２の位置および向きに対応する撮像範囲を表示部２４上に表示させる（例えば、過去フレームＦ１）。作業者Ｗが過去フレームＦ１を確認しながら、端末装置２と撮影対象間の距離および方向を調整することで、過去と同様の距離および方向での撮影が可能となる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 管理装置
２ 端末装置
４ ディスプレイ
１１ データベース
１１Ａ 設計情報データベース
１１Ｂ 部材データベース
１１Ｃ 管理データベース
１２ 端末位置受信部
１３ 端末位置特定部
１４ 表示制御部
１５ 閲覧部
１６ 作業計画作成部
１７ 指示入力部
２１ 位置計測部
２２ 撮像部
２３ 対象認識部
２４ 表示部
２５ 入力部
２６ 閲覧部
２７ 情報追加部
２８ 撮像支援部
Ｍ 管理者
Ｗ 作業者

Claims (12)

1. 自己の位置を計測する位置計測部と、
   画像を表示する表示部と、
   を有する端末装置と、
   構造物の配置を表す三次元データを記憶するデータベースと、
   前記三次元データおよび前記計測された端末装置の位置に基づき、前記構造物を示す画像と、前記端末装置の位置を示すアイコンと、を前記表示部上に対応して表示させる表示制御部と、
   を有する管理装置と、
   を具備する現場連携システム。
2. 前記管理装置は、前記計測された端末装置の位置情報を受信する端末位置受信部をさらに有し、
   前記表示制御部は、前記端末位置受信部による前記位置情報の受信に対応して、前記表示部上に表示させるアイコンの位置を更新する、
   請求項１に記載の現場連携システム。
3. 前記位置計測部が、前記端末装置の位置および向きを計測し、
   前記アイコンが、前記端末装置の位置および向きを示す、
   請求項１または２に記載の現場連携システム。
4. 前記データベースが、前記構造物の部材およびその位置の情報をさらに有し、
   前記管理装置が、部材と、作業の順番と、を対応して表す作業計画テーブルを作成する作業計画作成部をさらに有し、
   前記表示制御部が、前記作業の順番を識別する第２のアイコンを、前記部材の位置に対応するように、前記表示部上に表示させる
   請求項１乃至３のいずれか１項に記載の現場連携システム。
5. 前記データベースが、前記複数の部材の参考情報またはそのリンクをさらに有し、
   前記作業計画テーブルが、前記部材と、前記作業の順番と、前記参考情報と、を対応して表し、
   前記表示制御部が、前記参考情報に対応する第３のアイコンを前記表示部上に表示させ、
   前記端末装置が、前記表示される第３のアイコンへの操作によって、前記参考情報を閲覧する閲覧部をさらに有する、
   請求項４に記載の現場連携システム。
6. 前記管理装置が、前記三次元データ上の位置と、作業の指示と、を入力する指示入力部をさらに有し、
   前記表示制御部が、前記作業の指示を、前記三次元データ上の位置に対応するように、前記表示部上に表示させる
   請求項４または５に記載の現場連携システム。
7. 前記端末装置が、
   画像を撮影する撮像部と、
   前記撮影された画像に基づいて、部材を認識する対象認識部と、をさらに有し、
   前記表示部が、前記撮影された画像と、前記部材に対応する第４のアイコンと、を対応して表示する
   請求項４乃至６のいずれか１項に記載の現場連携システム。
8. 前記端末装置が、前記部材に関する追加情報を入力する情報追加部をさらに有し、
   前記データベースが、前記追加情報を記憶する、
   請求項７に記載の現場連携システム。
9. 前記表示制御部が、前記追加情報を前記表示部に表示させる、
   請求項８に記載の現場連携システム。
10. 前記撮像部が、前記追加情報として画像を撮影し、撮影時の前記端末装置の位置および向きと共に記録し、
    前記端末装置が、前記記録された位置および向きに対応する再度の撮影を支援する撮像支援部をさらに有する、
    請求項８または９に記載の現場連携システム。
11. 前記撮像支援部は、前記記録された端末装置の位置および向きに対応する撮像範囲を前記表示部上に表示させる、
    請求項１０に記載の現場連携システム。
12. 端末装置の位置情報を受信する端末位置受信部と、
    構造物の配置を表す三次元データを記憶するデータベースと、
    前記三次元データおよび前記受信された端末装置の位置情報に基づき、前記構造物を示す画像と、前記端末装置の位置を示すアイコンと、を前記端末装置の表示部上に対応して表示させる表示制御部と、
    を具備する管理装置。

Images