JP2020149349A - 点検支援システムおよび点検支援方法 - Google Patents

Abstract

【課題】遠隔地において点検作業をより適切に支援することができる点検支援システムおよび点検支援方法を得ること。【解決手段】点検支援システム１は、無人移動体１０を含む現場装置６と、仮想現実デバイス２０を含む遠隔地装置７とを備える。無人移動体１０は、駆動機構１１と、点検現場２を撮像する仮想現実カメラ１２と、点検現場２の音を収集するマイク１３と、アーム１４と、駆動機構１１を制御して無人移動体１０を移動させると共に、アーム１４を制御して点検対象機器５を操作する制御部１６とを備える。仮想現実デバイス２０は、仮想現実カメラ１２で得られる画像の情報に基づいて、点検員４の向きに応じた点検現場２の画像を表示部２２により点検員４に視認可能に表示する表示処理部８２と、マイク１３で得られる音の情報に基づいて、点検現場２の音をスピーカ２３から出力する音出力処理部８３とを備える。【選択図】図１

Description

本発明は、点検対象機器に対する遠隔地での点検を支援する点検支援システムおよび点検支援方法に関する。

従来、遠隔地から点検対象機器の点検を行う技術が知られている。例えば、特許文献１には、巡視ロボットに点検現場を自動巡視させ、現場の映像および音声などをリアルタイムに取得し、遠隔にある操作室において運転員が機器の現状況を確認することができる技術が開示されている。

特開２０００−３９９１４号公報

しかしながら、特許文献１に記載の発明では、遠隔にある操作室において現場の映像および音声を監視することができるが、実際に現場を訪れて行う点検作業によって点検員が感じられる状況を適切に再現できない場合がある。

本発明は、上記に鑑みてなされたものであって、遠隔地からの点検作業をより適切に支援することができる点検支援システムを得ることを目的とする。

上述した課題を解決し、目的を達成するために、本発明の点検支援システムは、点検現場に配置される無人移動体を含む現場装置と、点検現場から離れた遠隔地で点検員に装着される仮想現実デバイスを含む遠隔地装置とを備える。無人移動体は、点検現場を移動するための駆動機構と、点検現場を撮像する仮想現実カメラと、点検現場の音を収集するマイクと、点検現場に設置される点検対象機器を操作可能なアームと、駆動機構を制御して無人移動体を移動させると共に、アームを制御して点検対象機器を操作する制御部とを備える。仮想現実デバイスは、仮想現実カメラで得られる画像の情報に基づいて、点検員の向きに応じた点検現場の画像を表示部により点検員に視認可能に表示する表示処理部と、マイクで得られる音の情報に基づいて、点検現場の音をスピーカから出力する音出力処理部とを備える。

本発明によれば、遠隔地からの点検作業をより適切に支援することができる、という効果を奏する。

本発明の実施の形態１にかかる点検支援システムを説明するための図 実施の形態１にかかる点検支援システムの構成例を示す図 実施の形態１にかかる無人移動体の構成例を示す図 実施の形態１にかかる現場装置に含まれる端末装置の構成例を示す図 実施の形態１にかかるサーバの構成例を示す図 実施の形態１にかかる仮想現実デバイスの構成例を示す図 実施の形態１にかかる仮想現実デバイスの表示部によって点検員に視認される画像の一例を示す図 実施の形態１にかかる仮想現実デバイスの表示部によって点検員に視認される画像の他の例を示す図 実施の形態１にかかる無人移動体の処理の一例を示すフローチャート 実施の形態１にかかる現場装置における端末装置の処理の一例を示すフローチャート 実施の形態１にかかるサーバの処理の一例を示すフローチャート 実施の形態１にかかる仮想現実デバイスの処理の一例を示すフローチャート 実施の形態１にかかる仮想現実デバイスの処理部のハードウェア構成の一例を示す図

以下に、本発明の実施の形態にかかる点検支援システムおよび点検支援方法を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

実施の形態１．
図１は、本発明の実施の形態１にかかる点検支援システムを説明するための図である。図１に示す点検支援システム１は、点検現場２から遠隔にある監視場所３で点検員４が点検現場２の機器を点検可能にする。なお、点検とは、点検現場２の各機器を検査することを意味し、かかる検査には、例えば、視覚による機器状態の確認および聴覚による機器状態の確認などがある。かかる点検支援システム１では、点検員４の視覚および聴覚などによる機器状態の確認を支援することができる。

点検現場２は、例えば、工場、発電所、変電所、または精油施設などのプラントであり、点検員４による点検対象となる点検対象機器５_１〜５_ｎが設置されている。ｎは、２以上の整数である。以下、点検対象機器５_１〜５_ｎの各々を区別せずに示す場合、点検対象機器５と記載する場合がある。

点検支援システム１は、点検現場２に配置され無人移動体１０を含む現場装置６と、監視場所３に配置され点検員４に装着される仮想現実デバイス２０を含む遠隔地装置７とを備える。無人移動体１０は、例えば、空中を移動する空中ドローン、水中を移動する水中ドローン、または床を走行する自走式ロボットなどである。

かかる無人移動体１０は、駆動機構１１と、点検現場２を撮像する仮想現実カメラ１２と、点検現場２の音を収集するマイク１３と、点検対象機器５を操作可能なアーム１４と、制御部１６とを備える。駆動機構１１は、無人移動体１０を移動させるための機構である。無人移動体１０が空中ドローンである場合、駆動機構１１は、例えば、回転翼と、回転翼を回転させるモータとを含む。また、無人移動体１０が自走式ロボットである場合、駆動機構１１は、例えば、車輪と、車輪を回転させるモータとを含む。

仮想現実カメラ１２は、ＶＲカメラとも呼ばれ、例えば、無人移動体１０の周囲を２次元または３次元で１８０度撮影または３６０度撮影を行うカメラである。例えば、仮想現実カメラ１２は、周方向に配置された複数のレンズを有しており、かかる複数のレンズを通じて撮像される画像を繋ぎ合せた画像の情報を出力する。以下、仮想現実カメラ１２で得られる画像を撮像画像と記載する場合がある。

アーム１４は、例えば、複数のリンクが連結された多関節型のアームである。制御部１６は、アーム１４を制御することで、アーム１４に点検対象機器５を操作させることができる。また、制御部１６は、駆動機構１１を制御して無人移動体１０を移動させることができる。

制御部１６は、例えば、駆動機構１１を制御して予め設定された移動経路を無人移動体１０に移動させると共に、アーム１４を制御して点検対象機器５を予め設定された手順で操作することができる。これにより、無人移動体１０は、自動的に予め設定された移動経路で移動しつつ予め設定された手順で点検対象機器５の点検を行うことができる。

遠隔地装置７に含まれる仮想現実デバイス２０は、仮想現実を点検員４に提示するデバイスであり、例えば、スマートグラスである。仮想現実デバイス２０は、表示部２２と、スピーカ２３と、表示処理部８２と、音出力処理部８３とを備える。表示処理部８２は、仮想現実カメラ１２で得られる撮像画像の情報に基づいて、点検員４の向きに応じた点検現場２の撮像画像を表示部２２により点検員４に視認可能に表示する。音出力処理部８３は、マイク１３で得られる音の情報に基づいて、点検現場２の音をスピーカ２３から出力する。

仮想現実カメラ１２で得られる撮像画像は、例えば、２次元パノラマ画像または３次元パノラマ画像であり、表示処理部８２は、かかるパノラマ画像のうち、点検員４の向きに応じた領域の画像を表示部２２により点検員４に視認可能に表示することができる。表示部２２は、例えば、点検員４の向きに応じた領域の画像を点検員４に視認可能に表示する。仮想現実デバイス２０がスマートグラスである場合、表示部２２は、例えば、点検員４の向きに応じた領域の画像を外景に重ねて点検員４に視認させる拡張現実ディスプレイである。

点検員４は、仮想現実デバイス２０によって、頭の向きを変えることで、あたかも実際に点検現場２に居るかのように点検現場２の画像を視認することができる。また、点検員４は、無人移動体１０が点検作業を行っている状態における点検現場２の画像を視認することができる。したがって、点検支援システム１では、点検員４が実際に点検現場２を訪れて行う点検作業によって感じられる状況を適切に再現することができる。これにより、遠隔地からの点検作業をより適切に支援することができる。

また、仮想現実デバイス２０が３次元のＶＲカメラである場合、点検員４は点検現場２の画像を立体的に視認することができる。これにより、実際の現場での点検作業によって点検員４が感じられる状況をさらに適切に再現することができる。

以下、実施の形態１にかかる点検支援システム１をさらに具体的に説明する。図２は、実施の形態１にかかる点検支援システムの構成例を示す図である。図２に示す点検支援システム１は、点検現場２に配置される現場装置６と、監視場所３に配置される遠隔地装置７と、クラウド８に配置されるサーバ４０とを備える。

現場装置６とサーバ４０とは、通信ネットワーク９_１を介して通信可能に接続され、遠隔地装置７とサーバ４０とは、通信ネットワーク９_２を介して通信可能に接続される。通信ネットワーク９_１，９_２は、例えば、インターネットなどのＷＡＮ（Wide Area Network）またはＬＡＮ（Local Area Network）である。なお、通信ネットワーク９_１，９_２は、図２に示す例では、互いに異なるネットワークであるが、互いに同一のネットワークであってもよい。また、通信ネットワーク９_１，９_２は各々専用線であってもよい。以下、通信ネットワーク９_１，９_２の各々を区別せずに示す場合、通信ネットワーク９と記載する場合がある。

現場装置６は、無人移動体１０と、端末装置３０と、ゲートウェイ装置６１と、充電ステーション６２と、センサ部６３とを備える。ゲートウェイ装置６１は、通信ネットワーク９_１に接続される。端末装置３０は、例えば、ノート型ＰＣ（Personal Computer）、デスクトップＰＣ、タブレット型端末、またはＰＤＡ（Personal Digital Assistant）である。

端末装置３０は、無人移動体１０から情報を取得し、取得した情報をサーバ４０へゲートウェイ装置６１から送信することができる。また、端末装置３０は、遠隔地装置７から送信される情報をサーバ４０およびゲートウェイ装置６１を介して取得し、取得した情報を無人移動体１０へ送信することができる。

充電ステーション６２は、無人移動体１０を充電する。無人移動体１０は、点検作業を行わない期間は、充電ステーション６２の設置領域に停止しており、充電ステーション６２から充電される。

センサ部６３は、例えば、点検対象機器５の温度を検出するサーモセンサ、点検現場２の温度を検出する温度センサ、点検現場２の湿度を検出する湿度センサ、および点検現場２の臭気を検出する臭気センサなどの複数のセンサを含む。センサ部６３は、これら複数のセンサで検出される情報を端末装置３０へ出力する。なお、センサ部６３における各センサは、点検現場２で固定位置に配置されるが、無人移動体１０に設けられてもよい。

遠隔地装置７は、仮想現実デバイス２０と、端末装置５０とを備える。仮想現実デバイス２０および端末装置５０は、点検員４によって使用される。端末装置５０は、例えば、ノート型ＰＣ、デスクトップＰＣ、タブレット型端末、またはＰＤＡである。

図３は、実施の形態１にかかる無人移動体の構成例を示す図である。図３に示すように、実施の形態１にかかる無人移動体１０は、駆動機構１１と、仮想現実カメラ１２と、複数のマイク１３_１〜１３_ｍと、アーム１４と、第１通信部１５と、制御部１６と、処理部１７と、第２通信部１８とを備える。ｍは２以上の整数である。

複数のマイク１３_１〜１３_ｍは、無人移動体１０の外周に沿って間隔を空けて配列され、無人移動体１０の周囲の音を収集する。なお、複数のマイク１３_１〜１３_ｍは、マイクアレイによって構成されてもよい。なお、複数のマイク１３_１〜１３_ｍの各々を区別せずに示す場合、マイク１３と記載する場合がある。

第１通信部１５は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＮＦＣ（Near Field Communication）の技術を適宜用いて、他の装置と通信を行う。なお、第１通信部１５による通信は、電波に限定されるものではなく、例えば、赤外線通信、可視光通信、音波などを用いることもできる。また、第２通信部１８は、無線ＬＡＮまたはＢｌｕｅｔｏｏｔｈなどによって端末装置３０と通信することができる。

制御部１６は、自律制御モードおよび外部制御モードのうち設定されたモードで駆動機構１１およびアーム１４を制御することができる。制御部１６は、自律的に移動し且つ点検対象機器５を操作するための自動点検シナリオの情報を有している。制御部１６は、自律制御モードに設定された場合、自動点検シナリオの情報に基づいて、駆動機構１１を制御して予め設定された移動経路を無人移動体１０に移動させると共に、アーム１４を制御して点検対象機器５を予め設定された手順で操作する。なお、点検対象機器５の操作は、例えば、点検対象機器５の鍵および扉などを開ける操作、点検対象機器５のタッチパネルへの操作、または点検対象機器５のレバーへの操作などである。制御部１６は、自律制御モードにおいて、予め設定された移動経路に障害物がある場合、かかる障害物を避けるように駆動機構１１を制御することができる。

また、制御部１６は、無人移動体１０または仮想現実デバイス２０からの要求によって自律制御モードから外部制御モードに切り替えられた場合、外部からの要求に基づいて、駆動機構１１およびアーム１４を制御する。これにより、例えば、遠隔地装置７から無人移動体１０へ制御指令を送信することによって、遠隔地装置７から無人移動体１０を制御することができる。

処理部１７は、仮想現実カメラ１２から撮像画像の情報を取得し、取得した撮像画像の情報を端末装置３０へ第２通信部１８を介して送信することができる。また、処理部１７は、マイク１３から音の情報を取得し、取得した音の情報を端末装置３０へ第２通信部１８を介して送信することができる。

次に、端末装置３０について具体的に説明する。図４は、実施の形態１にかかる現場装置に含まれる端末装置の構成例を示す図である。図４に示すように、端末装置３０は、第１通信部３１と、第２通信部３２と、記憶部３３と、処理部３４とを備える。第１通信部３１は、無線または有線によってゲートウェイ装置６１と通信する。第２通信部３２は、無線ＬＡＮまたはＢｌｕｅｔｏｏｔｈなどによって無人移動体１０と通信する。

記憶部３３は、履歴情報および３次元モデル情報を記憶する。履歴情報は、処理部３４によって無人移動体１０から取得された過去の撮像画像の情報および音の情報などである。処理部３４は、無人移動体１０から情報を取得する毎に、取得した情報を履歴情報に追加することができる。３次元モデル情報は、点検現場２の３次元モデルの情報であり、点検対象機器５_１〜５_ｎを含む領域を３次元モデルで表した情報である。

処理部３４は、取得部７１と、音判定部７２と、図形付加部７３と、送信部７４と、状態判定部７５と、推定部７６と、移動体制御部７７とを備える。取得部７１は、第２通信部３２を介して無人移動体１０から撮像画像の情報および音の情報などを取得し、取得した情報を履歴情報に追加する。また、取得部７１は、センサ部６３から各センサが検出した情報である検出情報を取得し、取得した検出情報を履歴情報に追加することができる。また、取得部７１は、サーバ４０から第１通信部３１を介して後述する第１計算モデルの情報および第２計算モデルの情報などを取得し、取得した第１計算モデルの情報および第２計算モデルの情報を記憶部３３に記憶することができる。取得部７１は、第１通信部３１を介して遠隔地装置７からの情報を取得することもできる。

音判定部７２は、無人移動体１０から取得部７１で取得された音の情報に基づいて、音源方向、音源位置、および音の大きさを判定する。音源方向は、無人移動体１０に対する音源の方向である。音源位置は、点検現場２における音源の位置である。音の大きさは、無人移動体１０のマイク１３で収集される音の大きさである。無人移動体１０からの音の情報には、複数のマイク１３_１〜１３_ｍで各々取得された音の情報が含まれており、音判定部７２は、これらの音の情報に基づいて、音源方向、音源位置、および音の大きさを判定することができる。

図形付加部７３は、音判定部７２による判定結果に基づいて、無人移動体１０から取得した撮像画像に、音源の位置を表す図形および音の大きさを表す図形のうち少なくとも一つを表す図形を付加する。例えば、図形付加部７３は、音源の位置を表す図形を撮像画像のうち点検現場２における音源の位置に重畳することで、音源の位置を表す図形を撮像画像に付加する。また、図形付加部７３は、音源の位置を表す図形が重畳された撮像画像と音の大きさを表す図形を関連付けた情報を生成することができる。なお、音判定部７２は音源における音の大きさを上述した音の大きさとして判定することもできる。この場合、図形付加部７３は、音源における音の大きさが大きくなるほど音源の位置を表す図形が大きくして撮像画像に重畳することができる。

また、図形付加部７３は、取得部７１がセンサ部６３から取得した検出情報に応じた図形を撮像画像に付加することもできる。例えば、図形付加部７３は、センサ部６３に含まれるサーモセンサによって検出される点検対象機器５の温度を表す図形、およびセンサ部６３に含まれる臭気センサによって検出される点検現場２の臭気の種類および大きさを表す図形などを撮像画像に付加することができる。なお、撮像画像への図形の付加は、仮想現実デバイス２０で撮像画像に図形を重畳表示できる形式であればよい。また、図形付加部７３は、点検員４によって設定されたメモの内容を示す情報を撮像画像に付加することもできる。

送信部７４は、図形付加部７３によって図形が付加された撮像画像の情報と取得部７１によって取得された音の情報とを含む現場情報を第１通信部３１からゲートウェイ装置６１を介してサーバ４０へ送信する。また、送信部７４は、取得部７１によって取得された検出情報を第１通信部３１からゲートウェイ装置６１を介してサーバ４０へ送信することができる。

状態判定部７５は、点検対象機器５の異常を判定する第１計算モデルと、点検対象機器５の劣化を判定する第２計算モデルとを有する。状態判定部７５は、仮想現実カメラ１２で取得された撮像画像の情報とマイク１３で取得された音の情報を第１計算モデルへ特徴情報として入力することで、点検対象機器５の異常を判定することができる。点検対象機器５の異常は、例えば、点検対象機器５に生じるひび、漏れ水、破損、または点検対象機器５の停止などである。

状態判定部７５は、仮想現実カメラ１２で取得された撮像画像の情報とマイク１３で取得された音の情報を第２計算モデルへ特徴情報として入力することで、点検対象機器５の劣化を判定することができる。点検対象機器５の劣化は、例えば、発熱、異音、異臭、計測値の増加または低下などであり、点検対象機器５が一定期間内に異常が発生する可能性が高い状態を示す。かかる点検対象機器５の劣化は、異常の兆候ともいうことができる。

なお、第１計算モデルは、仮想現実カメラ１２で取得された撮像画像の情報とマイク１３で取得された音の情報に加えまたは代えて、センサ部６３の検出情報を特徴量として点検対象機器５の異常を判定することができる。これにより、状態判定部７５は、例えば、点検対象機器５に生じる異常温度などを点検対象機器５の異常として判定することができる。同様に、第２計算モデルは、仮想現実カメラ１２で取得された撮像画像の情報とマイク１３で取得された音の情報に加えまたは代えて、センサ部６３の検出情報を特徴量として点検対象機器５の劣化を判定することができる。

また、状態判定部７５は、第２計算モデル以外の判定処理によって、点検対象機器５の劣化を検出することができる。例えば、状態判定部７５は、仮想現実カメラ１２で取得された撮像画像の情報に基づいて、点検対象機器５の振動を検出し、かかる検出結果に基づいて点検対象機器５に劣化を示す振動が発生しているか否かを判定することができる。また、状態判定部７５は、臭気センサの検出結果に基づいて、点検対象機器５からの臭気の種別および強さを判定し、かかる判定結果に基づいて点検対象機器５から異臭が発生しているか否かを判定することができる。また、状態判定部７５は、マイク１３で取得された音の情報に基づいて、点検対象機器５からの音の種別および大きさを判定し、かかる判定結果に基づいて点検対象機器５から異音が発生しているか否かを判定することができる。また、状態判定部７５は、サーモセンサの検出結果に基づいて、点検対象機器５の温度分布を判定し、かかる判定結果に基づいて点検対象機器５に発熱があるか否かを判定することができる。

送信部７４は、状態判定部７５によって判定された点検対象機器５の異常および劣化を示す情報である状態情報を第１通信部３１からゲートウェイ装置６１を介してサーバ４０へ送信することができる。

推定部７６は、仮想現実カメラ１２で取得された撮像画像の情報と記憶部３３に記憶された３次元モデルの情報とを比較し、無人移動体１０の位置および向きを推定する。例えば、推定部７６は、仮想現実カメラ１２で取得された画像が、３次元モデルのどの位置およびどの方向から見た画像であるかを判定し、かかる判定結果に基づいて、無人移動体１０の位置および向きを推定することができる。

移動体制御部７７は、無人移動体１０から要求があった場合に、推定部７６によって推定された無人移動体１０の位置および向きに基づいて、無人移動体１０への指令情報を生成する。移動体制御部７７は、無人移動体１０において予め設定されている移動経路の情報を有しており、無人移動体１０が移動経路から外れた位置にある場合、予め設定された移動経路を戻す指令情報を生成することができる。移動体制御部７７によって生成された指令情報は、送信部７４から第２通信部３２を介して無人移動体１０へ送信される。無人移動体１０の制御部１６は、移動体制御部７７からの指令情報に基づいて、駆動機構１１およびアーム１４などを制御する。

例えば、移動体制御部７７は、推定された無人移動体１０の位置および向きに基づいて、無人移動体１０が予め設定された移動経路を移動し、かつ無人移動体１０のアーム１４によって点検対象機器５が予め設定された手順で操作されるように指令情報を生成する。これにより、無人移動体１０は、予め設定された移動経路を移動し、かつアーム１４によって点検対象機器５を予め設定された手順で操作することができる。

次に、サーバ４０の構成について具体的に説明する。図５は、実施の形態１にかかるサーバの構成例を示す図である。図５に示すように、サーバ４０は、第１通信部４１と、第２通信部４２と、記憶部４３と、処理部４４とを備える。第１通信部４１は、通信ネットワーク９_１に有線または無線で接続されており、現場装置６の端末装置３０との間で情報の送受信を行う。第２通信部４２は、通信ネットワーク９_２に有線または無線で接続されており、遠隔地装置７における仮想現実デバイス２０または端末装置５０との間で情報の送受信を行う。

記憶部４３は、第１通信部４１を介して処理部４４によって取得された過去の現場情報および過去の検出情報を含む履歴情報と、処理部４４によって生成された第１計算モデルの情報および第２計算モデルの情報を含む学習モデル情報を記憶する。また、履歴情報には、点検対象機器５の過去の点検履歴の情報も含まれる。

処理部４４は、第１通信部４１を介して取得した現場情報を、リアルタイムに第２通信部４２から仮想現実デバイス２０へ送信したり、記憶部４３に記憶したりすることができる。また、処理部４４は、第１通信部４１を介して取得した状態情報をリアルタイムに第２通信部４２から仮想現実デバイス２０へ送信することができる。また、処理部４４は、第２通信部４２を介して仮想現実デバイス２０または端末装置５０から取得した指令情報をリアルタイムに第１通信部４１から端末装置３０へ送信することができる。

かかる処理部４４は、取得部４５と、送信部４６と、画像生成部４７と、第１学習部４８と、第２学習部４９とを備える。取得部４５は、第１通信部４１を介して端末装置３０から現場情報および検出情報を取得し、取得した現場情報および検出情報を記憶部４３に記憶される履歴情報に追加する。また、取得部４５は、第２通信部４２を介して仮想現実デバイス２０または端末装置５０から送信される指令情報を取得する。

送信部４６は、取得部４５によって取得された現場情報を仮想現実デバイス２０へ第２通信部４２を介して送信する。また、送信部４６は、記憶部４３に記憶された第１計算モデルの情報および第２計算モデルの情報を端末装置３０へ第１通信部４１を介して送信する。また、送信部４６は、取得部４５によって取得された指令情報を端末装置３０へ第１通信部４１を介して送信する。

画像生成部４７は、仮想現実デバイス２０または端末装置５０からの要求があった場合に、履歴情報に含まれる点検対象機器５の過去の点検履歴の情報に基づいて、かかる点検履歴に応じた図形である点検図形の情報を生成する。点検履歴に応じた図形は、例えば、点検結果のグラフを表す図形、点検結果の年表を表す図形、点検結果が良好であったか否かを表す図形、交換した部品を示す図形、または修理をしたことを表す図形などである。送信部４６は、画像生成部４７によって生成された点検履歴に応じた図形の情報を要求元の装置である仮想現実デバイス２０または端末装置５０へ第２通信部４２を介して送信する。

第１学習部４８は、第１計算モデルの機械学習を行う。具体的には、第１学習部４８は、点検現場２において各点検対象機器５が正常状態のときに端末装置３０から送信される現場情報および検出情報を記憶部４３から取得し、取得した現場情報を学習データとして機械学習によって第１計算モデルを生成することができる。

なお、第１学習部４８は、点検対象機器５の異常毎に第１計算モデルを生成することができる。例えば、第１学習部４８は、ひびがある場合とない場合とにおける現場情報および検出情報を特徴量とし、ひびの有無を教師データとする機械学習によってひびの第１計算モデルを生成することができる。また、第１学習部４８は、漏れ水がある場合とない場合とにおける現場情報および検出情報を特徴量とし、漏れ水の有無を教師データとする機械学習によって変色の第１計算モデルを生成することができる。なお、点検対象機器５の異常は、ひびおよび漏れ水などに限定されない。例えば、点検対象機器５の異常は、破損または点検対象機器５の停止などであってもよい。

第２学習部４９は、第２計算モデルの機械学習を行う。具体的には、第２学習部４９は、点検現場２において各点検対象機器５が正常状態のときに端末装置３０から送信される現場情報および検出情報を記憶部４３から取得し、取得した現場情報および検出情報を学習データとして機械学習によって第２計算モデルを生成することができる。また、第２学習部４９は、劣化がある場合とない場合とにおける現場情報および検出情報を特徴量とし、劣化の有無を教師データとする機械学習によって劣化を判定する第２計算モデルを生成することができる。

第１学習部４８によって生成された第１計算モデルの情報および第２学習部４９によって生成された第２計算モデルの情報は、送信部４６によって第１通信部４１から端末装置３０へ送信される。第１学習部４８は、第１計算モデルの生成または更新を予め設定された期間毎に行う。同様に、第２学習部４９は、第２計算モデルの生成または更新を予め設定された期間毎に行う。送信部４６は、第１学習部４８によって第１計算モデルが生成または更新される毎に、生成または更新された第１計算モデルを端末装置３０へ送信する。同様に、送信部４６は、第２学習部４９によって第２計算モデルが生成または更新される毎に、生成または更新された第２計算モデルを端末装置３０へ送信する。

次に、仮想現実デバイス２０の構成について具体的に説明する。図６は、実施の形態１にかかる仮想現実デバイスの構成例を示す図である。図６に示すように、仮想現実デバイス２０は、通信部２１と、表示部２２と、スピーカ２３と、ジャイロセンサ２４と、入力部２５と、処理部２６とを備える。通信部２１は、通信ネットワーク９_２に無線または有線で接続され、サーバ４０との間で情報の送受信を行う。

表示部２２は、例えば、上述した拡張現実ディスプレイである。スピーカ２３は、例えば、ステレオスピーカである。ジャイロセンサ２４は、例えば、６軸角加速度センサであり、ＸＹＺ方向の加速度と角速度を検出する。入力部２５は、例えば、複数のボタンなどを有する入力部である。なお、入力部２５は、点検員４を撮像し、撮像した結果から点検員４のジェスチャーに応じた入力操作を検出することができる。

処理部２６は、向き判定部８１と、表示処理部８２と、音出力処理部８３と、指令処理部８４とを備える。向き判定部８１は、ジャイロセンサ２４によって検出された加速度および角速度に基づいて、点検員４の向きを判定する。向き判定部８１は、仮想現実デバイス２０が点検員４の頭部に装着されている場合、点検員４の顔の向きを判定することができる。

表示処理部８２は、サーバ４０から送信される現場情報に含まれる撮像画像を通信部２１から取得し、取得した撮像画像の情報に基づいて、向き判定部８１によって判定された点検員４の向きに応じた点検現場２の画像を表示部２２により点検員４に視認可能に表示する。これにより、点検員４は、実際に点検現場２を訪れているような感覚で点検作業の状況を把握することができる。

図７は、実施の形態１にかかる仮想現実デバイスの表示部によって点検員に視認される画像の一例を示す図である。図７に示すように、仮想現実デバイス２０の表示部２２によって点検員４に視認される画像９０には、点検対象機器５の３次元画像９１と、音源の位置および音源の音の大きさを表す図形９２と、臭いの種類および大きさを表す図形９３とが含まれる。図形９２は、音源の位置に配置され、音源の音の大きさに正比例して濃度が濃くなるタイル状の図形を１以上含む図形である。

画像９０には、音源を示す図形９２を表示させるための選択ボタン９４ａと、温度を示す不図示の図形を表示させるための選択ボタン９４ｂとを含む。表示処理部８２は、選択ボタン９４ａを点検員４が視認した場合に音源を示す図形９２を表示し、選択ボタン９４ｂを点検員４が視認した場合に温度を示す図形を表示することができる。なお、温度を示す図形は、例えば、温度が閾値以上の位置に配置され、温度の高さに正比例して濃度が濃くなるタイル状の図形を含む。表示処理部８２は、選択ボタン９４ａ，９４ｂを点検員４が視認したかどうかを、例えば、不図示の視線センサによって検出された点検員４の視線位置に基づいて判定することができる。

図形９３は、臭気の種類毎の図形９３ａ，９３ｂ，９３ｃ，９４ｄを含み、各図形９３ａ，９３ｂ，９３ｃ，９３ｄは臭気の大きさに正比例して大きくなる。図形９３は、予め決められた位置に配置される。

なお、表示処理部８２は、サーバ４０から送信される状態情報を通信部２１から取得し、取得した状態情報を点検現場２の画像に重畳して表示部２２により点検員４に視認可能に表示することができる。これにより、点検員４は、各点検対象機器５の異常および劣化などを把握することができる。

また、点検員４は、入力部２５への操作によって、点検対象機器５の点検履歴の情報を確認することができる。例えば、点検員４が入力部２５へ特定の操作を行うと、点検履歴の情報の送信要求が通信部２１からサーバ４０へ送信される。表示処理部８２は、かかる送信要求に応じてサーバ４０から送信される図形の情報を表示部２２によって点検員４に視認可能に表示させることができる。

図８は、実施の形態１にかかる仮想現実デバイスの表示部によって点検員に視認される画像の他の例を示す図である。図８に示すように、仮想現実デバイス２０の表示部２２によって点検員４に視認される画像９４には、点検対象機器５の３次元画像９５と、点検履歴に応じた図形９６ａと、点検履歴の情報９７ａとが含まれる。図形９６ａは、故障したことを示す図形である。点検履歴に応じた図形には、例えば、点検をした回数を示す図形、交換をした回数を示す図形、または交換者に応じた図形などである。なお、表示処理部８２は、図形９６ａを点検員４が視認した場合に点検履歴の情報９７ａを表示することもできる。表示処理部８２は、図形９６ａを点検員４が視認したかどうかを、例えば、不図示の視線センサによって検出された点検員４の視線位置に基づいて判定することができる。

また、画像９４には、注意すべき箇所に配置される図形９６ｂと、注意すべき内容を示す情報９７ｂと、メモがあることを示す図形９６ｃと、メモの内容を示す情報９７ｃとが含まれる。表示処理部８２は、図形９６ｂを点検員４が視認した場合に注意すべき内容を示す情報９７ｂを表示することもでき、図形９６ｃを点検員４が視認した場合にメモの内容を示す情報９７ｃを表示することもできる。表示処理部８２は、図形９６ｂ，９６ｃを点検員４が視認したかどうかを、例えば、不図示の視線センサによって検出された点検員４の視線位置に基づいて判定することができる。

図６に示す音出力処理部８３はサーバ４０から送信される現場情報に含まれる音の情報を通信部２１から取得し、取得した音の情報および方向情報に基づいて、現場情報に含まれる音の情報に対応する音が方向情報で規定される方向から点検員４に聞こえるようにスピーカ２３から音を出力させる。例えば、音出力処理部８３は、点検員４の右耳と左耳とで聞こえる音を変えることで、点検員４に音の方向を把握させることができる。また、点検員４が向きを変更した場合に、変更前後で点検員４の右耳と左耳とで聞こえる音を変えることで、点検員４に音の方向をさらに精度よく把握させることができる。これにより、点検員４は、実際に点検現場２を訪れているような感覚で点検作業の状況を把握することができる。

指令処理部８４は、入力部２５への点検員４の操作に基づいて、無人移動体１０を制御するための指令情報を通信部２１へ送信することができる。かかる指令情報は、サーバ４０および端末装置３０によって中継され、無人移動体１０によって受信される。無人移動体１０の制御部１６は、指令情報に基づいて外部制御モードで駆動機構１１およびアーム１４を制御する。かかる指令情報には、例えば、モードを切り替える切り替え指令の情報、無人移動体１０を移動させるための移動指令の情報、およびアーム１４を動作させるためのアーム動作指令の情報などが含まれる。これにより、例えば、点検員４が無人移動体１０による自動点検手順を停止させ、点検対象機器５をさらに詳細に確認することができる。

なお、指令処理部８４は、通信部２１を介してサーバ４０から取得した状態情報が予め設定された条件を満たす場合のみ、モードを切り替える切り替え指令の情報を送信することができる。すなわち、指令処理部８４は、入力部２５への点検員４の操作が切り替え指令のための操作である場合であっても、状態情報が予め設定された条件を満たさない場合、切り替え指令の情報を送信しないことができる。これにより、点検員４が意図せずに切り替え指令のための操作を行った場合でも、無人移動体１０のモードが外部制御モードに切り替わることを防止することができる。なお、状態情報が予め設定された条件を満たす場合とは、例えば、点検対象機器５の異常が検出された場合、または点検対象機器５の劣化が検出された場合などである。

端末装置５０は、端末装置３０およびサーバ４０から各種の情報を取得し、取得した情報を表示することができる。また、端末装置５０は、指令情報をサーバ４０および端末装置３０を介して無人移動体１０へ送信することもできる。図２に示す例では、遠隔地装置７は、通信ネットワーク９_２に接続される仮想現実デバイス２０および端末装置５０を有するが、仮想現実デバイス２０は、端末装置５０を介して通信ネットワーク９_２に接続されてもよい。この場合、仮想現実デバイス２０は、端末装置５０を介してサーバ４０との間で情報の送受信を行うことができる。

つづいて、無人移動体１０の動作を、フローチャートを用いて説明する。図９は、実施の形態１にかかる無人移動体の処理の一例を示すフローチャートである。

図９に示すように、無人移動体１０の制御部１６は、点検開始タイミングになったか否かを判定する（ステップＳ１０）。制御部１６は、点検開始タイミングになったと判定した場合（ステップＳ１０：Ｙｅｓ）、点検処理を行う（ステップＳ１１）。かかる点検処理は、制御部１６が駆動機構１１およびアーム１４を制御することによって行われる。

また、無人移動体１０の処理部１７は、仮想現実カメラ１２で得られる撮像画像の情報とマイク１３で得られる音の情報とを取得し（ステップＳ１２）、取得した撮像画像の情報と音の情報とを端末装置３０へ送信する（ステップＳ１３）。無人移動体１０の制御部１６は、点検処理が終了したか否かを判定する（ステップＳ１４）。制御部１６は、点検処理が終了していないと判定した場合（ステップＳ１４：Ｎｏ）、処理をステップＳ１１へ移行する。

制御部１６は、点検開始タイミングになっていないと判定した場合（ステップＳ１０：Ｎｏ）、または点検処理が終了したと判定した場合（ステップＳ１４：Ｙｅｓ）、図９に示す処理を終了する。

つづいて、端末装置３０の動作を、フローチャートを用いて説明する。図１０は、実施の形態１にかかる現場装置における端末装置の処理の一例を示すフローチャートである。

図１０に示すように、端末装置３０の処理部３４は、無人移動体１０およびセンサ部６３から情報を取得したか否かを判定する(ステップＳ２０)。処理部３４は、情報を取得したと判定した場合（ステップＳ２０：Ｙｅｓ）、取得した音の情報に応じた図形を撮像画像に付加する（ステップＳ２１）。そして、処理部３４は、図形を付加した撮像画像の情報と音の情報とを含む現場情報および検出情報をサーバ４０へ送信する（ステップＳ２２）。

処理部３４は、ステップＳ２２の処理が終了した場合、または情報を取得していないと判定した場合（ステップＳ２０：Ｎｏ）、無人移動体１０が制御対象であるか否かを判定する（ステップＳ２３）。処理部３４は、例えば、無人移動体１０に不測の事態が発生し、無人移動体１０が設定されていない場所に移動してしまった場合に、無人移動体１０が制御対象であると判定する。無人移動体１０は、障害物などを避けるなどによって設定されていない場所に移動した場合、端末装置３０へ制御を要求することができる。処理部３４は、無人移動体１０が制御対象であると判定した場合（ステップＳ２３：Ｙｅｓ）、無人移動体１０の撮像画像と３次元モデルを比較し、無人移動体１０の移動を制御する（ステップＳ２４）。

処理部３４は、ステップＳ２４の処理が終了した場合、または無人移動体１０が制御対象ではないと判定した場合（ステップＳ２３：Ｎｏ）、サーバ４０から計算モデルを取得したか否かを判定する（ステップＳ２５）。処理部３４は、計算モデルを取得したと判定した場合（ステップＳ２５：Ｙｅｓ）、計算モデルを更新する（ステップＳ２６）。かかる計算モデルは上述した第１計算モデルおよび第２計算モデルである。

処理部３４は、ステップＳ２６の処理が終了した場合、または計算モデルを取得していないと判定した場合（ステップＳ２５：Ｎｏ）、点検対象機器５の異常および劣化を判定する判定タイミングであるか否かを判定する（ステップＳ２７）。処理部３４は、判定タイミングであると判定した場合（ステップＳ２７：Ｙｅｓ）、点検対象機器５の異常および劣化を判定する（ステップＳ２８）。そして、処理部３４は、点検対象機器５の異常の情報および劣化の情報を含む状態情報をサーバ４０へ送信する（ステップＳ２９）。処理部３４は、ステップＳ２９の処理が終了した場合、または判定タイミングではないと判定した場合（ステップＳ２７：Ｎｏ）、図１０に示す処理を終了する。なお、処理部３４は、図１０に示すステップＳ２０〜Ｓ２２の処理、ステップＳ２３，Ｓ２４の処理、ステップＳ２５，Ｓ２６の処理、およびステップＳ２７〜Ｓ２９の処理を並行して行うことができる。

つづいて、サーバ４０の動作を、フローチャートを用いて説明する。図１１は、実施の形態１にかかるサーバの処理の一例を示すフローチャートである。

図１１に示すように、サーバ４０の処理部４４は、現場装置６から情報を取得したか否かを判定する（ステップＳ３０）。処理部４４は、現場装置６から情報を取得したと判定した場合（ステップＳ３０：Ｙｅｓ）、取得した情報を遠隔地装置７へ転送し且つ記憶部４３に記憶する（ステップＳ３１）。

処理部４４は、ステップＳ３１の処理が終了した場合、または現場装置６から情報を取得していないと判定した場合（ステップＳ３０：Ｎｏ）、遠隔地装置７から情報を取得したか否かを判定する（ステップＳ３２）。処理部４４は、遠隔地装置７から情報を取得したと判定した場合（ステップＳ３２：Ｙｅｓ）、取得した情報を現場装置６へ転送する（ステップＳ３３）。

処理部４４は、ステップＳ３３の処理を終了した場合、または遠隔地装置７から情報を取得していないと判定した場合（ステップＳ３２：Ｎｏ）、計算モデル更新タイミングであるか否かを判定する（ステップＳ３４）。処理部４４は、計算モデル更新タイミングであると判定した場合（ステップＳ３４：Ｙｅｓ）、記憶部４３に記憶されている履歴情報に基づいて計算モデルを更新し、更新した計算モデルの情報を現場装置６へ送信する（ステップＳ３５）。処理部４４は、ステップＳ３５の処理が終了した場合、または計算モデル更新タイミングではないと判定した場合（ステップＳ３４：Ｎｏ）、図１１に示す処理を終了する。なお、処理部４４は、図１１に示すステップＳ３０，Ｓ３１の処理、ステップＳ３２，Ｓ３３の処理、およびステップＳ３４，Ｓ３５の処理を並行して行うことができる。

つづいて、仮想現実デバイス２０の動作を、フローチャートを用いて説明する。図１２は、実施の形態１にかかる仮想現実デバイスの処理の一例を示すフローチャートである。

図１２に示すように、仮想現実デバイス２０の処理部２６は、サーバ４０から情報を取得したか否かを判定する（ステップＳ４０）。処理部２６は、情報を取得したと判定した場合（ステップＳ４０：Ｙｅｓ）、撮像画像の情報および点検員４の向きに応じた画像を表示部２２により点検員４に視認可能に表示し（ステップＳ４１）、音の情報および音源方向に応じた音をスピーカ２３から出力する（ステップＳ４２）。

処理部２６は、ステップＳ４２の処理が終了した場合、または情報を取得していないと判定した場合（ステップＳ４０：Ｎｏ）、指令操作があるか否かを判定する（ステップＳ４３）。処理部２６は、例えば、入力部２５への操作として、切り替え指令のための操作、移動指令のための操作、またはアーム動作指令のための操作がある場合に、指令操作があると判定する。処理部２６は、指令操作があると判定した場合（ステップＳ４３：Ｙｅｓ）、指令操作に応じた指令情報をサーバ４０へ送信する（ステップＳ４４）。処理部２６は、ステップＳ４４の処理が終了した場合、または指令操作がないと判定した場合（ステップＳ４３：Ｎｏ）、図１２に示す処理を終了する。なお、処理部２６は、図１２に示すステップＳ４０〜Ｓ４２の処理、およびステップＳ４３，Ｓ４４の処理を並行して行うことができる。

図１３は、実施の形態１にかかる仮想現実デバイスの処理部のハードウェア構成の一例を示す図である。図１３に示すように、仮想現実デバイス２０の処理部２６は、プロセッサ１０１と、メモリ１０２と、入出力回路１０３とを備えるコンピュータを含む。

プロセッサ１０１、メモリ１０２、および入出力回路１０３は、例えば、バス１０４によって互いにデータの送受信が可能である。プロセッサ１０１は、メモリ１０２に記憶されたプログラムを読み出して実行することによって、向き判定部８１、表示処理部８２、音出力処理部８３、および指令処理部８４の機能を実行する。プロセッサ１０１は、例えば、処理回路の一例であり、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processer）、およびシステムＬＳＩ（Large Scale Integration）のうち一つ以上を含む。

メモリ１０２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、およびＥＥＰＲＯＭ（登録商標）（Electrically Erasable Programmable Read Only Memory）のうち一つ以上を含む。また、メモリ１０２は、コンピュータが読み取り可能なプログラムが記録された記録媒体を含む。かかる記録媒体は、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルメモリ、光ディスク、コンパクトディスク、およびＤＶＤ（Digital Versatile Disc）のうち一つ以上を含む。

また、無人移動体１０の制御部１６、無人移動体１０の処理部１７、端末装置３０の処理部３４、およびサーバ４０の処理部４４も、仮想現実デバイス２０の処理部２６と同様に、図１３に示すハードウェア構成を有する。例えば、処理部３４は、プロセッサ１０１がメモリ１０２に記憶されたプログラムを読み出して実行することによって、取得部７１、音判定部７２、図形付加部７３、送信部７４、状態判定部７５、推定部７６、および移動体制御部７７の機能を実行する。また、処理部４４は、プロセッサ１０１がメモリ１０２に記憶されたプログラムを読み出して実行することによって、取得部４５、送信部４６、画像生成部４７、第１学習部４８、および第２学習部４９の機能を実行する。なお、処理部１７，３４，４４および制御部１６の各々は、ＡＳＩＣ（Application Specific Integrated Circuit）およびＦＰＧＡ（Field Programmable Gate Array）などの集積回路を含んでいてもよい。

上述した例では、クラウド８にサーバ４０を設け、現場装置６と遠隔地装置７との間の情報を中継するが、サーバ４０を設けずに、現場装置６と遠隔地装置７との間で直接情報の送受信を行う構成であってもよい。また、端末装置３０は、上述したサーバ４０の機能を有する構成であってもよい。また、無人移動体１０および端末装置３０は一体化されていてもよい。

また、上述した例では、無人移動体１０で得られる現場情報が端末装置３０およびサーバ４０を介してリアルタイムで仮想現実デバイス２０へ送信されるが、かかる例に限定されない。例えば、サーバ４０は、仮想現実デバイス２０からの要求に応じた期間の現場情報を記憶部４３から取得し、取得した現場情報を仮想現実デバイス２０へ送信することもできる。同様に、端末装置３０は、仮想現実デバイス２０からの要求に応じた期間の現場情報を記憶部３３から取得し、取得した現場情報を仮想現実デバイス２０へ送信することもできる。

また、端末装置３０は、点検現場２を訪れた点検員４からの要求に応じて、点検現場２における無人移動体１０の過去の移動状態を無人移動体１０に再現させることができる。この場合、端末装置３０の記憶部３３は、無人移動体１０の過去の移動履歴の情報を記憶する。移動履歴の情報には、例えば、無人移動体１０の過去の移動軌跡の情報が含まれる。処理部３４は、記憶部３３に記憶された移動履歴の情報に基づいて、無人移動体１０の過去の移動軌跡に沿って無人移動体１０を移動させる指令情報を無人移動体１０へ第２通信部３２を介して送信する。無人移動体１０は、端末装置３０からの指令情報に基づいて、過去の移動軌跡に沿って移動する。これにより、例えば、無人移動体１０が空中ドローンのような場合に、空中ドローンがどのような高さおよび姿勢で点検現場２を移動しているかを把握することができる。そのため、空中ドローンによって得られる撮像画像および音などで点検対象機器５に異常または劣化が確認される場合において、点検員４は、点検対象機器５の異常または劣化が把握できるときの空中ドローンの高さおよび姿勢を確認することで、どのような位置および姿勢で点検対象機器５を見れば異常または劣化を確認できるかを把握することができる。なお、端末装置３０は、点検対象機器５の異常または劣化が検出されたタイミングの前後の予め設定された期間における無人移動体１０の過去の移動履歴のみを記憶部３３に記憶することもできる。

また、遠隔地装置７には、仮想現実デバイス２０が複数設けられていてもよい。この場合、複数の点検員４でそれぞれ異なる期間の現場情報などを仮想現実デバイス２０で把握することができる。例えば、仮想現実デバイス２０は、点検員４毎の点検レベルの情報を記憶しており、点検員４に応じた動作を行うことができる。例えば、仮想現実デバイス２０は、点検レベルが低い点検員４に対しては、過去の移動情報をサーバ４０から取得して再生し、点検レベルが高い点検員４に対しては、リアルタイムの移動情報をサーバ４０から取得して再生することができる。

なお、仮想現実デバイス２０の処理部２６は、点検員４の向きの情報を含む点検員情報をサーバ４０および端末装置３０を介して無人移動体１０へ送信することができる。無人移動体１０の制御部１６は、例えば、点検員４の向きに応じて無人移動体１０の移動速度または移動方向を変更することができる。例えば、制御部１６は、点検員４の向きが横向きである場合、点検員４の向きが前向きである場合に比べて、無人移動体１０の移動速度を遅くすることができる。なお、前向きとは無人移動体１０の移動方向と一致する方向である。また、制御部１６は、点検員４の向きが後向きである場合、無人移動体１０の移動方向を逆方向にすることができる。

以上のように、実施の形態１にかかる点検支援システム１は、点検現場２に配置される無人移動体１０を含む現場装置６と、点検現場２から離れた遠隔地である監視場所３で点検員４に装着される仮想現実デバイス２０を含む遠隔地装置７とを備える。無人移動体１０は、点検現場２を移動するための駆動機構１１と、点検現場２を撮像する仮想現実カメラ１２と、点検現場２の音を収集するマイク１３と、点検現場２に設置される点検対象機器５を操作可能なアーム１４とを備える。また、無人移動体１０は、駆動機構１１を制御して無人移動体１０を移動させると共に、アーム１４を制御して点検対象機器５を操作する制御部１６を備える。仮想現実デバイス２０は、表示処理部８２と、音出力処理部８３とを備える。表示処理部８２は、仮想現実カメラ１２で得られる画像の情報に基づいて、点検員４の向きに応じた点検現場２の画像を表示部２２により点検員４に視認可能に表示する。音出力処理部８３は、マイク１３で得られる音の情報に基づいて、点検現場２の音をスピーカ２３から出力する。これにより、点検員４が実際に点検現場２を訪れて行う点検作業によって感じられる状況を適切に再現することができ、遠隔地における点検作業をより適切に行うことを支援することができる。

また、無人移動体１０は、複数のマイク１３_１〜１３_ｍを有する。現場装置６は、無人移動体１０に通信可能に接続された端末装置３０を有する。端末装置３０は、無人移動体１０から画像の情報と音の情報とを取得する取得部７１と、音の情報に基づいて、音源の方向である音源方向を判定する音判定部７２とを備える。仮想現実デバイス２０の音出力処理部８３は、音源方向の情報と点検員４の向きに基づいて、スピーカ２３から出力する音の方向を変更する。これにより、実際の現場での点検作業によって点検員４が感じられる状況をさらに適切に再現することができる。

また、音判定部７２は、音の情報に基づいて、音源の位置および音の大きさのうち少なくとも一つを判定する。端末装置３０は、音判定部７２による判定結果に基づいて、音源の位置を表す図形および音の大きさを表す図形のうち少なくとも一つを表す図形を画像に付加する図形付加部７３を備える。仮想現実デバイス２０の表示処理部８２は、図形が付加された画像を表示部２２により点検員４に視認可能に表示する。これにより、点検員４は、表示部２２により点検員４に視認可能に表示される図形によって点検現場２の音を視覚的に把握することができる。

また、現場装置６は、点検現場２の温度を検出する温度センサ、点検現場２の湿度を検出する湿度センサ、点検現場２の臭気を検出する臭気センサ、および点検対象機器５の温度を検出するサーモセンサのうち少なくとも一つのセンサを含むセンサ部６３を備える。取得部７１は、センサ部６３からの検出情報を取得する。図形付加部７３は、検出情報に応じた図形を画像に付加する。これにより、点検員４は、表示部２２により点検員４に視認可能に表示される図形によって点検現場２の温度、湿度、または臭気などを把握することができる。

また、端末装置３０は、記憶部３３と、推定部７６と、移動体制御部７７とを備える。記憶部３３は、点検現場２の３次元モデルの情報を記憶する。推定部７６は、仮想現実カメラ１２で取得された画像の情報と記憶部３３に記憶された３次元モデルの情報とを比較し、無人移動体１０の位置および向きを推定する。移動体制御部７７は、推定部７６によって推定された無人移動体１０の位置および向きに基づいて、無人移動体１０を制御する。これにより、例えば、無人移動体１０に不測の事態が発生し、無人移動体１０が設定されていない場所に移動してしまった場合であっても、無人移動体１０を適切に移動させることができる。

また、端末装置３０は、状態判定部７５を備える。状態判定部７５は、点検対象機器５の異常を判定する第１計算モデルと、点検対象機器５の劣化を判定する第２計算モデルとを有する。状態判定部７５は、仮想現実カメラ１２で取得された画像の情報とマイク１３で取得された音の情報とを第１計算モデルおよび第２計算モデルへ入力して点検対象機器５の異常と劣化とを判定する。これにより、点検現場２の置かれた環境によって挙動が異なる点検対象機器５に対して適切に異常または劣化を判定することができる。

また、点検支援システム１は、現場装置６と遠隔地装置７とに通信可能に接続されるサーバ４０を備える。サーバ４０は、第１計算モデルの機械学習を行う第１学習部４８と、第２計算モデルの機械学習を行う第２学習部４９とを備える。送信部４６は、第１学習部４８によって第１計算モデルが更新された場合、更新された第１計算モデルを端末装置３０へ送信し、第２学習部４９によって第２計算モデルが更新された場合、更新された第２計算モデルを端末装置３０へ送信する。端末装置３０の状態判定部７５は、サーバ４０によって更新された第１計算モデルおよび第２計算モデルに基づいて、点検対象機器５の異常と劣化とを判定する。これにより、例えば、点検現場２の環境が変わった場合であっても、適切に点検対象機器５の異常または劣化を判定することができる。

また、サーバ４０は、仮想現実カメラ１２で取得された画像の情報とマイク１３で取得された音の情報とを現場装置６から取得する取得部４５と、取得部４５で取得された画像の情報と音の情報とを遠隔地装置７へ送信する送信部４６とを備える。これにより、現場装置６および遠隔地装置７は各々サーバ４０と通信することで、仮想現実カメラ１２で取得された画像の情報とマイク１３で取得された音の情報とを遠隔地装置７で容易に取得することができる。

また、サーバ４０は、点検対象機器５の過去の点検結果を示す点検履歴の情報を記憶する記憶部４３と、遠隔地装置７からの要求があった場合に、点検履歴に応じた図形の情報を生成する画像生成部４７とを備える。送信部４６は、画像生成部４７によって生成された点検履歴に応じた図形の情報を遠隔地装置７へ送信する。仮想現実デバイス２０の表示処理部８２は、点検履歴に応じた図形を含む画像を表示部２２により点検員４に視認可能に表示する。これにより、点検員４は、参考情報として過去のデータを参照できるようになり、点検員４が点検対象機器５の状態をより適切に判断することを支援することができる。

以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。

１ 点検支援システム、２ 点検現場、３ 監視場所、４ 点検員、５，５_１〜５_ｎ 点検対象機器、６ 現場装置、７ 遠隔地装置、８ クラウド、９，９_１，９_２ 通信ネットワーク、１０ 無人移動体、１１ 駆動機構、１２ 仮想現実カメラ、１３，１３_１〜１３_ｍ マイク、１４ アーム、１５，３１，４１ 第１通信部、１６ 制御部、１７，２６，３４，４４ 処理部、１８，３２，４２ 第２通信部、２０ 仮想現実デバイス、２１ 通信部、２２ 表示部、２３ スピーカ、２４ ジャイロセンサ、２５ 入力部、３０，５０ 端末装置、３３，４３ 記憶部、４０ サーバ、４５，７１ 取得部、４６，７４ 送信部、４７ 画像生成部、４８ 第１学習部、４９ 第２学習部、６１ ゲートウェイ装置、６２ 充電ステーション、６３ センサ部、７２ 音判定部、７３ 図形付加部、７５ 状態判定部、７６ 推定部、７７ 移動体制御部、８１ 向き判定部、８２ 表示処理部、８３ 音出力処理部、８４ 指令処理部、９０，９４ 画像、９１，９５ ３次元画像、９２，９３，９３ａ，９３ｂ，９３ｃ，９３ｄ，９６ａ，９６ｂ，９６ｃ 図形、９４ａ，９４ｂ 選択ボタン、９７ａ，９７ｂ，９７ｃ 情報。

Claims (10)

1. 点検現場に配置される無人移動体を含む現場装置と、前記点検現場から離れた遠隔地で点検員に装着される仮想現実デバイスを含む遠隔地装置と、を備え、
   前記無人移動体は、
   前記点検現場を移動するための駆動機構と、
   前記点検現場を撮像する仮想現実カメラと、
   前記点検現場の音を収集するマイクと、
   前記点検現場に設置される点検対象機器を操作可能なアームと、
   前記駆動機構を制御して前記無人移動体を移動させると共に、前記アームを制御して前記点検対象機器を操作する制御部と、を備え、
   前記仮想現実デバイスは、
   前記仮想現実カメラで得られる画像の情報に基づいて、前記点検員の向きに応じた前記点検現場の画像を表示部により前記点検員に視認可能に表示する表示処理部と、
   前記マイクで得られる前記音の情報に基づいて、前記点検現場の音をスピーカから出力する音出力処理部と、を備える
   ことを特徴とする点検支援システム。
2. 前記無人移動体は、
   複数の前記マイクを有し、
   前記現場装置は、
   前記無人移動体に通信可能に接続された端末装置を有し、
   前記端末装置は、
   前記無人移動体から前記画像の情報と前記音の情報とを取得する取得部と、
   前記音の情報に基づいて、音源の方向である音源方向を判定する音判定部と、を備え、
   前記仮想現実デバイスの前記音出力処理部は、
   前記音源方向の情報と前記点検員の向きに基づいて、前記スピーカから出力する音の方向を変更する
   ことを特徴とする請求項１に記載の点検支援システム。
3. 前記音判定部は、
   前記音の情報に基づいて、前記音源の位置および前記音の大きさのうち少なくとも一つを判定し、
   前記端末装置は、
   前記音判定部による判定結果に基づいて、前記音源の位置を表す図形および前記音の大きさを表す図形のうち少なくとも一つを表す図形を前記画像に付加する図形付加部を備え、
   前記仮想現実デバイスの前記表示処理部は、
   前記図形が付加された前記画像を前記表示部により前記点検員に視認可能に表示する
   ことを特徴とする請求項２に記載の点検支援システム。
4. 前記現場装置は、
   前記点検現場の温度を検出する温度センサ、前記点検現場の湿度を検出する湿度センサ、前記点検現場の臭気を検出する臭気センサ、および前記点検対象機器の温度を検出するサーモセンサのうち少なくとも一つのセンサを備え、
   前記取得部は、
   前記少なくとも一つのセンサからの検出情報を取得し、
   前記図形付加部は、
   前記検出情報に応じた図形を前記画像に付加する
   ことを特徴とする請求項３に記載の点検支援システム。
5. 前記端末装置は、
   前記点検現場の３次元モデルの情報を記憶する記憶部と、
   前記仮想現実カメラで取得された画像の情報と前記３次元モデルの情報とを比較し、前記無人移動体の位置および向きを推定する推定部と、
   前記推定部によって推定された前記無人移動体の位置および向きに基づいて、前記無人移動体を制御する移動体制御部と、を備える
   ことを特徴とする請求項２から４のいずれか一つに記載の点検支援システム。
6. 前記端末装置は、
   前記点検対象機器の異常を判定する第１計算モデルと、前記点検対象機器の劣化を判定する第２計算モデルとを有する状態判定部を備え、
   前記状態判定部は、
   前記仮想現実カメラで取得された画像の情報と前記マイクで取得された音の情報とを前記第１計算モデルおよび前記第２計算モデルに入力して前記異常と前記劣化とを判定する
   ことを特徴とする請求項２から５のいずれか一つに記載の点検支援システム。
7. 前記現場装置と前記遠隔地装置とに通信可能に接続されるサーバを備え、
   前記サーバは、
   前記第１計算モデルの機械学習を行う第１学習部と、
   前記第２計算モデルの機械学習を行う第２学習部と、
   前記第１学習部によって前記第１計算モデルが更新された場合、更新された前記第１計算モデルを前記端末装置へ送信し、前記第２学習部によって前記第２計算モデルが更新された場合、更新された前記第２計算モデルを前記端末装置へ送信する送信部と、を備え、
   前記端末装置の状態判定部は、
   前記サーバによって更新された前記第１計算モデルおよび前記第２計算モデルに基づいて、前記異常と前記劣化とを判定する
   ことを特徴とする請求項６に記載の点検支援システム。
8. 前記現場装置と前記遠隔地装置とに通信可能に接続されるサーバを備え、
   前記サーバは、
   前記仮想現実カメラで取得された画像の情報と前記マイクで取得された音の情報とを前記現場装置から取得する取得部と、
   前記取得部で取得された前記画像の情報と前記音の情報とを前記遠隔地装置へ送信する送信部と、を備える
   ことを特徴とする請求項１から６のいずれか一つに記載の点検支援システム。
9. 前記サーバは、
   前記点検対象機器の過去の点検結果を示す点検履歴の情報を記憶する記憶部と、
   前記遠隔地装置からの要求があった場合に、前記点検履歴に応じた図形の情報を生成する画像生成部と、を備え、
   前記送信部は、
   前記画像生成部によって生成された前記点検履歴に応じた図形の情報を前記遠隔地装置へ送信し、
   前記仮想現実デバイスの前記表示処理部は、
   前記点検履歴に応じた図形を含む画像を前記表示部により前記点検員に視認可能に表示する
   ことを特徴とする請求項７または８に記載の点検支援システム。
10. 点検現場に配置され且つ仮想現実カメラおよびマイクを有する無人移動体が、前記点検現場の移動および点検対象機器の操作を行いながら、前記仮想現実カメラによって前記点検現場を撮像し且つ前記マイクによって前記点検現場の音を収集するステップと、
    前記点検現場から離れた遠隔地で点検員に装着される仮想現実デバイスが、前記仮想現実カメラで得られる画像の情報と、前記マイクで得られる前記音の情報とを取得するステップと、
    前記仮想現実デバイスが、前記仮想現実カメラで得られる画像の情報に基づいて、前記点検員の向きに応じた前記点検現場の画像を表示部により前記点検員に視認可能に表示するステップと、
    前記仮想現実デバイスが、前記マイクで得られる前記音の情報に基づいて、前記点検現場の音をスピーカから出力するステップと、を含む
    ことを特徴とする点検支援方法。

Images