JP2014139745A - 機器管理システム、機器管理装置、機器管理方法及びプログラム - Google Patents
機器管理システム、機器管理装置、機器管理方法及びプログラム Download PDFInfo
- Publication number
- JP2014139745A JP2014139745A JP2013008565A JP2013008565A JP2014139745A JP 2014139745 A JP2014139745 A JP 2014139745A JP 2013008565 A JP2013008565 A JP 2013008565A JP 2013008565 A JP2013008565 A JP 2013008565A JP 2014139745 A JP2014139745 A JP 2014139745A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- terminal device
- unit
- facility
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】拡張現実を応用した施設内の機器管理を行うにあたり広い適用範囲が得られるようにする。
【解決手段】施設内において、操作対象の設備機器を撮像するようにユーザが所持する端末装置は自己の位置情報と方向を示す方向情報を機器管理装置に送信する。機器管理装置は、受信した位置情報と方向情報と、機器設置情報とに基づいて、操作対象の設備機器を判定する。機器管理装置は、操作対象の設備機器に応じた操作画像を生成して端末装置に送信する。端末装置は、撮像画像における設備機器の画像に受信した操作画像を重畳した拡張現実画像を表示し、拡張現実画像に対する操作に応じた操作情報を機器管理装置に送信する。機器管理装置は、受信した操作情報に応じて、設備機器を操作した場合のシミュレーション結果を端末装置に送信する、あるいは、設備機器を制御する。
【選択図】図７
【解決手段】施設内において、操作対象の設備機器を撮像するようにユーザが所持する端末装置は自己の位置情報と方向を示す方向情報を機器管理装置に送信する。機器管理装置は、受信した位置情報と方向情報と、機器設置情報とに基づいて、操作対象の設備機器を判定する。機器管理装置は、操作対象の設備機器に応じた操作画像を生成して端末装置に送信する。端末装置は、撮像画像における設備機器の画像に受信した操作画像を重畳した拡張現実画像を表示し、拡張現実画像に対する操作に応じた操作情報を機器管理装置に送信する。機器管理装置は、受信した操作情報に応じて、設備機器を操作した場合のシミュレーション結果を端末装置に送信する、あるいは、設備機器を制御する。
【選択図】図７
Description
本発明は、機器管理システム、機器管理装置、機器管理方法及びプログラムに関する。
拡張現実（ＡＲ：Augment Reality）といわれる技術が普及してきている。拡張現実は、現実環境にコンピュータを用いて情報を付加提示する技術である。
このようなＡＲを利用した保守・管理システムとして以下のものが知られている。つまり、この保守・管理システムでは、監視対象の業務サーバに個別のマーカーを貼り付けておいたうえで業務サーバを監視カメラによって撮影する。また、業務サーバは、自身のステータスを監視サーバに送信して監視サーバのステータス管理データベースを更新する。監視サーバは、監視カメラによって撮影された映像に対して、ステータス管理データベースに蓄積されたステータスを、マーカーを基準にして対応する業務サーバの映像近傍に重畳させて拡張現実映像を生成し、表示させるというものである（例えば、特許文献１参照）。この構成により、例えば、人的作業、特に補充作業及び障害等の異常発生時において、その作業に関する知識が無い作業員であっても確実に対応することができる。
このようなＡＲを利用した保守・管理システムとして以下のものが知られている。つまり、この保守・管理システムでは、監視対象の業務サーバに個別のマーカーを貼り付けておいたうえで業務サーバを監視カメラによって撮影する。また、業務サーバは、自身のステータスを監視サーバに送信して監視サーバのステータス管理データベースを更新する。監視サーバは、監視カメラによって撮影された映像に対して、ステータス管理データベースに蓄積されたステータスを、マーカーを基準にして対応する業務サーバの映像近傍に重畳させて拡張現実映像を生成し、表示させるというものである（例えば、特許文献１参照）。この構成により、例えば、人的作業、特に補充作業及び障害等の異常発生時において、その作業に関する知識が無い作業員であっても確実に対応することができる。
しかし、特許文献１に示す保守・管理システムでは、監視カメラを備えることと、設備機器に対してマーカーを貼り付けることが必要である。例えば、監視カメラを備えることによっては、そのためのコストや取り付け作業などの負担が大きい。特許文献１で挙げられている業務サーバが設置される場所のように重要な保安箇所に限定すれば、監視カメラなどを設けることの負担は抑えることができるが、より広範囲にわたって保守・管理を行おうとした場合には、負担が増加してしまう。また、マーカーについては、機器の種別などによっては、その本体に対して監視カメラが良好に撮影可能な位置に貼り付けることが難しい場合がある。このように監視カメラとマーカーを利用したシステムは、その適用範囲を拡げることが難しい。
本発明は、このような事情に鑑みてなされたもので、拡張現実を応用した施設内の機器管理を行うにあたり広い適用範囲が得られるようにすることを目的とする。
上述した課題を解決するために、本発明の一態様としての機器管理システムは、端末装置と機器管理装置とを備え、前記端末装置は、施設における自己の位置を示す位置情報が前記機器管理装置にて取得されるようにするための処理を実行する位置情報処理部と、前記端末装置の方向を検出し、検出した方向を示す方向情報が前記機器管理装置にて取得されるようにするための処理を実行する方向情報処理部と、撮像を行うことにより撮像画像を生成する撮像部と、前記機器管理装置から送信された操作画像を取得する操作画像取得部と、機器の画像を含む撮像画像に前記操作画像を重畳した重畳画像を表示部に表示させる表示制御部と、前記重畳画像に対して行われた操作に応じた操作情報を前記機器管理装置に送信する操作情報処理部とを備え、前記機器管理装置は、外部との通信により取得された前記位置情報と、外部との通信により取得された前記方向情報と、前記施設における機器の設置位置を示す機器設置情報とに基づいて操作対象の機器を判定する操作対象機器判定部と、前記操作対象機器判定部により判定された操作対象の機器についての操作を案内する機能を少なくとも有する操作画像を生成し、生成した操作画像を前記端末装置に送信する操作画像処理部と、前記端末装置から送信された前記操作情報に応じた所定の処理を実行する操作対応処理部とを備える。
また、本発明の機器管理システムにおいて、前記操作対応処理部は、前記操作情報が示す操作を操作対象の機器に対して行ったとした場合に生じる結果についてのシミュレーションを実行し、このシミュレーションの結果を出力するシミュレーション処理部を備えてもよい。
また、本発明の機器管理システムにおいて、前記操作対応処理部は、操作情報が示す操作に応じた動作が実行されるように操作対象の機器を制御する機器制御部を備えてもよい。
また、本発明の機器管理システムにおいて、操作対象機器判定部は、前記位置情報が示す位置を起点として、前記方向情報に基づいて認識した前記端末装置の表示部の画面の反対側の面が向けられた方向に位置している機器を前記機器設置情報から特定し、特定した機器を操作対象であると判定してもよい。
また、本発明の一態様としての機器管理装置は、外部との通信により取得された施設における端末装置の位置情報と、外部との通信により取得された端末装置の方向を示す方向情報と、機器設置情報記憶部に記憶された前記施設における機器の設置位置を示す機器設置情報とに基づいて操作対象の機器を判定する操作対象機器判定部と、前記操作対象機器判定部により判定された操作対象の機器についての操作を案内する機能を少なくとも有する操作画像を生成し、生成した操作画像を前記端末装置に送信する操作画像処理部と、機器の画像を含む撮像画像に操作画像が重畳された重畳画像に対して行われた操作に応じて前記端末装置から送信された操作情報に応じた所定の処理を実行する操作対応処理部とを備える。
また、本発明の一態様としての機器管理方法は、端末装置と機器管理装置とを備える機器管理システムにおける機器管理方法であって、前記端末装置は、施設における自己の位置を示す位置情報が前記機器管理装置にて取得されるようにするための処理を実行する位置情報処理ステップと、前記端末装置の方向を検出し、検出した方向を示す方向情報が前記機器管理装置にて取得されるようにするための処理を実行する方向情報処理ステップと、前記機器管理装置から送信された操作画像を取得する操作画像取得ステップと、撮像部により撮像された機器の画像を含む撮像画像に前記操作画像を重畳した重畳画像を表示部に表示させる表示制御ステップと、前記重畳画像に対して行われた操作に応じた操作情報を前記機器管理装置に送信する操作情報処理ステップとを備え、前記機器管理装置は、外部との通信により取得された前記位置情報と、外部との通信により取得された前記方向情報と、前記施設における機器の設置位置を示す機器設置情報とに基づいて操作対象の機器を判定する操作対象機器判定ステップと、前記操作対象機器判定ステップにより判定された操作対象の機器についての操作を案内する機能を少なくとも有する操作画像を生成し、生成した操作画像を前記端末装置に送信する操作画像処理ステップと、前記端末装置から送信された前記操作情報に応じた所定の処理を実行する操作対応処理ステップとを備える。
また、本発明の一態様としての機器管理方法は、外部との通信により取得された施設における端末装置の位置情報と、外部との通信により取得された端末装置の方向を示す方向情報と、機器設置情報記憶部に記憶された前記施設における機器の設置位置を示す機器設置情報とに基づいて操作対象の機器を判定する操作対象機器判定ステップと、前記操作対象機器判定ステップにより判定された操作対象の機器についての操作を案内する機能を少なくとも有する操作画像を生成し、生成した操作画像を前記端末装置に送信する操作画像処理ステップと、機器の画像を含む撮像画像に操作画像が重畳された重畳画像に対して行われた操作に応じて前記端末装置から送信された操作情報に応じた所定の処理を実行する操作対応処理ステップとを備える。
また、本発明の一態様としてのプログラムは、コンピュータに、外部との通信により取得された施設における端末装置の位置情報と、外部との通信により取得された端末装置の方向を示す方向情報と、機器設置情報記憶部に記憶された前記施設における機器の設置位置を示す機器設置情報とに基づいて操作対象の機器を判定する操作対象機器判定ステップと、前記操作対象機器判定ステップにより判定された操作対象の機器についての操作を案内する機能を少なくとも有する操作画像を生成し、生成した操作画像を前記端末装置に送信する操作画像処理ステップと、機器の画像を含む撮像画像に操作画像が重畳された重畳画像に対して行われた操作に応じて前記端末装置から送信された操作情報に応じた所定の処理を実行する操作対応処理ステップとを実行させるためのものである。
以上説明したように、本発明によれば、拡張現実を応用した施設内の機器管理を行うにあたり適用範囲を拡げることができるという効果が得られる。
［機器管理システムの構成例］
図１は、本実施形態における機器管理システムの構成例を示している。
図１において、施設ＢＬは、例えばオフィスビルや公共設備などとしての建築物であり、図１においては、この施設ＢＬにおける或る１つのフロア（ｘ階）の平面図が示されている。
本実施形態の機器管理システムは、施設ＢＬにおいて備えられる設備機器を管理対象の機器とする。例えば、施設ＢＬのｘ階は、４つの部屋ＲＭ１〜ＲＭ４に区画されており、部屋ＲＭ１には、３つの設備機器１００−１〜１００−３が設置される。部屋ＲＭ２には１つの設備機器１００−４が設置される。部屋ＲＭ３には２つの設備機器１００−５、１００−６が設置される。部屋ＲＭ４には、１つの設備機器１００−７が設置される。
なお、以降の説明において、設備機器１００−１〜１００−７を特に区別する必要の無い場合には、設備機器１００と記載する。これらの設備機器１００は、例えば制御盤、空調機器などをはじめとする比較的大型の機器である。
図１は、本実施形態における機器管理システムの構成例を示している。
図１において、施設ＢＬは、例えばオフィスビルや公共設備などとしての建築物であり、図１においては、この施設ＢＬにおける或る１つのフロア（ｘ階）の平面図が示されている。
本実施形態の機器管理システムは、施設ＢＬにおいて備えられる設備機器を管理対象の機器とする。例えば、施設ＢＬのｘ階は、４つの部屋ＲＭ１〜ＲＭ４に区画されており、部屋ＲＭ１には、３つの設備機器１００−１〜１００−３が設置される。部屋ＲＭ２には１つの設備機器１００−４が設置される。部屋ＲＭ３には２つの設備機器１００−５、１００−６が設置される。部屋ＲＭ４には、１つの設備機器１００−７が設置される。
なお、以降の説明において、設備機器１００−１〜１００−７を特に区別する必要の無い場合には、設備機器１００と記載する。これらの設備機器１００は、例えば制御盤、空調機器などをはじめとする比較的大型の機器である。
また、部屋ＲＭ１〜ＲＭ４においては、それぞれ、設備機器１００−１〜１００−７ごとに対応して位置情報ユニット２００−１〜２００−７が備えられる。なお、位置情報ユニット２００−１〜２００−４について特に区別する必要の無い場合には、位置情報ユニット２００と記載する。
位置情報ユニット２００は、機器管理装置３００に端末装置４００の位置情報を取得させるための装置である。一例として、位置情報ユニット２００は、それぞれが自己の設置された位置を示す位置情報を記憶している。この場合、位置情報ユニット２００は、位置情報として、自己の設置された位置の平面方向における座標（例えば緯度、経度）と階数とを含む。
本実施形態における位置情報ユニット２００−１〜２００−７は、それぞれ、設備機器１００−１〜１００−７の前で作業者であるユーザＹＳが端末装置４００を操作して作業するときの位置とほぼ同じ平面方向の位置に設置される。また、本実施形態の位置情報ユニット２００−１〜２００−７は、例えば１メートル以内程度の通信範囲による所定の近距離無線通信により自己の位置情報を送信する。これにより、本実施形態では、ユーザＹＳが操作対象の設備機器１００の前に端末装置４００を所持して位置した状態において、端末装置４００と位置情報ユニット２００との通信が可能になる。そして、端末装置４００は、位置情報ユニット２００の位置情報を自己の位置情報として取得する。
位置情報ユニット２００は、機器管理装置３００に端末装置４００の位置情報を取得させるための装置である。一例として、位置情報ユニット２００は、それぞれが自己の設置された位置を示す位置情報を記憶している。この場合、位置情報ユニット２００は、位置情報として、自己の設置された位置の平面方向における座標（例えば緯度、経度）と階数とを含む。
本実施形態における位置情報ユニット２００−１〜２００−７は、それぞれ、設備機器１００−１〜１００−７の前で作業者であるユーザＹＳが端末装置４００を操作して作業するときの位置とほぼ同じ平面方向の位置に設置される。また、本実施形態の位置情報ユニット２００−１〜２００−７は、例えば１メートル以内程度の通信範囲による所定の近距離無線通信により自己の位置情報を送信する。これにより、本実施形態では、ユーザＹＳが操作対象の設備機器１００の前に端末装置４００を所持して位置した状態において、端末装置４００と位置情報ユニット２００との通信が可能になる。そして、端末装置４００は、位置情報ユニット２００の位置情報を自己の位置情報として取得する。
機器管理装置３００は、施設ＢＬおける設備機器１００を管理対象の機器として管理する。このために、機器管理装置３００は、施設ＢＬおける設備機器１００と例えばＬＡＮ（Local Area Network）などの所定の通信網を経由して通信可能なように接続されている。
また、図１において、施設ＢＬの部屋ＲＭ３には、管理者としてのユーザＹＳが存在している状態が示されている。このユーザＹＳは端末装置４００を所持する。端末装置４００は、例えば無線ＬＡＮなどの無線通信網を経由して機器管理装置３００と通信可能に接続されている。
端末装置４００は、機器管理装置３００との連携により、操作対象の設備機器１００を撮像した画像に操作画像を重畳した現実拡張画像を画面に表示することができる。そして、この操作画像に対してユーザＹＳが行った操作に応じて、機器管理装置３００は、操作画像に対して行ったのと同じ操作を操作対象の設備機器１００に行ったとした場合に生じる結果をシミュレートすることができる。また、機器管理装置３００は、操作画像に対してユーザＹＳが行った操作に応じた動作が実行されるように操作対象の設備機器１００を制御することができる。
なお、端末装置４００には、一例としてタブレット端末やスマートフォンなどを採用することができる。
端末装置４００は、機器管理装置３００との連携により、操作対象の設備機器１００を撮像した画像に操作画像を重畳した現実拡張画像を画面に表示することができる。そして、この操作画像に対してユーザＹＳが行った操作に応じて、機器管理装置３００は、操作画像に対して行ったのと同じ操作を操作対象の設備機器１００に行ったとした場合に生じる結果をシミュレートすることができる。また、機器管理装置３００は、操作画像に対してユーザＹＳが行った操作に応じた動作が実行されるように操作対象の設備機器１００を制御することができる。
なお、端末装置４００には、一例としてタブレット端末やスマートフォンなどを採用することができる。
［機器管理システムにおける端末装置の操作例］
本実施形態の機器管理システムにおいて、端末装置４００を所持するユーザＹＳは、上記もしたように、設備機器１００を管理するにあたり、操作対象の設備機器１００の動作のシミュレーションを行ったり、操作対象の設備機器１００のリモートコントロールを行ったりすることができる。
そこで、本実施形態の機器管理システムにおける端末装置４００の操作例と、操作に応じた機器管理システムの動作例について説明する。なお、以降の説明にあたり、端末装置４００は表示部の画面と一体化されたタッチパネルを備え、ユーザＹＳは、画面に対して指などの操作体を触れることにより端末装置４００の操作が行えるようにされた場合を例に挙げる。
本実施形態の機器管理システムにおいて、端末装置４００を所持するユーザＹＳは、上記もしたように、設備機器１００を管理するにあたり、操作対象の設備機器１００の動作のシミュレーションを行ったり、操作対象の設備機器１００のリモートコントロールを行ったりすることができる。
そこで、本実施形態の機器管理システムにおける端末装置４００の操作例と、操作に応じた機器管理システムの動作例について説明する。なお、以降の説明にあたり、端末装置４００は表示部の画面と一体化されたタッチパネルを備え、ユーザＹＳは、画面に対して指などの操作体を触れることにより端末装置４００の操作が行えるようにされた場合を例に挙げる。
まず、ユーザＹＳは、端末装置４００によりシミュレーションあるいはリモートコントロールを行うにあたり、施設ＢＬにおいて操作対象である設備機器１００が設置されている位置にまで赴く。そのうえで、端末装置４００に対する所定操作により、設備機器管理のためのアプリケーションを起動させる。これに応じて、端末装置４００の画面４０７Ａにおいては、例えば図２に示す操作種別選択画面が表示される。
図２の管理種別選択画面は、これから行おうとする操作がシミュレーションのための操作であるのか、設備機器１００のリモートコントロールのための操作であるのかを指定する操作を行うための画面である。これに応じて、操作種別選択画面には、シミュレーションに対応するボタンｂｔ１とリモートコントロールに対応するボタンｂｔ２とが配置されている。
ユーザＹＳは、これからシミュレーションのための操作を行う場合にはボタンｂｔ１に対するタッチ操作を行う。また、これから設備機器１００に対するリモートコントロールのための操作を行う場合にはボタンｂｔ２に対するタッチ操作を行う。
上記のように操作種別選択画面におけるボタンｂｔ１とボタンｂｔ２のいずれかに対する操作が行われるのに応じて、画面４０７Ａは、図３の作業種別選択画面の表示に遷移する。
図２の管理種別選択画面は、これから行おうとする操作がシミュレーションのための操作であるのか、設備機器１００のリモートコントロールのための操作であるのかを指定する操作を行うための画面である。これに応じて、操作種別選択画面には、シミュレーションに対応するボタンｂｔ１とリモートコントロールに対応するボタンｂｔ２とが配置されている。
ユーザＹＳは、これからシミュレーションのための操作を行う場合にはボタンｂｔ１に対するタッチ操作を行う。また、これから設備機器１００に対するリモートコントロールのための操作を行う場合にはボタンｂｔ２に対するタッチ操作を行う。
上記のように操作種別選択画面におけるボタンｂｔ１とボタンｂｔ２のいずれかに対する操作が行われるのに応じて、画面４０７Ａは、図３の作業種別選択画面の表示に遷移する。
作業種別選択画面は、これからのシミュレーションあるいはリモートコントロールとしての操作により行おうとする作業種別を選択するための画面である。図２の例では、定期点検の作業種別に対応するボタンｂｔ１１と、故障原因特定の作業種別に対応するボタンｂｔ１２とが配置されている。
ユーザＹＳは、これから行う作業が定期点検であれば、ボタンｂｔ１１を操作し、これから行う作業が故障原因の特定であればボタンｂｔ１２を操作する。
ユーザＹＳは、これから行う作業が定期点検であれば、ボタンｂｔ１１を操作し、これから行う作業が故障原因の特定であればボタンｂｔ１２を操作する。
以降の説明にあたり、操作対象の機器は設備機器１００−５であり、これに応じて、ユーザＹＳは、図４に示すように、施設ＢＬのｘ階において設備機器１００−５が設置された部屋ＲＭ３に赴いている場合を例に挙げる。
図３に示した作業選択画面におけるボタンｂｔ１１またはボタンｂｔ１２が操作されるのに応じて、端末装置４００は、機器管理装置３００に対して、操作画像要求を送信する。この際、端末装置４００は、操作画像要求に、操作種別選択画面に対する操作によりシミュレーションとリモートコントロールのいずれが指定されたのかを示す操作種別情報を含める。また、端末装置４００は、作業種別選択画面に対する操作により選択された作業種別を示す作業種別情報も含める。
これとともに、端末装置４００は、撮像を開始する。これにより、端末装置４００の画面４０７Ａには、撮像により得られている撮像画像が例えば動画の態様によるモニタ画像として表示される。
上記の状態において、ユーザＹＳは、部屋ＲＭ３において操作対象の設備機器１００−５の前に立ち、操作対象の設備機器１００がモニタ画像内に収まるように端末装置４００を操作対象の設備機器１００に向けて撮像を行う。この場合には端末装置４００が内蔵するカメラのうち、画面４０７Ａと反対側（背面）に配置されるカメラを使用する。したがって、このときには、端末装置４００の背面が操作対象の設備機器１００に向けられている状態である。
上記の状態において、ユーザＹＳは、部屋ＲＭ３において操作対象の設備機器１００−５の前に立ち、操作対象の設備機器１００がモニタ画像内に収まるように端末装置４００を操作対象の設備機器１００に向けて撮像を行う。この場合には端末装置４００が内蔵するカメラのうち、画面４０７Ａと反対側（背面）に配置されるカメラを使用する。したがって、このときには、端末装置４００の背面が操作対象の設備機器１００に向けられている状態である。
このとき、ユーザＹＳは、設備機器１００−５に対応して設置された位置情報ユニット２００−５と平面方向においてほぼ同じ位置に立っている。これにより、端末装置４００は、位置情報ユニット２００−５と通信を行うことにより、この位置情報ユニット２００−５が記憶する位置情報を取得し、この位置情報を機器管理装置３００に送信する。
また、端末装置４００は、上記のように背面が操作対象の設備機器１００に向けられている状態のときの自己の方向を検出し、検出した方向を示す方向情報を機器管理装置３００に送信する。
また、端末装置４００は、上記のように背面が操作対象の設備機器１００に向けられている状態のときの自己の方向を検出し、検出した方向を示す方向情報を機器管理装置３００に送信する。
機器管理装置３００は、端末装置４００から送信された位置情報と方向情報を取得する。機器管理装置３００は、施設ＢＬにおける設備機器１００ごとの設置位置を示す機器設置情報を記憶している。例えばｘ階についての機器設置情報は、模式的には図４に示すように、ｘ階のフロア全体をＸ座標とＹ座標により示したうえで、この座標上での設備機器１００−１〜１００−７ごとの位置を示す情報である。
機器管理装置３００は、機器設置情報と端末装置４００から取得した位置情報とを照合することで、端末装置４００から取得した位置情報は、部屋ＲＭ３において座標（Ｘ１、Ｙ１）により示される位置であることを認識する。
機器管理装置３００は、機器設置情報と端末装置４００から取得した位置情報とを照合することで、端末装置４００から取得した位置情報は、部屋ＲＭ３において座標（Ｘ１、Ｙ１）により示される位置であることを認識する。
そのうえで、機器管理装置３００は、端末装置４００から取得した方向情報に基づいて、端末装置４００の表示部４０７の画面４０７Ａと反対側の面が向けられた方向Ｄを認識する。そして、機器管理装置３００は、座標（Ｘ１，Ｙ１）の位置を起点として方向Ｄにおいて位置している設備機器１００を特定する。
図４の例では、座標（Ｘ１，Ｙ１）の位置から方向Ｄに位置している設備機器１００は設備機器１００−５である。つまり、図４の例では、設備機器１００−５が座標（Ｘ１，Ｙ１）の位置から方向Ｄに位置しているものとして特定される。
このように、機器管理装置３００は、位置情報が示す位置を起点として端末装置４００の表示部の画面と反対側の面が向けられた方向Ｄに位置している設備機器１００を、機器設置情報に示される設備機器のうちから特定する。
そして、機器管理装置３００は、上記のように特定した設備機器１００−５を操作対象として判定する。このように操作対象として判定された設備機器１００−５は、前述のように、ユーザＹＳが端末装置４００により操作対象として撮像しているものと一致している。
図４の例では、座標（Ｘ１，Ｙ１）の位置から方向Ｄに位置している設備機器１００は設備機器１００−５である。つまり、図４の例では、設備機器１００−５が座標（Ｘ１，Ｙ１）の位置から方向Ｄに位置しているものとして特定される。
このように、機器管理装置３００は、位置情報が示す位置を起点として端末装置４００の表示部の画面と反対側の面が向けられた方向Ｄに位置している設備機器１００を、機器設置情報に示される設備機器のうちから特定する。
そして、機器管理装置３００は、上記のように特定した設備機器１００−５を操作対象として判定する。このように操作対象として判定された設備機器１００−５は、前述のように、ユーザＹＳが端末装置４００により操作対象として撮像しているものと一致している。
ここで、部屋ＲＭ３には、２つの設備機器１００−５、１００−６が設置されているが、位置情報と方向の情報とを組み合わせることにより、機器管理装置３００は、設備機器１００−５のほうが操作対象であると判定することができる。つまり、機器管理装置３００は、同じ部屋において複数の設備機器１００が設置されていても、これらの設備機器１００のうちから、操作対象の設備機器１００を位置情報と方向の情報とに基づいて正しく認識できる。
上記のように設備機器１００−５が操作対象であることを判定すると、機器管理装置３００は、この設備機器１００−５に対応する操作画面を生成する。この操作画面は、ユーザＹＳの作業種別選択画面に対する操作により選択された作業種別に対応して設備機器１００−５を操作するにあたっての手順を示す。つまり、操作画面は、例えば操作ガイドとしての機能を有する画像である。
また、この操作画面は、例えば設備機器１００−５の機能や構成などに対応して、設備機器１００−５に固有なものとして生成される。例えば、図１に示した設備機器１００−１〜１００−７がそれぞれ異なる機能や構成を有していれば、機器管理装置３００は、設備機器１００−１〜１００−７ごとに異なる操作画面を生成する。
そして、設備機器１００−５は、生成した操作画面を機器管理装置３００に対して送信する。
また、この操作画面は、例えば設備機器１００−５の機能や構成などに対応して、設備機器１００−５に固有なものとして生成される。例えば、図１に示した設備機器１００−１〜１００−７がそれぞれ異なる機能や構成を有していれば、機器管理装置３００は、設備機器１００−１〜１００−７ごとに異なる操作画面を生成する。
そして、設備機器１００−５は、生成した操作画面を機器管理装置３００に対して送信する。
機器管理装置３００から操作画面を受信した端末装置４００は、そのときに設備機器１００−５を撮像している撮像画像に操作画面を重畳させた拡張現実画像を表示部４０７に表示する。
図５は、画面４０７Ａに表示される拡張現実画像の一例を示している。この図に示す拡張現実画像においては、現存の設備機器１００−５を撮像した設備機器画像Ｐｒが表示されている。そのうえで、ユーザＹＳが作業種別選択画面に対する操作により選択した作業種別の操作手順を示す操作画像Ｐｖ１、Ｐｖ２が設備機器画像Ｐｒに対して重畳して表示されている。
図５は、画面４０７Ａに表示される拡張現実画像の一例を示している。この図に示す拡張現実画像においては、現存の設備機器１００−５を撮像した設備機器画像Ｐｒが表示されている。そのうえで、ユーザＹＳが作業種別選択画面に対する操作により選択した作業種別の操作手順を示す操作画像Ｐｖ１、Ｐｖ２が設備機器画像Ｐｒに対して重畳して表示されている。
操作画像Ｐｖ１、Ｐｖ２には、それぞれ、手順にしたがって操作すべき内容が示されている。一例として、操作画像Ｐｖ１には「手順１：動力回路電源スイッチをオフにします」との内容が示されており、操作画像Ｐｖ２には「手順２：制御回路電源スイッチをオフにします」との内容が示されている。
そのうえで、操作画像Ｐｖ１、Ｐｖ２は、それぞれが示す操作内容に対応して設備機器画像Ｐｒ上で操作すべき箇所を示すように表示される。操作画像Ｐｖ１は、設備機器画像Ｐｒにおける動力回路電源スイッチｓｗ１の箇所を示し、操作画像Ｐｖ２は、設備機器画像Ｐｒにおける制御回路電源スイッチｓｗ２の箇所を示している。なお、以降において操作画像Ｐｖ１と操作画像Ｐｖ２とで特に区別しない場合には、操作画像Ｐｖと記載する。
そのうえで、操作画像Ｐｖ１、Ｐｖ２は、それぞれが示す操作内容に対応して設備機器画像Ｐｒ上で操作すべき箇所を示すように表示される。操作画像Ｐｖ１は、設備機器画像Ｐｒにおける動力回路電源スイッチｓｗ１の箇所を示し、操作画像Ｐｖ２は、設備機器画像Ｐｒにおける制御回路電源スイッチｓｗ２の箇所を示している。なお、以降において操作画像Ｐｖ１と操作画像Ｐｖ２とで特に区別しない場合には、操作画像Ｐｖと記載する。
ユーザＹＳは、操作画像Ｐｖ１，Ｐｖ２が示す手順にしたがって、画面４０７Ａ上において表示されている動力回路電源スイッチｓｗ１と制御回路電源スイッチｓｗ２を順次オフにする操作を行う。つまり、ユーザＹＳは、現物の設備機器１００−５を操作するのではなく、設備機器１００−５の設備機器画像Ｐｒが表示される端末装置４００の画面４０７Ａに対して操作を行う。
端末装置４００は、これらの操作が行われるごとに操作情報を機器管理装置３００に対して送信する。
端末装置４００は、これらの操作が行われるごとに操作情報を機器管理装置３００に対して送信する。
操作情報を受信した機器管理装置３００は、操作情報に対応した処理を以下のように実行する。まず、操作種別としてシミュレーションが指定されている場合、機器管理装置３００は、操作情報が示す操作を設備機器１００−５に対して行った場合に生じる結果についてのシミュレーションを実行する。そして、このシミュレーション結果を端末装置４００に対して送信する。図示は省略するが、端末装置４００は、受信したシミュレーション結果を操作画面として設備機器画像Ｐｒに重畳して所定の態様により画面４０７Ａに表示させる。
このようにシミュレーション結果が表示された画面４０７Ａを見ることにより、ユーザは、手順にしたがった操作を実際の設備機器１００−５に対して行った場合にどのような状態となるのかを認識することができる。
このようにシミュレーション結果が表示された画面４０７Ａを見ることにより、ユーザは、手順にしたがった操作を実際の設備機器１００−５に対して行った場合にどのような状態となるのかを認識することができる。
一方、操作種別としてシミュレーションが指定されている場合、機器管理装置３００は、操作情報が示す操作に応じた動作が実行されるように設備機器１００−５を制御する。これにより、ユーザＹＳが画面４０７Ａ上に表示された拡張現実画像に対して行った操作に応答した動作が設備機器１００−５において行われる。
このように、本実施形態の機器管理システムでは、設備機器１００の撮像画像に、その設備機器１００に対応する操作画像を重畳した拡張現実画像を表示させることができる。
この拡張現実画像に対する操作を行うことができる。そして、本実施形態の機器管理システムでは、この拡張現実画像に対する操作により、設備機器１００の動作についてのシミュレーションあるいは設備機器１００のリモートコントロールを行うことができる。
この拡張現実画像に対する操作を行うことができる。そして、本実施形態の機器管理システムでは、この拡張現実画像に対する操作により、設備機器１００の動作についてのシミュレーションあるいは設備機器１００のリモートコントロールを行うことができる。
このような構成による本実施形態の機器管理システムは、管理者を教育する用途に有用である。
例えば、この場合のユーザＹＳは教育を受ける管理者である。このユーザＹＳは、まず、操作種別としてシミュレーションを設定したうえで、端末装置４００に表示される拡張現実画像に対する操作により練習を行う。このとき、端末装置４００にはシミュレーション結果が表示されるので、ユーザＹＳは、自分が行った操作に応じて操作対象の設備機器１００がどのような動作となるのかを確認することができる。
そして、ユーザＹＳは、シミュレーションによる設備機器１００の動作を確認したうえで、次は、操作種別をリモートコントロールに切り替える。そして、ユーザＹＳは、リモートコントロールに切り替えた状態のもとで端末装置４００に表示される拡張現実画像に対する操作を行うことで、実際の設備機器１００を動作させる。
例えば、ユーザＹＳは、実際の設備機器１００の前に立っているので、端末装置４００によりリモートコントロールを行わなくとも設備機器１００を直接操作することが可能ではある。しかし、例えば設備機器１００の故障対策のための復旧作業などではある程度の危険を伴う可能性もある。そこで、端末装置４００に対する操作によるリモートコントロールにより設備機器１００を操作すれば、ユーザＹＳは設備機器１００に直接触れることがないために、安全に作業を進めることができる。
例えば、この場合のユーザＹＳは教育を受ける管理者である。このユーザＹＳは、まず、操作種別としてシミュレーションを設定したうえで、端末装置４００に表示される拡張現実画像に対する操作により練習を行う。このとき、端末装置４００にはシミュレーション結果が表示されるので、ユーザＹＳは、自分が行った操作に応じて操作対象の設備機器１００がどのような動作となるのかを確認することができる。
そして、ユーザＹＳは、シミュレーションによる設備機器１００の動作を確認したうえで、次は、操作種別をリモートコントロールに切り替える。そして、ユーザＹＳは、リモートコントロールに切り替えた状態のもとで端末装置４００に表示される拡張現実画像に対する操作を行うことで、実際の設備機器１００を動作させる。
例えば、ユーザＹＳは、実際の設備機器１００の前に立っているので、端末装置４００によりリモートコントロールを行わなくとも設備機器１００を直接操作することが可能ではある。しかし、例えば設備機器１００の故障対策のための復旧作業などではある程度の危険を伴う可能性もある。そこで、端末装置４００に対する操作によるリモートコントロールにより設備機器１００を操作すれば、ユーザＹＳは設備機器１００に直接触れることがないために、安全に作業を進めることができる。
例えば設備機器ごとにマーカーを貼り付け、このマーカーを撮像する監視カメラを備えるシステムの場合、監視カメラを設置するためのコストや手間などを考えた場合、多様な機器が設置される場所に対応して広範囲に設置することは難しい。本実施形態の位置情報ユニット２００は小型であり、コストも抑えることが可能である。
また、マーカーについては機器の形状や監視カメラとの位置関係などによっては、監視カメラが良好に撮像できる位置に貼り付けることが難しい場合もあり、使用できる環境が限定的になりやすい。
これに対して、本実施形態の機器管理システムでは、マーカーを撮影する必要がないために、使用できる環境が限定されにくい。このように、本実施形態の機器管理システムはより広い範囲に適用することができる。
また、マーカーについては機器の形状や監視カメラとの位置関係などによっては、監視カメラが良好に撮像できる位置に貼り付けることが難しい場合もあり、使用できる環境が限定的になりやすい。
これに対して、本実施形態の機器管理システムでは、マーカーを撮影する必要がないために、使用できる環境が限定されにくい。このように、本実施形態の機器管理システムはより広い範囲に適用することができる。
［端末装置の構成例］
図６は、端末装置４００の構成例を示している。この図に示す端末装置４００は、通信部４０１、位置情報処理部４０２、方向情報処理部４０３、撮像部４０４、操作画像取得部４０５、表示制御部４０６、表示部４０７、操作部４０８及び操作情報処理部４０９を備える。
図６は、端末装置４００の構成例を示している。この図に示す端末装置４００は、通信部４０１、位置情報処理部４０２、方向情報処理部４０３、撮像部４０４、操作画像取得部４０５、表示制御部４０６、表示部４０７、操作部４０８及び操作情報処理部４０９を備える。
通信部４０１は、例えば無線ＬＡＮなどの所定の通信網を経由して機器管理装置３００と通信を実行する。
位置情報処理部４０２は、施設ＢＬにおける自己の位置を示す位置情報が機器管理装置３００にて取得されるようにするための処理を実行する。具体的に、位置情報処理部４０２は、所定の近距離無線通信方式によって通信可能範囲に存在する位置情報ユニット２００と通信を実行することにより、その位置情報ユニット２００が記憶する位置情報を受信する。位置情報処理部４０２は、このように受信した位置情報を自己の位置を示す位置情報として取得する。そのうえで、位置情報処理部４０２は、取得した位置情報を通信部４０１経由で機器管理装置３００に対して送信する。これにより、機器管理装置３００にて端末装置４００の位置情報が取得される。
なお、位置情報処理部４０２と位置情報ユニット２００は、一例としてＩＭＥＳ（Indoor MEssaging System）などに代表される屋内ＧＰＳの技術を利用することができる。あるいは、ＲＦＩＤ（Radio Frequency Identification）タグ、可視光通信、赤外線通信、無線ＬＡＮなどを利用した屋内測位の技術を利用することもできる。
また、上記の例では、位置情報ユニット２００が記憶している位置情報を、端末装置４００の位置情報として取得するようにしているが、例えば、以下のように構成してもよい。つまり、位置情報処理部４０２が所定の方式により施設ＢＬ内での自己の位置情報を測位し、この測位した位置情報を、位置情報受信器として機能させた位置情報ユニット２００経由で、あるいは通信部４０１を介して機器管理装置３００に送信するというものである。上記のように位置情報受信器として位置情報ユニット２００を機能させる場合、施設ＢＬにおいて少なくとも１つの位置情報ユニット２００と端末装置４００との通信が可能なように位置情報ユニット２００を設置すればよく、例えば、設備機器１００に対応した位置ごとに設置しなくともよい。
また、上記の例では、位置情報ユニット２００が記憶している位置情報を、端末装置４００の位置情報として取得するようにしているが、例えば、以下のように構成してもよい。つまり、位置情報処理部４０２が所定の方式により施設ＢＬ内での自己の位置情報を測位し、この測位した位置情報を、位置情報受信器として機能させた位置情報ユニット２００経由で、あるいは通信部４０１を介して機器管理装置３００に送信するというものである。上記のように位置情報受信器として位置情報ユニット２００を機能させる場合、施設ＢＬにおいて少なくとも１つの位置情報ユニット２００と端末装置４００との通信が可能なように位置情報ユニット２００を設置すればよく、例えば、設備機器１００に対応した位置ごとに設置しなくともよい。
方向情報処理部４０３は、端末装置４００の方向を検出し、検出した方向を示す方向情報が機器管理装置３００にて取得されるようにするための処理を実行する。具体的に、方向情報処理部４０３は、方向情報を通信部４０１から機器管理装置３００に送信することで、方向情報が機器管理装置３００にて取得されるようにする。
なお、検出すべき方向としては、例えば端末装置４００の画面４０７Ａと反対側の面（背面）が向いている方向であればよい。この場合、機器管理装置３００は、受信した方向情報が示す方向をそのまま端末装置４００の画面４０７Ａと反対側の面（背面）が向いている方向Ｄとして扱うことができる。
また、方向情報処理部４０３が検出すべき方向は、端末装置４００の画面４０７Ａと反対側の面以外の所定の面が向いている方向であってもよい。この場合、機器管理装置３００は、端末装置４００の画面４０７Ａと反対側の面と、方向が検出された面との相対的な位置関係に基づいて、方向情報が示す方向から、端末装置４００の画面４０７Ａと反対側の面の方向を求めることができる。
方向情報処理部４０３は、例えばハードウェアとして地磁気センサ、加速度センサなどを備え、これらのセンサの出力に基づいて方向を検出すればよい。
なお、検出すべき方向としては、例えば端末装置４００の画面４０７Ａと反対側の面（背面）が向いている方向であればよい。この場合、機器管理装置３００は、受信した方向情報が示す方向をそのまま端末装置４００の画面４０７Ａと反対側の面（背面）が向いている方向Ｄとして扱うことができる。
また、方向情報処理部４０３が検出すべき方向は、端末装置４００の画面４０７Ａと反対側の面以外の所定の面が向いている方向であってもよい。この場合、機器管理装置３００は、端末装置４００の画面４０７Ａと反対側の面と、方向が検出された面との相対的な位置関係に基づいて、方向情報が示す方向から、端末装置４００の画面４０７Ａと反対側の面の方向を求めることができる。
方向情報処理部４０３は、例えばハードウェアとして地磁気センサ、加速度センサなどを備え、これらのセンサの出力に基づいて方向を検出すればよい。
撮像部４０４は、撮像を行うことにより撮像画像を生成する。
操作画像取得部４０５は、機器管理装置３００から送信された操作画像を取得する。
操作画像取得部４０５は、機器管理装置３００から送信された操作画像を取得する。
表示制御部４０６は、設備機器１００の画像（設備機器画像Ｐｒ）を含む撮像画像に操作画像Ｐｖを重畳した画像（拡張現実画像）を表示部４０７に表示させる。
この際、表示制御部４０６は、図５により例示したように設備機器画像Ｐｒにおけるスイッチ等の特定の操作子を示すように操作画像Ｐｖを表示させる。このために、表示制御部４０６は、画像認識処理によって撮像画像における設備機器画像Ｐｒの部分を認識する。一例として、表示制御部４０６は、撮像画像と予め登録した設備機器１００ごとの画像データとを比較して一致した画像データを特定することにより、撮像画像における設備機器画像Ｐｒを認識することができる。
また、予め登録した設備機器１００には、例えば図５の動力回路電源スイッチｓｗ１や制御回路電源スイッチｓｗ２などの操作子などの配置位置についての情報が付加されている。また、機器管理装置３００から送信される操作画像には、それぞれ、対応の操作子を示す操作子指示情報が付加されている。
そこで、表示制御部４０６は、操作子指示情報に基づいて、設備機器画像Ｐｒにおける操作子の画像部分のうちで、操作画像に対応する操作子の画像部分を特定する。そして、表示制御部４０６は、特定した操作子の画像部分を操作画像が示すように位置やサイズを調整した操作画像を撮像画像に重畳し、表示部４０７に表示させる。これにより、図５に例示したような拡張現実画像が生成される。
この際、表示制御部４０６は、図５により例示したように設備機器画像Ｐｒにおけるスイッチ等の特定の操作子を示すように操作画像Ｐｖを表示させる。このために、表示制御部４０６は、画像認識処理によって撮像画像における設備機器画像Ｐｒの部分を認識する。一例として、表示制御部４０６は、撮像画像と予め登録した設備機器１００ごとの画像データとを比較して一致した画像データを特定することにより、撮像画像における設備機器画像Ｐｒを認識することができる。
また、予め登録した設備機器１００には、例えば図５の動力回路電源スイッチｓｗ１や制御回路電源スイッチｓｗ２などの操作子などの配置位置についての情報が付加されている。また、機器管理装置３００から送信される操作画像には、それぞれ、対応の操作子を示す操作子指示情報が付加されている。
そこで、表示制御部４０６は、操作子指示情報に基づいて、設備機器画像Ｐｒにおける操作子の画像部分のうちで、操作画像に対応する操作子の画像部分を特定する。そして、表示制御部４０６は、特定した操作子の画像部分を操作画像が示すように位置やサイズを調整した操作画像を撮像画像に重畳し、表示部４０７に表示させる。これにより、図５に例示したような拡張現実画像が生成される。
表示部４０７は、表示制御部４０６の表示制御に応じて画像を表示する。
操作部４０８は、設備機器１００のシミュレーションまたはリモートコントロールのための操作に使用される操作デバイスや操作子を一括して示したものである。本実施形態においては、操作部４０８として表示部４０７と一体化されたタッチパネルを含む。
操作情報処理部４０９は、設備機器１００の画像を含む撮像画像に操作画像Ｐｖが重畳された画像（重畳画像）に対して行われた操作に応じた操作情報を機器管理装置３００に送信する。この重畳画像は、拡張現実画像とも呼ばれる。
操作部４０８は、設備機器１００のシミュレーションまたはリモートコントロールのための操作に使用される操作デバイスや操作子を一括して示したものである。本実施形態においては、操作部４０８として表示部４０７と一体化されたタッチパネルを含む。
操作情報処理部４０９は、設備機器１００の画像を含む撮像画像に操作画像Ｐｖが重畳された画像（重畳画像）に対して行われた操作に応じた操作情報を機器管理装置３００に送信する。この重畳画像は、拡張現実画像とも呼ばれる。
［機器管理装置の構成例］
図７は、機器管理装置３００の構成例を示している。この図に示す機器管理装置３００は、通信部３０１、位置情報取得部３０２、方向情報取得部３０３、操作対象機器判定部３０４、機器設置情報記憶部３０５、操作画像処理部３０６、操作画像記憶部３０７、操作情報取得部３０８及び操作対応処理部３０９を備える。
図７は、機器管理装置３００の構成例を示している。この図に示す機器管理装置３００は、通信部３０１、位置情報取得部３０２、方向情報取得部３０３、操作対象機器判定部３０４、機器設置情報記憶部３０５、操作画像処理部３０６、操作画像記憶部３０７、操作情報取得部３０８及び操作対応処理部３０９を備える。
通信部３０１は、所定の通信網を経由して外部と通信を実行する。
位置情報取得部３０２は、端末装置４００から送信された位置情報を通信部３０１から取得する。
なお、位置情報取得部３０２は、上記のように端末装置４００から送信された位置情報を取得する以外に、以下のような構成によっても端末装置４００の位置を示す位置情報を取得することができる。
例えば、端末装置４００の位置情報処理部４０２は、位置情報ユニット２００との通信により、位置情報ユニット２００に対して自己を一意に識別する端末装置ＩＤを送信する。位置情報ユニット２００は、機器管理装置３００の通信部３０１と通信可能に接続されている、そこで、位置情報ユニット２００は、自己が記憶する位置情報に端末装置４００から受信した端末装置ＩＤを付加して機器管理装置３００に送信する。位置情報取得部３０２は、位置情報ユニット２００から送信された位置情報と端末装置ＩＤとを通信部３０１から取得する。このような構成によっても、位置情報取得部３０２は、端末装置４００ごとの位置情報を取得することができる。
位置情報取得部３０２は、端末装置４００から送信された位置情報を通信部３０１から取得する。
なお、位置情報取得部３０２は、上記のように端末装置４００から送信された位置情報を取得する以外に、以下のような構成によっても端末装置４００の位置を示す位置情報を取得することができる。
例えば、端末装置４００の位置情報処理部４０２は、位置情報ユニット２００との通信により、位置情報ユニット２００に対して自己を一意に識別する端末装置ＩＤを送信する。位置情報ユニット２００は、機器管理装置３００の通信部３０１と通信可能に接続されている、そこで、位置情報ユニット２００は、自己が記憶する位置情報に端末装置４００から受信した端末装置ＩＤを付加して機器管理装置３００に送信する。位置情報取得部３０２は、位置情報ユニット２００から送信された位置情報と端末装置ＩＤとを通信部３０１から取得する。このような構成によっても、位置情報取得部３０２は、端末装置４００ごとの位置情報を取得することができる。
方向情報取得部３０３は、端末装置から送信された方向情報を通信部３０１から取得する。
なお、方向情報取得部３０３は、上記の構成に準じて、例えば、位置情報ユニット２００経由で端末装置４００から送信された端末装置ＩＤと方向情報を取得するようにしてもよい。
なお、方向情報取得部３０３は、上記の構成に準じて、例えば、位置情報ユニット２００経由で端末装置４００から送信された端末装置ＩＤと方向情報を取得するようにしてもよい。
操作対象機器判定部３０４は、端末装置４００との通信により位置情報取得部３０２にて取得された位置情報と、端末装置４００との通信により方向情報取得部３０３にて取得された方向情報と、機器設置情報とに基づいて操作対象の機器を判定する。
具体的に、操作対象機器判定部３０４は、図４にて説明したように、位置情報取得部３０２が取得した位置情報が示す座標（Ｘ１，Ｙ１）を起点として、方向情報取得部３０３が取得した方向情報に基づいて認識した端末装置４００の背面が向けられた方向Ｄにおいて位置している設備機器１００を特定し、この特定した設備機器１００を操作対象として判定する。
具体的に、操作対象機器判定部３０４は、図４にて説明したように、位置情報取得部３０２が取得した位置情報が示す座標（Ｘ１，Ｙ１）を起点として、方向情報取得部３０３が取得した方向情報に基づいて認識した端末装置４００の背面が向けられた方向Ｄにおいて位置している設備機器１００を特定し、この特定した設備機器１００を操作対象として判定する。
機器設置情報記憶部３０５は、機器設置情報を記憶する。機器設置情報は、前述もしたように、施設ＢＬにおける設備機器１００ごとの設置位置を示す情報である。
図８は、機器設置情報の内容についての一例を示している。この図に示す機器設置情報は、施設ＢＬにおける１階〜Ｎ階までの階ごとに対応してフロアデータ１〜Ｎを格納する構造である。この機器設置情報における或る１つのフロアデータが、例えば、図４に示したｘ階における設備機器１００−１〜１００−７ごとの設置位置についての座標を示している。
図８は、機器設置情報の内容についての一例を示している。この図に示す機器設置情報は、施設ＢＬにおける１階〜Ｎ階までの階ごとに対応してフロアデータ１〜Ｎを格納する構造である。この機器設置情報における或る１つのフロアデータが、例えば、図４に示したｘ階における設備機器１００−１〜１００−７ごとの設置位置についての座標を示している。
説明を図７に戻す。
操作画像処理部３０６は、操作対象機器判定部３０４により判定された操作対象の設備機器１００についての操作を案内する操作画像を生成し、生成した操作画像を端末装置４００に送信する。
また、操作画像処理部３０６は、端末装置４００にて表示された操作画像が示す手順にしたがった操作が行われていくのに応じて、さらに以降の手順の操作画像を表示すべき状態となったときには、以降の手順の操作画像を生成し、端末装置４００に送信する。操作画像処理部３０６は、以降の手順の操作画像を表示すべき状態となったか否かについては、操作情報取得部３０８により取得された操作情報の内容に基づいて判断することができる。
操作画像処理部３０６は、操作対象機器判定部３０４により判定された操作対象の設備機器１００についての操作を案内する操作画像を生成し、生成した操作画像を端末装置４００に送信する。
また、操作画像処理部３０６は、端末装置４００にて表示された操作画像が示す手順にしたがった操作が行われていくのに応じて、さらに以降の手順の操作画像を表示すべき状態となったときには、以降の手順の操作画像を生成し、端末装置４００に送信する。操作画像処理部３０６は、以降の手順の操作画像を表示すべき状態となったか否かについては、操作情報取得部３０８により取得された操作情報の内容に基づいて判断することができる。
操作画像記憶部３０７は、施設ＢＬにおいて設置される設備機器１００ごとの操作画像を記憶する。
操作画像処理部３０６は、操作対象の設備機器１００の操作画像として、端末装置４００から操作画像要求とともに送信された操作種別と作業種別とが指定する内容に応じた操作画像を操作画像記憶部３０７から読み出す。操作画像処理部３０６は、読み出した操作画像を利用して端末装置４００に送信すべき操作画像を生成する。
操作画像処理部３０６は、操作対象の設備機器１００の操作画像として、端末装置４００から操作画像要求とともに送信された操作種別と作業種別とが指定する内容に応じた操作画像を操作画像記憶部３０７から読み出す。操作画像処理部３０６は、読み出した操作画像を利用して端末装置４００に送信すべき操作画像を生成する。
操作情報取得部３０８は、端末装置４００にて表示されている拡張現実画像に対して行われた操作に応じて端末装置４００から送信される操作情報を通信部３０１から取得する。
また、操作情報取得部３０８は、図２に示した操作種別選択画面や図３に示した作業種別選択画面に対して行われた操作に応じた操作情報も通信部３０１から取得する。これらの操作種別選択画面や作業種別選択画面に対して行われた操作に応じた操作情報は、前述もしたように操作画像処理部３０６が操作画面を生成する際に利用する。
また、操作情報取得部３０８は、図２に示した操作種別選択画面や図３に示した作業種別選択画面に対して行われた操作に応じた操作情報も通信部３０１から取得する。これらの操作種別選択画面や作業種別選択画面に対して行われた操作に応じた操作情報は、前述もしたように操作画像処理部３０６が操作画面を生成する際に利用する。
操作対応処理部３０９は、端末装置４００から送信された操作情報に応じた所定の処理を実行する。本実施形態において、操作対応処理部３０９は、シミュレーション処理部３０９Ａと、機器制御部３０９Ｂを備える。
シミュレーション処理部３０９Ａは、シミュレーションのための操作情報が操作情報取得部３０８により取得された場合に、以下の処理を実行する。つまり、シミュレーション処理部３０９Ａは、操作情報取得部３０８により取得されたシミュレーションのための操作情報が示す操作を操作対象の設備機器１００に対して行ったとした場合に生じる結果のシミュレーションを実行し、このシミュレーションの結果を端末装置４００に送信する。
シミュレーション処理部３０９Ａは、シミュレーションのための操作情報が操作情報取得部３０８により取得された場合に、以下の処理を実行する。つまり、シミュレーション処理部３０９Ａは、操作情報取得部３０８により取得されたシミュレーションのための操作情報が示す操作を操作対象の設備機器１００に対して行ったとした場合に生じる結果のシミュレーションを実行し、このシミュレーションの結果を端末装置４００に送信する。
なお、本実施形態において、シミュレーションのための操作情報が操作情報取得部３０８により取得された場合とは、図２の操作種別選択画面においてシミュレーションに対応するボタンｂｔ１が操作されることにより、シミュレーションが指定された場合に該当する。
前述のように操作画像要求には、操作種別選択画面に対する操作により選択された操作種別がシミュレーションとリモートコントロールのいずれであるのかを指定する操作種別情報が含まれる。シミュレーション処理部３０９Ａは、操作画像要求に含まれる操作種別情報がシミュレーションを指定している場合に、操作情報に応じたシミュレーションを実行すればよい。
前述のように操作画像要求には、操作種別選択画面に対する操作により選択された操作種別がシミュレーションとリモートコントロールのいずれであるのかを指定する操作種別情報が含まれる。シミュレーション処理部３０９Ａは、操作画像要求に含まれる操作種別情報がシミュレーションを指定している場合に、操作情報に応じたシミュレーションを実行すればよい。
また、機器制御部３０９Ｂは、操作対象の設備機器１００を操作するための操作情報が送信された場合に、シミュレーションのための操作情報が示す操作に応じた動作が実行されるように操作対象の設備機器１００を制御する。なお、本実施形態において、操作対象の設備機器１００を操作するための操作情報が送信された場合とは、図２の操作種別選択画面においてリモートコントロールに対応するボタンｂｔ２が操作されることにより、リモートコントロールが指定された場合に該当する。
［処理手順例］
図９のフローチャートは、図２及び図３に示した操作種別選択画面と作業種別選択画面に対する操作をユーザＹＳが行ったのに応じて、端末装置４００が実行する処理手順例を示す図である。
端末装置４００において、操作情報処理部４０９は、操作画像要求を通信部４０１から機器管理装置３００に対して送信する（ステップＳ１０１）。この際、操作情報処理部４０９は、操作種別選択画面に対する操作により選択された操作種別を指定する操作種別情報と、作業種別選択画面に対する操作により選択された作業種別を指定する作業種別情報とを操作画像要求に付加して送信する。
これとともに、撮像部４０４は、撮像と撮像画像の生成を開始する（ステップＳ１０２）。表示制御部４０６は、撮像部４０４により生成された撮像画像の表示部４０７における表示を開始する（ステップＳ１０３）。
図９のフローチャートは、図２及び図３に示した操作種別選択画面と作業種別選択画面に対する操作をユーザＹＳが行ったのに応じて、端末装置４００が実行する処理手順例を示す図である。
端末装置４００において、操作情報処理部４０９は、操作画像要求を通信部４０１から機器管理装置３００に対して送信する（ステップＳ１０１）。この際、操作情報処理部４０９は、操作種別選択画面に対する操作により選択された操作種別を指定する操作種別情報と、作業種別選択画面に対する操作により選択された作業種別を指定する作業種別情報とを操作画像要求に付加して送信する。
これとともに、撮像部４０４は、撮像と撮像画像の生成を開始する（ステップＳ１０２）。表示制御部４０６は、撮像部４０４により生成された撮像画像の表示部４０７における表示を開始する（ステップＳ１０３）。
以降のステップＳ１０４〜Ｓ１１３は、例えば端末装置４００にて起動された設備機器管理のためのアプリケーションが終了されるまで繰り返し実行される処理となる。
まず、位置情報処理部４０２は、通信可能範囲にある位置情報ユニット２００と通信を実行することにより、位置情報ユニット２００が記憶する位置情報を受信する。そして、位置情報処理部４０２は、この受信した位置情報を自己の位置情報として取得する（ステップＳ１０４）。位置情報処理部４０２は、ステップＳ１０２により取得した位置情報を通信部４０１から機器管理装置３００に対して送信する（ステップＳ１０５）。
また、方向情報処理部４０３は、端末装置４００の方向を検出し（ステップＳ１０６）、検出した方向を示す方向情報を通信部４０１から機器管理装置３００に対して送信する（ステップＳ１０７）。
まず、位置情報処理部４０２は、通信可能範囲にある位置情報ユニット２００と通信を実行することにより、位置情報ユニット２００が記憶する位置情報を受信する。そして、位置情報処理部４０２は、この受信した位置情報を自己の位置情報として取得する（ステップＳ１０４）。位置情報処理部４０２は、ステップＳ１０２により取得した位置情報を通信部４０１から機器管理装置３００に対して送信する（ステップＳ１０５）。
また、方向情報処理部４０３は、端末装置４００の方向を検出し（ステップＳ１０６）、検出した方向を示す方向情報を通信部４０１から機器管理装置３００に対して送信する（ステップＳ１０７）。
次に、操作画像取得部４０５は、機器管理装置３００から送信された操作画像を取得したか否かについて判定する（ステップＳ１０８）。ここで、操作画像取得部４０５にて操作画像が取得された場合（ステップＳ１０８−ＹＥＳ）、表示制御部４０６は、撮像画像における設備機器画像Ｐｒ対して操作画像取得部４０５が取得した操作画像Ｐｖを重畳して拡張現実画像を生成する。この場合において、例えば、ステップＳ１０８に対応して今回取得された操作画像が２回目以降のものである場合、表示制御部４０６は、例えばこれまで撮像画像に重畳させていた以前の操作画像を消去したうえで、今回取得された操作画像を重畳する。そして、表示制御部４０６は、このように生成した拡張現実画像を表示部４０７に表示させる（ステップＳ１０９）。
操作画像取得部４０５にて操作画像が取得されない場合（ステップＳ１０８−ＮＯ）、あるいはステップＳ１０９の処理を実行した後において、操作情報処理部４０９は、表示部４０７に表示された拡張現実画像に対する操作が行われたか否かについて判定する（ステップＳ１１０）。
拡張現実画像に対する操作が行われたことを判定した場合（ステップＳ１１０−ＹＥＳ）、操作情報処理部４０９は、今回行われた操作に応じた操作情報を通信部４０１から機器管理装置３００に対して送信する（ステップＳ１１１）。
拡張現実画像に対する操作が行われたことを判定した場合（ステップＳ１１０−ＹＥＳ）、操作情報処理部４０９は、今回行われた操作に応じた操作情報を通信部４０１から機器管理装置３００に対して送信する（ステップＳ１１１）。
また、拡張現実画像に対する操作が行われていない場合（ステップＳ１１０−ＮＯ）、あるいはステップＳ１１１を実行した後において、表示制御部４０６は、以下の処理を実行する。つまり、表示制御部４０６は、撮像画像に対する画像認識処理によって、撮像画像において設備機器画像Ｐｒが存在しているか否かについて判定する（ステップＳ１１２）。
例えば、ユーザＹＳが、操作対象の設備機器１００を撮像し続けていれば撮像画像において設備機器画像Ｐｒは存在している。しかし、例えばユーザＹＳが操作対象の設備機器１００を変更しようとして移動や向きの変更を行ったり、一時的に端末装置４００の操作以外の作業を行ったりした場合には、端末装置４００の方向がこれまでとは変化する。このとき、撮像部４０４の撮像範囲に収まっていた設備機器１００が撮像範囲から外れるような状態となる。このような場合に、撮像画像において設備機器画像Ｐｒが存在しなくなることが認識される。
例えば、ユーザＹＳが、操作対象の設備機器１００を撮像し続けていれば撮像画像において設備機器画像Ｐｒは存在している。しかし、例えばユーザＹＳが操作対象の設備機器１００を変更しようとして移動や向きの変更を行ったり、一時的に端末装置４００の操作以外の作業を行ったりした場合には、端末装置４００の方向がこれまでとは変化する。このとき、撮像部４０４の撮像範囲に収まっていた設備機器１００が撮像範囲から外れるような状態となる。このような場合に、撮像画像において設備機器画像Ｐｒが存在しなくなることが認識される。
撮像画像において設備機器画像Ｐｒが存在している場合（ステップＳ１１２−ＹＥＳ）、表示制御部４０６はステップＳ１０４に処理を戻す。
これに対して、撮像画像において設備機器画像Ｐｒが存在していないと判定した場合（ステップＳ１１２−ＮＯ）、設備機器画像Ｐｒが表示されていないのにも関わらずこれまでの操作画像を表示しておくことは意味がない。そこで、この場合の表示制御部４０６は、これまで撮像画像に重畳させていた操作画像を消去し（ステップＳ１１３）、ステップＳ１０４に処理を戻す。
これに対して、撮像画像において設備機器画像Ｐｒが存在していないと判定した場合（ステップＳ１１２−ＮＯ）、設備機器画像Ｐｒが表示されていないのにも関わらずこれまでの操作画像を表示しておくことは意味がない。そこで、この場合の表示制御部４０６は、これまで撮像画像に重畳させていた操作画像を消去し（ステップＳ１１３）、ステップＳ１０４に処理を戻す。
図１０のフローチャートは、端末装置４００から送信される操作画像要求の受信に応答して機器管理装置３００が実行する処理手順例を示している。
機器管理装置３００において、位置情報取得部３０２は、端末装置４００から送信された操作画像要求が受信されるのを待機している（ステップＳ２０１−ＮＯ）。そして、操作画像要求が通信部３０１にて受信されると（ステップＳ２０１−ＹＥＳ）、位置情報取得部３０２は、操作画像要求に続けて通信部３０１が端末装置４００から受信した位置情報を取得する（ステップＳ２０２）。
また、方向情報取得部３０３は、位置情報に続けて通信部３０１が端末装置４００から受信した方向情報を取得する（ステップＳ２０３）。
機器管理装置３００において、位置情報取得部３０２は、端末装置４００から送信された操作画像要求が受信されるのを待機している（ステップＳ２０１−ＮＯ）。そして、操作画像要求が通信部３０１にて受信されると（ステップＳ２０１−ＹＥＳ）、位置情報取得部３０２は、操作画像要求に続けて通信部３０１が端末装置４００から受信した位置情報を取得する（ステップＳ２０２）。
また、方向情報取得部３０３は、位置情報に続けて通信部３０１が端末装置４００から受信した方向情報を取得する（ステップＳ２０３）。
次に、操作対象機器判定部３０４は、ステップＳ２０２にて取得された位置情報とステップＳ２０３にて取得された方向情報とを、機器設置情報記憶部３０５が記憶する機器設置情報と照合する（ステップＳ２０４）。
そして、操作対象機器判定部３０４は、照合結果から、例えば図４にて説明したように、位置情報の座標を起点として端末装置４００の画面４０７Ａと反対側の面が向けられた方向Ｄに設置される設備機器１００を特定する。そして、操作対象機器判定部３０４は、このように特定した設備機器１００を操作対象であると判定する（ステップＳ２０５）。なお、位置情報の座標を起点として端末装置４００の画面４０７Ａと反対側の面が向けられた方向Ｄに設備機器１００が無い場合、操作対象機器判定部３０４は、操作対象の設備機器１００は無いと判定すればよい。
そして、操作対象機器判定部３０４は、照合結果から、例えば図４にて説明したように、位置情報の座標を起点として端末装置４００の画面４０７Ａと反対側の面が向けられた方向Ｄに設置される設備機器１００を特定する。そして、操作対象機器判定部３０４は、このように特定した設備機器１００を操作対象であると判定する（ステップＳ２０５）。なお、位置情報の座標を起点として端末装置４００の画面４０７Ａと反対側の面が向けられた方向Ｄに設備機器１００が無い場合、操作対象機器判定部３０４は、操作対象の設備機器１００は無いと判定すればよい。
次に、操作対象機器判定部３０４は、ステップＳ２０５の判定結果から、操作対象の設備機器１００について変更が生じたか否かについて判定する（ステップＳ２０６）。
この判定にあたっては、今回よりも前のステップＳ２０５において判定された設備機器１００と、今回のステップＳ２０５により判定された設備機器１００とが機器設置情報上で異なる位置に設置されているか否かについて判定すればよい。つまり、操作対象の設備機器１００について変更が生じる場合とは、例えばユーザＹＳが、これまで撮像していた設備機器１００とは異なる設備機器１００の前にまで移動して撮像したような状況に該当する。
なお、ここでの操作対象の設備機器１００について変更が生じた場合には、操作対象としていた設備機器１００が今回よりも前と今回とで異なる場合だけではなく、操作対象の設備機器であるとの判定が最初に行われた場合も含む。
この判定にあたっては、今回よりも前のステップＳ２０５において判定された設備機器１００と、今回のステップＳ２０５により判定された設備機器１００とが機器設置情報上で異なる位置に設置されているか否かについて判定すればよい。つまり、操作対象の設備機器１００について変更が生じる場合とは、例えばユーザＹＳが、これまで撮像していた設備機器１００とは異なる設備機器１００の前にまで移動して撮像したような状況に該当する。
なお、ここでの操作対象の設備機器１００について変更が生じた場合には、操作対象としていた設備機器１００が今回よりも前と今回とで異なる場合だけではなく、操作対象の設備機器であるとの判定が最初に行われた場合も含む。
操作対象の設備機器１００について変更が生じていない、あるいは操作対象の設備機器１００が無い場合（ステップＳ２０６−ＮＯ）、操作対象機器判定部３０４は、ステップＳ２０２に処理を戻す。
一方、操作対象の設備機器１００について変更が生じた場合（ステップＳ２０６−ＹＥＳ）、操作画像処理部３０６は、変更後の操作対象の設備機器１００に対応する操作画像を生成する（ステップＳ２０７）。そして、操作画像処理部３０６は、生成した操作画像を、通信部３０１から端末装置４００に送信させる（ステップＳ２０８）。
次に、操作情報取得部３０８は、端末装置４００から送信された操作情報を取得したか否かについて判定する（ステップＳ２０９）。操作情報を取得していない場合（ステップＳ２０９−ＮＯ）、操作情報取得部３０８は、ステップＳ２０２に処理を戻す。
一方、操作情報取得部３０８が操作情報を取得した場合（ステップＳ２０９−ＹＥＳ）、操作情報取得部３０８は、先のステップＳ２０１に対応して受信した操作画像要求が指定する操作種別がシミュレーションであるか否かについて判定する（ステップＳ２１０）。
一方、操作情報取得部３０８が操作情報を取得した場合（ステップＳ２０９−ＹＥＳ）、操作情報取得部３０８は、先のステップＳ２０１に対応して受信した操作画像要求が指定する操作種別がシミュレーションであるか否かについて判定する（ステップＳ２１０）。
操作種別がシミュレーションである場合（ステップＳ２１０−ＹＥＳ）、シミュレーション処理部３０９Ａは、今回のステップＳ２０９に応じて取得した操作情報が示す操作に応じて生じる結果をシミュレーションする（ステップＳ２１１）。そして、操作画像処理部３０６は、ステップＳ２１１のシミュレーションの結果を例えば操作画像として生成し、通信部３０１から端末装置４００に送信する（ステップＳ２１２）。
一方、操作種別がシミュレーションでない場合（ステップＳ２１０−ＮＯ）、操作画像要求が指定する操作種別はリモートコントロールである。この場合には、機器制御部３０９Ｂが、ステップＳ２０９に対応して取得した操作情報が示す操作に応じた動作を操作対象の設備機器１００が実行するように制御する（ステップＳ２１３）。
つまり、機器制御部３０９Ｂは、ステップＳ２０９に対応して取得した操作情報が示す操作に応じた動作を実行させるためのコマンドを通信部１０１から操作対象の設備機器１００に送信する。
ステップＳ２１２またはＳ２１３の処理が終了した後はステップＳ２０２の処理に戻る。
つまり、機器制御部３０９Ｂは、ステップＳ２０９に対応して取得した操作情報が示す操作に応じた動作を実行させるためのコマンドを通信部１０１から操作対象の設備機器１００に送信する。
ステップＳ２１２またはＳ２１３の処理が終了した後はステップＳ２０２の処理に戻る。
なお、これまでの説明においては、例えば施設ＢＬにおける制御盤などの設備機器を管理対象とする機器管理システムを例に挙げて説明した。しかし、例えば、これまでに説明した構成は、住居や施設などにおける照明機器や空調機器などをはじめとする家電機器をリモートコントロールするシステムなどにも適用することができる。このようなシステムでは、例えばユーザが特定の照明機器が端末装置４００の画面４０７Ａに収まるように撮像することにより、その照明機器のオンオフや調光などのための操作画面が表示される。そして、ユーザは、この操作画面に対する操作を行うことにより照明機器をオンオフしたり、明るさを変更するなどの遠隔操作を行うことができる。
また、図６および図７における各機能部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより操作対象の機器のシミュレーションやリモートコントロールを行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
１００ 設備機器
１０１ 通信部
２００ 位置情報ユニット
３００ 機器管理装置
３０１ 通信部
３０２ 位置情報取得部
３０３ 方向情報取得部
３０４ 操作対象機器判定部
３０５ 機器設置情報記憶部
３０６ 操作画像処理部
３０７ 操作画像記憶部
３０８ 操作情報取得部
３０９ 操作対応処理部
３０９Ａ シミュレーション処理部
３０９Ｂ 機器制御部
４００ 端末装置
４０１ 通信部
４０２ 位置情報処理部
４０３ 方向情報処理部
４０４ 撮像部
４０５ 操作画像取得部
４０６ 表示制御部
４０７ 表示部
４０７Ａ 画面
４０８ 操作部
４０９ 操作情報処理部
１０１ 通信部
２００ 位置情報ユニット
３００ 機器管理装置
３０１ 通信部
３０２ 位置情報取得部
３０３ 方向情報取得部
３０４ 操作対象機器判定部
３０５ 機器設置情報記憶部
３０６ 操作画像処理部
３０７ 操作画像記憶部
３０８ 操作情報取得部
３０９ 操作対応処理部
３０９Ａ シミュレーション処理部
３０９Ｂ 機器制御部
４００ 端末装置
４０１ 通信部
４０２ 位置情報処理部
４０３ 方向情報処理部
４０４ 撮像部
４０５ 操作画像取得部
４０６ 表示制御部
４０７ 表示部
４０７Ａ 画面
４０８ 操作部
４０９ 操作情報処理部
Claims (8)
- 端末装置と機器管理装置とを備え、
前記端末装置は、
施設における自己の位置を示す位置情報が前記機器管理装置にて取得されるようにするための処理を実行する位置情報処理部と、
前記端末装置の方向を検出し、検出した方向を示す方向情報が前記機器管理装置にて取得されるようにするための処理を実行する方向情報処理部と、
撮像を行うことにより撮像画像を生成する撮像部と、
前記機器管理装置から送信された操作画像を取得する操作画像取得部と、
機器の画像を含む撮像画像に前記操作画像を重畳した重畳画像を表示部に表示させる表示制御部と、
前記重畳画像に対して行われた操作に応じた操作情報を前記機器管理装置に送信する操作情報処理部とを備え、
前記機器管理装置は、
外部との通信により取得された前記位置情報と、外部との通信により取得された前記方向情報と、前記施設における機器の設置位置を示す機器設置情報とに基づいて操作対象の機器を判定する操作対象機器判定部と、
前記操作対象機器判定部により判定された操作対象の機器についての操作を案内する機能を少なくとも有する操作画像を生成し、生成した操作画像を前記端末装置に送信する操作画像処理部と、
前記端末装置から送信された前記操作情報に応じた所定の処理を実行する操作対応処理部とを備える
機器管理システム。 - 前記操作対応処理部は、
前記操作情報が示す操作を操作対象の機器に対して行ったとした場合に生じる結果についてのシミュレーションを実行し、このシミュレーションの結果を出力するシミュレーション処理部を少なくとも備える
請求項１に記載の機器管理システム。 - 前記操作対応処理部は、
操作情報が示す操作に応じた動作が実行されるように操作対象の機器を制御する機器制御部を少なくとも備える
請求項１または２に記載の機器管理システム。 - 前記操作対象機器判定部は、
前記位置情報が示す位置を起点として、前記方向情報に基づいて認識した前記端末装置の表示部の画面の反対側の面が向けられた方向に位置している機器を前記機器設置情報から特定し、特定した機器を操作対象であると判定する
請求項１から３のいずれか一項に記載の機器管理システム。 - 外部との通信により取得された施設における端末装置の位置情報と、外部との通信により取得された端末装置の方向を示す方向情報と、機器設置情報記憶部に記憶された前記施設における機器の設置位置を示す機器設置情報とに基づいて操作対象の機器を判定する操作対象機器判定部と、
前記操作対象機器判定部により判定された操作対象の機器についての操作を案内する機能を少なくとも有する操作画像を生成し、生成した操作画像を前記端末装置に送信する操作画像処理部と、
機器の画像を含む撮像画像に操作画像が重畳された重畳画像に対して行われた操作に応じて前記端末装置から送信された操作情報に応じた所定の処理を実行する操作対応処理部と
を備える機器管理装置。 - 端末装置と機器管理装置とを備える機器管理システムにおける機器管理方法であって、
前記端末装置は、
施設における自己の位置を示す位置情報が前記機器管理装置にて取得されるようにするための処理を実行する位置情報処理ステップと、
前記端末装置の方向を検出し、検出した方向を示す方向情報が前記機器管理装置にて取得されるようにするための処理を実行する方向情報処理ステップと、
前記機器管理装置から送信された操作画像を取得する操作画像取得ステップと、
撮像部により撮像された機器の画像を含む撮像画像に前記操作画像を重畳した重畳画像を表示部に表示させる表示制御ステップと、
前記重畳画像に対して行われた操作に応じた操作情報を前記機器管理装置に送信する操作情報処理ステップとを備え、
前記機器管理装置は、
外部との通信により取得された前記位置情報と、外部との通信により取得された前記方向情報と、前記施設における機器の設置位置を示す機器設置情報とに基づいて操作対象の機器を判定する操作対象機器判定ステップと、
前記操作対象機器判定ステップにより判定された操作対象の機器についての操作を案内する機能を少なくとも有する操作画像を生成し、生成した操作画像を前記端末装置に送信する操作画像処理ステップと、
前記端末装置から送信された前記操作情報に応じた所定の処理を実行する操作対応処理ステップとを備える
機器管理方法。 - 外部との通信により取得された施設における端末装置の位置情報と、外部との通信により取得された端末装置の方向を示す方向情報と、機器設置情報記憶部に記憶された前記施設における機器の設置位置を示す機器設置情報とに基づいて操作対象の機器を判定する操作対象機器判定ステップと、
前記操作対象機器判定ステップにより判定された操作対象の機器についての操作を案内する機能を少なくとも有する操作画像を生成し、生成した操作画像を前記端末装置に送信する操作画像処理ステップと、
機器の画像を含む撮像画像に操作画像が重畳された重畳画像に対して行われた操作に応じて前記端末装置から送信された操作情報に応じた所定の処理を実行する操作対応処理ステップと
を備える機器管理方法。 - コンピュータに、
外部との通信により取得された施設における端末装置の位置情報と、外部との通信により取得された端末装置の方向を示す方向情報と、機器設置情報記憶部に記憶された前記施設における機器の設置位置を示す機器設置情報とに基づいて操作対象の機器を判定する操作対象機器判定ステップと、
前記操作対象機器判定ステップにより判定された操作対象の機器についての操作を案内する機能を少なくとも有する操作画像を生成し、生成した操作画像を前記端末装置に送信する操作画像処理ステップと、
機器の画像を含む撮像画像に操作画像が重畳された重畳画像に対して行われた操作に応じて前記端末装置から送信された操作情報に応じた所定の処理を実行する操作対応処理ステップと
を実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013008565A JP2014139745A (ja) | 2013-01-21 | 2013-01-21 | 機器管理システム、機器管理装置、機器管理方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013008565A JP2014139745A (ja) | 2013-01-21 | 2013-01-21 | 機器管理システム、機器管理装置、機器管理方法及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014139745A true JP2014139745A (ja) | 2014-07-31 |
Family
ID=51416430
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013008565A Pending JP2014139745A (ja) | 2013-01-21 | 2013-01-21 | 機器管理システム、機器管理装置、機器管理方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014139745A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018194207A (ja) * | 2017-05-15 | 2018-12-06 | シャープ株式会社 | 通知システム、端末装置、サーバ |
| US20190088022A1 (en) * | 2016-03-30 | 2019-03-21 | Nec Corporation | Plant management system, plant management method, plant management apparatus, and plant management program |
| WO2020179328A1 (ja) * | 2019-03-01 | 2020-09-10 | 三浦工業株式会社 | 作業支援システム |
| JP2021524119A (ja) * | 2018-05-09 | 2021-09-09 | 北京外号信息技術有限公司Ｂｅｉｊｉｎｇ Ｗｈｙｈｏｗ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ | 光ラベルに基づく情報デバイスインタラクション方法及びシステム |
| JP2022525284A (ja) * | 2019-03-28 | 2022-05-12 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | デバイス制御ページ表示方法、関連装置、およびシステム |
-
2013
- 2013-01-21 JP JP2013008565A patent/JP2014139745A/ja active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190088022A1 (en) * | 2016-03-30 | 2019-03-21 | Nec Corporation | Plant management system, plant management method, plant management apparatus, and plant management program |
| US11127211B2 (en) | 2016-03-30 | 2021-09-21 | Nec Corporation | Plant management system, plant management method, plant management apparatus, and plant management program |
| JP2018194207A (ja) * | 2017-05-15 | 2018-12-06 | シャープ株式会社 | 通知システム、端末装置、サーバ |
| JP2022017391A (ja) * | 2017-05-15 | 2022-01-25 | シャープ株式会社 | 通知システム |
| JP7175589B2 (ja) | 2017-05-15 | 2022-11-21 | シャープ株式会社 | 通知システム、端末装置、サーバ |
| JP2021524119A (ja) * | 2018-05-09 | 2021-09-09 | 北京外号信息技術有限公司Ｂｅｉｊｉｎｇ Ｗｈｙｈｏｗ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ | 光ラベルに基づく情報デバイスインタラクション方法及びシステム |
| JP7150980B2 (ja) | 2018-05-09 | 2022-10-11 | 北京外号信息技術有限公司 | 光ラベルに基づく情報デバイスインタラクション方法及びシステム |
| WO2020179328A1 (ja) * | 2019-03-01 | 2020-09-10 | 三浦工業株式会社 | 作業支援システム |
| JP2022525284A (ja) * | 2019-03-28 | 2022-05-12 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | デバイス制御ページ表示方法、関連装置、およびシステム |
| JP7381021B2 (ja) | 2019-03-28 | 2023-11-15 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | デバイス制御ページ表示方法、関連装置、およびシステム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9728009B2 (en) | Augmented reality based management of a representation of a smart environment | |
| US10297129B2 (en) | Fire/security service system with augmented reality | |
| US9674264B2 (en) | Remote control system, remote control method, communication device, and program | |
| JP2015149710A (ja) | 携帯端末の制御方法及びプログラム | |
| JP2014139745A (ja) | 機器管理システム、機器管理装置、機器管理方法及びプログラム | |
| JP2014086149A (ja) | 同定装置、方法及びプログラム | |
| JP2015115649A (ja) | 機器制御システム、および、機器制御方法 | |
| JP2021152928A (ja) | 端末装置、方法、およびプログラム | |
| JP2012156834A (ja) | リモコン装置及びプログラム | |
| JP2021013159A (ja) | 情報処理装置、テレプレゼンスロボット、拠点制御システム、遠隔制御システム、情報処理方法およびプログラム | |
| JP6723957B2 (ja) | 防災システム | |
| JP2016194840A (ja) | 試験システム | |
| EP3104239A1 (en) | Method for mobile on-site building engineering using in commodity devices | |
| JP5221580B2 (ja) | 画像表示システム、携帯情報端末及び画像表示プログラム | |
| JP5630398B2 (ja) | 住宅情報提供システム、住宅情報提供方法、及び、住宅情報提供プログラム | |
| SE1300138A1 (sv) | Förfarande och datapresentationsanordning för att assistera en användare att serva ett processtyrobjekt | |
| JP2011175336A (ja) | 機器位置特定装置 | |
| JP2010055263A (ja) | 監視制御システム | |
| KR20210062989A (ko) | 인지인자를 이용한 증강현실 기반 원격 가이던스 시스템 및 그 방법 | |
| WO2018016081A1 (ja) | 位置推定プログラム、位置推定装置、および位置推定方法 | |
| JP2019139642A (ja) | 位置検出装置、位置検出システム、及び位置検出方法 | |
| US20240185702A1 (en) | Alert device, method, and system | |
| JP2017098268A (ja) | 同定装置 | |
| CN116917847A (zh) | 根据图像中到最近设备的距离显示数据的聚合 | |
| JP2018036847A (ja) | 情報処理システム |