JP2015001756A - 状態変化管理システム、状態変化管理サーバ及び状態変化管理端末 - Google Patents

Abstract

【課題】対象物を任意の位置から撮影した撮影画像と対象物の過去の撮影画像との差異を自動で検出する。【解決手段】対象物の画像を撮影する撮影部と、前記撮影部の位置を計測する位置情報取得部と、前記撮影部の姿勢を計測する姿勢情報取得部と、を有する状態変化管理システムであって、前記対象物の過去の画像と、前記対象物における前記過去の画像の撮影部分を特定する情報と、を含む画像モデル、及び、前記対象物の位置情報を保持し、前記撮影部の位置、姿勢及び前記対象物の位置情報に基づいて、前記撮影部が撮影した画像に含まれる前記対象物の部分を第１撮影部分として特定し、さらに、前記撮影部の位置、前記撮影部の姿勢、及び前記画像モデルに基づいて、前記画像モデルに含まれる前記第１撮影部分の画像を特定し、前記撮影部が撮影した画像に含まれる前記第１撮影部分の画像と、前記画像モデルに含まれる前記第１撮影部分の画像とを比較する。【選択図】図１３

Description

本発明は、対象物の経年変化を自動検知する技術に関する。

本技術分野の背景技術として、特開２００２−３１２８１０（特許文献１）及び特開２００７−３０３９１３号公報（特許文献２）がある。特許文献１には建造物の表面に発現した外観劣化状態を記録する方法が記載されており、特に外観劣化状態を画像記録すると共にその劣化位置を基準点からの位置情報として記録し、その外観劣化の各データを一連に関連付けして一括管理を行うことを特徴とする建造物における外観劣化の記録方法、及びこれを用いた外観劣化の経年変化記録システムが開示されている。また、特許文献２には、ロボット装置等の物体に装着された異物を検知する異物検知装置であって、特にあらかじめ所定の条件で撮影された物体の正常状態の記憶画像と異物を検知するときに所定の条件で撮影された物体の撮影画像とを比較し、記憶画像と撮影画像とが一致しないと判定された場合に、物体に異物が装着されたことを検知する異物検知装置及びプログラムが開示されている。

特開２００２−３１２８１０号公報 特開２００７−３０３９１３号公報

特許文献１では、対象物であるポールを固定された４方向から撮影し、それをつなぎ合わせることでポールの全方向画像を記録し、蓄積している。また、外観劣化を目視によって発見し、発見した場合にはその位置を測定器で計測し、コンピュータにその位置を入力している。しかし、この方法では必ず決められた方向、位置から対象物を撮影しないと対象物の全方向画像を記録できない。特に、電力配電設備における電柱等、特に高密度で広範囲に数多く散在する設備の保全作業である巡視、点検の際に、巡視員が数多くの対象設備の全方向画像を記録する場合に適用しようとする場合には、必ず決められた位置、方向から設備を撮影するというのは負担が大きい。また、特許文献１では、外観劣化の発見、位置の計測、記録を全て作業員自ら手動で行う必要があるが、そもそも熟練者でないと対象物の経年変化を発見するのは容易ではない。

特許文献２では、固定カメラから撮影された画像がロボットの記憶画像とマッチングするように双方に移動の指示を出すことで、双方の位置を修正し、画像をマッチングしている。固定カメラ及びロボットは、向き及び位置を制御可能であるが、特に、電力配電設備における電柱等、特に高密度で広範囲に数多く散在する設備の保全作業である巡視、点検に適用する場合、人間が撮影することになり、撮影画像と記憶画像との位置合せができない。

本発明は、上記課題を鑑みてなされたものであり、撮影機能と測位機能とを備える携帯端末によって取得した測位情報と、対象物を任意の位置、方向から撮影した複数の撮影画像と、に基づいて、対象物の全方向画像モデルを自動生成し、対象物を任意の位置から撮影した撮影画像と対象物の過去の全方向画像モデルとの差異を自動で検出する状態変化管理システム及び状態変化管理方法を提供することを目的とする。

上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、対象物の画像を撮影する撮影部と、前記撮影部の位置を計測する位置情報取得部と、前記撮影部の姿勢を計測する姿勢情報取得部と、一つ以上のプロセッサと、前記一つ以上のプロセッサに接続される一つ以上のメモリと、を有する状態変化管理システムであって、前記一つ以上のメモリは、過去に複数の方向から前記対象物を撮影した複数の画像と、前記対象物の外観のうち、前記複数の画像の各々に含まれる部分を、前記複数の画像の各々の撮影部分として特定する情報と、を含む画像モデル、及び、前記対象物の位置情報を保持し、前記一つ以上のプロセッサは、前記位置情報取得部が計測した前記撮影部の位置、前記姿勢情報取得部が計測した前記撮影部の姿勢、及び前記対象物の位置情報に基づいて、前記対象物の外観のうち、前記撮影部が撮影した画像に含まれる部分を第１撮影部分として特定し、さらに、前記位置情報取得部が計測した前記撮影部の位置、前記姿勢情報取得部が計測した前記撮影部の姿勢、及び前記画像モデルに含まれる前記複数の画像の撮影部分を特定する情報に基づいて、前記画像モデルに含まれる前記第１撮影部分の画像を特定する第１手順と、前記撮影部が撮影した画像に含まれる前記第１撮影部分の画像と、前記画像モデルに含まれる前記第１撮影部分の画像とを比較する第２手順と、前記第２手順の比較の結果を出力する第３手順と、を実行することを特徴とする。

本発明の代表的な実施の形態によれば、任意の位置、方向から対象物を撮影した撮影画像とその撮影条件から、自動で過去の対象物との変化を検出し、提示することができる。

本発明の実施例１の巡視作業支援システムの全体構成の一例を示すブロック図である。 本発明の実施例１の巡視作業支援システムにおける携帯情報端末の構成の一例を示すブロック図である。 本発明の実施例１の巡視作業支援システムにおけるサーバシステムの構成の一例を示すブロック図である。 本発明の実施例１のサーバシステムが保持するデータベースの構成の一例を示すブロック図である。 本発明の実施例１のデータベースに含まれる設備情報データの構成の一例を示す説明図である。 本発明の実施例１のデータベースに含まれる履歴データの構成の一例を示す説明図である。 本発明の実施例１のデータベースに含まれる設備画像データの構成の一例を示す説明図である。 本発明の実施例１の設備画像データに含まれる画像データの詳細形式の一例を示す説明図である。 本発明の実施例１のデータベースに含まれる設備画像データの構成の別の例を示す説明図である。 本発明の実施例１の携帯情報端末が対象設備の画像を撮影するときの姿勢角の説明図である。 本発明の実施例１のデータベースに含まれる設備画像モデルデータの構成の一例を示す説明図である。 本発明の実施例１の設備画像モデルデータに含まれる全方向画像モデルの一例の説明図である。 本発明の実施例１の巡視作業支援システム全体の処理の一例を示すフローチャートである。 本発明の実施例１の巡視作業支援システムの処理の詳細を示すフローチャートである。 本発明の実施例１の巡視作業支援システムのユーザがステップにおいて実行する作業イメージを示した説明図である。 本発明の実施例１の撮影条件付加プログラムの詳細な処理フローチャートである。 本発明の実施例１の巡視作業支援システムの処理の詳細を示すフローチャートである。 本発明の実施例１の巡視作業支援システムによる明るさ補正ステップの詳細処理を示すフローチャートである。 本発明の実施例１の変化検出プログラムが撮影条件に基づいて撮影された対象設備の部分を特定して切り出す処理の説明図である。 本発明の実施例１の巡視作業支援システムによる撮影画像と全方向画像モデルとのマッチング結果の表示の一例を示す説明図である。 本発明の実施例１の巡視作業支援システムによって表示される巡視報告書閲覧画面の一例の説明図である。 本発明の実施例１の巡視作業支援システムの処理の詳細を示すフローチャートである。 本発明の実施例１の巡視作業支援システムが全方向画像モデルを構築するために実行する明るさ補正ステップの詳細処理を示すフローチャートである。 本発明の実施例１の巡視作業支援システムが全方向画像モデルを構築する処理の説明図である。 本発明の実施例２の巡視作業支援システムにおける携帯情報端末の構成の一例を示すブロック図である。 本発明の実施例２の巡視作業支援システムにおけるサーバシステムの構成の一例を示すブロック図である。 本発明の実施例２の巡視作業支援システム全体の処理の一例を示すフローチャートである。 本発明の実施例２の巡視作業支援システムの処理の詳細を示すフローチャートである。 本発明の実施例３の巡視作業支援システムの全体構成の一例を示すブロック図である。 本発明の実施例３の巡視作業支援システムに含まれる携帯情報端末の構成の一例を示すブロック図である。 本発明の実施例３の巡視作業支援システムに含まれるサーバシステム及びクライアントＰＣの構成の一例を示すブロック図である。 本発明の実施例３の巡視作業支援システム全体の処理の一例を示すフローチャートである。 本発明の実施例４の巡視作業支援システムに含まれる携帯情報端末の構成の一例を示すブロック図である。 本発明の実施例４の巡視作業支援システムに含まれるサーバシステム及びクライアントＰＣの構成の一例を示すブロック図である。 本発明の実施例４の巡視作業支援システム全体の処理の一例を示すフローチャートである。 本発明の実施例５の巡視作業支援システムの処理の詳細を示すフローチャートである。 本発明の実施例５の巡視作業支援システムにおける対象設備の入力処理の一例を示す説明図である。

以下、本発明の実施例を、図面を用いて説明する。

本実施例では、電力配電設備における電柱等の巡視、点検の際に、対象設備を任意の位置、方向から撮影した複数の画像データから対象設備の全方向画像モデルを生成し、生成した全方向画像モデルを時系列で保持し、対象設備を任意の位置、方向から撮影した画像データと対象設備の過去の全方向画像モデルとの差異を検出し、対象設備の経年変化を自動検知し、その結果を提示することで巡視作業を支援する巡視作業支援システムの一例を説明する。

図１は、本発明の実施例１の巡視作業支援システムの全体構成の一例を示すブロック図である。

実施例１の巡視作業支援システムは、サーバシステム１００と、複数の携帯情報端末１０１と、それらを接続するネットワーク１０２と、を有する。図１では携帯情報端末は３台示されているが、接続台数はこれに限定されない。以下、本システムの構成要素について説明する。

図２は、本発明の実施例１の巡視作業支援システムにおける携帯情報端末１０１の構成の一例を示すブロック図である。

携帯情報端末１０１は、無線通信部２００、撮影画像及び設備情報等をユーザに提示するディスプレイ等の表示部２０１、時計等の日時を取得する日時取得部２０２、ＧＰＳ衛星２１０から位置情報を取得する位置情報取得部２０３、対象設備２１１を撮影するデジタルスチルカメラ等の撮影部２０９、全体の処理を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０４、ユーザが入力操作を行うボタン又はタッチパネル等の操作部２０５、画像データ及び設備情報等を保存するフラッシュメモリ等の不揮発性記憶装置であるメモリ２０６、端末の加速度のｘ、ｙ、ｚ軸成分を取得するための３軸加速度センサ２０７、及び、地磁気のｘ、ｙ、ｚ軸成分を取得する３軸地磁気センサ２０８から構成される。

携帯情報端末１０１は、具体的には、デジタルカメラ、携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、タブレット端末等の携帯端末が該当する。位置情報取得部２０３は、受信回路等から構成され、ＧＰＳ衛星２１０からの電波を受信し、受信した電波から距離を測定することで、携帯情報端末１０１の（すなわち撮影部２０９の）位置情報、具体的には緯度及び経度を取得する。また、後述するように、３軸加速度センサ２０７が測定した加速度及び３軸地磁気センサ２０８が測定した地磁気に基づいて、携帯情報端末１０１の（すなわち撮影部２０９の）姿勢情報が取得される。

対象設備２１１は、巡視点検の対象となる設備であり、巡視点検の際には撮影部２０９による撮影対象となる。本実施例では対象設備２１１が電柱である場合を例として説明するが、対象設備２１１は電柱以外の設備であってもよい。図２には一つの対象設備２１１のみを示すが、実際にはそれぞれが固有の設備ＩＤによって識別される多数の対象設備２１１が存在する。

図３は、本発明の実施例１の巡視作業支援システムにおけるサーバシステム１００の構成の一例を示すブロック図である。

サーバシステム１００は、全体を制御するＣＰＵ３００、他の機器と接続するためのネットワークインタフェース３０１、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等の規格に準拠した外部機器と接続するためのＩ／Ｏ３０２、設備に関する情報、地図情報、及び設備画像等が保存されているデータベース３０３、ユーザが入力するためのキーボード及びマウス等の操作部３０４、処理の結果及びログ等を表示するための表示部３０５、不揮発性記憶装置であるメモリ３０６、及びデータバス３０８から構成され、上記の各部３００〜３０６がそれぞれデータバス３０８と接続されている。メモリ３０６には撮影条件付加プログラム３０９、設備画像モデル構築プログラム３１０、及び変化検出プログラム３１１が格納されており、これらのプログラムはＣＰＵ３００によって実行される。以下、各プログラムに基づいてＣＰＵ３００が実行する処理を、便宜上、各プログラムが実行する処理として説明する場合がある。

本実施例では、携帯情報端末１０１を携帯して巡視している巡視員が、対象設備２１１を撮影部２０９によって撮影し、それと同時に位置情報取得部２０３がＧＰＳ衛星２１０から位置情報を取得し、３軸加速度センサ２０７がｘ、ｙ、ｚ軸方向の加速度を取得し、３軸地磁気センサがｘ、ｙ、ｚ軸方向の地磁気を取得し、日時取得部２０２が撮影した日時を取得し、ＣＰＵ２０４はこれらの情報を無線通信部２００、ネットワーク１０２を介して図１におけるサーバシステム１００に送信する。

サーバシステム１００では、ＣＰＵ３００がメモリ３０６に格納されている撮影条件付加プログラム３０９を実行することによって、取得した情報から撮影条件（撮影位置、撮影方角、撮影角度、撮影距離等）を算出し、それらを撮影画像データに付加してデータベース３０３に蓄積する。それと同時に、変化検出プログラム３１１は、携帯情報端末１０１から送信されてきた撮影画像の撮影条件を参照し、該当する設備の過去の全方向画像モデルをデータベースから検索し、その全方向画像モデルから撮影画像に写っている設備部分に該当する部分を切り出し、切り出された部分と撮影画像とのマッチングをとることで経年変化を検出し、検出結果を携帯情報端末１０１に送信する。携帯情報端末１０１は、サーバシステム１００から受信した検出結果を表示部２０１に表示することで巡視員に提示する。また、設備画像モデル構築プログラム３１０は、撮影条件を付加されてデータベース３０３に蓄積された複数の撮影画像から、設備の全方向画像モデルを生成し、時系列で（すなわち、撮影された画像の撮影時期に対応付けて）管理する。詳細な処理内容については後述する。

次に、図４、図５、図６を参照して、図３のサーバシステム１００におけるデータベース３０３の構成の一例を説明する。

図４は、本発明の実施例１のサーバシステム１００が保持するデータベース３０３の構成の一例を示すブロック図である。データベース３０３は、設備情報データ４００、設備画像データ４０１、設備画像モデルデータ４０２、地図データ４０３、及び履歴データ４０４から構成される。

設備情報データ４００は、対象設備を識別する設備ＩＤと、その設置位置を示す情報とを含む。図５は、設備情報データ４００の構成の一例を示す説明図である。設備情報データ４００には、電力配電設備における巡視、点検の対象となる電柱等に関するデータが格納されており、具体的には、設備ＩＤ５００と設備の設置位置５０１とが対応付けられて格納されている。設備の設置位置５０１は、緯度５０２及び経度５０３を含んでいる。図５に示す設備情報データ４００の構成は上記の通りであるが、設備情報データ４００の構成はこれに限られず、巡視、点検の際に必要となる設備に関する情報を含む構成であればよい。

レコード５０４、５０５及び５０６は設備情報データ４００の格納データの一例を示している。例えば、レコード５０４は設備ＩＤ５００の値「１０４」によって識別される設備に関するデータであり、この設備は、緯度３５．６５８２、経度１３９．７４５６に設置されている。レコード５０５、５０６も同様に、それぞれの設備に関する設備ＩＤ５００、緯度５０２及び経度５０３の値の例を含む。

履歴データ４０４は、対象設備の設備ＩＤ、過去の巡視実施年月日、巡視の報告書、改修要否、及び改修年月日を含む。図６は、履歴データ４０４の構成の一例を示す説明図である。履歴データ４０４には、電力配電設備における過去の巡視、点検の履歴情報が格納されており、設備ＩＤ６００、巡視実施年月日６０１、報告書６０２、改修要否６０３、及び改修年月日６０４が対応付けられて格納されている。図６に例示する履歴データ４０４の構成は上記の通りであるが、履歴データ４０４の構成はこれに限られず、その他に過去の巡視、点検時に記録した様々な情報を必要に応じて含んでもよい。

レコード６０５、６０６、６０７及び６０８は履歴データ４０４の格納データの一例を示している。例えば、レコード６０７及び６０８は設備ＩＤ６００の値「１０５」によって識別される設備に関するデータであり、レコード６０７によると当該設備の巡視点検が２００４／０４／１２に実施され、そのときに改修が必要だと判断され、実際に２００４／０６／１９に改修が実施されている。レコード６０５及び６０６にも同様にそれぞれの設備の巡視点検に関するデータが格納される。

設備画像データ４０１は、対象設備の設備ＩＤ、及び設備を撮影した画像データを含む。図７は、設備画像データ４０１の構成の一例を示す説明図である。設備画像データ４０１には、電力配電設備における巡視、点検の際に撮影された設備の画像データが格納されており、設備ＩＤ７００と設備画像７０１が対応付けられて格納されている。

レコード７０２、７０３及び７０４は設備画像データ４０１の格納データの一例を示している。例えば、レコード７０２は設備ＩＤ７００の値「１０４」によって識別される設備に関するデータであり、画像データ７０４等の複数の画像データが格納されている。レコード７０３、７０４についても同様である。

図８は、画像データ７０４の詳細形式の一例を示す説明図である。本実施例では、画像データ７０４のフォーマットとしてＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）（登録商標、以下同じ）が採用されている。Ｅｘｉｆフォーマットは、写真用のメタデータを含む画像フォーマットであり、写真に様々なメタデータを付加することができる。図８を用いて具体例を説明する。

本実施例における設備画像データ７０４のヘッダ８０１には、撮影条件付加プログラム３０９によって算出され付加される撮影条件（設備ＩＤ、撮影距離、撮影方角、携帯情報端末の撮影時の姿勢角（Ａ、Ｂ、Ｃ）、撮影日時、及び撮影位置情報等）が格納されている。このヘッダ８０１、実際の画像データ８０３及びサムネイル画像８０２から設備画像データ７０４が構成される。

本実施例では図７及び図８の形式で画像データを扱うが、設備画像データ４０１の形式はこれに限られず、図９のような形式であってもよい。図９は、設備画像データ４０１の構成の別の例を示す説明図である。図９では、図８で画像のヘッダに格納されていた撮影条件が画像データのヘッダに含まれず、それぞれの撮影条件を画像データに対応させて格納している。

具体的には、図９の例では、設備ＩＤ９００、撮影距離９０１、撮影日時９０２、撮影位置９０３、撮影方角９０４、端末の姿勢角９０５及び画像データ９０６が対応付けられて格納されている。レコード９０７、９０８及び９０９は設備画像データ４０１の格納データの一例を示している。例えば、レコード９０７は設備ＩＤ９００の値「１０４」によって識別される設備を撮影した画像に関するデータであり、撮影距離１０ｍ、撮影日時１９９８／０１／２８／１２：４５、撮影位置（３５．６５８、１３９．７４５５）、撮影方角２５４°（北を０°として）、姿勢角（２５４°、１０°、０°）となっている。レコード９０８、９０９についても同様に撮影された画像及び撮影条件のデータが格納される。

図１０は、本発明の実施例１の携帯情報端末１０１が対象設備２１１の画像を撮影するときの姿勢角の説明図である。

端末の姿勢角は、携帯情報端末１０１の向き（より正確には、携帯情報端末１０１の撮影部２０９の撮影方向）を表す角度であり、図１０（１）（２）（３）に示すように角度Ａ、Ｂ、Ｃで表す。

図１０（１）は姿勢角度Ａを示す。姿勢角度Ａ１００２は、携帯情報端末１０１を、ｙ軸１００１（すなわち鉛直方向に平行な軸）を中心として回転させた回転角度を表し、北を基準０°とする。この姿勢角度Ａは携帯情報端末１０１の向く方位角を意味する。

図１０(２)は姿勢角度Ｂを示す。姿勢角度Ｂ１００４は、携帯情報端末１０１を、ｘ軸１００３（すなわちｙ軸１００１と直交し、かつ、撮影部２０９の撮影方向とも直交する軸）を中心として回転させた回転角度を表し、巡視員が携帯情報端末１０１を持ったときの仰角を意味する。

図１０（３）は姿勢角度Ｃを示す。姿勢角度Ｃ１００６は、携帯情報端末１０１を、ｚ軸１００５（すなわちｘ軸及びｙ軸のいずれとも直交する軸）を中心として改定させたときの回転角度を表し、巡視員が携帯情報端末１０１を持ったときの左右方向の傾き度合いを意味する。

これらの姿勢角度Ａ、Ｂ、Ｃは携帯情報端末１０１の３軸加速度センサ２０７から得られるｘ、ｙ、ｚ軸方向の加速度成分と、３軸地磁気センサ２０８から得られるｘ、ｙ、ｚ軸方向の地磁気成分から算出される。

設備画像モデルデータ４０２は、対象設備の設備ＩＤ、及び時系列の設備の全方向画像モデルを含む。図１１は、設備画像モデルデータ４０２の構成の一例を示す説明図である。設備画像モデルデータ４０２には、電力配電設備における巡視、点検の際に対象設備を任意の位置、方向から撮影した複数の画像データから生成した対象設備の全方向画像モデルが時系列で保持されており、設備ＩＤ１１００と時系列の全方向画像モデル１１０１、１１０２及び１１０４等が対応付けられて格納されている。図１１の例では、２００７年、２００８年及び２００９年の全方向画像モデル１１０１〜１１０３のように、１年毎の全方向画像モデル（すなわちそれぞれの年に撮影された画像データから生成した全方向画像モデル）が格納されている。しかし、全方向画像モデルの格納の間隔は１年に限られず、巡視点検を実施した年（又は時期）毎の全方向画像モデルを格納すればよい。

レコード１１０５、１１０６及び１１０７は設備画像モデルデータ４０２の格納データの一例を示しており、例えばレコード１１０５は設備ＩＤ１１００の値「１０４」によって識別される設備に関する全方向画像モデルが格納されている。レコード１１０６及び１１０７にも同様に各設備に関する全方位画像モデルが格納される。

図１２は、本発明の実施例１の設備画像モデルデータ４０２に含まれる全方向画像モデル１１０８の一例の説明図である。電力配電設備である電柱１２００は円筒形であり、３次元の円筒の表面を２次元に展開すると、複数の細長い長方形１２０１の集合によって表現できる。これらの複数の長方形をつなぎ合わせたものが電柱の全方向画像モデル１２０２である。

具体的には、全方向画像モデル１２０２は、電柱１２００の全周の表面の画像を展開したものであり、横軸方向に記載された方位角「０」（及び「３６０」）、「９０」、「１８０」、「２７０」は、それぞれ、電柱１２００の北、西、南、東方向に対応する。また、全方向画像モデル１２０２の縦軸方向は電柱１２００の高さ方向（根元から先端まで）に対応する。例えば全方向画像モデル１２０２の「０」から「９０」までの範囲は、電柱１２００の北方向の面から西方向の面までの部分を撮影した画像に相当する。１回の撮影によって全方向画像モデル１２０２の全体を取得することはできないため、後述するように、複数回の撮影によって得られた複数の画像を合成することで全方向画像モデル１２０２が生成される。

地図データ４０３には、一般的なＧＩＳ（Ｇｒａｐｈｉｃａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）データベースと同様に、道路や建物等の位置情報が格納されており、詳細な説明は割愛する。

以上の構成に基づいて、本実施の形態における巡視作業支援システム全体の処理について説明する。

図１３は、本発明の実施例１の巡視作業支援システム全体の処理の一例を示すフローチャートである。

具体的には、図１３は、電柱等の電力配電設備の巡視、点検の際に、対象設備を任意の位置及び方向から撮影した複数の画像データから対象設備の全方向画像モデルを生成し、生成した全方向画像モデルを時系列で保持し、対象設備を任意の位置、方向から撮影した画像データと対象設備の過去の全方向画像モデルとの差異を検出し、対象設備の経年変化を自動検知し、その結果を提示することで巡視点検作業を支援する巡視作業支援システム全体の処理フローチャートである。ステップ１３００、１３０１及び１３０４が携帯情報端末１０１による処理ステップであり、ステップ１３０２、１３０３、１３０５及び１３０７がサーバシステム１００による処理ステップである。以下、携帯情報端末１０１における各処理はＣＰＵ２０４が実行、制御し、サーバシステム１００における各処理はＣＰＵ３００が実行、制御するものとする。

まずは、巡視点検を担当するユーザ（巡視員）が携帯情報端末１０１を持って現場に行き、巡視点検作業を開始する（ステップ１３００）。

巡視員は対象設備２１１の付近まで行き、携帯情報端末１０１を用いて対象設備２１１の写真を撮影する。携帯情報端末１０１は、撮影時の位置情報、日時、３軸加速度センサ及び３軸地磁気センサの値を取得し、撮影画像と上記の取得情報をサーバシステム１００に送信する（ステップ１３０１）。

撮影条件付加プログラム３０９は、携帯情報端末１０１から送信されてきた取得情報から、撮影条件（設備ＩＤ、撮影距離、撮影方角、携帯情報端末１０１の撮影時の姿勢角（Ａ、Ｂ、Ｃ）、撮影日時及び撮影位置情報等）を算出し、それらをメタデータとして撮影画像のＥｘｉｆ情報に付加する（ステップ１３０２）。撮影条件付加プログラム３０９の詳細処理については後述する。

変化検出プログラム３１１は、ステップ１３０２で撮影画像に付加された撮影条件を参照し、該当する設備の過去の全方向画像モデルをデータベース３０３の設備画像モデルデータ４０２から検索し、その全方向画像モデルから撮影画像に写っている設備部分に該当する部分を切り出し、切り出した部分と撮影画像とのマッチングをとることで対象設備２１１の経年変化を検出し、検出結果を携帯情報端末に送信する（ステップ１３０３）。変化検出プログラムの詳細処理は後述する。

ステップ１３０３と並行して、サーバシステム１００は、ステップ１３０２で撮影条件を付加した撮影画像を、その設備ＩＤに基づいてデータベース３０３の設備画像データ４０１に格納する（ステップ１３０５）。

携帯情報端末１０１は、サーバシステム１００から送信された変化の検出結果を表示部２０１に表示する（ステップ１３０４）。

該当日（すなわち巡視点検等の作業を行う日）の巡視が全て終了した場合はステップ１３０９へ進む。まだ巡視対象が残っている場合にはステップ１３０１へ戻り、ステップ１３０１〜ステップ１３０５の処理を、全ての巡視対象を巡視し終えるまで繰り返す（ステップ１３０６）。

全ての巡視が終了したら、設備画像モデル構築プログラム３１０は、撮影条件を付加されてデータベース３０３の設備画像データ４０１に蓄積された複数の撮影画像から、対象設備２１１の全方向画像モデルを生成し、設備画像モデルデータ４０２に格納する（ステップ１３０７）。設備画像モデル構築プログラム３１０の詳細処理については後述する。

次に、図１３の処理フローチャートにおける処理ステップ１３０１、１３０２（撮影条件付加プログラム３０９）、１３０５の詳細について図１４、図１５、図１６を用いて説明する。

図１４は、本発明の実施例１の巡視作業支援システムの処理の詳細を示すフローチャートであり、具体的には、図１３の巡視作業支援システム全体の処理フローチャートにおける処理ステップ１３０１、１３０２（撮影条件付加プログラム３０９）及び１３０５の詳細を示す。図１４において、ステップ１４００、１４０１、１４０２、１４０３及び１４０４が携帯情報端末１０１による処理を示し、ステップ１４０５、１４０６及び１４０７はサーバシステム１００による処理を示す。特に、ステップ１４０６は撮影条件付加プログラム３０９の処理を示す。

まず、巡視、点検を行っている巡視員が対象設備２１１の付近で携帯情報端末１０１の操作部２０５を操作することで撮影部２０９に対象設備２１１の撮影を指示する（ステップ１４００）。

巡視員の撮影指示を受けた撮影部２０９が対象設備２１１を撮影し、撮影によって取得された画像データをメモリ２０６に格納する（ステップ１４０１）。図１５は、本発明の実施例１の巡視作業支援システムのユーザ（巡視員）がステップ１４０１において実行する作業イメージを示した説明図である。巡視員１５０２は対象設備１５００付近へ行き、携帯情報端末１５０１を用いて対象設備１５００を撮影することで、設備の撮影画像１５０３を取得する。

巡視員からの撮影指示をトリガとして、日時取得部２０２は撮影を実行した日時を取得し、メモリに格納する（ステップ１４０２）。

巡視員からの撮影指示をトリガとして、位置情報取得部２０３がＧＰＳ衛星２１０から携帯情報端末の位置情報を取得し、３軸加速度センサ２０７は端末のｘ、ｙ、ｚ軸方向の加速度を取得し、３軸地磁気センサ２０８は端末のｘ、ｙ、ｚ軸方向の地磁気を取得し、それらをメモリ２０６に格納する（ステップ１４０３）。

ステップ１４０１〜１４０３によってメモリ２０６に格納された情報（撮影画像、携帯情報端末の位置情報、撮影日時、加速度、地磁気）を無線通信部２００がネットワーク１０２を介してサーバシステム１００に送信する（ステップ１４０４）。

サーバシステム１００は、ステップ１４０４で携帯情報端末１０１から送信された撮影画像と情報（携帯情報端末の位置情報、撮影日時、加速度、地磁気）をメモリ３０６に格納する（ステップ１４０５）。

撮影条件付加プログラム３０９は、撮影画像データと情報（携帯情報端末の位置情報、撮影日時、加速度、地磁気）とデータベース３０３に含まれる設備情報データ４００とを用いて撮影条件（設備ＩＤ、撮影距離、撮影方角、携帯情報端末の撮影時の姿勢角（Ａ、Ｂ、Ｃ）、撮影日時、撮影位置情報等）を算出し、撮影画像にメタデータとして付加する（ステップ１４０６）。

サーバシステム１００は、撮影条件付加プログラム３０９によって撮影条件が付加された撮影画像を、対応する設備ＩＤが示す設備画像データ４０１に格納する（ステップ１４０７）。

次に撮影条件付加プログラム３０９の詳細処理について図１６を用いて説明する。図１６は、本発明の実施例１の撮影条件付加プログラム３０９の詳細な処理フローチャートである。

まず、撮影条件付加プログラム３０９は、３軸加速度センサ２０７から取得したｘ、ｙ、ｚ軸方向の加速度と、３軸地磁気センサ２０８から取得した端末のｘ、ｙ、ｚ軸方向の地磁気のセンサ値から、図１０に記載の携帯情報端末１０１の姿勢角Ａ、Ｂ、Ｃを算出する（ステップ１６００）。加速度センサ値と地磁気センサ値から端末の姿勢角を算出する方法は一般に知られているので、ここでは説明を割愛する。

次に撮影条件付加プログラム３０９は、ステップ１４０６で算出した角度Ａ（＝端末の向く方位角）とＧＰＳから取得した携帯情報端末１０１の位置情報とデータベース３０３における設備情報データ４００に格納されている設備位置情報から、撮影画像に写っている対象設備２１１の設備ＩＤを特定する（ステップ１６０１）。具体的には、撮影条件付加プログラム３０９は、撮影位置の周辺に設置されている設備のなかで、撮影位置からステップ１６００で算出した方位角で撮影した場合に撮影可能な設備を設備情報データ４００から検索することで、撮影された対象設備２１１の設備ＩＤを特定する。

なお、上記の設備ＩＤの特定方法は一例であり、撮影条件付加プログラム３０９は撮影した対象設備２１１の設備ＩＤをいかなる方法で特定してもよい。例えば、巡視員が撮影した対象設備２１１の設備ＩＤをあらかじめ知っていた場合には、巡視員がその設備ＩＤを手動で携帯情報端末１０１に入力してもよい。あるいは、対象設備２１１の外観に当該対象設備２１１の設備ＩＤを示す表示が含まれる場合には、巡視員が目視でその情報を読み取って携帯情報端末１０１に入力してもよいし、携帯情報端末１０１が撮影画像からその情報を読み取ってもよい。あるいは、実施例５として後述するように、巡視員が対象設備２１１の位置を示す情報を入力し、それに従って携帯情報端末１０１又はサーバシステム１００が対象設備２１１の設備ＩＤを特定してもよい。

撮影条件付加プログラム３０９は、携帯情報端末１０１の位置情報とステップ１４０７で特定した対象設備２１１の位置情報から、両者の距離（すなわち撮影距離）を算出する（ステップ１６０２）。

最後に撮影条件付加プログラム３０９は、算出した撮影条件（設備ＩＤ、撮影距離、撮影方角、携帯情報端末の撮影時の姿勢角（Ａ、Ｂ、Ｃ）、撮影日時、撮影位置情報等）を図８に示すようにメタデータとして撮影画像のヘッダ部分に書き込む（ステップ１６０３）。

次に、図１３の処理フローチャートにおける処理ステップ１３０３（変化検出プログラム３１１）及び１３０４の詳細について図１７、図１８、図１９、図２０及び図２１を用いて説明する。

図１７は、本発明の実施例１の巡視作業支援システムの処理の詳細を示すフローチャートであり、具体的には、図１３の巡視作業支援システム全体の処理フローチャートにおける処理ステップ１３０３（変化検出プログラム３１１）及び１３０４の詳細を示す。図１７において、ステップ１７００、１７０１、１７０２、１７０３及び１７０４がサーバシステム１００による処理を示し、ステップ１７０５は携帯情報端末１０１による処理を示す。特に、ステップ１７００、１７０１、１７０２、１７０３及び１７０４は変化検出プログラム３１１の処理を示す。

まず、変化検出プログラム３１１によって実行される処理ステップ１７００、１７０１、１７０２、１７０３及び１７０４について説明する。

変化検出プログラム３１１は、撮影条件付加プログラム３０９によって撮影条件が付加された撮影画像から設備ＩＤを読み取り、その設備ＩＤに該当する時系列の全方向画像モデルをデータベース３０３の設備画像モデルデータ４０２から検索する（ステップ１７００）。

次に、変化検出プログラム３１１は、ステップ１７００で検索した対象設備の全方向画像モデルと撮影画像とのマッチングをとるために、双方の明るさを補正する（ステップ１７０１）。これは、過去に撮影され構築された全方向画像モデルと現在撮影した撮影画像との撮影環境が異なり、それに起因して撮影された画像の明るさが異なる場合（例えば、天候の違いに起因して画像の明るさが異なる場合、又は、撮影時間帯の違いに起因して影の影響による明るさが異なる場合、等）があるので、同じ条件で両者を比較できるようにモデルと撮影画像の明るさを補正する。明るさ補正処理の詳細は後述する（図１８参照）。

次に、変化検出プログラム３１１は、撮影画像に付加されている撮影条件（設備ＩＤ、撮影距離、撮影方角、携帯情報端末の撮影時の姿勢角（Ａ、Ｂ、Ｃ）、撮影日時、撮影位置情報等）から、当該撮影画像が対象設備のどの部分を撮影した画像であるかを判断し、撮影画像と時系列の全方向画像モデルから該当部分を切り出す（ステップ１７０２）。

図１９は、本発明の実施例１の変化検出プログラム３１１が撮影条件に基づいて撮影された対象設備の部分を特定して切り出す処理（ステップ１７０２）の説明図である。

撮影画像１９００には撮影条件付加プログラム３０９で付加された撮影条件（設備ＩＤ、撮影距離、撮影方角、携帯情報端末の撮影時の姿勢角（Ａ、Ｂ、Ｃ）、撮影日時、撮影位置情報等）が記録されている。これらの撮影条件のうち、主に携帯情報端末の位置情報、撮影距離、撮影方角、端末の姿勢角を用いて、空間上で対象設備をどの位置からどのような角度で撮影したかを判断する。図１９の例では、ユーザ（巡視員）１９０３が位置１９０７から携帯情報端末１０１の撮影部２０９を方向１９０８に向けて対象設備１９０２を撮影している。

空間上で対象設備１９０２をどの位置からどのような角度で撮影したかが分かると、撮影画像に設備のどの部分が写されているかを判断することができる。図１９の例では、対象設備１９０２における撮影部分１９０４が特定される。すなわち、撮影部分１９０４は、対象設備１９０２の外観のうち、撮影画像１９００に含まれる範囲である。この特定結果に従って、撮影部分１９０４が対象設備１９０２の全方向画像モデル１９０５における部分１９０６に対応する（すなわち、部分１９０６は、撮影部分１９０４を撮影した画像である）ことが特定されるため、変化検出プログラム３１１は、この部分１９０６を全方向画像モデル１９０５から切り出す。

例えば、撮影時の携帯情報端末１０１及び対象設備１９０２の位置情報に基づいて、対象設備１９０２を方位角２１０°の方向から撮影されたことが判明した場合、対象設備１９０２の全方向画像モデル１９０５から切り出される部分１９０６は、方位角２１０°を中心とする範囲の画像に相当する。

また、変化検出プログラム３１１は、撮影画像１９００の画像データから、設備部分１９０９（すなわち撮影部分１９０４が撮影されている部分）だけを切り出す。設備部分１９０９を切り出すには、テンプレートマッチング等の一般的な画像認識手法を用いてもよく、または、携帯情報端末１０１で対象設備１９０２を撮影したときに、例えばタッチパネルを利用して巡視員に設備部分の位置を入力してもらい、それを撮影条件として画像データに付加し、その情報に基づいて切り出しを行ってもよい。

そして、変化検出プログラム３１１は、ステップ１７０２によって切り出した撮影画像の設備部分１９０９を対象設備１９０２の前回巡視時の全方向画像モデルの該当部分１９０６と比較し、同様の方法でさらにそれ以前の過去の全方向画像モデルとも比較する。比較する際には、変化検出プログラム３１１は、例えば、双方の画素値の差分を計算し、予め定められた閾値以上の画素値の変化が予め定められたある面積以上まとまって検出されたら変化ありと判定する（ステップ１７０３）。

変化検出プログラム３１１は、ステップ１７０３の検出結果と、データベース３０３における対象設備１９０２の履歴データ４０４を検索し、それらを携帯情報端末１０１に送信する（ステップ１７０４）。

ステップ１７０５は携帯情報端末１０１での処理である。携帯情報端末１０１は、サーバシステム１００から送信されてきた変化の検出結果を端末の表示部２０１に表示する。変化を検出した場合には、変化を検出した箇所を撮影画像に重畳して強調表示することで、巡視員に注意を促す（ステップ１７０５）。ステップ１７０５における携帯情報端末１０１の表示部２０１を用いた変化検出結果の提示の具体例について、図２０及び図２１を参照して説明する。

図２０は、本発明の実施例１の巡視作業支援システムによる撮影画像と全方向画像モデルとのマッチング結果の表示の一例を示す説明図である。具体的には、図２０（１）の例では、携帯情報端末１０１の表示部２０１に、変化の検出結果が表示されている。この例は、過去の全方向画像モデルと撮影画像とのマッチングの結果、変化が検出された場合の一例を示している。表示部２０１に撮影画像２０００が表示されており、撮影画像に重畳して変化が検出された部分を強調表示２００２している。図２０の例の場合は、設備表面に前回の巡視で撮影された画像から構築された全方向画像モデルには無かった亀裂のようなもの２００１が検出されており、その部分を強調表示している。

また、時系列の全方向画像モデルから、それぞれが異なる時期に撮影された同一部分の画像を切り出して並べて表示することで、現在の対象設備の状態と過去の対象設備の状態との違いを比較することができる。この過去の画像は例えばスクロールバー２００４を操作するによってスクロールして見ることができ、例えばスクロールバー２００４をスクロールすると、図２０（２）のような画像が表示される。この場合、同一部分に過去にも似たような変化が検出されており、その部分も強調表示されており、その巡視年を示す文字部分１９９２年には、そのときに発行された巡視報告書へのリンクが張られている（２００５）。例えば表示部がタッチパネルによって構成されている場合には、この部分をタッチすることで、表示部２０１の表示が図２１に示す巡視報告書閲覧画面２１００に遷移する。

図２１は、本発明の実施例１の巡視作業支援システムによって表示される巡視報告書閲覧画面２１００の一例の説明図である。この巡視報告書閲覧画面２１００は、データベース３０３における履歴データ４０４から、対象設備の設備ＩＤ（図２１の例では「１０４」）及びその対象設備において状態の変化が検出された時期（図２１の例では「１９９２年」）をキーとして検索されたデータを含み、変化の検出結果とともにサーバシステム１００から送信されてくるものである。

過去の状態からの変化があったときの巡視報告書を閲覧可能とすることによって、過去にその変化が検出された際に、どのような判断がなされ、どのように対応したのかを知ることができるため、巡視の参考とすることができる。以上のような変化部分の強調表示と過去の同一部分の表示によって、巡視員が容易に経年変化に容易に気付くことができ、判断支援をすることができるため、巡視点検の精度が向上する。

次に図１７のフローチャートにおける明るさ補正処理（ステップ１７０１）の詳細処理について図１８を用いて説明する。

図１８は、本発明の実施例１の巡視作業支援システムによる明るさ補正ステップ１７０１（図１７）の詳細処理を示すフローチャートである。

変化検出プログラム３１１は、対象の時系列の全方向画像モデルと撮影画像それぞれについて、画像の輝度値の平均値を算出し、それぞれの画像データの代表輝度値とする（ステップ１８００）。

次に、変化検出プログラム３１１は、ステップ１８００で算出した複数の代表輝度値の平均値を算出し、それを対象設備画像データの参照輝度値とする（ステップ１８０１）。

次に、変化検出プログラム３１１は、それぞれの画像データの代表輝度値と参照輝度値との差分を算出し、その差分をそれぞれの画像データの補正輝度値とする（ステップ１８０２）。

そして、変化検出プログラム３１１は、それぞれの画像データの代表輝度値が参照輝度値と異なっている場合には、それらが等しくなるように補正輝度値を用いてそれぞれの画像を補正する（ステップ１８０３）。

以上の明るさ補正ステップによって、異なる環境下（例えば、天候の違い、影の影響等）で撮影された複数の全方向画像モデルと撮影画像の明るさを近づけ、同じような条件となるようにし、状態の変化を検出し易くする。

次に、図１３の処理フローチャートにおける処理ステップ１３０７（設備画像モデル構築プログラム３１０）の詳細について図２２、図２３及び図２４を用いて説明する。

図２２は、本発明の実施例１の巡視作業支援システムの処理の詳細を示すフローチャートであり、具体的には、図１３の巡視作業支援システム全体の処理フローチャートにおける処理ステップ１３０７（設備画像モデル構築プログラム３１０）の詳細を示す。

まず、設備画像モデル構築プログラム３１０は、サーバシステム１００にアップロードされた全ての設備に対して、設備画像データから画像に付加されている撮影条件を参照し、同じ時間帯に撮影された同一の設備ＩＤを持つ画像データを検索する（ステップ２２００）。ここで、「同じ時間帯に撮影された同一の設備ＩＤを持つ画像データ」とは、１回の巡視点検で撮影された一つの対象設備２１１の複数の画像データである。例えば、ある年度のある対象設備２１１の巡視点検がある１日に行われた場合には、ステップ２２００において、その１日に撮影された当該対象設備２１１の複数の画像データが検索されてもよいし、それらの複数の画像データがその１日の特定の数分間に撮影された場合にはその数分間に撮影された画像データが検索されてもよい。

次に、設備画像モデル構築プログラム３１０は、ステップ２２００で検索されたそれぞれの画像データの撮影条件（設備ＩＤ、撮影距離、撮影方角、携帯情報端末の撮影時の姿勢角（Ａ、Ｂ、Ｃ）、撮影日時、及び撮影位置情報等）から、対象設備のどの部分をどのように撮影しているかを判断し、画像から設備部分だけを切り出して、撮影距離に応じてスケールを調節し、全方向画像モデルに貼り合わせる（ステップ２２０１）。

図２４は、本発明の実施例１の巡視作業支援システムが全方向画像モデルを構築する処理の説明図である。具体的には、図２４はステップ２２０１の処理を図示したものであり、撮影画像データ群２４００には撮影条件付加プログラム３０９で付加された撮影条件（設備ＩＤ、撮影距離、撮影方角、携帯情報端末の撮影時の姿勢角（Ａ、Ｂ、Ｃ）、撮影日時、撮影位置情報等）が記録されている。設備画像モデル構築プログラム３１０は、これらの撮影条件の主に携帯端末の位置情報、撮影距離、撮影方角、端末の姿勢角を用いて、空間上で対象設備をどの位置からどのような角度で撮影したかを判断する。図２４の場合は、ある撮影画像２４０４は対象設備２４０２を位置２４０３Ａから方向２４０３Ｂに撮影したものであり、またある撮影画像２４０６は対象設備２４０２を位置２４０５Ａから方向２４０５Ｂに撮影したものであると判断できる。

そして、設備画像モデル構築プログラム３１０は、撮影画像データ群２４００から、設備部分だけを切り出す。設備部分を切り出すには、図１９を参照して説明したように、テンプレートマッチング等の一般的な画像認識手法を用いてもよく、または、携帯情報端末１０１で対象設備２４０２を撮影したときに、例えばタッチパネルを利用して巡視員に設備部分の位置を入力してもらい、それを撮影条件として画像データに付加し、その情報に基づいて切り出しを行ってもよい。

空間上で対象設備２４０２をどの位置からどのような角度で撮影したかが分かると、撮影画像に対象設備２４０２のどの部分が写されているかを判断することができる。ここで、対象設備２４０２の外観のうち、各撮影画像に写されている部分を、各撮影画像の撮影部分と記載する。具体的には、対象設備２４０２をどの位置からどのような角度で撮影したかに基づいて、撮影部分（すなわち、対象設備２４０２の外観のうち、各撮影画像に写されている部分）の方位角及び地面からの高さを特定することができる。例えばある撮影画像の撮影部分の方位角が１８０度から２７０度までであると特定された場合、その画像には、対象設備２４０２の外観のうち、南方向に面した部分から東方向に面した部分までの範囲の画像が含まれる。

設備画像モデル構築プログラム３１０は、撮影画像データ群２４００に含まれる各撮影画像の設備部分（すなわち撮影部分の画像）を、横軸を方位角、縦軸を地面からの高さとする平面上の、当該撮影部分の方位角及び高さに対応する位置に投影することで、全方向画像モデル２４０７の該当する部分に貼り合わせる。撮影距離に応じて、撮影画像に写っている対象設備２４０２の大きさが変化するため、設備画像モデル構築プログラム３１０は、遠近法の原理を利用して撮影距離に応じて画像のスケールを調節する。

図２４の場合は、撮影画像２４０４の設備部分を全方向画像モデル２４０７内の部分２４０９に、撮影画像２４０６の設備部分を全方向画像モデル２４０７内の部分２４０８に、それぞれ貼り合わせている。設備画像モデル構築プログラム３１０は、これらの部分のスケールが同一になるように、これらの部分の画像の少なくとも一方を拡大又は縮小する。その際に、画像を縮小するならば、例えば画素データをサンプリングし、平滑処理する。反対に画像を拡大するならば、例えば、超解像技術を用いる、または単純に拡大して間の画素を補完するなどが考えられる。設備画像モデル構築プログラム３１０は、以上のような処理を撮影画像データ群２４００に含まれる各画像に対して行い、全方向画像モデル２４０７を構築していく。巡視員が対象設備２４０２について適切な方向から十分な数の画像を撮影すれば、対象設備２４０２の、全方位角の、接地部分から頂上までの全ての高さの範囲の外観の画像を含む全方向画像モデル２４０７が構築される。

なお、図２４の点線で表示された重なり領域２４１０は、部分２４０８と部分２４０９との重複部分である。すなわち、部分２４０８に含まれる重なり領域２４１０と部分２４０９に含まれる重なり領域２４１０は対象設備２４０２の同一部分の画像である。この重なり領域は後述する明るさ補正に利用される。

次に、設備画像モデル構築プログラム３１０は、ステップ２２０１で全方向画像モデルに貼り合わせた複数画像の明るさを補正する（ステップ２２０２）。これは同動時間帯に撮影された画像群とはいっても撮影した環境が異なる場合がある（例えば、影又は光の影響等が画像ごとに相違する場合がある）ので、同じ条件となるようにそれぞれの画像の明るさを補正する。明るさ補正処理の詳細は後述する。

最後に、設備画像モデル構築プログラム３１０は、構築した全方向画像モデルを設備画像モデルデータ４０２に格納する（ステップ２２０３）。

ここで、前述したステップ２２０２の明るさ補正処理の詳細について図２３を用いて説明する。図２３は、本発明の実施例１の巡視作業支援システムが全方向画像モデルを構築するために実行する明るさ補正ステップ２２０２（図２２）の詳細処理を示すフローチャートである。

まず、設備画像モデル構築プログラム３１０は、処理対象の全方向画像モデルに貼り合わせた複数画像から２枚の画像の重なり領域（例えば図２４の部分２４０８と部分２４０９の重なり領域２４１０）を検出する（ステップ２３００）。

次に、設備画像モデル構築プログラム３１０は、ステップ２３００で検出した重なり領域の輝度値の平均値を算出し、それぞれの重なり領域の代表輝度値とする（ステップ２３０１）。

次に、設備画像モデル構築プログラム３１０は、ステップ２３０１で算出した２つの代表輝度値の平均値を算出し、それを参照輝度値とする（ステップ２３０２）。

そして、設備画像モデル構築プログラム３１０は、それぞれの代表輝度値と参照輝度値との差分を算出し、その差分をそれぞれの画像データの補正輝度値とする（ステップ２３０３）。

設備画像モデル構築プログラム３１０は、ステップ２３０３で算出された参照輝度値を用いて、それぞれの画像データ全体を補正することで、それぞれの画像の明るさを補正する（ステップ２３０４）。

以上の処理ステップを処理対象の全方向画像モデルに含まれる、重なり領域を有する画像の全ての組み合わせについて行う（ステップ２２０５）。以上の明るさ補正ステップによって、異なる環境下で（例えば、異なる影又は光の影響下で）撮影された複数の撮影画像の明るさを近づけ、同じような条件となるようにする。

なお、本実施例の設備画像モデルデータ４０２は、巡視作業によって新たに撮影された対象設備の画像と比較するために用意された過去の撮影画像を含み、さらに、その比較を可能とするために、新たに撮影された画像の撮影部分と同一の撮影部分の過去の画像を特定するための情報を含んでいればよい。そのために、設備画像モデルデータ４０２は、少なくとも、過去に各対象設備を撮影した複数の画像と、それぞれの画像の撮影部分を特定できる情報と、を含んでいる必要がある。図１２及び図２４に示した全方向画像モデルは、そのような情報の一例である。

以上に説明したように、本発明の実施例１によると、電力配電設備における電柱等の巡視、点検の際に、対象設備を任意の位置及び方向から撮影した複数の画像データから対象設備の全方向画像モデルを生成し、生成した全方向画像モデルを時系列で保持し、対象設備を任意の位置及び方向から撮影した画像データと対象設備の過去の全方向画像モデルとの差異を検出し、対象設備の経年変化を自動検知し、その結果を提示することで巡視作業を支援する巡視作業支援システムについて、撮影機能と測位機能とを備える携帯端末によって取得した測位情報と対象設備を任意の位置、方向から撮影した複数の撮影画像から対象設備の全方向画像モデルを自動生成し、時系列で管理することができる。そして、対象設備を任意の位置、方向から撮影した撮影画像と対象設備の過去の全方向画像モデルとの差異を自動で検出することができる。さらに、検出した経年変化を巡視員に自動で提示することで、熟練者でないと見落とす可能性があるような設備の経年変化を容易に気付くことができ、判断支援をすることができるため、巡視点検の精度が向上する。

また、実施例１では、マッチング及び全方向画像モデルの生成のいずれもサーバシステム１００によって行われるため、比較的小規模なハードウェアによって携帯情報端末１０１を実現することができる。これによって、携帯情報端末１０１の小型化、低消費電力化が容易になる。

実施例２として、実施例１とは異なったシステム構成及び処理手順を持つ巡視作業支援システムの一例を説明する。以下に説明する相違点を除き、実施例２の巡視作業支援システムの各部は、図１〜図２４に示された実施例１の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。

実施例１では、図３が示すようにサーバシステム１００のメモリ３０６に撮影条件付加プログラム３０９、設備画像モデル構築プログラム３１０、変化検出プログラム３１１が格納されており、これらのプログラムによる処理は全てサーバシステム１００で行われていた。これに対して、実施例２における携帯情報端末１０１の構成を図２５に示し、サーバシステム１００の構成を図２６に示す。本実施例では、図２５に示すように携帯情報端末１０１のメモリに撮影条件付加プログラム３０９が格納されており、図２６が示すように、サーバシステム１００のメモリ３０６には設備画像モデル構築プログラム３１０と変化検出プログラム３１１が格納される。このように、撮影条件付加プログラム３０９による処理が携帯情報端末１０１で行われる点が実施例１とは大きく異なる。

図２７は、本発明の実施例２の巡視作業支援システム全体の処理の一例を示すフローチャートである。ステップ２７００、２７０１及び２７０３が携帯情報端末１０１による処理ステップであり、ステップ２７０２、２７０４、２７０５及び２７０６がサーバシステム１００による処理ステップである。以下、携帯情報端末１０１における各処理はＣＰＵ２０４が実行、制御し、サーバシステム１００における各処理はＣＰＵ３００が実行、制御するものとする。

まずは、巡視点検を担当する巡視員が携帯情報端末１０１を持って現場に行き、巡視点検作業を開始する（ステップ２７００）。

巡視員は対象設備２１１の付近まで行き、携帯情報端末１０１を用いて対象設備２１１の写真を撮影し、撮影時の位置情報、日時、３軸加速度センサ及び３軸地磁気センサの値を取得する。撮影条件付加プログラム３０９は、撮影画像と取得情報から撮影条件（設備ＩＤ、撮影距離、撮影方角、携帯情報端末の撮影時の姿勢角（Ａ、Ｂ、Ｃ）、撮影日時及び撮影位置情報等）を算出し、撮影画像に付加し、サーバシステム１００に送信する（ステップ２７０１）。撮影条件付加処理については、実施例１と同じであるので説明は省略する。

変化検出プログラム３１１は、ステップ１３０２で撮影画像に付加した撮影条件を参照し、該当する設備の過去の全方向画像モデルをデータベース３０３の設備画像モデルデータ４０２から検索し、その全方向画像モデルから撮影画像に写っている設備部分に該当する部分を切り出し、切り出した部分と撮影画像とのマッチングをとることで対象設備２１１の経年変化を検出し、検出結果を携帯情報端末１０１に送信する（ステップ２７０２）。変化検出プログラム３１１の処理については実施例１と同じであるので説明は省略する。

ステップ２７０２と並行して、サーバシステム１００は、ステップ２７０１で撮影条件を付加した撮影画像を、その設備ＩＤに基づいてデータベース３０３の設備画像データ４０１に格納する（ステップ２７０４）。

携帯情報端末１０１は、サーバシステム１００から送信された変化の検出結果を表示部２０１に表示する（ステップ２７０３）。表示部２０１への表示方法についても実施例１と同じであるので説明は省略する。

該当日の巡視が全て終了した場合はステップ２７０６へ進む。まだ巡視対象が残っている場合にはステップ２７０１へ戻り、ステップ２７０１〜ステップ２７０４の処理を全ての巡視対象を巡視し終えるまで繰り返す（ステップ２７０５）。

全ての巡視が終了したら、設備画像モデル構築プログラム３１０は、撮影条件を付加されてデータベース３０３の設備画像データ４０１に蓄積された複数の撮影画像から、対象設備２１１の全方向画像モデルを生成し、設備画像モデルデータ４０２に格納する（ステップ２７０６）。設備画像モデル構築プログラム３１０の処理については第１の実施形態と同じであるので説明は省略する。

次に、図２７に示した本実施例の巡視作業支援システム全体の処理フローチャートにおける処理ステップ２７０１及び２７０４の詳細処理について説明する。

図２８は、本発明の実施例２の巡視作業支援システムの処理の詳細を示すフローチャートであり、具体的には、図２７の巡視作業支援システム全体の処理フローチャートにおける処理ステップ１３０１、１３０４の詳細を示す。図２８において、ステップ２８００、２８０１、２８０２、２８０３、２８０４及び２８０５が携帯情報端末１０１による処理を示し、ステップ２８０６及び２８０７はサーバシステム１００による処理を示す。

まず、巡視、点検を行っている巡視員が対象設備２１１の付近で携帯情報端末１０１の操作部２０５を操作することで撮影部２０９に対象設備２１１の撮影を指示する（ステップ２８００）。

巡視員の撮影指示を受けた撮影部２０９が対象設備２１１を撮影し、撮影によって取得された画像データをメモリ２０６に格納する（ステップ２８０１）。

巡視員からの撮影指示をトリガとして、日時取得部２０２は撮影を実行した日時を取得し、メモリに格納する（ステップ２８０２）。

巡視員からの撮影指示をトリガとして、位置情報取得部２０３がＧＰＳ衛星２１０から携帯情報端末の位置情報を取得し、３軸加速度センサ２０７は端末のｘ、ｙ、ｚ軸方向の加速度を取得し、３軸地磁気センサ２０８は端末のｘ、ｙ、ｚ軸方向の地磁気を取得し、それらをメモリ２０６に格納する（ステップ２８０３）。

撮影条件付加プログラム３０９は、ステップ１４０１〜１４０３によってメモリ２０６に格納した情報（撮影画像、携帯情報端末の位置情報、撮影日時、加速度、地磁気）と撮影画像とデータベース３０３に含まれる設備情報データ４００とを用いて撮影条件（設備ＩＤ、撮影距離、撮影方角、携帯情報端末の撮影時の姿勢角（Ａ、Ｂ、Ｃ）、撮影日時、撮影位置情報等）を算出し、撮影画像にメタデータとして付加する（ステップ２８０４）。

そして携帯情報端末１０１は、撮影条件の付加された撮影画像をサーバシステム１００に送信する（ステップ２８０５）。

サーバシステム１００は、送信されてきた撮影画像をメモリ３０６に格納する（ステップ２８０６）。

さらに、サーバシステム１００は、撮影条件付加プログラム３０９によって撮影条件が付加された撮影画像を、対応する設備ＩＤが示す設備画像データ４０１に格納する（ステップ２８０７）。

以上で説明したように、本実施例では、撮影条件の付加を携帯情報端末１０１で行ってから、画像データをサーバシステム１００に送信する。その他の処理詳細は実施例１と同じであるので説明は省略する。

実施例として、実施例１及び２とは異なったシステム構成及び処理手順を持つ巡視作業支援システムの一例を説明する。以下に説明する相違点を除き、実施例３の巡視作業支援システムの各部は、実施例１又は２の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。

実施例１では、携帯情報端末１０１がサーバシステム１００に必要な情報を送信し、サーバシステム１００側で撮影条件の付加、全方向画像モデルの構築、画像の変化の検出等の処理を行い、画像の変化検出結果を携帯情報端末１０１に送信する。これに対して、実施例３では、携帯情報端末１０１とサーバシステム１００がネットワークを介して接続されていない。ユーザはクライアントＰＣ２９００（図２９参照）に携帯情報端末１０１を接続し、該当日に巡視、点検予定の地域の関連データをダウンロードしてから巡視、点検に行く。点検時に、携帯情報端末１０１の内部で撮影画像に対する撮影条件の算出、付加、そして全方向画像モデルとの変化検出処理が行われる。該当日の巡視、点検が全て終了してから、携帯情報端末１０１がクライアントＰＣ２９００を介してサーバシステム１００に結果をアップロードする。その後、サーバシステム１００はアップロードされた複数の撮影画像とその付加情報から全方向画像モデルを生成し、データベース３０３に格納する。

図２９は、本発明の実施例３の巡視作業支援システムの全体構成の一例を示すブロック図である。本実施例の巡視作業支援システムにおいて、サーバシステム１００とクライアントＰＣ２９００が有線又は無線のネットワーク２９０１を介して接続されており、複数の携帯情報端末１０１がクライアントＰＣ２９００を介してサーバシステム１００との間でデータのアップロード及びダウンロードを行う。以下、本システムの構成要素について説明する。

図３０は、本発明の実施例３の巡視作業支援システムに含まれる携帯情報端末１０１の構成の一例を示すブロック図である。

携帯情報端末１０１は、例えばＵＳＢ等の規格に準拠した、外部機器と接続するためのＩ／Ｏ３０００、ディスプレイ等の表示部２０１、ＧＰＳ衛星２１０から位置情報を取得する位置情報取得部２０３、対象設備２１１を撮影するデジタルスチルカメラ等の撮影部２０９、全体の処理を制御するＣＰＵ２０４、ユーザが入力操作を行うボタン又はタッチパネル等の操作部２０５、画像データ及び設備情報等を保存するフラッシュメモリ等の不揮発性記憶装置であるメモリ２０６、端末の加速度のｘ、ｙ、ｚ軸成分を取得するための３軸加速度センサ２０７、及び、地磁気のｘ、ｙ、ｚ軸成分を取得する３軸地磁気センサ２０８から構成される。メモリ２０６には撮影条件付加プログラム３０９と変化検出プログラム３１１が格納されており、ＣＰＵ２０４がこれらのプログラムをメモリ２０６から読み出し、実行する。

図３１は、本発明の実施例３の巡視作業支援システムに含まれるサーバシステム１００及びクライアントＰＣ２９００の構成の一例を示すブロック図である。

サーバシステム１００は、サーバシステム１００の全体を制御するＣＰＵ３００、ネットワークインタフェース３０１、例えばＵＳＢなどの規格に準拠した、外部機器と接続するためのＩ／Ｏ３０２、設備に関する情報、地図情報及び設備画像等が保存されているデータベース３０３、ユーザが入力するためのキーボード及びマウス等の操作部３０４、処理の結果及びログ等を表示するための表示部３０５、不揮発性記憶装置であるメモリ３０６、及びデータバス３０８から構成され、上記の各部３００〜３０６がそれぞれデータバス３０８と接続されている。

クライアントＰＣ２９００は、クライアントＰＣ２９００の全体を制御するＣＰＵ３１０２、ネットワークインタフェース３１００、例えばＵＳＢなどの規格に準拠した、外部機器と接続するためのＩ／Ｏ３１０１、ユーザが入力するためのキーボード及びマウス等の操作部３１０３、処理の結果及びログ等を表示するための表示部３１０４、不揮発性記憶装置であるメモリ３１０５、及びデータバス３１０６から構成され、上記の各部３１００〜３１０５がそれぞれデータバス３１０６と接続されている。サーバシステム１００とクライアントＰＣ２９００は有線又は無線のネットワーク２９０１で接続されており、ネットワーク２９０１を介して両者が相互にデータの送受信を行う。

本実施例では、携帯情報端末１０１とサーバシステム１００とがネットワークを介して接続されていない。ユーザはクライアントＰＣ２９００に携帯情報端末１０１をＵＳＢケーブル等で接続し、該当日に巡視、点検予定の地域の関連データをダウンロードしてから巡視、点検に行く。点検時に、携帯情報端末１０１の内部で撮影画像に対する撮影条件の算出、付加、そして全方向画像モデルとの変化検出処理が行われる。該当日の巡視、点検が全て終了してから、携帯情報端末がクライアントＰＣを介してサーバシステム１００に結果をアップロードする。その後、サーバシステム１００はアップロードされた複数の撮影画像とその付加情報から全方向画像モデルを生成し、データベース３０３に格納する。処理の詳細については後述するが、データベース３０３の構成等、ここで特に説明していないものは実施例１と同じであるため、説明は省略する。

図３２は、本発明の実施例３の巡視作業支援システム全体の処理の一例を示すフローチャートである。以下、携帯情報端末１０１における各処理はＣＰＵ２０４が実行、制御し、サーバシステムにおける各処理はＣＰＵ３００が実行、制御するものとして処理を説明する。

ステップ３２００、３２０１、３２０２及び３２０３は、巡視作業開始前に営業所等の拠点にて、サーバシステム１００から携帯情報端末１０１に必要な情報をダウンロードするためのステップである。

まず、ユーザ（例えば巡視員自身又は巡視員による巡視作業を補佐する担当者）がクライアントＰＣ２９００のＩ／Ｏ３１０１と携帯情報端末１０１のＩ／Ｏ３０００とをＵＳＢケーブル等の接続手段によって接続する（ステップ３２００）。これは一例であり、他の方法、例えばフラッシュメモリのような外部記憶媒体を介することによってデータの受け渡しを行ってもよい。

次に、ユーザがクライアントＰＣ２９００の操作部３１０３を操作し、サーバシステム１００にネットワーク２９０１を介してアクセスし、該当日の巡視予定地区にある設備に関するデータ（履歴データ、設備情報データ、地図データ、設備画像モデルデータ）をデータベース２００３から検索する（ステップ３２０１）。

ユーザは、ステップ３２０１によって検索したデータをサーバシステム１００におけるデータベース３０３からネットワーク２９０１を介してクライアントＰＣ２９００にダウンロードし、そのデータをクライアントＰＣ２９００内のメモリ３１０５に一時格納し、さらに、クライアントＰＣ２９００のＩ／Ｏ３１０１及び携帯情報端末１０１のＩ／Ｏ３０００を介して携帯情報端末１０１のメモリ２０６に格納する（ステップ３２０２）。

ステップ３２０２が終了したら、ユーザは、クライアントＰＣ２９００から携帯情報端末１０１を取り外し、携帯情報端末１０１を持って現場に巡視、点検に行く（ステップ３２０３）。

以降のステップ３２０３、３２０４、３２０５及び３２０６は巡視作業現場での処理を示す。

巡視員は対象設備２１１の付近まで行き、携帯情報端末１０１を用いて対象設備２１１の写真を撮影する。携帯情報端末１０１は、撮影時の位置情報、日時、３軸加速度センサ及び３軸地磁気センサの値を取得する。撮影条件付加プログラム３０９は、撮影画像と取得情報から撮影条件（設備ＩＤ、撮影距離、撮影方角、携帯情報端末の撮影時の姿勢角（Ａ、Ｂ、Ｃ）、撮影日時、撮影位置情報等）を算出し、撮影画像に付加し、端末内のメモリ２０６に格納する（ステップ３２０３）。撮影条件付加プログラム３０９の処理内容については、実施例１と同じであるので説明は省略する。

変化検出プログラム３１１は、ステップ３２０３で撮影画像に付加された撮影条件を参照し、該当する設備の過去の全方向画像モデルをメモリ２０６にダウンロードしてある設備画像モデルデータから検索し、検索された全方向画像モデルから撮影画像に写っている設備部分に該当する部分を切り出し、切り出した部分と撮影画像とのマッチングをとることで対象設備２１１の経年変化を検出する（ステップ３２０４）。変化検出プログラム３１１の処理については実施例１と同じであるので説明は省略する。

次に、携帯情報端末１０１は、変化の検出結果を表示部２０１に表示する（ステップ３２０５）。表示部２０１への表示方法についても実施例１と同じであるので説明は省略する。

該当日の巡視が全て終了した場合はステップ３２０７へ進む。まだ巡視対象が残っている場合にはステップ３２０３へ戻り、ステップ３２０３〜ステップ３２０５の処理を全ての巡視対象を巡視し終えるまで繰り返す（ステップ３２０６）。

以降のステップ３２０７、３２０８、３２０９、３２１０及び３２１１は巡視作業終了後に営業所等の拠点にて、携帯情報端末１０１からサーバシステム１００に結果をアップロードするためのステップである。

まず、ユーザがクライアントＰＣ２９００のＩ／Ｏ３１０１と携帯情報端末１０１のＩ／Ｏ３０００とをＵＳＢケーブル等の接続手段によって接続する（ステップ３２０７）。これは一例であり、他の方法、例えばフラッシュメモリのような外部記憶媒体を介することによってデータの受け渡しを行ってもよい。

次に、ユーザがクライアントＰＣ２９００の操作部３１０３を操作し、携帯情報端末１０１のメモリ２０６に格納されている該当日の巡視結果及び設備の撮影画像を、クライアントＰＣ２９００のＩ／Ｏ３１０１及び携帯情報端末１０１のＩ／Ｏ３０００を介してクライアントＰＣ２９００のメモリ３１０５に格納する（ステップ３２０８）。

次に、クライアントＰＣ２９００は、メモリ３１０５に格納されたデータを有線又は無線ネットワーク２９０１を介してサーバシステム１００に送信する。サーバシステム１００は、クライアントＰＣ２９００から受信したデータをメモリ３０６に一時格納し、そこからデータベース３０３の各データを格納することでデータベース３０３を更新する（ステップ３２０９）。

ステップ３２０９が終了したら、ユーザは、クライアントＰＣ２９００から携帯情報端末１０１を取り外す（ステップ３２１０）。

ステップ３２０９と並行して、設備画像モデル構築プログラム３１０は、撮影条件を付加されてデータベース３０３の設備画像データ４０１に蓄積された複数の撮影画像から、設備の全方向画像モデルを生成し、設備画像モデルデータ４０２に格納する（ステップ３２１１）。設備画像モデル構築プログラム３１０の処理については実施例１と同じであるので説明は省略する。

以上の本発明の実施例３によると、携帯情報端末１０１とサーバシステム１００とがネットワークを介して接続されておらず、携帯情報端末１０１による処理は全てオフライン処理となるので、山間地のようなネットワーク環境の悪い場所における設備の巡視点検も問題なく支援することができる。

実施例４として、実施例１〜３とは異なったシステム構成及び処理手順を持つ巡視作業支援システムの一例を説明する。以下に説明する相違点を除き、実施例４の巡視作業支援システムの各部は、実施例１〜３の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。

実施例３では、携帯情報端末１０１とサーバシステム１００とがネットワークを介して接続されておらず、ユーザはクライアントＰＣ２９００に携帯情報端末１０１をＵＳＢケーブル等で接続し、該当日に巡視、点検予定の地域の関連データをダウンロードしてから巡視、点検に行く。点検時に、携帯情報端末内部で撮影画像に対する撮影条件の算出、付加、そして全方向画像モデルとの変化検出処理が行われる。該当日の巡視、点検が全て終了してから、携帯情報端末１０１がクライアントＰＣ２９００を介してサーバシステム１００に結果をアップロードする。その後、サーバシステム１００はアップロードされた複数の撮影画像とその付加情報から全方向画像モデルを生成し、データベース３０３に格納する。

これに対して、実施例４では、基本的なシステム構成は実施例３と同様であるが、設備画像モデル構築プログラムが携帯情報端末内のメモリに格納されており、巡視点検作業時に全方向画像モデルを携帯情報端末内で生成する点が大きく異なる。実施例４の巡視作業支援システム全体の構成は実施例３と同様であるので説明は省略する。

図３３は、本発明の実施例４の巡視作業支援システムに含まれる携帯情報端末１０１の構成の一例を示すブロック図である。メモリ２０６には、撮影条件付加プログラム３０９と変化検出プログラム３１１と設備画像モデル構築プログラム３１０が格納されている。その他の構成については実施例３と同様であるので説明は省略する。

図３４は、本発明の実施例４の巡視作業支援システムに含まれるサーバシステム１００及びクライアントＰＣ２９００の構成の一例を示すブロック図である。撮影条件付加プログラム３０９、変化検出プログラム３１１及び設備画像モデル構築プログラム３１０は携帯情報端末１０１内のメモリ２０６に格納されているので、サーバシステム１００のメモリには上記のプログラムは格納されていない。その他の構成については実施例３と同様であるので説明は省略する。

図３５は、本発明の実施例４の巡視作業支援システム全体の処理の一例を示すフローチャートである。以下、携帯情報端末１０１における各処理はＣＰＵ２０４が実行、制御し、サーバシステム１００における各処理ではＣＰＵ３００が実行、制御するものとして処理を説明する。

ステップ３５００、３５０１、３５０２及び３５０３は、巡視作業開始前に営業所等の拠点にて、サーバシステム１００から携帯情報端末１０１に必要な情報をダウンロードするためのステップである。これらのステップにおいて実行される処理は、それぞれ図３２のステップ３２００、３２０１、３２０２及び３２０３において実行されるものと同様であるため、説明を省略する。ただし、ステップ３５０１で検索され、ステップ３５０２でダウンロードされるデータは、履歴データ、設備情報データ、地図データ及び設備画像モデルデータに加えて、設備画像データも含む。

以降のステップ３５０４、３５０５、３５０６、３５０７、３５０８、３５０９、３５１０及び３５１１は巡視作業現場での処理を示す。

巡視員は巡視対象の設備（対象設備２１１）を設定する（ステップ３５０４）。この設定の詳細については、ステップ３５０９の詳細と合わせて後述する。

次に、巡視員は対象設備２１１の付近まで行き、携帯情報端末１０１を用いて対象設備２１１の写真を撮影する。携帯情報端末１０１は、撮影時の位置情報、日時、３軸加速度センサ及び３軸地磁気センサの値を取得する。撮影条件付加プログラム３０９は、撮影画像と取得情報から撮影条件（設備ＩＤ、撮影距離、撮影方角、携帯情報端末の撮影時の姿勢角（Ａ、Ｂ、Ｃ）、撮影日時、撮影位置情報等）を算出し、撮影画像に付加し、端末内のメモリ２０６に格納する（ステップ３５０５）。撮影条件付加プログラム３０９の処理内容については、実施例１と同じであるので説明は省略する。

変化検出プログラム３１１は、ステップ３５０５で撮影画像に付加された撮影条件を参照し、該当する設備の過去の全方向画像モデルをメモリ２０６にダウンロードしてある設備画像モデルデータから検索し、検索された全方向画像モデルから撮影画像に写っている設備部分に該当する部分を切り出し、切り出した部分と撮影画像とのマッチングをとることで対象設備２１１の経年変化を検出する（ステップ３５０６）。変化検出プログラム３１１の処理については実施例１と同じであるので説明は省略する。

次に、携帯情報端末１０１は、変化の検出結果を表示部２０１に表示する（ステップ３５０７）。表示部２０１への表示方法についても実施例１と同じであるので説明は省略する。

次に、携帯情報端末１０１は、対象設備２１１のチェックが終了したか否かを判定する（ステップ３５０９）。ここで、ステップ３５０４及び３５０９の詳細を説明する。本実施例では、携帯情報端末１０１が対象設備２１１の画像の撮影から、その画像を用いた全方向画像モデルの生成までを実行する。一つの対象設備２１１の全方向画像モデルはその対象設備２１１を撮影した複数の画像から生成されるため、携帯情報端末１０１は、それらの複数の画像の撮影が終了してから、全方向画像モデルの生成を開始する必要がある。ステップ３５０４及び３５０９は、それぞれ、一つの対象設備２１１の全方向画像モデルを生成するための複数の画像の撮影の開始及び終了のトリガである。

例えば、巡視員は、携帯情報端末１０１のタッチパネル上の開始ボタン（図示省略）を操作してから、ある対象設備２１１の撮影を開始し、その対象設備２１１について十分な数の画像が撮影できたと判断したら、終了ボタン（図示省略）を操作してもよい。この場合、開始ボタンの操作がステップ３５０４の設定に相当し、終了ボタンが操作されるとステップ３５０９において当該対象設備２１１のチェックが終了したと判定される。

ステップ３５０９において対象設備のチェックが完了したと判定された場合はステップ３５１０へ進む。まだ設定した巡視対象のチェック及び撮影が終わっていない場合にはステップ３５０５に戻り、残りの対象設備のそれぞれについて複数の画像を撮影する。

対象設備のチェックが完了した場合は、設備画像モデル構築プログラム３１０は、撮影条件を付加され対象設備に関する複数の撮影画像から、設備の全方向画像モデルを生成し、メモリ２０６に格納する（ステップ３５１０）。設備画像モデル構築プログラム３１０の処理については実施例１と同じであるので説明は省略する。

該当日の巡視が全て終了した場合はステップ３５１２へ進む。まだ巡視対象が残っている場合にはステップ３５０４へ戻り、ステップ３５０４〜ステップ３５１０の処理を全ての巡視対象を巡視し終えるまで繰り返す（ステップ３５１１）。

以降のステップ３５１２、３５１３、３５１４及び３５１５は、巡視作業終了後に営業所等の拠点にて、携帯情報端末１０１からサーバシステム１００に結果をアップロードするためのステップである。

まず、ユーザがクライアントＰＣ２９００のＩ／Ｏ３１０１と携帯情報端末１０１のＩ／Ｏ３０００とをＵＳＢケーブル等の接続手段によって接続する（ステップ３５１２）。これは一例であり、他の方法、例えばフラッシュメモリのような外部記憶媒体を介することによってデータの受け渡しを行ってもよい。

次に、ユーザがクライアントＰＣ２９００の操作部３１０３を操作し、携帯情報端末１０１のメモリ２０６に格納されている該当日の巡視結果、設備の撮影画像及び全方向画像モデルを、クライアントＰＣ２９００のＩ／Ｏ３１０１及び携帯情報端末１０１のＩ／Ｏ３０００を介してクライアントＰＣ２９００のメモリ３１０５に格納する（ステップ３５１３）。

次に、クライアントＰＣ２９００は、メモリ３１０５に格納されたデータを有線又は無線ネットワーク２９０１を介してサーバシステム１００に送信する。サーバシステム１００は、クライアントＰＣ２９００から受信したデータをメモリ３０６に一時格納し、そこからデータベース３０３の各データを格納することでデータベース３０３を更新する（ステップ３５１４）。

ステップ３５１４が終了したら、ユーザは、クライアントＰＣ２９００から携帯情報端末１０１を取り外す（ステップ３５１５）。

以上の本発明の第３の実施形態によると、携帯情報端末１０１とサーバシステム１００とがネットワークを介して接続されておらず、携帯情報端末１０１による処理は全てオフライン処理となるので、山間地のようなネットワーク環境の悪い場所における設備の巡視点検も問題なく支援することができる。

実施例５として、図１３の巡視作業支援システム全体の処理フローチャートにおける処理ステップ１３０１、１３０２（撮影条件付加プログラム３０９）及び１３０５の処理手順が異なることを除いて実施例１と同様の巡視作業支援システムの一例を説明する。以下に説明する相違点を除き、実施例５の巡視作業支援システムの各部は、実施例１の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。

実施例１においては、撮影条件付加プログラム３０９は、撮影した対象設備２１１を特定する処理において、ＧＰＳから取得した位置情報を巡視作業員が撮影した位置とし、加速度センサ値と地磁気センサ値から算出した端末の方位角（姿勢角Ａ）で撮影した場合に撮影可能な設備を設備情報データ４００から検索することによって撮影した対象設備２１１がどのＩＤを持つ設備であるかを特定している。しかし、本実施例では、これらの情報を用いずに、ユーザに自分が撮影している位置及び撮影している対象設備２１１を地図上で入力してもらう。

本実施例のシステム構成と処理手順は基本的に実施例１と同様であるため、説明は省略するが、実施例１の処理とは異なる図１３の巡視作業支援システム全体の処理フローチャートにおける処理ステップ１３０１、１３０２（撮影条件付加プログラム３０９）、１３０５の処理手順について以下に説明する。

図３６は、本発明の実施例５の巡視作業支援システムの処理の詳細を示すフローチャートであり、具体的には、図１３の巡視作業支援システム全体の処理フローチャートにおける処理ステップ１３０１、１３０２（撮影条件付加プログラム３０９）、１３０５の詳細を示す。図３６において、ステップ３６００、３６０１、３６０２、３６０３、３６０４及び３６０５が携帯情報端末１０１による処理を示し、ステップ３６０６、３６０７及び３６０８はサーバシステム１００による処理を示す。特に、ステップ３６０６は撮影条件付加プログラム３０９の処理を示す。

まず、巡視、点検を行っている巡視員が対象設備の付近で携帯情報端末１０１の操作部２０５を操作することで撮影部２０９に対象設備２１１の撮影を指示する（ステップ３６００）。

巡視員の撮影指示を受けた撮影部２０９が対象設備２１１を撮影し、撮影によって取得された画像データをメモリ２０６に格納する（ステップ３６０１）。

巡視員からの撮影指示をトリガとして、日時取得部２０２は撮影を実行した日時を取得し、メモリに格納する（ステップ３６０２）。

巡視員からの撮影指示をトリガとして、位置情報取得部２０３がＧＰＳ衛星２１０から携帯情報端末の位置情報を取得し、３軸加速度センサ２０７は端末のｘ、ｙ、ｚ軸方向の加速度を取得し、３軸地磁気センサ２０８は端末のｘ、ｙ、ｚ軸方向の地磁気を取得し、それらをメモリ２０６に格納する（ステップ３６０３）。

次に、携帯情報端末１０１は、表示部２０１にＧＰＳから取得した位置情報の示す端末位置近辺の地図および設備位置を表示し、巡視員に撮影位置と撮影した設備を入力してもらい、その情報をメモリに格納する（ステップ３６０４）。

図３７は、本発明の実施例５の巡視作業支援システムにおける対象設備の入力処理の一例を示す説明図である。具体的には、図３７は、ステップ３６０４におけるユーザに撮影位置と撮影した設備を入力してもらう表示部２０１の一例を示す。

携帯情報端末１０１の表示部２０１には、ＧＰＳから取得した位置情報に基づき、その位置情報の示す端末位置近辺の地図３７００及び設置されている設備の位置３７０１が表示されている。例えば、表示部２０１がタッチパネルで構成されているならば、地図３７００上を巡視員が指３７０４でタッチすることで撮影位置を入力し、表示されている設備をタッチすることで、撮影した対象設備２１１を入力する。図３７には、撮影位置３７０３が入力され、撮影した対象設備２１１として、設備ＩＤ１０４によって識別される設備３７０２が入力された例を示す。

ステップ３６０１〜３６０４によってメモリ２０６に格納された情報（撮影画像、携帯情報端末の位置情報、撮影日時、加速度、地磁気、ユーザが入力した撮影位置情報、ユーザが入力した対象設備）を無線通信部２００がネットワーク１０２を介してサーバシステム１００に送信する（ステップ３６０５）。

サーバシステム１００は、ステップ３６０５で携帯情報端末１０１から送信された撮影画像と情報（携帯情報端末の位置情報、撮影日時、加速度、地磁気、ユーザが入力した撮影位置情報、ユーザが入力した対象設備）をメモリ３０６に格納する（ステップ３６０６）。

撮影条件付加プログラム３０９は、撮影画像データと情報（携帯情報端末の位置情報、撮影日時、加速度、地磁気、ユーザが入力した撮影位置情報、ユーザが入力した対象設備）とデータベース３０３に含まれる設備情報データ４００を用いて撮影条件（設備ＩＤ、撮影距離、撮影方角、携帯情報端末の撮影時の姿勢角（Ａ、Ｂ、Ｃ）、撮影日時、撮影位置情報等）を算出し、撮影画像にメタデータとして付加する（ステップ３６０７）。実施例１の撮影条件付加プログラム３０９は、角度Ａ（＝端末の向く方位角）とＧＰＳから取得した端末の位置情報とデータベース３０３における設備情報データ４００に格納されている設備位置情報から撮影画像に写っている設備のＩＤを特定していたが、本実施例では、ユーザが入力した端末の位置情報とユーザが入力した対象設備情報をそのまま用いる。

なお、図３７に示すように、携帯情報端末１０１の表示部２０１に地図３７００及び設備の位置３７０１を表示するためには、携帯情報端末１０１が少なくとも現在位置の周辺の地図情報及び現在位置の周辺に存在する設備の位置情報を保持している必要がある。それらの情報を取得するために、携帯情報端末１０１は、必要に応じてサーバシステム１００と通信し、設備情報データ４００及び地図データ４０３の少なくとも一部をダウンロードしてもよい。携帯情報端末１０１は、対象設備２１１を入力するために巡視員が指定した位置の地図上の座標値を特定し、特定された座標値と設備情報データ４００とを照合することで、入力された対象設備２１１の設備ＩＤを特定し（ステップ３６０４）、その結果をサーバシステム１００に送信する（ステップ３６０５）。

サーバシステム１００は、撮影条件付加プログラム３０９によって撮影条件が付加された撮影画像を、対応する設備ＩＤが示す設備画像データ４０１に格納する（ステップ３６０８）。

以上で説明したように、実施例１における撮影条件付加プログラム３０９は、撮影した対象設備を特定する処理において、ＧＰＳから取得した位置情報と、加速度センサ値及び地磁気センサ値から算出した端末の方位角（姿勢角Ａ）とに基づいて、撮影可能な設備を設備情報データ４００から検索することによって撮影した設備がどのＩＤを持つ設備であるかを特定しているのに対し、本実施例では、これらの情報を用いずに、ユーザに自分が撮影している位置と撮影している設備を地図上で入力してもらう。本実施例におけるユーザに撮影位置と撮影設備を入力してもらうことで撮影位置と撮影設備を特定する機能は、実施例１以外にも、実施例２〜４における巡視支援システム構成においても適用することが可能であるのは言うまでもない。

以上、本発明の実施形態について、添付の図面を参照して詳細に説明したが、本発明はこのような具体的構成に限定されるものではなく、添付した請求の範囲の趣旨内における様々な変更及び同等の構成を含むものである。

例えば、上記の実施例１から５は、電柱等の電力配電設備の巡視作業を支援するために本発明を適用する実施形態であるが、本発明は、巡視作業の支援に限らず、対象物の状態の変化（例えば経年変化）を管理するためのシステム、サーバ及び端末に幅広く適用することができる。

また、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶デバイス、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。

また、図面には、実施形態を説明するために必要と考えられる制御線及び情報線を示しており、必ずしも、本発明が適用された実際の製品に含まれる全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

１００ サーバシステム
１０１ 携帯情報端末
１０２ ネットワーク
２００ 無線通信部
２０１、３０５ 表示部
２０２ 日時取得部
２０３ 位置情報取得部
２０４、３００ ＣＰＵ
２０５、３０４ 操作部
２０６、３０６ メモリ
２０７ ３軸加速度センサ
２０８ ３軸地磁気センサ
２０９ 撮影部
２１０ ＧＰＳ衛星
２１１ 対象設備
３０１ ネットワークインタフェース
３０２ Ｉ／Ｏ
３０３ データベース
３０７ データバス

Claims (13)

1. 対象物の画像を撮影する撮影部と、前記撮影部の位置を計測する位置情報取得部と、前記撮影部の姿勢を計測する姿勢情報取得部と、一つ以上のプロセッサと、前記一つ以上のプロセッサに接続される一つ以上のメモリと、を有し、
   前記一つ以上のメモリは、過去に複数の方向から前記対象物を撮影した複数の画像と、前記対象物の外観のうち、前記複数の画像の各々に含まれる部分を、前記複数の画像の各々の撮影部分として特定する情報と、を含む画像モデル、及び、前記対象物の位置情報を保持し、
   前記一つ以上のプロセッサは、
   前記位置情報取得部が計測した前記撮影部の位置、前記姿勢情報取得部が計測した前記撮影部の姿勢、及び前記対象物の位置情報に基づいて、前記対象物の外観のうち、前記撮影部が撮影した画像に含まれる部分を第１撮影部分として特定し、さらに、前記位置情報取得部が計測した前記撮影部の位置、前記姿勢情報取得部が計測した前記撮影部の姿勢、及び前記画像モデルに含まれる前記複数の画像の撮影部分を特定する情報に基づいて、前記画像モデルに含まれる前記第１撮影部分の画像を特定する第１手順と、
   前記撮影部が撮影した画像に含まれる前記第１撮影部分の画像と、前記画像モデルに含まれる前記第１撮影部分の画像とを比較する第２手順と、
   前記第２手順の比較の結果を出力する第３手順と、を実行することを特徴とする状態変化管理システム。
2. 請求項１に記載の状態変化管理システムであって、
   前記撮影部は、複数の方向から前記対象物の複数の画像を撮影し、
   前記位置情報取得部及び前記姿勢情報取得部は、それぞれ、前記複数の画像の各々が撮影されたときの前記撮影部の位置及び姿勢を計測し、
   前記一つ以上のプロセッサは、
   計測された前記撮影部の位置、姿勢、及び前記対象物の位置情報に基づいて、前記対象物の外観のうち、前記複数の画像の各々に含まれる部分を前記撮影部分として特定し、前記複数の画像の各々に含まれる前記撮影部分の画像と、前記撮影部分を特定する情報と、を含む新たな前記画像モデルを生成する第４手順と、
   前記新たな画像モデルを前記一つ以上のメモリに格納する第５手順と、を実行することを特徴とする状態変化管理システム。
3. 請求項２に記載の状態変化管理システムであって、
   前記複数の画像の各々の前記撮影部分を特定する情報は、前記撮影部分の方位角及び高さを示す情報であり、
   前記第４手順は、
   前記一つ以上のプロセッサが、前記複数の画像の各々が撮影されたときの前記撮影部の位置と、前記対象物の位置情報と、から計算された前記撮影部と前記対象物との距離に基づいて、前記複数の画像のスケールが同一になるように前記複数の画像の少なくとも一つを拡大又は縮小する手順と、
   前記一つ以上のプロセッサが、前記複数の画像の各々に含まれる前記撮影部分の画像を、横軸を方位角、縦軸を地面からの高さとする２次元空間上の、前記複数の画像の各々の前記撮影部分の方位角及び高さに対応する位置に配置することによって、前記新たな画像モデルを生成する手順と、を含み、
   前記新たな画像モデルは、前記対象物の全方位の外観の画像を含むことを特徴とする状態変化管理システム。
4. 請求項２に記載の状態変化管理システムであって、
   前記一つ以上のプロセッサは、前記第５手順を実行する前に、前記複数の画像に含まれる前記対象物の外観の同一の部分の画像の輝度の平均値が同一になるように、前記複数の画像の各々の輝度を補正する手順を実行することを特徴とする状態変化管理システム。
5. 請求項１に記載の状態変化管理システムであって、
   前記一つ以上のプロセッサは、前記第２手順を実行する前に、前記撮影部が撮影した画像に含まれる前記撮影部分の画像の輝度の平均値と、前記画像モデルに含まれる前記撮影部分の画像の輝度の平均値とが等しくなるように、前記撮影部が撮影した画像に含まれる前記撮影部分の画像の輝度又は前記画像モデルに含まれる前記撮影部分の画像の輝度の少なくとも一方を補正する手順を実行することを特徴とする状態変化管理システム。
6. 請求項１に記載の状態変化管理システムであって、
   前記一つ以上のプロセッサに接続される表示部を有し、
   前記表示部は、
   前記撮影部が撮影した画像に含まれる前記撮影部分の画像を表示し、
   前記一つ以上のプロセッサによる比較の結果、前記撮影部が撮影した画像に含まれる前記撮影部分の画像と、前記画像モデルに含まれる前記撮影部分の画像と、の少なくとも一部が相違すると判定された場合、前記撮影部が撮影した画像に含まれる前記撮影部分の画像のうち、前記少なくとも一部を強調表示し、さらに、前記画像モデルに含まれる前記撮影部分の画像のうち、前記少なくとも一部を表示することを特徴とする状態変化管理システム。
7. 請求項２に記載の状態変化管理システムであって、
   ネットワークに接続されるサーバ装置と、無線通信によって前記ネットワークに接続される端末装置と、を有し、
   前記サーバ装置は、前記ネットワークに接続されるネットワークインタフェースと、前記ネットワークインタフェースに接続される、前記一つ以上のプロセッサの一つである第１プロセッサと、前記第１プロセッサに接続される、前記一つ以上のメモリの一つである第１メモリと、を有し、
   前記第１メモリは、前記画像モデル及び前記対象物の位置情報を保持し、
   前記端末装置は、無線通信を行う無線通信部と、前記無線通信部に接続される、前記一つ以上のプロセッサの一つである第２プロセッサと、前記第２プロセッサに接続される、前記一つ以上のメモリの一つである第２メモリと、前記第２プロセッサに接続される前記撮影部と、前記第２プロセッサに接続される前記位置情報取得部と、前記第２プロセッサに接続される前記姿勢情報取得部と、前記第２プロセッサに接続される表示部と、を有し、
   前記端末装置は、前記撮影部が撮影した前記対象物の複数の画像と、前記複数の画像の各々が撮影されたときの前記撮影部の位置及び姿勢を示す情報と、を前記サーバ装置に送信し、
   前記第１プロセッサは、前記端末装置から受信した情報、及び、前記第１メモリに保持された情報に基づいて、前記第１手順、前記第２手順、前記第３手順、前記第４手順及び前記第５手順を実行し、
   前記第３手順は、前記比較の結果を前記端末装置に送信する手順を含み、
   前記表示部は、前記比較の結果を表示することを特徴とする状態変化管理システム。
8. 請求項２に記載の状態変化管理システムであって、
   ネットワークに接続されるサーバ装置と、無線通信によって前記ネットワークに接続される端末装置と、を有し、
   前記サーバ装置は、前記ネットワークに接続されるネットワークインタフェースと、前記ネットワークインタフェースに接続される、前記一つ以上のプロセッサの一つである第１プロセッサと、前記第１プロセッサに接続される、前記一つ以上のメモリの一つである第１メモリと、を有し、
   前記第１メモリは、前記画像モデル及び前記対象物の位置情報を保持し、
   前記端末装置は、無線通信を行う無線通信部と、前記無線通信部に接続される、前記一つ以上のプロセッサの一つである第２プロセッサと、前記第２プロセッサに接続される、前記一つ以上のメモリの一つである第２メモリと、前記第２プロセッサに接続される前記撮影部と、前記第２プロセッサに接続される前記位置情報取得部と、前記第２プロセッサに接続される前記姿勢情報取得部と、前記第２プロセッサに接続される表示部と、を有し、
   前記サーバ装置は、前記第１メモリに保持された前記画像モデルの少なくとも一部及び前記対象物の位置情報の少なくとも一部を前記端末装置に送信し、前記端末装置は、前記サーバ装置から受信した情報を前記第２メモリに保持し、
   前記端末装置は、前記撮影部が撮影した前記対象物の複数の画像と、前記複数の画像の各々が撮影されたときの前記撮影部の位置及び姿勢を示す情報と、を前記サーバ装置に送信し、
   前記第２プロセッサは、前記撮影部、前記位置情報取得部及び前記姿勢情報取得部から取得した情報、及び前記第２メモリに保持された情報に基づいて、前記第１手順、前記第２手順及び前記第３手順を実行し、
   前記第３手順は、前記第２プロセッサが、前記比較の結果を前記表示部に表示させる手順を含み、
   前記第１プロセッサは、前記端末装置から受信した情報、及び、前記第１メモリに保持された情報に基づいて、前記第４手順及び前記第５手順を実行することを特徴とする状態変化管理システム。
9. 請求項２に記載の状態変化管理システムであって、
   ネットワークに接続されるサーバ装置と、無線通信によって前記ネットワークに接続される端末装置と、を有し、
   前記サーバ装置は、前記ネットワークに接続されるネットワークインタフェースと、前記ネットワークインタフェースに接続される、前記一つ以上のプロセッサの一つである第１プロセッサと、前記第１プロセッサに接続される、前記一つ以上のメモリの一つである第１メモリと、を有し、
   前記第１メモリは、前記画像モデル及び前記対象物の位置情報を保持し、
   前記端末装置は、無線通信を行う無線通信部と、前記無線通信部に接続される、前記一つ以上のプロセッサの一つである第２プロセッサと、前記第２プロセッサに接続される、前記一つ以上のメモリの一つである第２メモリと、前記第２プロセッサに接続される前記撮影部と、前記第２プロセッサに接続される前記位置情報取得部と、前記第２プロセッサに接続される前記姿勢情報取得部と、前記第２プロセッサに接続される表示部と、を有し、
   前記サーバ装置は、前記第１メモリに保持された前記画像モデルの少なくとも一部及び前記対象物の位置情報の少なくとも一部を前記端末装置に送信し、前記端末装置は、前記サーバ装置から受信した情報を前記第２メモリに保持し、
   前記第２プロセッサは、前記撮影部、前記位置情報取得部及び前記姿勢情報取得部から取得した情報、及び前記第２メモリに保持された情報に基づいて、前記第１手順、前記第２手順、前記第３手順、前記第４手順及び前記第５手順を実行し、
   前記第３手順は、前記第２プロセッサが、前記比較の結果を前記表示部に表示させる手順を含み、
   前記端末装置は、前記第５手順によって生成された前記新たな画像モデルを前記サーバ装置に送信し、
   前記サーバ装置は、前記端末装置から受信した前記新たな画像モデルを前記第１メモリに格納することを特徴とする状態変化管理システム。
10. ネットワークに接続されるネットワークインタフェースと、前記ネットワークインタフェースに接続されるプロセッサと、前記プロセッサに接続されるメモリと、を有し、
    前記メモリは、過去に複数の方向から対象物を撮影した複数の画像と、前記対象物の外観のうち、前記複数の画像の各々に含まれる部分を、前記複数の画像の各々の撮影部分として特定する情報と、を含む画像モデル、及び、前記対象物の位置情報を保持し、
    前記プロセッサは、
    前記ネットワークインタフェースを介して、撮影部が複数の方向から前記対象物を撮影した複数の画像、前記複数の画像の各々が撮影されたときの前記撮影部の位置及び姿勢の情報を受信すると、前記撮影部の位置、姿勢及び前記対象物の位置情報に基づいて、前記対象物の外観のうち、前記複数の画像の各々に含まれる部分を前記撮影部分として特定し、前記複数の画像の各々に含まれる前記撮影部分の画像と、前記撮影部分を特定する情報と、を含む新たな画像モデルを生成する第４手順と、
    前記新たな画像モデルを前記メモリに格納する第５手順と、を実行することを特徴とする状態変化管理サーバ。
11. 請求項１０に記載の状態変化管理サーバであって、
    前記プロセッサは、
    前記ネットワークインタフェースを介して、撮影部が撮影した前記対象物の画像、前記撮影部の位置及び前記撮影部の姿勢の情報を受信すると、前記受信した情報及び前記対象物の位置情報に基づいて、前記対象物の外観のうち、前記撮影部が撮影した画像に含まれる部分を第１撮影部分として特定し、さらに、前記受信した情報及び前記画像モデルに含まれる前記複数の画像の撮影部分を特定する情報に基づいて、前記画像モデルに含まれる前記第１撮影部分の画像を特定する第１手順と、
    前記撮影部が撮影した画像に含まれる前記第１撮影部分の画像と、前記画像モデルに含まれる前記第１撮影部分の画像とを比較する第２手順と、
    前記第２手順の比較の結果を出力する第３手順と、を実行することを特徴とする状態変化管理サーバ。
12. 対象物の画像を撮影する撮影部と、前記撮影部の位置を計測する位置情報取得部と、前記撮影部の姿勢を計測する姿勢情報取得部と、プロセッサと、前記プロセッサに接続されるメモリと、を有し、
    前記メモリは、過去に複数の方向から前記対象物を撮影した複数の画像と、前記対象物の外観のうち、前記複数の画像の各々に含まれる部分を、前記複数の画像の各々の撮影部分として特定する情報と、を含む画像モデル、及び、前記対象物の位置情報を保持し、
    前記プロセッサは、
    前記位置情報取得部が計測した前記撮影部の位置、前記姿勢情報取得部が計測した前記撮影部の姿勢、及び前記対象物の位置情報に基づいて、前記対象物の外観のうち、前記撮影部が撮影した画像に含まれる部分を第１撮影部分として特定し、さらに、前記位置情報取得部が計測した前記撮影部の位置、前記姿勢情報取得部が計測した前記撮影部の姿勢、及び前記画像モデルに含まれる前記複数の画像の撮影部分を特定する情報に基づいて、前記画像モデルに含まれる前記第１撮影部分の画像を特定する第１手順と、
    前記撮影部が撮影した画像に含まれる前記第１撮影部分の画像と、前記画像モデルに含まれる前記第１撮影部分の画像とを比較する第２手順と、
    前記第２手順の比較の結果を出力する第３手順と、を実行することを特徴とする状態変化管理端末。
13. 請求項１２に記載の状態変化管理端末であって、
    前記撮影部は、複数の方向から前記対象物の複数の画像を撮影し、
    前記位置情報取得部及び前記姿勢情報取得部は、それぞれ、前記複数の画像の各々が撮影されたときの前記撮影部の位置及び姿勢を計測し、
    前記プロセッサは、
    計測された前記撮影部の位置、姿勢、及び前記対象物の位置情報に基づいて、前記対象物の外観のうち、前記複数の画像の各々に含まれる部分を前記撮影部分として特定し、前記複数の画像の各々に含まれる前記撮影部分の画像と、前記撮影部分を特定する情報と、を含む新たな前記画像モデルを生成する第４手順と、
    前記新たな画像モデルを前記メモリに格納する第５手順と、を実行することを特徴とする状態変化管理端末。