JP2021174216A - 設備点検システム、設備点検方法 - Google Patents

Abstract

【課題】設備状態（計器類の指示値・外観経年変化）の正確な把握を可能とする。【解決手段】基準モデル生成ステージＡは、監視対象となる設備１０全体の三次元形状を計測した三次元形状データと、設備１０全体を多数箇所から撮影した設備１０の多数箇所画像群とに基づき表面画像モデルを作成する。点検時表面画像作成ステージＢは、巡視点検ロボット３が自動運転により変電所内を巡視点検した際に撮影された設備１０の画像データを基準表面画像モデルの対応する箇所へ貼り付けて設備１０の点検時表面画像モデルを作成する。読取ステージＣでは、設備１０の基準表面画像モデル上のメータ１４付近に指示値を読み取るための仮想読取カメラ１２を設置し、仮想読取カメラ１２から得られたメータ画像１３からメータ１４の指示値を読み取る。【選択図】図２

Description

本発明は、変電所などの施設を巡視して点検するシステムであって、特に撮影画像を基に施設の設備状態を点検する技術に関する。

近年、変電所などの現地に巡視点検ロボットと現地車両基地を配置し、管理事務所に監視端末を設置することにより、変電所の設備状態を遠隔監視で点検するシステムが提案されている。

ところが、設備点検にあたってメータなどの計器類を読み取る必要がある場合、計器類の指示値を遠隔から画像を閲覧した作業員が目視で確認しなければならず、正確な読み取りが困難な場合があった。

また、設備の汚損・油汚れ・破損・異物などの外観の異常の有無も、遠隔から画像を閲覧した作業員が目視で確認しなければならず、見過ごしなど正確な監視が困難な場合もあった。

そこで、特許文献１では、携帯端末で対象物を複数方向から撮影して対象物の全方向画像モデルを作成し、過去の全方向画像モデルと現在撮影した画像の全方向画像モデルとの差異を検出し、計器類の指示値を読み取っている。

特開２０１５−１７５６ 特開２０１７−１２６１８７ 特開２００５−３３９１２７

三浦他、"カメラの移動撮影に基づく簡便で高精度な３次元形状計測システム" 第１８回画像センシングシンポジウム，ＩＳ４−２１，２０１２

特許文献１の全方向画像モデルは、電柱を円筒と仮定して複数方向から携帯端末で撮影した電柱の画像を円筒上に合成して作成する。また、設備の点検時には撮影した画像と同じ方向から見た画像を全方向画像モデルから切り出し、点検時の画像と切り出した画像との差異を検出している。

しかしながら、特許文献１は、電柱のような円筒形状の設備以外には用いることができない。また、画像の撮影方向は携帯端末のＧＰＳの位置情報を基にしていることから位置精度が不十分な場合がある。そのため、画像を比較する際に画像の位置ずれが生じ、計器類の指示値などを正しく読み取れず、正確な把握が困難なおそれがある。

本発明は、このような従来の問題を解決するためになされ、設備状態（計器類の指示値・外観経年変化）を正確に把握することを解決課題としている。

（１）本発明の一態様は、施設における設備の状態を撮影画像に基づき点検するシステムであって、
前記設備の複数個所の計測データを合成することで三次元形状データを作成する三次元形状データ作成部と、
前記設備の複数個所を撮影した多数箇所画像群を取得し、前記三次元形状データの表面に前記多数箇所画像群を貼り付けて基準表面画像モデルを作成する基準表面画像モデル作成部と、
前記多数箇所画像群を構成する各基準画像と、前記点検時に前記基準画像と同様に撮影された点検時画像との特徴点を対応付けし、前記点検画像データの撮影位置および撮影方向を推定する推定部と、
前記撮影位置および前記撮影方向に基づき点検画像を基準表面画像モデルに貼り付けることで前記三次元形状データの表面を更新し、前記設備の点検に用いられる点検時表面画像モデルを作成する点検時表面画像モデル作成部と、を備える。

（２）本発明の他の態様は、施設における設備の状態を撮影画像に基づき点検するシステムの実行する方法であって、
前記設備の複数個所の計測データを合成することで三次元形状データを作成する三次元形状データ作成ステップと、
前記設備の複数個所を撮影した多数箇所画像群を取得し、前記三次元形状データの表面に前記多数箇所画像群を貼り付けて基準表面画像モデルを作成する基準表面画像モデル作成ステップと、
前記多数箇所画像群を構成する各基準画像と、前記点検時に前記基準画像と同様に撮影された点検時画像との特徴点を対応付けし、前記点検画像データの撮影位置および撮影方向を推定する推定ステップと、
前記撮影位置および前記撮影方向に基づき点検画像を基準表面画像モデルに貼り付けることで前記三次元形状データの表面を更新し、前記設備の点検に用いられる点検時表面画像モデルを作成する点検時表面画像モデル作成ステップと、を有する。

本発明によれば、設備状態（計器類の指示値・外観経年変化など）を正確に把握することができる。

本発明の実施形態に係る設備点検システムを用いた遠方監視システムの全体構成図。 （ａ）（ｂ）（ｃ）は、共に実施例１の設備点検システムの実行する各ステージの概要図。 （ａ）（ｂ）は、同「３Ｄ−ＬｉＤＡＲ」の設置位置を変えて複数個所から設備の三次元形状を計測する状態を示す概略図。 同設備の三次元形状データを作成する状態を示す概要図。 （ａ）（ｂ）は、同カメラの設置位置を変えて設備の多数箇所画像群を撮影する状態を示す概要図。 同三次元形状データに設備の多数箇所画像群を貼り付ける処理を示す模式図。 同基準表面画像モデル作成システムの構成図。 同点検画像のカメラ設置位置および向きの推定方法を示す模式図。 同基準表面画像モデルに点検画像を貼り付ける処理を示す模式図。 同点検時表面画像作成システムの構成図。 （ａ）は同読取ステージの読取仮想カメラを設定するプロセスを示す概要図、（ｂ）は同メータ画像を生成するプロセスを示す概要図、（ｃ）は同メータ指示値を読み取るプロセスを示す概要図。 同読取仮想カメラ設定システムの構成図。 同読取システムの構成図。 実施例２の読取仮想カメラ設定システムの構成図。 同読取仮想カメラの座標の決定例を示す模式図。 実施例３の読取仮想カメラ設定システムの構成図。 同読取仮想カメラの座標の決定例を示す模式図。 実施例４の設備点検システムの実行する各ステージの概要図 同小領域画像生成の概要図。 同小領域画像生成システムの構成図。 同正規化相関による設備状態の算出方法を示すチャート図。 同設備状態値算出システムの構成図。 同時系列設備状態グラフの作成方法の概要図。 同外観異常の有無を判定する方法の概要図。 同外観上の異常が二箇所ある設備を示す概略図。 同汚れの模様が次第に広がっていく場合の異常検出例。 同飛来物による表面模様の異常検出例。 実施例５の設備状態値算出システムの構成図。 同ＲＧＢ絶対値差分値による設備状態値の算出方法を示すチャート図。 同外観異常の有無を判定する方法の概要図。 実施例６の正規化相関値とＲＧＢ絶対値差分値とを結合した設備状態値の算出方法を示すチャート図。 同 設備状態値算出システムの構成図。

以下、本発明の実施形態に係る設備点検システムを説明する。この設備点検システムは、変電所などの施設を巡視点検ロボットで巡回し、巡回中に撮影された画像に基づき施設の設備状態を監視することで設備点検を実施する。

点検内容としては、例えば（１）設備に設置されたメータなどの計器類の読み取り、（２）設備の汚損・油汚れ・破損・異物などの外観異常（表面模様の付着や色合いの変化など）の有無などが挙げられる。

図１は、前記設備点検システムを設備の遠方監視システムとして利用した実施形態を示し、該遠方監視システムは山間部などの遠隔地に所在する無人の変電所１を市街地に所在する管理事務所２から遠隔で監視する。この変電所１内には、巡視点検ロボット３と、該ロボット３の基地４とが配置されている一方、管理事務所２には監視端末６が設置されている。

この基地４内に設置された現地サーバ７と監視端末６とは、ネットワーク５経由でデータ送受信自在に接続されている。この巡視点検ロボット３は、自動的に変電所１内の点検ルートを走行する一方、巡視点検の際に監視対象となっている設備１０（図２参照）付近の監視点に停車する。

この停車時には、設備を搭載されたカメラ３ａで撮影し、撮影画像を現地サーバ７に保管する。このとき現地サーバ７は、巡視点検ロボット３の撮影した画像データを解析し、解析の結果として自動的に設備１０の情報を読み取る。読み取る情報としては、例えば監視対象の設備１０に設置されたメータ１４（図２参照）の指示値、あるいは設備１０の外観経年の変化などが挙げられる。

ここで読み取られた情報は、ネットワーク５経由で監視端末６に送信され、遠隔の発電所１内に配置された設備１０の保守・点検に利用される。このような前記設備点検システムの詳細を実施例１〜６に基づき説明する。

なお、各実施例の前記設備点検システムは、コンピュータのハードウェアリソース（ＣＰＵ，ＲＡＭ，ＲＯＭ，ＨＤＤ，ＳＳＤなど）とソフトウェアリソース（ＯＳ，アプリケーションなど）との協働の結果、現地サーバ７に実装されているものとする。

≪実施例１≫
実施例１は、前記設備点検システムを設備１０の保守点検時のメータ読取に用いている。すなわち、前記設備点検システムは、計器自動読み取りシステムとして用いられており、図２中のステージＡ〜Ｃを実行する。
Ａ：基準表面画像モデル作成ステージ
Ｂ：点検時表面画像モデル作成ステージ
Ｃ：読取ステージ
基準モデル生成ステージＡは、保守点検時のメータ読取にあたって事前に実行され、設備１０の全体の三次元形状を計測した三次元形状データと、設備１０の全体を多数箇所から撮影した多数箇所画像群とに基づき該設備１０の表面画像モデルを作成する。このステージＡは、図７の基準表面画像モデル作成システム１００により実行される。

点検時表面画像モデル作成ステージＢは、巡視点検ロボット３が自動運転により変電所１内を巡視点検した際に撮影した設備１０の画像データを基準表面画像モデルの対応箇所へ貼り付けて、設備１０の点検時表面画像モデルを作成する。このステージＢは、図１０の点検時表面画像モデル作成ステージＢにより実行される。

読取ステージＣでは、設備１０の基準表面画像モデル上のメータ１４付近に該メータ１４の指示値を読み取るための仮想カメラ１２を設置し、仮想カメラ１２から得られたメータ画像１３からメータ１４の指示値を読み取る。このステージＣは、図１２の読取仮想カメラ設定システム３０１および図１３の読取システム３０２により実行される。以下、ステージＡ〜Ｃ毎に処理内容を説明する。

＜基準表面画像モデル作成ステージＡ＞
図３〜図７に基づき基準表面画像モデル作成ステージＡの詳細を説明する。このステージＡでは、前述のように基準表面画像モデル作成システム１００により、設備１０の三次元形状データに多数箇所画像群データを貼り付けた基準表面モデルが作成される。この基準表面画像モデル作成システム１００は、図７に示すように、記憶部１７，三次元形状データ作成部１８，基準表面画像モデル作成部１９，出力部２２で構成されている。

（１）三次元データの作成
設備１０の基準表面モデルの作成にあたっては、まず監視対象の設備１０の三次元データを作成する。すなわち、図３に示すように、監視対象の設備１０に対して、三次元距離センサ１１を用いて三次元形状を計測し、複数個所から計測された三次元形状を合成して設備１０全体の三次元データを作成する。

この三次元距離センサ１１としては「３Ｄ−ＬｉＤＡＲ」が用いられる。以下、「３Ｄ−ＬｉＤＡＲ」１１とする。この「３Ｄ−ＬｉＤＡＲ」１１は、レーザにより対象物の三次元形状を計測する装置である。

ここでは設備１０に対して、図３（ａ）（ｂ）に示すように、「３Ｄ−ＬｉＤＡＲ」１１の設置位置を変えながら複数個所の三次元形状を計測する。このとき「３Ｄ−ＬｉＤＡＲ」１１の設置位置および向き（計測方向）は、「３Ｄ−ＬｉＤＡＲ」１１と同時に設置された測量用プリズム１６の位置を測量器１５で精密測定することで求める。

計測された設備１０の各三次元形状と、「３Ｄ−ＬｉＤＡＲ」１１の設置位置および向きとは、図７に示すように、それぞれ記録部１７に保存される。また、三次元形状データ作成部１８は、記憶部１７の保存情報（設備１０の各三次元形状，「３Ｄ−ＬｉＤＡＲ」１１の設置位置および向き）を取得し、設備１０全体の三次元形状を作成する。

具体的には、図４に示すように、複数個所から計測した三次元形状を測量器１５で精密測定した「３Ｄ−ＬｉＤＡＲ」１１の設置位置および向きを基に合成し、設備１０全体の三次元形状データを作成する。作成された三次元形状データは、記憶部１７に保存される。

（２）多数箇所画像群の作成
つぎに設備１０の多数箇所画像群データを作成する。詳細を説明すれば、図５に示すように、あらかじめ監視対象である設備１０に対してカメラ３ｂを用いて画像を撮影し、多数箇所から撮影することで設備１０の多数箇所画像群を作成する。この多数箇所画像群の各画像を基準画像と呼ぶ。

このとき図５（ａ）（ｂ）に示すように、設備１０に対してカメラ３ｂのカメラ設置位置を変えながら画像を撮影するものとする。また、カメラ３ｂのカメラ設置位置（撮影位置）および向き（撮影方向）を、三次元形状作成プロセスと同様に測量用プリズム１６の位置を測量器１５で精密測定する。ここで測定されたカメラ３ｂのカメラ設定位置および向きをカメラ設定値と呼ぶ。

（３）基準表面画像モデルの作成
基準表面画像モデル作成部１９は、図７に示すように、記憶部１７から設備１０の三次元形状データ・多数箇所画像群・カメラ設定値を取得する。ここで取得した設備１０の三次元形状データに多数箇所画像群をテクスチャマッピングにより貼り付けることで三次元形状データの表面に画像を貼付した設備１０の基準表面画像モデルを作成する。
この作成には、例えば特許文献３と同様な手法を用いることができる。作成された基準表面モデル作成は、図７に示すように、記憶部１７に入力されて保存される。なお、出力部２２は、記憶部１７に保存された各情報（多数箇所画像群のデータ、カメラ３ｂの設置位置および向き、基準表面画像モデル）を外部へ出力ことができる。

＜点検時表面画像モデル作成ステージＢ＞
図８〜図１０に基づき点検時表面画像モデル作成ステージＢの詳細を説明する。
このプロセスＢを実行する点検時表面画像モデル作成システム２００は、図１０に示すように、記憶部１７，点検カメラ設置位置・向き推定部２０，点検時表面画像モデル作成部２１，出力部２３で構成されている。
（１）処理内容の詳細を説明すれば、巡視点検ロボット３は、巡視点検時に自動走行により施設１０の予め定められた箇所の画像を順次に撮影する。この巡視点検時に撮影された画像を点検画像と呼ぶ。

このとき巡視点検ロボット３は、毎回同じ位置に停止し、カメラ設定値の位置および向きにカメラ３ａを設定する。ここで撮影された点検画像は、撮影時に設定されたカメラ設定値と併せて記憶部１７に保存される。

ところが、実際には巡視点検毎に停止位置やカメラ３ａの向きが、カメラ設定値と若干相違することが少なくない。そこで、点検画像と基準画像とを基に特徴点ベースの対応付けを行って、点検画像の実際の撮影時におけるカメラ３ａのカメラ設定位置および向きを推定する。

（２）詳細を説明すれば、図１０の点検カメラ位置・向き推定部２０は、点検画像の撮影時のカメラ設定値をキーに記憶部１７から対応する基準画像を取得し、取得された基準画像と点検画像との間の相対位置関係を非特許文献１の方法で求める。

また、前記推定部２０は、図８に示すように、基準画像を撮影したカメラ３ｂのカメラ設定値に対して基準画像と点検画像との相対位置および姿勢変化を加えることにより、実際に点検画像を撮影したカメラ３ａのカメラ設置位置および向きの推定値を算出する。この推定値は、図１０に示すように、記憶部１７に記憶される。

点検時表面画像モデル作成部２１は、記憶部１７から基準表面画像モデルおよび前記推定値を取得する。また、点検時表面画像モデル作成部２１は、図９に示すように、前記推定値を基に点検画像をテクスチャマッピングにより設備１０の基準表面画像モデルに貼り付ける。
これにより基準表面画像モデルの三次元データの表面画像が更新され、設備１０の点検時表面画像モデルが作成される。ここで図９の模式図は、設備１０の１箇所の点検画像を基準表面画像モデルに貼り付ける処理例を示しているが、すべての点検画像に同様の処理を実行して前記更新を行う。この更新後に作成された点検時表面画像モデルは、記憶部１７に保存される。なお、出力部２３により記憶部１７に保存された点検時表面画像モデルを外部に出力することができる。

＜読取ステージＣ＞
図１１〜図１３に基づき読取ステージＣの詳細を説明する。ここでは図１１（ａ）に示す読取仮想カメラ１２を設定する第１プロセスと、図１１（ｂ）に示すメータ画像を生成する第２プロセスと、図１１（ｃ）に示すメータ１４の指示値を読み取る第３プロセスとが実行される。

この第１プロセスは、図１２の読取仮想カメラ設定システム３０１により実行されている。この読取カメラ設定システム３０１は、入力装置３０，読取仮想カメラ設定部３１，記憶部１７で構成されている。

また、第２プロセスおよび第３プロセスは、図１３の読取システム３０２により実行される。この読取システム３０２は、記憶部１７，メータ画像作成部３２，メータ読取部３３，出力部３４で構成されている。

（１）まず、第１プロセスを説明する。このプロセスでは、事前にユーザの入力装置（マウス，キーボードなど）３０の操作により、読取仮想カメラ１２を設置する座標および向き（読み取り方向）が指定される。
ただし、指定される座標の位置は、基準表面画像モデル上のメータ１４付近とする。ここで指定された座標の位置は、図１２の読取仮想カメラ設定部３１に入力され、読取仮想カメラ情報として設定される。設定された読取仮想カメラ情報は記憶部１７に保存される。

（２）つぎにメータ画像を生成するプロセスを説明する。このプロセスでは、メータ画像作成部３２が記憶部１７から点検時表面画像モデルと読取仮想カメラ情報とを取得する。
ここで取得した読取仮想カメラ情報にしたがって点検時表面画像モデルのメータ１４の付近に読取仮想カメラ１２を設置し、設置された読取仮想カメラ１２からカメラ１２を設置する座標および向き（読み取り方向）において点検時表面画像モデルを撮影したメータ画像を取得し、取得されたメータ画像を記憶部１７に保存する。

（３）最後にメータ１４の指示値を読み取るプロセスを説明する。このプロセスでは、メータ読取部３３が記憶部１７からメータ画像を取得し、取得されたメータ画像中のメータ指示値を読み取る。

このメータ読取方法としては、例えば特許文献２の方法を用いることができる。ここで読み取られたメータ指示値は、記憶部１７に保存される。この記憶部１７に保存されたメータ画像およびメータ指示値は、出力部３４により外部に出力される。

したがって、前記設備点検システムによれば、設備１０に取り付けられたメータ１４の指示値を自動的に読み取ることができ、この点で設備状態を正確には把握・監視することができる。

このとき測量器１５で精密に測定した情報（３Ｄ−ＬｉＤＡＲの設置箇所および向き）に基づき作成された基準表面画像モデルと点検時表面画像モデルからメータ指示値を読み取るため、特許文献１のようにＧＰＳによる測位情報の位置精度に起因した誤検出を防止することができる。この点でも設備状態を正確に把握・監視することができる。

≪実施例２≫
図１４および図１５に基づき実施例２を説明する。本実施例では、読取仮想カメラ設定装置３０１が読取仮想カメラ情報を決定する際、ユーザが読取仮想カメラ１２の座標および向きを入力するのではなく、基準表面画像モデル上からメータ１４の中心座標と読取仮想カメラまでの距離を指定し、指定された各情報からユーザが読取仮想カメラ１２の座標を選択する。

図１４に基づき実施例２の読取仮想カメラ設定装置３０１を説明する。すなわち、実施例２の読取仮想カメラ設定部３１には、ユーザの入力装置３０の操作によりメータ１４の中心座標と、メータ１４から読取仮想カメラ１２までの距離とが入力される。これにより前記中心座標および前記距離が指定され、該両情報が記憶部１７に保存される。

また、前記両情報が指定されれば、図１５に示すように、読取仮想カメラ１２の座標の設定可能範囲Ｒは、前記中心座標から前記距離を半径とする球の表面上の範囲となる。

この設定可能範囲Ｒをユーザが目視で確認し、読取仮想カメラ１２の座標を決定して入力装置３０により読取仮想カメラ設定部３１に入力する。例えば図１５中の座標例Ａ，Ｂのいずれも設定可能範囲Ｒにあるので、読取仮想カメラ１２の座標として決定することができる。

このとき読取仮想カメラ１２の向きは、入力された前記座標からメータ１４の中心座標を向くように読取仮想カメラ設定部３１にて決定される。この読取仮想カメラ１２の座標および向きを読取仮想カメラ情報として記憶部１７に記憶させる。

このような実施例２によれば、読取仮想カメラ１２の座標の決定を容易にする効果が得られる。すなわち、実施例１ではユーザが読取仮想カメラ１２の座標および向きを指定していた。ところが、読取仮想カメラ１２の座標および向きの決定には専門的な知見が必要なため、一般的に作業難易度が高い。

これに対して実施例２によれば、メータ１４の中心座標および読取仮想カメラ１２までの距離を指定すれば、自動的に読取仮想カメラ１２の座標について選択範囲が指定される。したがって、ユーザは読取仮想カメラ１２の座標を簡単に決定でき、読取仮想カメラ１２の向きも自動的に決定される。この点でメータ指示値を読み取るための準備作業が容易となり、作業性が向上する。

≪実施例３≫
図１６および図１７に基づき実施例３を説明する。実施例１の読取仮想カメラ設定装置３０１は、読取仮想カメラ情報を決定する際にユーザ指定の読取仮想カメラ１２の座標および向きを利用する。

これに対して本実施例の読取仮想カメラ設定装置３０１によれば、ユーザが基準表面画像モデル上からメータ１４の四隅の座標を指定することで読取仮想カメラ１２の座標および向きが自動調整され、メータ１４の正面に読取仮想カメラ１２が配置される。

すなわち、読取仮想カメラ設定部３１には、図１６に示すように、ユーザの入力装置３０の操作によりメータ１４の四隅の座標が入力される。このとき読取仮想カメラ設定部３１は、図１７に示すように、読取仮想カメラ１２の座標および向きを調整し、読取仮想カメラ１２をメータ１２の四隅の座標に囲まれた面Ｆの法線ベクトルＶ上に配置させ、読取仮想カメラ１２の視野Ｌ内にメータ１４がすべて収まった状態とする。この状態の読取仮想カメラ１２の座標および向きを設定値、即ち読取仮想カメラ情報として記憶部１７に記憶させる。

ここで実施例２では、メータ１４の中心座標およびメータ１４から読取仮想カメラ１２までの距離を指定し、選択範囲から読取仮想カメラ１２の座標を選択するため、多くのパラメータの決定が必要となり、一つのメータ１４に対して行う作業量が増加するおそれがある。

これに対して実施例３によれば、メータ１４の四隅の座標を指定して入力すれば済むので、作業量が比較的少なく、短時間で読取仮想カメラ１２を設定することができる。この点でメータ指示値を読み取るための準備作業を短時間で完了でき、作業性がさらに向上する。

≪実施例４≫
図１８〜図２７に基づき実施例４を説明する。実施例４では、前記設備点検システムを設備１０の外観経年変化の監視に用いている。すなわち、前記設備点検システムは、巡視点検ロボット３によって撮影された画像に基づき設備１０の外観経年変化を自動監視する外観経年変化監視システムとして用いられている。

ここでは図１２の読取カメラ設定システム３０１および図１３の読取システム３０２が廃止されている一方、図２０の小領域画像生成システム４００と図２２の設備状態値算出システム５００とが追加され、各システム４００，５００により、図１８中の外観異常判定ステージＤが実行されている。

このステージＤ１は、基準表面画像モデルと点検時表面画像モデルとを小領域に分割し、それぞれの分割された各小領域間での相関を求めるステージＤ１と、ステージＤ１の結果を集約して巡視点検時における設備１０の設備状態値を求めるステージＤ２とにより構成されている。

このステージＤ２では、さらに設備状態値を時系列にプロットした時系列設備状態グラフを小領域ごとに作成する。この小領域に作成した時系列設備状態グラフに対して閾値を設定し、閾値判定により設備１０の外観異常の有無を判定する。

なお、図１８中のステージＡ，Ｂは、実施例１と同じ処理なので、外観異常判定ステージＤのステージＤ１，Ｄ２を中心に実施例４を説明する。

＜ステージＤ１＞
（１）図１９に基づきステージＤ１の詳細（小領域画像の生成）を説明する。このステージ≡１は、図２０の小領域画像生成システム４００により実行される。

このシステム４００は、記憶部１７，基準小領域設定部４１，点検時小領域設定部４２，法線ベクトル計算部４３，基準小領域画像作成部４４，点検時小領域画像作成部４５，出力部４６で構成されている。この記憶部１７には、ユーザ指定などにより予め設定された格子サイズ（大きさ）の情報，基準表面画像モデル，点検時表面画像モデル，仮想カメラ４０の情報が保存されている。
（２）処理の詳細を説明すれば、まず基準小領域設定部４１は、記憶部１７から格子サイズおよび基準表面画像モデルを取得する。また、図１９（ａ）に示すように、基準表面画像モデルおよび点検時表面画像モデルを格子サイズに切り分けることで前記各画像モデルに立方体状の小領域を設定し、設定した基準小領域を記憶部１７に保存する。
つぎに法線ベクトル計算部４３は、記憶部１７から基準小領域および基準表面画像モデルを取得して基準小領域における法線ベクトルを計算し、計算結果を記憶部１７に保存する。
具体的には、図１９（ｂ）に示すように、設定された小領域に含まれる三次元形状を構成する三次元点群を基に小領域に対する法線ベクトルを求める。この法線ベクトルを求めるには三次元点群に対して主成分分析を行って第１主成分と第２主成分に直行する方向を求める。なお、基準表面画像モデルと点検時表面画像モデルは三次元形状として同じ形状なため、法線ベクトルは基準表面画像モデルについてのみ求めれば足りる。

そして、基準小領域画像作成部４４は、記憶部１７から仮想カメラ４０の情報，法線ベクトル，基準小領域，基準表面画像モデルを取得して基準小領域画像を作成する。ここでは小領域の法線ベクトル上に光軸を持つ仮想カメラ４０を設置し、仮想カメラ４０から基準表面画像モデルおよび点検時表面画像モデルを見たときの小領域に対する小領域画像を生成する。

その際には、テクスチャマッピングで画像を三次元形状に貼り付けた手順と逆の手順を用いるとよい。ただし、小領域がすべて写っている画像を生成するものとし、小領域のみの画素情報では余白となる小領域画像の部分については対象の小領域に隣接する他の小領域の画像情報で補完して生成する。作成された基準小領域画像を記憶部１７に保存する。

また、点検時小領域画像作成部４５は、記憶部１７から仮想カメラ４０の情報，法線ベクトル，点検時小領域，点検時表面画像モデルを取得する。ここでは基準小領域画像作成部４４と同様な処理を実行し、点検時小領域画像を作成する。作成された点検時小領域画像を記憶部１７に保存する。この記憶部１７に保存された基準小領域画像および点検時小領域画像は、出力部４６により外部に出力することができる。

＜ステージＤ２＞
（１）図２１に基づきステージＤ２の詳細（小領域画像の設備状態値の算出）を説明する。このステージＤ２は、図２２の設備状態値算出システム５００により実行される。

このシステム５００は、記憶部１７，基準正規化小領域画像作成部５１，点検時正規化小領域画像作成部５２，正規化相関計算部５３，設備状態値設定部５４，出力部５５で構成されている。この記憶部１７には、ユーザ指定などで予め設定された正規化画像サイズの情報，基準小領域画像，点検時小領域画像の情報が保存されている。

（２）処理内容を説明すれば、基準正規化小領域画像作成部５１は、記憶部１７から正規化画像サイズ，基準小領域画像を取得し、基準小領域画像を正規化画像サイズに拡大・縮小した正規化小領域画像を作成する。ここで作成された正規化小領域画像を基準正規化小領域画像と呼ぶ。この基準正規化小領域画像は記憶部１７に保存される。

点検時正規化小領域画像作成部５２は、記憶部１７から正規化画像サイズ，点検時小領域画像を取得し、点検時小領域画像を正規化画像サイズに拡大・縮小した正規化小領域画像を作成する。ここで作成された正規化小領域画像を点検時正規化小領域画像と呼ぶ。この点検時正規化小領域画像は記憶部１７に保存される。
正規化相関計算部５３は、記憶部１７からそれぞれ対応する基準正規化小領域画像および点検時正規化小領域画像を取得する。この対応関係としては、両正規化小領域の座標情報などを用いることができる。その後、基準正規化小領域画像と点検時正規化小領域画像との正規化相関を行って正規化相関値（相関係数）を算出し、算出結果を記憶部１７に保存する。
この相関値の計算としては、例えばＳＡＤ（Ｓｕｎ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ），ＮＣＣ（Ｎｏｒｍａｌｉｚｅｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ），ＺＮＣＣ（Ｚｅｒｏ−ｍｅａｎ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）などの公知の手法を用いることができる。
設備状態値設定部５４は、記憶部１７から正規化相関値を取得し、取得した正規化相関値から設備状態値を設定し、設定された設備状態値を記憶部１７に保存する。ここで記憶部１７に保存された設備状態値は、出力部５５により外部へ出力される。
このとき出力された小領域ごとの設備状態値を点検日時順に時系列にプロットし、図２３に示す時系列設備状態グラフを作成する。この時系列設備状態グラフは、巡視点検ロボットによる巡視点検を行う度に更新することが好ましい。

ここでは設備状態値の変化を異常と判定するための異常閾値を予め設定しておき、閾値判定により設備１０の外観異常の有無を判定する。すなわち、設備相関値は正規化相関値なため、基準正規化小領域画像に対して点検時正規化小領域画像の変化が少ないほど正規化相関値が高くなる。したがって、図２４に示すように、設備状態値が異常閾値を下回れば異常と判定する一方、異常閾値を上回れば正常と判定する。

したがって、実施例４の前記設備点検システムによれば、巡視点検ロボット３の巡視点検時に設備１０の汚損・油漏れ・破損・異物などの表面模様による外観上の異常を自動的に検出することが可能となる。

このとき監視対象とする設備１０の形状について限定されることはなく、例えば電柱のような円筒形状以外の形状であっても外観上の異常を検出することができる。また、測量器１５で精密に測定した設備１０の三次元データに基づく基準表面画像モデル・点検時表面画像モデルから求めた時系列設備状態グラフを使って外観異常の有無を判定するため、ＧＰＳによる測位情報の位置精度に起因した誤差検出を防止することができる。

（３）図２５に基づき前記設備点検システムによる設備１０の外観異常検出例を説明する。図２５（ａ）は正常状態の設備１０の外観を示し、図２５（ｂ）は経年変化により２か所の異常が生じた設備１０の外観を示している。

すなわち、図２５（ｂ）中の設備１０は、フランジ６０の下側には湿気や埃などを原因とする汚れによる表面模様Ｐ１が次第に広がっており、また碍子６１には近隣から飛来した農業用ビニールなどの飛来物が引っかかって表面模様Ｑ１となっている。

まず、図２６に基づき汚れＰ１の異常検出を説明する。ここでは巡視点検開始当初の点検では設備１０の設備状態値に大きな変化がなかったものの、風雨の発生した日に設備１０に汚れが発生して表面模様Ｐ１が徐々に拡大した。この表面模様Ｐ１の拡大に従って設備状態値が次第に変化し、設備状態値が異常閾値を下回った点検日時に外観異常と判定された。

つぎに図２７に基づき飛来物Ｐ２による異常検出例を説明する。この場合も巡視点検開始当初の点検では設備１０の設備状態値に大きな変化がなく、ある日突然の飛来物により表面模様Ｑ１が形成され、碍子６１付近の表面状態が激変した。そのため、設備状態値が急激に変化し、飛来物が付着した直後の点検日時に異常閾値を下回って外観異常と判定された。

≪実施例５≫
図２８〜図３０に基づき実施例５を説明する。実施例５の設備状態値算出システ５００は、図２８に示すように、正規化相関計算部５３の代わりにＲＧＢ絶対値差分計算部５６が設けられている。

このＲＧＢ絶対値差分計算部５６は、記憶部１７からそれぞれ対応する基準正規化小領域画像および点検時正規化小領域画像を取得し、図２９に示すように、取得した両正規化小領域画像間のＲＧＢ絶対値差分を算出する。

すなわち、基準正規化小領域画像と点検時正規化小領域画像とについて各画素のＲ値・Ｇ値・Ｂ値のそれぞれに対して絶対値差分を算出し、それぞれの絶対値差分の総計を画素ごとのカラー絶対値差分とする。この画素ごとのカラー絶対値差分の全画素の平均を算出し、算出結果を両正規化小領域のＲＧＢ絶対値差分値とする。

また、設備状態値設置部５４は、図２８に示すように、正規化相関値ではなく、ＲＧＢ絶対値差分値を記憶部１７から取得し、取得したＲＧＢ絶対値差分値から設備状態値を設定し、記憶部１７に記憶させる。

この場合は、基準正規化小領域画像に対して点検時正規化小領域画像の色合いの変化が少ないほどＲＧＢ絶対値差分値が低く、図３０に示すように、設備状態値が異常閾値を上回った場合に設備１０の設備異常と判定される。

ここで実施例１では、強風などにより埃が均等に設備１０の表面に付着した場合には正規化相関値の変化が少なく、設備異常の判定が難しい。これに対して実施例２のＲＧＢ絶対値差分値で色合いに大きな変化が生じるため、設備異常を判定することが可能となる。

≪実施例６≫
図３１および図３２に基づき実施例６を説明する。実施例５は、ＲＧＢ絶対値差分値のみを設備状態値とするため、例えば大きな日照変化により設備表面の見かけ上の色合いが変化した場合に設備異常と誤検出するおそれがある。

そこで、実施例６は、実施例４の正規化相関による設備状態値と、実施例５のＲＧＢ絶対値差分による設備状態値の双方を用いる。すなわち、正規化相関値とＲＧＢ絶対値差分値をロジスティック回帰により統合して設備状態値を算出する。

図３２に基づき実施例６の設備状態算出システム５００を説明する。実施例６の設備状態算出システム５００は、図示省略されているものの、実施例４，５の基準正規化小領域画像作成部５１，点検時正規化小領域画像作成５２，正規化相関計算部５３，ＲＧＢ絶対値差分計算部５６を実装されているものとする。

したがって、実施例１と同様に正規化相関値が算出され、実施例２と同様にＲＧＢ絶対値差分値が算出される。さらに設備状態算出部５００は、図３２に示すように、記憶部１７，ロジスティック回帰計算部６５，設備状態設定部５４，出力部５５を実装する。この記憶部１７には、正規化相関値およびＲＧＢ絶対値差分値が保存され、またユーザ設定の相関用調整係数およびＲＧＢ用調整係数が併せて保存されている。

ロジスティック回帰計算部６５は、記憶部１７からそれぞれ対応する前記両調整係数・正規化相関値・ＲＧＢ絶対値差分値を取得し、ロジスティック回帰により設備状態値を算出する。すなわち、正規化相関値に相関用調整係数を乗算するとともに、ＲＧＢ絶対値差分値にＲＧＢ用調整係数を乗算して線形結合し、その後に線形結合値をシグモイド関数に通して「０〜１」の確率値として算出する。

また、基準正規化小領域画像と点検時正規化小領域画像との間の変化量が大きいほど確率値が「１」に近似するように前記両調整関数を設定し、確率値を算出する。算出された確率値を設備状態値として記憶部１７に保存する。ここで記憶部１７に保存された設備状態値は出力部５５により外部に出力される。
このとき実施例６では、実施例５による外観の異常有無の判定と同様に基準正規化小領域画像に対して点検時正規化小領域画像の変化が少ないほどＲＧＢ絶対値差分地が低いため、設備状態値が異常閾値を上回った場合に設備１０の設備異常と判定する。

このような実施例６によれば、正規化相関値とＲＧＢ絶対値差分値をロジスティック回帰により統合して設備状態値を算出するため、実施例４の表面模様の変動による異常検出と、実施例５の色合いの変動による異常検出との双方の利点を併せ持つ異常検出が可能となる。

なお、本発明は、上記実施形態に限定されるものではなく、各請求項に記載された範囲で変形して実施することができる。例えば前記設備点検システムの構成は、図７・図１０・図１２・図１３・図１４・図１６・図２０・図２２・図２８・図３２に限定されず、前記ステージＡ〜Ｄを実行できればよいものとする。

１…変電所
２…管理事務所
３…巡視点検ロボット
３ａ，３ｂ…カメラ
４…現地車両基地
５…ネットワーク
６…監視端末
７…現地サーバ
１０…設備
１１…３Ｄ−ＬｉＤＡＲ
１２…読取仮想カメラ
１３…メータ画像
１４…メータ
１５…測量器
１６…測量用プリズム
１７…記憶部
１８…三次元形状データ作成部
１９…基準表面画像モデル作成部
２０…点検カメラ設置位置・向き推定部
２１…点検時表面画像モデル作成部
２２，２３，３４，４６，５５…出力部
３０…入力装置
３１…読取仮想カメラ設定部
３２…メータ画像作成部
３３…メータ読取部
４０…仮想カメラ
４１…基準小領域設定部
４２…点検小領域設定部
４３…法線ベクトル計算部
４４…基準小領域画像作成部
４５…点検時小領域画像作成部
５１…基準正規化小領域画像作成部
５２…点検時正規化小領域画像作成部
５３…正規化相関計算部
５４…設備状態値設定部
５６…ＲＧＢ絶対値差分計算部
６０…フランジ
６１…碍子
６５…ロジスティック回帰計算部
１００…基準表面画像モデル作成システム
２００…点検時表面画像モデル作成システム
３０１…読取仮想カメラ設定システム
３０２…読取システム
４００…小領域画像生成システム
５００…設備状態値算出システム

Claims (8)

1. 施設における設備の状態を撮影画像に基づき点検するシステムであって、
   前記設備の複数個所の計測データを合成することで三次元形状データを作成する三次元形状データ作成部と、
   前記設備の複数個所を撮影した多数箇所画像群を取得し、前記三次元形状データの表面に前記多数箇所画像群を貼り付けて基準表面画像モデルを作成する基準表面画像モデル作成部と、
   前記多数箇所画像群を構成する各基準画像と、前記点検時に前記基準画像と同様に撮影された点検時画像との特徴点を対応付けし、前記点検画像データの撮影位置および撮影方向を推定する推定部と、
   前記撮影位置および前記撮影方向に基づき点検画像を基準表面画像モデルに貼り付けることで前記三次元形状データの表面を更新し、前記設備の点検に用いられる点検時表面画像モデルを作成する点検時表面画像モデル作成部と、
   を備えことを特徴とする設備点検システム。
2. 前記点検時表面画像モデル上の計器類の付近には、あらかじめ入力された座標および撮影方向にしたがって仮想撮影装置が設置され、
   前記仮想撮影装置から得られた計器類の画像データから該計器類の指示値を読み取り可能なことを特徴とする請求項１記載の設備点検システム。
3. 前記点検時表面画像モデル上の計器類の付近には、あらかじめ入力された中心座標および中心座標からの距離に応じた位置に仮想撮影装置が設置され、
   前記仮想撮影装置から得られた計器類の画像データから前記計器類の指示値を読み取り可能なことを特徴とする請求項１記載の設備点検システム。
4. 前記点検時表面画像モデル上の計器類の付近には、あらかじめ入力された計器類の四隅の座標にしたがって仮想撮影装置が設置され、
   前記仮想撮影装置から得られた計器類の画像データから前記計器類の指示値を読み取り可能なことを特徴とする請求項１記載の設備点検システム。
5. 前記両画像モデルを小領域に分割し、分割された前記小領域を正規化した基準正規化小領域画像と、点検時正規化小領域画像とを作成する正規化小領域画像作成部と、
   それぞれ対応する前記両正規化小領域画像間の正規化相関値から設備状態値を設定する設備状態設定部と、を備え、
   あらかじめ前記設備状態値の変化を異常とする閾値を定めることで前記設備の外観異常を判定することを特徴とする請求項１記載の設備点検システム。
6. 前記両画像モデルをそれぞれ小領域に分割し、分割された前記小領域を正規化した基準正規化小領域画像と、点検時正規化小領域画像とを作成する正規化小領域画像作成部と、
   それぞれ対応する前記両正規化小領域画像間における全画素のＲＧＢ絶対差分値を算出し、算出された前記ＲＧＢ絶対差分値の平均値から設備状態値を設定する設備状態設定部と、を備え、
   あらかじめ前記設備状態値の変化を異常とする閾値を定めることで前記設備の外観異常を判定することを特徴とする請求項１記載の設備点検システム。
7. 前記両画像モデルをそれぞれ小領域に分割し、分割された前記小領域を正規化した基準正規化小領域画像と、点検時正規化小領域画像とを作成する正規化小領域画像作成部と、
   それぞれ対応する前記両正規化小領域画像間の正規化相関値および全画素のＲＧＢ絶対差分値を統合し、該統合結果から設備状態値を設定する設備状態設定部と、を備え、
   あらかじめ前記設備状態値の変化を異常とする閾値を定めることで前記設備の外観異常を判定することを特徴とする請求項１記載の設備点検システム。
8. 施設における設備の状態を撮影画像に基づき点検するシステムの実行する方法であって、
   前記設備の複数個所の計測データを合成することで三次元形状データを作成する三次元形状データ作成ステップと、
   前記設備の複数個所を撮影した多数箇所画像群を取得し、前記三次元形状データの表面に前記多数箇所画像群を貼り付けて基準表面画像モデルを作成する基準表面画像モデル作成ステップと、
   前記多数箇所画像群を構成する各基準画像と、前記点検時に前記基準画像と同様に撮影された点検時画像との特徴点を対応付けし、前記点検画像データの撮影位置および撮影方向を推定する推定ステップと、
   前記撮影位置および前記撮影方向に基づき点検画像を基準表面画像モデルに貼り付けることで前記三次元形状データの表面を更新し、前記設備の点検に用いられる点検時表面画像モデルを作成する点検時表面画像モデル作成ステップと、
   を有することを特徴とする設備点検方法。

Images