JP2002092592A - 自動巡視システムおよび自動巡視方法 - Google Patents

Abstract

(57)【要約】 【課題】ユーザー自身が画像認識用のシステムを運用す
ることなく自動的な巡視が行え、かつ画像認識手段の稼
働率を向上させた自動巡視システムおよび自動巡視方法
を提供する。 【解決手段】遠隔地で画像撮像手段２ａが撮像した巡視
対象の画像を、画像伝送手段２ｂがディジタル画像デー
タに変換して通信ネットワーク６を介してサーバーシス
テム１へ送信する。サーバーシステム１は、このディジ
タル画像データを用いて巡視を行い、通信ネットワーク
６を介してユーザのクライアントシステム３に報告する
巡視結果報告データを送信する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えばプラントな
ど、巡視が必要とされる箇所・設備、設備の表示器など
（以下、単に巡視対象という。）の巡視点検を自動化す
るための自動巡視システムおよび自動巡視方法に関する
ものである。

【０００２】

【従来の技術】従来、プラントなどの設備において、自
動遠隔監視の対象外である設備の状態を把握するため、
巡視員が現地を定期的に巡回して巡視・点検（以下、本
明細書中では単に巡視という場合は巡視・点検を含むも
のとする）したり、また、設備の状態をＴＶカメラによ
り撮影して遠隔地にいる監視員が適宜モニタリングして
監視したりするのが一般的であった。

【０００３】これらの巡視・監視の効率化を目的とした
一般的な技術としては、画像認識によって画像の変化を
見つける技術がある。以下に、図１５と図１６を用い
て、従来技術のシステム構成例と画像認識のフローを説
明する。まず、図１５を用いて、従来技術のシステム構
成例を説明する。従来技術のシステム構成では、画像撮
像手段１を巡視・監視の対象に向け、画像伝送手段２に
よって撮像された画像を画像認識手段３まで伝送し、こ
の画像認識手段３で画像の演算処理を行う。

【０００４】つづいて、従来技術の画像認識の処理フロ
ーについて図１６を用いて説明する。 ステップＳＴ１
では、画像伝送手段２から伝送された画像を入力する。
ステップＳＴ２では、画像変化を見つけるのに利用する
背景画像を取得する。この背景画像は最初に取得したも
のをそのまま保持するか、画像の入力に応じて逐次新し
いものに更新する。

【０００５】ステップＳＴ３では、入力された最新の画
像と背景画像との画像間差分処理を行う。この際、背景
画像が逐次新しいものに更新されていれば、設備の振動
など比較的短時間における画像の変化が差分として現れ
る。また、背景画像が取得時から更新されずにある程度
時間が経過していれば、機器の破損部分などが画像の変
化として現れることになる。

【０００６】ステップＳＴ４では、ステップＳＴ３で得
られた差分画像を閾値処理することによって変化領域を
抽出する。ステップＳＴ５では、変化領域の画像特徴を
算出する。変化領域の画像特徴としては、大きさ、形、
色相、彩度、明度などの色情報を用いるのが一般的であ
る。そして、ステップＳＴ６では、算出された変化領域
の画像特徴が、巡視・監視の対象に応じて予め設定され
た異常検知条件に該当するか否かを判断し、異常と判断
された場合にはステップＳＴ７で警報を出力する。

【０００７】

【発明が解決しようとする課題】従来技術における第一
の問題点として、その利用形態が挙げられる。従来技術
では、ユーザーは、自分の監視目的に合った画像認識装
置（画像認識手段）を導入し、ユーザー自身でその装置
を運用することになる。この利用形態では、２４時間の
連続監視を行う場合には、画像認識装置を有効に活用す
ることができるが、異常の即時検知までは目的としない
定期的な巡視においては、画像認識装置の稼働率が低
く、有効に活用できないといった問題がある。

【０００８】第二の問題点として、画像認識装置の運用
に際して、例えば閾値など巡視・監視対象に応じてそれ
ぞれ異なる設定が必要となる場合には、ある程度画像処
理の内容がわかる運用者が必要となるが、そのような運
用者を確保できない場合は、巡視・監視の実施が困難と
なる虞があった。第三の問題点として、カメラの位置ず
れや日光、照明の影響によって画像が変化した場合に
は、巡視・監視対象に特に変化が起きていなくても画像
の変化が生じ、これらと巡視・監視対象の異常との区別
が困難になるという問題点が挙げられる。これを防ぐた
めには、カメラの位置や照明条件に変化がないように撮
像環境をしっかり整える必要があり、運用上の制約が多
い。

【０００９】本発明は上記のような課題を解決するため
になされたものであり、その目的は、ユーザー自身が画
像認識用のシステムを運用することなく自動的な巡視が
行え、かつ画像認識手段の稼働率を向上させた自動巡視
システムおよび自動巡視方法を提供することにある。

【００１０】

【課題を解決するための手段】上記課題を解決するた
め、請求項１に記載した自動巡視システムによれば、画
像撮像手段が遠隔地にある巡視対象の画像を撮像し、画
像伝送手段がこの巡視対象の画像をディジタル画像デー
タに変換してネットワークを介して送信し、このディジ
タル画像データを用いてなされた巡視の結果についてネ
ットワークを介してユーザのデータ受信装置に報告する
自動巡視システムであって、画像伝送手段からネットワ
ークを介して送信される巡視対象のディジタル画像デー
タを取得する取得手段と、取得したディジタル画像デー
タを用いて画像認識処理を行って巡視対象の状態を判断
する画像認識手段と、判断された巡視対象の状態につい
て報告する巡視結果報告データがネットワークを介して
通知され、ユーザのデータ受信装置により取得されるよ
うにする巡視結果報告手段と、を備えることを特徴とす
る。

【００１１】また、請求項２に記載した自動巡視システ
ムによれば、請求項１に記載の自動巡視システムにおい
て、前記画像認識手段は、時間差のある複数のディジタ
ル画像データ間を比較して変化を検出することにより巡
視対象の状態を認識する手段とすることを特徴とする。

【００１２】また、請求項３に記載した自動巡視システ
ムによれば、請求項１に記載の自動巡視システムにおい
て、前記ディジタル画像データは、巡視対象付近に存す
るマーカを含むように撮像されたデータであって、前記
画像認識手段は、認識処理開始前に巡視対象およびマー
カを含むディジタル画像データを読み込んで、マーカに
ついての基準マーカ幾何学的情報および基準マーカ色情
報、並びに、巡視対象についての基準巡視対象幾何学的
情報および基準巡視対象色情報を、予め取得して登録し
ておく認識処理基準情報登録手段と、認識処理を開始し
て巡視対象およびマーカを含むディジタル画像データを
読み込む画像読み込み手段と、基準マーカ幾何学的情報
および基準マーカ色情報を参照してディジタル画像デー
タからマーカ候補領域に係るデータを抽出するマーカ検
出手段と、マーカ候補領域に係るデータを用いて検出マ
ーカ幾何学的情報および検出マーカ色情報を取得するマ
ーカ情報抽出手段と、検出マーカ幾何学的情報および検
出マーカ色情報、並びに、基準巡視対象幾何学的情報お
よび基準巡視対象色情報を参考にして巡視対象について
検出巡視対象幾何学的情報および検出巡視対象色情報を
取得する巡視対象情報抽出手段と、基準巡視対象幾何学
的情報、検出巡視対象幾何学的情報、基準巡視対象色情
報、検出巡視対象色情報、基準マーカ幾何学的情報、検
出マーカ幾何学的情報、基準マーカ色情報、および、検
出マーカ色情報を参照して巡視対象の状態を認識するた
めの特徴量を算出する認識処理特徴量抽出手段と、抽出
した特徴量を用いて、巡視対象の状態を認識する状態認
識手段と、を備え、巡視対象の状態を認識する手段とす
ることを特徴とする。

【００１３】また、請求項４に記載した自動巡視システ
ムによれば、請求項３に記載の自動巡視システムにおい
て、前記画像認識手段は、巡視対象として状態表示器の
表示内容を認識するものとし、認識処理開始前に状態表
示器およびマーカを含むディジタル画像データを読み込
んで、マーカについての基準マーカ幾何学的情報および
基準マーカ色情報、並びに、状態表示器についての基準
表示器幾何学的情報および基準表示器色情報を、予め取
得して登録しておく認識処理基準情報登録手段と、認識
処理を開始して状態表示器およびマーカを含むディジタ
ル画像データを読み込む画像読み込み手段と、基準マー
カ幾何学的情報および基準マーカ色情報を参照してディ
ジタル画像データからマーカ候補領域に係るデータを抽
出するマーカ検出手段と、マーカ候補領域に係るデータ
を用いて検出マーカ幾何学的情報および検出マーカ色情
報を取得するマーカ情報抽出手段と、検出マーカ幾何学
的情報および検出マーカ色情報、並びに、基準表示器幾
何学的情報および基準表示器色情報を参考にして状態表
示器について検出表示器幾何学的情報および検出表示器
色情報を取得する状態表示器情報抽出手段と、基準表示
器幾何学的情報、検出表示器幾何学的情報、基準表示器
色情報、検出表示器色情報、基準マーカ幾何学的情報、
検出マーカ幾何学的情報、基準マーカ色情報、および、
検出マーカ色情報を参照して状態表示器の表示内容を認
識するための特徴量を算出する認識処理特徴量抽出手段
と、抽出した特徴量を用いて状態表示器の表示内容を認
識する表示内容認識手段と、を備え、状態表示器の表示
内容を認識する手段とすることを特徴とする。

【００１４】また、請求項５に記載した自動巡視方法に
よれば、画像撮像手段が遠隔地にある巡視対象の画像を
撮像し、画像伝送手段がこの巡視対象の画像をディジタ
ル画像データに変換してネットワークを介して送信し、
このディジタル画像データを用いてなされた巡視の結果
についてネットワークを介してユーザのデータ受信装置
に報告する自動巡視方法であって、画像伝送手段からネ
ットワークを介して送信される巡視対象のディジタル画
像データを取得し、取得したディジタル画像データを用
いて画像認識処理を行って巡視対象の状態を判断し、判
断された巡視対象の状態について報告する巡視結果報告
データがネットワークを介して通知され、ユーザのデー
タ受信装置によって取得されるようにする、ことを特徴
とする。

【００１５】また、請求項６に記載した自動巡視方法に
よれば、請求項５に記載の自動巡視方法において、ディ
ジタル画像データの画像認識は、時間差のある複数のデ
ィジタル画像データ間を比較して変化を検出することに
より巡視対象の状態を認識することを特徴とする。

【００１６】また、請求項７に記載した自動巡視方法に
よれば、請求項５に記載の自動巡視方法において、ディ
ジタル画像データは、巡視対象付近に存するマーカを含
むように撮像されたデータであって、ディジタル画像デ
ータの画像認識は、認識処理開始前に巡視対象およびマ
ーカを含むディジタル画像データを読み込んで、マーカ
についての基準マーカ幾何学的情報および基準マーカ色
情報、並びに、巡視対象についての基準巡視対象幾何学
的情報および基準巡視対象色情報を、予め取得して登録
しておき、認識処理を開始して巡視対象およびマーカを
含むディジタル画像データを読み込み、基準マーカ幾何
学的情報および基準マーカ色情報を参照してディジタル
画像データからマーカ候補領域に係るデータを抽出し、
マーカ候補領域に係るデータを用いて検出マーカ幾何学
的情報および検出マーカ色情報を取得し、検出マーカ幾
何学的情報および検出マーカ色情報、並びに、基準巡視
対象幾何学的情報および基準巡視対象色情報を参考にし
て巡視対象について検出巡視対象幾何学的情報および検
出巡視対象色情報を取得し、基準巡視対象幾何学的情
報、検出巡視対象幾何学的情報、基準巡視対象色情報、
検出巡視対象色情報、基準マーカ幾何学的情報、検出マ
ーカ幾何学的情報、基準マーカ色情報、および、検出マ
ーカ色情報を参照して巡視対象の状態を認識するための
特徴量を算出し、抽出した特徴量を用いて、巡視対象の
状態を認識することを特徴とする。

【００１７】また、請求項８に記載した自動巡視方法に
よれば、請求項７に記載の自動巡視方法において、ディ
ジタルデータの画像認識は、巡視対象として状態表示器
の表示内容を認識するものとし、認識処理開始前に状態
表示器およびマーカを含むディジタル画像データを読み
込んで、マーカについての基準マーカ幾何学的情報およ
び基準マーカ色情報、並びに、状態表示器についての基
準表示器幾何学的情報および基準表示器色情報を、予め
取得して登録しておき、認識処理を開始して状態表示器
およびマーカを含むディジタル画像データを読み込み、
基準マーカ幾何学的情報および基準マーカ色情報を参照
してディジタル画像データからマーカ候補領域に係るデ
ータを抽出し、マーカ候補領域に係るデータを用いて検
出マーカ幾何学的情報および検出マーカ色情報を取得
し、検出マーカ幾何学的情報および検出マーカ色情報、
並びに、基準表示器幾何学的情報および基準表示器色情
報を参考にして状態表示器について検出表示器幾何学的
情報および検出表示器色情報を取得し、基準表示器幾何
学的情報、検出表示器幾何学的情報、基準表示器色情
報、検出表示器色情報、基準マーカ幾何学的情報、検出
マーカ幾何学的情報、基準マーカ色情報、および、検出
マーカ色情報を参照して状態表示器の表示内容を認識す
るための特徴量を算出し、抽出した特徴量を用いて、状
態表示器の表示内容を認識することを特徴とする。

【００１８】

【発明の実施の形態】以下、本発明による第１実施形態
の自動巡視システムおよび自動巡視方法について一括し
て説明する。図１は、本実施形態の自動巡視システムを
含む全体システムのシステム構成図、図２，図３は、巡
視の依頼および巡視情報の設定における処理フローのフ
ローチャート、図４，図５は、巡視時の処理フローのフ
ローチャートである。

【００１９】まず、第１実施形態について説明する。本
発明におけるシステム構成例とサービスフロー例を図１
に示す。本明細書中では、巡視対象の自動巡視サービス
の提供者を「サービス提供者」、サービスを享受するユ
ーザーを「顧客」、また、サービス提供者が運用するシ
ステムを「サーバーシステム」、顧客が運用するシステ
ムを「クライアントシステム」と定義して、システム構
成、サービスフローおよび機能について図１を用いて説
明する。ここに、サーバーシステムは、自動巡視サービ
スシステムに相当する。また、クライアントシステム
は、ユーザのデータ受信装置であって、パーソナルコン
ピュータ等の端末、ＬＡＮ（Local Area Network）構
成されたシステムなどである。その他にも携帯型情報端
末（データ送受信機能を有する携帯電話など）などデー
タ送受信機能を有する各種の装置を用いることができ
る。本発明のシステム構成では、通信ネットワークを活
用することによって、ユーザー自身がサーバーシステム
を運用することなく、設備の自動巡視サービスを享受で
きるようにしたことを特徴としている。

【００２０】図１で示すように、全体システムには、サ
ービス提供者が有し、本発明の自動巡視システムである
サーバーシステム１、顧客Ａの巡視対象箇所に設置され
た画像撮像手段２ａ・画像伝送手段２ｂ、顧客Ａが有す
るクライアントシステム３、顧客Ｂの巡視対象箇所に設
置された画像撮像手段４ａ・画像伝送手段４ｂ、およ
び、顧客Ｂが有するクライアントシステム５があり、そ
れぞれ通信ネットワーク６に接続されている。

【００２１】なお、本システムでは顧客Ａおよび顧客Ｂ
がサービス提供を受けているものとして説明している
が、顧客は３以上の複数顧客であっても、１の顧客であ
ってもよい。これら顧客数の上限はサーバーシステムの
処理能力に応じて増加する数であって、適宜選択できる
が、顧客数が多いほどサービス提供者のサーバーシステ
ムの稼働率が向上するという利点がある。なお、本実施
形態では顧客Ａの巡視対象箇所、サービス提供者のサー
バーシステム、および、顧客Ａのクライアントシステム
間における巡視サービスの提供についてのみ説明し、顧
客Ｂに対する巡視サービスの提供処理は、顧客Ａに対す
る巡視サービスの提供処理と同様であるとしてその説明
を省略する。

【００２２】続いて、サービス提供に至るまでの一連の
流れについて概略説明する。まず、巡視対象箇所におけ
る画像撮像手段２ａ・画像伝送手段２ｂのセッティング
について説明する。顧客Ａまたはサービス提供者は、画
像撮像手段２ａを巡視対象に向けてセッティングした後
に画像伝送手段２ｂに接続し、さらにこの画像伝送手段
２ｂを通信ネットワーク６を介してサーバーシステム１
およびクライアントシステム３に接続可能な状態にセッ
ティングする。

【００２３】この画像撮像手段２ａの機能としては、例
えば、ＴＶカメラのようにアナログ映像として撮る、ま
たは、ディジタルカメラのようにディジタル画像として
撮るなど特にその方法は問わない。なお、撮像時以外は
画像撮像手段２ａの電源を切り、画像伝送手段２ｂから
の制御によって、撮像時のみ電源を入れることもでき
る。

【００２４】画像伝送手段２ｂの機能としては、例え
ば、画像撮像手段２ａからの出力がアナログ信号の場合
はディジタル画像データに変換して出力するものとし、
また、画像撮像手段２ａからの出力がディジタル画像デ
ータの場合はそのまま出力するものとする。そして、こ
のディジタル画像データを通信ネットワーク６を介して
遠隔地にあるサーバシステム１・クライアントシステム
３へ伝送する。伝送時のディジタル画像データは、非圧
縮のままでもよいし、圧縮されていてもよい。また、デ
ィジタル画像データが圧縮される場合には圧縮方法（Ｊ
ＰＥＧ・ＧＩＦなど）は特には問わない。

【００２５】なお、画像撮像手段２ａが複数のカメラを
有していて、これら複数のカメラが一つの画像伝送手段
２ｂに接続される場合は、画像伝送手段２ｂはカメラの
選択機能も有している。この画像伝送手段２ｂは、画像
撮像手段２ａを制御する機能を有しており、後述するよ
うに、サーバーシステム１で指定された日時の画像を撮
像し、これを蓄積するようにしてもよい。また、画像伝
送手段２ｂは、一定時間間隔で連続した複数枚の画像を
撮像させ、ディジタル画像データを蓄積することもでき
る。なお、必要に応じて画像撮像手段２ａまたは画像伝
送手段２ｂにＷｅｂサーバーの機能を持たせ、サービス
提供者のサーバーシステム１、または、顧客Ａのクライ
アントシステム３という画像の受信側にインストールさ
れた市販のブラウザソフトを用いて画像を取得できるよ
うにしても良い。

【００２６】続いて、本システムを用いる巡視の依頼に
ついて説明する。顧客Ａは、クライアントシステム３を
用いて依頼することとなる。このクライアントシステム
３は、サーバーシステム１のように高機能である必要は
なくて市販のパソコンや専用の装置などでも良く、特に
その装置形態は問わない。

【００２７】顧客Ａは、クライアントシステム３を操作
し、必要に応じて通信ネットワーク６を介して巡視箇所
の画像を取得し、画像撮像手段２ａのカメラ向きなど適
切にセッティングされているか否かを確認する。そし
て、巡視対象場所、巡視のスケジュール、巡視対象の種
別、認識結果の報告条件などの巡視要件を指定する。巡
視要件の指定は例えば顧客Ａのクライアントシステムの
ディスプレイにテンプレート形式の条件指定ウィンドウ
を表示させ、顧客Ａに指定させるようにしてもよい。

【００２８】指定終了後、顧客Ａは、通信ネットワーク
６を介してサービス提供者に巡視要件データを添付した
巡視依頼データを送信して依頼する。この際、顧客が確
認した巡視箇所のディジタル画像データを巡視依頼デー
タに添付することも可能である。なお、巡視の依頼は専
用のソフトを用いて巡視依頼データを送付することとな
る。この方法以外に、サーバーシステム１のホームペー
ジにアクセスする方法、メールを送付する方法もあり、
この場合は、特に専用のソフトウェアを必要としない。

【００２９】サーバーシステム１は、受信したこれら巡
視依頼データ・巡視要件データ・必要に応じて添付され
るディジタル画像データを取得する。サービス提供者
は、顧客Ａからの巡視依頼を受け、巡視の準備を行う。
巡視の準備とは、具体的には、サーバーシステム１を用
いて、画像認識プログラムの選択や、閾値など画像認識
処理を行う上で必要な画像認識情報を設定し、この情報
を顧客Ａから巡視要件に加えて巡視情報として登録する
という一連の作業である。

【００３０】画像認識処理プログラムの選択と画像認識
処理上の設定値の調整を行う際に、巡視対象の画像が必
要となる場合がある。その際、顧客から巡視依頼に添付
された画像を用いて行ってもよいし、画像伝送手段２ｂ
に直接接続して取得した画像を用いてもよい。画像認識
時に背景画像が必要な際には、この時に得た画像を背景
画像として記録しておく。また、設備の振動の巡視など
一定時間で連続する複数枚の画像が必要となる場合に
は、この旨を巡視情報に加える。

【００３１】また、画像撮像手段２ａ・画像伝送手段２
ｂが指定されたスケジュールに基づいて画像を撮像・蓄
積させる必要がある場合には、サーバーシステム１は、
画像伝送手段２ａに巡視情報を伝送する。伝送する巡視
情報としては、必ずしもサーバーシステム１に登録した
全ての情報である必要はなく、巡視スケジュールと画像
の撮像・蓄積方法を含んでいればよい。最後に、巡視の
準備が正常に完了したか否かなど巡視依頼の受付結果を
顧客に通知する。この際、正常に準備完了した場合は、
必ずしも通知を行う必要はない。

【００３２】このように巡視依頼が受諾されたならば、
サーバーシステム１は巡視動作を開始する。まず、サー
バーシステム１は、登録された巡視スケジュールに基づ
き、通信ネットワーク６を介して該当する巡視対象箇所
の画像伝送手段２ｂに接続し、画像認識に必要な画像を
取得する。なお、この画像伝送手段２ｂには、撮像した
画像を蓄積する機能を持たせた場合には、サーバーシス
テム１から受けた巡視スケジュールに基づいて画像を撮
影・蓄積させることができる。したがって、巡視結果の
報告にそれほど急を要しない場合は、サーバーシステム
１による画像の取得と認識処理は、画像の撮影後にサー
バーの空き時間を利用して行うこともできる。

【００３３】次に、取得した画像と登録された画像認識
用情報とを用いて演算処理を行い、認識結果を記録す
る。この際、必要に応じて認識に使用した画像を記録す
る。本実施形態では、現用・周知の画像認識処理手法を
用いることができ、画像認識処理手法は特に問わない
が、カメラの位置や照明条件が安定した環境において、
画像の変化を見つけることで巡視が可能な対象において
は、従来技術で示した処理のフローを用いても良い。

【００３４】続いて巡視結果の報告を行う。巡視結果の
報告では、サーバーシステム１で得られた巡視結果に関
わるデータを、クライアントシステム３に伝送する。こ
の報告は、登録された報告条件に基づいて自動的に行わ
れる。自動報告にあたっては、巡視後に毎回行う方法で
もよいし、認識結果が登録した報告条件に該当する場合
にのみ報告し、その他は複数回まとめて行うという方法
でもよい。

【００３５】なお、報告には、認識結果の他に取得した
画像も添付することができる。また、報告には、クライ
アントシステム３に専用の受信ソフトを持たせて行った
方法以外に、サーバーシステム１にＷｅｂ機能を持たせ
てこのホームページ上に掲示する方法、または、電子メ
ールを送信する方法などがある。これらの方法では、ク
ライアントシステム３は、専用に開発されるソフトを必
要とせず、市販のソフトを組み込むことでシステム構築
できる。サーバーシステム１およびクライアントシステ
ム３との間の通信のセキュリティを確保するには、顧客
ＩＤと暗証番号とを利用すればよい。

【００３６】続いて、図２〜図５を用い、各種ある上述
の処理フローを個別に説明する。まず、図２で示す処理
フローでは、巡視の依頼および巡視情報の設定を行う処
理フローであって、設定時に画像撮像手段２ａまたは画
像伝送手段２ｂにおいて画像を蓄積せず、サーバーシス
テム１が逐次画像を取得する場合の処理フローを示して
いる。

【００３７】まず、顧客Ａは巡視の依頼を行う。この際
必要に応じて、巡視対象箇所の画像を取得して、カメラ
の向きなど適切にセッティングされているかを確認す
る。画像の取得にあたっては、巡視を依頼する顧客Ａ側
のオペレータの操作により、クライアントシステム３
は、画像撮像手段２ａまたは画像伝送手段２ｂに対し、
画像の撮像・要求を行うため画像撮像要求するコマンド
を送信する（ステップＳＴ１１）。画像撮像手段２ａま
たは画像伝送手段２ｂは、画像を撮像の後にディジタル
画像データとしてクライアントシステム３へ送信する
（ステップＳＴ１２）。

【００３８】クライアントシステム３は、このディジタ
ル画像データを取得し（ステップＳＴ１３）、このディ
ジタル画像データを用いて画像をディスプレイなどに表
示させる。なお、カメラ設置時に現地で画像を確認済み
であり巡視依頼データにディジタル画像データを添付し
ない場合には、このステップＳＴ１１からステップＳＴ
１３までのステップをスキップしてもよく、この場合
は、点線に沿ってステップＳＴ１４に進む。

【００３９】顧客Ａ側のオペレータは、表示される画像
を確認して問題がないと判断した場合に、さらに操作し
て巡視要件の設定を入力し（ステップＳＴ１４）、その
後に巡視依頼データをサーバーシステム１へ送信して巡
視の依頼を行う（ステップＳＴ１５）。巡視依頼データ
は、先に説明したように、巡視要件データ・必要な場合
のディジタル画像データが添付されている。サーバーシ
ステム１は巡視依頼データを受信して巡視依頼の受け付
けを行う（ステップＳＴ１６）。

【００４０】依頼受け付けがなされたならば、サービス
提供者側では巡視の準備を行う。サービス提供者側のオ
ペレータの操作により、サーバーシステム１は画像撮像
手段２ａまたは画像伝送手段２ｂに対し、画像撮像要求
を行うため画像撮像要求するコマンドを送信する（ステ
ップＳＴ１７）。画像撮像手段２ａまたは画像伝送手段
２ｂは、画像を撮像の上でディジタル画像データをサー
バーシステム１へ送信する（ステップＳＴ１８）。サー
バーシステム１は、このディジタル画像データを取得し
（ステップＳＴ１９）、このディジタル画像データを用
いて画像をディスプレイなどに表示させる。なお、巡視
依頼データに添付されたディジタル画像データを用いて
画像認識用情報の設定を行う場合には、このステップＳ
Ｔ１７からステップＳＴ１９までのステップをスキップ
してもよく、この場合は点線に沿ってステップＳＴ２０
に進む。

【００４１】画像取得終了後、サービス提供者側のオペ
レータの操作により、サーバーシステム１のディスプレ
イに画像を表示させて、画像認識用情報の設定値の調整
を行う（ステップＳＴ２０）。この場合、サービス提供
者が取り込んだ画像を用いていることとしているが、顧
客Ａから送信された巡視依頼データにディジタル画像デ
ータが添付されているならばその画像を用いても良い。
設定終了後、この画像認識用情報に顧客Ａから送信され
た巡視要件データを加えて巡視情報として登録する（ス
テップＳＴ２１）。そしてサーバーシステム１は、受付
結果を通知するため通知データを送信する（ステップＳ
Ｔ２２）。そして、クライアントシステム３は、その通
知データを受信する（ステップＳＴ２３）。

【００４２】続いて、巡視の依頼および巡視情報の設定
の他の処理例を説明する。図３で示す処理フローでは、
巡視の依頼および巡視情報の設定を行う処理フローであ
って画像撮像手段２ａまたは画像伝送手段２ｂにおいて
画像を蓄積し、蓄積された画像をサーバーシステム１が
所定期間毎に一括して取得する場合の処理フローを示し
ている。

【００４３】この処理フローにおける巡視の依頼・巡視
情報の設定・受付結果の処理は図２を用いて説明した処
理フローと同様であるが、画像撮像手段２ａまたは画像
伝送手段２ｂに画像を蓄積するように設定する処理が追
加される。図３で示すステップＳＴ３１〜ステップＳＴ
４１、およびステップＳＴ４３、４４の処理は、図２を
用いて説明したステップＳＴ１１〜ステップＳＴ２３ま
での処理と同様であるとしてその説明を省略し、相違点
を説明する。

【００４４】サービス提供者側のオペレータが巡視情報
として登録した後（ステップＳＴ４１）、サーバーシス
テム１は、この巡視情報を画像撮像手段２ａまたは画像
伝送手段２ｂに送信する（ステップＳＴ４２）。画像撮
像手段２ａまたは画像伝送手段２ｂはこの巡視情報を受
信し（ステップＳＴ４５）、登録する（ステップＳＴ４
６）。画像撮像手段２ａまたは画像伝送手段２ｂは、巡
視情報に従って、画像を取得することになる。

【００４５】続いて、自動巡視の処理フローについて説
明する。図４は、巡視時の処理フローであって、画像撮
像手段２ａまたは画像伝送手段２ｂにおいて画像を蓄積
せず、サーバーシステム１が逐次画像を取得する場合の
処理フローを示している。

【００４６】まず、巡視を行う場合、巡視情報に従っ
て、サーバーシステム１は、画像撮像手段２ａまたは画
像伝送手段２ｂに対し、画像の撮像・要求を行うため画
像撮像要求するコマンドを送信する（ステップＳＴ５
１）。画像撮像手段２ａまたは画像伝送手段２ｂは、撮
像した画像をディジタル画像データとしてサーバーシス
テム１へ送信する（ステップＳＴ５２）。

【００４７】サーバーシステム１は、このディジタル画
像データを取得し（ステップＳＴ５３）、このディジタ
ル画像データを用いて演算処理を行って画像認識を行い
（ステップＳＴ５４）、認識結果を記録する（ステップ
ＳＴ５５）。この画像認識処理としては、現用周知の各
種の画像処理の適用が考えられるが、例えば、取得した
ディジタル画像データと登録済みのディジタル画像デー
タとを比較して変化を検出することにより巡視対象の状
態を検出するような画像認識とする。そうすれば、変化
が生じたときに直ちに検出することができる。

【００４８】サーバーシステム１は、巡視情報に登録さ
れた報告条件に基づいたプログラム処理により、報告す
べき事象であるか否かを判断し（ステップＳＴ５６）、
巡視結果報告データを作成の上で発信する（ステップＳ
Ｔ５７）。なお、発信方法についても報告条件に含まれ
て登録されている。発信方法としては、事象発生時に直
ちに発信しても、定期的に行っても良い。また、事象の
重要度のランクに応じて、重要事象のみ直ちに発信して
も良い。

【００４９】顧客Ａ側のクライアントシステム３は、巡
視結果報告データを受信して（ステップＳＴ５８）オペ
レータが巡視結果報告データをディスプレイに表示させ
て報告内容を確認する。このような処理とすることで、
顧客Ａは、遠隔地の巡視対象の巡視・点検を実現するこ
とができる。

【００５０】続いて、他の巡視処理フローについて説明
する。図５は、巡視時の処理フローであって、画像撮像
手段２ａまたは画像伝送手段２ｂにおいて画像を蓄積
し、これら蓄積された画像をサーバーシステム１が所定
期間毎に一括して取得する場合の処理フローを示してい
る。

【００５１】この処理フローにおけるサーバーシステム
１・クライアントシステム３の処理は図４を用いて説明
した処理フローと同様であるが、画像撮像手段２ａまた
は画像伝送手段２ｂの画像の蓄積処理が相違している。
そこで、図５で示すステップＳＴ６３，ステップＳＴ６
５〜ステップＳＴ７０の処理は、図４を用いて説明した
ステップＳＴ５１，ステップＳＴ５３〜ステップＳＴ５
８の処理と同様であるとしてその説明を省略する。

【００５２】画像撮像手段２ａまたは画像伝送手段２ｂ
は、巡視情報に基づいて所定日時に画像を撮像し（ステ
ップＳＴ６１）、画像の蓄積処理を行っている（ステッ
プＳＴ６２）。そして、サーバーシステム１から送信
（ステップＳＴ６３）された画像要求するコマンドを受
信した場合に、その時点まで蓄積された撮像時期が異な
る複数の画像のディジタル画像データを送信する（ステ
ップＳＴ６４）。そして、サーバーシステム１は、ディ
ジタル画像データを取得することとなる。以下のサーバ
ーシステム１・クライアントサーバシステム３の処理
は、図４を用いて行った説明と同様であり、その説明を
省略する。

【００５３】以上、本実施形態によれば、通信ネットワ
ーク６を介して、サービス提供者のサーバーシステム
１、顧客Ａの巡視対象箇所に設置された画像撮像手段２
ａおよび画像伝送手段２ｂ、顧客Ａのクライアントシス
テム３が結ばれ、サービス提供者が巡視サービスを顧客
Ａに提供することができ、遠隔地にある巡視対象を巡視
することが可能となる。もちろん顧客Ａ以外の複数顧客
に提供することも可能である。

【００５４】続いて、本発明の第２実施形態の巡視サー
ビスおよび巡視方法について説明する。第１実施形態に
おいて、カメラの位置や照明条件が安定した環境におい
て、画像の変化を見つけることで巡視が可能な対象にお
いては、従来技術で示した処理のフローを用いても良い
こととして説明したが、カメラの位置や照明条件が不安
定な環境下においても検出できる能力を持たせる必要が
ある。本実施形態では、巡視対象をより具体化して状態
表示器の表示内容とし、画像認識処理能力を高めるため
この状態表示器の付近にマーカを配置し、登録された画
像のマーカの色および位置と、取得されたマーカの色お
よび位置と比較して、取得した画像の補正を行った上で
画像認識処理を行うものである。このような構成とした
ことでカメラの位置や照明条件が不安定な環境下でも高
い検出能力を維持できる。構成については第１実施形態
として図１を用いて説明した構成と同じであり、処理の
フローは、第１実施形態において図２〜図５を用いて説
明した処理フローを用いるが、画像認識処理を状態表示
器の表示内容の画像認識処理であるとし、また、巡視情
報の設定も状態表示器の表示内容を想定してより具体化
している。

【００５５】状態表示器の表示内容の画像認識処理につ
いて説明する。図６は本実施形態のシステム構成図、図
７は状態表示器を例示する説明図、図８は本実施形態の
認識処理基準情報登録処理のフローを示すフローチャー
ト、図９は本実施形態の表示内容認識処理のフローを示
すフローチャート、図１０は状態表示器のマーカ配置例
とマーカの幾何学的情報を説明する説明図、図１１はＯ
Ｎ／ＯＦＦの二つの状態を表示する状態表示器における
表示領域例を説明する説明図、図１２はマーカの幾何学
的情報を用いた座標補正方法を説明する説明図、図１３
は指針回転型アナログ指示計における幾何学的情報例を
説明する説明図、図１４は指針回転型アナログ指示計に
おける指針候補の抽出方法を説明する説明図である。以
下、図を参照して、説明する。

【００５６】図６に示すように、状態表示器の画像認識
処理は、まず画像撮像手段２ａ、および、画像伝送手段
２ｂが状態表示器を撮像する。撮像される状態表示器の
周辺にはマーカが配置されている。このマーカとは、例
えば、状態表示器の周囲に貼り付けられるシールなどの
マーカであったり、状態表示器に直接着色されたマーカ
であったり、状態表示器のカバーに予め印刷されたマー
カであったりする。

【００５７】画像撮像手段２ａは、状態表示器とマーカ
とを撮像範囲内に含めて一つの画像として撮像する。画
像伝送手段２ｂは、撮像したこの画像をディジタル画像
データとして、送信する。

【００５８】続いて、認識処理される状態表示器例につ
いて説明する。図７（ａ）〜（ｅ）は、プラント・設備
の各種状態を表示する状態表示器である。 図７
（ａ）、（ｂ）、（ｃ）は、温度、圧力、流量など設備
の状態の測定値を表すアナログ式指示計の例であり、詳
しくは、図７（ａ），（ｂ）は指針が回転するタイプ、
図７（ｃ）は指針が移動（図７（ｃ）の指針移動型メー
タでは上下に移動）するタイプである。これらアナログ
指示計には、指針移動方法の違いの他、文字盤や指針の
形状、色などが相違するさまざまなタイプがあり、図７
（ａ）のように一つの文字盤に複数の指針が存在するも
のもある。また、図示しないが、指示計としては液面計
やディジタル表示の指示計もある。

【００５９】指示計以外の状態表示器では、ＯＮ／ＯＦ
Ｆや異常／非異常などの状態を表示する表示器がある。
図７（ｄ）の例は、落下式表示器と呼ばれる表示器で、
表示部前面の表示窓内に表示板が落下することによって
表示するタイプである。また、図７（ｅ）は、照光式表
示器の例であり、ランプのＯＮ／ＯＦＦで異常の有無が
判断できるものである。

【００６０】その他、図示しないが、温度を感知し、温
度の高低に応じて自身の色を変換させるシールがある。
これは一般的に「サーモラベル」と呼ばれ、設備の発熱
を監視するためによく利用されている。本実施形態で
は、以上紹介した状態表示器に加え、設備の状態を人間
の目で確認する各種状態表示器を対象としている。

【００６１】続いてサーバーシステム１による状態表示
装置の画像認識処理に係る処理フローについて説明す
る。認識処理に係る処理フローとしては、認識処理基準
情報登録処理（図２，図３で示したステップＳＴ２０，
４０で示した画像認識用情報の設定に相当）および表示
内容認識処理（図４，図５で示したステップＳＴ５４，
６６で示した演算処理に相当）が用いられる。認識処理
を行う際に必要となる基準情報（以下、認識処理基準情
報という）を、予め認識対象ごとに登録しておき、この
認識処理基準情報に基づいて表示内容認識処理を行う。
図８に認識処理基準情報登録処理のフローを、図９に表
示内容認識処理のフローをそれぞれ示す。

【００６２】まず、認識処理基準情報登録処理について
説明する。認識処理基準情報登録処理では、まず、サー
バーシステム１は、カラー画像であるディジタル画像デ
ータを読み込む（ステップＳ７１：画像読み込み手
段）。次に、ディジタル画像データから、形状特徴、面
積、色などが所定の条件（マーカ抽出条件は使用するマ
ーカによって異なる）にあてはまる領域をマーカ候補領
域として抽出し、マーカ候補数が実際のマーカ数に等し
い場合は、人為的な選択なしにマーカ候補をそのままマ
ーカとする。マーカ候補数が実際のマーカ数より多い場
合は、この中から実際のマーカを人為的に選択する（ス
テップＳ７２：マーカ候補検出およびマーカ選択手
段）。

【００６３】選択をする際、マーカを複数使用した場合
には、マーカの一つを選択し、他のマーカは選択された
マーカに近い特徴を持つ領域を他のマーカとして自動的
に選択することもできる。また、検出されたマーカ候補
の数が実際のマーカ数未満の場合は、カメラ位置がずれ
た状態でマーカが撮像されたとサーバーシステム１が判
断し、その旨をサーバーシステム１のオペレータに通報
することができる。

【００６４】続いて、マーカについての基準マーカ幾何
学的情報および基準マーカ色情報を抽出し、登録する
（ステップＳ７３：基準マーカ情報抽出および登録手
段）。ここでマーカ貼付例とマーカについての基準マー
カ幾何学的情報および基準マーカ色情報を図１０を用い
て説明する。 図１０（ａ）は、円形型マーカを２個使
用した例であり、２個のマーカの重心間を結んだマーカ
ベクトルとその始点であるマーカの基準座標を基準マー
カ幾何学的情報として登録する。また、必要に応じてマ
ーカの半径など大きさを表す情報を基準マーカ幾何学的
情報に加えてもよい。

【００６５】図１０（ｂ）は、四角形タイプのマーカを
１個使用し、マーカの左上隅の座標をマーカベクトルの
始点とし、マーカの外接四角形の輪郭をマーカベクトル
とした例である。また、必要に応じてマーカを長方形と
し、長辺と短辺の比を基準マーカ幾何学的情報に加えて
もよい。

【００６６】図１０（ｃ）は、バーコードタイプのマー
カを使用し、バーコードの外接四角形を抽出して、四角
形タイプと同様にマーカベクトルを抽出した例である。
この場合、バーコード情報にその認識対象を示す情報を
入れておき、認識処理時にバーコードを読み取ることに
よっても認識処理基準情報を呼び出すことができる。な
お、バーコードは、読み取り誤差を減らすべく簡便なも
のとし、例えば細線を０に太線を１に対応させるように
して、サーバーシステム１に確実に読み取らせるような
バーコードとしてもよい。

【００６７】一方、図１０（ａ），（ｂ），（ｃ）で示
すマーカについての基準マーカ色情報としては、画像
Ｒ，Ｇ，Ｂ成分をそのまま用いてもよいが、ここでは代
表的な色の表現方法である、色相、彩度、明度からなる
色の３属性を用いることとする。なお、色情報としては
Ｌ，ａ，ｂなど現用周知の色情報を用いることができ
る。これら基準マーカ色情報は画像データから算出され
る。このようにステップＳ７３の基準マーカ情報抽出お
よび登録手段により基準マーカ幾何学的情報および基準
マーカ色情報が登録される。

【００６８】最後に、認識処理に必要となる状態表示器
についての基準表示器幾何学的情報と基準表示器色情報
を登録する（ステップＳ７４：認識処理基準情報登録手
段）。基準表示器幾何学的情報として、まず、表示領域
の座標情報が挙げられ、さらにこの表示領域内の幾何学
的情報と色情報が挙げられる。図１１にＯＮ／ＯＦＦの
二つの状態を表示する表示器における表示領域の例を示
す。これらの表示器ではＯＮとＯＦＦにおける画像差を
表現した認識処理基準情報を登録する。

【００６９】例えば、この表示領域内に存在するエッジ
成分の形状的特徴などは幾何学的情報に該当するし、表
示領域内の色の特徴など色情報に該当する。また、色情
報の算出にあたっては、マーカの色情報と同じ色表現方
法を用いる。これらの認識処理基準情報は状態表示器の
種別によって異なるが、同種類のものでも撮像条件によ
って変化するものもある。したがって、これを事前に調
べておくこともできるが、認識処理開始直前にＯＮとＯ
ＦＦの状態を擬似的に発生させて、表示領域内の特徴を
抽出し、幾何学的情報と色情報とを登録するという方法
もある。また、表示器に幾何学的情報、色情報に一定量
の変化があった場合に、単純に”状態変化あり”と認識
する場合には、現在（登録時）の情報のみを登録すれば
よい。これら情報を、状態表示器についての基準表示器
幾何学的情報と基準表示器色情報とする。

【００７０】本明細書中では、以下、マーカについての
基準マーカ幾何学的情報および基準マーカ色情報、並び
に、状態表示器についての基準表示器幾何学的情報およ
び基準表示器色情報についてを総称して認識処理基準情
報という。認識処理基準情報には、画像認識に用いる上
記のような幾何学的情報と色情報とに加えて、画像認識
に必要な各種パラメータや、サーバーシステム１のオペ
レータへの通報条件などの運用に関わる条件も含まれ
る。

【００７１】続いて表示内容認識処理について説明す
る。 表示内容認識処理とは、登録された認識処理基準
情報を用いて表示内容を認識する処理である。以下に、
図９のフローにしたがって認識処理の実施例を説明す
る。まず、認識処理に必要なカラーのディジタル画像デ
ータを読み込む（ステップＳ８１：画像取り込み手
段）。

【００７２】次に、ディジタル画像データから、形状、
特徴、面積、または、色などが所定の条件（マーカ抽出
条件は使用するマーカによって異なる）にあてはまる領
域をマーカ候補領域として抽出したあと、登録された基
準マーカ幾何学的情報および基準マーカ色情報を利用し
て対象を絞り込むなどして所定の数のマーカを検出する
（ステップＳ８２：マーカ検出手段）。

【００７３】この際、検出したマーカ数が実際のマーカ
数未満の場合は、カメラ位置が大きくずれてマーカが画
像からはみ出していたり、著しく暗くなっていてマーカ
が正常に検出できないなど、撮像条件が悪化しているこ
とを示す。したがってこの場合は認識処理が正常に行え
ないとして、認識処理を中止し、その旨をサーバーシス
テム１のオペレータに通報する。また、中止しないまで
も、オペレータへ通報するようなマーカ検出手段とする
ことも可能である。認識処理の中止をするか否か、オペ
レータ通報を行うか否かは適宜設定選択される。なお、
このような事象を報告すべき事象として巡視情報に登録
した場合には、クライアントシステム３に報告の発信を
行うことになる。

【００７４】続いて検出したマーカ（以下、検出マーカ
という）に係るマーカ信号を用いて幾何学的情報と色情
報を抽出する（ステップ８３：マーカ情報抽出手段）。
まず、幾何学的情報としてマーカの基準座標およびベク
トルを算出する。そして、これらマーカの基準座標およ
びベクトルと、認識処理基準情報であるマーカの基準座
標およびベクトルと比較することによって、カメラ位
置、画角および傾きなど、登録時からの撮像条件のずれ
を求める。また、求めたずれ具合が一定値を超える場合
にも、認識処理が正常に行えないとして、認識処理を中
止し、その旨をサーバーシステム１のオペレータに通報
する。また、中止しないまでも、オペレータへ通報する
ようなマーカ検出手段とすることも可能である。認識処
理の中止をするか否か、オペレータ通報を行うか否かは
適宜設定選択される。なお、このような事象を報告すべ
き事象として巡視情報に登録した場合には、クライアン
トシステム３に報告の発信を行うことになる。

【００７５】続いて、認識処理に必要な状態表示器の検
出表示器幾何学的情報と検出表示器色情報を抽出する
（ステップ８４：状態表示器情報抽出手段）。処理にあ
たって、表示領域を抽出するなど座標を用いて情報を抽
出する場合には、登録された状態表示器の座標情報をマ
ーカ情報抽出手段（ステップＳ８３）で求めた撮像条件
のずれ分を補正すべく座標補正を行う。

【００７６】図１２に座標補正方法を説明する図を示
す。座標補正は、登録マーカの基準座標と検出マーカの
基準座標との差を用いた平行移動量、登録マーカベクト
ルと検出マーカベクトルの差を用いた回転移動量、およ
び、ベクトルの大きさの比率を用いた縮尺補正量の組み
合わせによる。

【００７７】続いて、基準表示器幾何学的情報、検出表
示器幾何学的情報、基準表示器色情報、検出表示器色情
報、基準マーカ幾何学的情報、検出マーカ幾何学的情
報、基準マーカ色情報、および、検出マーカ色情報を参
照して状態表示器の表示内容を認識するための特徴量を
算出する認識処理特徴量抽出手段（ステップＳ８５：認
識処理特徴量抽出手段）。

【００７８】例えば、基準表示器幾何学的情報と検出表
示器幾何学的情報との比較、基準表示器色情報と検出表
示器色情報との比較、基準マーカ幾何学的情報と検出マ
ーカ幾何学的情報との比較、基準マーカ色情報と検出マ
ーカ色情報との比較により、状態表示器の表示内容を認
識するための特徴量を算出する。あるいは、基準マーカ
幾何学的情報と基準表示器幾何学的情報との比較、基準
マーカ色情報と基準表示器色情報との比較、検出マーカ
幾何学的情報と検出表示器色情報との比較、検出マーカ
色情報と検出表示器幾何学的情報との比較により、状態
表示器の表示内容を認識するための特徴量を算出する。

【００７９】より具体的な例として、図７（ｄ）の落下
式表示器では、表示領域内（表示窓内）の斜線模様を幾
何学的情報として抽出し、この模様の向き、大きさにつ
いて、それぞれマーカベクトルの長さ、向きとの相対値
をもとにして二つの特徴量を算出できる。また、表示領
域内の斜線模様の色相、彩度、明度を色情報として抽出
し、それぞれ検出マーカの色相、彩度、明度との相対値
をもとにして３つの特徴量を算出できる。

【００８０】また、表示領域内の斜線模様が”入”また
は”切”という文字の場合もあるが、この”入”また
は”切”という文字を幾何学的情報として抽出し、この
文字の向き、大きさについて、それぞれマーカベクトル
の長さ、向きとの相対値をもとにして二つの特徴量を算
出できる。このように文字・図形・記号等を認識するこ
とができる。これらの特徴量は状態表示器の種別によっ
て異なり、必ずしも幾何学的情報、色情報をともに利用
する必要もない。また、特徴量によっては必ずしも相対
値を用いなくてもよい。

【００８１】認識処理特徴量抽出手段（ステップＳ８
５）で算出された複数の特徴量を用いて状態表示器の表
示内容を認識する（ステップＳ８６：表示内容認識手
段）。認識方法は、表示器の種別によって異なる。例え
ば、ＯＮ／ＯＦＦの二つの状態を表示する表示器におい
ては、得られた特徴量と、認識処理基準情報として登録
されたＯＮ／ＯＦＦ時の特徴量と比較し、近い特徴量を
示す表示内容を選択する。また、表示器に幾何学的情
報、色情報に一定量の変化があった場合に、単純に”状
態変化あり”と判定する。また、アナログ指示計の場合
は、指針値を読み取る処理を行う。指示計の指針値読み
取り方法については後述する。

【００８２】以上が第２の実施形態における表示内容認
識処理であり、図４，図５で示したステップＳＴ５４，
６６で示した演算処理に該当する。この後、認識結果の
記録（ステップＳＴ５５，６７）から報告の受信（ステ
ップＳＴ５８，７０）までの処理を行う。なお、報告条
件としては、表示内容がＯＦＦからＯＮへ反転した場合
や、指針値がしきい値を越えたり、急変した場合などの
ほか、検出したマーカが実際のマーカ数未満の場合や画
像のずれ具合が一定以上の場合が挙げられ、これらは巡
視情報に登録される。

【００８３】続いて第２実施形態における画像認識処理
の他の例について説明する。この画像認識処理例では、
状態表示器がアナログ指示計の場合の具体的な処理方法
に関するものである。構成については第１実施形態とし
て図１を用いて説明した構成と同じであり、処理のフロ
ーは、第２実施形態において図８を用いて説明した認識
処理基準情報登録処理および図９を用いて説明した表示
内容認識処理とほぼ同じフローであるが、一部が相違し
ている。以下、相違点を中心に図１３および図１４を用
いて説明する。

【００８４】まず、本実施形態における認識処理基準情
報登録処理について説明する。 画像読み込み手段（ス
テップＳ７１）、マーカ候補検出およびマーカ選択手段
（ステップＳ７２）、マーカ基準情報抽出および登録手
段（ステップＳ７３）の処理は、先の説明と同じのため
説明を省略し、認識処理基準情報登録手段（ステップＳ
７４）のアナログ指示計の幾何学的情報と色情報とを扱
う点について以下に説明する。

【００８５】図１３に指針回転型のアナログ指示計にお
ける幾何学的情報例を示す。この例では、基準表示器幾
何学的情報として、扇形状の表示領域（指針の探索領
域）、指針の支点位置、文字盤に記された目盛の指示角
度、および、指針自身の形状特徴を用いている。指針自
身の形状特徴としては、長さと太さとを基本とするが、
さらに複雑な形状特徴を定義づけて登録してもよい。

【００８６】なお、図７（ｃ）で示したような指針移動
型指示計では、表示領域を矩形とし、指針の支点位置は
必要ない。また、文字盤の目盛に関する情報としては、
指針の移動方向を示す座標軸上の指示位置を用いればよ
い。次に、基準表示器色情報として、指針部分の色情報
を登録する。色情報の登録にあたっては、マーカの色情
報と同じ色表現方法を用いる。

【００８７】これらの認識処理基準情報の抽出は、人に
よる設定と自動抽出を使い分け、場合によってはこれら
を組み合わせて行う。例えば、指針回転型指示計の表示
領域の設定は、扇形状の外円半径、内円半径とその中心
座標および角度範囲を、画像を見ながらオペレータが設
定するのが実用的である。また、指針の特徴抽出にあた
っては、表示領域内から、エッジ抽出処理、しきい値処
理などの画像処理を使って指針候補領域を自動的に抽出
するため、表示領域内の文字を選択することがあるが、
人為的に真の指針部分のみを選択して他を排除し、この
部分の形状特徴と色情報とを抽出するといった方法があ
る。図８（ｂ）では、２本の指針部分と、「メータ」と
書かれた文字盤情報の文字部分が指針候補領域として選
択されるが、指針部分２本のみを真の指針部分として選
択することになる。

【００８８】続いて表示内容認識処理の説明について説
明する。この画像認識処理における表示内容認識処理
も、図９に示すフローによるものであり、画像読み込み
手段（ステップＳ８１）、マーカ検出手段（ステップＳ
８２）、マーカ情報抽出手段（ステップＳ８３）の処理
は、先の説明と同じであり説明は省略する。以下、認識
対象を指針回転型のアナログ指示計とする場合の、状態
表示器情報抽出手段（ステップ８４）、認識処理特徴量
抽出（ステップＳ８５）、表示内容認識手段（ステップ
８６）の処理方法例について説明する。

【００８９】状態表示器情報抽出手段（ステップＳ８
４）において、状態表示器に関する検出表示器幾何学的
情報と検出表示器色情報とを抽出する。検出表示器幾何
学的情報として、まず、扇形状の表示領域を抽出する。
この表示領域は指針の探索領域となる。抽出にあたって
は、登録された表示領域に関する座標情報をもとに、マ
ーカ情報抽出手段（ステップＳ８３）で求めた撮像条件
のずれ分を補正して求める。補正方法は、第２実施形態
として説明した先の補正方法と同じであり説明は省く。

【００９０】次に表示領域から、画像の微分処理、閾値
処理などによって、エッジ部分を含んだ領域を指針候補
領域として抽出する。また、登録された指針の支点座標
をもとに撮像条件のずれを補正して、指針の支点座標を
求める。続いて、指針候補領域を、指針の支点を原点と
して極座標変換する。これをθ座標に投影すると、図１
４のような、θ値に対する投影値Ｒをプロットした曲線
が得られる。

【００９１】この曲線のピーク部分のうち、一定値以上
の投影値を示す部分を指針候補として絞り込み、そのθ
値を指針候補の示す角度として求める。この際、文字盤
に文字や模様が書かれている場合は、この部分も指針候
補として抽出されることもある。そして、指針候補の幾
何学的情報として、指針候補として抽出されたピーク部
分の投影値を用いて指針候補の長さを示す特徴量を求
め、また、ピーク部分の幅を用いて指針候補の太さを示
す特徴量を求める。さらに、指針候補の色情報の特徴量
として、色相値、彩度値、明度値を求める。

【００９２】認識処理特徴量抽出手段（ステップＳ８
５）では、求めた指針候補の長さ、太さに関する特徴量
について、検出マーカのベクトル長との相対値で表した
特徴量に変換する。また、指針候補の色相値、彩度値、
明度値は、それぞれ検出マーカの色相値、彩度値、明度
値との相対値で表した値に変換する。このように、特徴
量の算出にあたって、マーカを基準とすることで、カメ
ラのズームなどによる指針の画像中の相対的な大きさの
変化や、照明条件の変化などによる指針の色の変化への
対応力を増した認識処理が可能となる。

【００９３】以上の方法で算出した、長さ、太さ、色相
値、彩度値および明度値に関する特徴量を成分とした５
次元の特徴量ベクトル空間を算出する。なお、本発明で
は、次元数を５に限定するものではなく、必要に応じ
て、次元数を減らしてもよいし、長さと太さの比で表し
た形状特徴量など他の特徴量を加えて次元数を増やして
もよい。また、特徴量によっては必ずしも相対値を用い
なくてもよく、絶対値でもよい。

【００９４】続いて、表示内容認識手段（ステップＳ８
６）では、認識処理特徴量抽出手段（ステップＳ８５）
で得られた指針候補の特徴量ベクトルを用いて指針候補
の中から、複数の実際の指針を区別して選択するととも
に、その指針の示す位置から指針値を算出する。まず、
登録された指針（以下、登録指針）ごとに、検出された
全ての指針候補との特徴量ベクトル空間距離を算出す
る。この距離が小さいほど指針の特徴が似ていることを
示しており、最も短い距離を示す指針候補を対応づけ
る。そして、その指針候補の指示角度を算出し、マーカ
によって検出された画像の傾きのずれ分を補正したうえ
で、登録された文字盤目盛の指示角度との比較によって
指針値を算出する。

【００９５】なお、上記の対応づけ処理において、存在
する複数の指針同士の特徴が似ている場合には、一つに
指針候補に対し複数の登録指針が重複して対応づけられ
ることがある。この場合には、ユークリッド距離が最小
となる対応づけを選択し、選択にもれた登録指針は次に
距離が短い指針候補を選択するというようにして、重複
しないように対応づける。また、このような場合は対応
づけ結果の信頼性が低いとして、無理に指針値を算出せ
ずに、その旨をサーバシステム１のオペレータに通報し
てもよい。なお、このような事象を報告すべき事象とし
て巡視情報に登録した場合には、クライアントシステム
３に報告の発信を行うことになる。

【００９６】以上、認識対象を指針回転型のアナログ指
示計とした場合の表示内容認識処理について説明した。
指針移動型のアナログ指示計については、指針候補領域
を極座標変換をせずに、指針の移動方向となる座標軸に
投影する、また、指針角度を用いずに移動方向の座標軸
上の指示位置を用いて指針値を算出するといった若干の
個別処理方法に違いがあるが、基本的には指針回転型と
同一の処理フローで処理できる。

【００９７】なお、第２実施形態では巡視対象を特に状
態表示器の表示内容に限定して具体的な説明を行っては
いるが、もちろん、状態表示器のみに限定する趣旨では
なく、あらゆる巡視対象の近傍にマーカを配置すること
で上述のような画像認識処理を可能とする。この場合、
先に説明した巡視対象についての基準表示器幾何学的情
報、基準表示器色情報、検出表示器幾何学的情報および
検出表示器色情報に代えて、巡視対象についての基準巡
視対象幾何学的情報、基準巡視対象色情報、検出巡視対
象幾何学的情報および検出巡視対象色情報を取得し、先
に説明した内容と同様の処理を行うこととなる。このよ
うにしても本発明の効果を奏し得る。

【００９８】

【発明の効果】本発明の請求項１，２，５，６に係る発
明は以下のような効果を有している。第一の効果とし
て、顧客は現地に出向くことなく巡視対象の状態を知る
ことができる。第二の効果として、画像認識に必要な情
報の登録を自動巡視サービスの提供者（画像認識処理の
内容をよく把握し、ノウハウを有するオペレータ）が行
うようにしたため、顧客が画像認識手段を有するシステ
ム（装置またはソフトウェア）を導入し、顧客自身で運
用を行うよりも正確な認識処理が行うことができる。

【００９９】第三の効果として、顧客が巡視１回につき
○○円、または、１ヶ月○○円など、受けた巡視サービ
スの対価を支払えば、高価な画像認識手段を有するシス
テム（装置またはソフトウェア）を導入することなく、
自動巡視を行うことができる。特に１人の顧客によるサ
ーバーシステムの画像認識手段の稼働率が低いような場
合には、自身で運用するのに比較してコストメリットが
大きくなる。第四の効果として、自動巡視サービス提供
者は、上記第二，第三の効果を理由として、より広範囲
の顧客を獲得することができ、また、曜日別、時間帯別
料金、画像撮像日時から巡視結果報告までの許容時間を
考慮した料金などの緻密な料金設定や、空き時間のディ
スカウントなどを行うことによってサーバーシステムの
稼働率を向上させることができることができる。

【０１００】第五の効果として、顧客自身が画像認識手
段を有するシステムを導入するよりも、サービス提供者
は顧客サポートを容易に行える。また、認識性能の向上
や認識可能対象物の追加などを目的としたバージョンア
ップも容易となる。

【０１０１】本発明の請求項３，４，７，８に係る発明
は、先の効果に加え、以下のような効果を有している。
第一の効果として、画像認識に必要な情報の登録を、予
め撮像範囲内にマーカを貼付などにより配置し、これを
基準にすることで、形状、大きさ、色など、種類の異な
る状態表示器が一つの撮像画像に複数存在し、たとえ、
カメラの位置ずれなどによってそれらの大きさや位置、
傾きに変化があってもその表示内容を認識することが可
能となり、検出能力を高めた巡視サービスを提供するこ
とができる。

【０１０２】第二の効果として、状態表示器の色の特徴
を用いて認識する必要がある際に、マーカの色との相対
値を用いることで、照明や太陽光の影響などによる、画
像の明るさや色合いの変化への対応力を増した認識が可
能となる。さらに、第三の効果として、マーカを抽出で
きない場合や、抽出できてもマーカの幾何学的情報や色
情報に極端な変化があった場合に、正常に認識処理が行
えない恐れがあると判断できることから、無理な処理を
取り止めてその旨をオペレータに通報することによっ
て、現象の見逃しを防ぐことができる。

【０１０３】認識対象がアナログ指示計の場合は、上記
の効果に加えて、認識対象物に関する情報として、指針
の長さ、太さ、色情報など複数の特徴量を用いることに
よって、同一のアナログ指示計に複数の指針が存在して
いてもそれぞれの指示値を読み取ることができる。

【０１０４】総じて、本発明によれば、ユーザー自身が
画像認識用のシステムを運用することなく自動的な巡視
が行え、かつ画像認識手段の稼働率を向上させた自動巡
視システムおよび自動巡視方法を提供することができ
る。

【図面の簡単な説明】

【図１】 本発明の第１，第２実施形態の
自動巡視システムを含む全体システムのシステム構成図
である。

【図２】巡視の依頼および巡視情報の設定における処理
フローのフローチャートである。

【図３】巡視の依頼および巡視情報の設定における処理
フローのフローチャートである。

【図４】巡視時の処理フローのフローチャートである。

【図５】巡視時の処理フローのフローチャートである。

【図６】本発明の第２実施形態のシステム構成図であ
る。

【図７】状態表示器を例示する説明図である。

【図８】本発明の第２実施形態の認識処理基準情報登録
処理のフローを示すフローチャートである。

【図９】本発明の第２実施形態の表示内容認識処理のフ
ローを示すフローチャートである。

【図１０】状態表示器のマーカ配置例とマーカの幾何学
的情報を説明する説明図である。

【図１１】ＯＮ／ＯＦＦの二つの状態を表示する状態表
示器における表示領域例を説明する説明図である。

【図１２】マーカの幾何学的情報を用いた座標補正方法
を説明する説明図である。

【図１３】指針回転型アナログ指示計における幾何学的
情報例を説明する説明図である。

【図１４】指針回転型アナログ指示計における指針候補
の抽出方法を説明する説明図である。

【図１５】従来技術のシステム構成図である。

【図１６】従来技術の画像認識フローを示すフローチャ
ートである。

【符号の説明】

１ サーバーシステム ２ａ 画像撮像手段 ２ｂ 画像伝送手段 ３ クライアントシステム ４ａ 画像撮像手段 ４ｂ 画像伝送手段 ５ クライアントシステム ６ 通信ネットワーク

───────────────────────────────────────────────────── フロントページの続き (72)発明者 川角 浩亮 東京都千代田区内幸町一丁目１番３号 東 京電力株式会社内 (72)発明者 鈴木 守 東京都千代田区内幸町一丁目１番３号 東 京電力株式会社内 Ｆターム(参考） 2G075 AA01 BA03 BA16 CA01 CA02 EA01 FA13 FB01 FB05 FB07 FB09 FC03 FC14 GA16 GA18 5B057 AA19 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CD18 DA01 DA06 DA15 DB02 DB06 DB09 DC03 DC08 DC25 5C054 DA09 FC01 FC12 FD03 GB01 GB14 GB15 GB17 HA18

Claims (8)

【特許請求の範囲】
1. 【請求項１】画像撮像手段が遠隔地にある巡視対象の画
   像を撮像し、画像伝送手段がこの巡視対象の画像をディ
   ジタル画像データに変換してネットワークを介して送信
   し、このディジタル画像データを用いてなされた巡視の
   結果についてネットワークを介してユーザのデータ受信
   装置に報告する自動巡視システムであって、 画像伝送手段からネットワークを介して送信される巡視
   対象のディジタル画像データを取得する取得手段と、 取得したディジタル画像データを用いて画像認識処理を
   行って巡視対象の状態を判断する画像認識手段と、 判断された巡視対象の状態について報告する巡視結果報
   告データがネットワークを介して通知され、ユーザのデ
   ータ受信装置により取得されるようにする巡視結果報告
   手段と、 を備えることを特徴とする自動巡視システム。
2. 【請求項２】請求項１に記載の自動巡視システムにおい
   て、 前記画像認識手段は、時間差のある複数のディジタル画
   像データ間を比較して変化を検出することにより巡視対
   象の状態を認識する手段とすることを特徴とする自動巡
   視システム。
3. 【請求項３】請求項１に記載の自動巡視システムにおい
   て、 前記ディジタル画像データは、巡視対象付近に存するマ
   ーカを含むように撮像されたデータであって、 前記画像認識手段は、 認識処理開始前に巡視対象およびマーカを含むディジタ
   ル画像データを読み込んで、マーカについての基準マー
   カ幾何学的情報および基準マーカ色情報、並びに、巡視
   対象についての基準巡視対象幾何学的情報および基準巡
   視対象色情報を、予め取得して登録しておく認識処理基
   準情報登録手段と、 認識処理を開始して巡視対象およびマーカを含むディジ
   タル画像データを読み込む画像読み込み手段と、 基準マーカ幾何学的情報および基準マーカ色情報を参照
   してディジタル画像データからマーカ候補領域に係るデ
   ータを抽出するマーカ検出手段と、 マーカ候補領域に係るデータを用いて検出マーカ幾何学
   的情報および検出マーカ色情報を取得するマーカ情報抽
   出手段と、 検出マーカ幾何学的情報および検出マーカ色情報、並び
   に、基準巡視対象幾何学的情報および基準巡視対象色情
   報を参考にして巡視対象について検出巡視対象幾何学的
   情報および検出巡視対象色情報を取得する巡視対象情報
   抽出手段と、 基準巡視対象幾何学的情報、検出巡視対象幾何学的情
   報、基準巡視対象色情報、検出巡視対象色情報、基準マ
   ーカ幾何学的情報、検出マーカ幾何学的情報、基準マー
   カ色情報、および、検出マーカ色情報を参照して巡視対
   象の状態を認識するための特徴量を算出する認識処理特
   徴量抽出手段と、 抽出した特徴量を用いて、巡視対象の状態を認識する状
   態認識手段と、 を備え、 巡視対象の状態を認識する手段とすることを特徴とする
   自動巡視システム。
4. 【請求項４】請求項３に記載の自動巡視システムにおい
   て、 前記画像認識手段は、巡視対象として状態表示器の表示
   内容を認識するものとし、 認識処理開始前に状態表示器およびマーカを含むディジ
   タル画像データを読み込んで、マーカについての基準マ
   ーカ幾何学的情報および基準マーカ色情報、並びに、状
   態表示器についての基準表示器幾何学的情報および基準
   表示器色情報を、予め取得して登録しておく認識処理基
   準情報登録手段と、 認識処理を開始して状態表示器およびマーカを含むディ
   ジタル画像データを読み込む画像読み込み手段と、 基準マーカ幾何学的情報および基準マーカ色情報を参照
   してディジタル画像データからマーカ候補領域に係るデ
   ータを抽出するマーカ検出手段と、 マーカ候補領域に係るデータを用いて検出マーカ幾何学
   的情報および検出マーカ色情報を取得するマーカ情報抽
   出手段と、 検出マーカ幾何学的情報および検出マーカ色情報、並び
   に、基準表示器幾何学的情報および基準表示器色情報を
   参考にして状態表示器について検出表示器幾何学的情報
   および検出表示器色情報を取得する状態表示器情報抽出
   手段と、 基準表示器幾何学的情報、検出表示器幾何学的情報、基
   準表示器色情報、検出表示器色情報、基準マーカ幾何学
   的情報、検出マーカ幾何学的情報、基準マーカ色情報、
   および、検出マーカ色情報を参照して状態表示器の表示
   内容を認識するための特徴量を算出する認識処理特徴量
   抽出手段と、 抽出した特徴量を用いて状態表示器の表示内容を認識す
   る表示内容認識手段と、 を備え、 状態表示器の表示内容を認識する手段とすることを特徴
   とする自動巡視システム。
5. 【請求項５】画像撮像手段が遠隔地にある巡視対象の画
   像を撮像し、画像伝送手段がこの巡視対象の画像をディ
   ジタル画像データに変換してネットワークを介して送信
   し、このディジタル画像データを用いてなされた巡視の
   結果についてネットワークを介してユーザのデータ受信
   装置に報告する自動巡視方法であって、 画像伝送手段からネットワークを介して送信される巡視
   対象のディジタル画像データを取得し、 取得したディジタル画像データを用いて画像認識処理を
   行って巡視対象の状態を判断し、 判断された巡視対象の状態について報告する巡視結果報
   告データがネットワークを介して通知され、ユーザのデ
   ータ受信装置によって取得されるようにする、ことを特
   徴とする自動巡視方法。
6. 【請求項６】請求項５に記載の自動巡視方法において、 ディジタル画像データの画像認識は、時間差のある複数
   のディジタル画像データ間を比較して変化を検出するこ
   とにより巡視対象の状態を認識することを特徴とする自
   動巡視方法。
7. 【請求項７】請求項５に記載の自動巡視方法において、 ディジタル画像データは、巡視対象付近に存するマーカ
   を含むように撮像されたデータであって、 ディジタル画像データの画像認識は、 認識処理開始前に巡視対象およびマーカを含むディジタ
   ル画像データを読み込んで、マーカについての基準マー
   カ幾何学的情報および基準マーカ色情報、並びに、巡視
   対象についての基準巡視対象幾何学的情報および基準巡
   視対象色情報を、予め取得して登録しておき、 認識処理を開始して巡視対象およびマーカを含むディジ
   タル画像データを読み込み、 基準マーカ幾何学的情報および基準マーカ色情報を参照
   してディジタル画像データからマーカ候補領域に係るデ
   ータを抽出し、 マーカ候補領域に係るデータを用いて検出マーカ幾何学
   的情報および検出マーカ色情報を取得し、 検出マーカ幾何学的情報および検出マーカ色情報、並び
   に、基準巡視対象幾何学的情報および基準巡視対象色情
   報を参考にして巡視対象について検出巡視対象幾何学的
   情報および検出巡視対象色情報を取得し、 基準巡視対象幾何学的情報、検出巡視対象幾何学的情
   報、基準巡視対象色情報、検出巡視対象色情報、基準マ
   ーカ幾何学的情報、検出マーカ幾何学的情報、基準マー
   カ色情報、および、検出マーカ色情報を参照して巡視対
   象の状態を認識するための特徴量を算出し、 抽出した特徴量を用いて、巡視対象の状態を認識するこ
   とを特徴とする自動巡視方法。
8. 【請求項８】請求項７に記載の自動巡視方法において、 ディジタルデータの画像認識は、巡視対象として状態表
   示器の表示内容を認識するものとし、 認識処理開始前に状態表示器およびマーカを含むディジ
   タル画像データを読み込んで、マーカについての基準マ
   ーカ幾何学的情報および基準マーカ色情報、並びに、状
   態表示器についての基準表示器幾何学的情報および基準
   表示器色情報を、予め取得して登録しておき、 認識処理を開始して状態表示器およびマーカを含むディ
   ジタル画像データを読み込み、 基準マーカ幾何学的情報および基準マーカ色情報を参照
   してディジタル画像データからマーカ候補領域に係るデ
   ータを抽出し、 マーカ候補領域に係るデータを用いて検出マーカ幾何学
   的情報および検出マーカ色情報を取得し、 検出マーカ幾何学的情報および検出マーカ色情報、並び
   に、基準表示器幾何学的情報および基準表示器色情報を
   参考にして状態表示器について検出表示器幾何学的情報
   および検出表示器色情報を取得し、 基準表示器幾何学的情報、検出表示器幾何学的情報、基
   準表示器色情報、検出表示器色情報、基準マーカ幾何学
   的情報、検出マーカ幾何学的情報、基準マーカ色情報、
   および、検出マーカ色情報を参照して状態表示器の表示
   内容を認識するための特徴量を算出し、 抽出した特徴量を用いて、状態表示器の表示内容を認識
   することを特徴とする自動巡視方法。