JP2008269264A - 画像処理による多導体電線の追跡方法、装置及びプログラム並びにこれを用いた多導体電線の異常検出方法、装置及びプログラム - Google Patents

Abstract

【課題】画像処理により多導体電線の各電線の追跡を可能とする。
【解決手段】多導体電線が撮影された動画像の各フレーム画像に対し、探索範囲内から登録した輝度パターンと最も類似した領域をパターンマッチングにより検出し、電線（第１の電線）の移動位置とし、更に、多導体電線の電線間の距離が一定であることを利用して、検出した第１の電線の移動位置を中心として、電線間の画像上の距離（ｄ画素）分だけ電線の短手方向に離れた２箇所の地点を中心とした領域を探索して、輝度パターンに最も類似する他方の電線（第２の電線）を検出する。
【選択図】図１

Description

本発明は、画像処理による多導体電線の追跡方法、装置及びプログラム並びにこれを用いた多導体電線の異常検出方法、装置及びプログラムに関する。更に詳述すると本発明は、空撮画像による多導体電線点検に好適な画像処理による多導体電線の追跡方法、装置及びプログラム並びにこれを用いた多導体電線の異常検出方法、装置及びプログラムに関する。

送電線の保守および管理のために、ヘリコプターによる送電線の巡視点検が従来より行われている。この点検の目的の一つは、雷撃等により損傷を受けた電線の異常箇所の早期発見である。電線の異常箇所の早期発見は、電力供給の信頼度の維持に不可欠なものであるからである。

図１３にこのような電線の点検作業システムの処理フローを示す。電線の点検作業は、ヘリコプターに搭載したビデオカメラで電線を撮影した後（Ｓ９０１）、ビデオ映像を再生し（Ｓ９０２）、検査員がこのビデオ映像を目視観察することで行なわれている（Ｓ９０３）。検査員は目視により、電線の一部が切れてしまっている素線切れや将来素線切れを起こす可能性のあるアーク痕の有無などを確認する。また、電線の異常箇所の見落としを減らすために、ビデオ映像のスロー再生によるチェックや、検査員２人によるダブルチェックが一般に行われている。

しかしながら、撮影された電線のビデオ映像は長時間に渡るものであり、このすべてを検査員が目視により確認し、異常を判定することは、膨大な時間を要する。また、その大半が正常箇所であることを考慮すると効率的作業とはいえない。また、検査員に多大な負荷がかかるため、見落とし等も生じうる。また、目視確認に時間がかかるため、人件費等によりコスト高となり経済的ではない。

そこで、撮影されたビデオ画像に対して画像処理技術を用いて、異常なしと判断された部分（フレーム画像）を除き、異常が存在する可能性ありと判断された部分（フレーム画像）のみを残した画像についてのみ検査員の目視による異常箇所の確認を行うことで、検査員の負担軽減を図る技術が開発されている。

例えば、電線が撮影された画像からテンプレートマッチングにより電線に該当する部分の画像を切り出し、画像処理により切り出した画像に対して電線の異常を検出する技術が提案されている（特許文献１参照）。この技術は、電線の形状の異常を自動検出することにより、検査員の労力を軽減し、処理を高速化するものである。

特開２００７−４１７３０号公報

しかしながら、多導体電線が撮影された動画像に特許文献１に記載のような単導体電線についての追跡、異常検出の技術を適用した場合、以下のような問題が生じる。

多導体電線の各電線は、同じような輝度値（及び色値）を有している。このため、コンピュータは各フレーム画像毎にパターンマッチングを行い、いずれかの電線を検出することはできるが、処理の始めに追跡対象とした電線の追跡に失敗することが多い。

具体的には、例えば、図１４（ａ）に示すように、フレーム画像９０中の上下に２本の電線９１ａ，９１ｂが撮影されている場合において上方の電線９１ａを追尾するように探索範囲９２を指定したとする。図１４（ａ）では、下方の電線９１ｂがフレームアウトしそうであるので、撮影者はカメラを急に上方に振ることが想定される。その結果、上方の電線９１ａが探索範囲９２から外れてしまう（図１４（ｂ））。

このような追跡失敗を回避するためには、図１４（ｃ）に示すように探索範囲９２を大きくすることとなるが、その場合、上下の電線９１ａ，９１ｂが双方とも探索範囲９２に入ることとなる。２本の電線の輝度値や色値のパターンは似ているので、単にパターンマッチングを行うと、フレーム毎にいずれかの電線を検出してしまい、追跡対象とした電線９１ａのみの移動位置を追跡することはできない。

そこで、本発明は、各フレーム毎に多導体電線の各電線の位置及び上下関係等を正確に認識し、多導体電線の各電線の追跡を可能とする画像処理による多導体電線の追跡方法、装置及びプログラムを提供することを目的とする。更に、各電線について正確に追跡しながら、異常箇所の検出を可能とする多導体電線の異常検出方法、装置及びプログラムを提供することを目的とする。

かかる目的を達成するため、請求項１記載の画像処理による多導体電線の追跡方法は、電線の輝度パターン及び多導体電線の電線間の距離を初期情報として設定し、多導体電線が撮影された撮影画像の各フレーム画像に対し、予め設定された探索領域において電線の輝度パターンに最も類似する領域をパターンマッチングにより検出し第１の電線の移動位置とする処理と、第１の電線の移動位置を中心とし、探索領域において電線間の距離だけ離れた位置を中心とした領域で電線の輝度パターンに最も類似する領域をパターンマッチングにより検出し第２の電線の移動位置とする処理と、第１の電線と第２の電線のフレーム画像内での位置関係を識別する処理とを行うようにしている。

また、請求項５記載の画像処理による多導体電線の追跡装置は、電線の輝度パターン及び多導体電線の電線間の距離を初期情報として記憶する初期設定手段と、多導体電線が撮影された撮影画像の各フレーム画像を読み込む画像読込手段と、予め設定された探索領域において電線の輝度パターンに最も類似する領域をパターンマッチングにより検出し第１の電線の移動位置とする電線位置検出手段と、第１の電線の移動位置を中心とし、探索領域において電線間の距離だけ離れた位置を中心とした領域で電線の輝度パターンに最も類似する領域をパターンマッチングにより検出し第２の電線の移動位置とする他方の電線位置検出手段と、第１の電線と第２の電線のフレーム画像内での位置関係を識別する電線識別手段とを備えるものである。

また、請求項７記載の画像処理による多導体電線の追跡プログラムは、電線の輝度パターン及び多導体電線の電線間の距離を初期情報として記憶装置に記憶させる処理と、予め記憶装置に記憶された多導体電線が撮影された撮影画像データの各フレーム画像データを読み出して、該フレーム画像データに対し、予め記憶装置に記憶された探索領域において電線の輝度パターンに最も類似する領域をパターンマッチングにより検出し第１の電線の移動位置として記憶装置に記憶させる処理と、第１の電線の移動位置を中心とし、探索領域において電線間の距離だけ離れた位置を中心とした領域で電線の輝度パターンに最も類似する領域をパターンマッチングにより検出し第２の電線の移動位置として記憶装置に記憶させる処理と、第１の電線と第２の電線の移動位置からフレーム画像内での２つの電線の位置関係を識別させる処理とをコンピュータに実行させるものである。

したがって、予め電線の輝度値のパターンを記憶装置に登録しておき、多導体電線が撮影された動画像の各フレーム画像に対し、予め登録された探索範囲内から登録した輝度パターンと最も類似した領域をパターンマッチング（テンプレートマッチング）により検出し、電線（第１の電線）の移動位置（画素位置（ｘ，ｙ））としている。しかしながら、ここで検出された電線は多導体電線のうちいずれの電線であるかは不明である。

そこで、本発明は、更に多導体電線の電線間の距離が一定であることを利用して、検出した第１の電線の移動位置を中心として、予め登録された電線間の画像上の距離（ｄ画素）分だけ電線の短手方向に離れた２箇所の地点を中心とした領域を探索して、輝度パターンに最も類似する他方の電線（第２の電線）を検出する。例えば、撮影画像の水平方向に渡って多導体電線が撮影されている場合は、電線の短手方向＝画像の垂直方向、電線の長手方向＝画像の水平方向となるので、第１の電線の移動位置の上下（垂直方向）の２箇所の地点を中心として探索を行うものである。

尚、第２の電線の検出の際に、第１の電線の移動位置からｄ画素分だけ電線の短手方向に離れた２箇所の地点を中心としてある程度広がりのある領域を探索するのは、多導体電線の電線間の物理的な距離は不変であるが、撮像手段と被写体（多導体電線）との間の微妙な距離の変化により電線間の画像上の距離は多少の変化があるためである。

更に、検出した２つの電線の検出位置の座標から多導体電線の電線の位置関係は不変であることを利用し、２つの電線の位置関係を判断することで、各フレーム画像について多導体電線の各電線の位置を検出し、追跡することを可能としている。

請求項２に記載の発明は、請求項１に記載の多導体電線の追跡方法において、探索領域は、フレーム画像における電線の長手方向を示す画素番号が単一であるようにしている。したがって、フレーム画像全体を電線の移動位置検出のためのパターンマッチングの対象とするのではなく、フレーム画像の一列（または一行）の画素のみを探索領域としてテンプレートマッチングを行うようにしている。

請求項３に記載の発明は、請求項１または２のいずれかに記載の多導体電線の追跡方法において、電線の輝度パターンに代えて、電線の色パターンを用いて、色値を基準としてパターンマッチングを行うようにしている。したがって、輝度値だけでなく、電線の色の特徴によりパターンマッチングを行うことを可能としている。

請求項４に記載の多導体電線の異常検出方法は、請求項１から３までのいずれかに記載の多導体電線の追跡方法により追跡した多導体電線の各電線について、電線の異常箇所を検出するようにしている。

また、請求項６に記載の多導体電線の異常検出装置は、更に、電線の形状や色の異常箇所を検出する電線異常検出手段とを備え、請求項５に記載の多導体電線の追跡装置により追跡した多導体電線の各電線について電線の異常箇所を検出するものである。

また、請求項８に記載の多導体電線の異常検出プログラムは、更に、電線の形状や色の異常箇所を検出して記憶装置に記憶させる電線異常検出処理をコンピュータに実行させ、請求項７に記載の多導体電線の追跡プログラムにより追跡した多導体電線の各電線について電線の異常箇所を検出するものである。

したがって、本発明の画像処理による多導体電線の識別方法、装置及びプログラムにより追跡可能となった多導体電線の各電線に対して、電線の形状や電線の異常検出処理を行っている。

本発明の画像処理による多導体電線の追跡方法、装置及びプログラムによれば、従来、識別できなかった多導体電線の各電線をすべてのフレーム画像中において正確に識別し、追跡途中で取り違えることなく追跡をすることが可能となる。

また、請求項２に記載の多導体電線の追跡方法によれば、探索領域となる画素数は、最大でも電線の短手方向の画素数（通常は、画像の垂直方向の画素数）となるので、パターンマッチング処理における計算量を減らし、処理の高速化を図ることができる。

また、請求項３に記載の多導体電線の追跡方法によれば、電線の輝度パターンが背景と類似する場合であっても、電線の色の特徴を用いてパターンマッチングを行うことが可能となる。

更に、請求項４に記載の多導体電線の異常検出方法、請求項６に記載の多導体電線の異常検出装置および請求項８に記載の多導体電線の異常検出プログラムによれば、各フレーム画像毎に多導体電線の各電線の検査を同時に行うことが可能となる。よって、検査時間の短縮や、作業者の労力を軽減することができる。

以下、本発明の構成を図面に示す実施の形態に基づいて詳細に説明する。

図１から図７に本発明の画像処理による多導体電線の追跡方法、装置及びプログラムの実施の一形態を示す。この画像処理による多導体電線の追跡方法は、電線の輝度パターン及び多導体電線の電線間の距離を初期情報として設定し、多導体電線が撮影された撮影画像の各フレーム画像に対し、予め設定された探索領域において電線の輝度パターンに最も類似する領域をパターンマッチングにより検出し第１の電線の移動位置とする処理と、第１の電線の移動位置を中心とし、探索領域において電線間の距離だけ離れた位置を中心とした領域で電線の輝度パターンに最も類似する領域をパターンマッチングにより検出し第２の電線の移動位置とする処理と、第１の電線と第２の電線のフレーム画像内での位置関係を識別する処理とを行うようにしている。

本実施形態の多導体電線の追跡方法は、以下に詳説する「電線間の距離一定性」及び「電線の位置関係不変性」という２つの制約条件を利用して、多導体電線の追跡を可能とするものである。

本実施形態における撮影画像は、例えば、ヘリコプターに搭載したビデオカメラで撮影した電線の空撮映像を利用することができる。当該ビデオカメラは例えば毎秒３０フレームの画像を生成するものであり、ビデオカメラより得られる各フレーム画像は、例えば、コンピュータでの処理が可能なＲＧＢのカラーモデルに変換される。この際に、処理の簡素化および高速化等を考慮して、８ビットのグレースケール画像に変換するようにしても良い。

また、撮影画像の解像度は、例えば水平方向画素数を６４０画素とし、垂直方向画素数を４８０画素としている。尚、フレームレート、変換される画像及び解像度は、上記の例に限定されるものではない。

また、本実施形態において、撮影画像における座標系は、フレーム画像の横方向をｘ軸、縦方向をｙ軸として各処理を実行するものとしている。尚、電線点検のための撮影画像は、一般に画面水平方向にわたって多導体電線が撮影されるが、画面垂直方向にわたって多導体電線が撮影された場合は以下の処理において適宜座標変換を行えばよい。

また、多導体電線の各電線間には、一般に電線間の距離が不変であるように線間スペーサが設置され、固定されている。したがって、線間スペーサが設置されている多導体は、各電線間の実際の距離はほぼ均一である。しかしながら、撮影画像における電線間の画像上の距離（画素数）は、電線と撮像手段との距離に依存する。

しかし、本実施形態における撮影画像は、電線の異常点検を目的とするものであるので、電線表面を均等に撮影するために電線の上方の一定の距離及び角度を保つよう撮影される。したがって、撮影画像における電線間の画像上の距離（画素数）は、ほぼ均一であり、僅かに変化するのみである。このことを、以下、「電線間の距離一定性」というものとする。

また、撮影は電線を水平になるように撮影するので、撮影画像においては、電線の位置関係、例えば上下に撮影された電線の位置関係が撮影画像中に入れ替わることはない。このことを、以下、「電線の位置関係不変性」というものとする。

また、本実施形態においては、画素の情報値として画素の輝度値を基準としてパターンマッチング等の処理を行うものとしているが、これに限られるものではなく、例えば、ＲＧＢ、ＨＳＶ、ＣＩＥ Ｌ*ａ*ｂ*等の画素の色値を基準として、色パターンによりパターンマッチングを行うようにしても良い。

また、本実施形態の多導体電線の追跡装置１１は、例えば図１に示すように少なくとも電線の輝度パターン及び多導体電線の電線間の距離を初期情報として記憶する初期設定処理（Ｓ１０１）を実行する初期設定手段１２と、多導体電線が撮影された撮影画像の各フレーム画像を読み込むｎフレーム目の画像読込処理（Ｓ１０２）を実行する画像読込手段１３と、予め設定された探索領域において電線の輝度パターンに最も類似する領域をパターンマッチングにより検出し第１の電線の移動位置とする電線位置検出処理（Ｓ１０３）を実行する電線位置検出手段１４と、第１の電線の移動位置を中心とし、探索領域において電線間の距離だけ離れた位置を中心とした領域で電線の輝度パターンに最も類似する領域をパターンマッチングにより検出し第２の電線の移動位置とする他方の電線位置検出処理（Ｓ１０４）を実行する他方の電線位置検出手段１５と、第１の電線と第２の電線のフレーム画像内での位置関係を識別する電線識別処理（Ｓ１０５）を実行する電線識別手段１６とを少なくとも備えている。

また、電線異常検出装置１は、上記多導体電線の追跡装置１１に更に、識別した各電線について電線の形状や色の異常箇所を検出する電線異常検出処理（Ｓ１０６）を実行する電線異常検出手段１７と、異常が検出された画像を記憶装置４に記憶したり、出力装置６に表示したりする異常検出画像の出力処理（Ｓ１０９）を実行する異常画像出力手段１８とを備えたものである。

上記の多導体電線の追跡装置１１及び多導体電線の異常検出装置１は、例えば既存の又は新規のコンピュータ（計算機）により実現される。このコンピュータ２は、例えば図２に示すように、中央処理演算装置（ＣＰＵ）３、ＲＡＭやＲＯＭおよびハードディスクなどの記憶装置４、キーボードやマウスなどの入力装置５、ディスプレイやプリンタ等の出力装置６、ＣＤやＦＤなどの媒体に記録されたデータを読み取るディスクドライブ等のデータ読取装置７や、撮像手段１０から撮影画像データを取り込むための入出力インターフェース８等のハードウェア資源がバス９により接続されて構成されている。

このコンピュータ２上で本発明に係る多導体電線の追跡プログラムや多導体電線の異常検出プログラムが実行されることにより、コンピュータ２が多導体電線の追跡装置１１または多導体電線の異常検出装置１の各手段として機能する。

尚、撮像手段１０から入力される撮影画像は、撮像手段１０から直接入出力インターフェース８を介して入力されるようにしても、一旦ビデオテープ等の記録媒体に記録した上で入力されるようにしても良い。入出力インターフェース８は、例えばビデオカメラから入力される映像やビデオテープに記録された映像をコンピュータ２での処理が可能なデータに変換する機能や、映像を構成する各フレームをそれぞれ画像データとして記憶装置４に記録する機能を有するものである。

以下、本実施形態の多導体電線の追跡プログラムが実行する処理の一例を図６のフローチャートに示す。

先ず、初期設定処理を行う（Ｓ１０１）。初期設定処理（Ｓ１０１）では、電線の輝度パターン、電線間の画像上の距離（ｄ画素とする）等の初期情報を予め記憶装置４に記憶させるものである。

各電線は、背景とは異なる輝度値または色値のパターンを有しているので、初期設定処理（Ｓ１０１）では、パターンマッチングにより電線を探索可能とするために、例えば図３に示すようなＭ×Ｎ画素からなる電線の輝度パターンを予め記憶装置４に記憶させておくものである。ここで、輝度パターンの画素数は特に限られるものではないが、例えば、撮影画像中の電線幅を基準に決定すればよい。

また、初期設定処理（Ｓ１０１）では、電線間の画像上の距離（画素数：以下、ｄ画素という）を記憶装置４に記憶させる。

上述の「電線間の距離一定性」によれば、電線間の画像上の距離はほぼ一定であるが、僅かに変化するので、電線間の画像上の距離に併せて、第１の電線の検出位置からｄ画素離れた地点を中心としてどの程度の領域で第２の電線位置を探索するかの画素数（以下、探索幅という。）についても予め記憶装置４に記憶させる。探索幅は、例えば、ｄ画素離れた画素位置を中心として、電線の短手方向の±２０画素の幅とすれば良い。尚、探索幅の決定に際しては、例えば、１径間の撮影画像について予め電線間の最大変動幅を計測しておき、これを探索範囲としても良い。

ここで、電線間の画像上の距離ｄ画素は、例えば、撮影画像の任意に選択したフレーム画像において２つの電線の中点間の画素数をｄ画素とすれば良い。ここで、画像上の（画素間の）距離については、例えば、ユークリッド距離や八角形距離等を用いて算出すれば良く、特に限られるものではない。

また、初期設定処理（Ｓ１０１）では、フレーム数を示すパラメータｎをｎ＝１に設定しておく。これらの初期設定処理（Ｓ１０１）において登録された情報は、記憶装置４に初期パラメータとして記憶される。また、これらの初期パラメータは、例えば、出力装置６に表示される初期設定画面から、システム利用者がコンピュータ２と対話的に入力を行えるようにすることが好ましい。

次に、ｎフレーム目の画像読込処理を行う（Ｓ１０２）。具体的には、記憶装置４に記憶されたまたは撮像手段１０に記録されている撮影画像データのｎフレーム目の画像データをメモリ上に読み出すものである。

次に、電線位置検出処理（Ｓ１０３）を行う。具体的には、初期設定処理（Ｓ１０１）で登録された電線の輝度パターン（図３参照）を用いて、最も類似した画素位置をパターンマッチングにより求めるものである。

撮影画像において多導体電線は、画面水平方向に渡って撮影されている。したがって、水平方向の画素番号を固定し、画面垂直方向の全画素を探索範囲とすれば、電線を検出することができる。このようにすることで、探索範囲とする画素数は非常に少なくでき、処理の迅速化を図ることができる。

具体的には、パターンマッチングにより電線（図４において符号２１ａ，２１ｂで示す）の探索を行う範囲（以下、探索範囲（図４において符号２２で示す））は、図４（ａ）に示すように最大でフレーム画像２０の垂直方向の全画素×水平方向の１画素を対象にすれば良い。また、通常は、電線２１がフレーム画像２０の中心にくるように撮影されるので、例えば図４（ｂ）に示すように画面垂直方向の上方及び下方の画素を探索範囲２２から除くことで更なる処理量の軽減を図ることができる。尚、本発明の多導体電線の追跡プログラムによれば、少なくとも一方の電線が探索範囲２２に含まれていれば検出することが可能である。以下、探索範囲２２となる画面垂直方向の画素数をｒ画素とする。ｒ画素は、例えば初期設定処理（Ｓ１０１）において任意に設定することが可能なパラメータである。

ここで電線を検出するパターンマッチング手法は、特に限られるものではなく、公知または新規のパターンマッチング手法を用いることが可能である。本実施形態では、ＳＳＤＡ法（sequential similarity detection algorithm）により目的とする画像パターン（電線）を検出するようにしている。

具体的には、探索範囲内において数式１を最小にする画素位置（ｘ，ｙ）を電線（第１の電線）の移動位置（ｘ_１，ｙ_１）として検出するものである。
ここで、
Ｂｒ（ｘ，ｙ）：フレーム画像中の画素（ｘ，ｙ）における輝度値（０≦Ｂｒ（ｘ，ｙ）≦２５５）
Ｃａｂｌｅ＿Ｂｒ（ｉ，ｊ）：電線の輝度パターン（Ｍ×Ｎ画素）における（ｉ，ｊ）における画素輝度値
である。

このようにパターンマッチングにより登録した輝度パターンと最も類似している領域を電線（第１の電線）の移動位置（ｘ_１，ｙ_１）として検出することができる。

しかしながら、２本の電線の輝度パターンは類似しているため、検出した電線の移動位置は、上下いずれの電線の移動位置であるのかは不明である。

そこで、本実施形態では、他方の電線位置検出処理（Ｓ１０４）を行うようにしている。具体的には、他方の電線（第２の電線）の位置を求めるために既に求められている第１の電線の移動位置を中心として、図５に示すように第１の電線移動位置（ｘ_１，ｙ_１）（図５において符号２３で示す）を中心として、画面垂直方向にｄ画素を加減した画素位置を中心として探索幅（図５において符号２４ａ，２４ｂで示す）にある画素のうち上記数式１を最小にする座標を第２の電線の移動位置（ｘ_２，ｙ_２）を探索するものである。これは、上述の「電線間の距離一定性」を利用したものであり、第１の電線としてどちらの電線を検出した場合であっても、第１の電線の移動位置から画面垂直方向にｄ画素を加減した画素位置を中心とした探索幅の範囲に他方の電線は存在しているからである。

図５の例でいえば、電線位置検出処理（Ｓ１０３）では、２本の電線の内、上方の電線（図５において符号２１ａで示す）を検出しているので、実際には下方に求めるべき電線（図５において符号２１ｂで示す）が存在するが、この時点では、電線２１ａが２本のうち上方であるのか下方であるのかを認識することはできない。そこで、先ず電線２１ａの電線移動位置（ｘ_１，ｙ_１）２３を中心としてｙ軸方向にｄ画素加えた画素位置とｙ軸方向にｄ画素減じた画素位置を中心として予め設定した探索幅の範囲を探索するものである。点線で示した２５の領域には、電線は存在しないため探索幅２４ａの範囲内には、上記数式１を最小とするような画素は存在せず、探索幅２４ｂのうちから上記数式１を最小とする座標が探索される。この探索結果を他方の電線（第２の電線）移動位置（ｘ_２，ｙ_２）として記憶装置４に記憶させるものである。

次に、電線識別処理（Ｓ１０５）を行う。本処理では、上述の「電線の位置関係不変性」を利用し、算出した２つの電線位置のうち上方の電線を上方の電線位置とし、下方の電線を下方の電線位置とする。尚、位置関係の判断は、座標値を基準に行えばよい。

このようにすることで、多導体電線の各電線について撮影画像のすべてのフレームにおいて位置関係を正確に認識し、追跡することが可能となる。

尚、本実施形態では、２本の電線からなる多導体電線（複導体電線）を例に説明しているが、３本以上の電線からなる多導体電線であっても処理は同様である。この場合は、電線位置検出処理（Ｓ１０３）でパターンマッチングにより検出した第１の電線の上下の探索幅でパターンマッチングを行い、いずれの探索幅でも電線を検出した場合は、第１の電線は３本の電線のうち中央の電線であったということになる。この場合においては、各探索幅について数式１を最小にする画素位置を検出し、更に、閾値を設けて電線の有無を判断するようにすればよい。

また、第１の電線の検出位置から上下に探索し、いずれか一方にのみ電線を検出した場合は、これを第２の電線検出位置とし、当該第２の電線検出位置を中心として第１の電線とは反対の位置にあるｄ画素離れた領域を探索することで第３の電線を検出することができる。このようにすることで、３本以上の多導体電線についても本発明の多導体電線の追跡方法により各電線の移動位置を追跡することが可能である。

しかしながら、例えば、４導体電線等を１つの撮影画像内に収めると、各電線の画像解像度が低くなったり、撮影画像を通して４本の電線を画面内に収めることは困難であるので、画像処理に適さない場合がある。よって、電線数は２〜３本であることが好ましい。尚、４導体電線の場合であれば、例えば、２本ずつ撮影画像に収めるようにして異常検出処理を行うことが可能である。

更に、認識した多導体電線の各電線について電線異常検出処理（Ｓ１０６）を行うことで、多導体電線の各電線について異常検出を行うことが可能となる。

本実施形態では、電線異常検出処理（Ｓ１０６）には、例えば、図７のフローチャートに示すような、特許文献１に記載の電線異常検出手法を適用するようにしているが、公知又は新規の画像処理による異常検出手法を用いれば良く、以下の例に限られるものではない。

先ず、電線番号ｋの設定を行う（Ｓ２０１）。当該設定は、例えば、位置が検出がされた順に電線番号をｋ＝１，２・・・とするものであり、例えば、図５に示す例では、電線２１ａをｋ＝１、電線２１ｂをｋ＝２として記憶する。

次に、エッジ検出処理（Ｓ２０２）を行う。エッジ検出処理（Ｓ２０２）では、Ｓ１０３及びＳ１０４で検出した電線位置を基準として、電線短手方向（画面垂直方向）に電線のエッジを構成する候補画素を求めるものである。具体的には、撮影画像における各電線短手方向の画素列について、電線短手方向の一方向に向かい隣接する２画素間の輝度値の差分値を求め、当該差分値の絶対値が最大となる点を求め、この最大点から電線長手方向の両方向に向かって予め定めた範囲にあり且つ当該最大点から最も離れた、差分値０から突出した点を求め、各突出点を構成する画素をエッジ画素と判断するようにしている。

次に、上述の処理で検出されたエッジ画素に基づいて、電線が健全である場合の理想輪郭線を求める処理を行なう（Ｓ２０３）。具体的には、対となる第１エッジ画素と第２エッジ画素の間隔が極端に狭い又は広いエッジ画素、即ち、水平方向の座標位置が同じである第１エッジ画素と第２エッジ画素との垂直方向の座標位置の差が予め定めた上限値以上または下限値以下となるエッジ画素を、低信頼性画素として除くものである。以下、低信頼性画素を除いた第１エッジ画素群および第２エッジ画素群に基づいて求められた直線を、それぞれ第１理想輪郭線および第２理想輪郭線と呼ぶ。

上記理想輪郭線を利用する形状異常検出処理（Ｓ２０４）では、理想輪郭線から画面垂直方向に予め定めた距離を超えて離れたエッジ画素が、画面水平方向に予め定めた数だけ連続した場合に、素線切れなどにより電線の形状に異常が生じている可能性があると判断するようにしている。例えば、理想輪郭線から１０画素以上離れたエッジ画素が２０画素の長さにわたって現れた場合に、素線切れなどの電線異常の可能性があると判断するようにしている。これは、電線の一部が切れて外側に跳ねてしまっている場合、理想輪郭線からある程度離れたところに、エッジ画素がある程度まとまって存在するようになることを利用したものである。

次に、輝度異常検出処理（Ｓ２０５）では、第１および第２理想輪郭線に挟まれる各電線短手方向の画素列の輝度値から当該電線短手方向における代表値を求め、輝度値の閾値から外れる代表値が電線長手方向に予め定めた数だけ連続した場合に、素線切れやアーク痕もしくは傷などにより電線に異常が生じている可能性があると判断するようにしている。尚、本実施形態では、第１および第２理想輪郭線に挟まれる各垂直方向の画素列の輝度値の平均値を当該垂直方向における代表値としている。

最後に、他に未処理の電線が有るかどうかを判断し（Ｓ２０６）、すべての電線番号について処理を終了している場合（Ｓ２０６；Ｎｏ）は、電線異常検出処理（Ｓ１０６）は終了する。一方、未処理の電線が存在する場合（Ｓ２０６；Ｙｅｓ）は、ｋ＝ｋ＋１として（Ｓ２０７）、次の電線についての処理を実行するものである。

また、本実施形態の撮影画像は空撮映像より得られるものであり、電線の異常箇所は数フレームに渡って現れる。そこで、本実施形態では、形状異常検出処理（Ｓ２０４）または輝度異常検出処理（Ｓ２０５）において、異常と判定された画像フレームが、予め定めた数（例えば２フレーム）以上連続した場合に、電線に異常が生じていると判断するようにしている。これにより、より信頼性の高い電線異常検出を行なえる。ただし、ヘリコプターの飛行速度が遅い場合等には、さらに多くの連続するフレームに異常箇所が現れるので、異常と判定するフレーム数をより多くすることが好ましい。

図６のフローチャートの説明に戻る。最後に次フレームが有るかどうかを判断する（Ｓ１０７）。即ち、Ｓ１０２〜Ｓ１０６の処理を実行したフレーム画像が撮影画像データの最終フレームでない場合（Ｓ１０７：Ｙｅｓ）は、フレーム番号をｎ＋１としてＳ１０２の処理に戻り（Ｓ１０８）、次のフレーム画像についての処理を行う。

これに対し、最終フレームである場合（Ｓ１０７：Ｎｏ）は、異常検出画像の出力処理（Ｓ１０９）を行う。

本実施形態においては、異常検出画像の出力処理（Ｓ１０９）は、例えば、異常検出した画像の連続する画像を、動画像ファイル（例えば、aviファイル、mpeg2ファイル等）に変換し、出力装置６上で再生可能な異常検出画像としている。検査員は異常検出画像を確認するだけで、目視により異常箇所の確認を行うことができる。尚、動画像に限らず、静止画像として記録しても良いのは勿論である。例えば、静止画像をアルバム状に整理して表示するようにしても良い。また、動画像と静止画像の両方を記録するようにしても良い。

以上で、本実施形態の多導体電線の追跡プログラム及び多導体電線の異常検出プログラムが実行する処理は終了する。

尚、上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。

例えば、実際の撮影画像には、鉄塔部分の映像などの電線以外の部分が含まれている。このような画像に対して、テンプレートマッチングにより電線部分を探索しても、検出することはできず、誤って他の部分を検出したりすることも起こりうる。また、無駄なデータ処理を行っていることとなるので迅速な処理に資さない。このような画像は可能な限り、データ処理前に除外しておくことが望ましい。

そこで、撮影画像のすべてのフレームについて処理の対象とせず、対象とするフレーム数（何フレーム〜何フレーム目まで）を指定可能としたり、対象とする時間（何分何秒から何分何秒まで）等を任意に指定可能とすることが好ましい。その場合には、指定されたフレームの間のみＳ１０２〜Ｓ１０８の処理が実行される。尚、当該対象フレームの指定には公知の技術を用いれば良く、特に限られるものではない。

また、電線を撮影する際、電線の画像の記録に加えて時間情報（以下、タイムコードという）を画像に対応させて記録するようにしても良い。例えば、画像の記録を行う際に同時に１フレームごとにタイムコードを記録して、各フレームが何分何秒の何枚目（毎秒３０フレームのうち）の画像であるかを記録するようにすれば良い。尚、タイムコードの記録方法は、特に限られるものではなく、フレームごとに通し番号を付与するようにしても良い。このようにすることで、電線の異常検出に関係ない画像を除くことで処理の迅速化が図ることが可能となる。

（実施例１）
本発明の多導体電線の追跡プログラムの有効性について実験を行った。比較した手法は２つである。１つは、ＳＳＤＡを使って探索範囲内で追跡対象（電線）を探索する手法(以下、単純ＳＳＤＡ法という)である。もう１つは、ＳＳＤＡを使って、追跡対象と類似した領域を２つ探索し、１フレーム前の電線の位置と比較し、近い方を追跡対象が移動した位置とする方法(以下、ＳＳＤＡ改良法という)である。ＳＳＤＡ改良法は、単純ＳＳＤＡ法を追跡対象が複数ある場合に拡張した手法である。

表１に示すように、本実験では、撮影画像としてヘリコプターで多導体（複導体）電線を空撮した３５分間（２２径間）の映像を用いた。撮影画像の一例を図８に示す。尚、当該撮影画像は、画像サイズ７２０×４８０画素であり、サンプリング時間は３３ｍｓｅｃである。また、１径間分のビデオ映像中の電線の上下（垂直方向）の移動速度は平均で７．３画素／フレーム、最大で１９４画素／フレーム、標準偏差が１０．３２であった。

本実験では、探索範囲rの値の設定は電線の垂直方向での移動速度の最大値以上としてｒ＝２００とした。また、探索範囲の広さが単純ＳＳＤＡ法に与える影響を調べるため電線の画面上の平均的な直径であるｒ＝４０または２倍の８０画素として実験を行った。尚、上記数式１におけるＢｒ（ｘ，ｙ）は数式２から算出した輝度値とした。
＜数２＞
Ｂｒ（ｘ，ｙ）＝０．２９８９１２ｒ＋０．５８６６１１ｇ＋０．１１４４７８ｂ
ここで、ｒ，ｇ，ｂは画素(ｘ，ｙ）におけるカラー画像のＲＧＢ成分の色値である。

本実験では、上下の電線のうち下側の電線を追跡するものとし、下側の電線を正しく追跡できた場合を「成功」、上側の電線を誤って追跡した場合を「誤追跡」、電線自体を見失った場合を「失敗」とした。また、「失敗」から「誤追跡」へ変わった場合を「遷移１」、「誤追跡」から「失敗」へ変わった場合を「遷移２」と定義した。

探索範囲の大きさごとに１本の約３５分のビデオ映像（２２径間、３６分５０秒分、６６，２９９枚の画像）に対する成功枚数、誤追跡枚数及び失敗枚数を表２に示す。

表２から明らかなように単純ＳＳＤＡ法は、電線の最大移動速度より大きな探索範囲を設定すれば電線を見失うことはない。ただし、探索範囲を広くするに従って、誤追跡（上下の電線の取り違え）を起こしてしまい、全体の２１．２％で取り違えを起こしている。また、「遷移１」は５，９９６枚であった。

また、ＳＳＤＡ改良法は誤追跡枚数がかなり減っており、単純ＳＳＤＡ法よりも性能向上していることがわかる。しかし、３，９４１枚(全体の５．９％)で誤追跡が生じているため単に近傍を探索するという拡張では問題の解決には至らないことがわかる。また、「遷移１」は８７枚であった。

これに対し本発明の多導体電線の追跡プログラムでは、撮影画像を通して一度も誤追跡を起こさず正確に追跡が可能であった。

以下に示すのは、本実験において正確に追跡できなかった代表的な１秒分の例である。尚、図９〜図１２のグラフは画面内の同じ水平方向の画素番号での、実際の２つの電線位置のｙ座標の値（下側電線の位置を「正解」と示す）と各手法で算出した下側の電線のｙ座標の値を示している。

図９は、単純ＳＳＤＡ法において、探索範囲が狭かったことにより正確な追跡ができなかった例である（ｒ＝４０）。図９の例では、３箇所で電線を見失っている。

最初は、下側電線が４０画素以上動いたため見失った様子がわかる。電線を見失った後(図９中(a)で示す)、上側電線が探索範囲内に現れたため誤追跡が生じているが、上側電線を見失った後(図９中(b)で示す)、下側電線を追跡するようになり、その後下側電線が急に上に移動してしまったため、電線を見失ったままになっている(図９中(c)で示す)。

図９と同時刻で、探索範囲ｒ＝２００とした場合の単純ＳＳＤＡ法の追跡結果を図１０に示す。図９で失敗した箇所では、電線を見失っていないが、見失う前に誤追跡を起こしている。また、５５秒付近で電線が大きく動く場合の追跡は、誤追跡を示している。

ＳＳＤＡ改良法を用いた追跡結果の例を図１１に示す。電線が急に移動するまで、確に下側電線を追跡しているが、急に移動したことにより上側に電線が１フレーム前の下側電線の位置に近づいたため、誤追跡を起こしている(遷移１)。次いで５５秒付近で、再び下側電線が上方向に移動し、１フレーム前の上側電線の位置に下側電線が近付いたため、元の電線に追跡が戻っていることを示している(遷移２)。

以上述べたような、比較に用いた手法が追跡できないいずれの場合も本発明の多導体電線の追跡プログラムによれば「電線間の距離一定性」及び「電線の位置関係不変性」という制約条件を用いることにより、上下の電線を正確に区別することができた。図１１と同時刻で、本発明の多導体電線の追跡プログラムで表示した結果を図１２に示す。図１２からわかるように、すべてのフレームにおいて正確に下側電線を追跡したため、電線の軌跡は完全に一致した。

多導体電線の異常検出装置の機能ブロック図の一例である。 多導体電線の異常検出装置のハードウェア構成の一例を示すブロック図である。 電線の輝度パターンの一例を示すイメージ図である。 電線の探索範囲を説明するための図である。 他方の電線位置検出処理を説明するための図である。 本実施形態の多導体電線の追跡プログラム及び多導体電線の異常検出プログラムが実行する処理の一例を示すフローチャートである。 電線異常検出処理の詳細フローチャートである。 実施例１における多導体電線の撮影画像の一例である。 実施例１における単純ＳＳＤＡ法における電線の追跡失敗例を説明するためのグラフの一例である。 実施例１における単純ＳＳＤＡ法における電線の追跡失敗例を説明するためのグラフの他の例である。 実施例１におけるＳＳＤＡ改良法における電線の追跡失敗例を説明するためのグラフの一例である 実施例１における本発明の多導体電線の追跡プログラムによる多導体電線の追跡例である。 従来の電線の点検作業システムの処理フローを示す図である。 従来手法により多導体電線の追跡を行った場合の処理を説明するための図である。

符号の説明

１ 多導体電線の異常検出装置
１１ 多導体電線の追跡装置
１２ 初期設定手段
１３ 画像読込手段
１４ 電線位置検出手段
１５ 他方の電線位置検出手段
１６ 電線識別手段
１７ 電線異常検出手段

Claims (8)

1. 電線の輝度パターン及び多導体電線の電線間の距離を初期情報として設定し、前記多導体電線が撮影された撮影画像の各フレーム画像に対し、予め設定された探索領域において前記電線の輝度パターンに最も類似する領域をパターンマッチングにより検出し第１の電線の移動位置とする処理と、前記第１の電線の移動位置を中心とし、前記探索領域において前記電線間の距離だけ離れた位置を中心とした領域で前記電線の輝度パターンに最も類似する領域をパターンマッチングにより検出し第２の電線の移動位置とする処理と、前記第１の電線と前記第２の電線の前記フレーム画像内での位置関係を識別する処理とを行うことを特徴とする画像処理による多導体電線の追跡方法。
2. 前記探索領域は、前記フレーム画像における電線の長手方向を示す画素番号が単一であることを特徴とする請求項１に記載の画像処理による多導体電線の追跡方法。
3. 前記電線の輝度パターンに代えて、電線の色パターンを用いて、色値を基準としてパターンマッチングを行うことを特徴とする請求項１または２のいずれかに記載の画像処理による多導体電線の追跡方法。
4. 請求項１から３までのいずれかに記載の多導体電線の追跡方法により追跡した多導体電線の各電線について、電線の異常箇所を検出することを特徴とする多導体電線の異常検出方法。
5. 電線の輝度パターン及び多導体電線の電線間の距離を初期情報として記憶する初期設定手段と、前記多導体電線が撮影された撮影画像の各フレーム画像を読み込む画像読込手段と、予め設定された探索領域において前記電線の輝度パターンに最も類似する領域をパターンマッチングにより検出し第１の電線の移動位置とする電線位置検出手段と、前記第１の電線の移動位置を中心とし、前記探索領域において前記電線間の距離だけ離れた位置を中心とした領域で前記電線の輝度パターンに最も類似する領域をパターンマッチングにより検出し第２の電線の移動位置とする他方の電線位置検出手段と、前記第１の電線と前記第２の電線の前記フレーム画像内での位置関係を識別する電線識別手段とを備えることを特徴とする画像処理による多導体電線の追跡装置。
6. 更に、電線の形状や色の異常箇所を検出する電線異常検出手段とを備え、請求項５に記載の多導体電線の追跡装置により追跡した多導体電線の各電線について電線の異常箇所を検出することを特徴とする多導体電線の異常検出装置。
7. 電線の輝度パターン及び多導体電線の電線間の距離を初期情報として記憶装置に記憶させる処理と、予め記憶装置に記憶された前記多導体電線が撮影された撮影画像データの各フレーム画像データを読み出して、該フレーム画像データに対し、予め記憶装置に記憶された探索領域において前記電線の輝度パターンに最も類似する領域をパターンマッチングにより検出し第１の電線の移動位置として記憶装置に記憶させる処理と、前記第１の電線の移動位置を中心とし、前記探索領域において前記電線間の距離だけ離れた位置を中心とした領域で前記電線の輝度パターンに最も類似する領域をパターンマッチングにより検出し第２の電線の移動位置として記憶装置に記憶させる処理と、前記第１の電線と前記第２の電線の移動位置から前記フレーム画像内での２つの電線の位置関係を識別させる処理とをコンピュータに実行させることを特徴とする画像処理による多導体電線の追跡プログラム。
8. 更に、電線の形状や色の異常箇所を検出して記憶装置に記憶させる電線異常検出処理をコンピュータに実行させ、請求項７に記載の多導体電線の追跡プログラムにより追跡した多導体電線の各電線について電線の異常箇所を検出することを特徴とする多導体電線の異常検出プログラム。