JP2007310828A - 電線異常検出方法、電線異常検出装置及び電線異常検出プログラム - Google Patents

電線異常検出方法、電線異常検出装置及び電線異常検出プログラム Download PDF

Info

Publication number
JP2007310828A
JP2007310828A JP2006141952A JP2006141952A JP2007310828A JP 2007310828 A JP2007310828 A JP 2007310828A JP 2006141952 A JP2006141952 A JP 2006141952A JP 2006141952 A JP2006141952 A JP 2006141952A JP 2007310828 A JP2007310828 A JP 2007310828A
Authority
JP
Japan
Prior art keywords
electric wire
value
image
pixel
abnormality detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006141952A
Other languages
English (en)
Other versions
JP4734176B2 (ja
Inventor
Ryuichi Ishino
隆一 石野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central Research Institute of Electric Power Industry
Original Assignee
Central Research Institute of Electric Power Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central Research Institute of Electric Power Industry filed Critical Central Research Institute of Electric Power Industry
Priority to JP2006141952A priority Critical patent/JP4734176B2/ja
Publication of JP2007310828A publication Critical patent/JP2007310828A/ja
Application granted granted Critical
Publication of JP4734176B2 publication Critical patent/JP4734176B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Electric Cable Installation (AREA)

Abstract

【課題】電線異常検出の高精度化及び異常点検における検査員の労力を軽減する。
【解決手段】 対象画像中で、光ファイバの横断が撮影されている横断部分と、撮影されていない非横断部分とに分けて、それぞれに異なる異常検出処理を行う。最も代表値が低い値となる水平方向の画素位置を中心として横断部分の左右の端を探索し、横断部分と非横断部分の境界とする。更に、横断部分での異常検出では、単調増加または単調減少しない水平方向の画素位置を、異常箇所として検出する。
【選択図】図24

Description

本発明は、電線異常検出方法、電線異常検出装置及び電線異常検出プログラムに関する。更に詳述すると本発明は、光ファイバが巻き付けられている電線に対しても誤検出を行うことなく対応を可能とする画像処理による電線異常検出方法、電線異常検出装置及び電線異常検出プログラムの高度化に関する。
送電線の保守および管理のために、ヘリコプターによる送電線の巡視点検が従来より行われている。この点検の目的の一つは、雷撃等により損傷を受けた電線の異常箇所の早期発見である。電線の異常箇所の早期発見は、電力供給の信頼度の維持に不可欠なものである。図53に電線の点検作業システムの処理フローを示す。電線の点検作業は、ヘリコプターに搭載したビデオカメラで電線を撮影した後(S901)、ビデオ映像を再生し(S902)、検査員がこのビデオ映像を目視観察することで行なわれている(S903)。検査員は目視により、電線の一部が切れてしまっている素線切れや将来素線切れを起こす可能性のあるアーク痕(以下、溶痕ともいう)の有無などを確認する。また、電線の異常箇所の見落としを減らすために、ビデオ映像のスロー再生によるチェックや、検査員二人によるダブルチェックが一般に行われている。
しかしながら、撮影された電線のビデオ映像は長時間に渡るものであり、このすべてを検査員が目視により確認し、異常を判定することは、膨大な時間を要する。また、その大半が正常箇所であることを考慮すると効率的作業とはいえない。また、検査員に多大な負荷がかかるため、見落とし等も生じうる。また、目視確認に時間がかかるため、人件費等によりコスト高となり経済的ではない。
そこで、撮影されたビデオ画像に対して画像処理技術を用いて、異常なしと判断された部分(フレーム画像)を除き、異常が存在する可能性ありと判断された部分(フレーム画像)のみを残した画像(以下、異常検出画像という)についてのみ検査員の目視による異常箇所の確認を行うことで、検査員の負担軽減を図る技術が提案されている。
例えば、電線が撮影された画像から電線部分の画像を切り出し、画像処理により切り出した画像に対して電線の異常を検出する技術が提案されている(特許文献1)。電線の形状の異常を自動検出することにより、検査員の労力を軽減し、処理を高速化するものである。
特開2005−57956号公報
近年の通信需要の増大に伴い通信網の拡張整備は急務になっており、電線の内部に光ファイバを内蔵している光ファイバ複合電線を整備したエリアにおいても通信容量の不足などの問題が生じている。このため、通信容量不足を補うため既存の光ファイバ複合電線の周囲に新たに光ファイバ線(以下、光ファイバともいう)を巻き付け、通信容量を増やし通信需要の増大に対応している。このような電線は多く存在し、今後も増加することが予想される。図20に当該電線の画像の一例を示す。
しかしながら、電線の周囲に新たに光ファイバを巻き付けた電線(以下、巻付型光ファイバ線ともいう)について特許文献1の技術を適用しようすると、巻き付けられた光ファイバを異常箇所として誤検出し、ほとんどすべての画像を異常として検出してしまうおそれがある。したがって、当該電線に対し、従来の電線異常検出処理を行ったとしても、異常検出画像が膨大となり、検査員の目視検査の負担が多くなることが考えられる。
また、従来技術では、電線と似た輝度パターンの探索を行うテンプレートマッチングにより電線のエッジの検出をおこなっていたが、背景に電線に似た輝度パターンがあると、電線のエッジの検出がうまくいかず、誤検出を生じる場合があった。
また、従来技術では、色情報値(主として輝度値)に対して静的な閾値を用いて、電線の異常箇所の検出を行っているため、日照条件、ヘリコプターの飛行条件等の撮影条件により、正常箇所を異常箇所として検出する場合が存在した。
また、従来は、ビデオテープやDVD等に記録された電線の撮影画像のうち、画像処理による異常判定が不要な電線が撮影されていない時間帯と、画像処理による異常判定が必要な電線が撮影されている時間帯との判別は、撮影を行った作業者がタイムコードを記録しておき、そのタイムコードにより、処理を行う画像を判別する必要があったが、撮影者が電線が撮影されている時間帯をタイムコードとして記録する作業は煩雑であった。
そこで、本発明は、巻付型光ファイバ線について、巻き付けられた光ファイバを異常箇所として検出せず、かつ当該電線について溶痕等の異常箇所の検出を高精度に行うことを可能とすることで、異常検出画像を大幅に削減して検査員の労力を軽減することを可能とする電線異常検出方法、電線異常検出装置および電線異常検出プログラムを提供することを目的とする。更に、高速な異常検出処理を可能とする電線異常検出装置および電線異常検出プログラムを提供することを目的とする。更に電線のエッジ検出の精度の向上を図り異常箇所の検出精度を向上することを可能とする電線異常検出装置および電線異常検出プログラムを提供することを目的とする。更に、タイムコードの記録を不要として処理の合計量を減らし迅速な処理を可能とする電線異常検出方法、電線異常検出装置および電線異常検出プログラムを提供することを目的とする。
かかる目的を達成するため、請求項1記載の電線異常検出方法は、光ファイバ線が巻き付けられた電線が撮影された原画像から電線が撮影されている部分を対象画像として検出する電線検出処理と、水平方向の各画素位置における、垂直走査線上の画素列のうち対象画像から求めた電線の2本の理想輪郭線に挟まれる画素列の色情報値から代表値を求め、代表値が最も低い値となる水平方向の画素位置を中心として、対象画像における電線のうち光ファイバ線が横断している部分の左右の端を探索し、該左右端の間にある水平方向の画素位置を横断部分とし、そのほかの水平方向の画素位置を非横断部分として分離し、かつ横断部分においては、該横断部分にある水平方向の画素位置を検査点として順に走査し、代表値が最も低い値となる手前の検査点では、代表値が該検査点の更に手前にある水平方向の画素位置に比して増加する検査点を変化点とし、代表値が最も低い値となった後の検査点では、代表値が該検査点の手前にある水平方向の画素位置に比して減少する検査点を変化点とし、変化点を異常箇所として検出し、非横断部分においては、該非横断部分での代表値の平均値を基準とする上限閾値及び下限閾値を予め設定し、代表値が上限閾値または下限閾値を超える水平方向の画素位置を異常箇所として検出する電線異常検出処理を行うようにしている。
また、請求項7に記載の電線異常検出装置は、光ファイバ線が巻き付けられた電線が撮影された原画像から電線が撮影されている部分を対象画像として検出し、記憶装置に記憶する電線検出部と、対象画像を記憶装置から読み出して、水平方向の各画素位置における、垂直走査線上の画素列のうち対象画像から求めた電線の2本の理想輪郭線に挟まれる画素列の色情報値から代表値を求め、代表値が最も低い値となる水平方向の画素位置を中心として、対象画像における電線のうち光ファイバ線が横断している部分の左右の端を探索し、該左右端の間にある水平方向の画素位置を横断部分とし、そのほかの水平方向の画素位置を非横断部分とするフラグを各水平方向の画素位置について立て、該フラグにより、横断部分であるか、非横断部分であるかを判別し、横断部分については、該横断部分にある水平方向の画素位置を検査点として順に走査し、代表値が最も低い値となる手前の検査点では、代表値が該検査点の更に手前にある水平方向の画素位置よりも高い値かどうかを判断し、高い値であれば、検査点を変化点として検出し、代表値が最も低い値となった後の検査点では、代表値が該検査点の手前にある水平方向の画素位置よりも低い値かどうかを判断し、低い値であれば、検査点を変化点として検出し、変化点を検出した対象画像を異常画像として記録し、非横断部分については、該非横断部分での代表値の平均値を基準とする上限閾値及び下限閾値を予め設定し、代表値が上限閾値または下限閾値を超える水平方向の画素位置を異常箇所として検出し、該異常箇所が検出された対象画像を異常画像として記録する電線異常検出部とを備えるものである。
また、請求項8に記載の電線異常検出プログラムは、コンピュータに、光ファイバ線が巻き付けられた電線が撮影された原画像から電線が撮影されている部分を対象画像として検出し、記憶装置に記憶する電線検出処理と、対象画像を記憶装置から読み出して、水平方向の各画素位置における、垂直走査線上の画素列のうち対象画像から求めた電線の2本の理想輪郭線に挟まれる画素列の色情報値から代表値を求め、代表値が最も低い値となる水平方向の画素位置を中心として、対象画像における電線のうち光ファイバ線が横断している部分の左右の端を探索し、該左右端の間にある水平方向の画素位置を横断部分とし、そのほかの水平方向の画素位置を非横断部分とするフラグを各水平方向の画素位置について立て、該フラグにより、横断部分であるか、非横断部分であるかを判別し、横断部分については、該横断部分にある水平方向の画素位置を検査点として順に走査し、代表値が最も低い値となる手前の検査点では、代表値が該検査点の更に手前にある水平方向の画素位置よりも高い値かどうかを判断し、高い値であれば、検査点を変化点として検出し、代表値が最も低い値となった後の検査点では、代表値が該検査点の手前にある水平方向の画素位置よりも低い値かどうかを判断し、低い値であれば、検査点を変化点として検出し、変化点を検出した対象画像を異常画像として記録し、非横断部分については、該非横断部分での代表値の平均値を基準とする上限閾値及び下限閾値を予め設定し、代表値が上限閾値または下限閾値を超える水平方向の画素位置を異常箇所として検出し、該異常箇所が検出された対象画像を異常画像として記録する電線異常検出処理とを実行させるものである。
したがって、光ファイバ線が巻き付けられた電線の異常検出に際し、先ず、対象画像中で、光ファイバが撮影されている横断部分と、撮影されていない非横断部分とに分けて、それぞれに異なる異常検出処理を行うようにしている。横断部分と非横断部分との分離に際しては、横断部分の中点付近で代表値が最も低くなることを利用して、最も代表値が低い値となる水平方向の画素位置を中心として横断部分の左右の端を探索し、横断部分と非横断部分の境界としている。また、横断部分での異常検出は、横断部分での代表値は、当該中点の手前では単調に減少し、中点を過ぎると、単調に増加することを利用して、単調減少または単調増加しない水平方向の画素位置を変化点とし、異常箇所として検出している。また、非横断部分での異常検出では、非横断部分での代表値の平均値から上限閾値及び下限閾値を設定し、代表値が上限閾値または下限閾値を超える水平方向の画素位置を異常箇所として検出している。
尚、巻付型光ファイバ線には、電線の全体に電線が巻き付けられているが、電線を一方向から撮影した場合、撮影画像上では、光ファイバ線が横断しているように見える部分(横断部分)と、光ファイバ線が電線の後ろに隠れて見えない部分(非横断部分)が存在する。
また、請求項2に記載の発明は、請求項1に記載の電線異常検出方法において、電線異常検出処理は、横断部分と非横断部分の分離に際し、代表値が最も低い値となる水平方向の画素位置から、水平方向の画素位置の前後にそれぞれ走査していき、最初に代表値が対象画像での代表値の平均値を超える左右の交点を探索し、更に、該左右の交点における電線の2本の理想輪郭線の垂直方向の中点にある画素を仮の左端、仮の右端とし、該仮の左端及び仮の右端を直線で結んだときに、2本の理想輪郭線との交点となる画素が存在する水平方向の画素位置を左右の端とするようにしている。
したがって、横断部分と非横断部分の境界を、代表値が最も低い値となる水平方向の画素位置を中心として、代表値が最初に代表値の平均値を超える左右それぞれの水平方向の画素位置を探索し、更に、当該水平方向の画素位置での電線の中点を示す画素同士を直線で結んだ場合に、電線の2本の輪郭線との交点が存在する水平方向の画素位置としている。
また、請求項3に記載の発明は、請求項1または2に記載の電線異常検出方法において、電線異常検出処理は、横断部分での異常検出に際し、検査点を中心とした前後の予め設定された数の水平方向の画素位置での代表値の平均値と、検査点の手前にある予め設定された数の水平方向の画素位置での代表値の平均値との比較を行って変化点の検出を行うようにしている。
したがって、変化点の検出に際し、検査点とその手前の画素位置を中心とする複数の画素位置での代表値の平均値同士の比較をしている。
また、請求項4に記載の発明は、請求項1から3までのいずれかに記載の電線異常検出方法において、電線異常検出処理は、対象画像から電線の2本の理想輪郭線を構成する電線のエッジ画素を求めるに際し、電線の垂直方向の隣接する2画素間の輝度値の差分値の絶対値が予め設定された閾値以上である候補画素と該候補画素を中心とした一定の画素領域との輝度値の差分の分散が予め設定した閾値以上である場合には、該候補画素をエッジ画素とするようにしている。
したがって、電線のエッジ画素を求めるに際し、エッジ画素の候補となる画素に対して、電線部分に焦点が合っている合焦点性を利用して、候補画素とその候補画素を中心とした一定の画素領域(例えば3×3画素)との輝度値の差分の分散を求め、分散が大きい場合には、当該候補画素をエッジ画素とするようにしている。
また、請求項5に記載の発明は、請求項1から4までのいずれかに記載の電線異常検出方法において、電線検出処理は、原画像のうち電線が撮影されていないフレーム画像については、電線異常検出処理を行わないようにしている。
したがって、電線検出処理において電線が含まれていないと判断された画像については、以降の処理を省いて、電線異常検出処理が処理するデータ量を削減している。
また、請求項6に記載の発明は、請求項1から5までのいずれかに記載の電線異常検出方法において、電線異常検出処理は、非横断部分での異常検出に際し、異常箇所が予め設定された範囲の一定の周期性をもって検出された場合に、予め設定した上限閾値または下限閾値よりも広い範囲に閾値を変更し、再度、非横断部分での異常検出を行うようにしている。
したがって、複数の異常箇所を検出した場合に、異常の出現箇所が周期性を有するかどうかを判断し、周期性を有すると判断した場合は、正常箇所の誤検出である可能性があるため、異常検出のための閾値を広い範囲に、緩く再設定したうえで、再度電線異常検出処理を行うようにしている。
以上説明したように、請求項1記載の電線異常検出方法、請求項7に記載の電線異常検出装置及び請求項8に記載の電線異常検出プログラムによれば、電線に巻き付けられた光ファイバ線を損傷箇所と誤検出をすることがなく、巻付型光ファイバ線に対しても電線異常検出を行うことが可能となる。
また、光ファイバ線が巻き付けられている横断部分にアーク痕等の損傷が存在する場合であっても、見落とすことなく異常箇所として検出することができる。このため、電線の異常検出処理の高精度化を図ることができる。
また、請求項2に記載の電線異常検出方法によれば、電線のうち光ファイバが巻き付けられている横断部分と、巻き付けられていない非横断部分との分離を正確に行うことができる。これにより、横断部分と非横断部分におけるそれぞれの異常箇所の検出精度の向上を図ることができる。よって、異常検出画像の削減を図ることができるため、検査員の負担を軽減し、電線の異常検出業務の迅速化を図ることができる。
また、請求項3に記載の電線異常検出方法によれば、隣接の代表値の平均値同士の増減の比較を行うことにより、ノイズの影響を避けることができ、異常箇所の誤検出を減らすことができる。また、計算量を少なくすることができ、電線異常検出処理の高速化を図ることができる。
また、請求項4に記載の電線異常検出方法によれば、電線の輪郭線を形成する電線のエッジ画素の検出の高度化を図ることができる。これにより、対象画像のうち電線を構成する画素のみの抽出を高精度化し、電線の異常箇所の検出のための処理を行うことができるので、精度の高い異常箇所の検出が可能となる。
また、請求項5に記載の電線異常検出方法によれば、電線が撮影されていないフレーム画像を自動で除外することができる。これにより電線の異常検出の処理量を減らすことができるので、処理全体の高速化が可能となる。また、タイムコードの記録を不要とすることができるので、作業者の負担を減らし、作業の効率化を図ることができる。
また、請求項6に記載の電線異常検出方法によれば、撮影環境に適した閾値を動的に選択することにより、異常箇所の誤検出を減らし、精度の高い電線異常検出が可能となる。これにより、異常検出画像の削減を図ることができるため、検査員の負担を軽減し、電線の異常検出業務の迅速化を図ることができる。
以下、本発明の構成を図面に示す実施形態に基づいて詳細に説明する。
本発明の電線異常検出方法は、光ファイバ線が巻き付けられた電線の異常検出に際し、先ず、対象画像中で、光ファイバが撮影されている横断部分と、撮影されていない非横断部分とに分けて、それぞれに異なる異常検出処理を行うようにしている。横断部分と非横断部分との分離に際しては、横断部分の中点付近で代表値が最も低くなることを利用して、最も代表値が低い値となる水平方向の画素位置を中心として横断部分の左右の端を探索し、横断部分と非横断部分の境界としている。また、横断部分での異常検出は、横断部分での代表値は、当該中点の手前では単調に減少し、中点を過ぎると、単調に増加することを利用して、単調増加または単調減少しない水平方向の画素位置を変化点とし、異常箇所として検出している。また、非横断部分での異常検出では、非横断部分での代表値の平均値から上限閾値及び下限閾値を設定し、代表値が上限閾値または下限閾値を超える水平方向の画素位置を異常箇所として検出している。
先ず、本発明の電線異常検出装置について説明する。この電線異常検出装置1は、例えば図1に示すように、電線が撮影された映像が入力される入力インターフェース2と、撮影画像等が出力される出力装置3と、マウス、キーボード等の入力装置4と、原画像や対象画像等のデータが記録される補助記憶装置5としてのハードディスクと、一時的な作業データ等が記録される主記憶装置6としてのRAMと、中央処理演算装置(CPU)7等を備えている。上記のハードウェア資源は例えばバス8を通じて電気的に接続されている。
入力インターフェース2は、ビデオカメラ等の撮像手段9から入力される又は映像が記録されたDVD、ビデオテープ等の媒体から読み込まれる信号をコンピュータでの処理が可能なデータに変換する機能や、映像を構成する各フレームをそれぞれ画像データとして補助記憶装置5に記録する機能を有する。このような入力インターフェース2として、例えば既存のNTSC−RGBコンバータやフレームグラバまたはパーソナルコンピュータ用画像取り込みボード等を利用して良い。出力装置3は、例えばディスプレイであり、異常が検出された画像やユーザインターフェース画面などが表示される。また、補助記憶装置5には本発明の電線異常検出プログラムが記録されており、当該プログラムがCPU7に読み込まれ実行されることによって、コンピュータが電線異常検出装置1として機能する。
また、電線異常検出装置1は、撮像手段9から撮影画像を取り込み、原画像として記録する原画像取得部10と、電線(以下、地線ともいう)が撮影されている部分を対象画像として検出する電線検出処理を行う電線検出部11と、当該電線検出部11により切り出された対象画像に対して電線のエッジ(以下、輪郭線ともいう)を検出し、電線の形状及び色の異常を検出する電線異常検出部12とを備えるものである。上記原画像取得部10、電線検出部11及び電線異常検出部12は、CPU7で実行されるソフトウェアをコンピュータで実行させることで構成でき、その実行の際に必要なデータは、RAM6にロードされる。尚、電線異常検出装置1の構成は一例であってこれに限られるものではない。
本発明の電線異常検出方法について説明する。この電線異常検出方法は、図32のフローチャートに示すように、電線が撮影された画像を撮像手段9から取得し、原画像とする原画像取得処理(S100)と、原画像から電線部分の領域を切り出す電線検出処理(S200)と、切り出した対象画像に対して電線の異常を検出する電線異常検出処理(S300)と、対象画像が上手く切り出せなかった画像や異常検出画像を出力する異常画像の出力処理(S400)からなる。
先ず、原画像取得処理(S100)について説明する。原画像取得処理(S100)は、ビデオカメラまたは映像が記録された媒体等から、電線が撮影された撮影画像データを読み込み、ハードディスク等の補助記憶装置5に画像データを記録する処理を行うものである。尚、撮影画像データは電線異常検出装置1とは、別途設けられた外部の記憶装置に記録し、LAN、インターネット網等を通じて取得するようにしても良い。
点検対象である電線が撮影された画像として、本実施形態では、ヘリコプターに搭載したビデオカメラで撮影した電線の空撮映像を利用している。本実施形態では、ビデオカメラは毎秒30フレームの画像を生成するものとしているが、フレームレートはこれに限られるものではない。ビデオカメラより得られた各フレーム画像は、原画像取得処理(S100)において、コンピュータでの処理が可能なRGBのカラーモデルに変換され、さらに処理の簡素化および高速化等のために8ビットのグレースケール画像に変換される。上記のように変換された各フレーム画像を本実施形態における原画像とする。本実施形態では、原画像を構成する各画素は、色情報値として、例えば0(黒)〜255(白)までの256階調の明るさの値(輝度値)を有する。しかしながら、色情報値は、輝度値に限られるものではなく、例えば色相値を用いても良い。原画像の解像度は、例えば水平方向画素数を720画素とし、垂直方向画素数を480画素としている。但し、原画像はグレースケール画像に限定されずカラー画像であっても良く、また解像度も上記の例に限定されるものではない。
以下、本実施形態では、画面の水平方向の画素位置を水平(方向)画素番号(例えば、x=1...720)といい、画面の垂直方向の画素位置を垂直(方向)画素番号(例えば、y=1...480)という。尚、水平方向、垂直方向とは、それぞれ画面上の水平走査線方向、垂直走査線方向のことである。尚、電線は、必ずしも画面の水平方向に撮影されている必要はなく、画面の垂直方向にわたって撮影されていても良い。この場合でも、電線の長手方向を水平画素番号、電線の短手方向を垂直画素番号として処理を実行すればよい。尚、本実施形態では、電線の長手方向は画面水平方向であり、電線の短手方向は、画面垂直方向であるものとする。また、原画像には、必ずしも電線が画像の左端から右端、または、上端から下端まで撮影されている必要はなく、画像の端のみに電線が撮影されている画像を含んでいてもよい。また、電線の以外の部分、例えば、鉄塔部分の画像を含んでいても良い。
本実施形態では、原画像取得処理(S100)により、補助記憶装置5等に記録された電線が撮影された原画像データを、以降の電線検出処理(S200)、電線異常検出処理(S300)により処理することにより、電線異常検出をおこなうものである。尚、本実施形態では、原画像データの読み込みを行いながら、原画像の1フレームのデータごとに、電線検出処理(S200)と電線異常検出処理(S300)を行うことより電線の異常検出を行うものである。
本発明の電線異常検出プログラムが実行する原画像取得処理(S100)の一例を図33のフローチャートに沿って説明する。先ず、ビデオカメラまたは映像が記録された媒体から、入力インターフェース2を介して、電線が撮影された画像データを読み込む(S101)。そして、補助記憶装置5に記録された画像データを、例えば8ビットのグレースケール画像に変換する(S102)。これにより得た原画像に対し、ガウシアンフィルタをかけ、原画像からノイズ成分を除去する(S103)。これは、インパルスノイズのような突発的なノイズが画像に現れるとエッジ検出処理での差分計算の際に大きなピークを発生し、エッジの誤検出を引き起こしてしまうので、このような事態を避けるためである。以上で原画像取得処理は、終了する。
次に、電線検出処理(S200)を行う。これは原画像から電線が撮影された部分を対象画像として切り出す処理を行うものである。これにより、電線異常検出処理(S300)を行う際のデータ処理量を大幅に減らすことができるものである。即ち、細長い電線が撮影された部分は原画像の中のごく一部であるため、原画像全体に対して電線異常検出処理(S300)を行なっても、エッジ検出精度に寄与しないばかりか多大な処理時間を要する。このため、まず原画像の中から電線が撮影された部分を切り出す処理を行ない、当該切り出された領域を対象画像として記憶し、当該対象画像に対して電線異常検出処理(S300)を行なうことで、処理時間を大幅に短縮するものである。
本発明の電線異常検出プログラムが実行する電線検出処理(S200)の一例を図34のフローチャートに示す。本実施形態の電線検出処理(S200)では、水平方向範囲および垂直方向範囲が予め定められた探索領域を原画像の水平画素方向に少なくとも3箇所分布させるとともに、探索対象である電線の画像をテンプレートとして予め与え(S202)、テンプレートと最も類似する領域を各探索領域内で探索し(S206)、各探索領域についての探索結果が予め定めた規則性を満たすか否かを判断し、当該規則性を満たす探索結果を少なくとも含む画像を原画像から切り出して対象画像とするようにしている(S209)。
尚、本実施形態では、原画像をTVレート(30画像/秒)で取り込みを行っている。即ち、33ミリ秒毎に静止画の取り込みを行っている。通常は33ミリ秒の間では、撮影された電線の画像内での位置は大きく変化することはないとも考えられるが、撮影画像はヘリコプターにより電線を上空から撮影されるものであるので、突風などの影響により画像内での電線の撮影位置が大幅に移動し、画面の端にしか電線が撮影されていない画像も存在する。例えば、図2に画面の端にしか電線13が撮影されていない画像の一例を示す。原画像には、このように電線を画像の中心に捉えていない画像も含まれる。
電線検出処理(S200)について詳細に説明する。この処理では、先ず、原画像のフレームカウンタnを1とする(S201)。次に、テンプレートの登録処理を行なう(S202)。
テンプレートの登録処理(S202)は、例えばフレーム画像上に表示された電線の上側位置と下側位置の画素を指定することで、その中間位置を矩形の探索子18aの画素位置として記録することにより行われる。尚、探索子18は、電線の位置を探索するためのウインドである。更に、探索子18aの中心から水平方向に予め定めた画素数分離れた位置、例えば左右に30画素離れた位置で、テンプレートと類似した領域を垂直方向に自動探索する。3つの探索子18a,18b,18cは最初の探索結果とし、各々の垂直方向座標位置を記録する。
図3〜図5に示すユーザインタフェース画面の一例を用いて説明する。テンプレートの登録処理では、図3に示すようにnフレーム目(通常は、1フレーム目)の原画像をウィンドウ14内に表示する。この画面では、検査員がウィンドウ14内に表示された電線の上側位置15を選択し、さらにラジオボタン「電線の上側位置」16をマウス等の入力装置4で選択する。更に、選択(ドラッグ)したまま電線の下側17まで移動(図4)して選択を解除(ドロップ)すると、画面左から順に、自動的に矩形の探索子18a,18b,18cが表示される(図5)。最後に設定完了ボタン19を押して、テンプレートの登録処理(S202)は終了となる。このように登録された探索子の座標位置がRAM6等の記憶装置に記憶される。尚、既にテンプレートが登録されている場合には、上記のテンプレートの登録処理(S202)はスキップしても良い。
次に、nフレーム目の原画像が存在する場合は(S203;Yes)、当該原画像を読み込み(S204)、直前のフレーム(n−1フレーム)での電線の検出位置の中点を探索位置の上下方向の中心として、3つの探索領域を配置する(S205)。尚、原画像を最終フレームまで読み込んだ場合(S203:No)は、電線検出処理(S200)は終了する。尚、1フレーム目の原画像については上記のテンプレートの登録の際に電線探索が行なわれているため、テンプレートの登録処理(S202)の中でフレームカウンタnに1を加算しておいても良い。
本実施形態における探索領域は、例えば図6に示すように縦長とし、その水平方向範囲の画素数Xはテンプレートの水平方向画素数と同じとし、垂直方向範囲の画素数Yはテンプレートの垂直方向画素数よりも大きく且つ原画像の垂直方向画素数以下としている。ここで、図6および図7中の符号20は原画像を示し、符号21はテンプレートを示し、符号22は探索領域を示している。但し、探索領域の大きさは上記例に限定されるものではない。また、本実施形態における探索領域は、例えば図7に示すように画面水平方向に予め定めた距離をおいて3箇所分布させるようにしている。但し、探索領域の数は3つ以上であっても良い。
更に、本実施形態では、図8に示すように、原画像から切り出した電線の対象画像から、電線の始点23、終点24を求め、次に、求めた始点23、終点24から中点25を求め、その中点25の画素位置を記録し、次のフレームを探索する探索領域の中心位置とすることとしている。具体的には、電線の切り出しを行う際(S209)に、探索領域の3点の位置を結ぶ直線を引き、その直線と画像の端との交点となる2点を求め、その中点25を計算することとしている。これにより、電線の位置が画像の中心から徐々にずれていってしまった場合であっても、探索領域も電線の位置の移動に伴って移動することになるので、電線の追尾が可能となる。このように処理する画像毎に電線の探索位置を動かすことで、電線の位置が画像の中心から徐々にずれていってしまった場合にも電線の追尾を可能としている。
次に、探索領域内でテンプレートと最も類似する領域を探索するテンプレート照合処理を行なう(S206)。以下に、テンプレート照合処理(S206)について説明する。探索領域内におけるテンプレートと同じ大きさの領域(以下、候補領域と呼ぶ。)と、テンプレートとの類似度の計算には、例えば二乗誤差による相違度を用いる。この場合、テンプレートの座標(x、y)の輝度値をv(x、y)とし、候補領域の座標(x、y)の輝度値をv’(x、y)とすると、相違度errは次式で求められる。
この相違度errが最も小さくなる候補領域を、探索領域内においてテンプレートと最も類似した領域、即ち、探索結果とする。但し、候補領域とテンプレートとの類似度の計算方法は上記例に限定されない。例えば類似度の計算に相互相関を用いたり、周波数領域での類似性を判定するなどの方法を用いることにより、照度変化の影響を軽減した、より安定したテンプレート照合を行うことができる。
更にテンプレート照合の精度を向上するため、テンプレート照合処理の開始時に、各水平画素番号毎に当該画素列において、最も連続する輝度値の差の大きな部分を求め、その画素位置の周辺に対してテンプレートマッチングを行うことが好ましい。これは、通常、原画像では電線部分に焦点が合っているため、電線と背景部分の境界付近が最も輝度の差が大きくなることが考えられるからである。このようにすることで、テンプレート照合処理の精度及び処理速度を向上することが可能となる。
次に、電線の移動位置推定(以下、電線の追尾ともいう)処理(S207)、電線の追尾成功・失敗処理を行い(S208)、原画像から各探索結果を少なくとも含む画像を切り出し、n番目の対象画像として補助記憶装置5に記録し、次回の探索領域の配置のため、探索結果の中点25の座標位置を記録する(S210)。そして、フレームカウンタnに1を加算し(S211)、次フレームであるnフレーム目の原画像について、S203以下の処理を繰り返す。
図35に電線の移動位置推定処理(S207)を詳細化したフローチャートの一例を示す。移動位置推定処理では、先ず各探索結果の画面水平方向における座標位置を求め(S207−1)、各座標位置の変位の位相がそろっていれば(S207−2;Yes)、移動位置推定処理は終了し、電線の追尾成功・失敗処理(S208)へと移る。これに対し、各座標位置の変位の位相がそろっていなければ(S207−2:No)、直前のフレームでの各探索結果の座標位置との差(移動ベクトル)を求める(S207−3)。
変位の位相の判定(S207−2)について、以下に詳細に述べる。本実施形態では、探索の成否判定規準となる「探索結果の規則性」として、各探索結果の変位の位相が揃っているか否か、を判断するようにしている。ここでの位相は「位相幾何」で用いられるものを指す。例えば線分で表現される2つの図形の形状が同じであれば、当該2つの図形は位相が同じ、即ち位相が揃っている、と判断する。本実施形態の場合では、3つの探索結果を例えば左から順に第1、第2、第3の探索結果とすると、第1の探索結果と第2の探索結果とを結ぶ線分の傾きと、第2の探索結果と第3の探索結果とを結ぶ線分の傾きが、同じと見なせれば、位相が揃っていると判断する。各探索結果の変位の位相が揃っているか否かで、探索の成否が判定できる根拠を以下に説明する。即ち、電線は鉄塔部分を除いて他の物体に接触しておらず、物理法則に従って垂れた状態にある。したがって、電線は曲率の極めて小さい曲線形状であり、画面内という小さな範囲ではほぼ直線とみなして問題ない。そのため画面内での電線位置の変位は、ヘリコプターもしくはカメラの動きによる相対的なものである。ヘリコプターは電線に沿って一定速度で飛行を続けており、急激にその進行方向を変えることはない。また、カメラは回転せず上下左右方向のパン(カメラ位置をそのままにして、レンズを左右に動かすこと)のみを行っている。以上より、電線は時間変化とともに3つの探索領域内で垂直方向に移動し得るが、当該移動は3つの探索領域で揃っているのが通例である。
各探索結果の変位の位相が揃っているか否かを数値的に表現する一例を以下に示す。各探索結果の予め定めた点、例えば各探索結果における中心点の垂直方向の座標位置をそれぞれy1i,y2i,y3iとする。尚、添字i=0,…,pフレームである。ここで、y10,y20,y30を現在の原画像における座標位置とし、y11,y21,y31を1フレーム前の原画像における座標位置とし、y1p,y2p,y3pをpフレーム前の原画像における座標位置とする。そして、次式に基づいて、一定期間におけるy1iとy2iとの距離とy2iとy3iとの距離の差の平均dy12rateを計算し、当該平均dy12rateが予め定めた一定値以内であれば各探索結果の変位の位相が揃っていると判断し、当該一定値を超えた場合に各探索結果の変位の位相が揃っていないと判断する。
但し、各探索結果の変位の位相が揃っているか否かの判断は、上記計算に基づくものには必ずしも限定されない。例えば、より一般的な以下の計算方法を用いても良い。例えば、上述した垂直方向座標位置y1i,y2i,y3iを用いて、y1=(y10,…,y1p),y2=(y20,…,y2p),y3=(y30,…,y3p)を定義し、y1,y2,y3の相互相関を計算する。ここで、cor12をy1とy2の相互相関ベクトルとし、cor23をy2とy3の相互相関ベクトルとし、cor31をy3とy1の相互相関ベクトルとする。各相互相関ベクトルcor12,cor23,cor31において、最大値がそれぞれj1,j2,j3番目の要素であったとする。これらj1,j2,j3が共に一定値以下である場合に、各探索結果の変位の位相が揃っていると判断し、当該一定値を超えた場合に各探索結果の変位の位相が揃っていないと判断する。尚、位相が完全に揃っている場合は、j1,j2,j3は0となる。この計算方法の場合、より精度良く各探索結果の変位の位相が揃っているか否かを検出できる。但し、数式2に基づく方法と比較して計算時間がかかる。
ここで、原画像のすべてのフレームについて、電線追尾成功・失敗判定処理(S208)以下の処理を実行しても良いが、原画像には電線が含まれず、背景のみを撮影した画像や、鉄塔部分を撮影した画像が含まれる。これは、例えば撮影開始直後、撮影終了間際や撮影中に電線がフレームアウトした場合、鉄塔部分等の画像である。
このような場合に、従来の技術では、例えば撮影者が撮影した映像のうち電線が撮影されている時間について、映像のタイムコードをメモしておき、画像の異常検出処理プログラムでタイムコードを指定することにより、処理の対象とするか否かを設定していた。しかしながら、撮影者にとって、このような作業は負荷となっていた。このため、本発明の電線異常検出方法では、電線が撮影されていない画像フレームを原画像からタイムコード等の設定をすることなく自動的に省くフレーム除去処理を行うものである。
したがって、これらの電線を含まない画像については、予め以下の処理の対象から外しておくことが好ましい。本実施形態では、電線を含まない画像については、以降の処理を行わないフレーム除去処理を行っている。これにより、処理量を減らして処理全体の高速化を図ることができ、また、誤検出も未然に防ぐことができる。
フレーム除去処理について、図9(a)〜(e)を用いて説明する。(a)は電線の追尾に成功している画像を示している。(b)は、電線の検出を見失った画像を示している。電線を見失うと各探索子18は、画像内で最も電線と考えられる画素位置に停止する。この際、3つの探索子18a,18b,18cが無秩序な位置にあるか否かで判断する。
本実施形態では、無秩序な位置を以下の2つの点から判断している。一つは、各探索子18が直前のフレームからの画素位置の差分により判断している。電線が撮影されており電線の追尾に成功している状態であれば、各探索子18が2フレーム間で移動する距離の差分は小さい。本実施形態では、各探索子の移動差分が予め設定した閾値以上である場合には、電線追尾に失敗、即ち電線が撮影されていないフレームであることを判断している。また、探索子18bと探索子18aとの距離(移動ベクトル)と、探索子18cと探索子18aとの距離(移動ベクトル)との差が一定以上である場合にも電線追尾に失敗、即ち電線が撮影されていないフレームであることを判断している。
尚、本実施形態では、上述の2つの判断基準のいずれかに該当することにより電線が撮影されていないフレームを電線異常検出処理の対象から除外することとしているが、判断方法はこれに限られるものではない。例えば、上述の2つの判断基準のうちいずれか一つを用いることとしても良い。また、例えば、探索子18aと探索子18bを結ぶ直線と探索子18aと探索子18cを結ぶ直線の交点が形成する角度を判断の基準としても良い。この場合、電線検出に成功している場合であれば、3つの探索子を結ぶ線は一直線上に並ぶ、または近似するので、探索子18aと18bを結ぶ直線と探索子18aと18cを結ぶ直線の交点が形成する角度θは小さい。しかしながら、例えば図9(c)及び(d)に示すように電線を見失って、無秩序な位置を電線位置として検出している場合は探索子18aと18bを結ぶ直線と探索子18aと18cを結ぶ直線の交点が形成する角度θは大きくなる。そこで、この角度θが一定以上である場合に、電線追尾に失敗、即ち電線が撮影されていないフレームであることを判断しても良い。
図9(e)に示すように再び電線の追尾に成功した場合は、成功したフレーム以降については、以降の電線追尾成功・失敗判定処理(S208)を実行するものである。尚、本実施形態では、除去されたフレーム画像についても異常検出画像とは別途、除去画像として補助記憶装置5に記録することとしてもよい。この場合、検査員が除去画像のチェックを行うことも有効である。
以上のフレーム除去処理(S207−4〜S207−7)を図35のフローチャートを用いて説明する。フレーム除去処理は、先ず、全ての探索子のうち直前のフレームと比較して、垂直方向に予め定めた一定画素以上動いたものがひとつでも存在するかどうかを判定し(S207−4)、存在していれば(S207−4:Yes)、電線はないものと判定し(S207−6)、当該フレームでは、以降の処理を行わず、フレームカウンタに1を加え、S203へ戻る(S207−7)。尚、本実施形態では、50画素以上位置が動いたものを電線が撮影されていない画像と判定することとしているが、これに限られるものではない。
大きく動いた探索子が存在しない場合(S207−4:No)は、次に、探索子の移動ベクトルの比較を行う(S207−5)。本実施形態では、例えば、数式3により判定する。
<数3>
|(探索子18bの移動ベクトル−探索子18aの移動ベクトル)−(探索子18cの移動ベクトル−探索子18aの移動ベクトル)|>10
数式3を満たせば(S207−5:Yes)、3つの探索子は離れた位置に存在することになるので、電線が撮影されていない画像と判定(S207−6)し、当該フレームでは、以降の処理を行わず、フレームカウンタに1を加えS203へ戻る(S207−7)。尚、上記判定基準及び判断の基準となる画素数は一例であり、これに限られるものではない。
次に、電線追尾成功・失敗判定処理(S208)について説明する。特許文献1の技術においては、各探索結果の変位の位相が揃っていない場合や、類似度が定めた基準を満たさない場合は、新たにテンプレートの追加処理を行っていたが、テンプレートの追加処理は、検査員が実際にマウス等のポインティングデバイスを用いてユーザインターフェース画面上の当該原画像中の電線部分を指定する必要があり、当該フレームで処理が一旦停止してしまっていた。これに対し、本発明では、テンプレートの更新処理を検査員の介在をなくして、テンプレートを一定のフレームごとに自動で更新することとしている。これにより、最初に電線の位置を指定すれば、それ以降テンプレートの再登録などの検査員の介在する処理を行わずに電線異常検出処理を行うことができるようにしている。
本実施形態においては、電線追尾に成功した場合に限り、一定のフレーム数ごとに新たに電線のテンプレートパターンを登録することとしている。例えば、100フレームごとに新たにテンプレートパターンを更新するようにしている。テンプレートパターンは、予め登録しておく初期登録テンプレートと一定のフレームごとに更新用テンプレートの2種類を用いることとしている。尚、テンプレートパターンの登録数は、主記憶装置の容量の制約はあるため2種類としているがこれに限られるものではなく、3種類以上用いるようにしても良い。
本実施形態における電線の追尾成功・失敗判定処理(S208)では、直前のフレームの画像と比較して、電線の傾きが予め設定した閾値以上であれば電線の追尾に失敗したものと判断している。尚、閾値は任意に設定すればよく、上述の例には限られない。尚、電線の傾きは、画像内の電線の始点・終点を求め、当該始点・終点の座標位置から、電線の傾きを計算している。
さらに、本実施形態では、傾きが閾値を超えて電線の追尾に失敗したものと判断した場合に、探索領域を拡げて再度、テンプレート照合処理(S206)へ戻り電線を探索することとしている。例えば、図10(a)〜(c)に徐々に探索領域を拡げていく図の一例を示す。尚、符号13aは現在のフレームでの電線、13bは直前のフレームでの電線位置を示す。例えば、初期の探索領域を、電線の直径の3倍とし、3倍の探索領域内での探索結果が直前のフレームの画像と比較して、電線の傾きがtanθが0.1以上であれば、探索領域を電線の直径の7倍に拡げて再度テンプレート照合処理(S206)へ戻り電線を探索することとしている。さらに、7倍の探索領域内でも探索結果が直前のフレームの画像と比較して、電線の傾きがtanθが0.1以上であれば、探索領域を電線の直径の15倍(通常の撮影画像の上下方向の全範囲)に拡げて再度テンプレート照合処理(S206)へ戻り電線を探索することとしている。即ち、3倍、7倍、15倍と3段階に探索領域を拡げて電線の探索を行っている。尚、探索領域をどの程度拡げるか、探索領域を何回拡げるかは任意に設定することができるものであり、上述の例に限られるものではない。また、電線の直径に対して閾値を設定するだけでなく、他の値を基準として閾値を設定するようにしても良い。例えば、画素数を閾値として10画素、20画素といったように画素に閾値を設定するようにしても良い。
尚、本実施形態において探索領域を複数回に分けて徐々に拡げる理由は、データ処理範囲を限定して、より迅速な処理を行うためである。例えば、はじめから15倍の閾値を設定した場合は、電線の位置があまり移動していない場合であっても、15倍の範囲のデータ処理を行うこととなるので、処理の無駄が多くなる。このため、徐々に探索領域を拡げていき、見つからなかった場合に限り、探索領域を拡げることとしている。これにより、無駄なデータ処理を除き迅速な処理を行うことを可能としている。尚、探索領域を拡げる回数は、最低1回あれば良く、必ずしも2回行う必要もない、また、3回以上行うようにしても良い。
しかしながら、画面の上下方向全体に探索領域を拡げた場合であっても、電線の探索ができない場合がある。電線自体が画像内に撮影されていない場合は当然そのようになるが、電線が撮影されている場合でも、電線の追尾に失敗する可能性があることがわかっている。これは太陽光や雲とヘリコプターの位置などの撮影環境によって生じる電線の明るさの変化が原因である。また、ビデオカメラによる撮影は、電線を上空からヘリコプターで撮影するものであるので、背景画像は当然に、地上の背景となる。この場合に、例えば、電線と色情報値が近傍する背景(例えば、家屋、工場等)を撮影した場合などに、電線の検出に失敗する場合がある。即ち、撮影画像上の電線の陰影等が原因で誤検出をしてしまう場合がある。
そこで、本実施形態においては、上述したように、予め撮影画像中の電線のテンプレートパターンを主記憶装置に記憶しておくことにより、日照の変化等の撮影環境に関わらず電線の異常検出処理を行うことができるようにしている。探索領域を拡大しても電線の探索に失敗した場合は、直前のフレームの画像から予め登録しておいた電線のテンプレートパターンを参照するよう変更し、電線の探索を行うようにしている。
本実施形態においては、電線のテンプレートパターンを、上述したように予め処理開始時に入力しておき、さらに本処理中に任意に指定した一定の時間間隔でテンプレートパターンを記憶して、更新していくこととしている。具体的には、上記の探索領域を拡げて探索を行っても電線の探索に失敗した場合に、参照する電線のテンプレートパターンを変えたうえで、再度、通常の探索領域を探索するようにしている。さらに、参照する電線のテンプレートパターンを変えて探索を行っても、電線の探索に失敗した場合には、さらに探索領域を拡げて電線の探索を行うこととしている。尚、電線のテンプレートパターンの更新は、任意の時間間隔で行えば良い。また、複数の電線のテンプレートパターンを記憶しておいて、電線の検出ができるまで、参照する電線のテンプレートパターンを変更しながら処理を続けるようにしても良い。
実験の結果より、探索領域を拡大して電線の傾きを判定する処理と、参照する電線のテンプレートパターンを変えて、再度、探索領域を拡げて電線の傾きを判定する処理を行うことにより、ほとんどすべての画像について電線の検出が成功することがわかっている。本実施形態においては、まず探索領域を3段階に変更しながら、電線の検出を行い、その場合でも電線の検出を行うことができない場合においては、参照する電線のテンプレートパターンを変更して、再度、探索領域を3段階に変更しながら、電線の検出を行っている。探索領域を拡大する処理、参照する電線のテンプレートパターンを変更する処理を何段階で行うかは、任意に設定することができるものであり、上記の例に限られるものではない。また、二つの処理をどのような順番で行うかについても上述の例に限られるものではない。
実験の結果、上述した電線の追尾成功・失敗判定処理により電線の追尾に失敗することはほとんどなかったが、背景の影響などにより、わずかな確率で失敗する場合も起こりうる。このため、本実施形態においては、上述の電線の追尾成功・失敗判定処理をおこなっても電線の探索に失敗した場合は、そのフレームの画像を静止画として記録、次のフレームへ処理へ移るようにしている。このようにすることにより、電線の検出に失敗した場合であっても処理を停止することがないこととしている。これにより、検査員は最初に電線の位置を指定するだけで、それ以降、処理終了まで介在することなく、処理を行うことができることが可能となり、迅速な処理を行うことが可能となった。
以上の電線の追尾成功・失敗判定処理(S208)を図36のフローチャートを用いて説明する。電線の傾きが予め設定した閾値以上(例えば、tanθ=0.1)であれば(S208−1;Yes)、探索領域を電線の直径の3倍から7倍に拡大したうえで(S208−2)、再度テンプレート照合処理、電線の移動位置推定処理を行う(S206〜S207)。尚、探索領域を拡大する回数は、特に限られるものではないが、ここでは、探索領域を2回拡大するものとする。探索領域を拡大しても、再度電線の傾きが予め設定した閾値以上であれば(S208−3;Yes)、探索領域を電線の直径の7倍から15倍に拡大し(S208−4)、再度テンプレート照合処理、電線の移動位置推定処理を行う(S206〜S207)。再度探索領域を拡大しても、電線の傾きが予め設定した閾値以上であれば(S208−5;Yes)、参照する電線のテンプレートパターンを変更したうえで、再度テンプレート照合処理、電線の移動位置推定処理を行い(S206〜S207)、電線の追尾成功・失敗判定処理を終了する。また、いずれかの時点で電線の傾きが予め設定した閾値未満となれば(S208−1、S208−3、S208−5;No)、電線の追尾に成功したものとして、電線の追尾成功・失敗判定処理を終了する。以上で、電線の追尾成功・失敗判定処理を終了する。
すべての原画像についての処理を終えると(S203;No)、電線検出処理(S200)を終了し、電線異常検出処理を行なう(S300)。電線異常検出処理(S300)では、図37に示すように、電線の実際の輪郭線を構成するエッジ画素を検出する処理(S306)と、検出されたエッジ画素を用いて電線が健全である場合の理想輪郭線を求める処理(S307)と、対象画像中、光ファイバが巻き付けられている横断部分と巻き付けられていない非横断部分との分離処理を行う光ファイバ横断部分判定処理(S308)、理想輪郭線に囲まれる領域の輝度値に基いて電線の色の異常を検出する処理(S309、S310)と、エッジ画素と理想輪郭線との情報に基いて電線の形状の異常を検出する処理(S311)とを行なうようにしている。
原画像から切り出され、記憶された対象画像に対して、電線の実際の輪郭線を構成するエッジ画素を検出する。原画像から電線部分を切り出した対象画像の中で、エッジすなわち輪郭情報がはっきりと現れるものは電線のみであり、エッジ画素を検出することで、電線の領域を正確に抽出することができる。
例えば図11に示すような画像に対し、図中の矢印で示すように、画面垂直方向の一方向、例えば図中の上方に向かう方向に、隣接する2画素間の輝度値の差分値を求め、当該差分値と垂直方向の座標位置との関係を表したものを図12に示す。図12に現れている差分値0から突出した点、換言すれば差分値が画面垂直方向の両隣にある双方の差分値のよりも大きいか又は小さい点(以下、ピークとも呼ぶ。)のうち、絶対値の大きなものが電線部分を示している。従って、電線部分を示すピークの両端を検出できれば、電線領域を正確に抽出できる。
ここで、差分値の絶対値が閾値を超えるピークを探し、当該ピークを構成する画素をエッジ画素と判断する方法もあるが、この場合、太陽の方向や天候などによって適切な閾値が変動するため、一定の閾値の下では正確なエッジ検出が行なえない。また、従来技術では、背景に電線と似た輝度パターンがあると電線部分を正確に捉えることができないという問題が存在した。
そこで、本発明の電線異常検出方法では、電線の合焦点性を利用した輪郭線検出の行い、従来方法に比してエッジ検出の高精度化を図っている。エッジ検出の高精度化は、形状の異常検出や色の異常検出を高精度化する上で不可欠となる。輪郭が正確に計算できなければ電線の形状を正確に求められないからである。尚、ここで電線の合焦点性とは、電線に焦点が合っていれば、電線部分は、はっきり映るので様々な輝度値を含んでいるのに対し、背景部分はぼやけているので一様な輝度値となることをいう。尚、電線の輪郭線をたとえ1〜2画素であっても判断を誤ることは、合計輝度値等に影響を及ぼすため、エッジ検出の高精度化は不可欠である。
本実施形態では、先ずテンプレート照合処理(S206)をしておおまかな電線の位置を求め、おおまかな電線の位置を中心にして上下方向に電線のエッジを探索している。図12を拡大した図13を用いてこの原理を説明する。
図13の中で差分値の絶対値が最大となる点P1を探す。さらに、この最大点P1を中心として、それぞれ最も外側にあるピークP2を探すものである。
本実施形態では、P1を基準として電線の外側から順に電線のピークP2を探す。例えば対象画像における下側に位置するP2であれば、P1の垂直画素番号から予め設定した電線の直径の半分分の画素数(例えば20画素)を引き、さらに予め設定した画素数(例えば10画素)を引いた画素位置から探索を開始する。当該探索は、そこからP1の方向に向かって順にピークP2の候補画素26を探索する。候補画素か否かは、差分値の絶対値が予め設定された閾値(例えば5)以上であるかどうかにより判断する。
ピークP2の候補画素26を探索したら、数式4に示すように候補画素26と候補画素26を中心とした一定の画素領域27との輝度値の差分の分散を求め、分散が大きく異なるものであったら、当該候補画素をピークP2と判断している(図14参照)。同様に対象画像における上側に位置するP2の探索をする。
尚、v(i,j)は、当該画素位置での輝度値を示す。
これは、上述の合焦点性、即ち、電線に焦点が合っていれば、電線部分は、はっきり映るので様々な輝度値を含んでいるのに対し、背景部分はぼやけているので一様な輝度値となることを利用したものである。尚、本実施形態では、画素領域27を3×3の9画素とし、分散の差分閾値をσ=9.0としているがこれに限られるものではない。
このようにして得られる、ピークP2を構成する2つの画素をエッジ画素とする。当該2つのエッジ画素の一方を第1エッジ画素と呼び、他方を第2エッジ画素と呼ぶ。本実施形態では、対象画像における上側に位置するエッジ画素を第1エッジ画素とし、下側に位置するエッジ画素を第2エッジ画素としている。以上の処理を対象画像の水平方向画素列のすべてについて行なう。
次に、上述の処理で検出されたエッジ画素に基づいて、電線が健全である場合の理想輪郭線を求める処理を行なう。例えば図40のフローチャートに示すように、第1エッジ画素群および第2エッジ画素群から予め定めた基準を満足しない低信頼性画素を除き、残りの第1エッジ画素群および第2エッジ画素群をそれぞれ直線で近似して、2本の理想輪郭線を求めるようにする(S307−1〜S307−3)。
例えば本実施形態では、第1エッジ画素群および第2エッジ画素群についてそれぞれ以下の処理を行なうことにより、直線性を大きく損ねている低信頼性画素を除くようにしている。即ち、図41に示すように、エッジ画素をそれぞれ着目画素とし、着目画素を中心として画面水平方向に予め定めた範囲、例えば±15画素にあるエッジ画素の画面垂直方向の座標位置の平均を求める(S307−1−3,S307−1−5)。そして、垂直方向の座標位置が当該平均から大きく外れるエッジ画素、即ち垂直方向の座標位置と当該平均との差の絶対値が予め定めた閾値以上となるエッジ画素を低信頼性画素として除くようにする(S307−1−4,S307−1−6)。
また、対となる第1エッジ画素と第2エッジ画素の間隔が極端に狭い又は広いエッジ画素、換言すれば、水平方向の座標位置が同じである第1エッジ画素と第2エッジ画素との垂直方向の座標位置の差が予め定めた上限値以上または下限値以下となるエッジ画素を、低信頼性画素として除くようにする(S307−1−7,S307−1−8)。
低信頼性画素を除いたエッジ画素群に直線を当てはめる方法として、例えば本実施形態では最小自乗法を用いる。但し、直線近似の方法はこの例に限定されるものではない。低信頼性画素を除いた第1エッジ画素群および第2エッジ画素群に基づいて求められた直線を、それぞれ第1理想輪郭線および第2理想輪郭線と呼ぶ。
本実施形態では、第1および第2理想輪郭線に挟まれる各画面垂直方向の画素列の輝度値から当該垂直方向における代表値を求め、色情報の閾値から外れる代表値が画面水平方向に予め定めた数だけ連続した場合に、素線切れやアーク痕もしくは傷などにより電線の色に異常が生じている可能性があると判断するようにしている。本実施形態では、各フレーム画像毎に、第1および第2理想輪郭線に挟まれる各垂直方向の画素列の輝度値の平均値を求め、この平均値を代表値としている。電線の輝度値及びその平均値である代表値を図19を用いて説明する。
フレーム画像の左下を原点とし、垂直方向の座標を垂直画素番号、水平方向を水平画素番号とする(図19(a)参照)。ある水平画素番号(Xi)上に存在する垂直方向の電線の輝度値の平均を水平画素番号Xiにおける代表値Br(Xi)とし、数式5で表す(図19(b)参照)。
更に、同一のフレーム画像中に存在する電線の左端から右端までの代表値Br(Xi)の平均をμとし、その分散をσとする。尚、μ、σは数式6及び数式7に示すように求められる。尚、Mはフレーム画像の水平方向の画素数である。
但し、代表値の求め方は、この例に限定されず、第1および第2理想輪郭線に挟まれる各垂直方向の画素列の輝度値の最頻値を当該垂直方向における代表値としても良い。尚、数式5〜7で示した代表値Br(Xi)は、以下、代表値Val(i)と示す。
次に、光ファイバ横断部分判定処理(S308)を行う。図20に示すように、フレーム画像のうち光ファイバ線(符号53で示す)が巻き付けられている部分、即ち、画像上、光ファイバ線が横断しているように見える部分54(以下、光ファイバ横断部分、または横断部分という)は、本来異常として検出すべき対象ではない。しかしながら、光ファイバ線は、黒い覆で覆われているため、横断部分の輝度値は、巻付られていない電線の他の部分、即ち、画像上、光ファイバ線が電線の後ろに隠れて見えない部分55(以下、光ファイバ非横断部分、または非横断部分という)に比べて、代表値が低い値を示し、異常箇所として検出されてしまう。
因みに、特許文献1に記載の電線異常検出方法により巻付型光ファイバ線を撮影した画像に適用した場合、光ファイバ線を全て損傷と判定することを確認した。即ち、特許文献1に記載の技術では、巻付型光ファイバ線には適用できないことが判明した。このように光ファイバ線を異常として検出してしまうと、かなりの数の異常検出を行ってしまうこととなり、結果として、異常検出画像の増大を招き、作業員の目視によるチェックの負担が増大し、損傷等のおそれの高い箇所のみを作業員の目視観察により判別することで処理の迅速化を図ろうとする発明の目的を実現することができない。
また、光ファイバ横断部分の輝度値は、横断部分の中点付近の水平画素番号で最小になることを知見した。これは、横断部分の中点付近で電線の垂直方向での光ファイバ線の占める面積(割合)が最も大きくなるからである。
また、光ファイバ線は、電線に撚って巻き付けられるため電線の垂直方向の上下の輪郭線に光ファイバ線が近付くのにしたがい、フレーム画像中での電線上の光ファイバの占有面積が徐々に小さくなることを知見した。これは、横断部分の中点から、前後に離れていく毎に電線の垂直方向での光ファイバ線の占める面積(割合)が小さくなっていくからである。
以上の性質から、光ファイバ横断部分における代表値は、横断部分の中点付近の水平画素番号で最小値となり、更に、その手前の水平画素番号では、徐々に最小値に近づき、それ以降の水平画素番号では、徐々に最小値から通常の光ファイバが巻き付けられていない部分の正常な範囲に戻っていくことを知見した。図21に、図20に示した巻付型光ファイバ線の画像における各水平画素番号と代表値である輝度値との関係をプロットしたグラフの一例を示す。符号56は、各水平画素番号における代表値をプロットした輝度値曲線を示し、また、符号57に示すように横断部分での輝度値の変化は、中点付近の水平画素番号で輝度値が最小となり、その前後の水平画素番号では、単調減少、単調増加を示す。
上述の知見に基づき、本発明の電線異常検出方法は、巻付型光ファイバ線での輝度値の変化の特徴を利用して、光ファイバの横断部分と非横断部分の判別を行い、更に、横断部分について光ファイバ線を異常として誤検出することなく、かつ損傷を見落とすことなく検出することを可能とするものである。また、非横断部分についても、損傷を見落とすことなく検出することを可能とするものである。
横断部分と非横断部分の分離方法について図22に示すイメージ図を用いて説明する。図22は、上部に光ファイバ線53が巻き付けられた電線13を示し、下部の曲線は、当該巻付型光ファイバ線での水平画素番号と代表値の変化を示すものである。尚、図中の符号56は各水平画素番号における代表値をプロットした輝度値曲線を示し、点線58は当該フレームでの代表値の平均となる輝度値μを示す。尚、符号42は、第1輪郭線、43は第2輪郭線を示す。
まず、代表値が最小となる部分の水平画素番号(以下、最小値という)59を探索する。最小値の水平画素番号が、光ファイバの横断部分の中点と考えられるからである。
尚、巻付型光ファイバ線を撮影したビデオ映像の各フレーム画像には、通常光ファイバ線が撮影されているが、何らかの理由により光ファイバ線が撮影されていないフレーム、即ち、横断部分が存在しないフレームも存在する可能性がある。
そこで本実施形態では、横断部分が存在しないフレーム画像については、代表値の最小値が低くなることがないと考えられるため、最小値に予め閾値(例えば、輝度値60)を設定し、最小値が閾値以下となる場合のみ以下の処理を行うようにしている。最小値が閾値を超える場合は、当該フレームには光ファイバが撮影されていない、即ち、横断部分が存在しないものとして以下の処理を行うものである。これは、横断部分が存在するフレームでは、代表値の最小値が、横断部分の存在しないフレームよりも低い値となることを利用したものである。尚、横断部分が存在しないフレーム画像の判別方法及び閾値は一例であり、これに限られるものではない。
次に、最小値59を中心として、前後に当該フレームでの代表値の平均μ58との交点60,61となる2つの水平画素番号を探索する。即ち、最小値59を示す水平画素番号から、水平画素番号の前後にそれぞれ走査していき、最初に代表値がμ以上となる水平画素番号を交点60,61とする。更に、交点60,61を示す水平画素番号での第1理想輪郭線42および第2理想輪郭線43の電線の垂直方向の中点にある画素を光ファイバの仮の左端60a、仮の右端61aとする。
更に、仮の左右端60a、61aを示す画素を直線で結んだときに、第1理想輪郭線42および第2理想輪郭線43との交点となる画素を求め、この交点を、光ファイバの左端62a及び右端63aとしている。尚、左端62a、右端63aに対応するそれぞれの水平画素番号を62,63で示している。
以上のようにして求めた画像の一例を図23に示す。本実施形態では、上述の手法により求めた光ファイバの左端62aから右端63aまでを横断部分とし、他の部分を非横断部分としている。尚、点線64は、本発明の電線異常検出プログラムが横断部分を検出した場合に、該当箇所に表示する点線を示している。
以上のように、本実施形態での光ファイバ横断部分判定処理(S308)によれば、光ファイバの横断部分と非横断部分の分離を正確に行うことが可能となる。尚、上述の光ファイバの横断部分と非横断部分との分離方法に限られず、例えば、判定精度は劣るが、最小値から前後の予め設定された数の水平画素番号を横断部分と判定する等の他の分離方法を行うようにしても良い。
しかしながら、横断部分においても、アーク痕等の損傷は当然に生じうるため、異常検出処理を行うことが必要となる。つまり、単に横断部分と非横断部分との判別をし、横断部分を異常検出しないとしただけでは、横断部分に生じている損傷を見落とすこととなる。
そこで、本発明の電線異常検出方法は、横断部分と非横断部分には、その特性の違いを考慮して異なる異常検出処理を行うようにしている。
横断部分での色異常検出処理(S309)は、次のように行う。尚、横断部分か非横断部分かの判断は、例えば各水平画素番号に判定フラグHを設け、横断部分であればH=1とし、非横断部分であればH=0とする等により判定することが可能である。
また、以下に述べる横断部分での色異常検出処理(S309)と非横断部分での色異常検出処理(S310)の処理の先後は問わない。即ち、横断部分の水平画素番号についてはS309の処理を、非横断部分の水平画素番号についてはS310の処理を行うものである。
図24(a)に、素線切れを含んだ巻付型光ファイバ線が撮影されたフレーム画像の一例、図24(b)に横軸に当該画像における水平画素番号、縦軸に代表値である輝度値をプロットしたグラフを示す。また、図25(a)には、素線切れを含んだ巻付型光ファイバ線が撮影されたフレーム画像の他の例、図25(b)に横軸に当該画像における水平画素番号、縦軸に代表値である輝度値をプロットしたグラフを示す。
ここで、横断部分にアーク痕等の損傷がない場合は、例えば図21に既に示したように輝度値が単調に変化するのに対し、損傷がある場合には、例えば図24(b)及び、図25(b)に符号65で示すように損傷箇所の影響により輝度値が変化し、単調に変化しない部分(以下、変化点という)が存在することを知見した。尚、損傷が無ければ図24(b)及び図25(b)に符号66で示す太線部分のように単調増加したと考えられる。尚、図24(a)及び、図25(a)の符号67は、素線切れの該当箇所を示すものである。
例えば、図25の横断部分では、輝度値が最小となる水平画素番号(最小値)を境に代表値を示す曲線は、左側で単調減少右側で単調増加している。しかしながら、単調減少側にある損傷箇所に該当する部分(符号65)の輝度値は、単調減少とならずに増加している。尚、符号68は、本発明の電線異常検出プログラムが異常箇所を検出した場合に、表示するガイドを示している。本実施形態では、ガイド68は、異常箇所に該当する水平画素番号の上部に表示される。
横断部分での色異常検出処理(S309)では、この輝度値の分布特性を用いて横断部分での損傷検出を行っている。例えば、図26に示すように最小値59の前後で単調減少、単調増加する輝度値曲線56が、単調に変化しない変化点65を検出した場合に、横断部分での異常検出を行うようにしている。
本実施形態での変化点65の検出は、例えば次のように行う。横断部分において走査する水平方向画素番号(以下、検査点という)を中心にして、左右に予め設定された数の水平画素番号(例えば5つ分)の代表値の平均を計算する。即ち、合計11の水平画素番号での代表値の平均μを求める。更に、検査点から水平画素番号が10右にある点に対しても同様に左右に水平画素番号5つ分の輝度値の平均をとる。即ち、右側に隣接する11の水平画素番号での代表値の平均μを求める。最後に、μ及びμの輝度値の差分を計算し、単調減少または単調増加であるか否かを、予め設定した閾値、例えば、単調減少の場合は差分が5以上、単調増加の場合は差分が5以下であるか否かを判断している。この値を超える変化を示した点を変化点と判断し、損傷と判定するようにしている。
尚、変化点65の検出に際して合計11の画素番号分の平均の比較を行っているのは、ノイズの影響を避けるため及び計算量を少なくするためであり、平均する数は、特に限られるものではない。また、変化点を検出するための輝度値の差の判定閾値を5としたのは、実験の結果選択した閾値であり、撮影環境等により最適な値に調整すればよい。
また、非横断部分での色異常検出処理(S310)では、上記の代表値と比較する色情報の閾値を、各対象画像ごとに算出するようにしている。例えば数式8に示すように、ある対象画像について求めた代表値の標準偏差にαを乗じた値を、当該対象画像について求めた代表値の平均値に加算し、その値を当該対象画像における上限の閾値とし、代表値の標準偏差にαを乗じた値を代表値の平均値から減算した値を下限の閾値とする。尚、αは任意の係数である。
<数8>
閾値=代表値の平均値(μ)±係数(α)×代表値の標準偏差(σ)
そして、例えば上限の閾値以上となる代表値が水平方向に予め設定された画素数以上連続した場合、または下限の閾値以下となる代表値が水平方向に予め設定された画素数以上連続した場合に、素線切れやアーク痕などの電線異常の可能性があると判断するようにしている。これは、電線にアーク痕や傷などがある場合、当該異常箇所は電線の正常箇所よりも黒っぽくなる若しくは白っぽくなることを利用している。
図27(a)に巻付型光ファイバ線が撮影されたフレーム画像と、図27(b)に横軸に当該画像における水平画素番号、縦軸に輝度値をプロットしたグラフを示す。
図27(a)の光ファイバの非横断部分であり符号67で示す箇所には、素線切れが存在している。また、図27(b)の符号67で示す箇所は、当該素線切れ箇所が上限閾値を超えているため以上として検出することが可能であることを示している。このように、非横断部分での色異常検出処理(S310)により異常検出が可能であることが確認できる。
更に、電線検査においては、わずかな異常であっても看過することは許されないため、閾値は微細な異常を検出可能なように検出感度を厳しく、即ち、数式8における係数αを小さく設定することが想定される。しかしながら、閾値を狭く設定することにより、異常箇所の検出については高精度化を図ることが可能となるが、逆に正常箇所を異常として検出する場合が起こりうる。これは、同じ1本の映像中であっても、日照条件、ヘリコプターの影の位置等の撮影環境の変化が原因により起こりうることが考えられる。
閾値と検出可能な損傷の対応の一例を図28(a)(b)に示す。図28はいずれも素線切れの例である。図28(a)に示す損傷33を検出するためのαは2.2であり、図28(b)に示す損傷34を検出するためのαは0.9である。(a)に示す損傷は目視でも容易に損傷がわかり早急な補修が必要なことがわかるが、(b)に示す損傷は目視で発見することは困難であり、早期の補修の必要性は不明である。従来の電線異常検出方法では,αを固定値とするため、例えば、α=0.9であれば、(a)の損傷検出に対しては2倍以上の検出感度であり、過剰な検出感度であるため、健全なものまで損傷と判断してしまう可能性がある。
そこで、閾値を予め複数設定しておき、異常検出状況に応じて、誤検出を生じないよう動的に閾値を変更することが好ましい。以下に、本実施形態における動的な閾値設定処理について詳細に説明する。
図29に、上限閾値と下限閾値を静的に設定した場合に、異常部分ではない箇所を異常と判定したフレーム画像についての横軸に水平画素番号と、縦軸に輝度値をプロットしたグラフを示す。上限閾値を超える符号35で示す箇所は、正常部分であったが、異常判定したものである。尚、符号36で示す部分はアーク痕であった。尚、閾値αを1.4に設定している。
この場合、符号35で示す箇所を異常判定してしまうと、大量の誤検出に繋がり、異常検出画像の増大に繋がる。したがって、このような誤判定を起こさないよう閾値を設定する必要がある。
しかし、単純に係数αの値を大きくするだけでは、逆に、微細な異常箇所を異常検出できず見落とす場合が生じうる。ここで、図29のような、異常箇所の誤検出をした場合の波形には、一定の周期的変化があることを知見し、当該知見に基づいて、動的に閾値を設定している。例えば異常検出箇所が複数箇所以上あって、異常検出箇所の出現間隔が一定の水平画素間隔の範囲に収まっている場合には、周期的変化ありと判断し、当該周期的変化に対応して閾値を変更することにより、異常検出精度の向上に成功している。
図30はアーク痕がある電線が撮影された画像を示す。図30の画像に対し、上記の色異常検出処理を行なった結果を図31に示す。尚、図中の符号44は各水平画素番号における代表値を示し、符号45は下限の閾値を示す。図31には、下限の閾値以下となる代表値が20画素以上連続して現れる様子が示されており、上記の色異常検出処理によってアーク痕がある電線を正確に検出できることが確認できる。
また、本発明の電線異常検出処理により、アーク痕以外の損傷である「笑い」「キンク」と呼ばれる異常箇所の検出も正確に行うことができる(実施例参照)。
また、非横断部分での色異常検出処理において、例えば第1エッジ画素および第2エッジ画素に挟まれる各画面垂直方向の画素列の輝度値の平均値を、当該垂直方向における輝度値とすることも考えられる。但し、この場合、電線の一部が外に跳ねている素線切れがある場合は、電線でない部分の輝度値、例えば背景の輝度値も平均値の計算に含まれてしまい、正確な色異常検出が行なえない。本実施形態のように、第1および第2理想輪郭線に挟まれる領域で輝度値の平均を求めて代表値とすることにより、電線でない部分の輝度値が平均値の計算に含まれることを防ぎ、正確な色異常検出を行なうことができる利点が得られる。
上記理想輪郭線を利用する形状異常検出処理(図37のS311)では、理想輪郭線から画面垂直方向に予め定めた距離を超えて離れたエッジ画素が、画面水平方向に予め定めた数だけ連続した場合に、素線切れなどにより電線の形状に異常が生じている可能性があると判断するようにしている。例えば、理想輪郭線から10画素以上離れたエッジ画素が20画素の長さにわたって現れた場合に、素線切れなどの電線異常の可能性があると判断するようにしている。これは、電線の一部が切れて外側に跳ねてしまっている場合、理想輪郭線からある程度離れたところに、エッジ画素がある程度まとまって存在するようになることを利用している。
図15に素線切れを起こしている電線が撮影された画像を示す。図15の画像に対し、上記のエッジ検出処理を行なった結果を図16に示す。また、図16に示すエッジ画素の中から上記の理想輪郭線推定処理によって低信頼性画素を特定し、当該低信頼性画素を除いた残りのエッジ画素に基づいて理想輪郭線を求めた結果を図17に示す。そして、図16のエッジ画素と図17の理想輪郭線とを重ねて表示した結果を図18に示す。尚、図中の符号40は第1エッジ画素を示し、符号41は第2エッジ画素を示し、符号42は第1理想輪郭線を示し、符号43は第2理想輪郭線を示す。図18には、理想輪郭線から10画素以上離れたエッジ画素が20画素以上連続して現れる様子が示されており、上記の形状異常検出処理によって素線切れを起こしている電線を正確に検出できることが確認できる。
尚、巻付型光ファイバ線では、非横断部分において横断部分との交点付近の上下いずれかに巻き付けた光ファイバ線の影響で、電線の形状が膨らんで見える場合が存在しうる。当該巻付型光ファイバ線に対しては、形状異常判定処理(S311)において、この非横断部分に存在する交点付近の電線の膨らみを異常検出しないようにすることが好ましい。例えば、横断部分と非横断部分の交点から予め設定した画素数分の非横断部分の水平画素番号については形状異常判定処理(S311)を行わないようにすることで、誤検出を防ぐことができる。
また、この場合において、光ファイバ線を巻き付ける方向により、電線の上側、下側のどちらに光ファイバが沿っているのかがわかるため、例えば、光ファイバが電線に対し右斜め上方向に向かって横断している場合は、横断部分の右端と非横断部分の交点から予め設定した画素数分の上側部分に対してのみ形状異常判定処理を行わず、下側部分に対しては形状異常判定処理を行うようにすることで異常検出精度を向上させることができる。また、この場合は、横断部分の左端と非横断部分の交点から予め設定した画素数分の下側部分に対してのみ形状異常判定処理を行わず、上側部分に対しては形状異常判定処理を行うようにする。尚、光ファイバ線の巻き付け方向が反対であれば、形状異常判定処理を行う部分は上下反対とすれば良い。
また、横断部分が複数箇所、例えばフレーム画像の両端に2箇所あるような場合には、2箇所を横断部分とし、残りの部分を非横断部分として上述の処理を実行することにより誤検出を行うことなく異常検出を行うことができる。
また、本実施形態では、撮影画像には、巻付型光ファイバ線が撮影されているものとする。また、例えば、電線異常検出処理の開始時に巻付型光ファイバ線を含む画像であるのか否かを選択可能とし、巻付型光ファイバ線を含むものであれば本発明の電線異常検出プログラムを実行し、巻付型光ファイバ線を含まないものであれば、従来の電線異常検出プログラムを実行するようにしても良い。また、巻付型光ファイバ線以外の通常の電線等を撮影した画像について本発明の電線異常検出処理を実行しても、すべて非横断部分として以下の異常検出処理が処理されることとなるので、高精度の異常検出を行うことが可能である。
また、上述した光ファイバ横断部分判定処理及び横断部部分の色異常検出処理は、光ファイバ線に限られず、従来からの電線に巻き付けられて使用される線について適用することが可能である。
また、光ファイバ線は、通常の電線部分より輝度値が低いのが通常であるが、もし輝度値が通常の電線部分よりも輝度値が高いものが存在するような場合であっても、例えば図24(b)示したグラフにおいて、輝度値曲線56は、輝度値の平均値58に対し対称のグラフで示されることとなるので、上述の色異常検出処理の各閾値の調節等を行うことにより対応することが可能である。
ここで、本実施形態の対象画像は空撮映像より得られるものであり、電線の異常箇所は数フレームに渡って現れる。そこで、本実施形態では、電線に異常が生じている可能性があると判断された対象画像が予め定めた数、例えば2フレーム以上連続した場合に、電線に異常が生じていると判断するようにしている。これにより、より信頼性の高い電線異常検出を行なえる。ただし、ヘリコプターの飛行速度が遅い場合等には、さらに多くの連続フレームに異常箇所が現れるので、より多くのフレーム数以上連続した場合に、電線に異常が生じていると判断するようにしても良い。
電線異常検出処理を終了すると、ログに記録された異常画像の出力処理(S400)を行うものとしている。本実施形態においては、対象画像が切り出せなかった原画像や、異常検出した画像の連続する画像を、動画像ファイル(例えば、aviファイル、mpeg2ファイル等)に変換し、出力装置3上で再生可能なものとしている。これを異常検出画像とし、検査員は動画像の状態のまま確認できるので、目視による確認をより容易なものとしている。検査員は出力装置3に表示された動画像を見て、問題の有無を目視により判定できる。例えば、本実施形態の色異常検出処理では、電線にしみ等がある場合にも異常ありと判断する可能性があるが、単なるしみであるかアーク痕であるかの判断は、最終的に検査員が行なうようにしても良い。尚、動画像に限らず、静止画像として記録しても良い。例えば、静止画像をアルバム状に整理して表示するようにしても良い。また、動画像と静止画像の両方を記録して、両方の画像を用いて検査員が確認作業をするようにしてもよい。
以下、本発明の電線異常検出プログラムが実行する電線異常検出処理(S300)の一例を図37〜図47のフローチャートに沿って説明する。図37に電線異常検出処理(S300)を詳細化したフローチャートを示す。この処理では、画像カウンタkに1をセットし(S301)、形状異常カウンタzに0をセットし(S302)、色異常カウンタqに0をセットする(S303)。そして、k番目の対象画像が存在する場合は(S304;Yes)、当該対象画像を読み込み(S305)、読み込んだ対象画像について、エッジ検出処理(S306)、理想輪郭線推定処理(S307)、光ファイバ横断判定処理(S308)、色異常検出処理(S309、S310)、形状異常検出処理(S311)を行なう。これらの処理の終了後、画像カウンタkに1を加算し(S312)、次フレームにあたるk番目の対象画像について、S304以下の処理を繰り返す。すべての対象画像について以上の処理を行なうと(S304;No)、電線異常検出処理を終了する。
図38にエッジ検出処理を詳細化したフローチャートを示す。この処理では、画面水平方向画素番号iに1をセットする(S306−1)。そして、水平画素番号iの値が対象画像の水平方向画素数i_maxを超えていないか判断する(S306−2)。水平画素番号iがi_max以下であれば(S306−2;Yes)、画面垂直方向の画素番号jに1をセットする(S306−3)。そして、垂直画素番号jの値が、対象画像の垂直方向画素数j_maxから1を減算した値を超えていないか判断する(S306−4)。垂直画素番号jがj_max−1以下であれば(S306−4;Yes)、座標(i,j)にある画素の輝度値と座標(i,j+1)にある画素の輝度値との差を求め、差分値(j)として記録する(S306−5)。そして、垂直画素番号jに1を加算し(S306−6)、S306−4以下の処理を繰り返す。垂直画素番号jの値が、j_max−1を超えると(S306−4;No)、水平画素番号iにおける垂直方向画素列の隣接する2画素間の輝度値の差分値はすべて求められたこととなり、次にエッジ画素の検索処理を行なう(S306−7)。
図39にエッジ画素の検索処理を詳細化したフローチャートを示す。当該処理では、記録された差分値の中から絶対値が最大となる差分値(jP1)を求め、差分値(jP1)に対応する垂直画素番号jP1を求める(S306−7−1)。
対象画像における下側に位置するP2を探索する(S306−7−2〜10)。始めにjP1から電線の直径の半分として例えば20画素、さらに10画素引いた値をjとする(S306−7−2)。そして、垂直画素番号jに対応する差分値(j)が候補画素となりうるか否かを判断する。例えば|差分値(j)|>5であるかどうかを判断する(S306−7−3)。当該垂直画素番号jが候補画素となりうる場合(S306−7−3:Yes)は、数式4により候補画素jの輝度値とjを中心とする3×3の画素領域の輝度値の差分の分散(σ)を求める(S306−7−4)。σが3.0以上(S306−7−5:Yes)であれば、当該垂直画素番号jをエッジP2とする(S306−7−10)。一方、|差分値(j)|>5でない場合(S306−7−3:No)及びσが3.0未満の場合(S306−7−5:No)は、垂直画素番号に1を加えて(S306−7−6、S306−7−7)、即ち電線の内側にある次の画素について処理を行う。ここで、垂直画素番号jがP1から予め設定された閾値、例えば10画素以内かどうかを判断する(S306−7−8)。電線の外側の画素から順番にエッジP2を探索し、P1から10画素未満となってしまった場合(S306−7−8:No)には、これ以上内側にエッジがあることは考えられないため、エッジの検出に失敗したと判断し、暫定的にエッジP2をP1から電線の直径の半分を引いた垂直画素番号(S306−7−9)としている。一方、垂直画素番号jがP1から10画素以上ある場合(S306−7−8:Yes)には、S306−7−3に戻り、当該垂直画素番号がエッジとなりうるかの判断をする。
次に、対象画像における上側に位置するP2を探索する(S306−7−11〜19)。始めにjP1から電線の直径の半分、さらに10画素を加えた値をjとする(S306−7−11)。そして、垂直画素番号jに対応する差分値(j)が候補画素となりうるか否かを判断する。例えば|差分値(j)|>5であるかどうかを判断する(S306−7−12)。当該垂直画素番号jが候補画素となりうる場合(S306−7−12:Yes)は、数式4により候補画素jの輝度値とjを中心とする3×3の画素領域の輝度値の差分の分散(σ)を求める(S306−7−13)。σが3.0以上(S306−7−14:Yes)であれば、当該垂直画素番号jをエッジP2とする(S306−7−19)。一方、|差分値(j)|>5でない場合(S306−7−12:No)及びσが3.0未満の場合(S306−7−14:No)は、垂直画素番号から1を引いて(S306−7−15、S306−7−16)、即ち電線の内側にある次の画素について処理を行う。ここで、垂直画素番号jがP1から予め設定された閾値、例えば10画素以内かどうかを判断する(S306−7−17)。電線の外側の画素から順番にエッジP2を探索し、P1から10画素未満となってしまった場合(S306−7−17:No)には、これ以上内側にエッジがあることは考えられないため、エッジの検出に失敗したと判断し、暫定的にエッジP2をP1から電線の直径の半分を加えた垂直画素番号(S306−7−18)としている。一方、垂直画素番号jがP1から10画素以上ある場合(S306−7−17:Yes)には、S306−7−12に戻り、当該垂直画素番号がエッジとなりうるかの判断をする。以上により、差分値が最大となる点jP1から最も離れたピークを構成する画素、即ちエッジ画素が求められる。
水平画素番号iについて第1エッジ画素および第2エッジ画素が求められると、図38の処理に戻り、水平画素番号iに1を加算し(S306−8)、当該水平画素番号iについてS306−2以下の処理を繰り返す。以上により、対象画像を構成する各垂直画素列ごとに、換言すれば各水平画素番号ごとに、第1エッジ画素および第2エッジ画素が求められる。水平画素番号iの値が対象画像の水平方向画素数i_maxを超えると(S306−2;No)、当該対象画像におけるエッジ検出処理を終了する。
エッジ検出処理を終了すると、理想輪郭線推定処理(S307)を行なう。図40に理想輪郭線推定処理を詳細化したフローチャートを示す。この処理では、先ず除去候補画素の検索処理を行なう(S307−1)。更にこの処理では、図41に詳細を示すように、画面水平方向画素番号iに1をセットする(S307−1−1)。そして、水平画素番号iの値が対象画像の水平方向画素数i_maxを超えていないか判断する(S307−1−2)。水平画素番号iがi_max以下であれば(S307−1−2;Yes)、 水平画素番号i−Δi〜i+Δiにおいて存在する第1エッジ画素について、画面垂直方向の座標位置の平均値を求め、Ave1とする(S307−1−3)。尚、Δiは例えば15とする。そして、 水平画素番号i−Δi〜i+Δiにおいて存在する第1エッジ画素のうち、その垂直方向の座標位置と上記平均値Ave1との差の絶対値が、予め定めた閾値以上となるエッジ画素を除去候補画素として記録する(S307−1−4)。同様に、水平画素番号i−Δi〜i+Δiにおいて存在する第2エッジ画素について、垂直方向の座標位置の平均値を求めてAve2とし(S307−1−5)、これら第2エッジ画素のうち、その垂直方向の座標位置と上記平均値Ave2との差の絶対値が、予め定めた閾値以上となるエッジ画素を除去候補画素として記録する(S307−1−6)。さらに、水平画素番号iにおける第1エッジ画素と第2エッジ画素の垂直方向の位置の差を求め、ΔDとする(S307−1−7)。ΔDが予め定めた上限値以上または下限値以下となる場合、当該水平画素番号iにおける第1エッジ画素と第2エッジ画素を除去候補画素として記録する(S307−1−8)。そして、水平画素番号iに1を加算し(S307−1−9)、当該水平画素番号iについてS307−1−2以下の処理を繰り返す。以上により、垂直方向の座標位置が±15画素の範囲にある周囲のエッジ画素の平均から大きく外れるエッジ画素や、対となる第1エッジ画素と第2エッジ画素の間隔が極端に狭い又は広いエッジ画素が、除去候補画素として記録される。水平画素番号iの値が対象画像の水平方向画素数i_maxを超えると(S307−1−2;No)、当該対象画像における除去候補画素の検索処理を終了する。
除去候補画素が求められると、図40の処理に戻り、第1エッジ画素群から、除去候補画素すなわちエッジの直線性を損ねる低信頼性画素を除いた残りの画素を用いて、最小自乗法により、第1輪郭線を作成する(S307−2)。同様に、第2エッジ画素群から除去候補画素を除いた残りの画素を用いて、最小自乗法により第2輪郭線を作成する(S307−3)。これにより、当該対象画像における理想輪郭線推定処理を終了する。
理想輪郭線推定処理を終了すると、光ファイバ横断部分判定処理(S308)を行なう。図42に光ファイバ横断部分判定処理(S308)を詳細化したフローチャートを示す。この処理では、先ず、各水平方向画素番号について横断部分判定フラグHを設定し(S308−1)、画面水平方向画素番号i=1にセットする(S308−2)。そして、水平画素番号iの値が対象画像の水平方向画素数i_maxを超えていないか判断する(S308−3)。水平画素番号iがi_max以下であれば(S308−3;Yes)、水平画素番号iにおいて第1輪郭線と第2輪郭線との間に位置する画素の輝度値の平均値を求め、当該平均値を代表値Val(i)とする(S308−4)。そして、水平画素番号iに1を加算し(S308−5)、水平画素番号iについての処理を繰り返す。これにより、各水平画素番号iについて代表値Val(i)が求められる。
次に、代表値Val(i)が最小となる水平画素番号を探索して最小値Xminとし、横断部分の中点と推定する(S308−6)。次に、当該フレームでの代表値Val(i)の平均値μを求め(S308−7)、更に最小値Xminを中心として、最も近いVal(i)≧μとなる水平画素番号での第1理想輪郭線および第2理想輪郭線の中点をそれぞれ仮の左端、右端とする(S308−8)。更に、仮の左右端を直線で結び、第1理想輪郭線および第2理想輪郭線との交点を求め、この交点を、光ファイバの左右端とし(S308−9)、左端の水平方向画素番号から右端の水平方向画素番号までのすべての水平方向画素番号において、横断部分判定フラグをH=1とする(S308−10)。これにより、当該対象画像における光ファイバ横断部分判定処理を終了する。
図43に光ファイバの横断部分での色異常検出処理(S309)を詳細化したフローチャートを示す。光ファイバ横断部分での色異常検出処理では、対象画像の水平画素番号のうち横断部分判定フラグH=1の水平画素番号のみを対象とする(S309−1)。次に、合計カウンタSum1及びSum2をそれぞれ0に、また、変化点の検出に際し前後に5画素ずつ平均するため、カウンタLを−5に設定する(S309−2)。そして、検査点を中心とする合計11の水平画素番号での代表値の平均μと検査点から10右にある点を中心とする合計11の水平画素番号での代表値の平均μを求めるため、合計カウンタに各水平画素番号での代表値を加えながら(S309−3)、カウンタLが6になるまで(S309−4)、Lに1を加えてながら(S309−5)、合計11回ループ処理を行う。
S309−3〜S309−5までのループ処理が終わると(S309−4:No)、水平画素番号iが最小値Xminの水平画素番号以下の場合は、(Sum1−Sum2)/11>0かどうか、即ち、単調減少しているかどうか、水平画素番号iが最小値Xminの水平画素番号を超える場合は、(Sum1−Sum2)/11<0かどうか、即ち、単調増加しているかどうかを判断する(S309−6)。単調減少及び単調増加であれば(S309−6:No)、S309−9の処理へ移る。これに対し、水平画素番号iが最小値の水平画素番号以下の場合であるが、右側の画素の合計との差分が増加した(+である)場合及び、水平画素番号iが最小値の水平画素番号を超える場合であるが、差分が減少している(−である)場合(S309−6:Yes)は、当該差分の絶対値が差分閾値5を超えるかどうかを判断する(S309−7)。差分閾値を超える場合には(S309−7:Yes)、異常検出数カウンタであるAに1を加えて(S309−8)、S309−9の処理に移る。また、差分閾値を超えない場合には(S309−7:No)、損傷とは見なさず、そのままS309−9の処理に移る。
すべての横断判定フラグH=1の水平画素番号についての処理が終了した場合(S309−9:Yes)、異常検出数カウンタが0でないときは、k番目の対象画像を色異常候補画像として記録する(S309−11)。これに対し、未処理の横断判定フラグH=1の水平画素番号が存在する場合は(S309−9:No)、次の水平画素番号への処理に移る(S309−10)。これにより、当該対象画像における横断部分での色異常検出処理を終了する。
次に、図44に非横断部分での色異常検出処理(S310)を詳細化したフローチャートを示す。光ファイバ非横断部分での色異常検出処理では、先ず、カウンタu,u’及び異常検出数Aに0をセットし(S310−1)、求めた代表値Val(1)〜Val(i_max)のうち横断判定フラグH=0である水平画素番号を用いて数式8により上限の閾値Val’と下限の閾値Val”を求める(S310−2)。次に、水平画素番号iに1をセットする(S310−3)。但し、非横断部分での色異常検出処理では、横断判定フラグH=0である水平画素番号に限られる。水平画素番号iがi_max以下であるか判断する(S310−4)。水平画素番号iがi_max以下であれば、当該画素番号iに対応する代表値Val(i)が上限値Val’以上であるか又は下限値Val’以下であるか判断する(S310−5,S310−7)。代表値Val(i)が上限値Val’以上である場合はカウンタuに1を加算し(S310−6)、代表値Val(i)が下限値Val”以下である場合はカウンタu’に1を加算する(S310−8)。そして、カウンタuまたはカウンタu’の値が予め定めた値u_max以上であるか判断する(S310−9)。u_maxは例えば20とする。カウンタu,u’の双方がu_maxに満たなければ(S310−9;No)、水平画素番号iに1を加算し(S310−12)、水平画素番号iについてS310−4以下の処理を繰り返す。一方、代表値Val(i)が上限値Val’以上でなく且つ下限値Val”以下でない場合は、カウンタu,u’に0をセットし(S310−10)、水平画素番号iに1を加算し(S310−12)、水平画素番号iについてS310−4以下の処理を繰り返す。
カウンタu,u’の少なくとも一方がu_max以上となる場合は(S310−9;Yes)、上限値Val’以上または下限値Val”以下となる代表値Val(i)が20画素連続して現れたこととなるので、異常箇所として検出し、異常箇所検出数AをA=A+1とし(S310−11)、水平画素番号iに1を加算し(S310−12)、水平画素番号iについてS310−4以下の処理を繰り返す。この際、カウンタu,u’は、0をリセットする(S310−11)。
水平画素番号iがi_maxとなると(S310−4:No)、異常検出箇所が存在しているかどうかを判断する(S310−13)。異常検出箇所Aがある場合(S310−13:Yes)は、動的閾値設定処理(S310−14)を行う。異常検出箇所がない場合は(S310−13:No)は、色異常カウンタqを0にリセットし(S310−18)、当該対象画像についての色異常検出処理を終了する。
図45に動的閾値設定処理(S310−14)のフローチャートの一例を示す。先ず、異常検出箇所Aが予め設定された設定数(例えば3カ所)以上検出されたかどうかを判断する(S310−14−1)。検出されていなければ、S310−15に移る。3カ所以上検出されている場合(S310−14−1:Yes)は、異常箇所の出現が周期性を有しているかどうかの判断を行う(S310−14−2)。周期性を有しているかどうかは、例えば、異常箇所に該当する画素の出現間隔が、予め設定した周期パラメータ(例えば、60画素に一定の幅(例えば±5画素)を持たせた閾値)内であるか否かにより判断する。異常箇所が周期性を有する場合(S310−14−2:Yes)は、上限閾値及び下限閾値を緩める変更し(例えば、係数α=α+0.2とする)(S310−14−3)、変更後の閾値αにより、S310−3からの処理を再実行する(S310−14−4)。この際に、異常検出数A=0に戻しておく。尚、閾値の変更は当該フレームのみであって、次のフレームからは、元の閾値で異常検出を行うものである。
そして、色異常カウンタqに1を加算し(S310−15)、当該カウンタqが予め定めた値q_max以上であるか判断する(S310−16)。q_maxは例えば2とする。色異常カウンタqがq_maxに満たなければ(S310−16;No)、当該対象画像についての色異常検出処理を終了する。一方、色異常カウンタqがq_max以上である場合(S310−16;Yes)、色異常候補画像が2フレーム以上連続したこととなるので、これらの色異常候補画像をログに記録する(S310−17)。そして、色異常カウンタqを0にリセットし(S310−18)、当該対象画像についての色異常検出処理を終了する。
図46および図47に形状異常検出処理を詳細化したフローチャートを示す。この処理では、カウンタw,w’に0をセットし(S311−1,S311−2)、画面水平方向画素番号iに1をセットする(S311−3)。そして、水平画素番号iの値が対象画像の水平方向画素数i_maxを超えていないか判断する(S311−4)。水平画素番号iがi_max以下であれば(S311−4;Yes)、水平画素番号iにおける第1エッジ画素と水平画素番号iにおける第1輪郭線上の点との画面垂直方向の座標位置の差を求め、ΔH1とする(S311−5)。同様に、水平画素番号iにおける第2エッジ画素と水平画素番号iにおける第2輪郭線上の点との垂直方向の座標位置の差を求め、ΔH2とする(S311−6)。そして、ΔH1の絶対値およびΔH2の絶対値が、予め定めた値H_max以上であるか判断する(S311−7,S311−9)。H_maxは例えば10とする。ΔH1がH_max以上である場合はカウンタwに1を加算し(S311−8)、ΔH2がH_max以上である場合はカウンタw’に1を加算する(S311−10)。そして、カウンタwまたはカウンタw’の値が予め定めた値w_max以上であるか判断する(S311−11)。w_maxは例えば20とする。カウンタw,w’の双方がw_maxに満たなければ(S311−11;No)、水平画素番号iに1を加算し(S311−13)、当該水平画素番号iについてS311−4以下の処理を繰り返す。一方、ΔH1とΔH2の双方がH_maxに満たない場合は、カウンタw,w’に0をセットし(S311−12)、水平画素番号iに1を加算し(S311−13)、当該水平画素番号iについてS311−4以下の処理を繰り返す。
カウンタw,w’の少なくとも一方がw_max以上となる場合は(S311−11;Yes)、理想輪郭線から10画素以上離れたエッジ画素が20画素連続して現れたこととなるので、当該対象画像を形状異常候補画像として記録する(S311−14)。そして、形状異常カウンタzに1を加算し(S311−15)、当該カウンタzが予め定めた値z_max以上であるか判断する(S311−16)。z_maxは例えば2とする。形状異常カウンタzがz_maxに満たなければ(S311−16;No)、当該対象画像についての形状異常検出処理を終了する。一方、形状異常カウンタzがz_max以上である場合(S311−16;Yes)、形状異常候補画像が2フレーム以上連続したこととなるので、これらの形状異常候補画像をログに記録する(S311−17)。そして、形状異常カウンタzを0にリセットし(S311−18)、当該対象画像についての形状異常検出処理を終了する。他方、水平画素番号iの値が対象画像の水平方向画素数i_maxを超えるまで処理された場合は(S311−4;No)、理想輪郭線から10画素以上離れたエッジ画素が20画素連続して現れることの無かった場合であり、形状異常カウンタzを0にリセットし(S311−18)、当該対象画像についての形状異常検出処理を終了する。
すべてのフレームについての電線異常検出処理を(S300)終了すると、ログに記録された異常画像を動画像ファイル(異常検出画像)として出力処理を行なう(S400)。尚、異常画像を動画像ファイルとして出力処理を行なう処理は、すべてのフレームについての処理の終了後に行っても、処理の途中で同時に並列処理を行うようにしても良い。以上により、本実施形態の電線異常検出プログラムによって、電線異常検出装置1が実行する処理は終了する。
本発明によれば、検査員は電線の空撮映像を最初からすべて目視点検する必要は無く、電線異常検出装置1が提示する一部の画像や映像について確認すれば良く、検査員の労力が大幅に軽減される。さらに、ビデオカメラを電線異常検出装置1に接続して、ビデオカメラより得られる映像をリアルタイムで処理することで、ヘリコプターで巡視している現場で電線の異常箇所の検出まで行うことも可能となり、作業に関わる人的資源や設備資源を縮小し全体のコストを大幅に低減することが可能になる。
尚、上述の実施形態は本発明の好適な実施の一例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。例えば、上述の実施形態ではグレースケール画像を原画像として各処理を行なったが、カラー画像を原画像として各処理を行なっても良い。例えば原画像がグレースケール画像である場合、電線検出処理において、山の稜線などを変位の位相が揃っている探索結果として判断してしまう場合があるが、原画像をカラー画像とし、色情報値として、輝度値に加えて色相値を用いても良い。
また、本発明の電線異常検出プログラムについて、フローチャートを用いて説明した処理手順は一例であって、これに限られるものではない。例えば、各種パラメータは任意に撮影環境に応じて最適な値を選択可能であり、処理の先後を変更してもよい箇所が存在するのは勿論である。
また、エッジ検出処理は必ずしも上述の実施形態の例には限定されず、従来のエッジ検出方法を採用しても良い。また、更なる処理の高速化を図るために、図32から図47に示した処理の一部又は全部をハードウェア化しても良い。特にエッジ検出処理の部分は、汎用的な手法であるため、市販の画像処理ボードとの親和性も良く、ハードウェア化が容易である。ハードウェア化によって、ビデオレートでの処理も可能となる。
また、閾値などの各パラメータ、例えばエッジ検出処理においてピークを探す範囲Δj、形状異常を判断するエッジ画素と理想輪郭線との距離の基準H_max、色異常を判断する閾値の係数α、連続する異常候補画素の基準w_max,u_max、連続する異常候補画像の基準z,qなどは、撮影条件などに合わせて適宜調節してよい。
また、上述の実施形態では、原画像から切り出した対象画像に対して電線異常検出処理を行なったが、場合によっては原画像をそのまま対象画像として、電線異常検出処理を行なっても良い。また、上述の切り出し処理で得られた対象画像を、形状異常検出処理や色異常検出処理以外の電線点検用の画像処理に用いても良い。
また、輝度値に加えて色情報値を利用して判定することにより、例えば、OPGW(光ファイバ複合架空地線)などの捻回確認用赤色ラインが引かれた赤色ライン付き電線についての検出精度を向上するようにしても良い。さらに、飛び越し走査(処理を行う動画像の、画像の奇数行と偶数行で取り込み時間が異なっていること)を補正することにより、画像の鮮明度を向上させ異常箇所を鮮明にして異常検出の精度を向上するようにしても良い。
また、本発明の電線異常検出方法は、電線以外の線状の剛体に適用することが可能である。例えば電線に限らず、種々のケーブル等にも適用することが可能であり、例えば製品検査等に用いることも可能である。
(実施例1)
(巻付型光ファイバ線の損傷検出実験)
本発明の電線異常検出プログラムによる作業量削減率は77%であった。これは、1時間のテープで換算すると約46分削減できたことになる。
巻付型光ファイバ線の作業量削減率は54%であった。即ち、検査員は、残り46%の異常検出画像を目視検査するだけで電線の異常検出を行うだけでよいので、作業の効率化及びコスト削減に有効であることが確認できた。
また、損傷を目視により確認したところ、すべての損傷について検出に成功しており、見落としは一切発生しなかった。本実験により、巻付型光ファイバ線に対して、本発明の電線異常検出プログラムにより、損傷箇所を見落とすことなく、検出可能であることが確認できた。
(実施例2)
(アーク痕以外の損傷検出実験)
本発明の電線検出異常検出プログラムにより素線切れ、アーク痕以外の損傷である「笑い」、「キンク」の検出実験を行った。
本発明の電線検出異常検出プログラムにより、電線の笑いの検出を行った。尚、笑いとは、図48の符号51に示すように素線間の間隔が広がった状態をいい、放置しておくことにより素線切れになりうるものである。よって損傷の一形態として検出することが必要となる。
笑いが存在する箇所は、周囲の電線の画素の輝度値の平均に比して、輝度値が高くなることを知見した。図49に、笑いが存在する場合の、水平画素番号と輝度値の関係を示す。これは、数式8による、通常の異常検出と同様の閾値(例えば、μ+1σ)で検出可能であることが確認できた。
次に、電線の「キンク」の検出を行った。尚、キンクとは、図50の符号52に示すように電線の形状が局地的にゆがんだ状態をいう。キンクは、電線を敷設する際に、電線がねじれたまま取り付けられた場合に生じるものであり、損傷の一形態として検出することが必要となる。
キンクが存在する場合は、理想輪郭線より内側に実際の輪郭が存在する。即ち、キンクが存在する部分の代表値は実際の電線の輝度値に背景の輝度値が加わった値となる。以上より、キンクが存在する箇所は、周囲の電線の画素の輝度値の平均に比して、輝度値が低くなることを知見した。図51に、キンクが存在する場合の、水平画素番号と輝度値の関係を示す。
「キンク」についてもアーク痕の検出と同様の閾値(例えば、μ−1σ)で検出可能であることが確認できた。
また、キンクは歪みを生じるだけでなく、図52に示すように膨らんだ状態となりうる。この場合は、素線切れと同様に考えられるので本発明の電線異常検出プログラムにより検出可能であることが確認できた。
また、電線は腐食により膨らんだ状態となる場合がある。この場合についても、素線切れと同様に考えられ、本発明の電線異常検出プログラムにより検出可能であることが確認できた。
以上述べたように、本発明の電線異常検出プログラムにより、閾値等に特段の変更を加えないでもアーク痕同様に損傷として見落とすことなく検出可能であることが確認できた。これにより、本発明の電線異常検出プログラムは「笑い」「キンク」について見落とすことなく検出可能であることが確認できた。
本発明の電線異常検出装置の一例を示す概略構成図である。 電線が撮影画像の端の部分にのみ撮影されている画像を示している。 テンプレート登録処理のユーザインタフェース画面の一例であり、電線の上端が指定された画像の一例を示す。 テンプレート登録処理のユーザインタフェース画面の一例であり、電線の上端から下端までが指定された画像の一例を示す。 テンプレート登録処理のユーザインタフェース画面の一例であり、矩形の探索子が表示された画像の一例を示す。 本発明の電線異常検出方法において電線を探索する原理を説明する概念図の一例である。 本発明の電線異常検出方法において電線を探索する原理を説明する概念図の他の例である。 本発明の電線異常検出方法において次のフレームでの電線を探索する原理を説明する概念図である。 フレーム除去処理における画像の一例であり、(a)は電線の追尾に成功した場合の画像、(b)は、電線の検出を見失った場合の画像、(c)及び(d)は、無秩序な位置を電線位置として検出している場合の画像、(e)は、再び電線の追尾に成功した場合の画像の一例である。 本発明の電線の追尾成功・失敗判定処理において電線を探索する原理を説明する概念図の一例であり、(a)は探索領域を3倍に拡げた場合、(b)は探索領域を7倍に拡げた場合、(c)は探索領域を15倍に拡げた場合を示す図の一例である。 エッジ検出の原理を説明するための電線の画像を示す。 図11の矢印で示す垂直方向上方に、隣接する2画素間の輝度値の差分値を求めた結果を示すグラフである。グラフの縦軸は差分値を求めた下側画素の垂直画素番号を示し、横軸は差分値の大きさを示す。 図12の一部を拡大したものである。 エッジ検出の原理を説明するための、候補画素と画素領域を示す図の一例である。 素線切れを起こしている電線の一例を示す画像である。 電線のエッジ画素を表示したグラフであり、縦軸は垂直画素番号を示し、横軸は水平画素番号を示す。 電線の理想輪郭線を表示したグラフであり、縦軸は垂直画素番号を示し、横軸は水平画素番号を示す。 本発明の電線異常検出方法の原理を説明するグラフであり、電線のエッジ画素と理想輪郭線を重ねて表示したものである。グラフの縦軸は垂直画素番号を示し、横軸は水平画素番号を示す。 代表値とその平均値を説明するための(a)電線の画像の一例、(b)原理図である。 巻付型光ファイバ線の画像の一例である。 図20の画像での水平画素番号と輝度値を示したグラフである。グラフの縦軸は輝度値を示し、横軸は水平画素番号を示す。 横断部分と非横断部分の分離方法を説明するためのイメージ図である。 光ファイバ横断部分判定処理により、横断部分を表示する点線が表示された画像の一例である。 (a)は、素線切れを含んだ巻付型光ファイバ線が撮影されたフレーム画像の一例、(b)は、横軸に当該画像における水平画素番号、縦軸に輝度値をプロットしたグラフの一例である。 (a)は、素線切れを含んだ巻付型光ファイバ線が撮影されたフレーム画像の他の例、(b)は、横軸に当該画像における水平画素番号、縦軸に輝度値をプロットしたグラフの一例である。 横断部分での輝度値曲線の一例を示すグラフであり、横軸は水平画素番号、縦軸は輝度値を示す。 (a)は、巻付型光ファイバ線が撮影されたフレーム画像の一例、(b)は、横軸に当該画像における水平画素番号、縦軸に輝度値をプロットしたグラフの一例である。 閾値により検出可能な異常箇所の一例を示す図であり、(a)は、α=2.2により検出可能な異常箇所を含む電線の画像の一例である。(b)は、α=0.9により検出可能な位除床書を含む電線の画像の一例である。 正常箇所を異常と判定したフレーム画像についての縦軸に輝度値を、横軸に水平画素番号をプロットしたグラフである。 図31の元となる画像を示し、アーク痕がある電線の画像を示している。 本発明の電線異常検出方法の原理を説明するグラフであり、電線の色情報値の代表値と閾値とを表示したものである。グラフの縦軸は輝度値を示し、横軸は水平画素番号を示す。 本発明の電線異常検出方法及び装置及びプログラムの実行により行なわれる処理の一例を示すフローチャートである。 図32の原画像取得処理を詳細化した処理の一例を示すフローチャートである。 図32の電線検出処理を詳細化した処理の一例を示すフローチャートである。 図34の電線の移動位置推定処理を詳細化した処理の一例を示すフローチャートである。 図34の電線の追尾成功・失敗判定処理を詳細化した処理の一例を示すフローチャートである。 図32の電線異常検出処理を詳細化した処理の一例を示すフローチャートである。 図37のエッジ検出処理を詳細化した処理の一例を示すフローチャートである。 図38のエッジ画素の検索処理を詳細化した処理の一例を示すフローチャートである。 図37の理想輪郭線推定処理を詳細化した処理の一例を示すフローチャートである。 図40の除去候補画素の検索処理を詳細化した処理の一例を示すフローチャートである。 図37の光ファイバ横断部分判定処理を詳細化した処理の一例を示すフローチャートである。 図37の色異常検出処理(横断部分)を詳細化した処理の一例を示すフローチャートである。 図37の色異常検出処理(非横断部分)を詳細化した処理の一例を示すフローチャートである。 図44の動的閾値設定処理を詳細化した処理の一例を示すフローチャートである。 図32の形状異常検出処理を詳細化した処理の一例を示し、処理の前半部分を示すフローチャートである。 図46の後半部分を示すフローチャートである。 笑いが存在する電線の撮影画像の一例である。 図48のフレーム画像における水平画素番号と輝度値の関係を示すグラフである。 キンクが存在する電線の撮影画像の一例である。 図50のフレーム画像における水平画素番号と輝度値の関係を示すグラフである。 キンクが存在する電線の撮影画像の他の例である。 従来の電線の点検作業システムの処理フローを示す図である。
符号の説明
1 電線異常検出装置
10 原画像取得部
11 電線検出部
12 電線異常検出部
13 電線
26 候補画素
27 画素領域
53 光ファイバ線

Claims (8)

  1. 光ファイバ線が巻き付けられた電線が撮影された原画像から前記電線が撮影されている部分を対象画像として検出する電線検出処理と、水平方向の各画素位置における、垂直走査線上の画素列のうち前記対象画像から求めた前記電線の2本の理想輪郭線に挟まれる前記画素列の色情報値から代表値を求め、前記代表値が最も低い値となる前記水平方向の画素位置を中心として、前記対象画像における電線のうち光ファイバ線が横断している部分の左右の端を探索し、該左右端の間にある前記水平方向の画素位置を横断部分とし、そのほかの前記水平方向の画素位置を非横断部分として分離し、かつ前記横断部分においては、該横断部分にある前記水平方向の画素位置を検査点として順に走査し、前記代表値が最も低い値となる手前の前記検査点では、前記代表値が該検査点の更に手前にある前記水平方向の画素位置に比して増加する前記検査点を変化点とし、前記代表値が最も低い値となった後の前記検査点では、前記代表値が該検査点の手前にある前記水平方向の画素位置に比して減少する前記検査点を変化点とし、前記変化点を異常箇所として検出し、前記非横断部分においては、該非横断部分での前記代表値の平均値を基準とする上限閾値及び下限閾値を予め設定し、前記代表値が前記上限閾値または前記下限閾値を超える前記水平方向の画素位置を異常箇所として検出する電線異常検出処理を行うことを特徴とする画像処理による電線異常検出方法。
  2. 前記電線異常検出処理は、前記横断部分と前記非横断部分の分離に際し、前記代表値が最も低い値となる前記水平方向の画素位置から、前記水平方向の画素位置の前後にそれぞれ走査していき、最初に前記代表値が前記対象画像での前記代表値の平均値を超える左右の交点を探索し、更に、該左右の交点における前記電線の前記2本の理想輪郭線の垂直方向の中点にある画素を仮の左端、仮の右端とし、該仮の左端及び仮の右端を直線で結んだときに、前記2本の理想輪郭線との交点となる画素が存在する前記水平方向の画素位置を前記左右の端とすることを特徴とする請求項1に記載の電線異常検出方法。
  3. 前記電線異常検出処理は、前記横断部分での異常検出に際し、前記検査点を中心とした前後の予め設定された数の前記水平方向の画素位置での代表値の平均値と、前記検査点の手前にある予め設定された数の前記水平方向の画素位置での代表値の平均値との比較を行って前記変化点の検出を行うことを特徴とする請求項1または2に記載の電線異常検出方法。
  4. 前記電線異常検出処理は、前記対象画像から前記電線の前記2本の理想輪郭線を構成する前記電線のエッジ画素を求めるに際し、前記電線の垂直方向の隣接する2画素間の輝度値の差分値の絶対値が予め設定された閾値以上である候補画素と該候補画素を中心とした一定の画素領域との輝度値の差分の分散が予め設定した閾値以上である場合には、該候補画素を前記エッジ画素とすることを特徴とする請求項1から3までのいずれかに記載の電線異常検出方法。
  5. 前記電線検出処理は、前記原画像のうち前記電線が撮影されていないフレーム画像については、前記電線異常検出処理を行わないことを特徴とする請求項1から4までのいずれかに記載の電線異常検出方法。
  6. 前記電線異常検出処理は、前記非横断部分での異常検出に際し、異常箇所が予め設定された範囲の一定の周期性をもって検出された場合に、予め設定した前記上限閾値または前記下限閾値よりも広い範囲に前記閾値を変更し、再度、前記非横断部分での異常検出を行うことを特徴とする請求項1から5までのいずれかに記載の電線異常検出方法。
  7. 光ファイバ線が巻き付けられた電線が撮影された原画像から前記電線が撮影されている部分を対象画像として検出し、記憶装置に記憶する電線検出部と、前記対象画像を前記記憶装置から読み出して、水平方向の各画素位置における、垂直走査線上の画素列のうち前記対象画像から求めた前記電線の2本の理想輪郭線に挟まれる前記画素列の色情報値から代表値を求め、前記代表値が最も低い値となる前記水平方向の画素位置を中心として、前記対象画像における電線のうち光ファイバ線が横断している部分の左右の端を探索し、該左右端の間にある前記水平方向の画素位置を横断部分とし、そのほかの前記水平方向の画素位置を非横断部分とするフラグを前記各水平方向の画素位置について立て、該フラグにより、前記横断部分であるか、前記非横断部分であるかを判別し、前記横断部分については、該横断部分にある前記水平方向の画素位置を検査点として順に走査し、前記代表値が最も低い値となる手前の前記検査点では、前記代表値が該検査点の更に手前にある前記水平方向の画素位置よりも高い値かどうかを判断し、高い値であれば、前記検査点を変化点として検出し、前記代表値が最も低い値となった後の前記検査点では、前記代表値が該検査点の手前にある前記水平方向の画素位置よりも低い値かどうかを判断し、低い値であれば、前記検査点を変化点として検出し、前記変化点を検出した前記対象画像を異常画像として記録し、前記非横断部分については、該非横断部分での前記代表値の平均値を基準とする上限閾値及び下限閾値を予め設定し、前記代表値が前記上限閾値または前記下限閾値を超える前記水平方向の画素位置を異常箇所として検出し、該異常箇所が検出された前記対象画像を異常画像として記録する電線異常検出部とを備えることを特徴とする電線異常検出装置。
  8. コンピュータに、光ファイバ線が巻き付けられた電線が撮影された原画像から前記電線が撮影されている部分を対象画像として検出し、記憶装置に記憶する電線検出処理と、前記対象画像を前記記憶装置から読み出して、水平方向の各画素位置における、垂直走査線上の画素列のうち前記対象画像から求めた前記電線の2本の理想輪郭線に挟まれる前記画素列の色情報値から代表値を求め、前記代表値が最も低い値となる前記水平方向の画素位置を中心として、前記対象画像における電線のうち光ファイバ線が横断している部分の左右の端を探索し、該左右端の間にある前記水平方向の画素位置を横断部分とし、そのほかの前記水平方向の画素位置を非横断部分とするフラグを前記各水平方向の画素位置について立て、該フラグにより、前記横断部分であるか、前記非横断部分であるかを判別し、前記横断部分については、該横断部分にある前記水平方向の画素位置を検査点として順に走査し、前記代表値が最も低い値となる手前の前記検査点では、前記代表値が該検査点の更に手前にある前記水平方向の画素位置よりも高い値かどうかを判断し、高い値であれば、前記検査点を変化点として検出し、前記代表値が最も低い値となった後の前記検査点では、前記代表値が該検査点の手前にある前記水平方向の画素位置よりも低い値かどうかを判断し、低い値であれば、前記検査点を変化点として検出し、前記変化点を検出した前記対象画像を異常画像として記録し、前記非横断部分については、該非横断部分での前記代表値の平均値を基準とする上限閾値及び下限閾値を予め設定し、前記代表値が前記上限閾値または前記下限閾値を超える前記水平方向の画素位置を異常箇所として検出し、該異常箇所が検出された前記対象画像を異常画像として記録する電線異常検出処理とを実行させることを特徴とする電線異常検出プログラム。
JP2006141952A 2006-05-22 2006-05-22 電線異常検出方法、電線異常検出装置及び電線異常検出プログラム Expired - Fee Related JP4734176B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006141952A JP4734176B2 (ja) 2006-05-22 2006-05-22 電線異常検出方法、電線異常検出装置及び電線異常検出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006141952A JP4734176B2 (ja) 2006-05-22 2006-05-22 電線異常検出方法、電線異常検出装置及び電線異常検出プログラム

Publications (2)

Publication Number Publication Date
JP2007310828A true JP2007310828A (ja) 2007-11-29
JP4734176B2 JP4734176B2 (ja) 2011-07-27

Family

ID=38843594

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006141952A Expired - Fee Related JP4734176B2 (ja) 2006-05-22 2006-05-22 電線異常検出方法、電線異常検出装置及び電線異常検出プログラム

Country Status (1)

Country Link
JP (1) JP4734176B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102661952A (zh) * 2012-05-02 2012-09-12 慈溪思达电子科技有限公司 基于图像的钢丝绳断丝检测装置
JP2021057957A (ja) * 2019-09-27 2021-04-08 朝日航洋株式会社 巡視点検システムおよび巡視点検方法
JP2022019737A (ja) * 2019-09-27 2022-01-27 朝日航洋株式会社 巡視点検システムおよび巡視点検方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104535356B (zh) * 2015-01-19 2017-08-29 中南大学 一种基于机器视觉的卷筒钢丝绳排绳故障监测方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0653700A (ja) * 1992-07-30 1994-02-25 Taiyo Yuden Co Ltd 回路基板検査装置
JPH0687903U (ja) * 1993-05-26 1994-12-22 古河電気工業株式会社 巻付け型光ファイバ複合架空地線
JPH11304723A (ja) * 1998-04-23 1999-11-05 Matsushita Electric Works Ltd 外観検査方法
JP2001008038A (ja) * 1999-06-24 2001-01-12 Fuji Photo Film Co Ltd 画像処理方法および画像処理装置およびマルチバンドカラー写真システム
JP2003015816A (ja) * 2001-06-29 2003-01-17 Honda Motor Co Ltd ステレオカメラを使用した顔・視線認識装置
JP2004040422A (ja) * 2002-07-02 2004-02-05 Monolith Co Ltd 画像処理方法と装置
JP2005057956A (ja) * 2003-08-07 2005-03-03 Central Res Inst Of Electric Power Ind 画像処理による電線異常検出方法および装置およびプログラム並びに電線点検用画像の作成方法
JP2005101905A (ja) * 2003-09-25 2005-04-14 Mitsubishi Electric Corp 撮像装置
JP2006101384A (ja) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd 人物検出装置及び方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0653700A (ja) * 1992-07-30 1994-02-25 Taiyo Yuden Co Ltd 回路基板検査装置
JPH0687903U (ja) * 1993-05-26 1994-12-22 古河電気工業株式会社 巻付け型光ファイバ複合架空地線
JPH11304723A (ja) * 1998-04-23 1999-11-05 Matsushita Electric Works Ltd 外観検査方法
JP2001008038A (ja) * 1999-06-24 2001-01-12 Fuji Photo Film Co Ltd 画像処理方法および画像処理装置およびマルチバンドカラー写真システム
JP2003015816A (ja) * 2001-06-29 2003-01-17 Honda Motor Co Ltd ステレオカメラを使用した顔・視線認識装置
JP2004040422A (ja) * 2002-07-02 2004-02-05 Monolith Co Ltd 画像処理方法と装置
JP2005057956A (ja) * 2003-08-07 2005-03-03 Central Res Inst Of Electric Power Ind 画像処理による電線異常検出方法および装置およびプログラム並びに電線点検用画像の作成方法
JP2005101905A (ja) * 2003-09-25 2005-04-14 Mitsubishi Electric Corp 撮像装置
JP2006101384A (ja) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd 人物検出装置及び方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102661952A (zh) * 2012-05-02 2012-09-12 慈溪思达电子科技有限公司 基于图像的钢丝绳断丝检测装置
JP2021057957A (ja) * 2019-09-27 2021-04-08 朝日航洋株式会社 巡視点検システムおよび巡視点検方法
JP6993391B2 (ja) 2019-09-27 2022-01-13 朝日航洋株式会社 巡視点検システムおよび巡視点検方法
JP2022019737A (ja) * 2019-09-27 2022-01-27 朝日航洋株式会社 巡視点検システムおよび巡視点検方法
JP7018540B2 (ja) 2019-09-27 2022-02-10 朝日航洋株式会社 巡視点検システムおよび巡視点検方法

Also Published As

Publication number Publication date
JP4734176B2 (ja) 2011-07-27

Similar Documents

Publication Publication Date Title
US11361423B2 (en) Artificial intelligence-based process and system for visual inspection of infrastructure
US20210281748A1 (en) Information processing apparatus
US10937144B2 (en) Pipe feature identification using pipe inspection data analysis
JP2007041730A (ja) 電線異常検出方法および装置およびプログラム
JP4255065B2 (ja) 画像処理による電線異常検出方法および装置およびプログラム並びに電線点検用画像の作成方法
EP3709264B1 (en) Information processing apparatus and accumulated images selecting method
JP4734176B2 (ja) 電線異常検出方法、電線異常検出装置及び電線異常検出プログラム
JPWO2019009214A1 (ja) 画像から変状を検知する画像処理装置、画像処理方法及びプログラム
JP7387261B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2019209734A (ja) 軌道識別装置
JP4843368B2 (ja) 電線異常検出方法、電線異常検出装置及び電線異常検出プログラム
CN113160209A (zh) 用于建筑外立面损伤检测的目标标注方法及目标识别方法
JP7078295B2 (ja) 変状検出装置、変状検出方法、及びプログラム
CN116596895A (zh) 一种变电设备图像缺陷识别方法及系统
JP4796535B2 (ja) 画像処理による多導体電線の追跡方法、装置及びプログラム並びにこれを用いた多導体電線の異常検出方法、装置及びプログラム
JP2008276805A (ja) 電線点検用画像の作成方法
Ghahremani et al. Cascaded CNN method for far object detection in outdoor surveillance
JP6348020B2 (ja) 画像処理装置、画像処理方法およびそれを用いた検査方法。
CN113554586A (zh) 像素异常的显著性自动评估
JP2008267975A (ja) 画像処理による電線の揺れ計測方法、電線の揺れ計測装置及び電線の揺れ計測プログラム
JP5473836B2 (ja) 駐車検出装置、駐車検出方法および駐車検出プログラム
KR101528906B1 (ko) 이미지 처리 방법 및 장치
KR101528604B1 (ko) 이미지 처리 방법 및 장치
KR102201168B1 (ko) 오버헤드 카메라를 이용한 사람 추적 방법
KR101154230B1 (ko) 영상에서의 목표형상 검출장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110419

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110425

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees