JP2009501677A - 受動的なワイヤ検出のためのシステムおよび方法 - Google Patents

受動的なワイヤ検出のためのシステムおよび方法 Download PDF

Info

Publication number
JP2009501677A
JP2009501677A JP2008522774A JP2008522774A JP2009501677A JP 2009501677 A JP2009501677 A JP 2009501677A JP 2008522774 A JP2008522774 A JP 2008522774A JP 2008522774 A JP2008522774 A JP 2008522774A JP 2009501677 A JP2009501677 A JP 2009501677A
Authority
JP
Japan
Prior art keywords
wire
module
digital image
pixels
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008522774A
Other languages
English (en)
Other versions
JP4960357B2 (ja
Inventor
エルトン,デニス・ジェイ
ライト,ロバート・エル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of JP2009501677A publication Critical patent/JP2009501677A/ja
Application granted granted Critical
Publication of JP4960357B2 publication Critical patent/JP4960357B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

移動輸送システムから受動的にワイヤを検出するための方法およびシステムを提供する。当該方法は、輸送システムのデジタルカメラから撮られたデジタル画像を前処理するステップを含み、当該前処理するステップは、デジタル画像から非ワイヤ状のクラッタを低減させるよう前処理モジュールによって実行され、当該方法はさらに、当該前処理モジュールによって前処理されたデジタル画像上でセグメントファインダモジュールを用いることによって、ワイヤ状として分類され得る画素を識別するステップと、ワイヤ状の構造が存在しているかどうか判断するために当該識別された画素をリンクするステップとを含む。リンカモジュールは、ワイヤ状として分類され得る画素をリンクしてワイヤオーバレイを生成する。

Description

関連出願の相互参照
なし
発明の背景
1.発明の分野
この発明は輸送システムに関し、より特定的には、受動的なワイヤ検出技術に関する。
2.背景
飛行中のヘリコプタやティルトロータ機(または、この明細書全体を通じて交換可能に用いられる他の輸送システム)の破局的な事故の主な原因のうちの1つは、静止した物体、たとえばワイヤ、への接触(「ワイヤとの衝突」)によるものである。このような事故は、典型的には、ヘリコプタが送電線、ワイヤまたは通信線と衝突したときに起こる。これらの事故の多くでは結果として死亡者が出ることとなり、特に、低高度でのヘリコプタの巡航中および操縦中における問題となっている。
ワイヤはサイズが小さいので、大抵の場合、裸眼で見ることが困難である。これは、悪天候や視覚的クラッタによってさらに悪化する可能性がある。図1Aは、ワイヤ20(電線)に向かって飛行しているヘリコプタ10を示す。パイロットが電線を検出するのが間に合わなければ、ヘリコプタ10が衝突して、結果として死亡者や物損が発生する可能性がある。
ヘリコプタにおける能動型ワイヤセンサを用いて、この問題を軽減させることができる。能動型センサは、検知されている目標物以外の源からの入力エネルギを必要とする検出装置である。能動型センサの一例として挙げられる測定器は、信号を生成し、当該信号を目標物に送信し、当該目標物から反射した信号を受信する。目標物に関する情報は、受信した信号と送信された信号とを比較することによって得られる。能動型センサは、秘匿性/機密性が所望される場合、たとえば軍事活動、には用いることができない。このため、これは、これらの応用例についての望ましい解決策とはならない。
別の可能な解決策は受動型センサを用いることである。受動型センサ装置は、当該装置の検出を可能にするエネルギ信号を発することなく検出を行なう。この検出は、目標物からの放射、または、目標物に対する周囲のエネルギの反射の結果として行なわれる。
しかしながら、高解像度の受動型センサであっても、最低限の回避範囲でワイヤを視認することが非常に困難になるおそれがある。というのも、これらはしばしば、副画素であり、ワイヤ状のクラッタに埋込まれ、および/または、不良な信号対雑音比(「SNR」)を有しているからである。
別のオプションとして、実時間画像処理を用いてワイヤを検出する。しかしながら、従来の実時間処理技術は、多くの畳み込みおよびフィルタリング技術に依拠している。標準的な実時間処理の制約に伴った低レイテンシ要件により、畳み込みカーネルのサイズやフィルタサイズに厳密な制限が課される。これにより、ワイヤ検出の性能および確実性が低下する。
したがって、ワイヤによる事故のリスクを最小限にするために、効率的にワイヤを検出し、ワイヤについてパイロットに通知することのできる並行な実時間の受動的なワイヤ検出技術のための方法およびシステムが必要とされる。
発明の概要
この発明の一局面においては、移動輸送システムから受動的にワイヤを検出するための方法が提供される。当該方法は、輸送システムのデジタルカメラから撮られたデジタル画像を前処理するステップを含み、当該前処理するステップは、デジタル画像から非ワイヤ状のクラッタを低減させるよう前処理モジュールによって実行され、当該方法はさらに、当該前処理モジュールによって前処理されたデジタル画像上でセグメントファインダモジュールを用いることによってワイヤ状として分類され得る画素を識別するステップと、ワイヤ状の構造が存在するかどうか判断するために当該識別された画素をリンクするステップとを含み、リンカモジュールは、ワイヤ状として分類され得る画素をリンクしてワイヤオーバレイを生成する。
この発明の別の局面においては、移動輸送システムから受動的にワイヤを検出するためのシステムが提供される。当該システムは、輸送システムのデジタルカメラから撮られたデジタル画像を前処理するための前処理モジュールを含み、当該前処理モジュールは、デジタル画像から非ワイヤ状のクラッタを低減させる。当該システムはさらに、ワイヤ状として分類され得る画素を識別するためのセグメントファインダモジュールと、ワイヤ状の構造が存在しているかどうか判断するために当該識別された画素をリンクするためのリンカモジュールとを含み、当該リンカモジュールは、ワイヤ状として分類され得る画素をリンクしてワイヤオーバレイを生成する。
この簡潔な概要は、この発明の性質を直ちに理解することができるように提供された。この発明は、添付の図面に関連して、その好ましい実施例の以下の詳細な説明を参照することによって、より完全に理解することができる。
この発明の上述の特徴および他の特徴は、好ましい実施例についての添付の図面に関連して説明される。添付の図面においては、同じ構成要素には同じ参照番号が付されている。例示される実施例は、この発明を限定するのではなく例示することを意図するものである。
好ましい実施例の詳細な説明
好ましい実施例の理解を容易にするために、計算システムの一般的なアーキテクチャおよび動作を説明する。そして、好ましい実施例の特定のアーキテクチャおよび動作を一般的なアーキテクチャを参照して説明する。
計算システム:
図1Bは、衝突/損傷を防ぐために静止した物体を検出する必要のあるヘリコプタ/航空機または他のいずれかの輸送システム上で用いられる計算システム100の内部の機能アーキテクチャを示すブロック図である。計算システム100は、コンピュータ実行可能なプロセスステップを実行するための処理ユニット101を含み、コンピュータバス106とインターフェイスを取っている。
ヘリコプタ上に配置されたデジタルカメラ100A(図1C)またはさまざまなデジタルカメラから未処理の画像データをシステム100が受信することを可能にするデジタルカメラインターフェイス108が設けられる。インターフェイス108は、デジタルカメ
ラから画像データを受信し、未処理のデータをプロセッサ101に送信する。
構成要素102は、ユーザがシステム100と対話することを可能にするマウスおよびキーボードなどの複数の入力装置を表わすよう意図されている。同様に、出力装置109は1つ以上の出力装置を表わしており、当該出力装置109には、たとえば、モニタ、印刷装置、ヘリコプタのパイロットに警告するために可聴警報を生成することのできる装置が含まれる。
記憶装置107は、この発明の一局面に従って、アプリケーション、実行可能コードを記憶する。これらのファイルのうちのいくつかはインストールプログラムを用いて記憶される。たとえば、プロセッサ101は、アプリケーションプログラムの適切な実行を可能にするように、インストールプログラムのコンピュータ実行可能なプロセスステップを実行する。
通信インターフェイス105は、システム100が、他の計算システム、ネットワークおよび通信システム(図示せず)とインターフェイスを取ることを可能にする。
ランダムアクセスメモリ(「RAM」)103はまた、コンピュータバス106とインターフェイスを取って、プロセッサ101がメモリストレージにアクセスできるようにする。記憶装置107からの記憶されたコンピュータ実行可能なプロセスステップを実行する際に、プロセッサ101は、RAM103からのプロセスステップを記憶および実行する。
読出専用メモリ(「ROM」)104は、起動命令シーケンスまたは基本入出力システム(BIOS)などの不変の命令シーケンスを記憶するために設けられる。
図1Bのアーキテクチャは、この発明の一局面に従って実行可能なプロセスステップを実現するのに用いることができるアーキテクチャの一例を提供することを意図している。このアーキテクチャは限定として見なされるべきではない。他のシステムおよびアーキテクチャを用いて、以下に記載される実行可能コードを実現してもよい。たとえば、特定用途向け集積回路(「ASIC」)またはフィールドプログラマブルゲートアレイ(「FPGA」)を用いて、この発明の適応局面を実現してもよい。
図1Cが示すデジタルカメラ100Aは、ヘリコプタに配置されて、ヘリコプタの飛行中に画像を撮る。当該画像は、以下に詳細に記載されるとおり、計算システム100に送信されて処理され、実時間でワイヤを検出する。なお、図1Cには1つのデジタルカメラが示されているが、この発明の適応局面を例示することを意図しているに過ぎないことに留意されたい。この発明の適応局面はカメラの特定の数/種類に限定されない。
受動的なワイヤ検出のためのシステムアーキテクチャ:
図2Aは、ワイヤを受動的に検出する、この発明の一局面に従ったシステムのブロック図を示す。デジタルカメラ(100A)からの入力画像200(すなわち、未処理のデジタル画像データ)がプリプロセッサセグメント201によって受信される。プリプロセッサセグメント201は、画像データ200から非ワイヤ状のクラッタを除去する。プリプロセッサ201は、画像を最初にフィルタリングするのに用いられるリングメディアンフィルタ202およびウェーブレットノイズ除去モジュール203を含む。リングメディアンフィルタ202およびウェーブレットノイズ除去モジュール203を以下に詳細に説明する。
プリプロセッサ201からの出力200Bは、各々の画素の周囲がどの程度ワイヤ状で
あるかを判断するセグメントファインダモジュール204に送信される。セグメントファインダ204は、勾配位相モジュール205、ベクトルカーネル207およびしきい値モジュール208を含む。これらを以下に詳細に説明する。
リンカモジュール209はセグメントファインダ204から出力200Eを受信する。リンカモジュール209はさまざまなセグメントをリンクして、ワイヤ状の構造を構築し、その出力214に基づいて、無線オーバレイが生成される。リンカモジュール209は、ラドン状のモフォロジカルオペレータ210、セグメントリンカアキュムレータ211、しきい値モジュール212、ならびに空間および時間フィルタモジュール213を含む。これらを以下に詳細に説明する。
プリプロセッサモジュール201:リングメディアンフィルタ202はクラッタを除去するが、より一層の分析のためにワイヤを保存する。図2Bは、リングメディアンフィルタ202がいかに適用されるかを示す例である。画素202Bについての画素値は、(202Cとして示される)リングに沿った画像区域202Aにおける暗い画素の中央値と置き換えられる。これにより、2分の1のリング(202C)直径よりも小さなスケールサイズ(長さまたは幅)を持った物体が除去される。元の画像からこの中央の画像を取り去ることにより、リング直径の2分の1よりも小さなスケールサイズを持った物体が残されることとなる。
画像におけるワイヤは、背景クラッタに比べてコントラストが低いかまたは高い可能性がある。背景クラッタが高い場合および低い場合の2つの例が図2Cに示される。リングメディアンフィルタ202は、(図2Cに図示のとおり)狭い間隔で配置された複数のワイヤが除去されないように十分に大きく作成される。次いで、リングメディアンフィルタリングされた画像200Aが、ウェーブレットノイズ除去モジュール203によって処理される。
ウェーブレットノイズ除去モジュール203は、複数の長さスケールにわたって無相関である2次元のウェーブレット係数を除去する。図2Aに図示のとおり、元の画像200からこのフィルタリングされた画像を取り去ることにより、すべてのコントラストの小規模の特徴(たとえば、単一のワイヤ)と、低コントラストである大規模の特徴(たとえば、複数のワイヤ)とが損なわれずに残される。
なお、ウェーブレットノイズ除去モジュール203を用いずに、同様のフィルタ(たとえば、Susanフィルタ)を用いて、コントラストおよびスケール選択に基づいて単一/複数のワイヤを保持する出力200Bを生成し得ることに留意されたい。
セグメントファインダ204:セグメントファインダ204は、出力200Bに基づいて潜在的な「ワイヤ候補」を識別する予測ツールである。出力200Bは勾配位相モジュール205によって受信される。勾配位相モジュール205は、画像シーン中のすべての画素における局所的な強度勾配に沿ってベクトルを計算する。ワイヤ上またはワイヤのごく近くの画素については、このベクトルはワイヤと直交することとなる。各ベクトルが正規化され、こうして単位フェーザとなる。これは、図3においては、300として示される画像200Bの局所的な強度勾配とともに示される。
勾配位相モジュール205からの出力200Cがベクトルカーネル207に送信される。ベクトルカーネル207は、ワイヤ候補を分離および識別するためにカーネルオペレータを提供する。
ベクトルカーネル207は、勾配ベクトルに対して垂直な各画素にわたってその画素に
おいて方向付けされるカーネルを提供する。ワイヤ付近における画素については、カーネルはワイヤの長さに沿って位置することとなる。正規化された二次元のベクトル、または、単位フェーザは、勾配位相モジュール205によって算出されたものであるが、カーネルを介して重み付けされ、そして合計される。カーネル乗数は(仮想の)ワイヤの一方側では正であり、他方側では負である。ワイヤが存在する場合、当該ワイヤは両側のフェーザを同じ方向に向けるので、その合計は整合のとれたものになるだろう。数学的結果を以下に示す。
Figure 2009501677
ここで、Knは、n番目の非ゼロカーネル要素についてのカーネル乗数であり(中央の画素については、n=1)、θnはその要素についての位相である。
ランダムな位相フィールドについては、<ρ1 2>=Nであり、φ1はθ1と無相関である。
完全に整列したフィールドについては、<ρ1 2>=0であり(というのも、正および負のKnの寄与が打ち消し合うからである)、φ1=θ1である(πを法とする)。
完全に直線のワイヤについては、<ρ1 2>=N2であり、φ1=θ1である(πを法とする)。
図4は、ベクトルカーネル207が出力200Cに与えられた後の画像サンプルを示す。401として示されるランダムなホワイトノイズはワイヤ候補ではない。402が示す均一な一方向の強度勾配はエッジであり、このため、ワイヤ候補とはみなされない。403が示すワイヤ候補の例においては、2次元のベクトルは相対する方向に向けられている。403はワイヤ候補とみなされる。というのも、これは、ベクトルカーネルが中央の画素の位相と整合のとれた強い出力を生成する唯一の事例であるからである。
ベクトルカーネル207からの出力200Dがしきい値モジュール208に送信される。しきい値モジュール208は、複数の条件を満たす、たとえば、その大きさがプログラム可能なしきい値を上回っており、(中央の画素の勾配位相に対する)位相差の絶対値がプログラム可能なしきい値未満であれば、ベクトルカーネル出力値を有する画素に対して、「1」を割当てる。「0」が他のすべての画素に割当てられる。こうして、セグメントファインダモジュール204の最終的な出力200Eは2値画像となる。
リンカモジュール209:
セグメントファインダモジュール204からの出力(2値画像)200Eがリンカモジュール209に送信される。リンカモジュール209は2値画像(200E)を受信し、ラドン状のモフォロジカルオペレータ210を用いて、ワイヤ状のフィラメントに強固に整列している「1」の画素を入力画像から識別する。オペレータ210は複数の直線的なモフォロジカルオペレータを用い、これらのオペレータの構造要素の向きは異なっている。これらのモフォロジカルオペレータの各々を、セグメントファインダ出力における「1」の画素の各々にわたって集中させ、その構造要素内におけるセグメントファインダの「1」の画素の数を合計する。その合計がプログラム可能なしきい値を上回っていれば、そのモフォロジカルオペレータの識別番号が中央の画素に関連付けられるメモリ位置に記憶される。こうして、モフォロジカルオペレータ210の最終的な出力200Fが、画素に
よってインデックス付けされたモフォロジカルオペレータの識別番号の配列となる。
オペレータ210からの出力200Fが、さまざまな画素を大規模な線にリンクするセグメントリンカアキュムレータ(またはバッファ)211に送信される。モジュール211が、空のリンカ蓄積画像バッファにデータを蓄積する。この画像バッファは少なくともセグメントファインダ2値画像出力200Eと同じサイズであるので、それらの画素は1対1で対応している。出力200Fにおけるオペレータにおける各画素インデックスについては、モジュール211が、リンカ蓄積バッファ(211)における対応する画素にわたってこのインデックスに関連付けられる出力200Fにおけるモフォロジカルオペレータの各々を集中させる。次いで、値「1」が、モフォロジカルオペレータの構造要素によってオーバレイされるリンカ蓄積バッファ211における画素の各々に追加される。構造要素が直線的であるので、直線的な特徴および曲線的な特徴に沿っているかまたは当該特徴間にある蓄積バッファ画素には何度も「1」が追加されることとなる。こうして、セグメントリンカアキュムレータ211の最終的な出力200Gは、ワイヤなどの直線的および曲線的な特徴に沿って大きな値を持つが、他の場合には、低い値(または0)を持つ画像となる。
次いで、しきい値モジュール212が、予めプログラミングされたしきい値をモジュール211からの出力200Gに与える。しきい値を上回る値を持つセグメントリンカアキュムレータ211の出力200Gにおけるすべての画素は、「1」に等しくなるよう設定される。他のすべての画素は「0」に等しくなるよう設定される。こうして、しきい値モジュール212の出力200Hは、非ワイヤ状の特徴が除去され、整列したワイヤ状の特徴間における間隙が(部分的に)埋められていることを除いては、セグメントファインダモジュール204と同様の2値画像となる。
次いで、しきい値モジュール212からの出力200Hが、空間および時間フィルタ213を用いることによってフィルタリングされる。空間フィルタにより、しきい値モジュール212の出力200Hにありワイヤと整合のとれた長さ/幅の比率を持たない特徴が除去され、時間フィルタにより、フレーム間の持続性のための最低しきい値を満たさない画素が除去される。フィルタリングされた出力214は2値ワイヤオーバレイ214である。
ワイヤオーバレイ214を用いて、ワイヤが検出されたかどうか判断し、検出されたかどうかをパイロットに通知する。この通知は、ビデオ表示出力にワイヤオーバレイを重ねるか、可聴警報を鳴らすか、または、ワイヤへの注意をパイロットに喚起する他の手段によって実行され得る。これにより、パイロットが進路を変更して、起こり得る破局的な事故を回避することが可能となるだろう。
プロセスフロー図:
図5は、この発明の一局面に従った、輸送システム(たとえば、ヘリコプタ)からワイヤを受動的に検出するためのプロセスフロー図を示す。これは実時間画像処理に基づいている。
図5を詳細に参照すると、ステップS500において、未処理のデジタル画像200が、(図1Cに図示のとおり)ヘリコプタに搭載されたデジタルカメラから受信される。当該画像は処理システムによって受信され、その一例が図2Aに示される。
ステップS502において、入力画像200における(存在するのであれば)非ワイヤ状のクラッタが低減されるように、未処理の画像が前処理される。前処理モジュール201を用いて、非ワイヤ状のクラッタを低減させる。上述のとおり、前処理モジュール20
1は、リングメディアンフィルタ202およびウェーブレットノイズ除去モジュール203を用いて、非ワイヤ状のクラッタを低減させる。
画像が前処理された後、ステップS504において、システム215がセグメントファインダ204を用いて「ワイヤ状」の候補を決定する。セグメントファインダ204は、ワイヤ状の候補を決定するのに勾配位相モジュール205およびベクトルカーネル207を適用する。しきい値モジュール208は、ベクトルカーネル207からの出力200Dから非ワイヤ状の画素をフィルタリングして除去するのに用いられる。
ステップS506において、リンカモジュール209は、「ワイヤ状」の画素候補をリンクして、ワイヤが実際に存在しているかどうか判断する。リンカ209は、ラドン状のモフォロジカルオペレータ210およびセグメントリンカアキュムレータ211を用いる。しきい値モジュール212は、セグメントリンカアキュムレータ211からの出力200Gにプログラム可能なしきい値を与えて、非ワイヤ状の画素構造をフィルタリングして除去する。次いで、出力200Hが空間および時間フィルタ213を用いることによってフィルタリングされて、ワイヤオーバレイ214を作成する。
ステップS508において、(出力214に基づいて)ワイヤが検出された場合、パイロットに通知される。次いで、パイロットはヘリコプタをワイヤから遠ざけ、破局的な事故を回避する。なお、出力214がヘリコプタの中央計算システムに送信されてもよく、これを用いてヘリコプタを自動的に遠ざけることができることに留意されたい。
一局面においては、ワイヤは、能動型センサを用いなくても実時間で検出することができ、このため、セキュリティを備えなくても事故を防ぐことができる。
なお、静止したワイヤに接触するヘリコプタに基づいた上述の例示が限定を意図するものではないことに留意されたい。実画像処理技術は、検出が困難な物体に基づいて衝突を回避することが必要な輸送システムのために用いられることが意図される。
この発明を、現在好ましい実施例と考えられているものに関して以上に説明してきたが、この発明が上述のものに限定されないことが理解されるべきである。反対に、この発明は、添付の特許請求の範囲の精神および範囲内のさまざまな変形例および同等の構成例を包含することを意図するものである。
ヘリコプタが飛行中にいかにワイヤ構造に遭遇し得るかを示す図である。 この発明の一局面に従った、受動的なワイヤ検出のために用いられる計算システムを示すブロック図である。 この発明の一局面に従った、デジタルカメラを用いたヘリコプタを示すブロック図である。 この発明の一局面に従った、受動的なワイヤ検出のための全体的なシステムアーキテクチャを示すブロック図である。 この発明の一局面に従った、リングメディアンフィルタを用いた例を示す図である。 この発明の一局面に従った、背景クラッタのあるワイヤの例を示す図である。 勾配位相オペレータの適用後の画像出力を示す図である。 ベクトルカーネルオペレータの適用後の画像出力の例を示す図である。 この発明の一局面に従った、受動的なワイヤ検出のためのプロセスフロー図である。

Claims (16)

  1. 移動輸送システムから受動的にワイヤを検出するための方法であって、
    前記輸送システムのデジタルカメラから撮られたデジタル画像を前処理するステップを含み、前記前処理するステップは、前記デジタル画像から非ワイヤ状のクラッタを低減させるよう前処理モジュールによって実行され、前記方法はさらに、
    前記前処理モジュールによって前処理されたデジタル画像上でセグメントファインダモジュールを用いることにより、ワイヤ状として分類され得る画素を識別するステップと、
    ワイヤ状の構造が存在するかどうか判断するために前記識別されたワイヤ状の画素をリンクするステップとを含み、リンカモジュールは、ワイヤ状として分類され得る画素をリンクしてワイヤオーバレイを生成する、方法。
  2. 前記前処理モジュールは、追加的な処理のために、クラッタを除去し、前記デジタル画像の部分を保持するようリングメディアンフィルタを適用する、請求項1に記載の方法。
  3. 前記前処理モジュールは、前記リングメディアンフィルタから出力を受信するウェーブレットノイズ除去モジュールを含み、前記デジタル画像は、前記ウェーブレットノイズ除去モジュールの出力から取り去られる、請求項2に記載の方法。
  4. 前記セグメントファインダモジュールは、前記デジタル画像における複数の画像画素についての局所的な強度勾配に沿ってベクトルを計算する勾配位相モジュールを含む、請求項1に記載の方法。
  5. 前記セグメントファインダモジュールは、ワイヤが存在する場合にカーネルがワイヤに沿って配置されるように、局所的な強度勾配の位相に対して垂直な各画素にわたって方向付けされるカーネルを用いるベクトルカーネルオペレータを含む、請求項1に記載の方法。
  6. 前記リンカモジュールは、フィルタのバンクを用いて画素セグメントをリンクしてワイヤ状の構造を作成する、請求項1に記載の方法。
  7. 前記輸送システムはヘリコプタである、請求項1に記載の方法。
  8. 前記輸送システムは航空機である、請求項1に記載の方法。
  9. 移動輸送システムから受動的にワイヤを検出するためのシステムであって、
    前記輸送システムのデジタルカメラから撮られたデジタル画像を前処理するための前処理モジュールを含み、前記前処理モジュールは、前記デジタル画像から非ワイヤ状のクラッタを低減させ、前記システムはさらに、
    ワイヤ状として分類され得る画素を識別するためのセグメントファインダモジュールと、
    ワイヤ状の構造が存在するかどうか判断するために前記識別された画素をリンクするためのリンカモジュールとを含み、前記リンカモジュールは、ワイヤ状として分類され得る画素をリンクしてワイヤオーバレイを生成する、システム。
  10. 前記前処理モジュールは、追加的な処理のために、クラッタを除去し、前記デジタル画像の部分を保持するようリングメディアンフィルタを適用する、請求項9に記載のシステム。
  11. 前記前処理モジュールは、前記リングメディアンフィルタから出力を受信するウェーブ
    レットノイズ除去モジュールを含み、前記デジタル画像は、前記ウェーブレットノイズ除去モジュールの出力から取り去られる、請求項10に記載のシステム。
  12. 前記セグメントファインダモジュールは、前記デジタル画像における複数の画像画素についての局所的な強度勾配に沿ってベクトルを計算する勾配位相モジュールを含む、請求項9に記載のシステム。
  13. 前記セグメントファインダモジュールは、ワイヤが存在する場合にカーネルがワイヤに沿って配置されるように、局所的な強度勾配の位相に対して垂直な各画素にわたって方向付けされるカーネルを用いるベクトルカーネルオペレータを含む、請求項9に記載のシステム。
  14. 前記リンカモジュールは、フィルタのバンクを用いて画素セグメントをリンクしてワイヤ状の構造を作成する、請求項9に記載のシステム。
  15. 前記輸送システムはヘリコプタである、請求項9に記載のシステム。
  16. 前記輸送システムは航空機である、請求項9に記載のシステム。
JP2008522774A 2005-07-19 2006-05-22 受動的なワイヤ検出のためのシステムおよび方法 Active JP4960357B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/184,472 US7512258B2 (en) 2005-07-19 2005-07-19 System and method for passive wire detection
US11/184,472 2005-07-19
PCT/US2006/019542 WO2007011450A1 (en) 2005-07-19 2006-05-22 System and method for passive wire detection

Publications (2)

Publication Number Publication Date
JP2009501677A true JP2009501677A (ja) 2009-01-22
JP4960357B2 JP4960357B2 (ja) 2012-06-27

Family

ID=37133492

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008522774A Active JP4960357B2 (ja) 2005-07-19 2006-05-22 受動的なワイヤ検出のためのシステムおよび方法

Country Status (8)

Country Link
US (1) US7512258B2 (ja)
EP (1) EP1908010B1 (ja)
JP (1) JP4960357B2 (ja)
KR (1) KR101257528B1 (ja)
AU (1) AU2006270506A1 (ja)
CA (1) CA2605977C (ja)
IL (1) IL187313A (ja)
WO (1) WO2007011450A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8160382B2 (en) * 2007-10-15 2012-04-17 Lockheed Martin Corporation Method of object recognition in image data using combined edge magnitude and edge direction analysis techniques
US20090208053A1 (en) * 2008-02-19 2009-08-20 Benjamin Kent Automatic identification and removal of objects in an image, such as wires in a frame of video
US20120250010A1 (en) * 2011-03-31 2012-10-04 Richard Charles Hannay Aerial Inspection System(s) and Method(s)
US9183516B2 (en) 2013-07-25 2015-11-10 The Boeing Company Systems and methods for locating and prioritizing cargo
NO340705B1 (no) * 2014-12-22 2017-06-06 Kleon Prosjekt As Fremgangsmåte og innretning for å detektere et luftspenn fra et luftfartøy
US9964658B2 (en) * 2015-10-06 2018-05-08 The United States Of America As Represented By The Secretary Of The Army Method of autonomous power line detection, avoidance, navigation, and inspection using aerial crafts
CN105825619B (zh) * 2016-03-25 2018-09-18 南京第五十五所技术开发有限公司 一种基于图像处理的高压线漂浮物报警方法
NO347027B1 (en) 2021-06-02 2023-04-24 Kleon Solutions As Method and system for detecting a line above ground from a helicopter

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001344597A (ja) * 2000-05-30 2001-12-14 Fuji Heavy Ind Ltd 融合視界装置
US20020153485A1 (en) * 2001-03-09 2002-10-24 Nixon Matthew D. Passive power line detection system for aircraft

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4970701A (en) * 1971-03-22 1990-11-13 The United States Of America As Represented By The Secretary Of The Navy Wire detector
US5245588A (en) * 1972-01-07 1993-09-14 The United States Of America As Represented By The Secretary Of The Navy Regenerative radio-frequency wire detector
US4685143A (en) * 1985-03-21 1987-08-04 Texas Instruments Incorporated Method and apparatus for detecting edge spectral features
US4736439A (en) * 1985-05-24 1988-04-05 The United States Of America As Represented By The Secretary Of The Navy Image preprocessing by modified median filter
US4742557A (en) * 1985-11-08 1988-05-03 Ncr Corporation Adaptive character extraction method and system
US7286912B2 (en) * 2001-12-10 2007-10-23 Bae Systems Information And Electronic Systems Integration Inc. Method and apparatus for avoidance of power lines or trip wires by fixed and rotary winged aircraft
US7466243B2 (en) * 2005-10-13 2008-12-16 The Boeing Company System and method for passive wire detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001344597A (ja) * 2000-05-30 2001-12-14 Fuji Heavy Ind Ltd 融合視界装置
US20020153485A1 (en) * 2001-03-09 2002-10-24 Nixon Matthew D. Passive power line detection system for aircraft

Also Published As

Publication number Publication date
WO2007011450A1 (en) 2007-01-25
IL187313A0 (en) 2008-04-13
US7512258B2 (en) 2009-03-31
IL187313A (en) 2011-08-31
EP1908010A1 (en) 2008-04-09
JP4960357B2 (ja) 2012-06-27
CA2605977C (en) 2015-08-11
US20070019838A1 (en) 2007-01-25
KR101257528B1 (ko) 2013-04-23
CA2605977A1 (en) 2007-01-25
AU2006270506A1 (en) 2007-01-25
EP1908010B1 (en) 2013-12-25
KR20080026536A (ko) 2008-03-25

Similar Documents

Publication Publication Date Title
JP4960357B2 (ja) 受動的なワイヤ検出のためのシステムおよび方法
Unlu et al. Deep learning-based strategies for the detection and tracking of drones using several cameras
EP3673417B1 (en) System and method for distributive training and weight distribution in a neural network
CN106716439B (zh) 基于事件的下采样方法、设备、装置及介质
EP3176751B1 (en) Information processing device, information processing method, computer-readable recording medium, and inspection system
JP5982026B2 (ja) 多範囲オブジェクト検出装置および方法
Dzieciuch et al. Non-linear convolutional neural network for automatic detection of mine-like objects in sonar imagery
CN111523362A (zh) 一种基于电子围网的数据分析方法、装置及电子设备
US20200088831A1 (en) Mobile body detection device, mobile body detection method, and mobile body detection program
Carrillo-Perez et al. Improving yolov8 with scattering transform and attention for maritime awareness
CN113569860A (zh) 实例分割方法和实例分割网络的训练方法及其装置
Webster et al. Improved raindrop detection using combined shape and saliency descriptors with scene context isolation
US10623640B2 (en) Method and system for detection of contaminants present on a lens of an imaging device
CN111480180A (zh) 用于检测和跟踪目标的方法
Luesutthiviboon et al. Bio-inspired enhancement for optical detection of drones using convolutional neural networks
US20230331254A1 (en) A Method for Controlling a Driver Assistance System During Operation of a Vehicle
US9900509B2 (en) Frame registration for imaging sensors in motion
AU2012216436B2 (en) System and method for passive wire detection
KR20220128192A (ko) 합성 영상을 활용한 객체 검출장치 및 그 방법
US7466243B2 (en) System and method for passive wire detection
Sara et al. MC-CDPNet: multi-channel correlated detail preserving network for X-Ray-based baggage screening
US12106553B2 (en) Method and system for aerial object detection
US11604271B2 (en) Method and apparatus for performing dual polarization change detection using polarimetric synthetic aperture radar imagery
Carrillo-Perez et al. Enhanced Small Ship Segmentation with Optimized ScatYOLOv8+ CBAM on Embedded Systems
CN111008544B (zh) 交通监控和无人驾驶辅助系统以及目标检测方法及设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090330

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20091111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100217

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110719

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111018

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111025

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111118

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120322

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150330

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250