JP2009501677A - 受動的なワイヤ検出のためのシステムおよび方法 - Google Patents
受動的なワイヤ検出のためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2009501677A JP2009501677A JP2008522774A JP2008522774A JP2009501677A JP 2009501677 A JP2009501677 A JP 2009501677A JP 2008522774 A JP2008522774 A JP 2008522774A JP 2008522774 A JP2008522774 A JP 2008522774A JP 2009501677 A JP2009501677 A JP 2009501677A
- Authority
- JP
- Japan
- Prior art keywords
- wire
- module
- digital image
- pixels
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000001514 detection method Methods 0.000 title description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 24
- 230000000877 morphologic effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 239000000872 buffer Substances 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000034994 death Effects 0.000 description 2
- 231100000517 death Toxicity 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000012536 storage buffer Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
なし
発明の背景
1.発明の分野
この発明は輸送システムに関し、より特定的には、受動的なワイヤ検出技術に関する。
飛行中のヘリコプタやティルトロータ機(または、この明細書全体を通じて交換可能に用いられる他の輸送システム)の破局的な事故の主な原因のうちの1つは、静止した物体、たとえばワイヤ、への接触(「ワイヤとの衝突」)によるものである。このような事故は、典型的には、ヘリコプタが送電線、ワイヤまたは通信線と衝突したときに起こる。これらの事故の多くでは結果として死亡者が出ることとなり、特に、低高度でのヘリコプタの巡航中および操縦中における問題となっている。
この発明の一局面においては、移動輸送システムから受動的にワイヤを検出するための方法が提供される。当該方法は、輸送システムのデジタルカメラから撮られたデジタル画像を前処理するステップを含み、当該前処理するステップは、デジタル画像から非ワイヤ状のクラッタを低減させるよう前処理モジュールによって実行され、当該方法はさらに、当該前処理モジュールによって前処理されたデジタル画像上でセグメントファインダモジュールを用いることによってワイヤ状として分類され得る画素を識別するステップと、ワイヤ状の構造が存在するかどうか判断するために当該識別された画素をリンクするステップとを含み、リンカモジュールは、ワイヤ状として分類され得る画素をリンクしてワイヤオーバレイを生成する。
好ましい実施例の理解を容易にするために、計算システムの一般的なアーキテクチャおよび動作を説明する。そして、好ましい実施例の特定のアーキテクチャおよび動作を一般的なアーキテクチャを参照して説明する。
図1Bは、衝突/損傷を防ぐために静止した物体を検出する必要のあるヘリコプタ/航空機または他のいずれかの輸送システム上で用いられる計算システム100の内部の機能アーキテクチャを示すブロック図である。計算システム100は、コンピュータ実行可能なプロセスステップを実行するための処理ユニット101を含み、コンピュータバス106とインターフェイスを取っている。
ラから画像データを受信し、未処理のデータをプロセッサ101に送信する。
図2Aは、ワイヤを受動的に検出する、この発明の一局面に従ったシステムのブロック図を示す。デジタルカメラ(100A)からの入力画像200(すなわち、未処理のデジタル画像データ)がプリプロセッサセグメント201によって受信される。プリプロセッサセグメント201は、画像データ200から非ワイヤ状のクラッタを除去する。プリプロセッサ201は、画像を最初にフィルタリングするのに用いられるリングメディアンフィルタ202およびウェーブレットノイズ除去モジュール203を含む。リングメディアンフィルタ202およびウェーブレットノイズ除去モジュール203を以下に詳細に説明する。
あるかを判断するセグメントファインダモジュール204に送信される。セグメントファインダ204は、勾配位相モジュール205、ベクトルカーネル207およびしきい値モジュール208を含む。これらを以下に詳細に説明する。
おいて方向付けされるカーネルを提供する。ワイヤ付近における画素については、カーネルはワイヤの長さに沿って位置することとなる。正規化された二次元のベクトル、または、単位フェーザは、勾配位相モジュール205によって算出されたものであるが、カーネルを介して重み付けされ、そして合計される。カーネル乗数は(仮想の)ワイヤの一方側では正であり、他方側では負である。ワイヤが存在する場合、当該ワイヤは両側のフェーザを同じ方向に向けるので、その合計は整合のとれたものになるだろう。数学的結果を以下に示す。
セグメントファインダモジュール204からの出力(2値画像)200Eがリンカモジュール209に送信される。リンカモジュール209は2値画像(200E)を受信し、ラドン状のモフォロジカルオペレータ210を用いて、ワイヤ状のフィラメントに強固に整列している「1」の画素を入力画像から識別する。オペレータ210は複数の直線的なモフォロジカルオペレータを用い、これらのオペレータの構造要素の向きは異なっている。これらのモフォロジカルオペレータの各々を、セグメントファインダ出力における「1」の画素の各々にわたって集中させ、その構造要素内におけるセグメントファインダの「1」の画素の数を合計する。その合計がプログラム可能なしきい値を上回っていれば、そのモフォロジカルオペレータの識別番号が中央の画素に関連付けられるメモリ位置に記憶される。こうして、モフォロジカルオペレータ210の最終的な出力200Fが、画素に
よってインデックス付けされたモフォロジカルオペレータの識別番号の配列となる。
図5は、この発明の一局面に従った、輸送システム(たとえば、ヘリコプタ)からワイヤを受動的に検出するためのプロセスフロー図を示す。これは実時間画像処理に基づいている。
1は、リングメディアンフィルタ202およびウェーブレットノイズ除去モジュール203を用いて、非ワイヤ状のクラッタを低減させる。
Claims (16)
- 移動輸送システムから受動的にワイヤを検出するための方法であって、
前記輸送システムのデジタルカメラから撮られたデジタル画像を前処理するステップを含み、前記前処理するステップは、前記デジタル画像から非ワイヤ状のクラッタを低減させるよう前処理モジュールによって実行され、前記方法はさらに、
前記前処理モジュールによって前処理されたデジタル画像上でセグメントファインダモジュールを用いることにより、ワイヤ状として分類され得る画素を識別するステップと、
ワイヤ状の構造が存在するかどうか判断するために前記識別されたワイヤ状の画素をリンクするステップとを含み、リンカモジュールは、ワイヤ状として分類され得る画素をリンクしてワイヤオーバレイを生成する、方法。 - 前記前処理モジュールは、追加的な処理のために、クラッタを除去し、前記デジタル画像の部分を保持するようリングメディアンフィルタを適用する、請求項1に記載の方法。
- 前記前処理モジュールは、前記リングメディアンフィルタから出力を受信するウェーブレットノイズ除去モジュールを含み、前記デジタル画像は、前記ウェーブレットノイズ除去モジュールの出力から取り去られる、請求項2に記載の方法。
- 前記セグメントファインダモジュールは、前記デジタル画像における複数の画像画素についての局所的な強度勾配に沿ってベクトルを計算する勾配位相モジュールを含む、請求項1に記載の方法。
- 前記セグメントファインダモジュールは、ワイヤが存在する場合にカーネルがワイヤに沿って配置されるように、局所的な強度勾配の位相に対して垂直な各画素にわたって方向付けされるカーネルを用いるベクトルカーネルオペレータを含む、請求項1に記載の方法。
- 前記リンカモジュールは、フィルタのバンクを用いて画素セグメントをリンクしてワイヤ状の構造を作成する、請求項1に記載の方法。
- 前記輸送システムはヘリコプタである、請求項1に記載の方法。
- 前記輸送システムは航空機である、請求項1に記載の方法。
- 移動輸送システムから受動的にワイヤを検出するためのシステムであって、
前記輸送システムのデジタルカメラから撮られたデジタル画像を前処理するための前処理モジュールを含み、前記前処理モジュールは、前記デジタル画像から非ワイヤ状のクラッタを低減させ、前記システムはさらに、
ワイヤ状として分類され得る画素を識別するためのセグメントファインダモジュールと、
ワイヤ状の構造が存在するかどうか判断するために前記識別された画素をリンクするためのリンカモジュールとを含み、前記リンカモジュールは、ワイヤ状として分類され得る画素をリンクしてワイヤオーバレイを生成する、システム。 - 前記前処理モジュールは、追加的な処理のために、クラッタを除去し、前記デジタル画像の部分を保持するようリングメディアンフィルタを適用する、請求項9に記載のシステム。
- 前記前処理モジュールは、前記リングメディアンフィルタから出力を受信するウェーブ
レットノイズ除去モジュールを含み、前記デジタル画像は、前記ウェーブレットノイズ除去モジュールの出力から取り去られる、請求項10に記載のシステム。 - 前記セグメントファインダモジュールは、前記デジタル画像における複数の画像画素についての局所的な強度勾配に沿ってベクトルを計算する勾配位相モジュールを含む、請求項9に記載のシステム。
- 前記セグメントファインダモジュールは、ワイヤが存在する場合にカーネルがワイヤに沿って配置されるように、局所的な強度勾配の位相に対して垂直な各画素にわたって方向付けされるカーネルを用いるベクトルカーネルオペレータを含む、請求項9に記載のシステム。
- 前記リンカモジュールは、フィルタのバンクを用いて画素セグメントをリンクしてワイヤ状の構造を作成する、請求項9に記載のシステム。
- 前記輸送システムはヘリコプタである、請求項9に記載のシステム。
- 前記輸送システムは航空機である、請求項9に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/184,472 US7512258B2 (en) | 2005-07-19 | 2005-07-19 | System and method for passive wire detection |
US11/184,472 | 2005-07-19 | ||
PCT/US2006/019542 WO2007011450A1 (en) | 2005-07-19 | 2006-05-22 | System and method for passive wire detection |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009501677A true JP2009501677A (ja) | 2009-01-22 |
JP4960357B2 JP4960357B2 (ja) | 2012-06-27 |
Family
ID=37133492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008522774A Active JP4960357B2 (ja) | 2005-07-19 | 2006-05-22 | 受動的なワイヤ検出のためのシステムおよび方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US7512258B2 (ja) |
EP (1) | EP1908010B1 (ja) |
JP (1) | JP4960357B2 (ja) |
KR (1) | KR101257528B1 (ja) |
AU (1) | AU2006270506A1 (ja) |
CA (1) | CA2605977C (ja) |
IL (1) | IL187313A (ja) |
WO (1) | WO2007011450A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8160382B2 (en) * | 2007-10-15 | 2012-04-17 | Lockheed Martin Corporation | Method of object recognition in image data using combined edge magnitude and edge direction analysis techniques |
US20090208053A1 (en) * | 2008-02-19 | 2009-08-20 | Benjamin Kent | Automatic identification and removal of objects in an image, such as wires in a frame of video |
US20120250010A1 (en) * | 2011-03-31 | 2012-10-04 | Richard Charles Hannay | Aerial Inspection System(s) and Method(s) |
US9183516B2 (en) | 2013-07-25 | 2015-11-10 | The Boeing Company | Systems and methods for locating and prioritizing cargo |
NO340705B1 (no) * | 2014-12-22 | 2017-06-06 | Kleon Prosjekt As | Fremgangsmåte og innretning for å detektere et luftspenn fra et luftfartøy |
US9964658B2 (en) * | 2015-10-06 | 2018-05-08 | The United States Of America As Represented By The Secretary Of The Army | Method of autonomous power line detection, avoidance, navigation, and inspection using aerial crafts |
CN105825619B (zh) * | 2016-03-25 | 2018-09-18 | 南京第五十五所技术开发有限公司 | 一种基于图像处理的高压线漂浮物报警方法 |
NO347027B1 (en) | 2021-06-02 | 2023-04-24 | Kleon Solutions As | Method and system for detecting a line above ground from a helicopter |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001344597A (ja) * | 2000-05-30 | 2001-12-14 | Fuji Heavy Ind Ltd | 融合視界装置 |
US20020153485A1 (en) * | 2001-03-09 | 2002-10-24 | Nixon Matthew D. | Passive power line detection system for aircraft |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4970701A (en) * | 1971-03-22 | 1990-11-13 | The United States Of America As Represented By The Secretary Of The Navy | Wire detector |
US5245588A (en) * | 1972-01-07 | 1993-09-14 | The United States Of America As Represented By The Secretary Of The Navy | Regenerative radio-frequency wire detector |
US4685143A (en) * | 1985-03-21 | 1987-08-04 | Texas Instruments Incorporated | Method and apparatus for detecting edge spectral features |
US4736439A (en) * | 1985-05-24 | 1988-04-05 | The United States Of America As Represented By The Secretary Of The Navy | Image preprocessing by modified median filter |
US4742557A (en) * | 1985-11-08 | 1988-05-03 | Ncr Corporation | Adaptive character extraction method and system |
US7286912B2 (en) * | 2001-12-10 | 2007-10-23 | Bae Systems Information And Electronic Systems Integration Inc. | Method and apparatus for avoidance of power lines or trip wires by fixed and rotary winged aircraft |
US7466243B2 (en) * | 2005-10-13 | 2008-12-16 | The Boeing Company | System and method for passive wire detection |
-
2005
- 2005-07-19 US US11/184,472 patent/US7512258B2/en not_active Expired - Fee Related
-
2006
- 2006-05-22 JP JP2008522774A patent/JP4960357B2/ja active Active
- 2006-05-22 EP EP06770712.5A patent/EP1908010B1/en not_active Not-in-force
- 2006-05-22 KR KR1020077027404A patent/KR101257528B1/ko active IP Right Grant
- 2006-05-22 WO PCT/US2006/019542 patent/WO2007011450A1/en active Application Filing
- 2006-05-22 AU AU2006270506A patent/AU2006270506A1/en not_active Abandoned
- 2006-05-22 CA CA2605977A patent/CA2605977C/en not_active Expired - Fee Related
-
2007
- 2007-11-12 IL IL187313A patent/IL187313A/en not_active IP Right Cessation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001344597A (ja) * | 2000-05-30 | 2001-12-14 | Fuji Heavy Ind Ltd | 融合視界装置 |
US20020153485A1 (en) * | 2001-03-09 | 2002-10-24 | Nixon Matthew D. | Passive power line detection system for aircraft |
Also Published As
Publication number | Publication date |
---|---|
WO2007011450A1 (en) | 2007-01-25 |
IL187313A0 (en) | 2008-04-13 |
US7512258B2 (en) | 2009-03-31 |
IL187313A (en) | 2011-08-31 |
EP1908010A1 (en) | 2008-04-09 |
JP4960357B2 (ja) | 2012-06-27 |
CA2605977C (en) | 2015-08-11 |
US20070019838A1 (en) | 2007-01-25 |
KR101257528B1 (ko) | 2013-04-23 |
CA2605977A1 (en) | 2007-01-25 |
AU2006270506A1 (en) | 2007-01-25 |
EP1908010B1 (en) | 2013-12-25 |
KR20080026536A (ko) | 2008-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4960357B2 (ja) | 受動的なワイヤ検出のためのシステムおよび方法 | |
Unlu et al. | Deep learning-based strategies for the detection and tracking of drones using several cameras | |
EP3673417B1 (en) | System and method for distributive training and weight distribution in a neural network | |
CN106716439B (zh) | 基于事件的下采样方法、设备、装置及介质 | |
EP3176751B1 (en) | Information processing device, information processing method, computer-readable recording medium, and inspection system | |
JP5982026B2 (ja) | 多範囲オブジェクト検出装置および方法 | |
Dzieciuch et al. | Non-linear convolutional neural network for automatic detection of mine-like objects in sonar imagery | |
CN111523362A (zh) | 一种基于电子围网的数据分析方法、装置及电子设备 | |
US20200088831A1 (en) | Mobile body detection device, mobile body detection method, and mobile body detection program | |
Carrillo-Perez et al. | Improving yolov8 with scattering transform and attention for maritime awareness | |
CN113569860A (zh) | 实例分割方法和实例分割网络的训练方法及其装置 | |
Webster et al. | Improved raindrop detection using combined shape and saliency descriptors with scene context isolation | |
US10623640B2 (en) | Method and system for detection of contaminants present on a lens of an imaging device | |
CN111480180A (zh) | 用于检测和跟踪目标的方法 | |
Luesutthiviboon et al. | Bio-inspired enhancement for optical detection of drones using convolutional neural networks | |
US20230331254A1 (en) | A Method for Controlling a Driver Assistance System During Operation of a Vehicle | |
US9900509B2 (en) | Frame registration for imaging sensors in motion | |
AU2012216436B2 (en) | System and method for passive wire detection | |
KR20220128192A (ko) | 합성 영상을 활용한 객체 검출장치 및 그 방법 | |
US7466243B2 (en) | System and method for passive wire detection | |
Sara et al. | MC-CDPNet: multi-channel correlated detail preserving network for X-Ray-based baggage screening | |
US12106553B2 (en) | Method and system for aerial object detection | |
US11604271B2 (en) | Method and apparatus for performing dual polarization change detection using polarimetric synthetic aperture radar imagery | |
Carrillo-Perez et al. | Enhanced Small Ship Segmentation with Optimized ScatYOLOv8+ CBAM on Embedded Systems | |
CN111008544B (zh) | 交通监控和无人驾驶辅助系统以及目标检测方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090330 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20091111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100217 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110719 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20111018 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20111025 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20111118 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20111128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120221 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120322 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150330 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |