JP2006505839A - 光源の認識および選択を行う画像処理装置 - Google Patents

光源の認識および選択を行う画像処理装置 Download PDF

Info

Publication number
JP2006505839A
JP2006505839A JP2004547658A JP2004547658A JP2006505839A JP 2006505839 A JP2006505839 A JP 2006505839A JP 2004547658 A JP2004547658 A JP 2004547658A JP 2004547658 A JP2004547658 A JP 2004547658A JP 2006505839 A JP2006505839 A JP 2006505839A
Authority
JP
Japan
Prior art keywords
image
electronic
light source
representation
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004547658A
Other languages
English (en)
Other versions
JP4407945B2 (ja
Inventor
ロルス、オリヴィエ
ブルトン、ピエール−アルバー
Original Assignee
テールズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テールズ filed Critical テールズ
Publication of JP2006505839A publication Critical patent/JP2006505839A/ja
Application granted granted Critical
Publication of JP4407945B2 publication Critical patent/JP4407945B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/785Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864T.V. type tracking systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本発明は、ピクセルにより構成されるビデオ画像内に存在している個別の光源を識別、処理、および選択するために使用可能な画像処理装置に関する。本発明の目的は、処理された画像をリアルタイムでユーザに提示し、それにより、コントラストが不足している画像内の光源の向上した認識を可能にすることである。航空分野では、本発明の装置は、霧などの視認性が低下した条件において、滑走路灯の認識の向上を可能にすることによる、着陸援助を構成する。本発明は、次の3つの主要な原理に基づいている。(i)主要な画像処理操作は、しきい値よりも大きなレベルを有する少数のピクセルに対してのみ実行される。(ii)尤度推定装置が、画像内に存在する光源の蓋然性を評価する。(iii)しきい値は、特定の数の画像パラメータにより可変である。

Description

本発明の分野は、ピクセルにより構成されるビデオ画像内に存在している個別の光源の表現を識別、処理、および選択することを可能にする、画像処理装置の分野である。これらの装置の目的は、弱いコントラストのついた光源の表現の、改善された認識を可能にする処理画像を、ユーザに、リアルタイムで提示することである。
航空学は、いわゆるEVS(エンハンストビジョンシステム)システムの中で、視認性が低下した条件、特に、霧のかかった天候で、効果的な着陸援助を提供することにより、このタイプの装置の有利な応用分野を構成する。特に、着陸のためには、パイロットまたは着陸援助システムが、滑走路の軸上に航空機を運ぶ理想的飛行軌道に対する、航空機の水平位置を認識していることが非常に重要である。
歴史的には、晴天の中を、目に頼って飛行する場合、パイロットは、滑走路の端を基準にして、航空機の位置を推定していた。高輝度滑走路灯により構成される、体系化された構造の空港照明の導入により、パイロットは、夜間に、またはわずかに霧のかかった条件で飛行する場合でも、この作業を行うことが可能になった。例えば、視界が200メートル未満の濃霧の条件などの、さらに低下した気象条件では、これらのシステムはもはや適切ではない。
2つの固定無線周波数ビームを利用して、必要な水平位置情報をパイロットおよび自動操縦装置に提供する、ILS(計器着陸システム)が、1970年以来使用されている。現在では、ILSから派生した、より多様な滑走路進入を可能にする、MLS(マイクロ波着陸システム)や、GPS(グローバルポジショニングシステム)またはGPS/慣性プラットフォームの複合化に基づくシステムなどの、新しいシステムが構想されている。これらのさまざまなシステムに共通の制限は、必要な位置決め精度を達成するために、地上および航空機上に追加の装置を設置する必要があるということである。認証機関は、通常は3メートル程度の精度を実際に要求している。これらの設備(ディファレンシャルGPS局、MLS送信機、その他)により、追加の取得および保守コストが必要になり、そのコストは、例えば地域およびビジネス用飛行機、または軍用の輸送航空機専用の、小規模空港インフラストラクチャにとっては、非常に大きなものとなる可能性がある。
いわゆるEVS(エンハンストビジョンシステム)手動着陸援助装置は、滑走路進入を援助するための無線周波数システムの不在を解消することを可能にする。図1は、EVS連鎖の略図を示す。これは、画像センサ2、画像処理装置1、および表示装置3を含む。観察者4は、前記装置3を通して最終画像を見る。航空機の位置および姿勢を提供する特殊化された電子ユニット100が、画像処理ユニット1に接続されている。リンク21、31、および101は、システムのさまざまな構成要素を接続する。センサ2は、検出される光源に適合するスペクトル帯域内の画像を提供する。これは、一般に、FLIR(赤外線前方監視装置)である。1ミクロンあたりに放射ピークを有する滑走路灯の場合、センサのスペクトル感度帯域は、したがって、可視スペクトルの限界の近赤外に位置する。ユニット100は、画像のパラメータの変化を、航空機の実際の変位と比較することを可能にする。表示装置は、従来から、処理装置1により提供される最終画像を周囲に重ね合わせて表示することを可能にするヘッドアップビューファインダであり、この配置により、滑走路灯の実際の方向内にある、推定された滑走路灯の画像を映し出すことが可能になり、したがって、パイロットは、理想的な着陸軌道を基準にした位置を認識することが可能になる。
この第1の撮像装置は、例えば8ミクロンと12ミクロンとの間に位置する、第2の赤外線帯域内で動作する第2のFLIR撮像装置を使用して便利に補足されてもよい。この第2の撮像装置は、その場合、着陸ゾーンの熱画像を提供する。
2つのパラメータが、処理装置の質を判断することを可能にする。これらの一方は、識別される滑走路灯の割合であり、もう一方は、実際の滑走路灯に対応していないアーティファクトの割合である。
画像処理装置の主な問題は、パイロットが現実に対応した画像を顕著なタイムシフトなしに認識するために、画像処理装置がリアルタイムで動作しなければならず、そのため、どのような高度な画像処理も除外されるということであり、他方、本質的に変わりやすい画像処理の性能等級を維持しなければならないということである。
本発明による画像処理装置は、これらのさまざまな欠点の改善を可能にする。本発明の核心は、次の3つの原理に依存する。
・画像の主要な処理は、レベルがしきい値よりも高い、少数のピクセルについてのみ実行される。
・尤度推定装置が、画像内の光源の存在の蓋然性を評価する。
・しきい値は、画像の特定の数のパラメータの関数として可変である。
より詳しくは、本発明の対象は、入力画像から出力画像を生成する、画像処理のための電子装置であり、2つの画像はピクセルにより構成され、入力画像は、第1のビデオセンサから発生し、そして、少なくとも1つの個別の光源を含むシーンを表し、前記入力画像は、前記個別の光源の第1の表現を含み、出力画像は、前記個別の光源の第2の表現を含み、前記装置は、少なくとも、
・入力画像に基づいて、コントラストが改善された画像を提供することを可能にする、コントラストを向上させるための電子ユニットと、
・コントラストが改善された画像に基づいて、電子レベルが第1のしきい値よりも上にある少なくとも第1のピクセルの組のみを含む、フィルタ処理された画像を提供することを可能にする、選択のための電子ユニットであって、前記第1の組は、少なくとも1つの潜在的光源の表現に対応している、電子ユニットと、
・フィルタ処理された画像の第1のピクセルの組に基づいて、第2のピクセルの組を含む推定画像を提供することを可能にする、電子尤度推定ユニットであって前記第2の組は、推定光源の表現に対応しており、推定光源の表現のピクセルの分布は、2次元数学関数に対応しており、推定光源の各表現には、尤度蓋然性が関連付けられている、電子尤度推定ユニットと、
・推定画像に基づいて最終画像を提供する、確認のための電子ユニットであって、前記最終画像は、推定光源の表現を、関連付けられた尤度蓋然性が第2のしきい値よりも大きければ含む、電子ユニットと
を含むことを特徴とする。
有利には、第1のしきい値のレベルは、少なくとも前記確認ユニットに依存する。
有利には、初期入力画像のコントラストを向上させるための前記電子機能は、コントラストのついた入力画像を得るために初期入力画像の各ピクセルレベルに適用される、CBF(コントラストボックスフィルタ)タイプのマトリクスフィルタを少なくとも1つ含む。前記マトリクスは、特に、M行M列の要素を有する正方マトリクスであり、中央のN個の要素は、同一の第1の値を有し、マトリクスのその他の(M−N)個の要素は、前記第1の値にN/(N−M)を乗算した値に等しい、同一の第2の値を有する。
前記推定ユニットの主な機能は、次のとおりである。
・光源の表現の形状の認識のための電子機能。
・前記光源の前記表現の幾何学的配置を認識するための電子機能。
・前記光源の前記表現の変位を推定するための電子機能。
光源の表現の形状の認識のための電子機能は、以下を可能にする。
・フィルタ処理された画像の第1の組のピクセルのレベルを、所定の数学関数から発生する計算されたレベルと比較すること。
・入力画像内の推定光源の表現の、存在の蓋然性を提供すること。
有利には、所定の数学関数は2次元ガウス分布であり、認識機能は、第1の組のピクセルのレベルと、計算されたレベルとの間に、最小自乗法を適用することにより実行される。
光源の前記表現の幾何学的配置を認識する電子機能は、入力画像内の光源の前記表現の配列の蓋然性を提供する。潜在的光源の表現が、少なくとも1つの直線に沿って並べられている場合、電子認識機能は、フィルタ処理された画像のピクセルに対してラドン変換を実行することを可能にする、少なくとも1つの機能を含む。
光源の表現が入力画像内で移動する場合、電子尤度推定ユニットは、推定光源の表現の変位をモデル化するための、少なくとも1つの電子機能を含む。電子尤度推定ユニットは、さらに、推定光源の表現の変位をモデル化するための電子機能に基づいて以下を可能にする、変位を推定するための少なくとも1つの電子機能を含む。
・第1の位置を占める、第1の推定画像の推定光源の各表現について、前記第1の位置の理論的変位を計算すること。
・第2の推定画像内で、推定光源の前記表現により占められる、第2の位置を計算すること。
・前記第2の推定画像内で、前記第2の位置を、光源の前記表現の実際の位置と比較すること。
・推定画像内の光源の表現の変位の蓋然性を提供すること。
有利には、確認のための電子ユニットにより提供される、推定光源の表現の尤度蓋然性は、電子推定ユニットにより提供される光源の前記表現の、配列と変位との、存在の蓋然性の積に等しい。確認のための電子ユニットは、推定光源の表現の総数に対する、尤度蓋然性が第2のしきい値よりも上に位置する推定光源の表現の割合に等しい、入力画像の除去率を計算する。
有利には、本装置は、改善されたコントラストを有する画像のピクセルのヒストグラムを構築することを可能にする、電子ヒストグラムユニットを含み、前記ヒストグラムは、各ピクセルレベルについて、対応するピクセルの数を含む。前記電子ヒストグラムユニットは、第3のしきい値の決定を可能にする機能を含み、前記第3のしきい値のレベルは、フィルタ処理された画像のピクセルの平均レベルよりも上に位置し、潜在的光源の表現のピクセルの平均レベルよりも下に位置する。有利には、ヒストグラムは、ピクセルのレベルを横座標として、そして、このレベルに対応するピクセルの数を縦座標として有するグラフの形態で表現され、第3のしきい値のレベルは、このグラフの、横座標の最大値と縦座標の最大値とを通過する直線から最大距離にあるレベルに一致している。
有利には、本装置は、再帰型フィルタと呼ばれる電子ユニットを含み、この電子ユニットは、第1の入力画像に続く第2の入力画像について、この第2の画像に適用される第1のしきい値の値を決定し、この第2の画像の前記第1のしきい値の値は、少なくとも、第1の入力画像の第1のしきい値、第3のしきい値、および除去率に依存する。
主要な応用モードでは、最終画像は、第2のセンサから発生する画像と重ね合わせて、表示システム内で映し出される。好ましくは、第1のセンサは、1〜2ミクロン帯域の近赤外域での感度が高く、第2のセンサは、5〜20ミクロン帯域の中間赤外域での感度が高い。
有利には、本装置は、少なくとも1つのビデオセンサ、画像処理のための電子装置および表示装置、空間内でのビデオセンサの位置の特定および方向付けのための手段を含む、表示システム内に統合され、前記位置の特定手段は前記処理装置に接続され、前記システムは、例えば輸送手段上に搭載することにより、移動可能にすることができる。
航空分野では、このタイプの装置の有利な応用が構成される。この枠組みの中では、輸送手段は航空機、光源は滑走路灯であり、第1のセンサは、1〜2ミクロン帯域の近赤外域での感度が高く、第2のセンサは、5〜20ミクロン帯域の中間赤外域での感度が高い。
制限なく提供される以下の説明と、添付の図面を参照することにより、本発明はよりよく理解され、その他の利点も明らかになる。
図2は、本発明による処理装置の基本図を示す。これは本質的に、以下の4つの電子ユニットを含む。
・入力画像に基づいて、コントラストが改善された画像を提供することを可能にする、コントラストを向上させるための電子ユニット5。
・コントラストが改善された画像に基づいて、フィルタ処理された画像を提供することを可能にする、電子選択ユニット6。
・フィルタ処理された画像から、推定画像を提供することを可能にする、電子尤度推定ユニット7。
・推定画像から、最終画像を提供する、電子確認ユニット8。
ユニット5は、リンク21によって、センサ2と相互接続されている。ユニット7は、リンク101によって、装置100と相互接続されている。ユニット8は、リンク31によって、表示装置3と相互接続されている。
図3は、図2の装置の原理の詳細図を表す。特定の電子ユニットについて詳しく示されており、補完的なユニットが追加されている。
図2および図3の2つの図では、矢印は、さまざまなユニット間の相互接続と、それらのユニットのデータ交換の方向とを示す。
コントラスト向上のための電子ユニットは、画像のコントラストを高めることを可能にする。さまざまな手順が存在する。この効果を得る簡単な方法は、初期入力画像の各ピクセルレベルに適用される、CBF(コントラストボックスフィルタ)タイプのマトリクスフィルタを使用して、コントラストのついた入力画像を得ることである。このフィルタのマトリクスは、M行M列の要素を有する正方マトリクスであり、中央のN個の要素は、同一の第1の値を有し、マトリクスのその他の(M−N)個の要素は、前記第1の値にN/(N−M)を乗算した値に等しい、同一の第2の値を有する。あるレベルを有する、入力画像の任意のピクセルPにおいて、以下の操作を実行することにより、改善されたコントラストを有する画像内の、対応するピクセルのレベルが取得される。
・ピクセルPを囲むM個のピクセルの値に、フィルタのマトリクスの対応する要素の値を乗算する(マトリクスはピクセルPを中心とする)。
・得られたM個の値を合計し、それにより、改善されたコントラストを有する画像のピクセルの値を取得する。
例として、一般的なマトリクスは7行7列、つまり合計49の要素を含み、中央の9つの要素は、例えば1に等しく、その他の40の要素は、したがって−9/40に等しい。結果として得られるフィルタのマトリクスは、以下のように表される。
Figure 2006505839
電子選択ユニット6は、コントラストが改善された画像の、レベルが第1のしきい値よりも上にあるピクセルを維持し、その他のピクセルのレベルは0に減少させる。フィルタ処理された画像は、したがって、潜在的光源に対応する第1のピクセルの組のみを含むようになる。
電子尤度ユニットは、図3に示すように、3つのユニットを含むことが可能である。
これらのユニットのうちの第1のユニット71には、光源の形状を認識する作業が割り当てられる。一般的な場合、光源は画像センサからかなり離れた場所に位置しているため、それらの表現は、せいぜい数ピクセルにわたる、小さな寸法の発光の組として表される。光源の表現のエネルギー分布の好適な数学表現は、この場合、2次元ガウス分布である。潜在的光源の表現の識別に関するユニットは、ガウス分布のレベル、第1の軸に沿った中間の高さにおけるその幅、第1の軸に垂直な第2の軸に沿った中間の高さにおけるその幅、画像の基準フレーム内での第1の軸の勾配という、4つのパラメータを変化させることにより、フィルタ処理された画像のピクセルの分布のレベルを、2次元ガウス分布表現のレベルと比較する。比較は、第1の組のピクセルのレベルと、計算されたガウス分布のレベルとの間で、最小自乗法を適用することにより実行される。最適化手順の残留誤差により、光源の表現の存在の蓋然性を推定することが可能になる。この蓋然性が一定のしきい値よりも大きい場合、潜在的光源の表現は、推定画像内で、そのガウス分布表現により置き換えられる。この手順により、光源の表現の位置を、1ピクセル未満の精度で決定することが可能になることに留意すべきである。
これらのユニットのうちの第2のユニット72には、光源の表現の幾何学的配置を認識する作業が割り当てられる。航空アプリケーションにおいては、滑走路灯は、直線または直線線分である、滑走路の軸を表す、体系化された幾何学構造に従って配置される。第2のユニットは、フィルタ処理された画像内で、そのような構造の存在を検索することを可能にする。使用される数学関数は、ラドン変換である。その原理は、ピクセルの平均エネルギーがかなり大きく、したがって、光源の配列の軸に一致している可能性がある、優勢な方向について、画像を検索することにある。
これらのユニットのうちの第3のユニット73には、光源の表現の変位の蓋然性を提供する作業が割り当てられる。前記特殊化されたユニットは、シーン内に存在する光源が既知の方法で変位している場合、または、装置が移動中の輸送手段上に配置されており、輸送手段の変位と向きが既知である場合(これは航空機の場合に該当する)の、いずれかに使用される。入力データとして、ユニット73は、一方で、第1のフィルタ処理された画像内での推定光源の表現の初期位置の知識を有し、他方で、変位モデルを提供する電子ユニット9からの情報を有する。移動中の輸送手段の場合、このモデルは、輸送手段の位置特定手段100と接続される。ユニット73は、第2の入力画像内での、推定光源の前記表現により占められる、第2の位置を計算する。ユニット73は、第2の入力画像内で、前記第2の位置を、光源の前記表現の実際の位置と比較する。ユニット73は、次に、光源の表現の変位の蓋然性を提供する。
ユニット8には、以下の作業が割り当てられる。
・推定光源の表現の尤度蓋然性を計算する。これは、電子推定ユニット71、72、および73により提供される、前記光源の配列および変位の、存在の蓋然性の積に等しい。
・推定画像から、尤度蓋然性が第2のしきい値よりも下にある推定光源の表現を除去する。第2のしきい値は95%程度であり、それにより最終画像が構築され、前記最終画像は表示装置において提供される。
・推定画像内に存在する光源の表現の総数に対する、最終画像内に存在する光源の表現の割合に等しい、入力画像の除去率を計算する。
・計算された除去率を、ユニット6に提供する。
除去率が低い場合は、推定光源のすべての表現が、シーン内に存在する実際の光源に一致していることを意味し、したがって、第1のしきい値のレベルが大きすぎることを意味する。除去率が大きい場合は、反対に、低すぎるしきい値レベルを上げる必要がある。
図3には、2つの追加の電子ユニットが示されている。ユニット10は、改善されたコントラストを有する画像のピクセルのヒストグラムを構築することを可能にするユニットであり、図4に示すヒストグラムHのグラフは、ピクセルのレベルを横座標として、そして、このレベルに対応するピクセルの数を縦座標として含む。前記電子ヒストグラムユニットは、第3のしきい値Bの決定を可能にする機能を含み、前記第3のしきい値のレベルは、コントラストのついた画像のピクセルの平均レベルAよりも上に位置し、潜在的光源の表現のピクセルの平均レベルCよりも下に位置する。第3のしきい値Bのレベルは、ヒストグラムHのグラフの、横座標の最大値Dと縦座標の最大値Mとを通過する直線MDから最大距離dにあるレベルに一致している。
再帰型フィルタと呼ばれるユニット11は、第1の入力画像に続く第2の入力画像について、この第2の画像に適用される第1のしきい値の値を決定し、この第2の画像の前記第1のしきい値の値は、少なくとも、第1の入力画像の第1のしきい値、第3のしきい値、および除去率に依存する。ユニット11は、システムを安定化するためのローパスフィルタを含み、それにより、最終画像の過度に急激な変動を回避することが可能になる。ローパスフィルタのカットオフ周波数は、5Hz未満である。
電子ユニットの機能の組全体は、論理ゲート(ANDまたはOR)のマトリクスを含む電子部品内に実装されてもよい。これらの部品は、例えば、ASIC(特定用途向け集積回路)のような、非プログラム可能なタイプのものであってもよく、この場合は、構築中に回路内に情報が焼き付けられる。これらの部品は、また、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはEPLD(消去可能なプログラマブル論理装置)のような、プログラム可能なものであってもよい。これらの部品は、プロ用電子機器または航空機搭載への応用に一般に使用される。
画像取得、処理、および表示の連鎖の略図を示す。 本発明による処理装置の基本図を示す。 本発明による処理装置の詳細な基本図を示す。 ピクセルレベルのヒストグラムのグラフ内で第3のしきい値を決定するための原理を示す。

Claims (21)

  1. 入力画像から出力画像を生成する、画像処理のための電子装置(1)であって、前記2つの画像はピクセルにより構成され、前記入力画像は、第1のビデオセンサ(2)から発生し、そして、少なくとも1つの個別の光源を含むシーンを表し、前記入力画像は、前記個別の光源の第1の表現を含み、前記出力画像は、前記個別の光源の第2の表現を含み、前記装置は、少なくとも、
    ・前記入力画像に基づいて、コントラストが改善された画像を提供することを可能にする、コントラストを向上させるための電子ユニット(5)と、
    ・前記コントラストが改善された画像に基づいて、電子レベルが第1のしきい値よりも上にある少なくとも第1のピクセルの組のみを含む、フィルタ処理された画像を提供することを可能にする、選択のための電子ユニット(6)であって、前記第1の組は、少なくとも1つの潜在的光源の表現に対応している、電子ユニット(6)と、
    ・前記フィルタ処理された画像の前記第1のピクセルの組に基づいて、第2のピクセルの組を含む推定画像を提供することを可能にする、電子尤度推定ユニット(7)であって、前記第2の組は、推定光源の表現に対応しており、前記推定光源の表現のピクセルの分布は、2次元数学関数に対応しており、推定光源の各表現には、尤度蓋然性が関連付けられている、電子尤度推定ユニット(7)と、
    ・前記推定画像に基づいて最終画像を提供する、確認のための電子ユニット(8)であって、前記最終画像は、前記推定光源の表現を、前記関連付けられた尤度蓋然性が第2のしきい値よりも大きければ含む、電子ユニット(8)と
    を含むことを特徴とする、画像処理のための電子装置(1)。
  2. 前記第1のしきい値のレベルは、少なくとも前記確認ユニット(8)に依存することを特徴とする、請求項1に記載の画像処理のための電子装置(1)。
  3. 前記初期入力画像のコントラストを向上させるための前記電子機能は、コントラストのついた入力画像を得るために前記初期入力画像の各ピクセルレベルに適用される、CBF(コントラストボックスフィルタ)タイプのマトリクスフィルタを少なくとも1つ含むことを特徴とする、請求項1または2に記載の画像処理のための電子装置。
  4. 前記マトリクスは、M行M列の要素を有する正方マトリクスであり、中央のN個の要素は、同一の第1の値を有し、マトリクスのその他の(N−M)個の要素は、前記第1の値にN/(M−N)を乗算した値に等しい、同一の第2の値を有することを特徴とする、請求項3に記載の画像処理のための電子装置。
  5. 前記電子尤度推定ユニット(7)は、
    ・前記フィルタ処理された画像の前記第1の組のピクセルのレベルを、所定の数学関数から発生する計算されたレベルと比較することと、
    ・前記入力画像内の前記推定光源の表現の、存在の蓋然性を提供することと、
    を可能にする、前記光源の表現の形状の認識のための電子機能(71)を少なくとも1つ含むことを特徴とする、請求項1〜4のいずれか一項に記載の画像処理のための電子装置。
  6. 前記所定の数学関数は、2次元ガウス分布であることを特徴とする、請求項5に記載の画像処理のための電子装置。
  7. 前記認識機能は、前記第1の組のピクセルのレベルと、前記計算されたレベルとの間に、最小自乗法を適用することにより実行されることを特徴とする、請求項6に記載の画像処理のための電子装置。
  8. 前記フィルタ処理された画像は、潜在的光源の少なくとも2つの表現を含み、前記電子尤度推定ユニットは、前記表現の幾何学的配置を認識するための少なくとも1つの電子機能(72)を含み、前記機能は、入力画像内の光源の前記表現の配列の蓋然性を提供することを特徴とする、請求項1〜7のいずれか一項に記載の画像処理のための電子装置。
  9. 前記潜在的光源の前記表現が、少なくとも1つの直線に沿って並べられている場合、前記電子認識機能は、前記フィルタ処理された画像のピクセルに対してラドン変換を実行することを可能にする、少なくとも1つの機能を含むことを特徴とする、請求項8に記載の画像処理のための電子装置。
  10. 前記光源の前記表現が前記入力画像内で移動する場合、前記電子尤度推定ユニットは、前記推定光源の前記表現の変位をモデル化するための、少なくとも1つの電子機能(9)を含むことを特徴とする、請求項1〜9のいずれか一項に記載の画像処理のための電子装置。
  11. 電子尤度推定ユニット(7)は、
    ・第1の位置を占める、第1の推定画像の推定光源の各表現について、前記第1の位置の理論的変位を計算することと、
    ・第2の入力画像内で、前記推定光源の前記表現により占められる、第2の位置を計算することと、
    ・前記第2の入力画像内で、前記第2の位置を、前記光源の前記表現の実際の位置と比較することと、
    ・前記入力画像内の前記光源の前記表現の変位の蓋然性を提供することと、
    を、前記推定光源の前記表現の変位をモデル化するための前記電子機能に基づいて可能にする、変位を推定するための少なくとも1つの電子機能(73)を含むことを特徴とする、請求項10に記載の画像処理のための電子装置。
  12. 前記確認のための電子ユニット(8)により提供される、推定光源の前記表現の前記尤度蓋然性は、前記電子推定ユニットにより提供される前記光源の前記表現の、配列と変位との、存在の蓋然性の積に等しいことを特徴とする、請求項4〜11のいずれか一項に記載の画像処理のための電子装置。
  13. 前記確認のための電子ユニット(8)は、推定光源の表現の総数に対する、尤度蓋然性が前記第2のしきい値よりも上に位置する推定光源の表現の割合に等しい、前記入力画像の除去率を計算することを特徴とする、請求項1〜12のいずれか一項に記載の画像処理のための電子装置。
  14. 前記装置は、前記改善されたコントラストを有する画像のピクセルのヒストグラムを構築することを可能にする、電子ヒストグラムユニット(10)を含み、前記ヒストグラムは、特定のエネルギーレベルに対応するピクセルの数を提供することを特徴とする、請求項1〜13のいずれか一項に記載の画像処理のための電子装置。
  15. 前記電子ヒストグラムユニット(10)は、第3のしきい値の決定を可能にする機能を含み、前記第3のしきい値のレベルは、前記フィルタ処理された画像のピクセルの平均レベルよりも上に位置し、前記潜在的光源の表現のピクセルの平均レベルよりも下に位置することを特徴とする、請求項14に記載の画像処理のための電子装置。
  16. 前記ヒストグラムは、前記ピクセルのレベルを横座標として、そして、このレベルに対応するピクセルの数を縦座標として有するグラフの形態で表現され、前記第3のしきい値のレベルは、前記ヒストグラムの、横座標の最大値と縦座標の最大値とを通過する直線から最大距離にあるレベルに一致することを特徴とする、請求項15に記載の画像処理のための電子装置。
  17. 前記装置は、再帰型フィルタと呼ばれる電子ユニット(11)を含み、この電子ユニットは、第1の入力画像に続く第2の入力画像について、この第2の画像に適用される第1のしきい値の値を決定し、前記第1のしきい値の値は、少なくとも、前記第1の入力画像の第1のしきい値、第3のしきい値、および除去率に依存することを特徴とする、請求項1〜16のいずれか一項に記載の画像処理のための電子装置。
  18. 前記最終画像は、第2のセンサから生じる画像と重ね合わせて、表示システム(3)内で映し出されることを特徴とする、請求項1〜17のいずれか一項に記載の画像処理のための電子装置。
  19. 前記第1のセンサ(2)は、1〜2ミクロン帯域の近赤外域での感度が高く、前記第2のセンサは、5〜20ミクロン帯域の中間赤外域での感度が高いことを特徴とする、請求項18に記載の画像処理のための電子装置。
  20. 少なくとも1つのビデオセンサ(2)、画像処理のための電子装置(1)および表示装置(3)を含む表示システムであって、前記システムは、空間内でのビデオセンサの位置の特定および方向付けのための手段を含み、前記画像処理は、請求項1〜19のいずれか一項に従い、前記位置の特定手段は、前記装置(1)に接続され、前記システムは、移動可能にすることができることを特徴とする、表示システム。
  21. 請求項20に記載の表示システムを含むことを特徴とする航空機であって、前記表示装置はいわゆるヘッドアップビューファインダであり、前記光源は滑走路灯であることを特徴とする航空機。
JP2004547658A 2002-10-29 2003-10-14 光源の認識および選択を行う画像処理装置 Expired - Fee Related JP4407945B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0213540A FR2846448B1 (fr) 2002-10-29 2002-10-29 Dispositif de traitement d'images a reconnaissance et selection de sources de lumiere
PCT/EP2003/050717 WO2004040516A1 (fr) 2002-10-29 2003-10-14 Dispositif de traitement d'images a reconnaissance et selection de sources de lumiere

Publications (2)

Publication Number Publication Date
JP2006505839A true JP2006505839A (ja) 2006-02-16
JP4407945B2 JP4407945B2 (ja) 2010-02-03

Family

ID=32088391

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004547658A Expired - Fee Related JP4407945B2 (ja) 2002-10-29 2003-10-14 光源の認識および選択を行う画像処理装置

Country Status (8)

Country Link
US (1) US7091468B2 (ja)
EP (1) EP1570433B1 (ja)
JP (1) JP4407945B2 (ja)
AU (1) AU2003301701A1 (ja)
CA (1) CA2503891C (ja)
DE (1) DE60305345T2 (ja)
FR (1) FR2846448B1 (ja)
WO (1) WO2004040516A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008525776A (ja) * 2004-12-23 2008-07-17 ヘラ・カーゲーアーアー・ヒュック・ウント・コムパニー ステレオカメラのキャリブレーションパラメータを決定する方法及び装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7617022B1 (en) * 2004-07-01 2009-11-10 Rockwell Collins, Inc. Dual wavelength enhanced vision system optimized for visual landing light alignment
US8914166B2 (en) 2010-08-03 2014-12-16 Honeywell International Inc. Enhanced flight vision system for enhancing approach runway signatures
US10451422B2 (en) 2016-04-28 2019-10-22 Rogerson Aircraft Corporation System and method for providing persistent mission data to a fleet of vehicles
US20170314925A1 (en) 2016-04-28 2017-11-02 Rogerson Aircraft Corporation System and method for providing terrain imagery during low visibility conditions
FR3090170B1 (fr) * 2018-12-12 2020-11-27 Safran Electronics & Defense Dispositif et procédé d’hybridation inertielle/vidéo
CN110510138A (zh) * 2019-09-03 2019-11-29 深圳市道通智能航空技术有限公司 飞行器报警方法、装置及飞行器

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2699781B1 (fr) * 1992-12-21 1995-02-03 Telecommunications Sa Procédé de détection d'apparition d'objets ponctuels dans une image.
US5719567A (en) * 1995-05-30 1998-02-17 Victor J. Norris, Jr. System for enhancing navigation and surveillance in low visibility conditions
US6232602B1 (en) * 1999-03-05 2001-05-15 Flir Systems, Inc. Enhanced vision system sensitive to infrared radiation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008525776A (ja) * 2004-12-23 2008-07-17 ヘラ・カーゲーアーアー・ヒュック・ウント・コムパニー ステレオカメラのキャリブレーションパラメータを決定する方法及び装置

Also Published As

Publication number Publication date
US20060049333A1 (en) 2006-03-09
FR2846448A1 (fr) 2004-04-30
AU2003301701A1 (en) 2004-05-25
CA2503891C (fr) 2014-07-08
FR2846448B1 (fr) 2005-01-14
US7091468B2 (en) 2006-08-15
DE60305345D1 (de) 2006-06-22
WO2004040516A1 (fr) 2004-05-13
EP1570433A1 (fr) 2005-09-07
EP1570433B1 (fr) 2006-05-17
JP4407945B2 (ja) 2010-02-03
DE60305345T2 (de) 2007-04-12
CA2503891A1 (fr) 2004-05-13

Similar Documents

Publication Publication Date Title
US7826666B2 (en) Methods and apparatus for runway segmentation using sensor analysis
CN107878767B (zh) 用于向飞行员警示碰撞风险的系统和方法
EP2736018B1 (en) Determining pushback direction
AU2013213659B2 (en) Method and system for using fingerprints to track moving objects in video
US20200143179A1 (en) Infrastructure-free nlos obstacle detection for autonomous cars
US20210158157A1 (en) Artificial neural network learning method and device for aircraft landing assistance
CN109213138B (zh) 一种避障方法、装置及系统
JP2014071902A5 (ja)
Pinggera et al. High-performance long range obstacle detection using stereo vision
US9726486B1 (en) System and method for merging enhanced vision data with a synthetic vision data
US11941815B2 (en) Method and a system training a model to perform semantic segmentation on foggy images
JP4407945B2 (ja) 光源の認識および選択を行う画像処理装置
US9036910B1 (en) Method and system for processing a sequence of images using fingerprints
CN115980785A (zh) 一种用于直升机辅助导航的点云数据处理方法
US20180300856A1 (en) System adapted for providing an operator with augmented visibility and associated method
KR101441422B1 (ko) 온톨로지 기법을 이용한 항공기 이착륙시 장애물과의 충돌을 예측하는 의사결정장치 및 방법
US20200283163A1 (en) Flight vision system and method for presenting images from the surrounding of an airborne vehicle in a flight vision system
US11335009B2 (en) Method and system for aerodrome taxiway surface marking detection
Theuma et al. An image processing algorithm for ground navigation of aircraft
CN107025636A (zh) 结合深度信息的图像去雾方法及装置和电子装置
Volkov et al. Devising an image processing method for transport infrastructure monitoring systems
Rajput et al. Hazard detection on runways using image processing techniques
KR101611789B1 (ko) 주행영상의 모션 파라미터 추출을 통한 자동화된 주행도로 노면의 시각화 방법
Dudek et al. Cloud Detection System for UAV Sense and Avoid: Challenges and Findings in Flight Experiments
Oleshko et al. Image recognition in unmanned aviation using modern programming languages

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091027

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091104

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees