JP2020114726A - コンピュータビジョンに基づく、航空機の自律着陸または監視自律着陸 - Google Patents

コンピュータビジョンに基づく、航空機の自律着陸または監視自律着陸 Download PDF

Info

Publication number
JP2020114726A
JP2020114726A JP2019228097A JP2019228097A JP2020114726A JP 2020114726 A JP2020114726 A JP 2020114726A JP 2019228097 A JP2019228097 A JP 2019228097A JP 2019228097 A JP2019228097 A JP 2019228097A JP 2020114726 A JP2020114726 A JP 2020114726A
Authority
JP
Japan
Prior art keywords
aircraft
runway
image
adjusted
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019228097A
Other languages
English (en)
Other versions
JP7340440B2 (ja
Inventor
ロバート メリル クランブリット,
Merrill Cramblitt Robert
ロバート メリル クランブリット,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of JP2020114726A publication Critical patent/JP2020114726A/ja
Application granted granted Critical
Publication of JP7340440B2 publication Critical patent/JP7340440B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04Control of altitude or depth
    • G05D1/06Rate of change of altitude or depth
    • G05D1/0607Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • G05D1/0676Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】飛行場の滑走路に進入する航空機を支援するための装置を提供する。【解決手段】この装置は、飛行場滑走路に対する航空機の現在の姿勢推定値を取得し、航空機の現在の姿勢推定値に基づいて、航空機の複数の近接姿勢を決定する。この装置は、航空機の複数の予想される視点からの飛行場滑走路の複数の画像を生成し、飛行場滑走路のリアルタイム画像を取得する。この装置は、リアルタイム画像と複数の画像の比較を実行して、複数の画像からベストマッチ画像を識別し、ベストマッチ画像に基づいて、航空機の更新された現在の姿勢推定値を生成する。この装置は、最終進入での航空機の誘導に使用するため、更新された現在の姿勢推定値を、航空機の飛行制御コンピュータに出力する。【選択図】図1

Description

本開示は、概して航空機の動作に関し、特に、航空機の、コンピュータビジョンに基づく自律着陸または監視自律着陸に関する。
いくつかの既存のシステムとセンサは、ある場所と別の場所との間を航空機が自律的に航行するのを可能にする。しかしながら、これらの既存のシステムとセンサは、航空機の正確な着陸を支援するのに十分な正確さと精度で最終的な位置と姿勢の決定を行うことができない。例えば、全地球測位システム(GPS)などの全球測位衛星システム(GNSS)は、適度に正確な位置情報を提供することができる。これらのシステムは、通常、姿勢情報(例えば、ヨー、ピッチ、ロール)を提供せず、その精度は変化することがあり、その信号は時々利用することができず、マルチパス反射を受けやすい。
慣性航法システム(INS)もまた、航空機の航法を支援する。しかし、これらのシステムは、時間の経過とともに位置誤差を蓄積することが多く、飛行場の滑走路に対する航空機の位置を正確に決定するのには受け入れられない可能性がある。自動着陸システム(ALS)は、様々な最小限の視程要件での監視自動着陸を可能にするが、これらのシステムは、多くの場合、コストと重量を考慮して大型航空機にのみ設置される。
計器着陸システム(ILS)は、パイロットまたは自動操縦装置が方位と滑走路への進入角度を決定するのを支援することができるが、ILSは、パイロットによる視覚的な確認を必要とする(例えば、パイロットが、進入復行をコールする場合がある)。地上型衛星航法補強システム(GBAS)は、GNSSの差分修正と完全性モニタリングを提供して、正確な着陸を可能にする。ただし、GBASは、システムを購入して設置した施設でしか利用できない。
したがって、上記で説明した問題の少なくとも一部、および他の考えられる問題を考慮に入れたシステムと方法を得ることが、望ましいであろう。
本開示の実施例は、コンピュータビジョンに基づく、航空機の自律着陸または監視自律着陸に関する。実施例は、進入している航空機から空港滑走路の画像をキャプチャする1つ以上のカメラを含むビジョンシステムを利用することができる。実施例はまた、コンピュータビジョンを使用して、航空機の精緻化された相対位置を生成し、最終進入と着陸を支援することができる。航空機の精緻化された相対位置は、航空機の着陸を成功させるのに十分に正確にすることができる。
実施例は、既存の解決策に比べて複数の利点を提供できる。例えば、実施例は、十分な解像度を持つ任意の画像センサを使用して、コンピュータビジョンに基づく誘導とアライメントを提供できる。実施例はまた、他の自動システムの出力を確認または有効にするための解決策を、提供できる。さらに、実施例は、人間参加型よりも短い時間尺度で進入復行の決定を支援できる。さらに、実施例は、マルチパス反射などの、無線周波数(RF)システムを悪化させる問題の影響を受けない。さらに、実施例は、地形データベースを使用して、他のインフラストラクチャから独立して動作できる。
かくして、本開示は、限定することなく、以下の実施例を含む。
いくつかの実施例は、飛行場の滑走路に進入している航空機を支援するための方法を提供し、方法は以下を含む:飛行場滑走路に対する航空機の現在の姿勢推定値であって、現在の高度、方位、および飛行場滑走路からの距離を有する現在の姿勢推定値を取得すること;航空機の複数の近接姿勢であって、各近接姿勢が、現在の高度、方位、および飛行場滑走路からの距離から所定量以内の、調整された高度、調整された方位、および調整された距離を有する、複数の近接姿勢を、航空機の現在の姿勢推定値に基づいて決定すること;複数の近接姿勢に対応する航空機の複数の予想される視点からの、飛行場滑走路の複数の画像を、飛行場の飛行場モデルデータから生成すること;飛行場滑走路に進入している航空機上の撮像デバイスから、飛行場滑走路のリアルタイム画像を取得すること;リアルタイム画像と複数の画像の比較を実行して、リアルタイム画像と複数の画像内に識別された共通オブジェクトの測定値に基づいて、複数の画像からベストマッチ画像を識別することであって、ベストマッチ画像は、航空機の複数の近接姿勢のうちの対応する近接姿勢に対応する、複数の予想される視点のうちの対応する視点からの画像であり、複数の近接姿勢のうちの対応する近接姿勢が、対応する調整された高度、調整された方位、および飛行場滑走路からの調整された距離を有する、識別すること;対応する調整された高度、調整された方位、および飛行場滑走路までの調整された距離を有する、航空機の更新された現在の姿勢推定値を、ベストマッチ画像と、対応する調整された高度、調整された方位、および飛行場滑走路からの調整された距離とに基づいて生成すること;ならびに最終進入での航空機の誘導に使用するため、更新された現在の姿勢推定値を航空機の飛行制御コンピュータに出力すること。
任意の前述の実施例、または前述の実施例の任意の組み合わせの方法のいくつかの実施例において、現在の姿勢推定値を取得することは、航空機システムデータを介して、飛行場滑走路に対する航空機の初期姿勢推定値を決定すること、および初期姿勢推定値を現在の姿勢推定値として設定すること、を含む。
任意の前述の実施例、または前述の実施例の任意の組み合わせの方法のいくつかの実施例において、更新された現在の姿勢推定値は、飛行場に関連する計器着陸システムの航法データを使用せずに、最終進入で航空機を誘導するのに使用するため、航空機の飛行制御コンピュータに出力される。
任意の前述の実施例、または前述の実施例の任意の組み合わせの方法のいくつかの実施例において、複数の近接姿勢は、ある数の近接姿勢を含み、複数の近接姿勢を決定することは、飛行場滑走路からの現在の距離が減少するにつれて、決定される近接姿勢の数を減らすことを、含む。
任意の前述の実施例、または前述の実施例の任意の組み合わせの方法のいくつかの実施例において、比較を実行することは、リアルタイム画像と複数の画像の比較を実行して、リアルタイム画像と複数の画像内に識別された共通オブジェクトを含む、ベストマッチ画像の1つ以上のセクションを識別することを、含む。
任意の前述の実施例、または前述の実施例の任意の組み合わせの方法のいくつかの実施例において、比較を実行することは、リアルタイム画像と複数の画像内に識別された共通オブジェクトの測定値として、リアルタイム画像と複数の画像との間の相関度を決定することを、含む。
任意の前述の実施例、または前述の実施例の任意の組み合わせの方法のいくつかの実施例において、リアルタイム画像とベストマッチ画像との間の相関度は、リアルタイム画像とベストマッチ画像との間の類似性のレベルを示し、この方法は、類似性のレベルをユーザに示すインジケータを生成することを、さらに含む。
任意の前述の実施例、または前述の実施例の任意の組み合わせの方法のいくつかの実施例において、この方法は、更新された現在の姿勢推定値を使用して、最終進入のための航空機の自動着陸システムの命令を有効にすることを、さらに含む。
いくつかの実施例は、飛行場の滑走路に進入している航空機を支援するための装置を提供する。装置は、プロセッサと、プロセッサによる実行に応答して、装置に、少なくとも、任意の前述の実施例、または任意の前述の実施例の任意の組み合わせの方法を実行させる、実行可能な命令を格納するメモリと、を備える。
いくつかの実施例は、飛行場の滑走路に進入している航空機を支援するためのコンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体は、非一過性であり、プロセッサによる実行に応答して、少なくとも任意の前述の実施例またはそれらの任意の組み合わせの方法を装置に実行させる、コンピュータ可読プログラムコードを、格納する。
本開示のこれらおよび他の特徴、態様、および利点は、以下に簡単に説明される添付の図面とともに以下の詳細な説明を読むことから明らかになるであろう。本開示は、そのような特徴または要素が、本明細書に記載の特定の実施例において明示的に組み合わされているか、または他の方法で列挙されているかどうかにかかわらず、本開示に記載される2つ、3つ、4つまたはそれ以上の特徴または要素の任意の組み合わせを含む。本開示は、本開示の文脈が明確に別段に指示しない限り、その態様および実施例のいずれにおいても、本開示の任意の分離可能な特徴または要素が、組み合わせ可能であると見なされるように、全体論的に読まれることを意図している。
それゆえに、この発明の概要は、本開示のいくつかの態様の基本的な理解を提供するように、いくつかの実施例を要約する目的のためだけに提供されることが、理解されるであろう。したがって、上記の実施例は、単なる例であり、本開示の範囲または精神を何らかの形で狭めると解釈されるべきではないことが、理解されよう。他の実施例、態様、および利点が、いくつかの説明された実施例の原理を例として示す添付の図面と併せて、以下の詳細な説明から明らかになるであろう。
かくして、一般的な用語で本開示の実施例を説明したが、次に、添付図面を参照する。これらは、必ずしも縮尺通りに描かれていない。
本開示の実施例による、飛行場の滑走路に進入している航空機を支援するためのシステムを示す。 本開示の実施例による、飛行場滑走路のリアルタイム画像を示す。 本開示の実施例による、飛行場滑走路の生成された画像を示す。 本開示の実施例による、飛行場滑走路の生成された画像を示す。 本開示の実施例による、システムを説明する図を示す。 本開示の実施例による、飛行場の滑走路に進入している航空機を支援する方法における様々な動作のフローチャートを示す。 本開示の実施例による、飛行場の滑走路に進入している航空機を支援する方法における様々な動作のフローチャートを示す。 いくつかの実施例による装置を示す。
本開示のいくつかの実施態様が、添付の図面を参照して、以下により十分に説明され、添付の図面には、本開示の全てではないが、いくつかの実施態様が示されている。実際、本開示の様々な実施態様は、多くの異なる形態で具現化されてもよく、本明細書に記載の実施態様に限定されると解釈されるべきではない。むしろ、これらの実施例は、本開示が徹底的かつ完全であり、本開示の範囲を当業者に十分に伝えるように、提供されている。例えば、特に断りのない限り、何かを第1、第2などとして参照することは、特定の順序を意味すると解釈されるべきではない。また、他の何かの上にあると記述されたものは、(特に断りのない限り)代わりに下にあってもよく、逆もまた同様である。同様に、他の何かの左側にあると記述されたものは、代わりに右側にあってもよく、逆もまた同様である。全体を通して、同様の参照番号は、同様の要素を指す。
本開示の実施例は、概して航空機の動作に関し、特に、航空機の、コンピュータビジョンに基づく自律着陸または監視自律着陸に関する。
図1は、本開示の実施例による、飛行場の滑走路に進入している航空機を支援するためのシステム100を示す。いくつかの例では、図6を参照してより詳細に説明されるように、システムは、飛行場の滑走路に進入している航空機を支援するための装置によって実施され得る。実施例は、主に、飛行場の滑走路に進入している航空機を支援するという文脈で説明される。このシステムは、多くの異なるタイプの有人または無人の陸上車両、航空機、宇宙船、船舶などの、多くのタイプの車両のいずれにも適用可能であることを、理解されたい。例えば、このシステムは、上記の様々なタイプの車両の自動ドッキングに使用することができる。
システム100は、1つ以上の機能または動作を実行するための多数の異なるサブシステム(それぞれ個々のシステム)のうちのいずれかを含む。示されているように、いくつかの例では、システムは、航空機支援サブシステム101、画像キャプチャデバイス111、および表示デバイス121の各々の1つ以上を含む。また示されているように、航空機支援サブシステムは、姿勢推定器102、画像生成器103、画像比較器104、および精緻化された姿勢推定器105を含むことができる。航空機支援サブシステム、画像キャプチャデバイス、および表示デバイスは、同じ場所に配置するか、もしくは互いに直接結合することができ、または、いくつかの例では、様々なサブシステムが、1つ以上のコンピュータネットワークを介して互いに通信することができる。さらに、システムの一部として示されているけれども、姿勢推定器、画像生成器、画像比較器、および精緻化された姿勢推定器のうちのいずれか1つ以上が、他のサブシステムのいずれにも関係なく、別個のシステムとして機能または動作してもよい。システムは、図1に示したものとは別の1つ以上の追加または代替のサブシステムを含んでもよい。システムは、航空機131に搭載されていてもよく、航空機が飛行中および飛行場滑走路に進入しているときに、航空機の精緻化された姿勢を生成することができる。
いくつかの例では、姿勢推定器102は、飛行場滑走路に対する航空機131の現在の姿勢推定値を取得するように構成される。航空機の現在の姿勢推定値は、現在の高度、方位、および飛行場滑走路からの距離を有する。いくつかの例では、姿勢推定器は、航空機システムデータを介して、飛行場滑走路に対する航空機の初期姿勢推定値を決定するように構成される。姿勢推定器は、初期姿勢推定値を現在の姿勢推定値として設定するように、さらに構成される。例えば、姿勢推定器は、航空機の初期姿勢推定値として、航空機上の全地球測位システム(GPS)受信機などの衛星航法システム受信機からの航法データを利用することができる。
いくつかの例では、航空機131の現在の姿勢推定値が取得された後、姿勢推定器102は、航空機の現在の姿勢推定値に基づいて、航空機の複数の近接姿勢を決定するように、構成されている。複数の近接姿勢の各々が、現在の高度、方位、および飛行場滑走路からの距離から所定量以内の、調整された高度、調整された方位、および調整された距離を有する。所定量は、所定の距離または範囲であり得、近接姿勢は、所定の距離または範囲内の、現在の姿勢推定値に近接した姿勢であり得る。
いくつかの例では、複数の近接姿勢は、ある数の近接姿勢を含む。姿勢推定器は、飛行場滑走路からの現在の距離が減少するにつれて、決定される近接姿勢の数を減らすように、構成される。これにより、航空機支援サブシステム101に対する計算需要を減らすことができる。別の例では、飛行場までの距離が減少するにつれて、計算需要を減らすために、近接姿勢の多様性を制限することができる。
いくつかの例では、近接姿勢が決定された後、画像生成器103は、複数の近接姿勢に対応する航空機131の複数の予想される視点からの飛行場滑走路の複数の画像を、飛行場の飛行場モデルデータから生成するように、構成されている。例えば、画像生成器は、航空機の複数の予想される視点の各々について1つ以上の画像を生成することができる。予想される視点の各々が、それぞれの近接姿勢に対応してもよい。一例では、画像生成器は、航空機の任意の予想される視点から飛行場滑走路の画像を生成することができ、予想される視点は、例えば、航空機の感知された高度に基づく航空機位置の初期推定値を使用して決定することができる。別の例では、計算需要を減らすために、生成された画像は、シーン内で飛行場の広がりのみをキャプチャすることができる。
いくつかの例では、航空機131上の画像キャプチャデバイス111は、航空機の前方部分に配置され、航空機が飛行場滑走路に進入しているときに、飛行場滑走路のリアルタイム画像を取得するように、構成されている。一例では、航空機支援サブシステム101は、航空機の機体上の基準位置に対する画像キャプチャデバイスの向きおよび位置の情報を有してもよい。画像キャプチャデバイスは、1つ以上のカメラおよび/または画像センサを含むことができる。画像キャプチャデバイスは、航空機が飛行場滑走路に進入しているときの様々な異なる時点で、飛行場滑走路の複数のリアルタイム画像をキャプチャすることができる。
航空機131の精緻化された姿勢を推定するために、いくつかの例では、画像比較器104は、リアルタイム画像と複数の画像の比較を実行して、複数の画像からベストマッチ画像を識別するように、構成される。この比較は、リアルタイム画像と複数の画像内に識別された共通オブジェクトの測定値に基づいている。ベストマッチ画像は、航空機の複数の近接姿勢のうちの対応する近接姿勢に対応する、複数の予想される視点のうちの対応する視点からの画像である。複数の近接姿勢のうちの対応する近接姿勢は、対応する調整された高度、調整された方位、および飛行場滑走路からの調整された距離を有する。
比較を実行するとき、いくつかの例では、画像比較器104は、リアルタイム画像と複数の画像の比較を実行して、リアルタイム画像と複数の画像内に識別された共通オブジェクトを含む、ベストマッチ画像の1つ以上のセクションを識別するように、構成されている。例えば、ベストマッチ画像の1つ以上のセクションは、航空機131が進入している飛行場もしくは滑走路を、主に含んでもよく、または、それのみを含んでもよい。
比較を実行するとき、いくつかの例では、画像比較器104は、リアルタイム画像と複数の画像との間の相関度を決定するように、構成されている。相関度は、リアルタイム画像と複数の画像内に識別された共通オブジェクトの測定値として使用される。例えば、画像比較器は、リアルタイム画像と複数の画像の内容全体の間のフル画像相関度を決定することができる。別の例では、画像比較器は、複数の画像の各画像の、飛行場を含む部分を、リアルタイム画像のフルサイズまたは飛行場が現れるリアルタイム画像の部分と相関させることができる。複数の画像の各画像の前記部分は、例えば、画像内で飛行場に近接して配置された、いくつかの建物または構造物を含んでもよく、その場合、画像比較器104は、複数の画像内の構造物の1つ以上を、航空機131上の画像キャプチャデバイス111によりキャプチャされた飛行場滑走路のリアルタイム画像で識別された構造物と相関させることができる。
いくつかの例では、リアルタイム画像とベストマッチ画像の間の相関度は、リアルタイム画像とベストマッチ画像の間の類似性のレベルを示す。画像比較器104は、例えば、(予想される各視点についての)複数の画像の各画像内で飛行場に近接して配置された、いくつかの建物、構造物または他の特徴部の識別に基づいて、生成された複数の画像の各画像について類似性のレベルを決定することができる。画像比較器104は、リアルタイム画像内の構造物に対応する、生成された画像内に識別された構造物の類似性の最高レベルおよび/または最大数に基づいて、画像キャプチャデバイス111によってキャプチャされた飛行場のリアルタイム画像に最も一致(ベストマッチ)する(複数の予想される視点のうちの1つからの)画像を決定するように、構成されてもよい。同様に、画像比較器104は、例えば、飛行場のリアルタイム画像に対する、複数の画像の各画像内で飛行場に近接して配置された、いくつかの建物、構造物または他の特徴部の向きの比較に基づいて、生成された複数の画像の各画像の類似性のレベルを決定してもよい。画像比較器は、相関度を表示デバイス121に提供することができる。表示デバイスは、航空機131のパイロットなどのユーザに類似性のレベルを示すインジケータを生成するように構成される。インジケータは、表示デバイスによって表示されるマークであってもよい。一例では、比較された画像間の共通情報の正規化された値が、相関度として生成される。値は、値が1に近づくと、より一致(マッチ)していることを示すことができる。
いくつかの例では、ベストマッチ画像が識別された後に、精緻化された姿勢推定器105は、ベストマッチ画像ならびに対応する調整された高度、調整された方位、および飛行場滑走路からの調整された距離に基づいて、航空機131の更新された現在の姿勢推定値を生成するように構成されている。更新された現在の姿勢推定値は、対応する調整された高度、調整された方位、および飛行場滑走路までの調整された距離を有する。
航空機131の更新された現在の姿勢推定値が生成された後、いくつかの例では、精緻化された姿勢推定器105は、最終進入での航空機の誘導に使用するため、更新された現在の姿勢推定値を航空機の飛行制御コンピュータに出力するように構成される。いくつかの例では、飛行場に関連する計器着陸システムの航法データを使用せずに、最終進入で航空機を誘導するのに使用するため、更新された現在の姿勢推定値が、航空機の飛行制御コンピュータに出力される。更新された現在の姿勢推定値は、表示デバイス121によって表示されてもよい。
いくつかの例では、精緻化された姿勢推定器105は、更新された現在の姿勢推定値を使用して、最終進入のための航空機131の自動着陸システム(ALS)141の命令を有効にするように、構成される。例えば、ALSは、命令を含むデータを航空機支援サブシステム101に供給することができる。航空機支援サブシステムは、ALSによって供給されたデータの有効性の能動的な確認を提供することができる。ALSおよび航空機支援サブシステムによって生成された高度、方位、および距離の推定値が、許容範囲またはしきい値内にある場合、ALSを有効にすることができる。
図2A、図2B、および図2Cはそれぞれ、本開示の実施例による、飛行場滑走路のリアルタイム画像および飛行場滑走路の2つの生成された画像を示す。示されているように、図2Aは、航空機が飛行場滑走路に進入しているときに航空機131上の撮像デバイス111によってキャプチャされた飛行場のシーンのリアルタイム画像を示す。図2Bおよび図2Cはそれぞれ、航空機の2つの予想される視点からの飛行場のシーンの2つの生成された画像を示す。2つの予想される視点は、上記のように、それぞれ2つの近接姿勢に対応することができる。
図3は、本開示の実施例による、システム100を説明する図300を示す。示されているように、この方法では、姿勢推定器102は、航空機システムデータを介して、飛行場滑走路に対する航空機131の初期姿勢推定値301を決定することができる。姿勢推定器は、初期姿勢推定値を現在の姿勢推定値302として設定することができる。現在の姿勢推定値の位置データを、画像生成器103に供給することができる。画像生成器は、位置データおよび3D地形データベース303を使用して、画像304を生成することができる。3D地形データベースは、飛行場内の建物や構造物、地形の高さ、および/または滑走路や光源などの特徴部を含むことができる。生成された画像は、上記のように、複数の近接姿勢に対応する航空機の複数の予想される視点からの画像であり得る。
画像キャプチャデバイス111は、飛行場滑走路のリアルタイム画像305を取得することができる。ブロック306で、画像比較器104は、リアルタイム画像と複数の画像との比較を実行して、複数の画像からベストマッチ画像を識別することができる。この比較は、上述のように、飛行場滑走路などの、リアルタイム画像および複数の画像内に識別された共通オブジェクトの測定値に基づくことができる。精緻化された姿勢推定器105は、航空機131の更新された現在の姿勢推定値として最良の姿勢307を、比較に基づいて決定することができる。精緻化された姿勢推定器はまた、最終進入での航空機の誘導に使用するため、更新された現在の姿勢推定値を航空機の飛行制御コンピュータに出力することもできる。示されているように、更新された現在の姿勢推定値は、飛行場滑走路に対する精緻化された航空機姿勢であり得る。更新された現在の姿勢推定値は、3D座標x、y、zなどの、飛行場滑走路に対する航空機の精緻化された位置データを含み、さらにロール(r)、ピッチ(p)、ヨー(y)などの姿勢情報も含む。
図4と図5は、本開示の実施例による、飛行場の滑走路に進入している航空機131を支援する方法400、方法500における様々な動作のフローチャートを示す。図4において、方法400のブロック401で、姿勢推定器102は、利用可能な航法補助を使用して、飛行場滑走路に対する航空機の初期姿勢推定値を決定することができる。ブロック402で、姿勢推定器は、初期姿勢推定値を現在の姿勢推定値として設定することができる。ブロック403で、姿勢推定器は、現在の姿勢の推定高度および飛行場からの推定距離に基づいて、複数の近接姿勢を決定することができる。複数の近接姿勢の各々が、現在の姿勢の推定高度および飛行場からの推定距離から所定量以内の、調整された高度および調整された距離を有する。
ブロック404で、画像生成器103は、飛行場モデルデータを読み出して来て、複数の潜在的な視点を表す複数の予想画像を、モデルデータから作成することができる。複数の予想画像は、決定された近接姿勢に対応し得る。ブロック405で、飛行場に進入している航空機131上の画像キャプチャデバイス111は、飛行場のリアルタイム画像を取得することができる。ブロック406で、画像比較器104は、パターンマッチアルゴリズムを使用して、リアルタイム画像と複数の予想画像との比較を実行して、最も一致する(ベストマッチ)予想画像を識別することができる。比較は、共通情報の測定値に基づくことができる。
ブロック407で、精緻化された姿勢推定器105は、ベストマッチ予想画像について、対応する調整された高度および飛行場からの調整された距離を決定することができる。さらに、精緻化された姿勢推定器は、調整された高度および調整された距離を用いて、更新された現在の姿勢推定値を生成することができる。ブロック408で、精緻化された姿勢推定器は、更新された現在の姿勢推定値を、航空機131の飛行管理コンピュータに出力することができる。更新された現在の姿勢推定値は、現在の姿勢推定値を更新するために、ブロック402にフィードバックされることができる。ブロック409で、飛行管理コンピュータは、ALSおよび/または計器着陸システム(ILS)からの航法データが存在しないときに、または航法データを補って、最終進入での誘導で、更新された姿勢推定値を使用することができる。
図5において、ブロック501に示すように、方法500は、飛行場滑走路に対する航空機131の現在の姿勢推定値を取得することを含み、現在の姿勢推定値は、現在の高度、方位、および飛行場滑走路からの距離を有する。ブロック502で、この方法は、航空機の複数の近接姿勢を、航空機の現在の姿勢推定値に基づいて決定することを含み、複数の近接姿勢の各々が、現在の高度、方位、および飛行場滑走路からの距離から所定量以内の、調整された高度、調整された方位、および調整された距離を有する。
ブロック503で、方法500は、複数の近接姿勢に対応する航空機131の複数の予想される視点からの飛行場滑走路の複数の画像を、飛行場の飛行場モデルデータから生成することを含む。ブロック504で、この方法は、飛行場滑走路に進入している航空機上の撮像デバイスから、飛行場滑走路のリアルタイム画像を取得することを含む。
ブロック505で、この方法は、リアルタイム画像と複数の画像の比較を実行して、リアルタイム画像と複数の画像内に識別された共通オブジェクトの測定値に基づいて、複数の画像からベストマッチ画像を識別することを含み、ベストマッチ画像は、航空機の複数の近接姿勢のうちの対応する近接姿勢に対応する、複数の予想される視点のうちの対応する視点からの画像であり、複数の近接姿勢のうちの対応する近接姿勢は、対応する調整された高度、調整された方位、および飛行場滑走路からの調整された距離を有する。
ブロック506で、方法500は、対応する調整された高度、調整された方位、および飛行場滑走路までの調整された距離を有する、航空機131の更新された現在の姿勢推定値を、ベストマッチ画像と、対応する調整された高度、調整された方位、および飛行場滑走路からの調整された距離とに基づいて生成することを含む。ブロック507で、この方法は、最終進入での航空機の誘導に使用するため、更新された現在の姿勢推定値を航空機の飛行制御コンピュータに出力することを含む。例えば、更新された現在の姿勢推定値は、着陸を成功させるために、航空機のパイロットまたは自動操縦装置によって利用することができる。この方法は、より正確な更新された現在の姿勢推定値を生成するために、航空機が飛行場滑走路に進入しているときの様々な異なる時点で、航空機支援サブシステム101によって複数回実施することができる。
本開示の実施例によれば、システム100、ならびに航空機支援サブシステム101、画像キャプチャデバイス111、および表示デバイス121を含むそのサブシステムは、様々な手段によって実施することができる。システムおよびそのサブシステムを実施する手段は、ハードウェアを単独で、またはコンピュータ可読記憶媒体からの1つ以上のコンピュータプログラムの指示の下で、含んでもよい。いくつかの例では、1つ以上の装置が、本明細書に示され説明されているシステムおよびそのサブシステムとして機能するか、またはシステムおよびそのサブシステムを実施するように、構成されてもよい。1つより多い装置を含む例では、それぞれの装置は、直接的に、または有線もしくは無線ネットワークなどを介して間接的になど、多くの異なる仕方で互いに接続され、または互いと通信することができる。
図6は、いくつかの実施例による装置600を示す。一般に、本開示の実施例の装置は、1つ以上の据付型もしくは携帯型電子デバイスを備える、含む、またはそれらに具現化されることができる。適切な電子デバイスの例は、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーションコンピュータ、サーバコンピュータなどを含む。装置は、例えば、メモリ602(例えば、記憶デバイス)に接続されたプロセッサ601(例えば、処理回路)などの、いくつかのコンポーネントのそれぞれのうちの1つ以上を含むことができる。いくつかの例では、装置600は、システム100を実施する。
プロセッサ601は、1つ以上のプロセッサ単独で、または1つ以上のメモリと組み合わせて、構成されてもよい。一般に、プロセッサは、例えばデータ、コンピュータプログラム、および/または他の適切な電子情報などの情報を処理することができる任意のコンピュータハードウェアである。プロセッサは、電子回路の集まりで構成され、電子回路のいくつかは、集積回路または相互接続された複数の集積回路(集積回路は、より一般的には「チップ」と呼ばれることもある)としてパッケージングされていてもよい。プロセッサは、コンピュータプログラムを実行するように構成されてもよく、コンピュータプログラムは、プロセッサに内蔵されていてもよいし、または(同じもしくは別の装置の)メモリ602に記憶されていてもよい。
プロセッサ601は、特定の実施態様に応じて、いくつかのプロセッサ、マルチコアプロセッサ、または他の何らかのタイプのプロセッサとすることができる。さらに、プロセッサは、メインプロセッサが単一チップ上に1つ以上の二次プロセッサとともに存在する、いくつかのヘテロジニアスプロセッサシステムを使用して、実装されてもよい。別の例示的な例として、プロセッサは、同じタイプの複数のプロセッサを含む対称型マルチプロセッサシステムであってもよい。さらに別の例では、プロセッサは、1つ以上の特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)などとして具現化されるか、またはそれらを含むことができる。したがって、プロセッサは、コンピュータプログラムを実行して、1つ以上の機能を実行することができるけれども、様々な例のプロセッサは、コンピュータプログラムの助けを借りずに、1つ以上の機能を実行することができる。いずれの場合も、プロセッサは、本開示の実施例による機能または動作を実行するように、適切にプログラムされ得る。
一般に、メモリ602は、例えば、データ、コンピュータプログラム(例えば、コンピュータ可読プログラムコード603)、および/または他の適切な情報などの情報を、一時的または恒久的に記憶することができる任意のコンピュータハードウェアである。メモリは、揮発性および/または不揮発性メモリを含んでもよく、固定されていても、または取り外し可能であってもよい。適切なメモリの例は、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、ハードドライブ、フラッシュメモリ、サムドライブ、リムーバブルコンピュータディスケット、光ディスク、磁気テープ、またはこれらの組み合わせを含む。光ディスクは、コンパクトディスク、読み取り専用コンパクトディスク(CD−ROM)、読み取り/書き込みコンパクトディスク(CD−R/W)、DVDなどを含むことができる。様々な例において、メモリは、コンピュータ可読記憶媒体と呼ばれる場合がある。コンピュータ可読記憶媒体は、情報を記憶することができる非一過性のデバイスであり、ある場所から別の場所に情報を運ぶことができる電子的な一過性の信号などのコンピュータ可読伝送媒体とは区別される。本明細書で説明されるコンピュータ可読媒体は、一般に、コンピュータ可読記憶媒体またはコンピュータ可読伝送媒体を指すことができる。
メモリ602に加えて、プロセッサ601はまた、情報を表示、送信および/または受信するための1つ以上のインターフェースに接続されてもよい。インターフェースは、通信インターフェース604(例えば、通信ユニット)および/または1つ以上のユーザインターフェースを含み得る。通信インターフェースは、例えば他の装置、ネットワークなどとの間で、情報を送信および/または受信するように構成され得る。通信インターフェースは、物理的(有線)および/または無線通信リンクによって情報を送信および/または受信するように構成され得る。適切な通信インターフェースの例は、ネットワークインターフェースコントローラ(NIC)、ワイヤレスNIC(WNIC)などを含む。
ユーザインターフェースは、ディスプレイ606および/または1つ以上のユーザ入力インターフェース605(例えば、入力/出力ユニット)を含み得る。ディスプレイ606は、図1の表示デバイス121に対応し得る。ディスプレイは、ユーザに情報を提示または表示するように構成され得、その適切な例には、液晶ディスプレイ(LCD)、発光ダイオードディスプレイ(LED)、プラズマディスプレイパネル(PDP)などが含まれる。ユーザ入力インターフェースは、有線でも無線でもよく、処理、記憶、および/または表示などのために、ユーザから装置内に情報を受信するように構成され得る。ユーザ入力インターフェースの適切な例には、マイク、キーボードまたはキーパッド、ジョイスティック、タッチ感応表面(タッチスクリーンとは別個またはタッチスクリーンに統合されている)、生体認証センサなどが含まれる。ユーザ入力インターフェースは、図1の画像キャプチャデバイス111を含むことができ、それは、画像またはビデオキャプチャデバイスであり得る。ユーザインターフェースは、プリンタ、スキャナなどの周辺機器と通信するための1つ以上のインターフェースを、さらに含むことができる。
上述のように、プログラムコード命令は、メモリに格納され、プロセッサによって実行されて、それによって、プロセッサは、本明細書に記載のシステム、サブシステム、ツールおよびそれらのそれぞれの要素の機能を実施するように、プログラムされる。理解されるように、任意の適切なプログラムコード命令が、コンピュータ可読記憶媒体からコンピュータまたは他のプログラム可能な装置にロードされて、本明細書で指定された機能を実施するための手段になるような特定の機械を生成することができる。これらのプログラムコード命令は、特定の仕方で機能して、それにより特定の機械または特定の製造品を生成するように、コンピュータ、プロセッサまたは他のプログラム可能な装置に指示できるコンピュータ可読記憶媒体に格納されてもよい。コンピュータ可読記憶媒体に格納された命令は、本明細書で説明される機能を実施するための手段になる製造品を生成することができる。プログラムコード命令は、コンピュータ可読記憶媒体から読み出されて、コンピュータ、プロセッサまたは他のプログラム可能な装置にロードされて、コンピュータ、プロセッサまたは他のプログラム可能な装置上で、またはそれらによって行なわれるべき動作を実行するように、コンピュータ、プロセッサまたは他のプログラム可能な装置を構成することができる。
プログラムコード命令の読み出し、ロード、および実行は、一度に1つの命令が読み出し、ロード、および実行されるように、シーケンシャルに行なわれてもよい。いくつかの実施例では、複数の命令が一緒に読み出し、ロード、および/または実行されるように、読み出し、ロード、および/または実行は、パラレルに行なわれてもよい。プログラムコード命令の実行は、コンピュータ、プロセッサ、または他のプログラム可能な装置によって実行された命令が、本明細書に記載の機能を実施するための動作を提供するような、コンピュータ実施プロセスを生成することができる。
条項1
飛行場の滑走路に進入している航空機(131)を支援するための装置(600)であって、装置は、プロセッサ(601)とメモリ(602)を備え、メモリは、実行可能な命令を格納し、実行可能な命令は、プロセッサによる実行に応答して、装置に、少なくとも、
飛行場滑走路に対する航空機の現在の姿勢推定値であって、現在の高度、方位、および飛行場滑走路からの距離を有する現在の姿勢推定値を取得すること;
航空機の複数の近接姿勢であって、各近接姿勢が、現在の高度、方位、および飛行場滑走路からの距離から所定量以内の、調整された高度、調整された方位、および調整された距離を有する、複数の近接姿勢を、航空機の現在の姿勢推定値に基づいて決定すること;
複数の近接姿勢に対応する航空機の複数の予想される視点からの、飛行場滑走路の複数の画像を、飛行場の飛行場モデルデータから生成すること;
飛行場滑走路に進入している航空機上の撮像デバイスから、飛行場滑走路のリアルタイム画像を取得すること;
リアルタイム画像と複数の画像の比較を実行して、リアルタイム画像と複数の画像内に識別された共通オブジェクトの測定値に基づいて、複数の画像からベストマッチ画像を識別することであって、ベストマッチ画像は、航空機の複数の近接姿勢のうちの対応する近接姿勢に対応する、複数の予想される視点のうちの対応する視点からの画像であり、複数の近接姿勢のうちの対応する近接姿勢が、対応する調整された高度、調整された方位、および飛行場滑走路からの調整された距離を有する、識別すること;
対応する調整された高度、調整された方位、および飛行場滑走路までの調整された距離を有する、航空機の更新された現在の姿勢推定値を、ベストマッチ画像と、対応する調整された高度、調整された方位、および飛行場滑走路からの調整された距離とに基づいて生成すること;ならびに
最終進入での航空機の誘導に使用するため、更新された現在の姿勢推定値を航空機の飛行制御コンピュータに出力すること、
を行なわせる、装置(600)。
条項2
装置に、現在の姿勢推定値を取得させることは、
航空機システムデータを介して、飛行場滑走路に対する航空機(131)の初期姿勢推定値を決定すること;および
初期姿勢推定値を現在の姿勢推定値として設定すること、
を行なわせることを含む、条項1の装置(600)。
条項3
装置に、更新された現在の姿勢推定値を出力させることは、飛行場に関連する計器着陸システムの航法データを使用せずに、最終進入で航空機を誘導するのに使用するため、更新された現在の姿勢推定値を航空機(131)の飛行制御コンピュータに出力させることを、含む、条項1または2の装置(600)。
条項4
複数の近接姿勢は、ある数の近接姿勢を含み、装置に、複数の近接姿勢を決定させることは、飛行場滑走路からの現在の距離が減少するにつれて、決定される近接姿勢の数を減らさせることを、含む、条項1から3のいずれかの装置(600)。
条項5
装置に、比較を実行させることは、装置に、リアルタイム画像と複数の画像の比較を実行させて、リアルタイム画像と複数の画像内に識別された共通オブジェクトを含む、ベストマッチ画像の1つ以上のセクションを識別させることを、含む、条項1から4のいずれかの装置(600)。
条項6
装置に、比較を実行させることは、装置に、リアルタイム画像と複数の画像内に識別された共通オブジェクトの測定値として、リアルタイム画像と複数の画像との間の相関度を決定させることを、含む、条項1から5のいずれかの装置(600)。
条項7
リアルタイム画像とベストマッチ画像との間の相関度は、リアルタイム画像とベストマッチ画像との間の類似性のレベルを示し、メモリ(602)は、プロセッサ(601)による実行に応答して、装置に、さらに、類似性のレベルをユーザに示すインジケータを生成させる、さらなる実行可能な命令を格納する、条項6の装置(600)。
条項8
メモリ(602)が、プロセッサ(601)による実行に応答して、装置に、さらに、更新された現在の姿勢推定値を使用して、最終進入のための航空機(131)の自動着陸システム(141)の命令を有効にさせる、さらなる実行可能な命令を格納する、条項1から7のいずれかの装置(600)。
条項9
飛行場の滑走路に進入している航空機(131)を支援する方法(500)であって、
飛行場滑走路に対する航空機の現在の姿勢推定値であって、現在の高度、方位、および飛行場滑走路からの距離を有する現在の姿勢推定値を取得すること(501);
航空機の複数の近接姿勢であって、各近接姿勢が、現在の高度、方位、および飛行場滑走路からの距離から所定量以内の、調整された高度、調整された方位、および調整された距離を有する、複数の近接姿勢を、航空機の現在の姿勢推定値に基づいて決定すること(502);
複数の近接姿勢に対応する航空機の複数の予想される視点からの、飛行場滑走路の複数の画像を、飛行場の飛行場モデルデータから生成すること(503);
飛行場滑走路に進入している航空機上の撮像デバイスから、飛行場滑走路のリアルタイム画像を取得すること(504);
リアルタイム画像と複数の画像の比較を実行して、リアルタイム画像と複数の画像内に識別された共通オブジェクトの測定値に基づいて、複数の画像からベストマッチ画像を識別することであって、ベストマッチ画像は、航空機の複数の近接姿勢のうちの対応する近接姿勢に対応する、複数の予想される視点のうちの対応する視点からの画像であり、複数の近接姿勢のうちの対応する近接姿勢が、対応する調整された高度、調整された方位、および飛行場滑走路からの調整された距離を有する、識別すること(505);
対応する調整された高度、調整された方位、および飛行場滑走路までの調整された距離を有する、航空機の更新された現在の姿勢推定値を、ベストマッチ画像と、対応する調整された高度、調整された方位、および飛行場滑走路からの調整された距離とに基づいて生成すること(506);ならびに
最終進入での航空機の誘導に使用するため、更新された現在の姿勢推定値を航空機の飛行制御コンピュータに出力すること(507)、
を含む方法(500)。
条項10
現在の姿勢推定値を取得すること(501)は、
航空機システムデータを介して、飛行場滑走路に対する航空機(131)の初期姿勢推定値を決定すること;および
初期姿勢推定値を現在の姿勢推定値として設定すること、
を含む、条項9の方法(500)。
条項11
飛行場に関連する計器着陸システムの航法データを使用せずに、最終進入で航空機を誘導するのに使用するため、更新された現在の姿勢推定値が、航空機(131)の飛行制御コンピュータに出力される、条項9または10の方法(500)。
条項12
複数の近接姿勢は、ある数の近接姿勢を含み、複数の近接姿勢を決定すること(502)は、飛行場滑走路からの現在の距離が減少するにつれて、決定される近接姿勢の数を減らすことを、含む、条項9から11のいずれかの方法(500)。
条項13
比較を実行すること(505)は、リアルタイム画像と複数の画像の比較を実行して、リアルタイム画像と複数の画像内に識別された共通オブジェクトを含む、ベストマッチ画像の1つ以上のセクションを識別することを、含む、条項9から12のいずれかの方法(500)。
条項14
比較を実行すること(505)は、リアルタイム画像と複数の画像内に識別された共通オブジェクトの測定値として、リアルタイム画像と複数の画像との間の相関度を決定することを、含む、条項9から13のいずれかの方法(500)。
条項15
リアルタイム画像とベストマッチ画像との間の相関度は、リアルタイム画像とベストマッチ画像との間の類似性のレベルを示し、方法は、類似性のレベルをユーザに示すインジケータを生成することを、さらに含む、条項14の方法(500)。
条項16
更新された現在の姿勢推定値を使用して、最終進入のための航空機(131)の自動着陸システム(141)の命令を有効にすることを、さらに含む、条項9から15のいずれかの方法(500)。
条項17
飛行場の滑走路に進入している航空機(131)を支援するためのコンピュータ可読記憶媒体(602)であって、コンピュータ可読記憶媒体は、非一過性であり、かつコンピュータ可読プログラムコード(603)を格納しており、コンピュータ可読プログラムコードは、プロセッサ(601)による実行に応答して、装置(600)に、少なくとも、
飛行場滑走路に対する航空機の現在の姿勢推定値であって、現在の高度、方位、および飛行場滑走路からの距離を有する現在の姿勢推定値を取得すること;
航空機の複数の近接姿勢であって、各近接姿勢が、現在の高度、方位、および飛行場滑走路からの距離から所定量以内の、調整された高度、調整された方位、および調整された距離を有する、複数の近接姿勢を、航空機の現在の姿勢推定値に基づいて決定すること;
複数の近接姿勢に対応する航空機の複数の予想される視点からの、飛行場滑走路の複数の画像を、飛行場の飛行場モデルデータから生成すること;
飛行場滑走路に進入している航空機上の撮像デバイスから、飛行場滑走路のリアルタイム画像を取得すること;
リアルタイム画像と複数の画像の比較を実行して、リアルタイム画像と複数の画像内に識別された共通オブジェクトの測定値に基づいて、複数の画像からベストマッチ画像を識別することであって、ベストマッチ画像は、航空機の複数の近接姿勢のうちの対応する近接姿勢に対応する、複数の予想される視点のうちの対応する視点からの画像であり、複数の近接姿勢のうちの対応する近接姿勢が、対応する調整された高度、調整された方位、および飛行場滑走路からの調整された距離を有する、識別すること;
対応する調整された高度、調整された方位、および飛行場滑走路までの調整された距離を有する、航空機の更新された現在の姿勢推定値を、ベストマッチ画像と、対応する調整された高度、調整された方位、および飛行場滑走路からの調整された距離とに基づいて生成すること;ならびに
最終進入での航空機の誘導に使用するため、更新された現在の姿勢推定値を航空機の飛行制御コンピュータに出力すること、
を行なわせる、コンピュータ可読記憶媒体(602)。
条項18
装置(600)に、現在の姿勢推定値を取得させることは、
航空機システムデータを介して、飛行場滑走路に対する航空機(131)の初期姿勢推定値を決定すること;および
初期姿勢推定値を現在の姿勢推定値として設定すること、
を行なわせることを含む、条項17のコンピュータ可読記憶媒体(602)。
条項19
装置(600)に、更新された現在の姿勢推定値を出力させることは、飛行場に関連する計器着陸システムの航法データを使用せずに、最終進入で航空機を誘導するのに使用するため、更新された現在の姿勢推定値を航空機(131)の飛行制御コンピュータに出力させることを、含む、条項17のコンピュータ可読記憶媒体(602)。
条項20
複数の近接姿勢は、ある数の近接姿勢を含み、装置(600)に、複数の近接姿勢を決定させることは、飛行場滑走路からの現在の距離が減少するにつれて、決定される近接姿勢の数を減らさせることを、含む、条項17のコンピュータ可読記憶媒体(602)。
条項21
装置(600)に、比較を実行させることは、装置に、リアルタイム画像と複数の画像の比較を実行させて、リアルタイム画像と複数の画像内に識別された共通オブジェクトを含む、ベストマッチ画像の1つ以上のセクションを識別させることを、含む、条項17のコンピュータ可読記憶媒体(602)。
条項22
装置(600)に、比較を実行させることは、装置に、リアルタイム画像と複数の画像内に識別された共通オブジェクトの測定値として、リアルタイム画像と複数の画像との間の相関度を決定させることを、含む、条項17のコンピュータ可読記憶媒体(602)。
条項23
リアルタイム画像とベストマッチ画像との間の相関度は、リアルタイム画像とベストマッチ画像との間の類似性のレベルを示し、コンピュータ可読記憶媒体は、プロセッサ(601)による実行に応答して、装置(600)に、さらに、類似性のレベルをユーザに示すインジケータを生成させる、さらなるコンピュータ可読プログラムコード(603)を格納している、条項22のコンピュータ可読記憶媒体(602)。
条項24
プロセッサ(601)による実行に応答して、装置(600)に、さらに、更新された現在の姿勢推定値を使用して、最終進入のための航空機(131)の自動着陸システム(141)の命令を有効にさせる、さらなるコンピュータ可読プログラムコード(603)を格納している、条項17のコンピュータ可読記憶媒体(602)。
プロセッサによる命令の実行、すなわちコンピュータ可読記憶媒体への命令の格納は、指定された機能を実行するための動作の組み合わせを支援する。このようにして、装置600は、プロセッサ601と、プロセッサに結合されたコンピュータ可読記憶媒体またはメモリ602とを含むことができ、プロセッサは、メモリに格納されたコンピュータ可読プログラムコード603を実行するように構成されている。また、1つ以上の機能および機能の組み合わせは、その特定の機能を実行する専用ハードウェアベースのコンピュータシステムおよび/もしくはプロセッサ、または専用ハードウェアとプログラムコード命令の組み合わせによって実施されてもよいことも、理解されよう。
本明細書に記載される本開示の多くの修正および他の実施態様が、前述の説明および関連する図に示される教示の利益を得る、本開示が関係する当業者に思い浮かぶであろう。したがって、本開示は、開示された特定の実施態様に限定されるものではなく、修正および他の実施態様が添付の特許請求の範囲内に含まれることが意図されていることを、理解されたい。さらに、前述の説明および関連する図は、要素および/または機能の特定の例示的な組み合わせの文脈で例示的な実施態様を説明しているが、添付の特許請求の範囲から逸脱することなく、要素および/または機能の異なる組み合わせが、代替の実施態様によって提供されてもよいことを、理解されたい。これに関して、例えば、添付の特許請求の範囲のいくつかに記載されているかもしれないように、明示的に上述された組み合わせとは異なる要素および/または機能の組み合わせもまた考えられる。本明細書では特定の用語が使用されているが、それらは、一般的かつ説明的な意味でのみ使用されており、限定の目的ではない。

Claims (15)

  1. 飛行場の滑走路に進入している航空機(131)を支援するための装置(600)であって、前記装置は、プロセッサ(601)とメモリ(602)を備え、前記メモリは、実行可能な命令を格納し、前記実行可能な命令は、前記プロセッサによる実行に応答して、前記装置に、少なくとも、
    前記滑走路に対する前記航空機の現在の姿勢推定値であって、現在の高度、方位、および前記滑走路からの距離を有する現在の姿勢推定値を取得すること;
    前記航空機の複数の近接姿勢であって、各近接姿勢が、前記現在の高度、方位、および前記滑走路からの距離から所定量以内の、調整された高度、調整された方位、および調整された距離を有する、複数の近接姿勢を、前記航空機の前記現在の姿勢推定値に基づいて決定すること;
    前記複数の近接姿勢に対応する前記航空機の複数の予想される視点からの前記滑走路の複数の画像を、前記飛行場の飛行場モデルデータから生成すること;
    前記滑走路に進入している前記航空機上の撮像デバイスから、前記滑走路のリアルタイム画像を取得すること;
    前記リアルタイム画像と前記複数の画像の比較を実行して、ベストマッチ画像であって、前記ベストマッチ画像は、前記航空機の前記複数の近接姿勢のうちの対応する近接姿勢に対応する、前記複数の予想される視点のうちの対応する視点からの画像であり、前記複数の近接姿勢のうちの前記対応する近接姿勢は、対応する調整された高度、調整された方位、および前記滑走路からの調整された距離を有する、ベストマッチ画像を、前記リアルタイム画像内と前記複数の画像内に識別された共通オブジェクトの測定値に基づいて、前記複数の画像から識別すること;
    前記対応する調整された高度、調整された方位、および前記滑走路までの調整された距離を有する、前記航空機の更新された現在の姿勢推定値を、前記ベストマッチ画像、ならびに前記対応する調整された高度、調整された方位、および前記滑走路からの調整された距離に基づいて生成すること;ならびに
    最終進入での前記航空機の誘導に使用するため、前記更新された現在の姿勢推定値を前記航空機の飛行制御コンピュータに出力すること、
    を行なわせる、装置(600)。
  2. 前記現在の姿勢推定値を取得することを、前記装置に行なわせることは、
    航空機システムデータを介して、前記滑走路に対する前記航空機(131)の初期姿勢推定値を決定すること;および
    前記初期姿勢推定値を前記現在の姿勢推定値として設定すること、
    を行なわせることを含む、請求項1に記載の装置(600)。
  3. 前記更新された現在の姿勢推定値を出力することを、前記装置に行なわせることは、前記飛行場に関連する計器着陸システムの航法データを使用しない、前記最終進入での前記航空機の誘導に使用するため、前記更新された現在の姿勢推定値を前記航空機(131)の前記飛行制御コンピュータに出力することを、行なわせることを含む、請求項1または2に記載の装置(600)。
  4. 前記複数の近接姿勢は、ある数の近接姿勢を含み、前記複数の近接姿勢を決定することを、前記装置に行なわせることは、前記滑走路からの前記現在の距離が減少するにつれて、決定される近接姿勢の数を減らすことを、行なわせることを含む、請求項1から3のいずれか一項に記載の装置(600)。
  5. 前記比較を実行することを、前記装置に行なわせることは、前記リアルタイム画像と前記複数の画像の前記比較を実行して、前記リアルタイム画像内と前記複数の画像内に識別された前記共通オブジェクトを含む、前記ベストマッチ画像の1つ以上のセクションを識別することを、前記装置に行なわせることを含む、請求項1から4のいずれか一項に記載の装置(600)。
  6. 前記比較を実行することを、前記装置に行なわせることは、前記リアルタイム画像内と前記複数の画像内に識別された共通オブジェクトの前記測定値として、前記リアルタイム画像と前記複数の画像との間の相関度を決定することを、前記装置に行なわせることを含む、請求項1から5のいずれか一項に記載の装置(600)。
  7. 前記リアルタイム画像と前記ベストマッチ画像との間の相関度は、前記リアルタイム画像と前記ベストマッチ画像との間の類似性のレベルを示し、前記メモリ(602)は、さらなる実行可能な命令であって、前記プロセッサ(601)による実行に応答して、前記類似性のレベルをユーザに示すインジケータを生成することを、前記装置に、さらに行なわせる、さらなる実行可能な命令を格納する、請求項6に記載の装置(600)。
  8. 前記メモリ(602)が、さらなる実行可能な命令であって、前記プロセッサ(601)による実行に応答して、前記更新された現在の姿勢推定値を使用して、前記最終進入のための前記航空機(131)の自動着陸システム(141)の命令を有効にすることを、前記装置に、さらに行なわせる、さらなる実行可能な命令を格納する、請求項1から7のいずれか一項に記載の装置(600)。
  9. 飛行場の滑走路に進入している航空機(131)を支援する方法(500)であって、
    前記滑走路に対する前記航空機の現在の姿勢推定値であって、現在の高度、方位、および前記滑走路からの距離を有する現在の姿勢推定値を取得すること(501);
    前記航空機の複数の近接姿勢であって、各近接姿勢が、前記現在の高度、方位、および前記滑走路からの距離から所定量以内の、調整された高度、調整された方位、および調整された距離を有する、複数の近接姿勢を、前記航空機の前記現在の姿勢推定値に基づいて決定すること(502);
    前記複数の近接姿勢に対応する前記航空機の複数の予想される視点からの前記滑走路の複数の画像を、前記飛行場の飛行場モデルデータから生成すること(503);
    前記滑走路に進入している前記航空機上の撮像デバイスから、前記滑走路のリアルタイム画像を取得すること(504);
    前記リアルタイム画像と前記複数の画像の比較を実行して、ベストマッチ画像であって、前記ベストマッチ画像は、前記航空機の前記複数の近接姿勢のうちの対応する近接姿勢に対応する、前記複数の予想される視点のうちの対応する視点からの画像であり、前記複数の近接姿勢のうちの前記対応する近接姿勢は、対応する調整された高度、調整された方位、および前記滑走路からの調整された距離を有する、ベストマッチ画像を、前記リアルタイム画像内と前記複数の画像内に識別された共通オブジェクトの測定値に基づいて、前記複数の画像から識別すること(505);
    前記対応する調整された高度、調整された方位、および前記滑走路までの調整された距離を有する、前記航空機の更新された現在の姿勢推定値を、前記ベストマッチ画像、ならびに前記対応する調整された高度、調整された方位、および前記滑走路からの調整された距離に基づいて生成すること(506);ならびに
    最終進入での前記航空機の誘導に使用するため、前記更新された現在の姿勢推定値を前記航空機の飛行制御コンピュータに出力すること(507)、
    を含む方法(500)。
  10. 前記現在の姿勢推定値を取得すること(501)は、
    航空機システムデータを介して、前記滑走路に対する前記航空機(131)の初期姿勢推定値を決定すること;および
    前記初期姿勢推定値を前記現在の姿勢推定値として設定すること、
    を含む、請求項9に記載の方法(500)。
  11. 前記飛行場に関連する計器着陸システムの航法データを使用しない、前記最終進入での前記航空機の誘導に使用するため、前記更新された現在の姿勢推定値が、前記航空機(131)の前記飛行制御コンピュータに出力される、請求項9または10に記載の方法(500)。
  12. 前記複数の近接姿勢は、ある数の近接姿勢を含み、前記複数の近接姿勢を決定すること(502)は、前記滑走路からの前記現在の距離が減少するにつれて、決定される近接姿勢の数を減らすことを、含む、請求項9から11のいずれか一項に記載の方法(500)。
  13. 前記比較を実行すること(505)は、前記リアルタイム画像と前記複数の画像の前記比較を実行して、前記リアルタイム画像内と前記複数の画像内に識別された前記共通オブジェクトを含む、前記ベストマッチ画像の1つ以上のセクションを、識別することを含み、かつ/または前記比較を実行すること(505)は、前記リアルタイム画像内と前記複数の画像内に識別された共通オブジェクトの前記測定値として、前記リアルタイム画像と前記複数の画像との間の相関度を決定することを含む、請求項9から12のいずれか一項に記載の方法(500)。
  14. 前記リアルタイム画像と前記ベストマッチ画像との間の相関度は、前記リアルタイム画像と前記ベストマッチ画像との間の類似性のレベルを示し、前記方法は、前記類似性のレベルをユーザに示すインジケータを生成することを、さらに含む、請求項13に記載の方法(500)。
  15. 前記更新された現在の姿勢推定値を使用して、前記最終進入のための前記航空機(131)の自動着陸システム(141)の命令を有効にすることを、さらに含む、請求項9から14のいずれか一項に記載の方法(500)。
JP2019228097A 2018-12-20 2019-12-18 コンピュータビジョンに基づく、航空機の自律着陸または監視自律着陸 Active JP7340440B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/227,153 US11055875B2 (en) 2018-12-20 2018-12-20 Computer-vision-based autonomous or supervised- autonomous landing of aircraft
US16/227,153 2018-12-20

Publications (2)

Publication Number Publication Date
JP2020114726A true JP2020114726A (ja) 2020-07-30
JP7340440B2 JP7340440B2 (ja) 2023-09-07

Family

ID=68531427

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019228097A Active JP7340440B2 (ja) 2018-12-20 2019-12-18 コンピュータビジョンに基づく、航空機の自律着陸または監視自律着陸

Country Status (5)

Country Link
US (1) US11055875B2 (ja)
EP (1) EP3671397B1 (ja)
JP (1) JP7340440B2 (ja)
CN (1) CN111352434B (ja)
CA (1) CA3058723A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11370422B2 (en) * 2015-02-12 2022-06-28 Honda Research Institute Europe Gmbh Method and system in a vehicle for improving prediction results of an advantageous driver assistant system
CN112208783A (zh) * 2020-10-19 2021-01-12 陈穗 一种卫星定位数字通道式飞机低可见度辅助降落装置系统
CN112797982A (zh) * 2020-12-25 2021-05-14 中国航空工业集团公司沈阳飞机设计研究所 一种基于机器视觉的无人机自主着陆测量方法
US11900633B2 (en) 2021-01-27 2024-02-13 The Boeing Company Vehicle pose determination systems and methods
US11995228B2 (en) 2022-01-11 2024-05-28 Rockwell Collins, Inc. Head tracking system with extended kalman filter combining absolute and relative navigation
CN115329932A (zh) * 2022-08-05 2022-11-11 中国民用航空飞行学院 基于数字孪生的飞机着陆姿态监视方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5809171A (en) 1996-01-05 1998-09-15 Mcdonnell Douglas Corporation Image processing method and apparatus for correlating a test image with a template
US6980892B1 (en) * 2003-11-18 2005-12-27 Garmin International, Inc. Avionics system and method for providing altitude alerts during final landing approach
US20090306840A1 (en) 2008-04-08 2009-12-10 Blenkhorn Kevin P Vision-based automated landing system for unmanned aerial vehicles
US8332083B1 (en) * 2008-07-03 2012-12-11 Rockwell Collins, Inc. System and method for generating a missed approach path
JP5971466B2 (ja) * 2012-05-08 2016-08-17 日本電気株式会社 フライトパス表示システム、方法及びプログラム
FR3009117B1 (fr) * 2013-07-24 2016-11-25 Airbus Operations Sas Procede et systeme d'atterrissage automatique autonome
US9517844B2 (en) * 2013-09-25 2016-12-13 Honeywell International Inc. System and method for displaying airport features on a dynamic airport moving map display
EP3021306B1 (en) * 2014-11-14 2020-10-28 Airbus Defence and Space GmbH Automatic take-off and landing control device
KR102364730B1 (ko) * 2015-07-29 2022-02-18 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US9836064B2 (en) * 2016-03-02 2017-12-05 The Boeing Company Aircraft landing systems and methods
CN106927059A (zh) * 2017-04-01 2017-07-07 成都通甲优博科技有限责任公司 一种基于单目视觉的无人机降落方法及装置
WO2019061111A1 (zh) * 2017-09-27 2019-04-04 深圳市大疆创新科技有限公司 一种路径调整方法及无人机

Also Published As

Publication number Publication date
US20200202559A1 (en) 2020-06-25
EP3671397B1 (en) 2021-09-22
CN111352434A (zh) 2020-06-30
CA3058723A1 (en) 2020-06-20
CN111352434B (zh) 2023-11-28
JP7340440B2 (ja) 2023-09-07
US11055875B2 (en) 2021-07-06
EP3671397A1 (en) 2020-06-24

Similar Documents

Publication Publication Date Title
JP7340440B2 (ja) コンピュータビジョンに基づく、航空機の自律着陸または監視自律着陸
CN110458961B (zh) 基于增强现实的系统
US10767990B2 (en) Device, method, and system for processing survey data, and program therefor
US20170131716A1 (en) Methods and apparatus to autonomously navigate a vehicle by selecting sensors from which to obtain measurements for navigation
US20160093225A1 (en) Landing system for an aircraft
US20160086497A1 (en) Landing site tracker
EP2618322B1 (en) System and method for detecting and displaying airport approach lights
KR102003187B1 (ko) 무인 비행체에 의해 촬영된 이미지들을 사용하여 측량 대상지의 위치 정보를 포함하는 GCP (Ground Control Point)들의 각각이 매칭된 결과 이미지를 모델링하는 방법 및 장치
AU2019203567B2 (en) Geo-registering an aerial image by an object detection model using machine learning
KR101684293B1 (ko) 무인 비행체의 비상 착륙 지점 검출 시스템 및 그 방법
JP2021184280A (ja) 航空機着陸システム及び方法
KR102217422B1 (ko) 운전면허시험 처리 장치
EP1584896A1 (en) Passive measurement of terrain parameters
US20170082429A1 (en) Passive altimeter
KR101821992B1 (ko) 무인비행체를 이용한 목표물의 3차원 위치 산출 방법 및 장치
EP4032813A1 (en) Computer vision systems and methods for aiding landing decision
Tonhäuser et al. Integrity concept for image-based automated landing systems
US10330769B1 (en) Method and apparatus for geolocating emitters in a multi-emitter environment
US20070127012A1 (en) Rate-based range and geolocation
KR20160070384A (ko) 열화상 감지에 의한 비행물체 탐지시스템
KR101470694B1 (ko) 위치 계산 장치 및 방법
US20220198703A1 (en) Determining a current pose estimate of an aircraft relative to a runway to support the aircraft on approach
KR102515245B1 (ko) 무인 비행체의 분실을 방지하는 방법 및 장치
CN111649761A (zh) 一种多拼相机pos数据获取方法、装置、设备及介质
KR20220123901A (ko) 무인 비행체 또는 항공기에 의해 촬영된 항공 영상에 기반하여 hd 맵을 생성하는 방법 및 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230828

R150 Certificate of patent or registration of utility model

Ref document number: 7340440

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150