JP2004341936A

JP2004341936A - 操縦支援画像表示システム

Info

Publication number: JP2004341936A
Application number: JP2003139249A
Authority: JP
Inventors: Takayuki Nishi; 孝裕樹西; Ryuji Hamaura; 龍司濱浦; Yuzuru Ono; 譲小野
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2003-05-16
Filing date: 2003-05-16
Publication date: 2004-12-02

Abstract

【課題】視界画像データ、航法データ及び地形データを一括して表示することにより、離着陸飛行時における操縦を確実に支援して安全性を確保することができる操縦支援画像表示システムを提供する。
【解決手段】航空機外部の視界画像データを取得する複数種類の画像センサ（可視カメラ２、赤外線カメラ３及びミリ波レーダ４）と、これら画像センサで取得した複数種類の視界画像データを融合して一つの融合画像データを生成する画像融合装置５と、融合画像データ、航空機の運航に必要な航法データ及び地形データを合成して合成画像データを生成する画像合成装置６と、合成画像データを表示する画像表示装置７と、を備える操縦支援画像表示システム１である。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、操縦支援画像表示システムに関し、特に、操縦者に外部の視界画像データや航法データを提供することにより、安全な離着陸飛行を実現せしめる操縦支援画像表示システムに関する。
【０００２】
【従来の技術】
従来より、航空機の離陸飛行や着陸進入飛行を支援するための技術が種々提案され、実用化されている。例えば、着陸進入中の航空機に対し、地上から３種類の指向性電波を発射して滑走路への着陸進入コースを指示する計器着陸進入システムが採用されている。また、着陸しようとしている航空機に対し、航空監視レーダと精測進入レーダとを用いて進入経路が最適になるように無線電話によってパイロットに指示を与えて安全に着陸させる地上誘導着陸システムが実用化されている。
【０００３】
また、通信・航法装置によって得た航空機の位置及び姿勢に係る情報に基づいて、機外の情景を操縦席から見たような模擬視界情報を生成し、この模擬視界情報を表示装置に表示する模擬視界装置が提案されている（例えば、特許文献１参照。）。
【０００４】
また、ＣＣＤカメラ等を用いて、操縦者の死角となる範囲を含めた外部視界情報を生成し、この外部視界情報を航法データと重ね合せてＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）に表示する操縦支援装置が提案されている（例えば、特許文献２参照。）。また、同様の技術として、ステレオカメラを用いて撮像した１対の左右画像に基づいて立体視界情報を生成するとともに、航空機周辺の地形情報を三次元画像として生成し、これら立体視界情報及び地形データを合成してＨＭＤに表示する融合視界装置が提案されている（例えば、特許文献３参照。）。
【０００５】
さらに、可視画像からエッジ情報を検出するエッジ検出装置と、赤外線画像から熱源情報を検出するホットポイント検出装置と、を有し、これらエッジ情報及び熱源情報を重ね合せて生成した融合画像情報をオペレータに提供する画像表示装置が提案されている（例えば、特許文献４参照。）
【０００６】
【特許文献１】
特開平１１−２３７５８２号公報（第１頁、第５図）
【特許文献２】
特許第３２５２１２９号公報（第４頁、第１図）
【特許文献３】
特開２００１−３４４５９７号公報（第４頁、第２図）
【特許文献４】
特開平８−１９１４４２号公報（第３頁、第２図）
【０００７】
【発明が解決しようとする課題】
しかし、前記した計器着陸進入システムや地上誘導着陸システムは、操縦者に外部視界情報を提供する手段を有しないため、操縦者は不安感と極度の緊張感を覚えることとなる。また、これらのシステムは多くの地上設備を要するため、利用可能な空港が制限されるという問題がある。
【０００８】
また、特許文献１に記載の模擬視界装置によって提供される模擬視界情報は、予め記憶された模擬視界データに基づいて生成されるため、航空機周辺の地形の変化に対応することが困難であるとともに、障害物の検出が困難である。従って、着陸進入飛行の支援には不向きであった。
【０００９】
また、特許文献２及び特許文献３に記載の装置を採用すると、複数の撮像装置を使用して、有視界飛行同様の融合視界情報を生成することはできる。しかし、ＨＭＤを介して操縦者に融合視界情報を提供しているため、着陸進入飛行時に必要とされる計器類の表示が制限され、刻々と変化する機器の状況や、航法データを操縦者に十分提供することができないという問題がある。
【００１０】
また、特許文献４に記載の画像表示装置は、航空機の着陸進入飛行時において、滑走路の輪郭の検出や障害物の検出を行うことができる。しかし、エッジ検出装置とホットポイント検出装置とが独立しているため、融合画像データの生成に時間がかかり、融合画像データを操縦者に提供するタイミングに遅れが生じる可能性がある。
【００１１】
本発明の課題は、視界画像データ、航法データ及び地形データを一括して高速で表示することにより、離着陸飛行時における操縦を確実に支援して安全性を確保することができる操縦支援画像表示システムを提供することである。
【００１２】
【課題を解決するための手段】
以上の課題を解決するために、請求項１に記載の発明は、操縦支援画像表示システムであって、航空機外部の視界画像データを取得する複数種類の画像センサと、前記画像センサで取得した複数種類の視界画像データを融合して一つの融合画像データを生成する画像融合装置と、前記融合画像データ、航空機の運航に必要な航法データ及び地形データを合成して合成画像データを生成する画像合成装置と、前記合成画像データを表示する画像表示装置と、を備えることを特徴とする。
【００１３】
請求項１に記載の発明によれば、複数種類の画像センサにより取得した複数種類の視界画像データを、各々の長所を生かしながら画像融合装置により融合することにより、夜間や悪天候下等の視界不良時においても明瞭な視界情報（融合画像情報）を生成することができる。また、画像融合装置で生成した融合画像データと、航空機の運航に必要な航法データと、地形データと、を画像合成装置により合成して画像表示装置に表示することができる。
【００１４】
従って、離陸飛行時や着陸進入飛行時において、明瞭な融合画像データと、航法データと、地形データと、を一括して操縦者に提供することができるので、離陸飛行時や着陸進入飛行時における操縦を確実に支援して安全性を確保することができる。
【００１５】
請求項２に記載の発明は、請求項１に記載の操縦支援画像表示システムにおいて、前記画像融合装置は、前記画像センサで取得した複数種類の視界画像データの中から基準画像データを選択し、前記基準画像データに対する他の視界画像データの位置、傾き及び大きさに係る偏差を算出し、前記偏差に基づいて前記他の視界画像データの位置、傾き及び大きさに係る調整処理を行う画像調整手段と、前記画像調整手段による前記調整処理を簡略化する調整処理簡略化手段と、前記基準画像データと、前記画像調整手段による前記調整処理がなされた前記他の視界画像データと、を融合する画像融合手段と、を備えることを特徴とする。
【００１６】
請求項２に記載の発明によれば、画像融合装置は、複数種類の視界画像データの中から基準画像データを選択し、この基準画像データに対する他の視界画像データの位置、傾き及び大きさに係る偏差を算出し、この偏差に基づいて他の視界画像データの位置、傾き及び大きさに係る調整処理を行う。
【００１７】
この際、調整処理簡略化手段により、調整処理を簡略化する。例えば、画像センサから入力された視界画像データのうち１秒間に取得する視界画像データを１０フレームとすると、この１０フレームのうち１フレーム目の視界画像データについてのみ偏差を算出し、この偏差に基づいて２フレーム目〜１０フレーム目の調整処理を行う。
【００１８】
そして、基準画像データと、位置、傾き及び大きさに係る調整処理がなされた他の視界画像データと、を融合する。このため、調整処理に要する時間が短縮され、結果的に画像融合時間が短縮されるので、より高速で視界情報（融合画像情報）を提供することができる。
【００１９】
請求項３に記載の発明は、請求項２に記載の操縦支援画像表示システムにおいて、前記調整処理簡略化手段は、前記画像センサで同時に取得した前記基準画像データと前記他の視界画像データとを所定回数毎に取り入れて出力するフレームカウント処理部と、前記フレームカウント処理部から出力される前記基準画像データに対する前記他の視界画像データの前記偏差を求めて出力するアライメント処理部と、前記偏差を用いて前記画像センサから送られてくる前記他の視界画像データを修正して出力するワープ処理部と、を有することを特徴とする。
【００２０】
請求項４に記載の発明は、請求項３に記載の操縦支援画像表示システムにおいて、前記アライメント処理部は、前記基準画像データと前記他の視界画像データとの間で類似する一部の画像データを用いて前記偏差を求めることを特徴とする。
【００２１】
請求項５に記載の発明は、請求項１から４の何れか一項に記載の操縦支援画像表示システムにおいて、前記画像表示装置は、前記融合画像データ、前記航法データ、前記地形データ及び航空機の計器情報を一括して表示するとともに、これらの情報を手動又は自動で切替表示することを特徴とする。
【００２２】
請求項５に記載の発明によれば、画像表示装置は、明瞭な外部視界情報である融合画像データと、航空機の運航に必要な航法データ及び地形データと、航空機の計器情報と、を一つの画面に表示して操縦者に一挙に提供することができる。従って、離陸飛行時や着陸進入飛行時において、操縦者が視線を大きく移動させることなく多くの情報を視認することができるので、操縦者のワークロードを軽減することができる。
【００２３】
また、請求項５に記載の発明によれば、画像表示装置は、融合画像データ、航法データ、地形データ及び航空機の計器情報を手動又は自動で切替表示する。例えば、離着陸時においては、融合画像データ、航法データ、地形データ及び計器情報を表示し、上空での飛行時においては航法データのみを表示することができる。従って、航空機の飛行状態に応じた適切な情報を表示して、操縦者を支援することができる。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態を、図面に基づいて詳細に説明する。
【００２５】
まず、本実施の形態に係る操縦支援画像表示システム１の構成について、図１、図２及び図４を用いて説明する。図１は、操縦支援画像表示システム１のブロック図であり、図２は、操縦支援画像表示システム１を航空機に搭載した状態を示す概念図である。また、図４は、操縦支援画像表示システム１の画像融合装置５の構成及び高速画像融合処理を説明するためのブロック図である。
【００２６】
操縦支援画像表示システム１は、図１に示すように、航空機外部の視界画像データを取得する複数種類の画像センサ（可視カメラ２、赤外線カメラ３及びミリ波レーダ４）、各画像センサで取得した複数種類の視界画像データを高速で融合する画像融合装置５、画像融合装置５で融合された画像データと、航空機の運航に必要な航法データ及び地形データと、を合成する画像合成装置６、画像合成装置６で合成された画像を表示する画像表示装置７、画像融合装置５と画像合成装置６との間及び画像合成装置６と画像表示装置７との間におけるデータ高速伝送を実現させる高速Ｉ／Ｆ８、等を備えて構成されている。
【００２７】
各画像センサである可視カメラ２、赤外線カメラ３及びミリ波レーダ４は、図２に示すように、航空機１０の先端内部に搭載されている。これら可視カメラ２、赤外線カメラ３及びミリ波レーダ４の撮像範囲は、操縦者が操縦席９の窓から見た状態と同様の範囲に設定される。
【００２８】
画像融合装置５は、各画像センサ（可視カメラ２、赤外線カメラ３及びミリ波レーダ４）で取得した複数種類の視界画像データを高速で融合して、一つの融合画像データを生成する。
【００２９】
画像融合装置５は、図４に示すように、画質処理部５１、アライメント処理部５２、ワープ処理部５３、画像融合処理部５４、画質変換部５５、フレームカウント処理部５６、記憶領域５７、等を備えている。アライメント処理部５２、ワープ処理部５３、フレームカウント処理部５６及び記憶領域５７により、本発明における画像調整手段及び調整処理簡略化手段が構成されている。また、画像融合処理部５４は本発明における画像融合手段である。
【００３０】
画像合成装置６は、画像融合装置５で生成した融合画像データ、航空機の運航に必要な航法データ及び地形データを合成して、合成画像データを生成する。航法データは、航空機１０を出発地から目的地まで導くための情報であり、航空機１０に搭載された機体システム１１によって画像合成装置６に伝送される。また、地形データは、機体システム１１の記憶領域に予め記憶されており、飛行状況に応じた種類が選択されて画像合成装置６に伝送される。
【００３１】
なお、画像融合装置５、画像合成装置６及び高速Ｉ／Ｆ８は、図２に示すように、航空機１０の電気機器室１２の内部に搭載されている。
【００３２】
画像表示装置７は、画像合成装置６で生成された合成画像データ（融合画像データ、航法データ及び地形データ）を表示する装置であり、図２に示すように、操縦者の前方に配置された計器パネルに取り付けられている。本実施の形態においては、画像表示装置７として、航空機の航法表示装置としては大型サイズである２０インチタイプの液晶表示器を採用している。
【００３３】
また、操縦支援画像表示システム１は、図１に示すような３重の冗長構成とされており、各構成の一部が故障した場合においても安全な運航を実現させることができる。
【００３４】
次に、本実施の形態に係る操縦支援画像表示システム１の画像融合装置５による高速画像融合処理について、従来の画像融合処理と比較しながら、図３〜図５を用いて説明する。図３は、従来の画像融合処理を説明するためのブロック図であり、図４は、本実施の形態における高速画像融合処理を説明するためのブロック図である。また、図５は、図３に示した従来の画像融合処理と、図４に示した本実施の形態における高速画像融合処理と、を比較するための説明図である。
【００３５】
以下、従来の画像融合処理について図３及び図５（ａ）を用いて説明した後、本実施における高速画像融合処理について図４及び図５（ｂ）を用いて説明する。なお、従来の画像融合処理は、画質処理部５１、アライメント処理部５２、ワープ処理部５３及び画像融合処理部５４等を備えた画像融合装置５０によって実現されるものとする。
【００３６】
従来の画像融合処理は、まず、複数種類の画像センサ（可視カメラ２及び赤外線カメラ３）により取得される視界画像データの中から画像融合の基準となる視界画像データ（以下、「基準画像データ」という）を定める。そして、画質処理部５１において、各画像センサにより取得された視界画像データの画質処理（コントラスト強調処理や階調反転処理等）を行う。
【００３７】
次いで、画質処理部５１によって画質処理がなされた各視界画像データを、アライメント処理部５２に入力する。アライメント処理部５２は、入力された画像データを重ね合せ、基準画像データと、他の画像データ（以下、「調整画像データ」という）と、の位置、傾き及び大きさに係るズレ量（偏差）を算出する。算出されたズレ量は、調整画像データを移動、回転及び拡大縮小するためのパラメータであり、以下これを「アライメントパラメータ」と称することとする。
【００３８】
次いで、アライメント処理部５２によって算出されたアライメントパラメータを、ワープ処理部５３に入力する。ワープ処理部５３は、入力されたアライメントパラメータに基づいて、調整画像データの移動処理、回転処理及び拡大縮小処理を実施する。
【００３９】
次いで、ワープ処理部５３によって調整された調整画像データを、画像融合処理部５４に入力する。また、基準画像データを、画質処理部５１から画像融合処理部５４へと入力する。画像融合処理部５４は、これら基準画像データと調整画像データとを融合して融合画像データを生成する。
【００４０】
ここで、アライメント処理部５２に１秒間に入力される画像を１０フレームとすると、従来は、この１０フレームの画像の１フレーム毎にアライメントパラメータを算出し、さらに１フレーム毎に調整画像データの移動処理、回転処理及び拡大縮小処理を実施していた（図５（ａ）参照）。従って、画像処理回数がきわめて多く、調整画像データが画像融合処理部５４に伝送されるタイミングが遅れ、結果的に画像融合速度が遅くなってしまう。このため、高速で移動している航空機への搭載は不向きであった。
【００４１】
これに対して、本実施の形態における高速画像融合処理は、従来と同様に複数種類の画像センサ（可視カメラ２、赤外線カメラ３及びミリ波レーダ４）により取得した複数種類の視界画像データの中から基準画像データを定め、各画像センサにより取得された各視界画像データの画質処理を行った後、画質処理がなされた各視界画像データをフレームカウント処理部５６に入力する（図４参照）。また、１０フレームの基準画像データを画像融合処理部５４に入力するとともに、基準画像データと同時に入力される１０フレームの調整画像データをワープ処理部５３に入力する（図４参照）。
【００４２】
次いで、フレームカウント処理部５６は、１秒間に入力される１０フレームの視界画像データのうち、１フレーム目の視界画像データのみをアライメント処理部５２に入力する。
【００４３】
次いで、アライメント処理部５２に入力した１フレーム目の視界画像データから、基準画像データと、他の画像データとの間の位置、傾き及び大きさに係るズレ量（偏差）を算出する。
【００４４】
アライメント処理部５２は、従来のように基準画像データの全体と調整画像データの全体とを比較するのではなく、基準画像データ及び調整画像データから、建築物や設備の輪郭を示す線（以下、「エッジ成分」という）を抽出する。そして、このエッジ成分の中から基準画像データと調整画像データとの間で類似性のある部分を選択し、類似性のない部分にはマスクをかける。その後、類似性のあるエッジ成分同士を比較することにより、基準画像データに対する調整画像データのズレ量（アライメントパラメータ）を算出し、算出したアライメントパラメータを記憶領域５７に記憶する。
【００４５】
次いで、アライメントパラメータをワープ処理部５３に入力し、入力されている１フレーム目の調整画像データの移動処理、回転処理及び拡大縮小処理を実施する。続いて、このアライメントパラメータを使用して、入力されてくる２フレーム目〜１０フレーム目の調整画像データの移動処理、回転処理及び拡大縮小処理を実施する。
【００４６】
次いで、ワープ処理部５３によって調整された調整画像データを画像融合処理部５４に入力し、この入力した調整画像データと基準画像データとをフレーム毎に融合して融合画像データを生成する。
【００４７】
すなわち、本実施の形態における高速画像融合処理においては、２フレーム目〜１０フレーム目の視界画像データにおけるアライメントパラメータの算出を省略する（図５（ｂ）参照）。そして、１フレーム目の視界画像データにおけるアライメントパラメータに基づいて、２フレーム目〜１０フレーム目の調整画像データの移動処理、回転処理及び拡大縮小処理を行う。従って、調整処理を簡略化して、画像融合速度を格段に上昇させ、画像遅れを減少させることができる。また、撮像する画像のフレーム数を増加させて、表示される画像を途切れのない連続した画像にすることができる。なお、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）を採用することにより、さらなる高速画像融合処理が可能となる。
【００４８】
次に、本実施の形態に係る操縦支援画像表示システム１の画像表示装置７に表示される画像データについて、図６〜図１０を用いて説明する。図６は、従来の航空機の計器パネルレイアウト図であり、図７は、本実施の形態における画像表示装置７を搭載した航空機の計器パネルレイアウト図である。
【００４９】
従来の航空機の計器パネルは、図６に示すように、機能別に表示器を配置したものである。すなわち、左右の座席の前方に、速度計、高度計、上昇・降下速度計等を備えた集合計器であるＰＦＤ（ＰｒｉｍａｒｙＦｌｉｇｈｔＤｉｓｐｌａｙ）と、航法データを表示するＮＤ（ＮａｖｉｇａｔｉｏｎＤｉｓｐｌａｙ）と、を各々配置している。また、中央に、エンジン計器であるＥＩＣＡＳ（ＥｎｇｉｎｅＩｎｄｉｃａｔｉｏｎＣｒｅｗＡｌｅｒｔｉｎｇＳｙｓｔｅｍ）と、航空機の各種機器の状況を表示するＭＦＤ（ＭｕｌｔｉＦｌｉｇｈｔＤｉｓｐｌａｙ）と、を配置している。従って、操縦者は、所要の計器チェックをする際に視線を大きく動かす必要があるため、ワークロードが最大となる離着陸飛行時において過大な負荷を受けることとなる。
【００５０】
これに対して、本実施の形態における航空機１０の計器パネルは、図７に示すように、左右の座席の前方に大画面の画像表示装置７を配置し、中央に大画面のＭＦＤのみを配置したものである。画像表示装置７は、ＰＦＤ、ＥＩＣＡＳ及びＮＤに表示されていたような画像データを一括して統合表示するため、小さい視線移動で所要の情報をチェックすることができる。また、飛行状況に応じて表示する情報を切り替えることができる。
【００５１】
画像表示装置７に表示される画像データの具体例を、図８〜図１０に示した。図８は着陸進入飛行時における画像データを、図９は離陸前のタキシング時における画像データを、図１０は離陸飛行時における画像データを、各々示したものである。画像表示装置７に表示される画像データは、４つの区分から構成されている。
【００５２】
左上の表示区分Ａには、ＰＦＤに表示されていたような画像データが表示される。具体的に説明すると、離着陸飛行時において、航空機１０の姿勢、高度、速度等を示すＡＤＩ（ＡｔｔｉｔｕｄｅＤｉｒｅｃｔｏｒＩｎｄｉｃａｔｏｒ）機能データ（航法データ）と、各画像センサにより取得された視界画像データに基づいて生成された融合画像データと、地形データと、からなる合成画像データが表示される（図８〜図１０参照）。また、離着陸飛行以外の上空飛行時においては、ＡＤＩ機能データのみが表示されるように画面が切り替わる。
【００５３】
右上の表示区分Ｂには、ＮＤに表示されていたような画像データが表示される。具体的に説明すると、着陸進入飛行時において、図８に示すような進入上方表示がなされ、航空機を上方から見た場合の滑走路及び航空機の位置が確認できるようになっている。また、タキシング時においては、図９に示すようなタキシング情報表示に切り替わる。また、離陸飛行時においては、図１０に示すような離陸滑走路表示に切り替わり、離陸時に必要なテイクオフ速度、フラップインディケータ等の計器情報が表示される。さらに、上空飛行時においては、航空機周辺の地図が表示されるように画面が切り替わる。
【００５４】
左下の表示区分Ｃには、ＥＩＣＡＳに表示されていたような画像データが表示される。具体的に説明すると、タキシング時や離陸飛行時において、図９及び図１０に示すようなＥＩＣＡＳ機能データが表示され、離陸時のエンジンコンディション及び推力セットの確認ができるようになっている。また、着陸進入飛行時や上空飛行時においては、図８に示すような進入測方表示がなされ、測方から見た場合の航空機の高度、航空機から滑走路までの位置関係、周辺地形の高低、等が確認できるようになっている。
【００５５】
右下の表示区分Ｄには、航空交通管制に係る通信周波数が常時表示される（図８〜図１０参照）。
【００５６】
続いて、本実施の形態に係る操縦支援画像表示システム１による高速画像融合処理の具体例を、図４及び図１１を用いて説明する。
【００５７】
操縦支援画像表示システム１の画像融合装置５の記憶領域５７には、飛行条件に応じた基準画像データが予め記憶されている。例えば、昼間の有視界飛行時においては、可視カメラ２によって取得した視界画像データが基準画像データとされ、夜間飛行時や霧中飛行時等においては、赤外線カメラ３によって取得した視界画像データが基準画像データとされる。基準画像データは、着陸地近辺の上空に到達した時点で、着陸空港の天候がインプットされることにより自動的に選択され、画像表示装置７の表示区分Ａに表示される。なお、操縦者の操作によっても、基準画像データを切り替えることができる。
【００５８】
夜間の着陸進入飛行時において、各画像センサによって取得した視界画像データを図１１（ａ）に示した。図１１（ａ）の中央の図は、赤外線カメラ３によって取得した視界画像データ（基準画像データ）を示している。赤外線カメラ３は、熱源を感知するため、滑走路の縁で点灯する滑走路灯、滑走路の手前中央部の着陸灯、建物の照明、等を比較的鮮明に検出している。また、赤外線カメラ３は、その他の部分から発せられている熱をも検出して、滑走路周辺の画像を形成している。
【００５９】
一方、図１１（ａ）の左の図は、可視カメラ２によって取得した視界画像データ（調整画像データ）を示している。可視カメラ２は、可視光線を感知するため、滑走路灯と着陸灯とが鮮明に検出されているが、その他は何も検出されていない。また、図１１（ａ）の右の図は、ミリ波レーダ４によって取得した視界画像データ（調整画像データ）を示している。ミリ波レーダ４は、反射距離データにより、滑走路端、滑走路灯、着陸灯、建物の縁、等を検出して画像を形成している。
【００６０】
これら各画像センサ（可視カメラ２、赤外線カメラ３及びミリ波レーダ４）によって取得された視界画像データは、同一の対象（滑走路）を撮像したものであるが、その対象（滑走路）の画面全体における相対的な位置や大きさは一致していない。そこで、これらの視界画像データを融合する前に、基準画像データにおける滑走路の相対的な位置、傾き及び大きさと、調整画像データにおける滑走路の相対的な位置、傾き及び大きさと、を一致させるための処理を行う。
【００６１】
まず、画像融合装置５のアライメント処理部５２において、各画像センサによって取得した視界画像データから、滑走路だけを残して他の画像を消去した画像を作成する。そして、基準画像データに対する各調整画像データの位置のズレΔｉ、傾斜の差θｉ及び拡大（又は縮小）量Ｋｉを算出する。これらΔｉ、θｉ及びＫｉ（ｉ＝１、２）は、アライメントパラメータである。
【００６２】
かかるアライメントパラメータは、各画像センサによって視界画像データが取得される毎に（すなわち１フレーム毎に）算出されて更新されるのではなく、記憶領域５７に所定時間記憶され、この所定時間経過後に更新される。すなわち、可視カメラ２、赤外線カメラ３及びミリ波レーダ４において、１秒間に１０フレームの視界画像データが取得可能であるとすると、これら１０フレームの視界画像データのうち１フレーム目の視界画像データにおいてのみアライメントパラメータが算出され、この算出されたアライメントパラメータが記憶領域５７に１秒間記憶される。
【００６３】
記憶領域５７に記憶されたアライメントパラメータは、ワープ処理部５３に入力され、２フレーム目から１０フレーム目の調整画像データの調整に用いられる。具体的には、アライメントパラメータΔ１、θ１及びＫ１に基づいて、可視カメラ２による視界画像データ（調整画像データ）の２フレーム目〜１０フレーム目の位置のズレ、傾斜の差及び拡大（又は縮小）量が修正される。同様に、アライメントパラメータΔ２、θ２及びＫ２に基づいて、ミリ波レーダ４による視界画像データ（調整画像データ）の２フレーム目〜１０フレーム目の位置のズレ、傾斜の差及び拡大（又は縮小）量が修正される。
【００６４】
このようにして位置のズレ、傾斜の差及び拡大（又は縮小）量が修正された調整画像データ（可視カメラ２およびミリ波レーダ４による視界画像データ）が、基準画像データ（赤外線カメラ３による視界画像データ）に重ねられて、融合画像データが生成される。図１１（ｂ）は、融合画像データを示したものである。
【００６５】
本実施の形態に係る操縦支援画像表示システム１においては、複数種類の画像センサ（可視カメラ２、赤外線カメラ３及びミリ波レーダ４）により取得した複数種類の視界画像データを、各々の長所を生かしながら画像融合装置５により融合することにより、夜間や悪天候下等の視界不良時においても明瞭な視界情報（融合画像データ）を生成することができる（図１１（ｂ）参照）。また、画像融合装置５で生成した融合画像データと、航空機の運航に必要な航法データと、地形データと、を画像合成装置６により合成して画像表示装置７に表示することができる（図８〜図１０参照）。
【００６６】
従って、離陸飛行時や着陸進入飛行時において、明瞭な融合画像データと、航法データと、地形データと、を一括して操縦者に提供することができる。この結果、離陸飛行時や着陸進入飛行時における操縦を確実に支援して安全性を確保することができる。
【００６７】
また、本実施の形態に係る操縦支援画像表示システム１における画像融合装置５は、アライメント処理部５２で複数種類の視界画像データの中から基準画像データ（赤外線カメラ３による視界画像データ）を選択し、この基準画像データに対する調整画像データ（可視カメラ２及びミリ波カメラ４による視界画像データ）の偏差を算出し、ワープ処理部５３でこの偏差に基づいて調整画像データの調整処理を行う。この際、調整画像データの調整処理を簡略化する。
【００６８】
すなわち、各画像センサから入力された視界画像データのうち１秒間に取得する１０フレームの視界画像データのうち１フレーム目の視界画像データについてのみ偏差を算出し、この偏差に基づいて２フレーム目〜１０フレーム目の調整処理を行う。そして、調整された調整画像データと基準画像データとを画像融合処理部５４で融合する。これにより、調整画像データの調整処理に要する時間が短縮され、結果的に画像融合時間が短縮されるので、より高速で視界情報を提供することができる。
【００６９】
また、本実施の形態に係る操縦支援画像表示システム１における画像表示装置７は、明瞭な外部視界情報である融合画像データと、航空機の運航に必要なＡＤＩ機能データ（航法データ）及び地形データと、航空機の機器の状態を示すＥＩＣＡＳ機能データ（計器情報）と、を一つの画面に表示して操縦者に一挙に提供することができる（図８〜図１０参照）。従って、離陸飛行時や着陸進入飛行時において、操縦者が視線を大きく移動させることなく多くの情報を視認することができるので、操縦者のワークロードを軽減することができる。
【００７０】
また、本実施の形態に係る操縦支援画像表示システム１における画像表示装置７は、融合画像データ、航法データ、地形データ及び航空機の計器情報を、手動又は自動で切替表示する。例えば、離着陸時においては、融合画像データ、航法データ、地形データ及びＥＩＣＡＳ機能データ（計器情報）を表示し、上空での飛行時においてはＡＤＩ機能データ（航法データ）のみを表示する。従って、航空機の飛行状態に応じた適切な情報を表示して、操縦者を支援することができる。
【００７１】
【発明の効果】
請求項１に記載の発明によれば、複数種類の画像センサにより取得した複数種類の視界画像データを、各画像センサの長所を生かしながら画像融合装置により融合して明瞭な融合画像データを生成することができ、この融合画像データと、航空機の運航に必要な航法データと、地形データと、を画像合成装置により合成して画像表示装置に表示することができる。従って、視界不良状況下の離着陸飛行時においても、明瞭な融合画像データと、航法データと、地形データと、を一括して操縦者に提供することができるので、操縦を確実に支援して安全性を確保することができる。
【００７２】
請求項２に記載の発明によれば、画像融合装置は、複数種類の視界画像データの基準画像データに対する調整画像データの偏差を算出し、この偏差に基づいて調整画像データを調整し、調整された調整画像データと基準画像データとを融合する。この際、調整処理簡略化手段により、調整画像データの調整処理を簡略化するので、調整処理に要する時間が短縮され、結果的に画像融合時間を短縮できるとともに、撮像フレーム数を多くして表示画像をより滑らかなものとすることができる。
【００７３】
請求項５に記載の発明によれば、画像表示装置は、明瞭な外部視界情報である融合画像データと、航空機の運航に必要な航法データ及び地形データと、航空機の機器の状態を示す計器情報と、を一つの画面に表示して操縦者に一挙に提供することができる。従って、離陸飛行時や着陸進入飛行時において、操縦者が視線を大きく移動させることなく各種情報を視認することができるので、操縦者のワークロードを軽減することができる。また、画像表示装置は、融合画像データ、航法データ、地形データ及び航空機の計器情報を手動又は自動で切替表示するので、航空機の飛行状態に応じた適切な情報を表示して、操縦者を支援することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る操縦支援画像表示システム全体の構成を示すブロック図である。
【図２】図１に示した操縦支援画像表示システムを航空機に搭載した状態を示す概念図である。
【図３】従来の画像融合処理を説明するためのブロック図である。
【図４】図１に示した操縦支援画像表示システムの画像融合装置の構成と、この画像融合装置による高速画像融合処理と、を説明するためのブロック図である。
【図５】図３に示した従来の画像融合処理と、図４に示した本実施の形態における高速画像融合処理と、を比較するための説明図である。
【図６】従来の航空機の計器パネルレイアウト図である。
【図７】図１に示した操縦支援画像表示システムの画像表示装置を搭載した航空機の計器パネルレイアウト図である。
【図８】図７に示した画像表示装置に表示された着陸進入飛行時の画像データを示す図である。
【図９】図７に示した画像表示装置に表示されたタキシング時の画像データを示す図である。
【図１０】図７に示した画像表示装置に表示された離陸飛行時の画像データを示す図である。
【図１１】本実施の形態に係る操縦支援画像表示システムによる高速画像融合処理に係る画像データの具体例を示すものであり、（ａ）は高速画像融合処理前の視界画像データを示す図、（ｂ）は高速画像融合処理後の画像データ（融合画像データ）を示す図である。
【符号の説明】
１操縦支援画像表示システム
２可視カメラ（画像センサ）
３赤外線カメラ（画像センサ）
４ミリ波レーダ（画像センサ）
５画像融合装置
６画像合成装置
７画像表示装置
５２アライメント処理部（画像調整手段、調整処理簡略化手段）
５３ワープ処理部（画像調整手段、調整処理簡略化手段）
５４画像融合処理部（画像融合手段）
５６フレームカウント処理部（画像調整手段、調整処理簡略化手段）
５７記憶領域（画像調整手段、調整処理簡略化手段）

Claims

航空機外部の視界画像データを取得する複数種類の画像センサと、
前記画像センサで取得した複数種類の視界画像データを融合して一つの融合画像データを生成する画像融合装置と、
前記融合画像データ、航空機の運航に必要な航法データ及び地形データを合成して合成画像データを生成する画像合成装置と、
前記合成画像データを表示する画像表示装置と、
を備えることを特徴とする操縦支援画像表示システム。
前記画像融合装置は、
前記画像センサで取得した複数種類の視界画像データの中から基準画像データを選択し、前記基準画像データに対する他の視界画像データの位置、傾き及び大きさに係る偏差を算出し、前記偏差に基づいて前記他の視界画像データの位置、傾き及び大きさに係る調整処理を行う画像調整手段と、
前記画像調整手段による前記調整処理を簡略化する調整処理簡略化手段と、
前記基準画像データと、前記画像調整手段による前記調整処理がなされた前記他の視界画像データと、を融合する画像融合手段と、
を備えることを特徴とする請求項１に記載の操縦支援画像表示システム。
前記調整処理簡略化手段は、
前記画像センサで同時に取得した前記基準画像データと前記他の視界画像データとを所定回数毎に取り入れて出力するフレームカウント処理部と、
前記フレームカウント処理部から出力される前記基準画像データに対する前記他の視界画像データの前記偏差を求めて出力するアライメント処理部と、
前記偏差を用いて前記画像センサから送られてくる前記他の視界画像データを修正して出力するワープ処理部と、
を有することを特徴とする請求項２に記載の操縦支援画像表示システム。
前記アライメント処理部は、
前記基準画像データと前記他の視界画像データとの間で類似する一部の画像データを用いて前記偏差を求めることを特徴とする請求項３に記載の操縦支援画像表示システム。
前記画像表示装置は、
前記融合画像データ、前記航法データ、前記地形データ及び航空機の計器情報を一括して表示するとともに、これらの情報を手動又は自動で切替表示することを特徴とする請求項１から４の何れか一項に記載の操縦支援画像表示システム。