JP4174559B2 - 衛星画像を利用した高度視界情報提供システムとその方法及び飛行障害認識システムとその方法 - Google Patents
衛星画像を利用した高度視界情報提供システムとその方法及び飛行障害認識システムとその方法 Download PDFInfo
- Publication number
- JP4174559B2 JP4174559B2 JP2001329773A JP2001329773A JP4174559B2 JP 4174559 B2 JP4174559 B2 JP 4174559B2 JP 2001329773 A JP2001329773 A JP 2001329773A JP 2001329773 A JP2001329773 A JP 2001329773A JP 4174559 B2 JP4174559 B2 JP 4174559B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- altitude
- aircraft
- recognizing
- visibility
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C5/00—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
- G01C5/005—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels altimeters for aircraft
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Instructional Devices (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、地球周回軌道上の観測衛星から得られる衛星高分解能画像情報より高度視界情報を提示するシステム及びその方法と、この高度視界情報を利用して航空機における自機の位置及び地勢図を表示し障害情報を警告する飛行障害認識システム及びその方法に関するものである。
【０００２】
【従来の技術】
航空機の飛行安全にとって、特に飛行経路周辺の地形的情報の把握は極めて重要である。従来の飛行経路周辺の地形的情報を把握するシステムにおいては、地図情報・航空写真等の比較的固定的な頻繁には更新しない媒体が主体であり、地形的変化に対するタイムリーな情報の利用は困難であった。
【０００３】
一方、広範囲な地形的情報を得る手段として、地球周回軌道上の観測衛星からの遠隔撮像技術の進展はめざましいものがあり、近年、高分解能化が図られており、従来の二次元画像情報に限らず三次元画像情報の抽出も進展してきている。
【０００４】
観測衛星から得られる衛星画像情報の特徴的な利点は、周期的撮像により変遷する地表面の状況をとらえることができ、また地球上全範囲を撮像することが可能であるという点である。
【０００５】
従来からの航空機の飛行安全手段としては、対地接近警報装置（ＧＰＷＳ：Ｇｒｏｕｎｄ Ｐｒｏｘｉｍｉｔｙ Ｗａｒｎｉｎｇ Ｓｙｓｔｅｍ）が用いられており、多くの大型航空機に装備されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、ＧＰＷＳにおける障害物の検知にはレーダを使用するが、異常接近情報の検知はレーダの及ぶ狭い範囲に限られるため、障害物が航空機の間近に迫らないと警報が鳴らないという問題点があった。警報が鳴ってからパイロットが対処しようとしても、異常接近地点と自機の進行方向との相対的関係がわからずに障害物を避けることができない場合が多くあった。さらに、高圧送電線のような線状のものはレーダでは検出ができないという問題点があった。
【０００７】
また、ヘリコプタ等の小型航空機については、鉄塔型構造物（送電線を含む）、高層建造物等の尖塔型建造物への接触、雪面への着陸における高度誤認、霧や雨等による高度視界不良等の安全航行を阻害する要因が多く存在する。
【０００８】
この発明は上記の点に鑑みてなされたものであり、衛星画像を用いて、地形や尖塔型建造物及び噴煙・雪面等の時間的変化等を表す高度視界情報を作成、提示するシステムとその方法、及びこの高度視界情報を航空機に配信して航空機の位置情報及び地形情報を合成した上で航空機搭載の画面上に表示し、事前に障害情報を警告する飛行障害認識システムとその方法を提供することを課題とする。
【０００９】
【課題を解決するための手段】
かかる課題を達成するため、請求項１に記載の発明は、地球周回軌道上の観測衛星から通信回線を介して受信した地表を撮影した分解能の異なるステレオペアの衛星画像情報及び該衛星画像情報を基に加工した衛星高分解能画像情報から、地形データと尖塔型建造物データとを有するディジタル標高モデル情報を抽出するＤＥＭ抽出手段を有する衛星画像解析・処理装置と、高度視界情報保存装置とを有する高度視界情報提供システムであって、前記ディジタル標高モデル情報の前記地形データから、山岳、海、市街地の地形の種類を識別し、地表面の起伏の地形状態を認識する地形状況認識手段と、前記ディジタル標高モデル情報の送電線を含む鉄塔型構造物、高層建造物の障害物に関する前記尖塔型建造物データから、前記尖塔型建造物の形状及び位置情報を認識する尖塔型建造物認識手段と、前回と今回受信した同一位置の前記衛星高分解能画像情報を比較することによって同一位置における時間的に変化する情報を認識する時系列認識手段と、前記地形状況認識手段及び前記尖塔型建造物認識手段により取得した情報を合成して得た地形や尖塔型建造物及び火山噴煙・雪面・砂漠面の時間的変化を表す高度視界情報を、前記高度視界情報データベースに保存する高度視界情報保存手段と、を有することを特徴とする。
【００１０】
請求項２に記載の発明は、請求項１に記載した高度視界情報提供システムの前記高度視界情報を航空機の位置情報及びジャイロからの姿勢情報と合成して飛行障害認識用高度視界情報が作成され、パイロットの視点からの画像や航空機の位置を含めた地勢図の前記飛行障害認識用高度視界情報を表示する表示手段を有し、飛行障害物を検知した場合に、地表面の山岳地域、建造物の飛行障害物及び危険地域に警報を表す色が着色されて高度の数値情報が付加される視覚的提示手段と、飛行障害となる前記尖塔型建造物に警報を表す色が着色されて高度の数値情報が付加される音声的提示手段とが、相互に稼働状態を監視することで、前記視覚的提示手段と前記音声的提示手段のいずれか一方が提示された場合に他方の提示手段も同時に提示されることを特徴とする。
【００１１】
請求項３に記載の発明は、請求項２の構成に加えて、前記飛行障害認識用高度視界情報は、パイロットの視点からの画像、航空機後方からの視点の画像、航空機真横からの視点の画像、及び航空機直下の画像を切り換えて表示することができることを特徴とする。
【００１２】
請求項４に記載の発明は、地球周回軌道上の観測衛星から通信回線を介して受信した地表を撮影した分解能の異なるステレオペアの衛星画像情報及び該衛星画像情報を基に加工した衛星高分解能画像情報から、地形データと尖塔型建造物データとを有するディジタル標高モデル情報を抽出するステップを有する高度視界情報を提供する方法であって、前記ディジタル標高モデル情報の前記地形データから、山岳、海、市街地の地形の種類を識別し、地表面の起伏の地形状態を認識する地形状態認識ステップと、前記ディジタル標高モデル情報の送電線を含む鉄塔型構造物、高層建造物の障害物に関する前記尖塔型建造物データから、前記尖塔型建造物の形状及び位置情報を認識する尖塔型建造物認識ステップと、前回と今回受信した同一位置の前記衛星高分解能画像情報を比較することによって同一位置の時間的に変化する情報を認識する時系列認識ステップと、前記地形状況認識ステップ、前記尖塔型建造物認識ステップ及び前記時系列認識ステップにより取得した情報を合成して得た地形や尖塔型建造物及び火山噴煙・雪面・砂漠面の時間的変化を表す高度視界情報を高度視界情報データベースに保存するステップと、を有することを特徴とする。
【００１３】
請求項５に記載の発明は、請求項４に記載された高度視界情報提供方法の前記高度視界情報を航空機の位置情報及び姿勢情報と合成して、前記飛行障害提示装置のディスプレイ上にパイロットの視点からの画像や航空機の位置を含めた地勢図の飛行障害認識用高度視界情報を表示するステップと、飛行障害物を検知した場合に、地表面の山岳地域、建造物の飛行障害物及び危険地域に警報を表す色が着色されて高度の数値情報が付加される視覚的提示ステップと、飛行障害となる前記尖塔型建造物に警報を表す色が着色されて高度の数値情報が付加される音声的提示ステップとが、相互に稼働状態を監視することで、前記視覚的提示ステップと前記音声的提示ステップのいずれか一方のステップが実行された場合に他方の提示ステップも同時に実行されることを特徴とする。
【００１７】
【発明の実施の形態】
図１には、この発明に係る飛行障害認識システムの機能ブロック図を示す。
【００１８】
飛行障害認識システム１は、ＤＥＭ抽出手段２０、地形状況認識手段２１、尖塔型建造物認識手段２２、時系列認識手段２３及び高度視界情報保存手段２４を有する高度視界情報提供システム２と、高度視界情報提示手段２５とを有している。
【００１９】
以下、図１に示す飛行障害認識システムの有する手段の概要を説明する。
【００２０】
ＤＥＭ抽出手段２０は、観測衛星９から取得した複数の分解能のステレオペアの衛星高分解能画像情報を読み込み、画像の位置合わせ、分解能の切り換え等のデータ融合を行い、ディジタル標高モデル情報（ＤＥＭ（Ｄｉｇｉｔａｌ Ｅｌｅｖａｔｉｏｎ Ｍｏｄｅｌ）情報）として出力する。なお、この手段は例えば従来技術を用いることで実現可能である。
【００２１】
地形状況認識手段２１は、ＤＥＭ抽出手段によって抽出されたディジタル標高モデル情報の地形データから、地形の種類（山岳、海、市街地等）を識別し、地表面の起伏等の状態を認識し、飛行障害物及び危険地域を抽出し他と識別できる色等を付加する。主に広域における山岳地形や河川等の地形状況の認識手段である。この手段によって、航空経路に沿った広域な地形状況把握が可能となる。
【００２２】
尖塔型建造物認識手段２２は、ＤＥＭ抽出手段２０によって抽出されたディジタル標高モデル情報の尖塔型建造物データを基に、比較的狭い地域の尖塔型建造物の形状及び緯度、経度、高度からなる位置情報を詳細に識別し、尖塔型建造物を抽出し他と識別できる色等を付加する。ここで、尖塔型建造物データとは、送電線を含む鉄塔型構造物、高層建造物等の障害物の情報である。主にヘリコプタ等の低空飛行を行う小型航空機や飛行場付近での障害物認識手段である。
【００２３】
なお、地形状況認識手段２１と尖塔型建造物認識手段２２は、並行して処理が行われる。
【００２４】
時系列認識手段２３は、前回、高度視界情報保存装置４の高度視界情報データベース４ａ（図６参照）に保存しておいた高度視界情報と、今回、観測衛星９より受信し地形状況認識手段２１と尖塔型建造物認識手段２２に処理された高度視界情報の同一位置を比較することによって、同一位置における時間的に変化するディジタル標高モデル情報を認識する。新規な建造物の他、雪面・砂漠面の変化、火山噴煙・霧の流れ等の地形状況、大気状態の変化の把握が可能となる。
【００２５】
高度視界情報保存手段２４は、地形状況認識手段２１、尖塔型建造物認識手段２２及び時系列認識手段２３によって得られた高度視界情報を、高度視界情報保存装置４の高度視界情報データベース４ａに保存する。
【００２６】
高度視界情報提示手段２５は、高度視界情報保存手段２４によって高度視界情報保存装置４の高度視界情報データベース４ａに保存した高度視界情報を、航空機１２の位置情報及び姿勢情報と合成して飛行障害提示装置１３のディスプレイ１４等でパイロットの視点からの画像や航空機１２の位置を含めた地勢図等の飛行障害認識用高度視界情報を表示したり、ディスプレイ１４上に障害物が検知されたときは、音声や警告音等を用いて警告する。
【００２７】
以下、図２〜図７を用いて、各手段を詳細に説明する。
【００２８】
図２には、この発明に係る飛行障害認識システムのＤＥＭ抽出手段の機能ブロック図を示す。
【００２９】
ＤＥＭ抽出手段２０は、複数異種分解能衛星画像ＤＥＭ抽出手段３１、データ融合手段３２及び飛行障害認識処理組み込み手段３３とを有する。
【００３０】
複数異種分解能衛星画像ＤＥＭ抽出手段３１によって、比較的分解能の低い山岳地形等の広域画像や、鉄塔・送電線等の尖塔型建造物認識に使用する分解能の高い詳細画像等、分解能が異なる複数の衛星高分解能画像情報を受信する。これらの衛星高分解能画像情報は、三次元画像が作成できるように同一地域を異なった地点から撮影した左右の２枚の映像の組であり、これをステレオペア３０という。
【００３１】
このステレオペア３０は、データ融合手段３２によって、ステレオペア３０の対応する位置を自動的に合わせる自動位置合わせ、異なった分解能を同一分解能に切り換える異種分解能切換、広域画像、詳細画像及び分解能別に高度視界情報を格納する階層型データ格納等の処理が行われる。
【００３２】
この階層型に格納された高度視界情報は、飛行障害認識処理組み込み手段３３によって、地形状況認識手段２１及び尖塔型建造物認識手段２２にデータを受け渡すためのインターフェース処理が行われる。
【００３３】
図３には、この発明に係る飛行障害認識システムの地形状況認識手段の機能ブロック図を示す。
【００３４】
地形状況認識手段２１は、高精度認識手段４１と衛星画像への貼り込み手段４２を有している。
【００３５】
飛行障害認識処理組み込み手段３３より、ディジタル標高モデル情報の地形データ４０が地形状況認識手段２１に渡される。この地形データ４０は、高精度認識手段４１によって二次元データとして解析され、地形の種類（山岳地形、河川、海、湖沼、高速道路、市街地、住宅密集地、工場密集地等）の識別、地表面起伏、位置情報等の地表面状態を認識する。さらに、地形データ４０から、山岳地域、建造物等の飛行障害物及び危険地域が抽出され、赤色等の警報を表す色に着色され、飛行障害物及び危険地域の高度の数値情報が付加される。
【００３６】
ここで、地形の種類の識別方法には、さまざまな方法がある。例えば、海と陸地を識別する方法としては、画像信号の海と陸地の輝度の分布の差によって海面と陸地を判別して海岸線を抽出する方法がある。
【００３７】
そして、これらの地表面状態の情報を、衛星画像への貼り込み手段４２を用いてディジタル標高モデル情報と合成し、飛行障害物及び危険地域が認識された高度視界情報を作成する。
【００３８】
図４には、この発明に係る飛行障害認識システムの尖塔型建造物認識手段の機能ブロック図を示す。
【００３９】
尖塔型建造物認識手段２２は、送電線認識手段５２、鉄塔型構造物認識手段５３、高層建造物認識手段５４、尖塔形建造物事前情報データベース５１、事前情報格納手段５５及び事前情報入出管理手段５６を有する。
【００４０】
飛行障害認識処理組み込み手段３３より、ディジタル標高モデル情報の尖塔型建造物データ５０が事前情報格納手段５５によって尖塔型建造物事前情報データベース５１に格納され、事前情報入出力管理手段５６によって、送電線認識手段５２、鉄塔型構造物認識手段５３及び高層建造物認識手段５４への尖塔型建造物データ５０の入出力制御が行われる。
【００４１】
事前情報入出管理部５６の制御によって送電線認識手段５２に渡された尖塔型建造物データ５０は、送電線画像の情報かどうか解析され、送電線画像の情報である場合は、この送電線の線状が認識され、緯度、経度、高度からなる位置情報が抽出される。
【００４２】
同様に、鉄塔型構造物認識手段５３に渡された尖塔型建造物データ５０は、鉄塔型構造物画像の情報かどうか解析され、鉄塔型構造物画像の情報である場合は、この鉄塔型構造物の形状が認識され、位置情報が抽出される。
【００４３】
さらに、高層建造物認識手段５４に渡された尖塔型建造物データ５０は、高層建造物画像の情報かどうか解析され、高層建造物画像の情報である場合は、高層建造物の形状が認識され、位置情報が抽出される。
【００４４】
これらの位置情報から、飛行障害となる尖塔型建造物が抽出され、その抽出された尖塔型建造物に赤色等の警報を表す色が着色され、またさらに尖塔型建造物に高度の数値情報が付加される。
【００４５】
これらの送電線認識手段５２、鉄塔型構造物認識手段５３及び高層建造物認識手段５４には、事前情報入出管理手段５６によって、尖塔型建造物事前情報データベース５１から同一地域の尖塔型建造物データ５０が各々受け渡されて独立に処理が行われるが、各手段は相互に稼働状態を監視しながら、同時に同一地域の尖塔建造物の認識及び抽出を行う。
【００４６】
図５には、この発明に係る飛行障害認識システムの時系列認識手段の機能ブロック図を示す。
【００４７】
時系列認識手段２３は、時間的変移抽出手段６０、地形変移認識手段６１、建造物認識手段６２、雪面・砂漠認識手段６３、火山噴煙認識手段６４、起伏変移認識高度マップ抽出手段６５、形状変移認識高度マップ抽出手段６６、起伏形状認識高度マップ抽出手段６７及び噴煙認識高度マップ抽出手段６８とを有している。
【００４８】
この時系列認識手段２３によって、同一位置の時間的に変化するディジタル標高モデル情報が認識され、新規な建造物、雪面・砂漠面の変化、火山噴煙・霧の流れ等の地形状況、大気状態の変化の把握が可能となる。
【００４９】
時間的変移抽出手段６０によって、地形状況認識手段２１及び尖塔型建造物認識手段２２によって処理された今回の高度視界情報と、前回画像処理時に高度視界情報保存装置４の高度視界情報データベース４ａに保存された高度視界情報の同一位置が比較され、異なっている高度視界情報を抽出する。この抽出された高度視界情報は、地形変移認識手段６１、建造物認識手段６２、雪面・砂漠認識手段６３及び火山噴煙認識手段６４に渡される。
【００５０】
地形変移認識手段６１によって、渡された高度視界情報が解析され、解析した結果、地形が異なっていた場合は、その高度視界情報から起伏変移認識高度マップ抽出手段６５によって起伏変移認識高度マップが抽出される。
【００５１】
同様に、建造物認識手段６２によって、渡された高度視界情報が解析され、解析した結果、建造物が異なっていた場合は、その高度視界情報から形状変移認識高度マップ抽出手段６６によって形状変移認識高度マップが抽出される。
【００５２】
同様に、雪面・砂漠認識手段６３によって、渡された高度視界情報が解析され、解析した結果、雪面及び砂漠が異なっていた場合は、その高度視界情報から起伏形状認識高度マップ抽出手段６７によって起伏形状認識高度マップが抽出される。
【００５３】
同様に、火山噴煙認識手段６４によって、渡された高度視界情報が解析され、噴煙認識高度マップ抽出手段６８によって噴煙認識高度マップが抽出される。
【００５４】
図６には、この発明に係る飛行障害認識システムの高度視界情報保存手段の機能ブロック図を示す。
【００５５】
地形状況認識手段２１、尖塔型建造物認識手段２２及び時系列認識手段２３によって作成された高度視界情報は、高度視界情報保存手段２４によって高度視界情報データベース４ａに保存される。なお、この発明の実施の形態では、高度視界情報を高度視界情報データベース４ａに保存したが、保存する媒体はＣＤ−ＲＯＭ、ＤＶＤ等の記録媒体であってもよい。
【００５６】
図７には、この発明に係る飛行障害認識システムの高度視界情報提示手段の機能ブロック図を示す。
【００５７】
この高度視界情報提示手段２５は視覚的提示手段７０と音声的提示手段７１を有している。
【００５８】
地形状況認識手段２１、尖塔型建造物認識手段２２及び時系列認識手段２３で処理された後、高度視界情報保存手段２４で高度視界情報保存装置４の高度視界情報データベース４ａに保存された高度視界情報は、視覚的提示手段７０によって、ＧＰＳからの位置情報及びジャイロからの姿勢情報と合成されて、飛行障害認識用高度視界情報が作成され、航空機１２に搭載されたディスプレイ１４に表示される。
【００５９】
ディスプレイ１４上に表示される飛行障害認識用高度視界情報は、パイロットの視点、航空機１２後方からの視点、航空機１２直下の画像、航空機１２真横からの視点等、視点を切り換えて表示することができるため、航空機１２と周囲の地形状況及び飛行障害物との位置関係を明確に認識することが可能となる。パイロットの視点で飛行障害認識用高度視界情報が表示されている場合は、障害物に航空機１２が近づけば障害物や付近の地形もディスプレイ１４に拡大表示される仕組みとなっている。
【００６０】
なお、高度視界情報提示手段２５の実施の形態として、高度視界情報保存装置４の高度視界情報データベース４ａに保存された高度視界情報を航空機１２のディスプレイ１４上に表示したが、これ以外に特定の位置、角度から見た高度視界情報としてプリンタ１６で印刷して地図を作成する等、さまざまな提示方法が考えられる。
【００６１】
一方、音声的提示手段７１によって、高度視界情報保存手段２４で高度視界情報保存装置４の高度視界情報データベース４ａに保存された高度視界情報から、ディスプレイ１４上に表示されている山岳地域、建造物等の飛行障害物及び危険地域が抽出され、その障害物及び危険状態の種類によって周波数が変化する可変周波数警告音を発信する。この警告音は、パイロットの応答があるまで鳴り続ける仕組みとなっている。
【００６２】
視覚的提示手段７０と音声的提示手段７１は、独立に高度視界情報を読み込んで処理を行うが、相互に稼働状態を監視する仕組みとなっている。例えば、視覚的提示手段７０によってディスプレイ１４上に赤色等に着色された危険地帯が表示された場合は、視覚的提示手段７０を監視していた音声的提示手段７１は、警告音を発信する。
【００６３】
図８には、この発明に係る飛行障害認識システムの実施の形態である主なハードウエアの構成図を示す。
【００６４】
飛行障害認識システム１は、衛星画像解析・処理装置３、高度視界情報保存装置４、システム管理・保守装置７を有する高度視界情報提供システム２、及び高度視界情報サーバ５、高度視界情報サーバ制御装置６及び通信装置８を有する高度視界情報配信装置と、航空機１２上の飛行障害提示装置１３とが、インターネット１１等の通信回線を介して接続されている。
【００６５】
衛星画像解析・処理装置３は、インターネット１１を介して地球周回上の観測衛星９から取得した複数のステレオペアの衛星高分解能画像情報の解析及び処理を行って高度視界情報を作成し、この高度視界情報を高度視界情報データベース４ａに保存する機能を有している。
【００６６】
高度視界情報保存装置４は、衛星画像解析・処理装置３で作成した高度視界情報を保存しておく高度視界情報データベース４ａを有している。
【００６７】
高度視界情報サーバ５は、衛星高分解能画像情報をインターネット１１から受信し、さらに受信した衛星高分解能画像情報を衛星画像解析・処理装置３に送信したり、また衛星画像解析・処理装置３で作成した高度視界情報をインターネット１１に配信する機能を有するサーバである。
【００６８】
高度視界情報サーバ制御装置６は、高度視界情報のインターネット１１への配信を制御する装置であり、航空機１２に搭載した飛行障害提示装置１３からの画像配信の要求を受け、配信対象の高度視界情報を高度視界情報保存装置４から該当する高度視界情報を検索、抽出し、高度視界情報サーバ５に画像配信指示を出す機能を有している。
【００６９】
システム管理・保守装置７は、ＬＡＮに接続されている衛星画像解析・処理装置３、高度視界情報保存装置４、高度視界情報サーバ５、高度視界情報サーバ制御装置６及び通信装置８等の稼働状況を監視、管理したり、プログラムやデータの保守を行う機能を有している。
【００７０】
図８を用いて、この発明における飛行障害認識システム１実施の形態を説明すると、まず、観測衛星９より衛星画像情報が衛星画像プロバイダ１０に送られ加工される。この衛星画像情報が加工された衛星高分解能画像情報は衛星画像プロバイダ１０からインターネット１１を介して高度視界情報サーバ５に送信される。衛星画像解析・処理装置３は、この高度視界情報サーバ５の衛星高分解能画像情報から地形データ４０及び尖塔型建造物データ５０を有するディジタル標高モデル情報を抽出する。この抽出した地形データ４０を基に地表面の起伏、河川及び海等の地形状態を解析・処理し、また尖塔型建造物データ５０を基に尖塔型建造物の形状及び位置情報を解析・処理し、さらに前回高度視界情報保存装置４の高度視界情報データベース４ａに保存しておいた高度視界情報と比較して時間的に変化する地形や建造物等のディジタル標高モデル情報を解析・処理する。これらの解析・処理した高度視界情報を合成して、高度視界情報保存装置４に保存する。
【００７１】
高度視界情報サーバ制御装置６において、航空機１２等に搭載されている飛行障害提示装置１３への画像配信要求を受けた場合は、その要求を受けた高度視界情報を前記高度視界情報保存装置４から該当する高度視界情報を検索、抽出し、インターネット１１を介して航空機１２等に搭載されている飛行障害提示装置１３に配信する。この配信された高度視界情報とＧＰＳから取得した航空機１２の位置情報と、ジャイロから取得した航空機１２の姿勢情報を飛行障害提示装置１３で画像合成、処理し、この飛行障害提示装置１３のディスプレイ１４上に、パイロットの視点からの画像や航空機１２の位置を含めた地勢図等の飛行障害認識用高度視界情報を表示する。
【００７２】
なお、この実施の形態においては、通信手段としてインターネット１１を用いたが、航空機１２に高度視界情報を配信できる通信手段であれば特に制約はなく使用できる。また、通信手段を用いずに、ＣＤ―ＲＯＭ、ＤＶＤ１５等の記憶媒体を用いて、データの受け渡しをしてもよい。
【００７３】
なお、上記の実施の形態では、高度視界情報を飛行障害認識用に用いたが、用途は多様である。例えば、高度視界情報を基に住宅密集地を避けて航路を選定し飛行機の騒音問題を解決したり、パイロットの訓練用のシュミレータ及びレーダとの併用による航空管制の高機能化に利用できる。
【００７４】
以上のように、衛星高分解能画像から作成した高度視界情報を飛行障害認識に使用することで、世界全域の航空経路において霧、雨等による視界不良時の山岳への衝突、鉄塔型構造物（送電線を含む）及び高層建造物等の尖塔型建造物への接触事故を未然に防ぎ、時間的に変化する噴煙の流れの方向の把握、高度誤認を引き起こし易い時間的変化のある雪面等への着陸安全を向上させることが可能となる。
【００７５】
【発明の効果】
以上説明した通り、請求項１及び請求項４に記載の発明によれば、世界全域の高度視界情報を作成することができるので、航空機の飛行障害認識に使用し安全対策に利用できるのみならず、高度視界情報を基に住宅密集地を避けて航路を選定し、飛行機の騒音問題を解決したり、パイロットの訓練のシュミレータ及びレーダとの併用による航空管制の高機能化システムに利用できる。
【００７６】
請求項２及び請求項５に記載の発明によれば、衛星高分解能画像から作成した高度視界情報を航空機の飛行障害認識に使用し安全対策に利用することで、全世界の航空経路における高度視界情報を作成することができ、霧、雨等による視界不良時の山岳への衝突、鉄塔型構造物（送電線を含む）及び高層建造物等の尖塔型建造物への接触事故を未然に防ぎ、時間的に変化する噴煙の流れの方向の把握、高度誤認を引き起こし易い時間的変化のある雪面等への着陸安全を向上させることが可能となる。
【００７７】
請求項３に記載の発明によれば、航空機搭載のディスプレイ上に飛行障害認識用高度視界情報を視点を切り換えて表示することができ、パイロットの視点で画像が表示されている場合は、障害物に航空機が近づけば障害物や付近の地形もディスプレイに拡大表示され、さらに障害物及び危険状態によって周波数が変化する可変周波数警告音を発信することができるので、パイロットが航空機と周囲の地形状況及び飛行障害物との位置関係を明確に認識することが可能となり、事前に安全対策をとることができる。
【図面の簡単な説明】
【図１】この発明に係る飛行障害認識システムの機能ブロック図である。
【図２】この発明に係る飛行障害認識システムのＤＥＭ抽出手段の機能ブロック図である。
【図３】この発明に係る飛行障害認識システムの地形状況認識手段の機能ブロック図である。
【図４】この発明に係る飛行障害認識システムの尖塔型建造物認識手段の機能ブロック図である。
【図５】この発明に係る飛行障害認識システムの時系列認識手段の機能ブロック図である。
【図６】この発明に係る飛行障害認識システムの高度視界情報保存手段の機能ブロック図である。
【図７】この発明に係る飛行障害認識システムの高度視界情報提示手段の機能ブロック図である。
【図８】この発明に係る飛行障害認識システムの実施の形態である主なハードウエアの構成図である。
【符号の説明】
１ 高度視界情報提供システム
２ 飛行障害認識システム
３ 衛星画像解析・処理装置
４ 高度視界情報保存装置
４ａ 高度視界情報データベース
５ 高度視界情報サーバ
６ 高度視界情報サーバ制御装置
７ システム管理・保守装置
９ 観測衛星
１１ インターネット（通信回線）
１２ 飛行機
１３ 飛行障害提示装置
１４ ディスプレイ（表示部）
２０ ＤＥＭ抽出手段
２１ 地形状況認識手段
２２ 尖塔型建造物認識手段
２３ 時系列認識手段
２４ 高度視界情報保存手段
２５ 高度視界情報提示手段
４０ 地形データ
５０ 尖塔型建造物データ
【発明の属する技術分野】
この発明は、地球周回軌道上の観測衛星から得られる衛星高分解能画像情報より高度視界情報を提示するシステム及びその方法と、この高度視界情報を利用して航空機における自機の位置及び地勢図を表示し障害情報を警告する飛行障害認識システム及びその方法に関するものである。
【０００２】
【従来の技術】
航空機の飛行安全にとって、特に飛行経路周辺の地形的情報の把握は極めて重要である。従来の飛行経路周辺の地形的情報を把握するシステムにおいては、地図情報・航空写真等の比較的固定的な頻繁には更新しない媒体が主体であり、地形的変化に対するタイムリーな情報の利用は困難であった。
【０００３】
一方、広範囲な地形的情報を得る手段として、地球周回軌道上の観測衛星からの遠隔撮像技術の進展はめざましいものがあり、近年、高分解能化が図られており、従来の二次元画像情報に限らず三次元画像情報の抽出も進展してきている。
【０００４】
観測衛星から得られる衛星画像情報の特徴的な利点は、周期的撮像により変遷する地表面の状況をとらえることができ、また地球上全範囲を撮像することが可能であるという点である。
【０００５】
従来からの航空機の飛行安全手段としては、対地接近警報装置（ＧＰＷＳ：Ｇｒｏｕｎｄ Ｐｒｏｘｉｍｉｔｙ Ｗａｒｎｉｎｇ Ｓｙｓｔｅｍ）が用いられており、多くの大型航空機に装備されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、ＧＰＷＳにおける障害物の検知にはレーダを使用するが、異常接近情報の検知はレーダの及ぶ狭い範囲に限られるため、障害物が航空機の間近に迫らないと警報が鳴らないという問題点があった。警報が鳴ってからパイロットが対処しようとしても、異常接近地点と自機の進行方向との相対的関係がわからずに障害物を避けることができない場合が多くあった。さらに、高圧送電線のような線状のものはレーダでは検出ができないという問題点があった。
【０００７】
また、ヘリコプタ等の小型航空機については、鉄塔型構造物（送電線を含む）、高層建造物等の尖塔型建造物への接触、雪面への着陸における高度誤認、霧や雨等による高度視界不良等の安全航行を阻害する要因が多く存在する。
【０００８】
この発明は上記の点に鑑みてなされたものであり、衛星画像を用いて、地形や尖塔型建造物及び噴煙・雪面等の時間的変化等を表す高度視界情報を作成、提示するシステムとその方法、及びこの高度視界情報を航空機に配信して航空機の位置情報及び地形情報を合成した上で航空機搭載の画面上に表示し、事前に障害情報を警告する飛行障害認識システムとその方法を提供することを課題とする。
【０００９】
【課題を解決するための手段】
かかる課題を達成するため、請求項１に記載の発明は、地球周回軌道上の観測衛星から通信回線を介して受信した地表を撮影した分解能の異なるステレオペアの衛星画像情報及び該衛星画像情報を基に加工した衛星高分解能画像情報から、地形データと尖塔型建造物データとを有するディジタル標高モデル情報を抽出するＤＥＭ抽出手段を有する衛星画像解析・処理装置と、高度視界情報保存装置とを有する高度視界情報提供システムであって、前記ディジタル標高モデル情報の前記地形データから、山岳、海、市街地の地形の種類を識別し、地表面の起伏の地形状態を認識する地形状況認識手段と、前記ディジタル標高モデル情報の送電線を含む鉄塔型構造物、高層建造物の障害物に関する前記尖塔型建造物データから、前記尖塔型建造物の形状及び位置情報を認識する尖塔型建造物認識手段と、前回と今回受信した同一位置の前記衛星高分解能画像情報を比較することによって同一位置における時間的に変化する情報を認識する時系列認識手段と、前記地形状況認識手段及び前記尖塔型建造物認識手段により取得した情報を合成して得た地形や尖塔型建造物及び火山噴煙・雪面・砂漠面の時間的変化を表す高度視界情報を、前記高度視界情報データベースに保存する高度視界情報保存手段と、を有することを特徴とする。
【００１０】
請求項２に記載の発明は、請求項１に記載した高度視界情報提供システムの前記高度視界情報を航空機の位置情報及びジャイロからの姿勢情報と合成して飛行障害認識用高度視界情報が作成され、パイロットの視点からの画像や航空機の位置を含めた地勢図の前記飛行障害認識用高度視界情報を表示する表示手段を有し、飛行障害物を検知した場合に、地表面の山岳地域、建造物の飛行障害物及び危険地域に警報を表す色が着色されて高度の数値情報が付加される視覚的提示手段と、飛行障害となる前記尖塔型建造物に警報を表す色が着色されて高度の数値情報が付加される音声的提示手段とが、相互に稼働状態を監視することで、前記視覚的提示手段と前記音声的提示手段のいずれか一方が提示された場合に他方の提示手段も同時に提示されることを特徴とする。
【００１１】
請求項３に記載の発明は、請求項２の構成に加えて、前記飛行障害認識用高度視界情報は、パイロットの視点からの画像、航空機後方からの視点の画像、航空機真横からの視点の画像、及び航空機直下の画像を切り換えて表示することができることを特徴とする。
【００１２】
請求項４に記載の発明は、地球周回軌道上の観測衛星から通信回線を介して受信した地表を撮影した分解能の異なるステレオペアの衛星画像情報及び該衛星画像情報を基に加工した衛星高分解能画像情報から、地形データと尖塔型建造物データとを有するディジタル標高モデル情報を抽出するステップを有する高度視界情報を提供する方法であって、前記ディジタル標高モデル情報の前記地形データから、山岳、海、市街地の地形の種類を識別し、地表面の起伏の地形状態を認識する地形状態認識ステップと、前記ディジタル標高モデル情報の送電線を含む鉄塔型構造物、高層建造物の障害物に関する前記尖塔型建造物データから、前記尖塔型建造物の形状及び位置情報を認識する尖塔型建造物認識ステップと、前回と今回受信した同一位置の前記衛星高分解能画像情報を比較することによって同一位置の時間的に変化する情報を認識する時系列認識ステップと、前記地形状況認識ステップ、前記尖塔型建造物認識ステップ及び前記時系列認識ステップにより取得した情報を合成して得た地形や尖塔型建造物及び火山噴煙・雪面・砂漠面の時間的変化を表す高度視界情報を高度視界情報データベースに保存するステップと、を有することを特徴とする。
【００１３】
請求項５に記載の発明は、請求項４に記載された高度視界情報提供方法の前記高度視界情報を航空機の位置情報及び姿勢情報と合成して、前記飛行障害提示装置のディスプレイ上にパイロットの視点からの画像や航空機の位置を含めた地勢図の飛行障害認識用高度視界情報を表示するステップと、飛行障害物を検知した場合に、地表面の山岳地域、建造物の飛行障害物及び危険地域に警報を表す色が着色されて高度の数値情報が付加される視覚的提示ステップと、飛行障害となる前記尖塔型建造物に警報を表す色が着色されて高度の数値情報が付加される音声的提示ステップとが、相互に稼働状態を監視することで、前記視覚的提示ステップと前記音声的提示ステップのいずれか一方のステップが実行された場合に他方の提示ステップも同時に実行されることを特徴とする。
【００１７】
【発明の実施の形態】
図１には、この発明に係る飛行障害認識システムの機能ブロック図を示す。
【００１８】
飛行障害認識システム１は、ＤＥＭ抽出手段２０、地形状況認識手段２１、尖塔型建造物認識手段２２、時系列認識手段２３及び高度視界情報保存手段２４を有する高度視界情報提供システム２と、高度視界情報提示手段２５とを有している。
【００１９】
以下、図１に示す飛行障害認識システムの有する手段の概要を説明する。
【００２０】
ＤＥＭ抽出手段２０は、観測衛星９から取得した複数の分解能のステレオペアの衛星高分解能画像情報を読み込み、画像の位置合わせ、分解能の切り換え等のデータ融合を行い、ディジタル標高モデル情報（ＤＥＭ（Ｄｉｇｉｔａｌ Ｅｌｅｖａｔｉｏｎ Ｍｏｄｅｌ）情報）として出力する。なお、この手段は例えば従来技術を用いることで実現可能である。
【００２１】
地形状況認識手段２１は、ＤＥＭ抽出手段によって抽出されたディジタル標高モデル情報の地形データから、地形の種類（山岳、海、市街地等）を識別し、地表面の起伏等の状態を認識し、飛行障害物及び危険地域を抽出し他と識別できる色等を付加する。主に広域における山岳地形や河川等の地形状況の認識手段である。この手段によって、航空経路に沿った広域な地形状況把握が可能となる。
【００２２】
尖塔型建造物認識手段２２は、ＤＥＭ抽出手段２０によって抽出されたディジタル標高モデル情報の尖塔型建造物データを基に、比較的狭い地域の尖塔型建造物の形状及び緯度、経度、高度からなる位置情報を詳細に識別し、尖塔型建造物を抽出し他と識別できる色等を付加する。ここで、尖塔型建造物データとは、送電線を含む鉄塔型構造物、高層建造物等の障害物の情報である。主にヘリコプタ等の低空飛行を行う小型航空機や飛行場付近での障害物認識手段である。
【００２３】
なお、地形状況認識手段２１と尖塔型建造物認識手段２２は、並行して処理が行われる。
【００２４】
時系列認識手段２３は、前回、高度視界情報保存装置４の高度視界情報データベース４ａ（図６参照）に保存しておいた高度視界情報と、今回、観測衛星９より受信し地形状況認識手段２１と尖塔型建造物認識手段２２に処理された高度視界情報の同一位置を比較することによって、同一位置における時間的に変化するディジタル標高モデル情報を認識する。新規な建造物の他、雪面・砂漠面の変化、火山噴煙・霧の流れ等の地形状況、大気状態の変化の把握が可能となる。
【００２５】
高度視界情報保存手段２４は、地形状況認識手段２１、尖塔型建造物認識手段２２及び時系列認識手段２３によって得られた高度視界情報を、高度視界情報保存装置４の高度視界情報データベース４ａに保存する。
【００２６】
高度視界情報提示手段２５は、高度視界情報保存手段２４によって高度視界情報保存装置４の高度視界情報データベース４ａに保存した高度視界情報を、航空機１２の位置情報及び姿勢情報と合成して飛行障害提示装置１３のディスプレイ１４等でパイロットの視点からの画像や航空機１２の位置を含めた地勢図等の飛行障害認識用高度視界情報を表示したり、ディスプレイ１４上に障害物が検知されたときは、音声や警告音等を用いて警告する。
【００２７】
以下、図２〜図７を用いて、各手段を詳細に説明する。
【００２８】
図２には、この発明に係る飛行障害認識システムのＤＥＭ抽出手段の機能ブロック図を示す。
【００２９】
ＤＥＭ抽出手段２０は、複数異種分解能衛星画像ＤＥＭ抽出手段３１、データ融合手段３２及び飛行障害認識処理組み込み手段３３とを有する。
【００３０】
複数異種分解能衛星画像ＤＥＭ抽出手段３１によって、比較的分解能の低い山岳地形等の広域画像や、鉄塔・送電線等の尖塔型建造物認識に使用する分解能の高い詳細画像等、分解能が異なる複数の衛星高分解能画像情報を受信する。これらの衛星高分解能画像情報は、三次元画像が作成できるように同一地域を異なった地点から撮影した左右の２枚の映像の組であり、これをステレオペア３０という。
【００３１】
このステレオペア３０は、データ融合手段３２によって、ステレオペア３０の対応する位置を自動的に合わせる自動位置合わせ、異なった分解能を同一分解能に切り換える異種分解能切換、広域画像、詳細画像及び分解能別に高度視界情報を格納する階層型データ格納等の処理が行われる。
【００３２】
この階層型に格納された高度視界情報は、飛行障害認識処理組み込み手段３３によって、地形状況認識手段２１及び尖塔型建造物認識手段２２にデータを受け渡すためのインターフェース処理が行われる。
【００３３】
図３には、この発明に係る飛行障害認識システムの地形状況認識手段の機能ブロック図を示す。
【００３４】
地形状況認識手段２１は、高精度認識手段４１と衛星画像への貼り込み手段４２を有している。
【００３５】
飛行障害認識処理組み込み手段３３より、ディジタル標高モデル情報の地形データ４０が地形状況認識手段２１に渡される。この地形データ４０は、高精度認識手段４１によって二次元データとして解析され、地形の種類（山岳地形、河川、海、湖沼、高速道路、市街地、住宅密集地、工場密集地等）の識別、地表面起伏、位置情報等の地表面状態を認識する。さらに、地形データ４０から、山岳地域、建造物等の飛行障害物及び危険地域が抽出され、赤色等の警報を表す色に着色され、飛行障害物及び危険地域の高度の数値情報が付加される。
【００３６】
ここで、地形の種類の識別方法には、さまざまな方法がある。例えば、海と陸地を識別する方法としては、画像信号の海と陸地の輝度の分布の差によって海面と陸地を判別して海岸線を抽出する方法がある。
【００３７】
そして、これらの地表面状態の情報を、衛星画像への貼り込み手段４２を用いてディジタル標高モデル情報と合成し、飛行障害物及び危険地域が認識された高度視界情報を作成する。
【００３８】
図４には、この発明に係る飛行障害認識システムの尖塔型建造物認識手段の機能ブロック図を示す。
【００３９】
尖塔型建造物認識手段２２は、送電線認識手段５２、鉄塔型構造物認識手段５３、高層建造物認識手段５４、尖塔形建造物事前情報データベース５１、事前情報格納手段５５及び事前情報入出管理手段５６を有する。
【００４０】
飛行障害認識処理組み込み手段３３より、ディジタル標高モデル情報の尖塔型建造物データ５０が事前情報格納手段５５によって尖塔型建造物事前情報データベース５１に格納され、事前情報入出力管理手段５６によって、送電線認識手段５２、鉄塔型構造物認識手段５３及び高層建造物認識手段５４への尖塔型建造物データ５０の入出力制御が行われる。
【００４１】
事前情報入出管理部５６の制御によって送電線認識手段５２に渡された尖塔型建造物データ５０は、送電線画像の情報かどうか解析され、送電線画像の情報である場合は、この送電線の線状が認識され、緯度、経度、高度からなる位置情報が抽出される。
【００４２】
同様に、鉄塔型構造物認識手段５３に渡された尖塔型建造物データ５０は、鉄塔型構造物画像の情報かどうか解析され、鉄塔型構造物画像の情報である場合は、この鉄塔型構造物の形状が認識され、位置情報が抽出される。
【００４３】
さらに、高層建造物認識手段５４に渡された尖塔型建造物データ５０は、高層建造物画像の情報かどうか解析され、高層建造物画像の情報である場合は、高層建造物の形状が認識され、位置情報が抽出される。
【００４４】
これらの位置情報から、飛行障害となる尖塔型建造物が抽出され、その抽出された尖塔型建造物に赤色等の警報を表す色が着色され、またさらに尖塔型建造物に高度の数値情報が付加される。
【００４５】
これらの送電線認識手段５２、鉄塔型構造物認識手段５３及び高層建造物認識手段５４には、事前情報入出管理手段５６によって、尖塔型建造物事前情報データベース５１から同一地域の尖塔型建造物データ５０が各々受け渡されて独立に処理が行われるが、各手段は相互に稼働状態を監視しながら、同時に同一地域の尖塔建造物の認識及び抽出を行う。
【００４６】
図５には、この発明に係る飛行障害認識システムの時系列認識手段の機能ブロック図を示す。
【００４７】
時系列認識手段２３は、時間的変移抽出手段６０、地形変移認識手段６１、建造物認識手段６２、雪面・砂漠認識手段６３、火山噴煙認識手段６４、起伏変移認識高度マップ抽出手段６５、形状変移認識高度マップ抽出手段６６、起伏形状認識高度マップ抽出手段６７及び噴煙認識高度マップ抽出手段６８とを有している。
【００４８】
この時系列認識手段２３によって、同一位置の時間的に変化するディジタル標高モデル情報が認識され、新規な建造物、雪面・砂漠面の変化、火山噴煙・霧の流れ等の地形状況、大気状態の変化の把握が可能となる。
【００４９】
時間的変移抽出手段６０によって、地形状況認識手段２１及び尖塔型建造物認識手段２２によって処理された今回の高度視界情報と、前回画像処理時に高度視界情報保存装置４の高度視界情報データベース４ａに保存された高度視界情報の同一位置が比較され、異なっている高度視界情報を抽出する。この抽出された高度視界情報は、地形変移認識手段６１、建造物認識手段６２、雪面・砂漠認識手段６３及び火山噴煙認識手段６４に渡される。
【００５０】
地形変移認識手段６１によって、渡された高度視界情報が解析され、解析した結果、地形が異なっていた場合は、その高度視界情報から起伏変移認識高度マップ抽出手段６５によって起伏変移認識高度マップが抽出される。
【００５１】
同様に、建造物認識手段６２によって、渡された高度視界情報が解析され、解析した結果、建造物が異なっていた場合は、その高度視界情報から形状変移認識高度マップ抽出手段６６によって形状変移認識高度マップが抽出される。
【００５２】
同様に、雪面・砂漠認識手段６３によって、渡された高度視界情報が解析され、解析した結果、雪面及び砂漠が異なっていた場合は、その高度視界情報から起伏形状認識高度マップ抽出手段６７によって起伏形状認識高度マップが抽出される。
【００５３】
同様に、火山噴煙認識手段６４によって、渡された高度視界情報が解析され、噴煙認識高度マップ抽出手段６８によって噴煙認識高度マップが抽出される。
【００５４】
図６には、この発明に係る飛行障害認識システムの高度視界情報保存手段の機能ブロック図を示す。
【００５５】
地形状況認識手段２１、尖塔型建造物認識手段２２及び時系列認識手段２３によって作成された高度視界情報は、高度視界情報保存手段２４によって高度視界情報データベース４ａに保存される。なお、この発明の実施の形態では、高度視界情報を高度視界情報データベース４ａに保存したが、保存する媒体はＣＤ−ＲＯＭ、ＤＶＤ等の記録媒体であってもよい。
【００５６】
図７には、この発明に係る飛行障害認識システムの高度視界情報提示手段の機能ブロック図を示す。
【００５７】
この高度視界情報提示手段２５は視覚的提示手段７０と音声的提示手段７１を有している。
【００５８】
地形状況認識手段２１、尖塔型建造物認識手段２２及び時系列認識手段２３で処理された後、高度視界情報保存手段２４で高度視界情報保存装置４の高度視界情報データベース４ａに保存された高度視界情報は、視覚的提示手段７０によって、ＧＰＳからの位置情報及びジャイロからの姿勢情報と合成されて、飛行障害認識用高度視界情報が作成され、航空機１２に搭載されたディスプレイ１４に表示される。
【００５９】
ディスプレイ１４上に表示される飛行障害認識用高度視界情報は、パイロットの視点、航空機１２後方からの視点、航空機１２直下の画像、航空機１２真横からの視点等、視点を切り換えて表示することができるため、航空機１２と周囲の地形状況及び飛行障害物との位置関係を明確に認識することが可能となる。パイロットの視点で飛行障害認識用高度視界情報が表示されている場合は、障害物に航空機１２が近づけば障害物や付近の地形もディスプレイ１４に拡大表示される仕組みとなっている。
【００６０】
なお、高度視界情報提示手段２５の実施の形態として、高度視界情報保存装置４の高度視界情報データベース４ａに保存された高度視界情報を航空機１２のディスプレイ１４上に表示したが、これ以外に特定の位置、角度から見た高度視界情報としてプリンタ１６で印刷して地図を作成する等、さまざまな提示方法が考えられる。
【００６１】
一方、音声的提示手段７１によって、高度視界情報保存手段２４で高度視界情報保存装置４の高度視界情報データベース４ａに保存された高度視界情報から、ディスプレイ１４上に表示されている山岳地域、建造物等の飛行障害物及び危険地域が抽出され、その障害物及び危険状態の種類によって周波数が変化する可変周波数警告音を発信する。この警告音は、パイロットの応答があるまで鳴り続ける仕組みとなっている。
【００６２】
視覚的提示手段７０と音声的提示手段７１は、独立に高度視界情報を読み込んで処理を行うが、相互に稼働状態を監視する仕組みとなっている。例えば、視覚的提示手段７０によってディスプレイ１４上に赤色等に着色された危険地帯が表示された場合は、視覚的提示手段７０を監視していた音声的提示手段７１は、警告音を発信する。
【００６３】
図８には、この発明に係る飛行障害認識システムの実施の形態である主なハードウエアの構成図を示す。
【００６４】
飛行障害認識システム１は、衛星画像解析・処理装置３、高度視界情報保存装置４、システム管理・保守装置７を有する高度視界情報提供システム２、及び高度視界情報サーバ５、高度視界情報サーバ制御装置６及び通信装置８を有する高度視界情報配信装置と、航空機１２上の飛行障害提示装置１３とが、インターネット１１等の通信回線を介して接続されている。
【００６５】
衛星画像解析・処理装置３は、インターネット１１を介して地球周回上の観測衛星９から取得した複数のステレオペアの衛星高分解能画像情報の解析及び処理を行って高度視界情報を作成し、この高度視界情報を高度視界情報データベース４ａに保存する機能を有している。
【００６６】
高度視界情報保存装置４は、衛星画像解析・処理装置３で作成した高度視界情報を保存しておく高度視界情報データベース４ａを有している。
【００６７】
高度視界情報サーバ５は、衛星高分解能画像情報をインターネット１１から受信し、さらに受信した衛星高分解能画像情報を衛星画像解析・処理装置３に送信したり、また衛星画像解析・処理装置３で作成した高度視界情報をインターネット１１に配信する機能を有するサーバである。
【００６８】
高度視界情報サーバ制御装置６は、高度視界情報のインターネット１１への配信を制御する装置であり、航空機１２に搭載した飛行障害提示装置１３からの画像配信の要求を受け、配信対象の高度視界情報を高度視界情報保存装置４から該当する高度視界情報を検索、抽出し、高度視界情報サーバ５に画像配信指示を出す機能を有している。
【００６９】
システム管理・保守装置７は、ＬＡＮに接続されている衛星画像解析・処理装置３、高度視界情報保存装置４、高度視界情報サーバ５、高度視界情報サーバ制御装置６及び通信装置８等の稼働状況を監視、管理したり、プログラムやデータの保守を行う機能を有している。
【００７０】
図８を用いて、この発明における飛行障害認識システム１実施の形態を説明すると、まず、観測衛星９より衛星画像情報が衛星画像プロバイダ１０に送られ加工される。この衛星画像情報が加工された衛星高分解能画像情報は衛星画像プロバイダ１０からインターネット１１を介して高度視界情報サーバ５に送信される。衛星画像解析・処理装置３は、この高度視界情報サーバ５の衛星高分解能画像情報から地形データ４０及び尖塔型建造物データ５０を有するディジタル標高モデル情報を抽出する。この抽出した地形データ４０を基に地表面の起伏、河川及び海等の地形状態を解析・処理し、また尖塔型建造物データ５０を基に尖塔型建造物の形状及び位置情報を解析・処理し、さらに前回高度視界情報保存装置４の高度視界情報データベース４ａに保存しておいた高度視界情報と比較して時間的に変化する地形や建造物等のディジタル標高モデル情報を解析・処理する。これらの解析・処理した高度視界情報を合成して、高度視界情報保存装置４に保存する。
【００７１】
高度視界情報サーバ制御装置６において、航空機１２等に搭載されている飛行障害提示装置１３への画像配信要求を受けた場合は、その要求を受けた高度視界情報を前記高度視界情報保存装置４から該当する高度視界情報を検索、抽出し、インターネット１１を介して航空機１２等に搭載されている飛行障害提示装置１３に配信する。この配信された高度視界情報とＧＰＳから取得した航空機１２の位置情報と、ジャイロから取得した航空機１２の姿勢情報を飛行障害提示装置１３で画像合成、処理し、この飛行障害提示装置１３のディスプレイ１４上に、パイロットの視点からの画像や航空機１２の位置を含めた地勢図等の飛行障害認識用高度視界情報を表示する。
【００７２】
なお、この実施の形態においては、通信手段としてインターネット１１を用いたが、航空機１２に高度視界情報を配信できる通信手段であれば特に制約はなく使用できる。また、通信手段を用いずに、ＣＤ―ＲＯＭ、ＤＶＤ１５等の記憶媒体を用いて、データの受け渡しをしてもよい。
【００７３】
なお、上記の実施の形態では、高度視界情報を飛行障害認識用に用いたが、用途は多様である。例えば、高度視界情報を基に住宅密集地を避けて航路を選定し飛行機の騒音問題を解決したり、パイロットの訓練用のシュミレータ及びレーダとの併用による航空管制の高機能化に利用できる。
【００７４】
以上のように、衛星高分解能画像から作成した高度視界情報を飛行障害認識に使用することで、世界全域の航空経路において霧、雨等による視界不良時の山岳への衝突、鉄塔型構造物（送電線を含む）及び高層建造物等の尖塔型建造物への接触事故を未然に防ぎ、時間的に変化する噴煙の流れの方向の把握、高度誤認を引き起こし易い時間的変化のある雪面等への着陸安全を向上させることが可能となる。
【００７５】
【発明の効果】
以上説明した通り、請求項１及び請求項４に記載の発明によれば、世界全域の高度視界情報を作成することができるので、航空機の飛行障害認識に使用し安全対策に利用できるのみならず、高度視界情報を基に住宅密集地を避けて航路を選定し、飛行機の騒音問題を解決したり、パイロットの訓練のシュミレータ及びレーダとの併用による航空管制の高機能化システムに利用できる。
【００７６】
請求項２及び請求項５に記載の発明によれば、衛星高分解能画像から作成した高度視界情報を航空機の飛行障害認識に使用し安全対策に利用することで、全世界の航空経路における高度視界情報を作成することができ、霧、雨等による視界不良時の山岳への衝突、鉄塔型構造物（送電線を含む）及び高層建造物等の尖塔型建造物への接触事故を未然に防ぎ、時間的に変化する噴煙の流れの方向の把握、高度誤認を引き起こし易い時間的変化のある雪面等への着陸安全を向上させることが可能となる。
【００７７】
請求項３に記載の発明によれば、航空機搭載のディスプレイ上に飛行障害認識用高度視界情報を視点を切り換えて表示することができ、パイロットの視点で画像が表示されている場合は、障害物に航空機が近づけば障害物や付近の地形もディスプレイに拡大表示され、さらに障害物及び危険状態によって周波数が変化する可変周波数警告音を発信することができるので、パイロットが航空機と周囲の地形状況及び飛行障害物との位置関係を明確に認識することが可能となり、事前に安全対策をとることができる。
【図面の簡単な説明】
【図１】この発明に係る飛行障害認識システムの機能ブロック図である。
【図２】この発明に係る飛行障害認識システムのＤＥＭ抽出手段の機能ブロック図である。
【図３】この発明に係る飛行障害認識システムの地形状況認識手段の機能ブロック図である。
【図４】この発明に係る飛行障害認識システムの尖塔型建造物認識手段の機能ブロック図である。
【図５】この発明に係る飛行障害認識システムの時系列認識手段の機能ブロック図である。
【図６】この発明に係る飛行障害認識システムの高度視界情報保存手段の機能ブロック図である。
【図７】この発明に係る飛行障害認識システムの高度視界情報提示手段の機能ブロック図である。
【図８】この発明に係る飛行障害認識システムの実施の形態である主なハードウエアの構成図である。
【符号の説明】
１ 高度視界情報提供システム
２ 飛行障害認識システム
３ 衛星画像解析・処理装置
４ 高度視界情報保存装置
４ａ 高度視界情報データベース
５ 高度視界情報サーバ
６ 高度視界情報サーバ制御装置
７ システム管理・保守装置
９ 観測衛星
１１ インターネット（通信回線）
１２ 飛行機
１３ 飛行障害提示装置
１４ ディスプレイ（表示部）
２０ ＤＥＭ抽出手段
２１ 地形状況認識手段
２２ 尖塔型建造物認識手段
２３ 時系列認識手段
２４ 高度視界情報保存手段
２５ 高度視界情報提示手段
４０ 地形データ
５０ 尖塔型建造物データ
Claims (5)
- 地球周回軌道上の観測衛星から通信回線を介して受信した地表を撮影した分解能の異なるステレオペアの衛星画像情報及び該衛星画像情報を基に加工した衛星高分解能画像情報から、地形データと尖塔型建造物データとを有するディジタル標高モデル情報を抽出するＤＥＭ抽出手段を有する衛星画像解析・処理装置と、高度視界情報保存装置とを有する高度視界情報提供システムであって、前記ディジタル標高モデル情報の前記地形データから、山岳、海、市街地の地形の種類を識別し、地表面の起伏の地形状態を認識する地形状況認識手段と、前記ディジタル標高モデル情報の送電線を含む鉄塔型構造物、高層建造物の障害物に関する前記尖塔型建造物データから、前記尖塔型建造物の形状及び位置情報を認識する尖塔型建造物認識手段と、前回と今回受信した同一位置の前記衛星高分解能画像情報を比較することによって同一位置における時間的に変化する情報を認識する時系列認識手段と、前記地形状況認識手段及び前記尖塔型建造物認識手段により取得した情報を合成して得た地形や尖塔型建造物及び火山噴煙・雪面・砂漠面の時間的変化を表す高度視界情報を、前記高度視界情報データベースに保存する高度視界情報保存手段と、を有することを特徴とする航空機用の高度視界情報提供システム。
- 請求項１に記載した高度視界情報提供システムの前記高度視界情報を航空機の位置情報及びジャイロからの姿勢情報と合成して飛行障害認識用高度視界情報が作成して、パイロットの視点からの画像や航空機の位置を含めた地勢図の前記飛行障害認識用高度視界情報を表示する表示手段を有し、地表面の山岳地域、建造物の飛行障害物及び危険地域に警報を表す色が着色されて高度の数値情報が付加される視覚的提示手段と、飛行障害となる前記尖塔型建造物に警報を表す色が着色されて高度の数値情報が付加される音声的提示手段とが、相互に稼働状態を監視することで、前記視覚的提示手段と前記音声的提示手段のいずれか一方が提示された場合に他方の提示手段も同時に提示されることを特徴とする航空機に搭載された飛行障害提示装置。
- 前記飛行障害認識用高度視界情報は、パイロットの視点からの画像、航空機後方からの視点の画像、航空機真横からの視点の画像、及び航空機直下の画像を切り換えて表示することができることを特徴とする請求項２に記載の飛行障害提示装置。
- 地球周回軌道上の観測衛星から通信回線を介して受信した地表を撮影した分解能の異なるステレオペアの衛星画像情報及び該衛星画像情報を基に加工した衛星高分解能画像情報から、地形データと尖塔型建造物データとを有するディジタル標高モデル情報を抽出するステップを有する高度視界情報を提供する方法であって、前記ディジタル標高モデル情報の前記地形データから、山岳、海、市街地の地形の種類を識別し、地表面の起伏の地形状態を認識する地形状態認識ステップと、前記ディジタル標高モデル情報の送電線を含む鉄塔型構造物、高層建造物の障害物に関する前記尖塔型建造物データから、前記尖塔型建造物の形状及び位置情報を認識する尖塔型建造物認識ステップと、前回と今回受信した同一位置の前記衛星高分解能画像情報を比較することによって同一位置の時間的に変化する情報を認識する時系列認識ステップと、前記地形状況認識ステップ、前記尖塔型建造物認識ステップ及び前記時系列認識ステップにより取得した情報を合成して得た地形や尖塔型建造物及び火山噴煙・雪面・砂漠面の時間的変化を表す高度視界情報を高度視界情報データベースに保存するステップと、を有することを特徴とする航空機用の高度視界情報提供方法。
- 請求項４に記載された高度視界情報提供方法の前記高度視界情報を航空機の位置情報及び姿勢情報と合成して、前記飛行障害提示装置のディスプレイ上にパイロットの視点からの画像や航空機の位置を含めた地勢図の飛行障害認識用高度視界情報を表示するステップと、飛行障害物を検知した場合に、地表面の山岳地域、建造物の飛行障害物及び危険地域に警報を表す色が着色されて高度の数値情報が付加される視覚的提示ステップと、飛行障害となる前記尖塔型建造物に警報を表す色が着色されて高度の数値情報が付加される音声的提示ステップとが、相互に稼働状態を監視することで、前記視覚的提示ステップと前記音声的提示ステップのいずれか一方のステップが実行された場合に他方の提示ステップも同時に実行されることを特徴とする航空機に搭載された飛行障害提示方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001329773A JP4174559B2 (ja) | 2001-10-26 | 2001-10-26 | 衛星画像を利用した高度視界情報提供システムとその方法及び飛行障害認識システムとその方法 |
| US10/251,806 US7046824B2 (en) | 2001-10-26 | 2002-09-23 | System and method of presenting altitude visibility information provision system utilizing satellite image, and system and method of recognizing flight obstacle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001329773A JP4174559B2 (ja) | 2001-10-26 | 2001-10-26 | 衛星画像を利用した高度視界情報提供システムとその方法及び飛行障害認識システムとその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003127998A JP2003127998A (ja) | 2003-05-08 |
| JP4174559B2 true JP4174559B2 (ja) | 2008-11-05 |
Family
ID=19145614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001329773A Expired - Fee Related JP4174559B2 (ja) | 2001-10-26 | 2001-10-26 | 衛星画像を利用した高度視界情報提供システムとその方法及び飛行障害認識システムとその方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7046824B2 (ja) |
| JP (1) | JP4174559B2 (ja) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7194389B2 (en) * | 2003-03-25 | 2007-03-20 | The United States Of America As Represented By The Secretary Of The Army | Fusion of data from differing mathematical models |
| US7489268B2 (en) * | 2007-01-08 | 2009-02-10 | Honeywell International Inc. | Methods and systems for producing an interpretive airborne radar map |
| US9809313B2 (en) * | 2007-01-22 | 2017-11-07 | Honeywell International Inc. | Cabin altitude alerting systems and methods |
| US8379087B1 (en) * | 2007-05-01 | 2013-02-19 | The United States Of America As Represented By The Secretary Of The Navy | Attitude estimation using ground imagery |
| WO2009061423A2 (en) * | 2007-11-05 | 2009-05-14 | Doubleshot, Inc. | Methods and systems for navigation and terrain change detection |
| US8156136B2 (en) * | 2008-10-16 | 2012-04-10 | The Curators Of The University Of Missouri | Revising imagery search results based on user feedback |
| PT104798B (pt) * | 2009-10-23 | 2018-12-31 | Inst Politecnico De Beja | Método gerador de cartas aeroportuárias de obstáculos baseado na fusão de dados de interferometria por radares de abertura sintética assentes em plataformas espaciais com outros dados captados por sensores remotos |
| CN102737357B (zh) * | 2011-04-08 | 2014-08-27 | 中国科学院国家天文台 | 月球三线阵相机影像仿真数据的生成方法 |
| JP6512679B2 (ja) * | 2013-08-26 | 2019-05-15 | 株式会社 ミックウェア | 情報システム、上空地図情報出力方法、およびプログラム |
| CN104457691B (zh) * | 2014-12-15 | 2017-02-01 | 重庆市勘测院 | 一种建筑物主体高程信息获取方法 |
| CN105865413B (zh) * | 2015-01-23 | 2018-09-18 | 北京四维图新科技股份有限公司 | 一种建筑物高度的获取方法及装置 |
| CN104820826B (zh) * | 2015-04-27 | 2018-01-16 | 重庆大学 | 一种基于数字高程模型的坡形提取与识别方法 |
| CN105574856A (zh) * | 2015-12-10 | 2016-05-11 | 国网四川省电力公司电力科学研究院 | 一种基于双极化sar图像的冰雪面积提取方法 |
| CN105448140A (zh) * | 2015-12-30 | 2016-03-30 | 北京招通致晟科技有限公司 | 一种航班动态信息的获取方法及装置 |
| CN106055656A (zh) * | 2016-06-01 | 2016-10-26 | 南京师范大学 | 一种面向并行地形可视域分析的数据划分与调度方法 |
| EP3682193A4 (en) * | 2017-09-13 | 2021-06-02 | Project Concern International | SYSTEM AND METHOD FOR IDENTIFICATION AND EVALUATION OF TOPOGRAPHICAL CHARACTERISTICS USING SATELLITE DATA |
| CN108959347B (zh) * | 2018-04-12 | 2021-03-09 | 中国科学院地理科学与资源研究所 | 基于地形和夜晚灯光数据的极光观测候选区确定方法 |
| CN109443359B (zh) * | 2018-09-27 | 2020-08-14 | 北京空间机电研究所 | 一种地面全景影像的地理定位方法 |
| CN111121650B (zh) * | 2019-12-25 | 2021-08-31 | 中国民航科学技术研究院 | 一种利用dem辅助卫星影像测算建筑物高度的方法及系统 |
| CN111323768B (zh) * | 2020-02-26 | 2023-12-12 | 北京佳格天地科技有限公司 | 建筑物变化的识别方法、装置、终端及存储介质 |
| CN112002012B (zh) * | 2020-08-26 | 2022-07-08 | 中南大学 | 城市区域的可视性分析方法 |
| CN112419499B (zh) * | 2020-11-14 | 2022-11-29 | 中国科学院电子学研究所苏州研究院 | 一种沉浸式的态势场景仿真系统 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4489389A (en) * | 1981-10-02 | 1984-12-18 | Harris Corporation | Real time video perspective digital map display |
| US4682160A (en) * | 1983-07-25 | 1987-07-21 | Harris Corporation | Real time perspective display employing digital map generator |
| US4646244A (en) * | 1984-02-02 | 1987-02-24 | Sundstrand Data Control, Inc. | Terrain advisory system |
| US4829304A (en) * | 1986-05-20 | 1989-05-09 | Harris Corp. | Map-aided navigation system employing TERCOM-SITAN signal processing |
| US4835537A (en) * | 1986-07-16 | 1989-05-30 | Manion James H | Telemetry burst collision avoidance system |
| US4985854A (en) * | 1989-05-15 | 1991-01-15 | Honeywell Inc. | Method for rapid generation of photo-realistic imagery |
| NL8901695A (nl) * | 1989-07-04 | 1991-02-01 | Koninkl Philips Electronics Nv | Werkwijze voor het weergeven van navigatiegegevens voor een voertuig in een omgevingsbeeld van het voertuig, navigatiesysteem voor het uitvoeren van de werkwijze, alsmede voertuig voorzien van een navigatiesysteem. |
| GB8925196D0 (en) * | 1989-11-08 | 1990-05-30 | Smiths Industries Plc | Navigation systems |
| US5204818A (en) * | 1990-05-22 | 1993-04-20 | The United States Of America As Represented By The Secretary Of The Air Force | Surveying satellite apparatus |
| US5124915A (en) * | 1990-05-29 | 1992-06-23 | Arthur Krenzel | Computer-aided data collection system for assisting in analyzing critical situations |
| CA2112101C (en) * | 1991-06-21 | 1998-08-18 | David A. Wysocki | Real time three dimensional geo-referenced digital orthophotograph-basedpositioning, navigation, collision avoidance and decision support system |
| US5309522A (en) * | 1992-06-30 | 1994-05-03 | Environmental Research Institute Of Michigan | Stereoscopic determination of terrain elevation |
| US5719567A (en) * | 1995-05-30 | 1998-02-17 | Victor J. Norris, Jr. | System for enhancing navigation and surveillance in low visibility conditions |
| IT1281384B1 (it) * | 1995-10-10 | 1998-02-18 | Finmeccanica Spa | Sistema per il confronto di immagini digitali. |
| JPH11184375A (ja) * | 1997-12-25 | 1999-07-09 | Toyota Motor Corp | デジタル地図データ処理装置及びデジタル地図データ処理方法 |
| US6828922B1 (en) * | 1998-02-09 | 2004-12-07 | Honeywell International Inc. | Synthetic airborne hazard display |
| US6199008B1 (en) * | 1998-09-17 | 2001-03-06 | Noegenesis, Inc. | Aviation, terrain and weather display system |
| US6735550B1 (en) * | 2001-01-16 | 2004-05-11 | University Corporation For Atmospheric Research | Feature classification for time series data |
-
2001
- 2001-10-26 JP JP2001329773A patent/JP4174559B2/ja not_active Expired - Fee Related
-
2002
- 2002-09-23 US US10/251,806 patent/US7046824B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7046824B2 (en) | 2006-05-16 |
| US20030081812A1 (en) | 2003-05-01 |
| JP2003127998A (ja) | 2003-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4174559B2 (ja) | 衛星画像を利用した高度視界情報提供システムとその方法及び飛行障害認識システムとその方法 | |
| AU2018317851B2 (en) | An unmanned aerial vehicle system for inspecting railroad assets | |
| RU2550887C2 (ru) | Бортовая интегрированная система информационной поддержки экипажа и когнитивный формат представления полетной информации на этапе "взлет" многодвигательного воздушного судна | |
| US5200902A (en) | Airport control/management system | |
| US9478140B2 (en) | System and method for displaying traffic and associated alerts on a three-dimensional airport moving map display | |
| US6694249B1 (en) | Integrated surface moving map advisory system | |
| US8362925B2 (en) | Avionics display system and method for generating flight information pertaining to neighboring aircraft | |
| JP3052286B2 (ja) | 飛行システムおよび航空機用擬似視界形成装置 | |
| US6653947B2 (en) | Apparatus for the display of weather and terrain information on a single display | |
| US20180096532A1 (en) | System and method for virtual reality simulation of vehicle travel | |
| US8049644B1 (en) | Method for TAWS depiction on SVS perspective displays | |
| JP2008217775A (ja) | 障害物回避状況表示ジェネレータ | |
| EP2355070A2 (en) | Methods and systems for inputting taxi instructions | |
| EP2782086A1 (en) | Methods and systems for colorizing an enhanced image during alert | |
| US8810435B2 (en) | Apparatus and method for displaying a helicopter approach to an airport landing pad | |
| CN102343980A (zh) | 用于增强视觉图像中的姿态辨别的方法和系统 | |
| CN107010239A (zh) | 用于生成驾驶舱显示的驾驶舱显示系统和方法 | |
| US10388049B2 (en) | Avionic display systems and methods for generating avionic displays including aerial firefighting symbology | |
| CN104443407A (zh) | 在动态机场移动地图显示器上显示机场特征的系统和方法 | |
| JP3054685B2 (ja) | 地形表示機能を備えた搭載用航法装置 | |
| JP3905835B2 (ja) | リアルタイム・ナビゲーション情報を表示するための方法および装置 | |
| CN104908959A (zh) | 用于在交叉起飞期间标识跑道定位的系统和方法 | |
| WO2006125725A1 (fr) | Procede de fourniture d'informations sur la situation d'un aeronef par rapport a une installation aeroportuaire | |
| EP1661117A2 (en) | Display systems for a device | |
| WO2002045048A1 (fr) | Systeme d'atterrissage et de navigaton avec representation virtuelle de l'environnement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20030819 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070306 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070425 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080118 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080212 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080312 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080317 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080407 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080407 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080407 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080407 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080407 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080617 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130829 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |