JP2005050016A - 形状認識装置及び形状認識方法及び形状認識プログラム - Google Patents

Abstract

【課題】着陸標識等の認識を代行し、パイロットの視覚的支援を行い得る形状自動認識手段を高速に実現させることを目的とする。
【解決手段】形状探索範囲最適化部３００は、画像フレーム♯ｎを読み込み、最適化する。形状探索範囲設定部３１０は、形状探索範囲を設定する。抽出部３２０は、最適化された画像フレーム♯ｎから、形状パラメータ群Ｐ_ｎを抽出し、形状探索範囲設定部３１０によって設定された形状探索範囲Ｐに限定して、抽出した形状パラメータ群Ｐ_ｎを用いて写像変換方法に基づいた計算を実行することによって、形状認識データを抽出する。形状探索範囲Ｐに限定して写像変換を実行することにより、抽出部３２０は膨大な計算を行う写像変換処理の処理負担を著しく軽減することができるので、システム全体の処理を高速化させることができる。
【選択図】 図２

Description

【０００１】
【発明の属する技術分野】
本発明は、航空機の着陸安全技術に関する形状認識装置及びその方法に関するものである。
【０００２】
【従来の技術】
小型航空機（ヘリコプタを含む）の飛行安全、とりわけ着陸時における航法安全を向上させるには、パイロット等が重要なシステム制御ループに組み込まれている航空技術の現状から見て、画像情報を基に着陸地点を認識し、着陸標識である接地帯標識を的確に把握する技術は、極めて重要な技術である。画像情報は、人間の行動判断の大半を視覚情報に頼っている事実を省みる迄もなく、最もヒューマン・フレンドリーなものであり、着陸フェーズにおけるパイロットの視覚的支援にとって極めて重要なものとなる。
このような着陸フェーズにおける航法情報を搭載画像から抽出する際、ヘリポート等の着陸標識を自動認識する事が必要であり、従来から、例えば、所定の位置にヘリコプタを安全に着陸させることを目的とした着陸支援システムや接地帯標識自動認識方法についての開示がなされている（例えば、特許文献１、非特許文献１参照）。
また、関連特許として、特願２００１−２８３９５７号公報（特許文献２）には上記自動認識処理を高速化するための技術が開示されている。
【０００３】
【特許文献１】
特開２０００−８５６９４号公報
【特許文献２】
特願２００１−２８３９５７号公報
【非特許文献１】
「接地帯標識実撮像画像認識」本間幸造、山本浩通、熊坂和広、及川徹也、第３９回飛行機シンポジウム、論文番号：３Ｅ１７、平成１３年１０月３１日
【０００４】
【発明が解決しようとする課題】
しかし、このような自動認識処理では、機体振動による画像のブレ、搭載撮像系における画像の欠損／画像雑音の混入などにより、自動認識の信頼性が低下するという問題点があった。
また、着陸時のパイロットの視覚的情報取得を支援し、安全性を向上させるための時々刻々の時系列的な着陸標識画像からの、さらなる高速自動認識処理を実行することが必要であり、このような画像認識方式の確立は、従来から大きな課題であった。
さらに、航空機の着陸フェーズにおいては、パイロットのワークロードは極端に増大するため、このような画像認識方式の確立が強く望まれていた。
【０００５】
本発明は、着陸フェーズにおけるワークロードを軽減化し、着陸安全を向上させるため、着陸標識等の認識を代行し、パイロットの視覚的支援を行い得る形状自動認識手段を高速に実現させることを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る形状認識装置は、
形状認識対象を撮像した動画像の異なる時刻における画像フレームを順次記憶する画像情報記憶部と、
前記画像情報記憶部に順次記憶された画像フレームより順次抽出される認識形状データから得られる形状パラメータ群を複数記憶する形状情報記憶部と、
前記形状情報記憶部に記憶された複数の形状パラメータ群の内、少なくとも２つの形状パラメータ群から所定の探索範囲を設定する探索範囲設定部と、
前記探索範囲設定部が設定した所定の探索範囲に対して、前記画像情報記憶部に記憶した画像フレームに所定の計算を実行することにより認識形状データを抽出する抽出部を備える。
【０００７】
【発明の実施の形態】
以下の実施の形態では、航空機の着陸フェーズにおけるヘリポート標識等の自動認識手段を実現させること、すなわち、円形形状にＨ文字等を含む接地帯標識を３次元空間の任意な位置から自動認識するための形状認識装置及びその方法について説明する。
【０００８】
実施の形態１．
以下、実施の形態１について説明する。
まず、形状認識装置２００を含む標識実撮像自動認識システム１００について説明する。
図１は、接地帯標識１４０を高速に自動認識する標識実撮像自動認識システム１００のシステム構成図である。
標識実撮像自動認識システム１００は、画像情報取得部１１０、形状認識装置２００、表示部１２０から構成される。標識実撮像自動認識システム１００は、ヘリコプタを含む小型航空機や航空機などの機体に搭載されている。
画像情報取得部１１０は、接地帯標識１４０を撮像することによって時系列的な着陸標識画像（画像フレーム）を取得する部である。画像情報取得部１１０の一例としては、例えば、接地帯標識１４０を撮影するカメラが該当する。接地帯標識１４０は形状認識対象の一例である。
【０００９】
本実施の形態では、接地帯標識１４０の円形状部分または接地帯標識１４０の円形状部分及びＨ形状部分を形状認識対象とした形状自動認識処理を説明するが、接地帯標識１４０のＨ形状部分を形状認識対象としてもよい。
画像情報取得部１１０が搭載されている機体は接地帯標識１４０に向かって上空を飛行しているため、画像情報取得部１１０が撮影する画像フレームは、機体から動画像である接地帯標識１４０を所定時刻毎に撮像したものとなる。
このように、画像情報取得部１１０は、動画像である接地帯標識１４０を所定時刻毎に順次撮影し、撮影した画像フレームを形状認識装置２００に出力する。
【００１０】
形状認識装置２００は、時系列的な着陸標識画像（画像フレーム）の高速自動認識処理を実行する装置である。
図２は、形状認識装置２００の内部構成図である。
制御部２２０は、形状探索範囲を最適化する形状探索範囲最適化部３００、形状探索範囲を縮小化するように設定する形状探索範囲設定部３１０、画像フレームから形状パラメータ群を抽出し、抽出した形状パラメータ群から所定の計算により認識形状データを抽出する抽出部３２０、抽出部３２０によって抽出された認識形状データが接地帯標識１４０に対応するか否かを判定する認識判定部３３０、機体の運動を制御する航法制御装置１３０を制御するための制御データを生成する制御情報生成部３４０、認識判定部３３０によって認識形状データが接地帯標識１４０に対応すると判定された場合、判定された認識形状データの抽出に使用した形状パラメータ群を記憶する形状情報記憶部３５０を備える。なお、形状探索範囲設定部３１０は探索範囲設定部に相当する。
【００１１】
形状認識装置２００内の画像情報記憶部２１０は、画像情報取得部１１０によって順次取得された画像フレームを記憶する部である。
画像情報記憶部２１０に記憶された画像フレームは、制御部２２０に入力される。制御部２２０では、画像フレームから着陸地点の接地帯標識１４０に関する情報を抽出する。
この過程においては、先ず、制御部２２０は、撮像画像情報（画像フレーム）の中から、接地帯標識１４０等の着陸標識を抽出するための多次元形状パラメータ群推定を行う。この際に不可欠な中枢的な核となるプログラム化手段が関連特許「多重反復処理超並列化ソースコード自動生成プログラム、自動生成装置および自動生成方法（特願２００１−２８３９５７）」である。
【００１２】
上記形状パラメータ群を用いて、制御部２２０は、接地帯標識１４０等の着陸標識を構成している円形／楕円／直線形状などの認識形状データ１５０を抽出し、接地帯標識等の着陸標識の３次元的状態を表わす「歪度」を特定する。
これにより、機体と目標対象の着陸地点の接地帯標識１４０との位置関係及び機体姿勢が決定され、決定された接地帯標識１４０との位置関係、機体姿勢から、機体の運動を制御する航法制御装置１３０の制御データを決定することができる。
また、制御部２２０が抽出した認識形状データ１５０は接地帯標識１４０とともに表示部１２０に表示される。
【００１３】
この接地帯標識１４０等の着陸標識の自動抽出過程では、大きな計算負荷が制御部２２０に掛かる。着陸フェーズにおける適用化が大きな課題であることに鑑みると、時々刻々の画像情報への対処が不可能になる。これに対処するため、本実施の形態にかかる発明では、時系列画像をフレーム間の画像情報の類似性を基に、多次元形状パラメータ群推定過程における形状探索範囲の縮小化を行う。
【００１４】
次に、形状認識装置２００が行う形状探索範囲の縮小化処理について説明する。形状探索範囲の縮小化は、主に制御部２２０内の各部によって実行される。
形状認識装置２００の制御縮小化機構は、前フレームにおける形状推定結果を基に、形状探索範囲を決定する方式をとる。
図３は、時系列的画像からの高速自動認識処理を実現する多次元形状パラメータ群探索範囲の縮小化機構を図示したものである。
図３に示す画像フレーム♯ｎ−２は、画像情報取得部１１０によって時刻Ｔ_１に撮像されたフレームであり、画像フレーム♯ｎ−１は、画像情報取得部１１０によって時刻Ｔ_２に撮像されたフレームであり、画像フレーム♯ｎは、画像情報取得部１１０によって時刻Ｔ_３に撮像されたフレームである。
【００１５】
図３では、形状認識装置２００の処理能力に従って、後述する形状認識処理を処理可能な範囲まで画像フレームを飛ばして処理する。すなわち、画像フレーム♯ｎ−２、画像フレーム♯ｎ−１、画像フレーム♯ｎの間に取得された他の画像フレームが存在していたとしても、形状認識装置２００がこれらの画像フレームを形状認識処理に使用した場合に形状認識装置２００の処理能力を超える場合には、これらの画像フレームを飛ばし、形状認識処理には使用しない。
【００１６】
画像フレームを飛ばして処理するためには、画像情報記憶部２１０には、ある等間隔の画像フレーム♯ｎ−２、画像フレーム♯ｎ−１、画像フレーム♯ｎ・・・のみを記憶してもよく、画像情報記憶部２１０には画像情報取得部１１０が取得したすべての画像フレームを記憶しておき、形状認識装置２００の制御部２２０が画像情報記憶部２１０から画像フレームを読み込む時に、自己の処理能力に合わせて、画像フレームを間引きして読み込んでもよい。
【００１７】
制御部２２０によって実行される形状認識処理について説明する。
図４は、制御部２２０によって実行される形状認識処理のフローチャートである。
最初に、形状認識処理のフローチャートの１回目のルーチンについて説明する。
１回目の処理では、まず、形状探索範囲最適化部３００が、画像情報記憶部２１０に記憶された画像フレーム♯ｎ−２を読み込み（Ｓ１０）、読み込んだ画像フレーム♯ｎ−２を最適化する（Ｓ１１）。ここで、形状探索範囲最適化部３００による画像フレームの最適化の一例としては、所定の色を識別することを最適化の条件として、画像フレームのデータから所定の色を持つデータを抽出することが挙げられる。たとえば、「白を識別する」を最適化の条件とすると、画像フレーム♯ｎ−２のデータから白色に塗られた接地帯標識１４０のデータが識別され、識別された接地帯標識１４０のデータが最適化された画像フレーム♯ｎ−２のデータということになる。
【００１８】
次に、形状探索範囲設定部３１０は、形状情報記憶部３５０に記憶された形状パラメータ群によって形状探索範囲を設定することが可能であるかを判定する（Ｓ１２）。この状態で、形状情報記憶部３５０には、２以上の形状パラメータ群が記憶されていないので、形状探索範囲設定部３１０は形状探索範囲を設定することが不可能であると判定する。
【００１９】
抽出部３２０は、最適化された画像フレーム♯ｎ−２から、形状パラメータ群Ｐ_ｎ−２を抽出する（Ｓ１４）。
ここで、形状パラメータ群Ｐとは、写像変換により特定される形状を表わす各係数を示し、本実施の形態では５つのパラメータを形状パラメータ群として抽出する。
形状パラメータ群（α，β，Ａ，Ｂ，θ）の内、αは画像フレーム♯ｎ−２の円形部のｘ方向位置、βは画像フレーム♯ｎ−２の円形部のｙ方向位置、Ａは画像フレーム♯ｎ−２の円形部の長径、Ｂは画像フレーム♯ｎ−２の円形部の短径、θは画像フレーム♯ｎ−２の円形部の回転角である。
【００２０】
次に抽出部３２０は、Ｓ１３で形状探索範囲を設定することができなかったので、予め定められた所定の探索範囲を計算の範囲として、抽出した形状パラメータ群Ｐ_ｎ−２を下記のテンプレート式に代入することにより、写像変換を実行して認識形状データを抽出する（Ｓ１５）。
ここでは、円形部を検出するためのテンプレート式を（１）式に示す。
上記写像変換は、抽出した形状パラメータ群Ｐ_ｎ−２を各係数として以下に示すテンプレート式（１）に代入することにより実行される。
［｛（ｘ−α）ｃｏｓθ−（ｙ−β）ｓｉｎθ｝／Ａ］^２＋［｛（ｘ−α）ｓｉｎθ＋（ｙ−β）ｃｏｓθ｝／Ｂ］^２−１＝０ （１）
【００２１】
認識判定部３３０は、上記計算の結果、抽出部３２０によって抽出された認識形状データが画像フレーム♯ｎ−２に記憶された接地帯標識１４０の円形部に対応するか否かを判定する（Ｓ１６）。
認識判定部３３０によって行われる判定方法について図５を使用して説明する。
図５の全体は画像フレーム♯ｎ−２を示している。認識判定部３３０は、抽出された認識形状データ１５０に対応する形状が画像フレーム♯ｎ−２中に存在するかを左上から右下まで順次走査していく。図５では、認識判定部３３０が、Ａ地点において、認識形状データ１５０が接地帯標識１４０の円形部に対応すると判定する。図５では、Ａ地点で認識形状データ１５０が接地帯標識１４０の円形部に対応すると判定されたので、この時点で認識判定部３３０は走査を終了する。
【００２２】
形状情報記憶部３５０は、画像フレーム♯ｎ−２に対応すると判定された認識形状データ１５０を抽出するために写像変換で使用した形状パラメータ群Ｐ_ｎ−２を記憶する（Ｓ１７）。
以上で第１回目の処理は終了する。
【００２３】
上記１回目の処理から、図３の画像フレーム♯ｎ−２に示す通り、接地帯標識１４０の認識判定結果はｙｅｓ、抽出されたパラメータは形状パラメータ群Ｐ_ｎ−２（形状情報記憶部３５０に記憶された形状パラメータ群）となる。
【００２４】
次に、形状認識処理のフローチャートの２回目のルーチンについて説明する。
２回目の処理では、形状探索範囲最適化部３００が、画像情報記憶部２１０に記憶された画像フレーム♯ｎ−１を読み込み（Ｓ１０）、白色を条件として読み込んだ画像フレーム♯ｎ−１を１回目と同様に最適化する（Ｓ１１）。
【００２５】
次に、形状探索範囲設定部３１０は、形状情報記憶部３５０に記憶された形状パラメータ群によって形状探索範囲を設定することが可能であるかを判定する（Ｓ１２）。この状態で形状情報記憶部３５０には、形状パラメータ群Ｐ_ｎ−２のみが記憶されているので、２以上の形状パラメータ群Ｐが記憶されていないため、形状探索範囲設定部３１０は形状探索範囲を設定することが不可能であると判定する。
【００２６】
抽出部３２０は、最適化された画像フレーム♯ｎ−１から、形状パラメータ群Ｐ_ｎ−２を抽出する（Ｓ１４）。
次に抽出部３２０は、Ｓ１３で形状探索範囲を設定することができなかったので、予め定められた所定の探索範囲を計算の範囲として、抽出した形状パラメータ群Ｐ_ｎ−１を（１）式のテンプレート式に代入することにより、写像変換を実行して認識形状データを抽出する（Ｓ１５）。
【００２７】
認識判定部３３０は、上記計算の結果、抽出部３２０によって抽出された認識形状データが画像フレーム♯ｎ−１に記憶された接地帯標識１４０の円形部に対応するか否かを判定する（Ｓ１６）。
認識判定部３３０によって認識形状データが画像フレーム♯ｎ−１に対応すると判定されたとする。
この場合、形状情報記憶部３５０は、画像フレーム♯ｎ−１に対応すると判定された認識形状データ１５０を抽出するために写像変換で使用した形状パラメータ群Ｐ_ｎ−１を記憶する（Ｓ１７）。
以上で第２回目の処理は終了する。
【００２８】
上記２回目の処理から、図３の画像フレーム♯ｎ−１に示す通り、接地帯標識１４０の認識判定結果はｙｅｓ、抽出されたパラメータは形状パラメータ群Ｐ_ｎ−１（形状情報記憶部３５０に記憶された形状パラメータ群）となる。
【００２９】
次に、形状認識処理のフローチャートの３回目以降のルーチンについて説明する。
３回目の処理では、形状探索範囲最適化部３００が、画像情報記憶部２１０に記憶された画像フレーム♯ｎを読み込み（Ｓ１０）、白色の円形状または白色を条件として読み込んだ画像フレーム♯ｎを最適化する（Ｓ１１）。
【００３０】
次に、形状探索範囲設定部３１０は、形状探索範囲が設定可能か否かを判断する（Ｓ１２）。形状情報記憶部３５０には形状パラメータ群Ｐ_ｎ−２及び形状パラメータ群Ｐ_ｎ−１が記憶されているので、形状探索範囲の設定が可能である。
したがって、形状探索範囲設定部３１０は、次の式（２）に形状パラメータ群Ｐ_ｎ−２及び形状パラメータ群Ｐ_ｎ−１を代入することによって、抽出部３２０が次に上記写像変換に関する計算を実行する際に使用する形状探索範囲Ｐを設定する（Ｓ１３）。
Ｐ_ｎ−１−ｋ×ΔＰ_ｎ−１≦Ｐ≦Ｐ_ｎ−１＋ｋ×ΔＰ_ｎ−１ （２）
ただし、ｋは係数（ｋ＞１）、ΔＰ_ｎ−１＝｜Ｐ_ｎ−２−Ｐ_ｎ−１｜を示す。
【００３１】
ｋの最適値について説明する。
ｋは５つの係数値からなり、ｋ＝（ｋ１，ｋ２，ｋ３，ｋ４，ｋ５）＝（２．０，２．０，１．５，１．５，１．１）が好ましいが、ｋの値はこの値に限ることはなく、それぞれ１より大きければよい。ここで、ｋ_１はαに対する係数、ｋ_２はβに対する係数、ｋ_３はＡに対する係数、ｋ_４はＢに対する係数、ｋ_５はθに対する係数を示す。
【００３２】
抽出部３２０は、最適化された画像フレーム♯ｎから、形状パラメータ群Ｐ_ｎを抽出する（Ｓ１４）。
次に抽出部３２０は、Ｓ１３で形状探索範囲設定部３１０が設定した形状探索範囲Ｐを用いて、写像変換を実行することにより、認識形状データを抽出する（Ｓ１５）。
【００３３】
認識判定部３３０は、抽出した認識形状データが形状認識対象に対応するか否かを判定し（Ｓ１６）、形状情報記憶部３５０は、対応すると判定された場合には、判定された認識形状データから得られる形状パラメータ群Ｐ_ｎを記憶する（Ｓ１７）。
【００３４】
ここで、形状情報記憶部３５０が形状パラメータ群Ｐ_ｎを記憶する場合、先入れ先出し法（ＦＩＦＯ）により、形状情報記憶部３５０が記憶する形状パラメータ群は最新に抽出された２つのパラメータのみとすることも可能である。このような場合には、１回目のルーチンで記憶した形状パラメータ群Ｐ_ｎ−２は形状パラメータ群Ｐ_ｎを記憶する時に形状情報記憶部３５０から削除されることとなる。
このように、形状情報記憶部３５０には、少なくとも２つの形状パラメータ群が記憶されていればよい。形状探索範囲設定部３１０が形状情報記憶部３５０に記憶された２つの形状パラメータ群を用いて次の計算に用いる形状探索範囲を設定することができるからである。
形状情報記憶部３５０に記憶する少なくとも２つの形状パラメータ群で最も好ましいのは、前回のルーチンで抽出した形状パラメータ群Ｐ_ｎと前々回のルーチンで抽出した形状パラメータ群Ｐ_ｎ−１とが形状情報記憶部３５０に記憶されている場合である。
以上で第３回目の処理は終了する。
【００３５】
上記３回目の処理から、画像フレーム♯ｎに対し接地帯標識１４０の認識判定結果はｙｅｓ、抽出されたパラメータは形状パラメータ群Ｐ_ｎ（形状情報記憶部３５０に記憶された形状パラメータ群）となる。
【００３６】
４回目以降のルーチン処理は上述した３回目のルーチン処理と基本的に同じである。
すなわち、４回目以降のルーチン処理では、画像情報記憶部２１０には、形状認識対象を撮像した動画像の所定時刻における画像フレームが所定時刻毎に順次記憶され、抽出部３２０は、画像情報記憶部２１０に順次記憶された画像フレームから認識形状データを抽出する処理を順次繰り返し、認識判定部３３０は、抽出部３２０によって抽出された認識形状データが形状認識対象（画像フレーム）に対応するか否かを判定する処理を順次繰り返し、形状探索範囲設定部３１０は、形状情報記憶部３５０が前々回と前回とに記憶した２つの形状パラメータ群から、抽出部３２０が今回の計算に使用する探索範囲を設定する処理を繰り返す。
【００３７】
各フレームの撮像時刻Ｔ_１、Ｔ_２、Ｔ_３の間隔は等間隔が好ましく、現時点の実験では、形状認識装置２００の処理能力を考慮して１／３０（Ｓｅｃ）程度まで短縮可能であるが、この間隔は形状認識装置２００の処理能力に比例して短縮することができる。また、各画像フレームの撮像時刻Ｔ_１、Ｔ_２、Ｔ_３の間隔を動的に変化させることも可能である。この場合には、を各画像フレームの撮像時刻Ｔ_１、Ｔ_２、Ｔ_３の間隔の動的変化に対応して変更させる必要がある。例えば、撮像時刻Ｔ_２と撮像時刻Ｔ_３の間隔を１／３０（Ｓｅｃ）から１／６０（Ｓｅｃ）に短縮した場合には、パラメータの差分値は、ΔＰ＝ΔＰ_ｎ／２＝｜Ｐ_ｎ−１−Ｐ_ｎ｜／２と変更する必要がある。
このようにして、算出したΔＰを上式（２）に代入することにより形状探索範囲を設定することができる。
【００３８】
制御情報生成部３４０は、認識判定部３３０によって対応すると判定された認識形状データに基づいて制御情報を生成する。実際には制御情報生成部３４０は、主に、航空機に搭載された航法制御装置を制御する制御情報を生成する。
【００３９】
また、表示部は、形状認識対象を撮像した動画像（接地帯標識１４０）を表示するとともに、認識判定部３３０によって形状認識対象に対応すると判定された認識形状データがある場合、その位置を識別表示する。表示部のこのような動作により、ユーザは、刻々と変化する形状認識対象を撮像した動画像（接地帯標識１４０）を視覚的に識別することができる。
【００４０】
上述したとおり、本実施の形態では、３回目のルーチン処理以降、形状探索範囲設定部３１０が形状探索範囲の縮小化処理を行い、抽出部３２０が、形状探索範囲設定部３１０によって設定された形状探索範囲Ｐに限定して写像変換方法に基づいた計算を実行する。このように、写像変換処理を形状探索範囲Ｐに限定することによって、抽出部３２０は膨大な計算を行う写像変換処理の処理負担を著しく軽減することができるので、システム全体の処理を高速化させることができる。
よって、従来的な方式における、画面全体での形状探索過程が無くなり、着陸時のパイロットの視覚的情報取得を支援し安全性を向上させるための時々刻々の時系列的な着陸標識画像からの高速自動認識処理を実現することが可能となる。すなわち、本実施の形態の発明によれば、飛行中に刻々と変化する状況において、安全性及び信頼性の高い形状認識システムを構築することができる。
【００４１】
実施の形態２．
機体振動や、風防／雨防ガラスなどの撮像系搭載環境により、形状認識対象を撮像した撮像画像には多くの画像雑音が混入する。このため、実施の形態１で説明した標識実撮像自動認識システム１００によって着陸準備時に実行される接地帯標識１４０等の自動抽出の確立が低下する可能性がある。
これに対処するため、実施の形態２では、認識形状データの自動捕捉に失敗した場合にも、多次元形状パラメータ群推定の探索範囲を補正することにより信頼性の高いシステムを構築する。
以下、認識形状データを補正する目標対象標識自動捕捉手段について説明する。
【００４２】
図６は、実施の形態２に係る形状認識装置２００の内部構成図である。
制御部２２０は、実施の形態１に示した各部に加えてカウンタ３６０が備えられている。
カウンタ３６０は、認識判定部３３０により認識形状データが形状認識対象（画像フレーム）に対応しないと判定された連続回数を捕捉試行回数としてカウントする部である。その他の各部は実施の形態１の各部と同様であるため、説明を省略する。
【００４３】
図７は、実施の形態２に係る多次元形状パラメータ群探索範囲の縮小化機構を図示したものである。また、図８は、実施の形態２に係る形状認識処理のフローチャートである。
最初に、形状認識処理のフローチャートに示される１回目のルーチンについて説明する。
１回目の処理では、まず、カウンタ３６０によって捕捉試行回数ｑを１に初期化する（Ｓ２０）。
次のステップである画像フレーム♯ｎ−２の読み込み処理（Ｓ２１）から、認識形状データと画像フレームとの判定処理（Ｓ２７）までは図４の実施の形態１で説明したＳ１０〜Ｓ１６までの処理と同様であるので説明を省略する。
【００４４】
認識判定部３３０は、Ｓ２７において、認識形状データと画像フレーム♯ｎ−２とが対応すると判定すると仮定する。この場合、形状情報記憶部３５０は、認識形状データから得られる形状パラメータ群Ｐ_ｎ−２を記憶する（Ｓ２８）。以上で１回目の処理を終了する。
上記１回目の処理から、図７の画像フレーム♯ｎ−２に示す通り、接地帯標識１４０の認識判定結果はｙｅｓ、抽出された形状パラメータ群はＰ_ｎ−２となる。
【００４５】
形状認識処理のフローチャートの２回目のルーチンについても、カウンタ３６０によってｑを１に初期設定する処理（Ｓ２０）及びＳ２１〜Ｓ２７の処理は１回目の処理と同様なので、説明を省略する。
認識判定部３３０は、Ｓ２７において、認識形状データと画像フレーム♯ｎ−１とが対応すると判定すると仮定する。この場合、形状情報記憶部３５０は、認識形状データから得られる形状パラメータ群Ｐ_ｎ−１を記憶する（Ｓ２８）。以上で２回目の処理を終了する。
上記２回目の処理から、図７の画像フレーム♯ｎ−１に示す通り、接地帯標識１４０の認識判定結果はｙｅｓ、抽出された形状パラメータ群はＰ_ｎ−１となる。
【００４６】
次に、図８に示したフローチャートの３回目以降のルーチンについて説明する。
３回目の処理では、カウンタ３６０によってｑを１に初期化した後（Ｓ２０）、形状探索範囲最適化部３００が、画像情報記憶部２１０に記憶された画像フレーム♯ｎを読み込み（Ｓ２１）、読み込んだ画像フレーム♯ｎから白色のデータを抽出することにより、画像フレーム♯ｎを最適化する（Ｓ２２）。
次に、形状探索範囲設定部３１０は、形状情報記憶部３５０に記憶された形状パラメータ群によって形状探索範囲を設定することが可能であるかを判定する（Ｓ２３）。この状態で、形状情報記憶部３５０には、１回目及び２回目の処理において抽出された形状パラメータ群Ｐ_ｎ−２及びＰ_ｎ−１が記憶されているので、形状探索範囲設定部３１０は形状探索範囲を設定することが可能であると判定する。
よって、形状探索範囲設定部３１０は、形状探索範囲を求める次の式（３）に形状パラメータ群Ｐ_ｎ−２、形状パラメータ群Ｐ_ｎ−１及びカウンタ３６０によってカウントされた捕捉試行回数ｑ＝１を代入することによって、形状探索範囲Ｐを設定する（Ｓ２４）。
Ｐ_ｎ−１−ｑｋ×ΔＰ_ｎ−１≦Ｐ≦Ｐ_ｎ−１＋ｑｋ×ΔＰ_ｎ−１ （３）
ただし、ｋは係数（ｋ＞１）、ｑは捕捉試行回数（ｑ＞１）、ΔＰ_ｎ−１＝｜Ｐ_ｎ−２−Ｐ_ｎ−１｜を示す。
【００４７】
抽出部３２０は、最適化された画像フレーム♯ｎから、形状パラメータ群Ｐ_ｎを抽出し（Ｓ２５）、形状探索範囲設定部３１０が設定した形状探索範囲Ｐに対して、抽出した形状パラメータ群Ｐ_ｎを用いて楕円検出写像変換を実行することにより、認識形状データを抽出する（Ｓ２６）。
【００４８】
次に、認識判定部３３０は、抽出した認識形状データが形状認識対象である画像フレーム♯ｎに対応するか否かを判定する（Ｓ２７）。
ここで、画像フレーム♯ｎには多くの画像雑音が混入していたため、認識判定部３３０は、抽出した認識形状データが形状認識対象である画像フレーム♯ｎに対応しないと判定したとする。その場合、形状情報記憶部３５０には形状パラメータ群Ｐ_ｎを記憶せず、カウンタ３６０が捕捉試行回数ｑを１カウントアップする（Ｓ３０）。したがって、この時点で捕捉試行回数ｑは２である。
上記３回目の処理から、図７の画像フレーム♯ｎに示す通り、接地帯標識１４０の認識判定結果はｎｏ、抽出された形状パラメータ群は「なし」となる。以上で３回目の処理を終了する。
【００４９】
図８に示したフローチャートの４回目の処理では、形状探索範囲最適化部３００が、画像情報記憶部２１０に記憶された画像フレーム♯ｎ＋１を読み込み（Ｓ２１）、白色の円形状または白色を条件として読み込んだ画像フレーム♯ｎ＋１を最適化する（Ｓ２２）。
次に、形状探索範囲設定部３１０は、形状情報記憶部３５０に記憶された形状パラメータ群によって形状探索範囲を設定することが可能であるかを判定する（Ｓ２３）。
この時点で、形状情報記憶部３５０には、１回目及び２回目の処理において抽出された形状パラメータ群Ｐ_ｎ−２及びＰ_ｎ−１が記憶されているので、形状探索範囲設定部３１０は形状探索範囲を設定することが可能であると判定する。よって、形状探索範囲設定部３１０は、形状探索範囲を求める次の式（３）に形状パラメータ群Ｐ_ｎ−２、形状パラメータ群Ｐ_ｎ−１及びカウンタによってカウントされた捕捉試行回数ｑ＝２を代入することによって、形状探索範囲Ｐを設定する（Ｓ２４）。
Ｐ_ｎ−１−ｑｋ×ΔＰ_ｎ−１≦Ｐ≦Ｐ_ｎ−１＋ｑｋ×ΔＰ_ｎ−１ （３）
ただし、ｋは係数（ｋ＞１）、ｑは捕捉試行回数（ｑ＞１）、ΔＰ_ｎ−１＝｜Ｐ_ｎ−２−Ｐ_ｎ−１｜を示す。
【００５０】
抽出部３２０は、最適化された画像フレーム♯ｎ＋１から、形状パラメータ群Ｐ_ｎ＋１を抽出し（Ｓ２５）、形状探索範囲設定部３１０が設定した形状探索範囲Ｐに対して抽出した形状パラメータ群Ｐ_ｎ＋１を用いて楕円検出写像変換を実行することにより、認識形状データを抽出する（Ｓ２６）。
【００５１】
次に、認識判定部３３０は、抽出した認識形状データが形状認識対象に対応するか否かを判定する（Ｓ２７）。ここで、認識判定部３３０は、認識形状データと形状認識対象である画像フレーム♯ｎ＋１とが対応すると判定したとする。これを受けて、形状情報記憶部３５０は抽出された形状パラメータ群Ｐ_ｎ＋１を記憶し（Ｓ２８）、４回目の処理を終了する。
上記４回目の処理から、画像フレーム♯ｎ＋１に対する接地帯標識１４０の認識判定結果はｙｅｓ、抽出された形状パラメータ群はＰ_ｎ＋１となる。
【００５２】
５回目以降のルーチン処理は、上述した３回目または４回目のルーチン処理のいずれかと基本的に同じである。
すなわち、５回目以降のルーチン処理では、画像情報記憶部２１０は、形状認識対象を撮像した動画像の所定時刻における画像フレームを所定時刻毎に順次記憶し、形状探索範囲設定部３１０は、形状情報記憶部３５０が前々回と前回とに記憶した２つの形状パラメータ群から、抽出部３２０が今回の計算に使用する探索範囲を設定する処理を繰り返し、抽出部３２０は、形状探索範囲設定部３１０が設定した所定の探索範囲に対して、画像情報記憶部２１０に記憶した画像フレームに所定の計算を実行することにより、画像情報記憶部２１０に順次記憶された画像フレームから認識形状データを抽出する処理を順次繰り返し、認識判定部３３０は、抽出部３２０によって抽出された認識形状データが画像フレームに対応するか否かを判定する処理を繰り返し、形状情報記憶部３５０は、認識判定部３３０によって対応すると判定された場合、判定された認識形状データから得られる形状パラメータ群を記憶する処理を繰り返す。
【００５３】
図９は、ヘリコプタ搭載撮像系を用いて接地帯標識１４０の認識実験を行い、上述した本実施の形態に係る発明の有効性を実証した図である。
すなわち、搭載撮像系からの画像情報（画像フレーム）を基に、ヘリポート標識等の目標対象標識（接地帯標識１４０）を自動認識する手段の実現を実証した。さらに、ヘリコプタ搭載撮像系として、手持ちデジタルビデオカメラを図１に示す画像情報取得部１１０の一例として用い、機体振動、手持ちブレ、操縦室風防ガラスによる画像雑音の混入などの劣化画像状態において発生する目標対象の接地帯標識１４０の捕捉失敗を自動的に回復し得た。
【００５４】
具体的には、図９の上から順に画像フレームの処理が実行され、画像フレーム♯ｎ−２、画像フレーム♯ｎ−１、画像フレーム♯ｎ＋１は画像フレームの接地帯標識１４０と認識形状データ１５０とが対応すると認識判定部３３０によって判定され、標識認識が「ｙｅｓ」となった場合、画像フレーム♯ｎは画像フレームの接地帯標識１４０と認識形状データ１５０とが対応しないと認識判定部３３０によって判定され、標識認識が「ｎｏ」となった場合である。
この場合においても、本実施の形態では、認識判定部３３０により認識形状データが画像フレームに対応しないと判定された連続回数を捕捉試行回数ｑとしてカウントするカウンタ３６０を備え、形状探索範囲設定部３１０は、カウンタ３６０がカウントした捕捉試行回数ｑを使用して所定の形状探索範囲Ｐを補正する機能を有するので、標識認識「ｎｏ」の画像フレーム♯ｎが存在していても、画像フレーム♯ｎ−２、画像フレーム♯ｎ−１の処理時に形状情報記憶部３５０に記憶した形状パラメータ群♯ｎ−２、形状パラメータ群♯ｎ−１と捕捉試行回数ｑとを使用して画像フレーム♯ｎ＋１の形状認識処理を自動制御することにより、接地帯標識１４０の捕捉失敗を自動的に回復することに成功した。
【００５５】
また、この実験では、接地帯へのアプローチ飛行を行っており、時系列的な着陸標識画像からの高速自動認識処理を実行する手段の実現も実証した。
この実施例により、本実施の形態に係る発明は、航空機の着陸フェーズでの適用信頼性を向上させるための自動捕捉手段の実現を可能とすることが判明した。
【００５６】
このように、本実施の形態では、前々画像フレームでの状況、すなわち、多次元形状パラメータ群推定の探索範囲と、前画像フレームの状況を基に、形状探索範囲Ｐを再度決定する。
これにより、画像雑音等に起因して発生していた形状捕捉の失敗が補正され、同時に、捕捉失敗発生直前の時系列自動認識過程の継続が可能となる。すなわち、本実施の形態における形状認識には、撮像画像情報が基になり、機体振動等による着陸標識画像の劣化、情報欠落、画像雑音の混入、等に起因する認識補足の失敗（たとえば、図９の画像フレーム♯ｎ）が生じた場合にも、画像雑音等による目標対象標識自動捕捉の失敗を回復し、航空機の着陸フェーズでの適用信頼性を向上させるための自動捕捉手段を実現することができる。
【００５７】
なお、すべての実施の形態において、形状探索範囲最適化部３００が行う画像フレームの最適化処理は省略することも可能である。
【００５８】
また、すべての実施の形態に記載された発明は、ヘリコプターの着陸フェーズにおける接地帯標識の自動形状認識の他、航空機の着陸フェーズにおける滑走路等の標識の自動認識に応用することができる。なお、航空機には、月面へ着陸するような航空宇宙機を含んでもよい。
また、大型航空機の着陸フェーズにおいて、本自動形状認識の技術を補助的に用い、より安全性、高速性、信頼性の高いシステムを構築することができる。
【００５９】
図１０は、形状認識装置２００のコンピュータ基本構成図である。
図１０において、プログラムを実行するＣＰＵ４０は、バス３８を介してＶＴＲ４５、モニタ４１、キーボード４２、マウス４３、通信ポート４４、磁気ディスク装置４６等と接続されている。
ＶＴＲ４５は画像フレーム（画像フレーム♯ｎ−２、画像フレーム♯ｎ−１・・・）を順次取得する画像情報取得部１１０の一例である。また、モニタ４１は表示部１２０によって形状認識対象（たとえば、接地帯標識１４０）を撮像した動画像を表示するとともに、認識形状データの位置を識別表示する表示部の一例である。
磁気ディスク装置４６には、ＯＳ４７、プログラム群４９、ファイル群５０が記憶されている。プログラム群４９には、たとえば、制御部２２０の機能を実現するプログラムが記憶されており、それらのプログラムはＣＰＵ４０、ＯＳ４７により実行される。
上記各実施の形態では、形状認識装置２００は、通信ポート４４の機能を使用して、陸上の航空制御施設との通信を行う。
【００６０】
以上に記載した「記憶する」「表示する」という用語は、記録媒体に保存することを意味する。
制御部が行う動作は、Ｈ／Ｗのみでも実施でき、Ｓ／Ｗのみでも実施でき、Ｈ／ＷとＳ／Ｗを組み合わせても実施することができる。
【００６１】
すべての実施の形態では、各構成要素の各動作はお互いに関連しており、各構成要素の動作は、上記に示された動作の関連を考慮しながら、一連の動作として置き換えることができる。そして、このように置き換えることにより、方法の発明の実施形態とすることができる。
また、上記各構成要素の動作を、各構成要素の処理と置き換えることにより、プログラムの実施の形態とすることができる。
また、プログラムを、プログラムを記録したコンピュータ読み取り可能な記録媒体に記憶させることで、プログラムに記録したコンピュータ読み取り可能な記録媒体の実施の形態とすることができる。
【００６２】
従って、形状認識プログラムの実施の形態は、
形状認識対象を撮像した動画像の異なる時刻における画像フレームを順次画像情報記憶部に記憶する処理と、
前記画像情報記憶部に順次記憶された画像フレームより順次抽出される認識形状データから得られる形状パラメータ群を複数形状情報記憶部に記憶する処理と、
前記形状情報記憶部に記憶された複数の形状パラメータ群の内、少なくとも２つの形状パラメータ群から所定の探索範囲を設定する処理と、
前記設定した所定の探索範囲に対して、前記画像情報記憶部に記憶した画像フレームに所定の計算を実行することにより認識形状データを抽出する処理をコンピュータに実行させるための形状認識プログラムを記録したコンピュータ読み取り可能な記録媒体、というように、形状認識プログラムを記録したコンピュータ読み取り可能な記録媒体の実施の形態とすることができる。
【００６３】
プログラムの実施の形態及びプログラムに記録したコンピュータ読み取り可能な記録媒体の実施の形態は、すべてコンピュータで動作可能なプログラムにより構成することができる。
プログラムの実施の形態およびプログラムを記録したコンピュータ読み取り可能な記録媒体の実施の形態における各処理はプログラムで実行されるが、このプログラムは、記録装置に記録されていて、記録装置から中央処理装置（ＣＰＵ）に読み込まれ、中央処理装置によって、各プログラムが実行されることになる。
また、各実施の形態のソフトウェアやプログラムは、ＲＯＭ（ＲＥＡＤ ＯＮＬＹ ＭＥＭＯＲＹ）に記憶されたファームウェアで実現されていても構わない。あるいは、ソフトウェアとファームウェアとハードウェアとの組み合わせで前述したプログラムの各機能を実現しても構わない。
【００６４】
【発明の効果】
本発明は、パイロットのワークロードが極端に増大する航空機の着陸フェーズにおける着陸標識等の認識を代行し、パイロットの視覚的支援を行い得る形状自動認識手段を実現させ、着陸安全を向上させることが可能となる。
また、航空機等に搭載した撮像系による撮像情報を基にする画像認識システムは、ＰＡＰＩ（ＰＲＥＣＩＳＥ ＡＰＰＲＯＡＣＨＩＮＧ ＩＮＤＩＣＡＴＯＲ：精密進入表示装置）、ＧＰＳ（ＧＬＯＢＡＬ ＰＯＳＩＴＩＯＮＩＮＧ ＳＹＳＴＥＭ：全地球方位システム）等を始めとする支援機器を必要としない自律的且つ、対地相対姿勢情報が直接的に得られＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）等に見られるドリフト変移誤差も無く、空港条件等にも制約されない広範囲な適用可能性を秘めたシステムの開発に連なるものである。
【図面の簡単な説明】
【図１】標識実撮像自動認識システム１００のシステム構成図である。
【図２】実施の形態１に係る形状認識装置２００の内部構成図である。
【図３】実施の形態１に係る探索範囲の縮小化機構を図示したものである。
【図４】実施の形態１に係る形状認識処理のフローチャートである。
【図５】認識判定部３３０の判定方法を示す図である。
【図６】実施の形態２に係る形状認識装置２００の内部構成図である。
【図７】実施の形態２に係る探索範囲の縮小化機構を図示したものである。
【図８】実施の形態２に係る形状認識処理のフローチャートである。
【図９】ヘリコプタ搭載撮像系を用いた接地帯標識１４０の認識実験を示す図である。
【図１０】形状認識装置２００のコンピュータ基本構成図である。
【符号の説明】
３８ バス、４０ ＣＰＵ、４１ モニタ、４２ キーボード、４３ マウス、４４ 通信ポート、４５ ＶＴＲ、４６ 磁気ディスク装置、４７ ＯＳ、４９ プログラム群、５０ ファイル群、１００ 標識実撮像自動認識システム、１１０ 画像情報取得部、１２０ 表示部、１３０ 航法制御装置、１４０ 接地帯標識、１５０ 認識形状データ、２００ 形状認識装置、２１０ 画像情報記憶部、２２０ 制御部、３００ 形状探索範囲最適化部、３１０ 形状探索範囲設定部、３２０ 抽出部、３３０ 認識判定部、３４０ 制御情報生成部、３５０ 形状情報記憶部、３６０ カウンタ。

Claims (10)

1. 形状認識対象を撮像した動画像の異なる時刻における画像フレームを順次記憶する画像情報記憶部と、
   前記画像情報記憶部に順次記憶された画像フレームより順次抽出される認識形状データから得られる形状パラメータ群を複数記憶する形状情報記憶部と、
   前記形状情報記憶部に記憶された複数の形状パラメータ群の内、少なくとも２つの形状パラメータ群から所定の探索範囲を設定する探索範囲設定部と、
   前記探索範囲設定部が設定した所定の探索範囲に対して、前記画像情報記憶部に記憶した画像フレームに所定の計算を実行することにより認識形状データを抽出する抽出部とを備える形状認識装置。
2. 形状認識装置は、さらに、
   前記抽出部によって抽出された認識形状データが画像フレームに対応するか否かを判定する認識判定部を備え、
   前記形状情報記憶部は、前記認識判定部によって画像フレームに対応すると判定された場合、判定された認識形状データから得られる形状パラメータ群を記憶する請求項１に記載された形状認識装置。
3. 前記画像情報記憶部は、形状認識対象を撮像した動画像の所定時刻における画像フレームを所定時刻毎に順次記憶し、
   前記探索範囲設定部は、前記形状情報記憶部が前々回と前回とに記憶した２つの形状パラメータ群から、前記抽出部が今回の計算に使用する探索範囲を設定する処理を繰り返し、
   前記抽出部は、前記探索範囲設定部が設定した所定の探索範囲に対して、前記画像情報記憶部に記憶した画像フレームに所定の計算を実行することにより、前記画像情報記憶部に順次記憶された画像フレームから認識形状データを抽出する処理を順次繰り返し、
   前記認識判定部は、前記抽出部によって抽出された認識形状データが画像フレームに対応するか否かを判定する処理を繰り返し、
   前記形状情報記憶部は、前記認識判定部によって対応すると判定された場合、判定された認識形状データから得られる形状パラメータ群を記憶する処理を繰り返す請求項１に記載された形状認識装置。
4. 前記抽出部は、前記画像情報記憶部に記憶した画像フレームから形状パラメータ群を抽出し、前記所定の探索範囲に対して、抽出した形状パラメータ群を用いて所定の計算を実行することにより、認識形状データを抽出する請求項１に記載された形状認識装置。
5. 前記形状認識装置は、さらに、
   前記認識判定部によって対応すると判定された認識形状データに基づいて、航空機に搭載された航法制御装置を制御する制御情報を生成する制御情報生成部を備える請求項１に記載された形状認識装置。
6. 前記抽出部は、前記探索範囲設定部によって設定された所定の探索範囲に対して写像変換方法による計算を実行することにより、認識形状データを抽出する請求項１に記載された形状認識装置。
7. 前記形状認識装置は、さらに、
   前記認識判定部により認識形状データが画像フレームに対応しないと判定された連続回数を捕捉試行回数としてカウントするカウンタを備え、
   前記探索範囲設定部は、前記カウンタがカウントした捕捉試行回数を使用して前記所定の探索範囲を補正する請求項１に記載された形状認識装置。
8. 前記形状認識装置は、さらに、
   形状認識対象を撮像した動画像を表示するとともに、前記抽出部によって抽出された認識形状データの位置を識別表示する表示部を備える請求項１に記載された形状認識装置。
9. 形状認識対象を撮像した動画像の異なる時刻における画像フレームを順次画像情報記憶部に記憶し、
   前記画像情報記憶部に順次記憶された画像フレームより順次抽出される認識形状データから得られる形状パラメータ群を複数形状情報記憶部に記憶し、
   前記形状情報記憶部に記憶された複数の形状パラメータ群の内、少なくとも２つの形状パラメータ群から所定の探索範囲を設定し、
   前記設定した所定の探索範囲に対して、前記画像情報記憶部に記憶した画像フレームに所定の計算を実行することにより認識形状データを抽出する形状認識方法。
10. 形状認識対象を撮像した動画像の異なる時刻における画像フレームを順次画像情報記憶部に記憶する処理と、
    前記画像情報記憶部に順次記憶された画像フレームより順次抽出される認識形状データから得られる形状パラメータ群を複数形状情報記憶部に記憶する処理と、
    前記形状情報記憶部に記憶された複数の形状パラメータ群の内、少なくとも２つの形状パラメータ群から所定の探索範囲を設定する処理と、
    前記設定した所定の探索範囲に対して、前記画像情報記憶部に記憶した画像フレームに所定の計算を実行することにより認識形状データを抽出する処理をコンピュータに実行させる形状認識プログラム。

Images