JP2005037222A

JP2005037222A - 画像情報における位置補正を自動的に処理する方法

Info

Publication number: JP2005037222A
Application number: JP2003273956A
Authority: JP
Inventors: Kazuyuki Nakakita; 和之中北; Keisuke Asai; 圭介浅井; Nobuyoshi Fujimatsu; 信義藤松; Kozo Fujii; 孝藏藤井
Original assignee: National Aerospace Laboratory of Japan
Current assignee: National Aerospace Laboratory of Japan
Priority date: 2003-07-14
Filing date: 2003-07-14
Publication date: 2005-02-10
Anticipated expiration: 2023-07-14
Also published as: JP3728461B2

Abstract

【課題】
本発明が解決しようとする課題は、感圧塗料を塗布した模型の表面に働く圧力分布をルミネッセンス画像から計測する際に測定画像の位置補正を自動的に速く行うことができる手法を提供することにある。
【解決手段】
本発明の位置補正を自動的に行う方法は、表面に多数のマークポイントを施した被検体の基準画像において一筆書きで前記マーク群を結んだ１つのパターンを認識させるステップと、測定画像におけるマーク群を結ぶ多数の一筆書きパターンの中から先の認識パターンと最も類似したパターンを選定して対応するマーク同士を特定するステップと、対応をとった各マークの両画像における座標情報からアフィン変換式の係数を求めるステップと、この求めた係数を用いて被検体表面全領域のポイントに適用して補正位置を算出するステップとからなる。
【選択図】図２

Description

本発明は画像情報における位置補正を自動的に処理する手法に関し、特に被検体上の分布情報を画像情報として得る際に、該被検体の変位を検出して前記画像情報を自動的に位置補正する技術に関する。

ロケットや航空機の機体にかかる圧力を測定する方法として、風洞内に機体模型を配置して超音速域の通風を行い機体表面に塗布された感圧塗料の発光状態を撮像して、その画像より圧力分布情報を得ることが行われている。（特許文献１，非特許文献１参照。）ルミネッセンス強度の画像から圧力分布データを得る手法は、ステップ１として取得した画像に、ダーク減算、平均化の前処理を行う。ステップ２では通風停止時の基準画像Ｉrefと通風状態での測定画像Ｉとの割り算を行いピクセル毎の比Ｉref／Ｉを算出する。ステップ３で較正式を用いＩref／Ｉ値を圧力に変換するという手順をとる。ところが、風洞内に通風が行われている時と通風停止の時とではこの模型は風洞内での位置・姿勢を異にする。すなわち、強い風を受けると模型は固定位置を保つことができず変位してしまう。この変位は平行移動に相当する二次元的な移動に留まらず、一般には回転成分も含まれるため撮像した模型の画像は変形を伴うものとなる。そこで画像に示されている圧力分布情報を通風していない初期画像に対応付けるためにはその変位分の補正が必要となるが、従来においてその処理には多くの時間がかかっている。

撮像によって得られた画像から空力データ取得までの画像処理にかかる時間は、現在の手法では図６に示すようにフィルタ処理、位置補正、割算画像算出、圧力・温度補正、３Ｄマッピング、空力データ取得といった手順が採られている。そして、各処理に必要な時間はフィルタ処理に約２秒、割算画像算出から空力データ取得までは１０秒から１分であるが、位置補正はアフィン変換を用い手作業で行っているため数時間を要するという状況である。因みに、この位置補正は機体表面に付けるマーカ数を３０とし、それが上下２面必要となり、実験ケース数を２０として計算すれば、３０×２×２０＝１２００個の位置情報となる。その１点につき１０秒の処理時間とすれば、全体では２００分の時間を要することになる。

機体模型の移動検出には模型表面に複数のマークを付しておきその変位から模型の移動を検知し対応関係をとる。通風前の風洞における画像を基準画像としその任意の点を（ｘ_ｉ，ｙ_ｉ）、通風後の測定画像での対応点の位置を（ｘ_ｉ'，ｙ_ｉ'）としたとき、次のアフィン変換式が成り立つ。
ｘ_ｉ＝ａ_１＋ａ_２ｘ_ｉ'＋ａ_３ｙ_ｉ'＋ａ_４ｘ_ｉ'^２＋ａ_５ｘ_ｉ'ｙ_ｉ'＋ａ_６ｙ_ｉ'^２
ｙ_ｉ＝ｂ_１＋ｂ_２ｘ_ｉ'＋ｂ_３ｙ_ｉ'＋ｂ_４ｘ_ｉ'^２＋ｂ_５ｘ_ｉ'ｙ_ｉ'＋ｂ_６ｙ_ｉ'^２
基準画像と測定画像におけるマーカ同士の対応が分かればそれぞれの画像における位置情報から上記のアフィン変換式の係数が求められる。マーカの数が多いほどより正確な係数を求めることができることになるが、手作業によるマーク同士の対応は時間がかかりすぎるため、自動化が強く望まれるところである。
特開２００１−２４９０７６号公報平成１３年９月１４日公開「酸素濃度測定用の高機能感圧塗料および素子」浅井圭介，「感圧塗料による圧力分布の計測技術」，可視化情報，日本可視化学会発行 Vol.18 No.69 1998年４月

本発明が解決しようとする課題は、同じ被検体を撮像した二枚の画像間で被検体上の同一位置の対応を自動的に速くとることができる手法を提供すること、特に感圧塗料を塗布した模型の表面に働く圧力分布をルミネッセンス画像から計測する際に測定画像の位置補正を自動的に速く行うことができる手法を提供することにある。

本発明の位置補正を自動的に行う方法は、表面に多数のマークポイントを施した被検体の基準画像において一筆書きで前記マーク群を結んだ１つのパターンを認識させるステップと、測定画像におけるマーク群を結ぶ多数の一筆書きパターンの中から先の認識パターンと最も類似したパターンを選定して対応するマーク同士を特定するステップと、対応をとった各マークの両画像における座標情報からアフィン変換式の係数を求めるステップと、この求めた係数を用いて被検体表面全領域のポイントに適用して補正位置を算出するステップとからなる。
本発明の位置補正を自動的に行う方法は、一筆書きでマーク群を結んだ１つのパターンを最短距離を条件として最適化手法によって特定するものである。
また、本発明の最適化方法は、測定画像におけるマーク群を結ぶ多数の一筆書きパターンの中から先の認識パターンと最も類似したパターンを選定する手法として、遺伝的アルゴリズムを採用する。

本発明の測定画像の位置補正を自動的に処理する方法は、表面に多数のマークポイントを施した被検体の基準画像において一筆書きで前記マーク群を結んだ１つのパターンを認識させるステップと、測定画像におけるマーク群を結ぶ多数の一筆書きパターンの中から先の認識パターンと最も類似したパターンを選定して対応するマーク同士を特定するステップと、対応をとった各マークの両画像における座標情報からアフィン変換式の係数を求めるステップと、この求めた係数を用いて被検体表面全領域のポイントに適用して補正位置を算出するステップとからなるものであるから、パターン認識によって人手をかけずに両画像の対応点を特定することが可能となり、その座標情報からアフィン変換式の係数を割り出し、測定画像の位置補正を自動的に算出することができる。
本発明の測定画像の位置補正を自動的に処理する方法は、一筆書きでマーク群を結んだ１つのパターンは最短距離を条件として最適化手法によって特定することにより、単純で判定がし易いパターンをいち早く取得することができ、測定画像のパターン選定についても同じ条件で対応パターンを多くの場合直接得ることができるため、両画像での同じマークポイントの対応を速くとることができる。
更に、本発明の測定画像の位置補正を自動的に処理する方法は、最適化手法として、遺伝的アルゴリズムを採用したものであることにより、適正パターンの特定や対応マークポイントの特定を短時間で行うことができる。しかもマーク数が増えても実用的な時間内に演算が効能である。

本発明の測定画像の位置補正を自動的に処理する方法を、風洞内に設置されたロケット若しくは航空機の機体の模型表面に塗布された感圧塗料が通風状態下で発光するルミネッセンス画像から、圧力分布を測定する風洞試験システムに適用したものは、従来時間と作業負担が大きくネックとなっていた位置補正の処理が、自動的に素早く行えるようになった。

本発明の典型的な一形態は、図１に示すような光学的圧力分布観測装置の風洞内に感圧塗料を塗布してなるロケットや航空機の機体模型（図示したものは三角翼）を配置し、観察窓を介して励起光源と観察用のＣＣＤカメラを配設し、通風状態を設定してその際の模型表面のルミネッセンス画像を撮像し、取得した測定画像の位置補正をコンピュータによって自動的に処理するものである。励起光源は定電流駆動の高安定キセノンランプ（３００Ｗ）で、これに石英オプティカルファイバーを接続し、その先端部に集光レンズ等の光学系と励起光の波長のバンドパスフィルターを取り付ける。塗料の劣化を防止するため光源の出口に遠隔式のシャッターを配設する。ルミネッセンス画像の撮像に用いるＣＣＤカメラは精密画像を得られるように、例えば解像度１４ｂｉｔで総画素数１０００×１０１８の冷却ＣＣＤカメラを採用する。カメラのレンズには感圧塗料の発光波長に相当するバンドパスフィルターと熱線防止用のフィルターを取り付ける。

模型表面には複数のマークポイントを施しておき、風洞内に設置して通風停止時の基準画像Ｉref（図２のａ）を撮像する。次に風洞内に設定した風量の送風を行い、その状態での測定画像Ｉ（図２のｂ）を撮像する。測定画像における検出圧力を規格化するため基準画像における発光状態との比Ｉref／Ｉを算出する。その際、基準画像における模型の位置と測定画像における模型の位置は変位しているので、その移動量を各マークの画像間の位置ズレから割り出して位置補正を加えることが必要となる。この位置補正を加えずにＩref／Ｉ計算をした割り算画像を図２のｃに示す。カラー図でないため判りにくいが模型の上下輪郭部分に黒ずんだ不連続部分が生じている。これに対し位置補正を加えたＩref／Ｉ割り算画像を図２のｄに示す。こちらの画像には模型表面は不自然な不連続領域はなく、全体的に自然な圧力分布が示されている。このように風洞実験においては模型の移動を伴うため、位置補正が必須であることが理解されよう。

撮像した基準画像Ｉrefと測定画像Ｉから、閾値処理を施す等により、図３のａに示すような二値化画像を得てマークポイントを抽出し、図３のｂのようなマーカ抽出画像をコンピュータ上に記憶する。基準画像Ｉrefのマーク群を最も最短距離で結ぶ一筆書きパターンを探す問題を与え、コンピュータ上で思考演算させて図３のｃに示したような解を出させ、そのパターン情報をコンピュータ上に記憶認識させる。続いて測定画像Ｉのマーク群を結ぶ一筆書きパターンの中から先に記憶した一筆書きパターンと最も近似したパターンをコンピュータ上で選定させるのであるが、この作業は測定画像においても同じ「最も最短距離で結んだ一筆書きパターン」問題を解かせることで大抵の場合類似パターンを直に選定することができる。パターンの折曲点に当たる点がマークポイントであるから、それから同一のマークポイント同士の対応をとることができる。しかし模型が平面的構造ではなく三次元構造であることにより模型の回転変位に伴って隣接するマークポイントが画像上で前後する場合がまれに生じる。そのような場合は各マークポイントの座標対応をとる過程で幾何学的に矛盾点となる。そのときには隣接するマークポイントを入れ替えることにより矛盾を解消し同一マークの対応をとることができる。

なお、この一筆書きパターンの数は理論上マーク数の階乗分だけ存在し、マーク数が多いほど膨大な数となって、この作業は機械に負担をかけることになる。因みにマーク数１０個では１．３×１０^５，マーク数１５個では６．５×１０^１１，マーク数２０個では１．２×１０^１８，マーク数３０個では２．６×１０^３２となる。そこで、本発明では最適化処理の手法の中で遺伝的アルゴリズム（ＧＡと略称する。）を用い、その正解を探すことにして、計算時間を短縮した。両画像における２つのパターンの対比によって該パターンの屈曲点となっている各マークポイント同士の対応関係が把握できるので、それぞれの画像における各マークポイントの位置（座標）情報を割り出し、前述のアフィン変換式に代入して係数ａ_１からａ_６及びｂ_１からｂ_６の値を得る。このようにして得られた係数を用い、測定画像Ｉの模型上の位置を基準画像上の模型位置に位置補正し、Ｉref／Ｉ割り算画像を得る。

本発明では最適化処理の手法の中でＧＡを用い、その対応パターンを探すことにしたが、この最適化処理の手法として、焼き鈍し法（ＳＡと略称する。）と傾斜法（ＨＣと略称する。）を用いて比較を試みた。図４にその比較結果を示す。図４のａに示したグラフは横軸に計算ステップ回数を縦軸に絶対誤差率をとってある。ＧＡ法では２５回程度で正解が得られており、ＳＡ法とＨＣ法では５００回程度計算を重ねても誤差率は数％を示している。このグラフから明らかなようにＨＣとＳＡと比較してＧＡ法が抜群に速い収束を示している。また、図４のｂには横軸にマーク数を縦軸に計算時間をとったものを示す。このグラフから、ＧＡ法を用いた場合には、マーク数が多くても実用的な時間内でのパターン特定ができることを確認できる。マーク数２０では１〜２秒程度で、マーク数を１００としても１０秒程度でマーク同士の対応がとれることをテストによって確認した。

本発明の方法についての理解を整理するため、画像情報における位置補正を自動的に処理する手順を、図５に示すフローチャートに沿って説明する。ステップ１では通風を停止した大気中といった既知の条件下に置かれている被検体を撮影して基準画像の取得を行う。ステップ２では超音速通風といった設定された環境条件の下におかれた被検体を撮影して測定画像の取得を行う。ステップ３では撮影した基準画像と測定画像からデータ処理を施し、被検体表面に付けられているマークポイント群の抽出画像（マーカ抽出画像）を得る。ステップ４で基準画像のマーカ抽出画像に対しマークポイントを結ぶ一筆書きパターンの内最も距離の短いパターンを求める問題を最適化手法を用いてコンピュータに解かせる。ステップ５では得られた解であるパターンを記憶させる。ステップ６では測定画像のマーカ抽出画像に対しマークポイントを結ぶ一筆書きパターンの内最も距離の短いパターンを求める問題を最適化手法を用いてコンピュータに解かせる。ステップ７では得られた解であるパターンを記憶させる。ステップ８では得られた基準画像のパターンと測定画像のパターンとのマッチングを行い、折曲点であるマークポイント同士の対応をとる。ステップ９では対応点同士の位置情報をアフィン変換式に代入して幾何学的な矛盾点が無いか確認する。矛盾がない場合は各マークポイント毎の対応がとれたものとし、ステップ１２に進みアフィン変換式の係数ａ_１からａ_６及びｂ_１からｂ_６の値を特定する。矛盾がある場合はステップ１０に進み隣接するマークポイントの位置情報を交換する。ステップ１１ではその交換によって幾何学的整合がとれているかを確認する。整合がとれていないときはマークポイントの位置情報の交換を更にすすめ幾何学的整合がとれるまで繰り返すと共に、整合がとれたときにはステップ１２に進む。ステップ１３では得られた係数のアフィン変換式を用いて、測定画像における被検体のピクセル毎の位置補正情報を算出する。

本発明の画像情報における位置補正を自動的に処理する方法は、上記したように風洞内に設置した感圧塗料を塗布した模型の表面に働く圧力分布をルミネッセンス画像から計測する際に測定画像の位置補正を自動的に速く行うことができる手法として利用できるだけでなく、マーカを使った画像位置補正に広く適用することができる。また所定パターンを対象物表面に描いておき、該パターンの画像を撮像取得してオリジナルパターンとの位置補正をすることにより対象物の位置・姿勢を割り出す技術にも応用できる。

本発明を適用する光学的圧力分布測定装置の構成図である。本発明における撮像画像とデータ処理した割り算画像を説明する図である。本発明において一筆書きパターンを得る手順を説明する図である。本発明で採用する最適化手法を説明する図である。本発明の方法を実施する手順を説明するフローチャートである。感圧塗料を用いた圧力分布測定における処理時間を説明する図である。

Claims

表面に多数のマークポイントを施した被検体の基準画像において一筆書きで前記マーク群を結んだ１つのパターンを認識させるステップと、測定画像におけるマーク群を結ぶ多数の一筆書きパターンの中から先の認識パターンと最も類似したパターンを選定して対応するマーク同士を特定するステップと、対応をとった各マークの両画像における座標情報からアフィン変換式の係数を求めるステップと、この求めた係数を用いて被検体表面全領域のポイントに適用して補正位置を算出するステップとからなる測定画像の位置補正を自動的に処理する方法。
一筆書きでマーク群を結んだ１つのパターンは最短距離を条件として最適化手法によって特定したものである請求項１に記載の測定画像の位置補正を自動的に処理する方法。
最適化手法として、遺伝的アルゴリズムを採用したものである請求項２に記載の測定画像の位置補正を自動的に処理する方法。
被検体はロケット若しくは航空機の機体の模型であって、該模型表面には感圧塗料が塗布され、風洞内におけるそのルミネッセンス画像から圧力分布を測定するシステムに適用したものである請求項１乃至３のいずれかに記載の測定画像の位置補正を自動的に処理する方法。