JP2001266129A - 航行体の画像による航行制御装置及び航行制御方法 - Google Patents

Abstract

(57)【要約】 【課題】この発明は、簡易な構成で航行制御のための広
範囲な計測領域を得ることができ、しかも、対象物の表
面特性に対する依存性の少ない計測結果を得ることが可
能である航行体の画像による航行制御装置及び航行制御
方法を提供することを目的としている。 【解決手段】対象物に対して宇宙機１６の航行制御を行
なう航行体の航行制御装置において、対象物を複数のカ
メラを用いて相互に異なる角度からそれぞれ撮影する画
像取得部１１と、この画像取得部１１により複数のカメ
ラでそれぞれ撮影された画像の視差を求める画像処理部
１２と、この画像処理部１２で得られた視差に基づいて
対象物の３次元空間上における位置を計算し宇宙機１６
の航行制御を行なう航行制御手段１３〜１５とを備えて
いる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、例えば宇宙機等
の航行体の天体への着陸やその他の対象物への接近等を
画像によって制御する航行体の画像による航行制御装置
及び航行制御方法に関する。

【０００２】

【従来の技術】周知のように、従来の宇宙機では、例え
ば月面等への着陸あるいは対象宇宙機へのランデブー等
の航行制御を行なうために、電波センサによって相対距
離及び相対速度を計測する手法が採用されている。

【０００３】しかしながら、電波センサによって相対速
度や相対距離を計測する従来の計測手段では、計測領域
を広範囲にとることが難しいとともに、対象物の表面特
性によっては計測誤差が著しく大きくなるという問題が
生じている。また、消費電力や重量等の制約のため、全
構成要素を冗長的に構成することも困難となる。

【０００４】

【発明が解決しようとする課題】以上のように、従来の
宇宙機では、航行制御のための計測領域を広範囲にとる
ことが非常に困難であるとともに、対象物の表面特性に
よっては計測誤差が著しく大きくなるという問題を有し
ている。

【０００５】そこで、この発明は上記事情を考慮してな
されたもので、簡易な構成で航行制御のための広範囲な
計測領域を得ることができ、しかも、対象物の表面特性
に対する依存性の少ない計測結果を得ることが可能であ
る極めて良好な航行体の画像による航行制御装置及び航
行制御方法を提供することを目的とする。

【０００６】

【課題を解決するための手段】この発明に係る航行体の
画像による航行制御装置は、対象物に対して航行体の航
行制御を行なうものを対象としている。そして、対象物
を複数のカメラを用いて相互に異なる角度からそれぞれ
撮影する画像取得手段と、この画像取得手段により複数
のカメラでそれぞれ撮影された画像の視差を求める画像
処理手段と、この画像処理手段で得られた視差に基づい
て対象物の３次元空間上における位置を計算し航行体の
航行制御を行なう航行制御手段とを備えるものである。

【０００７】また、この発明に係る航行体の画像による
航行制御方法は、対象物に対して航行体の航行制御を行
なうものを対象としている。そして、対象物を複数のカ
メラを用いて相互に異なる角度からそれぞれ撮影する画
像取得工程と、この画像取得工程の後、複数のカメラで
それぞれ撮影された画像の視差を求める画像処理工程
と、この画像処理工程の後、視差に基づいて対象物の３
次元空間上における位置を計算し航行体の航行制御を行
なう航行制御工程とを経るものである。

【０００８】上記のような構成及び方法によれば、対象
物を複数のカメラを用いて相互に異なる角度からそれぞ
れ撮影し、この撮影された画像の視差に基づいて対象物
の３次元空間上における位置を計算し航行体の航行制御
を行なうようにしたので、簡易な構成で航行制御のため
の広範囲な計測領域を得ることができ、しかも、対象物
の表面特性に対する依存性の少ない計測結果を得ること
を可能とすることができる。

【０００９】

【発明の実施の形態】以下、この発明の実施の形態につ
いて、図面を参照して詳細に説明する。図１は、この実
施の形態で説明する宇宙機の画像による航行制御装置を
示している。すなわち、画像取得部１１は、例えばＣＣ
Ｄ（Charge Coupled Device）等を内蔵した２台のカメ
ラ（図示せず）を同一方向に向けて併設したもので、宇
宙機１６に搭載されている。

【００１０】この画像取得部１１の２台のカメラからそ
れぞれ得られた画像データは、画像処理部１２に供給さ
れる。この画像処理部１２は、入力された２系統の画像
データに対してパターンマッチング処理を施することに
より、視差データを生成している。そして、この画像処
理部１２で生成された視差データは、相対距離／相対速
度演算部１３に供給される。

【００１１】この相対距離／相対速度演算部１３は、入
力された視差データに基づいて、対象物との相対距離Ｌ
rel及び相対速度Ｖrelを算出し、航行誘導制御演算部１
４に出力している。そして、この航行誘導制御演算部１
４が、入力された相対距離Ｌrel及び相対速度Ｖrelに基
づいて、宇宙機アクチュエータ１５に対する駆動量を決
定することにより、そのトルクや推力によって宇宙機１
６が航行制御されるようになる。

【００１２】なお、１台のカメラを用いて、対象物表面
の濃淡情報が得られれば、そこから輝度の濃淡変化が比
較的少ない領域を抽出することにより、対象物表面の平
坦部を容易に検出することができる。

【００１３】ここで、２台のカメラを左右に並べてステ
レオ画像を撮影し、３次元空間中で同一の点をステレオ
画像間で対応付ければ、三角測量の要領で、その点の３
次元座標を算出することができる。

【００１４】なお、２台のカメラを用いてステレオ視を
行なう場合の最も基本的な構成は、全く同一の２台のカ
メラを、それぞれの画像面が同一平面上に載るように配
置することである。この場合、２台のカメラの光軸は平
行となる。

【００１５】この場合、図２に示すように、ステレオカ
メラ座標系の原点Ｏを、左カメラの視点、つまり、レン
ズ中心にとり、左右カメラの視点を結ぶ直線をＸ軸と
し、上下方向にＹ軸、カメラの光軸方向にＺ軸を設定す
る。

【００１６】このとき、３次元空間中の任意の点Ｐ
（Ｘ，Ｙ，Ｚ）の左右画面への投影点をそれぞれpl（x
l，yl，zl）及びpr（xr，yr，zr）とし、左右カメラの
間隔をＢ、カメラレンズの焦点距離をＦとすれば、

【００１７】

【数１】

【００１８】という関係式が成り立ち、この３本の連立
方程式を（Ｘ，Ｙ，Ｚ）について解くと、

【００１９】

【数２】

【００２０】となる。ただし、ｄ＝xl−xrであり、ｄは
左右画像上の対応点の水平方向の位置の違い、つまり、
視差を示している。

【００２１】（２）式において、視差ｄ以外のパラメー
タは既知であるから、視差dを求めることによって、点
Ｐの３次元位置を得ることができる。

【００２２】このように、画像上の任意の点の視差がわ
かると、その点のステレオカメラ座標系に対する３次元
位置を計算することができる。さらに、その３次元位置
の時間変化から、ステレオカメラと対象物、つまり、宇
宙機と天体表面との相対速度を得ることができる。

【００２３】また、一直線状にない３点の３次元位置座
標がステレオ視より得られれば、平面の方程式が導か
れ、その平面と宇宙機との相対角度、あるいは、姿勢を
計測することができる。

【００２４】以下の説明では、図３に示すように、宇宙
機の降下方向の速度を降下速度、降下方向と垂直な方向
の速度を水平速度と称する。また、天体表面の凹凸の高
低差は、計測距離に比べて微小であるので、天体表面は
平面として近似することができるものとする。

【００２５】宇宙機の高度は、ステレオ視を用いれば計
測可能であり、高度を時々刻々計測することによって、
宇宙機の降下速度を得ることができる。図４に示すよう
に、時刻ｔ−１，ｔにおける天体表面までの距離、すな
わち、高度をそれぞれＺ（ｔ−１），Ｚ（ｔ）とすれ
ば、時刻ｔにおける宇宙機の降下速度Ｖz（ｔ）は、
（２）式により、

【００２６】

【数３】

【００２７】となる。ただし、ｄ（ｔ−１），ｄ（ｔ）
は、それぞれ時刻ｔ−１，ｔにおけるステレオ画像上の
任意の点の視差である。

【００２８】宇宙機から見た天体表面の傾斜角が小さ
く、対象物表面と画像面とが平行になれば、画像上の全
ての点が同一の視差を持つことになる。一般のステレオ
視においては、各点毎に異なる視差を計算するが、画像
上の全ての点が同一の視差を持つ場合には、視差の計算
が容易になる。

【００２９】図５（ａ）に示す左右画像に対し、同図
（ｂ）に示すように、左右画像の視差をｄ（０＜ｄ＜ｄ
max）と仮定し、右画像を右にｄだけずらせて左画像に
重ね合わせた場合の、オーバーラップした領域Ｒの輝度
値の差の絶対値の平均Ｄ（ｄ）を求める。

【００３０】

【数４】

【００３１】ここで、Ｉ_Ｌ（ｉ，ｊ），Ｉ_Ｒ（ｉ，ｊ）
は、それぞれ、左右画像上の点（ｉ，ｊ）における輝度
を表わし、Ｎはオーバーラップ領域Ｒの画素数である。
上記した平均Ｄ（ｄ）を、予め設定した探索範囲（０＜
ｄ＜ｄmax）の任意の視差について計算すると、図６に
示すような、視差ｄの関数Ｄ＝Ｄ（ｄ）を得る。

【００３２】以下では、この関数Ｄ＝Ｄ（ｄ）を誤差関
数と称する。右画像を真の視差だけずらせたとき、左右
画像の輝度の差は最小となるので、平均Ｄ（ｄ）が最小
となる位置ｄ＝ｄ_０が求める視差となる。

【００３３】前述した方法により算出した視差は、整数
値であるため、正しく視差を求めたとしても、潜在的に
最大０．５がその誤差を有する。この誤差は、特に高々
度においては、大きな高度計測誤差となる。（２）式よ
り、高度と視差の計測誤差をそれぞれΔＺ，Δｄとすれ
ば、

【００３４】

【数５】

【００３５】という関係式が成立する。

【００３６】例えば、２台のカメラの間隔Ｂが２ｍ、レ
ンズの焦点距離Ｆが１５００画素（１５ｍｍのレンズに
相当）のステレオカメラで高度Ｚが４０００ｍの場合、
視差にΔｄ＝０．５画素の誤差が含まれているとする
と、（５）式より、

【００３７】

【数６】

【００３８】となる。つまり、この場合には、視差に潜
在的に含まれる０．５画素の誤差が、高度に換算すると
２５００ｍ以上もの誤差になる。

【００３９】このため、前述した手法によって算出した
整数値の視差ｄ_０の精度を改善する必要が生じる。ここ
では、誤差関数Ｄ＝Ｄ（ｄ）のｄ＝ｄ_０近傍に２次曲線
を当てはめ、その２次曲線の極小点を検出することによ
り、視差をサブピクセルのオーダーで求めるようにして
いる。

【００４０】図７に示すように、前述の手法で算出した
整数値の視差をｄ_０、その差分値をＤ（ｄ_０）とする。
同様に、ｄ_０の前後１画素の視差ｄ_０−１，ｄ_０＋１の
差分値をそれぞれＤ（ｄ_０−１），Ｄ（ｄ_０＋１）とす
る。

【００４１】これらの値を用いて、以下の（Ａ，Ｂ，
Ｃ）に関する連立方程式を解くことにより、２次曲線Ｄ
＝Ａｄ^２＋Ｂｄ＋Ｃの係数を求める。

【００４２】

【数７】

【００４３】そして、求めた２次曲線の係数（Ａ，Ｂ，
Ｃ）から、以下の式により極小点を求め、サブピクセル
オーダーの視差ｄ^＊が得られる。

【００４４】

【数８】

【００４５】次に、水平速度は、時系列画像上の各点か
ら計算する。左カメラで得られた時刻ｔ−１とｔの２枚
の時系列画像をそれぞれｌ_ｔ−１，ｌ_ｔとする。

【００４６】まず、図８に示すように、時刻ｔ−１とｔ
における宇宙機の高度が同じである場合を考える。

【００４７】天体表面上のある点Ｐの時刻ｔにおける、
ステレオカメラ座標系に対する３次元位置をＰ［Ｘ
（ｔ），Ｙ（ｔ），Ｚ（ｔ）］、その左画像上の投影位
置を［ｘ（ｔ），ｙ（ｔ）］とする。

【００４８】（１）式より、

【００４９】

【数９】

【００５０】時刻ｔ−１についても同様に、

【００５１】

【数１０】

【００５２】高度が同じである場合は、Ｚ（ｔ−１）＝
Ｚ（ｔ）であるから、（９）式及び（１０）式から、

【００５３】

【数１１】

【００５４】ただし、

【００５５】

【数１２】

【００５６】である。

【００５７】（１１）式から、

【００５８】

【数１３】

【００５９】時刻ｔの宇宙機の高度は、ステレオ視で、

【００６０】

【数１４】

【００６１】として計測されているので、これを（１
３）式に代入すると、

【００６２】

【数１５】

【００６３】となる。

【００６４】この式から、画像上の任意の点の時系列画
像上での動き（Δｘ，Δｙ）と、ステレオ画像の視差ｄ
（ｔ）から、単位時間あたりの宇宙機の水平方向の移動
量（ΔＸ，ΔＹ）、つまり、水平速度を求めることがで
きる。

【００６５】時刻ｔ−１とｔとにおける宇宙機の高度が
同じであれば、図９（ａ）に示すように、画像上の各点
は同じ動きを持つため、画像ｌ_ｔ−１，ｌ_ｔをステレオ
画像と考えて、画像上の動きを求めることができる。た
だし、視差を求める場合には探索範囲が１次元であった
のに対し、画像上の動きを求める場合には探索範囲が２
次元となる。

【００６６】しかし、一般的には、時刻ｔ−１とｔとで
は高度が異なるため、スケール変化が生じ、投影像の大
きさが変化する。宇宙機が降下する際に得られる時系列
画像においては、物体の見かけのサイズが宇宙機の高度
が低くなるのに伴なって大きくなる。したがって、画像
間のスケール変化を考慮しない方法をそのまま適用する
と精度が低下するという問題が生じる。

【００６７】実際に得られる画像データは、図９（ａ）
に示す水平移動による動きと、同図（ｂ）に示す降下に
よる動きとを合成した、同図（ｃ）に示すような動きと
なる。この図９（ｃ）に示す動きを計算すれば、水平速
度を計測することができるが、各点毎に動きを計算する
必要があり、ノイズの影響を受け易くなる。

【００６８】ここでは、計算コストとノイズに対するロ
バスト（頑健）性を向上させるため、以下のような、各
点毎に動きを求めることなく水平速度を計測する方法を
用いている。

【００６９】画像ｌ_ｔ−１，ｌ_ｔ間のスケール変化は、
各時刻でステレオ視により得た視差から補正することが
できる。一般に、物体の画像上の大きさは、物体までの
距離Ｚに逆比例し、距離Ｚは視差ｄに逆比例するので、
結局、物体の投影像の大きさは視差ｄに比例する。

【００７０】このため、時刻ｔ−１とｔの視差をそれぞ
れｄ（ｔ−１），ｄ（ｔ）と表わすと、時刻ｔ−１の画
像ｌ_ｔ−１をα＝ｄ（ｔ）／ｄ（ｔ−１）倍した画像
ｌ′_{ｔ −１}と、時刻ｔの画像ｌ_ｔのスケールは一致す
る。

【００７１】この画像ｌ′_ｔ−１は、宇宙機が時刻ｔ−
１の位置Ｔ（ｔ−１）から時刻ｔの高度Ｚ（ｔ）まで垂
直に落下したと仮定した場合に、位置Ｔ′で得られる画
像である［画像ｔにおける宇宙機の実際の位置はＴ
（ｔ）］。

【００７２】画像ｌ′_ｔ−１とｌ_ｔを使えば、高度が同
一な場合の水平速度計測方法によって、宇宙機の水平速
度を求めることができる。また、この補正パラメータα
＝ｄ（ｔ）／ｄ（ｔ−１）を精度良く求めるという意味
からも、前述のように、サブピクセルオーダーで視差を
計算する必要がある。

【００７３】ここで、前記画像取得部１１に設置するカ
メラとしては、例えば赤外線カメラ等を用いれば、宇宙
機が着陸する天体表面が暗い場合でも航行制御を容易に
行なうことが可能である。また、画像処理部１２、相対
距離／相対速度演算部１３及び航行誘導制御演算部１４
等に与えるソフトウェアは、地上からの指令や宇宙機に
搭載されたプログラムにより、可変可能とすることもで
きる。

【００７４】なお、この発明は上記した実施の形態に限
定されるものではなく、この外その要旨を逸脱しない範
囲で種々変形して実施することができる。

【００７５】

【発明の効果】以上詳述したようにこの発明によれば、
簡易な構成で航行制御のための広範囲な計測領域を得る
ことができ、しかも、対象物の表面特性に対する依存性
の少ない計測結果を得ることが可能である極めて良好な
航行体の画像による航行制御装置及び航行制御方法を提
供することができる。

【図面の簡単な説明】

【図１】この発明に係る航行体の画像による航行制御装
置及び航行制御方法の実施の形態を説明するために示す
ブロック構成図。

【図２】同実施の形態におけるステレオ視の原理を説明
するために示す図。

【図３】同実施の形態における降下速度と水平速度の定
義を説明するために示す図。

【図４】同実施の形態における降下速度計測値の定義を
説明するために示す図。

【図５】同実施の形態における視差計算法を説明するた
めに示す図。

【図６】同実施の形態における誤差関数の概念を説明す
るために示す図。

【図７】同実施の形態における視差の精度改善の概念を
説明するために示す図。

【図８】同実施の形態における高度が同じ場合の時系列
取得データの関係を説明するために示す図。

【図９】同実施の形態における画像上の各点の動きを説
明するために示す図。

【符号の説明】

１１…画像取得部、 １２…画像処理部、 １３…相対距離／相対速度演算部、 １４…航行誘導制御演算部、 １５…宇宙機アクチュエータ、 １６…宇宙機。

Claims (5)

【特許請求の範囲】
1. 【請求項１】 対象物に対して航行体の航行制御を行な
   う航行体の航行制御装置において、前記対象物を複数の
   カメラを用いて相互に異なる角度からそれぞれ撮影する
   画像取得手段と、この画像取得手段により複数のカメラ
   でそれぞれ撮影された画像の視差を求める画像処理手段
   と、この画像処理手段で得られた視差に基づいて前記対
   象物の３次元空間上における位置を計算し前記航行体の
   航行制御を行なう航行制御手段とを具備してなることを
   特徴とする航行体の画像による航行制御装置。
2. 【請求項２】 前記航行制御手段は、計算された前記対
   象物の３次元空間上における位置に基づいて、該対象物
   との相対距離、相対速度及び該対象物表面との相対角度
   を計算して、前記航行体の航行制御を行なうことを特徴
   とする請求項１記載の航行体の画像による航行制御装
   置。
3. 【請求項３】 前記航行制御手段は、前記航行体の移動
   に伴なう時系列画像上の対象物の見かけの大きさの変化
   を考慮して、時系列画像上の各点の動きを算出すること
   を特徴とする請求項１記載の航行体の画像による航行制
   御装置。
4. 【請求項４】 前記画像取得手段の１つのカメラによっ
   て前記対象物の表面を撮影し、その画像の輝度の濃淡変
   化が少ない領域を抽出することにより前記対象物表面の
   平坦部を検出する検出手段を具備してなることを特徴と
   する請求項１乃至３いずれかに記載の航行体の画像によ
   る航行制御装置。
5. 【請求項５】 対象物に対して航行体の航行制御を行な
   う航行体の航行制御方法において、前記対象物を複数の
   カメラを用いて相互に異なる角度からそれぞれ撮影する
   画像取得工程と、この画像取得工程の後、前記複数のカ
   メラでそれぞれ撮影された画像の視差を求める画像処理
   工程と、この画像処理工程の後、前記視差に基づいて前
   記対象物の３次元空間上における位置を計算し前記航行
   体の航行制御を行なう航行制御工程とを経ることを特徴
   とする航行体の画像による航行制御方法。