JP2016148512A - 単眼モーションステレオ距離推定方法および単眼モーションステレオ距離推定装置 - Google Patents

Abstract

【課題】撮影された画像中の物体までの距離を簡易に推定できる単眼モーションステレオ距離推定方法および単眼モーションステレオ距離推定装置を提供する。【解決手段】車両１に搭載される距離推定装置５において、画像を撮影するカメラ３と、撮影された画像を保存する画像保存部１１と、複数の画像を基に画像中心からのオプティカルフローを算出するオプティカルフロー算出部１３と、車両１の速度を計測する車速センサ９と、画像中心からのオプティカルフローと車速とから画像中の物体までの距離を推定する距離推定部１５とを備えた距離推定装置５である。【選択図】図７

Description

本発明は、単眼カメラで撮影された複数の画像から距離を推定する単眼モーションステレオ距離推定方法および単眼モーションステレオ距離推定装置に関する。

従来、自動四輪車の運転支援および予防安全のための衝突防止装置を実現するために、車両周辺環境を３次元的に認識するシステムが開発されている。車両周辺環境を検出する方法として、ミリ波レーダー、レーザーレーダーなどのアクティブなセンサを用いる方法やステレオカメラ、単眼カメラなどのパッシブなセンサを用いる方法がある。アクティブなセンサは距離精度、光源環境によらず安定した出力が得られるが、高価な割に空間分解能が低い。

これに対して、パッシブセンサは、空間分解能や価格などで優れている場合が多い。代表的なセンサであるカメラを使う場合、３次元再構成する方法として２台以上のカメラを使用するステレオカメラが一般的である。しかしながら、ステレオカメラは複数のカメラ（レンズ、撮像素子）が必要になり、また複数のカメラを頑丈な筐体で固定する必要があるので高価なセンサになりやすい。また、距離精度を確保するためにはカメラ間の距離を大きく取る必要があり、撮影部自体のサイズが大きくなってしまう欠点が存在する。

一方、単眼カメラによるステレオ法も数多く研究されている。１台のカメラでも移動した状態で連続的に撮影し、カメラ間の相対位置が分かれば３次元再構成が可能となる。これを一般に、単眼ステレオ、モーションステレオ、ストラクチャーフロムモーション（SfM；Structure from Motion）と称することが多い。本発明では単眼モーションステレオと呼ぶ。単眼モーションステレオを実現するためには、時間の経過とともに移動したカメラ間の相対位置情報を何らかの方法で推定しなければいけない（特許文献１参照）。

（１）特許文献１の技術
特許文献１に記載の単眼モーションステレオ装置は、連続する画像間の特徴点を抽出し、抽出された特徴点のうち信頼性の高い対応点をエピポール誤差により選別する。さらに、精度の高い基礎行列（カメラ間の相対位置を表す行列）を算出する。

特許４９４３０３４号公報

しかしながら、特許文献１の技術では、特徴点の抽出から、特徴点の選別、また繰り返し計算による基礎行列の算出に相当な時間を必要とし、自動車用の低スペックなＣＰＵでの演算では短い時間内に処理をすることができない問題がある。

本発明は、このような事情に鑑みてなされたものであって、撮影された画像中の物体までの距離を簡易に推定できる単眼モーションステレオ距離推定方法およびそれを用いた単眼モーションステレオ距離推定装置を提供することを目的とする。

上記目的を達成するために、本発明は次のような構成をとる。
すなわち、本発明に係る第１の発明は、移動体からの単眼ステレオ距離推定方法において、画像を撮影する撮影ステップと、時系列に撮影された複数の前記画像を基に画像中心からのオプティカルフローを算出するオプティカルフロー算出ステップと、前記移動体の速度を計測する速度計測ステップと、画像中心からの前記オプティカルフローと前記速度とから前記画像中の物体までの距離を推定する距離推定ステップとを備えた単眼ステレオ距離推定方法である。

第１の発明によれば、撮影ステップにより前方の画像を撮影する。オプティカルフロー算出ステップでは、時系列に撮影された複数の画像を基に、画像中心からのオプティカルフローを算出する。また、速度計測ステップにより移動体の速度が検出される。距離推定ステップでは、画像中心からのオプティカルフローと、計測された移動体の速度とから前記画像中の物体までの距離を推定する。

時系列に撮影された画像の画像中心からのオプティカルフローを算出することで、オプティカルフローの方向が画像中心から外側に向かう方向に制限され、画像全体の各画素からの縦横方向のオプティカルフローの算出を省略することができ、距離推定の演算負荷を大幅に低減することができる。これにより、撮影された画像中の物体までの距離を簡易に推定することができる。

また、画像を撮影する撮影部の移動量を推定する撮影部移動量推定ステップと、前記撮影部の前記移動量を基に、消失点が画像中心に位置するように前記画像を補正する画像補正ステップとを備え、前記オプティカルフロー算出ステップは、撮影された前記画像と補正された画像とから画像中心からの前記オプティカルフローを算出することが好ましい。

撮影部移動量推定ステップにより、画像を撮影する撮影部の移動量を推定するので、走路状況に応じて運動するカメラの移動量を推定することができる。画像補正ステップは、推定された撮影部の移動量を基に、消失点が画像中心に位置するように画像を補正する。これにより、消失点が走路状況に応じて画像中心から外れる場合であっても、画像中心に位置するように補正されるので、オプティカルフロー算出ステップにより、撮影された画像と補正された画像とから画像中心からのオプティカルフローを算出することができ、走路状況に依存することなく、距離推定の演算負荷を軽減することができる。

また、本発明に係る第２の発明は、移動体に搭載される単眼ステレオ距離推定装置において、画像を撮影する撮影部と、撮影された画像を保存する画像保存部と、複数の前記画像を基に画像中心からのオプティカルフローを算出するオプティカルフロー算出部と、前記移動体の速度を計測する速度センサと、画像中心からの前記オプティカルフローと前記速度とから前記画像中の物体までの距離を推定する距離推定部とを備えた単眼ステレオ距離推定装置である。

第２の発明によれば、撮影部により撮影部前方の画像を撮影する。画像保存部は、撮影された画像を順次保存する。オプティカルフロー算出部は、時系列に撮影された複数の画像を基に、画像中心からのオプティカルフローを算出する。速度センサは移動体の速度を計測する。距離推定部は、画像中心からのオプティカルフローと、計測された移動体の速度とから画像中の物体までの距離を推定する。

時系列に撮影された画像の画像中心からのオプティカルフローを算出することで、オプティカルフローの方向が画像中心から外側に向かう方向に制限され、画像全体の各画素からの縦横方向のオプティカルフローの算出を省略することができ、距離推定の演算負荷を大幅に低減することができる。これにより、撮影された画像中の物体までの距離を簡易に推定することができる。

また、前記撮影部の移動量を推定する撮影部移動量推定部と、前記撮影部の前記移動量を基に画像中心に消失点が位置するように前記画像を補正する画像補正部とを備え、前記オプティカルフロー算出部は、撮影された前記画像と補正された画像とから画像中心からの前記オプティカルフローを算出することが好ましい。

撮影部移動量推定部により、画像を撮影する撮影部の移動量を推定するので、走路状況に応じて運動するカメラの移動量を推定することができる。画像補正部は、推定された撮影部の移動量を基に、消失点が画像中心に位置するように画像を補正する。これにより、消失点が走路状況に応じて画像中心から外れる場合であっても、画像中心に位置するように補正されるので、オプティカルフロー算出部により、撮影された画像と補正された画像とから画像中心からのオプティカルフローを算出することができる。これにより、画像全体の各画素からのオプティカルフローの算出を省略することができ、距離推定の演算負荷を大幅に低減することができる。また、走路状況に依存することなく、距離推定の演算負荷を軽減することができる。

また、撮影された複数の前記画像における特定領域のオプティカルフローを算出する特定領域オプティカルフロー算出部を備え、前記撮影部移動量推定部は、特定領域の前記オプティカルフローから前記撮影部の前記移動量を推定してもよい。

特定領域オプティカルフロー算出部は、撮影された複数の前記画像における特定領域のオプティカルフローを算出する。さらに、撮影部移動量推定部は、特定領域のオプティカルフローから撮影部の移動量を推定する。このように、撮影部の移動量を撮影された画像のみから推定することができるので、コスト高を抑制し、既存の移動体に簡易に適用することができる。

また、撮影された複数の前記画像における特定領域のオプティカルフローを算出する特定領域オプティカルフロー算出部と、前記移動体または前記撮影部の動きを検出するセンサを備え、前記撮影部移動量推定部は、前記センサの検出値と、特定領域の前記オプティカルフローとから前記移動量を推定してもよい。

特定領域オプティカルフロー算出部は、撮影された複数の前記画像における特定領域のオプティカルフローを算出する。また、これとは別に、移動体または撮影部の動きを検出するセンサを備えることで、移動体または撮影部の動きをセンサにより直接検出することができる。撮影部移動量推定部は、このセンサの検出値と、特定領域の前記オプティカルフローとから前記移動量を推定することで、撮影部の移動量を精度良く推定することができ、これにより、撮影された画像中の物体までの距離推定の精度をより向上することができる。

また、前記移動体または前記撮影部の動きを検出するセンサを備え、前記撮影部移動量推定部は、前記センサの検出値より前記撮影部の前記移動量を推定してもよい。この構成により、移動体または撮影部の動きを検出するセンサを備えることで、移動体または撮影部の動きをセンサにより直接検出することができる。撮影部移動量推定部は、このセンサの検出値より撮影部の移動量を推定するので、画像処理の演算負荷を低減することができ、より高速に距離推定をすることができる。

また、前記特定領域は、画像中心点であることが好ましい。画像中心点を特定領域とすることで、容易に特定領域のオプティカルフローを算出することができる。

また、前記特定領域は、画像下端中心点でもよい。特定領域を画像下端中心点とすることで、容易に特定領域のオプティカルフローを算出することができる。

また、前記センサは、ジャイロセンサまたは加速度センサであることが好ましい。ジャイロセンサまたは加速度センサを用いることで、適切に、移動体または撮影部の動きを検出することができる。

また、前記センサは前記移動体の操舵角を検出する操舵角センサであり、前記撮影部移動量推定部は、前記操舵角センサにより検出された前記操作舵角と、前記速度センサにより検出された前記速度と、特定領域の前記オプティカルフローとを基に前記撮影部移動量を推定してもよい。移動体に操舵角センサが用いられている場合、新たにセンサを備える必要がないので、コスト高を抑制することができ、容易に撮影部の移動量を推定することができる。

本発明によれば、撮影された画像中の物体までの距離を簡易に推定できる単眼モーションステレオ距離推定方法およびそれを用いた単眼モーションステレオ距離推定装置を提供することができる。

現在のフレームの画像を説明する説明図である。 過去フレームの画像を説明する説明図である。 単眼カメラと各軸との関係を示す説明図である。 カメラと撮像面との関係を示す説明図である。 画像中心からのオプティカルフローを説明する説明図である。 実施例に係る車両を示す側面図である。 実施例１に係る距離推定装置の構成を示すブロック図である。 実施例１に係る画像中心からオプティカルフローを求める説明図である。 実施例１に係る距離推定の流れを示すフローチャートである。 実施例２に係る距離推定装置の構成を示すブロック図である。 実施例２に係る距離推定の流れを示すフローチャートである。 変形例３に係る特定領域を示す説明図である。 実施例４に係る距離推定装置の構成を示すブロック図である。 実施例４に係る距離推定の流れを示すフローチャートである。 変形例に係る距離推定装置の構成を示すブロック図である。

１．実施例１の理論的説明
最初に、本発明の理論的説明をする。
１．１オプティカルフロー
まず、オプティカルフローについて図１および図２を用いて説明する。図１は、現在のフレームの画像を説明する説明図であり、図２は過去フレームの画像を説明する説明図である。オプティカルフローとは、時系列的に前後する画像中の対応する各点の移動量を示すベクトルである。例えば、現在フレームの画像Ａ（図１参照）と画像Ａよりも過去に取得された過去フレームの画像Ｂ（図２参照）とからオプティカルフローを求めるには、画像Ａ中に存在する点が画像Ｂ中のどこから移動したかを探索することから始まる。なお、画像上方向にＶ軸をとり、画像右方向にＵ軸をとる。また、画像中心をＵ軸およびＶ軸の原点とする。

画像Ｂから画像Ａにかけて点Ｐが、図１に示すように移動したとする。画像Ｂでの点Ｐの位置が（ｕ−Δｕ，ｖ−Δｖ）であり、画像Ａでは点Ｐの位置が（ｕ，ｖ）である。この画像Ａにおける点Ｐの位置と画像Ｂにおける点Ｐの位置の差である（Δｕ，Δｖ）が画像Ａの点（ｕ，ｖ）におけるオプティカルフローとなる。すなわち、画像Ａの点（ｕ，ｖ）はオプティカルフローの終点であり、画像Ｂの点（ｕ−Δｕ，ｖ−Δｖ）に対応する画像Ａ上の点（ｕ−Δｕ，ｖ−Δｖ）はオプティカルフローの始点ともいえる。

１．２．単眼モーションステレオ
次に単眼モーションステレオについて説明する。単眼モーションステレオは、画像Ａおよび画像Ｂ間のオプティカルフローからカメラの移動量（以下、カメラ運動パラメータと称す）を推定し、画像中に存在する物体までの距離を推定することである。したがって、単眼モーションステレオを実施するには、画像Ａおよび画像Ｂ間のオプティカルフローと、カメラ運動パラメータと、物体までの距離との関係が必要となる。カメラ運動パラメータは本願発明における撮影部移動量に相当する。

ここで、カメラが撮影した物体は静止しているものと仮定する。図３に示されるような一般的なピンホールカメラのモデルでは、カメラと撮像面は図４のようなモデルが使われる。カメラ座標のＸ、Ｙ軸と撮影された画像におけるＵ、Ｖ軸とはそれぞれ平行であり、撮影された画像中心はカメラ座標での（０，０，ｆ）の位置であるとする（図４参照）。ここでｆはカメラの焦点距離である。仮想撮像平面ＰＬは撮影された画像がカメラ座標系において位置すると想定される仮想平面である。

カメラ運動パラメータは、図３に示すように６自由度ある。すなわち、回転移動量（ωｘ，ωｙ，ωｚ）についての３自由度と、並進移動量（ｔｘ，ｔｙ，ｔｚ）についての３自由度である。これらのカメラ運動パラメータ（ωｘ，ωｙ，ωｚ）、（ｔｘ，ｔｙ，ｔｚ）と、カメラで撮影された物体までの距離ｚと、画像中のある点（ｕ，ｖ）およびその点におけるオプティカルフロー（Δｕ，Δｖ）との間には次の関係があることが知られている。

上式（１）、（２）を用いてオプティカルフローからカメラ運動パラメータを推定する。なお、車両が直進運動する場合は、カメラ運動パラメータをより簡単にすることができる。カメラが単眼であるので、直進の場合のカメラ運動パラメータは以下の式となる。

（数３）
（ωｘ，ωｙ，ωｚ）＝（０，０，０） ・・・（３）
（数４）
（ｔｘ，ｔｙ，ｔｚ）＝（０，０，ｔｚ） ・・・（４）

式（３）および式（４）を用いると、式（１）および式（２）が以下のようになる。

式（５）および式（６）の両辺を二乗して足し合わせると次式となる。

ここで、画像中心からの距離ｗは、ｗ^２＝ｕ^２＋ｖ^２であるので、式（７）は式（５）と式（６）を用いることで次式となる。

式（８）は、画像中心から放射状に伸びる方向のオプティカルフローΔｗ（図５参照）と車速ｔｚを用いれば、距離ｚが推定できることを意味している。以上のように演算することで、距離ｚが推定できることが理論的に説明される。図５は、画像Ａ上に、画像Ｂにおけるオプティカルフローの始点も表示した画像である。図５は、オプティカルフローのベクトル集合の画像ともいえる。これらのオプティカルフローΔｗが始点側に収束する点が消失点である。すなわち、消失点は、各オプティカルフローΔｗを始点側に延長した直線が交差する点ともいえる。図５においては、消失点Ｐ_ｏと画像中心とが一致している。

２．実施例１の車両
上述した理論を実施する実施例１を図面を参照して説明する。図６は、実施例1に係る車両１の側面図である。本発明における移動体の実施形態として、四輪の車両１を挙げる。車両１は乗用車に限られず、工場や果樹園で走行する無人搬送車やゴルフカートも含まれる。車両１は本願発明における移動体に相当する。また、移動体は四輪車に限られず、三輪車でもよいし、モノレール型でもよい。

車両１の車幅方向の中央部に単眼のカメラ３が設けられている。また、車両１には、車両１の前方の物体との距離を推定する距離推定装置５と、車両１の車速を検出する車速センサ９と、推定された距離情報を表示するモニタ１０が設けられている。車速センサ９は、例えば、車輪７の回転速度から車速を検出する車輪速センサである。なお、以下の説明で、前後および左右とは車両１の前進する方向を基準としている。

３．実施例１の距離推定装置
次に図７を参照して車両１に備えられた距離推定装置５の構成を説明する。図７は、距離推定装置の構成を示すブロック図である。

距離推定装置５は、車両１の前方の画像を撮影するカメラ３と、カメラ３により撮影された画像を一時的に保存する画像保存部１１と、画像中心からのオプティカルフローを算出するオプティカルフロー算出部１３と、画像中心からのオプティカルフローを基に各画素の距離情報を推定する距離推定部１５と、車両１の車速を検出する車速センサ９とを備える。オプティカルフロー算出部１３および距離推定部１５はマイクロプロセッサまたはＦＰＧＡ（Field Programmable Gate Array;再構成可能なゲートアレイ）で構成される。次にそれぞれの構成部について順に説明する。

カメラ３は、単眼のカメラで構成される。カメラ３はＣＣＤやＣＭＯＳなど一般的な可視光センサである。カメラ３の光軸は車両１の進行方向を向くように設置されている。これにより、カメラ３により撮影された画像中心は車両１の進行方向を向いている。カメラ３の光軸が車両１の進行方向を向いていない場合は、光軸と車両進行方向のズレを予め計測しておき、車両１が平坦な走路を直進する際の消失点が画像のどの位置に存在するかを確認する。この消失点が平坦な走路を直進する際の画像中心に位置するようにカメラ３の画像全体を平行移動させるなどの画像補正としてのカメラキャリブレーションを実施する。このように、カメラ３の光軸が車両１の進行方向を向いていない場合は、単眼モーションステレオを実施する前に、カメラキャリブレーションを実施するカメラキャリブレーション部を備える必要がある。

画像保存部１１は、カメラ３で撮影した画像をフレームごとに一時的に保存する。保存された各画像は画像拡大部２１へ出力される。画像保存部１１は、メモリ、フラッシュメモリ、ハードディスク（ＨＤＤ）などで構成される。

オプティカルフロー算出部１３は、カメラ３から入力される現フレームの画像Ａと、画像保存部１１から入力される１フレーム前の画像Ｂとから、画像中心からのオプティカルフローを算出する。オプティカルフロー算出部１３は、１フレーム前の画像Ｂの画像を拡大する画像拡大部２１と、拡大された画像Ｂと現フレームの画像Ａとをマッチングするマッチング部２３とを有する。次に、画像中心からのオプティカルフローを算出する方法を説明する。

従来のオプティカルフロー計算では、画像の縦横方向、つまりＵＶ方向のオプティカルフローを求めなければならなかった。しかしながら、画像中心からのオプティカルフローに限定することで、直接Δｗを求めることができる。つまり、ΔｕおよびΔｖを求めなくとも、Δｗを求めることができるので、演算負荷を大幅に軽減することができる。

画像拡大部２１は、図８に示すように、１フレーム前の画像Ｂを（１＋ａ）倍、（１＋ｂ）倍、…、（１＋ｎ）倍、と順に拡大する。ここで、ａ＜ｂ＜…＜ｎの関係がある。図８は、画像中心からのオプティカルフローを求める説明図である。ａ、ｂ、…、ｎの値は、例えば、０．１、０．２、…、のように、０．１ずつ増やしていってもよい。拡大率の増加率および最大拡大率は、車速およびフレームレート等により決めるとよい。

マッチング部２３は画像Ｂおよび拡大された各画像Ｂ_ａ、Ｂ_ｂ、…、Ｂ_ｎを画像Ａと画像中心を基準に順にブロックマッチングする。ブロックマッチングは、画像間の類似性を評価関数によって評価する方法であり、ここでの評価関数には、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of Squares Difference）、面積相関法等が用いられる。実施例１においても、マッチング窓サイズ（２Ｍ＋１）×（２Ｎ＋１）に関して下式のＳＡＤを用いて類似性を評価する。

マッチング部２３は、画像Ｂおよび画像Ｂに関する拡大された各画像と画像Ａとを式（９）によるＳＡＤを用いて、画像Ａ上の各画素においてＳＡＤが最少となる画像Ｂの拡大率を求める。例えば、画像Ａの点（ｕ，ｖ）と画像Ｂが（１＋ａ）、…、（１＋ｎ）倍と拡大された各画像Ｂ_ａ、…、Ｂ_ｎの中で（１＋ａ）倍した画像Ｂ_ａの点（ｕ，ｖ）が最も類似度が高いとの結果が出たとする。画像Ｂ_ａにおける実際の（ｕ，ｖ）は（ｕ（１＋ａ），ｖ（１＋ａ））に移動しているので、画像Ａにおける点（ｕ，ｖ）は、画像Ｂａでは点（ｕ（１＋ａ），ｖ（１＋ａ））に移動したと考えることが出来る。すなわち、オプティカルフロー（Δｕ，Δｖ）＝（ｕａ，ｖａ）となる。

ｗ^２＝ｕ^２＋ｖ^２であるので、Δｗ＝ｗａとなる。これにより式（８）は以下の式となる。

距離推定部１５は、式（１０）により、車速ｔｚと画像の拡大率（１＋ａ）から物体までの距離ｚを推定する。すなわち、画像中の各画素の拡大率から画素が表示する物体までの距離情報を得ることができる。

４．実施例１の距離推定方法
次に、実施例１における距離推定の動作を図９を用いて説明する。図９は距離推定の処理手順を示すフローチャートである。

車両１の前面に設けられたカメラ３により前方の画像を撮影する（ステップＳ０１）。カメラ３による撮影は、例えば、１／３０秒のフレーム間隔で時系列的に連続して行われる。撮影された画像は画像保存部１１に保存されるとともに、マッチング部２３へ送られる。

現フレームの画像Ａが撮影されるのと並行して、画像保存部１１に保存されている１フレーム前の画像Ｂが画像拡大部２１へ送られる。画像拡大部２１は、入力された画像Ｂを複数の倍率でそれぞれ拡大した画像Ｂ_ａ、Ｂ_ｂ、…、Ｂ_ｎを作成する（ステップＳ０２）。拡大された各画像Ｂ_ａ、Ｂ_ｂ、…、Ｂ_ｎと画像Ｂとがマッチング部２３へ送られる。マッチング２３では、１フレーム前の画像Ｂおよび拡大された各画像Ｂ_ａ、Ｂ_ｂ、…、Ｂ_ｎと現フレームの画像Ａとで、各画素ごとにブロックマッチングする（ステップＳ０３）ことで、画像中心からのオプティカルフローを算出する。算出された画像中心からのオプティカルフローは距離推定部１５へ送られる。ステップＳ０２およびステップＳ０３は、本発明におけるオプティカルフロー算出ステップに相当する。

また、ステップＳ０１における画像撮影と同じタイミングで車両１の車速が車速センサ９により検出される（ステップＳ１１）。検出された車速は距離推定部１５へ送られる。距離推定部１５は、車速センサ９から得られる車両１の車速ｔｚとマッチング部２３から入力される画像中心からのオプティカルフローΔｗとを基に各画素に表示されている物体までの距離ｚを推定する（ステップＳ０４）。推定された距離情報はモニタ１０に出力される。モニタ１０は、物体までの距離に応じて色分けして距離情報を表示する。また、推定された距離情報は、モニタ１０に表示するだけでなく、車両の走行制御に利用してもよい。

このように、実施例１によれば、車両１が直進運動する場合、撮影画像の縦横方向に探索してオプティカルフローを求めるのではなく、過去に撮影した画像を拡大したものとマッチングするだけで画像中心からのオプティカルフローを算出することができる。この画像中心からのオプティカルフローを用いることで、撮影された物体までの距離を容易に推定することができ、演算負荷を大幅に低減することができる。また、演算負荷を大幅に低減することで、画像撮影のフレームレートを上げることができ、より短い時間間隔でも画像中の物体までの距離を推定することができる。

次に、車両１が旋回および上下運動する場合における距離推定方法および距離推定装置を説明する。実施例２の特徴は、車両が走路状況に応じて走行することで、画像中心が消失点とならない場合においても、距離推定を実施する点である。実施例１ではカメラ運動パラメータが変動するのはｔｚ方向にのみ限定していたが、実施例２ではヨー方向およびピッチ方向に変動する場合にも距離を推定することができる。これにより、走路状況に制限されることなく距離推定をすることができる。

５．実施例２の理論的説明
車両１が道路の起伏に沿ってピッチ方向に上下運動する場合、カメラ３はピッチ方向にωｘ回転する。また、車両１が旋回運動する場合、カメラ３はヨー方向にωｙ回転する。この場合、カメラ３の運動パラメータは、式（３）に代えて以下の式となる。

（ωｘ，ωｙ，ωｚ）＝（ωｘ，ωｙ，０） ・・・（３）’

式（３）’および式（４）より、式（１）および式（２）は以下の式となる。

画像全体のオプティカルフローを計算し、式（１１）および式（１２）の連立方程式を解くことでカメラ運動パラメータωｘ，ωｙを求めることができる。しかしながら、この方法だと、画像全体のオプティカルフローを求める必要があるので、演算負荷が非常に大きくなる。そこで、これから説明するように、特定領域のオプティカルフロー演算を行うことで演算負荷の低減と、画像中の移動物体の影響軽減を図ることができる。

実施例２では、特定領域として画像中心を設定した場合を説明する。画像中心は（ｕ，ｖ）＝（０，０）であるので、式（１１）および式（１２）は以下の式となる。

なお、ここで（Δｕ_０，Δｖ_０）は中心点のオプティカルフローを示す。これにより、中心点でのオプティカルフローから直接、カメラ運動パラメータのピッチ成分のωｘとヨー成分のωｙを推定することができる。中心点のオプティカルフロー計算には、実施例１と同様にブロックマッチングを用いる。ブロックマッチングに用いる評価関数には式（９）によるＳＡＤを用い、分解能は０．１ピクセルでのマッチングを行う。

式（９）において、Ｉ_Ａは画像Ａであり、Ｉ_Ｂは画像Ｂであり、このＳＡＤが最少になる（Δｕ，Δｖ）が点（ｕ，ｖ）のオプティカルフローとなる。実施例２では、（Δｕ，Δｖ）は少数第１位のサブピクセルの値を持つので、画像Ｂからサブピクセル値で輝度値を参照する場合、バイニリア法などの補間方法を用いる。以上により、中心点という特定領域のオプティカルフローを計算することで、カメラ運動パラメータを推定することができる。

しかしながら、カメラ運動パラメータωｘおよびωｙが推定されても、カメラ運動パラメータが直進ｔｚのみの場合と全く同様の方法で画像中心からのオプティカルフロー計算をすることができない。カメラ運動パラメータのピッチ成分ωｘおよびヨー成分ωｙが存在する場合は消失点が画像中心に存在しないからである。そこで、画像中心に消失点が位置するように画像補正を行う。式（１１）および式（１２）を変形すると以下の式となる。

式（１５）および式（１６）から、過去フレームの画像Ｂに対して、推定したカメラ運動パラメータωｘおよびωｙで補正することで、カメラ運動パラメータが直進の場合と同様に、画像中心からのオプティカルフローを計算することができる。オプティカルフロー（Δｕ，Δｖ）を求めるためには、画像Ａの点（ｕ，ｖ）に対応する画像Ｂの点（ｕ−Δｕ、ｖ−Δｖ）を見つけることで所望のオプティカルフローが求まる。つまり、式（１５）の右辺のｕは画像Ａのある点であり、ｕ−Δｕは画像Ｂのある点である。したがって、式（１５）および式（１６）より、画像Ｂ（ｕ−Δｕ、ｖ−Δｖ）を

だけ移動変形することで実施例１と同様に、距離推定をすることができる。ここでの画像補正は、カメラ３のピッチおよびヨー回転によりずれた消失点の位置を画像中心に補正することと同一である。以上が実施例２おける距離推定の理論的説明である。

次に、上述した理論を実施する距離推定装置を図１０を参照して説明する。図１０は、実施例２における距離推定装置の構成を示すブロック図である。なお、以下に記載したこと以外の実施例２における車両１および距離推定装置３１の構成は、実施例１における車両１および距離測定装置５の構成と同様である。

６．実施例２の距離推定装置
実施例２における距離推定装置３１は、実施例１における距離推定装置５に、カメラ運動による消失点のズレを補正する機能を有する。実施例２における距離推定装置３１は、実施例１における距離推定装置５の構成に加えて、特定領域オプティカルフロー算出部３３、カメラ運動パラメータ推定部３５、および画像補正部３７を有する。これら、特定領域オプティカルフロー算出部３３、カメラ運動パラメータ推定部３５、および画像補正部３７は、マイクロプロセッサまたはＦＰＧＡで構成される。

カメラ３により撮影された現フレームの画像Ａは、画像保存部１１で保存されるとともに、特定領域オプティカルフロー算出部３３とマッチング部２３’へ送られる。画像保存部１１は、１フレーム前に撮影されて保存されている画像Ｂを、特定領域オプティカルフロー算出部３３へ出力する。

特定領域オプティカルフロー算出部３３は、入力された現フレーム画像Ａと過去フレーム画像Ｂとから、画像Ａの中心点のオプティカルフローをブロックマッチングを用いて算出する。すなわち、式（９）のＳＡＤを用いることで（ｕ，v）=(０，０)における（Δｕ_０、Δｖ_０）を算出する。この中心点のオプティカルフローは小数点第１位のサブピクセル単位で算出する。算出された特定領域オプティカルフロー（Δｕ_０、Δｖ_０）はカメラ運動パラメータ推定部３５へ出力される。

カメラ運動パラメータ推定部３５は、入力された特定領域オプティカルフロー（Δｕ_０、Δｖ_０）を基に、式（１３）および式（１４）を用いてカメラ運動パラメータωｘ、およびωｙを推定する。推定したカメラ運動パラメータωｘ、ωｙは画像補正部３７へ出力する。

画像補正部３７は、入力されたカメラ運動パラメータωｘ、ωｙを用いることで、オプティカルフロー算出時の消失点が画像中心に位置するように、過去フレームの画像Ｂを補正して補正画像Ｂ’を得る。補正方法は、式（１５）および式（１６）の演算を実施する。補正画像Ｂ’は画像拡大部２１’へ出力される。

画像拡大部２１’は補正画像Ｂ’を実施例１と同様に順に拡大して、補正拡大画像Ｂ’_ａ、Ｂ’_ｂ、…、Ｂ’_ｎを作成する。補正画像Ｂ’および各補正拡大画像Ｂ’_ａ、Ｂ’_ｂ、…、Ｂ’_ｎはマッチング部２３’へ出力される。

マッチング部２３’は、入力された現フレームの画像Ａと補正画像Ｂ’および各補正拡大画像Ｂ’_ａ、Ｂ’_ｂ、…、Ｂ’_ｎとを、実施例１と同様にブロックマッチングすることで、画像中心からのオプティカルフローを算出する。算出された画像中心からのオプティカルフローは、距離推定部１５へ出力される。距離推定部１５では、実施例１と同様の処理をすることで、撮影された画像中の各物体までの距離を推定することができる。

次に、実施例２における距離推定の動作を図１１を用いて説明する。図１１は実施例２に係る距離推定の処理手順を示すフローチャートである。

７．実施例２の距離推定方法
実施例２における距離推定方法は、実施例１の距離推定方法にカメラ運動パラメータを推定し、推定したカメラ運動パラメータに応じて過去フレームの画像を補正することが追加されている。すなわち、実施例１と同様にステップＳ０１において画像を撮影した後、特定領域オプティカルフロー算出部３３が現フレーム画像Ａと過去フレーム画像Ｂとから、画像Ａの特定領域である中心点のオプティカルフローをブロックマッチングを用いて算出する（ステップＳ２１）。算出された特定領域のオプティカルフローにより、カメラ運動パラメータ推定部３５は、カメラ運動パラメータωｘ、ωｙを推定する（ステップＳ２２）。

推定されたカメラ運動パラメータωｘ、ωｙを用いて、画像補正部３７は、消失点が画像中心に位置するように、過去フレームの画像Ｂを補正して補正画像Ｂ’を得る（ステップＳ２３）。次に、画像拡大部２１’は補正画像Ｂ’を実施例１と同様に順に拡大して、補正拡大画像Ｂ’_ａ、Ｂ’_ｂ、…、Ｂ’_ｎを作成する（ステップＳ０２’）。マッチング部２３’は、入力された現フレームの画像Ａと補正画像Ｂ’および各補正拡大画像Ｂ’_ａ、Ｂ’_ｂ、…、Ｂ’_ｎとを、実施例１と同様にブロックマッチングすることで、画像中心に位置する消失点からのオプティカルフローを算出する（ステップＳ０３’）。ステップＳ１１およびステップＳ０４について、実施例１と同様に処理することで、撮影された画像中の各物体までの距離を推定することができる。

このように、実施例２によれば、画像中心点を特定領域としてオプティカルフローを求めてカメラ運動パラメータを推定している。さらに、推定されたカメラ運動パラメータを基に、過去フレームの画像を補正することで、消失点を画像中心に位置することができる。これにより、車両１が走路状況に応じて走行することで、画像中心が消失点とならない場合においても、距離推定をすることができる。

すなわち、カメラ３が車両１の動きに伴って、ヨー方向およびピッチ方向に変動する場合にも、距離を推定することができる。これにより、走路状況に制限されることなく距離推定をすることができる。さらに、静止物体に限らず、例えば前方を走る車や人といった移動物体がある場合でも、安定的に距離推定が行える。

実施例３の特徴は、実施例２において、特定領域が画像中心点であったものを、特定領域として画像下端領域を用いる点が特徴である。その他の点においては実施例２と同様である。

特定領域として、画像下端中心点を用いる場合について説明する。画像下端中心点Ｐｅは、図１２に示すように、（ｕ，ｖ）＝（０，ｖ）であるので、式（１１）および式（１２）は、下式となる。

ここで、画像下端中心点Ｐｅは車両１の幅方向の中心点の前方下方であることから常に路面である場合が多いので、式（１８）における距離ｚが既知であることが多い。また、式（１８）の車速ｔｚはカメラ３が装備された車両１の車速センサ９から入力されたものとすると、式（１７）および式（１８）からカメラ運動パラメータのピッチ成分ωｘおよびヨー成分ωｙを推定することができる。

実施例３による距離推定装置は実施例２における距離推定装置３１の特定領域オプティカルフロー算出部３３が、特定領域を画像中心点としていたのを、画像下端中心点として、特定領域オプティカルフローを求める。また、実施例３におけるカメラ運動パラメータ推定部は、上記方法によりカメラ運動パラメータのピッチ成分ωｘおよびヨー成分ωｙを推定する。このように、実施例３によれば、画像下端中心点を特定領域としてオプティカルフローを求めてカメラ運動パラメータを推定している。さらに、推定されたカメラ運動パラメータを基に、過去フレームの画像を補正することで、消失点を画像中心に位置することができる。これにより、車両１が走路状況に応じて走行することで、画像中心が消失点とならない場合においても、距離推定をすることができる。

次に、カメラ運動パラメータの推定精度をさらに向上させた距離推定方法および距離推定装置を説明する。実施例４の特徴は、カメラ運動パラメータの推定を２つの方法により推定し、それらの推定結果を基にカメラ運動パラメータの推定精度を向上させる点である。

上記実施例２において、カメラ運動パラメータを、撮影した画像における特定領域のオプティカルフローから推定していたが、カメラ運動パラメータを検出するセンサを設けて、この検出値からも推定する。カメラ運動パラメータを検出するセンサとして、例えば、ジャイロセンサ、または、加速度センサ等が挙げられる。これらのセンサは、少なくともＸ軸方向およびＹ軸方向について検出できることが好ましい。これらのセンサは車両１に備えてもよいし、カメラ３に備えてもよい。

図１３を参照して説明する。図１３は実施例４における距離推定装置の構成を示すブロック図である。実施例４における距離推定装置３９は、実施例２における距離推定装置３１に、ジャイロセンサ４１、およびカメラ運動パラメータ補正部４３とを加えた構成である。

ジャイロセンサ４１は車両１に備えられており（図６参照）、車両１のＸ軸方向およびＹ軸方向の回転移動量ωｘ_２およびωｙ_２を検出する。ここで、車両１の回転移動量とカメラ３の回転移動量とは等しいものとする。車両１の回転移動量とカメラ３の回転移動量とが異なる場合には、ジャイロセンサ４１の検出値に補正をすることで、カメラ３の回転移動量を検出する。また、ジャイロセンサ４１を直接カメラ３に取り付けてもよいし、ジャイロセンサ４１に替えて加速度センサを取り付けてもよい。

カメラ運動パラメータ補正部４３は、実施例２の方法により特定領域オプティカルフローから推定されたカメラ運動パラメータωｘおよびωｙと、ジャイロセンサ４１により検出されたカメラ運動パラメータωｘ_２およびωｙ_２とを統合することで補正したカメラ運動パラメータを得ることができる。これにより、精度の高いカメラ運動パラメータを推定することができる。

ここでの統合とは、単に特定領域オプティカルフローから推定されたカメラ運動パラメータωｘおよびωｙと、ジャイロセンサ４１により検出されたカメラ運動パラメータωｘ_２およびωｙ_２との平均値を算出することでもよい。また、この他にも、カルマンフィルターを用いることで、複数のカメラ運動推定値の時系列データを用いることでもよい。補正されたカメラ運動パラメータは画像補正部３７に送られ、実施例２と同様の処理が実施される。

次に、実施例４における距離推定の動作を図１４を用いて説明する。図１４は実施例４に係る距離推定の処理手順を示すフローチャートである。

実施例４における距離推定方法は、実施例２の距離推定方法に、ジャイロセンサ４１により車両１またはカメラ３の回転運動を検出し、この検出値と撮影画像を基に推定されたカメラ運動パラメータとを統合することでカメラ運動パラメータを補正することが追加されている。

ステップＳ０１における現フレームの画像Ａの撮影のタイミングで、ジャイロセンサ４１により回転移動量ωｘ_２およびωｙ_２が検出される。検出された回転移動量ωｘ_２およびωｙ_２は、カメラ運動パラメータ補正部４３へ出力される。また、ステップＳ０１〜ステップ２２までは実施例２と同様である。

カメラ運動パラメータ補正部４３は、推定されたカメラ運動パラメータωｘおよびωｙと、ジャイロセンサ４１により検出された回転移動量ωｘ_２およびωｙ_２とを統合して、カメラ運動パラメータを補正する（ステップＳ３２）。次に、実施例２におけるステップＳ２３と同様に、補正されたカメラ運動パラメータωｘ’およびωｙ’を用いて、画像補正する。これ以降の、ステップＳ０２’〜ステップＳ０４も実施例２と同様に実施する。

実施例４によれば、カメラ運動パラメータを検出するセンサを用いて検出したカメラ運動パラメータと、特定領域のオプティカルフローから推定して得られたカメラ運動パラメータとの両方を用いるので、カメラ運動パラメータの精度を向上することができる。この結果、距離推定の精度を向上させることができる。

本発明は、上記実施例のものに限らず、次のように変形実施することができる。

（１）上記実施例２において、撮影画像を基にカメラ運動パラメータを推定していたが、これに限られない。すなわち、実施例４のように、ジャイロセンサ、または、加速度センサ等のセンサを用いて直接カメラ運動パラメータを検出してもよい。センサにより、カメラ運動パラメータωｘ、ωｙを直接検出することで、画像処理の演算負荷を軽減することができる。

（２）カメラ運動パラメータの検出方法として、変形例（１）のようにジャイロセンサ、または、加速度センサを用いて直接検出する替わりに、車両１の操舵角センサ４５（図７参照）によって得られた操舵角と、車両１の車速センサ９から得られた車速とを用いて検出してもよい。この方法によっても、カメラ運動パラメータωｘ、ωｙを検出することができ、画像処理の負担を軽減することができる。また、操舵角および車速に加えて、実施例４に記載されているように、特定領域のオプティカルフローから推定して得られたカメラ運動パラメータも用いて、カメラ運動パラメータを統合することで推定してもよい。

（３）上記実施例において、過去フレームの画像として１フレーム前の画像Ｂを用いて距離推定を実施していたが、１フレーム前の画像Ｂが撮影エラーにより保存されていない場合には、２フレーム前の画像を用いてもよいし、それより前のフレームの画像を用いてもよい。

（４）上記実施例において、実施例２における特定領域オプティカルフロー算出方法と実施例３における特定領域オプティカルフロー算出方法とを併用してもよい。図１５を参照する。図１５は実施例２の変形例における距離推定装置５１の構成を示すブロック図である。距離推定装置５１は、実施例２における距離推定装置３１に、第２特定領域オプティカルフロー算出部５３と、第２カメラ運動パラメータ推定部５５と、カメラ運動パラメータ選択部５７とを追加した構成である。

特定領域オプティカルフロー算出部３３は、実施例２で説明したように、特定領域を画像中心点としてオプティカルフローを算出する。これに対して、第２特定領域オプティカルフロー算出部は、実施例３で説明したように、特定領域を画像下端中心点としてオプティカルフローを算出する。第２カメラ運動パラメータ推定部５５は、画像下端中心点を特定領域として算出されたオプティカルフローを基に、カメラ運動パラメータを推定する。

このように、特定領域を画像中心点としたカメラ運動パラメータ推定と、特定領域を画像下端中心点としたカメラ運動パラメータ推定とを、独立して動作させておくことで、どちらかの領域に移動物体が入ったとしても、カメラ運動パラメータ選択部５７が最適なカメラ運動パラメータを選択することができる。また、カメラ運動パラメータの選択にはジャイロセンサ４１や加速度センサを用いて判別してもよい。

ここでの最適なカメラ運動パラメータの選択とは、独立した２つのカメラ運動パラメータ推定部から得られたカメラ運動パラメータが大きく乖離した場合に、１フレーム前のタイミングで算出された値に近い方を選択することでもよい。また、この他にも、ジャイロセンサ４１により検出されたカメラ運動パラメータを用いて、より値が近い方を最適なカメラ運動パラメータとして選択してもよい。

（５）上記実施例において、距離推定装置は車両１に備えられていたがこれに限られない。他にも、例えば、自律走行するロボット用のビジョンシステムや視覚障害者の支援システムなどに採用してもよい。

１ … 車両
３ … カメラ
５、３１、３９，５１ … 距離推定装置
９ … 車速センサ
１１ … 画像保存部
１３、１３’ … オプティカルフロー算出部
１５ … 距離推定部
２１、２１’ … 画像拡大部
２３、２３’ … マッチング部
３３ … 特定領域オプティカルフロー算出部
５３ … 第２特定領域オプティカルフロー算出部
３５ … カメラ運動パラメータ推定部
５５ …第２カメラ運動パラメータ推定部
３７… 画像補正部
４１… ジャイロセンサ
４３… カメラ運動パラメータ補正部
４５… 舵角センサ

Claims (11)

1. 移動体からの単眼モーションステレオ距離推定方法において、
   画像を撮影する撮影ステップと、
   時系列に撮影された複数の前記画像を基に画像中心からのオプティカルフローを算出するオプティカルフロー算出ステップと、
   前記移動体の速度を計測する速度計測ステップと、
   画像中心からの前記オプティカルフローと前記速度とから前記画像中の物体までの距離を推定する距離推定ステップと
   を備えた単眼モーションステレオ距離推定方法。
2. 請求項１に記載の単眼モーションステレオ距離推定方法において、
   画像を撮影する撮影部の移動量を推定する撮影部移動量推定ステップと、
   前記撮影部の前記移動量を基に、消失点が画像中心に位置するように前記画像を補正する画像補正ステップと
   を備え、
   前記オプティカルフロー算出ステップは、撮影された前記画像と補正された画像とから画像中心からの前記オプティカルフローを算出する
   単眼モーションステレオ距離推定方法。
3. 移動体に搭載される単眼モーションステレオ距離推定装置において、
   画像を撮影する撮影部と、
   撮影された画像を保存する画像保存部と、
   複数の前記画像を基に画像中心からのオプティカルフローを算出するオプティカルフロー算出部と、
   前記移動体の速度を計測する速度センサと、
   画像中心からの前記オプティカルフローと前記速度とから前記画像中の物体までの距離を推定する距離推定部と
   を備えた単眼モーションステレオ距離推定装置。
4. 請求項３に記載の単眼モーションステレオ距離推定装置において、
   前記撮影部の移動量を推定する撮影部移動量推定部と、
   前記撮影部の前記移動量を基に画像中心に消失点が位置するように前記画像を補正する画像補正部と
   を備え、
   前記オプティカルフロー算出部は、撮影された前記画像と補正された画像とから画像中心からの前記オプティカルフローを算出する
   単眼モーションステレオ距離推定装置。
5. 請求項４に記載の単眼モーションステレオ距離推定装置において、
   撮影された複数の前記画像における特定領域のオプティカルフローを算出する特定領域オプティカルフロー算出部を備え、
   前記撮影部移動量推定部は、特定領域の前記オプティカルフローから前記撮影部の前記移動量を推定する
   単眼モーションステレオ距離推定装置。
6. 請求項４に記載の単眼モーションステレオ距離推定装置において、
   撮影された複数の前記画像における特定領域のオプティカルフローを算出する特定領域オプティカルフロー算出部と、
   前記移動体または前記撮影部の動きを検出するセンサを備え、
   前記撮影部移動量推定部は、
   前記センサの検出値と、特定領域の前記オプティカルフローとから前記移動量を推定する
   単眼モーションステレオ距離推定装置。
7. 請求項４に記載の単眼モーションステレオ距離推定装置において、
   前記移動体または前記撮影部の動きを検出するセンサを備え、
   前記撮影部移動量推定部は、前記センサの検出値より前記撮影部の前記移動量を推定する
   単眼モーションステレオ距離推定装置。
8. 請求項５または６に記載の単眼モーションステレオ距離推定装置において、
   前記特定領域は、画像中心点である
   単眼モーションステレオ距離推定装置。
9. 請求項５または６に記載の単眼モーションステレオ距離推定装置において、
   前記特定領域は、画像下端中心点である
   単眼モーションステレオ距離推定装置。
10. 請求項６または７に記載の単眼モーションステレオ距離推定装置において、
    前記センサは、ジャイロセンサまたは加速度センサである
    単眼モーションステレオ距離推定装置。
11. 請求項６または７に記載の単眼モーションステレオ距離推定装置において、
    前記センサは前記移動体の操舵角を検出する操舵角センサであり、
    前記撮影部移動量推定部は、前記操舵角センサにより検出された前記操作舵角と、前記速度センサにより検出された前記速度と、特定領域の前記オプティカルフローとを基に前記撮影部移動量を推定する
    単眼モーションステレオ距離推定装置。

Images