JP2015068641A

JP2015068641A - ステレオ画像処理装置

Info

Publication number: JP2015068641A
Application number: JP2013199937A
Authority: JP
Inventors: 中川　亮; Akira Nakagawa; 亮中川
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2013-09-26
Filing date: 2013-09-26
Publication date: 2015-04-13
Anticipated expiration: 2033-09-26
Also published as: JP6141734B2

Abstract

【課題】自車両の移動中において、ステレオカメラの視差ずれを高い精度で補正することが出来るステレオ画像処理装置を提供する。【解決手段】視差補正部は、自車両に搭載されたステレオカメラで前方を撮影した一対の画像データに基づき測定地点Ａ，Ｂで２つの固定物２１，２２の間隔ＤＡＬ，ＤＢＬを求め、この間隔ＤＡＬ，ＤＢＬの差分を視差ずれと推定し、この視差ずれに基づいて学習補正値Ｋｘを算出する。位置補正部は学習補正値Ｋｘにて視差画素数ｘを学習補正し（ｘ−Ｋｘ）、学習補正した視差に基づき距離データを求める画像処理装置。【選択図】図４

Description

本発明は、移動体に搭載されている左右一対のカメラの視差ずれを推定して学習補正するステレオ画像処理装置に関する。

従来、三次元の距離情報を取得し、この情報に基づいて周囲環境や自己位置を認識する三次元計測装置が知られており、車両やヘリコプタ等の移動体に搭載されて実用化されている。この種の三次元計測装置は、左右一対のカメラ（ステレオカメラ）で撮影した同一対象物の一対の画像の相関を求め、同一物体に対する視差からステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いて三角測量の原理により対象物までの距離を算出するようにしている。

従って、ステレオマッチングの精度（信頼性の高い距離情報）を得るためには、視差以外の位置的なずれがステレオ画像に存在しないことが望ましい。しかし、実際には、取付け時にカメラをネジ締めすること等によりカメラに加わる物理的なストレスやカメラが搭載された装置の振動や熱による歪み等によりカメラの光軸がずれる等して、視差が経時的にずれてしまう場合がある。ステレオカメラに視差ずれが生じると、基準画像と比較画像との視差と物体の実際の距離とが正確に対応しなくなり、ステレオマッチング法による物体の三次元的な位置の割り出しの精度が低下して、対象物までの距離情報の信頼性が損なわれてしまう。

これに対処するに、例えば、特許文献１（特許第４８０３９２７号公報）では、路面に直線状に敷設されている連続線や破線等の左右一対の区画線の撮像画像に基づいて一対のカメラの各撮像画像中にそれぞれ消失点を算出し、一方の画像で算出した消失点と他方の画像の消失点とのずれ量に基づいて消失点視差を更新する技術が開示されている。

特許第４８０３９２７号公報

しかし、上述した文献に開示されている技術によれば、左右一対のカメラの前方に直線状に延在する一対の区画線等のような、消失点算出の際の基準となる一対の直線状の被写体が存在する環境でなければ消失点視差を更新することが出来ない。又、区画線を認識することのできない環境（雪道）においても消失点視差を更新することが出来ない。その結果、視差ずれを補正する機会が限定され、より高い精度で視差ずれを補正することが出来ない不都合がある。

本発明は、上記事情に鑑み、移動体の移動中において消失点算出の基準となる対象物が存在しない環境においても視差ずれを補正することができ、視差ずれを補正する機会が増加し、その結果、高い精度で視差ずれを補正することのできるステレオ画像処理装置を提供することを目的とする。

本発明によるステレオ画像処理装置は、移動体に搭載され、該移動体の前方を撮影する左右一対のカメラを有し、該各カメラで撮影した一対の画像データを出力するステレオ撮像手段と、前記一対の画像データにおける同一対象物の視差に基づいて該対象物までの距離データを算出するステレオ画像処理手段と、前記ステレオ画像処理手段において２つの異なる測定地点で求めた同一対象の２つの固定物の距離データに基づき、該各測定地点における前記２つの固定物間の間隔の差分を求め、該差分を前記左右一対のカメラの視差ずれと推定して該視差ずれに基づいて学習補正値を算出する視差補正手段と、前記視差補正手段で算出した前記学習補正値にて視差を学習補正し、学習補正した該視差に基づき前記距離データを補正する位置補正手段とを備える。

本発明によれば、２つの異なる測定地点で求めた同一対象の２つの固定物の距離データに基づき、各測定地点における２つの固定物間の間隔の差分を求め、該差分を前記左右一対のカメラの視差ずれと推定し、この視差ずれに基づいて視差を学習補正するようにしたので、移動体の移動中において消失点算出の基準となる対象物が存在しない環境においても視差ずれを補正することができる。又、視差ずれを補正する機会が増加するため、高い精度で視差ずれを学習補正することができる。

ステレオ画像処理装置の機能ブロック図視差補正処理部の機能ブロック図車載カメラで撮影した自車両前方の画像を示す説明図自車両前方の２つの固定物の算出方法を示す説明図２つの固定物までの距離と視差との関係を示す説明図視差と距離との関係を示す特性図２つの計測地点で求めた２つの固定物間の間隔の視差ずれを示す説明図

以下、図面に基づいて本発明の一実施形態を説明する。図１に示すように、本実施形態によるステレオ画像処理装置１は、自動車等の車両やヘリコプタ等の移動体に搭載されている。尚、以下においては、このステレオ画像処理装置１を、車両に搭載した場合を例示して説明する。

ステレオ画像処理装置１は、コンピュータを中心に構成されている画像処理部２を有し、この画像処理部２の入力側に、Ａ／Ｄコンバータ３，４を介してステレオ撮像手段としてのステレオカメラ５が接続されている。

ステレオカメラ５は、ＣＣＤやＣＭＯＳ等のイメージセンサを内蔵するメインカメラ５ａとサブカメラ５ｂとで構成されており、この両カメラ５ａ，５ｂは、それぞれ車室内の天井前方であって、車幅方向中央を挟んで左右に等間隔離れた位置に取り付けられ、車外の環境を異なる視点からステレオ撮像を行う。

メインカメラ５ａは、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ５ｂは、比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ５ａ，５ｂから出力された各アナログ画像は、Ａ／Ｄコンバータ３，４にてデジタル画像に変換されて、画像処理部２に送信される。

この画像処理部２は、画像補正部１１、ステレオ画像処理手段としてのステレオ画像処理部１２、視差補正処理部１３、距離データ記憶部１４、画像データ記憶部１５、画像認識部１６を備えている。

画像補正部１１は、画像データに対して輝度補正や画像の幾何学的な変換等を行う。通常、左右一対のカメラ５ａ，５ｂの取付位置に誤差があり、それに起因したずれが左右の画像に生じる。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換を行う。このような画像補正処理により、メインカメラ５ａから画像データに基づいて基準画像データが生成され、サブカメラ５ｂからの画像データに基づいて比較画像データが生成される。

この両画像データがステレオ画像処理部１２に送信される。ステレオ画像処理部１２は、基準画像データと比較画像データとに基づいて、１フレーム相当の撮像画像に関し、同一物体に対する視差Ｚから三角測量の原理を用いて対象物までの距離（距離データ）Ｄを、次の（１）式から算出する。

Ｄ＝ｆ・Ｌ／Ｚ…（１）
ここで、ｆは焦点距離、Ｌは左右カメラ５ａ，５ｂ間の距離である。尚、Ｄは焦点距離ｆの位置から対象物までの距離である。

視差Ｚは、同一対象物を撮影した基準画像データと比較画像データとの水平方向のずれ量であり、視差画素数ｘと画素ピッチＰとを乗算した値で求められる（Ｚ＝ｘ・Ｐ）。そして、この距離データを視差補正処理部１３に送信する。

図２に示すように、視差補正処理部１３は、視差補正手段としての視差補正部１３ａと位置補正手段としての位置補正部１３ｂとを備えている。

視差補正部１３ａは、自車両２０前方の２つの固定物を特定し、この各固定物を異なる計測地点で撮影し、２つの計測地点で固定物間の計測値の差分から視差ずれを推定し、この視差ずれに基づいて、当該視差ずれを補正する学習補正値Ｋｘを算出する。

例えば、図３に示すように、両カメラ５ａ，５ｂで撮影した自車両２０前方の画像から固定物として、奥側の信号機２１と、それよりも手前側に立設されている信号機２２を特定し、この２つの信号機２１，２２（以下、便宜的に奥側の信号機を第１信号機２１、手前側の信号機を第２信号機２２と称する）の間隔を、走行中の自車両２０の異なる計測地点で計測する。

すなわち、図４に示すように、先ず、任意の計測地点（以下、「第１計測地点」と称する）Ａにおいて、前方の２つの信号機２１，２２を認識し、自車両２０に搭載されているカメラ５ａ，５ｂの焦点距離ｆの位置から第１信号機２１及び第２信号機２２までの距離ＤＡ１，ＤＡ２を、上述した（１）式から算出する。そして、この両距離ＤＡ１，ＤＡ２から両信号機２１，２２の間隔ＤＡＬを算出する（ＤＡＬ＝ＤＡ１−ＤＡ２）。

その後、第１計測地点Ａを通過して所定移動後の計測地点（以下、「第２計測地点」と称する）Ｂにおいて、同一の信号機２１，２２と自車両２０に搭載されているカメラ５ａ，５ｂの焦点距離ｆの位置との距離ＤＢ１，ＤＢ２を、同じく（１）式から求め、この距離ＤＢ１，ＤＢ２から両信号機２１，２２の間隔ＤＢＬを算出する（ＤＢＬ＝ＤＢ１−ＤＢ２）。

この場合、第１信号機２１と第２信号機２２とは固定物であるため、視差ずれが無ければ両信号機２１，２２の間隔ＤＡＬ，ＤＢＬは同じ値を示す筈であるが、視差ずれが生じている場合には、異なる値となる。図６に視差と距離との関係を示す。同図に示すように、視差は近距離ほど大きくなり、遠距離ほど小さくなる。そして、無限遠では視差０に近づく反比例の関係にある。従って、図５に示すように、第１計測地点Ａでは、第２信号機２２の距離ＤＡ２を計測する際に検出した視差ＺＡ２が、第１信号機２１の距離ＤＡ１を計測する際に検出した視差ＺＡ１のよりも大きく、視差ずれの影響は第２信号機２２を検出した距離ＤＡ２の方が小さい。

又、同じ信号機２１，２２の距離を算出する場合、第１計測地点Ａよりも第２計測地点Ｂの方が対象物（信号機２１，２２）により近く、視差が大きいため、計測精度は高なる。従って、両信号機２１，２２の間隔は、第２計測地点Ｂで計測した間隔ＤＢＬの方がより真値に近い値となる。

そのため、本実施形態では、両間隔ＤＡＬ，ＤＢＬが相違している場合、第２計測地点Ｂで算出した間隔ＤＢＬを基準とし、間隔ＤＡＬとの差分ＤＢＬ−ＤＡＬ（本実施形態では、この値を「視差ずれ」と称する）で、視差ずれの影響が大きいと考えられる第１計測地点Ａで計測した第１信号機２１の視差ＺＡ１を補正する。その結果、図７に示すように、第１計測地点Ａの視差ずれＤＢＬ−ＤＡＬが補正され、本来の間隔（真値）に近づく値が算出される。

上述したように、視差Ｚ＝ｘ・Ｐであり、視差画素数ｘに視差ずれが現れる。本実施形態では、距離ＤＡ１を差ずれＤＢＬ−ＤＡＬで補正した際の視差画素数ｘ’と補正前の視差画素数ｘとの差分を学習補正値Ｋｘとして設定する。そして、この学習補正値Ｋｘを、次回以降の演算において、新たな学習補正値Ｋｘが算出されるまで保持する。

以下、視差補正部１３ａで算出する学習補正値Ｋｘの具体例を示す。この場合、ステレオカメラ５の諸元を、ｆ＝５[mm]、Ｌ＝３００[mm]、Ｐ＝０．００５[mm]とし、図４に示す第１計測地点Ａ，Ｂで計測した値を、ＤＡ１＝１０５[m]、ＤＡ２＝７０[m]、ＤＢ１＝５０[m]、ＤＢ２＝２０[m]とする。従って、ＤＢＬ＝３０[m]、ＤＡＬ＝３５[m]となる。

第１計測地点Ａでの距離ＤＡ１＝１０５[m]を求めた際の視差ＺＡ１は、（１）式から
１０５[m]＝５[m]・３００[mm]／ＺＡ１
で求められる。一方、距離ＤＡ１を視差ずれＤＢＬ−ＤＡＬ＝５[m]で補正すると、
１００[m]＝５[m]・３００[mm]／ＺＡ１’
となる。ここで、視差ＺＡ１＝ｘ・Ｐであり、補正後の画素数をｘ’とすると、視差ＺＡ１’＝ｘ’・Ｐで表される。

この場合、Ｐ＝０．００５[mm]であるため、視差ＺＡ１の視差画素数ｘは、ｘ＝約2.857142857となり、又、補正後の視差画素数ｘ’は、ｘ’＝３となる。

そして、視差画素数ｘ，ｘ’の差分ｘ−ｘ’を学習補正値Ｋｘ（＝-0.142857143）として登録し、以降の演算において、新たな学習補正値Ｋｘが算出されるまで、視差Ｚを算出する際の視差画素数ｘを学習補正値Ｋｘで順次、学習補正する（Ｚ＝(ｘ−Ｋｘ)・Ｐ）。

その結果、自車両２０の走行中において、２つの固定物の距離を異なる２つの計測地点から計測して、２つの固定物間の間隔の視差ずれを順次算出し、この視差ずれに基づいて視差を学習補正することで、従来のように消失点算出の基準となる対象物が存在しない環境においても、視差ずれを学習補正することができる。従って、視差ずれを学習補正する機会が増加し、学習補正精度が高くなり、精度の高い距離情報を得ることが出来る。

この学習補正値Ｋｘは、位置補正部１３ｂで読込まれる。位置補正部１３ｂは、ステレオ画像処理部１２で設定した視差Ｚを学習補正値Ｋｘで学習補正し（Ｚ＝(ｘ−Ｋｘ)・Ｐ）、学習補正後の視差Ｚに基づいて対象物の距離Ｄを求める。そして、視差Ｚを学習補正して求めた距離データ、及び、この距離データに対応する画像データを距離データ記憶部１４、画像データ記憶部１５にそれぞれ記憶させる。

画像認識部１６は、画像データ記憶部１５に記憶されている画像データを用いて対象物を認識し、距離データ記憶部１４に記憶されている距離データに基づいて、当該対象物の三次元的な位置を認識する。

この画像認識部１６で認識した対象物の三次元的な位置情報は、使用目的に応じて適宜読込まれる。例えば、ステレオ画像処理装置１が移動体としての自動車に搭載されている場合、自車両２０が走行する車線の左右を区画する区画線、先行車、信号機等の立体物等が認識すべき対象物となる。又、ステレオ画像処理装置１が移動体としての鉄道車両に搭載されている場合は、鉄道レール、通行車、通行人等が認識すべき対象物となる。更に、ステレオ画像処理装置１が、移動体としてのヘリコプタ等の飛行体に搭載されている場合は地表が認識すべき対象物になる。

このように、本実施形態によれば、自車両２０の走行中において、特定した２つの固定物間の間隔を異なる２つの計測地点で各々算出し、この間隔のずれを視差ずれと推定し、この視差ずれに基づいて視差を学習補正するようにしたので、従来技術のような消失点算出の基準となる対象物が不要となり、視差ずれを学習補正する機会が増加し、高い精度で視差を学習補正することができ、精度の高い三次元的位置情報を得ることが出来る。

尚、本発明は、上述した実施形態に限るものではなく、例えば、固定物は、移動体が自動車車両の場合、信号機等の立体物に限らず、進行方向に断続的に敷設されている破線区画線のエッジ部分であっても良い。又、移動体が鉄道車両の場合、信号機や線路の左右に立設する鉄柱であっても良い。更に、移動体が船艇、或いは飛行体の場合は陸地の鉄塔、建物等であっても良い。

１…ステレオ画像処理装置、
２…画像処理部、
５…ステレオカメラ、
５ａ…メインカメラ、
５ｂ…サブカメラ、
１１…画像補正部、
１２…ステレオ画像処理部、
１３…視差補正処理部、
１３ａ視差補正部、
１３ｂ位置補正部、
１４…距離データ記憶部、
１５…画像データ記憶部、
１６…画像認識部、
２０…自車両、
２１…第１信号機、
２２…第２信号機、
Ａ…第１計測地点、
Ｂ…第２測定地点、
Ｄ，ＤＡ１，ＤＡ２，ＤＢ１，ＤＢ２…距離、
ＤＡＬ，ＤＢＬ…間隔、
（ＤＢＬ−ＤＡＬ）…差分、
ｆ…焦点距離、
Ｋｘ…学習補正値、
Ｐ…画素ピッチ、
ｘ，ｘ’…視差画素数、
（ｘ−ｘ’）… 差分、
Ｚ，ＺＡ１，ＺＡ２…視差

Claims

移動体に搭載され、該移動体の前方を撮影する左右一対のカメラを有し、該各カメラで撮影した一対の画像データを出力するステレオ撮像手段と、
前記一対の画像データにおける同一対象物の視差に基づいて該対象物までの距離データを算出するステレオ画像処理手段と、
前記ステレオ画像処理手段において２つの異なる測定地点で求めた同一対象の２つの固定物の距離データに基づき、該各測定地点における前記２つの固定物間の間隔の差分を求め、該差分を前記左右一対のカメラの視差ずれと推定して該視差ずれに基づいて学習補正値を算出する視差補正手段と、
前記視差補正手段で算出した前記学習補正値にて視差を学習補正し、学習補正した該視差に基づき前記距離データを補正する位置補正手段と
を備えることを特徴とするステレオ画像処理装置。
前記視差は前記固定物を撮影した前記一対の画像データの水平方向の視差画素数と画素ピッチとを乗算した値であり、前記視差補正手段は前記視差画素数を前記学習補正値で補正して前記視差を学習補正する
ことを特徴とする請求項１記載のステレオ画像処理装置。
前記移動体は車両であり、前記視差補正手段は該車両前方の奥側と手前側にある前記２つの固定物を第１測定地点で撮影した際の該２つの固定物間の間隔と、該第１測定地点を通過して所定移動後の第２測定地点で撮影した該２つの固定物間の間隔との差分を前記左右一対のカメラの視差ずれと推定する
ことを特徴とする請求項２記載のステレオ画像処理装置。