JP2017219356A - ステレオカメラの設置パラメータ校正方法 - Google Patents

Abstract

【課題】ステレオカメラの設置パラメータを簡単に校正することのできるステレオカメラの設置パラメータ校正方法を提供する。【解決手段】ステレオカメラ１０の位置から所定の距離にマークＭが設けられた路面７０をステレオカメラ１０により撮像する一方で、ステレオカメラ１０の設置パラメータと所定の距離Ｌの値とを用いて、ステレオカメラ１０により撮像される画像の座標空間における縦軸方向の位置を算出し、求めた縦軸方向の位置と、ステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向の位置との差を算出して、各々の差を比較し、この比較結果をもとにステレオカメラ１０の設置パラメータを校正する。【選択図】図６

Description

本発明は、路面の高さなどの路面状態を検出する路面状態検出装置に用いられるステレオカメラの設置パラメータ校正方法に関する。

アクティブサスペンションシステムの制御方式として、車両前方の路面状況を検出してサスペンションの諸特性を適正に制御するプレビュー制御がある。車両前方の路面状況を検出する方法として、２台のカメラで撮像した車両前方の路面像の視差情報を用いるステレオ法が知られている。

このステレオ法を用いて路面の段差を検出する方式として、例えば、特許文献１には、路面をステレオ撮影した第１の画像と第２の画像とをＸＹ平面座標に投影し、該平面座標上に特定の座標（Ｘ、Ｙ）を中心とする検出領域を設定し、検出領域の画像が路面位置にある場合の視差ｖ１を算出し、第２の画像に視差ｖ１を差し引いた座標（Ｘ−ｖ１、Ｙ）を中心とする比較領域を設定し、検出領域の画像と比較領域の画像とを比較して、検出領域の路面からの高さを検出する技術が記載されている。この特許文献１では、路面の識別が困難である場合でも、路面からの段差の高低差を検出することができる、としている。

特開２０１４−８９５４８号公報

ステレオ画像を用いて路面の検出対象点までの距離および検出対象点の高さを算出する場合、ステレオカメラの設置高さおよび設置角度の各設置パラメータの精度が検出精度に大きく影響する。しかしながら、ステレオカメラの設置作業において、これらの設置パラメータの誤差が生じることを完全に防止することは困難である。また、振動や取り付け部品の経年的な劣化などによって、それらの設置パラメータが変化するおそれがある。このため、設置パラメータを容易にかつ精度良く校正する手段が求められている。

以上のような事情に鑑み、本発明は、ステレオカメラの設置パラメータを簡単に校正することのできるステレオカメラの設置パラメータ校正方法を提供することを目的とする。

上記目的を達成するため、本発明の一形態に係るステレオカメラの設置パラメータ校正方法は、
移動可能な物体に取り付けられ、前記物体が移動する先の路面の高さを検出するために前記路面を撮像するステレオカメラの設置パラメータ校正方法であって、
前記ステレオカメラの位置から所定の距離にマークが設けられた路面を前記ステレオカメラにより撮像し、
前記設置パラメータと前記所定の距離の値とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の位置を求め、
前記求めた縦軸方向の位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とを比較し、
前記比較結果をもとに前記設置パラメータを校正する。

また、上記のステレオカメラの設置パラメータ校正方法において、
前記縦軸方向の位置は、
前記ステレオカメラにより撮像される画像の座標空間において、予め決められた縦軸方向の複数の位置にそれぞれ対応する前記ステレオカメラからの距離を前記設置パラメータを用いてそれぞれ算出し、
前記算出された複数の距離の中で前記所定の距離に最も近い距離に対応する、前記座標空間における縦軸方向の位置を判定することによって求められ、
前記判定された位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とを比較し、
前記比較結果をもとに前記設置パラメータを校正するというものであってもよい。

また、上記のステレオカメラの設置パラメータ校正方法において、
前記判定された位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とが一致するように前記設置パラメータを校正することとしてもよい。

上記のステレオカメラの設置パラメータ校正方法において、
校正対象の前記設置パラメータが、前記ステレオカメラの設置高さと設置角度であり、
前記マークは、前記ステレオカメラの位置から所定の第１距離に設けられた第１マークと、前記ステレオカメラの位置から前記第１距離と異なる所定の第２距離に設けられた第２マークと、を備え、
前記設置パラメータと前記所定の第２距離とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の第１の位置を求め、
前記第１の位置と前記撮像された第２マークの像の前記座標空間における縦軸方向の位置とを比較して前記ステレオカメラの設置高さを更新し、
前記更新された設置高さを含む設置パラメータと前記所定の第１距離とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の第２の位置を求め、
前記第２の位置と前記撮像された第２マークの像の前記座標空間における縦軸方向の位置を比較して前記ステレオカメラの設置角度を更新することとしてもよい。

さらに、上記のステレオカメラの設置パラメータ校正方法において、
前記物体の移動中、前記路面に設けられた前記マークの位置から所定の距離手前の位置を前記物体が通過するタイミングで、前記マークが設けられた路面を前記ステレオカメラにより撮像することとしてよい。

本発明によれば、ステレオカメラの設置パラメータを簡単に校正することができる。

ステレオカメラと検出対象点を含む路面を上から示す図である。 ステレオカメラと検出対象点を含む路面を側方から示す図である。 本発明に係る一実施形態の路面変位検出装置の構成を示すブロック図である。 第１の校正方法によるステレオカメラと路面のマークとの位置関係を側方から示す図である。 マークＭが設けられた路面をステレオカメラにより撮像することによって得られた画像を示す図である。 ステレオカメラ１０の設置パラメータの第１の校正方法を説明するための図である。 第１の校正方法の手順を示すフローチャートである。 ステレオカメラ１０の設置パラメータの第２の校正方法を説明するための図である。 ステレオカメラの設置パラメータの第２の校正方法の手順を示すフローチャートである。 複数の校正用ラインとマークとの画像の座標空間における位置関係を示す図である。 ステレオカメラ１０の設置パラメータの第３の校正方法を説明するための図である。 ステレオカメラ１０の設置パラメータの第３の校正方法の手順を示すフローチャートである。 車両走行中に自動的にステレオカメラの設置パラメータを校正する場合にステレオカメラに正確な撮像タイミングを与える方法を説明するための図である。 同じくステレオカメラに正確な撮像タイミングを与える方法を説明するための図である。

以下、図面を参照しながら、本発明のステレオカメラの設置パラメータ校正方法に係る一実施形態を説明する。
［概要］
本実施形態は、ステレオ画像を用いて、車両前方の路面の検出対象点までの距離及び当該検出対象点の高さを検出する路面状態検出装置に用いられるステレオカメラの設置パラメータ校正方法に関するものである。

ステレオカメラは、複数例えば２つのカメラを有する。複数のカメラは各々、車両前方を撮像範囲とし、視差が生じ得るように互いに離間し、かつ各々の光軸が平行となるように配置される。

複数のカメラにより各々撮像された画像は演算処理回路によって処理される。演算処理回路は、各画像の対応点同士の視差情報を算出し、算出した視差情報とステレオカメラの設置パラメータをもとにステレオカメラから路面の検出対象点までの距離を算出し、算出された距離をもとに、路面の高さを算出する。

図１および図２はステレオカメラから路面上の検出対象点までの距離および高さの算出方法の説明図である。図１は各カメラと検出対象点を含む路面を上から示す図であり、図２は各カメラと検出対象点を含む路面を側方から示す図である。

図１において、路面の検出対象点Ｋは、図２に示すようにカメラ１０Ｒ、１０Ｌの光軸１１Ｒ、１１Ｌから角度θだけ下方に傾いた方向に見える。カメラ１０Ｒ、１０Ｌから検出対象点Ｋまでの距離Ｄは下記の式（１）により算出される。
Ｄ＝（ｄ・ｆ）／（ｘ１−ｘ２） ・・・（１）
ここで、ｄはカメラ間距離、ｆはレンズの焦点距離である。ｘ１−ｘ２は視差であり、ｘ１は一方のカメラ１０Ｒの画像における検出対象点Ｋの像のＸ座標の値、ｘ２は他方のカメラ１０Ｌの画像における検出対象点Ｋの像のＸ座標の値である。

カメラ１０Ｒ、１０Ｌの光軸１１Ｒ、１１Ｌの向きが水平である場合、カメラ１０Ｒ、１０Ｌから検出対象点Ｋまでの水平方向（Ｙ軸方向）の距離Ｌは、
Ｌ＝Ｄｃｏｓθ ・・・（２）
により算出される。
また、検出対象点Ｋの高さｈは、
ｈ＝Ｈ−Ｄｓｉｎθ ・・・（３）
により算出される。
ここで、Ｈは、カメラ１０Ｒ、１０Ｌの光軸１１Ｒ、１１Ｌの路面からの高さである。

このように、ステレオ法によって、ステレオカメラから路面上の検出対象点Ｋまでの距離Ｌと高さｈを算出することができる。

しかしながら、上記のステレオ法による距離Ｌおよび高さｈの検出精度は、ステレオカメラ１０の設置高さおよび設置角度の精度に依存する。ステレオカメラ１０の設置作業において、これらの設置パラメータの誤差を完全に排除することは困難である。また、振動や取り付け部品の経年的な劣化などによって、それらの設置パラメータが変化することもある。

そこで、本明細書では、ステレオカメラ１０の設置作業において、これらの設置パラメータの誤差を容易に校正することのできるステレオカメラ１０の設置パラメータ校正方法について説明する。

［本実施形態の路面状態検出装置の構成］
次に、本実施形態のステレオカメラの設置パラメータ校正方法が採用される路面状態検出装置の構成を説明する。

図３は本実施形態の路面状態検出装置１の構成を示すブロック図である。
同図に示すように、本実施形態の路面状態検出装置１は、ステレオカメラ１０と、演算処理回路２０と、メモリー３０とを備える。なお、メモリー３０は演算処理回路２０内に設けられていてもよい。

ステレオカメラ１０は、２つのカメラ１０Ａ、１０Ｂを有する。２つのカメラ１０Ａ、１０Ｂは、車両前方を撮像範囲とし、視差が生じるように互いに離間し、かつ各々の光軸が平行となるように配置される。

カメラ１０Ａ、１０Ｂは、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えて構成される。各々のカメラ１０Ａ、１０Ｂにより各々得られた撮像信号は演算処理回路２０に供給される。

演算処理回路２０は、メモリー３０を用いて視差算出および路面変位検出のための演算処理を行うデバイスであり、例えば、ＦＰＧＡ（Field-Programmable Gate Array）などにより構成される。これに限らず、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）などの、他の集積回路により構成されたものであってもよい。

演算処理回路２０は、機能的には、画像処理部２１と、路面変位算出部２２と、設置パラメータ校正部２３とを有する。
画像処理部２１は、ステレオカメラ１０より供給された２つの映像信号をデジタル化して画像とし、前処理として、各々の画像の歪み補正、各々の画像からのノイズ除去などのフィルタ処理などを行う。さらに、画像処理部２１は、前処理が施された一方の画像（カメラ１０Ａの画像）を基準画像、他方の画像（カメラ１０Ｂの画像）を参照画像として各々の画像の対応関係を探索して、２つの画像の視差情報を生成する。

路面変位算出部２２は、路面上の検出対象点の、ステレオカメラ１０からの距離Ｌおよび路面の高さｈを、画像処理部２１により求められた視差情報を用いて算出する。路面変位算出部２２は、算出した距離Ｌおよび高さｈの情報からサスペンションシステム６０のプレビュー制御のための路面変位情報を生成して、サスペンションシステム６０に供給する。

設置パラメータ校正部２３は、ステレオカメラ１０の設置パラメータを校正する処理を行う。

［設置パラメータの校正方法］
次に、本実施形態のステレオカメラ１０の設置パラメータを校正する方法を説明する。

まず、図４に示すように、路面７０の車線方向（Ｙ方向）においてステレオカメラ１０から所定の距離Ｌだけ離れた位置に車線方向（Ｙ方向）に対して直交する直線状のマークＭが設けられる。このマークＭは、例えば、レーザー変位計などを用いて、ステレオカメラ１０からの所定の距離Ｌにあたる位置を精度良く検出して設けられるべきである。

図５は、このマークＭが設けられた路面７０をステレオカメラ１０により撮像することによって得られた画像を示す図である。
水平な路面７０にマークＭが車線方向（画像の座標空間における縦軸方向（Ｙ軸方向））に対して直交する方向に真っ直ぐ設けられている場合、ステレオカメラ１０により撮像された画像の座標空間においてマークＭはＸ軸に平行な直線の像７１として得られる。

ここで、本明細書では、主に以下の３種類の校正方法について述べる。
１．ステレオカメラ１０の設置高さの誤差がなく、設置角度の誤差のみを校正する第１の校正方法
２．ステレオカメラ１０の設置高さの誤差がなく、設置角度の誤差のみを校正する第２の校正方法
３．ステレオカメラ１０の設置高さと設置角度の両方の誤差を校正する第３の校正方法

（第１の校正方法について）
ステレオカメラ１０の設置高さは、例えばレーザー距離計などを用いることによって精度良く測定することが可能である。このような手段により車体にステレオカメラ１０を目的の高さに精度良く設置できる場合には、ステレオカメラ１０の設置角度の誤差のみを校正すればよい。

図６は、ステレオカメラ１０の設置パラメータの第１の校正方法を説明するための図である。
図７は、第１の校正方法の手順を示すフローチャートである。
まず、演算処理回路２０（設置パラメータ校正部２３）は、ステレオカメラ１０の設置パラメータと所定の距離Ｌの値とを用いて、ステレオカメラ１０により撮像される画像の座標空間における縦軸方向の位置を次のようにして求める（ステップＳ１０１）。

演算処理回路２０は、まず、ステレオカメラ１０の設置高さＨとステレオカメラ１０からマークＭまでの距離Ｌとから式（４）により、ステレオカメラ１０の視点とマークＭとを結ぶ直線と水平線とがなす角度θ"を求める。
ｔａｎθ"＝Ｈ／Ｌ ・・・（４）

次に、演算処理回路２０は、ステレオカメラ１０の画角の下端の直線とステレオカメラ１０の視点とマークＭとを結ぶ直線とがなす角度θ'を式（５）により求める。
θ'＝θｖ／２−（θ"−θｃａｍｅｒａ）＝θｖ／２−θ"＋θｃａｍｅｒａ ・・・（５）
ここで、θｖはステレオカメラ１０の垂直方向の画角、θｃａｍｅｒａはステレオカメラ１０の設置角度である。設置角度θｃａｍｅｒａは、水平線１２に対するステレオカメラ１０の光軸１１の角度である。

次に、演算処理回路２０は、上記の角度θ'から画像の座標空間における縦軸方向における位置を求める。
ここで、ステレオカメラ１０により得られる画像の座標空間において縦軸方向の１画素あたりの仰角Δθは、
Δθ＝θｖ／Ｈ＿ｉｍａｇｅ ・・・（６）
であるから、縦軸方向における位置Ｐ（画像の下端からの画素位置）は、
Ｐ＝θ'／Δθ ・・・（７）
によって求められる。

この時点で求められる角度θ'に相当する画像の座標空間における縦軸方向における位置は、設置角度θｃａｍｅｒａのパラメータの値が校正前の値であるため、設置角度θｃａｍｅｒａの誤差分だけ、ステレオカメラ１０によって撮像された画像におけるマークＭの縦軸方向での位置に対する誤差を含んでいる。

次に、演算処理回路２０は、求めた縦軸方向の位置と、ステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向の位置との差を算出し（ステップＳ１０２）、有意な差がある場合には（ステップＳ１０３のＹＥＳ）、その差が小さくなるようにステレオカメラ１０の設置角度θｃａｍｅｒａを更新する（ステップＳ１０４）。例えば、求めたＹ座標の位置がマークＭよりも遠くの位置関係にある場合には、設置角度θｃａｍｅｒａを増大させ、逆に求めた縦軸方向の位置がマークＭの位置よりも手前にある場合には設置角度θｃａｍｅｒａを減少させる。このとき演算処理回路２０が、ステレオカメラ１０の設置角度θｃａｍｅｒａの増減量を、求めた縦軸方向の位置と、ステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向位置との差から一意に求めるようにしてもよい。

ステレオカメラ１０の設置角度θｃａｍｅｒａを更新した場合、演算処理回路２０が、更新された設置パラメータと所定の距離Ｌの値とを用いて、ステレオカメラ１０により撮像される画像の座標空間における縦軸方向の位置を再度求め、再度求めた縦軸方向の位置とステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向の位置との差の算出、さらにはステレオカメラ１０の設置角度θｃａｍｅｒａの更新を、同様に行う。以上の処理を繰り返し、求めた縦軸方向の位置とステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向の位置との差が零または最小となった時点の設置角度θｃａｍｅｒａを校正結果として決定する（ステップＳ１０５）。
以上で、第１の校正方法による設置角度θｃａｍｅｒａの校正が完了する。

（第２の校正方法について）
図８は、ステレオカメラ１０の設置パラメータの第２の校正方法を説明するための図である。
図９は、ステレオカメラ１０の設置パラメータの第２の校正方法の手順を示すフローチャートである。
演算処理回路２０（設置パラメータ校正部２３）は、ステレオカメラ１０の設置高さと校正前の設置角度の各設置パラメータの値を用いて、ステレオカメラ１０からマークＭまでの所定の距離Ｌと比較される複数の校正用ラインのステレオカメラ１０からの距離を各々算出する（ステップＳ２０１）。例えば、図１０に示すように、複数の校正用ライン７２Ａ、７２Ｂ、７２Ｃはそれぞれ、画像の座標空間における縦軸方向の位置として予め設定される。演算処理回路２０は、ステレオカメラ１０の設置高さと校正前の設置角度、さらには各々の校正用ラインの縦軸方向の位置とから、次のようにして、ステレオカメラ１０から校正用ライン７２Ａ、７２Ｂ、７２Ｃまでの距離を各々算出する。

図８に示すように、演算処理回路２０は、画像の下端からの画素数Ｈ＿ｐｉｘｅｌの位置（Ｙ座標の値）に対応する角度θ'を次式（８）により算出する。
θ'＝Δθ×Ｈ＿ｐｉｘｅｌ ・・・（８）

次に、演算処理回路２０は、ステレオカメラ１０から校正用ライン７２Ａまでの距離ＬＡを次式（９）により算出する。
ＬＡ＝ＤＡ×ｃｏｓθ" ・・・（９）
ここで、ＤＡはステレオカメラ１０の視点から校正用ライン７２Ａまでの直線距離である。また、θ"は、ステレオカメラ１０がθｃａｍｅｒａの角度で設置されているとき、ステレオカメラ１０の視点と例えば校正用ライン７２Ａとを結んだ直線と路面に対する平行線とがなす角度であり、上記式（５）により得られる。

このθ"の値を式（９）に代入することによってステレオカメラ１０から例えば校正用ライン７２Ａまでの距離ＬＡが算出される。なお、ステレオカメラ１０から、その他の校正用ライン７２Ｂ、７２Ｃまでの距離ＬＢ、ＬＣも同様に算出される。

次に、演算処理回路２０は、上記のようにして算出されたステレオカメラ１０から各校正用ライン７２Ａ、７２Ｂ、７２Ｃまでの距離ＬＡ、ＬＢ、ＬＣのなかで、ステレオカメラ１０からマークＭまでの所定の距離Ｌに最も近い校正用ラインを有効校正用ラインとして判定する（ステップＳ２０２）。この所定の距離Ｌは予め機器に設定しておいてもよいし、ユーザが実際のステレオカメラ１０とマークＭとの間を実測した距離Ｌを入力するようにしてもよい。図１０の例においては、校正用ライン７２Ａが有効校正用ラインとして判定される。なお、校正用ラインは、画像の座標空間におけるすべてのライン、あるいは画像の座標空間における特定の高さ範囲内のすべてのライン、あるいはＮ（Ｎは１以上の値）本置きの複数のラインであってもよい。

次に、演算処理回路２０は、画像の座標空間における有効校正用ラインの縦軸方向の位置と、ステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向の位置との差を算出し（ステップＳ２０３）、有意な差がある場合には（ステップＳ２０４のＹＥＳ）、その差が小さくなるようにステレオカメラ１０の設置角度θｃａｍｅｒａを更新する（ステップＳ２０５）。例えば、画像の座標空間において有効校正用ラインがマークＭよりも遠くの位置にある場合には、設置角度θｃａｍｅｒａを増大させ、逆に有効校正用ラインがマークＭよりも手前にある場合には設置角度θｃａｍｅｒａを減少させる。このとき演算処理回路２０が、ステレオカメラ１０の設置角度θｃａｍｅｒａの最適な増減量を、画像の座標空間における有効校正用ラインの縦軸方向の位置と、ステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向の位置との差から一意に求めるようにしてもよい。

ステレオカメラ１０の設置角度θｃａｍｅｒａを更新した場合、演算処理回路２０は、複数の校正用ライン７２Ａ、７２Ｂ、７２Ｃのそれぞれについて、ステレオカメラ１０からの距離ＬＡ、ＬＢ、ＬＣを再度算出し、有効校正用ラインの判定、画像の座標空間における有効校正用ラインの縦軸方向の位置とステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向の位置との差の算出、さらにはステレオカメラ１０の設置角度θｃａｍｅｒａの更新を同様に行う。以上の処理を繰り返し、画像の座標空間における有効校正用ラインの縦軸方向の位置と、ステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向の位置との差が零または最小となった時点の設置角度θｃａｍｅｒａを最適値として決定する（ステップＳ２０６）。
以上で、第２の校正方法による設置角度θｃａｍｅｒａの校正が完了する。

なお、２回目以後の処理リサイクルにおいて、校正用ラインについての距離の算出は、一回目の処理リサイクルで判定された有効校正用ラインについてのみ、画像の座標空間における有効校正用ラインの縦軸方向の位置と、ステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向の位置との差を算出するようにしてもよい。

（第３の校正方法について）
次に、ステレオカメラ１０の設置高さＨと設置角度θｃａｍｅｒａの両方を校正対象とする第３の校正方法について説明する。
この第３の校正方法では、例えば、図１１に示すように、路面７０に車線方向において互いに離間して複数のマークＭ１、Ｍ２が設けられる。以下、マークＭ１を「第１マークＭ１」、マークＭ２を「第２マークＭ２」と呼ぶ。これら第１マークＭ１および第２マークＭ２は、例えば、レーザー変位計などを用いて、ステレオカメラ１０からの所定の距離Ｌ１、Ｌ２にあたる位置を精度良く検出して設けられる。この例では、Ｌ１＞Ｌ２とする。

図１２は、ステレオカメラ１０の設置パラメータの第３の校正方法の手順を示すフローチャートである。
まず、演算処理回路２０は、ステレオカメラ１０の設置パラメータ（設置高さＨおよび設置角度θｃａｍｅｒａ）と距離Ｌ２の値から、ステレオカメラ１０により撮像される画像の座標空間における縦軸方向の位置を算出する（ステップＳ３０１）。この処理は、上記（４）式から（７）式により行われる。

次に、演算処理回路２０は、求めた縦軸方向の位置と、ステレオカメラ１０によって撮像された画像の座標空間における第２マークＭ２の像の縦軸方向の位置との差を算出し（ステップＳ３０２）、有意な差がある場合には（ステップＳ３０３のＹＥＳ）、その差が０または最小となるようにステレオカメラ１０の設置高さＨを更新し（ステップＳ３０４）、ステップＳ３０５に移行する。有意な差がない場合には（ステップＳ３０３のＮＯ）、設置高さＨを更新せずにステップＳ３０５に移行する。

ステップＳ３０５において、演算処理回路２０は、ステレオカメラ１０の設置パラメータと距離Ｌ１の値から、ステレオカメラ１０により撮像される画像の座標空間における縦軸方向の位置を算出する（ステップＳ３０５）。この処理は、上記（４）式から（７）式により行われる。

次に、演算処理回路２０は、求めた縦軸方向の位置と、ステレオカメラ１０によって撮像された画像の座標空間における第１マークＭ１の像の縦軸方向の位置との差を算出し（ステップＳ３０６）、有意な差がなければ（ステップＳ３０７のＮＯ）、現在のステレオカメラ１０の設置パラメータを校正結果として決定する（ステップＳ３１０）。有意な差がある場合には（ステップＳ３０７のＹＥＳ）、その差が０または最小となるようにステレオカメラ１０の設置角度θｃａｍｅｒａを更新する（ステップＳ３０８）。

ステレオカメラ１０の設置角度θｃａｍｅｒａを更新した場合、現在の設置高さＨを再評価するために、演算処理回路２０は、ステップＳ３０１に戻り、ステップＳ３０３で有意な差がなければ（ステップＳ３０３のＮＯ）、ステップＳ３０９で設置角度θｃａｍｅｒａの更新が完了しているかどうかを判断し、設置角度θｃａｍｅｒａの更新が完了してならば現在のステレオカメラ１０の設置パラメータを校正結果として決定する（ステップＳ３１０）。

また、有意な差がある場合には（ステップＳ３０３のＹＥＳ）、その差が０または最小となるようにステレオカメラ１０の設置高さＨをステップＳ３０４で再度更新する。ステレオカメラ１０の設置高さＨを再更新した場合には、演算処理回路２０は、現在の設置角度θｃａｍｅｒａを再評価するために、ステップＳ３０５に移動し、以降の動作が繰り返される。

以上のように、第３の校正方法では、第２のマークＭ２を用いたステレオカメラ１０の設置高さＨの調整と、第１のマークＭ１を用いたステレオカメラ１０の設置角度θｃａｍｅｒａの調整とが交互に繰り返し行われることによって設置パラメータの校正が行われる。

なお、第３の校正方法では、第１のマークＭ１をステレオカメラ１０の設置高さＨの調整に用い、第２のマークＭ２をステレオカメラ１０の設置角度θｃａｍｅｒａの調整に用いてもよい。

（設置角度、設置高さの変更方法について）
ステレオカメラ１０の設置角度θｃａｍｅｒａの変更は、例えば、ステレオカメラ１０の撮像素子から像を読み出す位置を縦軸方向に全体的にシフトすることによって行うことができる。この場合には、ステレオカメラ１０の撮像素子の縦軸方向の全体画素数は像が読み出される縦軸方向の画素数よりも大きい必要がある。また、ステレオカメラ１０の設置角度θｃａｍｅｒａの変更は、ステレオカメラ１０の光軸１１の向きをカメラアクチュエータ８０によりメカニカルに変更することによって行われてもよい。

ステレオカメラ１０の設置高さＨの変更は、ステレオカメラ１０の鏡筒を垂直方向にカメラアクチュエータ８０によりメカニカルに移動させることなどによって行うことが可能である。

［応用例］
次に、上記の各実施形態の応用例を説明する。
ステレオカメラ１０は車体に取付金具を用いて取り付けられるため、取付金具の経年劣化やビス孔のガタなどにより走行時に受ける振動によりステレオカメラ１０の設置高さや設置角度などの設置パラメータが変動する可能性がある。車両の点検の際に設置パラメータの校正を上記の実施形態の方法により行うことによって、最低限の保守を行うことは可能であるが、より高頻度に設置パラメータを校正できることが望まれる。

そこで、公道などを車両が走行中に自動的にステレオカメラ１０の設置パラメータを校正することのできるシステムが考えられる。この場合、公道などの路面にマークＭが設けられ、このマークＭより手前の所定の距離Ｌの位置を車両のステレオカメラ１０が通過するタイミングで、ステレオカメラ１０による路面の撮像が行われればよい。

図１３Ａおよび図１３Ｂは、公道などを車両が走行中に自動的にステレオカメラ１０の設置パラメータを校正する場合に、ステレオカメラ１０に正確な撮像タイミングを与えるための構成を示す図である。
ステレオカメラ１０の撮像タイミングを正確に与えるために、光センサー、カメラなどの車両検知器１１０、１１０が用いられる。車両検知器１１０、１１０を車線方向において異なる位置に複数機設けることによって、各車両検知器１１０、１１０の間の車両Ｃの通過速度と通過タイミングを検出し、通過速度および信号の送受信などを含む諸々の処理による遅延時間を考慮して、マークＭより手前の所定の距離Ｌの位置でステレオカメラ１０による撮像が行われるようにする。

このような車両検知器１１０、１１０およびマークＭを、車線方向に連続して、複数のセット配置することによって、設置パラメータの上記第１の校正方法または第２の校正方法による校正処理を行うことができる。

なお、マークＭより手前の所定の距離Ｌの位置を車両のステレオカメラ１０が通過するタイミングを生成する方法としては、車両検知器１１０、１１０を用いる方法の他、マークＭより手前の所定の距離Ｌの位置よりもさらに手前の位置に、車両通過タイミングの生成のための複数のマークを車線方向において互いに離間して設けておき、車両に設けられた光センサー、カメラなどの検出器でこれらを検出して行うことも可能である。

また、本応用例は、上記第３の校正方法にも応用することが可能である。

本発明は、路面を走行する車両に適用されるだけでなく、室内の床面を移動する各種運搬用の機器やロボットなどにも適用することが可能である。

１…路面状態検出装置
１０…ステレオカメラ
２０…演算処理回路
２１…画像処理部
２２…路面変位算出部
２３…設置パラメータ校正部
３０…メモリー
６０…サスペンションシステム

Claims (6)

1. 移動可能な物体に取り付けられ、前記物体が移動する先の路面の高さを検出するために前記路面を撮像するステレオカメラの設置パラメータ校正方法であって、
   前記ステレオカメラの位置から所定の距離にマークが設けられた路面を前記ステレオカメラにより撮像し、
   前記設置パラメータと前記所定の距離の値とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の位置を求め、
   前記求めた縦軸方向の位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とを比較し、
   前記比較結果をもとに前記設置パラメータを校正する
   ステレオカメラの設置パラメータ校正方法。
2. 請求項１に記載のステレオカメラの設置パラメータ校正方法であって、
   前記縦軸方向の位置は、
   前記ステレオカメラにより撮像される画像の座標空間において、予め決められた縦軸方向の複数の位置にそれぞれ対応する前記ステレオカメラからの距離を前記設置パラメータを用いてそれぞれ算出し、
   前記算出された複数の距離の中で前記所定の距離に最も近い距離に対応する、前記座標空間における縦軸方向の位置を判定することによって求められ、
   前記判定された位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とを比較し、
   前記比較結果をもとに前記設置パラメータを校正する
   ステレオカメラの設置パラメータ校正方法。
3. 請求項２に記載のステレオカメラの設置パラメータ校正方法であって、
   前記判定された位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とが一致するように前記設置パラメータを校正する
   ステレオカメラの設置パラメータ校正方法。
4. 請求項１から３のいずれか１項に記載のステレオカメラの設置パラメータ校正方法であって、
   前記設置パラメータが、前記ステレオカメラの設置高さと設置角度であり、校正対象の前記設置パラメータが前記設置高さと設置角度のうち少なくとも一方である
   ステレオカメラの設置パラメータ校正方法。
5. 請求項１から３のいずれか１項に記載の記載のステレオカメラの設置パラメータ校正方法であって、
   校正対象の前記設置パラメータが、前記ステレオカメラの設置高さと設置角度であり、
   前記マークは、前記ステレオカメラの位置から所定の第１距離に設けられた第１マークと、前記ステレオカメラの位置から前記第１距離と異なる所定の第２距離に設けられた第２マークと、を備え、
   前記設置パラメータと前記所定の第２距離とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の第１の位置を求め、
   前記第１の位置と前記撮像された第２マークの像の前記座標空間における縦軸方向の位置とを比較して前記ステレオカメラの設置高さを更新し、
   前記更新された設置高さを含む設置パラメータと前記所定の第１距離とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の第２の位置を求め、
   前記第２の位置と前記撮像された第２マークの像の前記座標空間における縦軸方向の位置を比較して前記ステレオカメラの設置角度を更新する
   ステレオカメラの設置パラメータ校正方法。
6. 請求項１ないし５のいずれか１項に記載のステレオカメラの設置パラメータ校正方法であって、
   前記物体の移動中、前記路面に設けられた前記マークの位置から所定の距離手前の位置を前記物体が通過するタイミングで、前記マークが設けられた路面を前記ステレオカメラにより撮像する
   ステレオカメラの設置パラメータ校正方法。

Images