JP2021056180A - 画像処理装置 - Google Patents

Abstract

【課題】視差画像の精度を高めることができる路面検出装置を提供する。【解決手段】本開示の一実施の形態に係る画像処理装置は、ステレオ画像に含まれる第１の左画像および第１の右画像を回転させる回転処理を行うことにより第２の左画像および第２の右画像を生成する回転処理部と、第２の左画像および第２の右画像に基づいて、互いに対応する、第２の左画像における左画像点および第２の右画像における右画像点を算出することにより、視差画像を生成する視差画像生成部と、第２の左画像における左画像点の位置である第１の位置、および第２の右画像における右画像点の位置である第２の位置の間の、左右方向の第１の位置差および上下方向の第２の位置差の関係を示す座標点を求め、座標点に基づいて、回転処理における回転角度の角度変化量を算出する回転制御部とを備える。【選択図】図１

Description

本開示は、ステレオ画像に基づいて視差画像を得る画像処理装置に関する。

自動車等の車両には、ステレオカメラにより得られたステレオ画像に基づいて、視差についての情報を含む視差画像を生成するものがある。例えば、特許文献１には、単眼モーションステレオを利用して左右の画像センサ間の位置ずれ量を算出し、その位置ずれ量に基づいて撮像画像を補正することにより、視差画像を生成する距離推定装置が開示されている。

特開２０１５−１７５６３５号公報

画像処理装置では、視差画像の精度が高いことが望まれており、さらなる精度の向上が期待されている。

視差画像の精度を高めることができる画像処理装置を提供することが望ましい。

本開示の一実施の形態に係る画像処理装置は、回転処理部と、視差画像生成部と、回転制御部とを備えている。回転処理部は、ステレオ画像に含まれる第１の左画像および第１の右画像を回転させる回転処理を行うことにより第２の左画像および第２の右画像を生成するように構成される。視差画像生成部は、第２の左画像および第２の右画像に基づいて、互いに対応する、第２の左画像における左画像点および第２の右画像における右画像点を算出することにより、視差画像を生成するように構成される。回転制御部は、第２の左画像における左画像点の位置である第１の位置、および第２の右画像における右画像点の位置である第２の位置の間の、左右方向の第１の位置差および上下方向の第２の位置差の関係を示す座標点を求め、座標点に基づいて、回転処理における回転角度の角度変化量を算出するように構成される。

本開示の一実施の形態に係る画像処理装置によれば、視差画像の精度を高めることができる。

本開示の一実施の形態に係る画像処理装置の一構成例を表すブロック図である。 図１に示したステレオカメラが生成した左画像および右画像の一例を表す説明図である。 図１に示したステレオカメラが生成した左画像および右画像の他の例を表す説明図である。 図１に示した回転処理部の一動作例を表す説明図である。 図１に示した対応点算出部が算出した対応点に係る左画像点および右画像点の一例を表す説明図である。 図１に示した回転制御部の一動作例を表すフローチャートである。 図１に示した回転制御部の一動作例を表す説明図である。 図１に示した回転制御部の一動作例を表す他の説明図である。

以下、本開示の実施の形態について、図面を参照して詳細に説明する。

＜実施の形態＞
［構成例］
図１は、一実施の形態に係る画像処理装置（画像処理装置１）の一構成例を表すものである。画像処理装置１は、ステレオカメラ１１と、処理部２０とを有している。画像処理装置１は、自動車等の車両１０に搭載される。

ステレオカメラ１１は、車両１０の前方を撮像することにより、互いに視差を有する一組の画像（左画像ＰＬおよび右画像ＰＲ）を生成するように構成される。ステレオカメラ１１は、左カメラ１１Ｌと、右カメラ１１Ｒとを有する。左カメラ１１Ｌおよび右カメラ１１Ｒのそれぞれは、レンズとイメージセンサとを含んでいる。左カメラ１１Ｌおよび右カメラ１１Ｒは、この例では、車両１０の車両内において、車両１０のフロントガラスの上部近傍に、車両１０の幅方向に所定距離だけ離間して配置される。左カメラ１１Ｌおよび右カメラ１１Ｒは、互いに同期して撮像動作を行う。左カメラ１１Ｌは左画像ＰＬを生成し、右カメラ１１Ｒは右画像ＰＲを生成する。左画像ＰＬおよび右画像ＰＲは、ステレオ画像ＰＩＣを構成する。ステレオカメラ１１は、所定のフレームレート（例えば６０［ｆｐｓ］）で撮像動作を行うことにより、一連のステレオ画像ＰＩＣを生成するようになっている。

図２は、ステレオ画像ＰＩＣの一例を表すものであり、図２（Ａ）は左画像ＰＬの一例を示し、図２（Ｂ）は右画像ＰＲの一例を示す。この例では、車両１０が走行している道路における車両１０の前方に、他車両（先行車両９０）が走行している。左カメラ１１Ｌがこの先行車両９０を撮像することにより左画像ＰＬを生成し、右カメラ１１Ｒがこの先行車両９０を撮像することにより右画像ＰＲを生成する。ステレオカメラ１１は、このような左画像ＰＬおよび右画像ＰＲを含むステレオ画像ＰＩＣを生成するようになっている。

処理部２０は、ステレオカメラ１１から供給されたステレオ画像ＰＩＣに基づいて、車両１０の前方の物体を認識するように構成される。車両１０では、例えば、処理部２０が認識した物体についての情報に基づいて、例えば、車両１０の走行制御を行い、あるいは、認識した物体についての情報をコンソールモニタに表示することができるようになっている。処理部２０は、例えば、プログラムを実行するＣＰＵ（Central Processing Unit）、処理データを一時的に記憶するＲＡＭ（Random Access Memory）、プログラムを記憶するＲＯＭ（Read Only Memory）などにより構成される。処理部２０は、回転処理部２１と、視差画像生成部２２と、回転制御部２４と、物体認識部２７とを有している。

回転処理部２１は、回転制御部２４から供給された回転制御データＣＴＬに基づいて、ステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲを回転させる回転処理を行うことにより、左画像ＰＬ１および右画像ＰＲ１を生成するように構成される。

すなわち、処理部２０では、後述するように、視差画像生成部２２が、左画像ＰＬ（左画像ＰＬ１）および右画像ＰＲ（右画像ＰＲ１）に基づいて対応点を検出することにより、視差画像ＰＤを生成する。このように、視差画像生成部２２が視差画像ＰＤを生成する際、図２に示したように、左画像ＰＬおよび右画像ＰＲにおける先行車両９０の画像の上下方向の位置が、ほぼ等しいことが望まれる。しかしながら、ステレオカメラ１１では、左カメラ１１Ｌおよび右カメラ１１Ｒが、例えば高さ方向において相対的にずれて配置される場合があり得る。

図３は、左カメラ１１Ｌの位置が、右カメラ１１Ｒの位置よりも低い位置に配置された場合における、ステレオ画像ＰＩＣの例を表すものであり、図３（Ａ）は左画像ＰＬの一例を示し、図３（Ｂ）は右画像ＰＲの一例を示す。このように、左カメラ１１Ｌの位置が、右カメラ１１Ｒの位置よりも低い位置に配置されている場合には、図３に示したように、左画像ＰＬにおける先行車両９０の画像の位置は、右画像ＰＲにおける先行車両９０の画像の位置よりも上になる。一方、左カメラ１１Ｌの位置が、右カメラ１１Ｒの位置よりも高い位置に配置されている場合には、図３の場合とは反対に、左画像ＰＬにおける先行車両９０の画像の位置は、右画像ＰＲにおける先行車両９０の画像の位置よりも下になる。このように、左カメラ１１Ｌおよび右カメラ１１Ｒが、高さ方向において相対的にずれて配置された場合には、左画像ＰＬおよび右画像ＰＲにおける、先行車両９０の画像の上下方向の位置もまた、互いにずれてしまう。

このように、左画像ＰＬおよび右画像ＰＲにおける、先行車両９０の画像の上下方向の位置がずれる場合には、視差画像生成部２２は、左画像ＰＬおよび右画像ＰＲに基づいて、先行車両９０に係る対応点を検出できず、その結果、視差画像ＰＤの精度が低下するおそれがある。そこで、画像処理装置１では、回転処理部２１は、回転制御データＣＴＬに基づいて、左画像ＰＬおよび右画像ＰＲを、同じ回転方向に同じ回転角度θだけ回転させることにより、左画像ＰＬ１および右画像ＰＲ１を生成する。そして、視差画像生成部２２は、この左画像ＰＬ１および右画像ＰＲ１に基づいて対応点を検出する。

図４（Ａ）は、回転処理部２１が生成した左画像ＰＬ１を表すものであり、図４（Ｂ）は、回転処理部２１が生成した右画像ＰＲ１を表すものである。この例では、図３に示したように、左画像ＰＬにおける先行車両９０の画像の位置は、右画像ＰＲにおける先行車両９０の画像の位置よりも上である。この場合には、回転処理部２１は、図４に示したように、左画像ＰＬおよび右画像ＰＲを、時計周りに回転角度θだけ回転させることにより左画像ＰＬ１および右画像ＰＲ１を生成する。このように回転処理部２１が回転処理を行うことにより、左画像ＰＬ１および右画像ＰＲ１における、先行車両９０の画像の上下方向（Ｙ方向）の位置をほぼ同じにすることができる。なお、例えば、図３の場合とは反対に、左画像ＰＬにおける先行車両９０の画像の位置が、右画像ＰＲにおける先行車両９０の画像の位置よりも下である場合には、回転処理部２１は、左画像ＰＬおよび右画像ＰＲを、反時計周りに回転させることにより、左画像ＰＬ１および右画像ＰＲ１における、先行車両９０の画像の上下方向（Ｙ方向）の位置をほぼ同じにすることができる。これにより、視差画像生成部２２は、左画像ＰＬ１および右画像ＰＲ１に基づいて対応点を検出することができ、その検出結果に基づいて視差画像ＰＤを生成することができるようになっている。

視差画像生成部２２（図１）は、回転処理部２１により生成された左画像ＰＬ１および右画像ＰＲ１に基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、視差画像ＰＤを生成するように構成される。視差画像ＰＤは、複数の画素値を有している。複数の画素値のそれぞれは、各画素における視差についての値を示している。言い換えれば、複数の画素値のそれぞれは、３次元の実空間における、各画素に対応する点までの距離に対応している。

視差画像生成部２２は、対応点算出部２３を有している。対応点算出部２３は、左画像ＰＬ１および右画像ＰＲ１に基づいて、区分された複数のサブ領域Ｓのそれぞれを単位としてマッチング処理を行うことにより、互いに対応する２つの画像点を含む対応点ＣＰを特定するように構成される。具体的には、対応点算出部２３は、左画像ＰＬ１における複数のサブ領域ＳＬ、および右画像ＰＲにおける複数のサブ領域ＳＲのうち、同様の画像パターンを有するサブ領域ＳＬ，ＳＲを探索することにより、互いに対応する左画像点ＣＰＬおよび右画像点ＣＰＲを対応点ＣＰとして特定するようになっている。対応点算出部２３は、例えばテンプレートマッチングにより対応点ＣＰを特定してもよいし、局所特徴量に基づく特徴量マッチングにより対応点ＣＰを特定してもよい。

図５は、１つの対応点ＣＰを構成する左画像点ＣＰＬおよび右画像点ＣＰＲの一例を表すものである。この図５では、左画像ＰＬ１における左画像点ＣＰＬ、および右画像ＰＲ１における右画像点ＣＰＲを重ねて描いている。この例では、図３に示したように、左画像ＰＬにおける先行車両９０の画像の位置は、右画像ＰＲにおける先行車両９０の画像の位置よりも上である。また、回転角度θは０度であり、適切な角度に設定されていない。よって、左画像ＰＬ１における左画像点ＣＰＬの座標位置と、右画像ＰＲ１における右画像点ＣＰＲの座標位置は、互いにずれている。具体的には、この例では、左画像点ＣＰＬの座標位置は、右画像点ＣＰＲの座標位置を基準として、Ｘ方向において座標差ΔＸだけずれ、Ｙ方向に座標差ΔＹだけずれている。

座標差ΔＸは、例えば、左画像ＰＬ１および右画像ＰＲ１における視差に対応する。すなわち、対応点ＣＰに係る被写体までの距離が近い場合には、座標差ΔＸは大きくなり、被写体までの距離が遠い場合には、座標差ΔＸは小さくなる。

座標差ΔＹは、左画像ＰＬ１および右画像ＰＲ１における、対応点ＣＰに係る被写体の画像の上下方向（Ｙ方向）の位置の差に対応する。この例では、図３に示したように、左画像ＰＬにおける被写体の画像の位置が右画像ＰＲにおける被写体の画像の位置よりも上であるので、座標差ΔＹは正であるが、例えば、図３の場合とは反対に、左画像ＰＬにおける被写体の画像の位置が右画像ＰＲにおける被写体の画像の位置よりも下である場合には、座標差ΔＹは負である。また、回転角度θが適切な角度に設定されていない場合には、被写体までの距離が近いほど、座標差ΔＹの絶対値は大きくなり、被写体までの距離が遠いほど、座標差ΔＹの絶対値は小さくなる。

回転制御部２４は、対応点算出部２３が算出した対応点ＣＰについてのデータに基づいて、回転処理部２１の回転処理における回転角度θを算出することにより、回転処理部２１に対して回転処理を指示する回転制御データＣＴＬを生成するように構成される。回転制御部２４は、近似直線算出部２５と、回転角度算出部２６とを有している。

近似直線算出部２５は、対応点ＣＰについてのデータに基づいて、左画像ＰＬ１における左画像点ＣＰＬの座標位置と、右画像ＰＲ１における右画像点ＣＰＲとの間の、左右方向（Ｘ方向）の座標差ΔＸおよび上下方向（Ｙ方向）の座標差ΔＹの関係を示す座標点Ｐを求め、その座標点Ｐに基づいて、座標点Ｐについての近似直線ＬＩＮを算出するように構成される。

回転角度算出部２６は、近似直線算出部２５が算出した近似直線ＬＩＮに基づいて、現在の回転角度θからの角度変化量Δθを算出し、現在の回転角度θに角度変化量Δθを加算することにより回転角度θを算出するように構成される。そして、回転角度算出部２６は、算出した回転角度θについてのデータを含む回転制御データＣＴＬを生成するようになっている。

物体認識部２７は、左画像ＰＬ１および右画像ＰＲ１と、視差画像生成部２２により生成された視差画像ＰＤとに基づいて、車両１０の前方の物体を認識するように構成される。そして、物体認識部２７は、その認識結果についてのデータを出力するようになっている。

この構成により、画像処理装置１では、回転処理部２１が、回転制御データＣＴＬに基づいて、左画像ＰＬおよび右画像ＰＲを回転させる回転処理を行うことにより、左画像ＰＬ１および右画像ＰＲ１を生成し、視差画像生成部２２は、左画像ＰＬ１および右画像ＰＲ１に基づいて、視差画像ＰＤを生成する。回転制御部２４は、視差画像生成部２２の対応点算出部２３が算出した対応点ＣＰについてのデータに基づいて、回転制御データＣＴＬを生成する。これにより、画像処理装置１では、例えば、左画像ＰＬ１および右画像ＰＲ１における、先行車両９０の画像の高さ方向の位置（Ｙ座標）が、ほぼ同じになるように、回転角度θを調節することができる。視差画像生成部２２は、このような左画像ＰＬ１および右画像ＰＲ１に基づいて対応点を検出することができる。その結果、画像処理装置１では、視差画像ＰＤの精度を高めることができるようになっている。

ここで、回転処理部２１は、本開示における「回転処理部」の一具体例に対応する。視差画像生成部２２は、本開示における「視差画像生成部」の一具体例に対応する。回転制御部２４は、本開示における「回転制御部」の一具体例に対応する。ステレオ画像ＰＩＣは、本開示における「ステレオ画像」の一具体例に対応する。左画像ＰＬは、本開示における「第１の左画像」の一具体例に対応する。右画像ＰＲは、本開示における「第１の右画像」の一具体例に対応する。左画像ＰＬ１は、本開示における「第２の左画像」の一具体例に対応する。右画像ＰＲ１は、本開示における「第２の右画像」の一具体例に対応する。左画像点ＣＰＬは、本開示における「左画像点」の一具体例に対応する。右画像点ＣＰＲは、本開示における「右画像点」の一具体例に対応する。座標差ΔＸは、本開示における「第１の位置差」の一具体例に対応する。座標差ΔＹは、本開示における「第２の位置差」の一具体例に対応する。回転角度θは、本開示における「回転角度」の一具体例に対応する。角度変化量Δθは、本開示における「角度変化量」の一具体例に対応する。近似直線ＬＩＮは、本開示における「近似直線」の一具体例に対応する。

［動作および作用］
続いて、本実施の形態の画像処理装置１の動作および作用について説明する。

（全体動作概要）
まず、図１を参照して、画像処理装置１の全体動作概要を説明する。ステレオカメラ１１は、車両１０の前方を撮像することにより、左画像ＰＬおよび右画像ＰＲを含むステレオ画像ＰＩＣを生成する。処理部２０において、回転処理部２１は、回転制御データＣＴＬに基づいて、ステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲを回転させる回転処理を行うことにより、左画像ＰＬ１および右画像ＰＲ１を生成する。視差画像生成部２２は、回転処理部２１により生成された左画像ＰＬ１および右画像ＰＲ１に基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、視差画像ＰＤを生成する。回転制御部２４は、視差画像生成部２２の対応点算出部２３が算出した対応点ＣＰについてのデータに基づいて、回転処理部２１の回転処理における回転角度θを算出することにより、回転処理部２１に対して回転処理を指示する回転制御データＣＴＬを生成する。物体認識部２７は、左画像ＰＬ１および右画像ＰＲ１と、視差画像生成部２２により生成された視差画像ＰＤとに基づいて、車両１０の前方の物体を認識する。

（詳細動作）
回転制御部２４は、視差画像生成部２２の対応点算出部２３が算出した対応点ＣＰについてのデータに基づいて、回転処理部２１の回転処理における回転角度θを算出する。具体的には、近似直線算出部２５は、対応点ＣＰについてのデータに基づいて、左画像ＰＬ１における左画像点ＣＰＬの座標位置と、右画像ＰＲ１における右画像点ＣＰＲの座標位置との間の、左右方向（Ｘ方向）の座標差ΔＸおよび上下方向（Ｙ方向）の座標差ΔＹの関係を示す座標点Ｐを求め、その座標点Ｐに基づいて、座標点Ｐについての近似直線ＬＩＮを算出する。そして、回転角度算出部２６は、近似直線算出部２５が算出した近似直線ＬＩＮに基づいて、現在の回転角度θからの角度変化量Δθを算出し、現在の回転角度θに角度変化量Δθを加算することにより回転角度θを算出する。以下に、この回転制御部２４の動作について、詳細に説明する。

図６は、回転制御部２４の一動作例を表すものである。回転制御部２４は、この例では、対応点算出部２３により対応点ＣＰが算出される度に、その対応点ＣＰについてのデータに基づいて近似直線ＬＩＮを算出する。そして、回転角度算出部２６は、近似直線算出部２５が算出した近似直線ＬＩＮに基づいて、回転角度θを算出する。以下に、この動作について詳細に説明する。

まず、近似直線算出部２５は、対応点ＣＰについてのデータに基づいて座標点Ｐを求め、この座標点Ｐに基づいて、座標点Ｐについてのプロット図１００を更新する（ステップＳ１０１）。具体的には、近似直線算出部２５は、左画像ＰＬ１における左画像点ＣＰＬの座標位置と、右画像ＰＲ１における右画像点ＣＰＲの座標位置との間の、左右方向（Ｘ方向）の座標差ΔＸおよび上下方向（Ｙ方向）の座標差ΔＹの関係を示す座標点Ｐを求める。そして、近似直線算出部２５は、算出した座標点Ｐを、過去に算出された複数の座標点Ｐが記録されたプロット図１００に記録することにより、このプロット図１００を更新する。

図７は、プロット図１００の一構成例を表すものである。このプロット図１００において、横軸は座標差ΔＸを示し、縦軸は座標差ΔＹを示す。図７において、点は、座標点Ｐを示す。これらの複数の座標点Ｐは、例えば、車両１０のエンジンが始動した後にステレオカメラ１１が生成した複数のステレオ画像ＰＩＣに基づいて算出される。この例では、プロット図１００に記録される座標点Ｐの数には上限があり、座標点Ｐの数が上限に達しているときに新たに座標点Ｐが算出された場合には、最も古い座標点Ｐがプロット図１００から削除されるとともに、新たに算出された座標点Ｐがこのプロット図１００に追加される。この例では、プロット図１００は、横軸方向において、複数の領域ＢＩＮ（この例では３つの領域ＢＩＮ１〜ＢＩＮ３）に区分される。具体的には、領域ＢＩＮ１は、座標差ΔＸが０以上５０未満である領域であり、領域ＢＩＮ２は、座標差ΔＸが５０以上１００未満である領域であり、領域ＢＩＮ３は、座標差ΔＸが１００以上１５０未満である領域である。

次に、近似直線算出部２５は、プロット図１００における複数の座標点Ｐに基づいて、近似直線ＬＩＮを算出する（ステップＳ１０２）。具体的には、近似直線算出部２５は、この例では、複数の領域ＢＩＮのそれぞれにおいて、座標点Ｐの重心点を算出する。具体的には、近似直線算出部２５は、領域ＢＩＮ１に属する複数の座標点Ｐの重心点を算出し、領域ＢＩＮ２に属する複数の座標点Ｐの重心点を算出し、領域ＢＩＮ３に属する複数の座標点Ｐの重心点を算出する。そして、近似直線算出部２５は、複数の領域ＢＩＮのそれぞれにおける重心点に基づいて、最小二乗法により、近似直線ＬＩＮを算出する。具体的には、近似直線算出部２５は、最小二乗法により、例えば、以下の式ＥＱ１に示す１次関数における傾斜値ａおよび切片値ｂを算出する。
ΔＹ ＝ ａ × ΔＸ ＋ ｂ …（ＥＱ１）
近似直線算出部２５は、このようにして近似直線ＬＩＮを算出する。なお、この例では、最小二乗法により傾斜値ａおよび切片値ｂを算出するようにしたが、これに限定されるものではなく、これに代えて、例えば切片ｂを０（ゼロ）とし、最小二乗法により傾斜値ａのみを算出してもよい。

なお、この例では、近似直線算出部２５は、プロット図１００における複数の座標点Ｐに基づいて複数の領域ＢＩＮのそれぞれにおける重心点を算出し、これらの重心点に基づいて近似直線ＬＩＮを算出したが、これに限定されるものではない。これに代えて、近似直線算出部２５は、例えば、プロット図１００における複数の座標点Ｐに基づいて、最小二乗法により近似直線ＬＩＮを直接算出してもよい。この場合には、近似直線算出部２５は、例えば、重み付き最小二乗法により近似直線ＬＩＮを算出することができる。具体的には、例えば、ある座標点Ｐが属する領域ＢＩＮにおける座標点Ｐの数に応じて、その座標点Ｐの重みを設定することができる。例えば、ある領域ＢＩＮにおける座標点Ｐの数が多い場合には、その領域ＢＩＮに属する座標点Ｐの重みを小さくし、ある領域ＢＩＮにおける座標点Ｐの数が少ない場合には、その領域ＢＩＮに属する座標点Ｐの重みを大きくすることができる。

算出した近似直線ＬＩＮの一例を図７に示す。この図７の例では、近似直線ＬＩＮの傾斜値ａは正であり、座標差ΔＸが大きいほど座標差ΔＹは大きくなり、座標差ΔＸが小さいほど座標差ΔＹは小さくなり０（ゼロ）に近づく。言い換えれば、対応点ＣＰに係る被写体までの距離が近いほど座標差ΔＹの絶対値は大きくなり、被写体までの距離が遠いほど座標差ΔＹは小さくなる。このことは、左画像ＰＬ１および右画像ＰＲ１における、被写体の画像の上下方向の位置がずれていることを示しており、回転角度θが、まだ適切な角度に調節されていないことを示している。

次に、回転角度算出部２６は、近似直線ＬＩＮの傾斜値ａについてのデータ（傾斜データ）を、傾斜リストＬａに追加する（ステップＳ１０３）。この傾斜リストＬａは、傾斜データを所定数だけ蓄積可能に構成される。傾斜リストＬａに蓄積可能な傾斜データの数には上限があり、傾斜テータの数が上限に達しているときに新たに近似直線ＬＩＮが算出された場合には、最も古い傾斜データが傾斜リストＬａから削除されるとともに、新たに算出された近似直線ＬＩＮについての傾斜データがこの傾斜リストＬａに追加される。

次に、回転角度算出部２６は、傾斜リストＬａにおける複数の傾斜データが示す傾斜値ａの分散値Ａを算出する（ステップＳ１０４）。分散値Ａがしきい値Ａth以上である場合（ステップＳ１０５において“Ｎ”）には、このフローは終了する。すなわち、分散値Ａがしきい値Ａth以上である場合には、傾斜値ａがばらついており、精度が不十分でないので、回転角度θを算出せずにフローを終了する。

分散値Ａがしきい値Ａthより小さい（Ａ＜Ａth）場合（ステップＳ１０５において“Ｙ”）には、回転角度算出部２６は、傾斜リストＬａにおける複数の傾斜データが示す傾斜値ａの平均値（傾斜平均値ＡＶＧ）を算出する（ステップＳ１０６）。

そして、回転角度算出部２６は、傾斜平均値ＡＶＧに基づいて、現在の回転角度θからの角度変化量Δθを算出することにより、回転角度θを算出する（ステップＳ１０７）。具体的には、回転角度算出部２６は、傾斜平均値ＡＶＧの極性に基づいて角度変化量Δθの極性を設定する。また、回転角度算出部２６は、傾斜平均値ＡＶＧの絶対値が大きいほど、角度変化量Δθの絶対値を大きくする。具体的には、例えば、回転角度算出部２６は、傾斜平均値ＡＶＧの絶対値が第１の値である場合には、角度変化量Δθの絶対値を第２の値に設定し、傾斜平均値ＡＶＧの絶対値が第１の値より大きい第３の値である場合には、角度変化量Δθの絶対値を第２の値より大きい第４の値に設定する。そして、回転角度算出部２６は、現在の回転角度θに角度変化量Δθを加算することにより、回転角度θを算出する。

このようにして、回転制御部２４は、対応点ＣＰについてのデータに基づいて回転角度θを算出し、算出した回転角度θについてのデータを含む回転制御データＣＴＬを生成する。回転処理部２１は、回転制御データＣＴＬに基づいて、左画像ＰＬおよび右画像ＰＲを回転角度θで回転させることにより、左画像ＰＬ１および右画像ＰＲ１を生成する。画像処理装置１は、このような処理を繰り返す。

画像処理装置１が、このような処理を繰り返すことにより、回転角度θは、負帰還的に制御される。この負帰還動作により、プロット図１００における近似直線ＬＩＮの傾斜値ａは徐々に小さくなり、最終的には、例えば、図８に示したように、近似直線ＬＩＮの傾斜値ａは、ほぼ０（ゼロ）になる。その結果、回転角度θは、図４に示したように、左画像ＰＬ１および右画像ＰＲ１において、先行車両９０の画像の上下方向（Ｙ方向）の位置がほぼ同じになるような角度に調節される。視差画像生成部２２は、このような左画像ＰＬ１および右画像ＰＲ１に基づいて対応点ＣＰを検出することができる。その結果、画像処理装置１では、視差画像ＰＤの精度を高めることができる。

このように、画像処理装置１では、ステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲを回転させる回転処理を行うことにより、左画像ＰＬ１および右画像ＰＲ１を生成し、この左画像ＰＬ１および右画像ＰＲ１に基づいて、互いに対応する、左画像ＰＬ１における左画像点ＣＰＬおよび右画像ＰＲ１における右画像点ＣＰＲを算出するようにした。これにより、左カメラ１１Ｌおよび右カメラ１１Ｒが、高さ方向において相対的にずれて配置されている場合でも、左画像ＰＬ１および右画像ＰＲ１における、例えば先行車両９０の画像の上下方向（Ｙ方向）の位置をほぼ同じにすることができるので、左画像ＰＬ１および右画像ＰＲ１に基づいて対応点を検出することができる。その結果、視差画像ＰＤの精度を高めることができる。

また、画像処理装置１では、左画像ＰＬ１における左画像点ＣＰＬの座標位置、および右画像ＰＲ１における右画像点ＣＰＲの座標位置の間の、左右方向（Ｘ方向）の座標差ΔＸおよび上下方向（Ｙ方向）の座標差ΔＹとの関係を示す座標点Ｐを求め、座標点Ｐに基づいて、回転処理における回転角度θの角度変化量Δθを算出するようにしたので、シンプルな方法で回転角度θを算出することができる。すなわち、例えば、対応点ＣＰに基づいて、エピポーラ幾何を利用して、左カメラ１１Ｌおよび右カメラ１１Ｒの高さ方向における相対的なずれ量を求め、このずれ量に基づいて左画像ＰＬおよび右画像ＰＲを補正する方法もあり得る。しかしながら、この場合には、例えば、アルゴリズムが複雑になり、処理に時間がかかってしまうおそれがある。一方、画像処理装置１では、座標差ΔＸおよび座標差ΔＹを用いて、２次元平面において演算を行うことにより回転角度θの角度変化量Δθを算出するようにしたので、シンプルな方法で、回転処理における回転角度θを算出することができる。

また、画像処理装置１では、近似直線ＬＩＮを更新する度に得られる傾斜値ａのうちの所定数の傾斜値ａに基づいて、角度変化量Δθを算出するようにした。特に、画像処理装置１では、この所定数の傾斜値ａの分散値Ａを算出し、その分散値Ａがしきい値Ａthより小さい場合に、所定数の傾斜値ａの傾斜平均値ＡＶＧに基づいて、角度変化量Δθを算出するようにした。これにより、画像処理装置１では、傾斜値ａがばらついている場合には、角度変化量Δθを算出しないので、回転角度θを精度よく算出することができ、その結果、視差画像ＰＤの精度を高めることができる。

［効果］
以上のように本実施の形態では、ステレオ画像に含まれる左画像ＰＬおよび右画像ＰＲを回転させる回転処理を行うことにより、左画像ＰＬ１および右画像ＰＲ１を生成し、この左画像ＰＬ１および右画像ＰＲ１に基づいて、互いに対応する、左画像ＰＬ１における左画像点および右画像ＰＲ１における右画像点を算出するようにしたので、視差画像の精度を高めることができる

本実施の形態では、左画像ＰＬ１における左画像点の座標位置、および右画像ＰＲ１における右画像点の座標位置の間の、左右方向の座標差および上下方向の座標差との関係を示す座標点を求め、この座標点に基づいて、回転処理における回転角度の角度変化量を算出するようにしたので、シンプルな方法で回転角度を算出することができる。

本実施の形態では、近似直線を更新する度に得られる傾斜値のうちの所定数の傾斜値に基づいて、角度変化量を算出するようにしたので、視差画像の精度を高めることができる。

以上、実施の形態を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。

例えば、上記実施の形態では、ステレオカメラ１１が車両１０の前方を撮像するようにしたが、これに限定されるものではなく、例えば、車両１０の側方や後方を撮像してもよい。

なお、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、また、他の効果があってもよい。

１…画像処理装置、１１…ステレオカメラ、１１Ｌ…左カメラ、１１Ｒ…右カメラ、２０…処理部、２１…回転処理部、２２…視差画像生成部、２３…対応点算出部、２４…回転制御部、２５…近似直線算出部、２６…回転角度算出部、２７…物体認識部、ＣＰ…対応点、ＣＰＬ…左画像点、ＣＰＲ…右画像点、ＬＩＮ…近似直線、Ｐ…座標点、ＰＤ…視差画像、ＰＬ，ＰＬ１…左画像、ＰＲ，ＰＲ１…右画像、θ…回転角度、ΔＸ，ΔＹ…座標差、Δθ…角度変化量。

Claims (7)

1. ステレオ画像に含まれる第１の左画像および第１の右画像を回転させる回転処理を行うことにより第２の左画像および第２の右画像を生成する回転処理部と、
   前記第２の左画像および前記第２の右画像に基づいて、互いに対応する、前記第２の左画像における左画像点および前記第２の右画像における右画像点を算出することにより、視差画像を生成する視差画像生成部と、
   前記第２の左画像における前記左画像点の位置である第１の位置、および前記第２の右画像における前記右画像点の位置である第２の位置の間の、左右方向の第１の位置差および上下方向の第２の位置差の関係を示す座標点を求め、前記座標点に基づいて、前記回転処理における回転角度の角度変化量を算出する回転制御部と
   を備えた画像処理装置。
2. 前記回転制御部は、複数の前記ステレオ画像のそれぞれに基づいて前記座標点を求め、複数の前記座標点に基づいて前記角度変化量を設定する
   請求項１に記載の画像処理装置。
3. 前記回転制御部は、前記第１の位置差を第１の方向に割り当てるとともに前記第２の位置差を第２の方向に割り当てることにより前記複数の座標点を配置した場合における、前記複数の座標点の近似直線を算出し、前記近似直線の傾斜値に基づいて前記角度変化量を算出する
   請求項２に記載の画像処理装置。
4. 前記回転制御部は、前記近似直線を算出する度に得られる前記傾斜値のうちの所定数の前記傾斜値に基づいて、前記角度変化量を算出する
   請求項３に記載の画像処理装置。
5. 前記回転制御部は、前記所定数の傾斜値の分散値を算出し、
   前記分散値が所定のしきい値より小さい場合に、前記所定数の傾き値の平均値である傾斜平均値に基づいて、前記角度変化量を算出する
   請求項４に記載の画像処理装置。
6. 前記回転制御部は、前記傾斜平均値の極性に基づいて前記角度変化量の極性を設定する
   請求項５に記載の画像処理装置。
7. 前記回転制御部は、
   前記傾斜平均値の絶対値が第１の値である場合には、前記角度変化量の絶対値を第２の値に設定し、
   前記傾斜平均値の絶対値が前記第１の値より大きい第３の値である場合には、前記角度変化量の絶対値を前記第２の値より大きい第４の値に設定する
   請求項５または請求項６に記載の画像処理装置。

Images