JP2017117038A - 道路面推定装置 - Google Patents

Abstract

【課題】道路面の位置の推定精度を向上させる。【解決手段】道路面推定装置２０は、車両に搭載されたステレオカメラ１０を用いて撮像された複数の撮像画像に基づく距離画像を複数の分割領域に分割する分割部２１２と、複数の分割領域のうち、所定の平面度よりも平面に近い複数の平面領域を選択する選択部２１３と、複数の平面領域のうち、車両が走行する道路面の方向の初期設定方向に対して所定の範囲内の方向の複数の道路面候補領域を抽出する抽出部２１４と、複数の道路面候補領域に基づいて、車両が走行中の道路面の位置を特定する特定部２１５と、を有する。【選択図】図１

Description

本発明は、車両に設けられたカメラを用いて撮像された画像に基づいて道路面の位置を推定する道路面推定装置に関する。

従来、車両に搭載されたカメラにより撮像された撮像画像を解析することにより、車両が走行する道路上の障害物を検出する方法が知られている。障害物の検出精度を向上させるために、撮影画像における道路面の位置を高い精度で検出することが求められる。特許文献１には、複数のレンズを有するステレオカメラを用いて撮像された左画像と右画像における特定の点のずれ量が、画像上の上下方向の座標値に対して一次直線の関係にあることに着目して、道路面の位置を特定する技術が開示されている。

特開２００５−２４４６４号公報

従来の技術においては、ステレオカメラの撮像方向が道路面に対してほぼ平行になっており、ロール方向の傾斜が無視できる状態が想定されていた。しかしながら、実際の車両においては、ロール方向の揺れがあり、特に大型車両においては、ロール方向の揺れの影響が大きい。したがって、従来の技術を適用すると、道路面の位置の推定結果に誤差が生じやすいという問題があった。

そこで、本発明はこれらの点に鑑みてなされたものであり、道路面の位置の推定精度を向上させることを目的とする。

本発明においては、車両に搭載されたカメラを用いて撮像された複数の撮像画像に基づく距離画像を複数の分割領域に分割する分割手段と、前記複数の分割領域のうち、所定の平面度よりも平面に近い複数の平面領域を選択する選択手段と、前記複数の平面領域のうち、前記車両が走行する道路面の方向の初期設定方向に対して所定の範囲内の方向の複数の道路面候補領域を抽出する抽出手段と、前記複数の道路面候補領域に基づいて、前記車両が走行中の道路面の位置を特定する特定手段と、を有することを特徴とする道路面推定装置を提供する。

このようにすることで、道路面推定装置は、ロール方向の揺れの影響をほとんど受けることなく、高い精度で道路面の位置を推定することができる。

上記の抽出手段が使用する前記初期設定方向は、例えば、前記カメラの俯角に基づいて定められる、傾斜していない道路面に前記車両が載置された状態における前記道路面の方向である。抽出手段が、このような初期設定方向を使用することで、特定手段は、道路面の方向に合っていない分割領域を除去した上で道路面の位置を特定することができるので、道路面の位置の推定精度が向上する。

前記特定手段は、例えば、複数の道路面候補領域の夫々の重心点を特定し、特定した複数の前記重心点に基づいて、最小二乗法を用いて前記道路面を特定する。このようにすることで、特定手段は、道路面に凹凸がある場合であっても、道路面の平均的な方向を特定することができる。

前記特定手段は、前記道路面の方向を特定する前に、前記複数の重心点のうち、他の重心点からの距離が所定値以上の外れ点を除去してもよい。このようにすることで、ノイズの影響を抑制することができるので、道路面の推定精度が向上する。

前記選択手段は、前記複数の分割領域のそれぞれに含まれる複数の画素の三次元座標に基づいて、前記複数の画素のばらつきが第１所定値よりも大きい方向である第１方向、及び前記複数の画素のばらつきが第２所定値よりも大きい方向であり、かつ前記第１方向と直交する第２方向を特定し、前記第１方向及び前記第２方向と直交する第３方向における前記複数の画素のばらつきが、前記第１所定値及び前記第２所定値以下である第３所定値よりも小さい前記分割領域を、前記平面領域であるとして選択してもよい。このようにすることで、選択手段は、平面度が高い分割領域を選択することができる。

本発明によれば、ロール方向の揺れの影響を受けにくくなり、高い精度で道路面の位置を推定することができるという効果を奏する。

障害物検出装置１の構成を示す図である。 道路面推定装置２０の構成を示す図である。 選択部２１３が平面領域を選択する方法を説明するための図である。 道路面候補領域について説明するための図である。 道路面推定装置２０における処理手順を示すフローチャートである。

［障害物検出装置１の構成］
図１は、障害物検出装置１の構成を示す図である。
障害物検出装置１は、車両に搭載されたステレオカメラ１０を用いて走行中の道路が撮像された画像に基づいて、道路上の障害物を検出する装置である。障害物検出装置１は、障害物を検出すると、運転手に警告したり、自動的に車両を停止させたりする。

障害物検出装置１は、ステレオカメラ１０と、道路面推定装置２０と、障害物検出部３０とを有する。ステレオカメラ１０は、複数のレンズ及び複数の撮像手段を有している。撮像手段は、例えばＣＣＤ（Charge Coupled Device）である。

ステレオカメラ１０は、右側の撮像手段により生成された右側撮像画像、及び左側の撮像手段により生成された左側撮像画像を道路面推定装置２０へと出力する。道路面推定装置２０は、ステレオカメラ１０から入力された複数の撮像画像データに基づいて、道路面の位置を推定する。障害物検出部３０は、道路面推定装置２０が推定した道路面に基づいて、道路面から突出した物体を、障害物として検出する。以下、道路面推定装置２０の構成について詳細に説明する。

［道路面推定装置２０の構成］
図２は、道路面推定装置２０の構成を示す図である。
道路面推定装置２０は、制御部２１及び記憶部２２を有する。制御部２１は、例えばＣＰＵである。記憶部２２は、例えばＲＯＭ及びＲＡＭにより構成されており、制御部２１により実行されるプログラム、及び制御部２１の処理に用いられる各種のデータを記憶する。

制御部２１は、記憶部２２に格納されたプログラムを実行することにより、距離画像生成部２１１、分割部２１２、選択部２１３、抽出部２１４及び特定部２１５として機能する。

距離画像生成部２１１は、ステレオカメラ１０から入力された右側撮像画像及び左側撮像画像に基づいて距離画像を生成する。距離画像生成部２１１は、まず、同じ時刻に生成された右側撮像画像に含まれる各画素と左側撮像画像に含まれる各画素とを比較し、視差の大きさを特定する。距離画像生成部２１１は、例えば、右側撮像画像に含まれる所定の画素ブロックが、左側撮像画像のどの位置に含まれているかを探索する。距離画像生成部２１１は、右側撮像画像に含まれる多数の画素ブロックに対して、このような探索処理を施すことにより、各ブロックに対応する視差の大きさを特定する。

続いて、距離画像生成部２１１は、ステレオカメラ１０の右側のレンズと左側のレンズとの距離、及び特定した視差の大きさに基づいて、カメラ座標系の三次元座標を特定する。そして、距離画像生成部２１１は、特定した三次元座標に基づいて、各画素に対応する被写体までの距離を算出する。距離画像生成部２１１は、算出した距離に対応する色を画素ごとに付すことにより被写体までの距離を表す距離画像を生成する。なお、距離画像においては、距離画像生成部２１１が視差を検出することができなかった画素に対しては、視差を検出できなかったことを示す所定の色（例えば、黒色）が付されている。

分割部２１２は、距離画像生成部２１１が生成した距離画像を複数の分割領域に分割する。分割部２１２は、例えば、距離画像において、視差を検出することができた画素が含まれている領域を、複数の分割領域に分割する。分割領域の大きさは任意であり、例えば１０×１０ピクセルである。

図２は、距離画像の分割領域について説明するための図である。図２（ａ）は、ステレオカメラ１０が撮影した撮像画像に基づいて生成された距離画像を示している。図２（ｂ）は、距離画像において距離が示されている領域を、所定の大きさの複数の分割領域に分割した様子を示している。視差が検出された道路の境界線、車線境界線、樹木及び建物が写っている領域の画像が、分割領域に分割されている様子がわかる。

選択部２１３は、複数の分割領域のうち、所定の平面度よりも平面に近い複数の平面領域を選択する。すなわち、選択部２１３は、画素が二次元平面上に分布していると考えられる分割領域を選択する。

選択部２１３は、各分割領域内の各画素の三次元座標に対して主成分分析を行い、第１主成分と第２主成分のベクトルの絶対値に対して第３主成分のベクトルの絶対値が極端に小さい場合に、その分割領域が平面をなしているとして選択する。選択部２１３は、この処理を全ての分割領域に対して実行する。

具体的には、選択部２１３は、まず、複数の分割領域のそれぞれに含まれる複数の画素の三次元座標に基づいて、複数の画素のばらつきが第１所定値よりも大きい方向である第１方向を特定する。続いて、選択部２１３は、複数の画素のばらつきが第２所定値よりも大きい方向であり、かつ第１方向と直交する第２方向を特定する。第２所定値は、第１所定値以下の値である。そして、選択部２１３は、第１方向及び第２方向と直交する第３方向における複数の画素のばらつきが、第１所定値及び第２所定値以下である第３所定値よりも小さい分割領域を、平面領域であるとして選択する。

図３は、選択部２１３が平面領域を選択する方法を説明するための図である。図３における黒い点は、分割領域内の各画素に対応する座標を示している。図３（ａ）は、所定の平面度よりも平面に近い平面領域を示している。図３（ａ）における黒い点は、第１方向及び第２方向に分散しているが、第３方向にはほとんど分散していない。選択部２１３は、このような分割領域を平面領域として選択する。

これに対して、図３（ｂ）においては、第３方向においても黒い点が分散している。選択部２１３は、このように、３つの方向に画素に対応する座標が分散している分割領域を、平面領域として選択しない。選択部２１３は、選択した平面領域を特定するための情報を抽出部２１４に対して出力する。

抽出部２１４は、選択部２１３が選択した複数の平面領域のうち、車両が走行する道路面の方向の初期設定方向に対して所定の範囲内の方向の複数の道路面候補領域を抽出する。初期設定方向は、例えば、ステレオカメラ１０が車両に設置された状態における俯角に基づいて定められる、傾斜していない道路面に車両が載置された状態における道路面の方向である。

抽出部２１４は、例えば、選択部２１３が選択した複数の平面領域の夫々に対して、カメラ座標系における平面の方程式を算出する。抽出部２１４は、算出した平面方程式と、車両が水平な道路上にある場合にステレオカメラ１０が撮像した画像に基づいて算出される道路面の平面方程式とに基づいて、道路面の方向に近い平面領域を抽出する。このようにして、抽出部２１４は、複数の平面領域のうち、道路面の方向に近い方向の平面領域を、道路面候補領域として抽出する。

図４は、道路面候補領域について説明するための図である。図４（ａ）は、複数の平面領域のうち、道路面の方向の初期設定方向に対して所定の範囲内の方向の平面領域を示している。道路上の平面領域及び建物の屋上の平面領域が、道路面候補領域となっていることがわかる。抽出部２１４は、複数の平面領域のうち、例えば、道路面の方向の初期設定方向に対して、車両のロール角の最大値以内の方向の平面領域を、道路面候補領域として抽出する。このようにすることで、抽出部２１４は、発生し得るロールの大きさを考慮した上で、道路面の方向に近い方向の道路面候補領域を抽出することができる。

なお、抽出部２１４は、傾斜していない道路面に車両が載置された状態における道路面の位置に対して、所定の距離以上離れた位置の平面領域を、道路面候補領域として抽出しないものとしてもよい。例えば、図４（ａ）における建物の屋上の平面領域は、同路面から離れていると考えられるので、抽出部２１４は、建物の屋上の平面領域を道路面候補領域として抽出しないでもよい。

図４（ｂ）は、複数の平面領域のうち、道路面の方向の初期設定方向に対して所定の範囲内に入っていない方向の平面領域を示している。樹木及び建物の壁面上の平面領域が図４（ｂ）に示されており、抽出部２１４は、道路面の方向とほぼ直交する方向であるこれらの平面領域を道路面候補領域として抽出しない。抽出部２１４は、道路面候補領域を特定する情報を特定部２１５に対して出力する。

特定部２１５は、複数の道路面候補領域に基づいて、車両が走行中の道路面を特定する。特定部２１５は、例えば、図４（ａ）に示した複数の道路面候補領域を用いて、道路面を特定する。具体的には、特定部２１５は、以下の手順で道路面を特定する。

特定部２１５は、まず、抽出部２１４が抽出した複数の道路面候補領域の夫々の重心点を特定する。続いて、特定部２１５は、特定した複数の重心点のうち、他の重心点からの距離が所定値以上となっている外れ点を除去することにより、ノイズの影響を低減する。特定部２１５は、例えばＲＡＮＳＡＣ（Random Sample Consensus）のアルゴリズムを用いて、外れ点を除去することができる。

特定部２１５は、外れ点を除去した後に残った複数の重心点に基づいて、例えば最小二乗法を用いて道路面を特定する。具体的には、特定部２１５は、複数の重心点のうち、最も多くの重心点が近傍領域に入る平面を道路面であるとする。

［道路面推定装置２０における処理手順］
図５は、道路面推定装置２０における処理手順を示すフローチャートである。
まず、距離画像生成部２１１は、ステレオカメラ１０から取得した複数の撮像画像に基づいて、距離画像を生成する（Ｓ１１）。続いて、分割部２１２は、距離画像を所定の大きさの複数の分割領域に分割する（Ｓ１２）。

続いて、選択部２１３は、一つの分割領域を選択し、選択した分割領域の平面度が所定値よりも大きいか否かを判定する（Ｓ１３）。選択部２１３が、Ｓ１３において、平面度が所定値よりも大きいと判定した場合（Ｓ１３においてＹｅｓ）、選択部２１３は、判定した分割領域を平面領域として選択する（Ｓ１４）。選択部２１３が、Ｓ２１３において、平面度が所定値以下であると判定した場合（Ｓ１３においてＮｏ）、選択部２１３は、Ｓ１４を実行することなくＳ１５に進む。

選択部２１３は、全ての分割領域に対する平面領域であるか否かの判定が終了したか否かを判定し（Ｓ１５）、全ての分割領域に対する判定が終了していない場合（Ｓ１５においてＮｏ）、次の分割領域を選択して（Ｓ１６）、Ｓ１３に戻る。選択部２１３が、Ｓ１５において、全ての分割領域に対する判定が終了したと判定した場合（Ｓ１５においてＹｅｓ）、抽出部２１４が、道路面の方向に近い平面領域を抽出する（Ｓ１７）。

続いて、特定部２１５は、抽出部２１４が抽出した平面領域の重心点を特定する（Ｓ１８）。そして、特定部２１５は、特定した重心点のうち、他の重心点から大きく外れている外れ点を除去する（Ｓ１９）。その後、特定部２１５は、外れ点を除去した後の複数の重心点に基づいて、最小二乗法等の手法を用いて、道路面を特定する（Ｓ２０）。

なお、上記の説明においては、特定部２１５が、外れ点を除去した後に最小二乗法を用いて道路面を特定する例について説明したが、これに限らない。特定部２１５は、外れ点を除去することなく、抽出部２１４が抽出した平面領域の全ての重心点を用いて道路面を特定してもよい。

［本実施形態における効果］
以上説明したように、本実施形態に係る道路面推定装置２０は、距離画像を複数の分割領域に分割し、分割領域のうち平面度が大きい分割領域から、道路面の方向に近いと推定される分割領域を道路面候補領域として選択する。そして、道路面推定装置２０は、選択した複数の道路面候補領域の重心点に基づいて、道路面を特定する。このようにすることで、道路面推定装置２０は、ステレオカメラ１０から得られた各画素の三次元情報に基づいて道路面の方向を推定することができるので、任意の撮像画像を使用することが可能であるとともに、車両がロールした状態においても、高い精度で道路面の方向を推定することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。例えば、上記の説明においては、道路の画像を撮像する手段としてステレオカメラ１０を用いる場合について説明したが、これに限らない。障害物検出装置１は、任意の撮像手段を用いて撮像された画像を用いることができる。また、道路面推定装置２０は、一部の処理を、サーバ等の外部装置を用いて実行してもよい。

１ 障害物検出装置
１０ ステレオカメラ
２０ 道路面推定装置
２１ 制御部
２２ 記憶部
３０ 障害物検出部
２１１ 距離画像生成部
２１２ 分割部
２１３ 選択部
２１４ 抽出部
２１５ 特定部

Claims (5)

1. 車両に搭載されたカメラを用いて撮像された複数の撮像画像に基づく距離画像を複数の分割領域に分割する分割手段と、
   前記複数の分割領域のうち、所定の平面度よりも平面に近い複数の平面領域を選択する選択手段と、
   前記複数の平面領域のうち、前記車両が走行する道路面の方向の初期設定方向に対して所定の範囲内の方向の複数の道路面候補領域を抽出する抽出手段と、
   前記複数の道路面候補領域に基づいて、前記車両が走行中の道路面を特定する特定手段と、
   を有することを特徴とする道路面推定装置。
2. 前記初期設定方向が、前記カメラの俯角に基づいて定められる、傾斜していない道路面に前記車両が載置された状態における前記道路面の方向であることを特徴とする、
   請求項１に記載の道路面推定装置。
3. 前記特定手段は、複数の道路面候補領域の夫々の重心点を特定し、特定した複数の前記重心点に基づいて、最小二乗法を用いて前記道路面を特定することを特徴とする、
   請求項１又は２に記載の道路面推定装置。
4. 前記特定手段は、前記道路面を特定する前に、前記複数の重心点のうち、他の重心点からの距離が所定値以上の外れ点を除去することを特徴とする、
   請求項３に記載の道路面推定装置。
5. 前記選択手段は、前記複数の分割領域のそれぞれに含まれる複数の画素の三次元座標に基づいて、前記複数の画素のばらつきが第１所定値よりも大きい方向である第１方向、及び前記複数の画素のばらつきが第２所定値よりも大きい方向であり、かつ前記第１方向と直交する第２方向を特定し、前記第１方向及び前記第２方向と直交する第３方向における前記複数の画素のばらつきが、前記第１所定値及び前記第２所定値以下である第３所定値よりも小さい前記分割領域を、前記平面領域であるとして選択することを特徴とする、
   請求項１から４のいずれか１項に記載の道路面推定装置。
   

Images