JP2010060371A - 物体検出装置 - Google Patents

Abstract

【課題】処理負荷を抑えながら、高精度に線模様を検出する物体検出装置を提供する。
【解決手段】処理部２２で車両判定を行った場合に、当該車両の周囲において、カメラ１の処理部１２で白線認識を行い、認識した白線の画像特徴量（彩度、色相）を抽出する。さらに、処理部１２は、画像全体において、車両周囲で抽出した白線の画像特徴量に一致する画像特徴量を有する位置を検出することにより、画像内のどの位置に白線が有るかを検出する。
【選択図】図２

Description

この発明は、車両の周囲の障害物等の位置を検出する物体検出装置に関し、特に路面の線模様を検出する物体検出装置に関する。

従来、車両周囲の障害物や路面の白線を検出する装置がある。この装置を用いて障害物や白線を検出し、障害物に接近したときや白線から逸脱しそうになったとき、警報を発すること等が行われている。

例えば特許文献１乃至４には、モノクロカメラを用いて白線認識を行う技術が記載されている。特許文献１乃至４に記載されている白線認識の手法は、エッジ検出やハフ変換等、複雑な画像処理を用いて白線を検出するものである。

また、特許文献５乃至７には、レーザレーダ装置を用いて白線を検出する手法が提案されている。特許文献５乃至７に記載されているレーザレーダ装置は、レーザ光を路面に向けて走査し、反射波の強度に基づいて白線を検出する。しかし、前方の車両に比較して、白線からの反射波の強度は低く、白線を検出できる限界距離は車両を検出できる限界距離よりも短い。

さらに、特許文献８、９および非特許文献１には、カラー画像から白線認識を行う技術が記載されている。特許文献８、９および非特許文献１に記載されている白線認識は、予め白線の色を登録しておき、実際に取得したカラー画像の色と比較して白線部分を抽出するものである。しかし、予め白線の色を登録するためには、白線の色の傾向等を事前に分析しておく必要がある。また、新しい白線と古い白線では、汚れ等により色相が異なる場合がある。
特開平１０−１８８１９８号公報 特開平１１−６６４８８号公報 特開平１１−８５９９９号公報 特開平１１−２１９４３５号公報 特開２０００−１４７１２４号公報 特開２００３−１２１５４６号公報 特開平８−２４８１３３号公報 特許第３１２０６４８号公報 特許第３４１３７４５号公報 「レーザレーダによる車線認識技術」，小川 高志，高木 聖和，ｐ５−ｐ８，自動車技術会2006年春季大会 学術講演会前刷集Ｎｏ．４２−０６

この発明は、処理負荷を抑えながら、高精度に線模様を検出する物体検出装置を提供することを目的とする。

本発明は、レーザ光等の電磁波パルスを送信する電磁波パルス送信手段、電磁波パルスを走査する走査手段、走査角度を検出する走査角度検出手段、電磁波パルスの反射波を受信する反射波受信手段、電磁波パルスの送信から受信までの経過時間と電磁波パルス送信時の走査角度に基づいて物体を検出する第１物体検出手段、前方を撮影する撮像手段、撮影した画像の特徴量を算出する特徴量算出手段、算出した特徴量に基づいて物体を検出する第２物体検出手段を備えている。

さらに、本発明は、前記第１物体検出手段が車両を検出した場合に、検出した車両の周囲に前記第２物体検出手段が線模様を検出したか否かを判定する線模様判定手段と、検出した前記線模様の位置を検出する第１線模様位置検出手段と、前記第１線模様位置検出手段が検出した位置において前記画像特徴量を抽出する線模様特徴量算出手段と、前記線模様特徴量算出手段が算出した特徴量に一致する特徴量を有する前記画像の位置を線模様として検出する第２線模様位置検出手段と、を備えたことを特徴とする。

また、本発明は、前記第１物体検出手段が車両を検出した場合に、検出した車両の周囲に前記第１物体検出手段が線模様を検出したか否かを判定する線模様判定手段と、検出した前記線模様の位置を検出する第１線模様位置検出手段と、前記第１線模様位置検出手段が検出した位置において前記画像特徴量を抽出する線模様特徴量算出手段と、前記線模様特徴量算出手段が算出した特徴量に一致する特徴量を有する前記画像の位置を線模様として検出する第２線模様位置検出手段と、を備えたことを特徴とする。

このように、本発明は、第１物体検出手段（例えばレーザレーダ装置）で車両を検出した場合、車両位置の周囲について第２物体検出手段（例えばカメラ）で白線等の線模様を検出する。そして、線模様特徴量算出手段は、検出した白線の画像特徴量（彩度、色相等）を抽出する。さらに、第２線模様位置検出手段は、画像全体において、車両周囲で抽出した白線の画像特徴量に一致する画像特徴量を有する位置を検出することにより、画像内のどの位置に白線が有るかを検出する。レーザレーダ装置で検出した車両周囲のみから白線の画像特徴量を抽出する構成であるため、処理負荷を抑えながらも高精度に線模様を検出することができる。

また、上記発明において、前記第１線模様位置検出手段は、前記撮像手段が出力した画像の消失点から放射方向のエッジ強度のヒストグラムを算出することにより、前記線模様の位置を検出する構成とすることも可能である。この構成では、エッジ強度のヒストグラムから白線の位置を検出する手法であるため、複雑な画像処理を行う必要がない。

さらに、上記発明において、前記第２線模様位置検出手段は、類似する画像特徴量を有する位置を集合として分類し、当該集合に含まれる画像特徴量を有する前記画像の位置を線模様として検出する構成とすることも可能である。このように、白線の画像特徴量を主要クラスタ（集合）としてクラスタ化（分類）し、当該集合に含まれる画像特徴量を有する位置を白線と認識することにより、汚れ等の多少の色変化があったとしても白線として高精度に認識することができる。

本発明によれば、処理負荷を抑えながら、高精度に線模様を検出することができる。

以下、本発明の実施形態として、カメラおよびレーザレーダ装置からなる物体検出装置について説明する。

図１は、物体検出装置を自動車に取り付けた例を示す図である。物体検出装置は、カメラ１およびレーザレーダ装置２からなる。カメラ１とレーザレーダ装置２は、ＣＡＮ等の通信ケーブル３を介して接続されている。カメラ１は、例えば車室内のバックミラー裏側等に取り付けられ、自車前方を撮影する。レーザレーダ装置２は、車両前方のバンパ等に取り付けられ、自車前方に電磁波パルスとしてレーザ光を照射する。

カメラ１の撮影範囲は、レーザレーダ装置２の走査範囲と同一となるように（または走査範囲よりも広くなるように）設置されている。また、カメラ１の設置されている軸（水平方向ＸＣ、垂直方向ＹＣ、前後方向ＺＣ）とレーザレーダ装置２の設置されている軸（水平方向ＸＬ、垂直方向ＹＬ、前後方向ＺＬ）は、同一となるように取り付けられている。カメラ１とレーザレーダ装置２の設置されている軸を同一とすることで、レーザ光の走査方向と、カメラ１の撮影方向を同方向とし、レーザ光の走査方向をカメラ１の撮影視野（画像の座標）に変換することが可能となっている。

図２は、物体検出装置の構成を示すブロック図である。カメラ１は、通信部１１、処理部１２、撮像部１３、およびレンズ１４を備えている。レーザレーダ装置２は、通信部２１、処理部２２、ＬＤ（Ｌａｓｅｒ Ｄｉｏｄｅ）２３、投光レンズ２４、受光レンズ２５、ＰＤ（Ｐｈｏｔｏ Ｄｉｏｄｅ）２６、走査制御部２７、レンズ駆動部２８、および走査位置検出部２９を備えている。

カメラ１の撮像部１３は、ＣＣＤやＣＭＯＳ等からなり、処理部１２の制御に従って、レンズ１４を介して車両前方を撮影し、撮影した画像を処理部１２に出力する。

処理部１２は、撮像部１３から入力された画像の解析（画像処理）を行う。また、処理部１２は、画像処理の結果を通信部１１へ出力する。通信部１１は、画像処理の結果をレーザレーダ装置２に出力する。

レーザレーダ装置２の処理部２２は、ＬＤ２３の発光を制御する。ＬＤ２３により発生されたレーザ光は、投光レンズ２４を介して車両前方に照射される。照射されたレーザ光が前方の目標（車両や路面）に反射して戻ってきた反射光は、受光レンズ２５により集光され、ＰＤ２６によって受光（受信）される。

また、処理部２２は、走査制御部２７を制御する。走査制御部２７は、処理部２２の制御に応じてレーザ光を所定の走査範囲で走査させる。すなわち、走査制御部２７は、レンズ駆動部２８を駆動させ、投光レンズ２４および受光レンズ２５を一体的に所定の位置に移動させることによりレーザ光を走査させる。なお、図２の例では、水平方向の走査について示しているが、垂直方向についても同様の態様でレーザ光を走査することができる。

図３は、レーザ光を走査している様子を示す図である。同図においては、垂直方向に３段階にレーザ光の照射角度を変更する例を示している。図中の破線は路面や車両に投影されているレーザ光の断面計上を示し、１点破線はレーザ光の軌跡を示している。図３に示すように、レーザ光の走査方向と、カメラ１の撮影方向は同方向となっており、レーザ光の走査方向はカメラ１の撮影視野（画像の座標）に変換することが可能となっている。

図２において、走査位置検出部２９は、走査制御部２７におけるレーザ光の水平方向と垂直方向の走査方向（走査角度）をそれぞれ検出して、処理部２２に出力する。上述の走査方向から画像座標への変換は、処理部２２にて行う。

処理部２２には、ＰＤ２６によって受光された反射光の反射強度に対応する信号が入力される。処理部２２は、反射強度を数値化して、走査位置検出部２９から入力された走査方向に対応してメモリ（不図示）に記憶する。

また、処理部２２は、ＬＤ２３を発光させてレーザ光を照射してからその反射光を受光するまでの経過時間に基づいて目標（対象物）と自車との距離を測定する。処理部２２は、距離および走査方向が近い対象物をグループ化し、同一の物体とする。処理部２２は、反射強度、走査方向、および距離に基づいて、物体の種類が車両（先行車両）であるか否かの判定を行う。先行車両であると判定した場合、当該先行車両の位置（走査方向）は、カメラ１の画像座標に変換され、通信部２１を介してカメラ１に送信される。

本実施形態の物体検出装置は、処理部２２で先行車両を検出した場合に、当該先行車両の周囲において、カメラ１の処理部１２で白線認識を行い、認識した白線の画像特徴量（彩度、色相等）を抽出する。さらに、処理部１２は、画像全体において、車両周囲で抽出した白線の画像特徴量に一致する画像特徴量を有する位置を検出することにより、画像内のどの位置に白線が有るかを検出する。このようにして検出した白線の位置は、レーザレーダ装置２の処理部２２から車両制御部等に出力され、警報を発すること等に用いられる。

以下、白線認識の具体的な手法について、図１０に示すフローチャートに沿って説明する。図１０は、物体検出装置の動作を示すフローチャートである。まず、レーザレーダ装置２の処理部２２は、対象物の距離および走査方向における反射強度の分布を作成する（ｓ１１）。そして、反射強度から先行車を検出する（ｓ１２）。反射強度の分布と先行車の検出について、図４および図５を用いて説明する。

図４は、先行車両と路面にレーザ光を走査した場合の発光強度と反射強度の関係を示す図である。レーザ光を先行車両に向けて照射する場合、車両側面から見て、車両前方の水平方向にレーザ光を照射する。この場合、先行車両の反射板にレーザ光が反射する。反射板は、先行車両後方に垂直に取り付けられているため、反射板のどの面にレーザ光を照射しても、レーザレーダ装置２から反射板までの距離は、ほぼ同じである。よって、反射板のどの面でレーザ光が反射しても投光から受光までの時間はほぼ同じとなる。その結果、反射強度は短い時間で急峻なピークを示す。

一方で、レーザ光を路面に向けて照射する場合、車両前方の斜め下方向にレーザ光を照射する。この場合、路面の反射する位置により投光から受光までの時間が異なるため、反射強度は、緩やかなピークを示す。

また、路面の白線には、ガラス等の反射率の高い物質が含まれているため、白線に照射されたレーザ光は、比較的高い反射強度を示す。一方、白線以外に照射されたレーザ光は比較的低い反射強度を示す。よって、レーザレーダ装置２の処理部２２は、急峻で高い反射強度を示す場合、車両であると判定し、緩やかで高い反射強度を示す場合、白線であると判定することができる。

図５は、反射強度の分布、およびレーザレーダ装置２の処理部２２で検出した位置を画像上に投影した図である。同図（Ａ）は、所定のしきい値以上の反射強度を示した対象物の距離および走査方向の分布を示す図である。なお、走査方向は正面方向（同図１点破線）からの角度で表される。レーザレーダ装置２の処理部２２は、距離および走査方向が近い正面方向の対象物をグループ化し、同一の物体（先行車両）とする。図５（Ａ）の分布をカメラ１で撮影した画像上に投影すると図５（Ｂ）のようになる。図１０のフローチャートにおいて、処理部２２は、グループ化した先行車両の距離および走査方向をカメラ１の画像の座標情報に変換し、カメラ１に送信する（ｓ１３）。

次に、物体検出装置はカメラ１の処理部１２にて画像処理を行う。まず、カメラ１の処理部１２は、画像全体でエッジ抽出を行う（ｓ１４）。そして、処理部１２は、先行車両を検出した画像位置の周囲に、画像処理の範囲を設定する（ｓ１５）。

図６は、カメラ１の処理部１２における画像処理を示した図である。同図（Ａ）に示すように、処理部１２は、レーザレーダ装置２の処理部２２から送信される計測結果（座標）に基づいておおまかな画像処理の範囲（処理部２２から送信された座標情報を含む周辺範囲）を設定する。

そして、処理部１２は、設定した範囲内で画像のエッジ強度（横エッジ強度および縦エッジ強度）のヒストグラムを算出する（ｓ１６）。処理部１２は、エッジ強度が高い位置に先行車両が存在すると判断し、図６（Ｂ）に示すように、先行車両の正確な存在領域を特定する（ｓ１７）。

次に、処理部１２は、特定した存在領域の周囲（側部および下部）において、図７（Ａ）に示すように、消失点から放射方向にエッジ強度のヒストグラムを算出する（ｓ１８）。なお、消失点は、レンズ焦点と撮像面とから予め設定されている。処理部１２は、算出したエッジ強度がしきい値以上となる方向を特定する（ｓ１９）。処理部１２は、エッジ強度がしきい値以上となる方向に白線が存在するとして、図７（Ｂ）に示すように、特定した方向に沿って先行車両周辺領域で小矩形領域を設定する（ｓ２０）。この小矩形領域内で画像特徴量を算出する。

まず、処理部１２は、設定した小矩形領域内の各画素のＲＧＢ値の平均値を求める（ｓ２１）。そして、ＲＧＢ値平均値をＨＳＶ色座標系に変換する処理を行う（ｓ２２）。図８を用いてＨＳＶ色座標系について説明する。ＨＳＶ色座標系は色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）の三つの成分からなる色空間である。処理部１２は、この色相、彩度を画像特徴量として算出する。処理部１２は、図８に示すように、各小矩形領域の色相、彩度の分布を求め、類似する色相、彩度を有するものを白線の色を表す主要クラスタ（集合）としてクラスタ化（分類）する（ｓ２３）。なお、処理部１２は、明度については考慮せず、汚れ等による白線の明るさの変化の影響を排除する。

処理部１２は、画像の全画素において上記色相、彩度を算出し、主要クラスタに含まれる色相、彩度を有する位置を検出する（ｓ２４）。図９は、全画素において、主要クラスタ内に含まれる画素だけを抽出した事を示す図である。同図の斜線部分が主要クラスタ内に含まれる画素を示している。この抽出された画素の位置が白線の位置を示すこととなる。

最後に、処理部１２は、抽出した画素の位置をメモリ（不図示）に記憶するか、またはレーザレーダ装置２の処理部２２に出力する（ｓ２５）。レーザレーダ装置２の処理部２２に出力された場合、当該白線の位置を示す情報は車両制御部等に出力され、警報を発すること等に用いられる。

以上のように、本実施形態の物体検出装置は、レーザレーダ装置で検出した先行車両周囲において白線の画像特徴量を抽出する構成であるため、処理負荷を抑えながらも高精度に線模様を検出することができる。また、エッジ強度のヒストグラムから白線の位置を検出する手法であるため、複雑な画像処理を行う必要がない。さらに、白線の画像特徴量を主要クラスタとしてクラスタ化し、主要クラスタに含まれる画像特徴量を有する位置を白線と認識することにより、汚れ等の多少の色変化があったとしても白線として高精度に認識することができる。

なお、図１０においてｓ１３〜ｓ２０で行った処理は、以下の様な例の処理に置き換えることも可能である。図１１は、他の例におけるグループ化処理を行った図、およびレーザレーダ装置２の処理部２２で検出した位置を画像上に投影した図である。図１２は、物体検出装置の他の例における動作を示すフローチャートである。なお、図１２に示すフローチャートにおいて、図１０と共通する処理については同一の符号を付し、その説明を省略する。

この例においては、レーザレーダ装置２の処理部２２において、先行車両を検出した後、当該車両位置の近傍に白線の特徴を示すデータが有るか否かを判断する（ｓ３１）。すなわち、図４に示したように、処理部２２は、緩やかで高い反射強度を示すものが有るか否かを判断する。車両位置の近傍に白線示す反射強度が無ければ、動作を終了する（次の計測まで待機する）。車両位置の近傍に白線示す反射強度が有る場合、当該白線の距離、走査方向を画像座標に変換し、カメラ１の処理部１２に送信する（ｓ３２）。そして、処理部１２では、白線の領域内で小矩形領域を設定する（ｓ３３）。その後は、上述のように、小矩形領域内の各画素のＲＧＢ値の平均値を求め、ＨＳＶ色座標系に変換し、全画素にて白線の認識を行う。

図１１および図１２に示した例では、レーザレーダ装置２により車両位置の近傍の白線を検出するため、さらに処理負荷を抑えることができる。

なお、本発明で検出する線模様は、本実施形態のように白線に限らず、黄色線、中央分離帯、道路と路側の境界線等、線模様であればどのようなものであってもよい。

物体検出装置を自動車に取り付けた例を示す図である。 カメラおよびレーザレーダ装置の構成を示すブロック図である。 レーザ光を走査している様子を示す図である。 先行車両と路面にレーザ光を走査した場合の発光強度と受光強度の関係を示す図である。 反射強度の分布、およびレーザレーダ装置２の処理部２２で検出した位置を画像上に投影した図である。 カメラ１の処理部１２における画像処理を示した図である。 先行車両周辺で画像処理をすることを示した図である。 ＲＧＢをＨＳＶに変換し、主要クラスタとして集合化したことを示す図である。 全画素において、主要クラスタ内に含まれる画素だけを抽出した事を示す図である。 物体検出装置の動作を示すフローチャートである。 他の例におけるグループ化処理を行った図、およびレーザレーダ装置２の処理部２２で検出した位置を画像上に投影した図である。 物体検出装置の他の例における動作を示すフローチャートである。

Claims (5)

1. 前方に電磁波パルスを送信する電磁波パルス送信手段と、
   前記電磁波パルス送信手段が送信した電磁波パルスを走査する走査手段と、
   前記走査手段の走査角度を検出する走査角度検出手段と、
   前記電磁波パルス送信手段が送信した電磁波パルスについて、目標で反射した電磁波パルスを受信する反射波受信手段と、
   受信した電磁波パルスの強度、前記電磁波パルス送信手段が電磁波パルスを送信してから、前記反射波受信手段が反射した電磁波パルスを受信するまでの経過時間、および前記電磁波パルス送信手段が電磁波パルスを送信したときの前記走査角度検出手段が検出した走査角度に基づいて、前記電磁波パルスを反射した物体を検出する第１物体検出手段と、
   前記前方を撮影し、画像を出力する撮像手段と、
   前記撮像手段が出力した画像に基づいて、画像特徴量を算出する特徴量算出手段と、
   前記特徴量算出手段の算出結果に基づいて、前記画像内の物体の種類を検出する第２物体検出手段と、を備えた物体検出装置において、
   前記第１物体検出手段が車両を検出した場合に、検出した車両の周囲に前記第２物体検出手段が線模様を検出したか否かを判定する線模様判定手段と、
   検出した前記線模様の位置を検出する第１線模様位置検出手段と、
   前記第１線模様位置検出手段が検出した位置において前記画像特徴量を抽出する線模様特徴量算出手段と、
   前記線模様特徴量算出手段が算出した画像特徴量に一致する画像特徴量を有する前記画像の位置を線模様として検出する第２線模様位置検出手段と、
   を備えた物体検出装置。
2. 前方に電磁波パルスを送信する電磁波パルス送信手段と、
   前記電磁波パルス送信手段が送信した電磁波パルスを走査する走査手段と、
   前記走査手段の走査角度を検出する走査角度検出手段と、
   前記電磁波パルス送信手段が送信した電磁波パルスについて、目標で反射した電磁波パルスを受信する反射波受信手段と、
   受信した電磁波パルスの強度、前記電磁波パルス送信手段が電磁波パルスを送信してから、前記反射波受信手段が反射した電磁波パルスを受信するまでの経過時間、および前記電磁波パルス送信手段が電磁波パルスを送信したときの前記走査角度検出手段が検出した走査角度に基づいて、前記電磁波パルスを反射した物体を検出する第１物体検出手段と、
   前記前方を撮影し、画像を出力する撮像手段と、
   前記撮像手段が出力した画像に基づいて、画像特徴量を算出する特徴量算出手段と、
   前記特徴量算出手段の算出結果に基づいて、前記画像内の物体の種類を検出する第２物体検出手段と、を備えた物体検出装置において、
   前記第１物体検出手段が車両を検出した場合に、検出した車両の周囲に前記第１物体検出手段が線模様を検出したか否かを判定する線模様判定手段と、
   検出した前記線模様の位置を検出する第１線模様位置検出手段と、
   前記第１線模様位置検出手段が検出した位置において前記画像特徴量を抽出する線模様特徴量算出手段と、
   前記線模様特徴量算出手段が算出した画像特徴量に一致する画像特徴量を有する前記画像の位置を線模様として検出する第２線模様位置検出手段と、
   を備えた物体検出装置。
3. 前記第１線模様位置検出手段は、前記撮像手段が出力した画像の消失点から放射方向のエッジ強度のヒストグラムを算出することにより、前記線模様の位置を検出する請求項１に記載の物体検出装置。
4. 前記第２線模様位置検出手段は、類似する画像特徴量を有する位置を集合として分類し、当該集合に含まれる画像特徴量を有する前記画像の位置を線模様として検出する請求項１、または請求項３に記載の物体検出装置。
5. 前記第２線模様位置検出手段は、類似する画像特徴量を有する位置を集合として分類し、当該集合に含まれる画像特徴量を有する前記画像の位置を線模様として検出する請求項２に記載の物体検出装置。

Images