JP2003315458A - 前方車両の認識装置及び認識方法 - Google Patents
前方車両の認識装置及び認識方法Info
- Publication number
- JP2003315458A JP2003315458A JP2002120023A JP2002120023A JP2003315458A JP 2003315458 A JP2003315458 A JP 2003315458A JP 2002120023 A JP2002120023 A JP 2002120023A JP 2002120023 A JP2002120023 A JP 2002120023A JP 2003315458 A JP2003315458 A JP 2003315458A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- laser radar
- distance
- projection image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
(57)【要約】
【課題】前方車両を非常に簡単に認識できる認識装置及
び認識方法を提供する。 【解決手段】ＣＰＵにより、レーザレーダモジュールに
よる反射点データが取り込まれると共に（Ｓ１）、カメ
ラモジュールによる撮像画像が取り込まれて前方車両候
補としての矩形領域が抽出され（Ｓ２）、上記したよう
に、抽出された矩形領域とレーザレーダモジュールの検
出範囲との重複部分について逆投影画像が形成され（Ｓ
３）、自車からレーザレーダモジュールによる各反射点
を結ぶ反射線までの距離と、自車から逆投影画像までの
距離とのずれが、所定誤差範囲内であるかどうか判断さ
れて、その逆投影画像が前方車両であるかどうかの認識
が行われる（Ｓ４）。
び認識方法を提供する。 【解決手段】ＣＰＵにより、レーザレーダモジュールに
よる反射点データが取り込まれると共に（Ｓ１）、カメ
ラモジュールによる撮像画像が取り込まれて前方車両候
補としての矩形領域が抽出され（Ｓ２）、上記したよう
に、抽出された矩形領域とレーザレーダモジュールの検
出範囲との重複部分について逆投影画像が形成され（Ｓ
３）、自車からレーザレーダモジュールによる各反射点
を結ぶ反射線までの距離と、自車から逆投影画像までの
距離とのずれが、所定誤差範囲内であるかどうか判断さ
れて、その逆投影画像が前方車両であるかどうかの認識
が行われる（Ｓ４）。
Description
【０００１】
【発明の属する技術分野】この発明は、自車の前方を走
行する車両を認識する前方車両の認識装置及び認識方法
に関する。
行する車両を認識する前方車両の認識装置及び認識方法
に関する。
【０００２】
【従来の技術】一般に、自車の走行中に、自車に搭載し
た撮像手段により前方を撮像して得られる画像を処理
し、自車の前方を走行する前方車両を自動的に検出し、
前方車両との車間距離を所定距離に保持すべくスロット
ルバルブやブレーキを自動制御することが行われてお
り、例えば車間距離が所定距離より大きければスロット
ルバルブを開いて加速し、車間距離が所定距離より小さ
ければスロットルバルブを閉じたりブレーキを強制作動
して減速するのである。
た撮像手段により前方を撮像して得られる画像を処理
し、自車の前方を走行する前方車両を自動的に検出し、
前方車両との車間距離を所定距離に保持すべくスロット
ルバルブやブレーキを自動制御することが行われてお
り、例えば車間距離が所定距離より大きければスロット
ルバルブを開いて加速し、車間距離が所定距離より小さ
ければスロットルバルブを閉じたりブレーキを強制作動
して減速するのである。
【０００３】ところで、画像処理の結果、前方車両であ
るかどうかを判断する手法のひとつに、従来、テンプレ
ートマッチングと称される手法があり、これは撮像手段
による入力画像を走査線方向に順次スキャンし、予め参
照すべき車両を撮像してメモリに格納されている参照画
像（テンプレート）と一致する領域が存在するかどうか
を判断するものである。このとき、参照画像（テンプレ
ート）はすべての車種について予め取得しておく必要が
ある。
るかどうかを判断する手法のひとつに、従来、テンプレ
ートマッチングと称される手法があり、これは撮像手段
による入力画像を走査線方向に順次スキャンし、予め参
照すべき車両を撮像してメモリに格納されている参照画
像（テンプレート）と一致する領域が存在するかどうか
を判断するものである。このとき、参照画像（テンプレ
ート）はすべての車種について予め取得しておく必要が
ある。
【０００４】
【発明が解決しようとする課題】しかし、従来のテンプ
レートマッチング法の場合、入力画像をスキャンしてメ
モリの各参照画像と照合しなければならず、照合作業に
多くの時間がかかるという問題点があった。更に、前方
車両を一旦見失ってしまうと、再度入力画像を最初から
スキャンして参照画像と照合し直す必要があり、極めて
煩雑になる。
レートマッチング法の場合、入力画像をスキャンしてメ
モリの各参照画像と照合しなければならず、照合作業に
多くの時間がかかるという問題点があった。更に、前方
車両を一旦見失ってしまうと、再度入力画像を最初から
スキャンして参照画像と照合し直す必要があり、極めて
煩雑になる。
【０００５】また、異なる車種毎に参照画像（テンプレ
ート）を準備してこれらをメモリに格納しておかなくて
はならず、メモリとして容量の大きなものが必要にな
り、しかも新しい車種が登場する度に参照画像（テンプ
レート）を準備しなくてはならず、非常に手間がかかる
という問題点もあった。
ート）を準備してこれらをメモリに格納しておかなくて
はならず、メモリとして容量の大きなものが必要にな
り、しかも新しい車種が登場する度に参照画像（テンプ
レート）を準備しなくてはならず、非常に手間がかかる
という問題点もあった。
【０００６】そこで、本発明は、前方車両を非常に簡単
に認識できる認識装置及び認識方法を提供することを目
的とする。
に認識できる認識装置及び認識方法を提供することを目
的とする。
【０００７】
【課題を解決するための手段】上記した目的を達成する
ために、本発明にかかる前方車両の認識装置は、自車の
前方を走行する車両を認識する前方車両の認識装置にお
いて、自車前方にレーザ光を水平方向にスキャンしつつ
照射すると共に反射点からの反射光を受光し複数個の前
記反射点の位置を特定するレーザレーダと、自車の前方
を撮像する撮像部と、前記撮像部による撮像画像から前
方車両候補の画像を含む所定の矩形領域を抽出して透視
変換により逆投影画像を形成する画像処理部と、前記レ
ーザレーダにより特定された前記各反射点と、前記画像
処理部により形成された前記逆投影画像とを照合して前
方車両を認識する認識部とを備えていることを特徴とし
ている（請求項１）。
ために、本発明にかかる前方車両の認識装置は、自車の
前方を走行する車両を認識する前方車両の認識装置にお
いて、自車前方にレーザ光を水平方向にスキャンしつつ
照射すると共に反射点からの反射光を受光し複数個の前
記反射点の位置を特定するレーザレーダと、自車の前方
を撮像する撮像部と、前記撮像部による撮像画像から前
方車両候補の画像を含む所定の矩形領域を抽出して透視
変換により逆投影画像を形成する画像処理部と、前記レ
ーザレーダにより特定された前記各反射点と、前記画像
処理部により形成された前記逆投影画像とを照合して前
方車両を認識する認識部とを備えていることを特徴とし
ている（請求項１）。
【０００８】このような構成によれば、レーザレーダに
より特定された各反射点と、画像処理部により形成され
た逆投影画像とが照合され、このとき画像処理部により
逆投影画像を形成すると、自車から前方車両までの距離
がわかることから、レーザレーダによる各反射点までの
距離との比較によって、逆投影画像に対応する前方車両
候補が本当に前方車両であるかどうか、照合結果に基づ
いて容易に判断することができる。
より特定された各反射点と、画像処理部により形成され
た逆投影画像とが照合され、このとき画像処理部により
逆投影画像を形成すると、自車から前方車両までの距離
がわかることから、レーザレーダによる各反射点までの
距離との比較によって、逆投影画像に対応する前方車両
候補が本当に前方車両であるかどうか、照合結果に基づ
いて容易に判断することができる。
【０００９】また、本発明にかかる前方車両の認識装置
は、前記認識部が、自車から前記各反射点を結ぶ反射線
までの距離と、自車から前記逆投影画像までの距離とを
比較し、両者のずれが所定誤差範囲内であるときに前記
逆投影画像は前方車両であると判断することを特徴して
いる（請求項２）。
は、前記認識部が、自車から前記各反射点を結ぶ反射線
までの距離と、自車から前記逆投影画像までの距離とを
比較し、両者のずれが所定誤差範囲内であるときに前記
逆投影画像は前方車両であると判断することを特徴して
いる（請求項２）。
【００１０】このような構成によれば、レーザレーダは
一般的に測距センサとして用いられることが多く、自車
からレーザレーダによる各反射点を結ぶ反射線までの距
離はある程度正確であることから、自車から画像処理部
による逆投影画像までの距離がレーザレーダによる反射
線までの距離に対して所定誤差範囲内しかずれていなけ
れば、その逆投影画像は前方車両であると判断すること
ができ、前方車両を非常に容易に認識することができ
る。
一般的に測距センサとして用いられることが多く、自車
からレーザレーダによる各反射点を結ぶ反射線までの距
離はある程度正確であることから、自車から画像処理部
による逆投影画像までの距離がレーザレーダによる反射
線までの距離に対して所定誤差範囲内しかずれていなけ
れば、その逆投影画像は前方車両であると判断すること
ができ、前方車両を非常に容易に認識することができ
る。
【００１１】また、本発明にかかる前方車両の認識装置
は、前記画像処理部が、前記撮像部による撮像画像に対
して所定の注視領域を設定しその注視領域における各画
素の濃淡からＸ方向へのエッジヒストグラム、これに直
交するＹ方向へのエッジヒストグラム、及び両方向への
エッジヒストグラムの積を演算してその極大点を導出す
ることで前方車両候補としての前記矩形領域を抽出し、
抽出した前記矩形領域と前記レーザレーダの検出範囲と
の重複部分について透視変換により前記逆投影画像を形
成することを特徴としている（請求項３）。
は、前記画像処理部が、前記撮像部による撮像画像に対
して所定の注視領域を設定しその注視領域における各画
素の濃淡からＸ方向へのエッジヒストグラム、これに直
交するＹ方向へのエッジヒストグラム、及び両方向への
エッジヒストグラムの積を演算してその極大点を導出す
ることで前方車両候補としての前記矩形領域を抽出し、
抽出した前記矩形領域と前記レーザレーダの検出範囲と
の重複部分について透視変換により前記逆投影画像を形
成することを特徴としている（請求項３）。
【００１２】このような構成によれば、エッジヒストグ
ラムから車両候補としての矩形領域を抽出するときに、
車両以外を排除して前方車両候補としての矩形領域を精
度よく抽出することができ、抽出した矩形領域とレーザ
レーダの検出範囲との重複部分について逆投影画像を形
成することにより、照合すべき反射点及び逆投影画像の
範囲をほぼ同じにすることができて、容易にかつ高精度
に照合することができる。
ラムから車両候補としての矩形領域を抽出するときに、
車両以外を排除して前方車両候補としての矩形領域を精
度よく抽出することができ、抽出した矩形領域とレーザ
レーダの検出範囲との重複部分について逆投影画像を形
成することにより、照合すべき反射点及び逆投影画像の
範囲をほぼ同じにすることができて、容易にかつ高精度
に照合することができる。
【００１３】また、本発明にかかる前方車両の認識方法
は、レーザレーダにより、自車前方にレーザ光を水平方
向にスキャンしつつ照射すると共に反射点からの反射光
を受光し複数個の前記反射点までの距離を検出して前記
各反射点の位置を特定する測距工程と、撮像部により自
車前方を撮像する撮像工程と、前記撮像工程による撮像
画像を画像処理して前方車両の後端面画像を含む所定の
矩形領域を抽出する抽出工程と、前記抽出工程により抽
出された前記矩形領域を透視変換により逆投影画像を形
成する逆変換工程と、前記測距工程により特定された前
記各反射点と、前記逆変換工程により形成された前記逆
投影画像とを照合して前方車両を認識する認識工程とを
備えていることを特徴としている（請求項４）。
は、レーザレーダにより、自車前方にレーザ光を水平方
向にスキャンしつつ照射すると共に反射点からの反射光
を受光し複数個の前記反射点までの距離を検出して前記
各反射点の位置を特定する測距工程と、撮像部により自
車前方を撮像する撮像工程と、前記撮像工程による撮像
画像を画像処理して前方車両の後端面画像を含む所定の
矩形領域を抽出する抽出工程と、前記抽出工程により抽
出された前記矩形領域を透視変換により逆投影画像を形
成する逆変換工程と、前記測距工程により特定された前
記各反射点と、前記逆変換工程により形成された前記逆
投影画像とを照合して前方車両を認識する認識工程とを
備えていることを特徴としている（請求項４）。
【００１４】このような構成によれば、測距工程でレー
ザレーダにより特定された各反射点と、逆変換工程で形
成された逆投影画像とが照合される。このとき、逆投影
画像を形成すると、自車から前方車両までの距離がわか
ることから、レーザレーダによる各反射点までの距離と
の比較によって、逆投影画像に対応する前方車両候補が
本当に前方車両であるかどうか、照合結果に基づいて容
易に判断することができる。
ザレーダにより特定された各反射点と、逆変換工程で形
成された逆投影画像とが照合される。このとき、逆投影
画像を形成すると、自車から前方車両までの距離がわか
ることから、レーザレーダによる各反射点までの距離と
の比較によって、逆投影画像に対応する前方車両候補が
本当に前方車両であるかどうか、照合結果に基づいて容
易に判断することができる。
【００１５】また、本発明にかかる前方車両の認識方法
は、前記認識工程が、自車から前記各反射点を結ぶ反射
線までの距離と、自車から前記逆投影画像までの距離と
を比較し、両者のずれが所定誤差範囲内であるときに前
記逆投影画像は前方車両であると判断する工程を含むこ
とを特徴としている（請求項５）。
は、前記認識工程が、自車から前記各反射点を結ぶ反射
線までの距離と、自車から前記逆投影画像までの距離と
を比較し、両者のずれが所定誤差範囲内であるときに前
記逆投影画像は前方車両であると判断する工程を含むこ
とを特徴としている（請求項５）。
【００１６】このような構成によれば、レーザレーダは
一般的に測距センサとして用いられ、自車からレーザレ
ーダによる各反射点を結ぶ反射線までの距離はある程度
正確であることから、自車から逆投影画像までの距離が
レーザレーダによる反射線までの距離に対して所定誤差
範囲内しかずれていなければ、その逆投影画像は前方車
両であると判断することができ、前方車両を非常に容易
に認識することができる。
一般的に測距センサとして用いられ、自車からレーザレ
ーダによる各反射点を結ぶ反射線までの距離はある程度
正確であることから、自車から逆投影画像までの距離が
レーザレーダによる反射線までの距離に対して所定誤差
範囲内しかずれていなければ、その逆投影画像は前方車
両であると判断することができ、前方車両を非常に容易
に認識することができる。
【００１７】また、本発明にかかる前方車両の認識方法
は、前記画像処理工程が、前記撮像工程による撮像画像
に対して所定の注視領域を設定し、その注視領域におけ
る各画素の濃淡からＸ方向へのエッジヒストグラム、こ
れに直交するＹ方向へのエッジヒストグラム、及び両方
向へのエッジヒストグラムの積を演算してその極大点を
導出することで、前方車両候補としての前記矩形領域を
抽出し、抽出した前記矩形領域と前記レーザレーダの検
出範囲との重複部分について透視変換により前記逆投影
画像を形成する工程を含むことを特徴としている（請求
項６）。
は、前記画像処理工程が、前記撮像工程による撮像画像
に対して所定の注視領域を設定し、その注視領域におけ
る各画素の濃淡からＸ方向へのエッジヒストグラム、こ
れに直交するＹ方向へのエッジヒストグラム、及び両方
向へのエッジヒストグラムの積を演算してその極大点を
導出することで、前方車両候補としての前記矩形領域を
抽出し、抽出した前記矩形領域と前記レーザレーダの検
出範囲との重複部分について透視変換により前記逆投影
画像を形成する工程を含むことを特徴としている（請求
項６）。
【００１８】このような構成によれば、画像処理工程に
おいて、エッジヒストグラムから車両候補としての矩形
領域を抽出するときに、車両以外を排除して前方車両候
補としての矩形領域を精度よく抽出することができ、抽
出した矩形領域とレーザレーダの検出範囲との重複部分
について逆投影画像を形成することにより、照合すべき
反射点及び逆投影画像の範囲をほぼ同じにすることがで
きて、容易にかつ高精度に照合することができる。
おいて、エッジヒストグラムから車両候補としての矩形
領域を抽出するときに、車両以外を排除して前方車両候
補としての矩形領域を精度よく抽出することができ、抽
出した矩形領域とレーザレーダの検出範囲との重複部分
について逆投影画像を形成することにより、照合すべき
反射点及び逆投影画像の範囲をほぼ同じにすることがで
きて、容易にかつ高精度に照合することができる。
【００１９】
【発明の実施の形態】この発明の一実施形態について図
１ないし図７を参照して説明する。但し、図１はブロッ
ク図、図２ないし図６は動作説明図、図７は動作説明用
フローチャートである。
１ないし図７を参照して説明する。但し、図１はブロッ
ク図、図２ないし図６は動作説明図、図７は動作説明用
フローチャートである。
【００２０】図１に示すように、スキャンレーザレー
ダ、そのスキャニング機構及び受光器から成るレーザレ
ーダモジュール１、及び、撮像部である単眼ＣＣＤカメ
ラから成る撮像部としてのＣＣＤカメラモジュール２が
自車に搭載され、レーザレーダモジュール１により、自
車前方にレーザ光が水平方向にスキャンされつつ照射さ
れ、反射点からの反射光が受光されて複数個の反射点ま
での距離が測定されて各々の位置が特定され、カメラモ
ジュール２により自車の前方が撮像され、レーザレーダ
モジュール１により特定された反射点データ、及び、カ
メラモジュール２により得られた撮像画像がＣＰＵ３に
よりＲＡＭ等から成るメモリ４に保存される。尚、他の
メモリを設けておき、レーザレーダモジュール１による
データと、カメラモジュール２によるデータを各々異な
るメモリに保存してもよい。
ダ、そのスキャニング機構及び受光器から成るレーザレ
ーダモジュール１、及び、撮像部である単眼ＣＣＤカメ
ラから成る撮像部としてのＣＣＤカメラモジュール２が
自車に搭載され、レーザレーダモジュール１により、自
車前方にレーザ光が水平方向にスキャンされつつ照射さ
れ、反射点からの反射光が受光されて複数個の反射点ま
での距離が測定されて各々の位置が特定され、カメラモ
ジュール２により自車の前方が撮像され、レーザレーダ
モジュール１により特定された反射点データ、及び、カ
メラモジュール２により得られた撮像画像がＣＰＵ３に
よりＲＡＭ等から成るメモリ４に保存される。尚、他の
メモリを設けておき、レーザレーダモジュール１による
データと、カメラモジュール２によるデータを各々異な
るメモリに保存してもよい。
【００２１】このとき、レーザレーダモジュール１及び
カメラモジュール２の座標系の関係は、例えば図２に示
すように設定する。つまり、図２に示すように、カメラ
座標系は、レンズ中心を原点としてカメラ光軸をＺ軸に
とり、画像面上でのｘ軸、ｙ軸に平行にＸ軸、Ｙ軸をと
る。
カメラモジュール２の座標系の関係は、例えば図２に示
すように設定する。つまり、図２に示すように、カメラ
座標系は、レンズ中心を原点としてカメラ光軸をＺ軸に
とり、画像面上でのｘ軸、ｙ軸に平行にＸ軸、Ｙ軸をと
る。
【００２２】また、レーザレーダ座標系は、受光器を原
点、レーザ光軸をＺR 軸にとり、鉛直方向にＹR 軸、水
平方向にＸR 軸を設定する。ＸR ＹR ＺR 座標系からＸ
ＹＺ座標系へは、回転ベクトルω、並進ベクトルＴの合
成行列ωＴによって変換可能である。但し、合成行列ω
Ｔは予めキャリブレーションを行っており、既知であ
る。
点、レーザ光軸をＺR 軸にとり、鉛直方向にＹR 軸、水
平方向にＸR 軸を設定する。ＸR ＹR ＺR 座標系からＸ
ＹＺ座標系へは、回転ベクトルω、並進ベクトルＴの合
成行列ωＴによって変換可能である。但し、合成行列ω
Ｔは予めキャリブレーションを行っており、既知であ
る。
【００２３】ところで、レーザレーダモジュール１は、
自車の前方にレーザ光を照射し、その際スキャニング機
構により所定角度（例えば０．１゜）ずつレーザ光が水
平方向にスキャンされ、自車前方の対象物からの反射光
が受光器により受光されてレーザ光の照射から反射光の
受光までの時間から、自車と同一車線を走行する先行車
との車間距離が検出されるようになっている。このよう
な１回の車間距離の検出処理に要する時間は、約１００
ｍｓ程度の短い時間であり、この検出動作が一定時間毎
に繰り返される。
自車の前方にレーザ光を照射し、その際スキャニング機
構により所定角度（例えば０．１゜）ずつレーザ光が水
平方向にスキャンされ、自車前方の対象物からの反射光
が受光器により受光されてレーザ光の照射から反射光の
受光までの時間から、自車と同一車線を走行する先行車
との車間距離が検出されるようになっている。このよう
な１回の車間距離の検出処理に要する時間は、約１００
ｍｓ程度の短い時間であり、この検出動作が一定時間毎
に繰り返される。
【００２４】一方、カメラモジュール２により撮像され
た自車前方の画像がＣＰＵ３により処理され、図３に示
すように、撮像画像に対して水平方向に長い矩形の垂直
注視領域Ｖが設定され、垂直注視領域Ｖの濃度が垂直方
向に投影されて垂直線分が抽出され、その中で対称性を
示す極大点の組が選ばれ、それが車両の両端候補とされ
る。更に、極大点の組の中央に位置する座標に水平注視
領域Ｈが設定され、同様にして水平線分が抽出され、多
数観測されればそれが前方車両候補としての矩形領域と
して抽出される。
た自車前方の画像がＣＰＵ３により処理され、図３に示
すように、撮像画像に対して水平方向に長い矩形の垂直
注視領域Ｖが設定され、垂直注視領域Ｖの濃度が垂直方
向に投影されて垂直線分が抽出され、その中で対称性を
示す極大点の組が選ばれ、それが車両の両端候補とされ
る。更に、極大点の組の中央に位置する座標に水平注視
領域Ｈが設定され、同様にして水平線分が抽出され、多
数観測されればそれが前方車両候補としての矩形領域と
して抽出される。
【００２５】そして、ＣＰＵ３は、抽出した前方車両候
補としての矩形領域と、レーザレーダモジュール１の検
出範囲との重複部分、例えば図４中の斜線を施した範囲
がレーザレーダモジュール１の検出範囲であるとする
と、図４中の矩形で囲む矩形領域と斜線を施した範囲と
の重複する部分について、透視変換処理を行い、例えば
図５に示すような逆投影画像を形成する。このようなＣ
ＰＵ３による矩形領域の抽出処理及び逆投影画像の形成
処理が、本発明における画像処理部に相当する。
補としての矩形領域と、レーザレーダモジュール１の検
出範囲との重複部分、例えば図４中の斜線を施した範囲
がレーザレーダモジュール１の検出範囲であるとする
と、図４中の矩形で囲む矩形領域と斜線を施した範囲と
の重複する部分について、透視変換処理を行い、例えば
図５に示すような逆投影画像を形成する。このようなＣ
ＰＵ３による矩形領域の抽出処理及び逆投影画像の形成
処理が、本発明における画像処理部に相当する。
【００２６】このとき、ＣＰＵ３は、ａ１〜ａ１１の各
パラメータを用いて、 Ｘ＝（ａ１ｘ＋ａ２ｙ＋ａ３ｚ＋ａ４）／（ａ９ｘ＋ａ
１０ｙ＋ａ１１ｚ＋１） Ｙ＝（ａ５ｘ＋ａ６ｙ＋ａ７ｚ＋ａ８）／（ａ９ｘ＋ａ
１０ｙ＋ａ１１ｚ＋１） で表わされる透視変換の式に従って、図５に示すよう
に、上記した重複部分を上方から見てＸ−Ｙ座標系によ
る２次元平面に投影した逆投影画像を形成する。ここ
で、ａ１〜ａ１１の１１個のパラメータを予めキャリブ
レーションで導出しておくことによって、ワールド座標
系とカメラ座標系との関係を一意的に決定することがで
き、レーザレーダモジュール１の検出範囲と一致するこ
とができる。
パラメータを用いて、 Ｘ＝（ａ１ｘ＋ａ２ｙ＋ａ３ｚ＋ａ４）／（ａ９ｘ＋ａ
１０ｙ＋ａ１１ｚ＋１） Ｙ＝（ａ５ｘ＋ａ６ｙ＋ａ７ｚ＋ａ８）／（ａ９ｘ＋ａ
１０ｙ＋ａ１１ｚ＋１） で表わされる透視変換の式に従って、図５に示すよう
に、上記した重複部分を上方から見てＸ−Ｙ座標系によ
る２次元平面に投影した逆投影画像を形成する。ここ
で、ａ１〜ａ１１の１１個のパラメータを予めキャリブ
レーションで導出しておくことによって、ワールド座標
系とカメラ座標系との関係を一意的に決定することがで
き、レーザレーダモジュール１の検出範囲と一致するこ
とができる。
【００２７】更に、ＣＰＵ３は、レーザレーダモジュー
ル１により特定された各反射点と、逆投影画像とを照合
して前方車両を認識する。一般的に、レーザレーダは測
距センサとして用いられることから、レーザレーダモジ
ュール１による各反射点を結ぶ反射線までの距離はある
程度正確であり、自車から逆投影画像までの距離が、自
車から各反射点を結ぶ反射線までの距離から予め定めら
れた所定誤差範囲内（例えば、０〜±１ｍ）しかずれて
いなければ、その逆投影画像は前方車両であると判断す
ることができる。
ル１により特定された各反射点と、逆投影画像とを照合
して前方車両を認識する。一般的に、レーザレーダは測
距センサとして用いられることから、レーザレーダモジ
ュール１による各反射点を結ぶ反射線までの距離はある
程度正確であり、自車から逆投影画像までの距離が、自
車から各反射点を結ぶ反射線までの距離から予め定めら
れた所定誤差範囲内（例えば、０〜±１ｍ）しかずれて
いなければ、その逆投影画像は前方車両であると判断す
ることができる。
【００２８】そこで、ＣＰＵ３は、図６に示すように、
自車からレーザレーダモジュール１により特定された各
反射点を結ぶ反射線までの距離と、自車から逆投影画像
までの距離とを比較し、両者のずれが所定誤差範囲内で
あるかどうかを判断し、所定誤差範囲内であればその逆
投影画像は前方車両であると判断して前方車両を認識
し、追従走行等に使用するのである。このようなＣＰＵ
３による認識処理が認識部に相当する。
自車からレーザレーダモジュール１により特定された各
反射点を結ぶ反射線までの距離と、自車から逆投影画像
までの距離とを比較し、両者のずれが所定誤差範囲内で
あるかどうかを判断し、所定誤差範囲内であればその逆
投影画像は前方車両であると判断して前方車両を認識
し、追従走行等に使用するのである。このようなＣＰＵ
３による認識処理が認識部に相当する。
【００２９】次に、動作について図７のフローチャート
を参照して説明する。図７に示すように、ＣＰＵ３によ
り、レーザレーダモジュール１による反射点データが取
り込まれると共に（Ｓ１）、カメラモジュール２による
撮像画像が取り込まれて前方車両候補としての矩形領域
が抽出され（Ｓ２）、上記したように、抽出された矩形
領域とレーザレーダモジュール１の検出範囲との重複部
分について逆投影画像が形成され（Ｓ３）、自車からレ
ーザレーダモジュール１による各反射点を結ぶ反射線ま
での距離と、自車から逆投影画像までの距離とのずれ
が、所定誤差範囲内であるかどうか判断されてその逆投
影画像が前方車両であるかどうかの認識が行われ（Ｓ
４）、その後動作は終了する。
を参照して説明する。図７に示すように、ＣＰＵ３によ
り、レーザレーダモジュール１による反射点データが取
り込まれると共に（Ｓ１）、カメラモジュール２による
撮像画像が取り込まれて前方車両候補としての矩形領域
が抽出され（Ｓ２）、上記したように、抽出された矩形
領域とレーザレーダモジュール１の検出範囲との重複部
分について逆投影画像が形成され（Ｓ３）、自車からレ
ーザレーダモジュール１による各反射点を結ぶ反射線ま
での距離と、自車から逆投影画像までの距離とのずれ
が、所定誤差範囲内であるかどうか判断されてその逆投
影画像が前方車両であるかどうかの認識が行われ（Ｓ
４）、その後動作は終了する。
【００３０】従って、上記した実施形態によれば、自車
からレーザレーダモジュール１による各反射点までの距
離と、自車から逆投影画像までの距離との比較によっ
て、逆投影画像に対応する前方車両候補が本当に前方車
両であるかどうかを容易に判断することができ、追従走
行の際に、先行車を見失っても簡単かつ迅速に先行車を
見つけることができる。
からレーザレーダモジュール１による各反射点までの距
離と、自車から逆投影画像までの距離との比較によっ
て、逆投影画像に対応する前方車両候補が本当に前方車
両であるかどうかを容易に判断することができ、追従走
行の際に、先行車を見失っても簡単かつ迅速に先行車を
見つけることができる。
【００３１】なお、上記した実施形態では、撮像部とし
てＣＣＤカメラから成るＣＣＤカメラモジュール２を使
用した場合について説明したが、撮像部はＣＣＤカメラ
モジュール２に限定されるものでないのは勿論である。
てＣＣＤカメラから成るＣＣＤカメラモジュール２を使
用した場合について説明したが、撮像部はＣＣＤカメラ
モジュール２に限定されるものでないのは勿論である。
【００３２】また、本発明は上記した実施形態に限定さ
れるものではなく、その趣旨を逸脱しない限りにおいて
上述したもの以外に種々の変更を行うことが可能であ
る。
れるものではなく、その趣旨を逸脱しない限りにおいて
上述したもの以外に種々の変更を行うことが可能であ
る。
【００３３】
【発明の効果】以上のように、請求項１、４に記載の発
明によれば、逆投影画像を形成することにより、自車か
ら前方車両までの距離がわかるため、レーザレーダによ
る各反射点までの距離との比較によって、逆投影画像に
対応する前方車両候補が本当に前方車両であるかどう
か、照合結果に基づいて容易に判断することが可能にな
る。
明によれば、逆投影画像を形成することにより、自車か
ら前方車両までの距離がわかるため、レーザレーダによ
る各反射点までの距離との比較によって、逆投影画像に
対応する前方車両候補が本当に前方車両であるかどう
か、照合結果に基づいて容易に判断することが可能にな
る。
【００３４】また、請求項２、５に記載の発明によれ
ば、レーザレーダは一般的に測距センサとして用いら
れ、レーザレーダによる各反射点を結ぶ反射線までの距
離はある程度正確であることから、自車から逆投影画像
までの距離がレーザレーダによる反射線までの距離から
所定誤差範囲内しかずれていなければ、その逆投影画像
は前方車両であると判断することができ、前方車両を非
常に容易に認識することが可能になる。
ば、レーザレーダは一般的に測距センサとして用いら
れ、レーザレーダによる各反射点を結ぶ反射線までの距
離はある程度正確であることから、自車から逆投影画像
までの距離がレーザレーダによる反射線までの距離から
所定誤差範囲内しかずれていなければ、その逆投影画像
は前方車両であると判断することができ、前方車両を非
常に容易に認識することが可能になる。
【００３５】また、請求項３、６に記載の発明によれ
ば、エッジヒストグラムから車両候補としての矩形領域
を抽出するときに、車両以外を排除して前方車両候補と
しての矩形領域を精度よく抽出することができ、抽出し
た矩形領域とレーザレーダの検出範囲との重複部分につ
いて逆投影画像を形成することにより、照合すべき反射
点及び逆投影画像の範囲をほぼ同じにすることができ
て、容易にかつ高精度に照合することが可能になる。
ば、エッジヒストグラムから車両候補としての矩形領域
を抽出するときに、車両以外を排除して前方車両候補と
しての矩形領域を精度よく抽出することができ、抽出し
た矩形領域とレーザレーダの検出範囲との重複部分につ
いて逆投影画像を形成することにより、照合すべき反射
点及び逆投影画像の範囲をほぼ同じにすることができ
て、容易にかつ高精度に照合することが可能になる。
【図１】この発明の一実施形態のブロック図である。
【図２】この発明の一実施形態の動作説明図である。
【図３】この発明の一実施形態の動作説明図である。
【図４】この発明の一実施形態の動作説明図である。
【図５】この発明の一実施形態の動作説明図である。
【図６】この発明の一実施形態の動作説明図である。
【図７】この発明の一実施形態の動作説明用フローチャ
ートである。
ートである。
１ レーザレーダモジュール（レーザレーダ）
２ ＣＣＤカメラモジュール（撮像部）
３ ＣＰＵ（画像処理部、認識部）
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｇ０８Ｇ 1/16 Ｇ０１Ｓ 17/88 Ａ
Ｆターム(参考） 2F065 AA06 CC11 DD06 FF04 GG04
JJ26 MM11 QQ24 QQ25 QQ31
QQ43
5B057 AA16 AA19 BA02 CE11 CH09
DA02 DA07 DA08 DA15 DB02
DB09 DC09 DC19 DC34
5H180 AA01 CC03 CC04 FF27 LL01
LL09
5J084 AA01 AA05 AB01 AC02 AD01
BA03 BA34 EA05 FA01
5L096 BA02 BA04 CA02 FA06 FA18
FA35
Claims (6)
- 【請求項１】 自車の前方を走行する車両を認識する前
方車両の認識装置において、 自車前方にレーザ光を水平方向にスキャンしつつ照射す
ると共に反射点からの反射光を受光し複数個の前記反射
点の位置を特定するレーザレーダと、 自車の前方を撮像する撮像部と、 前記撮像部による撮像画像から前方車両候補の画像を含
む所定の矩形領域を抽出して透視変換により逆投影画像
を形成する画像処理部と、 前記レーザレーダにより特定された前記各反射点と、前
記画像処理部により形成された前記逆投影画像とを照合
して前方車両を認識する認識部とを備えていることを特
徴とする前方車両の認識装置。 - 【請求項２】 前記認識部が、自車から前記各反射点を
結ぶ反射線までの距離と、自車から前記逆投影画像まで
の距離とを比較し、両者のずれが所定誤差範囲内である
ときに前記逆投影画像は前方車両であると判断すること
を特徴とする請求項１に記載の前方車両の認識装置。 - 【請求項３】 前記画像処理部が、前記撮像部による撮
像画像に対して所定の注視領域を設定しその注視領域に
おける各画素の濃淡からＸ方向へのエッジヒストグラ
ム、これに直交するＹ方向へのエッジヒストグラム、及
び両方向へのエッジヒストグラムの積を演算してその極
大点を導出することで前方車両候補としての前記矩形領
域を抽出し、抽出した前記矩形領域と前記レーザレーダ
の検出範囲との重複部分について透視変換により前記逆
投影画像を形成することを特徴とする請求項１または２
に記載の前方車両の認識装置。 - 【請求項４】 自車の前方を走行する車両を認識する前
方車両の認識方法において、 レーザレーダにより、自車前方にレーザ光を水平方向に
スキャンしつつ照射すると共に反射点からの反射光を受
光し複数個の前記反射点までの距離を検出して前記各反
射点の位置を特定する測距工程と、 撮像部により自車前方を撮像する撮像工程と、 前記撮像工程による撮像画像を画像処理して前方車両の
後端面画像を含む所定の矩形領域を抽出する抽出工程
と、 前記抽出工程により抽出された前記矩形領域を透視変換
により逆投影画像を形成する逆変換工程と、 前記測距工程により特定された前記各反射点と、前記逆
変換工程により形成された前記逆投影画像とを照合して
前方車両を認識する認識工程とを備えていることを特徴
とする前方車両の認識方法。 - 【請求項５】 前記認識工程が、自車から前記各反射点
を結ぶ反射線までの距離と、自車から前記逆投影画像ま
での距離とを比較し、両者のずれが所定誤差範囲内であ
るときに前記逆投影画像は前方車両であると判断する工
程を含むことを特徴とする請求項４に記載の前方車両の
認識方法。 - 【請求項６】 前記画像処理工程が、前記撮像工程によ
る撮像画像に対して所定の注視領域を設定し、その注視
領域における各画素の濃淡からＸ方向へのエッジヒスト
グラム、これに直交するＹ方向へのエッジヒストグラ
ム、及び両方向へのエッジヒストグラムの積を演算して
その極大点を導出することで、前方車両候補としての前
記矩形領域を抽出し、抽出した前記矩形領域と前記レー
ザレーダの検出範囲との重複部分について透視変換によ
り前記逆投影画像を形成する工程を含むことを特徴とす
る請求項４または５に記載の前方車両の認識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002120023A JP2003315458A (ja) | 2002-04-23 | 2002-04-23 | 前方車両の認識装置及び認識方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002120023A JP2003315458A (ja) | 2002-04-23 | 2002-04-23 | 前方車両の認識装置及び認識方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003315458A true JP2003315458A (ja) | 2003-11-06 |
Family
ID=29536368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002120023A Pending JP2003315458A (ja) | 2002-04-23 | 2002-04-23 | 前方車両の認識装置及び認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003315458A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101205565B1 (ko) | 2008-01-29 | 2012-11-27 | 주식회사 만도 | 영상을 이용한 전후방 차량 검출 방법 |
| JP2014150583A (ja) * | 2014-04-28 | 2014-08-21 | Rohm Co Ltd | 車両用監視装置 |
| CN109410578A (zh) * | 2018-11-09 | 2019-03-01 | 浙江浩腾电子科技股份有限公司 | 一种基于计算机视觉的交通路口断面车流量检测方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08156723A (ja) * | 1994-12-06 | 1996-06-18 | Nissan Motor Co Ltd | 車両用障害物検出装置 |
| JPH08329393A (ja) * | 1995-05-29 | 1996-12-13 | Daihatsu Motor Co Ltd | 先行車検出装置 |
| JPH0991595A (ja) * | 1995-09-25 | 1997-04-04 | Mitsubishi Motors Corp | 障害物認識装置 |
| JPH09145833A (ja) * | 1995-11-24 | 1997-06-06 | Toyota Motor Corp | 車載用走査レーダ装置 |
| JPH09264954A (ja) * | 1996-03-29 | 1997-10-07 | Fujitsu Ten Ltd | レーダを用いた画像処理システム |
| JP2001108434A (ja) * | 1999-10-13 | 2001-04-20 | Matsushita Electric Ind Co Ltd | 距離測定方法及び距離測定装置 |
| JP2002116255A (ja) * | 2000-10-06 | 2002-04-19 | Nissan Motor Co Ltd | 車間距離設定装置 |
| JP2003084064A (ja) * | 2001-09-12 | 2003-03-19 | Daihatsu Motor Co Ltd | 前方車両の認識装置及び認識方法 |
| JP2003099762A (ja) * | 2001-09-25 | 2003-04-04 | Daihatsu Motor Co Ltd | 前方車両認識装置及び認識方法 |
| JP2003172780A (ja) * | 2001-12-06 | 2003-06-20 | Daihatsu Motor Co Ltd | 前方車両の認識装置及び認識方法 |
-
2002
- 2002-04-23 JP JP2002120023A patent/JP2003315458A/ja active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08156723A (ja) * | 1994-12-06 | 1996-06-18 | Nissan Motor Co Ltd | 車両用障害物検出装置 |
| JPH08329393A (ja) * | 1995-05-29 | 1996-12-13 | Daihatsu Motor Co Ltd | 先行車検出装置 |
| JPH0991595A (ja) * | 1995-09-25 | 1997-04-04 | Mitsubishi Motors Corp | 障害物認識装置 |
| JPH09145833A (ja) * | 1995-11-24 | 1997-06-06 | Toyota Motor Corp | 車載用走査レーダ装置 |
| JPH09264954A (ja) * | 1996-03-29 | 1997-10-07 | Fujitsu Ten Ltd | レーダを用いた画像処理システム |
| JP2001108434A (ja) * | 1999-10-13 | 2001-04-20 | Matsushita Electric Ind Co Ltd | 距離測定方法及び距離測定装置 |
| JP2002116255A (ja) * | 2000-10-06 | 2002-04-19 | Nissan Motor Co Ltd | 車間距離設定装置 |
| JP2003084064A (ja) * | 2001-09-12 | 2003-03-19 | Daihatsu Motor Co Ltd | 前方車両の認識装置及び認識方法 |
| JP2003099762A (ja) * | 2001-09-25 | 2003-04-04 | Daihatsu Motor Co Ltd | 前方車両認識装置及び認識方法 |
| JP2003172780A (ja) * | 2001-12-06 | 2003-06-20 | Daihatsu Motor Co Ltd | 前方車両の認識装置及び認識方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101205565B1 (ko) | 2008-01-29 | 2012-11-27 | 주식회사 만도 | 영상을 이용한 전후방 차량 검출 방법 |
| JP2014150583A (ja) * | 2014-04-28 | 2014-08-21 | Rohm Co Ltd | 車両用監視装置 |
| CN109410578A (zh) * | 2018-11-09 | 2019-03-01 | 浙江浩腾电子科技股份有限公司 | 一种基于计算机视觉的交通路口断面车流量检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7133572B2 (en) | Fast two dimensional object localization based on oriented edges | |
| US5081689A (en) | Apparatus and method for extracting edges and lines | |
| JP4426436B2 (ja) | 車両検知装置 | |
| JP4042780B2 (ja) | 物体認識方法、物体認識用のプログラムならびにその記憶媒体、および物体認識装置 | |
| JP2003084064A (ja) | 前方車両の認識装置及び認識方法 | |
| US20050008220A1 (en) | Method, apparatus, and program for processing stereo image | |
| JP2001004368A (ja) | 物体認識装置 | |
| CN110826512B (zh) | 地面障碍物检测方法、设备及计算机可读存储介质 | |
| JPH08329393A (ja) | 先行車検出装置 | |
| JP2003099762A (ja) | 前方車両認識装置及び認識方法 | |
| US20210394761A1 (en) | Method and Processing Unit for Determining Information With Respect to an Object in an Environment of a Vehicle | |
| JP2006012178A (ja) | 駐車車両検知方法及び駐車車両検知システム | |
| JP2007121111A (ja) | 合成開口レーダ画像による目標物識別方法及び装置 | |
| CN114118253B (zh) | 一种基于多源数据融合的车辆检测方法及检测装置 | |
| JP4767052B2 (ja) | 光軸ずれ検出装置 | |
| JP2003136465A (ja) | 検出対象物の３次元位置・姿勢決定方法とロボット用視覚センサ | |
| JP2003172780A (ja) | 前方車両の認識装置及び認識方法 | |
| JP2007233440A (ja) | 車載用画像処理装置 | |
| JP2005156199A (ja) | 車両検知方法及び車両検知装置 | |
| JP4817384B2 (ja) | 移動物体検出装置及び移動物体検出装置用プログラム | |
| JP2006177937A (ja) | 距離計測装置及び距離計測方法 | |
| JPH11345336A (ja) | 障害物検出装置 | |
| Otepka et al. | Algorithm developments for automated off-line vision metrology | |
| JP2003315458A (ja) | 前方車両の認識装置及び認識方法 | |
| JP3969984B2 (ja) | 移動物体の認識方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060502 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060601 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060725 |