JP2008276689A - 車両用障害物認識装置 - Google Patents
車両用障害物認識装置 Download PDFInfo
- Publication number
- JP2008276689A JP2008276689A JP2007122473A JP2007122473A JP2008276689A JP 2008276689 A JP2008276689 A JP 2008276689A JP 2007122473 A JP2007122473 A JP 2007122473A JP 2007122473 A JP2007122473 A JP 2007122473A JP 2008276689 A JP2008276689 A JP 2008276689A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- obstacle
- output
- image
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
【課題】自車に対する周辺物体の相対位置や相対速度を計測するセンサと、単眼カメラとを用いる場合にも、障害物を認識することができる車両用障害物認識装置を得る。
【解決手段】センサからの出力により、障害物を判定し、警報出力及び障害物回避を行うＣＰＵ１３０は、ミリ波レーダ１１０からの出力を演算する物体情報演算手段１３１と、カメラ１２０からの画像を取得し、画像処理する画像処理手段１３４と、車両の運転状態を取得する車両情報取得手段１３３と、少なくとも物体情報演算手段１３１及び車両情報取得手段１３３の出力に基づき、障害物を判定する障害物判定手段１３５と、この障害物判定手段１３５での判定に画像処理手段１３４の出力を用いるかどうかを判定する有効性判断手段１３８とから構成されている。
【選択図】図１
【解決手段】センサからの出力により、障害物を判定し、警報出力及び障害物回避を行うＣＰＵ１３０は、ミリ波レーダ１１０からの出力を演算する物体情報演算手段１３１と、カメラ１２０からの画像を取得し、画像処理する画像処理手段１３４と、車両の運転状態を取得する車両情報取得手段１３３と、少なくとも物体情報演算手段１３１及び車両情報取得手段１３３の出力に基づき、障害物を判定する障害物判定手段１３５と、この障害物判定手段１３５での判定に画像処理手段１３４の出力を用いるかどうかを判定する有効性判断手段１３８とから構成されている。
【選択図】図１
Description
この発明は、車両に搭載され、自車に対する周辺物体の相対位置や相対速度を計測するセンサと、周辺を撮像する画像センサを用いて、障害物を認識する車両用障害物認識装置に関するものである。
車両に搭載される車両の自動走行制御装置や衝突被害軽減装置などでは、自車に対する周辺物体の相対位置や相対速度を計測するセンサ単体で構成された従来のシステムの性能向上のため、画像センサとフュージョンするものが増えてきている。
このようなシステムでは、両センサの出力する結果が異なるケースが発生するため、従来のシステムの性能を維持しつつ、フュージョンによる効果を得ることが必要である。
特に、安価で構成可能な単眼カメラを画像センサとして用いるものでは、立体物の識別が困難であるため、フュージョンに関する技術は重要になってくる。
このようなシステムでは、両センサの出力する結果が異なるケースが発生するため、従来のシステムの性能を維持しつつ、フュージョンによる効果を得ることが必要である。
特に、安価で構成可能な単眼カメラを画像センサとして用いるものでは、立体物の識別が困難であるため、フュージョンに関する技術は重要になってくる。
自車に対する周辺物体の相対位置や相対速度を計測するセンサと、単眼カメラとのフュージョン技術に関するものには、例えば、特許文献１に示すように、レーザーレーダの検出結果による車両候補群と、カメラの先行車認識結果による先行車両に相当する矩形領域を比較し、レーザーレーダの検出結果による車両候補群と、単眼カメラの先行車認識結果による先行車両に相当する矩形領域が重なる部分を先行車の存在する領域と判断するものがある。
または、特許文献２に示すように、レーザーレーダで検出した車両幅と、カメラの先行車認識により検出した車両幅のうち、短い方を選択するものがある。
または、特許文献２に示すように、レーザーレーダで検出した車両幅と、カメラの先行車認識により検出した車両幅のうち、短い方を選択するものがある。
しかしながら、特許文献１、２では、単眼カメラが立体物を認識できないために、物体同士が重なった場合や、対象が停止物である場合の検出が非常に困難で、誤検出を起こしやすいという問題がある。
このため、折角、単眼カメラシステムを加味しても、レーザーレーダやミリ波レーダなどのセンサ単体で構成するシステムに対し、衝突被害軽減装置などにおいては、制御介入が適切に行われない場合があり、不要な制御介入（誤作動）が発生する場合がある。
また、特許文献２によれば、常に、レーザーレーダで検出した車両幅とカメラの先行車認識により検出した車両幅のうち、短い方を選択するために、カメラによる検出結果が誤った場合で、レーザーレーダが正しく検出しているような場合（例えば、カメラが後方ウインドウやナンバープレートなど車両の一部をエッジとして選択している場合）に、制御介入が遅れる可能性がある。
このため、折角、単眼カメラシステムを加味しても、レーザーレーダやミリ波レーダなどのセンサ単体で構成するシステムに対し、衝突被害軽減装置などにおいては、制御介入が適切に行われない場合があり、不要な制御介入（誤作動）が発生する場合がある。
また、特許文献２によれば、常に、レーザーレーダで検出した車両幅とカメラの先行車認識により検出した車両幅のうち、短い方を選択するために、カメラによる検出結果が誤った場合で、レーザーレーダが正しく検出しているような場合（例えば、カメラが後方ウインドウやナンバープレートなど車両の一部をエッジとして選択している場合）に、制御介入が遅れる可能性がある。
この発明は、上述のような課題を解決するためになされたものであり、自車の周辺の物体の相対位置や相対速度を計測するセンサと、単眼カメラとを用いる場合にも、障害物を認識することができる車両用障害物認識装置を得ることを目的にしている。
この発明に係わる車両用障害物認識装置においては、車両に搭載され、車両に対する障害物を認識する車両用障害物認識装置において、
車両の周辺の物体を検知する検知センサ、
この検知センサの出力に基づいて、車両と物体との相対位置および相対速度を演算する物体情報演算手段、
車両の周辺画像を撮像する画像センサ、
この画像センサにより撮像された画像を取得する画像取得手段、
物体情報演算手段の出力に基づき、画像取得手段によって取得された画像を処理する画像処理手段、
車両の運転状態を検出する車両情報取得手段、
物体情報演算手段及び車両情報取得手段の出力により、物体が車両の障害となる可能性を判定する障害物判定手段、
及び物体情報演算手段の出力に基づき、画像処理手段の出力が有効かどうかを判定する有効性判定手段を備え、
障害物判定手段は、有効性判定手段の出力に応じて、画像処理手段の出力を障害物の判定に用いるものである。
車両の周辺の物体を検知する検知センサ、
この検知センサの出力に基づいて、車両と物体との相対位置および相対速度を演算する物体情報演算手段、
車両の周辺画像を撮像する画像センサ、
この画像センサにより撮像された画像を取得する画像取得手段、
物体情報演算手段の出力に基づき、画像取得手段によって取得された画像を処理する画像処理手段、
車両の運転状態を検出する車両情報取得手段、
物体情報演算手段及び車両情報取得手段の出力により、物体が車両の障害となる可能性を判定する障害物判定手段、
及び物体情報演算手段の出力に基づき、画像処理手段の出力が有効かどうかを判定する有効性判定手段を備え、
障害物判定手段は、有効性判定手段の出力に応じて、画像処理手段の出力を障害物の判定に用いるものである。
この発明は、以上説明したように、車両に搭載され、車両に対する障害物を認識する車両用障害物認識装置において、
車両の周辺の物体を検知する検知センサ、
この検知センサの出力に基づいて、車両と物体との相対位置および相対速度を演算する物体情報演算手段、
車両の周辺画像を撮像する画像センサ、
この画像センサにより撮像された画像を取得する画像取得手段、
物体情報演算手段の出力に基づき、画像取得手段によって取得された画像を処理する画像処理手段、
車両の運転状態を検出する車両情報取得手段、
物体情報演算手段及び車両情報取得手段の出力により、物体が車両の障害となる可能性を判定する障害物判定手段、
及び物体情報演算手段の出力に基づき、画像処理手段の出力が有効かどうかを判定する有効性判定手段を備え、
障害物判定手段は、有効性判定手段の出力に応じて、画像処理手段の出力を障害物の判定に用いるので、検知センサ単体による検知性能は維持しつつ、画像処理手段の利用が有効なときの検知性能を高めるとともに、画像処理手段の利用が適切でないときに画像処理手段の出力を用いることによる誤動作を低減することができる。
車両の周辺の物体を検知する検知センサ、
この検知センサの出力に基づいて、車両と物体との相対位置および相対速度を演算する物体情報演算手段、
車両の周辺画像を撮像する画像センサ、
この画像センサにより撮像された画像を取得する画像取得手段、
物体情報演算手段の出力に基づき、画像取得手段によって取得された画像を処理する画像処理手段、
車両の運転状態を検出する車両情報取得手段、
物体情報演算手段及び車両情報取得手段の出力により、物体が車両の障害となる可能性を判定する障害物判定手段、
及び物体情報演算手段の出力に基づき、画像処理手段の出力が有効かどうかを判定する有効性判定手段を備え、
障害物判定手段は、有効性判定手段の出力に応じて、画像処理手段の出力を障害物の判定に用いるので、検知センサ単体による検知性能は維持しつつ、画像処理手段の利用が有効なときの検知性能を高めるとともに、画像処理手段の利用が適切でないときに画像処理手段の出力を用いることによる誤動作を低減することができる。
実施の形態１．
以下、図面を参照しながら、この発明の実施の形態１に係る車両用障害物認識装置について説明する。
図１は、この発明の実施の形態１による車両用障害物認識装置の概略構成を示すブロック図である。
図１において、車両用障害物認識装置１００は、ミリ波レーダ１１０、カメラ１２０、ＣＰＵ１３０、警報装置１４０、自動制御装置１５０、車速センサ１６０、ヨーレートセンサ１７０から構成される。
ミリ波レーダ１１０（検知センサ）は、ミリ波レーダの周辺物体からの反射波を受信して、自車前方方向に存在する車両、ガードレール等の障害物を検出する。
カメラ１２０（映像センサ）は、自車前方を撮像する単眼カメラである。
車速センサ１６０、ヨーレートセンサ１７０は、自車の車速、ヨーレートを検出する。
なお、ここでは、２センサのみを記載したが、ウィンカやハンドル角など、自車の挙動を判定するのに必要なその他のセンサを用いても良い。
警報装置１４０は、ＣＰＵ１３０からの指令等により、自車の障害となる障害物が存在することを運転者に知らせるための警報を発生する。ここでは、警報装置としたが、表示装置で構成してもよい。
自動制御装置１５０は、ＣＰＵ１３０からの指令等により、例えば、ブレーキ制御、スロットル制御、ＡＴシフト制御等の制御信号を出力する。
以下、図面を参照しながら、この発明の実施の形態１に係る車両用障害物認識装置について説明する。
図１は、この発明の実施の形態１による車両用障害物認識装置の概略構成を示すブロック図である。
図１において、車両用障害物認識装置１００は、ミリ波レーダ１１０、カメラ１２０、ＣＰＵ１３０、警報装置１４０、自動制御装置１５０、車速センサ１６０、ヨーレートセンサ１７０から構成される。
ミリ波レーダ１１０（検知センサ）は、ミリ波レーダの周辺物体からの反射波を受信して、自車前方方向に存在する車両、ガードレール等の障害物を検出する。
カメラ１２０（映像センサ）は、自車前方を撮像する単眼カメラである。
車速センサ１６０、ヨーレートセンサ１７０は、自車の車速、ヨーレートを検出する。
なお、ここでは、２センサのみを記載したが、ウィンカやハンドル角など、自車の挙動を判定するのに必要なその他のセンサを用いても良い。
警報装置１４０は、ＣＰＵ１３０からの指令等により、自車の障害となる障害物が存在することを運転者に知らせるための警報を発生する。ここでは、警報装置としたが、表示装置で構成してもよい。
自動制御装置１５０は、ＣＰＵ１３０からの指令等により、例えば、ブレーキ制御、スロットル制御、ＡＴシフト制御等の制御信号を出力する。
ＣＰＵ１３０は、ミリ波レーダ１１０からの物体情報を演算する物体情報演算手段１３１と、カメラ１２０によって撮像された画像を取得する画像取得手段１３２と、車速センサ１６０及びヨーレートセンサ１７０からの車両情報（車両の運転状態を示す情報）を取得する車両情報取得手段１３３と、物体情報演算手段１３１及び画像取得手段１３２及び車両情報取得手段１３３によって取得された情報により画像を処理する画像処理手段１３４と、物体情報演算手段１３１及び車両情報取得手段１３３及び画像処理手段１３４からの出力情報により障害物を判定する障害物判定手段１３５と、警報装置 １４０に警報を出力する警報手段１３６と、判定された障害物を回避する障害物回避手段１３７と、物体情報の有効性を判断する有効性判断手段１３８を有している。
なお、１つのＣＰＵ１３０で、すべての処理を実施することとしたが、画像取得手段１３２、画像処理手段１３４は、カメラ１２０内に含めるか、もしくは専用の装置を設ける構成としても良い。また、物体情報演算手段１３１は、ミリ波レーダ１１０内に含めるか、もしくは専用の装置を設ける構成としても良い。
また、ミリ波レーダ１１０に代えて、レーザーレーダを用いる構成としても良い。
なお、１つのＣＰＵ１３０で、すべての処理を実施することとしたが、画像取得手段１３２、画像処理手段１３４は、カメラ１２０内に含めるか、もしくは専用の装置を設ける構成としても良い。また、物体情報演算手段１３１は、ミリ波レーダ１１０内に含めるか、もしくは専用の装置を設ける構成としても良い。
また、ミリ波レーダ１１０に代えて、レーザーレーダを用いる構成としても良い。
図２は、この発明の実施の形態１による車両用障害物認識装置のミリ波レーダおよびカメラの車両への取付け例を示す外観図である。
図２において、ミリ波レーダ１１０は、車両２００のフロントバンパー等に取り付けられ、車両前方の周辺物体からの反射波を取得する。カメラ１２０は、車両２００の室内、ルームミラー近辺に取り付けられ、車両前方周囲の状況を撮影する。
ここでは、説明のため、ミリ波レーダ１１０及びカメラ１２０を目立つように記載してあるが、本来は車両において外観を損ねないように取り付けられるべきものである。
図２において、ミリ波レーダ１１０は、車両２００のフロントバンパー等に取り付けられ、車両前方の周辺物体からの反射波を取得する。カメラ１２０は、車両２００の室内、ルームミラー近辺に取り付けられ、車両前方周囲の状況を撮影する。
ここでは、説明のため、ミリ波レーダ１１０及びカメラ１２０を目立つように記載してあるが、本来は車両において外観を損ねないように取り付けられるべきものである。
図３は、この発明の実施の形態１による車両用障害物認識装置の処理を示すフローチャートである。
図４は、この発明の実施の形態１による車両用障害物認識装置の画像処理手段の処理を示すフローチャートである。
図４は、この発明の実施の形態１による車両用障害物認識装置の画像処理手段の処理を示すフローチャートである。
図５は、この発明の実施の形態１による車両用障害物認識装置の画像処理手段の画像例を示す図である。
図５において、画像例３００には、座標３０１は自車と移動体との相対位置を示す画像座標Ｐ（ｉ）である。座標３０２は、自車と停止物との相対位置を示す座標Ｐ（ｊ）である。領域３０３は移動体の検出領域Ｒ（ｉ）、領域３０４は停止物の検出領域Ｒ（ｊ）である。
図５において、画像例３００には、座標３０１は自車と移動体との相対位置を示す画像座標Ｐ（ｉ）である。座標３０２は、自車と停止物との相対位置を示す座標Ｐ（ｊ）である。領域３０３は移動体の検出領域Ｒ（ｉ）、領域３０４は停止物の検出領域Ｒ（ｊ）である。
図６は、この発明の実施の形態１による車両用障害物認識装置の画像処理手段のエッジ候補抽出を説明する図である。
図６において、ヒストグラム３１０は、検出領域３０３、３０４内において、画像水平方向に走査し検出したエッジ検出点を画像の垂直方向にヒストグラムをとった結果である。エッジ候補３１１は、さらにその結果のうち所定値以上のピーク点であるエッジ候補を抽出した結果である。エッジ３１２、３１３は、確定したエッジである。
図６において、ヒストグラム３１０は、検出領域３０３、３０４内において、画像水平方向に走査し検出したエッジ検出点を画像の垂直方向にヒストグラムをとった結果である。エッジ候補３１１は、さらにその結果のうち所定値以上のピーク点であるエッジ候補を抽出した結果である。エッジ３１２、３１３は、確定したエッジである。
図７は、この発明の実施の形態１による車両用障害物認識装置の画像処理手段のラップ量を説明する図である。
図７において、ラップ量４０１は、自車２００と検出物体４００の幅方向の重なりに相当する大きさである。
図７において、ラップ量４０１は、自車２００と検出物体４００の幅方向の重なりに相当する大きさである。
図８は、この発明の実施の形態１による車両用障害物認識装置の障害物判定手段の処理を示すフローチャートである。
図９は、この発明の実施の形態１による車両用障害物認識装置の障害物判定手段の回避及び警報閾値を説明する図である。
図９（ａ）は、ラップ量Ｌに比例して回避閾値ＴＨｃが大きくなる図、図９（ｂ）は、ラップ量Ｌに比例して警報閾値ＴＨｗが大きくなる図である。
図９は、この発明の実施の形態１による車両用障害物認識装置の障害物判定手段の回避及び警報閾値を説明する図である。
図９（ａ）は、ラップ量Ｌに比例して回避閾値ＴＨｃが大きくなる図、図９（ｂ）は、ラップ量Ｌに比例して警報閾値ＴＨｗが大きくなる図である。
図１０は、この発明の実施の形態１による車両用障害物認識装置の有効性判定手段を説明する図である。
図１０において、ガードレール５００が示されている。
図１０において、ガードレール５００が示されている。
次に、実施の形態１における車両用障害物認識装置の動作について説明する。
ミリ波レーダ１１０は、ミリ波レーダの周辺物体からの反射波を受信して、自車前方方向に存在する車両、ガードレール等の障害物を検出する。検出した結果は、ＣＰＵ１３０へ出力される。カメラ１２０は、自車前方を撮像し、撮像された画像は、画像取得手段１３２を介して、ＣＰＵ１３０に取り込まれる。車速センサ１６０、ヨーレートセンサ１７０は、自車の車速、ヨーレートをＣＰＵ１３０に出力する。
ミリ波レーダ１１０は、ミリ波レーダの周辺物体からの反射波を受信して、自車前方方向に存在する車両、ガードレール等の障害物を検出する。検出した結果は、ＣＰＵ１３０へ出力される。カメラ１２０は、自車前方を撮像し、撮像された画像は、画像取得手段１３２を介して、ＣＰＵ１３０に取り込まれる。車速センサ１６０、ヨーレートセンサ１７０は、自車の車速、ヨーレートをＣＰＵ１３０に出力する。
ＣＰＵ１３０では、図３に示すように、車両情報取得手段１３３、物体情報演算手段１３１が実行され、続いて画像取得手段１３２、画像処理手段１３４が実行される。さらに、有効性判定手段１３８、その出力を基に、障害物判定手段１３５が実行される。
障害物判定手段１３５の実行後は、障害物判定手段１３５の結果に応じて、警報手段１３６、または警報手段１３６及び障害物回避手段１３７が実行される。
警報対象、回避対象がなければ、何もせずに終了する。
障害物判定手段１３５の実行後は、障害物判定手段１３５の結果に応じて、警報手段１３６、または警報手段１３６及び障害物回避手段１３７が実行される。
警報対象、回避対象がなければ、何もせずに終了する。
以下に各手段の処理について説明する。
車両情報取得手段１３３では、自車の車速、ヨーレート等の情報を車速センサ１６０、ヨーレートセンサ１７０より取得する。
物体情報演算手段１３１では、ミリ波レーダ１１０の出力より、検出物体との相対距離、相対横位置、相対速度、検出物体が移動物か停止物かの判定を行う。
ここで、物体情報演算手段１３１の出力は、移動体Ｍｖ（ｉ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ｝と停止物Ｓｔ（ｊ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ｝とする。ｉ、ｊは０から始まる整数で、物体毎に付与する。
画像取得手段１３２では、カメラ１２０より、画像処理手段１３４に用いる所定領域の画像を取得する。ここでいう所定領域は、カメラが有する画像データの全データであってもよいし、物体情報演算手段１３１の出力に基づいて設定してもよい。
画像処理手段１３４では、物体情報演算手段１３１の出力に基づいて、所定の画像処理を行う。
本実施の形態１では、画像処理手段１３４は、検出物体のエッジを検出し、その結果から、自車とのラップ量を算出する。
車両情報取得手段１３３では、自車の車速、ヨーレート等の情報を車速センサ１６０、ヨーレートセンサ１７０より取得する。
物体情報演算手段１３１では、ミリ波レーダ１１０の出力より、検出物体との相対距離、相対横位置、相対速度、検出物体が移動物か停止物かの判定を行う。
ここで、物体情報演算手段１３１の出力は、移動体Ｍｖ（ｉ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ｝と停止物Ｓｔ（ｊ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ｝とする。ｉ、ｊは０から始まる整数で、物体毎に付与する。
画像取得手段１３２では、カメラ１２０より、画像処理手段１３４に用いる所定領域の画像を取得する。ここでいう所定領域は、カメラが有する画像データの全データであってもよいし、物体情報演算手段１３１の出力に基づいて設定してもよい。
画像処理手段１３４では、物体情報演算手段１３１の出力に基づいて、所定の画像処理を行う。
本実施の形態１では、画像処理手段１３４は、検出物体のエッジを検出し、その結果から、自車とのラップ量を算出する。
次に、図４を用いて、画像処理手段の処理を説明する。
画像処理手段１３４では、まず、物体情報演算手段１３１の出力に基づき、検出領域設定手段Ｓ０１により、各移動体または停止物のエッジを検出するための検出領域を設定する。検出領域は、例えば、図５のように、物体情報演算手段１３１で得られた自車と移動体との相対位置を画像座標Ｐ（ｉ）、停止物との相対位置を座標変換したＰ（ｊ）に変換し、車両１台分の高さ及び幅に所定のマージンを付加した領域Ｒ（ｉ）、Ｒ（ｊ）とする
。
画像処理手段１３４では、まず、物体情報演算手段１３１の出力に基づき、検出領域設定手段Ｓ０１により、各移動体または停止物のエッジを検出するための検出領域を設定する。検出領域は、例えば、図５のように、物体情報演算手段１３１で得られた自車と移動体との相対位置を画像座標Ｐ（ｉ）、停止物との相対位置を座標変換したＰ（ｊ）に変換し、車両１台分の高さ及び幅に所定のマージンを付加した領域Ｒ（ｉ）、Ｒ（ｊ）とする
。
続いて、エッジ検出手段Ｓ０２により、各移動体または停止物に対する検出領域内の垂直エッジ成分を検出し、さらに検出した結果からエッジ候補を抽出する。
図６のヒストグラム３１０は、検出領域３０３、３０４内において、画像水平方向に走査し検出したエッジ検出点を画像の垂直方向にヒストグラムをとった結果、エッジ候補３１１は、さらにその結果のうち所定値以上のピーク点であるエッジ候補を抽出した結果である。
図６のヒストグラム３１０は、検出領域３０３、３０４内において、画像水平方向に走査し検出したエッジ検出点を画像の垂直方向にヒストグラムをとった結果、エッジ候補３１１は、さらにその結果のうち所定値以上のピーク点であるエッジ候補を抽出した結果である。
エッジ確定手段Ｓ０３では、エッジ検出手段Ｓ０２の検出の結果から、含まれるノイズ成分を除き、各検出物体のエッジ位置を確定する。エッジの確定には、例えば、検出領域内のエッジ候補点の位置を考慮し、検出物体の対称性、またはパターンマッチング等を利用することが考えられる。これにより、例えば、エッジ候補のペアが、エッジ３１２、３１３として確定される。
幅検出手段Ｓ０４では、エッジ確定手段Ｓ０３の結果から、検出物体の幅を検出する。幅検出結果は、移動体Ｍｖ（ｉ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ｝と停止物Ｓｔ（ｊ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ｝の情報として、付加する。エッジ検出ができなかった物体に対しては、幅Ｗ＝ＮＵＬＬを付加する。
ラップ量演算手段Ｓ０５では、エッジ確定手段Ｓ０３の結果にヨーレートから推定される道路曲率を考慮し、自車の進行方向を判定した結果を加味し、各検出物体と自車とのラップ量Ｌを算出する。
ラップ量４０１は、図７に示すような、自車２００と検出物体４００の幅方向の重なりに相当する大きさである。ラップ量４０１は、移動体Ｍｖ（ｉ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ、ラップ量Ｌ｝と停止物Ｓｔ（ｊ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ、ラップ量Ｌ｝の情報として、付加する。エッジ検出ができなかった物体に対しては、ラップＬ＝ＮＵＬＬを付加する。
ここでは、物体情報演算手段１３１の結果すべてに対して実施することとするが、予め、自車の障害となる可能性のある物体を、物体情報演算手段１３１にて絞り込んだ上、画像処理手段１３４を実施してもよい。
ラップ量４０１は、図７に示すような、自車２００と検出物体４００の幅方向の重なりに相当する大きさである。ラップ量４０１は、移動体Ｍｖ（ｉ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ、ラップ量Ｌ｝と停止物Ｓｔ（ｊ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ、ラップ量Ｌ｝の情報として、付加する。エッジ検出ができなかった物体に対しては、ラップＬ＝ＮＵＬＬを付加する。
ここでは、物体情報演算手段１３１の結果すべてに対して実施することとするが、予め、自車の障害となる可能性のある物体を、物体情報演算手段１３１にて絞り込んだ上、画像処理手段１３４を実施してもよい。
次に、有効性判定手段１３８の働きについて説明する。
まず、有効性判定手段１３８を持たない場合、つまり画像処理手段１３４に続き、障害物判定手段１３５を実施する場合について説明する。
図８の障害物判定手段１３５では、まず、障害物候補選定手段Ｓ１１において、移動体Ｍｖ（ｉ）、停止物Ｓｔ（ｊ）の情報から、エッジ検出ができなかった物体、すなわち幅Ｗ＝ＮＵＬＬの物体、もしくは、幅Ｗが広すぎる場合など、道路上の物体である可能性が低いと判断される場合は、障害物である可能性は低いとして、障害物判定フラグＦｏ＝ＮＵＬＬを移動体Ｍｖ（ｉ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ、ラップ量Ｌ、障害物判定フラグＦｏ｝と停止物Ｓｔ（ｊ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ、ラップ量Ｌ、障害物判定フラグＦｏ｝の情報として、付加する。その他の物体に対しては、障害物判定フラグＦｏ＝１を付加する。
まず、有効性判定手段１３８を持たない場合、つまり画像処理手段１３４に続き、障害物判定手段１３５を実施する場合について説明する。
図８の障害物判定手段１３５では、まず、障害物候補選定手段Ｓ１１において、移動体Ｍｖ（ｉ）、停止物Ｓｔ（ｊ）の情報から、エッジ検出ができなかった物体、すなわち幅Ｗ＝ＮＵＬＬの物体、もしくは、幅Ｗが広すぎる場合など、道路上の物体である可能性が低いと判断される場合は、障害物である可能性は低いとして、障害物判定フラグＦｏ＝ＮＵＬＬを移動体Ｍｖ（ｉ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ、ラップ量Ｌ、障害物判定フラグＦｏ｝と停止物Ｓｔ（ｊ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ、ラップ量Ｌ、障害物判定フラグＦｏ｝の情報として、付加する。その他の物体に対しては、障害物判定フラグＦｏ＝１を付加する。
続いて、衝突予測時間演算手段Ｓ１２を実施する。衝突予測時間ＴＴＣは、移動物Ｍｖ（ｉ）、停止物Ｓｔ（ｊ）における相対距離ＤＩＳ、相対速度Ｖｒより、式１にて算出できる。
ＴＴＣ＝Ｄｉｓ／Ｖｒ ・・・・・ 式１
衝突予測時間ＴＴＣは、移動体Ｍｖ（ｉ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相
対速度Ｖｒ、幅Ｗ、ラップ量Ｌ、障害物判定フラグＦｏ、衝突予測時間ＴＴＣ｝と停止物Ｓｔ（ｊ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ、ラップ量Ｌ、障害物判定フラグＦｏ、衝突予測時間ＴＴＣ｝の情報として、付加する。
ＴＴＣ＝Ｄｉｓ／Ｖｒ ・・・・・ 式１
衝突予測時間ＴＴＣは、移動体Ｍｖ（ｉ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相
対速度Ｖｒ、幅Ｗ、ラップ量Ｌ、障害物判定フラグＦｏ、衝突予測時間ＴＴＣ｝と停止物Ｓｔ（ｊ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ、ラップ量Ｌ、障害物判定フラグＦｏ、衝突予測時間ＴＴＣ｝の情報として、付加する。
回避対象判定手段Ｓ１３では、衝突予測時間ＴＴＣが所定の回避閾値ＴＨｃを下回る場合に回避対象と判定する。ここで、回避閾値ＴＨｃは、各検出対象におけるラップ量Ｌに応じて可変とし、例えば図９（ａ）に示すように、ラップ量Ｌに比例して、回避閾値ＴＨｃも大きくする。
回避対象があれば、警報手段１３６を実行して運転者に自車の障害となる障害物があることを知らせるとともに、障害物回避手段１３７を実行して、障害物を回避する方向へ自車の制御を行う。
回避対象がなければ、警報対象判定手段Ｓ１４へ移行する。
回避対象があれば、警報手段１３６を実行して運転者に自車の障害となる障害物があることを知らせるとともに、障害物回避手段１３７を実行して、障害物を回避する方向へ自車の制御を行う。
回避対象がなければ、警報対象判定手段Ｓ１４へ移行する。
警報対象判定手段Ｓ１４では、衝突予測時間ＴＴＣが所定の警報閾値ＴＨｗを下回る場合に警報対象と判定する。ここで、警報閾値ＴＨｗは、各検出対象におけるラップ量Ｌに応じて可変とし、例えば図９（ｂ）に示すように、ラップ量Ｌに比例して、警報閾値ＴＨｗも大きくする。
警報対象があれば、警報手段１３６を実行して、運転者に自車の障害となる障害物があることを知らせる。
警報対象がなければ、障害物判定手段１３５を終了する。
図９に示すように、ラップ量に比例して回避閾値及び警報閾値を大きくすることで、ラップ量の大きい衝突の危険度が高い物体に対して、警報・制御介入を早める。
警報対象があれば、警報手段１３６を実行して、運転者に自車の障害となる障害物があることを知らせる。
警報対象がなければ、障害物判定手段１３５を終了する。
図９に示すように、ラップ量に比例して回避閾値及び警報閾値を大きくすることで、ラップ量の大きい衝突の危険度が高い物体に対して、警報・制御介入を早める。
ここで警報手段１３６は、警報装置１４０を用いて、障害物のあることを音で運転者に知らせる。図１には記載していないが、表示装置を用いて、カメラ１２０の画像もしくは模式的な図を提供しても良い。
障害物回避手段１３７は、自動制御装置１５０を介して、ブレーキ、ＡＴシフト、スロットル制御等を行い、自車を障害物を回避する方向へ制御する。また、これとともに、運転者もしくは乗員を保護するための、シートベルトまたはエアバッグ展開等の制御を行ってもよい。
障害物回避手段１３７は、自動制御装置１５０を介して、ブレーキ、ＡＴシフト、スロットル制御等を行い、自車を障害物を回避する方向へ制御する。また、これとともに、運転者もしくは乗員を保護するための、シートベルトまたはエアバッグ展開等の制御を行ってもよい。
次に、有効性判定手段１３８を持つ場合を説明する。
ステレオカメラ等の奥行きが検出できるセンサであれば、車両とガードレールなどの背景物の区別が可能であるが、実施の形態１のような単眼カメラを用いて画像処理を行う場合には、非常に困難である。
特に、道路上での移動体は、車両または二輪車の可能性が高く、単眼カメラでも精度良く検出できるが、停止物は、背景や停止車両、ガードレールなど、様々な物があり、誤検出する可能性が非常に高い。例えば、図１０に示すような、ガードレール５００は、ガードレールであることが区別できず、ガードレールの一部を停止物体のエッジと判断する可能性がある。
有効性判定手段１３８を持たない場合には、前述したように、障害物判定手段１３５の障害物候補選定手段Ｓ１１において、エッジ検出ができなかった物体、もしくは、幅Ｗが広すぎる場合など、道路上の物体である可能性が低いと判断される場合は、障害物である可能性は低いとして除外するが、図１０のようなケースの場合には、除外できない可能性が高い。
従って、このような場合、警報対象または回避対象であると判断され、不要な警報または制動がかかり、ミリ波レーダ単体システムの性能が維持できなくなる。特に、実施の形態１のように、ラップ量に応じて警報・制御介入を早めるような場合には、誤検出による誤作動の影響が非常に大きくなる。
ステレオカメラ等の奥行きが検出できるセンサであれば、車両とガードレールなどの背景物の区別が可能であるが、実施の形態１のような単眼カメラを用いて画像処理を行う場合には、非常に困難である。
特に、道路上での移動体は、車両または二輪車の可能性が高く、単眼カメラでも精度良く検出できるが、停止物は、背景や停止車両、ガードレールなど、様々な物があり、誤検出する可能性が非常に高い。例えば、図１０に示すような、ガードレール５００は、ガードレールであることが区別できず、ガードレールの一部を停止物体のエッジと判断する可能性がある。
有効性判定手段１３８を持たない場合には、前述したように、障害物判定手段１３５の障害物候補選定手段Ｓ１１において、エッジ検出ができなかった物体、もしくは、幅Ｗが広すぎる場合など、道路上の物体である可能性が低いと判断される場合は、障害物である可能性は低いとして除外するが、図１０のようなケースの場合には、除外できない可能性が高い。
従って、このような場合、警報対象または回避対象であると判断され、不要な警報または制動がかかり、ミリ波レーダ単体システムの性能が維持できなくなる。特に、実施の形態１のように、ラップ量に応じて警報・制御介入を早めるような場合には、誤検出による誤作動の影響が非常に大きくなる。
このため、有効性判定手段１３８では、物体情報演算手段１３１の出力に基づいて、検出した物体ごとに、障害物判定手段１３５において、画像処理手段１３４の出力を加味することが有効か無効かを判定する。
実施の形態１においては、前述した通り、単眼カメラによる画像処理では、誤検出する可能性の高い停止物であれば無効と判断し、移動体であれば有効と判断する。
無効と判断された物体に対しては、有効性物判定フラグＦｖ＝ＮＵＬＬを移動体Ｍｖ（ｉ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ、ラップ量Ｌ、障害物判定フラグＦｏ、有効性判定フラグＦｖ｝と停止物Ｓｔ（ｊ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ、ラップ量Ｌ、障害物判定フラグＦｏ、有効性判定フラグＦｖ｝の情報として、付加する。有効と判定された物体に対しては、有効性判定フラグＦｖ＝１と設定する。
実施の形態１においては、前述した通り、単眼カメラによる画像処理では、誤検出する可能性の高い停止物であれば無効と判断し、移動体であれば有効と判断する。
無効と判断された物体に対しては、有効性物判定フラグＦｖ＝ＮＵＬＬを移動体Ｍｖ（ｉ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ、ラップ量Ｌ、障害物判定フラグＦｏ、有効性判定フラグＦｖ｝と停止物Ｓｔ（ｊ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ、ラップ量Ｌ、障害物判定フラグＦｏ、有効性判定フラグＦｖ｝の情報として、付加する。有効と判定された物体に対しては、有効性判定フラグＦｖ＝１と設定する。
また、有効性判定手段１３８をもつ場合は、
回避対象判定手段Ｓ１３、および警報判定手段Ｓ１４を以下のように変更する。
回避判定手段Ｓ１３では、衝突予測時間ＴＴＣが所定の回避閾値ＴＨｃを下回る場合に回避対象と判定する。ここで、有効性判定フラグＦｖ＝１の場合には、回避閾値ＴＨｃは各検出対象におけるラップ量Ｌに応じて可変とし、例えば図９（ａ）に示すように、ラップ量Ｌに比例して、回避閾値ＴＨｃも大きくする。但し、有効性判定フラグＦｖ＝ＮＵＬＬの場合には、回避閾値ＴＨｃは所定の固定閾値Ｃを用いて判定する。
回避対象があれば、警報手段１３６を実行して運転者に自車の障害となる障害物があることを知らせるとともに、障害物回避手段１３７を実行して、障害物を回避する方向へ自車の制御を行う。
回避対象がなければ、警報対象判定手段Ｓ１４へ移行する。
回避対象判定手段Ｓ１３、および警報判定手段Ｓ１４を以下のように変更する。
回避判定手段Ｓ１３では、衝突予測時間ＴＴＣが所定の回避閾値ＴＨｃを下回る場合に回避対象と判定する。ここで、有効性判定フラグＦｖ＝１の場合には、回避閾値ＴＨｃは各検出対象におけるラップ量Ｌに応じて可変とし、例えば図９（ａ）に示すように、ラップ量Ｌに比例して、回避閾値ＴＨｃも大きくする。但し、有効性判定フラグＦｖ＝ＮＵＬＬの場合には、回避閾値ＴＨｃは所定の固定閾値Ｃを用いて判定する。
回避対象があれば、警報手段１３６を実行して運転者に自車の障害となる障害物があることを知らせるとともに、障害物回避手段１３７を実行して、障害物を回避する方向へ自車の制御を行う。
回避対象がなければ、警報対象判定手段Ｓ１４へ移行する。
警報対象判定手段Ｓ１４では、衝突予測時間ＴＴＣが所定の警報閾値ＴＨｗを下回る場合に警報対象と判定する。ここで、有効性判定フラグＦｖ＝１の場合には、警報閾値ＴＨｗは各検出対象におけるラップ量Ｌに応じて可変とし、例えば図９（ｂ）に示すように、ラップ量Ｌに比例して、警報閾値ＴＨｗも大きくする。但し、有効性判定フラグＦｖ＝ＮＵＬＬの場合には、警報閾値ＴＨｗは所定の固定閾値Ｗを用いて判定する。
警報対象があれば、警報手段１３６を実行して、運転者に自車の障害となる障害物があることを知らせる。
警報対象がなければ、障害物判定手段１３５を終了する。
図９に示すようにラップ量に比例して閾値を大きくすることで、ラップ量の大きい衝突の危険度が高い物体に対して、警報・制御介入を早める。
警報対象があれば、警報手段１３６を実行して、運転者に自車の障害となる障害物があることを知らせる。
警報対象がなければ、障害物判定手段１３５を終了する。
図９に示すようにラップ量に比例して閾値を大きくすることで、ラップ量の大きい衝突の危険度が高い物体に対して、警報・制御介入を早める。
実施の形態１によれば、単眼カメラによる画像処理では誤検出する可能性の高い停止物に対しては、従来のミリ波レーダ単体システムの性能を維持しつつ、移動体に対しては警報・制御介入を早めることができ、カメラとフュージョンしたことによる効果を得ることができる。
実施の形態２．
以下、図面を参照しながら、この発明の実施の形態２について説明する。
図１１は、この発明の実施の形態２による車両用障害物認識装置の概略構成を示すブロック図である。
図１１において、１００、１１０、１２０、１３０〜１３８、１４０、１５０は図１におけるものと同一のものである。図１１では、ＣＰＵ１３０で、画像処理手段１３４の後段に信頼性判定手段１３９を設け、この信頼性判定手段１３９の出力を障害物判定手段１３５に入力させている。
なお、ミリ波レーダ、およびカメラの車両への取付け例は、図２と同じである。
以下、図面を参照しながら、この発明の実施の形態２について説明する。
図１１は、この発明の実施の形態２による車両用障害物認識装置の概略構成を示すブロック図である。
図１１において、１００、１１０、１２０、１３０〜１３８、１４０、１５０は図１におけるものと同一のものである。図１１では、ＣＰＵ１３０で、画像処理手段１３４の後段に信頼性判定手段１３９を設け、この信頼性判定手段１３９の出力を障害物判定手段１３５に入力させている。
なお、ミリ波レーダ、およびカメラの車両への取付け例は、図２と同じである。
図１２は、この発明の実施の形態２による車両用障害物認識装置の処理を示すフローチャートである。
図１３は、この発明の実施の形態２による車両用障害物認識装置の信頼性判定手段の処理を示すフローチャートである。
図１３は、この発明の実施の形態２による車両用障害物認識装置の信頼性判定手段の処理を示すフローチャートである。
次に、信頼性判定手段１３９を有する実施の形態２による車両用障害物認識装置の動作について説明する。但し、実施の形態１と同様の部分は説明を省略する。
図１２において、ＣＰＵ１３０では、車両情報取得手段１３３、物体情報演算手段１３１が実行され、続いて画像取得手段１３２、画像処理手段１３４が実行される。さらに、有効性判定手段１３８、信頼性判定手段１３９、その出力を基に、障害物判定手段１３５が実行される。
障害物判定手段１３５の実行後は、障害物判定手段１３５の結果、警報対象となる障害物が有と判定されれば、警報手段１３６が、さらに回避対象となる障害物が有と判定されれば、障害物回避手段１３７が実行される。
警報対象、回避対象がなければ、何もせずに終了する。
図１２において、ＣＰＵ１３０では、車両情報取得手段１３３、物体情報演算手段１３１が実行され、続いて画像取得手段１３２、画像処理手段１３４が実行される。さらに、有効性判定手段１３８、信頼性判定手段１３９、その出力を基に、障害物判定手段１３５が実行される。
障害物判定手段１３５の実行後は、障害物判定手段１３５の結果、警報対象となる障害物が有と判定されれば、警報手段１３６が、さらに回避対象となる障害物が有と判定されれば、障害物回避手段１３７が実行される。
警報対象、回避対象がなければ、何もせずに終了する。
次に、信頼性判定手段１３９について、図１３を用いて説明する。
信頼性判定手段１３９では、各移動体、および停止物の時系列データにより信頼性を判定する。
図１３で、まず、検出安定性確認手段Ｓ２１にて、すでに保持している過去の所定時間内にミリ波レーダ１１０で検出された移動体、停止物の情報と、今回演算された情報とを比較する。
比較した結果、保持している情報と同じ物体であると判定されれば、各情報がもつ安定性判定用カウンタをインクリメントとする。
保持情報で、新規情報に同じ物体がないと判定されれば、安定性判定用カウンタをデクリメントする。ここで、カウンタが０になった場合は、情報を削除する。
新規情報で、保持情報に同じ物体がないと判定されれば、新規情報として保持する。
信頼性判定手段１３９では、各移動体、および停止物の時系列データにより信頼性を判定する。
図１３で、まず、検出安定性確認手段Ｓ２１にて、すでに保持している過去の所定時間内にミリ波レーダ１１０で検出された移動体、停止物の情報と、今回演算された情報とを比較する。
比較した結果、保持している情報と同じ物体であると判定されれば、各情報がもつ安定性判定用カウンタをインクリメントとする。
保持情報で、新規情報に同じ物体がないと判定されれば、安定性判定用カウンタをデクリメントする。ここで、カウンタが０になった場合は、情報を削除する。
新規情報で、保持情報に同じ物体がないと判定されれば、新規情報として保持する。
安定性判定手段Ｓ２２では、検出安定性確認手段Ｓ２１でインクリメントされたカウンタを所定の閾値と比較し、閾値以上であれば、安定して検出できているとして、信頼性が高いと判断する。
所定の閾値に満たない場合は、安定した検出ができていないとして、信頼性が低いと判定する。
信頼性が低いと判断された物体に対しては、信頼性判定フラグＦｒ＝ＮＵＬＬを移動体Ｍｖ（ｉ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ、ラップ量Ｌ、障害物判定フラグＦｏ、有効性判定フラグＦｖ、信頼性判定フラグＦｒ｝と停止物Ｓｔ（ｊ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ、ラップ量Ｌ、障害物判定フラグＦｏ、有効性判定フラグＦｖ、信頼性判定フラグＦｒ｝の情報として、付加する。信頼性が高いと判定された物体に対しては、信頼性判定フラグＦｖ＝１と設定する。
所定の閾値に満たない場合は、安定した検出ができていないとして、信頼性が低いと判定する。
信頼性が低いと判断された物体に対しては、信頼性判定フラグＦｒ＝ＮＵＬＬを移動体Ｍｖ（ｉ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ、ラップ量Ｌ、障害物判定フラグＦｏ、有効性判定フラグＦｖ、信頼性判定フラグＦｒ｝と停止物Ｓｔ（ｊ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ、ラップ量Ｌ、障害物判定フラグＦｏ、有効性判定フラグＦｖ、信頼性判定フラグＦｒ｝の情報として、付加する。信頼性が高いと判定された物体に対しては、信頼性判定フラグＦｖ＝１と設定する。
実施の形態２における障害物判定手段１３５のフローチャートは図８と同様である。
実施の形態２では、回避対象判定手段Ｓ１３および警報対象判定手段Ｓ１４において、実施の形態１に対し、以下のように変更を加える。
実施の形態２では、回避対象判定手段Ｓ１３および警報対象判定手段Ｓ１４において、実施の形態１に対し、以下のように変更を加える。
回避判定手段Ｓ１３では、衝突予測時間ＴＴＣが所定の回避閾値ＴＨｃを下回る場合に回避対象と判定する。ここで、有効性判定フラグＦｖ＝１でかつ信頼性判定フラグＦｒ＝１の場合には、回避閾値ＴＨｃは各検出対象におけるラップ量Ｌに応じて可変とし、例えば図９（ａ）に示すように、ラップ量Ｌに比例して、回避閾値ＴＨｃも大きくする。但し、有効性判定フラグＦｖ＝１またはＮＵＬＬで、信頼性判定フラグＦｒ＝ＮＵＬＬ、有効性判定フラグＦｖ＝ＮＵＬＬで信頼性判定フラグＦｒ＝１の場合には、回避閾値ＴＨｃは
所定の固定閾値Ｃを用いて判定する。
回避対象があれば、警報手段１３６を実行して運転者に自車の障害となる障害物があることを知らせるとともに、障害物回避手段１３７を実行して、障害物を回避する方向へ自車の制御を行う。
回避対象がなければ、警報対象判定手段Ｓ１４へ移行する。
所定の固定閾値Ｃを用いて判定する。
回避対象があれば、警報手段１３６を実行して運転者に自車の障害となる障害物があることを知らせるとともに、障害物回避手段１３７を実行して、障害物を回避する方向へ自車の制御を行う。
回避対象がなければ、警報対象判定手段Ｓ１４へ移行する。
警報対象判定手段Ｓ１４では、衝突予測時間ＴＴＣが所定の警報閾値ＴＨｗを下回る場合に警報対象と判定する。ここで有効性判定フラグＦｖ＝１またはＮＵＬＬでかつ信頼性判定フラグＦｒ＝１の場合には、警報閾値ＴＨｗは各検出対象におけるラップ量Ｌに応じて可変とし、例えば図９（ｂ）に示すように、ラップ量Ｌに比例して、警報閾値ＴＨｗも大きくする。但し、有効性判定フラグＦｖ＝１またはＮＵＬＬでかつ信頼性判定フラグＦｒ＝ＮＵＬＬの場合には、警報閾値ＴＨｗは所定の固定閾値Ｗを用いて判定する。
警報対象があれば、警報手段１３６を実行して運転者に自車の障害となる障害物があることを知らせる。
警報対象がなければ、障害物判定手段１３５を終了する。
図９に示すように、ラップ量に比例して閾値を大きくすることで、ラップ量の大きい衝突の危険度が高い物体に対して、警報・制御介入を早める。
警報対象があれば、警報手段１３６を実行して運転者に自車の障害となる障害物があることを知らせる。
警報対象がなければ、障害物判定手段１３５を終了する。
図９に示すように、ラップ量に比例して閾値を大きくすることで、ラップ量の大きい衝突の危険度が高い物体に対して、警報・制御介入を早める。
実施の形態２によれば、単眼カメラによる画像処理では誤検出する可能性の高い停止物に対しては、従来のミリ波レーダ単体システムの性能を維持しつつ、移動体に対しては警報・制御介入を早めることができ、カメラとフュージョンしたことによる効果を得ることができる。
さらに、単眼カメラによる画像処理では誤検出する可能性の高い停止物に対しても、信頼性が高い場合には、警報によって、運転者に早めに情報提供することができ、カメラとフュージョンしたことによる効果を得ることができる。
さらに、単眼カメラによる画像処理では誤検出する可能性の高い停止物に対しても、信頼性が高い場合には、警報によって、運転者に早めに情報提供することができ、カメラとフュージョンしたことによる効果を得ることができる。
実施の形態３．
以下、図面を参照しながら、この発明の実施の形態３について説明する。
図１４は、この発明の実施の形態３による車両用障害物認識装置の概略構成を示すブロック図である。
図１４において、１００、１１０、１２０、１３０〜１３８、１４０、１５０は図１におけるものと同一のものである。図１４では、有効性判断手段１３８に、先々行車と先行車が一部重なったような走行状態であることを推定する走行状態推定手段１３８ａを設けている。
以下、図面を参照しながら、この発明の実施の形態３について説明する。
図１４は、この発明の実施の形態３による車両用障害物認識装置の概略構成を示すブロック図である。
図１４において、１００、１１０、１２０、１３０〜１３８、１４０、１５０は図１におけるものと同一のものである。図１４では、有効性判断手段１３８に、先々行車と先行車が一部重なったような走行状態であることを推定する走行状態推定手段１３８ａを設けている。
図１５は、この発明の実施の形態３による車両用障害物認識装置の有効性判定手段の割込み車との重なりによる誤検出を説明する図である。
図１５において、割込み車６０１に対する検出領域３２０に対して、エッジ検出を行うことにより、先行車６００との重なり３２１により、エッジを誤検出する可能性がある。
図１５において、割込み車６０１に対する検出領域３２０に対して、エッジ検出を行うことにより、先行車６００との重なり３２１により、エッジを誤検出する可能性がある。
図１６は、この発明の実施の形態３による車両用障害物認識装置の有効性判定手段の二輪車の誤検出を説明する図である。
図１６において、二輪車７０１に対する検出領域３２０に対して、エッジ検出を行うことにより、先々行車７００との重なり３２１により、二輪車ではなく先々行車のエッジを誤検出する可能性がある。
図１６において、二輪車７０１に対する検出領域３２０に対して、エッジ検出を行うことにより、先々行車７００との重なり３２１により、二輪車ではなく先々行車のエッジを誤検出する可能性がある。
実施の形態３のミリ波レーダの車両への取付け例を示す外観図は、実施の形態１と同様である。
以下では、実施の形態１と同様の部分は説明を省略し、実施の形態３おける有効性判定手段１３８について説明する。
以下では、実施の形態１と同様の部分は説明を省略し、実施の形態３おける有効性判定手段１３８について説明する。
ステレオカメラ等の奥行きが検出できるセンサであれば、車両とガードレールなどの背景物の他、先々行車と先行車の一部が重なるような場合にも先行車の検出が可能であるが、実施の形態３のような単眼カメラを用いて画像処理を行う場合には、非常に困難である。
特に、先々行車がない場合や先々行車と先行車が完全に重なり、先行車しか見えない場合は、単眼カメラでも精度良く検出できるが、先々行車と先行車が一部重なった場合は、誤検知する可能性が非常に高い。
例えば、誤検知する可能性が高い例には、以下に示すような４つの例があげられる。
（Ａ）先行車が存在する場合に、割込み車が発生した場合
（Ｂ）先々行車が存在する場合に、先行車の車線変更が発生した場合
（Ｃ）先々行車が存在する場合に、先行車が二輪車である場合
（Ｄ）先々行車が存在する場合に、先行車が先々行車に対し、幅方向にオフセットをしている場合（先々行車が存在する場合に、先行車の幅方向の横位置が先々行車に対してずれた状態）
特に、先々行車がない場合や先々行車と先行車が完全に重なり、先行車しか見えない場合は、単眼カメラでも精度良く検出できるが、先々行車と先行車が一部重なった場合は、誤検知する可能性が非常に高い。
例えば、誤検知する可能性が高い例には、以下に示すような４つの例があげられる。
（Ａ）先行車が存在する場合に、割込み車が発生した場合
（Ｂ）先々行車が存在する場合に、先行車の車線変更が発生した場合
（Ｃ）先々行車が存在する場合に、先行車が二輪車である場合
（Ｄ）先々行車が存在する場合に、先行車が先々行車に対し、幅方向にオフセットをしている場合（先々行車が存在する場合に、先行車の幅方向の横位置が先々行車に対してずれた状態）
（Ａ）(Ｂ)（Ｄ）の例の場合、
画像処理手段１３４では、図１５に示すように、割込み車６０１に対する検出領域３２０に対してエッジ検出を行うことにより、先行車６００との重なり３２１により、エッジを誤検出する可能性がある。
（Ｃ）の例の場合、
画像処理手段１３４では、図１６に示すように、二輪車７０１に対する検出領域３２０に対してエッジ検出を行うことにより、先々行車７００との重なり３２１により、二輪車ではなく先々行車のエッジを誤検出する可能性がある。
画像処理手段１３４では、図１５に示すように、割込み車６０１に対する検出領域３２０に対してエッジ検出を行うことにより、先行車６００との重なり３２１により、エッジを誤検出する可能性がある。
（Ｃ）の例の場合、
画像処理手段１３４では、図１６に示すように、二輪車７０１に対する検出領域３２０に対してエッジ検出を行うことにより、先々行車７００との重なり３２１により、二輪車ではなく先々行車のエッジを誤検出する可能性がある。
図８の障害物判定手段１３５の障害物候補選定手段Ｓ１１において、エッジ検出ができなかった物体、もしくは、幅Ｗが広すぎる場合など、道路上の物体である可能性が低いと判断される場合は、障害物である可能性が低いとして除外するが、図１５、図１６のようなケースの場合には、除外できない可能性が高い。
従って、このような場合、警報対象または回避対象であると判断され、不要な警報または制動がかかり、ミリ波レーダ単体システムの性能が維持できなくなる。特に、本実施の形態３のように、ラップ量に応じて警報・制御介入を早めるような場合には、誤検出による誤作動の影響が非常に大きくなる。
従って、このような場合、警報対象または回避対象であると判断され、不要な警報または制動がかかり、ミリ波レーダ単体システムの性能が維持できなくなる。特に、本実施の形態３のように、ラップ量に応じて警報・制御介入を早めるような場合には、誤検出による誤作動の影響が非常に大きくなる。
このため、有効性判定手段１３８では、物体情報演算手段１３１の出力に基づいて、検出した物体ごとに、障害物判定手段１３５での処理に画像処理手段１３４の出力を加味することが有効か無効かを判定する。
実施の形態３においては、前述した通り、有効性判定手段１３８に、単眼カメラによる画像処理では誤検出する可能性の高い先々行車と先行車が一部重なったような走行状態であることを推定する走行状態推定手段１３８ａを設け、先々行車と先行車が一部重なったような走行状態であることが推定されれば無効と判断し、それ以外であれば有効と判断する。
無効と判断された物体に対しては、有効性物判定フラグＦｖ＝ＮＵＬＬを移動体Ｍｖ（ｉ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ、ラップ量Ｌ、障害物判定フラグＦｏ、有効性判定フラグＦｖ｝と停止物Ｓｔ（ｊ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ、ラップ量Ｌ、障害物判定フラグＦｏ、有効性判定フラグＦｖ｝の情報として、付加する。有効と判定された物体に対しては、有効性判定フラグＦｖ＝１と設定する。
実施の形態３においては、前述した通り、有効性判定手段１３８に、単眼カメラによる画像処理では誤検出する可能性の高い先々行車と先行車が一部重なったような走行状態であることを推定する走行状態推定手段１３８ａを設け、先々行車と先行車が一部重なったような走行状態であることが推定されれば無効と判断し、それ以外であれば有効と判断する。
無効と判断された物体に対しては、有効性物判定フラグＦｖ＝ＮＵＬＬを移動体Ｍｖ（ｉ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ、ラップ量Ｌ、障害物判定フラグＦｏ、有効性判定フラグＦｖ｝と停止物Ｓｔ（ｊ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ、ラップ量Ｌ、障害物判定フラグＦｏ、有効性判定フラグＦｖ｝の情報として、付加する。有効と判定された物体に対しては、有効性判定フラグＦｖ＝１と設定する。
実施の形態３によれば、図１５に示すように、先々行車と先行車が一部重なったような
走行状態である場合にも、従来のミリ波レーダ単体システムの性能を維持しつつ、その他の走行状態に対しては警報・制御介入を早めることができ、カメラとフュージョンしたことによる効果を得ることができる。
走行状態である場合にも、従来のミリ波レーダ単体システムの性能を維持しつつ、その他の走行状態に対しては警報・制御介入を早めることができ、カメラとフュージョンしたことによる効果を得ることができる。
実施の形態４．
以下、図面を参照しながら、この発明の実施の形態４について説明する。
図１７は、この発明の実施の形態４による車両用障害物認識装置の有効性判定手段の無効と判断する相対位置を説明する図である。
図１７において、検出対象３５０に対する誤検出領域３５１が示されている。
以下、図面を参照しながら、この発明の実施の形態４について説明する。
図１７は、この発明の実施の形態４による車両用障害物認識装置の有効性判定手段の無効と判断する相対位置を説明する図である。
図１７において、検出対象３５０に対する誤検出領域３５１が示されている。
図１８は、この発明の実施の形態４による車両用障害物認識装置の有効性判定手段の誤検出を説明する図である。
図１８において、実際の車両３４０の検出点は、車両の中心位置であるべきだが、検出点３４１のように車両の端部になる場合がある。この場合、画像処理手段１３４における検出領域３４２のように検出領域が設定される。
実施の形態４の構成、ミリ波レーダの車両への取付け例は、実施の形態１と同様である。
図１８において、実際の車両３４０の検出点は、車両の中心位置であるべきだが、検出点３４１のように車両の端部になる場合がある。この場合、画像処理手段１３４における検出領域３４２のように検出領域が設定される。
実施の形態４の構成、ミリ波レーダの車両への取付け例は、実施の形態１と同様である。
次に、実施の形態４おける有効性判定手段１３８について説明する。
ミリ波レーダ１１０は、機械的または電気的にスキャンされて、検出対象を検出するため、横位置検出精度は一般的に、相対距離に応じて悪くなる。
従って、例えば、図１８に示すように、実際の車両３４０の検出点は、検出点３４１のように車両３４０の端部になる場合がある。この場合、画像処理手段１３４では検出領域３４２のように検出領域が設定される。
このような場合には、カメラ画像処理により、背景物やその他の車両などを検出対象と判定し、さらに悪影響を及ぼす可能性が高い。
ミリ波レーダ１１０は、機械的または電気的にスキャンされて、検出対象を検出するため、横位置検出精度は一般的に、相対距離に応じて悪くなる。
従って、例えば、図１８に示すように、実際の車両３４０の検出点は、検出点３４１のように車両３４０の端部になる場合がある。この場合、画像処理手段１３４では検出領域３４２のように検出領域が設定される。
このような場合には、カメラ画像処理により、背景物やその他の車両などを検出対象と判定し、さらに悪影響を及ぼす可能性が高い。
このため、有効性判定手段１３８は、物体情報演算手段１３１の出力に基づいて、検出した物体ごとに、障害物判定手段１３５で画像処理手段１３４の出力を加味することが有効か無効かを判定する。
実施の形態４では、前述した通り、ミリ波レーダ１１０が誤検出する可能性の高い相対位置に、検出物体が存在する場合には、無効と判断し、それ以外であれば有効と判断する。
無効と判断する相対位置は、例えば、図１７に示すような、検出対象３５０に対する誤検出領域３５１である。
無効と判断された物体に対しては、有効性物判定フラグＦｖ＝ＮＵＬＬを移動体Ｍｖ（ｉ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ、ラップ量Ｌ、障害物判定フラグＦｏ、有効性判定フラグＦｖ｝と停止物Ｓｔ（ｊ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ、ラップ量Ｌ、障害物判定フラグＦｏ、有効性判定フラグＦｖ｝の情報として、付加する。有効と判定された物体に対しては、有効性判定フラグＦｖ＝１と設定する。
実施の形態４では、前述した通り、ミリ波レーダ１１０が誤検出する可能性の高い相対位置に、検出物体が存在する場合には、無効と判断し、それ以外であれば有効と判断する。
無効と判断する相対位置は、例えば、図１７に示すような、検出対象３５０に対する誤検出領域３５１である。
無効と判断された物体に対しては、有効性物判定フラグＦｖ＝ＮＵＬＬを移動体Ｍｖ（ｉ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ、ラップ量Ｌ、障害物判定フラグＦｏ、有効性判定フラグＦｖ｝と停止物Ｓｔ（ｊ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、幅Ｗ、ラップ量Ｌ、障害物判定フラグＦｏ、有効性判定フラグＦｖ｝の情報として、付加する。有効と判定された物体に対しては、有効性判定フラグＦｖ＝１と設定する。
実施の形態４によれば、図１７に示すように、ミリ波レーダが誤検出する可能性の高い相対位置に検出物体が存在し、カメラ画像処理によるさらなる悪影響が懸念される場合にも、従来のミリ波レーダ単体システムの性能を維持しつつ、その他の走行状態に対しては警報・制御介入を早めることができ、カメラとフュージョンしたことによる効果を得ることができる。
実施の形態５．
以下、図面を参照しながら、この発明の実施の形態５について説明する。
図１９は、この発明の実施の形態５による車両用障害物認識装置の画像処理手段の処理を
示すフローチャートである。
実施の形態５の構成、及びミリ波レーダの車両への取付け例は、実施の形態１と同様である。
実施の形態５では、実施の形態４における画像処理手段および障害物判定手段を以下のように変更したものである。
以下、図面を参照しながら、この発明の実施の形態５について説明する。
図１９は、この発明の実施の形態５による車両用障害物認識装置の画像処理手段の処理を
示すフローチャートである。
実施の形態５の構成、及びミリ波レーダの車両への取付け例は、実施の形態１と同様である。
実施の形態５では、実施の形態４における画像処理手段および障害物判定手段を以下のように変更したものである。
画像処理手段１３４では、物体情報演算手段１３１の出力に基づいて、所定の画像処理を行う。
実施の形態５では、画像処理手段１３４は、検出物体を車両、二輪車、歩行者、その他に識別するものとする。
実施の形態５では、画像処理手段１３４は、検出物体を車両、二輪車、歩行者、その他に識別するものとする。
次に、図１９を用いて、画像処理手段１３４の処理について説明する。
まず、物体情報演算手段１３１の結果に基づき、検出領域設定手段Ｓ０１により、各移動体または停止物に対し、画像処理を施すための検出領域を設定する。検出領域は、例えば、物体情報演算手段１３１で得られた自車と移動体との相対位置を画像座標Ｐ（ｉ）、停止物との相対位置を座標変換したＰ（ｊ）に変換し、検出対象の中で最も大きい車両の１台分の高さおよび幅に所定のマージンを付加した領域Ｒ（ｉ）、Ｒ（ｊ）とする。
まず、物体情報演算手段１３１の結果に基づき、検出領域設定手段Ｓ０１により、各移動体または停止物に対し、画像処理を施すための検出領域を設定する。検出領域は、例えば、物体情報演算手段１３１で得られた自車と移動体との相対位置を画像座標Ｐ（ｉ）、停止物との相対位置を座標変換したＰ（ｊ）に変換し、検出対象の中で最も大きい車両の１台分の高さおよび幅に所定のマージンを付加した領域Ｒ（ｉ）、Ｒ（ｊ）とする。
続いて、検出対象識別手段Ｓ５２により、各移動体または停止物が車両、二輪車、歩行者、その他であることを、例えば、パターンマッチングを用いて識別する。
検出対象の識別結果は、移動体Ｍｖ（ｉ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、検出対象ＩＤ｝と停止物Ｓｔ（ｊ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、検出対象ＩＤ｝の情報として、付加する。検出対象が識別できなかった物体に対しては、検出対象ＩＤ＝ＮＵＬＬを付加する。
検出対象の識別結果は、移動体Ｍｖ（ｉ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、検出対象ＩＤ｝と停止物Ｓｔ（ｊ）＝｛相対距離Ｄｉｓ、相対横位置Ｌｔｐ、相対速度Ｖｒ、検出対象ＩＤ｝の情報として、付加する。検出対象が識別できなかった物体に対しては、検出対象ＩＤ＝ＮＵＬＬを付加する。
実施の形態５における障害物判定手段１３５のフローチャートは図８と同一である。
ただし、実施の形態５では、図８の回避対象判定手段Ｓ１３および警報対象判定手段Ｓ１４において、実施の形態４に対し、以下のように変更を加える。
ただし、実施の形態５では、図８の回避対象判定手段Ｓ１３および警報対象判定手段Ｓ１４において、実施の形態４に対し、以下のように変更を加える。
回避対象判定手段Ｓ１３では、衝突予測時間ＴＴＣが所定の回避閾値ＴＨｃを下回る場合に回避対象と判定する。ここで、有効性判定フラグＦｖ＝１の場合には、回避閾値ＴＨｃは検出対象毎に設定された所定の固定閾値Ｃ（ＩＤ）を用いて判定する。但し、有効性判定フラグＦｖ＝ＮＵＬＬの場合には、回避閾値ＴＨｃは、検出対象が車両である場合の所定の固定閾値Ｃ（ＩＤ）を用いて判定する。
回避対象があれば、警報手段１３６を実行して、運転者に自車の障害となる障害物があることを知らせるとともに、障害物回避手段１３７を実行して、障害物を回避する方向へ自車の制御を行う。
回避対象がなければ、警報対象判定手段Ｓ１４へ移行する。
回避対象があれば、警報手段１３６を実行して、運転者に自車の障害となる障害物があることを知らせるとともに、障害物回避手段１３７を実行して、障害物を回避する方向へ自車の制御を行う。
回避対象がなければ、警報対象判定手段Ｓ１４へ移行する。
警報対象判定手段Ｓ１４では、衝突予測時間ＴＴＣが、所定の警報閾値ＴＨｗを下回る場合に警報対象と判定する。ここで、有効性判定フラグＦｖ＝１の場合には、警報閾値ＴＨｗは検出対象毎に設定された所定の固定閾値Ｗ（ＩＤ）を用いて判定する。但し、有効性判定フラグＦｖ＝ＮＵＬＬの場合には、警報閾値ＴＨｗは検出対象が車両である場合の所定の固定閾値Ｗ（ＩＤ）を用いて判定する。
警報対象があれば、警報手段１３６を実行して運転者に自車の障害となる障害物があることを知らせる。
警報対象がなければ、障害物判定手段１３５を終了する。
ここで、固定閾値Ｃ（ＩＤ）、Ｗ（ＩＤ）は、歩行者＞二輪車＞車両またはその他の順に大きくなるものとする。これにより、歩行者や二輪車など、衝突時の被害軽減効果を大きくしたい対象に対して、警報・制御介入を早めることができる。
警報対象があれば、警報手段１３６を実行して運転者に自車の障害となる障害物があることを知らせる。
警報対象がなければ、障害物判定手段１３５を終了する。
ここで、固定閾値Ｃ（ＩＤ）、Ｗ（ＩＤ）は、歩行者＞二輪車＞車両またはその他の順に大きくなるものとする。これにより、歩行者や二輪車など、衝突時の被害軽減効果を大きくしたい対象に対して、警報・制御介入を早めることができる。
実施の形態５によれば、検出対象を識別し、検出対象毎に警報・制御介入のタイミングを可変とするシステムにおいて、検出対象の誤検出があった場合にも、従来のミリ波レーダ単体システムの性能を維持しつつ、カメラとフュージョンしたことによる効果を得ることができる。
１００ 車両用障害物認識装置
１１０ ミリ波レーダ
１２０ カメラ
１３０ ＣＰＵ
１４０ 警報装置
１５０ 自動制御装置
１６０ 車速センサ
１７０ ヨーレートセンサ
１３１ 物体検出手段
１３２ 画像取得手段
１３３ 画像処理手段
１３４ 車両情報取得手段
１３５ 障害物判定手段
１３６ 警報手段
１３７ 障害物回避手段
１３８ 有効性判定手段
１３８ａ 走行状態推定手段
１３９ 信頼性判定手段
１１０ ミリ波レーダ
１２０ カメラ
１３０ ＣＰＵ
１４０ 警報装置
１５０ 自動制御装置
１６０ 車速センサ
１７０ ヨーレートセンサ
１３１ 物体検出手段
１３２ 画像取得手段
１３３ 画像処理手段
１３４ 車両情報取得手段
１３５ 障害物判定手段
１３６ 警報手段
１３７ 障害物回避手段
１３８ 有効性判定手段
１３８ａ 走行状態推定手段
１３９ 信頼性判定手段
Claims (11)
- 車両に搭載され、上記車両に対する障害物を認識する車両用障害物認識装置において、上記車両の周辺の物体を検知する検知センサ、
この検知センサの出力に基づいて、上記車両と上記物体との相対位置および相対速度を演算する物体情報演算手段、
上記車両の周辺画像を撮像する画像センサ、
この画像センサにより撮像された画像を取得する画像取得手段、
上記物体情報演算手段の出力に基づき、上記画像取得手段によって取得された画像を処理する画像処理手段、
車両の運転状態を検出する車両情報取得手段、
上記物体情報演算手段及び上記車両情報取得手段の出力により、上記物体が上記車両の障害となる可能性を判定する障害物判定手段、
及び上記物体情報演算手段の出力に基づき、画像処理手段の出力が有効かどうかを判定する有効性判定手段を備え、
上記障害物判定手段は、上記有効性判定手段の出力に応じて、上記画像処理手段の出力を障害物の判定に用いることを特徴とする車両用障害物認識装置。 - 上記画像処理手段の出力の信頼性を判定する信頼性判定手段を備え、
上記障害物判定手段は、上記有効性判定手段の出力及び上記信頼性判定手段の出力に応じて、上記画像処理手段の出力を障害物の判定に用いることを特徴とする請求項１記載の車両用障害物認識装置。 - 上記画像処理手段は、上記車両と上記物体との重なりの大きさであるラップ量を検出するものであることを特徴とする請求項１または請求項２記載の車両用障害物認識装置。
- 上記画像処理手段は、上記物体を、車両及び歩行者を含む複数の種類に識別するものであることを特徴とする請求項１または請求項２記載の車両用障害物認識装置。
- 上記有効性判定手段は、上記物体情報演算手段の出力に基づき、上記物体が移動体である場合は有効、停止物である場合は有効でないと判定することを特徴とする請求項１〜請求項４のいずれかに記載の車両用障害物認識装置。
- 上記有効性判定手段は、上記物体情報演算手段の出力のうち、上記物体の上記車両に対する相対位置に応じて、有効か有効でないかを判定することを特徴とする請求項１〜請求項４のいずれかに記載の車両用障害物認識装置。
- 上記有効性判定手段は、上記物体情報演算手段の出力に基づき、上記物体の走行状態を推定する走行状態推定手段を有し、上記走行状態推定手段により、上記物体の走行状態として、上記車両の先行物体のさらに前方の物体の一部が検出されている状態であると推定された場合には、有効でないと判定することを特徴とする請求項１〜請求項４のいずれかに記載の車両用障害物認識装置。
- 上記走行状態推定手段により推定された上記物体の走行状態には、先行車が存在する場合に、割込み車が発生した状態が含まれることを特徴とする請求項７記載の車両用障害物認識装置。
- 上記走行状態推定手段により推定された上記物体の走行状態には、先々行車が存在する場合に、先行車が車線変更した状態が含まれることを特徴とする請求項７記載の車両用障害物認識装置。
- 上記走行状態推定手段により推定された上記物体の走行状態には、先々行車が存在する場合に、先行車が二輪車である状態が含まれることを特徴とする請求項７記載の車両用障害物認識装置。
- 上記走行状態推定手段により推定された上記物体の走行状態には、先々行車が存在する場合に、先行車の幅方向の横位置が先々行車に対してずれた状態が含まれることを特徴とする請求項７記載の車両用障害物認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007122473A JP4558758B2 (ja) | 2007-05-07 | 2007-05-07 | 車両用障害物認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007122473A JP4558758B2 (ja) | 2007-05-07 | 2007-05-07 | 車両用障害物認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008276689A true JP2008276689A (ja) | 2008-11-13 |
| JP4558758B2 JP4558758B2 (ja) | 2010-10-06 |
Family
ID=40054539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007122473A Active JP4558758B2 (ja) | 2007-05-07 | 2007-05-07 | 車両用障害物認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4558758B2 (ja) |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010244474A (ja) * | 2009-04-09 | 2010-10-28 | Hitachi Automotive Systems Ltd | 自動車の外界認識装置 |
| JP2010271788A (ja) * | 2009-05-19 | 2010-12-02 | Toyota Motor Corp | 物体検出装置 |
| WO2011036807A1 (ja) * | 2009-09-28 | 2011-03-31 | トヨタ自動車株式会社 | 物体検出装置及び物体検出方法 |
| WO2011070650A1 (ja) * | 2009-12-08 | 2011-06-16 | トヨタ自動車株式会社 | 物体検出装置及び物体検出方法 |
| JP2011180688A (ja) * | 2010-02-26 | 2011-09-15 | Mitsubishi Electric Corp | 車両周辺障害物検出装置 |
| KR20120021445A (ko) * | 2010-07-30 | 2012-03-09 | (주)엠아이웨어 | 선행 차량 차간 거리 산출 방법 |
| JP2012089114A (ja) * | 2010-09-24 | 2012-05-10 | Toyota Motor Corp | 障害物認識装置 |
| JP2012088285A (ja) * | 2010-10-22 | 2012-05-10 | Toyota Motor Corp | 障害物認識装置及び障害物認識方法 |
| JP2013164853A (ja) * | 2012-02-13 | 2013-08-22 | Toyota Motor Engineering & Manufacturing North America Inc | 交通信号認識システム及び方法 |
| JP2013180638A (ja) * | 2012-03-01 | 2013-09-12 | Nissan Motor Co Ltd | 車両用走行制御装置 |
| JP2014021524A (ja) * | 2012-07-12 | 2014-02-03 | Honda Motor Co Ltd | 物体認識装置 |
| WO2014033957A1 (ja) * | 2012-09-03 | 2014-03-06 | トヨタ自動車株式会社 | 衝突判定装置及び衝突判定方法 |
| JP2015031978A (ja) * | 2013-07-31 | 2015-02-16 | 日産自動車株式会社 | 情報提供装置及び方法 |
| KR101527831B1 (ko) * | 2012-11-22 | 2015-06-11 | 가부시키가이샤 덴소 | 물체 검출 장치 |
| JP2016103224A (ja) * | 2014-11-28 | 2016-06-02 | 株式会社デンソー | 車両の走行制御装置 |
| JP2016175449A (ja) * | 2015-03-18 | 2016-10-06 | 横浜ゴム株式会社 | 走行支援装置 |
| WO2017171082A1 (ja) * | 2016-04-01 | 2017-10-05 | 株式会社デンソー | 車両制御装置、車両制御方法 |
| JP2017211249A (ja) * | 2016-05-24 | 2017-11-30 | 株式会社デンソー | 物標検出装置 |
| JP2018097687A (ja) * | 2016-12-14 | 2018-06-21 | 株式会社デンソー | 車両制御装置、車両制御方法 |
| US10192122B2 (en) | 2014-08-21 | 2019-01-29 | Mitsubishi Electric Corporation | Driving assist apparatus, driving assist method, and non-transitory computer readable recording medium storing program |
| US10410072B2 (en) | 2015-11-20 | 2019-09-10 | Mitsubishi Electric Corporation | Driving support apparatus, driving support system, driving support method, and computer readable recording medium |
| CN111262903A (zh) * | 2018-11-30 | 2020-06-09 | 丰田自动车株式会社 | 服务器装置及车辆 |
| CN112507874A (zh) * | 2020-12-10 | 2021-03-16 | 上海芯翌智能科技有限公司 | 一种用于检测机动车加塞行为的方法与设备 |
| JP2021064159A (ja) * | 2019-10-14 | 2021-04-22 | 株式会社デンソー | 障害物検出装置 |
| CN113341414A (zh) * | 2021-04-22 | 2021-09-03 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于毫米波雷达的底盘防刮系统及底盘防刮方法 |
| JP2022037779A (ja) * | 2020-08-25 | 2022-03-09 | トヨタ自動車株式会社 | 路上障害物検出装置、路上障害物検出方法およびプログラム |
| CN118135542A (zh) * | 2024-05-06 | 2024-06-04 | 武汉未来幻影科技有限公司 | 一种障碍物动静态判定方法及其相关设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001084377A (ja) * | 1999-09-14 | 2001-03-30 | Mitsubishi Electric Corp | 画像処理装置 |
| JP2004053278A (ja) * | 2002-07-16 | 2004-02-19 | Nissan Motor Co Ltd | 前方車両追跡システムおよび前方車両追跡方法 |
| JP2004148991A (ja) * | 2002-10-30 | 2004-05-27 | Nissan Motor Co Ltd | 車両用外界認識装置 |
| JP2005202878A (ja) * | 2004-01-19 | 2005-07-28 | Toyota Motor Corp | 物体検出装置 |
| JP2005329779A (ja) * | 2004-05-19 | 2005-12-02 | Daihatsu Motor Co Ltd | 障害物認識方法及び障害物認識装置 |
| JP2006315570A (ja) * | 2005-05-13 | 2006-11-24 | Nissan Motor Co Ltd | 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両 |
| JP2006347252A (ja) * | 2005-06-14 | 2006-12-28 | Honda Motor Co Ltd | 車両の走行安全装置 |
-
2007
- 2007-05-07 JP JP2007122473A patent/JP4558758B2/ja active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001084377A (ja) * | 1999-09-14 | 2001-03-30 | Mitsubishi Electric Corp | 画像処理装置 |
| JP2004053278A (ja) * | 2002-07-16 | 2004-02-19 | Nissan Motor Co Ltd | 前方車両追跡システムおよび前方車両追跡方法 |
| JP2004148991A (ja) * | 2002-10-30 | 2004-05-27 | Nissan Motor Co Ltd | 車両用外界認識装置 |
| JP2005202878A (ja) * | 2004-01-19 | 2005-07-28 | Toyota Motor Corp | 物体検出装置 |
| JP2005329779A (ja) * | 2004-05-19 | 2005-12-02 | Daihatsu Motor Co Ltd | 障害物認識方法及び障害物認識装置 |
| JP2006315570A (ja) * | 2005-05-13 | 2006-11-24 | Nissan Motor Co Ltd | 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両 |
| JP2006347252A (ja) * | 2005-06-14 | 2006-12-28 | Honda Motor Co Ltd | 車両の走行安全装置 |
Cited By (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010244474A (ja) * | 2009-04-09 | 2010-10-28 | Hitachi Automotive Systems Ltd | 自動車の外界認識装置 |
| JP2010271788A (ja) * | 2009-05-19 | 2010-12-02 | Toyota Motor Corp | 物体検出装置 |
| WO2011036807A1 (ja) * | 2009-09-28 | 2011-03-31 | トヨタ自動車株式会社 | 物体検出装置及び物体検出方法 |
| DE112009005424T5 (de) | 2009-12-08 | 2012-12-06 | Toyota Jidosha Kabushiki Kaisha | Objektdetektionsvorrichtung u nd Objektdetektionsverfahren |
| JP4883246B2 (ja) * | 2009-12-08 | 2012-02-22 | トヨタ自動車株式会社 | 物体検出装置及び物体検出方法 |
| DE112009005424B4 (de) * | 2009-12-08 | 2015-12-24 | Toyota Jidosha Kabushiki Kaisha | Objektdetektionsvorrichtung und Objektdetektionsverfahren |
| WO2011070650A1 (ja) * | 2009-12-08 | 2011-06-16 | トヨタ自動車株式会社 | 物体検出装置及び物体検出方法 |
| US8610620B2 (en) | 2009-12-08 | 2013-12-17 | Toyota Jidosha Kabushiki Kaisha | Object detecting apparatus and object detecting method |
| JP2011180688A (ja) * | 2010-02-26 | 2011-09-15 | Mitsubishi Electric Corp | 車両周辺障害物検出装置 |
| KR20120021445A (ko) * | 2010-07-30 | 2012-03-09 | (주)엠아이웨어 | 선행 차량 차간 거리 산출 방법 |
| KR101722258B1 (ko) | 2010-07-30 | 2017-04-10 | (주)엠아이웨어 | 선행 차량 차간 거리 산출 방법 |
| JP2012089114A (ja) * | 2010-09-24 | 2012-05-10 | Toyota Motor Corp | 障害物認識装置 |
| JP2012088285A (ja) * | 2010-10-22 | 2012-05-10 | Toyota Motor Corp | 障害物認識装置及び障害物認識方法 |
| JP2013164853A (ja) * | 2012-02-13 | 2013-08-22 | Toyota Motor Engineering & Manufacturing North America Inc | 交通信号認識システム及び方法 |
| JP2013180638A (ja) * | 2012-03-01 | 2013-09-12 | Nissan Motor Co Ltd | 車両用走行制御装置 |
| JP2014021524A (ja) * | 2012-07-12 | 2014-02-03 | Honda Motor Co Ltd | 物体認識装置 |
| WO2014033957A1 (ja) * | 2012-09-03 | 2014-03-06 | トヨタ自動車株式会社 | 衝突判定装置及び衝突判定方法 |
| CN104603855A (zh) * | 2012-09-03 | 2015-05-06 | 丰田自动车株式会社 | 碰撞判定装置和碰撞判定方法 |
| JP5862785B2 (ja) * | 2012-09-03 | 2016-02-16 | トヨタ自動車株式会社 | 衝突判定装置及び衝突判定方法 |
| CN104603855B (zh) * | 2012-09-03 | 2016-06-22 | 丰田自动车株式会社 | 碰撞判定装置和碰撞判定方法 |
| KR101527831B1 (ko) * | 2012-11-22 | 2015-06-11 | 가부시키가이샤 덴소 | 물체 검출 장치 |
| JP2015031978A (ja) * | 2013-07-31 | 2015-02-16 | 日産自動車株式会社 | 情報提供装置及び方法 |
| US10192122B2 (en) | 2014-08-21 | 2019-01-29 | Mitsubishi Electric Corporation | Driving assist apparatus, driving assist method, and non-transitory computer readable recording medium storing program |
| WO2016084479A1 (ja) * | 2014-11-28 | 2016-06-02 | 株式会社デンソー | 車両の走行制御装置、走行制御方法、及び走行制御プログラム |
| CN107004368A (zh) * | 2014-11-28 | 2017-08-01 | 株式会社电装 | 车辆的行驶控制装置、行驶控制方法以及行驶控制程序 |
| JP2016103224A (ja) * | 2014-11-28 | 2016-06-02 | 株式会社デンソー | 車両の走行制御装置 |
| US10350999B2 (en) | 2014-11-28 | 2019-07-16 | Denso Corporation | Vehicle cruise control apparatus and vehicle cruise control method |
| CN107004368B (zh) * | 2014-11-28 | 2020-10-02 | 株式会社电装 | 车辆的行驶控制装置以及行驶控制方法 |
| JP2016175449A (ja) * | 2015-03-18 | 2016-10-06 | 横浜ゴム株式会社 | 走行支援装置 |
| US10410072B2 (en) | 2015-11-20 | 2019-09-10 | Mitsubishi Electric Corporation | Driving support apparatus, driving support system, driving support method, and computer readable recording medium |
| WO2017171082A1 (ja) * | 2016-04-01 | 2017-10-05 | 株式会社デンソー | 車両制御装置、車両制御方法 |
| US11086011B2 (en) | 2016-05-24 | 2021-08-10 | Denso Corporation | Target detection device |
| JP2017211249A (ja) * | 2016-05-24 | 2017-11-30 | 株式会社デンソー | 物標検出装置 |
| WO2017204107A1 (ja) * | 2016-05-24 | 2017-11-30 | 株式会社デンソー | 物標検出装置 |
| JP2018097687A (ja) * | 2016-12-14 | 2018-06-21 | 株式会社デンソー | 車両制御装置、車両制御方法 |
| CN111262903A (zh) * | 2018-11-30 | 2020-06-09 | 丰田自动车株式会社 | 服务器装置及车辆 |
| CN111262903B (zh) * | 2018-11-30 | 2022-08-02 | 丰田自动车株式会社 | 服务器装置及车辆 |
| JP2021064159A (ja) * | 2019-10-14 | 2021-04-22 | 株式会社デンソー | 障害物検出装置 |
| JP2022037779A (ja) * | 2020-08-25 | 2022-03-09 | トヨタ自動車株式会社 | 路上障害物検出装置、路上障害物検出方法およびプログラム |
| CN112507874A (zh) * | 2020-12-10 | 2021-03-16 | 上海芯翌智能科技有限公司 | 一种用于检测机动车加塞行为的方法与设备 |
| CN112507874B (zh) * | 2020-12-10 | 2023-02-21 | 上海芯翌智能科技有限公司 | 一种用于检测机动车加塞行为的方法与设备 |
| CN113341414A (zh) * | 2021-04-22 | 2021-09-03 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于毫米波雷达的底盘防刮系统及底盘防刮方法 |
| CN118135542A (zh) * | 2024-05-06 | 2024-06-04 | 武汉未来幻影科技有限公司 | 一种障碍物动静态判定方法及其相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4558758B2 (ja) | 2010-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4558758B2 (ja) | 車両用障害物認識装置 | |
| CN107408345B (zh) | 物标存在判定方法以及装置 | |
| US9460627B2 (en) | Collision determination device and collision mitigation device | |
| CN107430822B (zh) | 物体检测装置以及物体检测方法 | |
| JP4788778B2 (ja) | 逸脱警報装置、および逸脱警報プログラム | |
| CN109891262B (zh) | 物体探测装置 | |
| US20190293787A1 (en) | Target detection device | |
| US20200023837A1 (en) | Collision detection device | |
| US10665107B2 (en) | Moving object control apparatus and method of controlling moving object | |
| JP5910046B2 (ja) | 障害物検出装置 | |
| US9102329B2 (en) | Tracking control apparatus | |
| JP6855776B2 (ja) | 物体検出装置、及び物体検出方法 | |
| JP2012089114A (ja) | 障害物認識装置 | |
| JP6669090B2 (ja) | 車両制御装置 | |
| US20200130683A1 (en) | Collision prediction apparatus and collision prediction method | |
| JP6432538B2 (ja) | 衝突予測装置 | |
| CN109017776B (zh) | 安装在车辆中的驾驶辅助系统 | |
| US10996317B2 (en) | Object detection apparatus and object detection method | |
| JP2008037361A (ja) | 障害物認識装置 | |
| JP4876772B2 (ja) | 割込車両判定装置 | |
| JP5083172B2 (ja) | 衝突予測装置 | |
| KR20200115640A (ko) | 차선 변경시 차량과 인접한 차선에 위치한 2차 물체와 차량 간의 충돌 위험을 검출하기 위한 시스템 및 방법 | |
| WO2017164017A1 (ja) | 車両検知装置 | |
| JP5655297B2 (ja) | 物体検出装置、物体検出装置を備えた車両の安全システム | |
| US11407390B2 (en) | Vehicle control apparatus and vehicle control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090730 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090804 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090908 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100511 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100616 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100706 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100721 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4558758 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130730 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |