JP2001296357A - 物体検出装置 - Google Patents
物体検出装置Info
- Publication number
- JP2001296357A JP2001296357A JP2000118549A JP2000118549A JP2001296357A JP 2001296357 A JP2001296357 A JP 2001296357A JP 2000118549 A JP2000118549 A JP 2000118549A JP 2000118549 A JP2000118549 A JP 2000118549A JP 2001296357 A JP2001296357 A JP 2001296357A
- Authority
- JP
- Japan
- Prior art keywords
- area
- image
- wave radar
- power
- object detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Geophysics And Detection Of Objects (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
(57)【要約】
【課題】 ミリ波レーダと画像処理を使用した物体検出
装置において、ミリ波レーダと画像処理の欠点を相互に
補いながら、処理時間を短縮する。 【解決手段】 走行支援装置は、ミリ波レーダ１と、左
カメラ２と右カメラ３と、画像処理用のＥＣＵ４から構
成される。ＥＣＵのマイコン５は、ミリ波レーダから出
力されるパワーに基づいて画像認識エリアを特定し、画
像取得手段から取得した画像について、特定された画像
認識エリアに限定して、画像処理を実行する。ミリ波レ
ーダがターゲットを検出したエリアに限定して画像処理
を行うことにより、画像処理に要する時間が短縮され
る。また、路面文字などを誤検知することがなくなる。
装置において、ミリ波レーダと画像処理の欠点を相互に
補いながら、処理時間を短縮する。 【解決手段】 走行支援装置は、ミリ波レーダ１と、左
カメラ２と右カメラ３と、画像処理用のＥＣＵ４から構
成される。ＥＣＵのマイコン５は、ミリ波レーダから出
力されるパワーに基づいて画像認識エリアを特定し、画
像取得手段から取得した画像について、特定された画像
認識エリアに限定して、画像処理を実行する。ミリ波レ
ーダがターゲットを検出したエリアに限定して画像処理
を行うことにより、画像処理に要する時間が短縮され
る。また、路面文字などを誤検知することがなくなる。
Description
【０００１】
【発明の属する技術分野】本発明は、物体検出装置に関
する。本発明の物体検出装置は、例えば、自動車に搭載
され、先行車両、障害物等を検出することにより、ドラ
イバによる自動車の走行を支援する装置として使用され
る。
する。本発明の物体検出装置は、例えば、自動車に搭載
され、先行車両、障害物等を検出することにより、ドラ
イバによる自動車の走行を支援する装置として使用され
る。
【０００２】
【従来の技術】従来の物体検出装置は、ミリ波レーダで
のターゲット検出結果と、画像処理でのターゲット検出
結果との双方の結果を用いてデータの信頼性を検討し、
最適な結果を導き出すような融合アルゴリズムを構築し
ていた。図１に、従来の物体検出装置の構成を示す。
のターゲット検出結果と、画像処理でのターゲット検出
結果との双方の結果を用いてデータの信頼性を検討し、
最適な結果を導き出すような融合アルゴリズムを構築し
ていた。図１に、従来の物体検出装置の構成を示す。
【０００３】物体検出装置は、ミリ波レーダ１と、左カ
メラ２と、右カメラ３と、画像処理用のＥＣＵ４から構
成される。ＥＣＵ４は、画像処理用マイコン１１と融合
処理用マイコン１２から構成される。画像処理用マイコ
ン１１は、各カメラ２，３からの画像を画像処理して物
体の検出を行う。具体的には、左右カメラ２，３から取
得した画像からエッジを抽出し、その結果得られた左右
のエッジ抽出位置から視差を計算して、距離値を算出す
る。画像処理用マイコン１１の処理について図を用いて
説明する。
メラ２と、右カメラ３と、画像処理用のＥＣＵ４から構
成される。ＥＣＵ４は、画像処理用マイコン１１と融合
処理用マイコン１２から構成される。画像処理用マイコ
ン１１は、各カメラ２，３からの画像を画像処理して物
体の検出を行う。具体的には、左右カメラ２，３から取
得した画像からエッジを抽出し、その結果得られた左右
のエッジ抽出位置から視差を計算して、距離値を算出す
る。画像処理用マイコン１１の処理について図を用いて
説明する。
【０００４】図２は画像の１例を示す。当該車両の前方
には、先行車両６が１台あり、路面にライン７が描か
れ、路肩にガードレール８が存在している。図３は、図
２の画像を処理して、縦エッジを計算した結果を示し、
図４は、図３の結果を処理して、ピークの強い順にエッ
ジを抽出した結果を示し、短い線分が抽出されたエッジ
である。画像処理用マイコン１１は、左右のカメラ２，
３からそれぞれ図４のエッジを抽出し、視差によりター
ゲットまでの距離を計算する。
には、先行車両６が１台あり、路面にライン７が描か
れ、路肩にガードレール８が存在している。図３は、図
２の画像を処理して、縦エッジを計算した結果を示し、
図４は、図３の結果を処理して、ピークの強い順にエッ
ジを抽出した結果を示し、短い線分が抽出されたエッジ
である。画像処理用マイコン１１は、左右のカメラ２，
３からそれぞれ図４のエッジを抽出し、視差によりター
ゲットまでの距離を計算する。
【０００５】ミリ波レーダ１における処理方法は、特定
エリア内をミリ波によりスキャンし、出力パワーの強い
部分をターゲットとして認識する。図５は、ミリ波レー
ダ１から出力されたパワー強度と横位置（角度）の関係
を示したもので、ターゲットが存在する部分のパワー強
度は高くなり、ターゲットが存在しない部分は低くな
る。
エリア内をミリ波によりスキャンし、出力パワーの強い
部分をターゲットとして認識する。図５は、ミリ波レー
ダ１から出力されたパワー強度と横位置（角度）の関係
を示したもので、ターゲットが存在する部分のパワー強
度は高くなり、ターゲットが存在しない部分は低くな
る。
【０００６】融合処理用マイコン１２は、ミリ波レーダ
１の検出結果と、画像処理用マイコン１１の検出結果と
を相互的に判断してターゲットの有無を判定し先行車両
などの物体の存在確認、距離等の計算を行う。
１の検出結果と、画像処理用マイコン１１の検出結果と
を相互的に判断してターゲットの有無を判定し先行車両
などの物体の存在確認、距離等の計算を行う。
【０００７】
【発明が解決しようとする課題】上記従来の物体検出装
置では、ミリ波レーダ及び、画像処理の双方の弱点を克
服することは難しく、ミリ波レーダ及び画像処理のそれ
ぞれから得られた結果以上の最適な結果を導き出すこと
ができない。また、従来のミリ波レーダ１及び画像処理
マイコン１１に必要な処理時間に単純に融合処理用マイ
コン１２における融合アルゴリズム分を加える形になる
ため、処理時間がかかり、最適な形態とは言えなかっ
た。
置では、ミリ波レーダ及び、画像処理の双方の弱点を克
服することは難しく、ミリ波レーダ及び画像処理のそれ
ぞれから得られた結果以上の最適な結果を導き出すこと
ができない。また、従来のミリ波レーダ１及び画像処理
マイコン１１に必要な処理時間に単純に融合処理用マイ
コン１２における融合アルゴリズム分を加える形になる
ため、処理時間がかかり、最適な形態とは言えなかっ
た。
【０００８】本発明は、ミリ波レーダと画像処理を使用
した物体検出装置において、ミリ波レーダと画像処理の
欠点を相互に補いながら、処理時間を短縮することを目
的とするものである。
した物体検出装置において、ミリ波レーダと画像処理の
欠点を相互に補いながら、処理時間を短縮することを目
的とするものである。
【０００９】
【課題を解決するための手段】本発明は、上記目的を達
成するためになされたものである。本発明の物体検出装
置は、ミリ波レーダと、画像取得手段と、ミリ波レーダ
から出力されるパワーに基づいて画像認識エリアを特定
し、画像取得手段から取得した画像について、前記特定
された画像認識エリアに限定して、画像処理を実行する
処理手段とから構成される。
成するためになされたものである。本発明の物体検出装
置は、ミリ波レーダと、画像取得手段と、ミリ波レーダ
から出力されるパワーに基づいて画像認識エリアを特定
し、画像取得手段から取得した画像について、前記特定
された画像認識エリアに限定して、画像処理を実行する
処理手段とから構成される。
【００１０】ミリ波レーダは、障害物、車両などの対象
物を検知すると、所定のパワーを出力する。このパワー
を検出したエリアに限定して画像処理を行うことで、ミ
リ波レーダと画像処理の双方の弱点を克服した物体検出
が可能となる。また、画像処理の処理時間が短縮され
る。さらに、画像処理の場合は路面文字などを対象物と
して誤認識することがあるが、ミリ波レーダではこれを
検出しないので、ミリ波レーダが物体を検出したエリア
に限定して画像処理を行うことにより、路面文字などの
実態のないものを誤検出することが防止できる。
物を検知すると、所定のパワーを出力する。このパワー
を検出したエリアに限定して画像処理を行うことで、ミ
リ波レーダと画像処理の双方の弱点を克服した物体検出
が可能となる。また、画像処理の処理時間が短縮され
る。さらに、画像処理の場合は路面文字などを対象物と
して誤認識することがあるが、ミリ波レーダではこれを
検出しないので、ミリ波レーダが物体を検出したエリア
に限定して画像処理を行うことにより、路面文字などの
実態のないものを誤検出することが防止できる。
【００１１】本発明の物体検出装置の別の態様は、ミリ
波レーダと、画像取得手段と、前記画像取得手段よりの
画像からエッジを抽出し、抽出したエッジの位置が、前
記ミリ波レーダの検出結果より抽出したパワーに基づい
て、所定のエリア内に存在するかどうかを判断し、存在
したエッジのみを有効なエッジとする処理手段とから構
成される。
波レーダと、画像取得手段と、前記画像取得手段よりの
画像からエッジを抽出し、抽出したエッジの位置が、前
記ミリ波レーダの検出結果より抽出したパワーに基づい
て、所定のエリア内に存在するかどうかを判断し、存在
したエッジのみを有効なエッジとする処理手段とから構
成される。
【００１２】この構成によれば、画像から抽出したエッ
ジであっても、ミリ波レーダが物体として検知したター
ゲットでなければ無視をするので、路面文字などを誤検
出することを防止でき、ミリ波レーダと画像処理の双方
の弱点を克服した物体検出が可能となる。
ジであっても、ミリ波レーダが物体として検知したター
ゲットでなければ無視をするので、路面文字などを誤検
出することを防止でき、ミリ波レーダと画像処理の双方
の弱点を克服した物体検出が可能となる。
【００１３】
【発明の実施の形態】以下本発明の物体検出装置を車両
の走行支援装置に適用した実施形態について図を用いて
説明する。図６は、走行支援装置の回路構成を示す。走
行支援装置は、ミリ波レーダ１と、左カメラ２と右カメ
ラ３と、画像処理用のＥＣＵ４から構成される。ＥＣＵ
４は、画像処理用及び融合処理用を兼用したマイコン５
から構成される。なお、画像処理において視差による測
距を行うために左右２台のカメラ２，３を設けている
が、視差による測距を行わない場合は、カメラは１台の
みとすることができる。
の走行支援装置に適用した実施形態について図を用いて
説明する。図６は、走行支援装置の回路構成を示す。走
行支援装置は、ミリ波レーダ１と、左カメラ２と右カメ
ラ３と、画像処理用のＥＣＵ４から構成される。ＥＣＵ
４は、画像処理用及び融合処理用を兼用したマイコン５
から構成される。なお、画像処理において視差による測
距を行うために左右２台のカメラ２，３を設けている
が、視差による測距を行わない場合は、カメラは１台の
みとすることができる。
【００１４】次に、マイコン５の処理について説明をす
る。 （実施形態１−１）図７は、マイコン５の処理を示すフ
ローチャートである。なお、車両の前方の状況が前述の
図２に示すとおりであるとする。図７において、ステッ
プＳ１で、ミリ波レーダ１により、特定エリア内をスキ
ャンする。図８は、スキャンの結果、ミリ波レーダ１か
ら得られた結果を示す。図８の横軸は、スキャンしたエ
リアの横位置（角度）を示し、縦軸は、パワー強度〔ｄ
Ｂ〕を示す。前方に先行車両６があると、図示のよう
に、先行車両６に対応する横位置におけるパワー強度は
大きいものとなる。
る。 （実施形態１−１）図７は、マイコン５の処理を示すフ
ローチャートである。なお、車両の前方の状況が前述の
図２に示すとおりであるとする。図７において、ステッ
プＳ１で、ミリ波レーダ１により、特定エリア内をスキ
ャンする。図８は、スキャンの結果、ミリ波レーダ１か
ら得られた結果を示す。図８の横軸は、スキャンしたエ
リアの横位置（角度）を示し、縦軸は、パワー強度〔ｄ
Ｂ〕を示す。前方に先行車両６があると、図示のよう
に、先行車両６に対応する横位置におけるパワー強度は
大きいものとなる。
【００１５】ステップＳ２で、パワーが強い（Ｐ〔ｄ
Ｂ〕以上）ものをターゲットとして認識し、そのターゲ
ットが存在する角度範囲（Ｘ０〜Ｘ１）を検索エリアと
して保存する。ここでターゲットとして検出されるの
は、図２では先行車両６だけであり、ライン７のような
路面上に平面的に描かれたものではパワーは検出されな
い。
Ｂ〕以上）ものをターゲットとして認識し、そのターゲ
ットが存在する角度範囲（Ｘ０〜Ｘ１）を検索エリアと
して保存する。ここでターゲットとして検出されるの
は、図２では先行車両６だけであり、ライン７のような
路面上に平面的に描かれたものではパワーは検出されな
い。
【００１６】ステップＳ３で、左右カメラ２，３から取
得した画像について、ステップＳ２で得た角度範囲（Ｘ
０〜Ｘ１）内を検索エリアとして限定する。ステップＳ
４で、限定された検索エリア内で、縦エッジを抽出す
る。なお、この縦エッジの抽出処理は、当該技術分野に
おいて良く知られていることであるので、処理の内容の
説明は省略する。
得した画像について、ステップＳ２で得た角度範囲（Ｘ
０〜Ｘ１）内を検索エリアとして限定する。ステップＳ
４で、限定された検索エリア内で、縦エッジを抽出す
る。なお、この縦エッジの抽出処理は、当該技術分野に
おいて良く知られていることであるので、処理の内容の
説明は省略する。
【００１７】ステップＳ５で、パワーの強いもののみを
抽出する。ここで、前述の図３は、カメラ２，３から得
た画像全体に渡って縦エッジを抽出した場合の結果を示
す図である。これに対し、本例では、画像全体ではな
く、検索エリアのみについて縦エッジを抽出し、パワー
の強いもののみを抽出する。その結果は図９に示すとお
りとなり、短い線分が抽出されたエッジである。
抽出する。ここで、前述の図３は、カメラ２，３から得
た画像全体に渡って縦エッジを抽出した場合の結果を示
す図である。これに対し、本例では、画像全体ではな
く、検索エリアのみについて縦エッジを抽出し、パワー
の強いもののみを抽出する。その結果は図９に示すとお
りとなり、短い線分が抽出されたエッジである。
【００１８】このように、限定した検索エリア内のみで
縦エッジの抽出を行うことにより、画像全体について縦
エッジを抽出する場合に比べて、処理時間を短縮するこ
とができる。また、図８の検索エリアから外れたライン
７などについては、エッジ抽出が行われないので、路面
文字などをターゲットとして誤検出することがない。ス
テップＳ６で、左右画像におけるピークを対応付けし、
ステップＳ７で、対応付けしたピークの視差を計算し、
先行車両６までの距離を得る。なお、ステップＳ６、Ｓ
７の処理は、当該技術分野において良く知られているこ
とであるので、処理の内容の説明は省略する。
縦エッジの抽出を行うことにより、画像全体について縦
エッジを抽出する場合に比べて、処理時間を短縮するこ
とができる。また、図８の検索エリアから外れたライン
７などについては、エッジ抽出が行われないので、路面
文字などをターゲットとして誤検出することがない。ス
テップＳ６で、左右画像におけるピークを対応付けし、
ステップＳ７で、対応付けしたピークの視差を計算し、
先行車両６までの距離を得る。なお、ステップＳ６、Ｓ
７の処理は、当該技術分野において良く知られているこ
とであるので、処理の内容の説明は省略する。
【００１９】以上説明した例によれば、画像処理により
エッジ抽出を行う上で、検索エリアを限定することによ
り、処理時間の短縮が可能となる。また、路面文字など
の障害物はミリ波レーダではパワーに反映されないた
め、障害物、先行車両などの対象物のみを検知できる。 （実施形態１−２）図７のステップＳ２における検索エ
リアの検出は、種々の変形が可能である。
エッジ抽出を行う上で、検索エリアを限定することによ
り、処理時間の短縮が可能となる。また、路面文字など
の障害物はミリ波レーダではパワーに反映されないた
め、障害物、先行車両などの対象物のみを検知できる。 （実施形態１−２）図７のステップＳ２における検索エ
リアの検出は、種々の変形が可能である。
【００２０】図１０は、ステップＳ２の異なる検索エリ
アの抽出方法を示す。図１１は、そのエッジ抽出の結果
を示す。図１０において、ミリ波レーダ１から得たパワ
ー強度のＰ０〜Ｐ１〔ｄＢ〕の範囲をパワー強度の所定
レベル範囲とし、そのレベル範囲の横位置Ｘ０〜Ｘ１，
Ｘ２〜Ｘ３を検索エリアとして抽出する。図１０のパワ
ー強度の強い部分は、ターゲットを検出しているもので
あるから、パワー強度が急激に変化するＰ０〜Ｐ１〔ｄ
Ｂ〕の範囲は、ターゲットのエッジ位置となる。したが
って、本例によれば、エッジが抽出される可能性が高い
位置を更に限定することができるので、図１１に示すよ
うに、ターゲットのエッジのみを抽出することができ、
処理時間を更に短縮できる。
アの抽出方法を示す。図１１は、そのエッジ抽出の結果
を示す。図１０において、ミリ波レーダ１から得たパワ
ー強度のＰ０〜Ｐ１〔ｄＢ〕の範囲をパワー強度の所定
レベル範囲とし、そのレベル範囲の横位置Ｘ０〜Ｘ１，
Ｘ２〜Ｘ３を検索エリアとして抽出する。図１０のパワ
ー強度の強い部分は、ターゲットを検出しているもので
あるから、パワー強度が急激に変化するＰ０〜Ｐ１〔ｄ
Ｂ〕の範囲は、ターゲットのエッジ位置となる。したが
って、本例によれば、エッジが抽出される可能性が高い
位置を更に限定することができるので、図１１に示すよ
うに、ターゲットのエッジのみを抽出することができ、
処理時間を更に短縮できる。
【００２１】（実施形態１−３）図１２は、図７のステ
ップＳ２の更に異なる検索エリアの抽出方法を示す。図
１３は、本例における前方の状況を示す。ミリ波レーダ
１から得たパワー強度の分布は、図１２のように複数の
山に分かれる場合がある。これは、図１３に示すよう
に、前方に２つの先行車両６，９が存在した場合等に見
られる。このようにパワーの分布が２山に分かれた場
合、谷の部分（パワー強度Ｐ１〔ｄＢ〕以下の部分）の
横位置Ｘ０〜Ｘ１を検索エリアとして抽出する。
ップＳ２の更に異なる検索エリアの抽出方法を示す。図
１３は、本例における前方の状況を示す。ミリ波レーダ
１から得たパワー強度の分布は、図１２のように複数の
山に分かれる場合がある。これは、図１３に示すよう
に、前方に２つの先行車両６，９が存在した場合等に見
られる。このようにパワーの分布が２山に分かれた場
合、谷の部分（パワー強度Ｐ１〔ｄＢ〕以下の部分）の
横位置Ｘ０〜Ｘ１を検索エリアとして抽出する。
【００２２】（実施形態１−４）実際に高速道路などを
走行した場合、前方に車両が単一で存在する可能性は極
めて低く、複数台存在する場合がほとんどである。した
がって、ミリ波レーダからの出力結果としては、様々な
パターンが存在し、一意的には決定できない。そこで、
図７のステップＳ２として、上述の実施形態１−１から
１−３で説明した全ての検索エリアの合計を検索エリア
とすることで、実際の走行に対応できるようにすること
ができる。
走行した場合、前方に車両が単一で存在する可能性は極
めて低く、複数台存在する場合がほとんどである。した
がって、ミリ波レーダからの出力結果としては、様々な
パターンが存在し、一意的には決定できない。そこで、
図７のステップＳ２として、上述の実施形態１−１から
１−３で説明した全ての検索エリアの合計を検索エリア
とすることで、実際の走行に対応できるようにすること
ができる。
【００２３】（実施形態２−１）図１４は、マイコン５
の第２の処理を示すフローチャートである。ステップＳ
１１で、ミリ波レーダ１により、特定エリア内をスキャ
ンする。図１５は、スキャンの結果、ミリ波レーダ１か
ら得た結果を示す。ここでは、車両の前方の状況が前述
の図２に示すとおりであるとする。
の第２の処理を示すフローチャートである。ステップＳ
１１で、ミリ波レーダ１により、特定エリア内をスキャ
ンする。図１５は、スキャンの結果、ミリ波レーダ１か
ら得た結果を示す。ここでは、車両の前方の状況が前述
の図２に示すとおりであるとする。
【００２４】ステップＳ１２で、パワーの強いものをタ
ーゲットとして認識して、図１５のパワー強度のピーク
に対応して角度（Ｘ０）を抽出し保存する。ステップＳ
１３，１４で、画像の濃度変化から検索エリアを抽出す
る。図１６は、カメラ２，３から得た画像の濃度変化を
示す。この濃度変化は、カメラ２，３から得た画像につ
いて、ある水平方向のライン（Ｘ座標）上の濃度を示
す。
ーゲットとして認識して、図１５のパワー強度のピーク
に対応して角度（Ｘ０）を抽出し保存する。ステップＳ
１３，１４で、画像の濃度変化から検索エリアを抽出す
る。図１６は、カメラ２，３から得た画像の濃度変化を
示す。この濃度変化は、カメラ２，３から得た画像につ
いて、ある水平方向のライン（Ｘ座標）上の濃度を示
す。
【００２５】ステップＳ１３で、この濃度変化につい
て、ピークに対応するＸ０座標を中心に、左右対称とな
るエリアを検索し、対称とならなくなった位置Ｘ１，Ｘ
２を保存する。物体が車両などである場合、その画像濃
度は中心から左右対称となり、車両より外側になると、
路面などが画像として検出されるので、左右対称とはな
らなくなる。したがって、左右対称とならなくなった位
置Ｘ１，Ｘ２の近辺に物体のエリアがある可能性が高
い。なお、左右対称を判断する際には、同一物体であっ
ても実際には１００％対称とはならないので、ある程度
の許容範囲を持たせて判断をする。
て、ピークに対応するＸ０座標を中心に、左右対称とな
るエリアを検索し、対称とならなくなった位置Ｘ１，Ｘ
２を保存する。物体が車両などである場合、その画像濃
度は中心から左右対称となり、車両より外側になると、
路面などが画像として検出されるので、左右対称とはな
らなくなる。したがって、左右対称とならなくなった位
置Ｘ１，Ｘ２の近辺に物体のエリアがある可能性が高
い。なお、左右対称を判断する際には、同一物体であっ
ても実際には１００％対称とはならないので、ある程度
の許容範囲を持たせて判断をする。
【００２６】ステップＳ１４で、位置Ｘ１，Ｘ２を中心
として、前後数座標のエリア（Ｘ３〜Ｘ４，Ｘ５〜Ｘ
６）を検索エリアとして保存する。このように、位置Ｘ
１，Ｘ２の近辺のエリアを特定することにより、物体の
エッジがこの検索エリア内に存在することとなる。以後
のステップ、即ち、この検索エリアを使用するステップ
Ｓ４〜７の処理は、前述の図７のフローチャートと同様
である。本例においても、画像処理に要する時間を短縮
し、路面文字などを物体と誤検出することが防止でき
る。
として、前後数座標のエリア（Ｘ３〜Ｘ４，Ｘ５〜Ｘ
６）を検索エリアとして保存する。このように、位置Ｘ
１，Ｘ２の近辺のエリアを特定することにより、物体の
エッジがこの検索エリア内に存在することとなる。以後
のステップ、即ち、この検索エリアを使用するステップ
Ｓ４〜７の処理は、前述の図７のフローチャートと同様
である。本例においても、画像処理に要する時間を短縮
し、路面文字などを物体と誤検出することが防止でき
る。
【００２７】（実施形態２−２）上記ステップＳ１３，
１４における画像処理による検索エリアの抽出は、画像
の濃度変化の代わりに、濃度投影値を用いても抽出する
ことができる。図１７は、画像の濃度投影値を利用した
検索エリアの抽出方法を示す。この濃度投影値は、カメ
ラ２，３から得た画像について、垂直方向（縦位置）に
画素濃度を合計して得るものである。本例でも、上述の
実施形態２−１と同様にして検索エリアＸ３〜Ｘ４，Ｘ
５〜Ｘ６を得る。
１４における画像処理による検索エリアの抽出は、画像
の濃度変化の代わりに、濃度投影値を用いても抽出する
ことができる。図１７は、画像の濃度投影値を利用した
検索エリアの抽出方法を示す。この濃度投影値は、カメ
ラ２，３から得た画像について、垂直方向（縦位置）に
画素濃度を合計して得るものである。本例でも、上述の
実施形態２−１と同様にして検索エリアＸ３〜Ｘ４，Ｘ
５〜Ｘ６を得る。
【００２８】（実施形態３−１）図１８は、図６のマイ
コン５の第３の処理を示すフローチャートである。ステ
ップＳ２１で、カメラ２，３から画像を取得する。ステ
ップＳ２２で、画像処理により縦エッジを抽出する。こ
の画像処理では、画像の全範囲に渡って縦エッジを抽出
するので、得られた結果は、前述の図３に示すようにな
る。
コン５の第３の処理を示すフローチャートである。ステ
ップＳ２１で、カメラ２，３から画像を取得する。ステ
ップＳ２２で、画像処理により縦エッジを抽出する。こ
の画像処理では、画像の全範囲に渡って縦エッジを抽出
するので、得られた結果は、前述の図３に示すようにな
る。
【００２９】ステップＳ２３で、得られた縦エッジにつ
いてパワーの強いものから順にピーク抽出を行う。得ら
れた結果は、前述の図４に示すようになる。そして、各
エッジの抽出位置を角度位置Ｘn として保存する。ステ
ップＳ２４で、ミリ波レーダ１により、特定エリア内を
スキャンする。ステップＳ２５で、スキャンの結果得ら
れた結果から角度位置Ｙn を抽出して保存する。この角
度位置Ｙn は、前述の実施形態１及び実施形態２で検索
エリアとして抽出したものと同様であり、図８、図１
０、図１２に示す方法のいずれか、又は、その組み合わ
せを使用することができる。
いてパワーの強いものから順にピーク抽出を行う。得ら
れた結果は、前述の図４に示すようになる。そして、各
エッジの抽出位置を角度位置Ｘn として保存する。ステ
ップＳ２４で、ミリ波レーダ１により、特定エリア内を
スキャンする。ステップＳ２５で、スキャンの結果得ら
れた結果から角度位置Ｙn を抽出して保存する。この角
度位置Ｙn は、前述の実施形態１及び実施形態２で検索
エリアとして抽出したものと同様であり、図８、図１
０、図１２に示す方法のいずれか、又は、その組み合わ
せを使用することができる。
【００３０】ステップＳ２６で、角度位置Ｘn とＹｎの
共通部分を抽出する。ステップＳ２７で、抽出した共通
の角度位置にあるターゲットについて視差を求め、距離
値に換算して物体を検出する。本例においては、画像処
理に要する時間は短縮されないが、路面文字などの障害
物に対する誤測距を除去することが可能である。
共通部分を抽出する。ステップＳ２７で、抽出した共通
の角度位置にあるターゲットについて視差を求め、距離
値に換算して物体を検出する。本例においては、画像処
理に要する時間は短縮されないが、路面文字などの障害
物に対する誤測距を除去することが可能である。
【００３１】
【発明の効果】本発明によれば、ミリ波レーダと画像処
理を使用した物体検出装置において、ミリ波レーダと画
像処理の欠点を相互に補いながら、処理時間を短縮する
ことができる。
理を使用した物体検出装置において、ミリ波レーダと画
像処理の欠点を相互に補いながら、処理時間を短縮する
ことができる。
【図１】従来の物体検出装置の構成を示す図。
【図２】物体検出装置の前方の状況を示す画像を示す
図。
図。
【図３】図１の装置の画像処理により計算されたエッジ
を示す図。
を示す図。
【図４】図３の結果から抽出されたエッジを示す図。
【図５】図１のミリ波レーダから出力された結果を示す
図。
図。
【図６】本発明を適用した走行支援装置の構成を示す
図。
図。
【図７】図６のマイコンの処理を示すフローチャート。
【図８】図６のミリ波レーダにより得られたパワー強度
から検索エリアを決定する方法を示す図。
から検索エリアを決定する方法を示す図。
【図９】図７の処理により抽出されたエッジを示す図。
【図１０】図６のミリ波レーダにより得られたパワー強
度から検索エリアを決定する第２の方法を示す図。
度から検索エリアを決定する第２の方法を示す図。
【図１１】図１０に示す方法で抽出されたエッジを示す
図。
図。
【図１２】図６のミリ波レーダにより得られたパワー強
度から検索エリアを決定する第３の方法を示す図。
度から検索エリアを決定する第３の方法を示す図。
【図１３】前方に先行車両が複数ある状況の画像を示す
図。
図。
【図１４】図６のマイコンの第２の処理を示すフローチ
ャート。
ャート。
【図１５】図１４の処理におけるパワー強度を示す図。
【図１６】図１４の処理における検索エリアを決定する
方法を示す図（その１）。
方法を示す図（その１）。
【図１７】図１２の処理における検索エリアを決定する
方法を示す図（その２）。
方法を示す図（その２）。
【図１８】図６のマイコンの第３の処理を示すフローチ
ャート（実施形態３）。
ャート（実施形態３）。
１…ミリ波レーダ ２…左カメラ ３…右カメラ ４…ＥＣＵ ５…マイコン ６…先行車両 ７…ライン ８…ガードレール ９…第２の先行車両 １１…画像処理用マイコン １２…融合処理用マイコン
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０１Ｖ 8/10 Ｇ０１Ｖ 11/00 11/00 Ｇ０８Ｇ 1/16 Ｅ // Ｇ０８Ｇ 1/16 Ｇ０１Ｖ 9/04 Ｓ Ｆターム(参考） 2F065 AA04 BB05 DD06 FF01 FF05 FF09 JJ03 JJ05 JJ26 QQ04 QQ25 QQ32 QQ36 UU05 2F112 AC06 BA05 CA05 FA03 FA35 FA45 GA10 2G005 DA04 DA05 5H180 AA01 CC04 CC14 CC30 LL01 LL04 5J070 AB24 AC02 AE01 AE20 AF03 AK13 AK22 AK40 BD08
Claims (12)
- 【請求項１】 ミリ波レーダと、 画像取得手段と、 前記ミリ波レーダから出力されるパワーに基づいて画像
認識エリアを特定し、前記画像取得手段から取得した画
像について、前記特定された画像認識エリアに限定し
て、物体検出のための画像処理を実行する処理手段とを
具備することを特徴とする物体検出装置。 - 【請求項２】 前記処理手段は、前記パワーが所定レベ
ル以上であるエリアを画像認識エリアとして抽出し、そ
のエリア内に限定してエッジ抽出を行う請求項１に記載
の物体検出装置。 - 【請求項３】 前記処理手段は、前記パワーが所定レベ
ル範囲であるエリアを画像認識エリアとして抽出し、そ
のエリア内に限定してエッジ抽出を行う請求項１に記載
の物体検出装置。 - 【請求項４】 前記処理手段は、前記パワーのレベルが
複数個のピークにおける谷となるエリアを画像認識エリ
アとして抽出し、そのエリア内に限定してエッジ抽出を
行う請求項１に記載の物体検出装置。 - 【請求項５】 前記処理手段は、前記パワーが所定レベ
ル以上であるエリアと、前記パワーが所定レベル範囲で
あるエリアと、前記パワーのレベルが、複数個のピーク
における谷となるエリアとを画像認識エリアとして抽出
し、各エリア内に限定してエッジ検出を行う請求項１に
記載の物体検出装置。 - 【請求項６】 ミリ波レーダと、 画像取得手段と、 前記ミリ波レーダから出力されるパワーのピーク位置を
抽出し、前記画像取得手段より取得した画像について、
前記ピーク位置を境に左右にそれぞれ濃度変化を見てい
き、濃度変化が左右対称とならなくなった位置を特定
し、この特定位置を中心に一定幅のエリアを抽出し、そ
のエリアに限定してエッジ抽出を行って、物体検出のた
めの画像処理を実行する処理手段とを具備することを特
徴とする物体検出装置。 - 【請求項７】 ミリ波レーダと、 画像取得手段と、 前記ミリ波レーダから出力されるパワーのピーク位置を
抽出し、前記画像取得手段より取得した画像について、
前記ピーク位置を境に左右にそれぞれ濃度投影値を見て
いき、濃度投影値が左右対称とならなくなった位置を特
定し、この特定位置を中心に一定幅のエリアを抽出し、
そのエリア内に限定してエッジ抽出を行って、物体検出
のための画像処理を実行する処理手段とを具備すること
を特徴とする物体検出装置。 - 【請求項８】 ミリ波レーダと、 画像取得手段と、 前記画像取得手段から取得した画像からエッジを抽出
し、前記ミリ波レーダから出力されるパワーに基づいて
画像認識エリアを特定し、前記抽出したエッジの位置
が、前記画像認識エリア内に存在するかどうかを判断
し、存在したエッジのみを有効なエッジとして、物体検
出のための画像処理を実行する処理手段とを具備するこ
とを特徴とする物体検出装置。 - 【請求項９】 前記処理手段は、前記パワーが所定レベ
ル以上であるエリアを画像認識エリアとして抽出する請
求項８に記載の物体検出装置。 - 【請求項１０】 前記処理手段は、前記パワーが所定レ
ベル範囲であるエリアを画像認識エリアとして抽出する
請求項８に記載の物体検出装置。 - 【請求項１１】 前記処理手段は、前記パワーのレベル
が複数個のピークにおける谷となるエリアを画像認識エ
リアとして抽出する請求項８に記載の物体検出装置。 - 【請求項１２】 前記処理手段は、前記パワーが所定レ
ベル以上であるエリアと、前記パワーが所定レベル範囲
であるエリアと、前記パワーのレベルが複数個のピーク
における谷となるエリアとを画像認識エリアとして抽出
する請求項８に記載の物体検出装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000118549A JP4308405B2 (ja) | 2000-04-14 | 2000-04-14 | 物体検出装置 |
| US09/834,403 US20010031068A1 (en) | 2000-04-14 | 2001-04-13 | Target detection system using radar and image processing |
| US11/188,160 US7376247B2 (en) | 2000-04-14 | 2005-07-21 | Target detection system using radar and image processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000118549A JP4308405B2 (ja) | 2000-04-14 | 2000-04-14 | 物体検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001296357A true JP2001296357A (ja) | 2001-10-26 |
| JP4308405B2 JP4308405B2 (ja) | 2009-08-05 |
Family
ID=18629663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000118549A Expired - Fee Related JP4308405B2 (ja) | 2000-04-14 | 2000-04-14 | 物体検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4308405B2 (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001330665A (ja) * | 2000-05-18 | 2001-11-30 | Fujitsu Ten Ltd | レーダ及び画像処理を用いた車載用物体検出装置 |
| JP2004069328A (ja) * | 2002-08-01 | 2004-03-04 | Nissan Motor Co Ltd | 前方環境認識装置及び前方環境認識方法 |
| EP1602940A1 (en) * | 2004-06-02 | 2005-12-07 | Toyota Jidosha Kabushiki Kaisha | Obstacle recognition system and method with a radar and a camera |
| JP2005351893A (ja) * | 2004-06-08 | 2005-12-22 | Agilent Technol Inc | 光学的に補強されるマイクロ波撮像システム及び方法 |
| JP2006151125A (ja) * | 2004-11-26 | 2006-06-15 | Omron Corp | 車載用画像処理装置 |
| JP2006258507A (ja) * | 2005-03-15 | 2006-09-28 | Omron Corp | 前方物体認識装置 |
| JP2007240276A (ja) * | 2006-03-07 | 2007-09-20 | Olympus Corp | 距離計測装置・撮像装置、距離計測方法・撮像方法、距離計測プログラム・撮像プログラムおよび記憶媒体 |
| EP2045623A1 (en) * | 2007-09-28 | 2009-04-08 | Hitachi, Ltd. | Vehicle detection apparatus |
| JP2009217680A (ja) * | 2008-03-12 | 2009-09-24 | Omron Corp | 横断物体検知装置および横断物体検知方法、並びにプログラム |
| US7613568B2 (en) | 2003-07-11 | 2009-11-03 | Toyota Jidosha Kabushiki Kaisha | Crash-safe vehicle control system |
| JP2010151621A (ja) * | 2008-12-25 | 2010-07-08 | Fujitsu Ten Ltd | 信号処理装置、及びレーダ装置 |
| JP2010164443A (ja) * | 2009-01-16 | 2010-07-29 | Nec Corp | 位置情報解析装置、位置情報解析方法、位置情報解析システムおよびプログラム |
| JP2011053139A (ja) * | 2009-09-03 | 2011-03-17 | Toyota Motor Corp | 物体検出装置 |
| US8983130B2 (en) | 2011-01-25 | 2015-03-17 | Panasonic Intellectual Property Management Co., Ltd. | Positioning information forming device, detection device, and positioning information forming method |
| DE112021001304T5 (de) | 2020-02-27 | 2023-03-16 | Sony Semiconductor Solutions Corporation | Objekterkennungssystem und objekterkennungsverfahren |
-
2000
- 2000-04-14 JP JP2000118549A patent/JP4308405B2/ja not_active Expired - Fee Related
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001330665A (ja) * | 2000-05-18 | 2001-11-30 | Fujitsu Ten Ltd | レーダ及び画像処理を用いた車載用物体検出装置 |
| JP2004069328A (ja) * | 2002-08-01 | 2004-03-04 | Nissan Motor Co Ltd | 前方環境認識装置及び前方環境認識方法 |
| US7613568B2 (en) | 2003-07-11 | 2009-11-03 | Toyota Jidosha Kabushiki Kaisha | Crash-safe vehicle control system |
| EP1602940A1 (en) * | 2004-06-02 | 2005-12-07 | Toyota Jidosha Kabushiki Kaisha | Obstacle recognition system and method with a radar and a camera |
| JP2005345251A (ja) * | 2004-06-02 | 2005-12-15 | Toyota Motor Corp | 障害物認識装置 |
| US7570198B2 (en) | 2004-06-02 | 2009-08-04 | Toyota Jidosha Kabushiki Kaisha | Obstacle recognition system and obstacle recognition method |
| JP2005351893A (ja) * | 2004-06-08 | 2005-12-22 | Agilent Technol Inc | 光学的に補強されるマイクロ波撮像システム及び方法 |
| JP2006151125A (ja) * | 2004-11-26 | 2006-06-15 | Omron Corp | 車載用画像処理装置 |
| JP2006258507A (ja) * | 2005-03-15 | 2006-09-28 | Omron Corp | 前方物体認識装置 |
| JP2007240276A (ja) * | 2006-03-07 | 2007-09-20 | Olympus Corp | 距離計測装置・撮像装置、距離計測方法・撮像方法、距離計測プログラム・撮像プログラムおよび記憶媒体 |
| EP2045623A1 (en) * | 2007-09-28 | 2009-04-08 | Hitachi, Ltd. | Vehicle detection apparatus |
| JP2009217680A (ja) * | 2008-03-12 | 2009-09-24 | Omron Corp | 横断物体検知装置および横断物体検知方法、並びにプログラム |
| JP2010151621A (ja) * | 2008-12-25 | 2010-07-08 | Fujitsu Ten Ltd | 信号処理装置、及びレーダ装置 |
| JP2010164443A (ja) * | 2009-01-16 | 2010-07-29 | Nec Corp | 位置情報解析装置、位置情報解析方法、位置情報解析システムおよびプログラム |
| JP2011053139A (ja) * | 2009-09-03 | 2011-03-17 | Toyota Motor Corp | 物体検出装置 |
| US8983130B2 (en) | 2011-01-25 | 2015-03-17 | Panasonic Intellectual Property Management Co., Ltd. | Positioning information forming device, detection device, and positioning information forming method |
| DE112021001304T5 (de) | 2020-02-27 | 2023-03-16 | Sony Semiconductor Solutions Corporation | Objekterkennungssystem und objekterkennungsverfahren |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4308405B2 (ja) | 2009-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7376247B2 (en) | Target detection system using radar and image processing | |
| US10755116B2 (en) | Image processing apparatus, imaging apparatus, and device control system | |
| EP2422320B1 (en) | Object detection device | |
| JP3671825B2 (ja) | 車間距離推定装置 | |
| Kato et al. | An obstacle detection method by fusion of radar and motion stereo | |
| US6670912B2 (en) | Method for detecting stationary object located above road | |
| JP2001296357A (ja) | 物体検出装置 | |
| JP3230642B2 (ja) | 先行車検出装置 | |
| JP2003099762A (ja) | 前方車両認識装置及び認識方法 | |
| JP2003084064A (ja) | 前方車両の認識装置及び認識方法 | |
| JP6837262B2 (ja) | 走行可能領域検出装置及び走行支援システム | |
| JP2008117073A (ja) | 割り込み車両検出装置 | |
| JP4052291B2 (ja) | 車両用画像処理装置 | |
| JPH08156723A (ja) | 車両用障害物検出装置 | |
| JP4311861B2 (ja) | 車両用物体検出装置 | |
| JP2003281700A (ja) | 割り込み車両検出装置及びその方法 | |
| JP2006140636A (ja) | 障害物検出装置および方法 | |
| JP2003308599A (ja) | 走行路環境検出装置 | |
| JP2001082954A (ja) | 画像処理装置及び画像処理測距方法 | |
| JP4070448B2 (ja) | 移動物体の認識装置及び認識方法 | |
| JP2000259997A (ja) | 先行車の高さおよび車間距離計測装置 | |
| JPH10111939A (ja) | 車載用画像処理装置 | |
| JP3120648B2 (ja) | 車両用環境認識装置 | |
| WO2020013057A1 (ja) | 交差道路推定装置 | |
| JP3270293B2 (ja) | 先行車走行レーン検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070413 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080701 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080901 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090113 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090407 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090501 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140515 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |