JP2003308599A - 走行路環境検出装置 - Google Patents

走行路環境検出装置

Info

Publication number
JP2003308599A
JP2003308599A JP2002115233A JP2002115233A JP2003308599A JP 2003308599 A JP2003308599 A JP 2003308599A JP 2002115233 A JP2002115233 A JP 2002115233A JP 2002115233 A JP2002115233 A JP 2002115233A JP 2003308599 A JP2003308599 A JP 2003308599A
Authority
JP
Japan
Prior art keywords
correspondence information
detected
vehicle
extracted
scoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002115233A
Other languages
English (en)
Other versions
JP3925285B2 (ja
Inventor
Migaku Takahama
琢 高浜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2002115233A priority Critical patent/JP3925285B2/ja
Publication of JP2003308599A publication Critical patent/JP2003308599A/ja
Application granted granted Critical
Publication of JP3925285B2 publication Critical patent/JP3925285B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 自車両の前方物体が自車走行レーン内にある
か否かを高精度に判断する。 【解決手段】 CCDカメラ4の撮像画像から白線位置
を検出し、また、レーザレーダ2の測距結果に基づき、
撮像画像上の前記測距結果に該当する位置に絞り込み領
域を設定しこの領域内において物体を抽出しその左右端
を検出する(ステップS1〜S6)。物体抽出が的確に
行われたときに抽出物体の自車両に対する横位置とレー
ザレーダ2による測距結果とのずれ量である横位置の差
difRCを算出し、これと検出物体の実際幅RWとを対
応値として順次更新記憶する(ステップS8)。的確に
検出された抽出物体の左右端と検出した白線位置とから
レーン内外判断を行い(ステップS12)、抽出物体の
的確な左右端が得られないときには、記憶している対応
値 difRC及びRWから抽出物体の左右端を推測し(ス
テップS11)これと検出した白線位置とからレーン内
外判断を行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、自車両周辺の走
行路環境を検出する走行路環境検出装置に関し、特に、
検出された自車両周辺の物体が、自車両の走行車線内に
あるか否かを判定するのに好適なものである。
【0002】
【従来の技術】従来より、例えば、特開平2001−1
34769号公報に示すように、カメラ等の撮像手段に
よって撮像した撮像画像において道路白線を検出し、さ
らに、レーダ等の測距手段の測距信号に基づいて検知し
た自車両前方の物体の位置を前記撮像画像上の座標系に
変換し、この変換した前記物体の撮像画像上における位
置を含む所定領域を画像処理することにより、前記測距
信号に基づく測距による注目物体に相当する物体を前記
所定領域から抽出し、前記撮像画像上における道路白線
位置と、前記所定領域から抽出した注目物体との位置を
比較することによって、注目物体が、自車両の走行レー
ン内にあるか否かを検出する外界認識系が提案されてい
る。
【0003】また、例えば特開平9−178855号公
報に示すように、遠方の道路白線ほど、その検知精度が
低下することから、これを考慮して、注目物体が自車両
の走行レーン内にあるか否かの判断を行うようにした方
法等も提案されている。
【0004】
【発明が解決しようとする課題】前記特開2001−1
34769号公報に示すような外界認識系にあっては、
測距手段で捕捉した物体の位置を、撮像画像の座標系上
の位置に変換し、この領域から捕捉した物体に相当する
物体のみを抽出するといった一連の画像処理が正しく行
われていることを前提としている。
【0005】しかしながら、一般に、レーザレーダや、
ミリ波レーダといった、アクティブセンサにあっては、
自ら発信した電磁波を受信することで測距を行うが、撮
像手段としてのカメラ等にあっては、太陽光を受光する
だけのパッシブセンサであるため、当然、レーダ等の測
距手段の方が、カメラ等の撮像手段よりも信頼性が高
い。つまり、レーダで捕捉している物体をカメラ等の撮
像画像により注視したい場合であっても、光環境や走行
状況、また、自車両前方の物体が車両である場合にはそ
の車種の形状等の影響から、画像処理による物体抽出が
高精度に行われない場合があり、このため、物体が自車
両の走行レーン内にあるか否かの判断を行うレーン内外
判断を高精度に行うことができないという問題がある。
【0006】また、特開平9−178855号公報に記
載された公報にあっては、遠方ほど道路白線の検出精度
が低下することを考慮して白線抽出を行うようにしてい
る。この場合、レーダが測距する物体を撮像画像上から
抽出することはできる。しかしながら、この場合も、レ
ーダが測距する物体については検出精度の低下を考慮し
ていないため、この場合も同様に、走行路内にあるか否
かの判断を高精度に行うことができないという問題があ
る。
【0007】前記物体のレーン内外判断を行うために
は、自車両前方の物体の検出と道路白線の検出とが共に
正しく行われることが重要であるが、道路白線の検出に
比較して、撮像画像から物体を抽出する方がより困難で
ある。このため、この外界認識系は、物体抽出に対する
対策を施すことが、レーン内外判断の精度の向上に有効
である。
【0008】また、特開平9−178855号公報に記
載されているように、仮に、遠方の道路白線の白線検知
の精度低下を考慮したとしても、磁気マーカ等を用いた
場合は別であるが、道路白線はカメラ等の撮像手段を用
いなければ検知することができないため、白線検知の精
度低下を考慮しても、レーン内外判断の判断精度を向上
させることには寄与しない。
【0009】そこで、この発明は、上記従来の未解決の
問題に着目してなされたものであり、車両周辺の物体が
自車両の走行レーン内にあるか否かの判断を高精度に行
うことの可能な走行路環境検出装置を提供することを目
的としている。
【0010】
【課題を解決するための手段】上記目的を達成するため
に、本発明の請求項1に係る走行路環境検出装置は、自
車両周辺の走行路環境を撮像する撮像手段と、当該撮像
手段の撮像画像において自車両の走行路を検知する走行
路検知手段と、自車両周辺の物体と自車両との間の距離
を測定する測距手段と、当該測距手段で検出した検出物
体の測距位置に相当する前記撮像画像上の位置に処理領
域を設定する処理領域設定手段と、前記撮像画像上の処
理領域から前記測距手段で検出した検出物体に相当する
物体を抽出する物体抽出手段と、当該物体抽出手段で抽
出した抽出物体の前記撮像画像上の位置情報と、前記走
行路検知手段の検知結果とから前記測距手段による検出
物体が自車両の走行路内にあるか否かを判断する走行路
内外判断手段と、を備えた走行路環境検出装置におい
て、前記測距手段が物体を捕捉し且つ前記物体抽出手段
で物体を抽出したときに、前記測距手段の検出物体の測
距位置と前記物体抽出手段で抽出した抽出物体の前記撮
像画像上の位置情報との対応を表す対応情報を算出する
対応情報算出手段と、当該対応情報算出手段で算出した
対応情報をもとに前記測距情報を補正する測距情報補正
手段とを備え、前記走行路内外判断手段は、前記測距手
段が物体を捕捉し且つ前記物体抽出手段で物体を抽出で
きないときには、前記測距情報補正手段で補正した測距
補正情報と前記走行路検知手段の検知結果とに基づき前
記判断を行うことを特徴としている。
【0011】また、請求項2に係る走行路環境検出装置
は、前記物体抽出手段は、前記抽出物体の抽出結果の確
からしさを採点する抽出結果採点手段を備え、前記対応
情報算出手段は、前記抽出結果採点手段での採点結果を
考慮して前記対応情報を算出することを特徴としてい
る。また、請求項3に係る走行路環境検出装置は、前記
対応情報算出手段は、前記抽出結果採点手段の採点結果
がしきい値以下であるときには、これに対応する抽出物
体に基づく前記対応情報の算出を行わないことを特徴と
している。
【0012】また、請求項4に係る走行路環境検出装置
は、前記対応情報算出手段は、前記対応情報の算出を保
守的に行うモードと積極的に行うモードとの間でモード
変更可能に構成され、前記抽出結果採点手段の採点結果
に応じたモードで前記対応情報の算出を行うことを特徴
としている。また、請求項5に係る走行路環境検出装置
は、前記対応情報算出手段は、前記対応情報の算出時点
以前の所定の参照期間における前記対応情報のバラツキ
を求めると共に前記抽出結果採点手段の採点結果が高い
ほど前記参照期間を短く設定し、前記対応情報のバラツ
キがしきい値を超えるときには当該対応情報を新たな対
応情報として更新しないことを特徴としている。
【0013】さらに、請求項6に係る走行路環境検出装
置は、前記物体抽出手段は、前記処理領域においてエッ
ジ検出処理を行って前記抽出物体の抽出を行い、前記抽
出結果採点手段は、前記エッジ検出処理において検出し
たエッジのエッジ長さと前記処理領域の大きさとの比率
に応じて前記採点を行うことを特徴としている。
【0014】
【発明の効果】本発明の請求項1に係る走行路環境検出
装置は、撮像手段により自車両周辺の走行路環境を撮像
し、この撮像画像において自車両の走行路を検知し、ま
た、測距手段によって自車両周辺の物体と自車両との間
の距離を測定し、測距手段で検出した検出物体の測距位
置に相当する、撮像画像上の位置に処理領域を設定す
る。そして、この処理領域から測距手段で検出した検出
物体に相当する物体を抽出し、抽出物体の前記撮像画像
上の位置情報と、走行路検知手段で検知した自車両の走
行路の位置とから、測距手段による検出物体が自車両の
走行路内にあるか否かを判断する。
【0015】このとき、測距手段が物体を捕捉し且つ物
体抽出手段で物体を抽出したときに、測距手段の検出物
体の測距位置と物体抽出手段で抽出した抽出物体の位置
情報との対応を表す対応情報を算出しておき、測距手段
が物体を捕捉しているが、物体抽出手段で物体を抽出で
きないときには、算出した対応情報をもとに測距情報を
補正し、補正した測距補正情報と走行路検知手段の検知
結果とに基づき測距手段による検出物体が自車両の走行
路内にあるか否かを判断するようにしたから、撮像画像
により抽出物体の位置情報を検出することができない場
合、つまり、抽出物体の位置や大きさ等を検出すること
ができない場合であっても、検出物体が走行路内にある
か否かの判断を高精度に行うことができる。
【0016】また、請求項2及び請求項3に係る走行路
環境検出装置によれば、物体抽出手段は、抽出物体の抽
出結果の確からしさを採点する抽出結果採点手段を備
え、対応情報算出手段では、抽出結果採点手段での採点
結果を考慮して対応情報を算出するようにしたから、例
えば、採点結果が低い場合には、対応情報を算出しない
等といった対処を行うことによって、対応情報の精度が
低下することを回避し、この対応情報に基づき補正され
た測距補正情報の精度が低下することに起因して走行路
内外判断手段での判断精度が低下することを回避するこ
とができる。
【0017】また、請求項4に係る走行路環境検出装置
によれば、対応情報算出手段は、対応情報の算出を保守
的に行うモードと積極的に行うモードとの間でモード変
更可能に構成され、抽出結果採点手段の採点結果に応じ
たモードで対応情報を算出するようにしたから、例えば
対応情報を平滑化処理を行って算出する場合には、ロー
パスフィルタ効果によってノイズ除去を行うことができ
ると共に、採点結果に応じて、対応情報算出までの処理
時間を効果的に短縮することができる。
【0018】また、請求項5に係る走行路環境検出装置
によれば、対応情報算出手段は、対応情報の算出時点以
前の所定の参照期間における前記対応情報のバラツキを
求めると共に抽出結果採点手段の採点結果が高いほど参
照期間を短く設定し、対応情報のバラツキがしきい値を
超えるときには対応情報を新たな対応情報として更新し
ないようにしたから、対応情報のバラツキを考慮して対
応情報の更新を行うことができると共に、抽出結果採点
手段の採点結果に応じてバラツキの算出に要する処理時
間を効果的に短縮することができる。
【0019】さらに、請求項6に係る走行路環境検出装
置によれば、物体抽出手段は、処理領域においてエッジ
検出処理を行って抽出物体の抽出を行い、抽出結果採点
手段は、エッジ検出処理において検出したエッジのエッ
ジ長さと、処理領域の大きさとの比率に応じて採点を行
うようにしたから、撮像画像上における抽出物体の大き
さに応じて、エッジと背景との比であるS/N比を適切
な比率に保つことができ、抽出結果の採点を、測距手段
による測距距離に依存せずに的確に行うことができる。
【0020】
【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて説明する。図1は、本発明の走行路環境検出
装置を適用した先行車両追従走行装置付き車両の一実施
形態を示すシステム構成図である。外界認識部1には、
スキャニング式レーザレーダ2で走査した結果から、自
車両前方の物体を検出するレーダ処理装置3が接続され
ている。このレーダ処理装置3は、検出された1又は複
数の物体に対して自車両を原点とする二次元座標値、す
なわち、検出物体の位置を算出する機能が付加されてい
る。
【0021】また、前記外界認識部1には、CCDカメ
ラ4で撮像された自車両前方の画像から自車両の走行レ
ーンの道路白線を検出する画像処理部5が接続されてい
る。前記CCDカメラ4は、自車両前方の状況を広角且
つ高速に把握することの可能なプログレッシブスキャン
式のものであり、また、前記画像処理部5には、前記レ
ーダ処理装置3で検出された検出物体の左右のエッジ端
を検出する機能が付加されている。
【0022】さらに、前記外界認識部1には、自車両の
走行状態を検出するための車速検出装置6及び操舵角検
出装置7が接続されている。前記車速検出装置6は、従
動輪である後輪の回転速度から自車両の走行速度VSP
検出するものである。また、前記操舵角検出装置7は、
ステアリングホイールの操舵角θを検出するものであ
る。
【0023】そして、前記外界認識部1では、前記検出
物体が、自車両の走行レーン内にあるか否かを判定し、
自車両の走行レーン内にあると判定された場合にはこれ
を自動ブレーキ制御装置8に通知する。また、前記検出
物体が、自車両にとって障害物であるか否かを判定し、
障害物であるときには自動ブレーキ制御装置8に対して
これを通知する。また、前記検出物体が、障害物ではな
く、自車両と同等の速度で走行する先行車両であると判
断された場合には、図示されない先行車両追従走行制御
装置に判断結果を出力し、この先行車両追従走行制御装
置は、前記車速検出装置6及び操舵角検出装置7の検出
信号に基づいて、エンジンの出力と各車輪への制動力と
を制御して先行車両に追従走行する制御を行う。
【0024】前記自動ブレーキ制御装置8は、前記外界
認識部1から検出物体が障害物であることが通知された
ときには、前記車速検出装置6及び操舵角検出装置7の
検出信号に基づいて必要に応じて負圧ブレーキブースタ
9を作動し、各車輪に制動力を付与して検出物体との接
触を回避する。また、外界認識装置1で、前記検出物体
が障害物であり且つ自車両の走行レーン内にあると判断
された場合には、より大きな制動力を各車輪に付与す
る。
【0025】そして、前記外界認識部1及び画像処理部
5によって外界認識装置10を構成しており、これら外
界認識装置10、レーダ処理装置3、自動ブレーキ制御
装置8等は、それぞれマイクロコンピュータとその周辺
機器、並びに、各アクチュエータを駆動するための駆動
回路等を備えており、互いに通信回路を介して情報を送
受信できるようになっている。
【0026】図2は、本発明の走行路環境検出装置の機
能構成を示すブロック図である。この走行路環境検出装
置は、撮像手段21この場合CCDカメラ4と、この撮
像手段21の撮像画像をもとに自車両の走行レーンの道
路白線を検知する自車線検知手段22と、測距手段23
この場合レーザレーダ2と、この測距手段23で検出し
た検出物体の二次元座標値に基づき座標変換を行い、撮
像画像上に前記二次元座標値に相当する絞り込み領域を
設定する座標変換手段24と、この座標変換手段24で
設定した撮像画像上の絞り込み領域から検出物体に相当
する物体を抽出する物体抽出手段25と、物体抽出手段
25で物体抽出が的確に行われたときの抽出物体の自車
両との相対位置と、測距手段23で検出した検出物体の
自車両との相対位置とをもとに、前記物体抽出手段25
による抽出物体と前記測距手段23での検出物体とを対
応付ける対応値を算出する対応値算出手段26と、前記
測距手段23で検出した検出物体の自車両との相対位置
を前記対応値算出手段26で算出した対応値をもとに補
正する測距結果補正手段27と、物体抽出手段25で抽
出した物体の位置又は、前記測距結果補正手段27で補
正した測距手段23による検出物体の位置と、自車線検
知手段22で検知した道路白線とをもとに、検出物体が
自車両の走行レーン内にあるか否かを判断する車線内外
判断手段28とを備えている。また、自車線検知手段2
2で検知した自車線情報に基づいてレーン逸脱警報を発
生する手段31、検出物体が障害物であるかを判断し、
検出物体が障害物であると判断されたとき強制的に制動
力を発生させると共に、車線内外判断手段28でこの検
出物体が自車線内にあると判定されたときにはより制動
力を発生させる障害物判断手段32、測距手段で23で
検出した検出物体が先行車両であるときこれに追従して
走行するよう駆動力及び制動力の制御を行う先行車追従
処理手段33等を備えている。
【0027】次に、前記外界認識装置10で行われるレ
ーン内外判断処理について、図3のフローチャートを用
いて説明する。このレーン内外判断処理は、例えば(3
0Hz)をサンプリング周期ΔTとして、このサンプリン
グ周期ΔT毎にタイマ割り込み処理される。なお、この
フローチャートでは、特に、通信のためのステップを設
けていないが、例えばフローチャート中で得られた情報
は、随時記憶装置に記憶され、また、必要な情報は随時
記憶装置から読み出される。
【0028】このレーン内外判断処理では、まず、ステ
ップS1で、CCDカメラ4で撮像した自車両前方の撮
像情報を読み込み、次いでステップS2に移行して、C
CDカメラ4の撮像画像において、白線検出処理を行
う。この白線検出処理は、公知の手順で行われる。つま
り、例えば特開平11−296660号公報に記載され
ているように、入力された撮像画像に対し、sobel
フィルタ処理等を行って微分画像を生成する。そして、
予め設定した白線候補点検出領域毎に、所定値以上の濃
度を有する画素数が最も多い線分を検出しこの線分上の
点つまり画素を、白線候補点とする。そして各白線候補
点検出領域毎に検出した白線候補点を補間し、例えば、
次式(1)に示すような、道路形状や車両挙動を表す道
路パラメータを用いて表される、道路白線モデルを検出
する。なお、式中の、aは、レーン内の自車両の横変移
量、bは道路の曲率、cは、自車両(CCDカメラ4の
光軸)の道路に対するヨー角、dは自車両(カメラの光
軸)の道路に対するピッチ角、eは道路の車線幅を表
す。
【0029】 x=(a+ie)(y−d)+b/(y−d)+c ……(1) そして、この道路白線モデルで特定される、左側の白線
を表す画素群をWL-Lとし、右側の白線を表す画素群をWL
-Rとする。これにより、CCDカメラ4の撮像画像(例
えば横640画素×縦480画素)において、どの画素
が白線であるかを把握することができる。
【0030】例えば、撮像画像上の道路白線の消失点を
撮像画像の中央、つまり、(320、240)とする
と、左右の白線WL-L及びWL-Rは、共に、240個の画素
の配列となり、仮に、零を無限遠方とし、240を最近
方とすると、これら間の撮像画像の縦方向、つまり、車
間距離方向における左右の白線の座標値を求めることが
できる。なお、最近方の具体的な距離は、画角から決ま
り、例えば28degでは、自車両位置から約8m弱と
なる。したがって、例えば、40mの遠方に存在する物
体は、前記撮像画像上では、後述の透視変換を行うこと
によって、約60番目の縦座標となる。したがって、前
記道路白線モデルから、左右の道路白線の横座標値を求
めることができる。
【0031】次いで、ステップS3に移行し、レーザレ
ーダ2の検出信号に基づき検出した測距結果をレーダ処
理装置3から読み込む。なお、この読み込み処理は、レ
ーザレーダ2の更新周期毎に実施される。次いで、ステ
ップS4に移行し、レーダ処理装置3の測距結果に基づ
き判定を行い、レーザレーダ2において物体を捕捉して
いる場合にはステップS5に移行し、捕捉していない場
合には後述のステップS13に移行する。
【0032】前記ステップS5では、前記ステップS3
で検出した自車両前方の検出物体の測距結果つまり位置
情報に基づき座標変換を行い、前記CCDカメラ4で撮
像した撮像画像上の前記測距結果に相当する位置近傍に
絞り込み領域を設定する。具体的には、例えば、次式
(2)に基づいて、レーザレーダ2で検出した自車両前
方の検出物体付近の位置を、座標変換することによっ
て、検出物体の存在する画面上の領域への絞り込みを行
う。なお、式(2)中のdoYAは、絞り込み領域の上辺
座標、doYBは絞り込み領域の下辺座標、doXLは絞り
込み領域の左辺座標、doXRは絞り込み領域の右辺座標
である。
【0033】また、y0は、CCDカメラ4による撮像
画像上の道路白線の消失点の縦座標(車間距離方向)
〔pix〕、x0は消失点の横座標(車幅方向)〔pi
x〕を表す。なお、この消失点の横及び縦座標(x0,
y0)は、CCDカメラ4の取り付け位置及びその向き
とで決まるパラメータであって、例えば、撮像画像の画
像中心点に設定される。例えば、横640×縦480画
素からなる撮像画像の場合には、前記消失点の座標は
(320,240)に設定される。
【0034】また、fVは、画素換算したCCDカメラ
4の鉛直方向の焦点距離〔pix〕、fHは画素換算し
たCCDカメラ4の水平方向の焦点距離〔pix〕であ
る。これら焦点距離fV及びfHは、画角と解像度とで
決まるパラメータであって、受光面が正方格子である場
合には、fV=fHとなる。また、ojX及びojYは、レ
ーダ処理装置3からの測距結果であって、自車両を基準
とする、検出物体までの縦距離(車間距離方向)〔m〕
と横距離(車幅方向)〔m〕である。
【0035】また、CAMhはCCDカメラ4の取り付
け高さ〔m〕、CAMh2は、CAMhから、予め設定
した障害物候補として考慮すべき物体の高さojH(例え
ば1〔m〕)を減算した値、wideは、レーザレーダ
2の横方向位置の検知精度(標準偏差〔m〕)と予め設
定した障害物として考慮すべき物体の幅の最大値との和
で決まる幅〔m〕の半分の値を画素換算した値〔pi
x〕である。
【0036】 doYA=〔y0+(fV×CAMh2/ojY)〕 doYB=〔y0+(fV×CAMh/ojY)〕 doXL=〔x0+(fH/ojY)*ojX〕−(fH*wide/ojY) doXR=〔x0+(fH/ojY)*ojX〕+(fH*wide/ojY) ……(2) つまり、例えば、図4に示すように、自車両M1の前方
左寄りに前方車両M2が存在する場合には、この前方車
両M2が、レーザレーダ2によって捕捉され、このレー
ザレーダ2により検出された前方車両M2の測距位置に
基づき、撮像画像DP上における前記前方車両M2の測
距位置に相当する位置を近傍に絞り込み領域ARが設定
される。
【0037】次いで、ステップS6に移行し、図5に示
すように、撮像画像DPのうち、ステップS5で設定し
た絞り込み領域ARに着目し、この絞り込み領域ARに
おいて、例えば隣接する画素どうしの輝度変化を求める
演算処理を行う公知のsobelフィルタ処理等を行っ
て、前記絞り込み領域の微分画像を検出する。そして、
例えば算出した微分画像の輝度に関する平均値と分散値
とを用いて設定される閾値で2値化する。つまり、例え
ば輝度変化が閾値以下であり輝度変化が弱い場合には白
色、輝度変化が閾値以上であり輝度変化が強い場合には
黒色として2色に離散化する。
【0038】そして、このように2値化して得た、図6
に示すようなエッジ画像を投影処理し、エッジペアを検
出し、検出物体の撮像画像内における位置を検出する。
つまり輝度変化の強い黒色の画素の数を、撮像加増の水
平及び垂直方向にそれぞれカウントする。撮像画像内に
物体が存在する場合には、背景と物体との輝度変化が強
いため、黒色の画素が他の場所よりも多くカウントされ
ることになり、この黒色の画素数が所定値以上である画
素は、物体が存在することを表すから、黒色の画素数が
所定値以上であり、且つその隣の列が黒色の画素数が所
定値以上であるとき、この位置が検出物体のエッジであ
ると認識することができ、横方向における検出物体の位
置を推定することができる。
【0039】ここで、検出したエッジペアの撮像画像上
における位置座標のうち、左側のエッジ座標をSL、右
側エッジ座標をSRとする。また、左側のエッジ座標S
Lにおける黒色の画素数が所定値以上である画素の画素
数を左側エッジ長さEL、右側のエッジ座標SRにおけ
る黒色の画素数が所定値以上である画素の画素数を右側
エッジ長さERとする。これら間には、次式(3)が成
り立つ。なお、EWは、エッジペアの間隔〔pix〕で
ある。
【0040】 EW=SR−SL ……(3) なお、ここでは、エッジペアとして縦方向のエッジ、す
なわち、検出物体の左右端に相当するエッジのみを検知
し、そのエッジペアの間隔wideに基づいて、自車両
と検出物体との相対位置を算出するようにしているが、
前記ステップS2で検出した道路白線に対する、検出物
体との横方向に関する相対位置を求めることで、レーン
内外判断が行われるため、横エッジつまり、検出物体の
上下端に相当するエッジを検出する必要はない。
【0041】次いで、ステップS7に移行し、前記ステ
ップS6の処理で、検出物体を的確に抽出することがで
きたか否かを判断する。そして、的確に抽出することが
できたと判定される場合にはステップS8に移行し、的
確に抽出することができないと判定されるときにはステ
ップS10に移行する。前記検出物体を的確に抽出する
ことができたか否かの判定は、例えば、次式(4)から
算出される抽出結果の点数Sceを判断値とし、この判断
値Sceが、所定値よりも大きいかどうかに基づいて判定
する。ここでは、例えば、判断値Sceが次式(5)を満
足するかどうかに基づいて判定し、判定結果に基づいて
抽出フラグFokを設定する。
【0042】 Sce=0.5*(EL+ER)/(doYB−doYA) ……(4) if(Sce>0.6) Fok=1;else Fok=0 ……(5) なお、式(5)において、if(expr1) exp
r2;else expr3とは、expr1が真の場
合にはexpr2を実施し、偽の場合にはexpr3を
実施する関数である。
【0043】つまり、前記(5)式では、抽出した左右
のエッジ長さEL及びERの平均値が画像処理した領
域、つまり絞り込み領域の高さの60%以上であれば、
検出物体の抽出が的確に行われたと判定することを意味
している。そして、前記ステップS8では、レーザレー
ダ2で検出した検出物体までの縦距離ojYと、ステップ
S6で算出したエッジペアの間隔EWと、CCDカメラ
4の水平方向の焦点距離fHとに基づいて次式(6)か
ら、検出物体の実際の幅RWを算出する。
【0044】 RW=EW*ojY/fH ……(6) また、次式(7)から、自車両と検出物体との実際の横
位置 CamY〔m〕を算出し、次式(8)から、撮像画像
に基づく自車両を基準とする抽出物体の横位置CamY
〔m〕と、レーザレーダ2の測距結果に基づく自車両を
基準とする検出物体の横位置ojXとの差 difRCを算出
する。
【0045】 CamY=(((SR+SL)/2)−x0)*ojY/fH ……(7) difRC=ojX− CamY ……(8) つまり、図7に示すように、撮像画像上において、前方
車両M2の右端及び左端がエッジペア(SL、SR)と
して検出され、これらの間隔が物体の幅wを表し、これ
は、前記(6)式で算出される検出物体の実際幅RWに
対応する。
【0046】また、前記(8)式から算出される横位置
の差 difRCが、図7中の、レーザレーダ2による測距
位置Pと、撮像画像に基づく抽出物体の中心位置つまり
エッジペアの中心位置との差dに対応する。そして、こ
のようにして前記(6)式及び(8)式から算出した検
出物体の実際幅RW及び横位置の差 difRCに対して、
次式(9)の伝達関数で表されるローパスフィルタによ
り平滑化を行う。なお、Zは進み演算子である。
【0047】 G(Z)=(b・Z)/(Z−a) ……(9) b=Sce a=1−b 次いで、ステップS9に移行し、ステップS8で算出し
た対応値が的確に算出された状態にあるか否かを判定す
る。具体的には、前記ステップS7で設定した、検出物
体を正しく抽出することができたかどうかを表す抽出フ
ラグFokがFok=1に設定されているならば、対応値フ
ラグFcrc を1に設定し、レーザレーダ2がこの検出物
体をロストするまで、つまり、検出物体が視野角から消
えるまで、対応値フラグFcrc をFcrc =1に保持し、
新規に物体をレーザレーダ2が捕捉した場合には、これ
ら抽出フラグFok及びFcrc を共に零に設定する。
【0048】一方、前記ステップS7で、絞り込み領域
からの検出物体の抽出が的確に行われない場合には、ス
テップS10に移行し、対応値が的確に算出された状態
にあるか否かを表す対応値フラグFcrc がFcrc =1で
あるか否かを判定し、Fcrc=1であるときにはステッ
プS11に移行し、Fcrc =1でないときには後述のス
テップS13に移行する。
【0049】前記ステップS11では、撮像画像からの
検出物体の抽出は失敗したが、ステップS8で算出され
た横位置の差 difRCの前回値を用いて、次式(10)
に基づいてレーザレーダ2の測距結果の横位置ojXを補
正し、これを撮像画像による検出物体との横位置 CamY
〔m〕とする。 CamY=ojX− difRC ……(10) そして、レーン内外判断用の物体の左右端に相当する撮
像画像上の座標値を次式(11)から算出する。
【0050】 SL=LCen−0.5*EW SR=LCen+0.5*EW LCen=( CamY*fH)/ojY+x0 EW=RW*fH/ojY ……(11) なお、ojX、ojYはレーザレーダ2の測距結果、RW
は、ステップS8の処理で算出されている検出物体の幅
RWの前回値である。
【0051】次いで、ステップS12に移行し、前記ス
テップS2で検出した道路白線の撮像画像上の位置座標
WL-L及びWL-Rと、ステップS6又はステップS11で算
出した、検出物体の左右端の座標値SL及びSRとが次
式(12)を満足するか否かを判定し、満足するときに
は検出物体が自車両の走行レーン内にはないと判断し、
前記(12)式を満足しないときには検出物体が自車両
の走行レーン内にあると判断する。
【0052】 WL-L[doYB−y0]>SL又は WL-R[doYB−y0]>SR ……(12) 次いで、ステップS13に移行し、フィルタ処理時に過
去値として用いる値等、所定の値を所定の記憶領域に更
新記憶した後、割り込み処理を終了する。次に、上記実
施の形態の動作を説明する。
【0053】外界認識装置10は、CCDカメラ4で撮
像した自車両前方の撮像情報を入力し(ステップS
1)、この撮像画像において道路白線の検出を行う(ス
テップS2)。また、レーダ処理装置3から、レーザレ
ーダ2による測距結果を入力し(ステップS3)、自車
両前方に物体を検出していない場合には(ステップS
4)、検出した道路白線の位置座標等所定の変数を所定
の領域に更新記憶する(ステップS13)。
【0054】この状態から、例えば、図4に示すよう
に、レーザレーダ2によって、自車両の前方左寄りに先
行車両が捕捉されると、ステップS4からステップS5
に移行し、レーダ処理装置3からの測距結果、つまり、
検出物体までの縦距離(車間距離方向)ojX〔m〕及び
横距離(車幅方向)ojY〔m〕をもとに、前記(2)式
にしたがって座標変換を行い、撮像画像DP上に前記測
距結果位置に応じた絞り込み領域ARを設定する。
【0055】そして、この絞り込み領域AR内について
エッジ検出処理を行い、物体の左右端を検出する(ステ
ップS6)。このとき、CDDカメラ4によって、先行
車両が撮像されている場合には、図4に示すように、撮
像画像DPの左寄りに先行車両に相当する物体が存在す
る。したがって、この先行車両に相当する物体の左右端
が検出されることになる。
【0056】そして、エッジ長さの平均値の、絞り込み
領域ARの縦方向の長さに対する比率に基づき、物体抽
出が的確に行われたかを判定し(ステップS7)、的確
に物体抽出が行われたと判断された場合にはステップS
8に移行し、対応値として、前記(6)及び(8)式に
基づいて、ステップS7で抽出した抽出物体のエッジ幅
から検出物体の実際幅RWつまり自車両前方の物体の幅
と、自車両を基準とする撮像画像DPからの抽出物体の
横位置及び、レーザレーダ2による測距位置Pつまりレ
ーザレーダ2の検出物体の自車両を基準とする横位置と
の差 difRCとを算出する。これによって、図7に示
す、撮像画像DPにおける抽出物体のwに相当する実際
幅RWと、エッジペアの中心位置とレーダ測距位置Pと
の差dに相当する実際値である横位置の差 difRCが算
出されることになる。
【0057】そして、この算出した検出物体の実際幅R
W及び横位置の差 difRCに対し、前記(9)式の伝達
関数を用いてローパスフィルタ処理が行われ、さらに、
算出された対応値RW及び difRCが的確に算出された
値であるかどうかが判断される(ステップS9)。この
場合、ステップS7の処理において、物体抽出が的確に
行われたと判断されているから、対応値は的確な状態で
あるとして対応値フラグFcrc はFcrc =1に設定され
る。
【0058】そして、ステップS12に移行し、前記ス
テップS2で検出した撮像画像上の道路白線の位置座標
WL-L 及びWL-Rと、ステップS6で算出した撮像画像D
Pからの抽出物体の左右のエッジ端SL及びSRとを前
記(12)式に基づいて比較する。この場合、図4に示
すように抽出物体は、左側の道路白線上に位置するか
ら、WL-L [doYB−y0]<SLとなり、前記(1
2)式を満足しないから、抽出物体は自車両の走行レー
ン内に位置すると判定される。
【0059】そして、外界認識装置10では、車両前方
の物体が自車両にとって障害物であるか否かを判定し、
障害物であるときには、前記抽出物体が走行レーン内に
存在するか否かの判定結果と共に、これを自動ブレーキ
制御装置8に通知する。これをうけて自動ブレーキ制御
装置8では、自車両の走行レーン内に障害物が位置する
ことから、この障害物との接触を回避するための制動力
を発生させると共に、この場合、前記抽出物体が走行レ
ーン内に位置すると判定されているから、より強い制動
力を発生させる。
【0060】このとき、前記抽出物体が障害物ではな
く、自車両と同等の速度で走行する先行車両であると判
断された場合には、図示されない先行車両追従走行制御
装置にこれを通知し、この先行車両追従走行制御装置
は、エンジンの出力と各車輪への制動力とを制御して先
行車両に追従走行する制御を行う。この状態から、太陽
光の影響等によってCCDカメラ4による撮像が的確に
行うことができず、撮像画像DPから物体抽出を行った
際に、充分な左右端のエッジ長さを検出することができ
なかった場合には、ステップS7からステップS10に
移行する。この場合、前回処理実行時に的確に対応値が
算出されており、対応値フラグFcrc はFcrc =1に設
定されているから、ステップS10からステップS11
に移行し、画像処理による物体の抽出は失敗したが、前
回処理実行時にステップS8で対応値として算出した横
位置の差 difRCを用いて前記(10)式から、撮像画
像による検出物体との横位置 CamY〔m〕を推測し、こ
の撮像画像による検出物体との横位置 CamY、前回処理
実行時に対応値として算出した実際幅RW、及びレーザ
レーダ2による測距結果を用いて前記(11)式から、
撮像画像における左右のエッジ端を推測する。
【0061】そして、推定した左右のエッジ端に基づい
てレーン内外判断処理を行う(ステップS12)。ここ
で、撮像画像に基づく検出物体との横位置 CamY〔m〕
と、レーザレーダ2の測距結果に基づく検出物体との横
位置ojXとの差 difRC及び検出物体の実際幅RWは、
前回処理実行時に的確に算出された値であるから、これ
らを用いて検出物体の左右のエッジ端を推測することに
よって、高精度に推測することができる。
【0062】そして、CCDカメラ4による撮像画像か
ら物体抽出を的確に行うことができない間は、ステップ
S7からステップS10に移行し、的確に物体抽出を行
うことができているときに検出し所定の記憶領域に格納
している対応値 difRC及びRWに基づいてレーン内外
の判断を行う。そして、この状態からCCDカメラ4に
よる撮像画像から的確に物体を抽出することができるよ
うな状態に復帰すると、ステップS6からステップS7
を経てステップS8に移行するから、新たに検出した抽
出物体の左右のエッジ端に基づいて対応値が算出され、
これに基づきレーン内外判断が行われる。
【0063】そして、この状態から先行車両がレーザレ
ーダ2の視野角外に移動することによって、レーザレー
ダ2が先行車両をロストすると、ステップS4からステ
ップS13に移行し、レーン内外の判断処理は行わな
い。一方、例えばレーザレーダ2においては先行車両を
捕捉しているが、CCDカメラ4の撮像画像から的確に
物体を抽出することができず、対応値を算出することが
できない状態である場合には、ステップS7からステッ
プS10に移行するが、対応値を的確に算出することが
できず抽出フラグFokはFok=0を維持することから、
対応値フラグFcrc はFcrc =0を維持する。
【0064】したがって、そのままステップS13に移
行し、レーン内外判断処理は実行されない。そして、こ
の状態から、撮像画像から的確に物体抽出を行うことが
できた場合には、ステップS7からステップS8に移行
して前記対応値が算出されるから、ステップS9を経て
ステップS12に移行し、レーン内外判断処理が開始さ
れる。
【0065】このように、レーザレーダ2で捕捉する物
体の位置をもとに、これに該当するCCDカメラ4の撮
像画像上の該当する位置に絞り込み領域を設定し、この
絞り込み領域から物体のみを抽出することによって、レ
ーザレーダ2による物体の測距値とCCDカメラ4の撮
像画像からの抽出物体の位置との対応値RW及び difR
Cを取得しておき、レーザレーダ2により物体を捕捉中
にCCDカメラ4によって物体を的確に抽出することが
できない場合には、予め取得している対応値に基づいて
レーザレーダ2の測距結果を補正して検出物体のエッジ
端を推定し、これに基づいてレーン内外判断処理を行う
ようにしたから、CCDカメラ4によって的確に物体抽
出を行うことができない場合でも、レーン内外判断処理
を的確に行うことができる。
【0066】また、例えばレーザレーダ2のようなリフ
レクタ反射タイプのレーダの場合には、物体の位置だけ
でなく、物体の大きさも得ることができる。しかし、車
両後部の両サイドにあるリフレクタの片側が汚れで見え
ない場合(例えばトラック等)には、物体の位置及び大
きさ共に不正確になる。しかしながら、上記実施の形態
においては、予め画像処理を行って物体を抽出し、これ
に基づいて、物体の位置ズレ量と大きさとを対応値とし
て共に把握することができるから、画像処理による物体
抽出が一時的にロストしたような場合であっても、画像
処理による物体抽出が正常に行われたときの対応値に基
づいて、レーン内外判断を行うことによって、高精度に
判断を行うことができる。
【0067】また、経時変換等によってレーザレーダ2
の光軸がずれた場合には、測距結果に誤差が含まれるこ
とになる。例えば、取り付けヨー角が1〔deg〕ずれ
た場合には、50〔m〕前方の物体の横位置のずれは、
実際には0.9〔m〕弱のずれとなり、レーン内外判断
において誤判断する原因となる。しかしながら、上述の
ように、撮像カメラ4の撮像画像に基づく物体の位置と
レーザレーダ2の測距結果に基づく物体の位置のずれ
量、つまり、横位置の差 difRCを把握することができ
るから、レーザレーダ2の光軸の経時変化の影響を受け
ることなく、レーン内外判断処理を行うことができる。
【0068】また、撮像画像DPから抽出した抽出物体
の確からしさを検出するようにし、抽出物体の確からし
さが低い場合には、対応値の算出を行わないようにして
いるから、信頼性の低い情報に基づいて対応値が算出さ
れ、対応値の精度が低下することを回避することができ
る。また、上記実施の形態においては、抽出物体のエッ
ジ長さと、このエッジ長さ方向に対応する絞り込み領域
の大きさとの比率に基づいて、前記判断値Sceを設定す
るようにしているから、確からしさの尺度として、遠方
から最近方までの撮像画像上の物体の大きさに応じて適
切なS(エッジ)/N(背景)比に保つことができる。
したがって、レーザレーダ2の検知距離に依存せずに抽
出結果の確からしさを判断することができる。
【0069】なお、上記実施の形態においては、レーザ
レーダ2が捕捉中の物体をロストした場合には、図3に
示すように、ステップS4からステップS13に移行
し、レーン内外判断処理を行わないようにしているが、
これに限るものではない。例えば、物体をロストする直
前までにレーザレーダ2で捕捉中の物体を、撮像画像か
ら抽出物体として抽出している場合には、このときの絞
り込み領域付近に、画像抽出のための領域を設定し、こ
の領域内において前記ステップS6の処理と同様にして
物体を抽出し、これに基づき物体の左右のエッジ端を検
出し、これに基づいてレーン内外判断処理を行うように
してもよい。
【0070】前記画像抽出のための領域は、例えば、次
式(13)に基づいて設定すればよい。 doYA=ロスト直前の絞り込み領域のdoYA doYB=ロスト直前の絞り込み領域のdoYB doXL=ロスト直前の抽出画像のSL doXR=ロスト直前の抽出画像のSR ……(13) このようにすることによって、レーザレーダ2によっ
て、例えば一時的に捕捉中の物体をロストしたような場
合であっても継続してレーン内外判断処理を行うことが
できる。
【0071】また、上記実施の形態においては、対応値
が算出されていない状態では、ステップS10からステ
ップS13に移行し、レーン内外判断処理を行わないよ
うにし、レーン内外判断の判断精度を向上させるように
しているが、例えば、対応値が算出されていない場合に
は、初期値として difRC=0、物体の幅は1.7
〔m〕程度として設定しておき、この初期値に基づいて
レーン内外判断処理を行うようにしてもよい。
【0072】また、上記実施の形態においては、物体抽
出を的確に行うことができたかを判断する際に、抽出物
体の左右のエッジ長さの平均値が絞り込み領域における
高さの60%以上であるときに良好な抽出が行われたと
判断するようにした場合について説明したが、必ずしも
60%以上である必要はなく、CCDカメラ4の性能等
に基づいて任意に設定することができる。
【0073】また、上記実施の形態においては、対応値
として検出物体の実際幅RWと、レーザレーダ2に基づ
く検出物体とCCDカメラ4による撮像画像における抽
出物体との横位置の差 difRCとを検出するようにした
場合について説明したが、これに限るものではなく、例
えば、図7に示すように、レーザレーダ2による測距中
心座標値Pから物体の左右端までの距離d1及びd2を
算出するようにしてもよい。
【0074】この場合、撮像画像から物体抽出を的確に
行うことができなかった場合には、レーザレーダ2の測
距中心位置Pの位置座標と物体の左右端までの距離d1
及びd2に基づいて、物体の左右端の位置を推定するよ
うにすればよい。また、上記実施の形態においては、物
体抽出が的確に行うことができたと判断されたときに
は、このときの抽出物体に基づく対応値を有効とし、こ
れをもとにレーザレーダ2の測距結果の補正を行うよう
にしているが、このとき、前記対応値RW及び difRC
の標準偏差σを算出し、この標準偏差σが予め設定した
しきい値以上のときには、このときの対応値を無効とす
るようにしてもよい。
【0075】具体的には、前記(8)式から算出した検
出物体の横位置の差 difRCに対して、次式(14)に
より、移動平均Aを算出し、標準偏差σを算出する。 A=difRC(Z0 )+difRC(Z-1)+……+difRC(Z-n)/(n+1) σ={〔difRC(Z0 )−A〕2 +〔difRC(Z-1)−A〕2 +…… …〔difRC(Z-n)−A〕2 1/2 /(n+1)……(14) なお、式中のnは、移動平均を算出する際のデータ数で
あって、次式(15)で設定される。
【0076】 n=(2−Sce)/RStime ……(15) 前記式(15)において、RStimeは、CCDカメ
ラ4よりも更新周期の長い、レーザレーダ2のデータ更
新周期〔s〕であって、本実施の形態では100〔m
s〕であるから、この場合nは、n∈[10,20]、
つまり最小でも10、最大でも20までの値となる。
【0077】そして、算出した標準偏差σが、しきい値
以上、例えば0.5〔m〕以上であるときには、物体抽
出は的確に行われている場合でも、対応値は無効とし、
この対応値に基づいてレーザレーダ2の測距結果の補正
を行わないようにしてもよい。このようにすることによ
って、算出した標準偏差σが大きいときつまり対応値の
ばらつきが大きいときには、この対応値に誤差が含まれ
ることを意味するから、このように誤差を含んだ対応値
に基づきレーン内外判断を行うことによって、誤判断さ
れることを回避することができる。
【0078】また、前記標準偏差σを算出する際に、移
動平均を演算する際の母数の数nを、前記判断値Sceが
大きくなるほど小さくなるようにしているから、標準偏
差σの算出に要する処理時間を、物体抽出の確からしさ
が大きくなるほど短縮することができる。なお、この場
合、対応値の標準偏差σに基づいてばらつきを判断する
ようにした場合について説明したが、これに限るもので
はなく、例えば、レーザレーダ2による横方向の検知結
果ojXの標準偏差や分散を算出しこれに基づき対応値の
信頼性を判断するようにしてもよい。
【0079】例えば、標準偏差を算出する場合には、次
式(16)に基づいて算出すればよい。 A=ojX(Z0 )+ojX(Z-1)+……+ojX(Z-n)/(n+1) σ={〔ojX(Z0 )−A〕2 +〔ojX(Z-1)−A〕2 +…… …〔ojX(Z-n)−A〕2 1/2 /(n+1) ……(16) このようにすることによって、次のような効果を得るこ
とができる。例えば、原理的に比較的精度の悪いレーザ
レーダ等により横方向の検知結果がばらついている場合
には、いくら画像の横位置情報が正しくても、その対応
値は信頼性が低い。したがって、対応値の信頼性が高い
場合にのみこの対応値に基づきレーン内外判断を行うこ
とによって、その判断精度を向上させることができる。
【0080】また、上記実施の形態においては、前記
(9)式の伝達関数で表されるローパスフィルタにより
平滑化を行うようにした場合について説明したが、前記
平滑化を行う際の母数を、前記判定値Sceに基づいて変
化させ、前記判定値Sceが高い場合には対応値を積極的
に算出し、前記判定値Sceが低い場合には対応値を保守
的に算出するようにしてもよい。
【0081】具体的には、前述の前記検出物体を正しく
抽出することができたかどうかを表す抽出フラグFok
が、Fok=1であるときには、point =point +(Sc
e)4 を算出する。また、Fok=0であるときには、poi
nt を零に設定する。そして、抽出フラグFok=1の状
態が連続しこれによって前記point が“1”を超えたと
き、対応値フラグFcrc をFcrc =1に設定し、レーザ
レーダ2がこの検出物体をロストするまで、つまり視野
角から消え去るまで対応値フラグはFcrc =1を保持
し、レーザレーダ2が新規に物体を捕捉したとき、抽出
フラグFok、対応値フラグFcrc 、point を零に設定す
る。
【0082】つまり、判断値Sceが基準値0.6を僅か
に超えた状態で物体抽出が正しく行われたと判断された
場合には、前記point は8回目で“1”を超えるから、
8回の母数、つまり8回分の対応値データに基づいて平
滑化を行って最終的な対応値を算出する。一方、判断値
Sceが基準値0.6よりもはるかに大きい場合には、8
回よりも低い回数目で“1”を超えることになる。した
がって、前記判断値Sceに応じて対応値が積極的に算出
されたり、保守的に算出されたりすることになる。
【0083】このようにすることによって、ローパスフ
ィルタ効果によって、対応値におけるノイズ除去が可能
となり、且つ、撮像画像DPからの物体抽出が的確に行
われた場合には、対応値を取得するために要する時間を
短縮することができる。また、上記実施の形態において
は、測距手段としてレーザレーダ2を用いた場合につい
て説明したが、これに限るものではなく、例えば、ミリ
波レーダ等であっても適用することができる。このミリ
波レーダのようなボディ反射タイプのレーダの場合、電
波の反射中心位置だけが得られ、物体の大きさを検出す
ることはできない。しかしながら、上記実施の形態によ
れば、画像処理により、物体の大きさを把握することが
できるから、画像処理による抽出物体が一時的にロスト
した場合等であっても、前回把握している大きさを用い
ることによって、レーン内外判断を的確に行うことがで
きる。
【0084】ここで、上記実施の形態において、CCD
カメラ4が撮像手段に対応し、レーザレーダ2が測距手
段に対応し、図3においてステップS2の処理が走行路
検知手段に対応し、ステップS5の処理が処理領域設定
手段に対応し、ステップS6の処理が物体抽出手段に対
応し、ステップS12の処理が走行路内外判断手段に対
応し、ステップS8の処理が対応情報算出手段に対応
し、ステップS11の処理が測距情報補正手段に対応
し、ステップS7の処理で判断値Sceを算出する処理が
抽出結果採点手段に対応している。
【図面の簡単な説明】
【図1】本発明の走行路環境検出装置を適用した先行車
両追従走行装置付き車両の一例を示す車両構成図であ
る。
【図2】走行路環境検出装置の機能構成を示すブロック
図である。
【図3】レーン内外判断処理の処理手順の一例を示すフ
ローチャートである。
【図4】本発明の動作説明に供する説明図である。
【図5】本発明の動作説明に供する説明図である。
【図6】本発明の動作説明に供する説明図である。
【図7】本発明の動作説明に供する説明図である。
【符号の説明】
1 外界認識部 2 レーザレーダ 3 レーダ処理装置 4 CCDカメラ 5 画像処理部 8 自動ブレーキ制御装置 9 負圧ブレーキブースタ 10 外界認識装置
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 7/60 200 G06T 7/60 200J Fターム(参考) 5B057 AA16 BA02 DA08 DB02 DB05 DB09 DC16 DC19 DC22 5H180 AA01 CC04 CC14 LL01 LL04 LL09 5L096 AA06 BA04 CA04 EA43 FA06 FA15 FA64 FA66 FA69 FA78 GA03 GA51 GA55

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 自車両周辺の走行路環境を撮像する撮像
    手段と、 当該撮像手段の撮像画像において自車両の走行路を検知
    する走行路検知手段と、 自車両周辺の物体と自車両との間の距離を測定する測距
    手段と、 当該測距手段で検出した検出物体の測距位置に相当する
    前記撮像画像上の位置に処理領域を設定する処理領域設
    定手段と、 前記撮像画像上の処理領域から前記測距手段で検出した
    検出物体に相当する物体を抽出する物体抽出手段と、 当該物体抽出手段で抽出した抽出物体の前記撮像画像上
    の位置情報と、前記走行路検知手段の検知結果とから前
    記測距手段による検出物体が自車両の走行路内にあるか
    否かを判断する走行路内外判断手段と、を備えた走行路
    環境検出装置において、 前記測距手段が物体を捕捉し且つ前記物体抽出手段で物
    体を抽出したときに、前記測距手段の検出物体の測距位
    置と前記物体抽出手段で抽出した抽出物体の前記撮像画
    像上の位置情報との対応を表す対応情報を算出する対応
    情報算出手段と、 当該対応情報算出手段で算出した対応情報をもとに前記
    測距情報を補正する測距情報補正手段とを備え、 前記走行路内外判断手段は、前記測距手段が物体を捕捉
    し且つ前記物体抽出手段で物体を抽出できないときに
    は、前記測距情報補正手段で補正した測距補正情報と前
    記走行路検知手段の検知結果とに基づき前記判断を行う
    ことを特徴とする走行路環境検出装置。
  2. 【請求項2】 前記物体抽出手段は、前記抽出物体の抽
    出結果の確からしさを採点する抽出結果採点手段を備
    え、 前記対応情報算出手段は、前記抽出結果採点手段での採
    点結果を考慮して前記対応情報を算出することを特徴と
    する請求項1記載の走行路環境検出装置。
  3. 【請求項3】 前記対応情報算出手段は、前記抽出結果
    採点手段の採点結果がしきい値以下であるときには、こ
    れに対応する抽出物体に基づく前記対応情報の算出を行
    わないことを特徴とする請求項2記載の走行路環境検出
    装置。
  4. 【請求項4】 前記対応情報算出手段は、前記対応情報
    の算出を保守的に行うモードと積極的に行うモードとの
    間でモード変更可能に構成され、前記抽出結果採点手段
    の採点結果に応じたモードで前記対応情報の算出を行う
    ことを特徴とする請求項2又は3記載の走行路環境検出
    装置。
  5. 【請求項5】 前記対応情報算出手段は、前記対応情報
    の算出時点以前の所定の参照期間における前記対応情報
    のバラツキを求めると共に前記抽出結果採点手段の採点
    結果が高いほど前記参照期間を短く設定し、 前記対応情報のバラツキがしきい値を超えるときには当
    該対応情報を新たな対応情報として更新しないことを特
    徴とする請求項1乃至4の何れかに記載の走行路環境検
    出装置。
  6. 【請求項6】 前記物体抽出手段は、前記処理領域にお
    いてエッジ検出処理を行って前記抽出物体の抽出を行
    い、 前記抽出結果採点手段は、前記エッジ検出処理において
    検出したエッジのエッジ長さと前記処理領域の大きさと
    の比率に応じて前記採点を行うことを特徴とする請求項
    1乃至5の何れかに記載の走行路環境検出装置。
JP2002115233A 2002-04-17 2002-04-17 走行路環境検出装置 Expired - Fee Related JP3925285B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002115233A JP3925285B2 (ja) 2002-04-17 2002-04-17 走行路環境検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002115233A JP3925285B2 (ja) 2002-04-17 2002-04-17 走行路環境検出装置

Publications (2)

Publication Number Publication Date
JP2003308599A true JP2003308599A (ja) 2003-10-31
JP3925285B2 JP3925285B2 (ja) 2007-06-06

Family

ID=29396672

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002115233A Expired - Fee Related JP3925285B2 (ja) 2002-04-17 2002-04-17 走行路環境検出装置

Country Status (1)

Country Link
JP (1) JP3925285B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163879A (ja) * 2004-12-08 2006-06-22 Daihatsu Motor Co Ltd 画像処理方法及び画像処理装置
JP2006240454A (ja) * 2005-03-02 2006-09-14 Daihatsu Motor Co Ltd 車両の物体認識装置及び物体認識処理方法
JP2006293835A (ja) * 2005-04-13 2006-10-26 Toyota Motor Corp 物体検出装置
JP2009259086A (ja) * 2008-04-18 2009-11-05 Denso Corp 車両用画像処理装置、立体物判定方法及び画像処理プログラム
WO2010067858A1 (ja) * 2008-12-12 2010-06-17 三菱重工業株式会社 監視装置及び監視方法
WO2014033958A1 (ja) * 2012-09-03 2014-03-06 トヨタ自動車株式会社 衝突判定装置及び衝突判定方法
US10192122B2 (en) 2014-08-21 2019-01-29 Mitsubishi Electric Corporation Driving assist apparatus, driving assist method, and non-transitory computer readable recording medium storing program
US10410072B2 (en) 2015-11-20 2019-09-10 Mitsubishi Electric Corporation Driving support apparatus, driving support system, driving support method, and computer readable recording medium
JP2023057675A (ja) * 2021-10-12 2023-04-24 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP2023057677A (ja) * 2021-10-12 2023-04-24 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP2023057674A (ja) * 2021-10-12 2023-04-24 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP2023057676A (ja) * 2021-10-12 2023-04-24 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163879A (ja) * 2004-12-08 2006-06-22 Daihatsu Motor Co Ltd 画像処理方法及び画像処理装置
JP4530827B2 (ja) * 2004-12-08 2010-08-25 ダイハツ工業株式会社 画像処理方法及び画像処理装置
JP2006240454A (ja) * 2005-03-02 2006-09-14 Daihatsu Motor Co Ltd 車両の物体認識装置及び物体認識処理方法
JP4518978B2 (ja) * 2005-03-02 2010-08-04 ダイハツ工業株式会社 車両の物体認識装置及び物体認識方法
JP2006293835A (ja) * 2005-04-13 2006-10-26 Toyota Motor Corp 物体検出装置
JP4534846B2 (ja) * 2005-04-13 2010-09-01 トヨタ自動車株式会社 物体検出装置
JP4557041B2 (ja) * 2008-04-18 2010-10-06 株式会社デンソー 車両用画像処理装置
JP2009259086A (ja) * 2008-04-18 2009-11-05 Denso Corp 車両用画像処理装置、立体物判定方法及び画像処理プログラム
US8102421B2 (en) 2008-04-18 2012-01-24 Denso Corporation Image processing device for vehicle, image processing method of detecting three-dimensional object, and image processing program
JP2010139431A (ja) * 2008-12-12 2010-06-24 Mitsubishi Heavy Ind Ltd 監視装置及び監視方法
WO2010067858A1 (ja) * 2008-12-12 2010-06-17 三菱重工業株式会社 監視装置及び監視方法
US8477322B2 (en) 2008-12-12 2013-07-02 Mitsubishi Heavy Industries, Ltd. Surveillance device and surveillance method
WO2014033958A1 (ja) * 2012-09-03 2014-03-06 トヨタ自動車株式会社 衝突判定装置及び衝突判定方法
US10192122B2 (en) 2014-08-21 2019-01-29 Mitsubishi Electric Corporation Driving assist apparatus, driving assist method, and non-transitory computer readable recording medium storing program
US10410072B2 (en) 2015-11-20 2019-09-10 Mitsubishi Electric Corporation Driving support apparatus, driving support system, driving support method, and computer readable recording medium
JP2023057677A (ja) * 2021-10-12 2023-04-24 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP2023057675A (ja) * 2021-10-12 2023-04-24 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP2023057674A (ja) * 2021-10-12 2023-04-24 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP2023057676A (ja) * 2021-10-12 2023-04-24 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP7324819B2 (ja) 2021-10-12 2023-08-10 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP7340579B2 (ja) 2021-10-12 2023-09-07 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP7376547B2 (ja) 2021-10-12 2023-11-08 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP7414782B2 (ja) 2021-10-12 2024-01-16 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム

Also Published As

Publication number Publication date
JP3925285B2 (ja) 2007-06-06

Similar Documents

Publication Publication Date Title
EP2422320B1 (en) Object detection device
JP3630100B2 (ja) 車線検出装置
JP3711405B2 (ja) カメラを利用した車両の道路情報抽出方法及びシステム
JP4433887B2 (ja) 車両用外界認識装置
JP3304687B2 (ja) 車両用走行車線認識装置及び障害物検出装置・道路逸脱報知装置
JP6458651B2 (ja) 路面標示検出装置及び路面標示検出方法
JP2008123462A (ja) 物体検知装置
JP2002197469A (ja) 車線検出装置
US11151395B2 (en) Roadside object detection device, roadside object detection method, and roadside object detection system
JP4052291B2 (ja) 車両用画像処理装置
JP3925285B2 (ja) 走行路環境検出装置
WO2019065970A1 (ja) 車両用外界認識装置
JP3656056B2 (ja) 割り込み車両検出装置及びその方法
JPH08156723A (ja) 車両用障害物検出装置
JP2002334330A (ja) 車両認識装置
JP4719996B2 (ja) 物体検知装置
JP2003077099A (ja) 先行車両認識装置
JP3600314B2 (ja) 車両の外部環境認識装置
JP2002104113A (ja) 後方監視装置
JP3319383B2 (ja) 走行路認識装置
JPH07244717A (ja) 車両用走行環境認識装置
JP3606039B2 (ja) 道路形状検出装置
JP3304905B2 (ja) 対象物の追従認識装置
WO2022009537A1 (ja) 画像処理装置
JP2005018148A (ja) 白線推定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050328

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060912

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070219

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110309

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110309

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120309

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130309

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130309

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees