JP2000331148A - 障害物検出装置 - Google Patents
障害物検出装置Info
- Publication number
- JP2000331148A JP2000331148A JP11138813A JP13881399A JP2000331148A JP 2000331148 A JP2000331148 A JP 2000331148A JP 11138813 A JP11138813 A JP 11138813A JP 13881399 A JP13881399 A JP 13881399A JP 2000331148 A JP2000331148 A JP 2000331148A
- Authority
- JP
- Japan
- Prior art keywords
- white line
- distance
- roadside zone
- candidate area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
(57)【要約】
【課題】路側帯と白線を区別して認識できる障害物検出
装置を提供する。 【解決手段】２台のカメラ１、２でそれぞれ撮像した画
像を演算部５で処理し、車両前方の画像を輝度に対応し
た輝度画像と自車両からの距離に対応した距離画像とに
変換し、まず輝度画像に基づいて画像中で明らかな特徴
を有する白線（自車線の白線）を検出し、検出した白線
と路側帯が平行に存在するという条件から路側帯候補と
なる領域を求め、さらに距離画像に基づいて車両からの
距離が白線とほぼ同じ距離にあるならば自車線の路側帯
と判断するように構成した。これにより検出したものが
路側帯か白線かの区別が可能となり、路側帯の検出がよ
り確実になる。
装置を提供する。 【解決手段】２台のカメラ１、２でそれぞれ撮像した画
像を演算部５で処理し、車両前方の画像を輝度に対応し
た輝度画像と自車両からの距離に対応した距離画像とに
変換し、まず輝度画像に基づいて画像中で明らかな特徴
を有する白線（自車線の白線）を検出し、検出した白線
と路側帯が平行に存在するという条件から路側帯候補と
なる領域を求め、さらに距離画像に基づいて車両からの
距離が白線とほぼ同じ距離にあるならば自車線の路側帯
と判断するように構成した。これにより検出したものが
路側帯か白線かの区別が可能となり、路側帯の検出がよ
り確実になる。
Description
【０００１】
【発明の属する技術分野】この発明は、車両前方の道路
形状等に左右されずに路上の白線や路側帯（ガードレー
ル）を区別して検出する技術に関する。
形状等に左右されずに路上の白線や路側帯（ガードレー
ル）を区別して検出する技術に関する。
【０００２】
【従来の技術】従来、障害物検出装置としては、例えば
特開平４−２６２４９８号公報に記載されたものがあ
る。これはステレオ画像に基づいて路側帯間での距離を
算出し、そこから路側帯の曲率を予測し、車両運転にお
ける前方の状況を事前に確認する装置である。
特開平４−２６２４９８号公報に記載されたものがあ
る。これはステレオ画像に基づいて路側帯間での距離を
算出し、そこから路側帯の曲率を予測し、車両運転にお
ける前方の状況を事前に確認する装置である。
【０００３】
【発明が解決しようとする課題】しかし、上記の障害物
検出装置においては、検出したものが路側帯か自車線の
白線か隣接車線の白線かを区別することが出来ないの
で、車両前方の状況を正しく確認することができない、
という問題があった。
検出装置においては、検出したものが路側帯か自車線の
白線か隣接車線の白線かを区別することが出来ないの
で、車両前方の状況を正しく確認することができない、
という問題があった。
【０００４】本発明は上記のごとき従来技術の問題を解
決するためになされたものであり、路側帯と白線を区別
して認識することの出来る障害物検出装置を提供するこ
とを目的とする。
決するためになされたものであり、路側帯と白線を区別
して認識することの出来る障害物検出装置を提供するこ
とを目的とする。
【０００５】
【課題を解決するための手段】上記の目的を達成するた
め、本発明においては、特許請求の範囲に記載するよう
に構成している。すなわち、請求項１に記載の発明にお
いては、画像全体に領域を定義し、まず、輝度画像に基
づいて明らかな特徴を有する白線（自車線の白線）を検
出し、検出した白線と路側帯が平行に存在するという条
件から路側帯候補となる領域を求め、さらに距離画像に
基づいて路側帯か否かを判断するように構成している。
この方法によれば前方の道路形状に左右されずに路側帯
を検出することが出来る。なお、自車線の白線は、自車
両の正面から左右方向にそれぞれ最も近い白線を自車線
の白線とする。
め、本発明においては、特許請求の範囲に記載するよう
に構成している。すなわち、請求項１に記載の発明にお
いては、画像全体に領域を定義し、まず、輝度画像に基
づいて明らかな特徴を有する白線（自車線の白線）を検
出し、検出した白線と路側帯が平行に存在するという条
件から路側帯候補となる領域を求め、さらに距離画像に
基づいて路側帯か否かを判断するように構成している。
この方法によれば前方の道路形状に左右されずに路側帯
を検出することが出来る。なお、自車線の白線は、自車
両の正面から左右方向にそれぞれ最も近い白線を自車線
の白線とする。
【０００６】また、請求項２に記載の発明においては、
最初に見つけた（前記白線に最も近い位置に存在する）
路側帯候補領域が白線とほぼ同じ距離にあるならば自車
線の路側帯と判断するように構成している。これは自車
線の路側帯が自車線の白線に沿って設けられていること
によるものであり、これにより検出したものが路側帯か
白線かの区別が可能となり、路側帯の検出がより確実に
なる。
最初に見つけた（前記白線に最も近い位置に存在する）
路側帯候補領域が白線とほぼ同じ距離にあるならば自車
線の路側帯と判断するように構成している。これは自車
線の路側帯が自車線の白線に沿って設けられていること
によるものであり、これにより検出したものが路側帯か
白線かの区別が可能となり、路側帯の検出がより確実に
なる。
【０００７】また、請求項３に記載の発明においては、
路側帯候補領域が白線よりも遠くにあり、かつ連続的に
道路面上に存在する場合には隣接車線の白線と判断する
ように構成している。これにより、自車線の路側帯が存
在しない場合でも、車両前方の状況をより正しく確認す
ることができる。なお、連続的に存在するとは、その長
さが所定のしきい値（例えば車両等の他の物体と区別出
来る程度の長さ）よりも長く存在することを意味する。
路側帯候補領域が白線よりも遠くにあり、かつ連続的に
道路面上に存在する場合には隣接車線の白線と判断する
ように構成している。これにより、自車線の路側帯が存
在しない場合でも、車両前方の状況をより正しく確認す
ることができる。なお、連続的に存在するとは、その長
さが所定のしきい値（例えば車両等の他の物体と区別出
来る程度の長さ）よりも長く存在することを意味する。
【０００８】また、請求項４に記載の発明においては、
抽出した路側帯候補領域に隣接車線の白線が存在する場
合に、その次の路側帯候補領域の距離と隣接車線の白線
とがほぼ同じ距離であれば、隣接車線の路側帯と判断す
るように構成している。これにより、自車線の路側帯が
存在しない場合でも隣接車線の路側帯を検出することが
可能となる。
抽出した路側帯候補領域に隣接車線の白線が存在する場
合に、その次の路側帯候補領域の距離と隣接車線の白線
とがほぼ同じ距離であれば、隣接車線の路側帯と判断す
るように構成している。これにより、自車線の路側帯が
存在しない場合でも隣接車線の路側帯を検出することが
可能となる。
【０００９】また、請求項５に記載の発明においては、
路側帯候補領域の距離と自車線の白線、隣接車線の白線
との距離比較や候補領域の連続性および道路面上に存在
するか否かを判断することにより、路側帯候補領域がそ
の他の白線か、路側帯か、その他の物体かを判断するよ
うに構成している。これにより、自車線の路側帯、隣接
車線の白線及び路側帯、その他の白線及び路側帯、その
他の物体（他の車両等）の判別が可能になり、車両前方
の状況をより確実に認識することができる。
路側帯候補領域の距離と自車線の白線、隣接車線の白線
との距離比較や候補領域の連続性および道路面上に存在
するか否かを判断することにより、路側帯候補領域がそ
の他の白線か、路側帯か、その他の物体かを判断するよ
うに構成している。これにより、自車線の路側帯、隣接
車線の白線及び路側帯、その他の白線及び路側帯、その
他の物体（他の車両等）の判別が可能になり、車両前方
の状況をより確実に認識することができる。
【００１０】
【発明の効果】請求項１においては、前方の道路形状に
左右されずに、精度良く路側帯を検出することが出来
る。請求項２においては、自車線の位置に関わらず、検
出したものが自車線の路側帯かそれ以外の白線か路側帯
かの判断を正しく行なうことが可能になる。請求項３に
おいては、検出したものが隣接車線の白線かそれ以外の
白線や路側帯かの判断が可能になり、路側帯と白線の判
別を精度良く行なうことができる。請求項４において
は、検出した路側帯が自車線のものか隣接車線のものか
の判断が可能になる。請求項５においては、路側帯、白
線、その他の物体を区別することが可能になり、車両前
方の道路状況を正しく認識することができる。
左右されずに、精度良く路側帯を検出することが出来
る。請求項２においては、自車線の位置に関わらず、検
出したものが自車線の路側帯かそれ以外の白線か路側帯
かの判断を正しく行なうことが可能になる。請求項３に
おいては、検出したものが隣接車線の白線かそれ以外の
白線や路側帯かの判断が可能になり、路側帯と白線の判
別を精度良く行なうことができる。請求項４において
は、検出した路側帯が自車線のものか隣接車線のものか
の判断が可能になる。請求項５においては、路側帯、白
線、その他の物体を区別することが可能になり、車両前
方の道路状況を正しく認識することができる。
【００１１】
【発明の実施の形態】図１は本発明の一実施の形態の構
成を示すブロック図である。図１において、１および２
は電子式のカメラであり、自車の前部に前方を向いて設
置されており、両カメラの光軸は相互に平行で、かつ撮
像面の水平軸が同じライン上に揃うように設置されてい
る。なお、車両の後部に後方を向けて設置し、車両後方
の障害物を検出するように構成することもできる。３、
４はそれぞれカメラ１、２から入力した画像信号を記憶
する画像メモリである。５は演算部であり、例えばＣＰ
Ｕ、ＲＡＭ、ＲＯＭ等からなるマイクロコンピュータで
構成される。６は自車の前方に存在する検出対象物であ
り、図１では先行車を例示しているが、本発明では主に
道路上の白線と路側帯（ガードレール）を検出する。
成を示すブロック図である。図１において、１および２
は電子式のカメラであり、自車の前部に前方を向いて設
置されており、両カメラの光軸は相互に平行で、かつ撮
像面の水平軸が同じライン上に揃うように設置されてい
る。なお、車両の後部に後方を向けて設置し、車両後方
の障害物を検出するように構成することもできる。３、
４はそれぞれカメラ１、２から入力した画像信号を記憶
する画像メモリである。５は演算部であり、例えばＣＰ
Ｕ、ＲＡＭ、ＲＯＭ等からなるマイクロコンピュータで
構成される。６は自車の前方に存在する検出対象物であ
り、図１では先行車を例示しているが、本発明では主に
道路上の白線と路側帯（ガードレール）を検出する。
【００１２】図２はステレオ画像を用いて三角測量の原
理でカメラから障害物までの距離を求める原理を説明す
る図である。図２において、Ｘ軸は地表面に水平、Ｙ軸
は地表面に垂直、Ｚ軸は左カメラの光軸（車両前方正面
方向）に一致しているものとする。また、左カメラ（図
１のカメラ１に相当）と右カメラ（図１のカメラ２に相
当）の光軸は相互に平行で、かつ撮像面の水平軸が同じ
ライン上に揃うように設置されている。なお、両カメラ
のレンズは図示を省略しているが、Ｘ軸から焦点距離ｆ
だけ前方のローカル座標系を示した場所に存在する。そ
して実際の画像はＸ軸の位置に結像されるが、図２では
レンズの位置に示している。
理でカメラから障害物までの距離を求める原理を説明す
る図である。図２において、Ｘ軸は地表面に水平、Ｙ軸
は地表面に垂直、Ｚ軸は左カメラの光軸（車両前方正面
方向）に一致しているものとする。また、左カメラ（図
１のカメラ１に相当）と右カメラ（図１のカメラ２に相
当）の光軸は相互に平行で、かつ撮像面の水平軸が同じ
ライン上に揃うように設置されている。なお、両カメラ
のレンズは図示を省略しているが、Ｘ軸から焦点距離ｆ
だけ前方のローカル座標系を示した場所に存在する。そ
して実際の画像はＸ軸の位置に結像されるが、図２では
レンズの位置に示している。
【００１３】上記の構成において、空間中の点Ｐ(ｘ，
ｙ，ｚ）を撮影して得た左画像において、点Ｐを投影し
たＰLのＸLＹLローカル座標系における座標をＰL(ｘL，
ｙL）とし、同様に右画像における点Ｐを投影したとき
のローカル座標をＰR(ｘR，ｙR）とする。このとき、２
つのカメラの間隔をｈ、焦点距離をｆとすると、点Ｐ
(ｘ，ｙ，ｚ）のｘ座標、ｙ座標、ｚ座標の位置は下記
（数１）式で求めることが出来る。
ｙ，ｚ）を撮影して得た左画像において、点Ｐを投影し
たＰLのＸLＹLローカル座標系における座標をＰL(ｘL，
ｙL）とし、同様に右画像における点Ｐを投影したとき
のローカル座標をＰR(ｘR，ｙR）とする。このとき、２
つのカメラの間隔をｈ、焦点距離をｆとすると、点Ｐ
(ｘ，ｙ，ｚ）のｘ座標、ｙ座標、ｚ座標の位置は下記
（数１）式で求めることが出来る。
【００１４】 これらの式から空間中の点を、左右画像に投影したとき
の点を求めること、言い換えれば左画像と右画像で対応
する点を決定することによって、画像中の各点の３次元
座標を求めることが出来る。特に上記の光学系では、左
右のカメラをつなぐ線分が水平でＸ軸に平行であり、ｙ
L＝ｙRであるので、左右画像の存在する水平線上の画素
間の対応関係を決定すればよい。すなわち、２つの画像
間のマッチング位置ｘL，ｘR（左画像と同じ画像が存在
する右画像の位置）を求め、それによって視差（ｘL−
ｘR）を求めれば、（数１）式のｚによってカメラから
先行車まで距離を計測することが出来る。
の点を求めること、言い換えれば左画像と右画像で対応
する点を決定することによって、画像中の各点の３次元
座標を求めることが出来る。特に上記の光学系では、左
右のカメラをつなぐ線分が水平でＸ軸に平行であり、ｙ
L＝ｙRであるので、左右画像の存在する水平線上の画素
間の対応関係を決定すればよい。すなわち、２つの画像
間のマッチング位置ｘL，ｘR（左画像と同じ画像が存在
する右画像の位置）を求め、それによって視差（ｘL−
ｘR）を求めれば、（数１）式のｚによってカメラから
先行車まで距離を計測することが出来る。
【００１５】図３は入力した左右画像のうち何れか一方
（例えば左画像）の画像を小領域に分割し、領域内に存
在する特徴的なエッジを利用して、２つの画像間でのマ
ッチング位置を求めた結果を示す図である。図３（Ａ）
は左画像を複数の小領域に分割した状態を示す図であ
り、道路前方に先行車が存在する画像を例示している。
図３（Ｂ）は右画像を示す図であり、左画像の或る領域
と一致する部分（マッチング）を求め、両者の視差を求
める状態を示している。図３（Ｃ）は視差の値が同じ領
域のかたまりを抜き出した図である。
（例えば左画像）の画像を小領域に分割し、領域内に存
在する特徴的なエッジを利用して、２つの画像間でのマ
ッチング位置を求めた結果を示す図である。図３（Ａ）
は左画像を複数の小領域に分割した状態を示す図であ
り、道路前方に先行車が存在する画像を例示している。
図３（Ｂ）は右画像を示す図であり、左画像の或る領域
と一致する部分（マッチング）を求め、両者の視差を求
める状態を示している。図３（Ｃ）は視差の値が同じ領
域のかたまりを抜き出した図である。
【００１６】図３に示すように、各領域毎に視差（ｘL
−ｘR）を求めれば、前記（数１）式によりその領域内
に撮像されている物体までの距離を求めることが出来
る。この図３のように各領域毎にその内部の物体の距離
を求めた画像を“距離画像”と呼ぶ。なお、上記２つの
カメラで撮像した画像は、それぞれ各画素毎に輝度に対
応した画像であり、これを“輝度画像”と呼ぶ。
−ｘR）を求めれば、前記（数１）式によりその領域内
に撮像されている物体までの距離を求めることが出来
る。この図３のように各領域毎にその内部の物体の距離
を求めた画像を“距離画像”と呼ぶ。なお、上記２つの
カメラで撮像した画像は、それぞれ各画素毎に輝度に対
応した画像であり、これを“輝度画像”と呼ぶ。
【００１７】上記距離画像において、各領域毎に求めら
れる距離は領域内の物体の特徴的なエッジまでの距離で
あるため、隣接する領域で同じような距離がある場合に
は同一物体であると判断することが出来る。例えば図３
（Ｃ）で四角な枠で領域が示されている部分が視差の値
が同じ個所であり、この部分が先行車に相当する。
れる距離は領域内の物体の特徴的なエッジまでの距離で
あるため、隣接する領域で同じような距離がある場合に
は同一物体であると判断することが出来る。例えば図３
（Ｃ）で四角な枠で領域が示されている部分が視差の値
が同じ個所であり、この部分が先行車に相当する。
【００１８】図２に示したように２つのカメラを光軸が
平行になるように設置した場合には、図３に示したよう
に画像のマッチング位置は同一線上にのる。このことか
ら、左画像に一致する右画像の対象領域の探索は、同一
線上において視差方向に１画素づつずらしながら左右の
領域間で下記（数２）式に示すような一致度Ｈ（差分
値）を求めることによって行なうことが出来る。なお、
一致度Ｈは差分値で表しているので、この値が小さいほ
ど両者が一致していることになる。
平行になるように設置した場合には、図３に示したよう
に画像のマッチング位置は同一線上にのる。このことか
ら、左画像に一致する右画像の対象領域の探索は、同一
線上において視差方向に１画素づつずらしながら左右の
領域間で下記（数２）式に示すような一致度Ｈ（差分
値）を求めることによって行なうことが出来る。なお、
一致度Ｈは差分値で表しているので、この値が小さいほ
ど両者が一致していることになる。
【００１９】 Ｈ＝Σi｜Ｌi−Ｒi｜ …（数２） （数２）式において、ＬとＲはそれぞれ左画像と右画像
の輝度であり、一つの領域（ウィンドウ）内に含まれる
画素のうち、左画像と右画像とで対応する位置の画素毎
に両者の差の絶対値｜Ｌi−Ｒi｜を求め、その総和をＨ
とする。このＨの値は左画像と右画像とで対応する位置
の画素の輝度が近い値であるほど、すなわち一つの領域
内に含まれる画像が左画像と右画像とで近似しているほ
ど小さな値になる。
の輝度であり、一つの領域（ウィンドウ）内に含まれる
画素のうち、左画像と右画像とで対応する位置の画素毎
に両者の差の絶対値｜Ｌi−Ｒi｜を求め、その総和をＨ
とする。このＨの値は左画像と右画像とで対応する位置
の画素の輝度が近い値であるほど、すなわち一つの領域
内に含まれる画像が左画像と右画像とで近似しているほ
ど小さな値になる。
【００２０】なお、図２に示したステレオカメラによる
画像処理以外でも、例えばレーザ光を二次元に走査する
スキャニング・レーザレーダを用いても、上記の距離画
像を求めることができる。
画像処理以外でも、例えばレーザ光を二次元に走査する
スキャニング・レーザレーダを用いても、上記の距離画
像を求めることができる。
【００２１】次に、図４は、ステレオ画像の小領域に分
割した画像を用いて自車線の白線と路側帯候補領域を抽
出する原理を説明する図である。図４において、（Ａ）
は路上を撮像した画像である。（Ｂ）は輝度信号の変化
を示す図であり、（Ａ）に矢印で示した検出ラインにつ
いての輝度の変化を示す。（Ｃ）はエッジ強度を示す図
であり、（Ｂ）の特性におけるエッジ強度を示す。
割した画像を用いて自車線の白線と路側帯候補領域を抽
出する原理を説明する図である。図４において、（Ａ）
は路上を撮像した画像である。（Ｂ）は輝度信号の変化
を示す図であり、（Ａ）に矢印で示した検出ラインにつ
いての輝度の変化を示す。（Ｃ）はエッジ強度を示す図
であり、（Ｂ）の特性におけるエッジ強度を示す。
【００２２】路側帯は白線に沿って平行に存在すること
から、まず画像上で明らかな特徴を持つ白線を検出す
る。図４に示すように、道路上に引かれた白線は、路面
のアスファルトとの境界に強いエッジ（白線の場合は暗
→明→暗のエッジ）が存在し、道路面より輝度値が高
く、数十ｃｍ以上の幅を持っていることが特徴として挙
げられる。さらに強いエッジを特つことから距離画像の
データも存在することがわかる。これにより、画像の左
下方から水平方向に画像を走査し、上記の条件を満足す
る点を求めることにより、自車線の白線を検出すること
が出来る。また、求めた各点の３次元の位置から道路面
の高さも求めることが出来る。なお、白線は複数個検出
されることがあるが、自車線の白線は、自車両の正面か
ら左右方向にそれぞれ最も近い白線を自車線の白線とす
る。
から、まず画像上で明らかな特徴を持つ白線を検出す
る。図４に示すように、道路上に引かれた白線は、路面
のアスファルトとの境界に強いエッジ（白線の場合は暗
→明→暗のエッジ）が存在し、道路面より輝度値が高
く、数十ｃｍ以上の幅を持っていることが特徴として挙
げられる。さらに強いエッジを特つことから距離画像の
データも存在することがわかる。これにより、画像の左
下方から水平方向に画像を走査し、上記の条件を満足す
る点を求めることにより、自車線の白線を検出すること
が出来る。また、求めた各点の３次元の位置から道路面
の高さも求めることが出来る。なお、白線は複数個検出
されることがあるが、自車線の白線は、自車両の正面か
ら左右方向にそれぞれ最も近い白線を自車線の白線とす
る。
【００２３】また、検出された対象が道路面上にあるか
否かの判断は、距離画像上で高さが０であるか否かで判
断する。すなわち、距離画像上では画面の手前は下方に
なり、遠方に行くにしたがって画面の上方になる。した
がって路面上（高さが０の位置）は距離に応じて上方に
移動するので、距離画像上の距離が近いのに、画面の上
方に写っている物体は高さがある（路面上ではない）こ
とになる。
否かの判断は、距離画像上で高さが０であるか否かで判
断する。すなわち、距離画像上では画面の手前は下方に
なり、遠方に行くにしたがって画面の上方になる。した
がって路面上（高さが０の位置）は距離に応じて上方に
移動するので、距離画像上の距離が近いのに、画面の上
方に写っている物体は高さがある（路面上ではない）こ
とになる。
【００２４】次に、得られた自車線の白線の結果を利用
して路側帯候補領域を抽出する。これは白線と路側帯が
平行に存在することから、白線のエッジと傾きの近いエ
ッジ領域を路側帯候補領域とするものである。まず、図
５のように自車線の白線を検出した領域Ｘiのエッジを
成分とするベクトルをｘiとし、白線より上の領域（す
なわち白線よりも遠い領域か又は高さがある物体の領
域）でエッジが検出された領域Ｙijのエッジを成分とす
るベクトルをｙijとする。これらのベクトルの定義を下
記に示す。
して路側帯候補領域を抽出する。これは白線と路側帯が
平行に存在することから、白線のエッジと傾きの近いエ
ッジ領域を路側帯候補領域とするものである。まず、図
５のように自車線の白線を検出した領域Ｘiのエッジを
成分とするベクトルをｘiとし、白線より上の領域（す
なわち白線よりも遠い領域か又は高さがある物体の領
域）でエッジが検出された領域Ｙijのエッジを成分とす
るベクトルをｙijとする。これらのベクトルの定義を下
記に示す。
【００２５】図５において、自車線の白線を検出した領
域をＸiとする。そして領域の画素数をｐ×ｑとし、各
エッジ成分をｅpqとすると、領域内エッジは Ｘi＝［Ｅ1 Ｅ2 … Ｅp］ と表すことが出来る。
域をＸiとする。そして領域の画素数をｐ×ｑとし、各
エッジ成分をｅpqとすると、領域内エッジは Ｘi＝［Ｅ1 Ｅ2 … Ｅp］ と表すことが出来る。
【００２６】ただし、［ ］は行列式を示し、Ｅ1＝
（ｅ11，ｅ12，…，ｅ1q)’，Ｅ2＝（ｅ21，ｅ22，…，
ｅ2q)’，…，Ｅp＝（ｅp1，ｅp2，…，ｅpq)’とす
る。そこで、領域Ｘiのエッジを成分とするベクトルｘi
を以下のように定義する。
（ｅ11，ｅ12，…，ｅ1q)’，Ｅ2＝（ｅ21，ｅ22，…，
ｅ2q)’，…，Ｅp＝（ｅp1，ｅp2，…，ｅpq)’とす
る。そこで、領域Ｘiのエッジを成分とするベクトルｘi
を以下のように定義する。
【００２７】ｘi＝（ｅ11，ｅ12，…，ｅ1q，ｅ21，ｅ
22，…，ｅ2q，……，ｅp1，ｅp2，…，ｅpq） 例えば、領域Ｘiの画素数を４×４とし、エッジが検出
された位置を１とし、検出されなかった位置を０すれ
ば、ＥpはＥ１＝(1,0,0,0)'，Ｅ２＝(0,1,0,0)'，Ｅ３
＝(0,0,1,0)'，Ｅ４＝（０，０，０，１）’となり、ベ
クトルｘｉは ｘi＝(1,0,0,0,0,1,0,0,0,0,1,0,0,0,0,1)’となる。
22，…，ｅ2q，……，ｅp1，ｅp2，…，ｅpq） 例えば、領域Ｘiの画素数を４×４とし、エッジが検出
された位置を１とし、検出されなかった位置を０すれ
ば、ＥpはＥ１＝(1,0,0,0)'，Ｅ２＝(0,1,0,0)'，Ｅ３
＝(0,0,1,0)'，Ｅ４＝（０，０，０，１）’となり、ベ
クトルｘｉは ｘi＝(1,0,0,0,0,1,0,0,0,0,1,0,0,0,0,1)’となる。
【００２８】また、自車線の白線よりも上で領域Ｘiと
同じ大きさの領域をＹijとすると、領域Ｙijで求めたエ
ッジを成分とするベクトルｙijは上記ベクトルｘiと同
様に定義できる。
同じ大きさの領域をＹijとすると、領域Ｙijで求めたエ
ッジを成分とするベクトルｙijは上記ベクトルｘiと同
様に定義できる。
【００２９】上記のように定義したベクトルｘiとベク
トルｙijを用いて、下記（数３）式で示されるベクトル
ｘiとベクトルｙijの相関値ｒijを、ベクトルｘiから上
の垂直方向に順次計算する。この相関値はベクトルｘi
とベクトルｙijの傾きの異同を示すものであり、傾きが
近いほど大きな値になる。この相関値ｒijがしきい値以
上の場合、すなわち自車線の白線に近い傾きを持つ場合
に路側帯候補領域（Ｚim）として抽出する。
トルｙijを用いて、下記（数３）式で示されるベクトル
ｘiとベクトルｙijの相関値ｒijを、ベクトルｘiから上
の垂直方向に順次計算する。この相関値はベクトルｘi
とベクトルｙijの傾きの異同を示すものであり、傾きが
近いほど大きな値になる。この相関値ｒijがしきい値以
上の場合、すなわち自車線の白線に近い傾きを持つ場合
に路側帯候補領域（Ｚim）として抽出する。
【００３０】 次に、得られた路側帯候補領域から自車線の路側帯を特
定する方法について説明する。抽出した路側帯候補領域
は自車の位置により、路側帯や白線或いは物体の側面な
どである可能性がある。そこで、図５からもわかるよう
に、最初に抽出された路側帯候補領域（Ｚi0）が自車線
の白線とほぼ同じ距離（距離は距離画像から検出）にあ
れば、白線と平行して存在する路側帯であると判断する
ことが出来る。自車線の路側帯以外のものであれば、自
車線の白線よりも遠い距離が出力されることになる。
定する方法について説明する。抽出した路側帯候補領域
は自車の位置により、路側帯や白線或いは物体の側面な
どである可能性がある。そこで、図５からもわかるよう
に、最初に抽出された路側帯候補領域（Ｚi0）が自車線
の白線とほぼ同じ距離（距離は距離画像から検出）にあ
れば、白線と平行して存在する路側帯であると判断する
ことが出来る。自車線の路側帯以外のものであれば、自
車線の白線よりも遠い距離が出力されることになる。
【００３１】次に、隣接車線の白線を特定する方法を説
明する。図６からもわかるように、自車線の側に路側帯
がなければ、その外側には隣接車線があることが考えら
れるから、前記図５で検出したＺi0が自車線の路側帯以
外のものであれば、Ｚi0は隣接車線の白線または物体で
ある。Ｚi0以後の領域Ｚimにおいて、距離が検出した自
車線の白線よりも遠くにあり、前記図４で説明した道路
面の高さと同じであれば、Ｚimは隣接車線の白線である
可能性が高いので隣接車線候補とする。
明する。図６からもわかるように、自車線の側に路側帯
がなければ、その外側には隣接車線があることが考えら
れるから、前記図５で検出したＺi0が自車線の路側帯以
外のものであれば、Ｚi0は隣接車線の白線または物体で
ある。Ｚi0以後の領域Ｚimにおいて、距離が検出した自
車線の白線よりも遠くにあり、前記図４で説明した道路
面の高さと同じであれば、Ｚimは隣接車線の白線である
可能性が高いので隣接車線候補とする。
【００３２】さらに検出した白線領域に対して同様な処
理を実行し、図７のように水平方向に隣接した領域を調
べることにより、連続的に隣接車線の白線候補が存在す
るならば、Ｚimは隣接車線の白線と判断することができ
る。なお、連続的に存在するとは、その長さが所定のし
きい値（例えば車両等の他の物体と区別出来る程度の長
さ）よりも長く存在することを意味する。
理を実行し、図７のように水平方向に隣接した領域を調
べることにより、連続的に隣接車線の白線候補が存在す
るならば、Ｚimは隣接車線の白線と判断することができ
る。なお、連続的に存在するとは、その長さが所定のし
きい値（例えば車両等の他の物体と区別出来る程度の長
さ）よりも長く存在することを意味する。
【００３３】次に、隣接車線の白線が存在するときに路
側帯を特定する方法を説明する。
側帯を特定する方法を説明する。
【００３４】Ｚimが隣接車線の白線である場合には、路
側帯は隣接車線に沿って平行して存在する可能性があ
る。したがって、Ｚim+1がＺimとほぼ同じ距離にあれ
ば、隣接車線に平行として存在する路側帯と判断するこ
とが出来る。前記と同様に隣接車線の路側帯以外のもの
であれば、Ｚim+1はＺimよりも遠い距離が出力されるこ
とになる。
側帯は隣接車線に沿って平行して存在する可能性があ
る。したがって、Ｚim+1がＺimとほぼ同じ距離にあれ
ば、隣接車線に平行として存在する路側帯と判断するこ
とが出来る。前記と同様に隣接車線の路側帯以外のもの
であれば、Ｚim+1はＺimよりも遠い距離が出力されるこ
とになる。
【００３５】次に、自車線と隣接車線の路側帯及び白線
以外のものを特定する方法を説明する。Ｚinがこれまで
説明した項目に該当しない場合には、Ｚinは自車線と隣
接車線の路側帯及び白線以外のもの、すなわち、それ以
外の白線や路側帯または物体である可能性がある。Ｚin
が検出した白線及び隣接車線の白線の距離よりも遠くに
あり、道路面上になければ、Ｚinはその他の路側帯また
は物体である可能性が高いので、その他の路側帯・物体
候補とする。道路面上にあればその他の白線である可能
性が高いので、その他の白線候補とする。さらに検出し
た白線領域に対して同様な処理を実行し、水平方向に隣
接した領域を調べることにより、連続的にその他の路側
帯・物体候補が存在するならば、Ｚinはその他の路側帯
と判断し、連続的に存在しなければ物体候補とする。ま
た、連続的にその他の白線候補が存在するならばＺinは
その他の白線と判断する。さらに、物体候補では対応す
る距離画像に同一距離の固まりが存在するならば、物体
と判断し、存在しなければノイズとして破棄する。
以外のものを特定する方法を説明する。Ｚinがこれまで
説明した項目に該当しない場合には、Ｚinは自車線と隣
接車線の路側帯及び白線以外のもの、すなわち、それ以
外の白線や路側帯または物体である可能性がある。Ｚin
が検出した白線及び隣接車線の白線の距離よりも遠くに
あり、道路面上になければ、Ｚinはその他の路側帯また
は物体である可能性が高いので、その他の路側帯・物体
候補とする。道路面上にあればその他の白線である可能
性が高いので、その他の白線候補とする。さらに検出し
た白線領域に対して同様な処理を実行し、水平方向に隣
接した領域を調べることにより、連続的にその他の路側
帯・物体候補が存在するならば、Ｚinはその他の路側帯
と判断し、連続的に存在しなければ物体候補とする。ま
た、連続的にその他の白線候補が存在するならばＺinは
その他の白線と判断する。さらに、物体候補では対応す
る距離画像に同一距離の固まりが存在するならば、物体
と判断し、存在しなければノイズとして破棄する。
【００３６】次に、これまで説明した原理を用いて前方
にある自車線の路側帯を検出する実施例について説明す
る。ここでは、図２に示したようにカメラの光軸が平行
になるように設置したステレオカメラを用いることにす
る。図８は、第１の実施例の処理を示すフローチャート
である。図８において、まず、ステップＳ１００では、
横位置×白線からのズレ量の表（例えば図１０や図１
４）を初期化する初期設定を行なう。なお、上記のズレ
量は画像上で自車線からの位置の差を意味する。次に、
ステップＳ１０１では、図２のステレオ画像（右画像と
左画像）を入力する。
にある自車線の路側帯を検出する実施例について説明す
る。ここでは、図２に示したようにカメラの光軸が平行
になるように設置したステレオカメラを用いることにす
る。図８は、第１の実施例の処理を示すフローチャート
である。図８において、まず、ステップＳ１００では、
横位置×白線からのズレ量の表（例えば図１０や図１
４）を初期化する初期設定を行なう。なお、上記のズレ
量は画像上で自車線からの位置の差を意味する。次に、
ステップＳ１０１では、図２のステレオ画像（右画像と
左画像）を入力する。
【００３７】次に、ステップＳ１０２では、ステレオ画
像のどちらか一方を同じ大きさの複数の領域（ウィンド
ウ）に分割する。この分割した領域１つ１つに対して視
差を計算し距離を求める。視差の検出は、前記（数２）
式に示したような画像間の差分値を一致度として計算す
ることによって行なう。
像のどちらか一方を同じ大きさの複数の領域（ウィンド
ウ）に分割する。この分割した領域１つ１つに対して視
差を計算し距離を求める。視差の検出は、前記（数２）
式に示したような画像間の差分値を一致度として計算す
ることによって行なう。
【００３８】次に、ステップＳ１０３では、マッチング
処理を行って視差を求める。ここでは、探索範囲内の全
ての一致度を求め、一致度が最小となる位置を探し、そ
の位置をこの領域の視差とする。このような操作を全て
の領域に対して行なうことで、各領域内の物体までの距
離を前記（数１）式によって算出し、距離画像とする
（ステップＳ１０４）。
処理を行って視差を求める。ここでは、探索範囲内の全
ての一致度を求め、一致度が最小となる位置を探し、そ
の位置をこの領域の視差とする。このような操作を全て
の領域に対して行なうことで、各領域内の物体までの距
離を前記（数１）式によって算出し、距離画像とする
（ステップＳ１０４）。
【００３９】次に、ステップＳ１０５では、白線を検出
する。この白線の検出は領域分割を行った画像に対して
行なう。まず、画像の左下から水平方向（左から右へ）
に画像を走査し、強いエッジが存在し、道路面より輝度
値が高く、距離画像が存在する点を白線候補点とする。
さらに、数十ｃｍ以上離れたところに同様なエッジが存
在するならば、それを白線とする。このような操作を画
像の下から上に向かって順次行ない、白線を決定する。
以後の判断の基準となる自車線の白線は、自車両の正面
から左右方向にそれぞれ最も近い白線である。
する。この白線の検出は領域分割を行った画像に対して
行なう。まず、画像の左下から水平方向（左から右へ）
に画像を走査し、強いエッジが存在し、道路面より輝度
値が高く、距離画像が存在する点を白線候補点とする。
さらに、数十ｃｍ以上離れたところに同様なエッジが存
在するならば、それを白線とする。このような操作を画
像の下から上に向かって順次行ない、白線を決定する。
以後の判断の基準となる自車線の白線は、自車両の正面
から左右方向にそれぞれ最も近い白線である。
【００４０】次に、ステップＳ１０６〜ステップＳ１０
９では、自車線の路側帯を検出する。まず、ステップＳ
１０６では、分割した領域を水平方向に順に走査し、領
域内に白線が検出されているか否かを調査する。白線が
検出されていれば、領域内のエッジをベクトルｘiと
し、検出されていなければ、次の領域に移る。白線が検
出された領域を垂直方向に１画素ずつずらした領域のエ
ッジをベクトルｙijとして、前記（数３）式に示したベ
クトルｘiとベクトルｙijの相関値ｒijを垂直方向（下
から上へ）に順次計算する。相関値ｒijがしきい値以上
であれば路側帯候補領域（Ｚin）として抽出し、垂直方
向のズレ量を横位置とズレ量に対応する表に格納する。
なお、格納の方法は、後記図１０で説明する方法と同様
に、例えば「所定の数値＋距離値」を横位置とズレ量に
対応する位置に格納する。
９では、自車線の路側帯を検出する。まず、ステップＳ
１０６では、分割した領域を水平方向に順に走査し、領
域内に白線が検出されているか否かを調査する。白線が
検出されていれば、領域内のエッジをベクトルｘiと
し、検出されていなければ、次の領域に移る。白線が検
出された領域を垂直方向に１画素ずつずらした領域のエ
ッジをベクトルｙijとして、前記（数３）式に示したベ
クトルｘiとベクトルｙijの相関値ｒijを垂直方向（下
から上へ）に順次計算する。相関値ｒijがしきい値以上
であれば路側帯候補領域（Ｚin）として抽出し、垂直方
向のズレ量を横位置とズレ量に対応する表に格納する。
なお、格納の方法は、後記図１０で説明する方法と同様
に、例えば「所定の数値＋距離値」を横位置とズレ量に
対応する位置に格納する。
【００４１】次に、ステップＳ１０７では、自車線の路
側帯か否かの判断を行なう。すなわち、最初に抽出した
路側帯候補領域Ｚi0と検出した白線（自車線の白線）の
距離が等しければＺi0を自車線の路側帯と判断する。等
しくない場合は、次の白線検出領域に移る。上記の自車
線の路側帯と判断された領域については、横位置とズレ
量（Ｚi0の値）に対応する表の該当する領域に“１”を
格納する。すなわち、上記「所定の数値＋距離値」を
“１”に変換する（ステップＳ１０８）。このような操
作を検出した白線の領域に対して全て行ない、路側帯領
域を特定する。図１４において“１”が記入されている
領域が上記に相当する。なお、図１４において“１”以
外の数値に関しては第２の実施例で説明する。
側帯か否かの判断を行なう。すなわち、最初に抽出した
路側帯候補領域Ｚi0と検出した白線（自車線の白線）の
距離が等しければＺi0を自車線の路側帯と判断する。等
しくない場合は、次の白線検出領域に移る。上記の自車
線の路側帯と判断された領域については、横位置とズレ
量（Ｚi0の値）に対応する表の該当する領域に“１”を
格納する。すなわち、上記「所定の数値＋距離値」を
“１”に変換する（ステップＳ１０８）。このような操
作を検出した白線の領域に対して全て行ない、路側帯領
域を特定する。図１４において“１”が記入されている
領域が上記に相当する。なお、図１４において“１”以
外の数値に関しては第２の実施例で説明する。
【００４２】自車線の路側帯の位置は表に“１”が格納
されている位置に対応する領域内でエッジを検出すれば
良いことになる。検出したエッジに対応する距離画像か
ら前記（数１）式を用いて、実空間上の位置を求めるこ
とができる。さらに、その位置情報から最小二乗法や重
回帰分析等を用いれば路側帯のモデル式を求めることが
できる（ステップＳ１０９）。
されている位置に対応する領域内でエッジを検出すれば
良いことになる。検出したエッジに対応する距離画像か
ら前記（数１）式を用いて、実空間上の位置を求めるこ
とができる。さらに、その位置情報から最小二乗法や重
回帰分析等を用いれば路側帯のモデル式を求めることが
できる（ステップＳ１０９）。
【００４３】なお、ステレオ画像の代わりに、二次元の
スキャニング・レーザレーダを用いた場合には、図８の
ステップＳ１０１で輝度画像と距離画像を入力し、ステ
ップＳ１０２〜Ｓ１０４を省略し、ステップＳ１０５以
降の処理を実行すればよいことになる。
スキャニング・レーザレーダを用いた場合には、図８の
ステップＳ１０１で輝度画像と距離画像を入力し、ステ
ップＳ１０２〜Ｓ１０４を省略し、ステップＳ１０５以
降の処理を実行すればよいことになる。
【００４４】次に、図９は第２の実施例の処理を示すフ
ローチャートである。自車の位置によっては、最初に抽
出した路側帯候補領域が路側帯であるとは限らず、さら
に抽出した路側帯候補領域も複数存在することが多い。
そのため図９の実施例では、で抽出した路側帯候補領域
（Ｚin）を、隣接の白線、隣接車線の路側帯、その他の
白線、その他の路側帯、または物体に、それぞれ区別し
て判断する処理を設けたものである。
ローチャートである。自車の位置によっては、最初に抽
出した路側帯候補領域が路側帯であるとは限らず、さら
に抽出した路側帯候補領域も複数存在することが多い。
そのため図９の実施例では、で抽出した路側帯候補領域
（Ｚin）を、隣接の白線、隣接車線の路側帯、その他の
白線、その他の路側帯、または物体に、それぞれ区別し
て判断する処理を設けたものである。
【００４５】図９において、ステップＳ１００〜ステッ
プＳ１０７は図８と同様である。ステップＳ１０７で自
車線の路側帯が存在しないと判断した場合は、ステップ
Ｓ１０８へ行く。このステップでは、Ｚi0から順に検出
した白線の距離との比較と、道路面に存在するか否かを
調べることにより、Ｚinを白線候補と路側帯・物体候補
とに分類する。そしてステップＳ１０９では、上記の分
類に応じた値を横位置とズレ量に対応する表（図１０）
に格納する。すなわち、Ｚinの距離が検出した白線より
も遠くにあり、道路面と同じ高さにある場合には白線候
補領域とし、図１０の表に“２００＋距離値（０〜９
９）”の値を格納する。道路面よりも高い位置にある場
合には路側帯・物体候補領域として、図１０の表に“４
００＋距離値（０〜９９）”の値を格納する。このよう
な操作を検出した白線の領域に対して全て行ない、図１
０に示すような白線候補と路側帯・物体候補を求める。
なお、図１０において、数字の“０”はエッジが存在し
ない領域を示し、“２４０”等の先頭数字（百の桁）が
“２”であるものは、上記のように白線候補を示し、
“４４０”のように先頭数字が“４”のものは路側帯・
物体候補を示す。下２桁は距離値（単位はｍ）を示す。
また、図１０において、縦軸は自車線の白線からのズレ
量を示すので、表の上部ほど白線に近く、下に行くにし
たがって自車線の白線から離れていることを示す。
プＳ１０７は図８と同様である。ステップＳ１０７で自
車線の路側帯が存在しないと判断した場合は、ステップ
Ｓ１０８へ行く。このステップでは、Ｚi0から順に検出
した白線の距離との比較と、道路面に存在するか否かを
調べることにより、Ｚinを白線候補と路側帯・物体候補
とに分類する。そしてステップＳ１０９では、上記の分
類に応じた値を横位置とズレ量に対応する表（図１０）
に格納する。すなわち、Ｚinの距離が検出した白線より
も遠くにあり、道路面と同じ高さにある場合には白線候
補領域とし、図１０の表に“２００＋距離値（０〜９
９）”の値を格納する。道路面よりも高い位置にある場
合には路側帯・物体候補領域として、図１０の表に“４
００＋距離値（０〜９９）”の値を格納する。このよう
な操作を検出した白線の領域に対して全て行ない、図１
０に示すような白線候補と路側帯・物体候補を求める。
なお、図１０において、数字の“０”はエッジが存在し
ない領域を示し、“２４０”等の先頭数字（百の桁）が
“２”であるものは、上記のように白線候補を示し、
“４４０”のように先頭数字が“４”のものは路側帯・
物体候補を示す。下２桁は距離値（単位はｍ）を示す。
また、図１０において、縦軸は自車線の白線からのズレ
量を示すので、表の上部ほど白線に近く、下に行くにし
たがって自車線の白線から離れていることを示す。
【００４６】次に、ステップＳ１１０では白線の判断を
行なう。図１１（図１０と同じ表）に示すように、白線
は、“２００＋距離値（０〜９９）”と格納された箇所
が横位置に連続的に存在するか否かで判断する。この連
続性の調査は、図１２に示すように画像処理で一般的な
画像の境界を折れ線で示すチェーンコードの手法を用い
る。
行なう。図１１（図１０と同じ表）に示すように、白線
は、“２００＋距離値（０〜９９）”と格納された箇所
が横位置に連続的に存在するか否かで判断する。この連
続性の調査は、図１２に示すように画像処理で一般的な
画像の境界を折れ線で示すチェーンコードの手法を用い
る。
【００４７】図１２（Ａ）はチェーンコードの方向に対
応する数値を示すものであり、図１２（Ｂ）はチェーン
コードの一例を示す図である。（Ｂ）に示す図形につい
て始点から走査を開始して、１区画ごとの方向を（Ａ）
の数値に当て嵌めると、一例として図示のように、「77
010075654453243221」のチェーンコードが得られる。線
の長さＬは、下記（数５）式で示される。 Ｌ＝ｎe＋ｎ0√２ …（数５） ただし、ｎe：偶数 ｎ0：奇数 上記のチェーンコードの例では、偶数が１０個、奇数が
１０個であるから、 Ｌ＝１０＋１０√２≒２４.１４ となる。
応する数値を示すものであり、図１２（Ｂ）はチェーン
コードの一例を示す図である。（Ｂ）に示す図形につい
て始点から走査を開始して、１区画ごとの方向を（Ａ）
の数値に当て嵌めると、一例として図示のように、「77
010075654453243221」のチェーンコードが得られる。線
の長さＬは、下記（数５）式で示される。 Ｌ＝ｎe＋ｎ0√２ …（数５） ただし、ｎe：偶数 ｎ0：奇数 上記のチェーンコードの例では、偶数が１０個、奇数が
１０個であるから、 Ｌ＝１０＋１０√２≒２４.１４ となる。
【００４８】上記のチェーンコードから得られた線の長
さＬが所定のしきい値よりも大きければ、白線候補と
し、表の値はそのままとする。小さければ物体候補とし
て“２００＋距離値（０〜９９）”を“６”に変更す
る。さらに、白線候補は表の上側のもの、つまり自車線
の白線とのズレ量が最も小さいものを隣接車線の白線と
し、表の値はそのままとする。それ以外のものをその他
の白線として“２００＋距離値（０〜９９）”を“３”
に変更する。
さＬが所定のしきい値よりも大きければ、白線候補と
し、表の値はそのままとする。小さければ物体候補とし
て“２００＋距離値（０〜９９）”を“６”に変更す
る。さらに、白線候補は表の上側のもの、つまり自車線
の白線とのズレ量が最も小さいものを隣接車線の白線と
し、表の値はそのままとする。それ以外のものをその他
の白線として“２００＋距離値（０〜９９）”を“３”
に変更する。
【００４９】次に、図９のステップＳ１１１では路側帯
の判断を行なう。まず、図１３に示すように隣接車線の
路側帯の判断を行なう。この判断は隣接車線の白線との
距離がほぼ等しいか否かで判断する。すなわち、隣接車
線の白線が検出されているならば、表中の“２００＋距
離値（０〜９９）”とその下にある最初の路側帯・物体
候補“４００＋距離値（０〜９９）”の距離値を比較
し、ほぼ等しければ隣接車線の路側帯と判断して“４０
０＋距離値（０〜９９）”を“４”に変更し、それに対
応する隣接車線の値を“２００＋距離値（０〜９９）”
から“２”に変更する。
の判断を行なう。まず、図１３に示すように隣接車線の
路側帯の判断を行なう。この判断は隣接車線の白線との
距離がほぼ等しいか否かで判断する。すなわち、隣接車
線の白線が検出されているならば、表中の“２００＋距
離値（０〜９９）”とその下にある最初の路側帯・物体
候補“４００＋距離値（０〜９９）”の距離値を比較
し、ほぼ等しければ隣接車線の路側帯と判断して“４０
０＋距離値（０〜９９）”を“４”に変更し、それに対
応する隣接車線の値を“２００＋距離値（０〜９９）”
から“２”に変更する。
【００５０】等しくない場合は、図１４に示すように、
その他の路側帯の判断を行なう。その他の路側帯は、
“４００＋距離値（０〜９９）”と格納された箇所が白
線同様に横位置に対して連続的に存在するか否かで判断
する。前記と同様に、チェーンコードがしきい値よりも
大きければ、その他の路側帯として“４００＋距離値
（０〜９９）”を“５”に変更し、小さければ物体候補
として“４００＋距離値（０〜９９）”を“６”に変更
する。このような処理を表中の“２００＋距離値（０〜
９９）”及び“４００＋距離値（０〜９９）”の値が全
てなくなるまで行なう。
その他の路側帯の判断を行なう。その他の路側帯は、
“４００＋距離値（０〜９９）”と格納された箇所が白
線同様に横位置に対して連続的に存在するか否かで判断
する。前記と同様に、チェーンコードがしきい値よりも
大きければ、その他の路側帯として“４００＋距離値
（０〜９９）”を“５”に変更し、小さければ物体候補
として“４００＋距離値（０〜９９）”を“６”に変更
する。このような処理を表中の“２００＋距離値（０〜
９９）”及び“４００＋距離値（０〜９９）”の値が全
てなくなるまで行なう。
【００５１】上記の処理および前記第１の実施例で説明
した内容により、図１４に示すように、０、１、２、
３、４、５、６の数字によって検出対象が分類された表
が作られる。上記数値の意味を纏めると下記のようにな
る。 ０：白線、路側帯、物体が何も検出されなかった領域 １：自車線の路側帯 ２：隣接車線の白線 ３：その他の白線 ４：隣接車線の路側帯 ５：その他の路側帯 ６：白線や路側帯以外の物体（他の車両等） なお、自車線の白線は、自車両の正面から左右方向に最
も近い白線を自車線の白線とする。
した内容により、図１４に示すように、０、１、２、
３、４、５、６の数字によって検出対象が分類された表
が作られる。上記数値の意味を纏めると下記のようにな
る。 ０：白線、路側帯、物体が何も検出されなかった領域 １：自車線の路側帯 ２：隣接車線の白線 ３：その他の白線 ４：隣接車線の路側帯 ５：その他の路側帯 ６：白線や路側帯以外の物体（他の車両等） なお、自車線の白線は、自車両の正面から左右方向に最
も近い白線を自車線の白線とする。
【００５２】また、白線や路側帯の位置は自車線の路側
帯の位置を求めるときと同様に、図１４の表に“２”、
“３”、“４”、“５”が格納されている位置に対応す
る領域内でエッジを検出する。そして対応する距離画像
から（数１）式を用いて実空間上の位置を求める。また
位置情報から最小二乗法や重回帰分析等を用いることに
よって白線・路側帯のモデル式を求めることができる
（図９のステップＳ１１２）。
帯の位置を求めるときと同様に、図１４の表に“２”、
“３”、“４”、“５”が格納されている位置に対応す
る領域内でエッジを検出する。そして対応する距離画像
から（数１）式を用いて実空間上の位置を求める。また
位置情報から最小二乗法や重回帰分析等を用いることに
よって白線・路側帯のモデル式を求めることができる
（図９のステップＳ１１２）。
【００５３】次に、図９のステップＳ１１３では、物体
の判断を行なう。物体の判断は、表に“６”が格納され
ている位置に対応する距離画像を調べ、隣接する領域に
同じような距離のかたまりが存在するならば、物体と判
断し、存在しなければ、画像上のノイズと判断する。
の判断を行なう。物体の判断は、表に“６”が格納され
ている位置に対応する距離画像を調べ、隣接する領域に
同じような距離のかたまりが存在するならば、物体と判
断し、存在しなければ、画像上のノイズと判断する。
【００５４】なお、これまでの説明で、図５〜図７に示
した画像の例と図１０〜図１４の表とは対応するもので
はなく、それぞれの一例を示したものである。
した画像の例と図１０〜図１４の表とは対応するもので
はなく、それぞれの一例を示したものである。
【図１】本発明の一実施の形態の構成を示すブロック
図。
図。
【図２】ステレオ画像を用いて三角測量の原理でカメラ
から障害物までの距離を求める原理を説明する図。
から障害物までの距離を求める原理を説明する図。
【図３】左右の２つの画像間でのマッチング位置を求め
る状態を示す図であり、（Ａ）は左画像を複数の小領域
に分割した状態を示す図、（Ｂ）は右画像を示す図、
（Ｃ）は視差の値が同じ領域のかたまりを抜き出した
図。
る状態を示す図であり、（Ａ）は左画像を複数の小領域
に分割した状態を示す図、（Ｂ）は右画像を示す図、
（Ｃ）は視差の値が同じ領域のかたまりを抜き出した
図。
【図４】道路面上の白線とその輝度およびエッジを示す
図であり、（Ａ）は路上を撮像した画像、（Ｂ）は輝度
信号の変化を示す図、（Ｃ）はエッジ強度を示す図。
図であり、（Ａ）は路上を撮像した画像、（Ｂ）は輝度
信号の変化を示す図、（Ｃ）はエッジ強度を示す図。
【図５】路側帯候補領域の抽出方法を説明する図。
【図６】自車線の路側帯以外の白線や路側帯等を検出す
る方法を説明する図。
る方法を説明する図。
【図７】隣接車線の白線を検出する方法を説明する図。
【図８】第１の実施例における処理の流れを示すフロー
チャート。
チャート。
【図９】第２の実施例における処理の流れを示すフロー
チャート。
チャート。
【図１０】横位置×白線からのズレ量の表への格納状態
を示す図。
を示す図。
【図１１】横位置×白線からのズレ量の表に基づいて自
車線以外の白線を検出する方法を説明する図。
車線以外の白線を検出する方法を説明する図。
【図１２】線の長さを求める際に用いるチェーンコード
を説明する図。
を説明する図。
【図１３】横位置×白線からのズレ量の表に基づいて隣
接車線の路側帯を検出する方法を説明する図。
接車線の路側帯を検出する方法を説明する図。
【図１４】横位置×白線からのズレ量の表に基づいて路
側帯と他の物体とを判別する方法を説明する図。
側帯と他の物体とを判別する方法を説明する図。
１、２…電子式のカメラ ３、４…画像メモリ ５…演算部 ６…先行車
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０８Ｇ 1/16 Ｇ０６Ｆ 15/70 ３３０Ｇ Ｆターム(参考） 2F065 AA00 AA04 AA06 AA12 AA20 AA56 BB05 BB13 CC11 CC40 FF05 FF09 FF11 JJ03 JJ05 JJ08 JJ19 JJ26 MM11 PP01 QQ00 QQ03 QQ13 QQ17 QQ18 QQ23 QQ24 QQ25 QQ26 QQ27 QQ29 QQ36 QQ38 QQ41 2F112 AC06 BA20 CA05 FA03 FA07 FA21 FA27 FA35 FA36 FA38 FA41 FA45 5B057 AA16 BA02 CA08 CA13 CA16 CC01 DA12 DB02 DB09 DC03 DC17 5H180 AA01 CC03 CC14 CC24 LL01 LL04 5L096 AA03 AA06 AA09 BA04 CA05 DA03 EA25 EA35 FA06 FA64 FA66 JA11 JA18
Claims (5)
- 【請求項１】車両前方の画像を輝度に対応した輝度画像
と自車両からの距離に対応した距離画像とに変換する輝
度・距離画像検出手段と、 前記輝度画像に基づいて車両前方の路面上の白線を検出
する白線検出手段と、 前記画像を複数の領域に分割し、前記白線より上の各領
域のエッジ成分と前記白線のエッジ成分との傾きに対応
した相関値を画面の垂直方向に順次求め、前記相関値が
所定のしきい値以上の領域を路側帯候補領域とする路側
帯候補領域抽出手段と、 前記距離画像に基づいて前記路側帯候補領域が路側帯で
あるか否かを判断する判断手段と、 を備えたことを特徴とする障害物検出装置。 - 【請求項２】前記判断手段は、前記白線までの距離と前
記路側帯候補領域までの距離がほぼ等しければ、前記路
側帯候補領域を自車線の路側帯であると判断することを
特徴とする請求項１に記載の障害物検出装置。 - 【請求項３】前記判断手段は、前記路側帯候補領域が前
記白線よりも遠くにあり、連続的に存在し、かつ道路面
上に存在するならば、前記路側帯候補領域を隣接車線の
白線であると判断することを特徴とする請求項１または
請求項２に記載の障害物検出装置。 - 【請求項４】前記判断手段は、隣接車線の白線と判断さ
れた路側帯候補領域の次に抽出された路側帯候補領域の
距離が前記隣接車線の白線の距離にほぼ等しいならば、
前記次に抽出された路側帯候補領域を隣接車線の路側帯
であると判断することを特徴とする請求項１乃至請求項
３の何れかに記載の障害物検出装置。 - 【請求項５】前記判断手段は、抽出した路側帯候補領域
の距離が前記白線の距離よりも遠くにあり、連続的に存
在し、かつ道路面より高い位置に存在するならば、前記
路側帯候補領域をその他の路側帯であると判断し、 抽出した路側帯候補領域の距離が前記白線の距離よりも
遠くにあり、連続的に存在し、かつ道路面上に存在する
ならば、前記路側帯候補領域をその他の白線であると判
断し、 抽出した路側帯候補領域の距離が前記白線の距離よりも
遠くにあり、道路面より高い位置に存在し、かつ連続的
には存在していないならば、前記路側帯候補領域をその
他の物体であると判断する、ことを特徴とする請求項１
乃至請求項４の何れかに記載の障害物検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13881399A JP3633368B2 (ja) | 1999-05-19 | 1999-05-19 | 障害物検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13881399A JP3633368B2 (ja) | 1999-05-19 | 1999-05-19 | 障害物検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000331148A true JP2000331148A (ja) | 2000-11-30 |
| JP3633368B2 JP3633368B2 (ja) | 2005-03-30 |
Family
ID=15230853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13881399A Expired - Fee Related JP3633368B2 (ja) | 1999-05-19 | 1999-05-19 | 障害物検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3633368B2 (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5990718A (ja) * | 1982-11-15 | 1984-05-25 | Mitsubishi Electric Corp | エンジンの吸気弁制御装置 |
| JP2005222538A (ja) * | 2004-01-26 | 2005-08-18 | Ibeo Automobile Sensor Gmbh | 車道上のマークの認識方法 |
| JP2007028279A (ja) * | 2005-07-19 | 2007-02-01 | Honda Motor Co Ltd | 車両及び路面標示認識装置 |
| WO2010032523A1 (ja) * | 2008-09-17 | 2010-03-25 | 株式会社 日立製作所 | 道路境界検出判断装置 |
| WO2010044127A1 (ja) * | 2008-10-16 | 2010-04-22 | 三菱電機株式会社 | 車外障害物高度検出装置 |
| US20120001769A1 (en) * | 2010-07-05 | 2012-01-05 | Denso Corporation | Roadside detection system, driver assistance system and roadside detecting method |
| WO2012148025A1 (ko) * | 2011-04-28 | 2012-11-01 | (주) 에투시스템 | 복수의 카메라를 이용한 3차원 물체 검출장치 및 방법 |
| JP2013114421A (ja) * | 2011-11-28 | 2013-06-10 | Toyota Motor Corp | 車両用制御装置、特定物体判別装置、特定物体判別方法、特定物体判別プログラム |
| EP2669844A2 (en) | 2012-05-31 | 2013-12-04 | Ricoh Company, Ltd. | Level Difference Recognition System Installed in Vehicle and Recognition Method executed by the Level Difference Recognition System |
| JP2014052977A (ja) * | 2012-09-10 | 2014-03-20 | Nippon Telegr & Teleph Corp <Ntt> | 対応付け装置及びコンピュータプログラム |
| EP2803944A2 (en) | 2013-05-14 | 2014-11-19 | Ricoh Company, Ltd. | Image Processing Apparatus, Distance Measurement Apparatus, Vehicle-Device Control System, Vehicle, and Image Processing Program |
| JP2017502409A (ja) * | 2013-12-17 | 2017-01-19 | ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー | 地面のマークを検出する方法、運転支援装置、及び自動車 |
| JP2017139631A (ja) * | 2016-02-04 | 2017-08-10 | 日立オートモティブシステムズ株式会社 | 撮像装置 |
| CN112581484A (zh) * | 2019-09-29 | 2021-03-30 | 比亚迪股份有限公司 | 崎岖路面检测方法、装置、存储介质、电子设备和车辆 |
| WO2021171776A1 (ja) * | 2020-02-25 | 2021-09-02 | 日立Astemo株式会社 | 処理装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06266828A (ja) * | 1993-03-12 | 1994-09-22 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
| JPH07334800A (ja) * | 1994-06-06 | 1995-12-22 | Matsushita Electric Ind Co Ltd | 車両認識装置 |
| JPH10283461A (ja) * | 1997-04-04 | 1998-10-23 | Fuji Heavy Ind Ltd | 車外監視装置 |
| JPH1114346A (ja) * | 1997-06-19 | 1999-01-22 | Nissan Motor Co Ltd | 車両用障害物検出装置 |
-
1999
- 1999-05-19 JP JP13881399A patent/JP3633368B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06266828A (ja) * | 1993-03-12 | 1994-09-22 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
| JPH07334800A (ja) * | 1994-06-06 | 1995-12-22 | Matsushita Electric Ind Co Ltd | 車両認識装置 |
| JPH10283461A (ja) * | 1997-04-04 | 1998-10-23 | Fuji Heavy Ind Ltd | 車外監視装置 |
| JPH1114346A (ja) * | 1997-06-19 | 1999-01-22 | Nissan Motor Co Ltd | 車両用障害物検出装置 |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5990718A (ja) * | 1982-11-15 | 1984-05-25 | Mitsubishi Electric Corp | エンジンの吸気弁制御装置 |
| JP2005222538A (ja) * | 2004-01-26 | 2005-08-18 | Ibeo Automobile Sensor Gmbh | 車道上のマークの認識方法 |
| JP2007028279A (ja) * | 2005-07-19 | 2007-02-01 | Honda Motor Co Ltd | 車両及び路面標示認識装置 |
| JP4556133B2 (ja) * | 2005-07-19 | 2010-10-06 | 本田技研工業株式会社 | 車両 |
| US8411900B2 (en) | 2008-09-17 | 2013-04-02 | Hitachi Automotive Systems, Ltd. | Device for detecting/judging road boundary |
| WO2010032523A1 (ja) * | 2008-09-17 | 2010-03-25 | 株式会社 日立製作所 | 道路境界検出判断装置 |
| JP2010072807A (ja) * | 2008-09-17 | 2010-04-02 | Hitachi Ltd | 道路境界検出判断装置 |
| WO2010044127A1 (ja) * | 2008-10-16 | 2010-04-22 | 三菱電機株式会社 | 車外障害物高度検出装置 |
| JP2012032378A (ja) * | 2010-07-05 | 2012-02-16 | Denso Corp | 道路端検出装置、運転者支援装置、および道路端検出方法 |
| US8970397B2 (en) | 2010-07-05 | 2015-03-03 | Denso Corporation | Roadside detection system, driver assistance system and roadside detecting method |
| US20120001769A1 (en) * | 2010-07-05 | 2012-01-05 | Denso Corporation | Roadside detection system, driver assistance system and roadside detecting method |
| WO2012148025A1 (ko) * | 2011-04-28 | 2012-11-01 | (주) 에투시스템 | 복수의 카메라를 이용한 3차원 물체 검출장치 및 방법 |
| JP2013114421A (ja) * | 2011-11-28 | 2013-06-10 | Toyota Motor Corp | 車両用制御装置、特定物体判別装置、特定物体判別方法、特定物体判別プログラム |
| EP2669844A2 (en) | 2012-05-31 | 2013-12-04 | Ricoh Company, Ltd. | Level Difference Recognition System Installed in Vehicle and Recognition Method executed by the Level Difference Recognition System |
| JP2014006885A (ja) * | 2012-05-31 | 2014-01-16 | Ricoh Co Ltd | 段差認識装置、段差認識方法及び段差認識用プログラム |
| EP2669844A3 (en) * | 2012-05-31 | 2014-11-05 | Ricoh Company, Ltd. | Level Difference Recognition System Installed in Vehicle and Recognition Method executed by the Level Difference Recognition System |
| JP2014052977A (ja) * | 2012-09-10 | 2014-03-20 | Nippon Telegr & Teleph Corp <Ntt> | 対応付け装置及びコンピュータプログラム |
| JP2014222429A (ja) * | 2013-05-14 | 2014-11-27 | 株式会社リコー | 画像処理装置、距離測定装置、移動体機器制御システム、移動体及び画像処理用プログラム |
| EP2803944A2 (en) | 2013-05-14 | 2014-11-19 | Ricoh Company, Ltd. | Image Processing Apparatus, Distance Measurement Apparatus, Vehicle-Device Control System, Vehicle, and Image Processing Program |
| EP2803944A3 (en) * | 2013-05-14 | 2015-04-29 | Ricoh Company, Ltd. | Image Processing Apparatus, Distance Measurement Apparatus, Vehicle-Device Control System, Vehicle, and Image Processing Program |
| JP2017502409A (ja) * | 2013-12-17 | 2017-01-19 | ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー | 地面のマークを検出する方法、運転支援装置、及び自動車 |
| JP2017139631A (ja) * | 2016-02-04 | 2017-08-10 | 日立オートモティブシステムズ株式会社 | 撮像装置 |
| WO2017134982A1 (ja) * | 2016-02-04 | 2017-08-10 | 日立オートモティブシステムズ株式会社 | 撮像装置 |
| US11650052B2 (en) | 2016-02-04 | 2023-05-16 | Hitachi Astemo, Ltd. | Imaging device |
| CN112581484A (zh) * | 2019-09-29 | 2021-03-30 | 比亚迪股份有限公司 | 崎岖路面检测方法、装置、存储介质、电子设备和车辆 |
| WO2021171776A1 (ja) * | 2020-02-25 | 2021-09-02 | 日立Astemo株式会社 | 処理装置 |
| JP2021135596A (ja) * | 2020-02-25 | 2021-09-13 | 日立Astemo株式会社 | 処理装置 |
| JP7225149B2 (ja) | 2020-02-25 | 2023-02-20 | 日立Astemo株式会社 | 処理装置 |
| US11881034B2 (en) | 2020-02-25 | 2024-01-23 | Hitachi Astemo, Ltd. | Processing device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3633368B2 (ja) | 2005-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6550881B2 (ja) | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム | |
| JP6519262B2 (ja) | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム | |
| US7769227B2 (en) | Object detector | |
| US10643091B2 (en) | Automatic feature point detection for calibration of multi-camera systems | |
| US7091837B2 (en) | Obstacle detecting apparatus and method | |
| JP5127182B2 (ja) | 物体検出装置 | |
| JP4930046B2 (ja) | 路面判別方法および路面判別装置 | |
| US20040057599A1 (en) | Image processing apparatus and method | |
| EP1780675A1 (en) | Object detector | |
| JP3633368B2 (ja) | 障害物検出装置 | |
| JP2001092970A (ja) | 車線認識装置 | |
| JP2000357233A (ja) | 物体認識装置 | |
| JPH07129898A (ja) | 障害物検出装置 | |
| JP2003098424A (ja) | 画像処理測距装置 | |
| JP3729025B2 (ja) | 歩行者検知装置 | |
| JP2003099762A (ja) | 前方車両認識装置及び認識方法 | |
| JP2001052171A (ja) | 周囲環境認識装置 | |
| JP2008262333A (ja) | 路面判別装置および路面判別方法 | |
| KR20120098292A (ko) | 차선 검출 방법 | |
| JPH11345392A (ja) | 障害物検出装置及び障害物検出方法 | |
| JPH11345336A (ja) | 障害物検出装置 | |
| JPH07244717A (ja) | 車両用走行環境認識装置 | |
| JP2001116513A (ja) | 距離画像算出装置 | |
| JPH07294251A (ja) | 障害物検出装置 | |
| JP2010250651A (ja) | 車両検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041220 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090107 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100107 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110107 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120107 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130107 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130107 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |