JP2003202207A - 車載用操舵角算出装置及び白線検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 単一の撮像素子で白線が細く縮小されること
なく広視野の景色が撮像できてより正確且つ適切な操舵
角が算出できる車載用操舵角算出装置を提供する。 【解決手段】 この車載用操舵角算出装置１は、カラー
撮像素子７と、各々道路車線を含む複数方向の景色から
の入射光２３Ｌ，２３Ｒ，２３Ｆを撮像素子７上に重畳
結像させる光学系９，１１，１５，１９と、各入射光２
３Ｌ，２３Ｒ，２３Ｆの光路上に介装され、各入射光２
３Ｌ，２３Ｒ，２３Ｆから互いに異なる色の光成分を抽
出して撮像素子７に結像させるカラーフィルタ１３，１
７段と、撮像素子７で重畳撮像された複数方向の各景色
の画像を各色の画像成分に応じて区別し、個別に各景色
の画像に映る道路車線の白線部分を抽出する白線抽出部
４と、白線抽出部４の抽出結果に基づき自車と白線との
間隔を検出し、該間隔に応じて自車の操舵角を算出する
操舵角演算部６とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像した画像に映
る道路車線の白線部分に基づき操舵角を算出する車載用
操舵角算出装置及びこの車載用操舵角演算装置に用いら
れる白線検出装置に関する。

【０００２】

【従来の技術】この種の車載用操舵角算出装置は、例え
ば道路車線の白線に沿って車両を自動走行させる白線追
尾の技術に用いられる。

【０００３】従来の車載用操舵角算出装置は、車両の例
えば前部に設置された撮像カメラにより車両の前方景色
だけを撮像し、撮像した画像に映る道路車線の白線部分
（白線画像）に基づき自車と白線との間隔を検出し、検
出した間隔に応じて操舵角を算出している。

【０００４】

【発明が解決しようとする課題】適切な操舵角を算出す
るには、正確な自車と白線との間隔に基づき、且つ遠方
の白線形状を考慮して操舵角を算出する必要がある。特
に、正確に自車と白線との間隔を検出するには、遠方の
白線画像よりも自車の前方直近の白線画像に基づき自車
と白線との間隔を検出する必要がある。従来の車載用操
舵角算出装置の撮像カメラは広視野のものではない為、
前方景色の画像に映る白線の範囲は、遠方側の範囲しか
映らず前方直近の範囲までは映らなかった。その為、従
来の車載用操舵角算出装置では、あまり正確に自車と白
線との間隔が検出できず、操舵角もあまり正確且つ適切
に算出できなかった。

【０００５】この問題を解決する技術として、次の２つ
の技術が提案されている。

【０００６】１つは、前方景色を撮像する撮像カメラの
他に、更に前方直近の左右側景色を撮像する撮像カメラ
を設置し、これら複数の撮像カメラで同時に前方景色と
前方直近の左右側景色とを撮像し、これら画像に映る白
線画像に基づき自車と白線との間隔を算出するものであ
る。しかしながら、この技術では、複数の撮像カメラを
必要とし、撮像カメラの設置スペースの確保やコストが
かかる欠点がある。

【０００７】もう１つは、前方景色を撮像する撮像カメ
ラとして広視野の撮像カメラを用いることで、前方直近
の左右側景色まで撮像できるようにし、その画像に映る
白線画像に基づき自車と白線との間隔を算出するもので
ある。しかしながら、この技術では、撮像面に広視野の
景色が押し込まれて撮像される為、撮像画像が縮小され
て白線画像が細くなり、白線が検出され損なう（見落と
される）可能性が大きくなる欠点がある。

【０００８】そこで、本発明の課題は、単一の撮像素子
により白線画像が細く縮小されることなく広視野の景色
が撮像でき、この撮像した画像に映る白線画像に基づ
き、より正確且つ適切な操舵角が算出できる車載用操舵
角算出装置を提供すること、及びその車載用操舵角算出
装置に用いられる白線検出装置を提供することにある。

【０００９】

【課題を解決するための手段】上記課題を解決するため
には、請求項１に記載の白線検出装置は、カラー撮像を
行う単一の撮像素子と、各々道路車線を含む複数方向の
景色からの入射光を前記撮像素子に重畳して結像させる
光学系と、前記各入射光の光路上に介装され、前記各入
射光から互いに異なる色の光成分を抽出して前記撮像素
子に結像させることで、前記複数方向の各景色を前記各
色の画像成分として撮像させる光成分抽出手段と、前記
撮像素子で撮像された前記複数方向の各景色の画像を前
記各色の画像成分に基づいて区別し、個別に各景色の画
像に映る前記道路車線の白線部分を抽出する白線抽出手
段と、を備えるものである。

【００１０】請求項２に記載の白線検出装置は、前記複
数方向の景色は、自車の前方景色と左右側景色とである
ものである。

【００１１】請求項３に記載の白線検出装置は、前記光
成分抽出手段は、ダイクロイックフィルタ又はカラーフ
ィルタにより構成されるものである。

【００１２】請求項４に記載の車載用操舵角算出装置
は、請求項１乃至請求項３の何れかに記載の白線検出装
置と、前記白線検出装置の前記白線抽出手段の抽出結果
に基づき自車と道路車線の白線との間隔を検出し、該間
隔に応じて自車の操舵角を算出する操舵角演算手段と、
を備えるものである。

【００１３】請求項５に記載の車載用操舵角算出装置
は、前記複数方向の景色は自車の前方景色と左右側景色
とを含み、前記操舵角演算手段は、前記前方景色の画像
に基づき検出した自車と白線との間隔と前記左右側景色
の画像に基づき検出した自車と前記白線との間隔との差
違量を検出し、該差違量に応じて前記白線の曲がり具合
を判断し、該判断結果を考慮して操舵角を算出するもの
である。

【００１４】

【発明の実施の形態】図１は、本発明の実施の形態に係
る車載用操舵角算出装置の側面視の模式図であり、図２
は、図１の撮像カメラ部分の平面視の模式図である。

【００１５】この実施の形態に係る車載用操舵角算出装
置１は、図１及び図２に示す如く、例えば車両（以後自
車と称す）の前部に設置され、自車の走行する道路車線
が映る様にして例えば自車の前方景色及び前方直近の左
右側景色（以後左右側景色と称す）を同時に撮像する撮
像カメラ３と、撮像カメラ３で撮像された前方景色の画
像と左右側景色の画像との各画像から道路車線の白線部
分を抽出する白線抽出部４と、自車の車速を検出する車
速センサ５と、白線抽出部４の抽出結果と車速センサ５
の検出結果とに基づき自車の操舵角を算出する操舵角演
算部６とを備えて構成される。ここでは、撮像カメラ３
及び白線抽出部４により白線検出装置が構成されてい
る。

【００１６】撮像カメラ３は、後側から順に単一の撮像
素子７、撮像レンズ９、ハーフミラー１１、第１のカラ
ーフィルタ１３及びプリズム１５を配置して、左右側景
色からの入射光２３Ｌ，２３Ｒをプリズム１５により撮
像素子７側に光路変換して各要素１３，１１，９を介し
て撮像素子７に結像させると共に、ハーフミラー１１の
下側に順に第２のカラーフィルター１７及び反射ミラー
１９を配置して、前方景色からの入射光２３Ｆを各要素
１９，１７，１１，９を介して撮像素子７に結像させる
ように構成される。ここでは、撮像レンズ９、ハーフミ
ラー１１、プリズム１５及び反射ミラー１９により光学
系が構成される。

【００１７】プリズム１５は、二等辺三角柱状に形成さ
れ、その左右のプリズム側面１５Ｌ，１５Ｒが左右側景
色に向けられ、そのプリズム後面１５Ｂが撮像素子７に
向けられて配置される。

【００１８】撮像素子７は、その撮像面７ａの各画素に
同じ複数色（例えばＲＧＢの三原色）の色フィルタ（図
示省略）が配設されたカラー撮像素子として構成され
る。

【００１９】第１のカラーフィルタ１３は、例えば撮像
素子７に使用されるＧ色フィルタの分光透過特性と同じ
分光透過特性を有し、プリズム１５とハーフミラー１１
との間に介装される。これにより、プリズム１５からの
光２３Ｌ，２３Ｒのうち、Ｇ色の光成分だけが抽出され
て撮像素子７に結像される。

【００２０】第２のカラーフィルタ１７は、例えば撮像
素子７に使用されるＢ色フィルタ及びＲ色フィルタの各
分光透過特性を兼ね備えた分光透過特性を有し、反射ミ
ラー１９とハーフミラー１１との間に配置される。これ
により、反射ミラー１９からの光２３Ｆのうち、Ｂ色及
びＲ色の各光成分だけが抽出されて撮像素子７に結像さ
れる。

【００２１】即ち、この構成においては、左右側景色か
らの入射光２３Ｌ，２３Ｒはそれぞれ、左右のプリズム
側面１５Ｌ，１５Ｒを透過して反対側のプリズム側面１
５Ｒ，１５Ｌで内面反射してプリズム後面１５Ｂから出
射され、ともに第１のカラーフィルタ１３を透過してＧ
色の成分だけが抽出され、ハーフミラー１１を透過し撮
像レンズ９を介して、それぞれ撮像素子７の撮像面７ａ
の左半領域７Ｌ，右半領域７Ｒに結像する。即ち、左側
景色，右側景色は、それぞれ撮像面７ａの左半領域７
Ｌ，右半領域７Ｒにて、ともにＧ色の画像成分として撮
像される。一方、前方景色からの入射光２３Ｆは、反射
ミラー１９により第２のカラーフィルタ１７側に反射さ
れ、第２のカラーフィルタ１７を透過してＢ色及びＲ色
の各光成分だけが抽出されてハーフミラー１１に入射
し、ハーフミラー１１で撮像素子７側に反射され、撮像
レンズ９を介して撮像素子７の撮像面７ａの全領域（７
Ｌ及び７Ｒ）に結像する。即ち、前方景色は、撮像面７
ａの全領域にてＢ色及びＲ色の画像成分として撮像され
る。

【００２２】この様に、撮像面７ａの左半領域７Ｌに
て、左側景色及び前方景色の左半分がそれぞれＧ色の画
像成分及びＢ色及びＲ色の画像成分として同時に撮像さ
れると共に、撮像面７ａの右半領域７Ｒにて、右側景色
及び前方景色の右半分がそれぞれＧ色の画像成分及びＢ
色及びＲ色の画像成分として合成されて同時に撮像され
る。この左右側景色及び前方景色の重畳画像は、各色の
画像成分に基づいて分離されて白線抽出部４に出力さ
れ、白線抽出部４において各色の画像成分に応じて区別
され処理される。

【００２３】白線抽出部４は、撮像素子７にてＢ色及び
Ｒ色の画像成分として撮像された前方景色の画像に映る
道路車線の左右両側の白線部分を抽出して、前方景色の
画像に映る道路車線の左右両側の白線の位置を検出する
前方画像白線抽出部４ａと、撮像素子７にてＧ色の画像
成分として撮像された左右側景色の画像に映る道路車線
の左右各側の白線部分を抽出して、左右側景色の画像に
映る道路車線の左右各側の白線の位置を検出する左右画
像白線抽出部４ｂとを備えて構成される。

【００２４】なお、前方画像白線抽出部４ａで用いられ
るＢ色及びＲ色の画像成分の画像及び左右画像白線抽出
部４ｂで用いられるＧ色の画像成分の画像は、ＲＧＢの
各色信号の所定の信号レベル以下の部分がカットされ、
その所定の信号レベルを超える部分だけで生成されたも
のが用いられる。これにより、Ｂ色及びＲ色の画像成分
の画像（前方景色の画像）とＧ色の画像成分の画像（左
右側景色の画像）とが入り交じることが防止される。こ
れは、カラーフィルタ１３，１７の分光透過特性が、フ
ィルタ特性上、その裾の領域（即ち信号レベルの低い部
分に対応する領域）で互いに重なり合う分布特性を有し
ており、その分布特性に起因する画像の入り交じりを防
止するものである。

【００２５】なお、左右側景色及び前方側景色からの入
射光２３Ｌ，２３Ｒ，２３Ｆは、自然光であり単色光で
はないので、カラーフィルタ１３，１７を透過して光成
分が制限されても、画像の形や濃淡の情報は保持され
る。従って、Ｇ色の画像成分の画像及びＢ色及びＲ色の
画像成分の画像に映る道路車線の白線部分の抽出は十分
に行える。

【００２６】操舵角演算部６は、前方画像白線抽出部４
ａで検出された左右両側の白線の位置に基づき自車と道
路車線の左右両側の白線との両間隔（以後注目する側に
応じて「前方における自車・左（右）側白線間隔」と称
す）を検出すると共に、左右画像白線抽出部４ａで検出
された左右各側の白線の位置に基づき自車と左右各側の
白線との各間隔（以後それぞれ「直近左（右）側におけ
る自車・白線間隔」と称す）を検出する。画像に映る白
線部分から自車と白線との間隔を検出する具体法として
は、例えば、白線部分を直線で近似しその直線の画像上
の配置により自車と白線との間隔を判断するか、若しく
は、画像上に１本の水平（又は垂直）の基準線を設定
し、その基準線と白線部分との交点の位置により自車と
白線との間隔を判断する。ここでは、以下の操舵角の算
出法に備えて、各画像に映る白線部分が実際には直線形
状でなくても直線形状と見なして（即ち直線形状に近似
して）、前方における自車・左（右）側白線間隔及び直
近左（右）側における自車・白線間隔を検出するものと
する。

【００２７】そして、操舵角演算部６は、前方における
自車・左（右）側白線間隔が所定間隔より狭くなると
（即ち左（右）側白線に接近し過ぎると）、以下の様に
して操舵角の大きさを調整して操舵角を算出する。

【００２８】即ち、直近左（右）側における自車・白線
間隔と前方における自車・左（右）側白線間隔との差違
量（例えば前者から後者を引いた量）を算出し、算出し
た差違量が所定値未満の場合（即ち直近左（右）側にお
ける自車・白線間隔と前方における自車・左（右）側白
線間隔とがほぼ同じ間隔の場合）は、道路車線の左
（右）側の白線は直線状に延びていると判断し、この場
合は、直近左（右）側における自車・白線間隔を用い
て、且つ車速センサからの車速情報を考慮して操舵角を
算出する。例えば、直近左（右）側における自車・白線
間隔が狭いぼど右（左）側により大きく操舵する様に操
舵角を調整し、且つ車速センサから得られる車速が大き
いほど操舵角が大きくなり過ぎない様に操舵角を小さく
調整して算出する（具体的な算出法は、予め設定した演
算式又は対応表等を用いて算出する）。

【００２９】そして、算出した差違量が所定値以上の場
合（即ち直近左（右）側における自車・白線間隔は広い
が前方の自車・左（右）側白線間隔は狭い場合）は、道
路車線の左（右）側の白線は右（左）に曲がって延びて
いると判断し、且つ、算出した差違量が大きいほどより
大きく当該白線が右（左）に曲がっていると判断し、こ
の場合は、上記と同様に直近左（右）側における自車・
白線間隔を用いて且つ車速センサからの車速情報を考慮
すると共に、更に白線の右（左）側への曲がり具合を考
慮して操舵角を算出する。例えば、白線の右（左）側へ
の曲がりが大きいほど右（左）側により大きく操舵する
様に操舵角を更に調整する。

【００３０】即ち、ここでは、取り敢えず実際の白線は
直線形状である仮定として直近左（右）側における自車
・白線間隔及び前方における自車・左（右）側白線間隔
をそれぞれ検出し、仮定が正しければ双方の間隔はほぼ
一致すると考え、一致しなければ仮定は外れている（即
ち実際の白線は曲がっている）と考え且つ双方の間隔の
差違量が大きいほど実際の白線は大きく曲がっていると
考えている。

【００３１】そして、この様に算出された操舵角は、例
えば、自車の操舵装置に出力されてその操舵角に基づき
操舵される。これにより白線追尾される。

【００３２】以上のように構成された車載用操舵角算出
装置１によれば、カラーフィルタ１３，１７により、複
数方向の景色（ここでは左右側景色及び前方景色）から
の各入射光２３Ｌ，２３Ｒ，２３Ｆから互いに異なる色
の光成分が抽出されてカラー撮像の単一の撮像素子７に
重畳結像され、複数方向の各景色が各色の画像成分とし
て撮像される為、単一の撮像素子７により複数方向の景
色（即ち広視野の景色）が縮小されずに（従って白線部
分も縮小されずに）撮像でき、しかも、白線抽出部４
（４ａ，４ｂ）により、各色の画像成分に応じて複数方
向の各景色の画像が区別され、個別に各景色の画像に映
る道路車線の白線部分が抽出される為、混同すること無
く適切に複数方向の各景色の画像に映る白線部分が検出
できる。従って、単一の撮像素子７により広視野の景色
が撮像でき、しかも、白線画像が縮小されていない為、
見落とすことなく正確に広視野の景色に亘る白線部分が
検出できる。そして、操舵角演算部６により、その白線
検出部４の抽出結果に基づき自車と白線との間隔が検出
され、該間隔に応じて自車の操舵角が算出される為、広
視野の景色に亘る白線が考慮でき、より正確且つ適切な
操舵角が算出できるようになる。

【００３３】更に、複数方向の景色が自車の前方景色と
左右側景色とである為、効率良く広視野の景色が撮像で
きる。

【００３４】更に、操舵角演算部６により、前方景色の
画像に基づき検出された自車と白線との間隔と左右側景
色の画像に基づき検出された自車と前記白線との間隔と
の差違量が検出され、該間隔に応じて前記白線の曲がり
具合が判断される為、比較的簡単な演算処理により白線
の曲がり具合が検出でき、しかも、該白線の曲がり具合
が考慮されて操舵角が算出される為、より正確且つ適切
な操舵角が算出できるようになる。

【００３５】更に、カラーフィルタ１３，１７を用いる
ことで、簡易な手法により各入射光２３Ｌ，２３Ｒ，２
３Ｆから互いに異なる色の光成分が抽出できる。

【００３６】更に、単一の撮像素子７により複数方向の
景色が撮像される為、コストの低減及び設置スペースの
省略化が図れる。

【００３７】なお、この実施の形態では、カラーフィル
タ１３，１７を用いることで、複数方向の各景色からの
入射光２３Ｌ，２３Ｒ，２３Ｆから互いに異なる色の光
成分を抽出したが、カラーフィルタ１３，１７の代わり
にダイクロイックフィルタを用いても構わない。ダイク
ロイックフィルタを用いる場合は、図１において、カラ
ーフィルタ１３，１７が省略され、ハーフミラー１１の
代わりに、例えばＧ色の光成分を透過してＲ色及びＢ色
の各光成分を反射する特性を有するダイクロイックフィ
ルタが配置される構成となる。この場合も、カラーフィ
ルタ１３，１７を用いた場合と同様の効果を得る。

【００３８】

【発明の効果】請求項１に記載の白線検出装置によれ
ば、光成分抽出手段により、複数方向の景色からの各入
射光から互いに異なる色の光成分が抽出されてカラー撮
像の単一の撮像素子に重畳結像され、複数方向の各景色
が各色の画像成分として撮像される為、単一の撮像素子
により複数方向の景色（即ち広視野の景色）が縮小され
ずに（従って白線部分も縮小されずに）撮像でき、しか
も、白線抽出手段により、各色の画像成分に応じて複数
方向の各景色の画像が区別され、個別に各景色の画像に
映る道路車線の白線部分が抽出される為、混同すること
無く適切に複数方向の各景色の画像に映る白線部分が検
出できる。従って、単一の撮像素子により広視野の景色
が撮像でき、しかも、白線画像が縮小されていない為、
見落とすことなく正確に広視野の景色に亘る白線部分が
検出できるようになる。

【００３９】請求項２に記載の白線検出装置によれば、
複数方向の景色が自車の前方景色と左右側景色とである
為、効率良く広視野の景色が撮像できる。

【００４０】請求項３に記載の白線検出装置によれば、
光成分抽出手段がダイクロイックフィルタ又は色フィル
タにより構成される為、簡易な手法により構成できる。

【００４１】請求項４に記載の車載用操舵角算出装置に
よれば、操舵角演算手段により、請求項１乃至請求項３
の何れかに記載の白線検出装置の白線検出手段の抽出結
果に基づき自車と白線との間隔が検出され、該間隔に応
じて自車の操舵角が算出される為、広視野の景色に亘る
白線が考慮でき、より正確且つ適切な操舵角が算出でき
るようになる。

【００４２】請求項５に記載の車載用操舵角算出装置に
よれば、操舵角演算手段により、前方景色の画像に基づ
き検出された自車と白線との間隔と左右側景色の画像に
基づき検出された自車と前記白線との間隔との差違量が
検出され、該差違量に応じて前記白線の曲がり具合が判
断される為、比較的簡単な演算処理により白線の曲がり
具合が検出でき、しかも、該白線の曲がり具合が考慮さ
れて操舵角が算出される為、より正確且つ適切な操舵角
が算出できるようになる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る車載用操舵角算出装
置の側面視の模式図である。

【図２】本発明の実施の形態に係る車載用操舵角算出装
置における撮像カメラ部分の平面視の模式図である。

【符号の説明】

１ 車載用操舵角算出装置 ３ 撮像カメラ ４ 白線抽出部 ４ａ 前方画像白線抽出部 ４ｂ 左右画像白線抽出部 ６ 操舵角演算部 ７ 撮像素子 ９ 撮像レンズ １１ ハーフミラー １３ 第１のカラーフィルタ １５ プリズム １７ 第２のカラーフィルター １９ 反射ミラー ２３Ｌ，２３Ｒ 左右側景色からの入射光 ２３Ｆ 前方景色からの入射光

───────────────────────────────────────────────────── フロントページの続き (72)発明者 冨田 隆之 愛知県名古屋市南区菊住１丁目７番10号 株式会社オートネットワーク技術研究所内 Ｆターム(参考） 2F065 AA01 AA14 AA20 AA42 AA51 BB05 BB27 CC11 CC40 DD02 DD03 FF04 FF05 FF64 JJ03 JJ26 LL00 LL12 LL22 QQ21 QQ28 QQ31 3D020 BA20 BC02 BC13 BD05 BE03 5B057 BA02 BA15 CA01 CA08 CA12 CA16 CB12 CB16 DA08 5L096 AA02 AA06 BA04 FA15 GA38 GA40

Claims (5)

【特許請求の範囲】
1. 【請求項１】 カラー撮像を行う単一の撮像素子と、 各々道路車線を含む複数方向の景色からの入射光を前記
   撮像素子に重畳して結像させる光学系と、 前記各入射光の光路上に介装され、前記各入射光から互
   いに異なる色の光成分を抽出して前記撮像素子に結像さ
   せることで、前記複数方向の各景色を前記各色の画像成
   分として撮像させる光成分抽出手段と、 前記撮像素子で撮像された前記複数方向の各景色の画像
   を前記各色の画像成分に基づいて区別し、個別に各景色
   の画像に映る前記道路車線の白線部分を抽出する白線抽
   出手段と、を備えることを特徴とする白線検出装置。
2. 【請求項２】 前記複数方向の景色は、自車の前方景色
   と左右側景色とであることを特徴とする請求項１に記載
   の白線検出装置。
3. 【請求項３】 前記光成分抽出手段は、ダイクロイック
   フィルタ又はカラーフィルタにより構成されることを特
   徴とする請求項１又は請求項２に記載の白線検出装置。
4. 【請求項４】 請求項１乃至請求項３の何れかに記載の
   白線検出装置と、 前記白線検出装置の前記白線抽出手段の抽出結果に基づ
   き自車と道路車線の白線との間隔を検出し、該間隔に応
   じて自車の操舵角を算出する操舵角演算手段と、を備え
   ることを特徴とする車載用操舵角算出装置。
5. 【請求項５】 前記複数方向の景色は自車の前方景色と
   左右側景色とを含み、前記操舵角演算手段は、前記前方
   景色の画像に基づき検出した自車と白線との間隔と前記
   左右側景色の画像に基づき検出した自車と前記白線との
   間隔との差違量を検出し、該差違量に応じて前記白線の
   曲がり具合を判断し、該判断結果を考慮して操舵角を算
   出することを特徴とする請求項４に記載の車載用操舵角
   算出装置。