JP2006127383A - 白線認識方法及び白線認識装置並びに白線認識システム - Google Patents

Abstract

【課題】車両のサイドから撮像した画像に基づいて運転操作を支援する技術を提供することが目的とされる。
【解決手段】白線認識システムは、撮像装置１、白線認識装置２を備える。撮像装置１は、車両のサイドに設置され、白線を含む視野範囲を撮像する。白線認識装置２は画像処理部２２及び制御部２４を有し、画像処理部２２は検出部及び演算部を有する。検出部は、撮像装置１で撮像された画像に基づいて白線を認識する。演算部は、検出部で認識された結果に基づいて、白線が延在する方向と、車両の中心線の方向とがなす角度θを算出する。制御部２４は、角度θが所定の閾値α以上であると判断した場合に信号Ｓ２を出力し、これに基づいて運転の支援を行う。
【選択図】図１

Description

この発明は、白線を認識する技術に関し、特に白線と車両との位置関係を検出する技術に関する。

従来から、車両の駐車を支援する技術として、車両のサイドに設けたカメラで撮像した画像を利用するものがある。例えば、画像を表示器の画面で表示する場合に、車両のサイドから一定の距離だけ隔たった位置を、画面に目印やガイド線などで表示する。これにより運転者は、画面に表示された他の車両や壁などの障害物との距離を認識できる。

また、操舵角に基づいて車両の軌道を予測し、これを画面にガイド線などで表示するものもある。

従来技術によれば、画面に表示されたガイド線に従って、運転者自らの判断で車両を操作する必要があった。このため、運転技術が未熟な者にとっては、当該ガイド線に従って所望の位置に車両を導くことが困難であった。

本発明は、上述した事情に鑑みてなされたものであり、車両のサイドから撮像した画像に基づいて運転操作を支援する技術を提供することが目的とされる。

この発明の請求項１にかかる白線認識方法は、（ａ）車両のサイドの少なくともいずれか一方で撮像された、白線を含む視野範囲の画像を取得するステップと、（ｂ）前記画像に基づいて前記白線を認識するステップと、（ｃ）前記ステップ（ｂ）で認識した結果に基づいて、前記白線が延在する方向と、前記車両の中心線の方向とがなす角度を算出するステップとを備える。

この発明の請求項２にかかる白線認識方法は、請求項１記載の白線認識方法であって、前記ステップ（ｂ）では、（ｂ−１）前記ステップ（ａ）で取得した前記画像に対して歪み補正を施すステップと、（ｂ−２）前記白線のエッジを抽出するステップと、（ｂ−３）前記ステップ（ｂ−２）で抽出された前記エッジに対応する直線を導出するステップとを実行する。

この発明の請求項３にかかる白線認識方法は、請求項２記載の白線認識方法であって、前記ステップ（ｂ−３）では、前記ステップ（ｂ−２）で抽出された前記エッジに対して直線検出手法を施す。

この発明の請求項４にかかる白線認識方法は、請求項１乃至請求項３のいずれか一つに記載の白線認識方法であって、前記ステップ（ａ）では、前記サイドをも含む前記視野範囲の前記画像が取得され、前記ステップ（ｂ）では、前記画像に基づいて更に前記サイドをも認識し、前記ステップ（ｃ）では、前記車両の前記中心線の前記方向として前記サイドのエッジが延在する方向が採用される。

この発明の請求項５にかかる白線認識方法は、請求項１乃至請求項４のいずれか一つに記載の白線認識方法であって、（ｄ）前記ステップ（ｃ）で算出された前記角度が所定の閾値以上である場合に、前記車両の運転を支援するステップを更に備える。

この発明の請求項６にかかる白線認識装置は、車両のサイドの少なくともいずれか一方で撮像された、白線を含む視野範囲の画像に基づいて、前記白線を認識する検出部と、前記検出部で認識された結果に基づいて、前記白線が延在する方向と、前記車両の中心線の方向とがなす角度を算出する演算部と、前記検出部及び前記演算部を制御する制御部とを備える。

この発明の請求項７にかかる白線認識装置は、請求項６記載の白線認識装置であって、前記検出部は、撮像された前記画像に対して歪み補正を施す補正部と、前記白線のエッジを抽出する抽出部と、前記抽出部で抽出された前記エッジに対応する直線を導出する直線検出部とを有する。

この発明の請求項８にかかる白線認識装置は、請求項７記載の白線認識装置であって、前記直線検出部では、前記抽出部で抽出された前記エッジに対して直線検出手法を施す。

この発明の請求項９にかかる白線認識装置は、請求項６乃至請求項８のいずれか一つに記載の白線認識装置であって、前記検出部は、前記サイドをも含む前記視野範囲の前記画像に基づいて、更に前記サイドをも認識し、前記演算部では、前記車両の前記中心線の前記方向として前記サイドのエッジが延在する方向が採用される。

この発明の請求項１０にかかる白線認識装置は、請求項６乃至請求項９のいずれか一つに記載の白線認識装置であって、前記制御部は、前記演算部で算出された前記角度が所定の閾値以上である場合に、前記車両の運転を支援する。

この発明の請求項１１にかかる白線認識システムは、請求項６乃至請求項１０のいずれか一つに記載の白線認識装置と、前記視野範囲を撮像する撮像装置とを有する。

この発明の請求項１にかかる白線認識方法、請求項６にかかる白線認識装置もしくは請求項１１にかかる白線認識システムによれば、車両のサイドから撮像された画像に基づいて白線を認識するので、その認識の精度が高い。よって、車両の中心線と白線とがなす角度を精度良く算出できる。

この発明の請求項２にかかる白線認識方法もしくは請求項７にかかる白線認識装置によれば、白線のエッジに対応する直線を導出することで、直線が延在する方向を白線が延在する方向とすることができる。

この発明の請求項３にかかる白線認識方法もしくは請求項８にかかる白線認識装置によれば、エッジに対応する直線が求められる。

この発明の請求項４にかかる白線認識方法もしくは請求項９にかかる白線認識装置によれば、車両のサイドのエッジが延在する方向も検出されるので、これを車両の中心線の方向に採用することで、白線が延在する方向と車両の中心線の方向とがなす角度をより精度良く算出できる。

この発明の請求項５にかかる白線認識方法もしくは請求項１０にかかる白線認識装置によれば、運転を支援することで、所望の位置へと車両を誘導することが容易に行える。

図１は、本発明にかかる白線認識システムを概念的に示すブロック図である。白線認識システムは、撮像装置１、白線認識装置２及び表示器３を備える。

白線認識システムを車両に適用した態様が、図２には上面図で、図３には側面図でそれぞれ示されている。撮像装置１は、車両のサイドに設置される。図２及び図３では、左サイドのドアハンドルに撮像装置１を設置した場合が示されている。例えば、ドアミラーに撮像装置１を内蔵してもよい。そして、撮像装置１は、設置された位置から視野７を撮像する。

図４は、撮像装置１で撮像した視野７の画像を例示する。この画像では、撮像装置を設けた車両（以下、自車両という）のサイド４２、白線７１及び他の車両７３が映し出されている。

表示器３は、図２で示されるように例えば車内に設けられ、撮像装置１で撮像された視野７の画像を表示する。このとき、撮像された画像の一部だけを表示してもよい。例えば、図４で例示される画像の前輪側の半分を表示する場合や、後輪側の半分を表示する場合が採用できる。また、表示器３は、例えば運転者が視認できる位置に設けられる。

白線認識装置２は、ＡＤＣ（Analog Digital Converter）２１、画像処理部２２、画像メモリ（例えばＶＲＡＭ（Video Random Access Memory））２３、制御部２４及びＤＡＣ（Digital Analog Converter）２５を備え、図５で示されるフローチャートに従って、画像の処理を行う。

まず、撮像装置１で撮像された視野７の画像（図４）が、アナログ信号Ｐａ１によりＡＤＣ２１に入力される（ステップ１０１）。この内容は、車両のサイドの少なくとも一方で撮像された視野７の画像を、白線認識装置１が取得すると把握できる。

ＡＤＣ２１は、入力された画像をアナログ信号Ｐａ１からデジタル信号Ｐｄ１へと変換し、これを画像処理部２２に与える。

図６は、画像処理部２２を概念的に示すブロック図である。画像処理部２２は、検出部２２１及び演算部２２２を有する。画像のデジタル信号Ｐｄ１は、検出部２２１に入力される。

検出部２２１は、デジタル信号Ｐｄ１に基づいて画像に映し出された白線７１を認識する（ステップ１０２〜１０４）。具体的には、検出部２２１は、補正部２２１１、抽出部２２１２及び直線検出部２２１３を有し、以下のようにして白線７１を認識する。

補正部２２１１は、入力されたデジタル信号Ｐｄ１に対して歪み補正を施し、撮像された画像の歪みを補正する（ステップ１０２）。補正の前後の画像が、図７及び図８に示される。図７は、補正を施す前の図４で示される画像に対応する線図である。ここでは、白線７１のエッジ７１１と、サイド４２のエッジ４２１とを実線で示しており、図８及び以下で説明する図９においても同様である。図８は、歪みが補正された画像を示す線図である。図８で示される線図によれば、サイド４２及び白線７１の歪みが解消されている。

抽出部２２１２は、白線７１のエッジ７１１及び自車両４のサイド４２のエッジ４２１を抽出する（ステップ１０３）。これらのエッジ７１１，４２１の抽出は、補正部２２１１で画像の歪みを補正した後であっても良いし、その前であっても良い。

直線検出部２２１３は、抽出部２２１２で抽出されたエッジ７１１，４２１に対応する直線を導出する（ステップ１０４）。具体的には、白線７１のエッジ７１１に対応する直線Ｄ１と、サイド４２のエッジ４２１に対応する直線Ｄ２とが導出される。これら直線の導出には、例えば公知の技術であるハフ変換などが適用できる。そして、直線Ｄ１，Ｄ２は、演算部２２２に与えられる。

演算部２２２は、検出部２２１で認識された結果に基づいて、白線７１が延在する方向と、サイド４２のエッジ４２１が延在する方向とがなす角度θを算出する（ステップ１０５）。具体的には、白線７１が延在する方向には、直線Ｄ１が延びる方向が採用される。またサイド４２のエッジ４２１が延在する方向には、直線Ｄ２が延びる方向が採用される。図９に、角度θと、エッジ７１１，４２１が延在する方向との関係が図示されている。

これらの画像処理（ステップ１０１〜１０５）は、制御部２４から画像処理部２２に入力される制御指令Ｓに基づいて行われる。制御指令Ｓは、例えば白線認識装置の外部から入力される信号Ｓ１に従って制御部２４で発生される。信号Ｓ１には、例えば操舵角、自車両４の速度やリバース信号などが含まれる。

画像処理部２２で画像処理された結果、すなわち角度θは、制御部２４に与えられる。これに並行して、制御部２４には所定の閾値αが入力される。所定の閾値αは、予め制御部２４に記憶されていても良い。

制御部２４は、角度θが所定の閾値αより小さいと判断した場合（ステップ１０６）には、再びステップ１０１に戻って、ステップ１０１〜ステップ１０６を繰り返す。すなわち、白線７１に対して自車両４がほぼ平行に導かれているので、運転の判断をそのまま運転者に任せる。

一方、角度θが所定の閾値α以上であると判断した場合（ステップ１０６）、すなわち白線７１に対して自車両４が平行に導かれていない場合には、制御部２４は、自車両４の運転を支援する（ステップ１０７）ための信号Ｓ２を出力する。運転の支援には、例えば表示器３への警告文の表示や、別途設けられたスピーカからの警告音の出力が採用できる。さらには、自車両４が白線に対して平行になるようにステアリングに荷重をかけることで、運転を支援してもよい。

このように運転を支援することで、例えば白線で区切られた駐車位置などの所定の位置へと車両を誘導することが、運転者にとって容易に行える。

上述した内容によれば、車両４のサイド４２から撮像された画像に基づいて白線７１を認識するので、その認識の精度が高い。よって、白線７１が延在する方向と、サイド４２のエッジ４２１が延在する方向とがなす角度θを精度良く算出できる。

演算部２２２で算出される角度θには、例えば、白線７１のエッジ７１１が延在する方向と、車両４の中心線４１が延在する方向とがなす角度を採用してもよい。この場合、例えば次のようにして角度θが算出される。

制御部２４は、中心線４１が延在する方向を記憶しておき、この情報を制御信号Ｓに含ませる。この制御指令Ｓが入力された画像処理部２２では、検出部２２１は白線７１の認識だけを行い、演算部２２２には白線７１のエッジ７１１に対応する直線Ｄ１のみが与えられる。演算部２２２は、直線Ｄ１の方向を白線７１が延在する方向に採用し、制御指令Ｓから中心線４１が延在する方向を得て、それらの方向がなす角度を、角度θとして算出する。

これによれば、サイド４２のエッジ４２１の方向を得る必要が無く、角度θを算出する演算が簡単化される。しかも、このような態様によっても、車両４の中心線４１と白線７１とがなす角度θを精度良く算出できる。ただし、車両４の中心線４１の方向として、上述したサイド４２のエッジ４２１が延在する方向を採用することが、より精度良く角度θを算出できる点で特に望ましい。

上述した運転の支援に並行して、撮像装置１で撮像された視野７の画像を表示器３に表示させてもよい（図１）。この場合、当該画像のデジタル信号Ｐｄ２が、画像処理部２２からＤＡＣ２５へと与えられる。デジタル信号Ｐｄ２は、ＡＤＣ２１から画像処理部２２に入力されたデジタル信号Ｐｄ１と同じであってもよいし、例えば画像処理部２２で画像処理されたものであってもよい。

ＤＡＣ２５は、デジタル信号Ｐｄ２をアナログ信号Ｐａ２に変換し、これを表示器３に入力する。表示器３は、アナログ信号Ｐａ２に基づく画像を表示する。画像を表示器３に表示する際には、例えば画像メモリ２３が用いられる。

上述では図２及び図４で示されるように、撮像装置１を特に車両の左サイドに設置した場合について説明したが、例えば車両の右サイドに設置する場合や、両サイドに設置する場合であってもよい。

この発明にかかる白線認識システムを概念的に示すブロック図である。 白線認識システムを車両に適用した態様を示す上面図である。 白線認識システムを車両に適用した態様を示す側面図である。 撮像装置で撮像した視野の画像を示す図である。 画像の処理方法を示すフローチャートである。 画像処理部を概念的に示すブロック図である。 図４で示される画像に対応する線図である。 歪みが補正された画像を示す線図である。 角度θを概念的に示す線図である。

符号の説明

１ 撮像装置
２ 白線認識装置
４ 車両
７ 視野
２４ 制御部
４１ 車両の中心線
４２ 車両のサイド
７１ 白線
２２１ 検出部
２２２ 演算部
４２１，７１１ エッジ
２２１１ 補正部
２２１２ 抽出部
２２１３ 直線検出部
Ｄ１，Ｄ２ 直線
α 所定の閾値
θ 角度

Claims (11)

1. （ａ）車両のサイドの少なくともいずれか一方で撮像された、白線を含む視野範囲の画像を取得するステップと、
   （ｂ）前記画像に基づいて前記白線を認識するステップと、
   （ｃ）前記ステップ（ｂ）で認識した結果に基づいて、前記白線が延在する方向と、前記車両の中心線の方向とがなす角度を算出するステップと
   を備える、白線認識方法。
2. 前記ステップ（ｂ）では、
   （ｂ−１）前記ステップ（ａ）で取得した前記画像に対して歪み補正を施すステップと、
   （ｂ−２）前記白線のエッジを抽出するステップと、
   （ｂ−３）前記ステップ（ｂ−２）で抽出された前記エッジに対応する直線を導出するステップと
   を実行する、請求項１記載の白線認識方法。
3. 前記ステップ（ｂ−３）では、前記ステップ（ｂ−２）で抽出された前記エッジに対して直線検出手法を施す、請求項２記載の白線認識方法。
4. 前記ステップ（ａ）では、前記サイドをも含む前記視野範囲の前記画像が取得され、
   前記ステップ（ｂ）では、前記画像に基づいて更に前記サイドをも認識し、
   前記ステップ（ｃ）では、前記車両の前記中心線の前記方向として前記サイドのエッジが延在する方向が採用される、請求項１乃至請求項３のいずれか一つに記載の白線認識方法。
5. （ｄ）前記ステップ（ｃ）で算出された前記角度が所定の閾値以上である場合に、前記車両の運転を支援するステップを
   更に備える、請求項１乃至請求項４のいずれか一つに記載の白線認識方法。
6. 車両のサイドの少なくともいずれか一方で撮像された、白線を含む視野範囲の画像に基づいて、前記白線を認識する検出部と、
   前記検出部で認識された結果に基づいて、前記白線が延在する方向と、前記車両の中心線の方向とがなす角度を算出する演算部と、
   前記検出部及び前記演算部を制御する制御部と
   を備える、白線認識装置。
7. 前記検出部は、
   撮像された前記画像に対して歪み補正を施す補正部と、
   前記白線のエッジを抽出する抽出部と、
   前記抽出部で抽出された前記エッジに対応する直線を導出する直線検出部と
   を有する、請求項６記載の白線認識装置。
8. 前記直線検出部では、前記抽出部で抽出された前記エッジに対して直線検出手法を施す、請求項７記載の白線認識装置。
9. 前記検出部は、前記サイドをも含む前記視野範囲の前記画像に基づいて、更に前記サイドをも認識し、
   前記演算部では、前記車両の前記中心線の前記方向として前記サイドのエッジが延在する方向が採用される、請求項６乃至請求項８のいずれか一つに記載の白線認識装置。
10. 前記制御部は、前記演算部で算出された前記角度が所定の閾値以上である場合に、前記車両の運転を支援する、請求項６乃至請求項９のいずれか一つに記載の白線認識装置。
11. 請求項６乃至請求項１０のいずれか一つに記載の白線認識装置と、
    前記視野範囲を撮像する撮像装置と
    を有する、白線認識システム。
    

Images