JP2014026396A - 移動面境界線認識装置、移動面境界線認識装置を備えた移動体、移動面境界線認識方法及び移動面境界線認識用プログラム - Google Patents

Abstract

【課題】境界線画像と認識結果の境界線画像部とのズレが小さくでき、移動面上の境界線の認識精度を向上させることができる。
【解決手段】撮像手段によって取得される視差画像に基づいて、撮像手段によって取得された画像を、自車両に近い路面上が映される画像領域の第１認識候補領域に設定するとともに自車両から遠い路面上が映される画像領域の第２認識候補領域に設定する。そして、第１認識候補領域では直線近似によって白線画像部を認識し、第２認識候補領域では直線の白線画像部が認識されないときに直線近似によって認識された直線の白線画像部の仮想の延長線に基づいて設定される探索範囲内の輝度画像のエッジを抽出する。抽出したエッジに対して曲線近似を行って画像上における曲線の白線画像部を認識する。
【選択図】図５

Description

本発明は、移動体の前方を撮像手段により撮像した撮像画像に基づいて移動体の移動面における境界線を認識する移動面境界線認識装置、移動面境界線認識装置を備えた移動体、移動面境界線認識方法及び移動面境界線認識用プログラムに関するものである。

従来、自車両（移動体）の前方を撮影した撮像画像に基づいて対象物を認識する対象物認識装置は、例えば、車両の運転者の運転負荷を軽減させるための、ＡＣＣ（Adaptive Cruise Control）等の運転者支援システムなどに利用されている。この運転者支援システムは、自車両が障害物等に衝突することを回避したり、衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能を有する。更には、先行車両との車間距離を維持するための自車速度調整機能、自車が走行している走行車線（移動体領域）を区画する路面（移動面）上の路面白線（境界線）を認識して路面白線を越えて走行車線からの逸脱防止を支援する機能などの様々な機能を実現する。

特許文献１には路面上の白線を認識する車線認識装置が開示されている。この特許文献１の車線認識装置では、ステレオ撮像手段によって自車両の前方の景観を撮像し、ステレオ撮像手段により撮像して得た一画面に相当する画像を複数の区画に分割する。各区画は、ステレオ画像に基づいて算出した距離情報に基づいて自車両の手前から画面の水平ラインによって所定の間隔で分割されている。そして、各区画内における画像内の輝度情報に基づいてエッジ抽出を行い、抽出したエッジに対して直線近似を行って白線画像部（境界線画像部）を認識する。

しかしながら、上記特許文献１の車線認識装置では、路面上の白線を撮像して得られた画像の各区画内のエッジに対してエッジ抽出を行い、抽出したエッジに対して直線近似を行って白線画像部を認識している。そして、路面上でカーブしている曲線の白線に対しては、認識した各区画内の直線近似した結果の近似直線を順に連結した折れ線状の白線画像部が認識している。このように認識される折れ線状の白線画像部は、画面に映し出されている曲線の白線画像部とのズレが大きく、白線の認識精度が下がってしまう。これでは、運転者支援システムに利用することは難しい。

本発明は以上の問題点に鑑みなされたものであり、その目的は以下のとおりである。境界線画像部と認識結果の境界線画像部とのズレが小さくでき、移動面上の境界線の認識精度を向上させることができる、移動面境界線認識装置、移動面境界線認識装置を備えた移動体、移動面境界線認識方法及び移動面境界線認識用プログラムを提供することである。

上記目的を達成するために、請求項１の発明は、移動面上を移動する移動体に搭載されたステレオ撮像手段によって取得される前記移動体の前方の画像から、前記移動体が移動する移動面上の境界線に対応する境界線画像部の認識を行う移動面境界線認識装置であって、前記ステレオ撮像手段により前記移動体の前方のステレオ画像のいずれか一方の撮像画像から輝度画像を取得する輝度画像取得手段と、前記ステレオ画像に基づいて視差を計算する視差計算手段とを備える移動面境界線認識装置において、前記輝度画像取得手段によって取得した輝度画像と前記視差計算手段によって計算された視差から取得される視差画像とに基づいて、前記移動体の位置から所定の距離に相当する画面の水平ラインを区画線として、前記移動体から近い路面部分が映される画像領域を第１認識候補領域と設定するとともに前記移動体から遠い路面部分が映される画像領域を第２認識候補領域と設定する認識候補領域設定手段と、抽出したエッジに対して直線近似を行って前記境界線画像部を認識する第１境界線画像部認識手段と、抽出したエッジに対して曲線近似を行って前記境界線画像部を認識する第２境界線画像部認識手段と、前記第１境界線画像部認識手段によって認識された前記境界線画像部に続く仮想の延長線を基準にして前記境界線画像部の候補画像部を探索する探索範囲を設定する探索範囲設定手段と、前記第１境界線画像部認識手段によって認識された前記境界線画像部と、前記第２境界線画像部認識手段によって認識された前記境界線画像部とを連結し、連結した全体の線を前記境界線画像部として出力する境界線画像部出力手段とを有し、前記認識候補領域設定手段によって設定される前記第１認識候補領域では、前記第１認識候補領域内の輝度画像のエッジを抽出し、抽出したエッジに対して前記第１境界線画像部認識手段によって直線近似を行って前記境界線画像部を認識し、前記認識候補領域設定手段によって設定される前記第２認識候補領域では、前記第２認識候補領域内の輝度画像のエッジを抽出し、前記第１境界線画像部認識手段によって抽出したエッジに対して直線近似を行った結果、前記境界線画像部を認識できなかったときは、前記探索範囲設定手段によって設定された前記探索範囲内の輝度画像のエッジを抽出し、抽出したエッジに対して前記第２境界線画像部認識手段によって曲線近似を行って前記境界線画像部を認識することを特徴とするものである。

本発明において、移動体が移動面上の境界線の直線部に沿って移動している場合は、移動体から近い路面部分が映される画像領域では境界線の直線部は直線状に映し出される。移動体が移動面上の境界線の曲線部に沿って移動している場合でも、移動体から近い路面部分が映される画像領域では、境界線の曲線部は直線状に映し出される。これらのため、移動体から近い路面部分が映される画像領域である第１認識候補領域では、第１境界線画像部認識手段によって直線近似を行って移動面上の境界線の直線部又は曲線部に対応する境界線画像部を認識できる。一方、移動体から遠い路面部分が映される画像領域では、境界線の曲線部は曲線状に映し出される。そして、曲線の境界線画像部を構成するエッジは、直線の境界線画像部に続く仮想の延長線を基準にしその延長線の近傍周辺の位置に存在することがわかっている。このため、第２認識候補領域では、第１境界線画像部認識手段によって抽出したエッジに対して直線近似を行った結果、境界線画像部を認識できなかったときは、探索範囲設定手段によって設定された探索範囲内の輝度画像のエッジを抽出する。そして、抽出したエッジに対して第２境界線画像部認識手段によって曲線近似を行う。これによって、曲線の境界線画像部を認識できる。境界線画像部出力手段によって認識結果の各境界線画像部を連結して画像上における全体の境界線画像部として出力できる。これにより、境界線画像と認識結果の境界線画像部とのズレが小さくでき、移動面上の境界線の認識精度を向上させることができる、という特有な効果が得られる。

実施形態における車載機器制御システムの概略構成を示す模式図である。 同車載機器制御システムを構成する撮像ユニット及び画像解析ユニットの概略構成を示す模式図である。 同撮像ユニットの撮像部における光学フィルタと画像センサとを光透過方向に対して直交する方向から見たときの模式拡大図である。 同光学フィルタの領域分割パターンを示す説明図である。 本実施形態の路面白線認識処理に関わる機能ブロック図である。 左右のカメラで撮影したときの視差を説明する図である。 路面白線直線部及び路面白線曲線部を探索する様子を説明する図である。 曲線近似を説明する図である。 路面白線候補領域テーブルを示す図である。 路面白線認識処理を示すフローチャートである。 （ａ）は左のカメラレンズとセンサからステレオ画像、（ｂ）は右のカメラレンズとセンサからステレオ画像を示す図である。 路面白線認識結果を示す図である。 ステレオカメラのハードウェア構成を示すブロック図である。

以下、本発明に係る移動面領域の境界線認識装置を、車両システムとしての車載機器制御システムに用いる一実施形態について説明する。なお、本発明に係る移動面領域の境界線認識装置は、車載機器制御システムに限らず、例えば撮像画像に基づいて物体検出を行う物体検出装置を搭載したその他のシステムにも適用できる。

図１は本実施形態における車載機器制御システムの概略構成を示す模式図である。
本実施形態の車載機器制御システムは、走行する自車両１００の進行方向前方領域を撮像領域として撮像する撮像手段としての撮像ユニット１０１が設けられている。この撮像ユニット１０１は、例えば、移動体である自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データ等の各種データは、画像処理手段としての画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、自車両１００の前方に存在する他車両の位置、方角、距離を算出したり、撮像領域内に存在する路面（移動面）上の白線等の車線境界線等を検出したりする。他車両の検出では、視差画像に基づいて路面上の対象物を車両として検出する。

また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０６にも送られる。車両走行制御ユニット１０６は、画像解析ユニット１０２が検出した車線の境界線（本実施形態では白線を例に挙げて説明する。）や路側段差の検出結果に基づいて、走行可能領域から自車両１００が外れそうな場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。

図２は、撮像ユニット１０１及び画像解析ユニット１０２の概略構成を示す模式図である。
撮像ユニット１０１は、２つの撮像部１１０Ａ，１１０Ｂを備えたステレオカメラであり、２つの撮像部１１０Ａ，１１０Ｂの構成は同一のものである。各撮像部１１０Ａ，１１０Ｂは、それぞれ、撮像レンズ１１１Ａ，１１１Ｂと、光学フィルタ１１２Ａ，１１２Ｂと、画像センサ１１３Ａ，１１３Ｂと、センサ基板１１４Ａ，１１４Ｂと、信号処理部１１５Ａ，１１５Ｂとから構成されている。センサ基板１１４Ａ，１１４Ｂは撮像素子が２次元配置された画像センサ１１３Ａ，１１３Ｂを含んでいる。信号処理部１１５Ａ，１１５Ｂは、センサ基板１１４Ａ，１１４Ｂから出力されるアナログ電気信号（画像センサ１１３Ａ，１１３Ｂ上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する。本実施形態の撮像ユニット１０１からは、輝度画像データ、視差画像データが出力される。

また、撮像ユニット１０１は、ＦＰＧＡ（Field-Programmable Gate Array）等からなる処理ハードウェア部１２０を備えている。この処理ハードウェア部１２０は、各撮像部１１０Ａ，１１０Ｂから出力される輝度画像データから視差画像を得るために、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像間の対応画像部分の視差値を演算する視差演算部１２１を備えている。ここでいう視差値とは、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とする。そして、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。

一方、画像解析ユニット１０２は、メモリ１３０と、ＭＰＵ（Micro Processing Unit）１４０とを備えている。メモリ１３０は、撮像ユニット１０１から出力される赤色画像データ、輝度画像データ、視差画像データを記憶している。ＭＰＵ１４０は、識別対象物の認識処理や視差計算制御などを行うソフトウェアを内蔵し、メモリ１３０に格納された輝度画像データ及び視差画像データを用いて各種の認識処理を実行する。

図３は、光学フィルタ１１２Ａ，１１２Ｂと画像センサ１１３Ａ，１１３Ｂとを光透過方向に対して直交する方向から見たときの模式拡大図である。
画像センサ１１３Ａ，１１３Ｂは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサである。その撮像素子（受光素子）にはフォトダイオード１１３ａを用いている。フォトダイオード１１３ａは、撮像画素ごとに２次元的にアレイ配置されており、フォトダイオード１１３ａの集光効率を上げるために、各フォトダイオード１１３ａの入射側にはマイクロレンズ１１３ｂが設けられている。この画像センサ１１３Ａ，１１３Ｂがワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板１１４Ａ，１１４Ｂが形成されている。

画像センサ１１３Ａ，１１３Ｂのマイクロレンズ１１３ｂ側の面には、光学フィルタ１１２Ａ，１１２Ｂが近接配置されている。本実施形態の光学フィルタ１１２Ａ，１１２Ｂは、図３に示すように、透明なフィルタ基板１１２ａ上に分光フィルタ層１１２ｂを形成したものである。なお、分光フィルタに代えて又は分光フィルタに加えて、偏光フィルタ等の他の光学フィルタを設けてもよい。分光フィルタ層１１２ｂは、画像センサ１１３Ａ，１１３Ｂ上における１つのフォトダイオード１１３ａに対応するように領域分割されている。

光学フィルタ１１２Ａ，１１２Ｂと画像センサ１１３Ａ，１１３Ｂとの間に空隙がある構成としてもよいが、光学フィルタ１１２Ａ，１１２Ｂを画像センサ１１３Ａ，１１３Ｂに密着させる構成とした方がよい。これにより、光学フィルタ１１２Ａ，１１２Ｂの各フィルタ領域の境界と画像センサ１１３Ａ，１１３Ｂ上のフォトダイオード１１３ａ間の境界とを一致させやすくなる。光学フィルタ１１２Ａ，１１２Ｂと画像センサ１１３Ａ，１１３Ｂは、例えば、ＵＶ接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素外の四辺領域をＵＶ接着や熱圧着してもよい。

図４は、本実施形態に係る光学フィルタ１１２Ａ，１１２Ｂの領域分割パターンを示す説明図である。
光学フィルタ１１２Ａ，１１２Ｂは、第１領域及び第２領域という２種類の領域が、画像センサ１１３Ａ，１１３Ｂ上の１つのフォトダイオード１１３ａに対応して配置されたものである。これにより、画像センサ１１３Ａ，１１３Ｂ上の各フォトダイオード１１３ａによって受光される受光量は、受光する光が透過した分光フィルタ層１１２ｂの領域の種類に応じて、分光情報として取得することができる。

本実施形態における光学フィルタ１１２Ａ，１１２Ｂにおいて、２種類の領域のうち、１つの領域は、波長選択を行わずに光を透過させる非分光領域１１２ｃである。そして、光学フィルタ１１２Ａ，１１２Ｂは、図４に示すように、この領域１１２ｃが市松模様状に分布したものを用いている。したがって、本実施形態においては、領域１１２ｃに対応する撮像画素の出力信号から非分光の輝度画像が得られる。よって、本実施形態によれば、一度の撮像動作により、非分光の輝度画像に対応した撮像画像データを得ることができる。この撮像画像データでは、その画像画素の数が撮像画素数よりも少なくなるが、より高解像度の画像を得る際には一般に知られる画像補間処理を用いてもよい。

次に、本発明の特徴部分である、路面白線認識処理について説明する。
図５は、本実施形態の路面白線認識処理に関わる機能ブロック図である。同図において、本実施形態の路面白線認識装置２００は、ステレオ画像入力部２０１、輝度画像入力部２０２及び視差画像計算部２０３を有している。更には、認識候補領域設定部２０４、路面白線直線部認識部２０５、路面白線曲線部認識部２０６、路面白線合成処理部２０７及び路面白線認識結果出力部２０８を含んで構成されている。そして、ステレオ画像入力部２０１には、左右のカメラレンズとセンサとを有するステレオカメラ（不図示）からステレオ画像が入力される。輝度画像入力部２０２はステレオ画像の左画像又は右画像から輝度画像を入力する。入力されたステレオ画像及び輝度画像は、ステレオカメラのメモリ領域に保存される。視差画像計算部２０３は、図６に示すように、ステレオ画像入力部２０１に入力されたステレオ画像を用いて撮影対象が左右画像での結像位置の差である視差値を計算し、その視差値を含む視差画像を算出する。認識候補領域設定部２０４では、輝度画像入力部２０２によって入力された輝度画像と視差画像計算部２０３で計算された視差値を含む視差画像とを用いて、自車両の位置から所定の距離に相当する画面の水平ラインを区画線として２つの認識候補領域に分割して設定する。図７に示すように、１つの認識候補領域は、自車両の位置手前側の、路面白線の直線部がある可能性が高い画像領域である直線部認識候補領域４０１である。他の認識候補領域は、境界線の曲線部がある可能性が高い画像領域である曲線部認識候補領域４０２である。

そして、図７（ａ）、（ｂ）に示すように、直線部認識候補領域４０１では、一定の視差以上の領域、点Ａ、点Ｂ、点Ｃ、点Ｄで囲まれる白線直線部候補領域４０３、点Ｅ、点Ｆ、点Ｇ、点Ｈで囲まれる白線直線部候補領域４０４を設定する。ｙ座標のある高さ以上、点Ａと点Ｂとを結ぶ直線、点Ｅと点Ｆとを結ぶ直線より手前（画像上では下部）の部分を対象領域になる。また、候補の幅は事前学習によって決まるが、これに限定されるものではなく逐次的に更新も可能である。そして、ステレオカメラで撮影した路面白線画像を用いて、白線直線部候補領域４０３、４０４を入力し、各画像から得られた視差値の平均値Δを閾値とする。図９に示すテーブルに保存され、点Ａと点Ｂとを結ぶ直線、及び点Ｅと点Ｆとを結ぶ直線の高さと、点Ａと点Ｂとを結ぶ直線、及び点Ｅと点Ｆとを結ぶ直線の長さと、を決める。

ここで、視差平均値Δと白線直線部候補領域４０３、４０４の学習方法について、図７を用いて説明する。事前入力した白線を含む画像から白線直線部を入力し、入力した白線直線部４０５の端部の点Ｈ１と、白線直線部４０６の端部の点Ｈ３の視差値平均値を求める。視差の平均値を図９に示すテーブルに保存する。白線直線部候補領域４０３、４０４も事前入力した白線直線を含む画像から白線直線部を入力し、入力した直線座標の平均値の白線直線部候補領域４０３、４０４の頂点座標を図９に示すテーブルに保存する。視差閾値Δの位置と、点Ａと点Ｂとを結ぶ直線、点Ｅと点Ｆとを結ぶ直線の高さが異なるとき、どちらかの位置の低い位置を閾値とする。また、本実施形態では、視差閾値Δと、白線候補領域４０３、４０４の平均値を図８のテーブルに保存するが、道路状況ごとに別々のテーブルを持ってもよい。例えば、市街地道路、高速道路、ワインディングロードのような道路状況に応じて別々のテーブルを持ってもよい。これらの道路状況に合わせて、異なるテーブルを使う。

また、図５の路面白線直線部認識部２０５では、図７に示すように、認識候補領域設定部２０４によって設定された直線部認識候補領域内の白線直線部候補領域４０３、４０４内で、白線直線部の認識を行う。つまり、白線直線部候補領域４０３、４０４内でエッジ抽出を行い、白線直線候補画素を抽出する。そして、直線近似、例えばＨｏｕｇｈ変換により白線直線部４０５、４０６を認識する。

そして、図５の路面白線曲線部認識部２０６は、路面白線直線部認識部２０５によって認識された白線直線部４０５、４０６を用いて、路面上の白線曲線部を認識する。具体的には、図７（ａ）に示すように、白線直線部４０５から延びて点Ｈ１と点Ｈ２を結ぶ仮想の延長線４０７、白線直線部４０６から延びて点Ｈ３と点Ｈ４を結ぶ仮想の延長線４０８を設定する。ここで、点Ｈ２、点Ｈ４は、所定の探索距離によって定められる。また、点Ｈ１を頂点としての仮想の延長線４０７における左右所定の探索角度θ_０を予め定め、かつ点Ｈ３を頂点としての仮想の延長線４０８における左右所定の探索角度θ_０を予め定める。これらの所定の探索距離及び所定の探索角度に基づいて起点としての点Ｈ１からの探索範囲４０９、及び起点としての点Ｈ３からの探索範囲４１０を設定する。図７（ｂ）に示すように、これらの探索範囲４０９、４１０で、多項式近似で曲線の候補点Ｈ５、Ｈ６を探索する。曲線近似の一例は、図８に示すように、直線部の仮想の延長線４０７、４０８に基づいて認識された曲線部の画素の点Ｈ５、点Ｈ６を起点として、探索範囲４１１、４１２を設定してその探索範囲で多項式近似で曲線の候補点を探索する。このように認識された曲線部の画素の点を起点として探索範囲を順次設定して曲線近似を行う。

次に、路面白線合成処理部２０７では、路面白線直線部認識部２０５の認識結果の白線直線部と、路面白線曲線部認識部２０６の認識結果である白線曲線部とを連結させて互いを合成し、路面白線認識結果を作成する。そして、路面白線認識結果出力部２０８は路面白線認識結果を出力する。

なお、白線曲線部の点の候補を抽出するとき、ノイズの点や複数曲線が存在する場合、白線直線部の抽出の精度が落ちてしまう。そこで、孤立ノイズの点を使うと、多項式近似するとき、近似式の誤差が増える。そのため、孤立した点を見つけてその点を削除する。

次に、本実施形態の路面白線認識処理について当該処理フローを示す図１０に従って説明する。
図５のステレオ画像入力部２０１でステレオ画像を入力する（ステップＳ１０１）。具体的には左右のカメラレンズとセンサから２枚のステレオ画像を入力する。図１１に示すように左右レンズＬとＲは、２枚のステレオ画像を入力する。左右レンズにより同じ被写体が左右センサでの結像位置は異なる。そして、図５の輝度画像入力部２０２はステレオ画像の左画像もしくは右画像から輝度画像を入力する（ステップＳ１０２）。入力したステレオ画像や輝度画像はステレオカメラのメモリ領域に保存される。視差画像計算部２０３はステレオ画像入力部２０１から入力した図７のようなステレオ画像から、対象画像における左右画像の各結像位置の差である視差値を計算する（ステップＳ１０３）。

具体的には、図７に示すように左右レンズで結像したステレオ画像の同じ部分をブロックマッチングで、視差値を含む視差画像を計算する。左右画像をブロックで分割し、同じ物体の左右画像でのブロックの差分が一番少ないとき、ブロックがブロックマッチングした部分から視差値を求める。詳細には、左画像のブロックの値Ｉｌ（ｘ、ｙ）に対して、右画像のブロックＩｒ（ｘ＋Δ、ｙ）が検出された場合、ｘ方向の結像位置の差である視差値Δを求める。例えば、１２８０×９６０画素の画像に対して５×５サイズのブロックで分割する。そして、各ブロックにおける視差値を求める。ブロックサイズの最適値は実験で調整して設定する。図６に示す例において、被写体上にあるＯ点に対する左右画像での結像位置は、結像中心からの距離はΔ１とΔ２である。このため、その視差値Δ＝Δ１＋Δ２である。よって、視差画像は画素位置での視差値を持つ画像である。

そして、図５の認識候補領域設定部２０４は輝度画像入力部２０２で入力した輝度画像と視差画像計算部２０３で計算した視差画像を用いて、路面白線の認識候補領域を設定する。図８に示す路面白線認識候補領域テーブルを用いて、図７に示す点Ａ、点Ｂ、点Ｃ、点Ｄで囲まれる白線候補領域４０３、点Ｅ、点Ｆ、点Ｇ、点Ｈで囲まれる白線候補領域４０４を決める。図８の路面白線認識候補領域テーブルに視差値Δと各点Ａ点Ｂ、点Ｅ点Ｆの頂点座標Ａ（ｘ、ｙ）、Ｂ（ｘ、ｙ）、Ｅ（ｘ、ｙ）、Ｆ（ｘ、ｙ）が記入されている。視差値Δから視差画像に点Ａ点Ｂ、点Ｅ点Ｆのｙ座標を求められる。ｙの値と図８の路面白線候補領域テーブルから頂点座標を求められる（ステップＳ１０４）。

図５の路面白線直線認識部２０５は路面白線直線候補領域認識部２０４で抽出した白線候補領域４０３、４０４のなかで、エッジ抽出処理を行う。エッジ抽出にはＳｏｂｅｌフィルタを使ってもよいし、他のエッジ抽出フィルタを使ってもよい。次に処理した画像の２値化処理を行う。そして、Ｈｏｕｇｈ変換処理により、直線画像部を抽出する（ステップＳ１０５）。次に、連続して直線近似を行った結果路面白線の直線画像部を認識できなかった場合、図５の路面白線曲線部認識部２０６は路面白線直線部認識部２０５で認識した直線画像部の延長線４０７、４０８の近傍付近で、エッジ抽出処理を行う。エッジ抽出した結果を用いて、多項式で、曲線近似の処理を行う（ステップＳ１０６）。そして、図５の路面白線合成処理部２０７は認識した路面白線の直線画像部と曲線画像部とを合成する。合成処理するとき、境目のないように直線画像部と曲線画像部とをつなぐ（ステップＳ１０７）。図５の路面白線認識結果出力部２０８は、図１２に示すような路面白線４２０、４２１の認識結果を出力する（ステップＳ１０８）。

上述した路面白線を認識する車載ステレオカメラ撮像装置の一例である車載カメラのハードウェア構成について説明する。図１３は本実施形態に係るステレオカメラのハードウェア構成を示すブロック図である。図１３に示すように被写体光は、ステレオカメラの左右撮影の光学系５０１と光学系５０２を通してＣＭＯＳ（Complementary Metal Oxide Semiconductor）５０３、５０４に入射される。ＣＭＯＳ５０３とＣＭＯＳ５０４は、撮像面に結像された光学像を電気信号に変換して、アナログの画像データとして出力する。ＣＭＯＳ５０３とＣＭＯＳ５０４から出力された画像情報は、ＣＤＳ（Correlated Double Sampling:相関２重サンプリング）回路５０５、５０６によりノイズ成分を除去される。そして、Ａ／Ｄ変換器５０７、５０８によりデジタル値に変換された後、画像処理回路５０９、５１０に対して出力される。画像処理回路５０９、５１０は、画像データを一時格納するＳＤＲＡＭ（SynchronousＤＲＡＭ）５１２を用いる。そして、YCrCb変換処理や、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う。なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。

また、信号処理、画像処理が施された画像情報は、圧縮伸張回路５１３を介して、メモリカード５１４に記録される。圧縮伸張回路５１３は、画像処理回路５０９、５１０から出力される画像情報を圧縮してメモリカード５１４に出力すると共に、メモリカード５１４から読み出した画像情報を伸張して画像処理回路５０９、５１０に出力する回路である。また、ＣＭＯＳ、ＣＤＳ回路及びＡ／Ｄ変換器は、タイミング信号を発生するタイミング信号発生器５１８を介してＣＰＵ（Central Processing Unit）５１１によって、タイミングが制御されている。

更に、画像処理回路５０９、５１０、圧縮伸張回路５１３、メモリカード５１４も、ＣＰＵ５１１によって制御されている。撮像装置において、ＣＰＵ５１１は路面白線認識用プログラムに従って各種演算処理を行う。そして、ＲＯＭ（Read Only Memory）５１６及びＲＡＭ（Random Access Memory）５１７などを内蔵する。ＲＯＭはプログラムなどを格納した読み出し専用メモリである。ＲＡＭ５１７は各種の処理過程で利用するワークエリア、各種データ格納エリアなどを有する読み出し書き込み自在のメモリである。これらがバスラインによって相互接続されている。本実施形態の車載ステレオカメラで実行される視差計算、認識候補領域を設定し、路面白線直線部を認識し、路面白線曲線部を認識する。そして、路面白線直線部と路面白線曲線部とを合成し、路面白線を認識する機能を含むモジュール構成となっている。そして、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から画像処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、路面白線認識結果を出力する。

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様１）
輝度画像取得手段によって取得した輝度画像と視差計算手段によって計算された視差から取得される視差画像とに基づいて、移動体の位置から所定の距離に相当する画面の水平ラインを区画線として、移動体から近い路面部分が映される画像領域を第１認識候補領域と設定するとともに移動体から遠い路面部分が映される画像領域を第２認識候補領域と設定する認識候補領域設定手段と、抽出したエッジに対して直線近似を行って境界線画像部を認識する第１境界線画像部認識手段と、抽出したエッジに対して曲線近似を行って境界線画像部を認識する第２境界線画像部認識手段と、第１境界線画像部認識手段によって認識された境界線画像部に続く仮想の延長線を基準にして境界線画像部の候補画像部を探索する探索範囲を設定する探索範囲設定手段と、第１境界線画像部認識手段によって認識された境界線画像部と、第２境界線画像部認識手段によって認識された境界線画像部とを連結し、連結した全体の線を境界線画像部として出力する境界線画像部出力手段とを有し、認識候補領域設定手段によって設定される第１認識候補領域では、第１認識候補領域内の輝度画像のエッジを抽出し、抽出したエッジに対して第１境界線画像部認識手段によって直線近似を行って境界線画像部を認識し、認識候補領域設定手段によって設定される第２認識候補領域では、第２認識候補領域内の輝度画像のエッジを抽出し、第１境界線画像部認識手段によって抽出したエッジに対して直線近似を行った結果、境界線画像部を認識できなかったときは、探索範囲設定手段によって設定された探索範囲内の輝度画像のエッジを抽出し、抽出したエッジに対して第２境界線画像部認識手段によって曲線近似を行って境界線画像部を認識する。これによれば、上記実施形態について説明したように、移動面の境界線を認識する際に、自車両に近い路面が映される画像領域の直線部認識候補領域４０１において白線直線部候補領域４０３、４０４での境界線は略直線部とみなせる。このため直線部認識候補領域４０１において白線直線部候補領域４０３、４０４においては、境界線の直線近似によって境界線の直線部を認識できる。一方、自車両から遠い路面が映される画像領域の曲線部認識候補領域４０２においては、認識されている直線部の仮想の延長線を基準にした探索範囲内でエッジ抽出処理で抽出して曲線近似を行うことで、境界線の曲線部を認識できる。そして、認識された画像上における境界線の直線部と、認識された画像上における境界線の曲線部とを連結し、連結した全体の線を画像上における境界線の認識結果として出力する。これにより、境界線画像と認識結果の境界線画像部とのズレが小さくでき、移動面上の境界線の認識精度を向上させることができる。
（態様２）
（態様１）において、認識候補領域設定手段は、ステレオ撮像手段によって取得したステレオ画像のいずれか一方の撮像画像から抽出した境界線のエッジの部分と境界線を抽出するために近似した境界線の直線部との差分に基づいて第１認識候補領域と第２認識候補領域とに設定する。これによれば、上記実施形態について説明したように、直線部認識候補領域４０１と曲線部認識候補領域４０２とに設定することで路面白線の直線部、曲線部を精度高く認識することができる。
（態様３）
（態様１）又は（態様２）において、ステレオ撮像手段によって取得したステレオ画像のいずれか一方の撮像画像から抽出した境界線のエッジの部分と境界線を抽出するために近似した境界線の直線部との差分に基づいた閾値を記憶する記憶手段を有し、認識候補領域設定手段は、記憶手段によって記憶された閾値に基づいて第１認識候補領域と第２認識候補領域とに設定する。これによれば、上記実施形態について説明したように、直線部認識候補領域４０１と曲線部認識候補領域４０２とに設定することで路面白線の直線部、曲線部を精度高く認識することができる。
（態様４）
（態様３）において、記憶手段は、ステレオ撮像手段によって取得したステレオ画像のいずれ一方の複数の画像の各々から境界線を抽出するために近似した複数の直線部に基づいた第１認識候補領域に含まれる移動面候補領域を示す情報を記憶し、境界線直線部認識手段は、記憶手段によって記憶された情報によって示される移動面候補領域内において直線部の近似による前記境界線の認識を行う。これによれば、上記実施形態について説明したように、直線部認識候補領域４０１と曲線部認識候補領域４０２とに設定することで路面白線の直線部、曲線部を精度高く認識することができる。
（態様５）
（態様１）〜（態様４）のいずれかの移動面境界線認識装置を、移動体が備えている。これによれば、上記実施形態について説明したように、路面白線を精度良く認識して路面白線を越えて走行車線からの逸脱防止を支援する機能などの様々な機能を実現できる。
（態様６）
輝度画像取得工程によって取得した輝度画像と視差計算工程によって計算された視差から取得される視差画像とに基づいて、移動体の位置から所定の距離に相当する画面の水平ラインを区画線として、移動体から近い路面部分が映される画像領域を第１認識候補領域と設定するとともに移動体から遠い路面部分が映される画像領域を第２認識候補領域と設定する認識候補領域設定工程と、抽出したエッジに対して直線近似を行って境界線画像部を認識する第１境界線画像部認識工程と、抽出したエッジに対して曲線近似を行って境界線画像部を認識する第２境界線画像部認識工程と、第１境界線画像部認識工程によって認識された境界線画像部に続く仮想の延長線を基準にして境界線画像部の候補画像部を探索する探索範囲を設定する探索範囲設定工程と、第１境界線画像部認識工程によって認識された境界線画像部と、第２境界線画像部認識工程によって認識された境界線画像部とを連結し、連結した全体の線を境界線画像部として出力する境界線画像部出力工程とを有し、認識候補領域設定工程によって設定される第１認識候補領域では、第１認識候補領域内の輝度画像のエッジを抽出し、抽出したエッジに対して第１境界線画像部認識工程によって直線近似を行って境界線画像部を認識し、認識候補領域設定工程によって設定される第２認識候補領域では、第２認識候補領域内の輝度画像のエッジを抽出し、第１境界線画像部認識工程によって抽出したエッジに対して直線近似を行った結果、境界線画像部を認識できなかったときは、探索範囲設定工程によって設定された探索範囲内の輝度画像のエッジを抽出し、抽出したエッジに対して第２境界線画像部認識工程によって曲線近似を行って境界線画像部を認識する。これによれば、上記実施形態について説明したように、境界線画像と認識結果の境界線画像部とのズレが小さくでき、移動面上の境界線の認識精度を向上させることができる。
（態様７）
輝度画像取得工程によって取得した輝度画像と視差計算工程によって計算された視差から取得される視差画像とに基づいて、移動体の位置から所定の距離に相当する画面の水平ラインを区画線として、移動体から近い路面部分が映される画像領域を第１認識候補領域と設定するとともに移動体から遠い路面部分が映される画像領域を第２認識候補領域と設定する認識候補領域設定工程と、抽出したエッジに対して直線近似を行って境界線画像部を認識する第１境界線画像部認識工程と、抽出したエッジに対して曲線近似を行って境界線画像部を認識する第２境界線画像部認識工程と、第１境界線画像部認識工程によって認識された境界線画像部に続く仮想の延長線を基準にして境界線画像部の候補画像部を探索する探索範囲を設定する探索範囲設定工程と、第１境界線画像部認識工程によって認識された境界線画像部と、第２境界線画像部認識工程によって認識された境界線画像部とを連結し、連結した全体の線を境界線画像部として出力する境界線画像部出力工程とを有し、認識候補領域設定工程によって設定される第１認識候補領域では、第１認識候補領域内の輝度画像のエッジを抽出し、抽出したエッジに対して第１境界線画像部認識工程によって直線近似を行って境界線画像部を認識し、認識候補領域設定工程によって設定される第２認識候補領域では、第２認識候補領域内の輝度画像のエッジを抽出し、第１境界線画像部認識工程によって抽出したエッジに対して直線近似を行った結果、境界線画像部を認識できなかったときは、探索範囲設定工程によって設定された探索範囲内の輝度画像のエッジを抽出し、抽出したエッジに対して第２境界線画像部認識工程によって曲線近似を行って境界線画像部を認識することをコンピュータによって実行させる。これによれば、上記実施形態について説明したように、境界線画像と認識結果の境界線画像部とのズレが小さくでき、移動面上の境界線の認識精度を向上させることができる。このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。

２００ 路面白線認識装置
２０１ ステレオ画像入力部
２０２ 輝度画像入力部
２０３ 視差画像計算部
２０４ 認識候補領域設定部
２０５ 路面白線直線部認識部
２０６ 路面白線曲線部認識部
２０７ 路面白線合成処理部
２０８ 路面白線認識結果出力部
４０１ 直線部認識候補領域
４０２ 曲線部認識候補領域
４０３ 白線候補領域
４０４ 白線候補領域
４０５ 白線直線部
４０６ 白線直線部
４０７ 延長線
４０８ 延長線
４０９ 探索範囲
４１０ 探索範囲
４１１ 探索範囲
４１２ 探索範囲
４１３ 白線曲線部
４１４ 白線曲線部

特開２００１−０９２９７０号公報

Claims (7)

1. 移動面上を移動する移動体に搭載されたステレオ撮像手段によって取得される前記移動体の前方の画像から、前記移動体が移動する移動面上の境界線に対応する境界線画像部の認識を行う移動面境界線認識装置であって、前記ステレオ撮像手段により前記移動体の前方のステレオ画像のいずれか一方の撮像画像から輝度画像を取得する輝度画像取得手段と、前記ステレオ画像に基づいて視差を計算する視差計算手段とを備える移動面境界線認識装置において、
   前記輝度画像取得手段によって取得した輝度画像と前記視差計算手段によって計算された視差から取得される視差画像とに基づいて、前記移動体の位置から所定の距離に相当する画面の水平ラインを区画線として、前記移動体から近い路面部分が映される画像領域を第１認識候補領域と設定するとともに前記移動体から遠い路面部分が映される画像領域を第２認識候補領域と設定する認識候補領域設定手段と、
   抽出したエッジに対して直線近似を行って前記境界線画像部を認識する第１境界線画像部認識手段と、
   抽出したエッジに対して曲線近似を行って前記境界線画像部を認識する第２境界線画像部認識手段と、
   前記第１境界線画像部認識手段によって認識された前記境界線画像部に続く仮想の延長線を基準にして前記境界線画像部の候補画像部を探索する探索範囲を設定する探索範囲設定手段と、
   前記第１境界線画像部認識手段によって認識された前記境界線画像部と、前記第２境界線画像部認識手段によって認識された前記境界線画像部とを連結し、連結した全体の線を前記境界線画像部として出力する境界線画像部出力手段とを有し、
   前記認識候補領域設定手段によって設定される前記第１認識候補領域では、前記第１認識候補領域内の輝度画像のエッジを抽出し、抽出したエッジに対して前記第１境界線画像部認識手段によって直線近似を行って前記境界線画像部を認識し、
   前記認識候補領域設定手段によって設定される前記第２認識候補領域では、前記第２認識候補領域内の輝度画像のエッジを抽出し、前記第１境界線画像部認識手段によって抽出したエッジに対して直線近似を行った結果、前記境界線画像部を認識できなかったときは、前記探索範囲設定手段によって設定された前記探索範囲内の輝度画像のエッジを抽出し、抽出したエッジに対して前記第２境界線画像部認識手段によって曲線近似を行って前記境界線画像部を認識することを特徴とする移動面境界線認識装置。
2. 請求項１記載の移動面境界線認識装置において、
   前記認識候補領域設定手段は、前記ステレオ撮像手段によって取得したステレオ画像のいずれか一方の撮像画像から抽出した前記境界線のエッジの部分と前記境界線を抽出するために近似した直線の前記境界線画像部との差分に基づいて前記第１認識候補領域と前記第２認識候補領域とに設定することを特徴とする移動面領域境界線認識装置。
3. 請求項１又は２に記載の移動面境界線認識装置において、
   前記ステレオ撮像手段によって取得したステレオ画像のいずれか一方の撮像画像から抽出した前記境界線のエッジの部分と前記境界線を抽出するために近似した直線の前記境界線画像部との差分に基づいた閾値を記憶する記憶手段を有し、前記認識候補領域設定手段は、前記記憶手段によって記憶された前記閾値に基づいて前記第１認識候補領域と前記第２認識候補領域とに設定することを特徴とする移動面境界線認識装置。
4. 請求項３記載の移動面境界線認識装置において、
   前記記憶手段は、前記ステレオ撮像手段によって取得したステレオ画像のいずれか一方の複数の画像の各々から前記境界線を抽出するために近似した複数の直線の前記境界線画像部に基づいた前記第１認識候補領域に含まれる移動面候補領域を示す情報を記憶し、前記境界線直線部認識手段は、前記記憶手段によって記憶された情報によって示される前記移動面候補領域内において直線近似による前記境界線画像部の認識を行うことを特徴とする移動面境界線認識装置。
5. 請求項１〜４のいずれかに記載の移動面境界線認識装置を備えたことを特徴とする移動体。
6. 移動面上を移動する移動体に搭載されたステレオ撮像手段によって取得される前記移動体の前方の画像から、前記移動体が移動する移動面上の境界線に対応する境界線画像部の認識を行う移動面境界線認識方法であって、前記ステレオ撮像手段により前記移動体の前方のステレオ画像のいずれか一方の撮像画像から輝度画像を取得する輝度画像取得工程と、前記ステレオ画像に基づいて視差を計算する視差計算工程とを有する移動面境界線認識方法において、
   前記輝度画像取得工程によって取得した輝度画像と前記視差計算工程によって計算された視差から取得される視差画像とに基づいて、前記移動体の位置から所定の距離に相当する画面の水平ラインを区画線として、前記移動体から近い路面部分が映される画像領域を第１認識候補領域と設定するとともに前記移動体から遠い路面部分が映される画像領域を第２認識候補領域と設定する認識候補領域設定工程と、
   抽出したエッジに対して直線近似を行って前記境界線画像部を認識する第１境界線画像部認識工程と、
   抽出したエッジに対して曲線近似を行って前記境界線画像部を認識する第２境界線画像部認識工程と、
   前記第１境界線画像部認識工程によって認識された前記境界線画像部に続く仮想の延長線を基準にして前記境界線画像部の候補画像部を探索する探索範囲を設定する探索範囲設定工程と、
   前記第１境界線画像部認識工程によって認識された前記境界線画像部と、前記第２境界線画像部認識工程によって認識された前記境界線画像部とを連結し、連結した全体の線を前記境界線画像部として出力する境界線画像部出力工程とを有し、
   前記認識候補領域設定工程によって設定される前記第１認識候補領域では、前記第１認識候補領域内の輝度画像のエッジを抽出し、抽出したエッジに対して前記第１境界線画像部認識工程によって直線近似を行って前記境界線画像部を認識し、
   前記認識候補領域設定工程によって設定される前記第２認識候補領域では、前記第２認識候補領域内の輝度画像のエッジを抽出し、前記第１境界線画像部認識工程によって抽出したエッジに対して直線近似を行った結果、前記境界線画像部を認識できなかったときは、前記探索範囲設定工程によって設定された前記探索範囲内の輝度画像のエッジを抽出し、抽出したエッジに対して前記第２境界線画像部認識工程によって曲線近似を行って前記境界線画像部を認識することを特徴とする移動面境界線認識方法。
7. 移動面上を移動する移動体に搭載されたステレオ撮像手段によって取得される前記移動体の前方の画像から、前記移動体が移動する移動面上の境界線に対応する境界線画像部の認識を行い、前記ステレオ撮像手段により前記移動体の前方のステレオ画像のいずれか一方の撮像画像から輝度画像を取得する輝度画像取得工程と、前記ステレオ画像に基づいて視差を計算する視差計算工程とをコンピュータによって実行させるための移動面境界線認識用プログラムにおいて、
   前記輝度画像取得工程によって取得した輝度画像と前記視差計算工程によって計算された視差から取得される視差画像とに基づいて、前記移動体の位置から所定の距離に相当する画面の水平ラインを区画線として、前記移動体から近い路面部分が映される画像領域を第１認識候補領域と設定するとともに前記移動体から遠い路面部分が映される画像領域を第２認識候補領域と設定する認識候補領域設定工程と、
   抽出したエッジに対して直線近似を行って前記境界線画像部を認識する第１境界線画像部認識工程と、
   抽出したエッジに対して曲線近似を行って前記境界線画像部を認識する第２境界線画像部認識工程と、
   前記第１境界線画像部認識工程によって認識された前記境界線画像部に続く仮想の延長線を基準にして前記境界線画像部の候補画像部を探索する探索範囲を設定する探索範囲設定工程と、
   前記第１境界線画像部認識工程によって認識された前記境界線画像部と、前記第２境界線画像部認識工程によって認識された前記境界線画像部とを連結し、連結した全体の線を前記境界線画像部として出力する境界線画像部出力工程とを有し、
   前記認識候補領域設定工程によって設定される前記第１認識候補領域では、前記第１認識候補領域内の輝度画像のエッジを抽出し、抽出したエッジに対して前記第１境界線画像部認識工程によって直線近似を行って前記境界線画像部を認識し、
   前記認識候補領域設定工程によって設定される前記第２認識候補領域では、前記第２認識候補領域内の輝度画像のエッジを抽出し、前記第１境界線画像部認識工程によって抽出したエッジに対して直線近似を行った結果、前記境界線画像部を認識できなかったときは、前記探索範囲設定工程によって設定された前記探索範囲内の輝度画像のエッジを抽出し、抽出したエッジに対して前記第２境界線画像部認識工程によって曲線近似を行って前記境界線画像部を認識することをコンピュータによって実行させることを特徴とする移動面境界線認識用プログラム。