JP2014096135A - 移動面境界線認識装置、これを用いた移動体機器制御システム、移動面境界線認識方法及び移動面境界線認識用プログラム - Google Patents

Abstract

【課題】境界線画像部と認識結果の境界線画像部とのズレを小さくでき、移動面上の境界線の認識精度を向上させることができる。
【解決手段】自車両１００の位置から所定の距離に相当する画面上の水平仮想線を区画線と設定する。この区画線を用いて、ステレオ撮像手段によって取得された輝度画像上で、自車両に近い路面上が映される第１路面白線候補領域４０１を設定するとともに自車両から遠い路面上が映される第２路面白線候補領域４０２を設定する。第１路面白線候補領域４０１では路面白線直線部認識部２０７によって輝度画像上の輝度エッジに対して直線近似を行って境界線画像部の直線部を認識する。第２路面白線候補領域４０２では路面白線曲線部認識部２０８によって、境界線画像部の直線部と区画線とが交差した箇所を起点にし、輝度画像上の輝度エッジに対して曲線近似を行って境界線画像部の曲線部を認識する。
【選択図】図４

Description

本発明は、移動体の前方を撮像手段により撮像した撮像画像に基づいて移動体の移動面における境界線を認識する移動面境界線認識装置、移動面境界線認識方法及び移動面境界線認識用プログラムに関するものである。

従来、自車両（移動体）の前方を撮影した撮像画像に基づいて対象物を認識する対象物認識装置は、例えば、車両の運転者の運転負荷を軽減させるための、ＡＣＣ（Adaptive Cruise Control）等の運転者支援システムなどに利用されている。この運転者支援システムは、自車両が障害物等に衝突することを回避したり、衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能を有する。更には、先行車両との車間距離を維持するための自車速度調整機能、自車が走行している走行車線を区画する路面（移動面）上の路面白線（境界線）を認識して路面白線を越えて走行車線からの逸脱防止を支援する機能などの様々な機能を実現する。

特許文献１には路面上の白線を認識する車線認識装置が開示されている。この特許文献１の車線認識装置では、ステレオ撮像手段によって自車両の前方の景観を撮像し、ステレオ撮像手段により撮像して得た一画面に相当する画像を複数の区画（画像領域）に分割する。各区画は、ステレオ画像に基づいて算出した距離情報に基づいて自車の位置から一定の距離間隔ごとに設定した各区画線に相当する画面の水平仮想線によって分割されている。そして、各区画内の輝度画像に基づいて、路面白線の端部に相当する輝度エッジを抽出し、抽出した輝度エッジに対して直線近似を行って路面白線画像部（境界線画像部）を認識している。

しかしながら、上記特許文献１の車線認識装置では、路面上の白線を撮像して得られた画像の各区画内の輝度エッジを抽出し、抽出した輝度エッジに対して直線近似を行って路面白線画像部を認識している。このため、路面上でカーブしている曲線の路面白線を認識する場合でも、認識した各区画内の直線近似した結果の近似直線を順に連結した折れ線状の路面白線画像部として認識している。このように認識された折れ線状の白線画像部は、実際の曲線の路面白線画像部とのズレが大きく、車線の認識精度が下がってしまう。これでは、運転者支援システムに利用することは難しい。

本発明は以上の問題点に鑑みなされたものであり、その目的は以下のとおりである。境界線画像部と認識結果の境界線画像部とのズレを小さくでき、移動面上の境界線の認識精度を向上させることができる、移動面境界線認識装置、これを用いた移動体機器制御システム、移動面境界線認識方法及び移動面境界線認識用プログラムを提供することである。

上記目的を達成するために、請求項１の発明は、移動面上を移動する移動体に搭載された撮像手段によって取得される前記移動体の前方の画像から前記移動体が移動する移動面上の境界線を認識する移動面境界線認識装置において、前記移動体の前方の画像で、前記移動体から近い路面部分が写っている第１画像領域と、前記移動体から遠い路面部分が写っている第２画像領域とを区画する区画線を設定する区画線設定手段と、前記第１画像領域の画像部に対して直線近似を行って前記境界線画像部の直線部を認識する境界線直線部認識手段と、前記第２画像領域の画像部に対して曲線近似を行って前記境界線画像部の曲線部を認識する境界線曲線部認識手段とを備えることを特徴とするものである。

本発明によれば、境界線画像と認識結果の境界線画像部とのズレが小さくでき、移動面上の境界線の認識精度を向上させることができる、という特有な効果が得られる。

車載機器制御システムの概略構成を示す模式図である。 同車載機器制御システムを構成する撮像ユニット及び画像解析ユニットの概略構成を示す模式図である。 同撮像ユニットの撮像部における画像センサを光透過方向に対して直交する方向から見たときの模式拡大図である。 実施例１の路面白線認識装置の構成を示すブロック図である。 実施例１における路面白線直線部候補領域テーブルを示す図である。 実施例１の路面白線認識装置の動作を示すフローチャートである。 （ａ）は左のカメラレンズと画像センサからステレオ画像、（ｂ）は右のカメラレンズと画像センサからステレオ画像を示す図である。 測距演算の原理を説明する図である。 輝度画像上における直線近似及び曲線近似を説明する図である。 順次行う曲線近似を説明する図である。 認識結果の画像を示す図である。 路面白線直線部候補領域テーブルを作成する工程を示すフローチャートである。 輝度画像上のエッジ抽出処理結果を示す図である。 輝度画像上の路面白線直線部の例を示す図である。 実施例２の路面白線認識装置の構成を示すブロック図である。 実施例２における路面白線直線部候補領域テーブルを示す図である。 実施例２の路面白線認識装置の動作を示すフローチャートである。 道路種類情報出力装置の一例を示すブロック図である。 ステレオカメラのハードウェア構成を示すブロック図である。

以下、本発明に係る移動面境界線認識装置としての路面白線認識装置を、移動体機器制御システムとしての車載機器制御システムに用いた一実施形態について説明する。なお、本発明に係る移動面境界線認識装置は、移動体機器制御システムに限らず、例えば撮像画像に基づいて物体検出を行う物体検出装置を搭載したその他のシステムにも適用できる。

図１は車載機器制御システムの概略構成を示す模式図である。
図１に示す車載機器制御システムは、走行する自車両１００の進行方向前方領域を撮像領域として撮像する撮像手段としての撮像ユニット１０１が設けられている。この撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０３のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データ等の各種データは、画像処理手段としての画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、自車両１００の前方に存在する他車両の位置、方角、距離を算出したり、撮像領域内に存在する路面上の白線等の車線境界線等を検出したりする。他車両の検出では、視差画像に基づいて路面上の対象物を車両として検出する。

また、画像解析ユニット１０２の算出結果は、移動体機器制御手段としての車両走行制御ユニット１０４にも送られる。車両走行制御ユニット１０４は、画像解析ユニット１０２が検出した歩行者や走行車両等の認識対象物の検出結果に基づいて、自車両１００が障害物に衝突しそうな場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。

図２は、撮像ユニット１０１及び画像解析ユニット１０２の概略構成を示す模式図である。
撮像ユニット１０１は、第１撮像部１１０Ａ、第２撮像部１１０Ｂを備えたステレオカメラであり、第１撮像部１１０Ａ、第２撮像部１１０Ｂの構成は同一のものである。第１撮像部１１０Ａ、第２撮像部１１０Ｂは、それぞれ、第１撮像レンズ１１１Ａ、第２撮像レンズ１１１Ｂと、撮像素子が２次元配置された第１画像センサ１１２Ａ、第２画像センサ１１２Ｂと、第１画像センサ１１２Ａ、第２画像センサ１１２Ｂが設けられた第１センサ基板１１３Ａ、第２センサ基板１１３Ｂと、第１センサ基板１１３Ａ、第２センサ基板１１３Ｂから出力されるアナログ電気信号（第１画像センサ１１２Ａ、第２画像センサ１１２Ｂ上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する第１信号処理部１１４Ａ、第２信号処理部１１４Ｂとから構成されている。撮像ユニット１０１からは、輝度画像データが出力される。

また、撮像ユニット１０１は、ＦＰＧＡ（Field-Programmable Gate Array）等からなる処理ハードウェア部１２０を備えている。この処理ハードウェア部１２０は、第１撮像部１１０Ａ、第２撮像部１１０Ｂから出力される輝度画像データから視差画像を得るために、第１撮像部１１０Ａ、第２撮像部１１０Ｂでそれぞれ撮像した撮像画像間の対応画像部分の視差値を演算する視差演算部１２１を備えている。ここでいう視差値とは、第１撮像部１１０Ａ、第２撮像部１１０Ｂでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。

一方、画像解析ユニット１０２は、撮像ユニット１０１から出力される輝度画像データ及び視差画像データを記憶するメモリ１３０と、認識対象物の認識処理や視差計算制御などを行うソフトウェアを内蔵したＭＰＵ（Micro Processing Unit）１４０とを備えている。ＭＰＵ１４０は、メモリ１３０に格納された輝度画像データ及び視差画像データを用いて本実施形態に係る路面白線の認識処理を実行する。

図３は、第１画像センサ１１２Ａ、第２画像センサ１１２Ｂとを光透過方向に対して直交する方向から見たときの模式拡大図である。
第１画像センサ１１２Ａ、第２画像センサ１１２Ｂは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その撮像素子（受光素子）にはフォトダイオード１１２ａを用いている。フォトダイオード１１２ａは、撮像画素ごとに２次元的にアレイ配置されており、フォトダイオード１１２ａの集光効率を上げるために、各フォトダイオード１１２ａの入射側にはマイクロレンズ１１２ｂが設けられている。第１画像センサ１１２Ａ、第２画像センサ１１２Ｂがワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されて第１センサ基板１１３Ａ、第２センサ基板１１３Ｂが形成されている。

次に、本発明の特徴部分である、移動面境界線認識装置としての路面白線認識装置について説明する。
（実施例１）
次に、上記実施形態における路面白線認識装置の一実施例（以下、本実施例を「実施例１」という。）について説明する。
図４は、実施例１の路面白線認識装置の構成を示すブロック図である。図４に示す実施例１の路面白線認識装置は、図２における処理ハードウェア部１２０及び画像解析ユニット１０２によって実現される。同図において、実施例１の路面白線認識装置２００は、ステレオ画像入力部２０１、輝度画像入力部２０２、視差画像計算部２０３、認識候補領域設定部２０４、路面白線直線部候補領域記憶部２０５、区画線設定部２０６、路面白線直線部認識部２０７、路面白線曲線部認識部２０８、路面白線合成処理部２０９及び路面白線認識結果出力部２１０を有している。ステレオ画像入力部２０１では、図２の撮像レンズ及び画像センサを有する第１撮像部１１０Ａ、第２撮像部１１０Ｂを備えるステレオカメラ（不図示）からステレオ画像が入力される。輝度画像入力部２０２では、ステレオ画像の左画像又は右画像から取得した輝度画像がステレオ画像入力部２０１から入力される。入力されたステレオ画像や輝度画像は、ステレオカメラのメモリに保存される。視差計算手段としての視差画像計算部２０３は、図２の処理ハードウェア部１２０における視差演算部１２１に相当し、ステレオ画像入力部２０１に入力されたステレオ画像を用いて、撮影対象が左右画像での結像位置の差である視差値を計算する。

認識候補領域設定部２０４では、視差画像計算部２０３で計算された視差値を有する画素データで作成される視差画像上において、所定の視差閾値を用いて自車両の位置から所定の距離に相当する画面上の水平仮想線を区画線と設定し、この区画線を用いて画像領域としての２つの認識候補領域に分割する。記憶手段としての路面白線直線部候補領域記憶部２０５では、図５に示すように、上記所定の視差閾値ΔＴＨと、左側路面白線の路面白線直線部候補領域を輝度画像上で定めるための点Ａ、点Ｂ、点Ｃ、点Ｄの頂点座標と、右側路面白線の路面白線直線部候補領域を輝度画像上で定めるための点Ｅ、点Ｆ、点Ｇ、点Ｈの頂点座標とがメモリテーブル上に記憶されている。区画線設定手段としての区画線設定部２０６では、視差画像上で、路面白線直線部候補領域記憶部２０５に記憶されている視差閾値ΔＴＨを用いて上記区画線を設定する。境界線直線部認識手段としての路面白線直線部認識部２０７では、認識候補領域設定部２０４によって設定された自車両に近い認識候補領域内の輝度画像上で、路面白線画像部における直線部の認識を行う。路面白線曲線部認識手段としての路面白線曲線部認識部２０８では、自車両から遠い認識候補領域内の輝度画像上で、路面白線画像部における曲線部の認識を行う。路面白線合成処理部２０９では、路面白線直線部認識部２０７の認識結果の路面白線画像部における直線部と、路面白線曲線部認識部２０８の認識結果である路面白線画像部における曲線部とを連結させて互いを合成し、路面白線認識結果を作成する。路面白線認識結果出力部２１０は路面白線認識結果を出力する。

次に、実施例１の路面白線認識装置の動作について当該動作フローを示す図６に従って説明する。図７は図２のステレオカメラで撮像した自車両の前方のステレオ画像であり、図７（ａ）は図２の第１撮像部１１０Ａで撮像した左画像であり、図７（ｂ）は図２の第１撮像部１１０Ｂで撮像した右画像である。図４のステレオ画像入力部２０１には、自車両の前方を撮像したステレオ画像が入力される（ステップＳ１０１）。具体的には、自車両に搭載されたステレオカメラから、例えば図７に示すようなステレオ画像が入力される。ステレオ画像において同じ被写体が左右の上記画像センサで異なる結像位置に結像されている。そして、図４の輝度画像入力部２０２によって、ステレオ画像のうち、図７（ａ）の左画像もしくは図７（ｂ）の右画像のいずれかの撮像画像から取得した輝度画像が入力される（ステップＳ１０２）。なお、入力されたステレオ画像や輝度画像は、ステレオカメラのメモリに保存される。視差画像計算部２０３によって、ステレオ画像入力部２０１に入力されたステレオ画像を用いて、対象画像における左右画像の各結像位置の差である視差を計算する（ステップＳ１０３）。具体的には、左右の撮像レンズによって結像されたステレオ画像の同じ部分について、ブロックマッチング法によって視差値を画素値とした視差画像を求める。ブロックマッチング法とは、左右画像をブロックで分割し、左右画像でのブロックの類似度が一番大きいとき、ブロックがブロックマッチングした部分から視差値を求める方法である。例えば、１２８０×９６０画素の画像に対して５×５サイズのブロックで分割する。分割した各ブロックごとで視差値を求める。なお、ブロックのサイズの最適値は、実験等で設定する。視差値の求める方法としては、図８に示すように、三角測量の原理を利用し、被写体上にあるＯ点に対する左右画像での結像位置と結像中心との距離Δ１、Δ２を求め、視差値Δは、Δ＝Δ１＋Δ２と計算される。以上により画素ごとに視差値を計算し視差値を画素値とした視差画像を作成する。

次に、区画線設定部２０６では、路面白線直線部候補領域記憶部２０５から視差閾値ΔＴＨを読み出し、視差画像上で視差閾値ΔＴＨ以上の視差値の画素を検出する。視差閾値ΔＴＨ以上の視差値の画素のうち視差画像上での上端部にある複数の画素を仮想水平線で結び、その仮想水平線を区画線として設定する。認識候補領域設定部２０４では、上記区画線を境にして、図９に示す輝度画像上の全体の画像領域を２つに分け、輝度画像の区画線より下部分を第１路面白線候補領域４０１とし、区画線より上部分を第２路面白線候補領域４０２と設定する。更には、路面白線直線部候補領域記憶部２０５に記憶されている左側路面白線の直線部候補領域を輝度画像上で定めるための点Ａ、点Ｂの頂点座標と、右側路面白線の直線部候補領域を輝度画像上で定めるための点Ｅ、点Ｆの頂点座標と、上記設定した区画線とに基づいて、輝度画像上の点Ａ点Ｂ、点Ｅ点Ｆの座標を求める。さらに、路面白線直線部候補領域記憶部２０５に記憶されている左側路面白線の直線部候補領域を輝度画像上で定めるための点Ｃ、点Ｄの頂点座標と、右側路面白線の直線部候補領域を輝度画像上で定めるための点Ｇ、点Ｈの頂点座標とに基づいて、輝度画像上の点Ｃ点Ｄ、点Ｇ点Ｈの座標を求める。図９（ａ）に示すように、求めた点Ａ、点Ｂ、点Ｃ、点Ｄで囲まれた画像領域の第１路面白線直線部候補領域４０３を設定し、かつ求めた点Ｅ、点Ｆ、点Ｇ、点Ｈで囲まれた画像領域の第２路面白線直線部候補領域４０４を設定する。（ステップＳ１０４）。第１路面白線直線部候補領域４０３及び第２路面白線直線部候補領域４０４の画像の２値化処理を行って輝度エッジを求め、輝度エッジに対してＨｏｕｇｈ変換処理の直線近似を行うことにより、左側路面白線の第１路面白線直線部４０５及び右側路面白線の第２路面白線直線部４０６を認識する（ステップＳ１０５）。

次に、図４の路面白線曲線部認識部２０８では、図９（ａ）に示すように、輝度画像上で、路面白線直線部認識部２０７で認識した第１路面白線直線部４０５の延長線である第１延長線４０７、第２路面白線直線部４０６の延長線である第２延長線４０８の近傍付近で、輝度エッジの抽出処理を行う。抽出した輝度エッジに対して多項式近似で曲線近似の処理を行って（ステップＳ１０６）。この多項式近似は、曲線を示すデータの変動に応じて次数が増え、複雑な曲線近似に適している近似方法である。路面白線曲線部認識を詳細に説明すると、図９（ｂ）に示すように、第１路面白線直線部４０５から延びて区画線と交差した点Ｈ１と、点Ｈ１から延び所定の距離にある探索点の点Ｈ２とを結ぶ仮想の第１延長線４０７を設定する。また、第２路面白線直線部４０６から延びて区画線と交差した点Ｈ３と、点Ｈ３から延び所定の距離にある探索点の点Ｈ４とを結ぶ仮想の第２延長線４０８を設定する。さらに、点Ｈ１を頂点としての仮想の第１延長線４０７に対してなす角度である所定の探索角度θ_０を定め、かつ点Ｈ３を頂点としての仮想の第２延長線４０８に対してなす所定の探索角度θ_０を定める。これらの所定の探索点及び所定の探索角度に基づいて起点としての点Ｈ１からの第１探索範囲４０９、かつ起点としての点Ｈ３からの第２探索範囲４１０を設定する。これらの探索範囲は、図９中点線で囲んで示されている。そして、これらの第１探索範囲４０９及び第２探索範囲４１０において、多項式近似で曲線の候補画素を探索して、各候補画素を繋げて第１路面白線曲線部４１１及び第２路面白線曲線部４１２を認識する。

次の路面白線曲線部の認識では、第１路面白線曲線部４１１及び第２路面白線曲線部４１２が第１探索範囲４０９の範囲枠及び第２探索範囲４１０の範囲枠に交差する点Ｈ５、Ｈ６を探索する。図１０に示すように、それらの点Ｈ５、点Ｈ６を起点として、所定の探索全角度θ_１による第３探索範囲４１３及び第４探索範囲４１４を設定する。その探索範囲内の輝度エッジに対して多項式近似を用いた曲線近似を行い路面白線曲線部の候補画素を探索する。探索した各候補画素を繋げて路面白線曲線部をそれぞれ認識する。このように認識された路面白線曲線部の探索範囲との交差する画素の点を起点として探索全角度を設定して探索範囲を順次設定してその探索範囲内で曲線近似を行い、図９の第２路面白線候補領域４０２において路面白線曲線部を認識する。曲線近似は、直線部または曲線部の終点を起点としての探索角度による探索範囲を設定してその探索範囲内でのエッジ抽出による曲線近似を用いた。その他の曲線近似の仕方としては、直線部または曲線部の終点を起点としてその終点を少なくとも含む矩形の探索範囲内でのエッジ抽出による曲線近似を行う。この矩形の各頂点の一つを起点として上記曲線探索と同様に繰り返す。図４の路面白線合成処理部２０９によって、認識した路面白線直線部と路面白線曲線部とを互いにつないで合成する（ステップＳ１０７）。図４の路面白線認識結果出力部２１０によって、図１１に示すような第１路面白線５０１、第２路面白線５０２の認識結果を出力する（ステップＳ１０８）。

なお、路面白線曲線部を認識するとき、探索範囲にノイズの点や複数曲線が存在する場合、路面白線曲線部の抽出の精度が落ちてしまう。孤立ノイズの点を使うと、多項式近似を用いるときの近似式の誤差が増える。そのため、孤立した点を見つけてその点を削除する。

ここで、平均視差値と第１路面白線直線部候補領域４０３及び第２路面白線直線部候補領域４０４との学習方法について、図９を用いて説明する。事前入力した路面白線を含む輝度画像から白線直線部において、第１路面白線直線部４０５の端部の点Ｈ１と、第２路面白線直線部４０６の端部の点Ｈ３との視差値の平均を求める。その視差値の平均を視差閾値として図５示す路面白線直線部候補領域テーブルに保存する。第１路面白線直線部候補領域４０３及び第２路面白線直線部候補領域４０４も事前入力した白線直線を含む画像から白線直線部を入力し、入力した直線座標の平均値の第１路面白線直線部候補領域４０３及び第２路面白線直線部候補領域４０４の頂点座標を図５に示す路面白線直線部候補領域テーブルに保存する。ただし、視差閾値ΔＴＨの位置と、点Ａと点Ｂとを結ぶ直線、点Ｅと点Ｆとを結ぶ直線の高さが異なるとき、どちらかの位置の低い位置の視差値を視差閾値とする。

次に、図５に示す路面白線直線部候補領域テーブルを作成する方法について、路面白線直線部候補領域テーブルを作成する工程を示す図１２に従って説明する。
はじめに、学習用路面白線画像を撮影したステレオ画像を入力する（ステップＳ３０１）。左右のいずれかの画像における輝度画像において輝度エッジを抽出する（ステップＳ３０２）。抽出した輝度エッジに対して直線近似を行って直線部を近似する（ステップＳ３０３）。そして、近似して得られた直線の上端部における平均の視差値を算出する（ステップＳ３０４）。この算出した平均の視差値を視差閾値とする。そして、左側路面白線の路面白線直線部候補領域及び右側路面白線の路面白線直線部候補領域を設定する（ステップＳ３０５、Ｓ３０６）。設定した左側路面白線の路面白線直線部候補領域を定めるための点Ａ、点Ｂ、点Ｃ、点Ｄの頂点座標、右側路面白線の路面白線直線部候補領域を輝度画像上で定めるための点Ｅ、点Ｆ、点Ｇ、点Ｈの頂点座標を下記の路面白線直線部候補領域の設定方法により設定し、これらの頂点座標及び視差閾値を記憶した路面白線直線部候補領域テーブルを作成する（ステップＳ３０７）。

次に、路面白線直線部候補領域を設定する方法について説明する。ここで用いるエッジ抽出フィルターリング処理の一例として、輪郭を検出するＳｏｂｅｌフィルターリング処理を用いる。図１３はエッジ抽出処理結果を示す図である。図１３中の実線は左側路面白線の直線候補線を示し、点線は左側路面白線の近似直線を示す。抽出した輝度エッジからサンプル画像の輝度画像上で左側路面白線の直線部を直線近似する。直線部を直線近似するために直線近似の一つであるＨｏｕｇｈ変換を用いる。抽出した点線の左側路面白線の直線部と、候補点を結んだ実線の直線候補線との間では、水平方向の距離の平均二乗法（ＲＭＳＥ：Root Mean Square Error）を行う。そして、任意に設定した閾値ＴＨ以下であれば、この学習サンプルの路面左側における路線白線の直線部とする。

ここで、下記の式（１）のようにＲＭＳＥを計算する。
ｘｉは高さｙの実線の直線候補上のｘ座標値であり、ｘｌｉは近似直線の高さｙでのｘ座標値である。高さｙを変えながら、実線の直線候補線ＡＣの長さを変化させながら、上記の式（１）を計算する。そして、下記の式（２）を満足するとき、直線ＣＢは近似直線とする。
ＲＭＳＥ ≦ ＴＨ （２）
直線ＣＢはこの学習サンプルの左側の路面白線の直線部とする。同様に、右側路面白線の直線部を抽出する。閾値ＴＨは設定パラメータであり、例としては７画素を設定する。閾値ＴＨの調整により、直線部の長さを調整できる。閾値ＴＨを小さくすれば、直線の長さは短くなる。閾値ＴＨを大きく設定すれば、直線部の長さは長くなる。図１４は複数の学習サンプルにおける路面白線の画像サンプルから計算した左側直線部の結果を示す図である。各学習サンプルの直線と直線候補のＲＭＳＥは上記の式（２）の条件により抽出した直線部である。そして、図１３に示すように、抽出した直線部の両端の点Ａ、点Ｃの座標を定める。直線部の上端部の点Ａが対応する視差画像上の視差値をΔｉとする。以上の処理を路面白線のｎ（ｎは正の整数）個の画像サンプルに対して行い、路面右側の路面白線候補から直線部をそれぞれ抽出し、得られた左右の各学習サンプルの路面白線画像サンプルの白線直線部の各直線における高い頂点座標、視差値Δｉの平均の視差値Δを下記の式（３）のように求める。
平均の視差値Δでの場所で水平の仮想線を引く。各学習サンプルにおける路面白線画像で計算した直線部候補の一番左直線との交差点を点Ａ（ｘｈ_ｍｉｎ,ｙｈ）と一番右側の直線の高い頂点を点Ｂ（ｘｈ_ｍａｘ,ｙｈ）を得られる。それぞれの直線の下部分の頂点、画面の枠との交差点を点Ｃ、点Ｄとする。同じように右側の直線部における平均の視差値Δでの頂点の点Ｅ、点Ｆを求める。それぞれ右側直線と画面の交差点を点Ｇ、点Ｈとする。このように求めた点Ａ、点Ｂ、点Ｃ、点Ｄの座標値を、左側路面白線の路面白線直線部候補領域を定めるための点Ａ、点Ｂ、点Ｃ、点Ｄの頂点座標として、図５の路面白線直線部候補領域テーブルに保存する。また、求めた点Ｅ、点Ｂ、点Ｃ、点Ｄの座標値を、右側路面白線の路面白線直線部候補領域を定めるための点Ｅ、点Ｆ、点Ｇ、点Ｈの頂点座標として、図５の路面白線直線部候補領域テーブルに保存する。更に、平均の視差値を視差閾値ΔＴＨとして、図５の路面白線直線部候補領域テーブルに保存する。

（実施例２）
次に、実施形態における路面白線認識装置の一実施例（以下、本実施例を「実施例２」という。）について説明する。
図１５は、実施例２の路面白線認識装置の構成を示す図である。同図に示す実施例２の路面白線認識装置２００は、図４に示す実施例１の路面白線認識装置と異なる構成要素として、道路種類情報入力部２１１及び路面白線直線部候補領域記憶部２１２を備えている。実施例２の路面白線認識装置２００では、道路の種類、例えば高速道路、市街地道路、山道、急カーブなどの道に適した近似処理を行い、移動面上の路面白線をより正確に認識するものである。道路種類情報入力部２１１では、操作者によって手入力する装置や外部情報に基づく道路種類出力装置から、道路の種類情報が入力される。路面白線直線部候補領域記憶部２１２には、図１６（ａ）〜（ｄ）に示すように、道路種類毎に、左側路面白線の路面白線直線部候補領域を定めるための点Ａ、点Ｂ、点Ｃ、点Ｄの頂点座標、右側路面白線の路面白線直線部候補領域を輝度画像上で定めるための点Ｅ、点Ｆ、点Ｇ、点Ｈの頂点座標、及び区画線の位置を定めるための視差閾値が、それぞれ記憶されている。

次に、実施例２の路面白線認識装置の動作について当該動作フローを示す図１７に従って説明する。
図１５のステレオ画像入力部２０１には、自車両の前方を撮像したステレオ画像が入力される（ステップＳ３０１）。ステレオ画像において同じ被写体が左右の上記画像センサで異なる結像位置に結像されている。そして、輝度画像入力部２０２によって、ステレオ画像のうち、左画像もしくは右画像のいずれかの撮像画像から取得した輝度画像が入力される（ステップＳ３０２）。なお、入力されたステレオ画像や輝度画像は、ステレオカメラのメモリに保存される。視差画像計算部２０３によって、ステレオ画像入力部２０１に入力されたステレオ画像を用いて、対象画像における左右画像の各結像位置の差である視差を計算する（ステップＳ３０３）。次に、道路種類情報入力部２１１に入力された道路の種類情報を取得する（ステップＳ３０４）。その取得した道路の種類情報に応じて、路面白線直線部候補領域記憶部２０５の図１６（ａ）〜（ｄ）に示す路面白線認識候補領域テーブルを選択する。選択した路面白線認識候補領域テーブルに記憶されている左側路面白線の路面白線直線部候補領域を定めるための点Ａ、点Ｂ、点Ｃ、点Ｄの頂点座標、右側路面白線の路面白線直線部候補領域を輝度画像上で定めるための点Ｅ、点Ｆ、点Ｇ、点Ｈの頂点座標、及び区画線の位置を定めるための視差閾値を読み出す。

区画線設定部２０６では、読み出した視差閾値ΔＴＨ以上の視差値の画素を視差画像上で検出する。視差閾値ΔＴＨ以上の視差値の画素のうち視差画像上での上端部にある複数の画素を仮想水平線で結び、その仮想水平線を区画線として設定する。認識候補領域設定部２０４によって、上記区画線を境にして、輝度画像上の全体の画像領域を２つに分け、図９に示すように輝度画像の区画線より下部分を第１路面白線候補領域４０１とし、区画線より上部分を第２路面白線候補領域４０２と設定する（ステップＳ３０５）。更に、左側路面白線の直線部候補領域を輝度画像上で定めるための点Ａ、点Ｂの頂点座標と、右側路面白線の直線部候補領域を輝度画像上で定めるための点Ｅ、点Ｆの頂点座標と、上記設定した区画線とに基づいて、輝度画像上の点Ａ点Ｂ、点Ｅ点Ｆの座標を求める。路面白線直線部候補領域記憶部２０５に記憶されている左側路面白線の直線部候補領域を輝度画像上で定めるための点Ｃ、点Ｄの頂点座標と、右側路面白線の直線部候補領域を輝度画像上で定めるための点Ｇ、点Ｈの頂点座標とに基づいて、輝度画像上の点Ｃ点Ｄ、点Ｇ点Ｈの座標を求める。図９（ａ）に示すように、求めた点Ａ、点Ｂ、点Ｃ、点Ｄで囲まれた画像領域の第１路面白線直線部候補領域４０３を設定し、かつ求めた点Ｅ、点Ｆ、点Ｇ、点Ｈで囲まれた画像領域の第２路面白線直線部候補領域４０４を設定する。第１路面白線直線部候補領域４０３及び第２路面白線直線部候補領域４０４の画像の２値化処理を行って輝度エッジを求め、輝度エッジに対してＨｏｕｇｈ変換処理の直線近似を行うことにより、左側路面白線の第１路面白線直線部４０５及び右側路面白線の第２路面白線直線部４０６を認識する（ステップＳ３０６）。次に、路面白線曲線部認識部２０８によって、路面白線直線部認識部２０７で認識した路面白線直線部の図９の第１延長線４０７及び第２延長線４０８の近傍付近で、エッジ抽出処理を行う。エッジ抽出した結果を用いて、多項式近似で曲線近似を行う（ステップＳ３０７）。路面白線合成処理部２０９によって、認識した路面白線直線部と路面白線曲線部とをつないで合成する（ステップＳ３０８）。路面白線認識結果出力部２１０によって、図１１に示すような第１路面白線５０１、第２路面白線５０２の認識結果を出力する（ステップＳ３０９）。以上により、実施例２によれば、走行している道路に適した近似処理を行い、移動面上の白線画像部を正確に認識することができる。

なお、図１６（ａ）〜（ｄ）に示す、高速道路、市街地道路、山道、急カーブなどの道路の種類毎に路面白線直線部候補領域テーブルは、図１２に示す上記作成工程と同様に作成される。道路種類ごとの学習用路面白線画像を撮影し、それぞれのサンプル画像を用いて、各道路種類毎の路面白線直線部候補領域テーブルは作成される。また、例えば高速道路でも直線部分の多い高速道路、あるいは曲線部分の多い高速道路がある。そのため、高速道路用の中に、複数種類の路面白線直線部候補領域テーブルを作成してもよい。

図１８は、道路種類情報出力装置の一例を示すブロック図である。同図において、道路種類情報出力装置６００は、カーナビゲーションデータ入力部６０１、ＧＰＳデータ入力部６０２、道路種類判別部６０３及び道路種類情報出力部６０４を含んで構成されている。カーナビゲーションデータ入力部６０１は、記憶媒体、加速度センサ、ジャイロ、車速度検出手段、ハンドル角検知センサ及び主制御部を含んで構成するカーナビゲーションからの自車の位置データを道路種類判別部６０３に出力する。なお、カーナビゲーションにおいて、ＣＤ−ＲＯＭ、ＨＤＤなどの記憶媒体には地図データが記憶され、加速度センサは車の曲がって走行した際の曲がり曲率半径を検出する。ジャイロは車両の上下動を検出し、車速度検出手段は車輪の回転信号に基づいて車速度を検出する。ハンドル角検知センサは曲がり曲率半径を検出する。カーナビゲーションデータ入力部６０１は、曲率半径、上下動、車速度などのデータに基づいて自車の位置を検出し、検出した自車の位置を地図データに照合させて地図上の自車の位置データを道路種類判別部６０３に出力する。ＧＰＳデータ入力部６０２は、ＧＰＳ（Global Positioning System（全地球測位システム））の位置データを取得する。そのＧＰＳの位置データにより、加速度センサ、ジャイロ、車輪の回転に伴う車速信号などの情報から取得している自車の位置データを、より精度良くすることができる。その自車の位置データを道路種類判別部６０３に出力する。道路種類判別部６０３では、入力された地図上の自車の位置データに基づいて地図上で自車が走行している道路の種類を判別する。判別の結果に基づいて高速道路情報６０４−１、市街地道路情報６０４−２、山道情報６０４−３、急カーブ情報６０４−４の道路種類情報を道路種類情報出力部６０４を介して図１２の道路種類情報入力部２１１に出力する。そして、道路種類判別部６０３で判別した道路種類情報を用いて、その道路種類情報に対応する路面白線直線部候補領域テーブルから、直線視差値及び左右の白線直線部候補領域の頂点座標を読み込み、直線近似による直線部抽出処理を行う。

次に、上述した路面白線を認識するために車載ステレオカメラ撮像装置の一例であるステレオカメラのハードウェア構成について説明する。図１９はステレオカメラのハードウェア構成を示すブロック図である。図１９に示すように、被写体光は、図２の第１撮像レンズ１１１Ａ、第２撮像レンズ１１１Ｂに相当するステレオカメラの左右の第１撮像レンズ７０１、第２撮像レンズ７０２を通して、図２の第１画像センサ１１２Ａ、第２画像センサ１１２Ｂに相当する第１ＣＭＯＳ（Complementary Metal Oxide Semiconductor）７０３、第２ＣＭＯＳ７０４に入射される。第１ＣＭＯＳ７０３と第２ＣＭＯＳ７０４は、撮像面に結像された光学像を電気信号に変換して、アナログの画像データとして出力する。そして、図２の第１信号処理部１１４Ａ、第２信号処理部１１４Ｂは、第１ＣＤＳ（Correlated Double Sampling:相関２重サンプリング）回路７０５、第２ＣＤＳ回路７０６、第１Ａ／Ｄ変換器７０７、第２Ａ／Ｄ変換器７０８、第１画像処理回路７０９、第２画像処理回路７１０をそれぞれ含んで構成されている。図２の処理ハードウェア部１２０及びＭＰＵ１４０は、ＣＰＵ（Central Processing Unit）７１１、ＳＤＲＡＭ（SynchronousＤＲＡＭ）７１２、圧縮伸張回路７１３、ＲＯＭ（Read Only Memory）７１６、ＲＡＭ（Random Access Memory）７１７及びタイミング信号発生器７１８を含んで構成されている。第１ＣＭＯＳ７０３と第２ＣＭＯＳ７０４から出力されたアナログの画像データは、第１ＣＤＳ回路７０５、第２ＣＤＳ回路７０６によりノイズ成分を除去され、第１Ａ／Ｄ変換器７０７、第２Ａ／Ｄ変換器７０８によりデジタル値に変換された後、第１画像処理回路７０９、第２画像処理回路７１０に対して出力される。第１画像処理回路７０９、第２画像処理回路７１０は、画像データを一時格納するＳＤＲＡＭ７１２を用いて、YCrCb変換処理や、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う。なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。

また、信号処理、画像処理が施された画像情報は、圧縮伸張回路７１３を介して、メモリカード７１４に記録される。圧縮伸張回路７１３は、第１画像処理回路７０９、第２画像処理回路７１０から出力される画像情報を圧縮してメモリカード７１４に出力すると共に、メモリカード７１４から読み出した画像情報を伸張して第１画像処理回路７０９、第２画像処理回路７１０に出力する回路である。また、第１ＣＭＯＳ７０３、第２ＣＭＯＳ７０４、第１ＣＤＳ回路７０５、第２ＣＤＳ回路７０６、及び第１Ａ／Ｄ変換器７０７、第２Ａ／Ｄ変換器７０８は、タイミング信号を発生するタイミング信号発生器７１８を介してＣＰＵ７１１によって、タイミングが制御されている。

更に、第１画像処理回路７０９、第２画像処理回路７１０、圧縮伸張回路７１３、メモリカード７１４も、ＣＰＵ７１１によって制御されている。撮像装置において、ＣＰＵ７１１は路面白線認識用プログラムに従って各種演算処理を行い、画像処理プログラムなどを格納した読み出し専用メモリであるＲＯＭ７１６および各種の処理過程で利用するワークエリア、各種データ格納エリアなどを有する読み出し書き込み自在のメモリであるＲＡＭ７１７などを内蔵し、これらがバスライン７１９によって相互接続されている。車載ステレオカメラで実行される視差計算、輝度画像による認識候補領域を設定し、路面白線直線部を認識し、かつ路面白線曲線部を認識する。路面白線直線部と路面白線曲線部とを互いにつないで合成し、路面白線認識を行う処理機能を含むモジュール構成となっている。そして、実際のハードウェアとしてはＣＰＵ（プロセッサ）が、ＲＯＭ７１６から画像処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、路面白線認識結果を出力する。

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様１）
移動面上を移動する移動体としての自車両１００に搭載された撮像手段によって取得される自車両１００の前方の画像から自車両１００が移動する移動面上の境界線としての路面白線を認識する移動面境界線認識装置において、自車両１００の前方の画像で、自車両１００から近い路面部分が写っている第１画像領域としての第１路面白線候補領域４０１と、自車両１００から遠い路面部分が写っている第２画像領域としての第２路面白線候補領域４０２とを区画する区画線を設定する区画線設定手段としての区画線設定部２０６と、第１路面白線候補領域４０１の画像部に対して直線近似を行って路面白線画像部の直線部を認識する境界線直線部認識手段としての路面白線直線部認識部２０７と、第２路面白線候補領域４０２の画像部に対して曲線近似を行って路面白線画像部の曲線部を認識する境界線曲線部認識手段としての路面白線曲線部認識部２０８とを備える。
これによれば、上記実施形態について説明したように、自車両１００が路面上の路面白線の直線部に沿って走行している場合は、自車両１００から近い路面部分が映される画像領域では路面白線の直線部が直線状に映し出される。自車両１００が路面上の路面白線の曲線部に沿って走行している場合でも、自車両１００から近い路面部分が映される画像領域では、路面白線の曲線部は直線状に映し出され。一方、自車両１００から遠い路面部分が映される画像領域では、路面白線の曲線部が曲線状に映し出される。区画線設定部２０６によって、自車両１００から近い路面部分が映される画像領域である第１路面白線候補領域４０１と、自車両１００から遠い路面部分が映される画像領域である第２路面白線候補領域４０２とを区画する区画線を設定する。第１路面白線候補領域４０１では、路面白線直線部認識部２０７によって直線近似を行って路面上の路面白線の直線部又は曲線部に対応する路面白線画像部を認識できる。第２路面白線候補領域４０２では、路面白線曲線部認識部２０８によって曲線近似を行って、路面上の路面白線の曲線部に対応する路面白線画像部を認識できる。よって、路面白線画像と認識結果の路面白線画像部とのズレが小さくでき、路面上の路面白線の認識精度を向上させることができる。
（態様２）
（態様１）において、２つの撮像手段を有するステレオ撮像手段としての撮像ユニット１０１と、ステレオ画像に基づいて自車両１００の前方の視差画像を取得する視差画像取得手段としての視差画像計算部２０３とを備え、区画線設定手段としての区画線設定部２０６は、視差画像計算部２０３によって視差値を算出することで取得した視差画像に基づいて、自車両１００の位置から所定の距離に相当する画面上の水平仮想線を区画線と設定する。これによれば、上記実施形態の実施例１について説明したように、設定した区画線に基づいて第１路面白線候補領域４０１と第２路面白線候補領域４０２とを区画することができる。これにより、第１路面白線候補領域４０１では直線近似を行い路面上の路面白線の直線部を認識でき、第２路面白線候補領域４０２では曲線近似を行い路面上の路面白線の曲線部を認識できる。
（態様３）
（態様１）又は（態様２）において、道路の種類に関する道路種類情報を入力する移動面種類情報入力手段としての道路種類情報入力部２１１を備え、区画線設定手段としての区画線設定部２０６は、道路種類情報入力部２１１によって入力された道路種類情報に基づいて区画線を設定する。これによれば、上記実施形態の実施例２について説明したように、自車両が走行している道路の種類に応じて区画線を設定する。これにより、走行している道路に適した近似処理を行い、路面上の白線画像部を正確に認識することができる。
（態様４）
（態様２）において、ステレオ撮像手段によって撮像したステレオ画像のいずれか一方の撮像画像から輝度画像を取得する輝度画像取得手段としての輝度画像入力部２０２を備え、区画線設定手段としての区画線設定部２０６は、輝度画像入力部２０２によって取得した輝度画像から抽出した路面白線のエッジの部分と路面白線を抽出するために近似した直線の路面白線画像部との差分に基づいて、区画線を設定する。これによれば、上記実施形態の実施例１について説明したように、輝度画像から抽出した路面白線のエッジの部分と路面白線を抽出するために近似した直線の路面白線画像部との差分に基づいて設定された区画線によって、第１路面白線候補領域４０１と第２路面白線候補領域４０２とに設定する。これにより、第１路面白線候補領域４０１で行う直線近似により路面白線の直線部と、第２路面白線候補領域４０２で行う曲線近似により路面白線の曲線部とを精度高く認識することができる。
（態様５）
（態様１）〜（態様４）のいずれかにおいて、境界線直線部認識手段としての路面白線直線部認識部２０７によって認識された路面白線画像部の直線部と、境界線曲線部認識手段としての路面白線曲線部認識部２０８によって認識された路面白線画像部の曲線部とを互いにつなげて合成する境界線合成手段としての路面白線合成処理部２０９と、合成した全体の線部を路面白線画像部として出力する境界線画像部出力手段としての路面白線認識結果出力部２１０を有する。これによれば、上記実施形態について説明したように、路面白線の直線部と曲線部とを連結して、認識結果の路面白線画像部を路面白線画像に類似した画像にすることで認識結果を解りやすくすることができる。
（態様６）
（態様１）〜（態様５）のいずれかにおいて、境界線直線部認識手段としての路面白線直線部認識部２０７は、第１画像領域としての第１路面白線候補領域４０１内で抽出された輝度画像の輝度エッジに対して直線近似を行う。これによれば、上記実施形態について説明したように、自車両１００から近い路面部分が映される第１認識候補領域の直線状に映し出される画像部を精度高く認識することができる。
（態様７）
（態様１）〜（態様５）のいずれかにおいて、境界線曲線部認識手段としての路面白線曲線部認識部２０８は、境界線直線部認識手段としての路面白線直線部認識部２０７によって認識された路面白線画像部の直線部に続く仮想の延長線を基準にして、第２画像領域としての第２路面白線候補領域４０２で路面白線画像部の曲線部の候補を探索する探索範囲を設定する。これによれば、上記実施形態の実施例１について説明したように、第２路面白線候補領域で路面白線画像部の曲線部を探索し易くなって、路面白線曲線部を精度高く認識することができる。
（態様８）
（態様７）において、境界線曲線部認識手段としての路面白線曲線部認識部２０８は、第２画像領域としての第２路面白線候補領域４０２内で抽出された輝度画像のエッジに対して曲線近似を行う。これによれば、上記実施形態の実施例１について説明したように、自車両１００から遠い路面部分が映される第２認識候補領域の曲線状に映し出される画像部を精度高く認識することができる。
（態様９）
（態様２）において、ステレオ撮像手段としての撮像ユニット１０１によって取得したステレオ画像のいずれか一方の撮像画像から抽出した路面白線のエッジの部分と路面白線を抽出するために近似した路面白線の直線部との差分に基づいた閾値を記憶する記憶手段としての路面白線直線部候補領域記憶部２０５を有し、認識候補領域設定手段としての認識候補領域設定部２０４は、路面白線直線部候補領域記憶部２０５に記憶されている閾値に基づいて第１路面白線候補領域４０１と第２路面白線候補領域４０２とに設定する。これによれば、上記実施形態について説明したように、第１路面白線候補領域４０１と第２路面白線候補領域４０２とを正確に設定できるため、路面白線直線部及び路面白線曲線部を精度高く認識することができる。
（態様１０）
（態様９）において、記憶手段としての路面白線直線部候補領域記憶部２０５は、ステレオ撮像手段としての撮像ユニット１０１によって取得したステレオ画像のいずれ一方の複数の画像の各々から路面白線を抽出するために近似した複数の直線部に基づいた第１認識候補領域に含まれる路面候補領域を示す情報を記憶し、境界線直線部認識手段としての路面白線直線部認識部２０７は、路面白線直線部候補領域記憶部２０５に記憶されている情報によって路面候補領域内に対して直線部の近似による路面白線の認識を行う。これによれば、上記実施形態について説明したように、第１路面白線候補領域４０１と第２路面白線候補領域４０２とに設定することで路面白線の直線部、曲線部を精度高く認識することができる。
（態様１１）
（態様１０）において、記憶手段としての路面白線直線部候補領域記憶部２１２は、道路の種類ごとに予め複数のメモリテーブルを有し、該各メモリテーブルには道路の種類ごとのサンプル画像から取得した区画線の位置を設定する画面上の区画点の座標が記憶されている。これによれば、上記実施形態の実施例２について説明したように、自車両１００が走行している道路の種類に応じてテーブルを読み出して、そのテーブルに記憶されている画面上の区画点の座標に基づいて区画線の位置を変える。これにより、走行している道路に適した近似処理を行い、路面上の路面白線画像部を正確に認識することができる。
（態様１２）
（態様３）において、移動面種類情報入力手段としての道路種類情報入力部２１１には、カーナビゲーションによって取得した自車の位置情報と地図データとに基づいて判別された道路の種類が入力される。これによれば、上記実施形態の実施例２について説明したように、カーナビゲーションデータ入力部６０１に入力された自車両の位置を地図データに照合させ、地図上の自車両の位置データを道路種類判別部６０３に出力する。道路種類判別部６０３では、入力された地図上の自車両の位置データに基づいて、地図上で自車両が走行している道路の種類を判別する。よって、走行している道路に適した近似処理を行い、路面上の境界線画像部を正確に認識することができる。
（態様１３）
（態様３）において、移動面種類情報入力手段としての道路種類情報入力部２１１には、ＧＰＳによって自車の位置情報を取得し、ＧＰＳによって取得した自車の位置情報と、カーナビゲーションによって取得した自車の位置情報及び地図データとに基づいて判別された道路の種類が入力される。これによれば、上記実施形態の実施例２について説明したように、検出した自車両の位置を地図データに照合させて地図上の自車両の位置データを道路種類判別部６０３に出力する。ＧＰＳデータ入力部６０２は、ＧＰＳの位置データを取得し、その位置データに基づいて自立航法における自車の位置データを精度良くして道路種類判別部６０３に出力する。道路種類判別部６０３では、入力された地図上の自車両の位置データに基づいて、地図上で自車両が走行している道路の種類を判別する。これにより、自車両が走行している道路の種類の判別が、より一層精度良く、かつ自動で行うことができる。
（態様１４）
移動面上を移動する移動体に搭載された撮像手段によって取得される移動体の前方の画像から移動体が移動する移動面上の境界線を認識する移動面境界線認識手段と、該移動面境界線認識手段の認識結果に基づいて、移動体に搭載された所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムにおいて、移動面境界線認識手段として、請求項１〜１３のいずれかに記載の移動面境界線認識装置を用いた。これによれば、上記実施形態について説明したように、移動体に搭載された所定の機器を高精度に制御することができる。
（態様１５）
移動体の前方の画像で、移動体から近い路面部分が写っている第１画像領域としての第１路面白線候補領域４０１と、移動体から遠い路面部分が写っている第２画像領域としての第２路面白線候補領域４０２とを区画する区画線を設定する区画線設定工程と、第１路面白線候補領域４０１の画像部に対して直線近似を行って境界線画像部の直線部を認識する境界線直線部認識工程と、第２路面白線候補領域４０２の画像部に対して曲線近似を行って境界線画像部の曲線部を認識する境界線曲線部認識工程とを有する。これによれば、上記実施形態について説明したように、路面白線画像と認識結果の路面白線画像部とのズレが小さくでき、路面上の路面白線の認識精度を向上させることができる。
（態様１６）
移動体の前方の画像で、移動体から近い路面部分が写っている第１画像領域としての第１路面白線候補領域４０１と、移動体から遠い路面部分が写っている第２画像領域としての第２路面白線候補領域４０２とを区画する区画線を設定する区画線設定工程と、第１路面白線候補領域４０１の画像部に対して直線近似を行って境界線画像部の直線部を認識する境界線直線部認識工程と、第２路面白線候補領域４０２の画像部に対して曲線近似を行って境界線画像部の曲線部を認識する境界線曲線部認識工程とをコンピュータによって実行させる。これによれば、上記実施形態について説明したように、路面白線画像と認識結果の路面白線画像部とのズレが小さくでき、路面上の路面白線の認識精度を向上させることができる。このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。

２００ 路面白線認識装置
２０１ ステレオ画像入力部
２０２ 輝度画像入力部
２０３ 視差画像計算部
２０４ 認識候補領域設定部
２０５ 路面白線直線部候補領域記憶部
２０６ 区画線設定部
２０７ 路面白線直線部認識部
２０８ 路面白線曲線部認識部
２０９ 路面白線合成処理部
２１０ 路面白線認識結果出力部
２１１ 道路種類情報入力部
２１２ 路面白線直線部候補領域記憶部
４０１ 第１路面白線候補領域
４０２ 第２路面白線候補領域
４０３ 第１路面白線直線部候補領域
４０４ 第２路面白線直線部候補領域
４０５ 第１路面白線直線部
４０６ 第２路面白線直線部
４０７ 第１延長線
４０８ 第２延長線
４０９ 第１探索範囲
４１０ 第２探索範囲
４１１ 第１路面白線曲線部
４１２ 第２路面白線曲線部
４１３ 第３探索範囲
４１４ 第４探索範囲
５０１ 第１路面白線
５０２ 第２路面白線
６００ 道路種類情報出力装置
６０１ カーナビゲーションデータ入力部
６０２ ＧＰＳデータ入力部
６０３ 道路種類判別部
６０４ 道路種類情報出力部

特許第３３５２６５５号公報

Claims (16)

1. 移動面上を移動する移動体に搭載された撮像手段によって取得される前記移動体の前方の画像から前記移動体が移動する移動面上の境界線を認識する移動面境界線認識装置において、
   前記移動体の前方の画像で、前記移動体から近い路面部分が写っている第１画像領域と、前記移動体から遠い路面部分が写っている第２画像領域とを区画する区画線を設定する区画線設定手段と、
   前記第１画像領域の画像部に対して直線近似を行って前記境界線画像部の直線部を認識する境界線直線部認識手段と、
   前記第２画像領域の画像部に対して曲線近似を行って前記境界線画像部の曲線部を認識する境界線曲線部認識手段と
   を備えることを特徴とする移動面境界線認識装置。
2. 請求項１記載の移動面境界線認識装置において、
   ２つの前記撮像手段を有するステレオ撮像手段と、前記ステレオ画像に基づいて前記移動体の前方の視差値を算出して視差画像を取得する視差画像計算手段とを備え、
   前記区画線設定手段は、前記視差画像計算手段によって視差値を算出することで取得した前記視差画像に基づいて、前記移動体の位置から所定の距離に相当する画面上の水平仮想線を前記区画線と設定することを特徴とする移動面境界線認識装置。
3. 請求項１又は２に記載の移動面境界線認識装置において、
   移動面の種類に関する移動面種類情報を入力する移動面種類情報入力手段を備え、前記区画線設定手段は、該移動面種類情報入力手段によって入力された前記移動面種類情報に基づいて前記区画線を設定することを特徴とする移動面境界線認識装置。
4. 請求項２記載の移動面境界線認識装置において、
   前記ステレオ撮像手段によって撮像したステレオ画像のいずれか一方の撮像画像から輝度画像を取得する輝度画像取得手段を備え、
   前記区画線設定手段は、前記輝度画像取得手段によって取得した前記輝度画像から抽出した前記境界線のエッジの部分と前記境界線を抽出するために近似した直線の前記境界線画像部との差分に基づいて、前記区画線を設定することを特徴とする移動面境界線認識装置。
5. 請求項１〜４のいずれかに記載の移動面境界線認識装置において、
   前記境界線直線部認識手段によって認識された前記境界線画像部の直線部と、前記境界線曲線部認識手段によって認識された前記境界線画像部の曲線部とを互いにつなげて合成する境界線合成手段と、合成した全体の線部を前記境界線画像部として出力する境界線画像部出力手段とを有することを特徴とする移動面境界線認識装置。
6. 請求項１〜５のいずれかに記載の移動面境界線認識装置において、
   前記境界線直線部認識手段は、前記第１画像領域内で抽出された輝度画像のエッジに対して直線近似を行うことを特徴とする移動面境界線認識装置。
7. 請求項１〜５のいずれかに記載の移動面境界線認識装置において、
   前記境界線曲線部認識手段は、前記境界線直線部認識手段によって認識された前記境界線画像部の直線部に続く仮想の延長線を基準にして、前記第２画像領域で前記境界線画像部の曲線部の候補を探索する探索範囲を設定することを特徴とする移動面境界線認識装置。
8. 請求項７記載の移動面境界線認識装置において、
   前記境界線曲線部認識手段は、前記第２画像領域内で抽出された輝度画像のエッジに対して曲線近似を行うことを特徴とする移動面境界線認識装置。
9. 請求項２記載の移動面境界線認識装置において、
   前記ステレオ撮像手段によって取得したステレオ画像のいずれか一方の撮像画像から抽出した前記境界線のエッジの部分と前記境界線を抽出するために近似した前記境界線画像部の直線部との差分に基づいた視差閾値を記憶する記憶手段を有し、前記区画線設定手段は、前記記憶手段によって記憶された前記視差閾値に基づいて、前記区画線を設定することを特徴とする移動面境界線認識装置。
10. 請求項９記載の移動面境界線認識装置において、
    前記記憶手段は、前記ステレオ撮像手段によって取得したステレオ画像のいずれか一方の複数の画像の各々から前記境界線を抽出するために近似した複数の直線の前記境界線画像部に基づいた前記第１画像領域に含まれる移動面境界線候補領域を示す情報を記憶し、前記境界線直線部認識手段は、前記記憶手段によって記憶された情報によって示される前記移動面境界線候補領域内の前記境界線画像に対して直線近似を行うことを特徴とする移動面境界線認識装置。
11. 請求項１０記載の移動面境界線認識装置において、
    前記記憶手段は、移動面の種類ごとに予め複数のメモリテーブルを有し、該各メモリテーブルには、移動面の種類ごとのサンプル画像から取得した視差閾と、値前記区画線の位置を設定する画面上の区画点の座標とが記憶されていることを特徴とする移動面境界線認識装置。
12. 請求項３記載の移動面境界線認識装置において、
    前記移動面種類情報入力手段には、カーナビゲーションによって取得した自車の位置情報と地図データとに基づいて判別された道路の種類が入力されることを特徴とする移動面境界線認識装置。
13. 請求項３記載の移動面境界線認識装置において、
    前記移動面種類情報入力手段には、ＧＰＳによって自車の位置情報を取得し、前記ＧＰＳによって取得した自車の位置情報と、前記カーナビゲーションによって取得した自車の位置情報及び地図データとに基づいて判別された道路の種類が入力されることを特徴とする移動面境界線認識装置。
14. 移動面上を移動する移動体に搭載された撮像手段によって取得される前記移動体の前方の画像から前記移動体が移動する移動面上の境界線を認識する移動面境界線認識手段と、該移動面境界線認識手段の認識結果に基づいて、前記移動体に搭載された所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムにおいて、
    前記移動面境界線認識手段として、請求項１〜１３のいずれかに記載の移動面境界線認識装置を用いたことを特徴とする移動体機器制御システム。
15. 移動面上を移動する移動体に搭載された撮像手段によって取得される前記移動体の前方の画像から前記移動体が移動する移動面上の境界線を認識する移動面境界線認識方法において、
    前記移動体の前方の画像で、前記移動体から近い路面部分が写っている第１画像領域と、前記移動体から遠い路面部分が写っている第２画像領域とを区画する区画線を設定する区画線設定工程と、
    前記第１画像領域の画像部に対して直線近似を行って前記境界線画像部の直線部を認識する境界線直線部認識工程と、
    前記第２画像領域の画像部に対して曲線近似を行って前記境界線画像部の曲線部を認識する境界線曲線部認識工程と
    を有することを特徴とする移動面境界線認識方法。
16. 移動面上を移動する移動体に搭載された撮像手段によって取得される前記移動体の前方の画像から前記移動体が移動する移動面上の境界線を認識する工程をコンピュータによって実行させるための移動面境界線認識用プログラムにおいて、
    前記移動体の前方の画像で、前記移動体から近い路面部分が写っている第１画像領域と、前記移動体から遠い路面部分が写っている第２画像領域とを区画する区画線を設定する区画線設定工程と、
    前記第１画像領域の画像部に対して直線近似を行って前記境界線画像部の直線部を認識する境界線直線部認識工程と、
    前記第２画像領域の画像部に対して曲線近似を行って前記境界線画像部の曲線部を認識する境界線曲線部認識工程とをコンピュータによって実行させることを特徴とする移動面境界線認識用プログラム。