JP2009029171A - 車両用画像処理装置 - Google Patents

Abstract

【課題】走査を行うときの処理数を削減すること。
【解決手段】本発明の車両用画像処理装置は、道路上の車両の前方を表すｍ行ｎ列の画素を含む画像データに対して検出用画像データを生成し、検出用画像データに基づいて道路上の特徴点を検出する。その特徴点は、白線特徴点と分岐特徴点と行き止まり障害物特徴点とを含んでいる。検出用画像データは、白線特徴点、分岐特徴点、行き止まり障害物特徴点がそれぞれ検出される走査領域Ａ１０１、Ａ１０２、Ａ１０３を含んでいる。検出用画像データのｍ行ｎ列の画素に対応する地点と車両との距離は、１行目からｍ行目までこの順に短い。１＜ｍ_１＜ｍ_２＜ｍである場合、走査領域Ａ１０３、Ａ１０２、Ａ１０１は、それぞれ、検出用画像データのｍ行ｎ列の画素のうちの、１行目からｍ_１行目までの画素、（ｍ_１＋１）行目からｍ_２行目までの画素、（ｍ_２＋１）行目からｍ行目までの画素に対応する。
【選択図】図５

Description

本発明は、車両に取り付けられたカメラにより車両の前方を撮影し、その車両の前方の画像を表す画像データにより道路上の特徴点を構成するエッジを抽出（検出）し、車両の自動操縦を行う自動操縦システムを支援する車両用画像処理装置に関する。

車両の自動操縦を行う自動操縦システムを実現するために、車両用画像処理装置が開発されている。この車両用画像処理装置に関して、以下３点が求められる。

第１に、車両の走行路を認識するために、車両に取り付けられたＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等のカメラにより車両の前方を撮影し、その車両の前方の画像を表す画像データをリアルタイムに処理する必要がある。
第２に、自動操縦システムが安全な自動操縦を行うために、車両の走行路を正確に認識する必要がある。そのためには誤認識が少なくなるような情報を自動操縦システムに与える必要がある。
第３に、上記の情報として、上記の画像データにより道路上に描かれた白線や前方に存在する障害物の有無、道路分岐の有無を表す道路上の特徴点を構成するエッジを抽出（検出）する処理が必要となる。

ここで、従来の車両用画像処理装置を紹介する。

特開２００３−３０８５３４号公報には、白線認識装置が記載されている。白線認識装置では、走行するレーンを含む前方の路面画像を撮り、撮られた路面画像を横方向へ走査する。これにより、画像の明度が相対的に所定以上高く変化するアップエッジと、画像の明度が相対的に所定以上低く変化するダウンエッジとを検出して路面の白線による明部を抽出する。このとき、路面画像の縦方向の各位置で前記レーンの側縁部を代表する白線位置候補点を決定する。この場合、路面画像の縦方向の同じ位置で、明部に対応するアップエッジとダウンエッジとからなるペアエッジが一つだけ検出されたときには、ペアエッジに対して予め設定した所定の相対位置を取る点を白線位置候補点とする。また、複数のペアエッジが検出されたときには、該複数のペアエッジの配列に基づいて、複数のペアエッジに対して予め設定した所定の相対位置を取る点を白線位置候補点とする。このように、白線認識装置では、白線が複数配列する道路部分でも、当該道路部分の白線が単一の道路部分であると仮定したときの白線位置候補点が得られる。

また、特許第２７１２８０９号公報には、車両用障害物検出装置が記載されている。車両用障害物検出装置では、入力画像から画面下部になるほど長く連続した水平エッジ、鉛直エッジのみを抽出し、それらに囲まれた領域を障害物として認識するように構成することにより、カメラ１台のみで測距システムを構成できるようにしている。

特開２００３−３０８５３４号公報 特許第２７１２８０９号公報

しかし、従来の車両用画像処理装置（特に白線認識装置）では、白線、分岐、行き止まりや障害物を検出する処理として、それらを検出するための固定テンプレートを用意し、画像の全領域を走査している。この場合、全領域を走査するため、画像のフレームサイズに応じて、走査を行うときの処理数が多くなってしまうという問題点がある。

以下に、発明を実施するための最良の形態・実施例で使用される符号を括弧付きで用いて、課題を解決するための手段を記載する。この符号は、特許請求の範囲の記載と発明を実施するための最良の形態・実施例の記載との対応を明らかにするために付加されたものであり、特許請求の範囲に記載されている発明の技術的範囲の解釈に用いてはならない。

本発明の車両用画像処理装置（Ｍ１００）は、撮像装置（Ｍ１０１）と、エッジ検出部（Ｍ１０４）と、特徴点検出部（Ｍ１１１）とを具備している。
撮像装置（Ｍ１０１）は、道路上の車両の前方を撮影し、車両の前方を表すｍ行ｎ列（ｍ、ｎは３以上の整数である）の画素を含む画像データを生成する。
エッジ検出部（Ｍ１０４）は、画像データに対して、道路上の特徴点を検出するための検出用画像データを生成する。
特徴点検出部（Ｍ１１１）は、検出用画像データに基づいて上記の特徴点を検出し、出力装置（Ｍ２００）に出力する。
上記の特徴点は、道路上に描かれた白線を表す白線特徴点と、道路の分岐を表す分岐特徴点と、道路が行き止まり又は障害物により遮断されていることを表す行き止まり障害物特徴点とを含んでいる。
検出用画像データは、白線特徴点を検出するための白線検出用走査領域（Ａ１０１）と、分岐特徴点を検出するための分岐検出用走査領域（Ａ１０２）と、行き止まり障害物特徴点を検出するための行き止まり障害物検出用走査領域（Ａ１０３）とを含んでいる。
検出用画像データのｍ行ｎ列の画素に対応する地点と車両との距離は、１行目からｍ行目までこの順に短い。
そこで、１＜ｍ_１＜ｍ_２＜ｍである場合、行き止まり障害物検出用走査領域（Ａ１０３）、分岐検出用走査領域（Ａ１０２）、白線検出用走査領域（Ａ１０１）は、それぞれ、検出用画像データのｍ行ｎ列の画素のうちの、１行目からｍ_１行目までの画素、（ｍ_１＋１）行目からｍ_２行目までの画素、（ｍ_２＋１）行目からｍ行目までの画素に対応する。

以上により、本発明の車両用画像処理装置（Ｍ１００）では、検出用画像データ（特徴点検出用画像データ）に対して道路の特徴点（白線、分岐、行き止まりや障害物）毎に専用の走査領域を設けることにより、走査を行うときの処理数が従来よりも削減できる。
また、本発明の車両用画像処理装置（Ｍ１００）では、撮像される画像の特徴（手前が大きく遠くは小さい遠近法）を利用し、検出内容による走査領域を特定することで、走査領域においてノイズの影響を受けにくく、道路上の特徴点を得る際の誤検出が少なくすることができる。
また、本発明の車両用画像処理装置（Ｍ１００）では、白線検出用走査領域（Ａ１０１）を最も手前（画像領域の下側）で設定することで、車両が大きく外れるケースやカーブ走行時にも、白線が一部分だけでも撮像されるため、走行位置を算出するための処理が容易となる。
また、本発明の車両用画像処理装置（Ｍ１００）では、行き止まり障害物検出用走査領域（Ａ１０３）が撮像される画像の特徴から、遠くの部分を走査するため、行き止まりや障害物の有無を分岐の有無よりも早い時刻で検出できる。そのため、例えば出力装置（Ｍ２００）が車両を走行させるときの走行制御、操舵制御等の処理判断が容易となる。

以下に添付図面を参照して、本発明の車両用画像処理装置について詳細に説明する。

［構成］
図１は、本発明の車両用画像処理装置Ｍ１００の構成を示している。本発明の車両用画像処理装置Ｍ１００は、例えば、車両の自動操縦を行う自動操縦システムＭ２００と共に、車両に搭載されている。この車両用画像処理装置は、撮像装置Ｍ１０１と、アナログ／ディジタル（Ａ／Ｄ）コンバータＭ１０２と、画像処理装置Ｍ１１０とを具備している。

撮像装置Ｍ１０１は、ＣＣＤやＣＭＯＳイメージセンサ等のカメラを有し、車両の前方に取り付けられている。Ａ／ＤコンバータＭ１０２は、撮像装置Ｍ１０１と画像処理装置Ｍ１１０とに接続されている。画像処理装置Ｍ１１０は、コンピュータであり、ハードウェア（例示；回路）、ソフトウェア（例示；コンピュータプログラム）により実現される。

画像処理装置Ｍ１１０は、メモリＭ１０３と、エッジ検出部Ｍ１０４と、エッジ補正・ノイズ除去部Ｍ１０５と、特徴点検出部Ｍ１１１とを具備している。特徴点検出部Ｍ１１１は、白線検出部Ｍ１０６と、分岐検出部Ｍ１０７と、行き止まり障害物検出部Ｍ１０８と、走行位置算出部Ｍ１０９とを具備している。メモリＭ１０３は、Ａ／ＤコンバータＭ１０２とエッジ検出部Ｍ１０４とに接続されている。エッジ検出部Ｍ１０４は、エッジ補正・ノイズ除去部Ｍ１０５に接続されている。エッジ補正・ノイズ除去部Ｍ１０５は、白線検出部Ｍ１０６と分岐検出部Ｍ１０７と行き止まり障害物検出部Ｍ１０８とに接続されている。白線検出部Ｍ１０６は、走行位置算出部Ｍ１０９に接続されている。走行位置算出部Ｍ１０９と分岐検出部Ｍ１０７と行き止まり障害物検出部Ｍ１０８は、例えば出力装置として上記の自動操縦システムＭ２００に接続されている。

［動作］
図２Ａ〜２Ｄは、本発明の車両用画像処理装置Ｍ１００の動作を示すフローチャートである。

撮像装置Ｍ１０１は、カメラにより道路上の車両の前方を撮影し、その車両の前方の画像を表すアナログ画像データを生成する。Ａ／ＤコンバータＭ１０２は、そのアナログ画像データに対してアナログ／ディジタル変換を施し、ディジタル画像データを生成してメモリＭ１０３に格納する（ステップＳ１０１）。このディジタル画像データは、車両の前方を表すｍ行ｎ列の画素を含んでいる。ここで、ｍ、ｎは３以上の整数である。

エッジ検出部Ｍ１０４は、メモリＭ１０３に格納されたディジタル画像データのｍ行ｎ列の画素に対して、２次元空間フィルタ処理を施して２次元空間フィルタ処理済画像データを生成する。

２次元空間フィルタ処理とは、ある点ｇ（ｉ、ｊ）を中心とした任意の平方又は矩形領域の各点の濃度の平均値として濃度平均値を求め、その濃度平均値に基づいて点ｇ（ｉ、ｊ）における新しい濃度ｆ（ｉ、ｊ）を算出する方法である。例えば、３×３の平方領域の場合は、ディジタル画像データのｍ行ｎ列の画素の各々に対して、注目画素ｇ（ｉ、ｊ）とその周辺の周辺画素とを含む９個の画素ｇ（ｉ−１、ｊ−１）、ｇ（ｉ、ｊ−１）、ｇ（ｉ＋１、ｊ−１）、ｇ（ｉ−１、ｊ）、ｇ（ｉ、ｊ）、ｇ（ｉ＋１、ｊ）、ｇ（ｉ−１、ｊ＋１）、ｇ（ｉ、ｊ＋１）、ｇ（ｉ＋１、ｊ＋１）が表す色の濃度の平均値として濃度平均値を求め、その濃度平均値に基づいて注目画素ｇ（ｉ、ｊ）の新規の濃度として算出濃度ｆ（ｉ、ｊ）を算出する。

ここで、ｉ、ｊはそれぞれ２≦ｉ≦（ｍ−１）、２≦ｊ≦（ｎ−１）を満たす整数であるとき、算出濃度ｆ（ｉ、ｊ）は、
ｆ（ｉ、ｊ）＝ｇ（ｉ、ｊ）×Ｍ（ｉ、ｊ）
により表される。ここで、Ｍ（ｉ、ｊ）は、空間フィルタ係数行列であり、数１により表される。

一般的に２次元空間フィルタ処理は、Ｍ（ｉ、ｊ）が表す係数値を様々な値に変えることができる。この２次元空間フィルタ処理としては、それぞれ、図３Ａ、図３Ｂに示されるような３×３のマスクフィルタを用いた平滑化フィルタ処理（ステップＳ１０２）、ラプラシアンフィルタ処理（ステップＳ１０３）が例示される。

まず、平滑化フィルタ処理では、注目画素ｇ（ｉ、ｊ）とその周辺の周辺画素とを含む９個の画素ｇ（ｉ−１、ｊ−１）、ｇ（ｉ、ｊ−１）、ｇ（ｉ＋１、ｊ−１）、ｇ（ｉ−１、ｊ）、ｇ（ｉ、ｊ）、ｇ（ｉ＋１、ｊ）、ｇ（ｉ−１、ｊ＋１）、ｇ（ｉ、ｊ＋１）、ｇ（ｉ＋１、ｊ＋１）がそれぞれ表す色の濃度ｆ（ｉ−１、ｊ−１）、ｆ（ｉ、ｊ−１）、ｆ（ｉ＋１、ｊ−１）、ｆ（ｉ−１、ｊ）、ｆ（ｉ、ｊ）、ｆ（ｉ＋１、ｊ）、ｆ（ｉ−１、ｊ＋１）、ｆ（ｉ、ｊ＋１）、ｆ（ｉ＋１、ｊ＋１）に対して、濃度平均値ｆ（ｉ、ｊ）を求める。具体的には、濃度平均値ｆ（ｉ、ｊ）は、ｆ＝｛１×ｆ（ｉ−１、ｊ−１）、１×ｆ（ｉ、ｊ−１）、１×ｆ（ｉ＋１、ｊ−１）、１×ｆ（ｉ−１、ｊ）、１×ｆ（ｉ、ｊ）、１×ｆ（ｉ＋１、ｊ）、１×ｆ（ｉ−１、ｊ＋１）、１×ｆ（ｉ、ｊ＋１）、１×ｆ（ｉ＋１、ｊ＋１）｝／９により表される。このとき、ｆの前にかかる係数は、空間フィルタ係数行列Ｍ（ｉ、ｊ）により数２により表される。

次に、ラプラシアンフィルタ処理では、注目画素ｇ（ｉ、ｊ）が表す濃度ｆ（ｉ、ｊ）と、その周辺の画素である８個の周辺画素ｇ（ｉ−１、ｊ−１）、ｇ（ｉ、ｊ−１）、ｇ（ｉ＋１、ｊ−１）、ｇ（ｉ−１、ｊ）、ｇ（ｉ＋１、ｊ）、ｇ（ｉ−１、ｊ＋１）、ｇ（ｉ、ｊ＋１）、ｇ（ｉ＋１、ｊ＋１）がそれぞれ表す濃度ｆ（ｉ−１、ｊ−１）、ｆ（ｉ、ｊ−１）、ｆ（ｉ＋１、ｊ−１）、ｆ（ｉ−１、ｊ）、ｆ（ｉ＋１、ｊ）、ｆ（ｉ−１、ｊ＋１）、ｆ（ｉ、ｊ＋１）、ｆ（ｉ＋１、ｊ＋１）との差分を取る。このとき、空間フィルタ係数行列Ｍ（ｉ、ｊ）は数３により表される。

エッジ検出部Ｍ１０４は、２次元空間フィルタ処理済画像データのｍ行ｎ列の画素に対して、２値化処理を施して２値化処理済画像データを生成する（ステップＳ１０４）。

この２値化処理では、２次元空間フィルタ処理済画像データのｍ行ｎ列の画素の各々に対して、算出濃度が設定濃度以下である場合は黒を表す２値数として“１”と“０”との一方の値を設定し、その算出濃度が設定濃度よりも大きい場合は白を表す２値数として“１”と“０”との他方の値を設定して、２値化処理済画像データを生成する。例えば、一方の値を“１”とし、他方の値を“０”とする。エッジ検出部Ｍ１０４は、２値化処理済画像データをノイズ検出用画像データとしてエッジ補正・ノイズ除去部Ｍ１０５に出力する。

エッジ補正・ノイズ除去部Ｍ１０５は、ノイズ検出用画像データのｍ行ｎ列の画素に対して、エッジ補正・ノイズ除去処理を施して特徴点検出用画像データを生成する（ステップＳ１０５）。

このエッジ補正・ノイズ除去処理では、ノイズ検出用画像データのｍ行ｎ列の画素の各々に対して注目画素の周辺の周辺画素が表す２値数“０”、“１”をそれぞれカウントし、カウントした“０”、“１”の数の比率と予め決められた配列条件とに基づいて、注目画素が表す２値数を置換する。この一連の処理を全画素に対して行う。

配列条件として、例えば、以下の３つが挙げられる。
（条件１）； 注目画素が表す２値数が黒“１”であり、周辺画素のうちの４画素以上が白“０”を表す２値数である場合、注目画素が表す２値数を黒“１”から白“０”へ置換する。
（条件２）； 注目画素が表す２値数が白“０”又は黒“１”であり、周辺画素のうちの１画素以上３画素以下が白“０”を表す２値数である場合、注目画素が表す２値数を既存の値とする。
（条件３）； 注目画素が表す２値数が白“０”又は黒“１”であり、周辺画素の全てが黒“１”を表す２値数である場合、注目画素が表す２値数を黒“１”へ置換する。
上記の配列条件は一例であり、上述の他にも、任意に設定することができる。

ステップＳ１０２〜Ｓ１０５の処理により得られた特徴点検出用画像データは、ステップＳ１０１により得られたディジタル画像データに比べて、コントラストが強調され、ノイズ部分が削除されている。コントラストが強調されることにより、エッジが強調され、道路上の特徴点の抽出が容易となる。エッジ補正・ノイズ除去部Ｍ１０５は、特徴点検出用画像データを特徴点検出部Ｍ１１１に出力する。

特徴点検出部Ｍ１１１は、特徴点検出用画像データのｍ行ｎ列の画素を行単位で走査して、そのｍ行ｎ列の画素のうちの、２値数が黒“１”を表す画素を検出し、その黒“１”を表す画素を用いて、道路上の特徴点を検出する。その特徴点は、道路上に描かれた白線を表す白線特徴点と、道路の分岐を表す分岐特徴点と、道路が行き止まり又は障害物により遮断されていることを表す行き止まり障害物特徴点とを含んでいる。白線は、車線を表す白線の他に、追い越し禁止の車線を表す黄色い線や、法定速度、進路などの交通ルールを表す文字も含んでいる。例えば、白線の場合、図４Ａに示されるように、特徴点検出用画像データのｍ行ｎ列の画素のうちの、黒“１”を表す画素が白線を表している。

特徴点検出部Ｍ１１１は、特徴点検出用画像データのｍ行ｎ列の画素を行単位で走査するとき、図４Ａ、図４Ｂに示されるように、（ｎ／２）列目から１列目までの画素をこの順に走査し、（ｎ／２）列目からｎ列目までの画素をこの順に走査する。このとき、第１画素群が表す白“０”から、第２画素群が表す黒“１”に変わるときの第１画素群“０”と第２画素群“１”との境目をアップエッジと称する。同様に、第２画素群が表す黒“１”から、第３画素群が表す白“０”に変わるときの第２画素群“１”と第３画素群“０”との境目をダウンエッジと称する。

特徴点検出部Ｍ１１１の白線検出部Ｍ１０６、分岐検出部Ｍ１０７、行き止まり障害物検出部Ｍ１０８は、それぞれ、白線検出用固定テンプレート（図示しない）、分岐検出用固定テンプレート（図示しない）、行き止まり障害物検出用固定テンプレート（図示しない）を備えている。白線検出用固定テンプレート、分岐検出用固定テンプレート、行き止まり障害物検出用固定テンプレートは、それぞれ、白線検出部Ｍ１０６、分岐検出部Ｍ１０７、行き止まり障害物検出部Ｍ１０８が上記の白線特徴点、分岐特徴点、行き止まり障害物特徴点を検出するための設定白線特徴点、設定分岐特徴点、設定行き止まり障害物特徴点を表している。設定白線特徴点、設定分岐特徴点、設定行き止まり障害物特徴点は、アップエッジ、ダウンエッジのペアにより構成されている。

図５に示されるように、特徴点検出用画像データは、白線検出用走査領域Ａ１０１、分岐検出用走査領域Ａ１０２、行き止まり障害物検出用走査領域Ａ１０３を含んでいる。特徴点検出用画像データのｍ行ｎ列の画素に対応する地点と車両との距離は、１行目からｍ行目までこの順に短いものとする。また、１＜ｍ_１＜ｍ_２＜ｍであるものとする。この場合、行き止まり障害物検出用走査領域Ａ１０３、分岐検出用走査領域Ａ１０２、白線検出用走査領域Ａ１０１は、それぞれ、特定の走査領域として、特徴点検出用画像データのｍ行ｎ列の画素のうちの、１行目からｍ_１行目までの画素、（ｍ_１＋１）行目からｍ_２行目までの画素、（ｍ_２＋１）行目からｍ行目までの画素に対応する。

白線検出部Ｍ１０６は、白線検出用走査領域Ａ１０１として（ｍ_２＋１）行目からｍ行目までの画素を行単位で画像の中心位置から左方向に走査する。即ち、（ｎ／２）列目から１列目までの左側画素をこの順に走査する。このとき、白線検出部Ｍ１０６は、（ｍ_２＋１）行目からｍ行目までの画素のうちの、２値数が黒“１”を表す画素を候補白線特徴点として検出し、白線検出用固定テンプレートを用いてパタンマッチングを行う。そのパタンマッチングにおいて、候補白線特徴点“１”が、白線検出用固定テンプレートが表す設定白線特徴点と一致した場合、白線検出部Ｍ１０６は、候補白線特徴点を左側白線特徴点として検出する（ステップＳ１０６）。

白線検出部Ｍ１０６は、白線検出用走査領域Ａ１０１として（ｍ_２＋１）行目からｍ行目までの画素を行単位で画像の中心位置から右方向に走査する。即ち、（ｎ／２）列目からｎ列目までの右側画素をこの順に走査する。このとき、白線検出部Ｍ１０６は、（ｍ_２＋１）行目からｍ行目までの画素のうちの、２値数が黒“１”を表す画素を候補白線特徴点として検出し、白線検出用固定テンプレートを用いてパタンマッチングを行う。そのパタンマッチングにおいて、候補白線特徴点“１”が、白線検出用固定テンプレートが表す設定白線特徴点と一致した場合、白線検出部Ｍ１０６は、候補白線特徴点を右側白線特徴点として検出する（ステップＳ１０７）。

白線検出部Ｍ１０６は、白線検出用走査領域Ａ１０１の画素を行単位で走査して、白線特徴点を検出できなかった箇所に対して補間する補間処理を行う（ステップＳ１１２）。この補間処理では、白線検出部Ｍ１０６が白線検出用走査領域Ａ１０１の画素を行単位で走査したとき、白線特徴点として、左側白線特徴点と右側白線特徴点との一方の白線特徴点が検出され、その他方の白線特徴点が検出されなかったものとする。この場合、他方の白線特徴点が検出されなかった左側画素又は右側画素の中から中心画素を補間白線特徴点として補間する。

例えば、白線検出部Ｍ１０６は、白線検出用走査領域Ａ１０１の画素を行単位で走査して、右側白線特徴点が検出され、左側白線特徴点が検出されなかったものとする。この場合、左側白線特徴点が検出できなかった左側画素の中から、中心画素として、（ｎ／２）列目の画素を補間白線特徴点として補間する。同様に、白線検出部Ｍ１０６は、白線検出用走査領域Ａ１０１の画素を行単位で走査して、左側白線特徴点が検出され、右側白線特徴点が検出されなかったものとする。この場合、右側白線特徴点が検出できなかった右側画素の中から、中心画素として、（ｎ／２）列目の画素を補間白線特徴点として補間する。

白線検出部Ｍ１０６は、白線検出用走査領域Ａ１０１の画素を行単位で走査したときの白線特徴点（左側白線特徴点と右側白線特徴点）（左側白線特徴点と補間右側白線特徴点）（右側白線特徴点と補間左側白線特徴点）を走行位置算出部Ｍ１０９に送る。

走行位置算出部Ｍ１０９は、白線検出部Ｍ１０６により行単位で検出された白線特徴点（左側白線特徴点と右側白線特徴点）（左側白線特徴点と補間右側白線特徴点）（右側白線特徴点と補間左側白線特徴点）に基づいて、道路上の車両の位置を表す車両位置を、道路上の特徴点として推定する（ステップＳ１１３）。

具体的には、図６に示されるように、白線検出用走査領域Ａ１０１である（ｍ_２＋１）行目からｍ行目までの画素を座標に置き換え、（ｍ_２＋１）行目１列目の画素を表す座標を（０、０）とし、ｍ行目ｎ列目の画素を表す座標を（Ｘｍａｘ、Ｙｍａｘ）とする。また、左側白線特徴点又は補間左側白線特徴点に対応する画素を表す座標をｌｉｎｅ＿Ｌとし、右側白線特徴点又は補間右側白線特徴点に対応する画素を表す座標をｌｉｎｅ＿Ｒとする。１ラインにおける現在の車両位置をｃｅｎｔｅｒ＿ｐｏｓとしたとき、走行位置算出部Ｍ１０９は、
ｃｅｎｔｅｒ＿ｐｏｓ＝ｌｉｎｅ＿Ｌ＋｛（ｌｉｎｅ＿Ｒ−ｌｉｎｅ＿Ｌ）／２｝
により、１ラインにおける現在の車両位置ｃｅｎｔｅｒ＿ｐｏｓを算出する。

次に、（ｍ_２＋１）行目〜ｍ行目と（ｎ／２）列目の画素を表す座標（０、Ｘｍａｘ／２）〜（Ｙｍａｘ、Ｘｍａｘ／２）を１ラインにおける画像の中心位置とし、その中心位置をＣＥＮＴＥＲとし、車両位置ｃｅｎｔｅｒ＿ｐｏｓに対する中心位置ＣＥＮＴＥＲからのずれ量をｌｉｎｅ＿ｄｅｌｔａとしたとき、走行位置算出部Ｍ１０９は、
ｌｉｎｅ＿ｄｅｌｔａ＝ＣＥＮＴＥＲ−ｃｅｎｔｅｒ＿ｐｏｓ
により、１ラインにおける画像の中心位置ＣＥＮＴＥＲからのずれ量ｌｉｎｅ＿ｄｅｌｔａを算出する。これを白線検出用走査領域Ａ１０１の（ｍ_２＋１）〜ｍ行目の画素に対して行う。

次いで、走行位置算出部Ｍ１０９は、（ｍ_２＋１）〜ｍ行目の全てのラインに対して求めた中心位置ＣＥＮＴＥＲからのずれ量ｌｉｎｅ＿ｄｅｌｔａの平均値を算出し、その平均値に基づいて、現在の車両位置を求める（ステップＳ１１４）。

具体的には、（ｍ_２＋１）〜ｍ行目の全てのラインに対する中心位置ＣＥＮＴＥＲからのずれ量ｌｉｎｅ＿ｄｅｌｔａの合計値をΣｌｉｎｅ＿ｄｅｌｔａとし、そのずれ量ｌｉｎｅ＿ｄｅｌｔａの平均値をｆｒａｍｅ＿ｄｅｌｔａとしたとき、走行位置算出部Ｍ１０９は、
ｆｒａｍｅ＿ｄｅｌｔａ＝（Σｌｉｎｅ＿ｄｅｌｔａ）／Ｙｍａｘ
により、平均値ｆｒａｍｅ＿ｄｅｌｔａを算出する。また、現在の車両走行位置をＣｕｒｒｅｎｔ＿ＣＥＮＴＥＲとしたとき、走行位置算出部Ｍ１０９は、
Ｃｕｒｒｅｎｔ＿ＣＥＮＴＥＲ＝ＣＥＮＴＥＲ−ｆｒａｍｅ＿ｄｅｌｔａ
により、現在の車両走行位置Ｃｕｒｒｅｎｔ＿ＣＥＮＴＥＲを算出する。ここで、Ｃｕｒｒｅｎｔ＿ＣＥＮＴＥＲ＞０である場合、画像の中央位置より右寄りを表し、Ｃｕｒｒｅｎｔ＿ＣＥＮＴＥＲ＜０である場合、画像の中央位置より左寄りを表している。

また、ステップＳ１１４において、走行位置算出部Ｍ１０９は、現在の車両位置を走行位置情報として自動操縦システムＭ２００に出力する。又は、現在の車両位置と白線特徴点（右側白線特徴点、左側白線特徴点）とを走行位置情報として自動操縦システムＭ２００に出力してもよい。

分岐検出部Ｍ１０７は、分岐検出用走査領域Ａ１０２として（ｍ_１＋１）行目からｍ_２行目までの画素を行単位で画像の中心位置から左方向に走査する。即ち、（ｎ／２）列目から１列目までの画素をこの順に走査する。このとき、分岐検出部Ｍ１０７は、（ｍ_１＋１）行目からｍ_２行目までの画素のうちの、２値数が黒“１”を表す画素を候補分岐特徴点として検出し、分岐検出用固定テンプレートを用いてパタンマッチングを行う。そのパタンマッチングにおいて、候補分岐特徴点“１”が、分岐検出用固定テンプレートが表す設定分岐特徴点と一致した場合、分岐検出部Ｍ１０７は、候補分岐特徴点を左側分岐特徴点として検出する（ステップＳ１０８）。

分岐検出部Ｍ１０７は、分岐検出用走査領域Ａ１０２として（ｍ_１＋１）行目からｍ_２行目までの画素を行単位で画像の中心位置から右方向に走査する。即ち、（ｎ／２）列目からｎ列目までの画素をこの順に走査する。このとき、分岐検出部Ｍ１０７は、（ｍ_１＋１）行目からｍ_２行目までの画素のうちの、２値数が黒“１”を表す画素を候補分岐特徴点として検出し、分岐検出用固定テンプレートを用いてパタンマッチングを行う。そのパタンマッチングにおいて、候補分岐特徴点“１”が、分岐検出用固定テンプレートが表す設定分岐特徴点と一致した場合、分岐検出部Ｍ１０７は、候補分岐特徴点を右側分岐特徴点として検出する（ステップＳ１０９）。

分岐検出部Ｍ１０７は、得られた分岐特徴点（右側分岐特徴点と左側分岐特徴点）が、画像の中心位置より右に存在するか、左に存在するか、左右どちらにも存在するか、あるいは左右どちらにも存在しないかを表す分岐情報を生成して、自動操縦システムＭ２００に出力する（ステップＳ１１５）。

行き止まり障害物検出部Ｍ１０８は、行き止まり障害物検出用走査領域Ａ１０３として１行目からｍ_１行目までの画素を行単位で画像の中心位置から左方向に走査する。即ち、（ｎ／２）列目から１列目までの画素をこの順に走査する。このとき、行き止まり障害物検出部Ｍ１０８は、１行目からｍ_１行目までの画素のうちの、２値数が黒“１”を表す画素を候補行き止まり障害物特徴点として検出し、行き止まり障害物検出用固定テンプレートを用いてパタンマッチングを行う。そのパタンマッチングにおいて、候補行き止まり障害物特徴点“１”が、行き止まり障害物検出用固定テンプレートが表す設定行き止まり障害物特徴点と一致した場合、行き止まり障害物検出部Ｍ１０８は、候補行き止まり障害物特徴点を左側行き止まり障害物特徴点として検出する（ステップＳ１１０）。

行き止まり障害物検出部Ｍ１０８は、行き止まり障害物検出用走査領域Ａ１０３として１行目からｍ_１行目までの画素を行単位で画像の中心位置から右方向に走査する。即ち、（ｎ／２）列目からｎ列目までの画素をこの順に走査する。このとき、行き止まり障害物検出部Ｍ１０８は、１行目からｍ_１行目までの画素のうちの、２値数が黒“１”を表す画素を候補行き止まり障害物特徴点として検出し、行き止まり障害物検出用固定テンプレートを用いてパタンマッチングを行う。そのパタンマッチングにおいて、候補行き止まり障害物特徴点“１”が、行き止まり障害物検出用固定テンプレートが表す設定行き止まり障害物特徴点と一致した場合、行き止まり障害物検出部Ｍ１０８は、候補行き止まり障害物特徴点を右側行き止まり障害物特徴点として検出する（ステップＳ１１１）。

行き止まり障害物検出部Ｍ１０８は、得られた行き止まり障害物特徴点（右側行き止まり障害物特徴点と左側行き止まり障害物特徴点）が、画像の中心位置より右に存在するか、左に存在するか、左右どちらにも存在するか、あるいは左右どちらにも存在しないかを表す行き止まり／障害物情報を生成して、自動操縦システムＭ２００に出力する（ステップＳ１１６）。

［対比］
ここで、本発明の車両用画像処理装置Ｍ１００と、従来の車両用画像処理装置（白線認識装置、車両用障害物検出装置）とを対比する。

（対比１）
本発明の車両用画像処理装置Ｍ１００では、検出用画像データ（特徴点検出用画像データ）に対して道路の特徴点（白線、分岐、行き止まりや障害物）毎に専用の走査領域を設けているので、走査を行うときの処理数が従来よりも削減できる。

従来の車両用画像処理装置（特に白線認識装置）では、白線、分岐、行き止まりや障害物を検出する処理として、それらを検出するための固定テンプレートを用意し、画像の全領域を走査している。この場合、全領域を走査するため、画像のフレームサイズに応じて、走査を行うときの処理数が多くなってしまうという問題点がある。

一方、本発明の車両用画像処理装置Ｍ１００では、検出用画像データを特定の走査領域として白線検出用走査領域Ａ１０１、分岐検出用走査領域Ａ１０２、行き止まり障害物検出用走査領域Ａ１０３に分け、白線検出部Ｍ１０６、分岐検出部Ｍ１０７、行き止まり障害物検出部Ｍ１０８がそれぞれ白線検出用走査領域Ａ１０１、分岐検出用走査領域Ａ１０２、行き止まり障害物検出用走査領域Ａ１０３の画素を行単位で走査する。このように、本発明の車両用画像処理装置Ｍ１００では、検出用画像データを白線検出用走査領域Ａ１０１、分岐検出用走査領域Ａ１０２、行き止まり障害物検出用走査領域Ａ１０３に分けることにより、走査を行うときの処理数が従来よりも削減できる。

また、検出用画像データのｍ行ｎ列の画素に対応する地点と車両との距離は、１行目からｍ行目までこの順に短く、１＜ｍ_１＜ｍ_２＜ｍであるものとする。この場合、行き止まり障害物検出用走査領域Ａ１０３、分岐検出用走査領域Ａ１０２、白線検出用走査領域Ａ１０１は、それぞれ、検出用画像データのｍ行ｎ列の画素のうちの、１行目からｍ_１行目までの画素、（ｍ_１＋１）行目からｍ_２行目までの画素、（ｍ_２＋１）行目からｍ行目までの画素に対応する。これにより、以下に示す利点がある。

まず、第１に、撮像される画像の特徴（手前が大きく遠くは小さい遠近法）を利用し、検出内容による走査領域を特定することで、走査領域においてノイズの影響を受けにくく、道路上の特徴点を得る際の誤検出が少なくすることができる。

第２に、白線検出用走査領域Ａ１０１を最も手前（画像領域の下側）で設定することで、車両が大きく外れるケースやカーブ走行時にも、白線が一部分だけでも撮像されるため、走行位置を算出するための処理が容易となる。

第３に、行き止まり障害物検出用走査領域Ａ１０３が撮像される画像の特徴から、遠くの部分を走査するため、行き止まりや障害物の有無を分岐の有無よりも早い時刻で検出できる。そのため、例えば自動操縦システムＭ２００が車両を走行させるときの走行制御、操舵制御等の処理判断が容易となる。

このように、本発明の車両用画像処理装置Ｍ１００では、走査領域の位置と順番により、ノイズの影響を受けにくく、誤検出が少ないながら、処理数を削減できる。例えば、走査領域を画像全体の１／３とした際は処理数も１／３となる。

（対比２）
本発明の車両用画像処理装置Ｍ１００では、白線特徴点が検出できなかった左側画素又は右側画素に対し、中心画素を補間白線特徴点として補間することにより、実際に車両が存在する位置に対して、現在推定される車両の走行位置を従来よりも近づけることができる。

従来の車両用画像処理装置では、車両が走行しているときに、車両の左側には右上がりの白線が撮像され、車両の右側には左上がりの白線が撮像される。このとき、左右のペアエッジを用いて固定テンプレートにより算出された２つの白線の位置を基に、画像中心からのずれ量を求めることにより、現在の車両の位置を割り出している。ところが、車両が大きく道を外れるようなケースや、車両がカーブしながら走行しているときには、画像の中心から左右どちらか片方の白線のみしか撮影されなくなるため、固定テンプレートによる左右のペアエッジは検出されず、車両の位置が計算できないという問題点がある。

ここで、従来の車両用画像処理装置（特に白線認識装置）では、アップエッジとダウンエッジとよりなるペアエッジを検出した位置を仮白線位置と定義している。しかし、更に左右へペアエッジを走査するなどの補間回路を設けない限り、白線の位置を得ることはできず、走行不能となってしまう。また、補間回路を設けると、回路規模は増大するという問題がある。

一方、本発明の車両用画像処理装置Ｍ１００では、白線検出用走査領域Ａ１０１の画素を行単位で走査したとき、白線特徴点として、左側白線特徴点と右側白線特徴点との一方の白線特徴点が検出され、その他方の白線特徴点が検出されなかったものとする。この場合、他方の白線特徴点が検出できなかった左側画素｛（ｎ／２）列目から１列目までの画素｝又は右側画素｛（ｎ／２）列目からｎ列目までの画素｝の中から中心画素を補間白線特徴点として補間し、一方の白線特徴点と前記補間白線特徴点とに基づいて、道路上の車両の位置を推定する。このように、本発明の車両用画像処理装置Ｍ１００では、白線特徴点が検出できなかった左側画素又は右側画素に対し、中心画素を補間白線特徴点として補間することにより、実際に車両が存在する位置に対して、現在推定される車両の走行位置を従来よりも近づけることができる。これにより、以下に示す利点がある。

まず、第１に、図７Ａに示されるように、エッジが欠けた画像に対して、ずれが少なくなる。

第２に、図７Ｂ、図７Ｃに示されるように、カーブ走行時や、道から大きくずれた場合やカーブ走行時にも、補間したエッジを用いて算出した車両の走行位置を実際に走行することで、より走行したい方向に近い位置での走行が可能になる。例えば、図７Ｂのカーブでの画像や図７Ｃの走行路から外れた画像のように、車両が道路に対して右側の領域に位置しており、左にハンドルを切らねばならない場合であっても、従来の車両用画像処理装置では左側の領域に位置していると判断される。しかし、本発明の車両用画像処理装置Ｍ１００では、本来の車両の位置からは多少のずれはあるものの、車両が道路に対して右側の領域に位置しているとの判断ができる。

このように、本発明の車両用画像処理装置Ｍ１００では、ノイズや、走行位置のずれ、カメラの設置方向のずれにも許容範囲が広くなり、従来のような固定テンプレートを用いたエッジ検出方法に変更及び例外処理用の付加回路や付加処理を必要とせずに、車両の走行位置の算出が可能となる。

（対比３）
本発明の車両用画像処理装置Ｍ１００では、エッジ検出用のフィルタ処理を実現する回路の数が従来よりも減るので、回路規模が従来よりも削減できる。

従来の車両用画像処理装置（特に車両用障害物検出装置）では、水平エッジ検出用フィルタ処理と鉛直エッジ検出用フィルタ処理との２種類の１次元空間フィルタ処理を実行している。従って、従来の車両用画像処理装置では、２種類の１次元空間フィルタ処理を実現するための回路が必要となり、回路規模が増大するという問題点がある。

一方、本発明の車両用画像処理装置Ｍ１００では、上記のフィルタ処理を２次元空間フィルタ処理のみで実現することができ、その２次元空間フィルタ処理を実現する回路のみで可能となるので、回路規模が従来よりも削減できる。

また、本発明では、注目画素と周辺８画素とが表す濃度のみで上記の２次元空間フィルタ処理が可能である。そこで、２次元空間フィルタ処理を実現するためには、３つのラインバッファを用意すればよく、従来よりも１／２のサイズで実現することができる。例えば、従来の車両用画像処理装置に必要なラインバッファの数を６個とした場合、本発明の車両用画像処理装置Ｍ１００に必要なラインバッファの数を３個でよい。ここで、１つのラインバッファは、１ｆｒａｍｅにおける画像サイズ（横幅）に応じて必要なフリップフロップ数が増加するため、１ｆｒａｍｅ あたり１０００＊１０００［ｐｉｘｃｅｌ］の画像サイズの場合、３０００個のフリップフロップ数の削減となる。

また、空間フィルタ処理回路の数を減らしているということは、画像処理の精度が落ちることが懸念されるが、本発明の車両用画像処理装置Ｍ１００によるエッジの補正とノイズ除去を同時に実施可能な処理を取り入れることにより、従来の車両用画像処理装置と同様に道路上の特徴点を誤動作なく検出できるよう、エッジの欠けや、ドットノイズのない精度の高い画像を得ることが可能となる。

更に、従来の車両用画像処理装置（特に車両用障害物検出装置）では、水平エッジ検出用フィルタ処理と鉛直エッジ検出用フィルタ処理との２種類の１次元空間フィルタ処理を実行した後に、その実行結果に基づいて斜線エッジ検出処理（障害物判断手段１０９）により斜線を検出している。従って、従来の車両用画像処理装置では、２種類の１次元空間フィルタ処理と斜線検出処理とを実現するための回路が必要となり、回路規模が増大するという問題点がある。

一方、本発明の車両用画像処理装置Ｍ１００では、上記の斜線エッジ検出処理が不要となるため、処理数、回路規模を削減できる。

［効果］
以上の説明により、本発明の車両用画像処理装置Ｍ１００によれば、検出用画像データ（特徴点検出用画像データ）に対して道路の特徴点（白線、分岐、行き止まりや障害物）毎に専用の走査領域を設けているので、走査を行うときの処理数が従来よりも削減できる。
本発明の車両用画像処理装置Ｍ１００では、白線特徴点が検出できなかった左側画素又は右側画素に対し、中心画素を補間白線特徴点として補間することにより、実際に車両が存在する位置に対して、現在推定される車両の走行位置を従来よりも近づけることができる。
本発明の車両用画像処理装置Ｍ１００によれば、エッジ検出用のフィルタ処理を実現する回路の数が従来よりも減るので、回路規模が従来よりも削減できる。

図１は、本発明の車両用画像処理装置の構成を示している。 図２Ａは、本発明の車両用画像処理装置の動作を示すフローチャートである。 図２Ｂは、本発明の車両用画像処理装置の動作を示すフローチャートである。 図２Ｃは、本発明の車両用画像処理装置の動作を示すフローチャートである。 図２Ｄは、本発明の車両用画像処理装置の動作を示すフローチャートである。 図３Ａは、本発明の車両用画像処理装置の動作として、２次元空間フィルタ処理（平滑化フィルタ処理）を説明するための図である。 図３Ｂは、本発明の車両用画像処理装置の動作として、２次元空間フィルタ処理（プラシアンフィルタ処理）を説明するための図である。 図４Ａは、本発明の車両用画像処理装置の動作として、白線特徴点の検出について説明するための図である。 図４Ｂは、本発明の車両用画像処理装置の動作として、白線特徴点の検出について説明するための図である。 図５は、本発明の車両用画像処理装置の動作を説明するための図であり、特徴点検出用画像データの白線検出用走査領域Ａ１０１、分岐検出用走査領域Ａ１０２、行き止まり障害物検出用走査領域Ａ１０３を示している。 図６は、本発明の車両用画像処理装置の動作として、現在の車両位置の算出について説明するための図である。 図７Ａは、本発明の車両用画像処理装置の動作であるステップＳ１１２が実行されたときの効果について説明するための図である。 図７Ｂは、本発明の車両用画像処理装置の動作であるステップＳ１１２が実行されたときの効果について説明するための図である。 図７Ｃは、本発明の車両用画像処理装置の動作であるステップＳ１１２が実行されたときの効果について説明するための図である。

符号の説明

Ｍ１００ 車両用画像処理装置、
Ｍ１０１ 撮像装置、
Ｍ１０２ Ａ／Ｄコンバータ、
Ｍ１０３ メモリ、
Ｍ１０４ エッジ検出部、
Ｍ１０５ エッジ補正・ノイズ除去部、
Ｍ１０６ 白線検出部、
Ｍ１０７ 分岐検出部、
Ｍ１０８ 行き止まり障害物検出部、
Ｍ１０９ 走行位置推定部、
Ｍ１１０ 画像処理装置、
Ｍ１１１ 特徴点検出部、
Ｍ２００ 自動操縦システム、
Ａ１０１ 白線検出用走査領域、
Ａ１０２ 分岐検出用走査領域、
Ａ１０３ 行き止まり障害物検出用走査領域、

Claims (11)

1. 道路上の車両の前方を撮影し、前記車両の前方を表すｍ行ｎ列（ｍ、ｎは３以上の整数である）の画素を含む画像データを生成する撮像装置と、
   前記画像データに対して、前記道路上の特徴点を検出するための検出用画像データを生成するエッジ検出部と、
   前記検出用画像データに基づいて前記特徴点を検出し、出力装置に出力する特徴点検出部と
   を具備し、
   前記特徴点は、前記道路上に描かれた白線を表す白線特徴点と、前記道路の分岐を表す分岐特徴点と、前記道路が行き止まり又は障害物により遮断されていることを表す行き止まり障害物特徴点とを含み、
   前記検出用画像データは、前記白線特徴点を検出するための白線検出用走査領域と、前記分岐特徴点を検出するための分岐検出用走査領域と、前記行き止まり障害物特徴点を検出するための行き止まり障害物検出用走査領域とを含み、
   前記検出用画像データのｍ行ｎ列の画素に対応する地点と前記車両との距離は、１行目からｍ行目までこの順に短く、
   １＜ｍ_１＜ｍ_２＜ｍである場合、前記行き止まり障害物検出用走査領域、前記分岐検出用走査領域、前記白線検出用走査領域は、それぞれ、前記検出用画像データのｍ行ｎ列の画素のうちの、１行目からｍ_１行目までの画素、（ｍ_１＋１）行目からｍ_２行目までの画素、（ｍ_２＋１）行目からｍ行目までの画素に対応する
   車両用画像処理装置。
2. 前記特徴点検出部は、
   前記白線検出用走査領域の画素を行単位で走査して、前記白線特徴点を検出する白線検出部と、
   前記分岐検出用走査領域の画素を行単位で走査して、前記分岐特徴点を検出する分岐検出部と、
   前記行き止まり障害物検出用走査領域の画素を行単位で走査して、前記行き止まり障害物特徴点を検出する行き止まり障害物検出部と
   を具備する
   車両用画像処理装置。
3. 前記白線検出部は、前記白線検出用走査領域の画素を行単位で走査し、前記白線特徴点として、（ｎ／２）列目から１列目までの左側画素を走査したときの左側白線特徴点と、（ｎ／２）列目からｎ列目までの右側画素を走査したときの右側白線特徴点とを検出し、
   前記特徴点検出部は、
   前記白線検出部により行単位で検出された前記左側白線特徴点と前記右側白線特徴点とに基づいて、前記道路上の前記車両の位置を推定し、前記出力装置に出力する走行位置推定部
   を更に具備する請求項２に記載の車両用画像処理装置。
4. 前記白線検出部は、
   前記白線検出用走査領域の画素を行単位で走査して、前記白線特徴点として、前記左側白線特徴点と前記右側白線特徴点との一方の白線特徴点が検出され、その他方の白線特徴点が検出されない場合、前記他方の白線特徴点が検出できなかった前記左側画素又は前記右側画素の中から中心画素を補間白線特徴点として補間し、
   前記走行位置推定部は、
   前記白線検出部により行単位で検出された前記一方の白線特徴点と前記補間白線特徴点とに基づいて、前記道路上の前記車両の位置を推定し、前記出力装置に出力する
   請求項３に記載の車両用画像処理装置。
5. 前記エッジ検出部は、
   前記画像データのｍ行ｎ列の画素の各々に対して、注目画素とその周辺の周辺画素とが表す色の濃度の平均値として濃度平均値を求め、前記濃度平均値に基づいて前記注目画素の新規の濃度として算出濃度を算出して、２次元空間フィルタ処理済画像データを生成する２次元空間フィルタ処理を施し、
   前記２次元空間フィルタ処理済画像データのｍ行ｎ列の画素の各々に対して、前記算出濃度が設定濃度以下である場合は２値数として１と０との一方の値を設定し、前記算出濃度が前記設定濃度よりも大きい場合は２値数として１と０との他方の値を設定して、前記検出用画像データを生成する２値化処理を施す
   請求項１〜４のいずれかに記載の車両用画像処理装置。
6. 前記エッジ検出部は、
   前記２次元空間フィルタ処理として平滑化フィルタ処理とラプラシアンフィルタ処理とを実行する
   請求項５に記載の車両用画像処理装置。
7. 前記白線検出部は、前記白線検出用走査領域の画素を行単位で走査して、前記一方の値を表す画素を候補白線特徴点として検出し、前記候補白線特徴点が設定白線特徴点と一致した場合、前記候補白線特徴点を前記白線特徴点として検出し、
   前記分岐検出部は、前記分岐検出用走査領域の画素を行単位で走査して、前記一方の値を表す画素を候補分岐特徴点として検出し、前記候補分岐特徴点が設定分岐特徴点と一致した場合、前記候補分岐特徴点を前記分岐特徴点として検出し、
   前記行き止まり障害物検出部は、前記行き止まり障害物検出用走査領域の画素を行単位で走査して、前記一方の値を表す画素を候補行き止まり障害物特徴点として検出し、前記候補行き止まり障害物特徴点が設定行き止まり障害物特徴点と一致した場合、前記候補行き止まり障害物特徴点を前記行き止まり障害物特徴点として検出する
   請求項５又は６に記載の車両用画像処理装置。
8. 前記検出用画像データのｍ行ｎ列の画素の各々に対して前記注目画素の周辺の前記周辺画素が表す２値数０、１をそれぞれカウントし、カウントした０、１の数の比率と予め決められた配列条件とに基づいて、前記注目画素が表す２値数を置換するエッジ補正・ノイズ除去処理を施して特徴点検出用画像データを生成し、前記特徴点検出用画像データを前記検出用画像データとして前記特徴点検出部に出力するエッジ補正・ノイズ除去部
   を更に具備する請求項５〜７のいずれかに記載の車両用画像処理装置。
9. メモリと、
   前記撮像装置により生成された前記画像データに対してアナログ／ディジタル（Ａ／Ｄ）変換を施し、前記メモリに格納するＡ／Ｄコンバータと
   を更に具備し、
   前記エッジ検出部は、
   前記メモリに格納された前記画像データに対して前記検出用画像データを生成する
   請求項１〜８のいずれかに記載の車両用画像処理装置。
10. 前記出力装置は、前記車両の自動操縦を行う自動操縦システムである
    請求項１〜９のいずれかに記載の車両用画像処理装置。
11. 道路上の車両の前方を表すｍ行ｎ列（ｍ、ｎは３以上の整数である）の画素を含む画像データに対して、前記道路上の特徴点を検出するための検出用画像データを生成するエッジ検出部と、
    前記検出用画像データに基づいて前記特徴点を検出し、出力装置に出力する特徴点検出部と
    を具備し、
    前記特徴点は、前記道路上に描かれた白線を表す白線特徴点と、前記道路の分岐を表す分岐特徴点と、前記道路が行き止まり又は障害物により遮断されていることを表す行き止まり障害物特徴点とを含み、
    前記検出用画像データは、前記白線特徴点を検出するための白線検出用走査領域と、前記分岐特徴点を検出するための分岐検出用走査領域と、前記行き止まり障害物特徴点を検出するための行き止まり障害物検出用走査領域とを含み、
    前記検出用画像データのｍ行ｎ列の画素に対応する地点と前記車両との距離は、１行目からｍ行目までこの順に短く、
    １＜ｍ_１＜ｍ_２＜ｍである場合、前記行き止まり障害物検出用走査領域、前記分岐検出用走査領域、前記白線検出用走査領域は、それぞれ、前記検出用画像データのｍ行ｎ列の画素のうちの、１行目からｍ_１行目までの画素、（ｍ_１＋１）行目からｍ_２行目までの画素、（ｍ_２＋１）行目からｍ行目までの画素に対応する
    画像処理装置。

Images