JP2000099896A - 走行路検出装置、車両走行制御装置および記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】撮像画像中に走行路を示すためのレーンマーク
などの明瞭な特徴がない場合であっても、走行路を適切
に検出する。 【解決手段】撮像画像の分割領域毎に、その周囲の分割
領域との間で画像パターンの相関計算を行って類似度を
算出し、類似度の最も高い分割領域の存在する方向を画
像対応方向として算出する。そして、分割領域毎に、画
像対応方向と実質的に同じモデル対応方向を持つ全ての
走行路モデルに投票し、全ての分割領域について投票し
た結果、最大投票数を得た走行路モデルに基づいて走行
路を検出する。画像中に存在するレーンマークなどの明
瞭な特徴部分にだけ依存するのではなく、分割領域単位
での類似度に基づいて画像特徴的に連続する方向を算出
しているため、雨水によってレーンマークが部分的に見
えにくくなっていても、分割領域単位では似ているた
め、結果的に走行路の方向と一致した画像対応方向を算
出することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両前方を撮影し
た画像中より走行路を検出する走行路検出装置、その検
出した走行路に沿って車両を走行させる車両走行制御装
置および走行路検出装置をコンピュータシステムにて実
現するための記録媒体に関する。

【０００２】

【従来の技術及び発明が解決しようとする課題】従来よ
り、例えば車両の自動操縦などを実現するためには車両
の走行路を検出する必要があり、その走行路検出のた
め、車両前方を撮影した画像中より道路上に存在する白
線などのレーンマークを検出する技術が開発されてい
る。そのレーンマーク検出技術としては、原画像中より
走行路のエッジを探索し、それらのエッジを連結するこ
とによってレーンマークを検出する手法や、撮像した２
次元の画像中から線分を抽出し、その抽出した線分を３
次元の実空間上に変換してから、その変換した線分を連
結する手法などがある。

【０００３】しかしながら、これら従来の検出手法に
は、次に示す根本的な問題点が内在する。つまり、撮像
画像中において走行路が明瞭に存在していないと適切な
検出ができないという問題である。例えば、雨天の場合
に、遠方では雨水によってレーンマークが見えにくくな
ることがあり、レーンマークのエッジが探索できないた
め、レーンマークの検出、すなわち走行路検出もできな
くなる。また、レーンマークのエッジだけを確実に区別
して抽出することは技術的にも困難な場合があり、例え
ば検出したいレーンマーク付近にそのレーンマーク以外
のエッジが存在する場合には、その誤ったエッジを採用
してしまい、容易に連結間違いが発生してしまう。例え
ばレーンマークとして道路上の白線を検出したい場合
に、その道路上に白色の走行車両が存在すると、その走
行車両によって上述した「別のエッジ」が生じることが
考えられ、連結間違いの基となる。このように一度連結
間違いが生じた場合には、復旧は難しく、適切なレーン
マーク検出ができなくなってしまう。

【０００４】また、２次元画像中から抽出した線分を３
次元の実空間上に変換し、その変換した線分を連結する
手法の場合には、線分の存在が前提となるため、線分が
明瞭に存在しない場合には適切な検出が困難となる。し
たがって、上述した雨水によってレーンマークが見えに
くくなっている場合には、やはり対応が困難である。

【０００５】そこで本発明は、撮像画像中に走行路を示
すためのレーンマークなどの明瞭な特徴がない場合であ
っても、走行路を適切に検出することのできる走行路検
出装置を提供し、さらに、車両走行制御装置および走行
路検出装置をコンピュータシステムにて実現するための
記録媒体を提供することを目的とする。

【０００６】

【課題を解決するための手段及び発明の効果】上記課題
を解決するためになされた請求項１記載の走行路検出装
置は、例えば車両に搭載されたＣＣＤカメラなどの撮像
手段によって車両前方の走行路を撮像し、その撮像した
画像に基づき検出手段が走行路を検出するのであるが、
検出手段は、次のようにして走行路検出を行う。

【０００７】まず、検出手段が備えるモデル対応方向記
憶手段には、走行路を特定可能な特徴線が取り得る種々
の形状を考慮して画像上での走行路モデルを複数設定
し、画像を複数の小領域に分割したその分割領域毎に走
行路モデルの連続する方向である「モデル対応方向」
が、各走行路モデル分だけ記憶されている。

【０００８】一方、画像対応方向算出手段は、撮像手段
にて撮像した画像の分割領域毎に、その分割領域が画像
特徴的に連続する方向（画像対応方向）を算出する。そ
して、モデル選択手段は、分割領域毎に、画像対応方向
と実質的に同じモデル対応方向を持つ全ての走行路モデ
ルに対して投票し、撮像画像中の全ての分割領域につい
て投票を行った結果、最大投票数を得た走行路モデルを
選択し、このモデル選択手段にて特定された走行路モデ
ルに基づいて走行路を検出する。

【０００９】なお、画像対応方向算出手段による画像対
応方向の算出に際しては、例えば請求項２に示すよう
に、対象となる前記分割領域と、その周囲に存在する分
割領域との間で画像パターンの相関計算を行って類似度
を算出し、その類似度の最も高い分割領域の存在する方
向を、画像対応方向とすることが考えられる。

【００１０】このようにして算出した画像対応方向は、
例えば画像中にレーンマークなどの明瞭な特徴があれ
ば、当然そのレーンマークの存在する方向の分割領域が
画像特徴的に連続する方向となる。したがって、分割領
域毎に、画像対応方向と実質的に同じモデル対応方向を
持つ走行路モデルに投票した場合に最大投票数を得る走
行路モデルは、画像中に存在する実際の走行路に一致す
ることとなる。

【００１１】また、例えば上述した雨天の場合に、雨水
によってレーンマークが見えにくくなるような場合であ
っても、分割領域単位で画像特徴的に連続すると推定さ
れる方向を算出している。つまり、画像中に存在するレ
ーンマークなどの明瞭な特徴部分にだけ依存するのでは
なく、分割領域全体の画像を対象として画像特徴的に連
続する方向を算出しているため、例えば上述のように雨
水によってレーンマークが見えにくくなっていても、分
割領域間で見た場合、レーンマークに対応する方向性が
ある程度得られるため、結果的に走行路の方向と一致し
た画像対応方向を算出する可能性が高い。

【００１２】また、上述したように、レーンマークのエ
ッジだけを確実に区別して抽出することは技術的にも困
難な場合があり、例えば検出したいレーンマーク付近に
そのレーンマーク以外のエッジが存在する場合には、そ
の誤ったエッジを採用してしまい、容易に連結間違いが
発生してしまうという問題があったが、分割領域全体の
画像を対象として画像特徴的に連続する方向を算出する
手法を用いることで、単にエッジがあるからといってそ
れをレーンマークのエッジとして採用することも防止で
きる。つまり、エッジがあっても、分割領域全体を見た
場合にさらに類似している分割領域があれば、そちらの
分割領域の方向が画像対応方向となるからである。

【００１３】このように、本発明の走行路検出装置によ
れば、撮像画像中に走行路を示すためのレーンマークな
どの明瞭な特徴がない場合であっても、走行路を適切に
検出することができる。なお、画像対応方向の算出は、
請求項２に示したように画像パターンの相関計算を行っ
て類似度を算出する以外にも考えられるが、相関計算に
て算出する場合には、画像処理などの分野で一般的に用
いられている自己相関を用いることによって簡単に実現
でき、また画像全体の類似度を得る上で非常に適してい
るので好ましい。

【００１４】また、走行路モデルを設定する上で考慮す
る「走行路を特定可能な特徴線」としては、例えばレー
ンマークや路肩、あるいはガードレールや側壁などの走
行路の方向を示しているものを採用することが考えられ
る。さらには、このように定常的に存在する特徴線では
なく、例えば雨天時に得られる先行車の走行軌跡や轍
（わだち）に溜まった雨水などのように、一時的に存在
する特徴線によっても走行路を検出することができる。

【００１５】そして、その走行路モデルについては、請
求項３に示すように、自車両の走行路だけでなく、隣接
する走行路を特定可能な特徴線も考慮して設定されてい
ることが好ましい。これは、次の観点からの考慮であ
る。つまり、実際の車両運転の際にも運転者が経験する
ことであるが、例えば雨天や夜間の運転時に自車両の走
行路を示すレーンマークなどが見えない、あるいは見え
にくいために、対向車線の路肩やガードレールあるいは
側壁などを見て運転することがある。したがって、自車
両の走行路を検出する際にも、隣接する走行路の特徴線
も考慮することが好ましい。例えば、自車レーンと左右
の隣接レーンの組み合わせを１つの走行路モデルとすれ
ば、対向車線や走行車線、あるいは追い越し車線などの
データがあれば、これらが隣接レーンのデータとして処
理され、仮に自車レーンの情報がなかったとしても最適
なモデルが選択され、従って、結果的に自車レーンも決
定されるため、走行路を検出することができるのであ
る。なお、この観点からすれば、自車両の走行路を直接
的に示すレーンマークなどは考慮せず、例えば隣接する
走行路のレーンマークなどのみによって自車両の走行路
を間接的に定めることも可能ではある。

【００１６】また、請求項４に示すように、モデル選択
手段は、走行路モデルに対する投票を所定回数繰り返し
て行った場合の総投票数に基づいてモデル選択を行うよ
うにしてもよい。１回の投票だけでは、例えば雨天や逆
行などの突発的な外乱によって誤ったモデルを選択して
しまう可能性もあるため、所定回数繰り返した場合の総
投票数に基づけば、そのような突発的な外乱による影響
を極力除去することができる。

【００１７】また、請求項５に示すように、モデル選択
手段は、過去のモデル選択結果に基づいて投票する走行
路モデルを限定するようにしてもよい。この際、請求項
６に示すように、直前に選択された走行路モデルから変
形し得る所定範囲の走行路モデルについてのみ投票対象
とすることが考えられる。

【００１８】つまり、通常想定される処理サイクルを考
えた場合、例えば大きく左にカーブしていた走行路が次
の処理サイクルで大きく右にカーブすることはあり得な
い。したがって、直前に選択された走行路モデルが左右
にカーブしていた場合には、そのカーブ度合いが所定範
囲で変化したものが「変形し得る所定範囲の走行路モデ
ル」ということになる。また、直前に選択された走行路
モデルが直進であった場合には、左右の所定範囲にカー
ブをする走行路までが「変形し得る所定範囲の走行路モ
デル」ということになる。

【００１９】このように投票対象の走行路モデルを限定
しておけば、計算量の削減を図ることができると共に、
突発的なデータに対して（適切でない）突発的な解を出
力してしまうことを軽減でき、誤検出を防止する点で有
効である。つまり、上述したように直前の走行路モデル
が大きく左にカーブする走行路であった場合、次の処理
サイクルで大きく右にカーブする走行路に投票されるこ
とがなくなり、その右カーブの走行路モデルが誤って選
択されることを防止できる。

【００２０】また、実際の使用態様を鑑みると、カメラ
の撮影角度は、撮像した画像の最上部まで道路が含まれ
るのではなく、例えば前方に障害物がないとすると、画
面最上部から３分の１程度下方の位置に地平線が来るよ
うな設定にすることが多い。その場合には、撮像画像の
上側の所定範囲には検出すべき走行路自体が存在しない
こととなる。したがって、請求項７に示すように、分割
領域は、画像中の上側であって、走行路を特定可能な特
徴線が取り得ないと推定される領域については設定しな
いことが好ましい。そして、この走行路を特定可能な特
徴線が取り得ないと推定される領域は、請求項８に示す
ように、撮像画像中における走行路の無限遠点よりも上
側の領域とすることが考えられる。

【００２１】このようにすれば、走行路を特定可能な特
徴線が取り得ないと推定される領域についての分割領域
がないため、その分割領域については画像対応方向を算
出しなくてよく、当然ながら、モデル選択のための投票
にも関係しない。したがって計算量削減のために有効で
ある。

【００２２】また、請求項９に示すように、以上説明し
た走行路検出装置を用い、その走行路検出装置によって
検出した走行路に沿って車両を走行させる車両走行制御
装置として構成することもできる。走行路検出装置にて
例えばレーンマークなどが明瞭に存在しない場合であっ
ても適切に走行路が検出されるため、その検出した走行
路に沿って車両を走行させる場合には、適切な車両走行
制御が実現できる。

【００２３】なお、走行路は道路には限定されず、例え
ば工場内において無人搬送車両を自動操縦にて走行させ
るような場合の床などであってもよい。この場合の走行
路を特定可能な特徴線としては、例えば、床上にプリン
トした走行ガイド線のようなものとなる。

【００２４】なお、このような走行路検出装置における
画像対応方向算出手段及びモデル選択手段としてコンピ
ュータシステムを機能させる機能は、例えば、コンピュ
ータシステム側で起動するプログラムとして備えられ
る。このようなプログラムの場合、例えば、フロッピー
ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ハ
ードディスク等の記録媒体に記録し、必要に応じてコン
ピュータシステムにロードして起動することにより用い
ることができる。この他、ＲＯＭやバックアップＲＡＭ
を記録媒体として前記プログラムを記録しておき、この
ＲＯＭあるいはバックアップＲＡＭをコンピュータシス
テムに組み込んで用いても良い。

【００２５】

【発明の実施の形態】図１は、上述した発明が適用され
た実施の形態としての走行路検出装置２の概略構成を表
すブロック図である。本実施形態の走行路検出装置２
は、車両に搭載され、車両前方の走行路を検出するため
の装置であり、例えば、このように検出した走行路に沿
って自動走行制御などを実行する場合などに利用され
る。

【００２６】本走行路検出装置２は、「撮像手段」とし
てのＣＣＤカメラ１０と、「検出手段」としての検出処
理部２０とから構成されている。ＣＣＤカメラ１０は、
図２に示すように、例えば車両内部の運転席近傍の天井
などに取り付けられており、車両前方の風景を撮像す
る。なお、この場合、例えば当該車両が道路上を走行し
ているのであれば、車両から所定距離だけ前方の道路も
その撮像した風景内に含まれるように撮像範囲が設定さ
れている。

【００２７】一方、検出処理部２０は、図１に示すよう
に、ＣＣＤカメラ１０から出力されるアナログの画像信
号をディジタルの画像データに変換するアナログ・ディ
ジタル変換器（ＡＤＣ）２１と、そのＡＤＣ２１から出
力される画像データを記憶しておく画像メモリ２３と、
その画像メモリ２３に記憶されている画像データに基づ
いて、画像データ中の走行路を検出する処理などを実行
するものであり、「画像対応方向算出手段」及び「モデ
ル選択手段」に相当するＣＰＵ２４と、ＣＰＵ２４の実
行するプログラムなどを記憶しているＲＯＭ２５と、Ｃ
ＰＵ２４の作業領域として機能し、また「モデル対応方
向記憶手段」にも相当するＲＡＭ２６と、ＣＰＵ２４か
ら転送された例えば走行路の検出結果にかかるデータな
どを外部へ出力するための通信ＩＣ２７などを備えてい
る。

【００２８】上述したように、ＣＰＵ２４は、画像メモ
リ２３に記憶されている画像データに基づいて画像デー
タ中の走行路を検出する処理を実行するのであるが、こ
の検出処理は概略次のように行う。ＣＣＤカメラ１０を
介して取り込んだ画像を領域分割し、その領域毎に走行
路モデルの方向データを算出する。そして、その方向デ
ータが、予め設定しておいた走行路モデルにいずれに該
当するかを判断し、該当する走行路モデルに投票する。
そして、全領域の投票結果に基づき、その投票数が最も
多いものを走行路として扱うのである。

【００２９】以下、この走行路検出の詳細な内容につい
て、図３のフローチャートに示した処理手順に従いなが
ら、随時図４〜図１０を参照しながら説明を進める。最
初に、画像上に走行路モデルを設定する（図３のＳ１参
照）。この走行路モデルの設定は、まず、実空間（３次
元）上でのモデルを設定した後、それを画像（２次元）
上のモデルに変換するという手順で実行される。

【００３０】まず、実空間（３次元）上での折れ線道路
モデルを、道路形状として想定されるだけ設定する。こ
こでは、自車レーンと左右の隣接レーンによって構成さ
れるモデルを用いる。図４（ａ）には直線路の実空間モ
デル、図４（ｂ）には左カーブ道路の実空間モデルを、
それぞれ道路を真上から見た概念図として示した。ここ
では、自車レーンを中心にして左右に隣接する１レーン
ずつの３レーンの走行路を想定する。自車レーンの左境
界線をＬ１、右境界線をＬ２で示すと共に、左隣接レー
ンの左境界線をＬ０、右隣接レーンの右境界線をＬ３で
示した。

【００３１】そして、この各ラインＬ０〜Ｌ３につい
て、次の示す要領で想定ラインを設定する。つまり、図
５に示すように、自車両の位置を起点（０ｍ）として、
１５ｍの位置まで角度１．５度の間隔で５本の分岐直線
を作成する。具体的には、直進方向に１本の分岐直線
と、その直進方向の分岐直線に対して左右に角度１．５
度及び３．０度の２本ずつの分岐直線による計５本の分
岐直線を作成する。

【００３２】次に、それら５本の分岐直線の１５ｍでの
位置をそれぞれ起点として、同様に５本の分岐直線を作
成して４０ｍの位置まで引く。これを、さらに７０ｍの
値、１２０ｍの位置まで同様に５本ずつの分岐直線を作
成することによって、０ｍ位置から１２０ｍ位置までを
結ぶ想定ラインが、総計６２５（＝５⁴ ）本設定され
る。図５では１ラインについて示したが、これをＬ０〜
Ｌ３の４レーンについてそれぞれ設定する。そして、各
ラインＬ０〜Ｌ３についての想定ラインの内で同じ形状
のラインの組み合わせたものを１つの走行路モデルとし
て取り扱う。

【００３３】このように、自車レーンと左右の隣接レー
ンの組み合わせを１つのモデルとすることで、対向車線
や走行車線、あるいは追い越し車線などのデータがあれ
ば、これらが隣接レーンのデータとして処理され、仮に
自車レーンの情報がなかったとしても最適なモデルが選
択され、従って、結果的に自車レーンも決定されるた
め、走行路を検出することができるのである。

【００３４】次に、上述した実空間（３次元）上でのモ
デルを画像（２次元）上のモデルに変換する処理につい
て説明する。３次元上において、自車の前方距離をｙ
（ｍ）、水平方向距離をｘ（ｍ）、撮像系の高さをｚ
（ｍ）とする。また、対応する２次元画面（ＣＣＤカメ
ラ１０におけるＣＣＤ面）上での座標位置を、水平位置
Ｘ（ドット）、垂直位置Ｙ（ドット）とする。撮像系を
水平方向から見た場合の概念図を図６に示す。図６中の
示すｙはレンズから路面上の点までの前方距離（単位
ｍ）であり、ｚはＣＣＤカメラ１０の設定されている高
さ（単位ｍ）である。詳しくはＣＣＤカメラ１０内のＣ
ＣＤの中心位置である。また、図６中に示すｓはＣＣＤ
面上での垂直位置（単位ｍ）であり、ｆはレンズの焦点
距離（単位ｍ）である。

【００３５】この図６の概念図に基づけば、幾何学的な
相似より、ｓ／ｆ＝ｚ／ｙという関係式が導かれ、ｓは
ｙ，ｚ，ｆを用いて下記の式１のように表される。 ｓ＝ｚ・ｆ／ｙ ……（式１） このｓ（ｍ）は、前方距離ｙ（ｍ）に対応するＣＣＤ面
上での中心からの垂直距離を示しているため、このｓ
を、ＣＣＤ１セルの大きさで除算したものが、ＣＣＤ面
上での垂直ドット位置Ｙとなる。また、ＣＣＤ面上での
中心からの水平距離をｔとすれば、このｔを、ＣＣＤ１
セルの大きさで除算したものが、ＣＣＤ面上での水平ド
ット位置Ｘとなる。したがって、水平ドット位置Ｘ、垂
直ドット位置Ｙはそれぞれ下記の式２、式３のように表
される。

【００３６】 Ｘ＝ｔ／ＣＣＤの横セルの大きさ ……（式２） Ｙ＝ｓ／ＣＣＤの縦セルの大きさ ……（式３） そこで、この式２，３を用いて、上述した実空間上で作
成した走行路モデルを画像上に変換する。図７（ａ）
は、車載のＣＣＤカメラ１０にて撮像された画像例を示
すものであるが、このような撮像シーン例に対して、図
７（ｂ）に示すような走行路モデルが設定される。な
お、図７（ｂ）においては、自車走行路の境界線に対す
るモデルのみを示した。また、実際の道路の幅員には多
少のばらつきがあるが、本走行路検出装置２は、自動走
行制御を実行する場合などに利用されるものであり、こ
の自動走行制御は主に高速道路での実施が想定される。
したがって、高速道路における一般的な幅員を想定し
て、左右境界線の幅は設定すればよい。

【００３７】このようにして走行路モデルが設定された
ので、次に、図８に示すように画像をメッシュ状に領域
分割する（図３のＳ２参照）。図８では概念的に示した
が、実際には、解析対象の画像データが縦４８０ドッ
ト、横５１２ドットであり、分割した１領域は、縦４ド
ット、横１６ドットである。なお、図７（ａ）に例示し
たように、撮像した画像の最上部まで道路が含まれるの
ではなく、例えば前方に障害物がないとすると、画面最
上部から３分の１程度下方の位置に地平線が来るよう、
ＣＣＤカメラ１０の撮影角度を設定にすることが多い。
その場合には、撮像画像の上側の所定範囲には道路がな
く、その結果、検出すべき走行路も存在しないこととな
る。したがって、図８に例示したように、撮像画像中の
上側であって、走行路が存在しないと推定される領域に
ついては、画像の領域分割を行わず、その後の処理にお
いて取り扱わないこととする。これにより、不要な処理
が実行されないようにすることができ、処理負荷軽減の
点で好ましい。なお、この走行路が存在しないと推定さ
れる領域は、撮像画像中における走行路の無限遠点より
も上側の領域として設定することができる。

【００３８】そして、分割した領域毎に走行路モデルの
方向データを算出する（図３のＳ３参）。この方向デー
タとしては、例えば画像の縦方向（垂直ドット方向）を
基準とした角度で表すことが考えられる。続いて、領域
位置毎で、方向データと対応モデルをマップ化する（図
３のＳ４参照）。具体的には、領域の水平位置をＢＸ、
垂直位置をＢＹ、領域の方向をＢＫとして、これらを変
数としたマップを作成する。下記の式４は、上述した３
つの変数に対して、対応する走行路モデルの番号をＮと
してマップ化した関係を示している。

【００３９】 Ｎ＝Ｆ（ＢＸ，ＢＹ，ＢＫ） ……（式４） なお、ある領域位置（ＢＸ，ＢＹ）である方向データＢ
Ｋを持つ走行路モデルは複数存在することもある。特
に、図７（ｂ）からも判るように画面下側、つまり自車
位置に近い部分では多くの走行路モデルが一致する。

【００４０】次に、走行路モデル毎に、そのモデルが次
の処理サイクルに取り得るモデルの集合をマップ化して
おく。具体的には、本実施形態の走行路モデルは図７
（ｂ）に示すように折れ線形状をしているので、先端
（１２０ｍ位置）と３つの関節部（１５ｍ位置，４０ｍ
位置，７０ｍ位置）におけるモデル間の距離が所定値以
下となるようなモデルを選択してマップ化しておき、モ
デル対応方向記憶手段としてのＲＡＭ２６内に記憶させ
ておく。下記の式５は、選択モデルＥが、出力モデルＭ
に基づく次サイクルで変形し得るモデル集合Ｇによって
定まることを示している。

【００４１】 Ｅ＝Ｇ（Ｍ） ……（式５） これまでに説明した図３のＳ１〜Ｓ５の処理が、実際に
走行路検出を行う前に実行しておく前処理的なものであ
る。そして、以下に説明する図３のＳ６〜Ｓ１１が、実
際にＣＣＤカメラ１０にて撮像した画像データに基づい
て走行路を検出する処理である。

【００４２】まず、取り込んだ画像データについて、Ｓ
２で分割した領域毎に、その領域が連続する方向（領域
方向データ）を算出する（図３のＳ６参照）。本実施形
態では、この領域方向データの算出にあたって相関計算
を行う。相関計算は、画像処理などの分野で一般的に用
いられている自己相関を用いることによって簡単に実現
できる。対象となる領域の画像に対して、当該領域の周
囲の画像との間で相関計算を行うことで、類似する画像
領域が決定され、その領域の方向が画像の連続する方向
となる。

【００４３】図９には、この領域方向データの算出手法
を概念的に示した。各領域は水平１６ドット、垂直４ド
ットの２次元データであるが、ここでは計算量削減のた
め、垂直４ドット分のデータは積算することによって、
２次元データを１次元データ（G_data）に変換した状態
で処理を進める。相関計算は、下記の式６に示すよう
に、単純な輝度データの差分の絶対値の総和で評価す
る。

【００４４】

【数１】

【００４５】そして、下記の式７に従って相関位置を求
め、その方向を領域方向データとする。

【００４６】

【数２】

【００４７】つまり、水平方向の探索位置ｓを−３２≦
ｓ≦３２の範囲で探索した結果としての相関値SUM[s]の
内の最小のものを、領域方向データｖとするのである。
なお、このように相関計算を用いるのは次の考え方に基
づく。画像上の走行路については、道路上に描かれたレ
ーンマーク、路肩などの道路の境界を定めるのに有効な
線が基本的には連続して存在する。したがって、この道
路境界線の連続する方向の画像領域が、相関計算によっ
て類似する画像領域として算出される可能性が極めて高
い。また、例えば雨水がたまって道路境界線のような明
瞭な特徴が現れていなくても、画像領域同士での相関計
算によって類似する画像領域を算出した場合には、やは
り実際に道路境界線が連続している方向の画像領域が算
出される可能性が高い。

【００４８】このようにして、分割した各画像領域につ
いての領域方向データを算出した後は、領域方向データ
を、走行路モデルに投票する（図３のＳ７参照）。この
投票方法は、各領域データについて、その位置（ＢＸ，
ＢＹ）と方向データＢＫを上記式４に代入すると、走行
路モデルの番号Ｎが得られる。したがって、その得られ
た走行路モデル番号Ｎに対して、投票数を１増加させ
る。なお、上述したように、１つの領域位置（ＢＸ，Ｂ
Ｙ）、方向データＢＫに対して該当する走行路モデルは
複数存在することがあるので、その場合には、該当する
全ての走行路モデルについて投票数を１増加させる。こ
の投票処理を例えば左上の分割領域から順番に全ての領
域について行う。

【００４９】つづいて、投票結果に基づいて最適なモデ
ルを選択するのであるが、具体的には、Ｓ７にて実行さ
れる投票による投票数を５サイクル分保存しておき、そ
の５サイクル分の投票数の総和を算出する（図３のＳ８
参照）。そして、その５サイクル分の投票数の総和が最
大となる走行路モデルを選択し（図３のＳ９参照）、そ
の走行路モデルの番号Ｎを検出結果として出力する（図
３のＳ１１参照）。図１０には、そのようにして出力さ
れた検出結果（走行路モデル）を示す。

【００５０】なお、本実施形態では、Ｓ９にて最大投票
数の走行路モデルを選択した後、その最大投票数となっ
たモデルに対して、次サイクルに取り得るモデルを選択
する（図３のＳ１０参照）。この取り得るモデルについ
ては、上述したＳ５にてマップ化しておいたものを用い
る。そして、Ｓ１０でのモデル選択がされた後、Ｓ６へ
戻って、次の処理サイクルを開始する。

【００５１】したがって、最初の５サイクルまでは、走
行路モデルの選択を行わず、Ｓ１にて設定した全ての走
行路モデルを対象としてＳ７での投票を行い、５サイク
ル分の投票数の総和が最大となるものを選択し、検出結
果として出力する。そして、６サイクル以降の処理にお
いては、Ｓ１０にて選択されたモデルについてのみ投票
対象とすることで、計算量の削減を図ることができると
共に、突発的なデータに対して（適切でない）突発的な
解を出力してしまうことを軽減でき、誤検出を防止する
点で有効である。

【００５２】以上説明したように、本実施形態の走行路
検出装置２によれば、ＣＣＤカメラ１０にて撮像した画
像の分割領域毎に、その周囲に存在する分割領域との間
で画像パターンの相関計算を行って類似度を算出し、そ
の類似度の最も高い分割領域の存在する方向を、画像対
応方向として算出する。そして、分割領域毎に、画像対
応方向と実質的に同じモデル対応方向を持つ全ての走行
路モデルに対して投票し、撮像画像中の全ての分割領域
について投票を行った結果、最大投票数を得た走行路モ
デルを選択し、このモデル選択手段にて特定された走行
路モデルに基づいて走行路を検出する。

【００５３】このようにして算出した画像対応方向は、
例えば画像中にレーンマークなどの明瞭な特徴があれ
ば、当然そのレーンマークの存在する方向の分割領域が
画像特徴的に連続する方向となる。したがって、分割領
域毎に、画像対応方向と実質的に同じモデル対応方向を
持つ走行路モデルに投票した場合に最大投票数を得る走
行路モデルは、画像中に存在する実際の走行路に一致す
ることとなる。

【００５４】また、例えば上述した雨天の場合に、雨水
によってレーンマークが見えにくくなるような場合であ
っても、分割領域単位で画像特徴的に連続すると推定さ
れる方向を算出している。つまり、画像中に存在するレ
ーンマークなどの明瞭な特徴部分にだけ依存するのでは
なく、分割領域全体の画像を対象として画像特徴的に連
続する方向を算出しているため、例えば上述のように雨
水によってレーンマークが見えにくくなっていても、そ
の雨水のたまり具合なども連続する分割領域間では似て
いるため、結果的に走行路の方向と一致した画像対応方
向を算出する可能性が高い。また、上述したように、レ
ーンマークのエッジだけを確実に区別して抽出すること
は技術的にも困難な場合があり、例えば検出したいレー
ンマーク付近にそのレーンマーク以外のエッジが存在す
る場合には、その誤ったエッジを採用してしまい、容易
に連結間違いが発生してしまうという問題があったが、
分割領域全体の画像を対象として画像特徴的に連続する
方向を算出する手法を用いることで、単にエッジがある
からといってそれをレーンマークのエッジとして採用す
ることも防止できる。つまり、エッジがあっても、分割
領域全体を見た場合にさらに類似している分割領域があ
れば、そちらの分割領域の方向が画像対応方向となるか
らである。

【００５５】なお、走行路を示す特徴線としては、レー
ンマーク以外にも路肩、あるいはガードレールや側壁な
どの走行路の方向を示しているものを採用することが考
えられる。さらには、このように定常的に存在する特徴
線ではなく、例えば雨天時に得られる先行車の走行軌跡
や轍（わだち）に溜まった雨水などのように、一時的に
存在する特徴線によっても走行路を検出することができ
る。

【００５６】このように、本実施形態の走行路検出装置
２によれば、撮像画像中に走行路を示すためのレーンマ
ークなどの明瞭な特徴がない場合であっても、走行路を
適切に検出することができる。そして、このような走行
路検出装置２を用い、その走行路検出装置によって検出
した走行路に沿って車両を走行させる車両走行制御装置
として構成すれば、走行路検出装置２にて例えばレーン
マークなどが明瞭に存在しない場合であっても適切に走
行路が検出されるため、その検出した走行路に沿って車
両を走行させる場合には、適切な車両走行制御が実現で
きる。

【００５７】［その他］上記実施形態では、道路上を走
行する車両を前提とした走行路検出装置２として説明し
たが、例えば工場内において無人搬送車両を自動操縦に
て走行させるような場合にも適用できる。この場合の走
行路は、例えば工場内の床上にプリントした走行ガイド
線のようなものである。

【図面の簡単な説明】

【図１】 実施の形態としての走行路検出装置の概略構
成を表すブロック図である。

【図２】 実施の形態としての走行路検出装置における
ＣＣＤカメラの配置などを示す概略説明図である。

【図３】 走行路検出に関する処理の概略を示すフロー
チャートである。

【図４】 実空間（３次元）上での折れ線道路モデルの
説明図である。

【図５】 走行路モデルの想定ライン設定に関する説明
図である。

【図６】 撮像系を水平方向から見た概念図である。

【図７】 （ａ）は車載のＣＣＤカメラにて撮像された
画像例、（ｂ）は（ａ）の撮像シーン例に対して設定さ
れる走行路モデルの説明図である。

【図８】 分割領域の概念説明図である。

【図９】 領域方向データの算出に関する概念説明図で
ある。

【図１０】 検出結果（走行路モデル）の説明図であ
る。

【符号の説明】

２…走行路検出装置 １０…ＣＣＤカメラ ２０…検出処理部 ２１…アナログ・ディジタル変換器（ＡＤＣ） ２３…画像メモリ ２４…ＣＰＵ ２５…ＲＯＭ ２６…ＲＡＭ ２７…通信ＩＣ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/18 Ｇ０６Ｆ 15/62 ３８０ (72)発明者 大池 達也 愛知県刈谷市昭和町１丁目１番地 株式会 社デンソー内 (72)発明者 日比野 克彦 愛知県刈谷市昭和町１丁目１番地 株式会 社デンソー内

Claims (10)

【特許請求の範囲】
1. 【請求項１】走行路上を走行して移動する車両に搭載さ
   れ、車両前方の走行路を撮像する撮像手段と、その撮像
   手段にて撮像した画像に基づき前記走行路を検出する検
   出手段とを備える走行路検出装置であって、 前記検出手段は、 前記走行路を特定可能な特徴線が取り得る種々の形状を
   考慮して画像上での走行路モデルを複数設定し、前記画
   像を複数の小領域に分割したその分割領域毎に前記走行
   路モデルの連続する方向であるモデル対応方向を、各走
   行路モデル分だけ記憶しておくモデル対応方向記憶手段
   と、 前記撮像手段にて撮像した画像の前記分割領域毎に、当
   該分割領域が画像特徴的に連続する方向である画像対応
   方向を算出する画像対応方向算出手段と、 前記分割領域毎に、前記画像対応方向と実質的に同じモ
   デル対応方向を持つ全ての走行路モデルに対して投票
   し、前記撮像画像中の全ての前記分割領域について前記
   投票を行った結果、最大投票数を得た走行路モデルを選
   択するモデル選択手段とを備え、 そのモデル選択手段にて特定された走行路モデルに基づ
   いて前記走行路を検出すること、 を特徴とする走行路検出装置。
2. 【請求項２】請求項１記載の走行路検出装置において、 前記画像対応方向算出手段は、対象となる前記分割領域
   と、その周囲に存在する分割領域との間で画像パターン
   の相関計算を行って類似度を算出し、その類似度の最も
   高い分割領域の存在する方向を、前記画像対応方向とす
   ること、 を特徴とする走行路検出装置。
3. 【請求項３】請求項１又は２記載の走行路検出装置にお
   いて、 前記走行路モデルは、自車両の走行路だけでなく隣接す
   る走行路を特定可能な特徴線も考慮して設定されている
   こと、 を特徴とする走行路検出装置。
4. 【請求項４】請求項１〜３のいずれか記載の走行路検出
   装置において、 前記モデル選択手段は、前記走行路モデルに対する投票
   を所定回数繰り返して行った場合の総投票数に基づいて
   モデル選択を行うこと、 を特徴とする走行路検出装置。
5. 【請求項５】請求項１〜４のいずれか記載の走行路検出
   装置において、 前記モデル選択手段は、過去のモデル選択結果に基づい
   て投票する走行路モデルを限定すること、 を特徴とする走行路検出装置。
6. 【請求項６】請求項５記載の走行路検出装置において、 前記モデル選択手段は、直前に選択された走行路モデル
   から変形し得る所定範囲の走行路モデルについてのみ投
   票対象とすること、 を特徴とする走行路検出装置。
7. 【請求項７】請求項１〜６のいずれか記載の走行路検出
   装置において、 前記分割領域は、前記画像中の上側であって、前記走行
   路を特定可能な特徴線が取り得ないと推定される領域に
   ついては設定されていないこと、 を特徴とする走行路検出装置。
8. 【請求項８】請求項７記載の走行路検出装置において、 前記走行路を特定可能な特徴線が取り得ないと推定され
   る領域は、撮像画像中における走行路の無限遠点よりも
   上側の領域であること、 を特徴とする走行路検出装置。
9. 【請求項９】請求項１〜８のいずれか記載の走行路検出
   装置と、 その走行路検出装置によって検出した走行路に沿って前
   記車両を走行させる車両走行制御装置。
10. 【請求項１０】請求項１〜９のいずれか記載の走行路検
    出装置における前記画像対応方向算出手段及びモデル選
    択手段としてコンピュータシステムを機能させるための
    プログラムを記録したコンピュータ読取可能な記録媒
    体。