JP2022123238A - 区画線認識装置 - Google Patents

Abstract

【課題】白線の画像が途切れているときに、白線の状態を誤認識することを防止する。【解決手段】区画線認識装置５０は、自車両の周囲の外部状況を検出するカメラ１ａと、検出された外部状況に基づいて、道路上の区画線についての区画線情報を含む地図を生成する地図生成部１７と、検出された外部状況に基づいて、地図生成部１７により生成された地図上における区画線の端部に障害物が隣接するか否かを判定する障害物判定部１４２と、障害物判定部１４２により区画線の端部に障害物が隣接すると判定されると、区画線情報に障害物検出情報を付加する情報付加部１４３と、を備える。【選択図】図３

Description

本発明は、道路の区画線を認識する区画線認識装置に関する。

この種の装置として、従来、車両に搭載されたカメラにより撮像された画像を利用して車線や駐車場枠の白線を認識し、これらの白線の認識結果を車両の走行制御や駐車支援に利用するようにした装置が知られている（例えば特許文献１参照）。特許文献１記載の装置では、撮像された画像の輝度の変化が閾値以上であるエッジ点を抽出し、エッジ点に基づいて白線を認識する。

特開２０１４－１０４８５３号公報

しかしながら、上記特許文献１記載の装置のように、単にエッジ点に基づいて白線を認識するようにしたのでは、認識された白線が途切れているときに、白線の状態を誤認識するおそれがあり、白線を利用した走行制御などを適切に行うことが困難である。

本発明の一態様である区画線認識装置は、自車両の周囲の外部状況を検出する検出部と、検出部により検出された外部状況に基づいて、道路上の区画線についての区画線情報を含む地図を生成する地図生成部と、検出部により検出された外部状況に基づいて、地図生成部により生成された地図上における区画線の端部に障害物が隣接するか否かを判定する障害物判定部と、障害物判定部により区画線の端部に障害物が隣接すると判定されると、区画線情報に障害物検出情報を付加する情報付加部と、を備える。

本発明によれば、障害物の存在によって途切れた区画線が検出された場合に、現実の区画線が途切れていると誤って認識することを防止できる。

本発明の実施形態に係る区画線認識装置を有する車両制御システムの全体構成を概略的に示すブロック図。 本発明の実施形態に係る区画線認識装置が適用される走行シーンの一例を示す図。 本発明の実施形態に係る区画線認識装置が適用される走行シーンの他の例を示す図。 本発明の実施形態に係る区画線認識装置の要部構成を示すブロック図。 図３のコントローラで実行される処理の一例を示すフローチャート。 本発明の実施形態に係る区画線認識装置が適用される走行シーンの別の例を示す図。 図５Ａに続く走行シーンの一例を示す図。 図５Ｂに続く走行シーンの一例を示す図。 本発明の他の実施形態に係る区画線認識装置の要部構成を示すブロック図。 図６のコントローラで実行される処理の一例を示すフローチャート。

以下、図１～図７を参照して本発明の実施形態について説明する。本発明の実施形態に係る区画線認識装置は、例えば自動運転機能を有する車両、すなわち自動運転車両に搭載される。なお、本実施形態に係る区画線認識装置が搭載される車両を、他車両と区別して自車両と呼ぶことがある。自車両は、内燃機関（エンジン）を走行駆動源として有するエンジン車両、走行モータを走行駆動源として有する電気自動車、エンジンと走行モータとを走行駆動源として有するハイブリッド車両のいずれであってもよい。自車両は、ドライバによる運転操作が不要な自動運転モードでの走行だけでなく、ドライバの運転操作による手動運転モードでの走行も可能である。

まず、自動運転に係る自車両の概略構成について説明する。図１は、本発明の実施形態に係る区画線認識装置を有する自車両の車両制御システム１００の全体構成を概略的に示すブロック図である。図１に示すように、車両制御システム１００は、コントローラ１０と、コントローラ１０にそれぞれ通信可能に接続された外部センサ群１と、内部センサ群２と、入出力装置３と、測位ユニット４と、地図データベース５と、ナビゲーション装置６と、通信ユニット７と、走行用のアクチュエータＡＣとを主に有する。

外部センサ群１は、自車両の周辺情報である外部状況を検出する複数のセンサ（外部センサ）の総称である。例えば外部センサ群１には、自車両の全方位の照射光に対する散乱光を測定して自車両から周辺の障害物までの距離を測定するライダ、電磁波を照射し反射波を検出することで自車両の周辺の他車両や障害物等を検出するレーダ、自車両に搭載され、ＣＣＤやＣＭＯＳ等の撮像素子を有して自車両の周辺（前方、後方および側方）を撮像するカメラなどが含まれる。

内部センサ群２は、自車両の走行状態を検出する複数のセンサ（内部センサ）の総称である。例えば内部センサ群２には、自車両の車速を検出する車速センサ、自車両の前後方向の加速度および左右方向の加速度（横加速度）をそれぞれ検出する加速度センサ、走行駆動源の回転数を検出する回転数センサ、自車両の重心の鉛直軸回りの回転角速度を検出するヨーレートセンサなどが含まれる。手動運転モードでのドライバの運転操作、例えばアクセルペダルの操作、ブレーキペダルの操作、ステアリングホイールの操作等を検出するセンサも内部センサ群２に含まれる。

入出力装置３は、ドライバから指令が入力されたり、ドライバに対し情報が出力されたりする装置の総称である。例えば入出力装置３には、操作部材の操作によりドライバが各種指令を入力する各種スイッチ、ドライバが音声で指令を入力するマイク、ドライバに表示画像を介して情報を提供するディスプレイ、ドライバに音声で情報を提供するスピーカなどが含まれる。

測位ユニット（ＧＮＳＳユニット）４は、測位衛星から送信された測位用の信号を受信する測位センサを有する。測位衛星は、ＧＰＳ衛星や準天頂衛星などの人工衛星である。測位ユニット４は、測位センサが受信した測位情報を利用して、自車両の現在位置（緯度、経度、高度）を測定する。

地図データベース５は、ナビゲーション装置６に用いられる一般的な地図情報を記憶する装置であり、例えばハードディスクや半導体素子により構成される。地図情報には、道路の位置情報、道路形状（曲率など）の情報、交差点や分岐点の位置情報が含まれる。なお、地図データベース５に記憶される地図情報は、コントローラ１０の記憶部１２に記憶される高精度な地図情報とは異なる。

ナビゲーション装置６は、ドライバにより入力された目的地までの道路上の目標経路を探索するとともに、目標経路に沿った案内を行う装置である。目的地の入力および目標経路に沿った案内は、入出力装置３を介して行われる。目標経路は、測位ユニット４により測定された自車両の現在位置と、地図データベース５に記憶された地図情報とに基づいて演算される。外部センサ群１の検出値を用いて自車両の現在位置を測定することもでき、この現在位置と記憶部１２に記憶される高精度な地図情報とに基づいて目標経路を演算するようにしてもよい。

通信ユニット７は、インターネット網や携帯電話網倒に代表される無線通信網を含むネットワークを介して図示しない各種サーバと通信し、地図情報、走行履歴情報および交通情報などを定期的に、あるいは任意のタイミングでサーバから取得する。走行履歴情報を取得するだけでなく、通信ユニット７を介して自車両の走行履歴情報をサーバに送信するようにしてもよい。ネットワークには、公衆無線通信網だけでなく、所定の管理地域ごとに設けられた閉鎖的な通信網、例えば無線ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等も含まれる。取得した地図情報は、地図データベース５や記憶部１２に出力され、地図情報が更新される。

アクチュエータＡＣは、自車両１０１の走行を制御するための走行用アクチュエータである。走行駆動源がエンジンである場合、アクチュエータＡＣには、エンジンのスロットルバルブの開度（スロットル開度）を調整するスロットル用アクチュエータが含まれる。走行駆動源が走行モータである場合、走行モータがアクチュエータＡＣに含まれる。自車両の制動装置を作動するブレーキ用アクチュエータと転舵装置を駆動する転舵用アクチュエータもアクチュエータＡＣに含まれる。

コントローラ１０は、電子制御ユニット（ＥＣＵ）により構成される。より具体的には、コントローラ１０は、ＣＰＵ（マイクロプロセッサ）等の演算部１１と、ＲＯＭ，ＲＡＭ等の記憶部１２と、Ｉ／Ｏインターフェース等の図示しないその他の周辺回路とを有するコンピュータを含んで構成される。なお、エンジン制御用ＥＣＵ、走行モータ制御用ＥＣＵ、制動装置用ＥＣＵ等、機能の異なる複数のＥＣＵを別々に設けることができるが、図１では、便宜上、これらＥＣＵの集合としてコントローラ１０が示される。

記憶部１２には、自動走行用の高精度の詳細な道路地図情報が記憶される。道路地図情報には、道路の位置情報、道路形状（曲率など）の情報、道路の勾配の情報、交差点や分岐点の位置情報、白線などの区画線の種別やその位置情報、車線数の情報、車線の幅員および車線毎の位置情報（車線の中央位置や車線位置の境界線の情報）、地図上の目印としてのランドマーク（信号機、標識、建物等）の位置情報、路面の凹凸などの路面プロファイルの情報が含まれる。記憶部１２に記憶される地図情報には、通信ユニット７を介して取得した自車両の外部から取得した地図情報（外部地図情報と呼ぶ）と、外部センサ群１の検出値あるいは外部センサ群１と内部センサ群２との検出値を用いて自車両自体で作成される地図情報（内部地図情報と呼ぶ）とが含まれる。

外部地図情報は、例えばクラウドサーバを介して取得した地図（クラウド地図と呼ぶ）の情報であり、内部地図情報は、例えばＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いてマッピングにより生成される点群データからなる地図（環境地図と呼ぶ）の情報である。外部地図情報は、自車両と他車両とで共有されるのに対し、内部地図情報は、自車両の独自の地図情報（例えば自車両が単独で有する地図情報）である。新設された道路等、外部地図情報が存在しない領域においては、自車両自らによって環境地図が作成される。記憶部１２には、各種制御のプログラム、プログラムで用いられる閾値等の情報についての情報も記憶される。

演算部１１は、機能的構成として、自車位置認識部１３と、外界認識部１４と、行動計画生成部１５と、走行制御部１６と、地図生成部１７とを有する。

自車位置認識部１３は、測位ユニット４で得られた自車両の位置情報および地図データベース５の地図情報に基づいて、地図上の自車両の位置（自車位置）を認識する。記憶部１２に記憶された地図情報と、外部センサ群１が検出した自車両の周辺情報とを用いて自車位置を認識してもよく、これにより自車位置を高精度に認識することができる。なお、道路上や道路脇の外部に設置されたセンサで自車位置を測定可能であるとき、そのセンサと通信ユニット７を介して通信することにより、自車位置を認識することもできる。

外界認識部１４は、ライダ、レーダ、カメラ等の外部センサ群１からの信号に基づいて自車両の周囲の外部状況を認識する。例えば自車両の周辺を走行する周辺車両（前方車両や後方車両）の位置や速度や加速度、自車両の周囲に停車または駐車している周辺車両の位置、および他の物体の位置や状態などを認識する。他の物体には、標識、信号機、道路の区画線（白線など）や停止線等の標示、建物、ガードレール、電柱、看板、歩行者、自転車等が含まれる。他の物体の状態には、信号機の色（赤、青、黄）、歩行者や自転車の移動速度や向きなどが含まれる。他の物体のうち静止している物体の一部は、地図上の位置の指標となるランドマークを構成し、外界認識部１４は、ランドマークの位置と種別も認識する。

行動計画生成部１５は、例えばナビゲーション装置６で演算された目標経路と、記憶部１２に記憶された地図情報と、自車位置認識部１３で認識された自車位置と、外界認識部１４で認識された外部状況とに基づいて、現時点から所定時間先までの自車両の走行軌道（目標軌道）を生成する。目標経路上に目標軌道の候補となる複数の軌道が存在するときには、行動計画生成部１５は、その中から法令を順守し、かつ効率よく安全に走行する等の基準を満たす最適な軌道を選択し、選択した軌道を目標軌道とする。そして、行動計画生成部１５は、生成した目標軌道に応じた行動計画を生成する。行動計画生成部１５は、先行車両を追い越すための追い越し走行、走行車線を変更する車線変更走行、先行車両に追従する追従走行、走行車線を逸脱しないように車線を維持するレーンキープ走行、減速走行または加速走行等に対応した種々の行動計画を生成する。行動計画生成部１５は、目標軌道を生成する際に、まず走行態様を決定し、走行態様に基づいて目標軌道を生成する。

走行制御部１６は、自動運転モードにおいて、行動計画生成部１５で生成された目標軌道に沿って自車両が走行するように各アクチュエータＡＣを制御する。より具体的には、走行制御部１６は、自動運転モードにおいて道路勾配などにより定まる走行抵抗を考慮して、行動計画生成部１５で算出された単位時間毎の目標加速度を得るための要求駆動力を算出する。そして、例えば内部センサ群２により検出された実加速度が目標加速度となるようにアクチュエータＡＣをフィードバック制御する。すなわち、自車両が目標車速および目標加速度で走行するようにアクチュエータＡＣを制御する。なお、手動運転モードでは、走行制御部１６は、内部センサ群２により取得されたドライバからの走行指令（ステアリング操作等）に応じて各アクチュエータＡＣを制御する。

地図生成部１７は、手動運転モードで走行しながら、外部センサ群１により検出された検出値を用いて、３次元の点群データからなる環境地図を生成する。具体的には、カメラにより取得されたカメラ画像から、画素ごとの輝度や色の情報に基づいて物体の輪郭を示すエッジを抽出するとともに、そのエッジ情報を用いて特徴点を抽出する。特徴点は例えばエッジの交点であり、建物の角や道路標識の角などに対応する。地図生成部１７は、抽出された特徴点までの距離を求めて、特徴点を順次、環境地図上にプロットし、これにより自車両が走行した道路周辺の環境地図が生成される。カメラに代えて、レーダやライダにより取得されたデータを用いて自車両の周囲の物体の特徴点を抽出し、環境地図を生成するようにしてもよい。

自車位置認識部１３は、地図生成部１７による地図作成処理と並行して、自車両の位置推定処理を行う。すなわち、特徴点の時間経過に伴う位置の変化に基づいて、自車両の位置を推定する。地図作成処理と位置推定処理とは、例えばＳＬＡＭのアルゴリズムにしたがって同時に行われる。地図生成部１７は、手動運転モードで走行するときだけでなく、自動運転モードで走行するときにも同様に環境地図を生成することができる。既に環境地図が生成されて記憶部１２に記憶されている場合、地図生成部１７は、新たに得られた特徴点により環境地図を更新してもよい。

本実施形態に係る区画線認識装置の構成について説明する。図２Ａは、区画線認識装置５０が適用される走行シーンの一例を示す図であり、手動運転モードで環境地図を作成しながら自車両１０１が走行するシーンを示す。図２Ａに示すように、自車両１０１の前部にはカメラ１ａが搭載される。カメラ１ａは、カメラ固有の視野角（画角）を有しており、ハッチングで示す所定の視野角内の領域ＡＲ１を撮像する。この領域ＡＲ１には、例えば複数の区画線（例えば白線）Ｌ１～Ｌ３と他車両１０２とが含まれる。カメラ１ａと区画線Ｌ１，Ｌ２との間には障害物が存在しない。

一方、カメラ１ａと区画線Ｌ３との間には障害物（他車両１０２）が存在する。このため、カメラ１ａから見て他車両１０２の後方の領域、すなわちハッチングで示す領域ＡＲ２は、カメラ１ａの死角領域であり、領域ＡＲ２内の区画線Ｌ３（点線）は、他車両１０２により隠れてカメラ１ａで撮像することができない。この場合、点線の領域Ｌ３ａに区画線Ｌ３があるにも拘わらず区画線Ｌ３がないと認識、つまり区画線Ｌ３の一部が途切れていると認識されるおそれがある。このような状況において、区画線Ｌ３が途切れていると誤認識されることがないよう、本実施形態では以下のように区画線認識装置を構成する。なお、以下では区画線があるか否かが不明である点線の領域Ｌ３ａを、区画線不明領域と呼ぶ。

以下では、煩雑な説明を避けるため、手動運転モードで走行して自車両１０１で環境地図を生成するのと同時に、区画線Ｌ１～Ｌ３の認識も行うものとして説明する。図３は、本実施形態に係る区画線認識装置５０の要部構成を示すブロック図である。この区画線認識装置５０は、図１の車両制御システム１００の一部を構成する。図３に示すように、区画線認識装置５０は、コントローラ１０と、カメラ１ａとを有する。

カメラ１ａは、ＣＣＤやＣＭＯＳ等の撮像素子（イメージセンサ）を有する単眼カメラであり、図１の外部センサ群１の一部を構成する。カメラ１ａはステレオカメラであってもよい。カメラ１ａは、例えば自車両１０１の前部の所定位置に取り付けられ（図２Ａ）、自車両１０１の前方空間を連続的に撮像して対象物の画像（カメラ画像）を取得する。対象物は、道路上の区画線（例えば図２Ａの区画線Ｌ１～Ｌ３）と障害物（例えば図２Ａの他車両１０２）であり、カメラ１ａにより自車両１０１の周囲の対象物を検出する。なお、カメラ１ａに代えて、あるいはカメラ１ａとともに、ライダなどにより対象物を検出するようにしてもよい。

図３のコントローラ１０は、演算部１１（図１）が担う機能的構成として、地図生成部１７の他に、領域設定部１４１と、障害物判定部１４２と、情報付加部１４３と、を有する。領域設定部１４１と障害物判定部１４２と情報付加部１４３とは、外界を認識する機能を有し、これらは図１の外界認識部１４の一部を構成する。領域設定部１４１と障害物判定部１４２と情報付加部１４３とは、地図生成の機能も有するため、これらの全部または一部を、地図生成部１７に含めることもできる。

地図生成部１７は、手動運転モードでの走行時に、カメラ１ａにより取得されたカメラ画像に基づいて自車両１０１の周囲の物体の特徴点を抽出し、環境地図を生成する。生成された環境地図は、記憶部１２に記憶される。地図生成部１７は、カメラ画像に基づいて路面上の区画線の位置を認識し、区画線の情報を地図情報（例えば内部地図情報）に含めて記憶する。認識される区画線は、カメラ１ａの視野角により規定される領域ＡＲ１（図２Ａ）内の区画線である。なお、記憶される区画線情報には、区画線の色（白色、黄色）と種類（実線、破線）の情報が含まれる。

領域設定部１４１は、カメラ画像からの特徴点の情報を用いて、自車両１０１の周囲における物体を検出するとともに物体の位置を検出する。物体は、図２Ａの他車両１０２、あるいは自転車や歩行者等の道路上の移動体であり、領域設定部１４１は物体の種別も識別する。なお、物体を障害物とも呼ぶ。さらに領域設定部１４１は、検出された物体の全体を含む領域（障害物領域）を設定する。例えば図２Ａに示すように、他車両１０２の全体を含む矩形状の障害物領域ＡＲ３を設定する。なお、障害物領域ＡＲ３は矩形状でなくてもよい。図２Ａでは、障害物領域ＡＲ３を誇張して他車両２０２より大きい領域として示すが、障害物領域ＡＲ３は他車両２０２を区画する領域と同一の領域であってもよい。

障害物判定部１４２は、地図生成部１７により認識された区画線の長手方向の端部と、領域設定部１４１により設定された障害物領域ＡＲ３とが、二次元のカメラ画像上で離接しているか否かを判定する。これは、区画線が障害物によって隠れている可能性があるか否かの判定である。すなわち、区画線の端部が障害物領域ＡＲ３に隣接している場合、区画線の一部（図２Ａの区画線不明領域Ｌ３ａ）が区画線の手前側にある障害物によって隠れているために、区画線の端部として認識された可能性がある。そこで、障害物判定部１４２は、区画線の端部に障害物領域ＡＲ３が隣接すると、区画線の検出が障害物によって阻害されている可能性があると判定する。

なお、障害物判定部１４２は、他の手法により、区画線の検出が障害物によって阻害されている可能性があると判定してもよい。例えば、カメラ画像に基づいて、障害物によりカメラ１ａの死角となっている領域（図２Ａの領域ＡＲ２）を特定し、領域ＡＲ２内の境界線と接する区画線の端部が存在するか否かを判定することで、これを判定するようにしてもよい。

情報付加部１４３は、障害物判定部１４２により区画線の端部に隣接して障害物が存在すると判定されると、その区画線情報に障害物検出情報を付加して記憶部１２に記憶する。すなわち、図２Ａに示すように区画線Ｌ３が途切れている領域Ｌ３ａ、つまり区画線Ｌ３の延長領域（区画線不明領域Ｌ３ａ）に、障害物の検出の属性を付加する。このとき、地図生成部１７は、障害物検出情報が付加された区画線不明領域Ｌ３ａに、区画線Ｌ３が途切れずに延長するものと仮定して区画線を追加し、仮地図を生成する。この仮地図は、例えば行動計画生成部１５が行動計画を生成する際に参照される。区画線の追加は、追加される区画線と平行に位置する他の区画線Ｌ１，Ｌ２の端部の位置情報を考慮して行うようにしてもよい。

障害物検出情報が付加された後、例えば図２Ｂに示すように障害物が退避したことにより、あるいは同一地点を再度走行した際に障害物が検出されなかったことにより、カメラ１ａによって区画線不明領域Ｌ３ａにおける区画線が検出されることがある。この場合には、情報付加部１４３は、記憶部１２の区画線情報から障害物検出情報を除去する。このとき、地図生成部１７は、検出された区画線を用いて環境地図を更新し、地図情報（内部地図情報）を確定する。

一方、障害物がないにも拘わらず、カメラ１ａによって区画線不明領域Ｌ３ａにおける区画線が検出されないときも、情報付加部１４３は、障害物検出情報を除去する。この場合、地図生成部１７は、区画線不明領域Ｌ３ａ内に追加された仮の区画線の情報を削除して、環境地図を更新する。これにより、区画線不明領域Ｌ３ａに区画線がないことが確定される。障害物検出情報が付加された後の障害物の有無は、カメラ画像に基づいて障害物判定部１４２により判定される。

図４は、予め定められたプログラムに従い図３のコントローラ１０で実行される処理の一例、特に区画線認識に関する処理の一例を示すフローチャートである。このフローチャートに示す処理は、例えば手動運転モードでの走行時に開始され、手動運転モードでの走行が継続している間、所定周期で繰り返される。

図４に示すように、まず、ステップＳ１で、カメラ１ａにより得られた画像信号を読み込む。次いで、ステップＳ２で、ステップＳ１で取得されたカメラ画像に基づいて自車両１０１の周囲の地図、すなわち環境地図を生成し、環境地図を記憶部１２に記憶する。このとき、カメラ画像に基づいて路面上の区画線の位置を認識し、区画線の情報を環境地図の地図情報に含めて記憶する。次いで、ステップＳ３で、ステップＳ１で得られたカメラ画像に、障害物検出情報が付加された領域が含まれているか否か、すなわち、前回の処理で区画線情報に障害物検出情報が付加されたか否かを判定する。ステップＳ３で否定されるとステップＳ４に進む。

ステップＳ４では、ステップＳ１で取得したカメラ画像に基づいて、カメラの視野角内に障害物が存在するか否かを判定する。ステップＳ４で肯定されるとステップＳ５に進み、否定されると処理を終了する。ステップＳ５では、検出された障害物の全体を含む障害物領域ＡＲ３を設定するとともに、その障害物領域ＡＲ３とステップＳ２で認識された区画線の長手方向の端部とが、二次元のカメラ画像上で隣接するか否かを判定する。ステップＳ５で肯定されるとステップＳ６に進み、否定されると処理を終了する。

ステップＳ６では、区画線情報に障害物検出情報を付加して記憶部１２に記憶する。さらに、障害物検出情報が付加された区画線不明領域Ｌ３ａに、区画線が途切れずに延長するものと仮定して区画線を追加し、仮地図を生成するとともに、仮地図を記憶部１２に記憶して処理を終了する。

一方、ステップＳ３で肯定されるとステップＳ７に進み、ステップＳ１で取得したカメラ画像に基づいて、障害物検出情報が付加された区画線不明領域Ｌ３ａ内で区画線が検出されたか否かを判定する。ステップＳ７で肯定されるとステップＳ８に進み、否定されると処理を終了する。ステップＳ８では、記憶部１２に記憶された区画線情報から障害物検出情報を除去する。さらに、検出された区画線を用いて、ステップＳ２で生成された環境地図を更新する。以降、更新された環境地図が、行動計画生成部１５で行動計画を生成する際に用いられる。

なお、図示は省略するが、ステップＳ７で否定されたときに障害物が存在するか否かを判定し、障害物が存在しなと判定された場合には、障害物検出情報を除去するとともに、区画線が途切れていると判定して、環境地図を更新するようにしてもよい。すなわち、障害物が存在しないにも拘わらず区画線不明領域Ｌ３ａ内で区画線が検出されない場合には、区画線が途切れているものと確定して処理を終了するようにしてもよい。

本実施形態に係る区画線認識装置５０による動作をより具体的に説明する。自車両１０１が手動運転モードで走行するとき、カメラ画像に基づいて環境地図が生成される。そして、図２Ａに示すように区画線Ｌ１～Ｌ３が検出されると、区画線Ｌ１～Ｌ３の位置情報（区画線情報）が環境地図に対応付けて記憶される（ステップＳ２）。このとき、区画線Ｌ３の手前に他車両１０２が存在すると、区画線Ｌ３の一部（区画線不明領域Ｌ３ａ）がカメラ１ａにより検出されないことがある。この場合には、区画線Ｌ３の端部のカメラ画像に他車両１０２の画像が隣接するため、区画線情報に障害物検出情報が付加される（ステップＳ６）。このため、コントローラ１０は、区画線があるか否かの区画線の状態が不明な位置を把握することができ、区画線不明領域Ｌ３ａでの自動運転モードでの走行を禁止する等、適切な走行制御を行うことができる。

その後、自車両１０１の周囲から他車両１０２が退避して、図２Ｂに示すように区画線不明領域Ｌ３ａの区画線Ｌ３が検出されると、区画線情報から障害物検出情報が除去される（ステップＳ８）。これにより区画線情報が確定し、以降、確定した区画線情報を用いて自動運転モードで自車両１０１の走行動作が制御される。この場合、障害物検出情報が付与された区画線不明領域Ｌ３ａの区画線の状態を検出するとともに、検出結果に基づいて区画線の情報を更新するだけでよいので、環境地図の更新の処理が容易である。

本実施形態によれば以下のような作用効果を奏することができる。
（１）区画線認識装置５０は、自車両１０１の周囲の外部状況を検出するカメラ１ａと、カメラ１ａにより検出された外部状況に基づいて、道路上の区画線についての区画線情報を含む環境地図を生成する地図生成部１７と、カメラ１ａにより検出された外部状況に基づいて、地図生成部１７により生成された地図上における区画線Ｌ３の端部に障害物（他車両１０２）が隣接するか否かを判定する障害物判定部１４２と、障害物判定部１４２により区画線の端部に障害物が隣接すると判定されると、区画線情報に障害物検出情報を付加する情報付加部１４３と、を備える（図３）。

この構成によれば、障害物の存在によって区画線が途切れているのか否かを明確に区別することができないとき、区画線情報に障害物検出情報が付加される。したがって、障害物の存在によって区画線が途切れている場合に、現実の区画線が途切れていると誤って認識することを防止することができ、区画線を利用した走行制御などを適切に行うことができる。

（２）区画線認識装置５０は、カメラ１ａにより検出された外部状況に基づいて、地図生成部１７により生成された地図上における障害物が占める障害物領域ＡＲ３を設定する領域設定部１４１をさらに備える（図３）。障害物判定部１４２は、領域設定部１４１により設定された障害物領域ＡＲ３に区画線の端部が隣接するか否かを判定する（図４）。これにより、区画線の端部に障害物が隣接するか否かを簡易に判定することができ、処理が容易である。

（３）地図生成部１７は、情報付加部１４３により障害物検出情報が付加された区画線が途切れている領域（区画線不明領域Ｌ３ａ）に、区画線を追加した仮地図を生成する。これにより、障害物と区画線の端部とが隣接して区画線が途切れているか否かが不明確な場合であっても、仮地図を用いて自車両１０１の走行制御を行うことができる。

（４）区画線認識装置５０は、障害物検出情報が付加された区画線情報を記憶する記憶部１２をさらに備える（図３）。情報付加部１４３は、区画線情報に障害物検出情報を付加した後、カメラ１ａにより、区画線が途切れていた領域の区画線が検出されると、記憶部１２に記憶された区画線情報から障害物検出情報を除去する。これにより区画線情報を確定することができ、確定された区画線情報を含む環境地図を用いて、自車両１０１の自動運転モードでの走行を良好に行うことができる。

ところで、区画線不明領域は、上述したように区画線の手前に障害物が存在するようなときだけでなく、カメラ１ａ等の検出部の検出性能の限界を超えた範囲に区画線が位置する場合にも生じる。図５Ａは、この点を説明する図であり、手動運転モードで環境地図を作成しながら自車両１０１が走行するシーンの一例を示す。

図５Ａに示すように、カメラ１ａは、カメラ自体の性能によって定まる固有の視野角θと、最大検知距離ｒとを有する。カメラ１ａを中心とする半径ｒかつ中心角θの扇形の範囲ＡＲ１０内が、カメラ１ａにより検出可能な外部空間の範囲（検出可能範囲ＡＲ１０）となる。なお、検出可能範囲ＡＲ１０は、図２Ａの領域ＡＲ１に相当する。この検出可能範囲ＡＲを示す境界線と区画線Ｌ１、Ｌ２との交点Ｐ１０、Ｐ１１およびＰ２０，Ｐ２１は、カメラ自体の検出性能により定まる限界点であり、区画線Ｌ１の限界点Ｐ１０から限界点Ｐ１１までの領域、および区画線Ｌ２の限界点Ｐ２０から限界点Ｐ２１までの領域を検出可能である。

したがって、自車両１０１が走行する方向における、検出可能範囲ＡＲ１０の外側の点線で示す領域Ｌ１ａ，Ｌ２ａは、区画線が存在するのか否かが不明な区画線不明領域である。このような状況において、区画線Ｌ１，Ｌ２が途切れていると誤認識されることがないよう、本実施形態では、さらに以下のように区画線認識装置を構成する。

以下では、煩雑な説明を避けるため、手動運転モードで走行して自車両１０１で環境地図を生成するのと同時に、区画線Ｌ１、Ｌ２の認識も行うものとして説明する。図６は、本実施形態に係る区画線認識装置１５０の要部構成を示すブロック図であり、図３とは異なる態様を示す図である。この区画線認識装置１５０は、図１の車両制御システム１００の一部を構成し、コントローラ１０と、カメラ１ａとを有する。なお、図３と同一の構成には同一の符号を付し、以下では、図３との相違点を主に説明する。

図６のコントローラ１０の記憶部１２には、予めカメラ１ａの性能を表す視野角θと最大検知距離ｒとが記憶される。コントローラ１０は、演算部１１（図１）が担う機能的構成として、地図生成部１７の他に、範囲設定部１４４と、境界判定部１４５と、情報付加部１４６と、を有する。範囲設定部１４４と境界判定部１４５と情報付加部１４６とは、外界を認識する機能を有し、これらは図１の外界認識部１４の一部を構成する。範囲設定部１４４と境界判定部１４５と情報付加部１４６とは、地図生成の機能も有するため、これらの全部または一部を、地図生成部１７に含めることもできる。

範囲設定部１４４は、記憶部１２に記憶された視野角θと最大検知距離ｒとの情報に基づいて、地図生成部１７により生成された環境地図上に、カメラ１ａにより検出可能な範囲、すなわち図５Ａに示すような扇形の検出可能範囲ＡＲ１０を設定する。なお、検出可能範囲はカメラ自体の性能だけでなく、カメラ１ａの取付位置等によっても変化する。このため、範囲設定部１４４は、カメラ１ａの取付位置を考慮して検出可能範囲を設定する。図５Ｂ，図５Ｃは、それぞれ自車両１０１の移動に伴う検出可能範囲ＡＲ１０の変化の一例を示す。図５Ａが所定時点Ｔにおける自車両１０１の位置であるとすると、図５ＢはそこからΔｔ１秒後（例えば１秒後）の位置であり、図５ＣはΔｔ１よりも大きいΔｔ２秒後（例えば２秒後）の位置である。図５Ｂ，図５Ｃに示すように、検出可能範囲ＡＲ１０は、自車両１０１の走行に伴い移動する。範囲設定部１４４は、検出可能範囲ＡＲ１０を随時更新する。

境界判定部１４５は、範囲設定部１４４により設定された検出可能範囲ＡＲ１０の境界に、地図生成部１７により生成された地図上の区画線の端部が位置するか否かを判定する。例えば、図５Ａに示すような境界と区画線Ｌ１，Ｌ２との交点（限界点）Ｐ１０，Ｐ１１，Ｐ２０，Ｐ２１が存在するか否かを判定する。なお、限界点Ｐ１０から限界点Ｐ１１までの区画線Ｌ１および限界点Ｐ２０から限界点Ｐ２１までの区画線Ｌ２は、カメラ１ａにより認識された区画線であり、これら区画線Ｌ１，Ｌ２は、地図生成部１７により生成された環境地図の区画線情報に含まれる。

境界判定部１４５は、検出可能範囲ＡＲ１０が更新される度に、検出可能範囲ＡＲ１０の境界に、地図生成部１７により生成された地図上の区画線の端部が位置するか否かを判定する。図５Ｂに示すように限界点Ｐ１１、Ｐ２１が移動して新たに区画線Ｌ１，Ｌ２が検出されると、地図生成部１７は、検出された区画線情報を追加して環境地図を生成する。すなわち、図５Ａの区画線不明領域Ｌ１ａ，Ｌ２ａのうち、図５Ｂの領域Ｌ１０ａ，Ｌ２０ａを除く区画線の情報を、区画線情報として地図情報（内部地図情報）に新たに追加する。

情報付加部１４６は、境界判定部１４５により境界に区画線の端部が位置すると判定されると、区画線情報（区画線の端部の情報）に境界情報を付加して記憶部１２に記憶する。例えば図５Ａに示す時点Ｔおよび図５Ｂに示す時点ＴからΔｔ１秒後において、例えばカメラ１ａを中心とした半径ｒの円弧として示される境界線ＡＲ１０ａと区画線Ｌ１，Ｌ２との交点である限界点Ｐ１１、Ｐ２１に、それぞれ境界情報を付加する。境界情報の付加は、区画線の端部が実際の端部であるか否かが不明であることを意味する。すなわち、実際の端部でないにも拘わらず、カメラ１ａの検出限界により端部とされた可能性があることを意味する。換言すると、情報付加部１４６は、区画線情報に、カメラ検出限界の属性を付加する。

さらに情報付加部１４６は、区画線情報に境界情報を付加した後、境界判定部１４５により、範囲設定部１４４により更新された検出可能範囲ＡＲ１０の境界に、区画線の端部が位置しないと判定されると、区画線情報から境界情報を除去する。例えば図５Ｃに示すように、時点ＴのΔｔ２秒後に、区画線Ｌ１，Ｌ２の端部Ｌ１ｂ、Ｌ２ｂが検出可能範囲ＡＲ１０に含まれ、区画線Ｌ１，Ｌ２の端部の前方に検出可能範囲ＡＲ１０の境界（境界線ＡＲ１０ａ）が位置するとき、記憶部１２に記憶された区画線情報から境界情報を除去する。これにより区画線Ｌ１，Ｌ２の端部Ｌ１ｂ，Ｌ２ｂの位置が確定される。

図７は、予め定められたプログラムに従い図６のコントローラ１０で実行される処理の一例、特に区画線認識に関する処理の一例を示すフローチャートである。このフローチャートに示す処理は、例えば手動運転モードでの走行時に開始され、手動運転モードでの走行が継続している間、所定周期で繰り返される。

図７に示すように、まず、ステップＳ１１で、カメラ１ａにより得られた画像信号を読み込む。次いで、ステップＳ１２で、ステップＳ１１で取得されたカメラ画像に基づいて自車両１０１の周囲の地図、すなわち環境地図を生成し、環境地図を記憶部１２に記憶する。このとき、カメラ画像に基づいて路面上の区画線の位置を認識し、区画線の情報を環境地図の地図情報に含めて記憶する。次いで、ステップＳ１３で、記憶部１２に記憶された視野角θと最大検知距離ｒとの情報に基づいて、ステップＳ１２で生成された環境地図上に、略扇形の検出可能範囲ＡＲ１０を設定する。

次いで、ステップＳ１４で、ステップＳ１２で認識された区画線に、既に境界情報が付加されているか否か、すなわち、前回の処理で区画線情報に境界情報が付加されたか否かを判定する。ステップＳ１４で否定されるとステップＳ１５に進み、ステップＳ１３で設定された検出可能範囲ＡＲ１０の境界（例えば境界線ＡＲ１０ａ）に、区画線の端部が位置するか否かを判定する。ステップＳ１５で肯定されるとステップＳ１６に進み、否定されると処理を終了する。ステップＳ１６では、ステップＳ１２で認識された区画線の情報に、境界情報を付加して記憶部１２に記憶し、処理を終了する。

一方、ステップＳ１４で肯定されるとステップＳ１７に進み、ステップＳ１５と同様、ステップＳ１３で設定された検出可能範囲ＡＲ１０の境界に、区画線の端部が位置するか否かを判定する。ステップＳ１７で否定されるとステップＳ１８に進み、肯定されると処理を終了する。ステップＳ１８では、区画線情報から、ステップＳ１６で付加された境界情報を除去して処理を終了する。これにより区画線の端部の位置、すなわち区画線情報が確定する。

本実施形態に係る区画線認識装置１５０による動作をより具体的に説明する。自車両が手動運転モードで走行するとき、カメラ画像に基づいて環境地図が生成される。そして、図５Ａに示す区画線Ｌ１，Ｌ２が検出されると、区画線Ｌ１，Ｌ２の位置情報（区画線情報）が環境地図に対応付けて記憶される（ステップＳ１２）。このとき、区画線Ｌ１，Ｌ２の一部（区画線不明領域Ｌ１ａ，Ｌ２ａ）が、カメラ１ａの検出可能範囲ＡＲ１０外となって、カメラ１ａにより検出されないことがある。この場合には、図５Ａに示すように検出可能範囲ＡＲ１０の境界に区画線の端部（限界点Ｐ１１，Ｐ２１）が位置するため、区画線Ｌ１、Ｌ２の区画線情報に境界情報が付加される（ステップＳ１６）。このため、コントローラ１０は、区画線があるか否かの区画線の状態が不明な位置を把握することができ、区画線不明領域Ｌ１ａ，Ｌ２ａでの自動運転モードでの走行を禁止する等、適切な走行制御を行うことができる。

その後、自車両１０１の移動に伴い検出可能範囲ＡＲ１０が変化して、図５Ｃに示すように、検出可能範囲ＡＲ１０の境界に区画線の端部Ｌ１ｂ、Ｌ２ｂが位置しなくなると、端部Ｌ１ｂ，Ｌ２ｂはカメラ１ａの限界点ではなく実際の区画線Ｌ１，Ｌ２の端部であると判定される。このため、区画線情報から境界情報が除去される（ステップＳ１８）。つまり、区画線Ｌ１，Ｌ２が途切れた状態がカメラ画像により明確に検出されたことを条件として、区画線情報から障害物検出情報が除去される。これにより区画線情報が確定し、以降、確定した区画線情報を用いて自動運転モードで自車両１０１の走行動作が制御される。

本実施形態によればさらに以下のような作用効果を奏することができる。
（１）区画線認識装置１５０は、自車両１０１の周囲の外部状況を検出するカメラ１ａと、カメラ１ａにより検出された外部状況に基づいて、道路上の区画線についての区画線情報を含む環境地図を生成する地図生成部１７と、カメラ１ａにより検出可能な外部空間の範囲、すなわち検出可能範囲ＡＲ１０を設定する範囲設定部１４４と、範囲設定部１４４により設定された検出可能範囲ＡＲ１０の境界（境界線ＡＲ１０ａ）に、地図生成部１７により生成された環境地図上における区画線の端部（限界点Ｐ１１，Ｐ２１）が位置するか否かを判定する境界判定部１４５と、境界判定部１４５により境界に区画線の端部が位置すると判定されると、区画線情報に境界情報を付加する情報付加部１４６と、を備える（図６）。

この構成によれば、カメラ１ａの検出限界を考慮することにより、区画線が途切れているのか否かを明確に区別することができないとき、区画線情報に境界情報が付加される。したがって、カメラ１ａの検出限界に起因して、途切れた区画線が検出された場合に、現実の区画線が途切れていると誤って認識することを防止することができ、区画線を利用した走行制御などを適切に行うことができる。

（２）範囲設定部１４４は、自車両１０１の移動に伴いカメラ１ａにより検出可能な検出可能範囲ＡＲ１０が変化すると、検出可能範囲ＡＲ１０を更新する（図５Ａ，図５Ｂ）。境界判定部１４５は、範囲設定部１４４により更新された検出可能範囲ＡＲ１０の境界に、地図生成部１７により生成された地図上における区画線の端部が位置するか否かを判定する（図７）。これにより、自車両１０１の移動に伴い検出可能範囲が連続的に移動され、実際の区画線Ｌ１，Ｌ２の端部Ｌ１ｂ，Ｌ２ｂ（図５Ｃ）を早期に認識することが可能となる。

（３）情報付加部１４６は、区画線情報に境界情報を付加した後、境界判定部１４５により、範囲設定部１４４により更新された検出可能範囲ＡＲ１０の境界に、区画線Ｌ１，Ｌ２の端部が位置しないと判定されると、区画線情報から境界情報を除去する（図７）。これにより区画線情報を確定することができ、確定された区画線情報を含む環境地図を用いて、自車両１０１が自動運転モードでの走行を良好に行うことができる。

上記実施形態は種々の形態に変形することができる。以下、いくつかの変形例について説明する。上記実施形態では、カメラ１ａ等の外部センサ群１により自車両の周囲の外部状況を検出するようにしたが、地図生成のために外部状況を検出するのであれば、ライダ等、カメラ１ａ以外の検出部を用いることもできる。上記実施形態では、地図生成部１７が手動運転モードで走行しながら環境地図を生成するようにしたが、自動運転モードで走行しながら環境地図を生成するようにしてもよい。上記実施形態では、カメラ画像に基づいて、障害物判定部１４２が、区画線の端部と障害物領域ＡＲ３とがカメラ画像上で隣接するか否かを判定するようにしたが、ライダの検出値から得られる地図上でこれを判定するようにしてもよく、検出部により検出された外部状況に基づいて、地図生成部により生成された地図上における区画線の端部に障害物が隣接するか否かを判定するのであれば、障害物判定部の構成はいかなるものでもよい。ここで、区画線の端部とは、カメラ画像上で区画線が部分的に途切れている部分、すなわち区画線の一部をいう。したがって、障害物判定部が、区画線の端部に障害物が隣接するか否かを判定することは、区画線の一部に障害物が隣接するか否かを判定することに相当する。

上記実施形態では、区画線の端部に障害物が隣接すると判定されると、区画線情報に障害物が検出されたことを表す障害物検出情報を付加するようにしたが、障害物検出情報に、障害物が検出されたことに加え、障害物の種類の情報を含めるようにしてもよい。上記実施形態では、カメラ１ａにより検出された外部状況に基づいて、地図生成部１７により生成された地図上における障害物が占める障害物領域ＡＲ２を設定するようにしたが、障害物領域設定部の構成はこれに限らない。

上記実施形態では、情報付加部１４３（図３）が、区画線の端部に障害物が隣接すると判定されると、区画線情報に障害物検出情報を付加する一方、情報付加部１４６（図６）が、検出部の検出可能範囲の境界に区画線の端部が位置すると判定されると、区画線情報に境界情報を付加するようにした。すなわち、情報付加部が、障害物検出情報の付加と境界情報の付加のいずれかを行うようにしたが、障害物検出情報の付加と境界情報の付加の両方を行うようにしてもよい。

以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の１つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。

１ａ カメラ、１０ コントローラ、１２ 記憶部、１７ 地図生成部、５０ 区画線認識装置、１０１ 自車両、１４１ 領域設定部、１４２ 障害物判定部、１４３ 情報付加部、ＡＲ２ 障害物領域、Ｌ３ 区画線

Claims (4)

1. 自車両の周囲の外部状況を検出する検出部と、
   前記検出部により検出された外部状況に基づいて、道路上の区画線についての区画線情報を含む地図を生成する地図生成部と、
   前記検出部により検出された外部状況に基づいて、前記地図生成部により生成された地図上における区画線の端部に障害物が隣接するか否かを判定する障害物判定部と、
   前記障害物判定部により区画線の端部に障害物が隣接すると判定されると、前記区画線情報に障害物検出情報を付加する情報付加部と、を備えることを特徴とする区画線認識装置。
2. 請求項１に記載の区画線認識装置において、
   前記検出部により検出された外部状況に基づいて、前記地図生成部により生成された地図上における前記障害物が占める障害物領域を設定する障害物領域設定部をさらに備え、
   前記障害物判定部は、前記障害物領域設定部により設定された障害物領域に前記区画線の端部が隣接するか否かを判定することを特徴とする区画線認識装置。
3. 請求項１または２に記載の区画線認識装置において、
   前記地図生成部は、前記情報付加部により障害物検出情報が付加された区画線が途切れている領域に、区画線を追加した仮地図を生成することを特徴とする区画線認識装置。
4. 請求項１～３のいずれか１項に記載の区画線認識装置において、
   前記障害物検出情報が付加された前記区画線情報を記憶する記憶部をさらに備え、
   前記情報付加部は、前記区画線情報に前記障害物検出情報を付加した後、前記検出部により、区画線が途切れていた領域の区画線が検出されると、前記記憶部に記憶された前記区画線情報から前記障害物検出情報を除去することを特徴とする区画線認識装置。

Images