JP2023146155A - 白線認識装置、移動体の制御システム、白線認識方法、およびプログラム - Google Patents

Abstract

【課題】白線の誤認識を抑制することができる白線認識装置、移動体の制御システム、白線認識方法、およびプログラムを提供すること。
【解決手段】単眼カメラが撮像した画像に存在する線状の特徴箇所を、路面に描画された白線の輪郭と認識する白線認識部と、前記単眼カメラと同方向を少なくとも検出範囲とするように設けられた測距センサの出力に基づいて、路面から離間して存在する線状物体を検出する線状物体検出部と、を備え、前記白線認識部は、前記線状物体の位置に対応する前記線状の特徴箇所を、前記白線の輪郭と認識しないようにする、白線認識装置。
【選択図】図１

Description

本発明は、白線認識装置、移動体の制御システム、白線認識方法、およびプログラムに関する。

従来、カメラ画像から線状物体を抽出して段差を抽出する発明が開示されている（特許文献１）。また、三次元点群データから車道、センターライン、白線、縁石、歩道を見分ける発明が開示されている（特許文献２）。

特開２０２１－１３５５９６号公報 特開２０１９－１９０９７５号公報

近年では車道だけでなく歩道を移動可能な移動体について実用化が進められているが、従来の技術では、特に歩道が関与する空間における白線の誤認識の可能性について十分に検討されていなかった。

本発明は、このような事情を考慮してなされたものであり、白線の誤認識を抑制することができる白線認識装置、移動体の制御システム、白線認識方法、およびプログラムを提供することを目的の一つとする。

この発明に係る白線認識装置、移動体の制御システム、白線認識方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る白線認識装置は、単眼カメラが撮像した画像に存在する線状の特徴箇所を、路面に描画された白線の輪郭と認識する白線認識部と、前記単眼カメラと同方向を少なくとも検出範囲とするように設けられた測距センサの出力に基づいて、路面から離間して存在する線状物体を検出する線状物体検出部と、を備え、前記白線認識部は、前記線状物体の位置に対応する前記線状の特徴箇所を、前記白線の輪郭と認識しないようにするものである。

（２）：上記（１）の態様において、前記白線認識部は、前記線状物体の位置を前記画像の画像平面に射影して線状領域を導出し、前記線状領域に合致する前記線状の特徴箇所を、前記白線の輪郭と認識しないようにするものである。

（３）：上記（１）または（２）の態様において、前記白線認識部は、認識した前記線状の特徴箇所に対応する空間領域において前記線状物体を検索し、前記空間領域に前記線状物体が存在する場合、当該線状の特徴箇所を、前記白線の輪郭と認識しないようにするものである。

（４）：上記（１）から（３）のいずれかの態様において、前記測距センサの出力は、色彩を認識可能な情報であり、前記白線認識部は、白色の前記線状物体の位置に対応する前記線状の特徴箇所を、前記白線の輪郭と認識しないようにするものである。

（５）：上記（１）から（４）のいずれかの態様の白線認識装置と、前記白線認識部が認識した白線に基づいて移動体の移動制御を行う制御装置と、を備える移動体の制御システムである。

（６）：本発明の他の態様に係る白線認識方法は、白線認識装置を用いて実行される白線認識方法であって、単眼カメラが撮像した画像に存在する線状の特徴箇所を、路面に描画された白線の輪郭と認識することと、前記単眼カメラと同方向を少なくとも検出範囲とするように設けられた測距センサの出力に基づいて、路面から離間して存在する線状物体を検出することと、を備え、前記認識することは、前記線状の特徴箇所を、前記白線の輪郭と認識しないようにすることを含むものである。

（７）：本発明の他の態様に係るプログラムは、コンピュータに、単眼カメラが撮像した画像に存在する線状の特徴箇所を、路面に描画された白線の輪郭と認識することと、前記単眼カメラと同方向を少なくとも検出範囲とするように設けられた測距センサの出力に基づいて、路面から離間して存在する線状物体を検出することと、を実行させるプログラムであって、前記認識することは、前記線状の特徴箇所を、前記白線の輪郭と認識しないようにすることを含むものである。

（１）～（７）の態様によれば、白線の誤認識を抑制することができる。

実施形態に係る移動体１および制御装置１００の構成の一例を示す図である。 移動体１を上方から見た透視図である。 歩道と車道の境界越しに、車道に描画された白線を認識する場面を例示した図である。 図３に示す場面において、移動体１の単眼カメラ１０Ａが撮像する撮像画像ＩＭ１の一例を示す図である。 方法１について説明するための図である。 方法２について説明するための図である。

以下、図面を参照し、本発明の白線認識装置、移動体の制御システム、白線認識方法、およびプログラムの実施形態について説明する。白線認識装置は、例えば移動体に搭載される。移動体とは、例えば、車道と、車道と異なる所定領域との双方を移動するものである。移動体は、マイクロモビリティと称される場合がある。電動キックボードはマイクロモビリティの一種である。また、移動体は乗員が搭乗可能な乗物であってもよいし、無人での自律走行が可能な自律移動体であってもよい。後者の自律移動体は、例えば、荷物等を運搬する用途に用いられる。これに代えて、移動体は専ら車道を移動する車両や二輪車等であってもよい。白線認識装置は、特に歩道を移動する移動体に好適に適用されるものである。

所定領域とは、例えば歩道である。また、所定領域とは、路側帯や自転車レーン、公開空地などのうち一部または全部であってもよいし、歩道、路側帯、自転車レーン、公開空地などを全て含んでもよい。以下の説明では、所定領域は歩道であるものとする。以下の説明において「歩道」と記載されている部分は、適宜、「所定領域」と読み替えることができる。

図１は、実施形態に係る移動体１および制御装置１００の構成の一例を示す図である。移動体１には、例えば、外界検知デバイス１０と、移動体センサ１２と、操作子１４と、内部カメラ１６と、測位装置１８と、モード切替スイッチ２２と、移動機構３０と、駆動装置４０と、外部報知装置５０と、記憶装置７０と、制御装置１００とが搭載される。なお、これらの構成のうち本発明の機能を実現するのに必須でない一部の構成が省略されてもよい。移動体は、乗物に限らず、歩くユーザと並走して荷物を運んだり、人を先導したりするような小型モビリティを含んでよく、また、その他の自律移動が可能な移動体（例えば歩行型ロボットなど）を含んでもよい。

外界検知デバイス１０は、移動体１の進行方向を検知範囲とする各種デバイスである。外界検知デバイス１０は、例えば、単眼カメラ１０Ａと、測距センサ１０Ｂとを含む。外界検知デバイス１０は、更に、レーダー装置、ＬＩＤＡＲ（Light Detection and Ranging）、センサフュージョン装置などを含んでもよい。外界検知デバイス１０は、検知結果を示す情報（画像、物体の位置等）を制御装置１００に出力する。

単眼カメラ１０Ａは、移動体１の進行方向の空間を撮像し、ＲＧＢ画像または白黒画像を出力する。単眼カメラ１０Ａの出力する画像は、空間内の反射物を二次元の画像空間に射影したものである。

測距センサ１０Ｂは、単眼カメラ１０Ａと同じ方向の空間を検出範囲とし、空間情報を出力する。例えば、測距センサ１０Ｂはステレオカメラであり、空間情報は各画素（反射点）に関して測距センサ１０Ｂからの距離が付加された距離画像である。距離画像は、データ形式としては画像の形態をしているが、三次元空間の情報を表すものである。ステレオカメラを構成する一つのカメラとして単眼カメラ１０Ａが共用されてもよい。また、測距センサ１０ＢはＬＩＤＡＲであり、空間情報は三次元点群データであってもよい。いずれの場合も、空間情報を構成する点（画素）には、色彩ないし輝度の情報が付加されてもよいし、されなくてもよい。以下の説明では、測距センサ１０Ｂはステレオカメラであるものとする。

移動体センサ１２は、例えば、速度センサ、加速度センサ、ヨーレート（角速度）センサ、方位センサ、並びに操作子１４に取り付けられた操作量検出センサなどを含む。操作子１４は、例えば、加減速を指示するための操作子（例えばアクセルペダルやブレーキペダル）と、操舵を指示するための操作子（例えばステアリングホイール）とを含む。この場合、移動体センサ１２は、アクセル開度センサやブレーキ踏量センサ、ステアリングトルクセンサ等を含んでよい。移動体１は、操作子１４として、上記以外の態様の操作子（例えば、円環状でない回転操作子、ジョイスティック、ボタン等）を備えてもよい。

内部カメラ１６は、移動体１の乗員の少なくとも頭部を正面から撮像する。内部カメラ１６は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を利用したデジタルカメラである。内部カメラ１６は、撮像した画像を制御装置１００に出力する。

測位装置１８は、移動体１の位置を測位する装置である。測位装置１８は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機であり、ＧＮＳＳ衛星から受信した信号に基づいて、移動体１の位置を特定し、位置情報として出力する。なお、移動体１の位置情報は、後述する通信装置が接続しているＷｉ－Ｆｉ基地局の位置から推定されてもよい。

モード切替スイッチ２２は、乗員により操作されるスイッチである。モード切替スイッチ２２は、機械式スイッチであってもよいし、タッチパネル上に設定されるＧＵＩ（Graphical User Interface）スイッチであってもよい。モード切替スイッチ２２は、例えば、モードＡ：乗員により操舵操作と加減速制御との一方が行われ、他方は自動的に行われるアシストモードであり、乗員により操舵操作が行われ加減速制御が自動的に行われるモードＡ－１と、乗員により加減速操作が行われ操舵制御が自動的に行われるモードＡ－２とがあってよい、モードＢ：乗員により操舵操作および加減速操作がなされる手動運転モード、モードＣ：操作制御および加減速制御が自動的に行われる自動運転モードのいずれかに運転モードを切り替える操作を受け付ける。

移動機構３０は、道路において移動体１を移動させるための機構である。移動機構３０は、例えば、操舵輪と駆動輪とを含む車輪群である。また、移動機構３０は、多足歩行するための脚部であってもよい。

駆動装置４０は、移動機構３０に力を出力して移動体１を移動させる。例えば、駆動装置４０は、駆動輪を駆動するモータ、モータに供給する電力を蓄えるバッテリ、操舵輪の操舵角を調整する操舵装置などを含む。駆動装置４０は、駆動力出力手段、或いは発電手段として、内燃機関や燃料電池などを備えてもよい。また、駆動装置４０は、摩擦力や空気抵抗によるブレーキ装置を更に備えてもよい。

外部報知装置５０は、例えば移動体１の外板部に設けられ、移動体１の外部に向けて情報を報知するためのランプ、ディスプレイ装置、スピーカなどである。外部報知装置５０は、移動体１が歩道を移動している状態と、車道を移動している状態とで異なる動作を行う。例えば、外部報知装置５０は、移動体１が歩道を移動している場合にランプを発光させ、移動体１が車道を移動している場合にランプを発光させないように制御される。このランプの発光色は、法規で定められた色であると好適である。外部報知装置５０は、移動体１が歩道を移動している場合にランプを緑色で発光させ、移動体１が車道を移動している場合にランプを青色で発光させるというように制御されてもよい。外部報知装置５０がディスプレイ装置である場合、外部報知装置５０は、移動体１が歩道を走行している場合に「歩道走行中である」旨をテキストやグラフィックで表示する。

図２は、移動体１を上方から見た透視図である。図中、ＦＷは操舵輪、ＲＷは駆動輪、ＳＤは操舵装置、ＭＴはモータ、ＢＴはバッテリである。操舵装置ＳＤ、モータＭＴ、バッテリＢＴは駆動装置４０に含まれる。また、ＡＰはアクセルペダル、ＢＰはブレーキペダル、ＷＨはステアリングホイール、ＳＰはスピーカ、ＭＣはマイクである。図示する移動体１は一人乗りの移動体であり、乗員Ｐは運転席ＤＳに着座してシートベルトＳＢを装着している。矢印Ｄ１は移動体１の進行方向（速度ベクトル）である。外界検知デバイス１０は移動体１の前端部付近に、内部カメラ１６は乗員Ｐの前方から乗員Ｐの頭部を撮像可能な位置に、モード切替スイッチ２２はステアリングホイールＷＨのボス部にそれぞれ設けられている。また、移動体１の前端部付近に、ディスプレイ装置としての外部報知装置５０が設けられている。

図１に戻り、記憶装置７０は、例えば、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ、ＲＡＭ（Random Access Memory）などの非一過性の記憶装置である。記憶装置７０には、地図情報７２、制御装置１００が実行するプログラム７４、後述する対応情報７６などが格納される。図では記憶装置７０を制御装置１００の枠外に記載しているが、記憶装置７０は制御装置１００に含まれるものであってよい。また、記憶装置７０は不図示のサーバ上に設けられてもよい。

［制御装置］
制御装置１００は、例えば、道路タイプ認識部１２０と、物体認識部１３０と、制御部１４０とを備える。物体認識部１３０は、白線認識部１３２と、線状物体検出部１３４とを備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）７４を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め記憶装置７０に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置７０にインストールされてもよい。白線認識部１３２と線状物体検出部１３４を合わせたものが白線認識装置の一例である。実施例では白線認識装置が制御装置１００の内部機能であるものとしているが、白線認識装置は独立した装置であってもよい。

道路タイプ認識部１２０は、移動体１が車道を移動しているか、歩道を移動しているかを認識する。道路タイプ認識部１２０は、例えば、外界検知デバイス１０の外部カメラが撮像した画像を解析することで、移動体１が車道を移動しているか、歩道を移動しているかを認識する。なお、レーダー装置、ＬＩＤＡＲ、センサフュージョン装置等の出力が補助的に用いられてもよい。

道路タイプ認識部１２０は、外部カメラが撮像した画像において、移動体１が車道を移動していることを示す複数の第１事象のそれぞれを認識した度にポイントを車道スコアＳｒに加算し、車道スコアＳｒが第１閾値以上である場合に、移動体１が車道を移動していると認識する。第１事象は、例えば、（Ａ）自領域（つまり移動体１が存在する領域の外縁部よりも内側）に、車両以外の静的障害物が存在しないこと、（Ｂ）自領域において車両が移動していること、（Ｃ）自領域の路面に路面標示が存在すること、（Ｄ）自領域に横断歩道が存在すること、（Ｅ）自領域が段差に対して下段側にあること等である。道路タイプ認識部１２０は、複数の第１事象のそれぞれを認識した際の確信度に応じてポイントに重み付けして、車道スコアＳｒに加算する。第１事象のそれぞれに対応したポイントをＰ１～Ｐｎとする（ｎは自然数であり、第１事象として想定された事象の数に等しい）。ポイントＰ１～Ｐｎは同じ値であってもよいし、第１事象の種類に応じて異なる値であってもよい。また、認識処理の確信度に応じた重みをα１～αｎとする。認識処理の確信度は、第１事象を認識する処理（例えば機械学習による学習済モデルを用いた判別処理を含む）の中で、付随的に出力されるものである。車道スコアＳｒは式（１）で表される。

Ｓｒ＝α１×Ｐ１＋α１＋Ｐ２＋…＋αｎ×Ｐｎ …（１）
（対応する第１事象ｋが認識されない場合、Ｐｋ＝０（ｋ＝１～ｎ））

但し、道路タイプ認識部１２０は、外部カメラが撮像した画像において、移動体１が歩道を移動していることを示す複数の第２事象のいずれかを認識した場合、車道スコアＳｒに関わらず移動体１が歩道を移動していると認識する。第２事象は、例えば、（ａ）外部カメラによって、ガードレールの二つの面のうち歩道側に向けられる第２面が撮像されたこと、（ｂ）自領域の路面に点字ブロックが存在すること、（ｃ）自領域に、車両以外の静的障害物が存在すること、（ｄ）自領域が段差に対して上段側にあること等である。

道路タイプ認識部１２０は、移動体１の位置情報と地図情報７２とを照合し、移動体１が車道を移動しているか、歩道を移動しているかを認識してもよい。この場合の地図情報は、位置座標から歩道と車道が区別できる程度の精度を有している必要がある。また、「所定領域」が歩道だけで無い場合、道路タイプ認識部１２０は、路側帯や自転車レーン、公開空地などについても同様の処理を行う。

物体認識部１３０は、外界検知デバイス１０の出力に基づいて、移動体１の周辺に存在する物体を認識する。物体とは、車両や自転車、歩行者などの移動体、道路区画線、段差、ガードレール、路肩、中央分離帯などの走路境界、道路標識や看板などの路上に設置された構造物、走路上に存在する（落ちている）落下物などの障害物のうち一部または全部を含む。物体認識部１３０は、例えば、外界検知デバイス１０の外部カメラが撮像した画像が入力されると物体の存在、位置、種別などの情報を出力するように学習された学習済モデルに、外部カメラの撮像した画像を入力することで、他の移動体の存在、位置、種別など情報を取得する。他の移動体の種別は、画像におけるサイズや外界検知デバイス１０のレーダー装置が受信する反射波の強度などに基づいて推定することもできる。また、物体認識部１３０は、例えば、レーダー装置がドップラーシフトなどを利用して検出した他の移動体の速度を取得する。白線認識部１３２と線状物体検出部１３４の機能については後述する。

制御部１４０は、例えば、設定されている運転モードに応じて駆動装置４０を制御する。なお、移動体１は、下記の運転モードのうち一部のみ実行するものであってよいが、制御部１４０は、いずれの場合も、移動体１が車道を移動する場合と歩道を移動する場合とで速度制限値を異ならせる。その場合、モード切替スイッチ２２は省略されてよい。

モードＡ－１において制御部１４０は、物体認識部１３０の出力に基づく走路と物体の情報を参照し、移動体１が車道を移動する場合、移動体１の前方に存在する物体との距離を一定以上に維持し、移動体１の前方に存在する物体との距離が十分に長い場合は第１速度Ｖ１（例えば、十［ｋｍ／ｈ］以上、数十［ｋｍ／ｈ］未満の速度）で移動体１が移動するように、駆動装置４０のモータＭＴを制御する。制御部１４０は、移動体１が歩道を移動する場合、移動体１の前方に存在する物体との距離を一定以上に維持し、移動体１の前方に存在する物体との距離が十分に長い場合は第２速度Ｖ２（例えば、十［ｋｍ／ｈ］未満の速度）で移動体１が移動するように、駆動装置４０のモータＭＴを制御する。係る機能は、第１速度Ｖ１または第２速度Ｖ２を設定速度とした車両のＡＣＣ（Adaptive Cruise Control）機能と同様のものであり、ＡＣＣにおいて用いられている技術を利用することができる。また、モードＡ－１において制御部１４０は、ステアリングホイール等の操作子１４の操作量に基づいて操舵輪の操舵角を変更するように操舵装置ＳＤを制御する。係る機能は、パワーステアリング装置の機能と同様のものであり、パワーステアリング装置において用いられている技術を利用することができる。なお操舵に関して電子制御を行わず、移動体１は、操作子１４と操舵機構が機械的に連結された操舵装置を有してもよい。

モードＡ－２において、制御部１４０は、物体認識部１３０の出力に基づく走路と物体の情報を参照し、走路内で物体を回避して移動可能な目標軌道を生成し、移動体１が目標軌道に沿って移動するように駆動装置４０の操舵装置ＳＤを制御する。加減速に関しては、制御部１４０は、移動体１の速度とアクセルペダルまたはブレーキペダルの操作量とに基づいて駆動装置４０のモータＭＴを制御する。制御部１４０は、移動体１が車道を移動している場合は第１速度Ｖ１を上限速度として駆動装置４０のモータＭＴを制御し（モードＡ－２の場合、上限速度に達した場合は更なる加速指示があっても移動体１を加速させないことを意味する）、移動体１が歩道を移動している場合は第２速度Ｖ２を上限速度として駆動装置４０を制御する。

モードＢにおいて制御部１４０は、移動体１の速度とアクセルペダルまたはブレーキペダルの操作量とに基づいて駆動装置４０のモータＭＴを制御する。制御部１４０は、移動体１が車道を移動している場合は第１速度Ｖ１を上限速度として駆動装置４０のモータＭＴを制御し（モードＢの場合、上限速度に達した場合は更なる加速指示があっても移動体１を加速させないことを意味する）、移動体１が歩道を移動している場合は第２速度Ｖ２を上限速度として駆動装置４０のモータＭＴを制御する。操舵に関してはモードＡ－１と同様である。

モードＣにおいて制御部１４０は、物体認識部１３０の出力に基づく走路と物体の情報を参照し、走路内で物体を回避して移動可能な目標軌道を生成し、移動体１が目標軌道に沿って移動するように駆動装置４０を制御する。モードＣにおいても、制御部１４０は、移動体１が車道を移動している場合は第１速度Ｖ１を上限速度として駆動装置４０を制御し、移動体１が歩道を移動している場合は第２速度Ｖ２を上限速度として駆動装置４０を制御する。

［白線認識］
以下、白線認識部１３２と線状物体検出部１３４の機能について説明する。白線認識部１３２は、例えば、単眼カメラ１０Ａの撮像画像における着目領域において、左右方向の輝度差が閾値以上の横エッジを抽出し、直線または曲線状に並ぶ横エッジを直線または曲線に見立たものであり、画像の上死点に向かって伸びる線状の特徴箇所を、白線の輪郭候補として検出する。そして、白線認識部１３２は、輪郭候補で囲まれ、且つ短手方向の幅が白線として想定される範囲内の幅である領域を白線と認識し、撮像画像の画像平面から、移動体１の上空から見た仮想平面に白線の位置を射影した情報を制御部１４０に出力する。

ここで、移動体１は歩道を移動可能なものであり、歩道から車道に移動しようとする場面が想定される。従って、移動体１においては、歩道と車道の境界越しに、車道に描画された白線を認識する場面が生じ得る。図３は、係る場面を例示した図である。この場面において、移動体１は、歩道２００を移動しており、歩道２００と車道２０２の間に設けられた段差２０４が緩和された連絡部２０６を通って、車道２０２に移動しようとしている。段差２０４の歩道側には、ガードパイプ２０８が設けられている。ガードパイプ２０８は、歩道と車道の境界に設けられる細い柵である。このような場面の他にも、移動体１は車道から歩道に移動し、その後で反対側の車道に移動するような場面も想定される。このように、移動体１では、歩道が関与する空間で白線を認識するケースが生じる。

図４は、図３に示す場面において、移動体１の単眼カメラ１０Ａが撮像する撮像画像ＩＭ１の一例を示す図である。ガードパイプ２０８は、例えば、複数の支柱２０８Ａと、支柱２０８Ａの間に水平に懸架される一以上のメインパイプ部２０８Ｂ（図では２０８Ｂ１、２０８Ｂ２、２０８Ｂ３の３つ）とで構成される。撮像画像ＩＭ１には、３つの白線２１０－１、２１０－２、２１０－３が写っている（白線２１０－２は破線）。メインパイプ部２０８Ｂのそれぞれは、（１）道路に沿って延在している、（２）歩道から見た幅が白線に近い、（３）白色のものが多い、などの理由で、コンピュータの画像処理において白線と混同されやすい特性を持っている。このため、歩道２００から車道２０２に移動した後に、車道２０２内を移動するに際して移動体１の移動制御の参考にすべき左右の白線２１０－１、２１０－２の位置を正しく認識できないことがあり得る。

そこで、実施形態では、線状物体検出部１３４が、路面から離間して存在する（宙に浮いている）線状物体を検出し、白線認識部１３２が、線状物体の位置に対応する線状の特徴箇所を、白線の輪郭として認識しないようにすることで、メインパイプ部２０８Ｂなどの白線と混同しやすい物体によって、白線認識において誤認識が生じるのを抑制する。「白線の輪郭として認識しないようにする」とは、原則として白線の輪郭として認識しないことを意味し、例えば、線状の特徴箇所のうち中間部分のみが線状物体の位置に対応し、両端部が線状物体の位置に対応しないような場合、単眼カメラ１０Ａから見た白線の位置と線状物体とが偶然に重なっていることが想定される。このような場合に、白線認識部１３２は、直ちに「白線の輪郭でない」と判断するのではなく、周囲との繋がりから白線の輪郭である蓋然性が十分に高ければ、白線の輪郭として認識しても構わない。以下、「白線の輪郭として認識しないようにする」ことを、「認識結果から除外する」とも称する。

線状物体検出部１３４は、記憶装置７０に記憶されている対応情報７６を参照し、測距センサ１０Ｂの出力する空間情報に基づいて線状物体を検出する。

空間情報が距離画像の形式となっている場合（以下、これを空間情報画像と称する）、対応情報は、空間情報画像の座標のそれぞれに対応し、路面が光の反射点として検出されたと仮定した場合の距離（以下、基準距離１）を表す情報である。この場合、線状物体検出部１３４は、空間情報画像の各座標から、距離が基準距離１よりも小さい座標を抽出し、所定幅で直線状または曲線状に延在する一群の座標が構成する物標を、線状物体として検出する。

空間情報が三次元点群の形式となっている場合、対応情報は、測距センサ１０Ｂから見た方向（方位角、俯角または仰角）と、路面が光の反射点として検出されたと仮定した場合の距離（以下、基準距離２）を表す情報である。この場合、線状物体検出部１３４は、三次元点群を構成する各点から、距離が基準距離２よりも小さい点を抽出し、所定幅で直線状または曲線状に延在する一群の点が構成する物標を、線状物体として検出する。

なお、空間情報が色彩の情報を含む場合、線状物体検出部１３４が白色でない線状物体を検出した場合、白線認識部１３２は、当該白色でない線状物体について特段、認識結果から除外する処理を行わなくてもよい。白色でない線状物体は白線と混同する確率が低いからである。

線状物体の位置に対応する線状の特徴箇所を認識結果から除外する方法について、例えば以下の二つの方法が考えられる。（方法１）例えば、白線認識部１３２は、線状物体の位置を撮像画像ＩＭ１の画像平面に射影して線状領域を導出し、線状領域に合致する線状の特徴箇所を、認識結果から除外する。図５は、方法１について説明するための図である。射影に必要なパラメータは、単眼カメラ１０Ａの取り付け位置、光軸方向、歪み度合い等と、測距センサ１０Ｂの取り付け位置、光軸方向、歪み度合い等であり、白線認識部１３２は、それらの物理的関係から求められた射影のための関数を用いて射影を行う。線状物体の位置は、空間情報画像の座標軸で表される場合もあり、三次元空間の座標軸で表される場合もあり得る。いずれの場合も、撮像画像ＩＭ１の画像平面に線状物体を射影することで、「仮に線状物体が撮像画像ＩＭ１上にあった場合に、どこにあるのか」という情報を取得することができる。

（方法２）白線認識部１３２は、認識した撮像画像ＩＭ１上の白線に対応する空間領域（空間情報を構成する座標軸上の領域；上記射影の逆の処理を行うことで取得される）において線状物体を検索し、空間領域に線状物体が存在する場合、当該線状の特徴箇所を認識結果から除外する。図６は、方法２について説明するための図である。図示するように、白線認識部１３２は、撮像画像ＩＭ１における線状の特徴箇所の位置を空間情報に逆射影して得られる検索領域に線状物体が存在するか否かを検索し、存在する場合に、ヒットした検索領域に対応する線状の特徴箇所を認識結果から除外する。

このようにして線状物体を除外することで誤認識が低減された白線の認識結果は、制御部１４０による駆動装置４０の制御に用いられる。例えば、モードＡ－２やモードＣにおいて制御部１４０は、認識された白線で区画される車線内に収まるように目標軌道を生成する。

以上説明した実施形態によれば、単眼カメラ１０Ａが撮像した撮像画像ＩＭ１において、路面に描画された白線を認識する白線認識部１３２と、単眼カメラ１０Ａと同方向を少なくとも検出範囲とするように設けられた測距センサ１０Ｂの出力に基づいて、路面から離間して存在する線状物体を検出する線状物体検出部１３４と、を備え、白線認識部１３２は、線状物体の位置に対応する白線を、認識結果から除外するため、白線の誤認識を抑制することができる。

上記説明した実施形態は、以下のように表現することができる。
コンピュータによって読み込み可能な命令（computer-readable instructions）を格納する記憶媒体（storage medium）と、
前記記憶媒体に接続されたプロセッサと、を備え、
前記プロセッサは、前記コンピュータによって読み込み可能な命令を実行することにより（the processor executing the computer-readable instructions to:）
単眼カメラが撮像した画像に存在する線状の特徴箇所を、路面に描画された白線の輪郭と認識することと、
前記単眼カメラと同方向を少なくとも検出範囲とするように設けられた測距センサの出力に基づいて、路面から離間して存在する線状物体を検出することと、を実行し、
前記認識することは、前記線状の特徴箇所を、前記白線の輪郭と認識しないようにすることを含む、
白線認識装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１０ 外界検知デバイス
１０Ａ 単眼カメラ
１０Ｂ 測距センサ
１２ 移動体センサ
１４ 操作子
１６ 内部カメラ
１８ 測位装置
２２ モード切替スイッチ
３０ 移動機構
４０ 駆動装置
５０ 外部報知装置
７０ 記憶装置
７６ 対応情報
１００ 制御装置
１２０ 道路タイプ認識部
１３０ 物体認識部
１３２ 白線認識部
１３４ 線状物体検出部
１４０ 制御部

Claims (7)

1. 単眼カメラが撮像した画像に存在する線状の特徴箇所を、路面に描画された白線の輪郭と認識する白線認識部と、
   前記単眼カメラと同方向を少なくとも検出範囲とするように設けられた測距センサの出力に基づいて、路面から離間して存在する線状物体を検出する線状物体検出部と、を備え、
   前記白線認識部は、前記線状物体の位置に対応する前記線状の特徴箇所を、前記白線の輪郭と認識しないようにする、
   白線認識装置。
2. 前記白線認識部は、前記線状物体の位置を前記画像の画像平面に射影して線状領域を導出し、前記線状領域に合致する前記線状の特徴箇所を、前記白線の輪郭と認識しないようにする、
   請求項１記載の白線認識装置。
3. 前記白線認識部は、認識した前記線状の特徴箇所に対応する空間領域において前記線状物体を検索し、前記空間領域に前記線状物体が存在する場合、当該線状の特徴箇所を、前記白線の輪郭と認識しないようにする、
   請求項１または２記載の白線認識装置。
4. 前記測距センサの出力は、色彩を認識可能な情報であり、
   前記白線認識部は、白色の前記線状物体の位置に対応する前記線状の特徴箇所を、前記白線の輪郭と認識しないようにする、
   請求項１から３のうちいずれか１項記載の白線認識装置。
5. 請求項１から４のうちいずれか１項記載の白線認識装置と、
   前記白線認識部が認識した白線に基づいて移動体の移動制御を行う制御装置と、
   を備える移動体の制御システム。
6. 白線認識装置を用いて実行される白線認識方法であって、
   単眼カメラが撮像した画像に存在する線状の特徴箇所を、路面に描画された白線の輪郭と認識することと、
   前記単眼カメラと同方向を少なくとも検出範囲とするように設けられた測距センサの出力に基づいて、路面から離間して存在する線状物体を検出することと、を備え、
   前記認識することは、前記線状の特徴箇所を、前記白線の輪郭と認識しないようにすることを含む、
   白線認識方法。
7. コンピュータに、
   単眼カメラが撮像した画像に存在する線状の特徴箇所を、路面に描画された白線の輪郭と認識することと、
   前記単眼カメラと同方向を少なくとも検出範囲とするように設けられた測距センサの出力に基づいて、路面から離間して存在する線状物体を検出することと、を実行させるプログラムであって、
   前記認識することは、前記線状の特徴箇所を、前記白線の輪郭と認識しないようにすることを含む、
   プログラム。

Images