JP2013186663A - 横断歩道認識装置および横断歩道認識方法 - Google Patents
横断歩道認識装置および横断歩道認識方法 Download PDFInfo
- Publication number
- JP2013186663A JP2013186663A JP2012050838A JP2012050838A JP2013186663A JP 2013186663 A JP2013186663 A JP 2013186663A JP 2012050838 A JP2012050838 A JP 2012050838A JP 2012050838 A JP2012050838 A JP 2012050838A JP 2013186663 A JP2013186663 A JP 2013186663A
- Authority
- JP
- Japan
- Prior art keywords
- pedestrian crossing
- luminance change
- image
- horizontal
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】単眼カメラを用いて横断歩道を高精度に認識することのできる横断歩道認識装置を提供する。
【解決手段】横断歩道認識装置は、撮像装置と、水平ラインの輝度変化を検出する輝度変化検出部、第1の輝度変化と第2の輝度変化とが交互に繰り返される分布のパターンを含む第1の水平ラインの存在を判定してグループ化するグループ化部、異なる第1の水平ラインの間で同じ輝度変化の輝度変化点どうしが群をなして並ぶか判定し、さらに群の並び方向が垂直方向に近いか遠いかを判定し、垂直方向に近い並び方向の群をなす輝度変化点を含む第2の水平ラインが所定数以上存在する場合に第2の水平ラインの領域の垂直方向範囲を抽出する横断歩道領域抽出部、第2の水平ラインの領域を通らない第3の水平ラインを横断歩道領域を通る水平ラインの候補から除外して横断歩道を認識する横断歩道認識部、を備える画像認識装置とを備えている。
【選択図】図1
【解決手段】横断歩道認識装置は、撮像装置と、水平ラインの輝度変化を検出する輝度変化検出部、第1の輝度変化と第2の輝度変化とが交互に繰り返される分布のパターンを含む第1の水平ラインの存在を判定してグループ化するグループ化部、異なる第1の水平ラインの間で同じ輝度変化の輝度変化点どうしが群をなして並ぶか判定し、さらに群の並び方向が垂直方向に近いか遠いかを判定し、垂直方向に近い並び方向の群をなす輝度変化点を含む第2の水平ラインが所定数以上存在する場合に第2の水平ラインの領域の垂直方向範囲を抽出する横断歩道領域抽出部、第2の水平ラインの領域を通らない第3の水平ラインを横断歩道領域を通る水平ラインの候補から除外して横断歩道を認識する横断歩道認識部、を備える画像認識装置とを備えている。
【選択図】図1
Description
本発明は、車両に搭載されるいわゆる運転支援システムに係り、特に、横断歩道を認識する装置に関するものである。
近年、車両の周囲環境を認識して搭乗者の安全を図る運転支援システムが盛んに開発されている。係る運転支援システムでは、例えば、撮像装置で撮像した周囲環境の画像を画像認識機能を有するECU(Electronic Control Unit)によって処理し、運転者や搭乗者に必要な警告を発するようになっている。このような撮像される車両の周囲環境の1つとして横断歩道が挙げられる。
特許文献1には、メインカメラとサブカメラとで撮像した2枚のステレオ画像から横断歩道を認識する装置が開示されている。メインカメラとサブカメラとから出力された一対の画像は、ステレオマッチング処理およびフィルタリング処理により基準画像と比較画像とに変換される。そして、得られた2枚のステレオ画像の視差を算出し、画素ブロックに対して実空間における距離を算出する。視差から距離が算出されることを利用し、実空間において自車両から所定距離だけ離れた前方領域のみを探索して横断歩道を検出する。このとき、基準画像の道路面上に高輝度領域が所定の距離で出現していれば横断歩道と認識する。
また、特許文献2は、特許文献1の方法で横断歩道までの距離を検出しようとして、短い周期で撮像される画像から逐次横断歩道の検出のために広い画像領域を探索すると、計算に時間がかかりリアルタイム性を損なうことを改善することを提案している。この改善された手法では、ステレオカメラによる視差算出を行う点は特許文献1と同じであるが、車線の幅と横断歩道の幅とが区別できない場合があることに着目して認識処理を軽減している。検出した実空間における車線候補の高輝度領域の幅が横断歩道の幅に相当する場合にのみ、高輝度領域と低輝度領域とが水平方向に繰り返し現れるか否かを判定して横断歩道を認識し、横断歩道までの距離を求める。
特許文献1および2などの従来の横断歩道認識技術は、ステレオ画像の視差から距離を算出しておりセンサのコストが高い。センサに単眼カメラを用いることができればコストは低減され、構成が簡略化される。しかしながら、単眼カメラを用いる場合には視差が求まらないため、実空間の距離を知ることが困難である。従って、単眼カメラで撮像した周囲環境に対して、水平方向にサーチした撮像パターンのみをグループ化して横断歩道を認識しようとすると、サーチ領域が確かに横断歩道の存在する領域であることを特定できず、横断歩道以外のものを横断歩道と誤認識する虞があるという問題がある。
例えば図10に示すように、カメラの撮像範囲内に白線ペイントからなる駐車場の駐車枠線Mや並列して駐車している複数の車両Nが存在する場合などがある。前方の路面はカーブ形状をなしており、撮像画像上で画像認識を行うための注目領域内にこれらの駐車枠線や車両が存在している。視差が分かればこの注目領域が車両から規定距離以上に離れているなどとしてサーチ対象領域から除外できるが、単眼カメラを用いた場合には、道路領域を認識するなどの特別な処理を行わない限り、これらのペイントや物体が横断歩道の候補にはならないことが即座には判定できない。そして、これらの撮像画像を一点鎖線で示すように水平方向にサーチしたときに、駐車枠線Mの一部が周期的に現れたり、車両Nの一部Nが明暗の繰り返しパターンを形成したりしていると、これらの画像パターンが横断歩道であると誤認識されてしまう。
このように、従来の横断歩道の認識技術では、単眼カメラを用いて横断歩道を他物体から区別して高精度に認識することができなかった。
本発明は、上記課題を解決するものであり、単眼カメラを用いて横断歩道を高精度に認識することのできる横断歩道認識装置および横断歩道認識方法を提供することを目的とする。
本発明の第1の局面は、撮像装置と、前記撮像装置によって撮像された画像から横断歩道を認識する画像認識装置であって、前記画像の少なくとも一部の領域を構成する水平ラインのそれぞれについて、水平方向における輝度変化を検出する、輝度変化検出部と、前記水平ラインの中に、前記輝度変化検出部によって検出された前記輝度変化が暗から明への第1の輝度変化と明から暗への第2の輝度変化とが交互に繰り返される分布を有するパターンを含む第1の水平ラインが複数存在するか否かを判定し、前記第1の水平ラインが複数存在すると判定した場合に前記第1の水平ラインをグループ化する、グループ化部と、前記グループ化部によってグループ化された前記第1の水平ラインのそれぞれについて、異なる前記第1の水平ラインとの間で、前記第1の輝度変化を伴う前記輝度変化点どうしおよび前記第2の輝度変化を伴う前記輝度変化点どうしが群をなして並んでいるか否かの2通りに判定し、群をなして並んでいると判定された前記輝度変化点については、前記画像の垂直方向に近い並び方向の群をなすか、前記画像の垂直方向に遠い並び方向の群をなすかの2通りに判定し、前記第1の水平ラインの中に、前記画像の垂直方向に近い並び方向の群をなすと判定された前記輝度変化点を含む第2の水平ラインが複数の所定数以上存在する場合に、前記第2の水平ラインで構成される領域の前記垂直方向の範囲を横断歩道を含む領域の前記垂直方向の範囲として抽出する、横断歩道領域抽出部と、前記第2の水平ラインで構成される領域を通らない前記第1の水平ラインである第3の水平ラインが存在する場合に前記第3の水平ラインを前記横断歩道を通る前記水平ラインの候補から除外し、前記横断歩道を含む領域の前記垂直方向の範囲に基づいて前記横断歩道の前記垂直方向の範囲を認識する、横断歩道認識部と、を備える画像認識装置と、を備えている。
本発明の第2の局面は、前記第1の局面において、前記輝度変化が有する前記分布は、前記第1の輝度変化を伴う前記輝度変化点と前記第2の輝度変化を伴う前記輝度変化点との間の前記画像上での距離、前記第1の輝度変化を伴う前記輝度変化点どうしの間の前記画像上での距離、あるいは、前記第2の輝度変化を伴う前記輝度変化点どうしの間の前記画像上での距離が、前記画像上での距離に対応する2つの前記輝度変化点の組合せからなるペア間で比較して均一であると判定した分布である。
本発明の第3の局面は、前記第1の局面または前記第2の局面において、前記撮像装置は単眼カメラである。
本発明の第4の局面は、前記第1の局面から前記第3の局面までのいずれかにおいて、前記画像認識装置は、認識した前記横断歩道について、前記横断歩道の前記画像上の注目領域における水平方向の規格上の長さをA、前記注目領域の水平方向の画像の大きさをa、前記撮像装置の角度分解能をP、前記撮像装置から前記注目領域までの道路面に沿った実空間における距離をLとして、L=A/tan(a×P)に基づいて、前記撮像装置を搭載した車両から前記横断歩道までの実空間における距離を算出する距離算出部を備えている。
本発明の第5の局面は、前記横断歩道認識部は、前記第2の水平ラインで構成される領域のうち、前記画像の垂直方向に近い並び方向の群をなす前記輝度変化点が前記水平方向に連続して複数並んでいる第1の範囲を有する前記第2の水平ラインから前記第1の範囲を抽出し、全ての前記第1の範囲からなる領域に基づいて前記横断歩道の前記水平方向の範囲を認識する。
本発明の第6の局面は、画像を撮像し、前記画像の少なくとも一部の領域を構成する水平ラインのそれぞれについて、水平方向における輝度変化を検出し、前記水平ラインの中に、検出された前記輝度変化が暗から明への第1の輝度変化と明から暗への第2の輝度変化とが交互に繰り返される分布を有するパターンを含む第1の水平ラインが複数存在するか否かを判定し、前記第1の水平ラインが複数存在すると判定した場合に前記第1の水平ラインをグループ化し、グループ化された前記第1の水平ラインのそれぞれについて、異なる前記第1の水平ラインとの間で、前記第1の輝度変化を伴う前記輝度変化点どうしおよび前記第2の輝度変化を伴う前記輝度変化点どうしが群をなして並んでいるか否かの2通りに判定し、群をなして並んでいると判定された前記輝度変化点については、前記画像の垂直方向に近い並び方向の群をなすか、前記画像の垂直方向に遠い並び方向の群をなすかの2通りに判定し、前記第1の水平ラインの中に、前記画像の垂直方向に近い並び方向の群をなすと判定された前記輝度変化点を含む第2の水平ラインが複数の所定数以上存在する場合に、前記第2の水平ラインで構成される領域の前記垂直方向の範囲を横断歩道を含む領域の前記垂直方向の範囲として抽出し、前記第2の水平ラインで構成される領域を通らない前記第1の水平ラインである第3の水平ラインが存在する場合に前記第3の水平ラインを前記横断歩道を通る前記水平ラインの候補から除外し、前記横断歩道を含む領域の前記垂直方向の範囲に基づいて前記横断歩道の前記垂直方向の範囲を認識する。
本発明の第7の局面は、前記第6の局面において、前記輝度変化が有する前記分布は、前記第1の輝度変化を伴う前記輝度変化点と前記第2の輝度変化を伴う前記輝度変化点との間の前記画像上での距離、前記第1の輝度変化を伴う前記輝度変化点どうしの間の前記画像上での距離、あるいは、前記第2の輝度変化を伴う前記輝度変化点どうしの間の前記画像上での距離が、前記画像上での距離に対応する2つの前記輝度変化点の組合せからなるペア間で比較して均一であると判定した分布である。
本発明の第8の局面は、前記第6の局面または前記第7の局面において、認識した前記横断歩道について、前記横断歩道の前記画像上の注目領域における水平方向の規格上の長さをA、前記注目領域の水平方向の画像の大きさをa、前記撮像装置の角度分解能をP、前記撮像装置から前記注目領域までの道路面に沿った実空間における距離をLとして、L=A/tan(a×P)に基づいて、前記撮像装置を搭載した車両から前記横断歩道までの実空間における距離を算出する。
本発明の第9の局面は、前記第6の局面から前記第8の局面までのいずれかにおいて、前記第2の水平ラインで構成される領域のうち、前記画像の垂直方向に近い並び方向の群をなす前記輝度変化点が前記水平方向に連続して複数並んでいる第1の範囲を有する前記第2の水平ラインから前記第1の範囲を抽出し、全ての前記第1の範囲からなる領域に基づいて前記横断歩道の前記水平方向の範囲を認識する。
第1の局面によれば、輝度変化点が垂直方向に連結されたとみなした水平ラインをグループ化することにより横断歩道を含む領域を抽出するので、目前に迫っている横断歩道に対してほぼ直進状態にあるとみなせる車両にとっては、車両正面付近にある横断歩道の白線領域の撮像画像から、垂直方向に連結された輝度変化点が安定して得られる。そして、横断歩道の認識にあたり第3の水平ラインを横断歩道を通る候補ラインから除外するので、横断歩道の輝度変化分布条件と輝度変化点の垂直方向の連結に関する所定の関係とを横断歩道のようには満たすことがほとんどない目前の横断歩道以外の物体およびペイントの検出結果を、容易に除外することができる。これにより、目前の横断歩道以外の物体およびペイントの検出結果を横断歩道として誤認識することを防ぐことができる。
また、差し迫った認識を必要としない遠方にある横断歩道も、撮像装置によって輝度変化点の垂直方向の連結条件を満たすような大きな画像、あるいは、横断歩道の輝度変化分布条件を満たすような歪みの無い画像として撮像されにくいことから、横断歩道を通る候補ラインから除外することができる。また、横断歩道を認識するのに、撮像画像に対する実空間の距離を知る必要がないので撮像装置に単眼カメラを用いることができる。
このように、本発明によれば、単眼カメラを用いて横断歩道を高精度に認識することができる横断歩道認識装置を提供することができる。
第2の局面によれば、水平ラインを横断歩道を通る候補ラインとなる第1の水平ラインとしてグループ化するのに、エッジ点間の画像上での距離の均一度を評価するので、規格値に従った明暗の繰り返しパターンで構成される横断歩道に対して、容易かつ高精度にグループ化を行うことができる。
第3の局面によれば、撮像装置として単眼カメラを用いるので、横断歩道を認識するためにステレオカメラを用いて実空間の距離を知る必要のあった従来の装置よりも、大幅に構成および処理が簡略化された横断歩道認識装置を提供することができる。
第4の局面によれば、横断歩道の所定部位の規格上の大きさを加味して横断歩道までの距離を算出するので、横断歩道が自車両から遠方に存在する状況であっても、横断歩道までの距離を撮像装置による撮像画像から精度良く算出できる。
第5の局面によれば、車両正面付近にある横断歩道の白線領域の撮像画像から、第1の範囲を安定して抽出することができるので、横断歩道を認識する上で水平方向の最小限の範囲を容易かつ高精度に認識することができる。
第6の局面によれば、単眼カメラを用いて横断歩道を高精度に認識することができる横断歩道認識方法を提供することができる。
第7の局面によれば、規格値に従った明暗の繰り返しパターンで構成される横断歩道に対して、容易かつ高精度にグループ化を行うことができる。
第8の局面によれば、横断歩道が自車両から遠方に存在する状況であっても、横断歩道までの距離を撮像装置2による撮像画像から精度良く算出できる。
第9の局面によれば、横断歩道を認識する上で水平方向の最小限の範囲を容易かつ高精度に認識することができる。
本発明の実施形態について図1ないし図9を用いて説明すれば以下の通りである。
図1に、本実施形態に係る横断歩道認識装置1の構成を示す。
横断歩道認識装置1は撮像装置2およびECU(画像認識装置)3を備えている。撮像装置2は例えばCMOSセンサあるいはCCDを備えた単眼カメラである。ECU3は撮像装置2から出力された撮像画像データから横断歩道を認識する画像認識ECUである。
ECU3は、CPU31、A/D変換器32、画像認識プロセッサ33、ROM34、RAM35、および、表示制御/音声制御部36を備えている。CPU31はECU3の内部の処理の全体を監視し、必要な制御信号を各デバイスに与える。A/D変換器32は、撮像装置2から出力されるアナログの画像信号をデジタルの画像データに変換する。画像認識プロセッサ33はA/D変換器32から出力されたデジタルの画像データから画像処理を行って横断歩道を認識するDSP(Digital Signal Processor)である。ROM34はフラッシュメモリなどの不揮発性メモリからなり、CPU31が実行するプログラムおよび画像認識プロセッサ33が実行するプログラムおよび必要なデータを格納している。RAM35はDRAMあるいはSRAMなどの揮発性メモリからなり、CPU31、A/D変換器32、画像認識プロセッサ33、および、表示制御/音声制御部36が必要に応じて処理データを展開する領域を提供する。表示制御/音声制御部36は画像認識プロセッサ33による画像認識処理の結果を受けて、運転者および搭乗者に知らせる警告画面あるいは警告音を生成する。
なお、画像認識プロセッサ33は、以下に説明する画像認識処理の一部をCPU31に実行させてもよいし、ROM34内に格納されている画像認識処理用のプログラムおよびデータを画像認識プロセッサ33内に保持していてもよい。また、画像認識プロセッサ33は、典型的には処理回路によるデータ処理にプログラムの実行を加えた画像認識処理を行うが、プログラムを使用せずに処理回路のみにより画像認識処理を行ってもよいし、プログラムの実行のみによって画像認識処理を行ってもよい。従って、CPU31は画像認識処理に関与しなくてもよく、ECU3に必ずしも備えられていなくてよい。また、表示制御/音声制御部36は便宜的に1つのブロックで示してあるが、適宜用途別に分離されたブロックとして設けられてもよいし、ECU3以外の場所に設けられてもよい。さらに、ECU3は他のECUとネットワークで接続されていてもよく、画像認識処理に関するデータを他のECUとやり取りしてもよい。
画像認識プロセッサ33は、垂直エッジ抽出部(輝度変化検出部)33a、輝度変化パターン分類部33b、横断歩道候補ライン抽出部33c、横断歩道領域抽出部33d、横断歩道認識部33e、および、距離算出部33fを備えている。輝度変化パターン分類部33bおよび横断歩道候補ライン抽出部33cはグループ化部を構成している。
次に、画像認識プロセッサ33による画像認識処理を含めた横断歩道認識装置1の動作について説明する。
図2(a)〜(e)に、横断歩道を含む車両の周囲環境の画像から横断歩道を認識する過程を示す。
図2(a)は、撮像装置2が撮像した車両前方の周囲環境の画像を示す。この画像は、撮像画像から、画像認識処理を行うための注目領域10を切り出したものである。当該画像には、横断歩道21、車道区画線22、および、車道外側線23の画像が含まれている。横断歩道21は、長手方向が車線方向に延びる4つの白線領域p1・p2・p3・p4を、車道外側線23側から車道区画線22側に向ってこの順に所定の間隔で並ぶように備えている。撮像装置2から出力された画像信号はECU3内のA/D変換器32によってデジタルの画像データに変換される。図2(a)の画像は得られたデジタル画像を示し、ピクセル単位で輝度の大小が所定の階調数によって表現されている。注目領域10は、1ピクセルあるいは複数ピクセルの幅を単位とする水平ラインが複数含まれる大きさに設定されている。また、注目領域10は、画像上の水平方向に並ぶピクセルで構成される水平ラインHLが、画像上の垂直方向に連続して配置されることで構成されているとみなすことができる。
A/D変換器23から出力された画像データは画像認識プロセッサ33に入力される。画像認識プロセッサ33の垂直エッジ抽出部33aは、画像上で各水平ラインHLについて水平方向の輝度変化を検出する。左側から右側へと、あるいは、右側から左側へと1つの向きの水平方向に画像をサーチした場合に、画素の輝度が予め設定した正の変化率の閾値を超えて暗から明に変化するような立ち上がりの変化(第1の輝度変化)と、画素の輝度が予め設定した負の変化率の閾値を超えて明から暗に変化するような立ち下がりの変化(第2の輝度変化)との少なくともいずれか一方が含まれていると、それぞれを上記輝度変化として検出する。水平ラインが複数ピクセルの幅を有している場合には、水平ラインに含まれるいずれかのピクセルラインが上記輝度変化を含んでいれば水平位置が区別される輝度変化を全て検出対象とするなど、適宜検出ルールを決めることができる。但し、あまり多くのピクセルラインを含む水平ラインを設定すると、後述するような垂直方向への特徴点の連続性を検出するのに都合がよくないため、極力少ないピクセルライン数で水平ラインを構成したほうが好ましい。
垂直エッジ抽出部33aは、図2(b)に白四角印で示すように、この輝度変化を、立ち上がりの変化と立ち下がりの変化とを区別せずに抽出する。抽出された輝度変化が生じている輝度変化点は、画像を水平方向にサーチしたときの、画像の垂直方向(縦方向)成分を有するエッジ点、すなわちいわゆる垂直エッジが有する特徴点として認識可能である。垂直エッジの検出精度を高めるために、輝度の変化率に加えて、昼夜それぞれにおいて立ち上がり変化および立ち下がり変化の前後点が有するべき明輝度および暗輝度の絶対値の範囲を条件に含めるなどしてもよい。
次いで、輝度変化パターン分類部33bが、上記輝度変化を立ち上がりの変化と立ち下がりの変化とに分類する。図2(c)は画像を左側から右側にサーチした場合の輝度変化を示し、立ち上がり変化を白四角印で、立ち下がり変化を黒四角印で区別したものである。各白四角印および各黒四角印は水平ラインの幅に対応した大きさを有し、例えば、水平ラインが1ピクセル分の幅を有しているときに上記印は1ピクセルの大きさに設定される。横断歩道21の白線領域p1・p2・p3・p4が有する車道外側線23側のエッジp1a・p2a・p3a・p4a上で立ち上がりの変化としての輝度変化を生じている点は立ち上がりエッジ点として、白線領域p1・p2・p3・p4が有する車道区画線22側のエッジp1b・p2b・p3b・p4b上で立ち下がりの変化としての輝度変化を生じている点は立ち下がりエッジ点として、それぞれ検出されている。車道区画線22および車道外側線23のそれぞれの立ち上がりエッジ点および立ち下がりエッジ点も検出されている。また、エッジ以外の場所にもノイズによる輝度変化点35が検出され得る。
画像を右側から左側にサーチした場合には、図2(c)において立ち上がりの変化と立ち下がりの変化との位置が入れ替わる。横断歩道の白線領域p1〜p4を車線方向と直交する方向に横切る度に、理想的には、立ち上がりエッジから隣の立が下がりエッジまで続く高輝度領域が存在する。また、白線領域どうしの間の領域、白線領域p1よりも車道外側線23側の領域、および、白線領域p4よりも車道区画線22側の領域は、低輝度領域として存在する。
横断歩道候補ライン抽出部33cは、輝度変化パターン分類部33bによる分類結果から、立ち上がり変化と立が下がり変化とが交互に出現する水平ラインHLを検出すると、その水平ラインHLに輝度変化が立ち上がりの変化と立ち下がりの変化とが繰り返される分布を有するパターンが存在すると判定する。このパターンは横断歩道のエッジパターンである可能性があるパターンである。そして、当該パターンが存在すると判定された水平ラインHLについて、横断歩道候補ライン抽出部33cは、当該パターンに含まれる立ち上がりエッジ点および立ち下がりエッジ点が規定の相互配置関係を満たすか否かを判定する。
例えば、1個の立ち上がりエッジ点と1個の立ち下がりエッジ点との組合せを1ペアとして、1本の水平ラインに3ペア以上が存在することを第1の条件とする。また、ペアを構成する2つのエッジ点間の画像上での距離が3ペア以上の間で所定の範囲にある(例えば、ペア間で比較した当該距離の比が0.9〜1.1の範囲にある)ことを第2の条件とする。この場合に、横断歩道候補ライン抽出部33cは、第1の条件と第2の条件とを満たした水平ラインを抽出する。上記第2の条件として、異なるペアの立ち上がりエッジ間および立ち下がりエッジ間の画像上での距離を規定することなども可能である。上記の判定は、明暗の繰り返し分布が画像上での距離に対応する2つのエッジ点の組合せからなるペア間で比較して均一であるか否かを判定するものである。均一度の基準は上記例のように距離の比の許容範囲を定めておくことなどして設定することができる。
このようにして、横断歩道候補ライン抽出部33cは、規定の相互配置関係を満たす複数のエッジ点を含む水平ラインHLを複数抽出すると、当該水平ラインHLを横断歩道候補ライン(第1の水平ライン)としてグループ化する。エッジ点間の画像上での距離の均一度を評価した結果を用いるので、規格値に従った明暗の繰り返しパターンで構成される横断歩道21に対して、容易かつ高精度にグループ化を行うことができる。
図2(d)には、横断歩道を含む領域上を通る複数の第1の横断歩道候補ライン41と、横断歩道を含む領域上を通らないが前記規定の相互配置関係を満たすエッジ点を含むと判定された、第2の横断歩道候補ライン42および複数の第3の横断歩道候補ライン43とが示されている。複数の第1の横断歩道候補ライン41および第3の横断歩道候補ライン43は画像上で垂直方向に他の水平ラインHLと連続して並ぶ水平ラインHLである。第2の横断歩道候補ライン42および第3の横断歩道候補ライン43は、例えば車道外側線23のエッジ点およびノイズによる輝度変化点35を横断歩道21のエッジ点と区別できずにグループ化されたものである。なお、ここでは、各横断歩道候補ラインを前記規定の相互配置関係を満たすエッジ点間のみで表示して、横断歩道候補領域の水平方向の範囲が規定されるようにしている。なお、横断歩道は自車両にとって車線方向に迫っているか否かを認識できることが最も重要であるので、各横断歩道候補ラインを画像上の水平方向の全範囲でのみ処理してもよい。
水平ラインHLを横断歩道候補ラインとしてグループ化するのに、上記のようにエッジ点間の画像上での距離を評価するので、規格値に従った明暗の繰り返しパターンで構成される横断歩道に対して、容易かつ高精度にグループ化を行うことができる。
次いで、横断歩道領域抽出部33dが、横断歩道候補ライン41〜43の各ラインについて、垂直方向へのサーチを行い、エッジ点が互いに他の横断歩道候補ラインのエッジ点と画像上の垂直方向(縦方向)に所定の関係で連結されているか否かを判定する。所定の関係には、例えば、まず第1の条件として、各横断歩道候補ラインに含まれる立ち上がりエッジ点のうち、隣接する横断歩道候補ラインに含まれる立ち上がりエッジ点に対して水平方向に見て所定ピクセル数以内(例えば3ピクセル数以内)の距離で配置されているエッジ点がライン上に連続して複数の所定数以上(例えば4つ以上)存在することを含める。そして、第2の条件として、上記第1の条件を満たすエッジ点が垂直方向に所定ライン数以上(例えば2ライン以上)だけ連続することを含める。当該第1の条件と第2の条件とを満たせば、これらの立ち上がりエッジ点どうしは垂直方向に連結されているとみなす。
上記垂直方向の連結条件を満たしているか否かの判定においては、最初に横断歩道候補ライン41〜43のそれぞれについて、異なる横断歩道候補ラインとの間で、立ち上がりの変化を伴うエッジ点どうしおよび立ち下がりの変化を伴うエッジ点どうしが群をなして並んでいるか否かの2通りに判定することを行う。群をなしているか否かは、例えば、画像上のある距離の幅内で整列するとともに当該幅に直交する方向に規定間隔以下で並んでいるエッジ点の組合せが存在するか否かの判定により行う。次いで、群をなして並んでいると判定されたエッジ点については、画像の垂直方向に近い並び方向の群(第1の群)をなすか、画像の垂直方向に遠い並び方向の群(第2の群)をなすかの2通りに判定する。第1の群と第2の群とを識別するには、例えば、群の延びる方向が垂直方向に対してなす閾値角度より小さいか大きいかを判定することにより行う。そして、横断歩道候補ライン41〜43の中に、第1の群をなすと判定されたエッジ点を含む横断歩道候補ライン(第2の水平ライン)が複数の所定数以上存在する場合に、第2の水平ライン上で同じ第1の群をなすエッジ点どうしが垂直方向に連結されているとみなす。
このようにして、横断歩道候補ライン41は、隣接する他の横断歩道候補ラインのエッジ点と上記所定の関係で連結されているエッジ点を有すると判定される。隣接する他の横断歩道候補ラインを有しない第2の横断歩道候補ライン(第3の水平ライン)42は、孤立した1本の水平ラインであることから、上記例の群をなさないエッジ点に相当し、必然的に上記所定の関係で連結されているエッジ点を有しないと判定される。2本の横断歩道候補ライン(第3の水平ライン)43どうしは互いに隣接しているが、これらに含まれるエッジ点どうしが画像上で垂直方向から大きく傾斜した方向に連結されていることから、上記例の第2の群のエッジ点に相当し、上記所定の関係で連結されていないと判定される。
図2(e)に示すように、横断歩道領域抽出部33dは、連結される全ての横断歩道候補ライン41で構成される領域の垂直方向の範囲を横断歩道を含む領域の垂直方向の範囲である垂直範囲41Aとして抽出する。さらに、ここでは、連結される全ての横断歩道候補ライン41で構成される領域のうち、垂直方向の連結条件を満たした複数のエッジ点を結んでできる領域の幅を、横断歩道候補ライン41ごとに横断歩道を含む領域の水平方向の範囲である水平範囲41Bとして抽出している。水平範囲41Bの定め方は任意でよく、例えば、各横断歩道候補ラインにおいて垂直方向の連結条件を満たしたエッジ点を全て包含してもよいし、水平方向に連続して所定数以上並んでいるエッジ点のみを包含してもよい。図2(e)では、垂直範囲41Aと各横断歩道候補ライン41の水平範囲41Bとが全て抽出されるため、横断歩道を含む領域41Rが確定する。なお、横断歩道を含む領域はここでは1つであるが、複数の横断歩道が撮像される場合もあるので、抽出される横断歩道を含む領域は複数存在していてもよい。
車両の斜め左前方にある白線領域p1のエッジp1aの一部と、車両の斜め右側先方にある白線領域p4のエッジp4bとについては、含まれるエッジ点どうしが画像上で垂直方向から大きく傾斜した方向に連結されていて、前記例の第2の群のエッジ点に相当していたことから、垂直方向の連結条件を満たしていないと判定されている。
また、第2の横断歩道候補ライン42および第3の横断歩道候補ライン43は、垂直範囲41Aに無く、従って横断歩道を含む領域を通らない。第2の横断歩道候補ライン42および第3の横断歩道候補ライン43のデータには、横断歩道を含む領域内に存在しない物体領域あるいはペイント領域である単独候補領域であることを示すフラグを付与する。
横断歩道認識部33eは、単独候補領域のフラグを付与された第2の横断歩道候補ライン42および第3の横断歩道候補ライン43を横断歩道21を通る水平ラインHLの候補から除外し、垂直範囲41Aそのものを横断歩道21の垂直方向の範囲であると認識する。また、水平範囲41Bそのものを横断歩道の水平方向の範囲であると認識する。ここでは、横断歩道を含む領域41Rが確定しているため、横断歩道21の認識結果を画像のより狭い領域に絞ることができる。垂直範囲41Aのみを抽出し、垂直範囲41Aに存在する水平ラインHLの全領域を横断歩道領域であると認識してもよい。垂直方向に連結される横断歩道候補ラインの領域に基づいてどのような領域を横断歩道領域として抽出するかは、設計の都合に合わせて選択すればよい。従って、横断歩道を含む領域41Rの内側の領域を横断歩道領域と認識してもよい。
横断歩道認識部33eは、横断歩道21の認識結果に関する情報を表示制御/音声制御部36に送信する。
また、距離算出部33fは、認識した横断歩道21までの路面に沿った距離を計算する。距離算出部33fは、算出した距離に関する情報を表示制御/音声制御部36に送信する。なお、横断歩道21の認識ができれば運転者および搭乗者への警告は可能であるので、横断歩道21までの距離の算出は必ずしも行わなくてよい。
図3に、以上の横断歩道認識処理の手順を説明するフローチャートを示す。
まずステップS301において、垂直エッジ抽出部33aが撮像装置2から定期的に送信されてデジタルデータに変換された画像データの注目領域10に対して各水平ラインの画素の輝度分布を検出し、立ち上がりの変化あるいは立ち下がりの変化からなる輝度変化を伴う垂直エッジが存在するか否かを判定する。垂直エッジが存在すれば垂直エッジ抽出部33aが垂直エッジに含まれる輝度変化点を抽出し、ステップS302に進む。ステップS302においては、輝度変化パターン分類部33bが、抽出された各輝度変化点の輝度変化を立ち上がりの変化と立ち下がりの変化とに分類する。
次いで、ステップS303において、横断歩道候補ライン抽出部33cが輝度変化パターン分類部33bによる輝度変化の分類結果を用いて、輝度変化が明暗変化の繰り返しとなるエッジパターンが存在する水平ラインが注目領域10に含まれているか否かを判定する。そして、当該エッジパターンが存在すると判定された水平ラインが含まれていると、横断歩道候補ライン抽出部33cは、当該エッジパターンに含まれる立ち上がりエッジ点および立ち下がりエッジ点が規定の相互配置関係を満たすか否かを判定する。
上記エッジパターンが存在する水平ラインが含まれていない場合と、規定の相互配置関係を満たすエッジ点が存在しない場合とには、横断歩道候補ラインが含まれていないと判定してステップS301に戻り、規定の相互配置関係を満たすエッジ点が複数存在すれば、当該エッジ点を含む水平ラインを横断歩道候補ラインとしてグループ化してステップS304に進む。なお、横断歩道候補ラインが所定数以下の少ない数しか含まれていない場合に、横断歩道領域が無いものとしてステップS301に戻るようにしてもよい。
ステップS304においては、横断歩道領域抽出部33dが、横断歩道候補ラインについて、垂直方向へのサーチを行い、エッジ点が互いに他の横断歩道候補ラインのエッジ点と画像上の垂直方向に所定の関係で連結されているか否かを判定する。続くステップS305において、サーチの結果、垂直方向に連結されたエッジ点が存在していなければステップS301へ戻り、垂直方向に連結されたエッジ点が存在していればステップS306に進む。
ステップS306においては、横断歩道領域抽出部33dが、連結される横断歩道候補ラインどうしで構成される領域に含まれる領域から横断歩道領域の垂直範囲41Aおよび水平範囲41Bを抽出する。そして続くステップS307において、横断歩道領域を通らない横断歩道候補ラインが存在すれば、ステップS308で横断歩道距離認識部33eがこの候補外ラインを除外して横断歩道を認識し、ステップS309で距離算出部33fが認識した横断歩道までの距離を算出する。ステップS307において横断歩道領域を通らない横断歩道候補ラインが存在しなければ、直接ステップS309に進む。
画像認識プロセッサ33による以上のような画像認識処理によって、横断歩道とは異なる物体およびペイントを横断歩道であると誤認識することを避けることができる。横断歩道は、数メートルから数十メートル手前といった目前に迫っているときに確実に認識されることが望ましい。目前に迫っている横断歩道に対して車両はほぼ直進状態にある。従って、図2(e)を用いて説明したように、少なくとも車両正面付近にある横断歩道の白線領域の撮像画像からは、垂直方向に連結された立ち上がりエッジ点および立ち下がりエッジ点が安定して得られる。そして、目前の横断歩道以外の物体およびペイントが、横断歩道のエッジパターン条件と垂直方向の連結条件とを同時に満たすことはほとんどないため、これらの検出結果を横断歩道領域を構成する候補ラインから除外することにより、誤認識を防ぐことができる。差し迫った認識を必要としない遠方にある横断歩道も、撮像装置2によってエッジ点の垂直方向の連結条件を満たすような大きな画像、あるいは、横断歩道のエッジパターン条件を満たすような歪みの無い画像として撮像されにくいことから、横断歩道領域を構成する候補ラインから除外することができる。
また、横断歩道を認識するのに、撮像画像に対する実空間の距離を知る必要がないので撮像装置2に単眼カメラを用いることができる。これにより、横断歩道認識装置1については、横断歩道を認識するためにステレオカメラを用いて実空間の距離を知る必要のあった従来の装置よりも、大幅に構成および処理が簡略化される。
このように、本実施形態の横断歩道認識装置1によれば、単眼カメラを用いて横断歩道を高精度に認識することができる。
次に、距離算出部33fによる、認識した横断歩道までの距離を計算する手順について説明する。
図4は横断歩道21を路面上方から見た図である。距離算出部33fは、抽出された垂直範囲41Aに含まれるペアの中で、例えば、最も左側の白線領域p1が有するペアの立ち上がりエッジであるエッジp1aから、左から3番目の白線領域p3が有するペアの立ち下がりエッジであるエッジp3bまでの距離に相当する3ペア分のピクセル幅aを検出する。ピクセル幅aは、白線領域p1の幅b1、白線領域p1と白線領域p2との間の距離c1、白線領域p2の幅b2、白線領域p2と白線領域p3との間の距離c2、および、白線領域p3の幅b3の和であるが、これらの幅および距離の実寸長には規格値が存在する。
そこで、横断歩道21のその3ペア分の両端間の実寸長に対する規格上の長さ(すなわち、ピクセル幅aの部分に対応する部位の規格上求められる値)をAとし、撮像装置2の左右方向の角度分解能をPとし、図5に示すように自車両25に搭載された撮像装置2から横断歩道21までの実空間における道路面に沿った距離をLとすると、
L=A/tan(a×P) ・・・(1)
という関係が成り立つ。ここで、角度分解能Pは、撮像装置2の左右方向の画角をα[度]、撮像装置2によって得られる撮像画像の左右のピクセル数をW[pix.]とすると、「P=α/W[度/pix.]」によって表すことが可能な固定値である。つまり、距離算出部33fは、式(1)に基づいて、横断歩道21までの距離Lを算出することができる。図6に、ピクセル幅aと横断歩道までの距離L[m]との関係例を示す。横断歩道に対して数十メートル手前辺りから接近するにつれて、ピクセル幅aが大きく変化するので、当該数十メートル範囲内での距離Lの算出分解能が高いことが分かる。
L=A/tan(a×P) ・・・(1)
という関係が成り立つ。ここで、角度分解能Pは、撮像装置2の左右方向の画角をα[度]、撮像装置2によって得られる撮像画像の左右のピクセル数をW[pix.]とすると、「P=α/W[度/pix.]」によって表すことが可能な固定値である。つまり、距離算出部33fは、式(1)に基づいて、横断歩道21までの距離Lを算出することができる。図6に、ピクセル幅aと横断歩道までの距離L[m]との関係例を示す。横断歩道に対して数十メートル手前辺りから接近するにつれて、ピクセル幅aが大きく変化するので、当該数十メートル範囲内での距離Lの算出分解能が高いことが分かる。
もちろん、抽出された垂直範囲41Aに含まれるエッジであれば、どのエッジ間のピクセル幅を検出してもよく、その検出されたピクセル幅をaとした場合、ピクセル幅aの部分に対応する部位の規格値が固定値Aに相当する。
算出された距離Lに基づいて、自車両25から横断歩道21までの実空間における距離を算出することができる。距離Lそのものを自車両25から横断歩道21までの距離と決定してもよいし、後述するように、距離Lに横断歩道の実寸長のばらつきを考慮したキャリブレーションを施した値を、自車両25から横断歩道21までの距離と決定してもよい。
従って、横断歩道認識装置1は、撮像装置2および画像認識プロセッサ33の距離算出部33fを備えていることにより横断歩道21の所定部位の規格上の大きさを加味して横断歩道21までの距離Lを算出するので、横断歩道21が自車両25から遠方に存在する状況であっても、横断歩道21までの距離を撮像装置2による撮像画像から精度良く算出できる。撮像装置2に単眼カメラを用いることができる点で、横断歩道認識処理と併せてシステム構成を低コストで簡単に構成することができる。
図7は、一般道路環境下の実シーンにおける横断歩道までの距離の算出結果であって、図7(a)は本発明の実施例を示し、図7(b)は、測距点の画像上の上下方向の位置を表す縦座標とその測距点までの距離との対応関係に基づいて、画像上の横断歩道領域の最下端の縦座標から横断歩道までの距離を算出する手法からなる比較例を示している。図7から明らかなように、本発明の実施例の方が、上下方向の位置を表す縦座標を基準に距離を算出する比較例に比べて、自車両のピッチ変動や道路勾配変化などの外乱の影響を受けにくいため、横断歩道までの距離の真値に対してずれが小さく、精度良く距離を算出できることが分かる。
ところで、横断歩道の所定部位の大きさの規格値には、ある程度の許容公差が認められている。例えば、横断歩道の1つの白線領域(すなわち、ある1つのペアの立ち上がりエッジと立ち下がりエッジとに挟まれた高輝度領域)の規格値は45cm〜50cmであり、地域等によってその規格の範囲内で採用している値に差があるのが現状である。
このような差を吸収するために、横断歩道の所定部位が撮像画像上の上下方向で所定の位置にあるときの当該所定部位の撮像画像上の大きさ(例えば、左右方向の長さ)を用いて、その所定部位の大きさの規格値をキャリブレーションした値(キャリブレーション値)を算出する。このようなキャリブレーション値を次回以降の距離算出に用いることによって、その算出精度を向上させることができる。例えば、画像上で所定の位置にあるときの横断歩道の白線領域を構成するピクセル幅fを用いて、その白線領域の大きさの規格値Fについてのキャリブレーション値F1を算出し、次回以降の距離算出に用いる。
図8は、横断歩道の白線領域の大きさの規格値Fのキャリブレーション例を示したフローチャートである。図2(e)のように、抽出された垂直範囲41Aの画像上の最下端の位置がYa(撮像画像の最下位またはそれよりわずかに上側の位置の縦座標)の位置にあるときに(ステップS801)、距離算出部33fは、白線領域を構成するピクセル幅fを検出する(ステップ802)。自車両25が横断歩道21に近づくほど、規格値Fが最大値のときに検出されるピクセル幅fと規格値Fが最小値のときに検出されるピクセル幅fとの差分(ピクセル数の差)は大きくなり、また、道路勾配の影響を受けにくくなる。そこで、Yaの位置での白線領域のピクセル幅fを用いてキャリブレーションを行うことによって、そのキャリブレーションの効果を高めることができ、ひいては距離精度を高めることができる。
白線領域を構成するピクセル幅fを検出するには、具体的には、横断歩道候補ライン抽出部33cによって抽出された一つのペアの立ち上がりエッジと立ち下がりエッジとのピクセル数を計測すればよい。Yaの位置での白線領域のピクセル幅をf、撮像装置2の路面からの取り付け高さをHc、消失点のY座標をYv、撮像装置2の左右方向の角度分解能をPとし、撮像装置2の上下方向の角度分解能をQとし、白線領域の左右方向の規格値Fのキャリブレーション値をF1とすると、
F1=Hc×tan(f×P)/tan((Ya−Yv)×Q) ・・・(2)
という関係式が成り立つ。ここで、角度分解能Qは、上述の角度分解能Pと同様に考えることができる。すなわち、角度分解能Qは、撮像装置2の上下方向の画角をβ[度]、撮像装置2によって得られる撮像画像の上下方向のピクセル数をH[pix.]とすると、「Q=β/H[度/pix.]」によって表すことが可能な固定値である。つまり、距離算出部33fは、式(2)に基づいて、白線領域の規格値Fのキャリブレーション値F1を算出することができる。
という関係式が成り立つ。ここで、角度分解能Qは、上述の角度分解能Pと同様に考えることができる。すなわち、角度分解能Qは、撮像装置2の上下方向の画角をβ[度]、撮像装置2によって得られる撮像画像の上下方向のピクセル数をH[pix.]とすると、「Q=β/H[度/pix.]」によって表すことが可能な固定値である。つまり、距離算出部33fは、式(2)に基づいて、白線領域の規格値Fのキャリブレーション値F1を算出することができる。
距離算出部33fは、白線領域の大きさの規格値としてROM34に記憶されている値を、上述のように算出されたキャリブレーション値F1に更新する(ステップS803)。過去の複数のキャリブレーション値F1の履歴に基づいて平均された値に、白線領域の規格値を更新してもよい。距離算出部33fは、キャリブレーション値F1に基づいて算出された長さAを式(1)に代入することによって、横断歩道21までの距離Lを正確に算出できる。
以上、本実施形態について説明した。
なお、撮像装置2は単眼カメラに限らず、ステレオカメラなどの複眼カメラを備えていてもよい。この場合に、ECU3は各撮像画像を用いて認識処理を行ってもよい。また、撮像装置2を複数備え、ECU3がそれぞれの撮像装置2の撮像画像について横断歩道認識処理を施してもよい。
本発明は、車両に搭載される運転支援システム等に適用可能である。
1 横断歩道認識装置
2 撮像装置
3 ECU
10 注目領域
21 横断歩道
33 画像認識プロセッサ
33a 垂直エッジ抽出
33b 輝度変化パターン分類部
33c 横断歩道候補ライン抽出部
33d 横断歩道領域抽出部
33e 横断歩道認識部
33f 距離算出部
41〜43 横断歩道候補ライン
41A 垂直範囲
41B 水平範囲
41R 横断歩道を含む領域
HL 水平ライン
L 距離
2 撮像装置
3 ECU
10 注目領域
21 横断歩道
33 画像認識プロセッサ
33a 垂直エッジ抽出
33b 輝度変化パターン分類部
33c 横断歩道候補ライン抽出部
33d 横断歩道領域抽出部
33e 横断歩道認識部
33f 距離算出部
41〜43 横断歩道候補ライン
41A 垂直範囲
41B 水平範囲
41R 横断歩道を含む領域
HL 水平ライン
L 距離
Claims (9)
- 撮像装置と、
前記撮像装置によって撮像された画像から横断歩道を認識する画像認識装置であって、
前記画像の少なくとも一部の領域を構成する水平ラインのそれぞれについて、水平方向における輝度変化を検出する、輝度変化検出部と、
前記水平ラインの中に、前記輝度変化検出部によって検出された前記輝度変化が暗から明への第1の輝度変化と明から暗への第2の輝度変化とが交互に繰り返される分布を有するパターンを含む第1の水平ラインが複数存在するか否かを判定し、前記第1の水平ラインが複数存在すると判定した場合に前記第1の水平ラインをグループ化する、グループ化部と、
前記グループ化部によってグループ化された前記第1の水平ラインのそれぞれについて、異なる前記第1の水平ラインとの間で、前記第1の輝度変化を伴う前記輝度変化点どうしおよび前記第2の輝度変化を伴う前記輝度変化点どうしが群をなして並んでいるか否かの2通りに判定し、群をなして並んでいると判定された前記輝度変化点については、前記画像の垂直方向に近い並び方向の群をなすか、前記画像の垂直方向に遠い並び方向の群をなすかの2通りに判定し、前記第1の水平ラインの中に、前記画像の垂直方向に近い並び方向の群をなすと判定された前記輝度変化点を含む第2の水平ラインが複数の所定数以上存在する場合に、前記第2の水平ラインで構成される領域の前記垂直方向の範囲を横断歩道を含む領域の前記垂直方向の範囲として抽出する、横断歩道領域抽出部と、
前記第2の水平ラインで構成される領域を通らない前記第1の水平ラインである第3の水平ラインが存在する場合に前記第3の水平ラインを前記横断歩道を通る前記水平ラインの候補から除外し、前記横断歩道を含む領域の前記垂直方向の範囲に基づいて前記横断歩道の前記垂直方向の範囲を認識する、横断歩道認識部と、を備える画像認識装置と、
を備えていることを特徴とする横断歩道認識装置。 - 前記輝度変化が有する前記分布は、前記第1の輝度変化を伴う前記輝度変化点と前記第2の輝度変化を伴う前記輝度変化点との間の前記画像上での距離、前記第1の輝度変化を伴う前記輝度変化点どうしの間の前記画像上での距離、あるいは、前記第2の輝度変化を伴う前記輝度変化点どうしの間の前記画像上での距離が、前記画像上での距離に対応する2つの前記輝度変化点の組合せからなるペア間で比較して均一であると判定した分布であることを特徴とする請求項1に記載の横断歩道認識装置。
- 前記撮像装置は単眼カメラであることを特徴とする請求項1または2に記載の横断歩道認識装置。
- 前記画像認識装置は、認識した前記横断歩道について、前記横断歩道の前記画像上の注目領域における水平方向の規格上の長さをA、前記注目領域の水平方向の画像の大きさをa、前記撮像装置の角度分解能をP、前記撮像装置から前記注目領域までの道路面に沿った実空間における距離をLとして、
L=A/tan(a×P)
に基づいて、前記撮像装置を搭載した車両から前記横断歩道までの実空間における距離を算出する距離算出部を備えていることを特徴とする請求項1から3までのいずれかに記載の横断歩道認識装置。 - 前記横断歩道認識部は、前記第2の水平ラインで構成される領域のうち、前記画像の垂直方向に近い並び方向の群をなす前記輝度変化点が前記水平方向に連続して複数並んでいる第1の範囲を有する前記第2の水平ラインから前記第1の範囲を抽出し、全ての前記第1の範囲からなる領域に基づいて前記横断歩道を含む領域の前記水平方向の範囲を認識することを特徴とする請求項1から4までのいずれか1項に記載の横断歩道認識装置。
- 画像を撮像し、
前記画像の少なくとも一部の領域を構成する水平ラインのそれぞれについて、水平方向における輝度変化を検出し、
前記水平ラインの中に、検出された前記輝度変化が暗から明への第1の輝度変化と明から暗への第2の輝度変化とが交互に繰り返される分布を有するパターンを含む第1の水平ラインが複数存在するか否かを判定し、前記第1の水平ラインが複数存在すると判定した場合に前記第1の水平ラインをグループ化し、
グループ化された前記第1の水平ラインのそれぞれについて、異なる前記第1の水平ラインとの間で、前記第1の輝度変化を伴う前記輝度変化点どうしおよび前記第2の輝度変化を伴う前記輝度変化点どうしが群をなして並んでいるか否かの2通りに判定し、群をなして並んでいると判定された前記輝度変化点については、前記画像の垂直方向に近い並び方向の群をなすか、前記画像の垂直方向に遠い並び方向の群をなすかの2通りに判定し、前記第1の水平ラインの中に、前記画像の垂直方向に近い並び方向の群をなすと判定された前記輝度変化点を含む第2の水平ラインが複数の所定数以上存在する場合に、前記第2の水平ラインで構成される領域の前記垂直方向の範囲を横断歩道を含む領域の前記垂直方向の範囲として抽出し、
前記第2の水平ラインで構成される領域を通らない前記第1の水平ラインである第3の水平ラインが存在する場合に前記第3の水平ラインを前記横断歩道を通る前記水平ラインの候補から除外し、前記横断歩道を含む領域の前記垂直方向の範囲に基づいて前記横断歩道の前記垂直方向の範囲を認識することを特徴とする横断歩道認識方法。 - 前記輝度変化が有する前記分布は、前記第1の輝度変化を伴う前記輝度変化点と前記第2の輝度変化を伴う前記輝度変化点との間の前記画像上での距離、前記第1の輝度変化を伴う前記輝度変化点どうしの間の前記画像上での距離、あるいは、前記第2の輝度変化を伴う前記輝度変化点どうしの間の前記画像上での距離が、前記画像上での距離に対応する2つの前記輝度変化点の組合せからなるペア間で比較して均一であると判定した分布であることを特徴とする請求項6に記載の横断歩道認識方法。
- 認識した前記横断歩道について、前記横断歩道の前記画像上の注目領域における水平方向の規格上の長さをA、前記注目領域の水平方向の画像の大きさをa、前記撮像装置の角度分解能をP、前記撮像装置から前記注目領域までの道路面に沿った実空間における距離をLとして、
L=A/tan(a×P)
に基づいて、前記撮像装置を搭載した車両から前記横断歩道までの実空間における距離を算出することを特徴とする請求項6または7に記載の横断歩道認識方法。 - 前記第2の水平ラインで構成される領域のうち、前記画像の垂直方向に近い並び方向の群をなす前記輝度変化点が前記水平方向に連続して複数並んでいる第1の範囲を有する前記第2の水平ラインから前記第1の範囲を抽出し、全ての前記第1の範囲からなる領域に基づいて前記横断歩道の前記水平方向の範囲を認識することを特徴とする請求項6から8までのいずれか1項に記載の横断歩道認識方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012050838A JP2013186663A (ja) | 2012-03-07 | 2012-03-07 | 横断歩道認識装置および横断歩道認識方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012050838A JP2013186663A (ja) | 2012-03-07 | 2012-03-07 | 横断歩道認識装置および横断歩道認識方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013186663A true JP2013186663A (ja) | 2013-09-19 |
Family
ID=49388040
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012050838A Pending JP2013186663A (ja) | 2012-03-07 | 2012-03-07 | 横断歩道認識装置および横断歩道認識方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013186663A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104574979A (zh) * | 2014-11-28 | 2015-04-29 | 北京尚易德科技有限公司 | 机动车行经人行横道不依法让行行为的拍照系统及方法 |
JP2015227139A (ja) * | 2014-06-02 | 2015-12-17 | 株式会社日本自動車部品総合研究所 | 車載画像処理装置 |
JP2017076275A (ja) * | 2015-10-15 | 2017-04-20 | 株式会社日本自動車部品総合研究所 | 駐車区画認識装置、駐車区画認識方法 |
JP2017207973A (ja) * | 2016-05-19 | 2017-11-24 | パナソニックIpマネジメント株式会社 | 検出装置および検出方法 |
WO2018021444A1 (ja) * | 2016-07-29 | 2018-02-01 | 株式会社デンソー | 物標検出装置 |
JP2018026096A (ja) * | 2016-07-29 | 2018-02-15 | 株式会社デンソー | 物標検出装置 |
CN110705441A (zh) * | 2019-09-27 | 2020-01-17 | 四川长虹电器股份有限公司 | 人行横道线图像后处理方法及系统 |
JP2020095619A (ja) * | 2018-12-14 | 2020-06-18 | 株式会社デンソーテン | 画像処理装置および画像処理方法 |
JP2020095625A (ja) * | 2018-12-14 | 2020-06-18 | 株式会社デンソーテン | 画像処理装置および画像処理方法 |
-
2012
- 2012-03-07 JP JP2012050838A patent/JP2013186663A/ja active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015227139A (ja) * | 2014-06-02 | 2015-12-17 | 株式会社日本自動車部品総合研究所 | 車載画像処理装置 |
CN104574979A (zh) * | 2014-11-28 | 2015-04-29 | 北京尚易德科技有限公司 | 机动车行经人行横道不依法让行行为的拍照系统及方法 |
JP2017076275A (ja) * | 2015-10-15 | 2017-04-20 | 株式会社日本自動車部品総合研究所 | 駐車区画認識装置、駐車区画認識方法 |
JP2017207973A (ja) * | 2016-05-19 | 2017-11-24 | パナソニックIpマネジメント株式会社 | 検出装置および検出方法 |
US10325162B2 (en) | 2016-05-19 | 2019-06-18 | Panasonic Intellectual Property Management Co., Ltd. | Detection device and detection method |
WO2018021444A1 (ja) * | 2016-07-29 | 2018-02-01 | 株式会社デンソー | 物標検出装置 |
JP2018026096A (ja) * | 2016-07-29 | 2018-02-15 | 株式会社デンソー | 物標検出装置 |
JP2020095619A (ja) * | 2018-12-14 | 2020-06-18 | 株式会社デンソーテン | 画像処理装置および画像処理方法 |
JP2020095625A (ja) * | 2018-12-14 | 2020-06-18 | 株式会社デンソーテン | 画像処理装置および画像処理方法 |
JP7141940B2 (ja) | 2018-12-14 | 2022-09-26 | 株式会社デンソーテン | 画像処理装置および画像処理方法 |
JP7252750B2 (ja) | 2018-12-14 | 2023-04-05 | 株式会社デンソーテン | 画像処理装置および画像処理方法 |
CN110705441A (zh) * | 2019-09-27 | 2020-01-17 | 四川长虹电器股份有限公司 | 人行横道线图像后处理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013186663A (ja) | 横断歩道認識装置および横断歩道認識方法 | |
JP2013186664A (ja) | 横断歩道認識装置および横断歩道認識方法 | |
KR101500082B1 (ko) | 주행차로 인식 장치 및 방법 | |
RU2636120C2 (ru) | Устройство обнаружения трехмерных объектов | |
US9697421B2 (en) | Stereoscopic camera apparatus | |
WO2012115009A1 (ja) | 周期的静止物検出装置及び周期的静止物検出方法 | |
JP6457278B2 (ja) | 物体検出装置及び物体検出方法 | |
US20110199462A1 (en) | Parallax calculation method and parallax calculation device | |
WO2017038134A1 (ja) | ランドマーク認識装置及び認識方法 | |
JP6459226B2 (ja) | 車載画像処理装置 | |
CN104952254A (zh) | 车辆识别方法、装置和车辆 | |
JP5561064B2 (ja) | 車両用対象物認識装置 | |
JP2012159469A (ja) | 車両用画像認識装置 | |
JP2011154480A (ja) | 車線検出プログラム及び車線検出装置 | |
JP2014106704A (ja) | 車載画像処理装置 | |
JP5548212B2 (ja) | 横断歩道標示検出方法および横断歩道標示検出装置 | |
CN105809669A (zh) | 一种用于校准图像检测设备的方法和装置 | |
US10133940B2 (en) | Road surface undulation estimation device and road surface undulation estimation method | |
JP4813304B2 (ja) | 車両周辺監視装置 | |
JP5974923B2 (ja) | 道路端検出システム、方法およびプログラム | |
JP6431299B2 (ja) | 車両周辺監視装置 | |
JP2013161190A (ja) | 物体認識装置 | |
JP5936527B2 (ja) | 画像処理装置および画像処理方法 | |
JP2010107435A (ja) | 地物位置認識装置 | |
JP2012159470A (ja) | 車両用画像認識装置 |