JP2014160408A

JP2014160408A - 道路標識認識装置

Info

Publication number: JP2014160408A
Application number: JP2013031266A
Authority: JP
Inventors: Taiji Morishita; 泰児森下
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2013-02-20
Filing date: 2013-02-20
Publication date: 2014-09-04
Anticipated expiration: 2033-02-20
Also published as: WO2014129266A1; JP6094252B2; DE112014000910T5; US20160012307A1

Abstract

【課題】撮像画像中の道路標識を認識する道路標識認識装置において、道路標識を認識する際の処理負荷を軽減できるようにする。
【解決手段】道路標識認識システムにおいては、撮像画像中において予め設定された基準輝度よりも輝度が高い領域を示す高輝度領域を抽出し（Ｓ１２０、Ｓ２２０）、撮像画像中において車両に由来する光源を表す車両光源を抽出する（Ｓ１３０、Ｓ２３０）。そして、高輝度領域のうちの車両光源と一致する領域を除外し（Ｓ１４０、Ｓ２４０）、高輝度領域のうちの車両光源と一致する領域を除外した領域を、道路標識を認識するための対象領域とし、該対象領域において道路標識を認識する（Ｓ１５０、Ｓ２５０）。この結果、道路標識を認識する処理を実施する範囲を狭くすることができ、道路標識を認識する際の処理負荷を軽減することができる。
【選択図】図２

Description

本発明は、撮像画像中の道路標識を認識する道路標識認識装置に関する。

上記の道路標識認識装置として、近赤外線を照射し、道路標識でないことが明らかな黒い領域以外の領域において道路標識を検索し、検索された道路標識を認識するものが知られている（例えば、特許文献１参照）。

特願２００６−１１５６２４号公報

しかしながら、上記道路標識認識装置では、道路標識を認識する処理を実施する範囲が広く、処理負荷が重いという問題点があった。そこで、このような問題点を鑑み、撮像画像中の道路標識を認識する道路標識認識装置において、道路標識を認識する際の処理負荷を軽減できるようにすることを本発明の目的とする。

かかる目的を達成するために成された本発明の道路標識認識装置において、高輝度領域抽出手段は、撮像画像中において予め設定された基準輝度よりも輝度が高い領域を示す高輝度領域を抽出し、車両光源抽出手段は、撮像画像中において車両に由来する光源を表す車両光源を抽出する。そして、車両光源除外手段は、高輝度領域のうちの車両光源と一致する領域を除外し、道路標識認識手段は、高輝度領域のうちの車両光源と一致する領域を除外した領域を、道路標識を認識するための対象領域とし、該対象領域において道路標識を認識する。

このような道路標識認識装置によれば、道路標識を認識する処理を実施する範囲を狭くすることができるので、道路標識を認識する際の処理負荷を軽減することができる。
なお、上記目的を達成するためには、コンピュータを、道路標識認識装置を構成する各手段として実現するための道路標識認識プログラムとしてもよい。また、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、発明の目的を達成できる範囲内において一部構成を除外してもよい。

道路標識認識システム１の概略構成を示すブロック図である。演算部１０のＣＰＵ１１が実行する道路標識認識処理を示すフローチャートである。自発光タイプの道路標識を撮像するための撮像パラメータによる撮像画像の一例を示す模式図（ａ）および自発光タイプでない道路標識を撮像するための撮像パラメータによる撮像画像の一例を示す模式図（ｂ）である。道路標識の抽出領域の一例を示す説明図である。

以下に本発明にかかる実施の形態を図面と共に説明する。
［本実施形態の構成］
本発明が適用された道路標識認識システム１は、例えば乗用車等の道路を走行する車両（以下、自車両ともいう。）に搭載され、昼間のような明るい状態の道路環境だけでなく、夜間やトンネル内のような暗い状態の道路環境においても、道路標識を認識する機能を有する。詳細には、図１に示すように、道路標識認識システム１は、演算部１０と、カメラ２０と、表示部３０とを備えている。

カメラ２０は、自車両の進行方向（通常は自車両の前方）を撮像範囲とし、所定の周期（例えば５０ｍｓ毎）で撮像を行い、撮像画像を演算部１０に送る。また、カメラ２０は、カメラ２０による撮像時の設定を表す撮像パラメータを演算部１０からの指令によって設定する機能を有する。

ただし、カメラ２０は演算部１０によって撮像パラメータを設定されないときには、自身において周囲の明るさ（カメラ２０に入力される光量等）によって撮像パラメータを設定し、この撮像パラメータを用いて撮像を行う。なお、撮像パラメータとしては、例えば、カメラ２０が備える撮像素子にて光を感知したとき発生する信号を増幅する際の増幅率を表すゲインや、撮像素子に光を当てる時間を表すシャッタスピード等が挙げられる。

演算部１０は、ＣＰＵ１１と、ＲＯＭ、ＲＡＭ等のメモリ１２とを備えた周知の電子制御装置として構成されている。ＣＰＵ１１は、メモリ１２に格納されたプログラム（道路標識認識プログラムを含む）に従って、後述する道路標識認識処理等の各種処理を実施する。

また、この演算部１０は、データベース（ＤＢ）１３も備えている。データベース１３には、道路標識の画像や、道路標識の画像を色や輝度、色のバランス等によって数値化したときの値が、道路標識毎に標識データとして記録されている。データベース１３内の標識データは、道路標識をパターンマッチングにて特定するために利用される。

また、データベース１３にはカメラ２０の撮像パラメータを設定するためのマップも記録されている。このマップは後述する道路標識認識処理にて利用される。
表示部３０は、演算部１０にて生成された画像を表示させる周知のディスプレイとして構成されている。表示部３０は、自車両の運転者が運転中に視認可能な位置に配置されている。

［本実施形態の処理］
演算部１０は、撮像画像中から道路標識を認識する処理である道路標識認識処理を実施する。道路標識認識処理は、例えば車両の電源が投入されると開始され、所定の周期（例えば１００ｍｓ毎）に実施される処理である。

道路標識認識処理は、図２に示すように、まず、カメラ２０による撮像画像を入力する（Ｓ１１０）。この処理では、カメラ２０が自ら設定した撮像パラメータに基づく撮像画像を入力する。

続いて、光源の抽出を行う（Ｓ１２０）。この処理では、撮像画像を構成する画素毎に、予め設定された基準輝度と比較し、基準輝度以上の輝度値を有する画素の集合を光源（高輝度領域）として抽出する。

そして、撮像画像中において車両に由来する光源を表す車両光源を抽出する（Ｓ１３０）。本処理では、Ｓ１１０の処理にて抽出した光源の中から車両光源を抽出する。なお、車両光源を抽出する際には、Ｓ１１０の処理にて抽出した光源の中から車両光源を抽出する必要はなく、任意の処理において車両光源を抽出することができる。

また、車両光源を抽出する処理としては任意の処理を採用できる。例えば、光源のペア、光源の移動方向、光源の座標等に基づいて車両光源を特定する周知の処理を利用することができる。

続いて、光源から車両光源を除外する（Ｓ１４０）。この処理では、抽出された光源のうち、車両光源であると特定されたもの（光源と車両光源との座標が一致するもの）を除外する。

車両光源は比較的遠方（例えば５００〜１０００ｍ）で検出できることが一般的であるため、道路標識を認識しようとする距離（例えば、１００〜２００ｍを想定）では車両光源が正確に認識されている可能性が高い。このため、この処理においては車両光源が精度よく除去され、認識可能な距離にある道路標識が誤って除去される確率は低い。

続いて、道路標識の認識を行う（Ｓ１５０）。この処理では、光源から車両光源を除外し、残った各領域（各対象領域）において、パターンマッチングを行うことで道路標識を認識する。パターンマッチングの際には、対象領域毎に、対象領域の画像パターン（輝度や色の配置等）をデータベース１３中の各標識データと照合し、ある程度の整合性が得られ、かつ最も整合性が高い標識が、道路標識として認識される。

Ｓ１５０までの処理では、カメラ２０自身が設定した撮像パラメータによる撮像画像によって、撮像画像中において比較的明るい道路標識が認識できると考えられる。例えば、図３（a）に示すような撮像画像が得られ、自発光タイプの道路標識４１が認識できる。

しかしながら、この撮像画像だけからは発光しない道路標識４２を認識することが難しい。発光しない道路標識４２を認識するには輝度が不足しているからである。そこで、本実施形態では、発光しない道路標識４２も良好に認識できるように、撮像パラメータを変更する（Ｓ１６０）。

以下に述べるように撮像パラメータを変更して得られる撮像画像は、例えば図３（ｂ）に示すようになる。すなわち、自発光タイプの道路標識４１はハレーションによって認識できなくなっているが、発光しない道路標識４２が良好に認識できるようになっていることが分かる。

撮像パラメータを設定する際には、図４に示すように、既に得られている撮像画像中の道路標識が存在する可能性が高い領域を表す標識存在領域５１，５２（図４の破線で囲んだ領域）の輝度に基づいて設定する。ただし、撮像パラメータは、標識存在領域５１，５２のうちの、車両光源を除く領域の輝度に従って設定される。このようにするのは、車両光源の明るさの影響を受けないようにするためである。

撮像パラメータは、例えば、標識存在領域５１，５２（車両光源の領域を除く）の平均輝度が決まると、撮像パラメータ（ゲインやシャッタ時間）が一義的に求められるマップ（データベース１３に記録されている）を利用して設定される。このマップでは、撮像画像において所定の平均輝度と解像度とが得られるように、標識存在領域（車両光源の領域を除く）の平均輝度が低くなるにつれて、ゲインやシャッタ時間が大きくなるよう設定されている。

ここで、標識存在領域は、走行領域の内外を区分する境界線（白線等）を認識する機能を備えている場合には、その境界線の外側（走行領域外）に設定してもよい。
続いて、演算部１０によって設定された撮像パラメータを利用してカメラ２０にて撮像された撮像画像を入力する（Ｓ２１０）。そして、この撮像画像に対して、前述のＳ１２０〜Ｓ１５０の処理と同様の処理を実施する（Ｓ２２０〜Ｓ２５０）。

続いて、Ｓ１５０の処理およびＳ２５０の処理において認識できた道路標識と同様の標識を、表示部３０に表示させる（Ｓ３１０）。この際、表示させる画像は、データベース１３に記録された道路標識の画像や、認識した道路標識に対応して記録されている別の画像とすることができる。

このような処理が終了すると、道路標識認識処理を終了する。
［本実施形態による効果］
以上のように詳述した道路標識認識システム１において演算部１０は、撮像画像中において予め設定された基準輝度よりも輝度が高い領域を示す高輝度領域を抽出し、撮像画像中において車両に由来する光源を表す車両光源を抽出する。そして、高輝度領域のうちの車両光源と一致する領域を除外し）、高輝度領域のうちの車両光源と一致する領域を除外した領域を、道路標識を認識するための対象領域とし、該対象領域において道路標識を認識する。

このような道路標識認識システム１によれば、道路標識を認識する処理を実施する範囲を狭くすることができるので、道路標識を認識する際の処理負荷を軽減することができる。また、車両光源は道路標識よりも遠くで検出することができるため、道路標識を認識できる距離よりも遠くから車両光源を検出しておけば、車両光源に関する領域を早期に除外しておくことができる。

また、上記道路標識認識システム１において演算部１０は、撮像画像中において道路標識が存在する可能性が高い領域を表す標識存在領域の輝度に基づいて、カメラ２０が撮像を行う際の設定を表す撮像パラメータ（カメラ２０のシャッタスピードやゲイン等）を設定する。そして、撮像パラメータで撮像された撮像画像を取得し、撮像パラメータで撮像された撮像画像から道路標識を認識する。

このような道路標識認識システム１によれば、対象領域を撮像するのに適した撮像パラメータで再度撮像を行い、この撮像画像を利用して道路標識を認識するので、道路標識を認識する際の精度を向上させることができる。また、撮像パラメータを適切に設定するので、例えば赤外線を照射する構成等の補助装置を極力不要とすることができる。

さらに、上記道路標識認識システム１において演算部１０は、標識存在領域のうちの車両光源と一致する領域を除外した領域の輝度に基づいて、撮像パラメータを設定する。
このような道路標識認識システム１によれば、車両光源の輝度の影響を受けることなく撮像パラメータを設定することができる。

また、上記道路標識認識システム１において演算部１０は、認識できた道路標識に対応する予め設定された報知を行う。
このような道路標識認識システム１によれば、認識した道路標識に対応する報知を行うので、道路標識の見落としを抑制することができる。

さらに、上記道路標識認識システム１において演算部１０は、認識できた道路標識を意味する画像を表示部３０に表示させる。
このような道路標識認識システム１によれば、道路標識を意味する画像（道路標識そのものや道路標識の意味を文字で示した画像等）を表示させるので、肉眼では道路標識を認識しにくい場合であっても良好に道路標識を報知することができる。

［その他の実施形態］
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、上記の複数の実施形態を適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。

例えば、上記実施形態においては、演算部１０が設定した撮像パラメータによる撮像画像に対してＳ１２０〜Ｓ１４０の処理と同様の処理をＳ２２０〜Ｓ２４０の処理で実施したが、Ｓ２２０〜Ｓ２４０の処理の少なくとも何れかは省略してもよい。すなわち、撮像パラメータを変更する前に得られた撮像画像（Ｓ１１０の処理で取得した撮像画像）と光源の位置や車両光源の位置は概ね同様であるとも言えるため、これらの位置の情報を援用し（つまり、光源の座標および車両光源の座標の少なくとも何れかを取得し）、これらの位置の情報を利用して道路標識の認識を行ってもよい。

また、上記処理において道路標識を認識する際には、Ｓ１５０の処理またはＳ２５０の処理だけを実施してもよい。さらに、上記実施形態では、認識した道路標識を表示部３０に表示するよう構成したが、音声や音等による報知を行ってもよい。

［本実施形態の構成と本発明の構成との関係］
上記実施形態における道路標識認識システム１は、本発明でいう道路標識認識装置に相当し、実施形態におけるカメラ２０は本発明でいう撮像部に相当する。また、演算部１０が実施する処理のうちの、Ｓ１２０，Ｓ２２０の処理は本発明でいう高輝度領域抽出手段に相当し、Ｓ１３０，Ｓ２３０の処理は本発明でいう車両光源抽出手段に相当する。

さらに、演算部１０が実施する処理のうちの、Ｓ１４０，Ｓ２４０の処理は本発明でいう車両光源除外手段に相当し、Ｓ１５０，Ｓ２５０の処理は本発明でいう道路標識認識手段に相当する。また、Ｓ１６０の処理は本発明でいう撮像パラメータ設定手段に相当し、Ｓ２１０の処理は本発明でいうパラメータ画像取得手段に相当し、Ｓ３１０の処理は本発明でいう報知手段に相当する。

１…道路標識認識システム、１０…演算部、１１…ＣＰＵ、１２…メモリ、１３…データベース、２０…カメラ、３０…表示部。

Claims

車両に搭載され、撮像画像中の道路標識を認識する道路標識認識装置（１）であって、
撮像画像中において予め設定された基準輝度よりも輝度が高い領域を示す高輝度領域を抽出する高輝度領域抽出手段（Ｓ１２０、Ｓ２２０）と、
撮像画像中において車両に由来する光源を表す車両光源を抽出する車両光源抽出手段（Ｓ１３０、Ｓ２３０）と、
前記高輝度領域のうちの前記車両光源と一致する領域を除外する車両光源除外手段（Ｓ１４０、Ｓ２４０）と、
前記高輝度領域のうちの前記車両光源と一致する領域を除外した領域を、道路標識を認識するための対象領域とし、該対象領域において道路標識を認識する道路標識認識手段（Ｓ１５０、Ｓ２５０）と、
を備えたことを特徴とする道路標識認識装置。
請求項１に記載の道路標識認識装置において、
前記撮像画像中において前記道路標識が存在する可能性が高い領域を表す標識存在領域の輝度に基づいて、撮像部（２０）が撮像を行う際の設定を表す撮像パラメータを設定する撮像パラメータ設定手段（Ｓ１６０）と、
前記撮像パラメータで撮像された撮像画像を取得するパラメータ画像取得手段（Ｓ２１０）と、
を備え、
前記道路標識認識手段は、前記撮像パラメータで撮像された撮像画像から道路標識を認識すること
を特徴とする道路標識認識装置。
請求項２に記載の道路標識認識装置において、
前記撮像パラメータ設定手段は、前記標識存在領域のうちの前記車両光源と一致する領域を除外した領域の輝度に基づいて、前記撮像パラメータを設定すること
を特徴とする道路標識認識装置。
請求項１〜請求項３の何れか１項に記載の道路標識認識装置において、
認識できた道路標識に対応する予め設定された報知を行う報知手段（Ｓ３１０）、
を備えたことを特徴とする道路標識認識装置。
請求項４に記載の道路標識認識装置において、
前記報知手段は、認識できた道路標識を意味する画像を表示部（３０）に表示させること
を特徴とする道路標識認識装置。