(実施の形態1)
以下、本発明を実施の形態を示す図面に基づいて説明する。図1は実施の形態1の車色判定装置100の構成の一例を示すブロック図である。車色判定装置100には、撮像装置200を接続してある。なお、撮像装置200は、車色判定装置100に内蔵する構成であってもよい。撮像装置200は、道路を走行する車両を撮像し、撮像して得られたカラー画像データ(撮像画像)を車色判定装置100へ出力する。
車色判定装置100は、装置内の各部を制御する制御部10、インタフェース部11、ナンバープレート検出部12、ナンバープレート輝度値算出部13、ナンバープレート色判定部14、車体色判定領域特定部15、色見本テーブル選択部16、画素数計数部17、車体色判定部18、エッジ画素抽出部19、グラデーション領域抽出部20、記憶部21などを備える。
インタフェース部11は、撮像装置200で撮像して得られた画像データ(撮像画像)を取得し、取得した画像データをフレーム単位で撮像時刻に対応付けて記憶部21に記憶する。
ナンバープレート検出部12は、記憶部21から撮像画像を取り出し、取り出した撮像画像に基づいて、車両(車両の一部を含む)を検出する。車両の検出処理としては、例えば、車両が存在しない場合の撮像画像と車両が存在する場合の撮像画像との差に基づいて車両を検出することができる。
ナンバープレート検出部12は、検出手段としての機能を有し、検出された車両の画像に基づいて、矩形状のナンバープレート部の切り出し処理を行うことによりナンバープレート領域を検出する。ナンバープレート領域は、矩形状の四隅の撮像画像上での座標で特定することができる。
ナンバープレート輝度値算出部13は、輝度値算出手段としての機能を有し、ナンバープレート検出部12で検出したナンバープレート領域の特定部位の輝度値を算出する。特定部位は、輝度に応じて、色見本テーブルを選択するために用いる部位である。
図2はナンバープレートの一例を示す模式図である。特定部位は、ナンバープレートの支局名、分類番号、車種記号、一連番号などの文字部分を除く背景部分(明部とも称する)でもよく、文字部分(暗部とも称する)でもよい。ナンバープレートの背景部分及び文字部分の色は定められており、例えば、図2に示すように、車種が普通自動車である場合、背景部分(明部)が白であり文字部分(暗部)は緑である。なお、背景部分(明部)が緑であり文字部分(暗部)が白である場合は、商用の普通自動車である。また、車種が軽自動車である場合、背景部分(明部)が黄であり、文字部分(暗部)は黒である。なお、背景部分(明部)が黒であり、文字部分(暗部)が黄である場合は、商用の軽自動車である。また、特定部位の輝度は、例えば、背景部分(明部)の輝度の平均値とすることができる。
ナンバープレートの背景部分(明部)を特定部位とする場合には、ナンバープレート領域の輝度の平均値を求め、当該平均値よりも輝度が大きい画素で構成される領域を特定部位として求めることができる。
すなわち、ナンバープレート検出部12は、検出したナンバープレート領域の各画素の輝度値が輝度閾値より大きい明部領域を特定部位として抽出する。ナンバー(車番)などの文字部分を除く背景部分の色は定められており、例えば、白(普通自動車など)、あるいは黄(軽自動車)であり、輝度値は文字部分に比べて大きい(高い)ので、所定の輝度閾値より輝度が大きい明部領域を特定部位として抽出することができる。特定部位の色が予め定められているので、特定部位の輝度(例えば、平均値)を求めることにより、車両の色が天候、時間帯、日向または日陰などの周囲の環境等の日照条件(照明条件)の違いによりどの程度影響を受けたか(明るくなったか、あるいは暗くなったか等)を推定することができる。
また、ナンバープレートの文字部分(暗部)を特定部位とする場合には、ナンバープレート領域の輝度の平均値を求め、当該平均値よりも輝度が小さい画素で構成される領域を特定部位として求めることができる。
すなわち、ナンバープレート検出部12は、抽出した明部領域の輝度値が所定の上限値以上である場合、ナンバープレート領域の各画素の輝度値が輝度閾値より小さい暗部領域を特定部位として抽出する。例えば、輝度値を0〜255で表す場合、所定の上限値とは、255、あるいは250〜254程度の値とすることができる。暗部領域は、例えば、ナンバープレートの文字部分であり、明部領域が白の場合には緑であり、明部領域が黄の場合には黒である。明部領域の輝度値が上限値以上となる場合には、撮像画像にサチレーション(飽和)が発生していると判断できるため、明部領域に代えて暗部領域を特定部位とすることにより、サチレーションが生じた場合でも、車両の色が天候、時間帯、日向または日陰などの周囲の環境等の日照条件(照明条件)の違いによりどの程度影響を受けたか(明るくなったか、あるいは暗くなったか等)を推定することができる。
なお、最初に暗部領域を抽出しておき、抽出した暗部領域の輝度値が所定の下限値未満である場合、ナンバープレート領域の各画素の輝度値が所定の輝度閾値より大きい明部領域を特定部位として抽出することもできる。
なお、特定部位としては、暗部領域よりも明部領域を用いる方が好ましい。その理由は、一般的に画像の輝度値に含まれるノイズ成分は、その輝度値に関わらず一定の分散をもつ正規分布に従うので、SN比は、明部は大きく、暗部は小さい。したがって、信頼性は明部の方が暗部よりも高いからである。また、暗部及び明部それぞれの輝度値を平均値として算出するので、面積の広い(すなわち、画素数が多い)方が、統計的に信頼性が高くなる。そして、一般的に道路を走行する車両の中で、明部の面積が広い自家用車の方が、暗部の面積が広い商用車よりも多いため、明部を採用した方が全体として信頼性が向上するからである。
ナンバープレート色判定部14は、ナンバープレート領域の画素の色成分(例えば、RGB値)から画素の色を判定する。例えば、ナンバープレートの背景部分を特定部位とする場合には、ナンバープレートの背景部分の画素の色成分から、当該画素が白、黄、緑、黒のいずれの色であるかを求めることができる。また、ナンバープレートの文字部分を特定部位とする場合には、ナンバープレートの文字部分の画素の色成分から、当該画素が白、黄、緑、黒のいずれの色であるかを求めることができる。
車体色判定領域特定部15は、判定領域を特定する特定手段としての機能を有する。車体色判定領域特定部15は、ナンバープレート検出部12で検出したナンバープレート領域の撮像画像上の位置に基づいて車両の色を判定するための判定領域(車体色判定領域)を特定する。
図3は車両を前方から撮像した場合の車体色判定領域の一例を示す模式図であり、図4は車両を後方から撮像した場合の車体色判定領域の一例を示す模式図である。図3に示すように、車両を前方から撮像する場合には、検出したナンバープレート領域(例えば、長方形状の領域)の上側の縁辺中央から道路の方向に沿って所定寸法の平行四辺形状の領域を判定領域とすることができる。車頭の場合、当該判定領域は、例えば、車両のボンネットに相当する領域である。なお、図3の例では、ナンバープレート領域の上側縁辺と判定領域の下側縁辺とが同一線上になるように判定領域を特定しているが、図3の例に限定されるものではなく、ナンバープレート領域から適長離隔するような判定領域を特定してもよい。
また、図4に示すように、車両を後方から撮像する場合には、検出したナンバープレート領域(例えば、長方形状の領域)を囲み、ナンバープレート領域より大きな矩形状の領域のうちナンバープレート領域を除く領域を判定領域とすることができる。車尾の場合には、当該判定領域は、例えば、リアウインドなどを除いたナンバープレート周辺の領域である。
記憶部21には、複数の輝度値それぞれに対応させて画素の複数の色成分及び当該画素の色を関連付けた色見本テーブルを複数記憶しておく。
図5は実施の形態1の色見本テーブルの構成の一例を示す説明図である。図5に示すように、色見本テーブルは、複数の輝度値(輝度)Y1、Y2、…YMに対応させて複数記憶してある。複数の輝度値は、日照条件(照明条件)の違いにより、撮像画像が全体として暗い場合、あるいは全体として明るい場合、あるいは両者の中間などのそれぞれの明るさに応じた輝度値である。複数の輝度値の数Mは、適宜設定することができるが、例えば、明暗の程度に応じて8通りの輝度値を設定することができる。
それぞれの色見本テーブルは、画素の複数の色成分及び当該画素の色を関連付けたテーブルである。複数の色成分とは、例えば、R(赤)、G(緑)、B(青)値であるが、RGB値に限定されるものではなく、別の表色系に変換した値、例えば、HIS値、YCbCr値、L*a*b*値(エルスター、エースター、ビースター)などを用いることもできる。
また、画素の色は、車両の色を判定する際の判定色であり、車体色の判定の際に分類したい色であり、色数をNとしている。判定色は、例えば、白、シルバー、灰、赤、紫、黄、青、緑、黒などである。なお、判定色はこれに限定されるものではない。また、判定色には、ナンバープレートの背景部分(白、黄)または文字部分(緑、黒)の色も含めることができる。
図6は色見本テーブルの色成分(RGB値)と車体色との関連を示す説明図である。図6に示すように、色成分をRGBとした場合に、RGBそれぞれが、例えば、0から255までの256通りの値をとり得るときには、全ての値の組み合わせに対応させて画素の色を定めておくことができる。すなわち、色見本テーブルは、256の3乗通りのRGBの組み合わせそれぞれに対して、N色の判定色のいずれか1つを割り当てたものである。なお、図5に示すように、複数の輝度値それぞれに対応付けた色見本テーブルの色成分の値(例えば、RGBそれぞれの256通りの値)は、輝度値に応じて異なる値となる。
色見本テーブル選択部16は、色見本テーブルを選択する選択手段としての機能を有し、ナンバープレート輝度値算出部13で算出した輝度値に対応する色見本テーブルを選択する。例えば、ナンバープレートの背景部分が白である場合に、当該白の部分の輝度の平均値に対応する(輝度値が一致する又は最も近い)色見本テーブルを選択する。ナンバープレートの色は、白のように予め定められているので、輝度値(輝度の平均値)を算出することにより、車体色が日照条件(照明条件)等によりどの程度明るく又は暗くなっているかの影響を推定することができ、推定した明るさ(輝度の平均値)に応じた色見本を選択することができる。
なお、ナンバープレートの背景部分又は文字部分の画素の色が白、黄、緑、黒のいずれの色であるかに応じて輝度値(平均輝度、明るさ)は異なるので、ナンバープレートの背景部分又は文字部分の画素の色と、当該色の平均輝度とに基づいて、複数の輝度値Y1、…、YM(明るさ)の中から一の輝度値(明るさ)を選定することができる。以下、輝度値(明るさ)の選定方法について説明する。
図7は色見本テーブルを選択するための輝度選定テーブルの一例を示す説明図である。図7に示すように、輝度選定テーブルは、ナンバープレートの明部及び暗部に分けて、明部の色が白及び黄の場合の平均輝度値、並びに暗部の色が緑及び黒の場合の平均輝度値に対応付けて、色見本テーブルを選択するための輝度(明るさ)Y1〜Y8を定める。輝度選定テーブルは、環境の明るさが変化した場合のナンバープレートの輝度情報を保持するためのものである。なお、商用の普通自動車又は軽自動車の場合も明部と暗部とが逆転する点が図7の例と相違するだけであるので、同様にして輝度を選定できる。また、図7中の数値は一例であって、これらの値に限定されるものではない。
図7の例では、例えば、ナンバープレートの白、黄、緑、黒の平均輝度値が、それぞれ80、60、20、10である場合、輝度Y1の色テーブルが選択される。また、ナンバープレートの白、黄、緑、黒の平均輝度値が、それぞれ100、80、30、20である場合、輝度Y2の色テーブルが選択される。以下同様である。選定された輝度値(Y1〜Y8)に応じて選択される色テーブルは、図5に例示するとおりである。なお、図7において、平均輝度値として数字に代えて横線を付した箇所は、平均輝度値が、例えば、250より大きく飽和している状態を表す。
そして、図7の例1のように、特定部位を明部とした場合に、ナンバープレートの白(明部)の平均輝度値が100であり、緑(暗部)の平均輝度値が60であるときは、ナンバープレートの白(明部)の平均輝度値100に対応する輝度Y2が選定される。
また、図7の例2のように、特定部位を明部とした場合に、ナンバープレートの白(明部)の平均輝度値が、例えば、255であり、飽和しているか否かの判定値である250より大きいために飽和していると判定され、緑(暗部)の平均輝度値が100であるときは、明部に代えて暗部を特定部位とするので、ナンバープレートの白(明部)に代えて緑(暗部)の平均輝度値100に対応する輝度Y6が選定される。
車体色判定部18は、車両の色を判定する判定手段としての機能を有し、車体色判定領域特定部15で特定した判定領域(車体色判定領域)の各画素の色成分と選択した色見本テーブルの色成分とに基づいて車両の色を判定する。
例えば、判定領域の任意の画素の色成分(例えば、RGB値)と一致する又は近似する色成分に対応する色を当該画素の色と判定し、判定領域内のすべての画素について色を判定する。そして、同色の画素の数が所定の閾値以上である場合、当該画素の色を車両の色として判定する。上述のように、予め色が定まっているナンバープレートの特定部位(例えば、背景部分、明部など)の輝度値に応じて色見本テーブルを選択することにより、日照条件(照明条件)等による影響を予め加味した色見本テーブルを用いることができるので、車両の撮像時点の天候、時間帯、日向または日陰などの周囲の環境等の日照条件(照明条件)の違いによる影響を受けることなく、精度良く車両の色を判定することができる。
より具体的には、計数手段としての画素数計数部17は、判定領域(車体色判定領域)の各画素の色成分と色見本テーブルの色成分とが一致する画素の数を色毎に計数する。車体色判定部18は、画素数計数部17で計数した画素の数が閾値以上である場合、当該画素の色を車両の色と判定する。色成分をRGBとした場合に、RGBそれぞれが、例えば、256通りの値をとり得るときには、全ての値の組み合わせに対応させて画素の色を定めておくことができる。色成分が一致する画素の色を判定し、判定した色が同じ色の画素の数が閾値以上である場合、当該画素の色を車両の色と判定することにより、色見本テーブルの色成分を参照するだけで車両の色を判定することができるので判定処理を簡略化することができる。
エッジ画素抽出部19は、画素抽出手段としての機能を有し、判定領域の各画素の画素値に基づいてエッジ画素を抽出する。エッジ画素の抽出は、例えば、sobelフィルタなどの既存の画像フィルタを用いることができる。
車体色判定部18は、判定領域からエッジ画素を除外(無視)して車両の色を判定する。車両のボンネット等はテクスチャがほとんど無いのに対し、ライト、エンブレム又はフロントグリルなどの部分はテクスチャがある。また、ウインドなどのガラス部分も光の透過又は反射によりテクスチャがある。このようなテクスチャがある領域は車体の色を正しく表していない。エッジ抽出を行ってエッジ強度が強い画素(テクスチャありの部分)を判定領域から除去する(無視する)ことにより、車両の色を誤って判定することを防止することができる。なお、エッジ画素抽出部19は必須の構成ではなく、環境状況等によっては具備しなくてもよい。
グラデーション領域抽出部20は、領域抽出手段としての機能を有し、判定領域の各画素の輝度値に基づいて輝度値の変化が一様なグラデーション領域を抽出する。
図8はグラデーション領域の抽出方法の一例を示す説明図である。図8Aは、特定された車体色判定領域(判定領域)の一例を示す。図8Bに示すように、判定領域内の所定の方向、図8Bの例では、撮像画像の縦方向(Y軸方向)に沿って、判定領域の縦方向の長さ分の線状のグラデーション判定領域を抽出する。次に、図8Cに示すように、グラデーション判定領域を所定間隔dで小区分に分け、所定間隔d毎の輝度値をサンプリングする。図8Cの例では、輝度値I0、I1、I2、I3、I4、I5、I6をサンプリングした様子を示す。
そして、サンプリングした輝度値のうち、一定に変化する輝度値がある場合、具体的には、例えば、図8Dに示すように、(I2−I0)、(I3−I1)、(I4−I2)が略等しく、かつ(I4−I0)の絶対値が所定のグラデーション閾値より大きい場合、すなわち、適宜の間隔(図8では、2d)での輝度値の差分(例えば、I2−I0)が略一定であって、輝度値(図8では、I4−I0)の変化量の絶対値がグラデーション閾値より大きい条件を満たす場合、輝度値I0〜I4をサンプリングした長さLの範囲を含む領域をグラデーション領域として抽出することができる。なお、サンプリングした輝度値I5、I6は、上述の条件を満たさないとしている。
図9は判定領域からグラデーション領域を除外する様子を示す説明図である。図8から縦方向に長さLの領域がグラデーション領域として抽出されたので、図9に示すように、元の車体色判定領域(判定領域)から縦方向の長さLのグラデーション領域を除外した領域を車体色判定領域とする。ボンネットなどの上を向いた面では、光が反射して空の色が映り込み、グラデーションとして表れて車両の色が異なって見える場合がある。グラデーション領域を判定領域から除去する(無視する)ことにより、車両の色を誤って判定することを防止することができる。
なお、図8の例では、グラデーション判定領域を縦方向(Y軸方向)に沿って抽出したが、これに限定されるものではなく、グラデーション判定領域を横方向(X軸方向)に沿って抽出することもできる。また、図8の例では、1つのグラデーション判定領域を抽出して上述の条件を満たすか否かを判定したが、抽出したグラデーション判定領域をさらに複数の区分に分けて、当該区分毎に上述の条件を満たすか否かを判定することもできる。また、グラデーション領域抽出部20は、必須の構成ではなく、環境状況等によっては具備しなくてもよい。
次に、車色判定装置100の動作について説明する。図10は実施の形態1の車色判定装置100の処理手順の一例を示すフローチャートである。以下、処理の主体が制御部10として説明する。制御部10は、撮像画像を取得し(S11)、取得した撮像画像においてナンバープレート領域を検出する(S12)。
制御部10は、検出したナンバープレート領域の撮像画像上の位置を基準として車体色判定領域(判定領域)を特定する(S13)。制御部10は、検出したナンバープレート領域の特定部位(例えば、背景部分、明部)の輝度値(例えば、平均値)を算出する(S14)。なお、特定部位は、輝度又は色成分に基づいて特定することができる。
制御部10は、記憶した色見本テーブルの中から、算出した輝度値に対応する輝度(例えば、図5のY1、…YM)の色見本テーブルを選択する(S15)。算出した輝度値に対応する輝度(例えば、図5のY1、…YM)とは、例えば、算出した輝度値と一致する輝度(Y1、…YM)又は最も近い輝度(Y1、…YM)を意味する。
制御部10は、車体色判定領域の各画素について、色成分が選択した色見本テーブルの色成分と一致する画素の数を色毎に計数する(S16)。これにより、車体色判定領域内の各画素が、予め定めた判定色(例えば、白、シルバー、灰、赤、紫、黄、青、緑、黒など)のいずれの色であるかを判定するとともに、判定色毎に、当該判定色と判定された画素の数を計数する。
制御部10は、計数した画素の数が閾値以上であるか否かを判定し(S17)、画素の数が閾値以上である場合(S17でYES)、当該画素の色を車体色と判定し(S18)、処理を終了する。画素の数が閾値以上でない場合(S17でNO)、制御部10は、ステップS18の処理を行わずに処理を終了する。なお、図10に示した処理は、車体色の判定の間、繰り返し行われる。
(実施の形態2)
上述の実施の形態1では、色見本テーブルにおいて、画素の色成分として、RGB値を用いる構成であったが、色成分はRGB値に限定されるものではなく、他の表色系として、例えば、L*a*b*値(エルスター、エースター、ビースター)を用いることもできる。
図11は実施の形態2の車色判定装置120の構成の一例を示すブロック図である。実施の形態1との違いは、L*a*b*値算出部22、近似度算出部23を備える点である。なお、L*a*b*値は、公知の変換式によりRGB値から変換することができる。
記憶部21には、色見本テーブルの各色(車両の色を判定する判定色)に対応するL*a*b*値を予め記憶しておく。
図12は実施の形態2の色見本テーブルの構成の一例を示す説明図である。図12に示すように、色見本テーブルは、複数の輝度値(輝度)Y1、Y2、…YMに対応させて複数記憶してある。複数の輝度値は、日照条件(照明条件)の違いにより、撮像画像が全体として暗い場合、あるいは全体として明るい場合、あるいは両者の中間などのそれぞれの明るさに応じた輝度値である。複数の輝度値の数Mは、適宜設定することができるが、例えば、明暗の程度に応じて8通りの輝度値を設定することができる。
それぞれの色見本テーブルは、画素の複数の色成分及び当該画素の色を関連付けたテーブルである。複数の色成分とは、L*a*b*値(エルスター、エースター、ビースター)である。L*a*b*表色系は人間が感じる色の差を数値で表現するために考案された表色系であり、他の表色系に比べて人間の感覚に近い結果を出力することが可能となる。
また、画素の色は、車両の色を判定する際の判定色であり、車体色の判定の際に分類したい色であり、色数をNとしている。判定色は、例えば、白、シルバー、灰、赤、紫、黄、青、緑、黒などである。なお、判定色はこれに限定されるものではない。また、判定色には、ナンバープレートの背景部分(白、黄)または文字部分(緑、黒)の色も含めることができる。
図13は色見本テーブルの色成分(L*a*b*値)と車体色との関連を示す説明図である。図13に示すように、色成分をL*a*b*とした場合に、それぞれのL*a*b*値を参照値とし、参照値毎に画素の色を定めておくことができる。すなわち、色見本テーブルは、N色の判定色のそれぞれに1つのL*a*b*値を参照値として関連付けたものである。なお、図12に示すように、複数の輝度値それぞれに対応付けた色見本テーブルの色成分の値(L*a*b*値)は、輝度値に応じて異なる値となる。
色見本テーブル選択部16は、色見本テーブルを選択する選択手段としての機能を有し、ナンバープレート輝度値算出部13で算出した輝度値に対応する色見本テーブルを選択する。例えば、ナンバープレートの背景部分が白である場合に、当該白の部分の輝度の平均値に対応する(輝度値が一致する又は最も近い)色見本テーブルを選択する。ナンバープレートの色は、白のように予め定められているので、輝度値(輝度の平均値)を算出することにより、車体色が日照条件(照明条件)等によりどの程度明るく又は暗くなっているかの影響を推定することができ、推定した明るさ(輝度の平均値)に応じた色見本を選択することができる。
L*a*b*値算出部22は、判定領域の各画素の色成分(例えば、RGB値)に基づいて当該各画素のL*a*b*値を算出する。なお、L*a*b*値は、例えば、RGB値から所定の変換式を用いて求めることができる。
近似度算出部23は、L*a*b*値算出部22で算出したL*a*b*値と色見本テーブルの各色のL*a*b*値との近似度を判定領域の各画素について算出する。近似度は、判定領域の画素のL*a*b*値と、色見本テーブルのL*a*b*値とがどの程度近似するかを示す指標であり、L*a*b*それぞれの差分の二乗の合計値が最も小さい場合に近似度が最も大きいとすることができる。
画素数計数部17は、近似度算出部23で算出した近似度が所定値以上である画素の数を計数する。
車体色判定部18は、画素数計数部17で計数した画素の数が閾値以上である場合、当該画素の色を車両の色と判定する。
図14は実施の形態2の車色判定装置120の処理手順の一例を示すフローチャートである。以下、処理の主体が制御部10として説明する。制御部10は、撮像画像を取得し(S31)、取得した撮像画像においてナンバープレート領域を検出する(S32)。
制御部10は、検出したナンバープレート領域の撮像画像上の位置を基準として車体色判定領域(判定領域)を特定する(S33)。制御部10は、検出したナンバープレート領域の特定部位(例えば、背景部分、明部)の輝度値(例えば、平均値)を算出する(S34)。なお、特定部位は、輝度又は色成分に基づいて特定することができる。
制御部10は、記憶した色見本テーブルの中から、算出した輝度値に対応する輝度(例えば、図12のY1、…YM)の色見本テーブルを選択する(S35)。算出した輝度値に対応する輝度(例えば、図12のY1、…YM)とは、例えば、算出した輝度値と一致する輝度(Y1、…YM)又は最も近い輝度(Y1、…YM)を意味する。
制御部10は、車体色判定領域の各画素の色成分(例えば、RGB値)をL*a*b*値に変換し(S36)、車体色判定領域の各画素のL*a*b*値と、色見本テーブルのそれぞれのL*a*b*値との近似度を算出する(S37)。
制御部10は、算出した近似度が所定値以上の画素の数を計数する(S38)。これにより、車体色判定領域内の各画素が、予め定めた判定色(例えば、白、シルバー、灰、赤、紫、黄、青、緑、黒など)のいずれの色であるかを判定するとともに、判定色毎に、当該判定色と判定された画素の数を計数する。
制御部10は、計数した画素の数が閾値以上であるか否かを判定し(S39)、画素の数が閾値以上である場合(S39でYES)、当該画素の色を車体色と判定し(S40)、処理を終了する。画素の数が閾値以上でない場合(S39でNO)、制御部10は、ステップS40の処理を行わずに処理を終了する。なお、図14に示した処理は、車体色の判定の間、繰り返し行われる。
上述の実施の形態2では、画素毎にRGB値をLab値に変換して、色見本のLab値との近似度を算出して、色を判定する構成であったが、画素毎に変換処理、近似度の算出等の処理を行うと計算負荷が高くなる。そこで、予めRGBの全ての組合せ(256の3乗)について、Lab値に変換して、色見本とのLab値との近似値を算出して、色を判定しておき、RGB全組合せ(256の3乗)と判定した色の対応付けテーブルを用意しておくことにより、画素のRGB値が得られると、当該テーブルを参照することにより、計算を行うことなく直ちに色を決定することができる。なお、当該テーブルは、図5に例示すような構成である。
このようなテーブルを用いることにより、任意のRGB値であっても必ずテーブルの中に該当するRGBの組み合わせが存在するので、色を判定するための途中の計算(例えば、近似度の算出)は不要となる。また、入力の256階調を、例えば、32階調として扱うことにより、テーブルのサイズ(大きさ)を小さくすることができ、計算負荷の低減とメモリ容量の低減の両立を図ることができる。
(実施の形態3)
上述の実施の形態1、2では、輝度値に応じて複数の色見本テーブルを記憶しておき、ナンバープレート領域の輝度値に応じて、当該輝度値に対応する色見本テーブルを選択する構成であったが、これに限定されるものではない。例えば、一般的または代表的な輝度値に対応する色見本テーブルを1つ記憶しておき、当該色見本テーブルを参照して車体色を判定することもできる。
図15は実施の形態3の車色判定装置140の構成の一例を示すブロック図である。実施の形態1との違いは、輝度値補正部24を備える点である。
記憶部21には、図6に例示するような、所定の輝度値に対応させて画素の複数の色成分及び当該画素の色を関連付けた色見本テーブルを1つ記憶しておく。所定の輝度値は、例えば、日照条件(照明条件)の違いにより、撮像画像全体の輝度が変化するような場合に、平均的、あるいは一般的な明るさに相当する輝度値であり、任意の輝度値を設定することができる。複数の色成分とは、例えば、R(赤)、G(緑)、B(青)値である。また、画素の色は、車両の色を判定する際の判定色であり、例えば、白、シルバー、灰、赤、紫、黄、青、緑、黒などである。また、判定色には、ナンバープレートの背景部分(白、黄)または文字部分(緑、黒)の色も含めることができる。色成分をRGBとした場合に、RGBそれぞれが、例えば、256通りの値をとり得るときには、全ての値の組み合わせに対応させて画素の色を定めておくことができる。
輝度値補正部24は、補正手段としての機能を有し、ナンバープレート輝度値算出部13で算出した輝度値と、上述の所定の輝度値との差分に応じて判定領域の各画素の輝度値を補正する。例えば、算出した輝度値と所定の輝度値とが一致するように、判定領域全体の輝度値を補正する。
図16は実施の形態3の輝度値補正の一例を示す模式図である。図16に示すように、検出されたナンバープレート領域(例えば、背景部分、明部)の平均輝度と、色見本テーブルの平均輝度(所定の輝度値)とを比較し、両者の輝度が一致又は近似するように撮像画像全体(判定領域全体でもよい)の輝度値を補正する。例えば、算出した輝度値が所定の輝度値より小さい場合、すなわち、ナンバープレート領域の特定部位の輝度の平均値が所定の輝度値より小さい場合には、図16に示すように、撮像画像は全体としては暗いので、判定領域の輝度を大きくして、判定領域の輝度が色見本テーブルの輝度に一致又は近似するように輝度値を補正する。
また、算出した輝度値が所定の輝度値より大きい場合、すなわち、ナンバープレート領域の特定部位の輝度の平均値が所定の輝度値より大きい場合には、撮像画像は全体としては明るいので、判定領域の輝度を小さくして、判定領域の輝度が色見本テーブルの輝度に一致又は近似するように輝度値を補正する。これにより、判定領域の輝度を色見本の輝度に一致又は近づけることができる。
車体色判定部18は、補正した判定領域の各画素の色成分と、色見本テーブルの色成分とに基づいて車両の色を判定する。例えば、判定領域の任意の画素の色成分(例えば、RGB値)と一致する又は近似する色成分に対応する色を当該画素の色と判定し、判定領域内のすべての画素について色を判定する。そして、同色の画素の数が所定の閾値以上である場合、当該画素の色を車両の色として判定する。
実施の形態3では、予め色が定まっているナンバープレートの特定部位の輝度値が所定の輝度値に一致する(又は近づく)ように判定領域の輝度値を補正するので、日照条件(照明条件)等による影響を相殺して判定領域の輝度値を色見本の輝度に一致又は近づけることができ、車両の撮像時点の天候、時間帯、日向または日陰などの周囲の環境等の日照条件(照明条件)の違いによる影響を受けることなく、精度良く車両の色を判定することができる。
図17は実施の形態3の車色判定装置140の処理手順の一例を示すフローチャートである。以下、処理の主体が制御部10として説明する。制御部10は、撮像画像を取得し(S51)、取得した撮像画像においてナンバープレート領域を検出する(S52)。
制御部10は、検出したナンバープレート領域の撮像画像上の位置を基準として車体色判定領域(判定領域)を特定する(S53)。制御部10は、検出したナンバープレート領域の特定部位(例えば、背景部分、明部)の輝度値(例えば、平均値)を算出する(S54)。なお、特定部位は、輝度又は色成分に基づいて特定することができる。
制御部10は、算出した輝度値と所定の輝度値(色見本テーブルの輝度値)との差分に応じて、車体色判定領域の各画素の輝度値を補正する(S55)。
制御部10は、補正した車体色判定領域の各画素について、色成分が色見本テーブルの色成分と一致する画素の数を計数する(S56)。これにより、車体色判定領域内の各画素が、予め定めた判定色(例えば、白、シルバー、灰、赤、紫、黄、青、緑、黒など)のいずれの色であるかを判定するとともに、判定色毎に、当該判定色と判定された画素の数を計数する。
制御部10は、計数した画素の数が閾値以上であるか否かを判定し(S57)、画素の数が閾値以上である場合(S57でYES)、当該画素の色を車体色と判定し(S58)、処理を終了する。画素の数が閾値以上でない場合(S57でNO)、制御部10は、ステップS58の処理を行わずに処理を終了する。なお、図17に示した処理は、車体色の判定の間、繰り返し行われる。
(実施の形態4)
上述の実施の形態3では、色見本テーブルにおいて、画素の色成分として、RGB値を用いる構成であったが、色成分はRGB値に限定されるものではなく、他の表色系として、例えば、L*a*b*値(エルスター、エースター、ビースター)を用いることもできる。
図18は実施の形態4の車色判定装置160の構成の一例を示すブロック図である。実施の形態3との違いは、L*a*b*値算出部22、近似度算出部23を備える点である。なお、L*a*b*値は、公知の変換式によりRGB値から変換することができる。
記憶部21には、図13に示すような、所定の輝度値に対応させて画素の複数の色成分及び当該画素の色を関連付けた色見本テーブルを1つ記憶しておく。所定の輝度値は、例えば、日照条件(照明条件)の違いにより、撮像画像全体の輝度が変化するような場合に、平均的、あるいは一般的な明るさに相当する輝度値であり、任意の輝度値を設定することができる。複数の色成分とは、例えば、L*a*b*値である。また、画素の色は、車両の色を判定する際の判定色であり、例えば、白、シルバー、灰、赤、紫、黄、青、緑、黒などである。また、判定色には、ナンバープレートの背景部分(白、黄)または文字部分(緑、黒)の色も含めることができる。色成分をL*a*b*とした場合に、それぞれのL*a*b*値を参照値とし、参照値毎に画素の色を定めておくことができる。すなわち、色見本テーブルは、N色の判定色のそれぞれに1つのL*a*b*値を参照値として関連付けたものである。
輝度値補正部24は、補正手段としての機能を有し、ナンバープレート輝度値算出部13で算出した輝度値と、上述の所定の輝度値との差分に応じて判定領域の各画素の輝度値を補正する。例えば、算出した輝度値と所定の輝度値とが一致するように、判定領域全体の輝度値を補正する。輝度値の補正は、図16の例と同様である。
L*a*b*値算出部22は、輝度値を補正した判定領域の各画素の色成分(例えば、RGB値)に基づいて当該各画素のL*a*b*値を算出する。なお、L*a*b*値は、例えば、RGB値から所定の変換式を用いて求めることができる。
近似度算出部23は、L*a*b*値算出部22で算出したL*a*b*値と色見本テーブルの各色のL*a*b*値との近似度を判定領域の各画素について算出する。近似度は、判定領域の画素のL*a*b*値と、色見本テーブルのL*a*b*値とがどの程度近似するかを示す指標であり、L*a*b*それぞれの差分の二乗の合計値が最も小さい場合に近似度が最も大きいとすることができる。
画素数計数部17は、近似度算出部23で算出した近似度が所定値以上である画素の数を計数する。
車体色判定部18は、画素数計数部17で計数した画素の数が閾値以上である場合、当該画素の色を車両の色と判定する。
実施の形態4では、予め色が定まっているナンバープレートの特定部位の輝度値が所定の輝度値に一致する(又は近づく)ように判定領域の輝度値を補正するので、日照条件(照明条件)等による影響を相殺して判定領域の輝度値を色見本の輝度に一致又は近づけることができ、車両の撮像時点の天候、時間帯、日向または日陰などの周囲の環境等の日照条件(照明条件)の違いによる影響を受けることなく、精度良く車両の色を判定することができる。
図19は実施の形態4の車色判定装置160の処理手順の一例を示すフローチャートである。以下、処理の主体が制御部10として説明する。制御部10は、撮像画像を取得し(S71)、取得した撮像画像においてナンバープレート領域を検出する(S72)。
制御部10は、検出したナンバープレート領域の撮像画像上の位置を基準として車体色判定領域(判定領域)を特定する(S73)。制御部10は、検出したナンバープレート領域の特定部位(例えば、背景部分、明部)の輝度値(例えば、平均値)を算出する(S74)。なお、特定部位は、輝度又は色成分に基づいて特定することができる。
制御部10は、算出した輝度値と所定の輝度値(色見本テーブルの輝度値)との差分に応じて、車体色判定領域の各画素の輝度値を補正する(S75)。
制御部10は、車体色判定領域の各画素の色成分(例えば、RGB値)をL*a*b*値に変換し(S76)、車体色判定領域の各画素のL*a*b*値と、色見本テーブルのそれぞれのL*a*b*値との近似度を算出する(S77)。
制御部10は、算出した近似度が所定値以上の画素の数を計数する(S78)。これにより、車体色判定領域内の各画素が、予め定めた判定色(例えば、白、シルバー、灰、赤、紫、黄、青、緑、黒など)のいずれの色であるかを判定するとともに、判定色毎に、当該判定色と判定された画素の数を計数する。
制御部10は、計数した画素の数が閾値以上であるか否かを判定し(S79)、画素の数が閾値以上である場合(S79でYES)、当該画素の色を車体色と判定し(S80)、処理を終了する。画素の数が閾値以上でない場合(S79でNO)、制御部10は、ステップS80の処理を行わずに処理を終了する。なお、図19に示した処理は、車体色の判定の間、繰り返し行われる。
上述の車色判定装置100、120、140、160は、CPU、RAMなどを備えた汎用コンピュータを用いて実現することもできる。すなわち、図10、図14、図17、図19に示すような、各処理手順を定めたコンピュータプログラムを記録媒体に記録しておき、記録媒体からコンピュータプログラムをコンピュータに備えられたRAMにロードし、コンピュータプログラムをCPUで実行することにより、コンピュータ上で車色判定装置を実現することができる。
上述の実施の形態1〜4では、画素数計数部で計数した画素数が閾値以上である場合、当該画素の色を車体色として判定する構成であったが、これに限定されるものではなく、計数した画素数が最も多い画素の色を車体色として判定することもできる。
上述の例では、ナンバープレート領域の画素の色成分(例えば、RGB値)に基づいて、特定部位の画素の色を判定するものであったが、これに限定されるものではなく、例えば、以下の方法で特定部位の画素の色を判定することもできる。
前述の本実施の形態の車色判定装置100、120、140、160は、ナンバープレート色判定装置としての機能も備える。本実施の形態のナンバープレート色判定装置は、ナンバープレート検出部12、ナンバープレート輝度値算出部13、ナンバープレート色判定部14などの構成を備える。なお、以下の方法では、車両が軽自動車であるか否かを判定することもできる。
ナンバープレート検出部12は、記憶部21から撮像画像を取り出し、取り出した撮像画像に基づいて、車両(車両の一部を含む)を検出する。そして、ナンバープレート検出部12は、検出した車両の画像に基づいて、矩形状のナンバープレート部の切り出し処理を行うことによりナンバープレート領域を検出する。ナンバープレート領域は、矩形状の四隅の撮像画像上での座標で特定することができる。
ナンバープレート輝度値算出部13は、ナンバープレート検出部12で検出したナンバープレート領域の各画素の輝度Yを算出する。
ナンバープレート色判定部14は、ナンバープレート検出部12で検出したナンバープレート領域の各画素の色差Cb、Crを算出する。
なお、輝度Yは、Y=0.298912×R+0.586611×G+0.114477×Bの式により算出することができる。また、色差Cbは、Cb=−0.168777×R−0.331223×G+0.5×Bの式により算出することができる。また、色差Crは、Cr=0.5×R−0.418358×G−0.081642×Bの式により算出することができる。RGBそれぞれの範囲は、例えば、0〜255であり、輝度Yの範囲は、0〜255、色差Cb、Crの範囲は、−128〜127である。
ナンバープレート色判定部14は、ナンバープレート検出部12で検出したナンバープレート領域に基づいて、車両、例えば、軽自動車の判定領域を特定する。軽自動車の判定領域は、例えば、ナンバープレート領域の内側であって、ナンバープレート領域と相似の形状をなす領域とすることができる。検出したナンバープレート領域は、検出時の誤差等により、実際のナンバープレート以外の部分を含む可能性がある。そして、ナンバープレート以外の部分は、ノイズとなり色判定処理の精度を低下させる可能性がある。軽自動車の判定領域を、検出したナンバープレート領域の内側にすることにより、実際のナンバープレート以外の部分が含まれることを防止し、判定精度を高めることができる。
ナンバープレート色判定部14は、判定領域全体で輝度値の平均値Yaを算出し、判定領域のうち、輝度値が平均値Ya以上の画素で構成される領域を明部(特定部位)として特定し、輝度値が平均値Yaより小さい画素で構成される領域を暗部(特定部位)として特定する。すなわち、ナンバープレート色判定部14は、判定領域の輝度の大小に応じて特定部位を特定する。
ナンバープレート色判定部14は、明部の輝度の平均値Ya、色差Cbの平均値Cba、色差Crの平均値Craを算出し、算出した色差の平均値と所定の色差閾値とに基づいてナンバープレートの色を判定する。ここで、ナンバープレートの色とは、明部を特定部位とした場合には、ナンバープレート領域(判定領域)の明部と明部以外の部分の色を含み、暗部を特定部位とした場合には、ナンバープレート領域(判定領域)の暗部と暗部以外の部分の色を含む。また、ナンバープレート色判定部14は、算出した色差の平均値と所定の色差閾値とに基づいて軽自動車であるか否かを判定する。
具体的な判定条件は、例えば、以下のようにすることができる。すなわち、条件1として、色差Cbの平均値Cbaが色差閾値Tbより小さい場合(Cba<Tb)、明部の色が黄であるとし、ナンバープレートの背景部分が黄色であるので軽自動車であると判定する。
色差Cbの範囲を、−128〜127とした場合、正は青色成分、負は黄色成分を表すことになる。すなわち、色差閾値Tbを色差Cbが黄色成分を表す程度の値に設定しておくことにより、色差Cbの平均値Cbaが所定の色差閾値Tbより小さい場合には(例えば、平均値Cbaが負の値)、明部の色が黄であると判定することができる。
また、色差Cbの平均値Cbaが所定の色差閾値Tbより大きい場合には(例えば、平均値Cbaが正の値)、黄色に比べ白色に近い青色成分が含まれるので、明部の色が白であると判定することができる。
上述のように、色差と色差閾値とを比較するだけでナンバープレートの色を判定することができ、従来のようにRGBそれぞれの値とRGBそれぞれに対応する閾値とを比較する場合に比べて、ナンバープレートの色判定の処理を簡素化することができる。
また、条件2として、色差Crの平均値Craが色差閾値Trより大きい場合(Cra>Tr)、明部の色が黄であるとし、ナンバープレートの背景部分が黄色であるので軽自動車であると判定する。なお、輝度、色差の平均値に代えて、最大値と最小値との間の中央値などを用いることもできる。
色差Crの範囲を、−128〜127とした場合、正は赤色成分、負は水色成分を表すことになる。すなわち、色差閾値Trを色差Crが赤色成分を表す程度の値に設定しておくことにより、色差Crの平均値Craが所定の色差閾値Trより大きい場合には(例えば、平均値Craが正の値)、白色に比べ黄色に近い赤色成分が含まれるので、明部の色が赤色に近い黄であると判定することができる。
また、色差Crの平均値Craが所定の色差閾値Trより小さい場合には(例えば、平均値Craが負の値)、黄色に比べ白色に近い水色成分が含まれるので、明部の色が白であると判定することができる。
上述のように、色差と色差閾値とを比較するだけでナンバープレートの色を判定することができ、従来のようにRGBそれぞれの値とRGBそれぞれに対応する閾値とを比較する場合に比べて、ナンバープレートの色判定の処理を簡素化することができる。
また、条件3として、条件1、2の両方が充足する場合に、明部の色が黄であるとし、ナンバープレートの背景部分が黄色であるので軽自動車であると判定することもできる。
軽自動車の判定に、RGB値を用いる場合には、RGBそれぞれの値に対して閾値との比較判定処理が必要となる。RGB値ではなく、色差Cb、Crを用いることにより、色差Cb、またはCrの値に対して1つの閾値との比較判定処理で済むので、処理を簡略化することができる。
図20は実施の形態1〜4の車色判定装置による軽自動車判定の処理手順を示すフローチャートである。なお、図20に例示する処理は、本実施の形態のナンバープレート色判定装置によるナンバープレート色判定方法の一例を示す。
制御部10は、撮像画像を取得し(S101)、取得した撮像画像においてナンバープレート領域を検出する(S102)。
制御部10は、検出したナンバープレート領域の撮像画像上の位置を基準として軽自動車の判定領域を特定する(S103)。軽自動車の判定領域は、例えば、ナンバープレート領域の内側であって、ナンバープレート領域と相似形をなす領域である。制御部10は、軽自動車の判定領域の各画素の輝度Y、色差Cb、Crを算出する(S104)。
制御部10は、軽自動車の判定領域の輝度の平均値を算出し(S105)、算出した平均値に基づいて、判定領域内の明部を特定する(S106)。
制御部10は、特定した明部の平均輝度Ya、平均色差Cba、Craを算出する(S107)。制御部10は、平均色差Cbaが色差閾値Tbより小さいか否かを判定し(S108)、平均色差Cbaが色差閾値Tbより小さい場合(S108でYES)、明部は黄色であるとし、軽自動車と判定し(S109)、処理を終了する。
平均色差Cbaが色差閾値Tbより小さくない場合(S108でNO)、制御部10は、平均色差Craが色差閾値Trより大きいか否かを判定し(S110)、平均色差Craが色差閾値Trより大きい場合(S110でYES)、ステップS109の処理を行う。平均色差Craが色差閾値Trより大きくない合(S110でNO)、制御部10は、明部は黄色でないとし、軽自動車でないと判定し(S111)、処理を終了する。また、軽自動車であると判定した場合には、明部は黄、暗部は黒であると判定し、軽自動車でないと判定した場合には、明部は白、暗部は緑と判定する。
上述の図20の処理において、ステップS108とS110のいずれか一方を省略してもよい。また、平均色差Cbaが色差閾値Tbより小さく、かつ平均色差Craが色差閾値Trより大きい場合に、軽自動車と判定してもよい。
上述のナンバープレート色判定装置は、CPU、RAMなどを備えた汎用コンピュータを用いて実現することもできる。すなわち、図20に示すような、各処理手順を定めたコンピュータプログラムを記録媒体に記録しておき、記録媒体からコンピュータプログラムをコンピュータに備えられたRAMにロードし、コンピュータプログラムをCPUで実行することにより、コンピュータ上でナンバープレート色判定装置を実現することができる。
開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。