まず、本実施例に係る特定部位抽出の概念について説明する。図1は、本実施例に係る特定部位抽出の概念を説明するための説明図である。なお、図1では一例としてボンネット領域を抽出する場合について説明する。
同図に示すように、本発明では、カメラで撮影された車両の画像から、車両の特徴的な部分(サイドミラーやナンバープレートなど)を検出し、検出した部分を基にボンネット領域上の点を特定する(二つのサイドミラーとナンバープレートで三角形を構成し、構成した三角形の中点をボンネット上の点として特定する)。
そして、特定したボンネット領域上の点近辺の属性情報を検出し、検出した属性情報に大きな変化が見られない領域をボンネット領域として抽出する。ここで、属性情報とは、光束、光度、光量、照度、光束発散度、輝度などの測光量や色相、明度、彩度、濃度などの色属性を示す。
図2は、特定された点近辺の明度の検出結果のグラフを示す図である(ここでは説明の便宜上、属性情報の一例として明度を検出した場合を示すが、属性情報に含まれる各要素全て、あるいはいずれかの組み合わせを検出することもできる)。
図2に示すように、特徴的な部分を基に特定された点を0番目の画素とし、周辺の画素に対応する明度の値を、常に一つ前の値と比較して、比較値が所定値以内(例えば15以内)の領域をボンネット領域とする。図2の例では3番目の画素までがボンネット領域となる。
次に、本実施例に係る特定部位抽出システムの構成について説明する。図3は、本実施例に係る特定部位抽出システムのシステム構成を示すブロック図である。同図に示すように、この特定部位抽出システムは、白黒カメラ10,20、カラーカメラ30,40およびクライアント200が画像蓄積サーバ100に接続され、クライアント200は、キーボードなどの入力装置50およびディスプレイなどの表示装置60に接続されている。
白黒カメラ10,20は、近赤外線照明部を具備し、車両の白黒画像を撮影し、撮影した白黒画像のデータ(以下、白黒画像データ)を画像蓄積サーバ100に送信する装置であり、カラーカメラ30,40は、車両のカラー画像を撮影し、撮影したカラー画像のデータ(以下、カラー画像データ)を画像蓄積サーバ100に送信する装置である。なお、カラーカメラ30,40は、カラー画像データに、カラー画像を撮影した時間や場所等の情報を含ませる。
クライアント200は、入力装置50から時間や場所等を受け付け、受け付けた時間や場所等に対応する車両の画像や車両の特定部位の色などを画像蓄積サーバ100に要求する装置である。また、クライアント200は、画像蓄積サーバ100から受信した車両の画像や車両の特定部位の色などを表示装置60に表示させる。
クライアント200は、検索条件指定部210と、メモリ220と、表示処理部230とを有する。検索条件指定部210は、車両の画像や車両の特定部位の色などを検索する場合の検索条件となる場所や時間などのデータを入力装置50から受け付け、検索条件に該当する車両の画像や車両の特定部位の色などを画像蓄積サーバ100に要求する処理部である。
メモリ220は、画像蓄積サーバ100から受信する車両の画像や車両の特定部位の色などにかかるデータを記憶する記憶部であり、表示処理部230は、メモリ220に記憶された車両の画像や車両の特定部位の色などのデータを基にして、車両の画像や車両の特定部位の色などを表示装置60に表示させる処理部である。
画像蓄積サーバ100は、白黒カメラ10,20からの白黒画像データおよびカラーカメラ30,40からのカラー画像データを蓄積すると共に、各画像データから車両の特定部位を抽出し、抽出した特定部位の色を判別する装置である。
画像蓄積サーバ100は、画像データ管理部110と、特定部位抽出処理部120と、車体色判別処理部130と、画像データ記憶部140とを有する。画像データ管理部110は、白黒カメラ10,20からの白黒画像データおよびカラーカメラ30,40からのカラー画像データを取得し、取得した各画像データを特定部位抽出処理部120に渡す処理部である。また、画像データ管理部110は、クライアント200から検索条件にかかる情報を受け付け、受け付けた検索条件に該当する車両の画像、車両の特定部位の形状および特定部位の色などを画像データ記憶部140から検索し、検索したデータをクライアント200に送信する処理部である。
特定部位抽出処理部120は、画像データ管理部110から白黒画像データおよびカラー画像データを取得し、取得した白黒画像データおよびカラー画像データを基にしてカラー画像上の車両の特定部位(ボンネット領域、ルーフ領域、車体側面、ドア領域、トランク領域など)を抽出する処理部であり、ナンバープレート検出部120aと、パーツ検出部120bと、特定領域抽出部120cとを有する。
ナンバープレート検出部120aは、画像データ管理部110から白黒画像データおよびカラー画像データを取得し、取得した各画像データを基にしてナンバープレートの位置を検出する処理部である。
具体的に、このナンバープレート検出部120aは、まず、白黒画像データから車両のナンバープレートを切り出し、切り出したナンバープレートの文字や数字を補正(白黒カメラによって撮影された白黒画像は、白黒カメラの取り付け位置により斜めに撮影されるため、正面から撮影したように白黒画像を補正)する。
続いて、ナンバープレート検出部120aは、補正した白黒画像のナンバープレートの画像サイズを、カラー画像に合うように変更し、傾きを加え、白黒画像のナンバープレートをカラー画像に重ねて、カラー画像のナンバープレートの位置を検出する。そして、ナンバープレート検出部120aは、検出したナンバープレートの位置の情報(ナンバープレート位置情報)を特定領域抽出部120cに渡す。
なお、ナンバープレート検出部120aは、ナンバープレートの位置を検出する場合に、白黒画像データからナンバープレートを切り出す場合と同様の手法を用いて、直接カラー画像のナンバープレートの位置を検出してもよいし、白黒画像からナンバープレートを切り出した後、補正を加える前のナンバープレートのサイズをカラー画像と合致するように変更し、白黒画像のナンバープレートをカラー画像に重ねて、カラー画像上のナンバープレートの位置を検出してもよい。
パーツ検出部120bは、画像データ管理部110からカラー画像データを取得し、取得したカラー画像データを基にして、車両の特徴的な部分(サイドミラー、ヘッドライト、テールランプなど)を検出する処理部である。なお、パーツ検出部120bは、特定部位抽出処理部120が、車両のどの部位(ボンネット領域、ルーフ領域、車両側面とドア領域、トランク領域など)を抽出するかによって、車両から検出する部分が異なる。なお、特定部位抽出処理部120が車両のどの部位を抽出するかは予め、ユーザなどによって設定されている。
したがって、本実施例では、特定領域抽出部120cがボンネット領域を抽出する場合、ルーフ領域を抽出する場合、車両側面とドア領域を抽出する場合、トランク領域を抽出する場合にわけて、パーツ検出部120bがカラー画像から検出する車両の部分について説明する。
まず、特定部位抽出処理部120がボンネット領域を抽出する場合のパーツ検出部120bについて説明する。図4は、特定部位抽出処理部120がボンネット領域を抽出する場合の車両の各部分を説明するための説明図である。
パーツ検出部120bは、特定部位抽出処理部120がボンネット領域を抽出する場合には、カラー画像データからサイドミラー1a、ヘッドランプ1bおよびフロントミラー1cの位置を検出し、検出した各部分の位置の情報(サイドミラー位置情報、ヘッドランプ位置情報、フロントミラー位置情報)をカラー画像データと共に特定領域抽出部120cに渡す。
続いて、特定部位抽出処理部120がルーフ領域を抽出する場合のパーツ検出部120bについて説明する。図5は、特定部位抽出処理部120がルーフ領域を抽出する場合の車両の各部分を説明するための説明図である。
パーツ検出部120bは、特定部位抽出処理部120がルーフ領域を抽出する場合には、カラー画像データからサイドミラー2a、フロントガラス2b、ヘッドランプ2c、フロントミラー2dの位置を検出し、検出した各部分の位置の情報(サイドミラー位置情報、フロントガラス位置情報、ヘッドランプ位置情報、フロントミラー位置情報)をカラー画像データと共に特定領域抽出部120cに渡す。
続いて、特定部位抽出処理部120が車両側面とドア領域とを抽出する場合のパーツ検出部120について説明する。図6は、特定部位抽出処理部120が車両側面とドア領域とを抽出する場合の車両の各部分を説明するための説明図である。
パーツ検出部120bは、特定部位抽出処理部120が車両側面とドア領域とを抽出する場合には、カラー画像データからサイドミラー3a、ヘッドランプ3b、タイヤ3cの位置を検出し、検出した各部分の位置の情報(サイドミラー位置情報、ヘッドランプ位置情報、タイヤ位置情報)をカラー画像データと共に特定領域抽出部120cに渡す。
続いて、特定部位抽出処理部120がトランク領域を抽出する場合のパーツ検出部120について説明する。図7は、特定部位抽出処理部120がトランク領域を抽出する場合の車両の各部分を説明するための説明図である。
パーツ検出部120bは、特定部位抽出処理部120がトランク領域を抽出する場合には、カラー画像データからリアガラス4a、テールランプ4b、排気用マフラー4c、タイヤ4dの位置を検出し、検出した各部分の位置の情報(リアガラス位置情報、テールランプ位置情報、排気用マフラー位置情報、タイヤ位置情報)をカラー画像データと共に特定領域抽出部120cに渡す。
特定領域抽出部120cは、ナンバープレート検出部120aおよびパーツ検出部120bから車両の各部分の位置情報を取得し、取得した位置情報を基にしてカラー画像上の車両の特定の部位を抽出する処理部である。
なお、特定領域抽出部120cは、車両のどの領域(ボンネット領域、ルーフ領域、車両側面とドア領域、トランク領域など)を抽出するかによって、処理が異なる。したがって、本実施例では、特定領域抽出部120cがボンネット領域を抽出する場合、ルーフ領域を抽出する場合、車両側面とドア領域を抽出する場合、トランク領域を抽出する場合にわけて説明する。
まず、特定領域抽出部120cがボンネット領域を抽出する場合について説明する。なお、特定領域抽出部120cのボンネット領域を抽出する手法は複数存在するため、本実施例では、各手法を順に示すが、どの手法を用いてもよい。
ボンネット領域を抽出する手法その一として、特定領域抽出部120cは、ナンバープレート位置情報およびサイドミラー位置情報とを基にして、カラー画像上のナンバープレートおよびサイドミラーの位置を特定し、ナンバープレート位置と2つのサイドミラー位置との3点から、その中点を検出する。
そして、特定領域抽出部120cは、検出した中点から円状に属性情報のうちいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域(属性情報に含まれる各要素の変化のない領域が重なる領域)をボンネット領域と判定し、判定したボンネット領域を抽出する。特定領域抽出部120cは、抽出したボンネット領域の情報をボンネット領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
ボンネット領域を抽出する手法その二として、特定領域抽出部120cは、ヘッドランプ位置情報およびサイドミラー位置情報とを基にして、カラー画像上のヘッドランプおよびサイドミラー位置を特定し、2つのヘッドランプの位置と2つのサイドミラーの位置を四角形の頂点に見立て、その四角形の対角線の交点を検出する。
そして、特定部位抽出部120cは、検出した交点から円状に属性情報のうちいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域(属性情報に含まれる各要素の変化のない領域が重なる領域)をボンネット領域と判定し、判定したボンネット領域を抽出する。特定領域抽出部120cは、抽出したボンネット領域の情報をボンネット領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
ボンネット領域を抽出する手法その三として、特定領域抽出部120cは、ヘッドランプ位置情報、サイドミラー位置情報およびナンバープレート位置情報を基にして、カラー画像上のヘッドランプ、サイドミラーおよびナンバープレートの位置を特定し、2つのヘッドランプの位置と2つのサイドミラーの位置とナンバープレートの位置とを五角形の頂点に見立て、その五角形の中点を検出する。
そして、特定領域抽出部120cは、検出した中点から円状に属性情報のうちいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域(属性情報に含まれる各要素の変化のない領域が重なる領域)をボンネット領域と判定し、判定したボンネット領域を抽出する。特定領域抽出部120cは、抽出したボンネット領域の情報をボンネット領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
ボンネット領域を抽出する手法その四として、特定領域抽出部120cは、サイドミラー位置情報およびヘッドライト位置情報を基にして、カラー画像上のヘッドランプおよびサイドミラーの位置を特定し、2つのサイドミラーの位置と、左ヘッドライト(車両を正面から見た場合を基準としている。以下同様)の位置とを三角形の頂点に見立て、その中点を検出する。
そして、特定領域抽出部120cは、検出した中点から円状に属性情報のうちいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域(属性情報に含まれる各要素の変化のない領域が重なる領域)をボンネット領域と判定し、判定したボンネット領域を抽出する。特定領域抽出部120cは、抽出したボンネット領域の情報をボンネット領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
ボンネット領域を抽出する手法その五として、特定領域抽出部120cは、サイドミラー位置情報およびヘッドライト位置情報を基にして、カラー画像上のヘッドランプおよびサイドミラーの位置を特定し、2つのサイドミラーの位置と、右ヘッドライトの位置とを三角形の頂点に見立て、その中点を検出する。
そして、特定領域抽出部120cは、検出した中点から円状に属性情報のうちいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域(属性情報に含まれる各要素の変化のない領域が重なる領域)をボンネット領域と判定し、判定したボンネット領域を抽出する。特定領域抽出部120cは、抽出したボンネット領域の情報をボンネット領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
ボンネット領域を抽出する手法その六として、特定領域抽出部120cは、サイドミラー位置情報およびヘッドライト位置情報を基にして、カラー画像上のヘッドランプおよびサイドミラーの位置を特定し、2つのヘッドライトの位置と、左サイドミラーの位置とを三角形の頂点に見立て、その中点を検出する。
そして、特定領域抽出部120cは、検出した中点から円状に属性情報のうちいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域(属性情報に含まれる各要素の変化のない領域が重なる領域)をボンネット領域と判定し、判定したボンネット領域を抽出する。特定領域抽出部120cは、抽出したボンネット領域の情報をボンネット領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
ボンネット領域を抽出する手法その七として、特定領域抽出部120cは、サイドミラー位置情報およびヘッドライト位置情報を基にして、カラー画像上のヘッドランプおよびサイドミラーの位置を特定し、2つのヘッドライトの位置と、右サイドミラーの位置とを三角形の頂点に見立て、その中点を検出する。
そして、特定領域抽出部120cは、検出した中点から円状に属性情報のうちいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域(属性情報に含まれる各要素の変化のない領域が重なる領域)をボンネット領域と判定し、判定したボンネット領域を抽出する。特定領域抽出部120cは、抽出したボンネット領域の情報をボンネット領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
ボンネット領域を抽出する手法その八として、特定領域抽出部120cは、サイドミラー位置情報を基にして、2つのサイドミラーの位置を特定する。そして、特定領域抽出部120cは、2つのサイドミラーの中点から円状に属性情報のいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、変化のない領域をそれぞれ抽出し、変化のない領域が重なる領域をフロントガラス領域と判断する。
続いて、特定領域抽出部120cは、カラー画像上、フロントガラス領域の下辺から下方へ属性情報のいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の要素のいずれかに変化の見られる地点(フロントグリル)までの領域をボンネット領域と判定し、判定したボンネット領域を抽出する。特定領域抽出部120cは抽出したボンネット領域の情報をボンネット領域情報としてカラー画像データと共に車体色判別処理部130に渡す。
ボンネット領域を抽出する手法その九として、特定領域抽出部120cは、ヘッドランプ位置情報およびナンバープレート位置情報を基にして、カラー画像上のヘッドランプの位置およびナンバープレートの位置を特定し、ヘッドランプ間を中心線として、ナンバープレートの位置と線対称になる位置を検出する。
そして、特定領域抽出部120cは、検出した位置から円状に、属性情報のうちいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域(属性情報に含まれる各要素の変化のない領域が重なる領域)をボンネット領域と判定し、判定したボンネット領域を抽出する。特定領域抽出部120cは、抽出したボンネット領域の情報をボンネット領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
ボンネット領域を抽出する手法その十として、特定領域抽出部120cは、ヘッドランプ位置情報を基にして、カラー画像上のヘッドランプの位置を特定し、ヘッドランプ領域の上辺から上方へ属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化が見られる地点(フロントガラスと路面)までの領域をボンネット領域と判定し、判定したボンネット領域を抽出する。特定領域抽出部120cは、抽出したボンネット領域の情報をボンネット領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
ボンネット領域を抽出する手法その十一として、特定領域抽出部120cは、フロントミラー位置情報を基にして、カラー画像上の2つのフロントミラーの位置を特定し、二つのフロントミラー間の中点を検出する。
そして、特定領域抽出部120cは、検出した中点から円状に属性情報のうちいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域(属性情報に含まれる各要素の変化のない領域が重なる領域)をボンネット領域と判定し、判定したボンネット領域を抽出する。特定領域抽出部120cは、抽出したボンネット領域の情報をボンネット領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
ボンネット領域を抽出する手法その十二として、特定領域抽出部120cは、フロントミラー位置情報を基にして、カラー画像上のフロントミラーの位置を特定し、2つのフロントミラーと車両との接点を検出し、2つの接点間の中点を検出する。
続いて、特定領域抽出部120cは、検出した中点から円状に属性情報のうちいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域(属性情報に含まれる各要素の変化のない領域が重なる領域)をボンネット領域と判定し、判定したボンネット領域を抽出する。特定領域抽出部120cは、抽出したボンネット領域の情報をボンネット領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
ボンネット領域を抽出する手法その十三として、特定領域抽出部120cは、フロントミラー位置情報を基にして、カラー画像上のフロントミラーの位置を特定し、2つのフロントミラーと車両との接点を検出する。
そして、特定領域抽出部120cは、接点間を線に見立て、カラー画像上、線から下方に属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の要素のいずれかに変化の見られる地点(フロントグリル)までの領域をボンネット領域と判定し、判定したボンネット領域を抽出する。特定領域抽出部120cは、抽出したボンネット領域の情報をボンネット領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
ボンネット領域を抽出する手法その十四として、特定領域抽出部120cは、フロントミラー位置情報を基にして、カラー画像上のフロントミラーの位置を特定し、2つのフロントミラーと車両との接点を検出する。
そして、特定領域抽出部120cは、接点間を線に見立て、カラー画像上、線から上方に属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の要素のいずれかに変化の見られる地点(フロントガラスと路面)までの領域をボンネット領域と判定し、判定したボンネット領域を抽出する。特定領域抽出部120cは、抽出したボンネット領域の情報をボンネット領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
ボンネット領域を抽出する手法その十五として、特定領域抽出部120cは、フロントミラー位置情報およびヘッドランプ位置情報を基にして、カラー画像上のフロントミラーの位置およびヘッドランプの位置を特定する。
続いて、特定領域抽出部120cは、2つのフロントミラーの位置と2つのヘッドランプの位置とを四角形の頂点に見立て、その四角形の対角線の交点を検出し、検出した交点から円状に属性情報のうちいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域(属性情報に含まれる各要素の変化のない領域が重なる領域)をボンネット領域と判定し、判定したボンネット領域を抽出する。特定領域抽出部120cは、抽出したボンネット領域の情報をボンネット領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
ボンネット領域を抽出する手法その十六として、特定領域抽出部120cは、フロントミラー位置情報およびナンバープレート位置情報を基にして、カラー画像上のフロントミラーの位置およびナンバープレートの位置を特定し、ナンバープレートの位置と2つのフロントミラーの位置の3点から、その中点を検出する。
そして、特定領域抽出部120cは、検出した中点から円状に属性情報のうちいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域(属性情報に含まれる各要素の変化のない領域が重なる領域)をボンネット領域と判定し、判定したボンネット領域を抽出する。特定領域抽出部120cは、抽出したボンネット領域の情報をボンネット領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
ボンネット領域を抽出する手法その十七として、特定領域抽出部120cは、フロントミラー位置情報およびヘッドランプ位置情報を基にして、カラー画像上のフロントミラーの位置およびヘッドランプの位置を特定し、2つのフロントミラーと左ヘッドランプを三角形の頂点に見立て、その中点を検出する。
そして、特定領域抽出部120cは、検出した中点から円状に属性情報のうちいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域(属性情報に含まれる各要素の変化のない領域が重なる領域)をボンネット領域と判定し、判定したボンネット領域を抽出する。特定領域抽出部120cは、抽出したボンネット領域の情報をボンネット領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
ボンネット領域を抽出する手法その十八として、特定領域抽出部120cは、フロントミラー位置情報およびヘッドランプ位置情報を基にして、カラー画像上のフロントミラーの位置およびヘッドランプの位置を特定し、2つのフロントミラーと右ヘッドランプを三角形の頂点に見立て、その中点を検出する。
そして、特定領域抽出部120cは、検出した中点から円状に属性情報のうちいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域(属性情報に含まれる各要素の変化のない領域が重なる領域)をボンネット領域と判定し、判定したボンネット領域を抽出する。特定領域抽出部120cは、抽出したボンネット領域の情報をボンネット領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
ボンネット領域を抽出する手法その十九として、特定領域抽出部120cは、フロントミラー位置情報およびヘッドランプ位置情報を基にして、カラー画像上のフロントミラーの位置およびヘッドランプの位置を特定し、2つのヘッドランプと左フロントミラーを三角形の頂点に見立て、その中点を検出する。
そして、特定領域抽出部120cは、検出した中点から円状に属性情報のうちいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域(属性情報に含まれる各要素の変化のない領域が重なる領域)をボンネット領域と判定し、判定したボンネット領域を抽出する。特定領域抽出部120cは、抽出したボンネット領域の情報をボンネット領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
ボンネット領域を抽出する手法その二十として、特定領域抽出部120cは、フロントミラー位置情報およびヘッドランプ位置情報を基にして、カラー画像上のフロントミラーの位置およびヘッドランプの位置を特定し、2つのヘッドランプと右フロントミラーを三角形の頂点に見立て、その中点を検出する。
そして、特定領域抽出部120cは、検出した中点から円状に属性情報のうちいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域(属性情報に含まれる各要素の変化のない領域が重なる領域)をボンネット領域と判定し、判定したボンネット領域を抽出する。特定領域抽出部120cは、抽出したボンネット領域の情報をボンネット領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
ボンネット領域を抽出する手法その二十一として、特定領域抽出部120cは、ナンバープレート位置情報を基にして、カラー画像上のナンバープレートの位置を特定し、ナンバープレートと同じ寸法のプレートを、特定したナンバープレートの上に所定数配置する。所定数目のプレートはボンネット領域に配置されるため、特定領域抽出部120cは、所定数目のプレートの対角線の中点を検出する。
続いて、特定領域抽出部120cは、検出した中点から円状に属性情報のうちいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域(属性情報に含まれる各要素の変化のない領域が重なる領域)をボンネット領域と判定し、判定したボンネット領域を抽出する。特定領域抽出部120cは、抽出したボンネット領域の情報をボンネット領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
次に、特定領域抽出部120cがルーフ領域を抽出する場合について説明する。なお、特定領域抽出部120cのルーフ領域を抽出する手法は複数存在するため、本実施例では、各手法を順に示すが、どの手法を用いてもよい。
ルーフ領域を抽出する手法その一として、特定領域抽出部120cは、カラー画像を基にして色認識を行い、色調が安定しない領域をフロントガラス領域と判定する。そして、特定領域抽出部120cは、カラー画像上、フロントガラス領域の上辺から上方へ属性情報のいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、変化の見られる地点(路面かリアガラスか画面端)までの領域をルーフ領域と判定し、判定したルーフ領域を抽出する。特定領域抽出部120cは、抽出したルーフ領域の情報をルーフ領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
ルーフ領域を抽出する手法その二として、特定領域抽出部120cは、サイドミラー位置情報を基にして、カラー画像上のサイドミラーの位置を特定し、2つのサイドミラー間の中点を検出し、検出した中点から円状に属性情報のいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、変化のない領域をそれぞれ抽出し、それかの領域が重なる領域をフロントガラス領域と判定する。
続いて、特定領域抽出部120cは、カラー画像上、フロントガラス領域の上辺から上方へ属性情報のいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、変化の見られる地点(路面かリアガラスか画面端)までの領域をルーフ領域と判定し、判定したルーフ領域を抽出する。特定領域抽出部120cは、抽出したルーフ領域の情報をルーフ領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
ルーフ領域を抽出する手法その三として、特定領域抽出部120cは、サイドミラー位置情報およびナンバープレート位置情報を基にして、カラー画像上のサイドミラーの位置およびナンバープレートの位置を特定し、2つのサイドミラーとナンバープレートを三角形の頂点に見立て、その中点を検出する。
そして、特定領域抽出部120cは、検出した中点を中心として、ナンバープレートの位置(ナンバープレートの中心点またはナンバープレートの四隅の点など)と点対称になる点から円状に属性情報のうちいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域(属性情報に含まれる各要素の変化のない領域が重なる領域)をルーフ領域と判定し、判定したルーフ領域を抽出する。特定領域抽出部120cは、抽出したルーフ領域の情報をルーフ領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
ルーフ領域を抽出する手法その四として、特定領域抽出部120cは、サイドミラー位置情報を基にして、カラー画像上のサイドミラーの位置を特定し、サイドミラー領域の上辺から上方へ属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、画像端以外で属性情報の変化の見られる地点までの領域をサイドガラス領域と判定する。
続いて、特定領域抽出部120cは、カラー画像上、サイドガラス領域の上辺から上方へ属性情報のうちいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の各要素のいずれかに変化の見られる地点(路面かリアガラスか画面端)までの領域をルーフ領域と判定し、判定したルーフ領域を抽出する。特定領域抽出部120cは、抽出したルーフ領域の情報をルーフ領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
ルーフ領域を抽出する手法その五として、特定領域抽出部120cは、サイドミラー位置情報およびヘッドランプ位置情報を基にして、カラー画像上のサイドミラーの位置およびヘッドランプの位置を特定し、2つのサイドミラーおよび2つのヘッドランプを四角形の頂点に見立て、その四角形の対角線の交点を検出する。
そして、特定領域抽出部120cは、サイドミラー間を中心線とし、対角線の交点の位置と線対称になる位置を検出し、そこから円状に属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域をそれぞれ抽出し、それらの領域が重なる領域をフロントガラス領域と判定する。
続いて、特定領域抽出部120cは、カラー画像上のフロントガラス領域の上辺から上方へ属性情報のいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、変化の見られる地点(路面かリアガラスか画面端)までの領域をルーフ領域と判定し、判定したルーフ領域を抽出する。特定領域抽出部120cは、抽出したルーフ領域の情報をルーフ領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
ルーフ領域を抽出する手法その六として、特定領域抽出部120cは、サイドミラー位置情報およびヘッドランプ位置情報を基にして、カラー画像上のサイドミラーの位置およびヘッドランプの位置とを特定し、2つのサイドミラーと左ヘッドランプ(撮影用のカメラが車両の左上方に設置されている場合)を平行四辺形の頂点の3つに見立て、平行四辺形にかかる残りの1点を検出する。
そして、特定領域抽出部120cは、検出した1点から円状に属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域をそれぞれ抽出し、それらの領域が重なる領域をフロントガラス領域と判定する。
続いて、特定領域抽出部120cは、カラー画像上のフロントガラス領域の上辺から上方へ属性情報のいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、変化の見られる地点(路面かリアガラスか画面端)までの領域をルーフ領域と判定し、判定したルーフ領域を抽出する。特定領域抽出部120cは、抽出したルーフ領域の情報をルーフ領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
ルーフ領域を抽出する手法その七として、特定領域抽出部120cは、サイドミラー位置情報およびヘッドランプ位置情報を基にして、カラー画像上のサイドミラーの位置およびヘッドランプの位置とを特定し、2つのサイドミラーと右ヘッドランプ(撮影用のカメラが車両の右上方に設置されている場合)を平行四辺形の頂点の3つに見立て、平行四辺形にかかる残りの1点を検出する。
そして、特定領域抽出部120cは、検出した1点から円状に属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域をそれぞれ抽出し、それらの領域が重なる領域をフロントガラス領域と判定する。
続いて、特定領域抽出部120cは、カラー画像上のフロントガラス領域の上辺から上方へ属性情報のいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、変化の見られる地点(路面かリアガラスか画面端)までの領域をルーフ領域と判定し、判定したルーフ領域を抽出する。特定領域抽出部120cは、抽出したルーフ領域の情報をルーフ領域情報として、カラー画像データと共に車体色判別処理部130に渡す。
次に、特定領域抽出部120cが車両側面とドア領域とを抽出する場合について説明する。なお、特定領域抽出部120cの車両側面とドア領域とを抽出する手法は複数存在するため、本実施例では、各手法を順に示すが、どの手法を用いてもよい。
車両側面とドア領域とを抽出する手法その一として、特定領域抽出部120cは、ヘッドランプ位置情報を基にして、カラー画像上のヘッドランプの位置を特定し、右ヘッドランプ(車を前から見た場合)領域の右端から右方へ属性情報の1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報に含まれる要素のいずれかに変化の見られる地点(路面か画面端)までの領域を車両側面とドア領域と判定し、判定した車両側面とドア領域とを抽出する。
そして、特定領域抽出部120cは、抽出した車両側面とドア領域の情報を車両側面情報として、カラー画像データと共に車体色判別処理部130に渡す。ただし、これはカラーカメラ30が車両の右前方に設置されている場合であり、カラーカメラ30が左前方に取り付けられている場合には、左ヘッドランプ領域の左端から左方へ属性情報の検出を行うことになる。
車両側面とドア領域とを抽出する手法その二として、特定領域抽出部120cは、ヘッドランプ位置情報およびサイドミラー位置情報を基にして、カラー画像上のヘッドランプの位置およびサイドミラーの位置とを特定し、右ヘッドランプと右サイドミラー間を線に見立て、カラー画像上そこから右方へ属性情報の1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報に含まれる要素のいずれかに変化の見られる地点(路面か画面端)までの領域を車両側面とドア領域と判定し、判定した車両側面とドア領域とを抽出する。
そして、特定領域抽出部120cは、抽出した車両側面とドア領域の情報を車両側面情報として、カラー画像データと共に車体色判別処理部130に渡す。ただし、これはカラーカメラ30が車両の右前方に設置されている場合であり、カラーカメラ30が左前方に取り付けられている場合には、左ヘッドランプと左サイドミラー間を線に見立て、カラー画像上そこから左方へ属性情報の検出を行うことになる。
車両側面とドア領域とを抽出する手法その三として、特定領域抽出部120cは、ヘッドランプ位置情報およびナンバープレート位置情報を基にして、カラー画像上のヘッドランプの位置およびナンバープレートの位置を特定し、右ヘッドランプを中心点とし、ナンバープレートの位置と点対称になる地点を検出する。
そして、特定領域検出部120cは、検出した地点から円状に属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域をそれぞれ抽出し、それらの領域が重なる領域を車両側面とドア領域と判定し、判定した車両側面とドア領域とを抽出する。
続いて、特定領域検出部120cは、抽出した車両側面とドア領域の情報を車両側面情報として、カラー画像データと共に車体色判別処理部130に渡す。ただし、これは、カラーカメラ30が車両の右上方に設置されている場合であり、カラーカメラ30が車両の左上方に設置されている場合には、左ヘッドランプを中心点とし、ナンバープレートの位置と点対称になる地点を検出し、属性情報を検出することになる。
車両側面とドア領域とを抽出する手法その四として、特定領域抽出部120cは、サイドミラー位置情報を基にして、カラー画像上のサイドミラーの位置を特定し、2つのサイドミラー間を線に見立て、線の延長線上を画像右方向に向かって属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の要素のいずれかに変化の見られる地点(路面か画面端)までの領域を車両側面とドア領域と判定し、判定した車両側面とドア領域とを抽出する。
そして、特定領域抽出部120cは、抽出した車両側面とドア領域の情報を車両側面情報として、カラー画像データと共に車体色判別処理部130に渡す。ただし、これは、カラーカメラ30が車両の右上方に設置されている場合であり、カラーカメラ30が車両の左上方に設置されている場合には、2つのサイドミラー間を線に見立て、線の延長線上を画像左方法に向かって属性情報を検出することになる。
車両側面とドア領域とを抽出する手法その五として、特定領域抽出部120cは、サイドミラー位置情報とタイヤ位置情報とを基にして、カラー画像上のサイドミラーの位置とタイヤの位置とを特定し、右サイドミラーと右前輪のタイヤ間の中点を検出する。
そして、特定領域抽出部120cは、検出した中点から円状に属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域をそれぞれ抽出し、それらの領域が重なる領域を車両側面およびドア領域と判定し、判定した車両側面とドア領域とを抽出する。
続いて、特定領域抽出部120cは、抽出した車両側面とドア領域の情報を車両側面情報として、カラー画像データと共に車体色判別処理部130に渡す。ただし、これは、カラーカメラ30が車両の右上方に設置されている場合であり、カラーカメラ30が車両の左上方に設置されている場合には、左サイドミラーと左前輪のタイヤ間の中点を検出し、検出した中点から円状に属性情報を検出することになる。
車両側面とドア領域とを抽出する手法その六(車両側面に文字が書かれている場合)として、特定領域抽出部120cは、サイドミラー位置情報、タイヤ位置情報およびヘッドランプ位置情報を基にして、カラー画面上のサイドミラーの位置、タイヤの位置およびヘッドランプの位置を特定し、右前後輪のタイヤ、右ヘッドランプ、右サイドミラー、車両領域の最右点上部で囲まれる領域を車両側面とドア領域として区切り、区切った領域内に含まれる文字以外を車両側面とドア領域として抽出する。
続いて、特定領域抽出部120cは、抽出した車両側面とドア領域の情報を車両側面情報として、カラー画像データと共に車体色判別処理部130に渡す。ただし、これは、カラーカメラ30が車両の右上方に設置されている場合であり、カラーカメラ30が車両の左上方に設置されている場合には、左前後輪のタイヤ、左ヘッドランプ、左サイドミラー、車両領域の最左点上部で囲まれる領域を車両側面とドア領域として区切り、区切った領域内に含まれる文字以外を車両側面とドア領域として抽出することになる。
車両側面とドア領域とを抽出する手法その七(車両側面の色が二色以上に分かれている場合)として、特定領域抽出部120cは、サイドミラー位置情報、タイヤ位置情報およびヘッドランプ位置情報を基にして、カラー画面上のサイドミラーの位置、タイヤの位置およびヘッドランプの位置を特定し、右前後輪のタイヤ、右ヘッドランプ、右サイドミラー、車両領域の最右点上部で囲まれる領域を車両側面とドア領域として区切り、区切った領域外周から内側に向かって属性情報のいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の各要素の変化のない領域をそれぞれ抽出し、それらの領域が重なる領域毎に色識別を行い、車両の色は複数色であると判定する。
続いて、特定領域抽出部120cは、区切った領域を車両側面とドア領域として抽出し、抽出した領域の情報を車両側面情報として、カラー画像データおよび車両の側面は複数色である旨の情報を車体色判別処理部130に渡す。ただし、これは、カラーカメラ30が車両の右上方に設置されている場合であり、カラーカメラ30が車両の左上方に設置されている場合には、左前後輪のタイヤ、左ヘッドランプ、左サイドミラー、車両領域の最左点上部で囲まれる領域を車両側面とドア領域として区切り、区切った領域の外周から内側に向かって属性情報を検出することになる。
次に、特定領域抽出部120cがトランク領域を抽出する場合について説明する。なお、特定領域抽出部120cのトランク領域を抽出する手法は複数存在するため、本実施例では、各手法を順に示すが、どの手法を用いてもよい。
トランク領域を抽出する手法その一として、特定領域抽出部120cは、カラー画像の色認識を行い、色調が安定しない領域をリアガラス領域と判定し、カラー画像上、リアガラス領域の下辺から下方へ属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の要素のいずれかに変化の見られる地点(リアバンパー、ナンバープレート、テールランプ等)までの領域をトランク領域と判定し、判定したトランク領域を抽出する。そして、特定領域抽出部120cは、抽出したトランク領域をトランク領域情報としてカラー画像データと共に車体色判別処理部130に渡す。
トランク領域を抽出する手法その二として、特定領域抽出部120cは、テールランプ位置情報を基にして、カラー画像上のテールランプの位置を特定し、テールランプ領域の上辺から上方に属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の要素のいずれかに変化の見られる地点(路面かリアガラス)までの領域をトランク領域と判定する。
そして、特定領域抽出部120cは、判定したトランク領域を抽出し、抽出したトランク領域をトランク領域情報としてカラー画像データと共に車体色判別処理部130に渡す。
トランク領域を抽出する手法その三として、特定領域抽出部120cは、テールランプ位置情報およびナンバープレート位置情報を基にして、カラー画像上のテールランプの位置とナンバープレートの位置とを特定し、2つのテールランプ間を中心線と見立て、ナンバープレートの位置と線対称になる位置を検出する。
続いて、特定領域抽出部120cは、検出した位置から円状に属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域をそれぞれ抽出し、属性情報の各要素の変化のない領域が重なる領域をトランク領域と判定し、判定したトランク領域を抽出し、抽出したトランク領域をトランク領域情報としてカラー画像データと共に車体色判別処理部130に渡す。
トランク領域を抽出する手法その四として、特定領域抽出部120cは、テールランプ位置情報およびナンバープレート位置情報を基にして、カラー画像上のテールランプの位置およびナンバープレートの位置を特定し、2つのテールランプとナンバープレートを平行四辺形の頂点の3点に見立て、平行四辺形にかかる残りの1点を検出する。
そして、特定領域抽出部120cは、検出した1点から円状に属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域をそれぞれ抽出し、属性情報の各要素の変化のない領域が重なる領域をトランク領域と判定し、判定したトランク領域を抽出し、抽出したトランク領域をトランク領域情報としてカラー画像データと共に車体色判別処理部130に渡す。
トランク領域を抽出する手法その五として、特定領域抽出部120cは、テールランプ位置情報および排気用マフラー位置情報を基にして、カラー画像上のテールランプの位置および排気用マフラーの位置を特定し、2つのテールランプ間を中心線と見立て、排気用マフラーの位置と線対称になる位置を検出する。
そして、特定領域抽出部120cは、検出した位置から円状に属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域をそれぞれ抽出し、属性情報の各要素の変化のない領域が重なる領域をトランク領域と判定し、判定したトランク領域を抽出し、抽出したトランク領域をトランク領域情報としてカラー画像データと共に車体色判別処理部130に渡す。
トランク領域を抽出する手法その六として、特定領域抽出部120cは、テールランプ位置情報および排気用マフラー位置情報を基にして、カラー画像上のテールランプの位置および排気用マフラーの位置を特定し、2つのテールランプおよび排気用マフラーを平行四辺形の頂点の3つに見立て、平行四辺形にかかる残りの1つを検出する。
そして、特定領域抽出部120cは、検出した1点から円状に属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域をそれぞれ抽出し、属性情報の各要素の変化のない領域が重なる領域をトランク領域と判定し、判定したトランク領域を抽出し、抽出したトランク領域をトランク領域情報としてカラー画像データと共に車体色判別処理部130に渡す。
トランク領域を抽出する手法その七として、特定領域抽出部120cは、テールランプ位置情報およびナンバープレート位置情報を基にして、カラー画像上のテールランプの位置およびナンバープレートの位置を特定し、2つのテールランプおよびナンバープレートを平行四辺形の頂点の3つに見立て、平行四辺形にかかる残りの1つを検出する。
そして、特定領域抽出部120cは、検出した1点から円状に属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域をそれぞれ抽出し、属性情報の各要素の変化のない領域が重なる領域をトランク領域と判定し、判定したトランク領域を抽出し、抽出したトランク領域をトランク領域情報としてカラー画像データと共に車体色判別処理部130に渡す。
ところで、車両の画像からルーフ領域を抽出する場合に、車両を背面から撮影した画像を利用する場合がある。そこで、本実施例では、背面から撮影した画像を利用してルーフ領域を抽出する手法を例として、2通り示す。
まず1つ目として、特定領域抽出部120cは、カラー画像を基に色認識を行い、色調が安定しない領域をリアガラス領域と判定し、カラー画像上、リアガラス領域の上辺から上方へ属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の各要素のいずれかに変化の見られる領域をルーフ領域と判定する。
そして、特定領域抽出部120cは、ルーフ領域を抽出し、抽出したルーフ領域をルーフ領域情報としてカラー画像データと共に車体色判別処理部130に渡す。
2つ目として、特定領域抽出部120cは、テールランプ位置情報を基にして、カラー画像上のテールランプの位置を特定し、テールランプ領域の上辺から上方に属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の各要素の変化の見られる地点の内、車両領域外に出ない地点を検出する。
そして、特定領域抽出部120cは、検出した地点から上方扇型に属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、変化のない領域をそれぞれ抽出し、それらの領域が重なる領域をリアガラス領域と判定する。
続いて、特定領域抽出部120cは、リアガラス領域の上辺から上方に属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の各要素のいずれかに変化の見られる地点(路面、画面端またはフロントガラスなど)までの領域をルーフ領域として判定し、ルーフ領域を抽出する。特定領域抽出部120cは、抽出したルーフ領域をルーフ領域情報としてカラー画像データと共に車体色判別処理部130に渡す。
ところで、車両の画像から車両側面とドア領域とを抽出する場合に、車両を背面から撮影した画像を利用する場合がある。そこで、本実施例では、背面から撮影した画像を利用して車両側面とドア領域とを抽出する手法を例として、8通り示す。
まず1つ目として、特定領域抽出部120cは、テールランプ位置情報およびタイヤ位置情報を基にして、カラー画像上のテールランプの位置およびタイヤの位置を特定し、右テールランプと右後輪タイヤ間の中点を検出する。
そして、特定領域抽出部120cは、検出した中点から円状に属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域をそれぞれ抽出し、属性情報の各要素の変化のない領域が重なる領域を車両側面とドア領域と判定し、判定した車両側面とドア領域を抽出し、抽出した車両側面とドア領域を車両側面情報としてカラー画像データと共に車体色判別処理部130に渡す。ただし、これは、カラーカメラ30が車両の右上方に設置されている場合であり、カラーカメラ30が左上方に設置されている場合には、特定領域抽出部120cは、左テールランプと左後輪タイヤ間の中点を検出することになる。
2つ目として、特定領域抽出部120cは、テールランプ位置情報、タイヤ位置情報およびサイドミラー位置情報を基にして、カラー画像上のテールランプの位置、タイヤの位置およびサイドミラーの位置を特定し、右テールランプと右後輪のタイヤと右サイドミラーの3点からその中点を検出する。
続いて、特定領域抽出部120cは、検出した中点から円状に属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域をそれぞれ抽出し、属性情報の各要素の変化のない領域が重なる領域を車両側面とドア領域と判定し、判定した車両側面とドア領域を抽出し、抽出した車両側面とドア領域を車両側面情報としてカラー画像データと共に車体色判別処理部130に渡す。ただし、これは、カラーカメラ30が車両の右上方に設置されている場合であり、カラーカメラ30が左上方に設置されている場合には、特定領域抽出部120cは、左テールランプと左後輪のタイヤと左サイドミラーの3点からその中点を検出することになる。
3つ目として、特定領域抽出部120cは、テールランプ位置情報、タイヤ位置情報およびサイドミラー位置情報を基にして、カラー画像上のテールランプの位置、タイヤの位置およびサイドミラーの位置を特定し、右テールランプと右前輪のタイヤと右サイドミラーの3点からその中点を検出する。
そして、特定領域抽出部120cは、検出した中点から円状に属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域をそれぞれ抽出し、属性情報の各要素の変化のない領域が重なる領域を車両側面とドア領域と判定し、判定した車両側面とドア領域を抽出し、抽出した車両側面とドア領域を車両側面情報としてカラー画像データと共に車体色判別処理部130に渡す。ただし、これは、カラーカメラ30が車両の右上方に設置されている場合であり、カラーカメラ30が左上方に設置されている場合には、特定領域抽出部120cは、左テールランプと左前輪のタイヤと左サイドミラーの3点からその中点を検出することになる。
4つ目として、特定領域抽出部120cは、テールランプ位置情報を基にして、カラー画像上のテールランプの位置を特定し、右テールランプ領域の右辺から右方へ属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の各要素のどれかに変化の見られる地点(路面か画面端)までの領域を車両側面とドア領域と判定する。
そして、特定領域抽出部120cは、判定した車両側面とドア領域を抽出し、抽出した車両側面とドア領域とを車両側面情報としてカラー画像データと共に車体色判別処理部130に渡す。ただし、これは、カラーカメラ30が車両の右上方に設置されている場合であり、カラーカメラ30が左上方に設置されている場合には、特定領域抽出部120cは、左テールランプ領域の左辺から左方へ属性情報を検出することになる。
5つ目として、特定領域抽出部120cは、テールランプ位置情報とナンバープレート位置情報を基にして、カラー画像上のテールランプの位置およびナンバープレートの位置を特定し、右テールランプを中心点とし、ナンバープレートの位置と点対照になる地点を検出する。
そして、特定領域抽出部120cは、検出した地点から円状に属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域をそれぞれ抽出し、属性情報の各要素の変化のない領域が重なる領域を車両側面とドア領域と判定し、判定した車両側面とドア領域を抽出し、抽出した車両側面とドア領域を車両側面情報としてカラー画像データと共に車体色判別処理部130に渡す。ただし、これは、カラーカメラ30が車両の右上方に設置されている場合であり、カラーカメラ30が左上方に設置されている場合には、特定領域抽出部120cは、左テールランプを中心点とし、ナンバープレートの位置と点対照になる地点を検出することになる。
6つ目として、特定領域抽出部120cは、テールランプ位置情報およびタイヤ位置情報を基にして、カラー画像上のテールランプの位置およびタイヤの位置を特定し、右テールランプと右前輪のタイヤ間の中点を検出する。
そして、特定領域抽出部120cは、検出した中点から円状に属性情報のいずれか1つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の変化のない領域をそれぞれ抽出し、属性情報の各要素の変化のない領域が重なる領域を車両側面とドア領域と判定し、判定した車両側面とドア領域を抽出し、抽出した車両側面とドア領域を車両側面情報としてカラー画像データと共に車体色判別処理部130に渡す。ただし、これは、カラーカメラ30が車両の右上方に設置されている場合であり、カラーカメラ30が左上方に設置されている場合には、特定領域抽出部120cは、左テールランプと右前輪のタイヤ間の中点を検出することになる。
7つ目として、特定領域抽出部120cは、車両側面に文字が書かれている場合に、サイドミラー位置情報、タイヤ位置情報およびテールランプ位置情報を基にして、カラー画像上のサイドミラーの位置、タイヤの位置およびテールランプの位置を特定し、右前後輪のタイヤ、右テールランプ、右サイドミラーで囲まれる領域を車両側面とドア領域として区切り、区切った領域内に含まれる文字以外を車両側面とドア領域として抽出する。
そして、特定領域抽出部120cは、抽出した車両側面とドア領域の情報を車両側面情報として、カラー画像データと共に車体色判別処理部130に渡す。ただし、これは、カラーカメラ30が車両の右上方に設置されている場合であり、カラーカメラ30が車両の左上方に設置されている場合には、左前後輪のタイヤ、左テールランプ、左サイドミラーで囲まれる領域を車両側面とドア領域として区切り、区切った領域内に含まれる文字以外を車両側面とドア領域として抽出することになる。
8つ目として、特定領域抽出部120cは、車両側面の色が二色以上に分かれている場合に、サイドミラー位置情報、タイヤ位置情報およびテールランプ位置情報を基にして、カラー画像上のサイドミラーの位置、タイヤの位置およびテールランプの位置を特定し、右前後輪のタイヤ、右テールランプ、右サイドミラーで囲まれる領域を車両側面とドア領域として区切り、区切った領域外周から内側に向かって属性情報のいずれか一つ、或いは全て、或いはいずれかの組み合わせの検出を行い、属性情報の各要素の変化のない領域をそれぞれ抽出し、それらの領域が重なる領域毎に色識別を行い、車両の色は複数色であると判定する。
そして、特定領域抽出部120cは、区切った領域を車両側面とドア領域として抽出し、抽出した領域の情報を車両側面情報として、カラー画像データおよび車両の側面は複数色である旨の情報を車体色判別処理部130に渡す。ただし、これは、カラーカメラ30が車両の右上方に設置されている場合であり、カラーカメラ30が車両の左上方に設置されている場合には、特定領域抽出部120cは、左前後輪のタイヤ、左テールランプ、左サイドミラーで囲まれる領域を車両側面およびドア領域として区切り、区切った領域の外周から内側に向かって属性情報を検出することになる。
車体色判別処理部130は、特定部位抽出処理部120から車両の特定部位の情報(ボンネット領域情報、ルーフ領域情報、車両側面情報、トランク領域情報)およびカラー画像データを取得し、取得した特定部位の情報およびカラー画像データを基にして、特定部位の色を判別する処理部である。
また、この車体色判別処理部130は、カラー画像データに含まれる、カラー画像が撮影された時間や場所の情報と、カラー画像データと、特定部位抽出処理部120が抽出した車両の特定部位の情報と、特定部位の色の情報とを関連付けて、画像データ記憶部140に記憶する。
画像データ記憶部140は、カラー画像が撮影された時間や場所の情報と、カラー画像データと、特定部位抽出処理部120が抽出した車両の特定部位の情報と、特定部位の色の情報とを関連付けて記憶する記憶部である。
次に、本実施例にかかる画像蓄積サーバ100の処理について説明する。なお、ここでは、各特定部位を抽出する代表的な手法に関するフローチャートのみを示し、その他の手法に関するフローチャートは省略する。図8は画像蓄積サーバ100の処理手順を示すフローチャートである。同図に示すように、画像蓄積サーバ100は、画像データ管理部110が、白黒画像データおよびカラー画像データを取得し(ステップS101)、白黒画像データ及びカラー画像データを特定部位抽出処理部120に渡す(ステップS102)。
そして、カラーカメラが撮影を車両の前面から行っている場合には(ステップS103Yes)、車両前面からの特定領域抽出処理を行い(ステップS104)、車両色判別処理部130が特定部位の色を判別し(ステップS106)、カラー画像データおよび特定部位の色の情報などを画像データ記憶部140に記憶する(ステップS107)。
一方、カラーカメラが撮影を車両の背面から行っている場合には(ステップS103,No)、車両背面からの特定領域抽出処理を行い(ステップS105)、ステップS106に移行する。
次に、図8のステップS104に示した車両前面からの特定領域抽出処理について説明する(ここでは、車両前面から特定領域を抽出する代表的な手法を3通り示す)。図9は、図8のステップS104に示した車両前面から特定領域抽出処理を示すフローチャート(1)である。なお、図10は、図9のフローチャートに示される車両の各部分を説明するための説明図である。
同図に示すように、パーツ検出部120bがカラー画像の車体領域の中で、出っ張りとなる部分をサイドミラー5aと特定し(ステップS201)、ナンバープレート検出部120aが白黒画像の車体領域下部に存在するナンバープレートを抽出する(ステップS202)。
そして、ナンバープレート検出部120aが白黒画像から抽出したナンバープレートをカラー画像に重ねて、カラー画像のナンバープレート5bを抽出し(ステップS203)、特定領域抽出部120cがサイドミラー5aとナンバープレート5bで三角形5cを構成する(ステップS204)。
続いて、特定領域抽出部120cが三角形5cの中点5dを中心に円状に輝度(ここでは、属性情報に含まれる各要素の一例として輝度を示す)の変化を検出し、変化の見られない領域(検出する属性情報の要素が複数存在する場合<例えば、色相、明度、彩度>には、各要素の変化の見られない領域が重なる領域)を抽出し(ステップS206)、抽出した領域をボンネット領域と特定する(ステップS207)。
このように、特定領域抽出部120cが、サイドミラーとナンバープレートで三角形を構成し、三角形の中点を中心に属性情報の変化を検出し、変化の見られない領域をボンネット領域として抽出するので、環境条件によらず、カラー画像上のボンネット領域を正確に抽出することができる。
なお、図9の例では白黒画像を利用して、カラー画像からナンバープレートを抽出したが、カラー画像から直接ナンバープレートを抽出してもよい。
図11は、図8のステップS104に示した車両前面からの特定領域抽出処理を示すフローチャート(2)である。なお、図12は、図11のフローチャートに示される車両の各部分を説明するための説明図である。
同図に示すように、パーツ検出部120bがカラー画像の車体領域内で、出っ張りとなる部分をサイドミラー6aと特定し(ステップS301)、ナンバープレート検出部120aが白黒画像の車体領域下部に存在するナンバープレートを抽出する(ステップS302)。
そして、ナンバープレート検出部120aが白黒画像から抽出したナンバープレートをカラー画像に重ねて、カラー画像のナンバープレート6bを抽出し(ステップS303)、特定領域抽出部120cがサイドミラー6aとナンバープレート6bで三角形6cを構成し(ステップS304)、三角形6cの中点6dを検出する(ステップS305)。
続いて、特定領域抽出部120cが三角形6cの中点6dに対して、ナンバープレート6bの位置と点対称になる点6eを検出し(ステップS306)、点6eを中心に円状に輝度(ここでは、属性情報に含まれる各要素の一例として輝度を示す)の変化を検出し、変化の見られない領域(検出する属性情報の要素が複数存在する場合<例えば、色相、明度、彩度>には、各要素の変化の見られない領域が重なる領域)を抽出し(ステップS307)、抽出した領域をルーフ領域と特定する(ステップS308)。
このように、特定領域抽出部120cが、サイドミラーとナンバープレートの三角形の中点を検出し、三角形の中点に対して、ナンバープレートの位置と点対称になる点を検出し、点対称となる点を中心にして属性情報の変化を検出し、変化の見られない領域をルーフ領域として抽出するので、環境条件によらず、カラー画像上のルーフ領域を正確に抽出することができる。
なお、図11の例では白黒画像を利用して、カラー画像からナンバープレートを抽出したが、カラー画像から直接ナンバープレートを抽出してもよい。
図13は、図8のステップS104に示した車両前面から特定領域抽出処理を示すフローチャート(1)である。なお、図14は、図13のフローチャートに示される車両の各部分を説明するための説明図である。
同図に示すように、パーツ検出部120bがヘッドランプ領域7aを特定する(ステップS401)。ヘッドランプ領域を特定する際、車両領域右側に接する輝度(ここでは、属性情報に含まれる各要素の一例として輝度を示す)に違いがあり、範囲の狭い領域とその左端から左に向かって輝度の変化を検出し、同程度の輝度になる領域をヘッドランプ領域とする。
そして、ナンバープレート検出部120aが白黒画像の車体領域下部に存在するナンバープレートを抽出し(ステップS402)、白黒画像から抽出したナンバープレートをカラー画像に重ねて、カラー画像のナンバープレート7bを抽出する(ステップS403)。
続いて、特定領域抽出部120cが右ヘッドランプ7a(車両を正面から見た場合)を中心点として、ナンバープレート7bの位置と点対称になる点7cを検出する(ステップS404)。
そして、特定領域抽出部120cが検出した点7cを中心に輝度(ここでは、属性情報に含まれる各要素の一例として輝度を示す)の変化を検出し、変化の見られない領域(検出する属性情報の要素が複数存在する場合<例えば、色相、明度、彩度>には、各要素の変化の見られない領域が重なる領域)を抽出し(ステップS405)、抽出した領域を車両側面およびドア領域と特定する(ステップS406)。
このように、特定領域抽出部120cが、ヘッドランプとナンバープレートを検出し、ヘッドランプを中心点として、ナンバープレートの位置と点対称になる点を検出し、点対称となる点を中心にして属性情報の変化を検出し、変化の見られない領域を車両側面およびドア領域として抽出するので、環境条件によらず、カラー画像上の車両側面およびドア領域を正確に抽出することができる。
なお、図13の例では白黒画像を利用して、カラー画像からナンバープレートを抽出したが、カラー画像から直接ナンバープレートを抽出してもよい。
次に、図8のステップS105に示した車両背面からの特定領域抽出処理について説明する(ここでは、車両背面から特定領域を抽出する代表的な手法の一例を示す)。図15は、図8のステップS105に示した車両背面から特定領域抽出処理を示すフローチャートである。なお、図16は、図15のフローチャートに示される車両の各部分を説明するための説明図である。
同図に示すように、パーツ検出部120bがテールランプ領域8aを検出する(ステップS501)。テールランプ領域を検出する際、車両領域左側に接する輝度(ここでは、属性情報に含まれる各要素の一例として輝度を示す)に違いがあり、範囲の狭い領域とその上部右端から右に向かって輝度の変化を検出し、同程度の輝度になる領域をテールランプ領域とする。
そして、特定領域抽出部120cが白黒画像の車体領域下部に存在するナンバープレートを抽出し(ステップS502)、白黒画像から抽出したナンバープレートをカラー画像に重ねて、カラー画像のナンバープレート8bを抽出する(ステップS503)。
そして、特定領域抽出部120cが二つのテールランプ領域8aの上部間を中心線8cとして、ナンバープレート8bの位置と線対称となる点8dを検出する(ステップS504)。
続いて、特定領域抽出部120cが検出した点8dを中心に円状に輝度(ここでは、属性情報に含まれる各要素の一例として輝度を示す)の変化を検出し、変化の見られない領域(検出する属性情報の要素が複数存在する場合<例えば、色相、明度、彩度>には、各要素の変化の見られない領域が重なる領域)を抽出し、抽出した領域をトランク領域と特定する(ステップS506)。
このように、特定領域抽出部120cが、テールランプ領域上部間の中心線とナンバープレートの位置とを基にして、中心線に対してナンバープレートの位置と線対称となる点を検出し、検出した点を中心に属性情報の変化を検出し、変化の見られない領域をトランク領域として抽出するので、環境条件によらず、カラー画像上のトランク領域を正確に抽出することができる。
上述してきたように、本実施例にかかる画像蓄積サーバ100は、画像データ管理部110が、白黒画像データおよびカラー画像データを取得し、取得した各画像データを特定部位抽出処理部120に渡し、特定部位抽出処理部120が、カラー画像上の車両の特徴的な部分(ナンバープレート、サイドミラー、フロントミラー、ヘッドランプ等)を検出し、検出した部分を基にして車両の特定の部位(ボンネット領域、ルーフ領域、車両側面とドア領域、トランク領域等)を検出するので、環境条件などの影響を受けることなく、車両の色を判別すべき部位を正確に検出することができる。
ところで、上記の実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することによって実現することができる。そこで、以下では、図17を用いて、上記の実施例と同様の機能を有する特定部位抽出プログラムを実行するコンピュータの一例を説明する。図17は、特定部位抽出プログラムを実行するコンピュータを示す図である。
同図に示すように、特定部位抽出装置としてのコンピュータ300は、カメラインターフェース装置310、LANインターフェース装置320、RAM330、HDD340およびCPU350をバス360で接続して構成される。ここで、カメラインターフェース装置310は、白黒カメラまたはカラーカメラとの間でデータ通信を行うための装置であり、LANインターフェース装置320は、クライアント端末とデータ通信を行うための装置である。
そして、HDD340には、上記の実施例と同様の機能を発揮する特定部位抽出プログラム、つまり、図17に示すように、画像データ管理プログラム340a、特定部位検出処理プログラム340bが予め記憶されている。
そして、CPU350が、これらのプログラム340a,340bをHDD340から読み出して実行することで、図18に示すように、各プログラム340a,340bは、画像データ管理プロセス350a、特定部位検出処理プロセス350bとして機能するようになる。画像データ管理プロセス350aは、図3に示した画像データ管理部110に対応し、特定部位検出処理プロセス350bは、図3に示した特定部位抽出処理部120および車体色判別処理部130に対応する。
また、RAM330には、図18に示すように、画像データ330aが記録される。そして、CPU350は、車両の特定部位の領域などを抽出し、抽出した特定領域の情報や車両の画像などを、画像データ330aとしてRAM330に記憶する。
ところで、上記したプログラム350a、350bについては、必ずしも最初からHDD340に記憶させておく必要はなく、例えば、コンピュータに挿入されるフレキシブルディスク(FD)、CD−ROM、MOディスク、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」または、公衆回線、インターネット、LAN、WANなどを介してコンピュータ300に接続される「他のコンピュータ(またはサーバ)」などに各プログラムを記憶させておき、コンピュータ300がこれらから各プログラムを読み出して実行するようにしてもよい。
(付記1)車両の特定の部位を抽出する特定部位抽出プログラムであって、
車両の画像を基にして、該車両の特徴的な部分を検出する特徴部分検出手順と、
前記特徴部分検出手順において検出された車両の特徴的な部分を基にして、該車両の特定の部位を抽出する特定部位抽出手順と、
をコンピュータに実行させることを特徴とする特定部位抽出プログラム。
(付記2)前記特定部位抽出手順は、前記車両の特徴的な部分を基にして、車両領域内の所定の部分を特定する部分特定手順と、前記部分特定手順において特定された部分周辺の光や色の情報を含んだ属性情報を検出し、該検出した属性情報において大きな変化が見られない領域を前記車両の特定の部位として抽出する抽出手順とをさらにコンピュータに実行させることを特徴とする付記1に記載の特定部位抽出プログラム。
(付記3)前記特定部位抽出手順は、前記車両の特徴的な部分を基にして、特定の領域を区切り、該区切った領域を前記車両の特定の部位として抽出することを特徴とする付記1に記載の特定部位抽出プログラム。
(付記4)前記特定部位抽出手順は、前記区切った領域内に文字が存在する場合に、区切られた領域の内、文字以外の領域を前記車両の特定の部位として抽出することを特徴とする付記3に記載の特定部位抽出プログラム。
(付記5)前記特徴部分検出手順は、車両の二つのサイドミラーおよびナンバープレートを検出し、前記部分特定手順は、二つのサイドミラーとナンバープレートとを三角形に見立て、該三角形の中点を特定し、前記抽出手順は、前記中点から円状に前記属性情報の検出を行い、該属性情報の変化のない領域をボンネット領域として抽出することを特徴とする付記2に記載の特定部位抽出プログラム。
(付記6)車両の特定の部位を抽出する特定部位抽出装置であって、
車両の画像を基にして、該車両の特徴的な部分を検出する特徴部分検出手段と、
前記特徴部分検出手段において検出された車両の特徴的な部分を基にして、該車両の特定の部位を抽出する特定部位抽出手段と、
を備えたことを特徴とする特定部位抽出装置。
(付記7)前記特定部位抽出手段は、前記車両の特徴的な部分を基にして、車両領域内の所定の部分を特定する部分特定手段と、前記部分特定手段において特定された部分周辺の光や色の情報を含んだ属性情報を検出し、該検出した属性情報において大きな変化が見られない領域を前記車両の特定の部位として抽出する抽出手段とをさらに備えたことを特徴とする付記6に記載の特定部位抽出装置。
(付記8)前記特定部位抽出手段は、前記車両の特徴的な部分を基にして、特定の領域を区切り、該区切った領域を前記車両の特定の部位として抽出することを特徴とする付記6に記載の特定部位抽出装置。
(付記9)車両の特定の部位を抽出する特定部位抽出方法であって、
車両の画像を基にして、該車両の特徴的な部分を検出する特徴部分検出工程と、
前記特徴部分検出工程において検出された車両の特徴的な部分を基にして、該車両の特定の部位を抽出する特定部位抽出工程と、
を含んだことを特徴とする特定部位抽出方法。
(付記10)前記特定部位抽出工程は、前記車両の特徴的な部分を基にして、車両領域内の所定の部分を特定する部分特定工程と、前記部分特定工程において特定された部分周辺の光や色の情報を含んだ属性情報を検出し、該検出した属性情報において大きな変化が見られない領域を前記車両の特定の部位として抽出する抽出工程とをさらに含んだことを特徴とする付記9に記載の特定部位抽出方法。
(付記11)前記特定部位抽出工程は、前記車両の特徴的な部分を基にして、特定の領域を区切り、該区切った領域を前記車両の特定の部位として抽出することを特徴とする付記9に記載の特定部位抽出方法。