JP2007164737A

JP2007164737A - 色識別方法

Info

Publication number: JP2007164737A
Application number: JP2005364117A
Authority: JP
Inventors: Satoshi Chazono; 聡茶園; Kiichi Sugimoto; 喜一杉本; Masahiro Inoue; 正博井上
Original assignee: Mitsubishi Heavy Industries Ltd
Current assignee: Mitsubishi Heavy Industries Ltd
Priority date: 2005-12-16
Filing date: 2005-12-16
Publication date: 2007-06-28

Abstract

【課題】どのような照明条件下においても、正確に色を判別できる色識別方法を提供する。
【解決手段】予め様々な照明条件下で撮像された画像を元に作成した色識別用テンプレートを用意し、撮像画像における黒色領域、または、黒色領域が見いだせない場合は白色領域を抽出する第１のステップと、特定部分を構成する画素のＲ（赤）、Ｇ（緑）、Ｂ（青）値を、画素毎に明度情報が分離されたｘｙＹ色空間、またはＨＳＩ色空間に変換する第２のステップと、前記画像を撮像した時の照明条件に対応した前記色識別用テンプレートと前記ｘｙＹ色空間、またはＨＳＩ色空間に変換した各画素毎を比較し、画素毎に各色クラスとのマハラノビス距離を計算して最も距離が近い色を抽出し、所定ブロック内における色の数を積算する第３のステップと、前記所定ブロック内における最も数が多かった色を前記所定ブロック内の色と識別する第４のステップとで特定部分の色を特定する。
【選択図】図３

Description

本発明は、照明条件が変化する条件下における色識別方法に係り、特に、天候や時刻、時刻と密接な関係のある大陽の高さなどの環境条件や、或いは夜間の照明などの照明条件に左右されずに正確に色を識別できる色識別方法に関するものである。

例えば高速道路を走行している車や駐車場に駐車している車の色を、撮像した画像によって判別しようとすると、その撮像画像の色調は、天候や時刻、時刻と密接な関係のある大陽の高さなどの環境条件や、夜間の照明などの照明条件によって変化する。そのため、撮像画像における車の部分の画素から単純に色を判断しようとしても、晴天の日中は或る程度正確な色の識別が可能であるが、例え晴天であっても早朝や夕方は全体に赤みが強くなり、また、例え日中であっても曇天の場合は青みが増え、さらに蛍光灯などによる照明の場合は緑がかった色になるなど、正確な識別が困難になる場合がある。

こういった、屋外に設置した撮像装置で撮像した画像の色を正確に識別する方法としては、まず、予め、例えばｘｙＹ色空間、ＨＳＩ色空間等内において、ある照明条件下で撮像した画像データを基に、識別させたい特定の色毎の基準パターンや領域を設定しておき、次に、識別対象のカラー画像の各画素や画像領域のＲＧＢ値の平均輝度に対し、例えばｘｙＹ色空間、ＨＳＩ色空間等への特徴量変換を行ない、この変換した対象の特徴量ベクトルが、識別させたい特定の色毎の基準パターンに最も近いか、もしくはどの色の領域に含まれるかを判別し、該当色を識別結果として出力する方法が知られている（以下、従来技術と称する）。

また、特許文献１には、道路上の通過車両のカラー画像を出力するカメラからの画像から車両の塗色を判別するため、判別エリア内におけるカラー画像のＲ（赤）、Ｇ（緑）、Ｂ（青）各成分の平均輝度値を計算し、このＲＧＢの各平均輝度値から白色、黒色、有彩色のいずれかの識別を行う白黒判定手段と、白黒判定手段で有彩色と識別された場合にＲＧＢの平均輝度値に対応する色度図に基づき、色名を判定する色判定手段とを備えた車色判別装置が開示されている。

さらに特許文献２には、車のナンバープレートに用いられている色は特定の色のみであることに着目し、色識別部における色抽出回路で、撮像信号が所定レベル以内であるか否かによって、ナンバープレートに用いられる色か否かを判断するナンバープレート抽出装置が示されている。

特開２０００−２２２６７３号公報特開平６−２２３１５６号公報

しかしながら、前記従来技術では、前記したように屋外の照明条件が変化する環境で撮像されたカラー画像においては、照明条件の変化で入力した色情報のバランスが変化し、同じ色であっても画像上での色情報が変化する。従って予め設定しておいた基準パターンや領域により識別を行おうとすると、識別に失敗する可能性がある。

また、特許文献１、２に開示された装置も、白黒判定手段で有彩色と識別された場合にＲＧＢの平均輝度値に対応する色度図に基づいて色の判定を行ったり（特許文献１）、色抽出回路で撮像信号が所定レベル以内であるか否かの判断をしているが、従来技術と同様、照明条件の変化に対しては何ら対策が施されていないため、照明条件の変化で判別がうまく行えない可能性がある。

そのため本発明においては、どのような照明条件下においても、正確に色を判別できる色識別方法を提供することが課題である。

上記課題を解決するため本発明における色識別方法は、
屋外に設置した撮像装置により撮像した画像における特定部分の色を識別する色識別方法であって、
予めある特定の照明条件下で撮像された画像を元に作成した色識別用テンプレートを用意し、
前記画像における黒色領域、または、黒色領域が見いだせない場合は白色領域を抽出し、黒色領域を抽出した場合はブラックバランスを、白色領域を抽出した場合はホワイトバランスを調整するか、または黒色領域も白色領域も見いだせない場合はカラーバランスの調整を行わないようにした第１のステップと、
前記特定部分を構成する画素のＲ（赤）、Ｇ（緑）、Ｂ（青）値を、画素毎に明度情報が分離されたｘｙＹ色空間、またはＨＳＩ色空間に変換する第２のステップと、
前記画像を撮像した時の照明条件に対応した前記色識別用テンプレートと前記ｘｙＹ色空間、またはＨＳＩ色空間に変換した各画素毎を比較し、画素毎に各色クラスとのマハラノビス距離を計算して最も距離が近い色を抽出し、前記特定部分内における色の数を積算する第３のステップと、
前記特定部分内における最も数が多かった色を前記特定部分内の色と識別する第４のステップとからなり、
前記第１のステップでカラーバランスを調整し、前記第３のステップで、前記第２のステップでｘｙＹ色空間、またはＨＳＩ色空間に変換した各画素の各色クラスに対するマハラノビス距離を計算して第４のステップで前記特定部分の色を特定することを特徴とする。

このように、まず撮像画像のブラックバランス、またはホワイトバランスの調整により、ある特定の照明条件に対応するようにＲ（赤）、Ｇ（緑）、Ｂ（青）値を調整することができ、様々な照明条件下における照明条件変化（色温度変化）に対応することができる。また、ある特定の照明条件下で撮像した多数の画像データから作成した色識別用テンプレートを用い、統計的パターン認識手法であるマハラノビス距離を計算することで、高精度に色識別を行うことが可能となる。

そして、前記第１のステップにおいて、前記画像を撮像した時の撮像時刻に対応したカラーバランス調整用パラメータを用いてブラックバランス、またはホワイトバランスを調整したり、前記第１のステップにおいて、前記画像を撮像した時の天候に対応したカラーバランス調整用パラメータを用いてブラックバランス、またはホワイトバランスを調整することで、さらに、撮像時間帯の変化による色情報変動や、天候変化による色情報変動に対応したカラーバランス調整を行うことが可能となる。

また、前記色識別用テンプレートを、前記画像を撮像した時の撮像時刻に対応させて作成したり、前記色識別用テンプレートを、前記画像を撮像した時の天候に対応させて作成することで、撮像時間帯や天候の変化による色情報変動が生じた場合でも、それぞれに最適なテンプレートを随時選択することができ、高精度に識別処理を行うことが可能となる。

さらに、前記第３のステップにおけるマハラノビス距離計算の結果、各画素の最もマハラノビス距離が近い色と２番目に近い色との差が閾値より低い場合、前記画素の色を不明、または「１位の色」と「２位の色」を出力することにより、識別結果１位の信頼度が低い場合における各画素の色の誤識別を防ぐことが可能となる。

そして、前記閾値は、前記「１位の色」と「２位の色」の組み合わせによって値を異ならせたり、前記閾値は、「１位の色」と「２位の色」の色相が近い場合は遠い場合に比し、大きくすることで、例えば赤と黄色のように色空間において色相が近い色では両者の間違いが起こり易いが、赤と緑のように色相が遠い色では間違いが起こりにくいから、適切な識別処理を行うことが可能となって信頼度を向上させることができる。

また、前記第３のステップのマハラノビス距離計算の結果を積算した色のうち、最も数の多い色と２番目に多い色との差が閾値より低い場合、前記第４のステップにおいて特定ブロック内の色を不明、または「１位の色」と「２位の色」を出力することにより、投票結果１位の信頼度が低い場合の誤識別を防ぐことが可能となる。

そして、前記閾値は、前記「１位の色」と「２位の色」の組み合わせによって値を異ならせたり、前記閾値は、「１位の色」と「２位の色」の色相が近い場合は遠い場合に比し、小さくすることで、例えば赤と黄色のように色空間において色相が近い色では両者の間違いが起こり易いが、赤と緑のように色相が遠い色では間違いが起こりにくいから、適切な識別処理を行うことが可能となって信頼度を向上させることができる。

また、前記第２のステップで明度情報が分離されたｘｙＹ色空間、またはＨＳＩ色空間に変換した各画素におけるＲ（赤）、Ｇ（緑）、Ｂ（青）値が予め定めた彩度閾値より小さい場合、または最低明度閾値より小さいか最大明度閾値より大きい場合、無彩色であると判定して前記第３ステップのマハラノビス距離計算を行わないことで、マハラノビス距離計算は計算量が非常に大きいから、それだけ処理を高速に行うことが可能となる。

さらに、前記様々な照明条件下で撮像された画像から作成した色識別用テンプレートを、輝度（明度）毎に２次元テンプレートとして用意し、前記第３のステップで、各画素毎の輝度（明度）を算出して対応した前記２次元テンプレートを用い、前記マハラノビス距離を算出することで、通常、色空間において３次元で計算されるマハラノビス距離計算が２次元となることで大幅な計算量低減が可能となり、それだけ処理を高速に行うことが可能となる。

そして、前記第３のステップにおける画素毎のマハラノビス距離計算を、前記ｘｙＹ色空間、またはＨＳＩ色空間の両者で行って最も距離が近い色を抽出することで、マハラノビス距離はｘｙＹ色空間とＨＳＩ色空間で異なるから、分離度の良さ、悪さを複数の色空間によって補うことができ、識別の精度を向上させることが可能である。

以上記載のごとく本発明になる色識別方法によれば、屋外における照明条件変動によって撮像画像の色情報が変動した場合でも、高精度な色識別を行うことが可能となる。

以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。

図１は、本発明になる色識別方法を実施する色識別装置のブロック図であり、以下の説明では、一例として道路を走行している車の色を識別する場合を例に説明を進めるが、本発明は屋外に設置されたり行き来する種々の被写体の色を識別するのに用いることができるのは自明である。

１は色の識別を行うものを撮像するカメラ（画像入力部）で、そのカメラ１で撮像された画像は２の画像メモリに記憶され、識別対象領域抽出部３と表示部７に送られる。識別対象領域抽出部３には環境情報入手部４から、画像を撮像した時刻、天候などの環境情報が送られ、例えば図２（Ａ）に示したような道路を走行する車９の、例えば図２（Ｂ）における１０で示したボンネットの部分の色を識別する場合、パターンマッチングなどの方法を用いてこのボンネット部分を抽出する。

そしてこの抽出された画像１０は色識別部５に送られ、本発明の色識別方法によって色の識別が行われて出力部６により、表示部７への表示と色識別結果８の出力が行われる。

図３、図４は、この色識別部５において行われる色識別処理のフロー図であり、図３（Ａ）は、この色識別処理においてブラックバランスやホワイトバランスを行うため、識別対象領域抽出部３で抽出される画像中の黒色領域１１、１２、白色領域１３を示した図である。また、図４における（Ｂ）はフロー図におけるステップＳ４４の色識別処理の内容を説明するための図、（Ｃ）はフロー図におけるステップＳ４６の投票処理の内容を説明するための図、（Ｄ）はフロー図におけるステップＳ４８の色識別結果確定の内容を説明するための図である。

この図３、図４に従って本発明になる色識別方法を説明すると、まずステップＳ３１において図２（Ａ）に示したような撮像画像から、グレースケール（明度）のみの画像を作成する。そしてそのグレースケール（明度）画像から、次のステップＳ３２、３３で黒画素の領域を求める。

この処理は、予め、この輝度以下は必ず黒であると判断するための閾値１、ブラックバランス調整を行うために必要な画素数である閾値２、黒色であると判断できるＲ＿ｍ、Ｇ＿ｍ、Ｂ＿ｍの範囲を設定するための閾値３を設定しステップＳ３２に記してあるように、まず、Ｉ＜（閾値１）となる画素Ｉの「画素数」と「Ｒ（赤）、Ｇ（緑）、Ｂ（青）値の平均値（Ｒ＿ｍ、Ｇ＿ｍ、Ｂ＿ｍ）」を求め、ステップＳ３３で、画素数が閾値２以上で、かつ、（Ｒ＿ｍ、Ｇ＿ｍ、Ｂ＿ｍ）の差の最大値が閾値３以下であるかどうかでブラックバランス調整に有効な黒色領域か否かを判定する。すなわち、Ｒ＿ｍ、Ｇ＿ｍ、Ｂ＿ｍの差が閾値３以下である画素が、閾値２以上ある場合はブラックバランス調整可と判断する。

すなわち、例えば図３（Ａ）に示したように、車が走行している道路の両路側１１、１２がいずれも黒く、それぞれの画素数が閾値２以上あり、しかもこの部分の画素毎のＲ（赤）、Ｇ（緑）、Ｂ（青）値の平均値（Ｒ＿ｍ、Ｇ＿ｍ、Ｂ＿ｍ）の差が閾値３以下である場合、ブラックバランス調整に有効な黒色領域と判断するわけである。

このようにブラックバランス調整に有効な黒色領域と判断される領域１１または１２がある場合、次のステップＳ３４に進み、このステップＳ３４でブラックバランスの調整が行われる。これは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）値の平均値（Ｒ＿ｍ、Ｇ＿ｍ、Ｂ＿ｍ）における最小値から、Ｒ＿ｍ、Ｇ＿ｍ、Ｂ＿ｍを減じてそれぞれΔＲ、ΔＧ、ΔＢとし、画像全体に対する画素にこのΔＲ、ΔＧ、ΔＢを加算して、新たなＲ（赤）、Ｇ（緑）、Ｂ（青）値を求めて行われる。

このようにブラックバランスを調整することにより、ある特定の照明条件に対応するようにＲ（赤）、Ｇ（緑）、Ｂ（青）値を調整することができ、様々な照明条件下における照明条件変化（色温度変化）に対応することができる。

なお、通常、カラーバランスの調整はホワイトバランスで行われるが、こういった道路を走行している車の場合、例えば太陽光が反射して白とびを起こして明度が大きくなっていると、その部分を白色領域と判断してしまう場合があり、この場合、正確なカラーバランス調整ができなくなるからである。

ただし、撮像画像の中に黒色領域が発見できない場合、すなわち、ステップＳ３３において黒画素が閾値２以下であるか、（Ｒ＿ｍ、Ｇ＿ｍ、Ｂ＿ｍ）の差の最大値が閾値３以上の場合、ステップＳ３６に進んでホワイトバランスを調整する。

まず、前記ブラックバランスの場合と同様、予め、この輝度以上は必ず白であると判断するための閾値４、ホワイトバランス調整を行うために必要な画素数である閾値５、白であると判断できるＲ＿ｍ、Ｇ＿ｍ、Ｂ＿ｍの範囲を設定するための閾値６を設定する。そして、ステップＳ３６で、先にステップＳ３１で求めたグレースケール（明度）画像から、Ｉ＜（閾値４）＆＆（Ｒ！＝２５５＆＆Ｇ！＝２５５＆＆Ｂ！＝２５５）となる画素Ｉの「画素数」と「Ｒ（赤）、Ｇ（緑）、Ｂ（青）値の平均値（Ｒ＿ｍ、Ｇ＿ｍ、Ｂ＿ｍ）」を求める。そしてステップＳ３７で、画素数が閾値５以上で、かつ、（Ｒ＿ｍ、Ｇ＿ｍ、Ｂ＿ｍ）の差の最大値が閾値３以下であるかどうかを判断する。すなわち、Ｒ＿ｍ、Ｇ＿ｍ、Ｂ＿ｍの差が閾値６以下である画素が、閾値５以上ある場合はホワイトバランス調整可と判断する。

すなわち、例えば図３（Ａ）に示したように走行している車の前面部分、或いはナンバープレートなどの部分１３に白色領域があり、画素数が閾値５以上で、しかもこの部分の画素毎のＲ（赤）、Ｇ（緑）、Ｂ（青）値の平均値（Ｒ＿ｍ、Ｇ＿ｍ、Ｂ＿ｍ）の差が閾値６以下である場合、ホワイトバランス調整に有効な白色領域と判断するわけである。

なお、このようにしてもステップＳ３７でホワイトバランス調整に有効な白色領域が見いだせなかった場合、ステップＳ４０に進んで撮像画像全体の色がある有彩色が支配的である、と判断し、誤調整が行われるのを防ぐ。

そして、このステップＳ３７で白色領域が見いだせた場合はステップＳ３８に進み、Ｒ（赤）、Ｇ（緑）、Ｂ（青）値の平均値（Ｒ＿ｍ、Ｇ＿ｍ、Ｂ＿ｍ）における最小値から、Ｒ＿ｍ、Ｇ＿ｍ、Ｂ＿ｍを減じてそれぞれΔＲ、ΔＧ、ΔＢとし、画像全体に対する画素にこのΔＲ、ΔＧ、ΔＢを加算して、新たなＲ（赤）、Ｇ（緑）、Ｂ（青）値を求めてホワイトバランスの調整が行われる。

こうしてカラーバランス調整が済んだら、処理はステップＳ４１から図４におけるステップＳ４２に進む。このステップＳ４２においては、画素のＲ（赤）、Ｇ（緑）、Ｂ（青）値を画素毎に、前記従来技術で述べたように、例えばｘｙＹ色空間、またはＨＳＩ色空間等への特徴量変換を行なう。そして次のステップＳ４３で、前記図１の識別対象領域抽出部３で求めた領域の画素数をカウント値としてセットし、ステップＳ４４で色を識別する画素を、ある照明条件下で撮像した多数の画像から作成した、図４（Ｂ）に１６で示した色識別用テンプレートと比較する。

すなわち図４（Ｂ）に示したように、撮像画像における色を判別する特定ブロック（前記色識別対象領域）１４における個々の画素１５を、この色識別用テンプレート１６と比較し、次いでステップＳ４５で、公知のマハラノビス距離計算を行ってパターンマッチングを行ない、例えばｘｙＹ色空間、またはＨＳＩ色空間における最も距離が近い色を抽出し、それを画素１５の色として例えば「赤」１７のように特定する。

こうして１つの画素の色が特定されたら、次のステップＳ４６で、所定ブロック１４内における識別処理で得られた色毎に図４（Ｃ）に示したように数を計数する。これは、図４（Ｂ）において１４で示した特定ブロック１４が例えば３×４の画素でできている場合、画素１５がステップＳ４５で赤と特定されたら、図４（Ｃ）に１８で示したように、今パターンマッチングで特定された画素の色を記憶させると同時に、１９で示したようにブロック１８内の画素の色を色毎に計数するものである。

こうして特定ブロック１８内の画素の色が計数されたら、処理はステップＳ４７に進み、画素が０になっているかどうかがチェックされて、０でなければステップＳ４３に戻ってここで画素の数がデクリメントされ、以上説明したような処理が繰り返される。そしてこのステップＳ４７で画素数が０であることが確認されると、処理がステップＳ４８に進み、図４（Ｄ）に示したように、所定ブロック１８内の画素の色のうちで最も多かった色が赤であるため、識別結果が「赤」として確定され、ステップＳ４９でそれが出力されて終了する。

このように色識別に当たり、まず撮像画像のブラックバランス、またはホワイトバランスを調整することで、ある特定の照明条件に対応するようにＲ（赤）、Ｇ（緑）、Ｂ（青）値を調整することができ、様々な照明条件下における照明条件変化（色温度変化）に対応することができる。また、ある特定の照明条件下で撮像した多数の画像データから作成した色識別用テンプレートを用い、統計的パターン認識手法であるマハラノビス距離を計算することで、高精度に色識別を行うことが可能となる。

なお、以上の説明では、カラーバランス調整や識別処理における処理に当たり、特に時刻や天候を指定してはいなかったが、実際の屋外では、例えば午前１０時以前や午後３時以後（これは季節によっても異なる）の朝や夕方における光線のように、多少赤みの多い光線で照明された状態、午前中なら１０時過ぎ以後、午後なら３時頃までの昼間の光線で照明された状態、以上のそれぞれの時間帯ではあるが曇天、または雨天の状態の光線で照明された状態、夜間の高速道路における街灯に照明された状態など、様々な照明条件によって被写体の色調は微妙に変化する。

そのため、こういった照明条件を左右する様々な要素を取り入れて色の識別を行うと、さらに正確な色識別が可能となる。図５乃至図１０は、このように照明条件を種々変化させ、色識別を行う場合のフロー図であり、まず図５は、カラーバランス調整において撮像時刻を取得してパラメータを選択する場合、図６はその撮像時刻によるパラメータ例を示した図、図７は、同じくカラーバランス調整において天候情報を取得してパラメータを選択する場合、図８はその天候情報によるパラメータ例を示した図である。

また図９は、色の識別処理において撮像時刻を取得して色識別用テンプレートを選択する場合で、（Ａ）は取得する撮像時刻を、（Ｂ）は撮像時刻毎のテンプレートを示しており、図１０は、同じく色の識別処理において天候情報を取得して色識別用テンプレートを選択する場合で、（Ａ）は取得する天候情報を、（Ｂ）は天候毎のテンプレートを示した図である。なお、これら図５乃至図１０において、前記図３、図４と同じ内容のブロックには同一ステップ番号を記載した。

まず、図５の撮像時刻を取得してカラーバランス調整を行う場合であるが、この場合は図６に２０で示したように、カラーバランスを行う場合のパラメータを、朝用（例えば午前１０時以前）２１、昼用（例えば午前１０時以後から午後３時以前）２２、夕方用（例えば午後３時以後）２３という具合に時刻に対応させて用意する。

そして、処理がスタートしたら、図５または図６のステップＳ６０で撮像時刻を取得し、ステップＳ６１で取得した時刻に対応したパラメータを読み出す。時刻が、例えば図６に示したように、朝の９時３０分なら朝用のパラメータ２１を読み出す。そしてステップＳ３３またはステップＳ３７において、朝や夕方は昼に較べて画像が赤みを帯びやすいので、この読み出したパラメータを用いて閾値３、閾値６を大きくし、それによってステップＳ３４、ステップＳ３８の処理を行う。それ以外の処理は、前記図３で説明した処理と全く同じため、説明を省略する。

次に、図７の天候情報を取得してカラーバランス調整を行う場合であるが、この場合は図８に２４で示したように、カラーバランスを行う場合のパラメータを、晴天用２５、曇天用２６という具合に天候に対応させて用意する。

そして、処理がスタートしたら、図７または図８のステップＳ６２で天候情報を取得し、ステップＳ６３で取得した天候に対応したパラメータを読み出す。天候が、例えば図８に示したように、晴天なら晴天用のパラメータ２５を読み出す。そしてステップＳ３３またはステップＳ３７において、晴天の場合は曇天に較べると画像の赤みが多いので、この読み出したパラメータを用いて閾値３、閾値６の値を曇天の場合より大きなものとし、それによってステップＳ３４、ステップＳ３８の処理を行う。それ以外の処理は、前記図３で説明した処理と全く同じため、説明を省略する。

次に、図９の色の識別処理において撮像時刻を取得して色識別用テンプレートを選択する場合であるが、この場合、予め図９（Ｂ）に３０で示したように、色識別用テンプレートを朝用３１、昼用３２、夕方用３３という具合に各時刻に対応したテンプレートを用意する。

そして、処理がスタートしたら、図９のステップＳ７１で、撮像時刻を取得して対応したパラメータを読み出す。時刻が、例えば図９（Ａ）に示したように、朝の９時３０分なら朝用のパラメータ３１を読み出す。そしてステップＳ４４において、この読み出したテンプレートと画素を比較し、ステップＳ４５でマハラノビス距離を計算し、最も距離が近い色を抽出する。それ以外の処理は、前記図４で説明した処理と全く同じため、説明を省略する。

最後に、図１０の色の識別処理において天候情報を取得して色識別用テンプレートを選択する場合であるが、この場合、予め図１０（Ｂ）に３４で示したように、色識別用テンプレートを晴天用３５、曇天用３６という具合に天候に対応したテンプレートを用意する。

そして、処理がスタートしたら、図１０のステップＳ７３で、天候情報を取得して対応したパラメータを読み出す。天候が、例えば図１０（Ａ）に示したように、晴天なら晴天用のパラメータ３５を読み出す。そしてステップＳ４４において、この読み出したテンプレートと画素を比較し、ステップＳ４５でマハラノビス距離を計算し、最も距離が近い色を抽出する。それ以外の処理は、前記図４で説明した処理と全く同じため、説明を省略する。

このように、画像を撮像した時の撮像時刻や天候に対応させ、カラーバランス調整用パラメータや色識別用テンプレートを用意することで、撮像時間帯の変化による色情報変動に対応したり、天候変化による色情報変動に対応した、正確な色識別が可能となる。

なお、カラーバランス調整や色識別処理にあたって時刻を取得してその時刻に対応したパラメータやテンプレートを使う場合、太陽光は同じ時刻であっても季節によって変化する場合があるため、さらに正確を期するために朝用や夕方用は、時刻のパラメータやテンプレートを季節によって用意するようにしても良い。

また、前記図４におけるステップＳ４５で算出されたマハラノビス距離は、場合によっては計算結果が１位の色と２位の色の差が小さく、この結果を基に画素の色を決定した場合、信頼度が低くなる場合がある。例えば赤と黄色は、例えばｘｙＹ色空間、またはＨＳＩ色空間における色相が近く、場合によってどちらとも言えない結果が出ることがある。これは前記図４におけるステップＳ４８における色識別結果の確定における場合も同様である。

このような場合、そのマハラノビス距離計算の結果や識別色の投票結果によって誤識別が起きないようにした場合のフロー図が、図１１、図１２に示したフロー図である。すなわち図１１は、ステップＳ４５におけるマハラノビス距離計算において、１位の色と２位の色のマハラノビス距離が小さかった場合の処理フローであり、図１２は、ステップＳ４８における色識別結果確定の結果、１位の色と２位の色の投票数が僅差である場合の処理フロー図である。

最初に図１１に従って、１位の色と２位の色のマハラノビス距離が小さかった場合の処理フローを説明すると、この場合は予め、図１１に４１で示したような不明閾値デーブルを用意する。これは、１位の色と２位の色のマハラノビス距離の比率を算出したとき、その比率がどの程度の場合計算結果の信頼性が低くなるかを示す値であり、色相の近い色同士では大きく、遠い色は小さいくするなど、細かい設定が可能である。

そして、前記したようにステップＳ４５におけるマハラノビス距離計算を行った後、ステップＳ８０でマハラノビス距離が一番近い色（１位の色）と次に近い色（２位の色）を抽出し、その比率を不明比率として算出する。例えば１位の赤色の距離が４０の表に示したようにｄｉｓｔ１であり、黄色の距離がｄｉｓｔ２であった場合、不明比率はｄｉｓｔ１／ｄｉｓｔ２となる。そして次のステップＳ８１で、不明閾値デーブルから１位の色と２位の色の閾値を選択し、不明比率ｄｉｓｔ１／ｄｉｓｔ２が、この不明閾値より大きいかどうかを判断する。

ここで不明比率ｄｉｓｔ１／ｄｉｓｔ２がこの不明閾値より大きい場合、１位の色を選択すると信頼性が低くなるため、この場合はステップＳ８２に示したように、マハラノビス距離計算の結果は色が「不明」、または１位の色と２位の色の両方を出力するようにする。それ以外の処理は、前記図４で説明した処理と全く同じため、説明を省略する。

次に、前記図４におけるステップＳ４８の色識別結果確定の結果、１位の色と２位の色の投票数が僅差である場合の処理フローを図１２に従って説明すると、この場合も予め、図１２に４７で示したような信頼度閾値デーブルを用意する。これは、１位と投票された色と２位と投票された色の得票数の比率を算出したとき、その比率がどの程度の場合に投票結果の信頼性が低くなるかを示す値であり、色相の近い色同士では小さく、遠い色は大きくするなど、細かい設定が可能である。

そしてこの図１２のフロー図においては、前記したように図４におけるステップＳ４８の色識別結果確定の代わりに、ステップＳ８３と８４、８５が設けられている。そのため、前記図４で説明したようにステップＳ４７までに各画素の色が決定されて投票が行われ、ステップＳ８３に進むと、このステップで画素毎の色の得票数を比較し、最も得票数の多い色（１位の色）と次に多い色（２位の色）を抽出し、その比率を信頼度比率として算出する。

例えば各画素の色が図１２に４５に示したような色であり、各色の得票数が４６に示したような値だとした場合、１位の赤色の数が７で緑色の数が２であるから信頼度は７／２＝３．５となって、信頼度閾値テーブル４７に定めた閾値３．０より大きくなる。そのため、この場合はステップＳ８４において信頼度は低くないと判定されるから、１位の赤が投票結果としてステップＳ４９で出力される。

しかし、１位の色（赤）と２位の色（緑）の比率が３．０より低い場合、ステップＳ８５に行って「不明」、または１位の色と２位の色両方を出力する。なお、ステップＳ８４の信頼度閾値は、この例では３．０として計算したが、１位の色と２位の色が異なると、４７で示した信頼度閾値テーブルの値が採用されることはいうまでもない。また、以上説明した以外の処理は、前記図４で説明した処理と全く同じため、説明を省略する。

前記したように、マハラノビス距離計算とマハラノビス距離計算の結果の投票結果における、「１位の色」と「２位の色」の差が僅差の場合、色の誤識別が発生することがあるが、このようにそれぞれ閾値を定めて誤識別を防ぐことで、信頼性の高い色識別方法を提供することができる。

なお、以上の説明では、識別する画像の領域が全て有彩色である場合を前提としてきたが、こういった色の識別においては、当然のことながら無彩色が対象になる場合がある。この場合、前記図４における色識別処理において、有彩色の場合と同様マハラノビス距離計算が行われるが、前記したようにマハラノビス距離計算はその計算量が非常に多く、処理に時間がかる。そのため、マハラノビス距離計算前に識別する色が有彩色か無彩色かを判断し、無彩色の場合はマハラノビス距離計算を行わないようにすると、処理時間が大幅に低減できる。

この場合のフロー図が、図１３に示したフロー図である。このフロー図においては、まず、ｘｙＹ表色系にて、この値以上は必ず白色であると判断できる明度値を閾値７に、同じくｘｙＹ表色系にてこの値以下は必ず黒色であると判断できる明度値を閾値８に、また、ＨＳＩ表色系にてこの値以上は必ず白色であると判断できる明度値を閾値９に、同じくＨＳＩ表色系にてこの値以下は必ず黒色であると判断できる明度値を閾値１０に、さらにこの値以下は必ず無彩色であると判断できる彩度値を閾値１１に設定する。

そして、ステップＳ４４の識別処理の前に、ステップＳ８６でまず表色系がｘｙＹ表色系かまたはＨＳＩ表色系かを判断する。そしてｘｙＹ表色系の場合はステップＳ８７に進み、明度が閾値７より大きいか閾値８より小さい場合、ステップＳ８９に進んで無彩色と識別し、そうでない場合は有彩色としてステップＳ４４の識別処理に進む。

また、ステップＳ８６においてＨＳＩ表色系と判断された場合はステップＳ８８に進み、明度が閾値９より大きいか閾値１０より小さい場合、及び彩度が閾値１１より小さい場合、ステップＳ８９に進んで無彩色と識別し、そうでない場合は有彩色としてステップＳ４４の識別処理に進む。そしてどちらの場合も無彩色と識別された場合は、ステップＳ４４とステップＳ４５をスキップし、色識別用テンプレートとの比較と、マハラノビス距離計算を行わない。なお、以上説明した以外の処理は、前記図４で説明した処理と全く同じため、説明を省略する。

さらに以上の説明では、マハラノビス距離計算は、全てｘｙＹ表色系かまたはＨＳＩ表色系の３次元空間において行っていたが、３次元空間における計算は計算量が多く、処理に時間がかる。しかし、これを２次元にできれば処理時間が大幅に低減できる。

そのため、前記図４におけるステップＳ４４で使用する色識別用テンプレートを、予めｘｙＹ表色系またはＨＳＩ表色系における輝度（明度）毎の特徴量ベクトルが、２次元となるようなテンプレートとを用意し、ステップＳ４４において、画素の輝度に対応させて使用する色識別用テンプレートを選択し、マハラノビス距離計算を２次元で行えるようにしたのが図１４のフロー図である。

この図１４において、（Ｃ）は以上説明した輝度（明度）毎の特徴量ベクトルが２次元の色識別テンプレートを説明するための図であり、例えばｘｙＹで示す色空間５４において、Ｙの値が小さい領域を領域１、それより大きい領域を領域２、一番大きい領域を領域３とし、それぞれの領域に対応させて色識別用テンプレートを、領域１のテンプレート５３、領域２のテンプレート５２、領域３のテンプレート５１として作っておく。

そしてステップＳ９０において、図１４（Ａ）に示したように、ｘｙＹ表色系の場合は
明度：Ｉ＝１．００００＊Ｒ＋４．５９０７＊Ｇ＋０．０６０１＊Ｂ
を、ＨＳＩ表色系の場合は
明度：Ｉ＝ｍａｘ｛Ｒ、Ｇ、Ｂ｝
を計算して画素がどの領域かを示す明度情報を抽出し、それに基づいてステップＳ９１で図１４（Ｂ）に示したように、色識別用テンプレートを選択する。

以下の処理は前記図４で説明したのと同様であるため省略するが、このようにすることにより、計算量の多いマハラノビス距離計算が２次元で済み、処理の高速化を図ることができる。

また、今までの色識別処理は、全てｘｙＹ表色系かまたはＨＳＩ表色系のどちらかを使った場合を例に説明してきたが、両者の表色系によるマハラノビス距離計算は、色によって分離度が異なってくる。そのため、ある色はｘｙＹ表色系では分離度がよいが、ＨＳＩ表色系では悪く、他の色では逆のケースも出てくる。従って、図１５に示したように、ｘｙＹ表色系６１、ＨＳＩ表色系６２の複数の表色系におけるマハラノビス距離計算を同時に実施し、それぞれの色空間で表現した特徴量を６３のように同じベクトルに一列に並べて特徴量ベクトルとし、識別処理を行えば、分離度が良く、高精度な色識別を行うことができる。

以上種々述べてきたように本発明においては、色を識別する画像ののブラックバランス、またはホワイトバランスを調整し、それによってある特定の照明条件に対応するようにＲ（赤）、Ｇ（緑）、Ｂ（青）値を調整した後、ある特定の照明条件下で撮像した多数の画像データから作成した色識別用テンプレートを用い、統計的パターン認識手法であるマハラノビス距離を計算することで、高精度に色識別を行うことが可能となる。

本発明によれば、どのような照明条件下においても、正確に色を判別できる色識別方法を提供することができるから、道路上の車の色の識別など、種々の分野の色識別に応用することができる。

本発明になる色識別方法を実施する色識別装置のブロック図である。色識別を行う画像の一例で、（Ａ）は撮像画像、（Ｂ）は撮像画像のどの部分の色を識別するかを示した図である。色識別処理のフロー図で、（Ａ）は、この色識別処理においてブラックバランスやホワイトバランスを行うため、識別対象領域抽出部３で抽出される画像中の黒色領域１１、１２、白色領域１３を示した図である。色識別処理のフロー図で、（Ｂ）はフロー図におけるステップＳ４４の色識別処理の内容を説明するための図、（Ｃ）はフロー図におけるステップＳ４６の投票処理の内容を説明するための図、（Ｄ）はフロー図におけるステップＳ４８の色識別結果確定の内容を説明するための図である。カラーバランス調整において撮像時刻を取得してパラメータを選択して色識別処理をする場合のフロー図である。撮像時刻によるパラメータ例を示した図である。カラーバランス調整において天候情報を取得してパラメータを選択して色識別処理をする場合のフロー図である。天候情報によるパラメータ例を示した図である。色の識別処理において、撮像時刻を取得して色識別用テンプレートを選択する場合のフロー図で、（Ａ）は取得する撮像時刻を、（Ｂ）は撮像時刻毎のテンプレートを示している。色の識別処理において天候情報を取得して色識別用テンプレートを選択する場合のフロー図で、（Ａ）は取得する天候情報を、（Ｂ）は天候毎のテンプレートを示している。マハラノビス距離計算において、１位の色と２位の色のマハラノビス距離が小さかった場合の処理フローである。色識別結果投票の結果、１位の色と２位の色の投票数が僅差である場合の処理フロー図である。色識別処理において、マハラノビス距離計算前に、識別する色が有彩色か無彩色かを判断し、無彩色の場合はマハラノビス距離計算を行わないようにした場合のフロー図である。色識別用テンプレートを、ｘｙＹ表色系またはＨＳＩ表色系における輝度（明度）毎の特徴量ベクトルが２次元のテンプレートとし、マハラノビス距離計算を２次元で行えるようにしたフロー図である。複数の表色系におけるマハラノビス距離計算を同時に実施し、それぞれの色空間で表現した特徴量を同じベクトルに一列に並べて特徴量ベクトルとする方法を説明するための図である。

符号の説明

１カメラ（画像入力部）
２画像メモリ
３識別対象領域抽出部
４環境情報入手部
５色識別部
６出力部
７表示部
８色識別結果
９車
１０色識別を行う抽出された領域
１１、１２道路の両路における黒色領域と判断される部位
１３白色領域

Claims

屋外に設置した撮像装置により撮像した画像における特定部分の色を識別する色識別方法であって、
予めある特定の照明条件下で撮像された画像を元に作成した色識別用テンプレートを用意し、
前記画像における黒色領域、または、黒色領域が見いだせない場合は白色領域を抽出し、黒色領域を抽出した場合はブラックバランスを、白色領域を抽出した場合はホワイトバランスを調整するか、または黒色領域も白色領域も見いだせない場合はカラーバランスの調整を行わないようにした第１のステップと、
前記特定部分を構成する画素のＲ（赤）、Ｇ（緑）、Ｂ（青）値を、画素毎に明度情報が分離されたｘｙＹ色空間、またはＨＳＩ色空間に変換する第２のステップと、
前記画像を撮像した時の照明条件に対応した前記色識別用テンプレートと前記ｘｙＹ色空間、またはＨＳＩ色空間に変換した各画素毎を比較し、画素毎に各色クラスとのマハラノビス距離を計算して最も距離が近い色を抽出し、前記特定部分内における色の数を積算する第３のステップと、
前記特定部分内における最も数が多かった色を前記特定部分内の色と識別する第４のステップとからなり、
前記第１のステップでカラーバランスを調整し、前記第３のステップで、前記第２のステップでｘｙＹ色空間、またはＨＳＩ色空間に変換した各画素の各色クラスに対するマハラノビス距離を計算して第４のステップで前記特定部分の色を特定することを特徴とする色識別方法。
前記第１のステップにおいて、前記画像を撮像した時の撮像時刻に対応したカラーバランス調整用パラメータを用いてブラックバランス、またはホワイトバランスを調整することを特徴とする請求項１に記載した色識別方法。
前記第１のステップにおいて、前記画像を撮像した時の天候に対応したカラーバランス調整用パラメータを用いてブラックバランス、またはホワイトバランスを調整することを特徴とする請求項１または２に記載した色識別方法。
前記色識別用テンプレートを、前記画像を撮像した時の撮像時刻に対応させて作成したことを特徴とする請求項１乃至３のいずれかに記載した色識別方法。
前記色識別用テンプレートを、前記画像を撮像した時の天候に対応させて作成したことを特徴とする請求項１乃至４のいずれかに記載した色識別方法。
前記第３のステップにおけるマハラノビス距離計算の結果、各画素の最もマハラノビス距離が近い色と２番目に近い色との差が閾値より低い場合、前記画素の色を不明、または「１位の色」と「２位の色」を出力することを特徴とする請求項１乃至５のいずれかに記載した色識別方法。
前記閾値は、前記「１位の色」と「２位の色」の組み合わせによって値を異ならせたことを特徴とする請求項６に記載した色識別方法。
前記閾値は、「１位の色」と「２位の色」の色相が近い場合は遠い場合に比し、大きくすることを特徴とする請求項７に記載した色識別方法。
前記第３のステップのマハラノビス距離計算の結果を積算した色のうち、最も数の多い色と２番目に多い色との差が閾値より低い場合、前記第４のステップにおいて特定ブロック内の色を不明、または「１位の色」と「２位の色」を出力することを特徴とする請求項１乃至８のいずれかに記載した色識別方法。
前記閾値は、前記「１位の色」と「２位の色」の組み合わせによって値を異ならせたことを特徴とする請求項９に記載した色識別方法。
前記閾値は、「１位の色」と「２位の色」の色相が近い場合は遠い場合に比し、小さくすることを特徴とする請求項１０に記載した色識別方法。
前記第２のステップで明度情報が分離されたｘｙＹ色空間、またはＨＳＩ色空間に変換した各画素におけるＲ（赤）、Ｇ（緑）、Ｂ（青）値が予め定めた彩度閾値より小さい場合、または最低明度閾値より小さいか最大明度閾値より大きい場合、無彩色であると判定して前記第３ステップのマハラノビス距離計算を行わないことを特徴とする請求項１乃至１１のいずれかに記載した色識別方法。
前記様々な照明条件下で撮像された画像から作成した色識別用テンプレートを、輝度（明度）毎に２次元テンプレートとして用意し、前記第３のステップで、各画素毎の輝度（明度）を算出して対応した前記２次元テンプレートを用い、前記マハラノビス距離を算出することを特徴とする請求項１乃至１２のいずれかに記載した色識別方法。
前記第３のステップにおける画素毎のマハラノビス距離計算を、前記ｘｙＹ色空間、またはＨＳＩ色空間の両者で行って最も距離が近い色を抽出することを特徴とする請求項１乃至１３のいずれかに記載した色識別方法。