JP2006222899A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 カラーチャートを用いることなく色補正が可能な画像処理装置及び画像処理方法を提供する。
【解決手段】 カラー画像の色成分を補正する画像処理装置１であって、カラー画像を取得する画像取得手段２と、形状と色成分からなる基準パターンを記憶する記憶手段３と、取得したカラー画像から基準パターンの形状と類似する類似領域を抽出する類似領域抽出手段４，５と、抽出した類似領域の色成分と基準パターンの色成分に基づいて補正量を設定する補正量設定手段６と、取得したカラー画像から抽出した類似領域の色成分と同様の色成分を有する補正領域を抽出する補正領域抽出手段７と、抽出した補正領域を設定した補正量に基づいて補正する補正手段９とを備えることを特徴とする。
【選択図】 図１

Description

本発明は、カラー画像の色成分を補正する画像処理装置及び画像処理方法に関する。

画像処理装置には、カメラで撮像されたカラー画像の撮像対象を適正な色で表すために、撮像画像の色成分を補正するものがある。その補正方法としては、例えば、カラーチャートを含む画像を撮像し、予め保持しているカラーチャートと撮像画像におけるカラーチャートとの色成分の対応関係から撮像画像の色成分を補正する方法がある（特許文献１参照）。
特開２００２−１５２７６８号公報

しかしながら、実際の環境においては照明条件の変化やカメラの移動などの様々な変化があり、その環境の変化によって同じ撮像対象でもカラー画像における色成分が微妙に変化する。そのため、所定の環境で撮像したカラーチャートを用いて色補正を行う場合、その所定の環境でしか有効な色補正を行えない。したがって、照明条件などが変わると、有効な色補正ができなくなる。また、カラーチャートを用いて色補正を行う場合、撮像するときにカラーチャートが常に必要であり、撮像画像の中にカラーチャートのスペースも必要となる。

そこで、本発明は、カラーチャートを用いることなく色補正が可能な画像処理装置及び画像処理方法を提供することを課題とする。

本発明に係る画像処理装置は、カラー画像の色成分を補正する画像処理装置であって、カラー画像を取得する画像取得手段と、形状と色成分からなる基準パターンを記憶する記憶手段と、画像取得手段で取得したカラー画像から記憶手段に記憶されている基準パターンの形状と類似する類似領域を抽出する類似領域抽出手段と、類似領域抽出手段で抽出した類似領域の色成分と記憶手段に記憶されている基準パターンの色成分に基づいて補正量を設定する補正量設定手段と、画像取得手段で取得したカラー画像から類似領域抽出手段で抽出した類似領域の色成分と同様の色成分を有する補正領域を抽出する補正領域抽出手段と、補正領域抽出手段で抽出した補正領域を補正量設定手段で設定した補正量に基づいて補正する補正手段とを備えることを特徴とする。

この画像処理装置では、カラー画像における任意の対象の形状及びその任意の対象の基準となる色成分を示す基準パターンを記憶手段に記憶している。画像処理装置では、画像取得手段によりカラー画像を取得し、類似領域抽出手段によりそのカラー画像から基準パターンの形状と類似している類似領域を抽出する。つまり、カラー画像から基準パターンとして設定されている対象を探索する。カラー画像を撮像したときの環境は特に限定されていないので、照明条件などによって、基準パターンとしての色成分とカラー画像におけるその基準パターンに対応する類似領域の色成分とは差異が生じる場合がある。そこで、画像処理装置では、補正量設定手段により、抽出した類似領域の色成分と基準パターンの色成分とから類似領域が基準パターンの色成分になるための補正量を設定する。この類似領域の色成分に基づく補正量を利用することにより、類似領域の他にも類似領域と同様の色成分を有している領域を補正することができる。そこで、画像処理装置では、補正領域抽出手段により、取得したカラー画像から類似領域の色成分と同様の色成分を有する補正領域を抽出する。そして、画像処理装置では、補正手段により、補正領域を補正量に基づいて基準パターンの色成分になるように補正する。このように、画像処理装置では、カラーパターンを用いることなく、カラー画像における任意の対象を利用することによって色補正を行うことができる。特に、画像処理装置では、取得したカラー画像毎に補正量を設定するので、カラー画像を撮像したときの照明条件などの様々な環境に対して適正な色補正を行うことができる。また、画像処理装置では、異なる色成分を持つ複数の対象についての複数の基準パターンを記憶しておくことにより、様々な色成分を適正に色補正することができる。

本発明の上記画像処理装置では、補正手段は、補正領域抽出手段で異なる類似領域の各色成分によって同じ補正領域を抽出した場合、当該補正領域近傍の類似領域の色成分に基づいて設定された補正量又は面積の大きい類似領域の色成分に基づいて設定された補正量に基づいて補正する構成としてもよい。

この画像処理装置の補正手段では、異なる類似領域の各色成分によって同じ補正領域を抽出した場合（ひいては、同じ補正領域が異なる補正量の適用対象となった場合）、その抽出された補正領域近傍の（特に、連続する）類似領域の色成分に基づく補正量によってその補正領域を補正するかあるいは面積の大きい類似領域の色成分に基づく補正量によってその補正領域を補正する。例えば、複数の基準パターンにおいて色成分が似通った基準パターン１と基準パターン２がある場合、基準パターン１と類似する領域として抽出された類似領域１と基準パターン２と類似する領域として抽出された類似領域２とは似通った色成分を有する可能性が高い。そのため、カラー画像から類似領域１の色成分と同様の色成分を有する補正領域及び類似領域２の色成分と同様の色成分を有する補正領域をそれぞれ抽出すると、抽出された各補正領域が同じ領域である場合がある。その場合、その抽出された領域が類似領域１と近傍の領域については類似領域１に関連している可能性が高いので、類似領域１の色成分に基づく補正量１で補正し、抽出された領域が類似領域２と近傍の領域については類似領域２に関連している可能性が高いので、類似領域２に基づく補正量２で補正する。また、類似領域の面積が大きいほど補正量としての信頼性が高くなるので、類似領域１と類似領域２のうち面積の大きい類似領域に基づく補正量で補正する。このように、画像処理装置では、同じ領域に対して補正量の候補が複数ある場合でも、実際に用いる補正量の優先順位を決めることにより、複数の補正量によりモザイク状に色補正されることがなくなり、自然な色補正ができる。

本発明の上記画像処理装置では、記憶手段は、複数の基準パターンを記憶しており、色補正前のカラー画像と色補正後のカラー画像とにおける各基準パターンの形状と類似する類似領域の数を比較することによって色補正を評価する評価手段を備える構成としてもよい。

この画像処理装置では、記憶手段に複数の基準パターンが記憶されており、類似領域抽出手段によりカラー画像から各基準パターンと類似する類似領域の抽出を行う。この際、各基準パターンについて類似する領域が探索されるが、全ての基準パターンについて類似領域が探索されるとは限らない。そこで、画像処理装置では、評価手段により、色補正前と色補正後とで複数の基準パターンのうちで類似する領域として抽出された類似領域の数を比較し、適正な色補正が行われた否かを評価する。様々な環境の変化によって同じ対象でもカラー画像上では大きな色変化が生じる場合があるので、色補正前のカラー画像においては同じ対象でも基準パターンの形状と類似していないと判断される可能性がある。この場合でも、適正な色補正が施されたときには、その色補正後のカラー画像における同じ対象は基準パターンと同じ色成分となるので、基準パターンの形状と類似していると判断される可能性が高くなる。その結果、類似領域の数が増加する。一方、誤った色補正が施されたときには、その色補正後のカラー画像における同じ対象は基準パターンと異なる色成分となるので、基準パターンと類似していないと判断される可能性が高くなる。その結果、類似領域の数が減少する。このように、画像処理装置では、色補正の適正さを評価することによって、誤った色補正を防止することができる。

本発明の上記画像処理装置では、補正手段で色補正した補正領域のうち記憶手段に記憶されている基準パターンと類似する類似領域以外でかつ所定基準以上の大きさを有する補正領域の形状及び色補正後の色成分を基準パターンとして追加する基準パターン追加手段を備える構成としてもよい。

この画像処理装置では、基準パターン追加手段により、補正手段で色補正した補正領域のうち基準パターンと類似する類似領域以外の領域（つまり、基準パターンとして未だ登録されていない対象）でかつ所定基準以上の大きさを有する補正領域を基準パターンとして追加する。所定基準以上の大きさとしては、基準パターンとして形状の類似性の判定を十分に行うことができる大きさとする。このように、画像処理装置では、基準パターンの数を増加していくことにより、補正可能な対象や環境を増加でき、色補正の適用範囲を動的に拡大することができる。

本発明の上記画像処理装置では、類似領域抽出手段は、輝度値に基づいて類似領域を抽出する構成としてもよい。

この画像処理装置の類似領域抽出手段では、輝度情報により、基準パターンと類似する領域を抽出する。このように、画像処理装置では、輝度情報を用いることにより、環境の変化によってカラー画像上で対象の色成分が変化した場合でもロバストに類似領域を抽出することができる。

本発明に係る画像処理方法は、カラー画像の色成分を補正する画像処理方法であって、カラー画像を取得する画像取得ステップと、画像取得ステップで取得したカラー画像から予め記憶されている基準パターンの形状と類似する類似領域を抽出する類似領域抽出ステップと、類似領域抽出ステップで抽出した類似領域の色成分と予め記憶されている基準パターンの色成分に基づいて補正量を設定する補正量設定ステップと、画像取得ステップで取得したカラー画像から類似領域抽出ステップで抽出した類似領域の色成分と同様の色成分を有する補正領域を抽出する補正領域抽出ステップと、補正領域抽出ステップで抽出した補正領域を補正量設定ステップで設定した補正量に基づいて補正する補正ステップとを含むことを特徴とする。

本発明の上記画像処理方法の補正ステップでは、補正領域抽出ステップで異なる類似領域の各色成分によって同じ補正領域を抽出した場合、当該補正領域近傍の類似領域の色成分に基づいて設定された補正量又は面積の大きい類似領域の色成分に基づいて設定された補正量に基づいて補正してもよい。

本発明の上記画像処理方法では、基準パターンは、複数あり、色補正前のカラー画像と色補正後のカラー画像とにおける各基準パターンの形状と類似する類似領域の数を比較することによって色補正を評価する評価ステップを含む構成としてもよい。

本発明の上記画像処理方法では、補正ステップで色補正した補正領域のうち基準パターンと類似する類似領域以外でかつ所定基準以上の大きさを有する補正領域の形状及び色補正後の色成分を基準パターンとして追加する基準パターン追加ステップを含む構成としてもよい。

本発明の上記画像処理方法の類似領域抽出ステップでは、輝度値に基づいて類似領域を抽出してもよい。

なお、上記の各画像処理方法は、上記の各画像処理装置と同様の作用効果を有している。

本発明によれば、カラーチャートを用いることなく、カラー画像に対して適正な色補正を行うことができる。

以下、図面を参照して、本発明に係る画像処理装置及び画像処理方法の実施の形態を説明する。

本実施の形態では、本発明を、カメラによって撮像したカラー画像に対して色補正を施したカラー画像を出力する画像処理装置に適用する。本実施の形態に係る画像処理装置は、カラー画像における予め分っている撮像対象（特徴的な絵柄を有するもの）のデータを基準パターンとして設定し、カラー画像の中の存在する撮像対象を利用して色補正を行う。本実施の形態に係る画像処理装置では、基準パターンを予め設定するとともに、処理中にも他の撮像対象に対する基準パターンを自動追加する。

図１〜図６を参照して、画像処理装置１について説明する。図１は、本実施の形態に係る画像処理装置の構成図である。図２は、図１の画像処理装置の色補正の基本処理の説明図である。図３は、図１の色補正フィルタ選択部における第１段階選択処理の説明図である。図４は、図１の色補正フィルタ選択部における第２段階選択処理の説明図である。図５は、図１の色補正結果判定部における判定処理の説明図である。図６は、図１の基準パターン自動追加部における自動追加処理の説明図である。

画像処理装置１は、予め分っている撮像対象の絵柄（形状）及び補正基準色（色成分）を示す基準パターンを保持している。そして、画像処理装置１では、カラー画像の中から基準パターンの絵柄と類似する特徴領域（類似領域）を抽出し、この抽出した特徴領域の色成分を補正対象色（類似領域の色成分）とし、補正基準色と補正対象色から色補正フィルタ（補正量）を推定する。さらに、画像処理装置１では、カラー画像から補正対象色と同様の色成分を有する補正領域を抽出し、その補正領域を色補正フィルタを用いて色補正を施す。そのために、画像処理装置１は、画像入力部２、基準パターン記憶部３、特徴抽出部４、対応比較部５、色補正フィルタ推定部６、領域抽出部７、色補正フィルタ選択部８、色補正部９、色補正結果判定部１０、基準パターン自動追加部１１、出力部１２など備えている。

なお、本実施の形態では、画像入力部２が特許請求の範囲に記載する画像取得手段に相当し、基準パターン記憶部３が特許請求の範囲に記載する記憶手段に相当し、特徴抽出部４及び対応比較部５が特許請求の範囲に記載する類似領域抽出手段に相当し、色補正フィルタ推定部６が特許請求の範囲に記載する補正量設定手段に相当し、領域抽出部７が特許請求の範囲に記載する補正領域抽出手段に相当し、色補正フィルタ選択部８及び色補正部９が特許請求の範囲に記載する補正手段に相当し、色補正結果判定部１０が特許請求の範囲に記載する評価手段に相当し、基準パターン自動追加部１１が特許請求の範囲に記載する基準パターン追加手段に相当する。

ちなみに、画像処理装置１の出力としては、モニタなどに色補正されたカラー画像を表示してもよいし、あるいは、その色補正したカラー画像のデータを他の処理装置に提供してもよい。他の処理装置に提供する場合、その使用用途としては、例えば、ビデオカメラ、監視カメラ、車両に搭載される各種画像処理装置、ロボットがある。なお、画像処理装置１では、予め分っている撮像対象が幾つかあることが前提となるが、予め分っている撮像対象が１つもない場合（つまり、基準パターンを１つも保持していない場合）でも特徴的な領域を基準パターンとして自動追加し、自動追加後から色補正が可能である。撮像対象としては、カラー画像から抽出が容易な特徴的な絵柄を有するものであり、カラー画像上である程度の大きさを有するものである。特徴的な絵柄としては、例えば、エッジのコーナや交差点、複雑なｔｅｘｔｕｒｅを持つ領域である。

画像入力部２は、ＣＣＤ[Charge Coupled Device]カメラなどの画像情報取得装置からなり、カラー画像（入力カラー画像）を取得する。画像情報取得装置としては、他の装置やネットワークなどを介してカラー画像のデータを取り込む装置でもよい。図２に示す例では、入力カラー画像ＩＩでは、りんご、ＣＤ−ＲＯＭドライバ、パーソナルコンピュータなどが撮像されている。ちなみに、りんごとＣＤ−ＲＯＭドライバとは同様の色成分を有しており、りんごとパソコンとは異なる色成分を有しているものとする。

基準パターン記憶部３及び各処理部４〜１２は、パーソナルコンピュータなどのコンピュータ上に構成される。基準パターン記憶部３は、コンピュータの所定の記憶領域に構築される。各処理部４〜１２は、色補正処理用のアプリケーションプログラムをコンピュータ上で実行することによって構築される。

基準パターン記憶部３は、基準パターン毎に絵柄と補正基準色とを対応付けして記憶するデータベースである。絵柄は、基準パターンとして選ばれた撮像対象の形状を示し、その形状が所定の階調からなる輝度画像（グレースケール）で生成されたものである。補正基準色は、基準パターンとして選ばれた撮像対象の色成分であり、所定の階調からなるＲＧＢの情報からなる。図２に示す例では、基準パターン記憶部３には、基準パターンとしてりんごの絵柄及び補正基準色（Ｒ：２００、Ｇ：３０、Ｂ：１２［２５６階調］）が記憶されている。なお、基準パターン記憶部３には、基本的には、複数個の基準パターンが予め記憶されている。また、基準パターン記憶部３には、処理開始後、既に記憶されている基準パターン以外の基準パターンが追加記憶される。

図２を参照して、基準パターンの作成方法について説明する。カメラによって予め分っている撮像対象（特徴的な絵柄を有するもの）を含む画像を撮像し、基準画像ＢＩ（カラー画像）を取得する。この際の撮像環境としては、カラー画像上で撮像対象が基準となる色成分となるように照明条件やカメラの位置などが調整される。そして、基準画像ＢＩから基準パターンとなる特徴的な絵柄（例えば、りんご）を含む矩形領域（例えば、矩形領域ＳＡ）を抽出する。さらに、この抽出した矩形領域のカラー画像を輝度画像に変換し、基準パターンの絵柄データ（グレースケール）とする。また、矩形領域のカラー画像において色成分の近いもの同士をクラスタリングし、そのクラスタリングされた各領域から所定面積以上有するクラスタリング領域（例えば、りんご自体の領域）を選択する。このクラスタリングによって特徴的な絵柄以外の背景（所定面積未満のクラスタリング領域）を排除し、選択されたクラスタリング領域のカラー情報から特徴的な絵柄だけの色成分を求め、基準パターンの補正基準色（ＲＧＢの各階調：例えば、りんごの場合にはＲ：２００、Ｇ：３０、Ｂ：１２）とする。ちなみに、基準画像ＢＩが撮像されたときの環境（照明条件など）と画像入力部２によって取得される入力カラー画像が撮像されたときの環境とは異なっている場合があり、異なっている場合には同じ撮像対象でもカラー画像上では異なる色成分を有することになる。

特徴抽出部４では、画像入力部２からの入力カラー画像（補正対象画像）を各画素が所定の階調（例えば、２５６階調）の輝度値からなる輝度画像に変換する。そして、特徴抽出部４では、この輝度画像から特徴的な絵柄を特徴領域として抽出する。抽出方法としては、例えば、ＳＩＦＴ（Ｄａｖｉｄ ｌｏｗｅ）法、Ａｆｆｉｎｅ ｐａｔｃｈ法である。図２に示す例では、入力カラー画像ＩＩの輝度画像からりんごを含む特徴領域ＣＡが抽出されている。

対応比較部５では、特徴抽出部４で抽出した各特徴領域と基準パターン記憶部３に記憶されている各基準パターンの絵柄とをそれぞれ比較し、類似度を求める。類似度を求める方法としては、例えば、パターンマッチングである。そして、対応比較部５では、求めた類似度が閾値以上か否かを判定し、閾値以上の類似度を有するものを一致する絵柄としてその特徴領域と基準パターンを対応付けて抽出する。この際、対応比較部５では、基準パターン記憶部３に記憶されている基準パターンと一致する特徴領域が幾つ抽出できたかをカウントし、そのカウント数を色補正前対応組数として保持しておく。図２に示す例では、基準パターン記憶部３のりんごの基準パターンの絵柄と特徴領域ＣＡの絵柄とが一致するものとして判定され、その基準パターンと特徴領域ＣＡとが対応付けて抽出される。

色補正フィルタ推定部６は、入力カラー画像から対応比較部５で基準パターンと一致すると判定された特徴領域のカラー画像を抜き出する。そして、色補正フィルタ推定部６では、その抜き出した特徴領域のカラー画像において色成分の近いもの同士をクラスタリングし、そのクラスタリングされた各領域から所定面積以上有するクラスタリング領域を選択する。さらに、色補正フィルタ推定部６では、その選択したクラスタリング領域から色成分を求め、補正対象色（ＲＧＢの各階調）とする。このように、基準パターンと一致すると判定された特徴領域の中でも、補正対象色として有効な大きさを有してものだけを色補正の対象とし、補正対象色を設定する。また、クラスタリングによって、補正対象色として不要な領域を排除する。

図２に示す例では、入力カラー画像ＩＩから特徴領域ＣＡの位置する領域のカラー画像が抜き出され、この特徴領域ＣＡのカラー画像において、りんごの領域とりんご以外の領域（背景など）とがそれぞれクラスタリングされる。この際、りんご以外の領域では、複数のものが混在している場合など、小さな領域が幾つもクラスタリングされる。そして、大きな面積を有するりんご自体のクラスタリング領域が選択され、このクラスタリング領域のカラー情報から補正対象色（Ｒ：２４０、Ｇ：６０、Ｂ：２２［２５６階調］）が求められる。

さらに、色補正フィルタ推定部６では、求められた補正対象色を対応する基準パターンの補正基準色へと色補正するための色補正フィルタを推定する。色補正フィルタは、補正対象色と補正基準色とのＲＧＢの各差に対して、所定の係数を乗算するなどして求められる。図２に示す例では、りんごについて、補正対象色（Ｒ：２４０、Ｇ：６０、Ｂ：２２）が補正基準色（Ｒ：２００、Ｇ：３０、Ｂ：１２）になるような色補正フィルタが推定される。

領域抽出部７は、入力カラー画像から補正対象色と一定色差以内の領域を抽出し、この抽出した領域を補正領域とする。同じ撮像対象でも照明に対する角度や当たり具合などによってカラー画像上では異なる色成分となるので、一定色差を設けることによって補正対象色と見なせる領域を全て抽出する。この抽出された補正領域は、色補正を施す対象の領域であり、基本的には、抽出する際に用いられた補正対象色から推定された色補正フィルタが適用される。図２に示す例では、入力カラー画像ＩＩから補正対象色（Ｒ：２４０、Ｇ：６０、Ｂ：２２）の色成分を有する補正領域ＲＡ１，ＲＡ２が抽出される。補正領域ＲＡ１はりんごが撮像された領域であり、補正領域ＲＡ２はりんごと同様の色成分を有するＣＤ−ＲＯＭドライバが撮像された領域である。

色補正フィルタ選択部８は、同じ補正領域に対して複数の色補正フィルタが適用対象となっている場合に、その複数の色補正フィルタから１つの色補正フィルタを選択する。色補正フィルタ選択部８は、第１段階選択処理と第２段階選択処理があり、まず、第１段階選択処理によって色補正フィルタを選択し、第１段階設定処理で１つの色補正フィルタを選択できない場合には第２段階選択処理によって色補正フィルタを選択する。

ちなみに、基準パターンが複数存在し、それに応じて複数の補正対象色が設定される場合、２つ以上の補正対象色においてその各色成分が似通っているときには同じ領域がその各補正対象色による補正領域として抽出されることがある。したがって、同じ補正領域に対して複数の色補正フィルタが適用対象となる場合がある。同じ補正領域に対して複数の色補正フィルタで色補正を施すとモザイク状のバラバラの色で補正されるので、各補正領域に対して１つの色補正フィルタに絞る必要がある。

第１段階選択処理について説明する。色補正フィルタ選択部８では、同じ補正領域に対して複数の色補正フィルタが適用対象になった場合、その補正領域に連続する特徴領域（基準パターンと一致するもの）の補正対象色に基づいて推定された色補正フィルタを選択する。連続とは、補正領域が特徴領域に繋がっていることを示し、補正領域が特徴領域に重なっていることも含む。特徴領域と同様の色成分を有しかつ特徴領域に連続する領域に撮像されているものは特徴領域に撮像されているものかあるいはそれに関連するものである可能性が非常に高いので、その連続する特徴領域の色成分から求められた色補正フィルタを優先して適用する。

図３に示す例では、基準画像ＢＩにおいて同様の色成分を有するりんごを含む矩形領域ＳＡ１から作成された基準パターンとＣＤ−ＲＯＭドライバの一部分の矩形領域ＳＡ２から作成された基準パターンがある。入力カラー画像ＩＩから矩形領域ＳＡ１の基準パターンの絵柄と一致する特徴領域ＣＡ１が抽出され、その特徴領域ＣＡ１から求められた補正対象色に基づいて、りんご全体からなる補正領域ＲＡ１とＣＤ−ＲＯＭドライバの一部分からなる補正領域ＲＡ２が抽出される。この２つの補正領域ＲＡ１と補正領域ＲＡ２とは、特徴領域ＣＡ１による補正対象色に基づいて推定された色補正フィルタが適用対象となる。また、入力カラー画像ＩＩから矩形領域ＳＡ２の基準パターンの絵柄と一致する特徴領域ＣＡ２が抽出され、その特徴領域ＣＡ２から求められた補正対象色に基づいて、ＣＤ−ＲＯＭドライバ全体からなる補正領域ＲＡ３とりんごの一部分からなる補正領域ＲＡ４が抽出される。この２つの補正領域ＲＡ３と補正領域ＲＡ４とは、特徴領域ＣＡ２による補正対象色に基づいて推定された色補正フィルタが適用対象となる。したがって、領域が重複する補正領域ＲＡ１と補正領域ＲＡ４及び領域が重複する補正領域ＲＡ２と補正領域ＲＡ３は、それぞれ２つの色補正フィルタが適用対象となっている。補正領域ＲＡ１及び補正領域ＲＡ４は、特徴領域ＣＡ１と重なる領域であるが、特徴領域ＣＡ２とは離れた領域である。したがって、補正領域ＲＡ１（補正領域ＲＡ４）には、特徴領域ＣＡ１による補正対象色から推定された色補正フィルタが適用される。一方、補正領域ＲＡ２及び補正領域ＲＡ３は、特徴領域ＣＡ２と重なる領域及び連続する領域であるが、特徴領域ＣＡ１とは離れた領域である。したがって、補正領域ＲＡ３（補正領域ＲＡ２）には、特徴領域ＣＡ２による補正対象色から推定された色補正フィルタが適用される。その結果、補正カラー画像ＲＩでは、りんごが矩形領域ＳＡ１から作成された基準パターンの補正基準色となり、ＣＤ−ＲＯＭドライバ全体が矩形領域ＳＡ２から作成された基準パターンの補正基準色となる。

第２段階選択処理について説明する。色補正フィルタ選択部８では、補正領域に連続する特徴領域（基準パターンと一致するもの）が複数ある場合（すなわち、複数の色補正フィルタが適用対象の場合）、各特徴領域の面積を比較し、面積の大きい特徴領域に基づいて推定された色補正フィルタを選択する。特徴領域の面積が大きい方が、その特徴領域の補正対象色から求められた色補正フィルタの信頼性が高いので、その色補正フィルタを優先して適用する。

図４に示す例では、基準画像ＢＩにおいて同様の色成分を有するパソコンのモニタを含む矩形領域ＳＡ１から作成された基準パターンとパソコンの本体の一部分の矩形領域ＳＡ２から作成された基準パターンがある。入力カラー画像ＩＩから矩形領域ＳＡ１の基準パターンの絵柄と一致する特徴領域ＣＡ１が抽出され、その特徴領域ＣＡ１から求められた補正対象色に基づいて、パソコンのモニタ及びモニタに連続する本体の一部分からなる補正領域ＲＡ１が抽出される。この補正領域ＲＡ１は、特徴領域ＣＡ１に重なるとともに特徴領域ＣＡ２にも連続しているので、特徴領域ＣＡ１よる補正対象色に基づいて推定された色補正フィルタと特徴領域ＣＡ２よる補正対象色に基づいて推定された色補正フィルタが適用対象となる。また、入力カラー画像ＩＩから矩形領域ＳＡ２の基準パターンの絵柄と一致する特徴領域ＣＡ２が抽出され、その特徴領域ＣＡ２から求められた補正対象色に基づいて、パソコン本体の一部分及び本体に連続するモニタの一部分からなる補正領域ＲＡ２が抽出される。この補正領域ＲＡ２は、特徴領域ＣＡ２に重なるととも特徴領域ＣＡ１に連続しているので、特徴領域ＣＡ２よる補正対象色に基づいて推定された色補正フィルタと特徴領域ＣＡ１よる補正対象色に基づいて推定された色補正フィルタが適用対象となる。したがって、補正領域ＲＡ及び補正領域ＲＡ２は、連続する特徴領域が２つあり、２つの色補正フィルタが適用対象となっている。そこで、特徴領域ＣＡ１と特徴領域ＣＡ２との面積を比較すると、特徴領域ＣＡ１の面積が大きい。したがって、補正領域ＲＡ１及び補正領域ＲＡ２には、特徴領域ＣＡ１による補正対象色から推定された色補正フィルタが適用される。その結果、補正カラー画像ＲＩでは、パソコン全体が矩形領域ＳＡ１から作成された基準パターンの補正基準色となる。

色補正部９は、各補正領域に対して、唯一適用対象となっている色補正フィルタ又は色補正フィルタ選択部８で選択された色補正フィルタを用いて色補正を行い、補正カラー画像を生成する。補正カラー画像では、基準パターンとして登録されている絵柄に類似する領域の他にその類似する領域の色成分と同様の色成分を有する領域が、基準パターンの補正基準色にそれぞれ補正される。図２に示す例では、補正カラー画像ＲＩでは、基準パターンとして登録されているりんごの他にりんごと同様の色成分を有するＣＤ−ＲＯＭドライバも基準パターンの補正基準色（Ｒ：２００、Ｇ３０、Ｂ：１２）に色補正されている。

色補正結果判定部１０では、色補正後に、補正カラー画像に対して特徴抽出部４及び対応比較部５と同様の処理を行う。そして、色補正結果判定部１０では、基準パターン記憶部３に記憶されている基準パターンと一致する特徴領域が幾つ抽出できたかをカウントし、そのカウント数を色補正後対応組数とする。さらに、色補正結果判定部１０では、色補正前対応組数と色補正後対応組数とを比較し、色補正の妥当性を評価する。色補正結果判定部１０では、色補正後対応組数が色補正前対応組数以上の場合には適正な色補正が行われたと判定し、色補正後対応組数が色補正前対応組数未満の場合には誤った色補正が行われたと判定する。

図５に示す例では、基準画像ＢＩにおいてりんごを含む矩形領域ＳＡ１から作成された基準パターン、ＣＤ−ＲＯＭドライバの一部分の矩形領域ＳＡ２から作成された基準パターン、パソコンのモニタを含む矩形領域ＳＡ３から作成された基準パターン、パソコンの本体の一部分の矩形領域ＳＡ４から作成された基準パターンがある。色補正前の入力カラー画像ＩＩの輝度画像において矩形領域ＳＡ１の基準パターンの絵柄に対して特徴領域ＣＡ１、矩形領域ＳＡ３の基準パターンの絵柄に対して特徴領域ＣＡ３、矩形領域ＳＡ４の基準パターンの絵柄に対して特徴領域ＣＡ４との対応がそれぞれ取れ、色補正前対応組数が３であった。色補正後の補正カラー画像ＲＩにおいては矩形領域ＳＡ２の基準パターンの絵柄に対しても特徴領域ＣＡと対応が取れ、色補正後対応組数が４になった。したがって、この色補正によってＣＤ−ＲＯＭドライバも適正な色成分となり、適正な色補正が行われたと判定される。

ちなみに、色変化の影響を受けにくい輝度画像によって基準パターンの絵柄との類似性を判定しているが、照明条件などによって大きな色変化が生じた場合には輝度画像でも基準パターンの絵柄との対応が取れないこともある。この場合、色補正前対応組数が少なくなる。しかし、適正な色補正が施された場合、輝度画像でも基準パターンの絵柄との類似性が高くなる。この場合、色補正前において基準パターンの絵柄との対応が取れていなかったものの中にも色補正後に新たに対応が取れるようになるものが現れ、色補正後対応組数が増加する場合がある。一方、誤った色補正が施された場合、輝度画像でも基準パターンの絵柄との類似性が低くなる。この場合、色補正前において基準パターンの絵柄との対応が取れていたものの中にも色補正後に対応が取れなくなるものが現れ、色補正後対応組数が減少する場合がある。

さらに、色補正結果判定部１０では、適正な色補正が行われなかったと判定した場合、色補正フィルタをランダムに変え、色補正フィルタに応じて補正対象色も変更する。この際、全ての色補正フィルタを変えてもよいが、基準パターンとの対応が取れなかったものについてだけ色補正フィルタを変えるようにするとよい。そして、この変更した色補正フィルタと補正対象色を用いて、色補正を行い、補正カラー画像を生成する。色補正結果判定部１０では、色補正フィルタを変える毎に生成される補正カラー画像について上記の色補正の妥当性の評価を行う。そして、色補正結果判定部１０では、色補正後対応組数が色補正前対応組数より多くなるような（少なくとも色補正後対応組数が色補正前対応組数より少なくならないような）色補正フィルタを探索する。この際、色補正フィルタに応じて補正対象色も変わり、領域抽出部７及び色補正部９における各処理が繰り返し実行される。

基準パターン自動追加部１１は、色補正結果判定部１０で適正な色補正が行われたと判定された場合、色補正された補正領域（特徴的な絵柄）のうち基準パターン記憶部３に記憶されている基準パターンの絵柄以外の領域かつ所定基準以上の大きさを有する領域を抽出する。この際、所定基準以上の大きさは、基準パターンとして絵柄の類似性の判定を十分に行うことができる十分な大きさである。そして、基準パターン自動追加部１１では、この抽出した色補正後の補正領域から基準パターンを作成する。さらに、基準パターン自動追加部１１では、作成した基準パターンの絵柄と補正基準色とを対応付けして基準パターン記憶部３に記憶させる。

図６に示す例では、色補正前には、基準画像ＢＩにおいてりんごを含む矩形領域ＳＡ１から作成された基準パターンが基準パターン記憶部３に登録されていた。入力カラー画像ＩＩにおいて矩形領域ＳＡ１の基準パターンの絵柄と一致する特徴領域ＣＡ１が抽出され、その特徴領域ＣＡ１から求められた補正対象色に基づいてりんご全体である補正領域ＲＡ１とＣＤ−ＲＯＭドライバの一部分である補正領域ＲＡ２が抽出される。そして、補正カラー画像ＲＩにおいては、この補正領域ＲＡ１、ＲＡ２が共に矩形領域ＳＡ１の基準パターンの補正基準色に補正されている。補正領域ＲＡ２のＣＤ−ＲＯＭドライバは基準パターンとして登録されていなかったので、色補正後の補正領域ＲＡ２から基準パターンの絵柄及び補正基準色が作成され、基準パターン記憶部３に新たに登録される。この例では、補正領域ＲＡ２（ＣＤ−ＲＯＭドライバ）を含む矩形領域が基準パターンとして登録される。

出力部１２は、色補正結果判定部１０で適正な色補正が行われたと判定された場合、補正カラー画像をモニタあるいは他の装置に出力する。

図１を参照して、画像処理装置１の動作を図７のフローチャートに沿って説明する。図７は、図１の画像処理装置における処理の流れを示すフローチャートである。

基準となる色成分が得られる所定の撮像環境において、カメラによって、予め分っている撮像対象を撮像する。その得られたカラー画像からその撮像対象の領域を抽出し、その領域のカラー情報から基準パターンの絵柄と補正基準色を作成する。そして、基準パターン毎に、絵柄及び補正基準色がコンピュータ内の基準パターン記憶部３に格納される。

画像入力部２では、カメラによる撮像などによってカラー画像を取得し、このカラー画像のデータを基準パターン記憶部３や各処理部４〜１２が構成されるコンピュータに入力させる（Ｓ１）。そして、このカラー画像のデータは、コンピュータ内の所定の記憶領域に格納される。

特徴抽出部４では、入力カラー画像を輝度画像に変換する（Ｓ２）。そして、特徴抽出部４では、輝度画像から特徴的な絵柄（特徴領域）を抽出する（Ｓ３）。ここで、特徴的な絵柄が抽出されなかった場合、以下の処理は行われず、新たなカラー画像を取得する。また、特徴的な絵柄が複数抽出された場合、その特徴的な絵柄毎にＳ４〜Ｓ８の処理が繰り返し行われる。

対応比較部５では、基準パターン記憶部３に記憶されている全ての基準パターンの絵柄と抽出した全ての特徴的な絵柄とをそれぞれ比較し、特徴的な絵柄に一致する基準パターンがあるか否かを判定する（Ｓ４）。一致する基準パターンの絵柄が無い場合、以下の処理を行わずに、次の特徴的な絵柄に対する判定を行う。全ての特徴的な絵柄に対して一致する基準パターンの絵柄がない場合、以下の処理は行われず、新たなカラー画像を取得する。対応比較部５では、特徴的な絵柄と基準パターンの絵柄とが一致する毎に、色補正前対応組数をカウントアップする。

一致する基準パターンの絵柄が有る場合、色補正フィルタ推定部６では、入力カラー画像から、その一致する特徴的な絵柄（特徴領域）に相当する部分のカラー情報を取得する（Ｓ５）。そして、色補正フィルタ推定部６では、補正対象色として有効性を判定するために、その取得した特徴領域のカラー情報から色成分の近いもの同士をクラスタリングし、クラスタリングした各領域の面積が所定面積以上か否かを判定する（Ｓ６）。クラスタリングされた全ての領域が所定面積未満の場合、補正対象色として有効性のあるものがないので、以下の処理を行わずに、次の特徴的な絵柄に対する判定を行う。

所定面積以上のクラスタリングされた領域がある場合、補正対象色として有効性があるので、色補正フィルタ推定部６では、その有効性があると判定されたクラスタリング領域から補正対象色（ＲＧＢの各階調）を求める。さらに、色補正フィルタ推定部６では、この求められた補正対象色から基準パターンの補正基準色へと色補正するための色補正フィルタを推定する（Ｓ７）。

領域抽出部７では、入力カラー画像から、求められた補正対象色の色成分から一定色差以内の補正領域を抽出する（Ｓ８）。この際、抽出された補正領域は、この補正対象色から推定された色補正フィルタが適用対象となる。

ここで、Ｓ３で抽出した全ての特徴的な絵柄に対して、基準パターンとの絵柄比較が終了したか否かを判定する（Ｓ９）。全て終了していない場合、Ｓ４の処理に戻って、次の特徴的な絵柄に対する比較を行う。

絵柄比較が全て終了している場合、同じ補正領域に対して複数の色補正フィルタが適用対象となっているときには、色補正フィルタ選択部８では、まず、その補正領域に連続する特徴領域（基準パターンと一致するもの）の補正対象色に基づいて推定された色補正フィルタを選択する（Ｓ１０）。さらに、色補正フィルタ選択部８では、補正領域に連続する特徴領域が複数ある場合、面積の大きい特徴領域に基づいて推定された色補正フィルタを選択する（Ｓ１０）。なお、補正領域に対して１つの色補正フィルタが適用対象となっている場合、Ｓ１０の処理を行わずに、Ｓ１１の処理に移行する。

各補正領域に対して１つの色補正フィルタが決まると、色補正部９では、各補正領域に対して、それぞれ適用対象の色補正フィルタを用いて色補正を行い、補正カラー画像を生成する（Ｓ１１）。

色補正結果判定部１０では、補正カラー画像について、Ｓ２〜Ｓ４と同様の処理を行い、基準パターン記憶部３に記憶されている基準パターンの絵柄と一致する特徴的な絵柄の数（色補正後対応組数）を求める。そして、色補正結果判定部１０では、色補正の妥当性を判定するために、色補正後対応組数が色補正前対応組数以上か否かを判定する（Ｓ１２）。

色補正後対応組数が色補正前対応組数未満となった場合、色補正結果判定部１０では、色補正に妥当性が無いと判断し、色補正フィルタをランダムに変更するとともに対応する補正対象色も変更する（Ｓ１３）。そして、Ｓ８の処理に戻って、Ｓ８〜１１の処理を再度行い、変更した色補正フィルタによって補正カラー画像を生成する。さらに、色補正結果判定部１０では、この修正された補正カラー画像について、上記と同様の色補正の妥当性の判定を行う（Ｓ１２）。このような処理を繰り返し行い、色補正結果判定部１０では、色補正が妥当性を有するような色補正フィルタを探索する。

色補正後対応組数が色補正前対応組数以上となった場合、色補正結果判定部１０では、色補正に妥当性が有ると判断する。基準パターン自動追加部１１では、色補正された補正領域（特徴的な絵柄）のうち基準パターンの絵柄以外の領域かつ所定基準以上の大きさを有する領域について基準パターンを作成し、作成した基準パターンの絵柄と補正基準色とを対応付けして基準パターン記憶部３に記憶させる（Ｓ１４）。また、出力部１２では、適正な色補正が施された補正カラー画像を出力する（Ｓ１５）。

この画像処理装置１によれば、カラーチャートを用いずに、照明条件などの各種環境が変化しても適正な色補正を行うことができる。したがって、画像内にカラーチャートのためのスペースが必要なく、特別なカラーチャートを環境毎に用意する必要もない。特に、様々な色成分の基準パターンを設定することにより、様々な色成分について適正な色補正が可能となり、実環境で予測される様々な環境変化に対応可能となる。

また、画像処理装置１によれば、同じ補正領域に対して複数の色補正フィルタが適用対象となった場合でも、優先順位に従って１つの色補正フィルタを選択する。そのため、色補正された領域が複数の色補正フィルタによってモザイク状になることはなく、自然な色補正を行うことができる。

また、画像処理装置１によれば、色補正が適正に行われたか否かを判定するので、高精度な色補正を適用することができる。また、色補正フィルタを変更することによって色補正後の基準パターンの絵柄と特徴的な絵柄との対応組数が増加するように構成しているので、画像認識による物体認識などの処理も高精度化が可能である。

また、画像処理装置１によれば、基準パターンを動的に追加することができるので、色補正可能なシーンや環境を増やすことができる。そのため、色補正を行うほど、適用範囲が拡大していく。

また、画像処理装置１によれば、特徴的な絵柄を抽出する際に輝度情報を用いているので、色変化に対してロバストに特徴的な絵柄を抽出することができる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では色補正フィルタ選択部、色補正結果判定部、基準パターン自動追加部を備える構成としたが、これらのうちの全部又はいずれかを備えない構成としてもよい。これらを備えない構成の場合でも、様々な環境においてカラーチャートを用いないで色補正が可能である。

また、本実施の形態ではコンピュータ上でアプリケーションプログラム（ソフトウエア）を実行することによって各処理部を構成したが、ハードウエアによって各処理部を構成してもよい。

また、本実施の形態では輝度情報を用いて基準パターンと類似する領域を抽出する構成としたが、彩度、ＲＧＢの色情報などの他の画像情報を用いて行ってもよい。

また、本実施の形態では色補正フィルタの選択において補正領域に連続する特徴領域の補正対象色に基づく色補正フィルタを選択し、連続する特徴領域が複数ある場合には面積の大きい方の特徴領域の補正対象色に基づく色補正フィルタを選択する構成としたが、最初から、面積の大きい方の特徴領域の補正対象色に基づく色補正フィルタを選択する構成としてもよい。

本実施の形態に係る画像処理装置の構成図である。 図１の画像処理装置の色補正の基本処理の説明図である。 図１の色補正フィルタ選択部における第１段階選択処理の説明図である。 図１の色補正フィルタ選択部における第２段階選択処理の説明図である。 図１の色補正結果判定部における判定処理の説明図である。 図１の基準パターン自動追加部における自動追加処理の説明図である。 図１の画像処理装置における処理の流れを示すフローチャートである。

符号の説明

１…画像処理装置、２…画像入力部、３…基準パターン記憶部、４…特徴抽出部、５…対応比較部、６…色補正フィルタ推定部、７…領域抽出部、８…色補正フィルタ選択部、９…色補正部、１０…色補正結果判定部、１１…基準パターン自動追加部、１２…出力部

Claims (10)

1. カラー画像の色成分を補正する画像処理装置であって、
   カラー画像を取得する画像取得手段と、
   形状と色成分からなる基準パターンを記憶する記憶手段と、
   前記画像取得手段で取得したカラー画像から前記記憶手段に記憶されている基準パターンの形状と類似する類似領域を抽出する類似領域抽出手段と、
   前記類似領域抽出手段で抽出した類似領域の色成分と前記記憶手段に記憶されている基準パターンの色成分に基づいて補正量を設定する補正量設定手段と、
   前記画像取得手段で取得したカラー画像から前記類似領域抽出手段で抽出した類似領域の色成分と同様の色成分を有する補正領域を抽出する補正領域抽出手段と、
   前記補正領域抽出手段で抽出した補正領域を前記補正量設定手段で設定した補正量に基づいて補正する補正手段と
   を備えることを特徴とする画像処理装置。
2. 前記補正手段は、前記補正領域抽出手段で異なる類似領域の各色成分によって同じ補正領域を抽出した場合、当該補正領域近傍の類似領域の色成分に基づいて設定された補正量又は面積の大きい類似領域の色成分に基づいて設定された補正量に基づいて補正することを特徴とする請求項１に記載する画像処理装置。
3. 前記記憶手段は、複数の基準パターンを記憶しており、
   色補正前のカラー画像と色補正後のカラー画像とにおける各基準パターンの形状と類似する類似領域の数を比較することによって色補正を評価する評価手段を備えることを特徴とする請求項１又は請求項２に記載する画像処理装置。
4. 前記補正手段で色補正した補正領域のうち前記記憶手段に記憶されている基準パターンと類似する類似領域以外でかつ所定基準以上の大きさを有する補正領域の形状及び色補正後の色成分を基準パターンとして追加する基準パターン追加手段を備えることを特徴とする請求項１〜請求項３のいずれか１項に記載する画像処理装置。
5. 前記類似領域抽出手段は、輝度値に基づいて類似領域を抽出することを特徴とする請求項１〜請求項４のいずれか１項に記載する画像処理装置。
6. カラー画像の色成分を補正する画像処理方法であって、
   カラー画像を取得する画像取得ステップと、
   前記画像取得ステップで取得したカラー画像から予め記憶されている基準パターンの形状と類似する類似領域を抽出する類似領域抽出ステップと、
   前記類似領域抽出ステップで抽出した類似領域の色成分と予め記憶されている基準パターンの色成分に基づいて補正量を設定する補正量設定ステップと、
   前記画像取得ステップで取得したカラー画像から前記類似領域抽出ステップで抽出した類似領域の色成分と同様の色成分を有する補正領域を抽出する補正領域抽出ステップと、
   前記補正領域抽出ステップで抽出した補正領域を前記補正量設定ステップで設定した補正量に基づいて補正する補正ステップと
   を含むことを特徴とする画像処理方法。
7. 前記補正ステップでは、前記補正領域抽出ステップで異なる類似領域の各色成分によって同じ補正領域を抽出した場合、当該補正領域近傍の類似領域の色成分に基づいて設定された補正量又は面積の大きい類似領域の色成分に基づいて設定された補正量に基づいて補正することを特徴とする請求項６に記載する画像処理方法。
8. 前記基準パターンは、複数あり、
   色補正前のカラー画像と色補正後のカラー画像とにおける各基準パターンの形状と類似する類似領域の数を比較することによって色補正を評価する評価ステップを含むことを特徴とする請求項６又は請求項７に記載する画像処理方法。
9. 前記補正ステップで色補正した補正領域のうち基準パターンと類似する類似領域以外でかつ所定基準以上の大きさを有する補正領域の形状及び色補正後の色成分を基準パターンとして追加する基準パターン追加ステップを含むことを特徴とする請求項６〜請求項８のいずれか１項に記載する画像処理方法。
10. 前記類似領域抽出ステップでは、輝度値に基づいて類似領域を抽出することを特徴とする請求項６〜請求項９のいずれか１項に記載する画像処理方法。
    

Images