JP2019216409A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】暗所の撮影画像に対して色の測定を可能とする画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】物体の色を測定するための画像処理装置は、測定対象画像と、測定対象画像とは異なる基準画像を取得する取得手段２０１と、基準画像に基づいて基準色を導出する導出手段２０３と、測定対象画像を撮影した際の撮像パラメータと基準画像を撮影した際の撮像パラメータとに基づいて、基準色を補正する補正手段２０５と、補正手段により補正された基準色を参照して、測定対象画像における少なくとも物体に対応する領域の色を測定する色測定手段２０６と、を有する。【選択図】図２

Description

本発明は、撮影装置で撮影したカラー画像を用いて物体の色を測定する画像処理に関する。

デジタルスチルカメラやデジタルビデオカメラなどのデジタル撮像装置を利用した対象物の計測が広く行われている。その一例としては製品の測色がある。特許文献１では、白色板を含む任意の被写体を面順次で撮像して３原色の色画像を取得し、この被写体の各色画像をそれぞれ白色板の対応するＲＧＢ値で規格化する。このようにして規格化した被写体の各色画像と、前記算出した変換パラメータとに基づいて被写体のＲＧＢ画像をＸＹＺ画像に変換する方法について記載している。

特開２００６−３０３７８３号公報

対象物の色を測定する場合、基準とする白色を設定する必要がある。そのため例えば白色板など被写体の一部に白色の領域を含むように撮像し、白色の領域における画素の画素値に基づいて、基準白色を設定していた。しかしながら光源の少ない夜間など暗所において対象物の色を測定する場合、全体として暗い画像であるため基準となる白色に対応する領域を特定することが難しかった。その結果、暗所における物体の色を適切に測定することができなかった。

そこで、本発明は、暗所における物体の色を測定する場合においても、基準色を適切に設定するための画像処理技術を提供することを目的とする。

上記課題を解決するため本発明は、測定対象の物体を撮像することにより得られる測定対象画像に基づいて、前記物体の色を測定するための画像処理装置であって、前記測定対象画像と、前記測定対象画像とは異なる基準画像を取得する取得手段と、前記基準画像に基づいて基準色を導出する導出手段と、前記測定対象画像を撮影した際の撮像パラメータと前記基準画像を撮影した際の撮像パラメータとに基づいて、前記基準色を補正する補正手段と、前記補正手段により補正された基準色を参照して、前記測定対象画像における少なくとも前記物体に対応する領域の色を測定する色測定手段とを有することを特徴とする。

本発明により、暗所において撮影することで得られた画像に対して色を測定することが可能となる。

画像処理装置のハードウェア構成を示すブロック図 画像処理装置の論理構成を示すブロック図 画像処理装置における処理の流れを示すフローチャート図 基準画像と測定対象画像の例を示す図 基準色を設定するＧＵＩ（グラフィックユーザインターフェイス）の例を示す図 色測定のＧＵＩの例を示す図 基準色と補正基準色について説明するための図 基準色と補正基準色の変形例を説明するための図 画像処理装置の変形例における処理の流れを示すフローチャート図

以下、添付の図面を参照して、本発明を好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に必ずしも限定されるものではない。

＜第１実施形態＞
本実施形態では、自動車のテールランプ（尾灯）の色を測定する方法を例に説明する。一般に４輪の自動車は、後面の左右２か所に赤色のライトを装着されている。自動車のテールランプは、後続の自動車に対して自車の減速や停車などの運転操作を知らせる役割がある。当然、自動車は周囲に光源の少ない場所で夜間に運転する場合もある。そのため自動車のテールランプは、テールランプ以外に光源のない環境の夜間においても、ムラなく発光している必要がある。そこで本実施形態では、自動車のテールランプに対して、昼間での測定と夜間での測定とを実現する。本実施形態における画像処理装置は、自動車の後面を撮像した画像に基づいて、左右に装着されたテールランプを、明るい昼間に見たときの色と、周囲にテールランプ以外の光源のない暗い夜間に見たときの色を測定可能な画像処理を実行する。測定対象のオブジェクト（自動車）を昼間に撮像した画像に基づいて測定する場合の画像処理と、測定対象のオブジェクトを夜間に撮像した画像に基づいて測定する場合の画像処理とは異なる。そこで本実施形態では、測定対象のオブジェクトを昼間に撮像した画像に基づいて測定する昼間測定モードと、測定対象のオブジェクトを夜間に撮像した画像に基づいて測定する夜間測定モードを切り替えて、処理を実行する。

図１は、本実施形態における画像処理装置のハードウェア構成について、説明する。図１において、画像処理装置はＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、メインバス１０９を備える。汎用Ｉ／Ｆ１０４はカメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、メモリーカードなどの外部メモリ１０７をメインバス１０９に接続する。

以下では、ＣＰＵ１０１がＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで各種処理を実現する。まず、ＣＰＵ１０１はＨＤＤ１０３に格納されている画像処理アプリケーションを起動し、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインターフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で撮影された画像データ、入力装置１０６からの指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されている画像データに対してＣＰＵ１０１からの指令に基づき各種演算が行われる。演算結果はモニタ１０８に表示したり、ＨＤＤ１０３、外部メモリ１０７に格納したりする。

上記の構成において、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションが実現する画像処理の詳細について説明する。図２は、本実施形態における画像処理装置の詳細な論理構成を示すブロック図である。画像処理装置は、画像取得部２０１、撮像パラメータ取得部２０２、基準色導出部２０３、補正係数導出部２０４、基準色補正部２０５、色測定部２０６、表示部２０７、カラープロファイル保持部２０８を備える。

画像取得部２０１は、ＣＰＵ１０１からの指示に基づいて測定するための画像を取得する。昼間測定モードの場合は、測定対象のオブジェクトおよび、基準色を設定するための白色板を含むように撮像した１つの測定対象画像を取得する。一方、夜間測定モードである場合は、測定対象のオブジェクトを夜間に撮像した画像を測定対象画像として取得し、昼間に白色板を撮像した画像を基準画像として取得する。なお本実施形態において、測定対象画像と基準画像は、撮像した時間以外は同じ環境で撮像されたものとする。本実施形態において画像取得部２０１は、昼間測定モードにおいて測定対象画像として用いる画像を、夜間測定モードにおける基準画像としても取得する。基準画像は、撮像装置１０５或いはＨＤＤ１０３や外部メモリ１０７から取得する。勿論、撮像装置１０５で撮影して得られる画像をＨＤＤ１０３などの記憶装置に一旦記憶した後で取得しても構わない。また、入力した複数の画像はＲＡＭ１０２やＨＤＤ１０３に記憶される。

撮像パラメータ取得部２０２は、ＣＰＵ１０１からの指示に基づいて測定対象画像を撮像した時の撮像パラメータと、基準画像を撮像した時の撮像パラメータを取得する。ここではシャッタースピード、絞り値、ＩＳＯ感度を撮像パラメータとして取得する。撮像パラメータ取得部２０２は、各画像に付帯されたメタデータを参照することで撮影時の撮像パラメータを取得できる。

基準色導出部２０３は、白色板を撮像した画像に基づいて、基準色を導出する。基準色導出部２０３は、昼間測定モードの場合は測定対象画像から、夜間測定モードの場合は測定対象画像とは異なる基準画像から基準色を導出する。導出した基準色を示すデータはＲＡＭ１０２やＨＤＤ１０３に記憶される。尚、基準色の導出方法の詳細は後述する。

補正係数導出部２０４は、ＣＰＵ１０１からの指示に基づいて基準画像を撮像した時に用いられた撮像パラメータと測定対象画像を撮像した時に用いられた撮像パラメータとに基づいて、基準色を補正するための補正係数を導出する。ここでは、露出条件の差、およびＩＳＯ感度の差に基づいて補正係数を導出する。導出した補正係数はＲＡＭ１０２やＨＤＤ１０３に記憶される。尚、補正係数の導出方法の詳細は後述する。

基準色補正部２０５は、ＣＰＵ１０１からの指示に基づいて基準色導出部２０３で導出した基準色を、補正係数導出部２０４で導出した補正係数を用いて補正し、補正基準色を導出する。導出した補正基準色はＲＡＭ１０２やＨＤＤ１０３に記憶される。尚、補正基準色の導出方法の詳細は後述する。

色測定部２０６は、ＣＰＵ１０１からの指示に基づいて基準色補正部２０５で導出した補正基準色に基づいて、測定対象画像の色を測定する。色測定の結果はＲＡＭ１０２やＨＤＤ１０３に記憶される。尚、色測定方法の詳細は後述する。

表示部２０７は、ＣＰＵ１０１からの指示に基づいて色測定部２０６による色測定の結果をモニタ１０８などに表示する。尚、導出した色測定結果を示す色測定データは汎用Ｉ／Ｆ１０４に接続した外部メモリ１０７に出力したりしてもよいし、プリンタなどを接続して出力しても構わない。

以下では、図２で説明した画像処理装置の各論理構成における、画像処理の流れを詳細に説明する。図３は、本実施形態における画像処理のフローチャートである。ＣＰＵ１０１が、図３に示すフローチャートを実現可能なプログラムを読み出し実行することで、各構成（機能）が実現される。なお、以下では、各ステップを「Ｓ」と表記するものとする。

まずＳ３０１において画像処理装置は、色測定をするモードを判定する。昼間におけるオブジェクトの色の見えを測定する昼間測定モードであればＳ３０２に、夜間におけるオブジェクトの色の見えを測定する夜間測定モードであればＳ３０８に進む。ユーザによる指示を入力することでモードを決定しても良いし、測定対象画像を解析することでモードを判定してもよい。

以下は、昼間測定モードにおける処理の流れである。Ｓ３０２において画像取得部２０１は、昼間、測定対象となるオブジェクトを含むように撮影した画像を測定対象画像として取得する。図４に、色測定に用いる画像の例を示す。図４（ａ）は、昼間の屋外において、測定対象となるオブジェクト４０１を含むように撮影した画像４０３である。画像４０３は、測定対象である自動車の後面にあるテールランプを含む視点から、撮像装置を用いて停止している自動車を撮像することで得られる。このときテールランプは点灯した状態にある。また、基準色を設定するための白色板４０２も撮像範囲に含まれるように配置されている。なおここでは、白色板４０２は、自動車とは別に用意された板材であり、白色板４０２における円内は白色になっている。不図示の指示部材によって白色板が撮像装置の光軸に直交するように配置されている。なお、オブジェクト４０１に貼り付けられる部材の白色板を用いてもよいし、白色板のサイズや材料および配置は図４（ａ）に示す例に限らない。昼間測定モードにおいては、高輝度に発光しているテールランプも、周囲からの光を受けて発色している白色板の領域もダイナミックレンジの範囲内に収さまるように撮像された画像を用いるものとする。つまり画像４０３では、高輝度に発光しているテールランプ領域が白飛びしたり、白色板の領域が黒潰れすることなく、どちらの領域でもシーンの輝度が適切に出力値に対応づけられている。Ｓ３０２において基準色導出部２０３は、Ｓ３０３において取得した測定対象画像から基準色を導出する。

図５は、ユーザが基準色を指示するためのＧＵＩ（グラフィックユーザインターフェース）の例を示す模式図である。領域５０１には測定対象画像が表示されている。ユーザは測定対象画像における所望の位置（ここでは白色板において白色である点）を指定することで、基準色を指示できる。基準色導出部２０３は、ユーザに指示された位置の画素の画素値を取得する。ここでは測定対象画像は、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）からなるカラー画像であるので、ユーザに指示された位置の画素の画素値は、ＲＧＢ各色の画素値である。なお基準色として指定された画素の画素値を、Ｒｗ、Ｇｗ，Ｂｗとする。基準色導出部２０３は、基準色として指定された画素の画素値（Ｒｗ、Ｇｗ、Ｂｗ）を、カラープロファイル保持部２０８が保持する所定のカラープロファイルを参照して測色値（ＸＹＺ値）に変換する。例えばカラープロファイルとして３×３の変換行列Ｍが保持されている場合は、基準色導出部２０３は、式（１）（２）の通りに、基準色の測色値を導出する。

測色値Ｘｗ、Ｙｗ、Ｚｗは、基準色の測色値を表す。なお、カラープロファイルを用いた測色値の算出方法はこれに限られるものではない。例えば、測定対象画像が８ビットのＲＧＢ画像である場合、各画素の画素値は０から２５５までの整数値に限られる。そのため、あらかじめ全組み合わせについて式（２）に基づいてＸＹＺ値を算出し、対応するＲＧＢ値とＸＹＺ値との組をＬＵＴ（ルックアップテーブル）としてプロファイルに記憶しておいてもよい。ＬＵＴを用いる場合、基準色導出部２０３は、ＬＵＴを参照することでＲＧＢ値をＸＹＺ値に変換できるため、行列演算はしない。勿論、ＬＵＴの生成方法はこれに限られるものではなく、ＲＧＢ値とＸＹＺ値の対応関係が記録されているものであればよい。例えば、全色の組み合わせではなく、代表的な組み合わせのみＬＵＴとして記憶しておき、それ以外の色はその代表色の組み合わせから補間演算によって導出することもできる。

Ｓ３０４において色測定部２０６は、測定対象画像における基準となる画素（基準点）と各画素との測色値の差分を示す色差画像を色測定結果として出力するため、測定対象画像における基準点を取得する。本実施形態では、図５に示すＧＵＩに対してユーザから基準点の位置を指定させる。なお、色測定部２０６が自動で基準点を設定してもよい。色測定部２０６は例えば、テールランプの領域を検出して、検出したテールランプ領域における任意の位置を基準点とすればよい。

Ｓ３０５において色測定部２０６は、測定対象画像における各画素の画素値を式（１）（２）を用いて測色値に変換し、さらに測色値をＣＩＥＬＡＢ色空間におけるＬａｂ値に変換する。Ｓ３０６において色測定部２０６は、後述する式（３）〜式（８）を用いて各画素のＬａｂ値と基準点におけるＬａｂ値との色差を算出し、色差画像を生成する。

Ｓ３０７において表示部２０７は、色測定部２０６から出力される色差画像を表示する。以上が昼間測定モードである。なお昼間測定モードである場合、撮像パラメータ２０２、補正係数導出部２０４、基準色補正部２０５は処理を実行しない。次に、夜間測定モードにおける処理について説明する。

Ｓ３０８において画像取得部２０１は、基準色を設定するための基準画像を取得する。上述の通りここでは、画像４０３を基準画像として取得する。Ｓ３０９において画像取得部３０９は、夜間にオブジェクトを撮像した画像を測定対象画像として取得する。

ここで夜間調整モードにおける基準画像と測定対象画像について説明する。図４（ｂ）は、夜間の屋外において、測定対象となるオブジェクト４０１を含むように撮影した画像４０４である。画像４０４は、測定対象である自動車の後面にあるテールランプを含む視点から、撮像装置を用いて停止している自動車を撮像することで得られる。基準画像を撮像したときと同様に、画像４０４において自動車のテールランプは点灯した状態である。また画像４０４は、画像４０３を撮像したときの自動車および撮像装置の位置と、同じ位置から撮像することにより画像４０４を取得したものとする。つまり撮像装置から移動車までの距離や位置関係は、画像４０３と画像４０４とは概ね同じであると言える。画像４０４では、画像４０３と同様の位置に白色板が配置されている。白色板は、光を反射することで色が見える物体色である。そのため、図４（ｂ）では白色板の領域をグレーにより表現したが、実際には周囲にほとんど光源のない真っ暗な夜間においては、白色板はほとんど発色していない。そのため周囲に光源のない環境では、白色板に合わせて撮像パラメータを設定しようとしても、撮像画像において白色板領域は黒潰れしてしまい、認識できない。その結果、ユーザは、測定対象画像に対して基準色を指示することが困難となってしまう。

そこで本実施形態では、暗い環境で撮像した測定対象画像とは別に、明るい環境において白色板を撮像した画像４０３を、基準色を設定するための基準画像として取得する。なお、色測定したいテールランプは、光源色であり、夜間であっても非常に明るい。そのため夜間にオブジェクトを撮像する際には、テールランプの色が白飛びしないように撮像パラメータを調整して撮像する必要がある。

Ｓ３１０において基準色導出部２０３は、Ｓ３０８において取得した基準画像から基準色を導出する。Ｓ３１０における処理は、Ｓ３０３における処理と同様である。図５に示すＧＵＩにおける領域５０１には、基準画像が表示されている。ユーザにより指示された位置の画素の画素値を、式（１）（２）を用いて測色値に変換する。なお、既に、画像４０３に対して昼間測定モードにおいて基準色を算出している場合は、昼間測定モードにおいて算出した基準色を保持しておき、夜間測定モードにおいても基準色として測色値Ｘｗ、Ｙｗ、Ｚｗを用いるようにしてもよい。

Ｓ３１１において補正係数導出部２０４は、基準画像を撮影した際の撮像パラメータと測定対象画像を撮影した際の撮像パラメータとに基づいて、基準色を補正するための補正係数を導出する。具体的には補正係数導出部２０４は、撮像パラメータ取得部２０２から、基準画像に対応するシャッタースピード（ＴＶ），絞り（ＡＶ）、感度（ＩＳＯ）と、測定対象画像に対応するシャッタースピード（ＴＶ），絞り（ＡＶ）、感度（ＩＳＯ）を取得する。例えば、基準画像のシャッタースピードをＴＶｐｒｆ、測定対象画像のシャッタースピードがＴＶｉｍｇとすると、シャッタースピードに応じた補正係数αは、式（３）により算出される。

同様に、絞り値に応じた補正係数β、ＩＳＯ感度に応じた補正係数γは、それぞれ式（４）、式（５）により算出される。

基準画像の絞り値がＡＶｐｒｆ、ＩＳＯ感度がＩＳＯｐｒｆであり、測定対象画像の絞り値がＡｖｉｍｇ，ＩＳＯ感度がＩＳＯｉｍｇである。本実施形態では、補正係数導出部２０４は、シャッタースピード（ＴＶ），絞り（ＡＶ）、感度（ＩＳＯ）に基づいて補正係数δを式（６）により算出する。

以下、具体的な数値で説明する。画像４０４は、高輝度な光源色（テールランプ）の領域において画素値が飽和しないように撮像することで得られた画像である。昼間の屋外などの明るい環境よりも、夜間など周囲の暗い環境において撮影する場合の方が、短い露光時間が設定される。そこで、基準画像のシャッタースピードがＴＶｐｒｇ＝１／５０、絞り値がＡＶｐｒｆ＝Ｆ８、ＩＳＯ感度がＩＳＯｐｒｆ＝２００であったとする。これに対し測定対象画像のシャッタースピードはＴＶｉｍｇ＝１／２００、絞り値はＡＶｉｍｇ＝Ｆ８、ＩＳＯ感度はＩＳＯｉｍｇ＝２００のような撮影条件が設定される。この場合、式（３）〜（６）を用いて補正係数４が導出される。

Ｓ３１２において基準色補正部２０５は、Ｓ３１０において導出した基準色を補正係数δを用いて補正する。基準色補正部２０５は、式（７）を用いて基準色（Ｘｗ、Ｙｗ、Ｚｗ）を補正する。

基準色補正部２０５は、測定対象画像における各画素の測色値を算出するための基準色として、補正基準色（Ｘｗ’、Ｙｗ’、Ｚｗ’）を出力する。

Ｓ３１３において色測定部２０６は、色測定結果として測定対象画像における基準となる画素（基準点）と各画素との測色値の差分を示す色差画像を出力するため、測定対象画像における基準点を取得する。Ｓ３１３における処理は、Ｓ３０４と同様である。

Ｓ３１４において色測定部２０６は、測定対象画像における各画素の画素値を、式（１）（２）を用いてＸＹＺ値に変換する。Ｓ３１５において色測定部２０６は、測定対象画像における各画素の色と基準点における色との色差を算出する。ここで色測定部２０６は、ＣＩＥＬＡＢ色空間などの知覚均等色空間の色差により色評価をする。ここで色測定部２０６は、Ｓ３１４において導出した各画素の測色値（Ｘ、Ｙ、Ｚ）、補正基準色（Ｘｗ’、Ｙｗ’、Ｚｗ’）とすると、式（８）〜（１２）の通りに測定対象画像における各画素のＣＩＥＬＡＢ値（以降、Ｌａｂ値とする）を算出する。

さらに、基準点に対応する画素のＬａｂ値を（Ｌ１，ａ１、ｂ１）、測定対象画像における色差算出対象の画素のＬａｂ値を（Ｌ２，ａ２、ｂ２）とすると、色測定部２０６は、式（１３）の通りに色差を算出する。

色測定部２０６は、各画素の色差からなる色差画像を出力する。

Ｓ３１６において表示部２０７は、色測定部２０６から出力された色差画像を表示する。図６は、色評価結果である色差画像を表示するＧＵＩの例である。領域６０１は、測定対象画像を表示する領域である。表示部２０７は、まず領域６０６に色差画像を表示する。色差画像においては、基準点に対する色差が小さい画素ほど暗く、色差が大きいほど明るく表示される。ここでは領域６０４における画素を基準とした例を示す。なお、色差画像はこれに限られるものではなく、ユーザが色差を判別しやすい色で表示することができればよい。またユーザは、測定対象画像６０１の中に対して評価したい点や領域を選択することができる。ここでは測定対象画像における２つのテールランプ上の点６０４と点６０５が指定されたとする。指定された点におけるＬａｂ値が色値表示領域６０２に表示される。さらに、選択した２点間の色差が色差表示領域６０３に表示される。

以上で、本実施形態における画像処理を終了する。上述の通り、真っ暗な夜間において非常に明るいテールランプ領域が白飛びしないようにすると、他の領域はほとんど黒潰れしてしまう。通常、色を示すＬａｂ値を算出するためには、白色の物体を撮影した領域の画素を基準色として参照する。そのためユーザは、基準色を設定するために白色の物体に対応する領域を指定することで、基準色を指示する。しかしながら白色の物体は周囲からの光がほとんどないため、発色しない。その結果図４（ｂ）のように自動車の後面を暗い環境で撮像した画像では、赤いテールランプの領域以外は真っ黒である。このように測定対象の画像が、一部の領域以外ほとんどで黒潰れしているような画像である場合は、ユーザはどの位置を基準色として指定すればよいのかわからない。そこで本実施形態では、測定対象画像とは異なる、明るい環境で同様のオブジェクトおよび白色板を撮像した画像をユーザに表示することで、ユーザは通常の色測定（ここでは昼間測定モード）を実行する場合と同様の操作で、簡易に基準色を設定することができる。特に本実施形態では、測定対象画像と同じ自動車および白色板を同様の視点から同様の画角で撮像することで得られる画像を基準画像として、ＧＵＩに表示した。これによりユーザは、測定対象画像とは異なる画像であっても、測定対象画像を測定するための基準色の設定を直感的に操作することができる。

また、上述の夜間測定モードのように、補正基準色を用いることで、より適切な色値を算出することができる。従来、Ｌａｂ値を算出するためには、ホワイトポイント（基準色）を基準とした色空間を定義する。しかしながら白色板は物体色であるため、暗い環境下で撮影しても発色せず、ホワイトポイントに対応する基準色を取得できない。そこで本実施形態では、明るい環境下で撮影した白色板の画素値に基づいて、暗い環境下において白として発色する物体のＸＹＺ値を推定する。

図７は、夜間測定モードにおける測定対象画像の入出力特性と、基準画像の入出力特性を模式的に示す図である。横軸はシーンにおける輝度、縦軸は画素値を示す。線７０１は、基準画像における入出力特性である。つまり画像４０３における入出力特性である。基準画像においては、ランプの輝度も基準色である白色の輝度も、それぞれ線形に画素値に対応している。一方直線７０２は、測定対象画像における入出力特性である。測定対象画像は、光源色（テールランプ：７０３）の領域が飽和しないように撮像パラメータが設定されている。そのためランプの輝度近傍においても、測定対象画像では線形に画素値が対応する。白色板７０４は、発色できていなかったためにそもそもの輝度が極めて小さく、白色板の領域を識別しにくい。そこで基準色７０５に補正係数を乗じることで、暗い環境下において白色板が白として発色していた場合の値を推定し、補正基準色とする。補正基準色を用いて、暗い環境下における各画素の色値を算出することで、暗い環境下であってもより精度の高い色値を算出することができる。

さらに以下、具体的な数値で説明する。Ｓ３０３において導出した基準色を（Ｘｗ、Ｙｗ、Ｚｗ）＝（９７１、１０００、８０５）、Ｓ３０４において導出した補正係数が４とすると、補正基準色は（Ｘｗ、Ｙｗ、Ｚｗ）＝（３８８４、４０００．０、３２２０）になる。ここで、測定対象画像におけるテールランプ領域の注目画素の測色値が（Ｘ、Ｙ、Ｚ）＝（４９２６、２４１４、７３６）であるとする。この場合、補正していない基準色を用いて測色値をＬａｂに変換すると、（Ｌ，ａ，ｂ）＝（１４０、１８８、７４）となりＬ＞１００を超えてしまう。ＣＩＥＬＡＢ色空間において明度Ｌは０から１００までしか定義されないため、ＣＩＥＬＡＢ色空間において色差を測定することができない。それに対して、基準画像と測定対象画像との露光時間差に基づいて基準色を補正することで得られる補正基準色を用いて注目画素の測色値をＬａｂ値に変換したＬａｂは（Ｌ，ａ，ｂ）＝（８２、１１９、４７）となり色差を測定できる。

以上の通り本実施形態によれば、暗い環境下で撮影したオブジェクトの色測定をする際に、明るい環境下で撮影した基準色に基づいて各画素の色値を算出することで、暗い環境下であっても色値を算出することができる。また、ユーザは、光源色以外は黒潰れしているような測定対象画像であっても、簡易な操作で基準色を設定することができる。

＜変形例＞
また、測定対象画像におけるテールランプ領域の注目画素の測色値が（Ｘ、Ｙ、Ｚ）＝（９８５２、４８２８、１４７２）であるとする。この場合、補正基準色（Ｘｗ、Ｙｗ、Ｚｗ）＝（３８８４、４０００．０、３２２０）よりも明度が高いため、同様にＬ＞１００を超えてしまう。そこで、補正した基準色が、注目画素の測色値よりも小さい場合は、基準画像からより明るい基準色を選び直したり、補正基準色をさらに補正したりしてもよい。

図８は、補正基準色をさらに補正する場合の例を示す模式図である。線８０１は、基準画像における入出力特性である。直線８０２は、測定対象画像における入出力特性である。測定対象画像は、光源色（評価色：８０３）の領域が飽和しないように撮像パラメータが設定されている。基準画像上の基準色８０４を、測定対象画像の露出に応じて補正すると色８０５になる。しかし、評価色８０３の方が明るい場合に色８０５を参照してＬａｂ値を算出すると、Ｌ＞１００を超えてしまう。そこで、評価色よりも明るい例えば色８０６が補正基準色となるように色８０５を再度補正する。補正基準色をさらに補正する場合の例を図９のフローチャート図を参照して、図３との差異のみ説明する。

Ｓ９０１において測定対象画像から評価色を取得する。Ｓ９０２において基準色補正部２０５は、評価色と、補正した基準色とを比較する。評価色が基準色よりも暗い場合Ｓ９０３に移行し、評価色が基準色よりも暗い場合Ｓ３１３に移行する。

Ｓ９０３において基準色補正部２０５は、評価色よりも明るくなるように基準色を再度補正する。基準色の補正は、評価色よりも基準色の輝度Ｙが大きくなるゲイン補正であれば所望の方法でよい。例えば、補正係数を５にすると、（Ｘｗ、Ｙｗ、Ｚｗ）＝（４８５５、５０００、４０２５）となり、評価色よりも明るい基準色になる。また、所望の基準色の輝度を決定し、それに基づいて補正してもよい。例えば、所望の輝度がＹｗ＝５５００の場合、基準色は（Ｘｗ、Ｙｗ、Ｚｗ）＝（５３４１、５５００、４４２８）になる。

尚、実施例では基準画像から白基準を設定する方法を説明したが、撮影条件から白基準を設定してもよい。例えば、色温度が５０００ＫのＸＹＺの比（Ｘ：Ｙ：Ｚ＝０．９６４２：１：０．８２４９）、と露出値ＥＶ＝１４の適正輝度６３３６から（Ｘｗ、Ｙｗ、Ｚｗ）＝（６１０９、６３３６、５２２７）のように設定できる。

＜その他の実施形態＞
上述の実施形態では、昼間評価モードと夜間評価モードとを切り替える実施例について説明した。しかしながら画像処理装置は、必ずしもモードを切り替える形態でなくても良い。例えば、画像４０３と画像４０４を入力することにより、昼間における色差画像と、夜間における色差画像の両方を生成し、表示してもよい。この場合、Ｓ３０１における判定はなくてもよい。この場合画像処理装置は、画像４０３に対してＳ３０２〜Ｓ３０７の処理を実行した後、画像４０３と画像４０４を用いてＳ３０８〜Ｓ３１６を実行するフローチャートとする。

また、上述の実施形態では、昼間においてテールランプと白色板を撮像した画像では、テールランプ領域も白色板も輝度がダイナミックレンジの範囲に収まるように撮像できたものとした。しかしながら、昼間であっても、テールランプ領域の輝度に合わせると白色板の領域が黒潰れしてしまい、白色板の領域の輝度に合わせるとテールランプ領域が白飛びしてしまうことも起こり得る。その場合は、昼間測定モードであっても、測定対象画像と基準画像とを取得するようにすればよい。具体的にはまず、テールランプ領域が白飛びしないよう撮像パラメータを設定して撮像した画像を、測定対象画像として取得する。また、白色板の領域が黒潰れしないよう撮像パラメータを設定して撮像した画像を基準画像として取得する。なおこのとき、基準画像に対応する撮像パラメータおよび測定対象画像に対応する撮像パラメータも取得する。

基準画像に対してユーザから白色板領域を指定させ、ユーザに指示された位置の画素の画素値Ｒｗ、Ｇｗ，Ｂｗを取得する。Ｓ３０３やＳ３１０と同様に、画素値から基準色を算出する。基準画像に対応する撮像パラメータおよび測定対象画像に対応する撮像パラメータとに基づいて、基準色を補正する。例えば、基準画像と撮影画像の露出差に応じて補正する場合、前述の式（３）〜（６）を参照して補正係数を算出し、式（７）を用いて基準色を補正して、補正基準色とする。補正基準色を用いて、式（８）〜（１２）の通りに、各測色値を算出する。以降の処理は、Ｓ３０６、Ｓ３０７と同様である。これにより、昼間であっても撮像装置のダイナミックレンジ内でテールランプおよび白色板を撮像できなくても、適切に色差画像を生成することができる。

尚、変形例と同様昼間評価モードにてユーザに指示された基準色よりもランプの輝度が大きい場合もある。その場合、基準色がランプよりも明るくなるように基準色を補正してもよい。

また、上述の実施形態においては、画像４０３および画像４０４は、撮像された時間以外は同じ環境であるとしたが、これに限らない。例えば、明るい室内において取得した画像と、自動車に搭載された光源以外の光源がほとんどない真っ暗な夜間において撮像した画像とを用いてもよい。ただしこの場合であっても、撮像装置と自動車との距離や、自動車に対する撮像装置の姿勢方向はおおむね同じであることが望ましい。

なお、色測定の方法はこれに限られるものではない。例えば、色差ではなく明度差、色度差、彩度差、色相差などを利用しても良いし、ΔＥ９４、ΔＥ００など他の色差を用いてもよい。また、ＣＩＥＬＵＶやＣＩＥＣＡＭなどの色空間で測定しても構わない。

上述の実施形態では、基準画像と測定対象画像のシャッタースピード、絞り、ＩＳＯ感度の違いに基づいて、基準画像から抽出された基準色を補正した。例えば、シャッタースピード、絞り、ＩＳＯ感度のうちいずれか１種類或いは２種類に基づいて、補正係数δを導出してもよい。また、補正係数δを式（６）により算出する方法を例に説明したが、例えば、撮像パラメータと補正係数との対応関係をＬＵＴとして記録しておき、補正係数導出部２０４は、ＬＵＴを参照することで補正係数を導出してもよい。さらに、本実施形態では基準画像から基準色を取得し、露出条件やＩＳＯ感度に応じて基準色を補正する例を説明した。しかしながら、特定の露出条件やＩＳＯ感度毎の基準色を、標準光源（Ｄ６５）のＸＹＺ値で指定しておいて、測定対象画像の露出条件やＩＳＯ感度に応じて補正するようにすることもできる。

また、上述の実施形態において、表示部２０７は自動車の２つのテールランプ間の色差を表示するユーザインターフェイスの例を説明したが、これに限られるものではない。例えば、１つのテールランプ領域における２点間の色差を評価してもよいし、テールランプ、ブレーキランプなど２つ以上の色差を同時に比較できるようにしてもよい、また、上述の実施形態では画素毎にＬａｂ値を算出可能であるから色分布を表示してもよい。

なお本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (20)

1. 測定対象の物体を撮像することにより得られる測定対象画像に基づいて、前記物体の色を測定するための画像処理装置であって、
   前記測定対象画像と、前記測定対象画像とは異なる基準画像を取得する取得手段と、
   前記測定対象画像を得る際の撮影に用いた撮像パラメータと前記基準画像を得る際の撮影に用いて撮像パラメータと前記基準画像における少なくとも１つの画素の画素値とに基づいて、基準色を導出する導出手段と、
   前記基準色を参照して、前記測定対象画像における前記物体に対応する少なくとも１つの画素の色の評価値を算出する算出手段とを有することを特徴とする画像処理装置。
2. 前記導出手段は、前記基準画像における少なくとも１つの画素の画素値を測色値に変換し、さらに、前記測定対象画像を得る際の撮影に用いた撮像パラメータと前記基準画像を得る際の撮影に用いて撮像パラメータとに基づいて、前記測色値を補正した結果を、前記基準色として導出することを特徴とする請求項１に記載の画像処理装置。
3. 前記基準画像は、前記基準色を設定するための白色板を撮像することにより得られた画像であり、前記導出手段は、前記白色板に対応する画素の画素値を前記測色値に変換することを特徴とする請求項１に記載の画像処理装置。
4. 前記測定対象画像は、前記基準画像を撮像した環境よりも暗い環境において前記物体を撮像することにより得られた画像であることを特徴とする請求項１に記載の画像処理装置。
5. 前記導出手段は、前記測定対象画像に対応する撮像パラメータと前記基準画像に対応する撮像パラメータとの比に応じた補正係数を用いて、前記測色値を補正することを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
6. 前記撮像パラメータは、露光時間、絞り値、ＩＳＯ感度の少なくとも何れか１つであることを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
7. 前記算出手段は、前記測定対象画像における注目画素の画素値をＸＹＺ値に変換し、前記基準色と前記ＸＹＺ値を用いて、前記注目画素のＣＩＥＬＡＢ色空間における色を、前記評価値として算出することを特徴とする請求項１乃至６の何れか一項に記載の画像処理装置。
8. 前記算出手段は、前記測定対象画像における基準点の位置を取得し、前記基準点と前記測定対象画像における画素それぞれとの評価値の差を算出することを特徴とする請求項１乃至７の何れか一項に記載の画像処理装置。
9. 前記算出手段は、色差、明度差、色度差、彩度差、色相差の何れかの評価値を算出することを特徴とする請求項８に記載の画像処理装置。
10. 前記測定対象画像は、光源色を有する物体を撮像することにより得られた画像であることを特徴とする請求項１乃至９の何れか一項に記載の画像処理装置。
11. さらに第１のモードと、前記第１のモードとは異なる第２のモードの何れかを判定する判定手段を有し、
    前記第１のモードである場合は、
    前記取得手段は、前記測定対象画像と前記基準画像を取得し、
    前記導出手段は前記基準画像から前記基準色を導出し前記算出手段は前記基準色を用いて測定し、
    前記第２のモードである場合、
    前記取得手段は、前記測定対象画像のみを取得し、
    前記導出手段は、前記測定対象画像に基づいて前記基準色を導出し、
    前記算出手段は、前記基準色を参照して、前記測定対象画像における少なくとも前記物体に対応する領域の色を測定することを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
12. さらに、前記導出手段は、前記基準画像における少なくとも１つの画素の画素値を測色値に変換し、
    前記測定対象画像を得る際の撮影に用いた撮像パラメータと前記基準画像を得る際の撮影に用いて撮像パラメータとに基づいて、前記測色値に対して第１の補正処理を実行することで第１の補正値を算出し、
    前記第１の補正値に対して第２の補正処理を実行することで第２の補正値を算出し、
    前記算出手段は、前記第２の補正値を前記基準色として参照することを特徴とする請求項１に記載の画像処理装置。
13. 前記第２の補正処理は、前記第１の補正値の輝度が、前記算出手段が算出した前記物体に対応する輝度よりも大きくなるように補正する処理であることを特徴とする請求項１２に記載の画像処理装置。
14. 前記導出手段は、前記第１の補正値と、前記算出手段が算出した少なくとも１つの評価値とを比較し、前記第２の補正処理を実行するか否かを判定することを特徴とする請求項１２に記載の画像処理装置。
15. 前記算出手段は、前記測定対象画像における各画素について、前記基準点との評価値の差を示す色差画像を生成することを特徴とする請求項８に記載の画像処理装置。
16. さらに、ユーザによる指示を受けつける入力手段を有し、
    前記導出手段は、前記ユーザによる指示に基づいて、前記基準画像における基準色を算出するための画素を決定することを特徴とする請求項１に記載の画像処理装置。
17. さらに、ユーザによる指示を受けつける入力手段を有し、
    前記算出手段は、前記ユーザによる指示に基づいて前記基準点の位置を取得することを特徴とする請求項８に記載の画像処理装置。
18. 前記測定対象の物体は、自動車であり、前記算出手段は、前記自動車のテールランプの色の評価値を算出することを特徴とする請求項１に記載の画像処理装置。
19. コンピュータを請求項１乃至１８の何れか１項に記載の画像処理装置として機能させるためのプログラム。
20. 測定対象の物体を撮像することにより得られる測定対象画像に基づいて、前記物体の色を測定するための画像処理装置であって、
    前記測定対象画像と、前記測定対象画像とは異なる基準画像を取得し、
    前記測定対象画像を撮影した際の撮像パラメータと前記基準画像を撮影した際の撮像パラメータと前記基準画像における少なくとも１つの画素の画素値とに基づいて、前記基準色を導出し、
    前記導出された基準色を参照して、前記測定対象画像における前記物体に対応する少なくとも１つの画素の色の評価値を算出することを特徴とする画像処理方法。
    

Images