JP2021190006A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】撮像画像における照明ムラを適切に補正すること。【解決手段】第１色変換部２０３は、データ保持部２０２から検査画像データを取得し、検査画像に含まれる各色を照明分布データに基づき色変換する。色変換パラメータ導出部２０４は、基準環境で撮像して得られた基準画像データと、評価環境で撮像して得られた評価画像データの各々について第１色変換部２０３で色変換し、得られたカラーチャートの色の対応関係に基づいて色変換パラメータを算出する。照明分布データ生成部２０５は、撮像環境に複数のカラーチャートを配置して撮像した照明ムラ画像から照明分布データを生成する。第２色変換部２０７は、色変換パラメータ導出部２０４で導出した色変換パラメータを用いて第１色変換部２０３で照明ムラを補正した評価画像データの色を変換する。【選択図】図２

Description

本発明は、画像の色を変換するための画像処理技術に関する。

工業製品の色検査において、目視による検査の代替として撮像装置で撮像して得られた画像データの利用が期待されている。例えば、検査対象と、色の基準となる色票やカラーチャートとを撮像したり、同一色で塗装された複数のパーツを撮像したりして、得られた画像データに基づき色差を検査することが考えられる。

ここで、検査対象が大きい場合、広範囲を均一に照明することは困難であるため照明ムラが生じ、検査対象の撮像領域によってはカラーチャートとの照明条件が異なる場合がある。このような場合、カラーチャートの色を参照しても、検査対象との色差を正しく評価できない。そこで、照明ムラの影響を補正する方法として、まず、原稿台上の照度分布を示すデータを求め、求めた照度分布を示すデータから照度補正データを生成する。そして、当該照度補正データに基づき、照明装置の原稿台に対する位置を変えてシェーディング補正する方法がある（特許文献１参照）。

特開平９−１３９８８２号公報

しかしながら、特許文献１の方法では、立体的な検査対象の各部を一様な明るさに補正することは困難であり、そのため検査対象の部位によって見た目の色が変わってしまう場合がある。また、周辺光とスポット光を組み合わせて得られる照明環境では、明るさだけでなく色味の分布も一様でない場合があり、明るさの補正だけでは十分な色の補正ができない場合もある。このように従来技術では、明るさおよび色味が部分的に変化する照明ムラの補正が困難であるという課題がある。

そこで、本開示の技術は、撮像画像における照明ムラを適切に補正することを目的とする。

上記課題を解決するために、本開示の技術に係る画像処理装置は、第１の環境内に配置した検査対象のオブジェクトを撮像して得られた検査画像を取得する検査画像取得手段と、前記第１の環境内に前記検査対象のオブジェクトを配置せずに撮像して得られた画像における位置ごとの照明条件に応じた色の変化の度合いを示す第１の照明分布データを生成する照明分布データ生成手段と、目標とする照明条件に対応する第２の照明分布データを取得する照明分布データ取得手段と、前記第１の照明分布データと前記第２の照明分布データとに基づき、前記検査画像における少なくとも１つの位置の色を、前記目標とする照明条件に応じた色に変換する、第１の色変換手段と、を備えることを特徴とする。

本開示の技術によれば、撮像画像における照明ムラを適切に補正することができる。

画像処理装置のハードウェア構成を示すブロック図 画像処理装置の論理構成を示すブロック図 画像処理装置が実行する処理を示すフローチャート 検査画像と照明ムラ画像とを説明するための模式図 画像比較のユーザインターフェイスの例を示す模式図 照明分布データ生成処理を示すフローチャート 照明分布データの例を示す模式図 照明ムラ補正処理を示すフローチャート 検査画像と照明分布について説明するための模式図 画像処理装置が実行する撮像距離の異なる複数の照明分布データを利用した色変換処理を示すフローチャート 撮像距離毎の照明分布データについて説明するための模式図 撮像距離毎の照明分布データから色変換パラメータを取得する方法を説明するための模式図 補正済検査画像データ生成の工程を示す模式図 基準環境の画像と評価環境の画像とを比較する工程を示す模式図

以下、各実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

［第１実施形態］
＜工場間で色の見えを合わせる色変換処理＞
工業製品の色検査では複数の異なる工場で生産された製品の色が同じ色で塗装されていることを確認することが求められる。しかし、照明条件によって物体の色は違って見えるため、各工場で生産した製品をそれぞれの工場で撮像して得られた撮像画像の色が異なる場合、その色の差異が製品の塗装の色が異なるためなのか、照明条件が異なるためなのかを判定することは難しい。そこで、所定の色に対応する複数の色票を含むカラーチャートをそれぞれの工場の照明条件下で撮像し、各色票の撮像画像上の色信号値の対応関係から色信号間の相対的な変化の度合いである色変換パラメータを導出する。この照明条件毎に導出された色変換パラメータに基づいて、一方の環境で撮像して得られた撮像画像の色を、もう一方の環境の照明条件に応じた色に変換することで、異なる環境で撮像された撮像画像間の正確な色比較が可能になる。なお、工場ごとに異なる照明ムラが生じる場合、それぞれの照明ムラを補正した上で、上述の色変換パラメータを導出する必要がある。

そこで、実施形態として、工場間で色の見えを合わせるための色変換処理について説明する。本実施形態では、色検査の基準となるオブジェクトを撮像する撮像環境を基準環境、工場などの各拠点において検査対象を撮像する撮像環境を評価環境とする。そして共通のオブジェクトを基準環境及び各々の評価環境で撮像し、評価環境で撮像して得られた撮像画像を基準環境の照明条件に応じた色に変換する色変換パラメータを導出する。これにより、基準環境で撮像した撮像画像データと、評価環境で撮像した撮像画像データの色変換パラメータによる色変換後の画像データとを比較することで、正確な色差の評価ができるようになる。

ここで、図１３及び図１４を参照して評価画像を色変換し、基準画像と比較するまでの処理の概要について説明する。

図１３は、基準環境と評価環境の双方で実施する照明ムラ補正処理がなされた補正済み検査画像データ生成処理の工程を示す図である。まず、撮像環境に複数のカラーチャートを設置して撮像して照明ムラ画像データを取得し、カラーチャート間の色変換パラメータを含む照明分布データを生成する。次に、検査対象とカラーチャートとを含む検査画像を取得し、照明分布データに含まれるカラーチャート間の色変換パラメータに基づき色を補正することで、検査画像における撮像環境毎の照明ムラを補正する。この照明ムラ補正処理を基準環境と評価環境とで撮像して得られた検査画像の双方に対して行うことで、照明ムラの影響を低減することができ、基準環境と評価環境とで撮像して得られた検査画像の補正済み検査画像データが得られる。

図１４は、基準環境で撮像して得られた補正済み検査画像データである基準画像データと、評価環境で撮像して得られた補正済み検査画像データである評価画像データとを比較することで色検査する処理の工程を示す図である。まず、図１３で説明した工程で生成した基準画像と評価画像とのそれぞれに含まれるカラーチャートから、評価環境下でのカラーチャートの色を基準環境下でのカラーチャートの色に変換する色変換パラメータを生成する。次に、生成した撮像環境間の色変換パラメータを用いて評価画像の色を変換する。これにより、基準画像データと色変換した評価画像データとを比較することで照明ムラの影響を受けずに色検査を行うことができる。

＜画像処理装置１００のハードウェア構成＞
図１は、本実施形態における画像処理装置１００のハードウェア構成を例示する図である。図１において、画像処理装置１００はＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、メインバス１０９を備える。汎用Ｉ／Ｆ１０４はカメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、メモリーカードなどの外部メモリ１０７、モニタ１０８をメインバス１０９に接続する。

以下では、ＣＰＵ１０１がＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで実現する各種処理について述べる。

まず、ＣＰＵ１０１は、ＨＤＤ１０３に格納されている画像処理アプリケーションを起動し、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインターフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で撮像されて得られた画像データ、入力装置１０６からのユーザ入力などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されている画像データに対して、ユーザ入力に応じたＣＰＵ１０１からの指令に基づき各種演算が行われる。演算結果はモニタ１０８に表示したり、ＨＤＤ１０３、外部メモリ１０７に格納したりする。

上記の構成において、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに画像データを入力して色変換する処理の詳細について説明する。

＜画像処理装置１００のソフトウェア構成＞
以下では、本実施形態における画像処理について図２のブロック図及び、図３のフローチャートを参照して説明する。

図２は、本実施形態の画像処理装置１００のソフトウェア構成を例示する図である。画像処理装置１００は、画像データ取得部２０１、データ保持部２０２、第１色変換部２０３、色変換パラメータ導出部２０４、照明分布データ生成部２０５を備える。さらに画像処理装置１００は、検査位置指定部２０６、第２色変換部２０７、比較部２０８、データ出力部２０９、目標照明分布データ取得部２１０を備える。

画像データ取得部２０１は、色検査のために検査対象を撮像して得られた検査画像データなどを取得する検査画像取得部である。取得したデータはデータ保持部２０２に記録したり、データ出力部２０９を介してモニタに表示したりする。

データ保持部２０２は、画像データ取得部２０１から取得した画像データや、各処理部の処理結果などのデータを保持する。

第１色変換部２０３は、データ保持部２０２から検査画像データを取得し、検査画像に含まれる各色を照明分布データに基づき色変換する。色変換処理の詳細は後述する。色変換後の検査画像データはデータ保持部２０２に記録する。

色変換パラメータ導出部２０４は、基準環境で撮像して得られた基準画像データと、評価環境で撮像して得られた評価画像データの各々について第１色変換部２０３で色変換し、得られたカラーチャートの色の対応関係に基づいて色変換パラメータを算出する。色変換パラメータ算出処理の詳細は後述する。算出した色変換パラメータはデータ保持部２０２に記録する。

照明分布データ生成部２０５は、撮像環境に複数のカラーチャートを配置して撮像した照明ムラ画像データから照明分布データを生成する。照明分布データ生成処理の詳細は後述する。生成した照明分布データはデータ保持部２０２に記録する。

検査位置指定部２０６は、検査画像における色検査の対象とする位置を指定する。

第２色変換部２０７は、色変換パラメータ導出部２０４で導出した色変換パラメータを用いて第１色変換部２０３で照明ムラを補正した評価画像の色を変換する。色変換処理の詳細は後述する。生成した色変換後の画像はデータ保持部２０２に記録する。

比較部２０８は、データ保持部２０２から基準画像データと、第２色変換部２０７で色変換した評価画像データとを取得して、検査位置指定部２０６で指定された検査位置の色を比較する。

データ出力部２０９は、データ保持部２０２に記録されている画像データや、比較部２０８での比較結果をモニタなどに出力する。

目標照明分布データ取得部２１０は、均一な照明や、基準環境や評価環境で取得した照明分布データなどを取得する。取得した目標照明分布データはデータ保持部２０２に記録する。

＜画像処理装置１００が実行する処理＞
図３は、図２で説明した画像処理装置１００のソフトウェア構成における各処理の詳細を示すフローチャートである。以下、各ステップ（工程）は符号の前にＳをつけて表す。

Ｓ３０１において、画像データ取得部２０１は、撮像装置１０５や外部メモリ１０７などから各撮像環境に対応する照明ムラ画像データを取得する。

Ｓ３０２において、画像データ取得部２０１は、撮像装置１０５や外部メモリ１０７などから各撮像環境に対応する検査画像データを取得する。

ここで、図４を参照して取得する検査画像データおよび照明ムラ画像データの例について説明する。４０１はＳ３０２で取得する検査画像の例を示している。検査画像４０１は検査対象４０２と色補正で参照するカラーチャート４０３が含まれている。尚、カラーチャート４０３については色空間において検査対象の色を包含する複数の色票から構成されるものが好ましい。また、色補正の基準となる白色の色票が含まれることが好ましい。

４０４は照明ムラ画像の例を示している。本実施形態では、照明ムラ画像４０４におけるカラーチャート４０５〜４１０は、カラーチャート４０３と同じ色票からなるカラーチャートであるとして説明するが、照明ムラの影響を補正できれば色票の数は必ずしも同一である必要はない。また、カラーチャート４１０はカラーチャート４０３と同じ位置に設置されている。同一のカラーチャートを同じ位置に設置する理由は、カメラの絞りやシャッターに依存するメカ変動や、照明のフリッカ等により撮像毎に画像の明るさがわずかに変動するため、それを補正するためである。同じ位置に設置されたカラーチャートの色を参照することにより、メカ変動や照明のフリッカ等による変動についても撮像毎に色を適切に補正することができる。

また、照明ムラ画像４０４において複数のカラーチャート４０５〜４０９を配置する理由を説明する。異なる環境で撮像した検査対象４０２の色を比較するためには、できるだけ同じ条件で照明される場所にカラーチャートを配置し、そのカラーチャートの色の対応関係に基づいて異なる環境で撮像して得られた画像を色変換することが好ましい。ここで、検査対象の被写体が大きく、照明装置により被写体全体を一様に照明できない場合、照明ムラの影響を避けるためには検査する箇所と同じ照明条件の場所にカラーチャートを設置する必要がある。

例えば、検査対象４０２の中央の色を検査する場合、検査対象４０２の中央の位置にカラーチャートを配置するのがよい。しかし、当然ながら、検査対象４０２が置かれる位置にカラーチャートは配置できない。そこで、検査画像４０１では検査対象４０２がない位置にカラーチャート４０３を配置するしかない。しかし、撮像環境に照明ムラがあると検査対象４０２の中央とカラーチャート４０３とでは照明の当たり方が異なるため、それらの検査画像４０１上での色の見えも異なってしまう。この状態で、カラーチャート４０３の色を参照して色変換しても、検査対象４０２の中央の色を正しく変換できない。

そこで、照明ムラ画像４０４に複数のカラーチャートを配置して、それらカラーチャート間の色変換パラメータを参照可能なデータを生成する。したがって、照明ムラ画像４０４では、検査画像４０１において色を検査する位置に対応する位置にカラーチャートを配置するのが好ましい。ここで、大きい検査対象の場合、１つの検査画像４０１で検査対象の位置毎、あるいはパーツ毎などのように複数の箇所を別々に検査する場合がある。そこで、照明ムラ画像４０４に示すように、４０７は検査対象の左側、４０８は検査対象４０２の中央、４０９は検査対象の右側、４０５と４０６は各々別のパーツに対応するように複数のカラーチャートを配置する。検査画像４０１と照明ムラ画像４０４は同じ撮像環境で撮像して得られたものである。そのため、照明ムラ画像４０４上のカラーチャートに基づき、検査画像４０１のカラーチャートの無い検査箇所についても正確な色補正が可能になる。

Ｓ３０３において、照明分布データ生成部２０５は、Ｓ３０１で取得した照明分布データ取得用のデータを用いて照明分布データを生成する。照明分布データの生成方法の詳細は後述する。

Ｓ３０４において、第１色変換部２０３は、Ｓ３０３で生成した照明分布データを参照して、Ｓ３０２で取得した検査画像４０１の色を変換して照明ムラを補正する。照明ムラ補正処理の詳細は後述する。

Ｓ３０５において、第１色変換部２０３は、検査画像４０１の照明ムラ補正処理が基準環境と評価環境との双方について処理済みであるかどうか判定する。処理済みであればＳ３０６に移行し、未処理の環境があればＳ３０１に移行して処理を継続する。

Ｓ３０６において、色変換パラメータ導出部２０４は、評価環境で撮像して得られた検査画像の色を基準環境で撮像して得られた検査画像の照明条件に応じた色に変換する色変換パラメータを導出する。色変換パラメータ導出処理には、Ｓ３０４にて照明ムラ補正処理した後のカラーチャートの色信号値を用いる。ここで導出する色変換パラメータは、Ｒ、Ｇ、Ｂなどの画素値の要素（チャネル）ごとのゲイン補正係数や、多次元の色変換マトリクス、色変換テーブルなど所望のデータを色変換パラメータとしてよい。例えば、カラーチャートとして白色を用いた場合に色変換パラメータとしてゲイン補正係数を用いる例を説明する。Ｓ３０４で導出した評価環境の色信号値をＲ₁、Ｇ₁、Ｂ₁、基準環境の色信号値をＲ₂、Ｇ₂、Ｂ₂とすると、それぞれのゲイン係数に対するゲイン補正係数α_R、α_G、α_Bは次式で得られる。

また、複数の色を含むカラーチャートを用いた場合に、色変換パラメータとして３×３の色変換マトリクスを用いてもよい。ここでＳ３０４で導出した評価環境の色信号値をＲ₁、Ｇ₁、Ｂ₁、基準環境の色信号値をＲ₂、Ｇ₂、Ｂ₂とする。すると、カラーチャートの各色票に関して式（２）の誤差Δが最小となるマトリクスＭ＝（ｍ_ij）（ｉ，ｊ＝０，１，２）を最小二乗法や所望の最適化手法を用いて導出すればよい。

また、予め色ごとに導出した色変換パラメータを記憶した色変換テーブルを用いてもよい。この場合、色変換テーブルには、検査画像の取りうる画素値を入力とし、式（１）や式（２）を利用して導出した色変換パラメータを出力とする入出力データの組を記憶しておく。

Ｓ３０７において、第２色変換部２０７は、Ｓ３０６で導出した色変換パラメータを用いてＳ３０４で色変換した評価画像をさらに色変換する。ここでは、評価画像の各画素値についてＳ３０６で導出した色変換パラメータに応じて色変換すればよい。ここで、３×３の色変換マトリクスＭを色変換パラメータとした場合、色変換前の画素値をＲ₁’Ｇ₁’Ｂ₁’、色変換後の画素値をＲ₂’Ｇ₂’Ｂ₂’とすると次式で色変換できる。

Ｓ３０８において、比較部２０８は、基準画像の色信号値と、評価画像の色信号値を比較する。図５は、基準画像と色補正後の評価画像とを比較するためのＵＩの例である。５０１は基準画像表示領域、５０２は評価画像表示領域でそれぞれの画像が表示される比較表示部である。ユーザはそれぞれの表示領域に対して色評価領域５０３、５０４を比較位置指定することができる。尚、色評価領域５０３、５０４は、一方を指定すると、他方も同じ領域が自動的に指定され、両方が指定されるようにしてもよい。５０５は、色評価領域５０３及び５０４の色信号値や色差を表示する表示領域である。表示領域５０５に表示する色信号値は、ＲＧＢ値などの画素の色信号値でもよいし、図５に示すような測色値でもよい。例えば、ｓＲＧＢ値であれば所定の変換式を用いて測色値であるＸＹＺ値やＬａｂ値を算出できる。また、色差についてもＲＧＢ値や、ＸＹＺ値の差でもよいし、Ｌａｂ値から算出した色差でもよい。基準画像の測色値をＬ₁ａ₁ｂ₁、評価画像の測色値をＬ₂ａ₂ｂ₂とすると色差ΔＥは次式で得られる。

尚、表示する色差はこれに限られるものではなく、ΔＥ９４、ΔＥ００などの所望の色差で構わないし、複数の色差を同時に表示するようにしてもかまわない。

このように、基準画像と色変換後の評価画像との色を比較し、色差をＵＩに表示することで、ユーザは複数の工場間の製品の色が同じ色になっている否かを容易に判断することが可能になる。

＜照明分布データ生成処理＞
以下では、Ｓ３０３における照明分布データの生成方法について、図６に示すフローチャートを参照して説明する。

Ｓ６０１において、照明分布データ生成部２０５は、図４に示した照明ムラ画像４０４に示すように、複数のカラーチャートを撮像して得られた画像データを取得する。照明ムラ画像４０４のカラーチャートの位置は、検査画像４０１においてカラーチャートが設置される位置に配置されるカラーチャート４１０以外は、検査画像４０１で色検査したい位置に相当する位置とするのが好ましい。但し、照明ムラ画像４０４のカラーチャートの位置はそれに限られるものではない。例えば、撮像環境内に色検査したい位置に限らずより多くのカラーチャートを配置して、補間処理等によりカラーチャートを設置していない場所の色を推定できるようにしてもよい。

Ｓ６０２において、照明分布データ生成部２０５は、照明ムラ画像４０４内に含まれる複数のカラーチャートの中から基準となる基準カラーチャートを選択する。ここで選択する基準カラーチャートは検査画像に含まれるカラーチャート４０３と同じ位置に配置されたカラーチャート４１０を選択するのが好ましい。

Ｓ６０３において、照明分布データ生成部２０５は、照明ムラ画像４０４内に含まれるカラーチャートのうち、Ｓ６０２で基準カラーチャートとして指定したカラーチャート４１０以外のカラーチャートを選択する。例えば、照明ムラ画像４０４内に含まれるカラーチャート４０５〜４０９を順次選択してもよいし、検査位置が予め指定されている場合は、その指定された位置又はその周辺に配置されたカラーチャートのみを選択してもよい。

Ｓ６０４において、照明分布データ生成部２０５は、Ｓ６０２で基準カラーチャートして指定したカラーチャート４１０と、Ｓ６０３で選択したカラーチャートとに含まれる各色票の画素値を取得する。そして照明分布データ生成部２０５は、その色の対応関係に基づいて同色の色票を写す画素の画素値を等しくする照明ムラ補正用の色変換パラメータを導出する。ここで導出する照明ムラ補正用の色変換パラメータ及び導出方法についてはＳ３０６と同様のため説明は省略する。

Ｓ６０５において、照明分布データ生成部２０５は、照明ムラ画像４０４に含まれるカラーチャート間の照明ムラ補正用の色変換パラメータの導出が終了したか否か判定する。照明ムラ補正用の色変換パラメータの導出が終了していれば照明分布データ取得処理を終了し、照明ムラ補正用の色変換パラメータの導出が終了していなければＳ６０３に移行して処理を継続する。

Ｓ６０６において、照明分布データ生成部２０５は、Ｓ６０２で指定した基準カラーチャートの位置、Ｓ６０３で選択したカラーチャートの位置、Ｓ６０４で導出した照明ムラ補正用の色変換パラメータの情報を照明分布データとして出力する。図７に、図４の照明ムラ画像４０４から得られる照明分布データの例を示す。図７（ａ）は、画像の左上を基準とした色変換パラメータの位置を示しており、図７（ｂ）は、（ｘ４、ｙ２）に配置されたカラーチャート４１０を基準とした各位置が照明ムラ補正用の色変換パラメータ照明分布データが得られる。照明分布データは、基準となるカラーチャートの位置、その基準となるカラーチャートに対応付けられたカラーチャートの位置、及び照明ムラ補正用の色変換パラメータＭで構成される。

尚、ここでは基準カラーチャートの位置を１カ所とした場合について説明したが、この場合は基準カラーチャートと他のカラーチャートとの間での変換のみ可能となる。図４のカラーチャート４０５〜４０９の間で相互変換できるようにするためには、それらカラーチャート４０５〜４０９のそれぞれを基準とした照明分布データが必要になるが、そのために基準カラーチャートを複数設けて照明分布データを生成してもよい。

以上の処理により、画像内の所望の位置に配置したカラーチャートの色を導出するための照明分布データを得ることができる。

＜照明ムラ補正処理＞
以下では、Ｓ３０４における照明ムラ補正処理の詳細について、図８のフローチャートを参照して説明する。

Ｓ８０１において、第１色変換部２０３は、Ｓ３０３で生成した照明分布データと、検査画像データとを取得する。ここで、図９を参照して検査画像と照明分布データについて説明する。図９において、９０１は検査画像を示している。また、９０２は検査対象、９０３は色補正用のカラーチャートである。９０４は照明分布データを示しており、図４のカラーチャート配置で得られる図７で説明した照明分布データの例に対応している。

Ｓ８０２において、第１色変換部２０３は、検査画像９０１から、色の基準とする基準カラーチャートの位置と色の検査を行う位置を指定する。基準カラーチャートの位置は、検査画像９０１に写るカラーチャートが設置されている位置９０３を指定する。また、検査位置は、例えば検査対象９０２上の位置９１１を指定する。

Ｓ８０３において、第１色変換部２０３は、Ｓ８０２で指定された検査画像９０１上の基準カラーチャートの位置および検査位置に基づき、照明分布データ９０４カラーチャートの色変換に用いる色変換パラメータを取得する。以下では、図４及び図９を参照して導出方法の例を説明する。例えば、検査位置として想定していた場所である位置９１１を選択した場合、照明分布データ取得時に位置９１１に対応する位置にカラーチャートを設置しておくのがよい。図４の例ではカラーチャート４０８の位置が位置９１１に対応する。照明分布データ９０４には、位置９１１に配置されたカラーチャート４０８に対応した色変換パラメータＭ４が導出済みのため、照明分布データ９０４から位置９１１に対応する色変換パラメータを取得すればよい。

一方、検査画像９０１から任意の検査位置として位置９１２が指定され、位置９１２に対応する照明分布データ９０４の位置９１３における色変換パラメータが無い場合がある。この場合、その位置における色変換パラメータとして、照明分布データ上の他の位置の色変換パラメータを参照して所望の方法で導出してよい。位置９１２に対応する照明分布データ９０４の位置９１３における色変換パラメータＭｘは、例えば、距離の最も近い色変換パラメータＭ４としてもよい。また、その色変換パラメータＭｘは、位置９１３を囲む近傍４点の位置９０５、９０６、９０８、９０９の色変換パラメータを、それらまでの距離に応じて加重平均した値としてもよい。

このように、照明分布データを生成する際に複数のカラーチャートを配置しておくことで、検査画像における所望の位置を検査位置として選択可能になる。また、カラーチャートの数を増やすことで補間処理による誤差を小さくすることできる。

Ｓ８０４において、第１色変換部２０３は、導出した照明ムラ補正用の色変換パラメータを用いて、検査位置の色を基準カラーチャートの位置の照明条件に応じた色に色変換する。この照明ムラ補正用の色変換パラメータに基づく色変換処理は、Ｓ３０７の撮像環境間の色変換処理と同様である。

以上の処理により、撮像環境の照明分布データを利用することで、検査対象が大きい場合でも、照明ムラによる検査対象の各位置とカラーチャート位置での照明条件の違いを補正する色変換が可能になる。これにより得られた色変換結果を用いることで、工場間などの検査環境の照明ムラを含む照明条件が異なる場所で撮像して得られた画像間の色を適切に補正して比較することが可能になる。

尚、本実施形態では、基準環境および評価環境の各々で照明ムラを補正した上で、基準環境と評価環境の色を補正する方法を説明した。この方法では、Ｓ８０３で指定した検査画像におけるカラーチャートを基準として、その基準とする基準カラーチャートの位置の照明条件に検査画像全体の照明条件を合わせるように照明ムラを補正している。しかし、照明ムラの補正方法はこれに限られるものではない。例えば、撮像環境の照明条件とは関係無く、理想的な照明条件を仮定して補正してもよい。所定の理想的な照明条件を仮定して補正するには、Ｓ３０３で生成する照明分布データを、目標照明分布データ取得部２１０により取得された所定の照明条件で撮像されたカラーチャートを基準カラーチャートとして導出した色変換パラメータを使用すればよい。また、基準環境および評価環境の各々の照明分布データを事前に取得できる場合は、評価環境の照明分布データと基準環境の照明分布データとの関係から、評価環境の色を基準環境の色に直接変換することもできる。そのためには、理想的な照明条件を仮定した補正の場合と同様に、目標照明分布データとして予め基準環境の照明分布データを取得しておき、評価環境と基準環境の照明分布データの比に基づいて補正すればよい。

［第２実施形態］
第１実施形態では、照明ムラによる検査位置とカラーチャート設置位置とでの照明条件の違いを照明分布データに基づき補正する方法について説明した。ここで、検査対象の製品が大きい場合や、異なる形状の製品を順次検査する場合は、図１１に示すように、撮像位置に対して面方向だけでなく奥行き方向の照明分布まで考慮する必要がある。そこで、面方向だけでなく、奥行き方向（撮像装置のレンズの光軸方向）の距離毎に照明分布データを取得しておいて、検査対象までの距離に応じて参照する照明分布データを選択することで、より適切な色変換パラメータを生成する方法について説明する。

＜画像処理装置が実行する処理＞
以下では、図２で説明した画像処理装置の論理構成において、撮像距離の異なる複数の照明分布データを利用した色変換処理について、図１０のフローチャートを参照して説明する。尚、色変換結果を利用して照明条件の異なる環境で撮像して得られた画像間の色比較のための色変換に適用することは可能である。ただし、Ｓ３０６からＳ３０８に対応する色比較のための処理は第１実施形態と同様のため説明は省略し、差異あるＳ３０１からＳ３０４までの処理のみ説明する。

Ｓ１００１において、画像データ取得部２０１は、照明分布データを生成するために使用する照明ムラ画像データの、撮像位置からカラーチャートまでの奥行き方向の撮像距離を選択する。ここで、照明分布データを生成する撮像距離は所望の条件で構わない。例えば、図１１に示した３種に対応するためには、それぞれの検査対象である被写体までの距離に応じて３パターンの照明分布データを選択するのが好ましい。ただし、これに限られるものではなく検査対象によらず一定の間隔で照明分布データを作成してもよい。また、データの間隔についても、照明ムラの大きい環境や、検査対象のバリエーションの多い環境では細かくデータをとっても良いし、データ量削減のために粗い間隔でとっても構わない。

Ｓ１００２において、照明分布データ生成部２０５は、撮像環境に複数のカラーチャートをＳ１００１で選択した撮像距離となる位置に配置して撮像し、照明分布データを生成する。照明分布データの生成方法は第１実施形態と同様のため説明は省略する。

Ｓ１００３において、照明分布データ生成部２０５は、撮像距離の異なる複数の照明分布データの生成がすべて終了したかどうかを判定する。終了していればＳ１００４に移行し、終了していなければＳ１００１から処理を継続する。

Ｓ１００４において、画像データ取得部２０１は、検査対象とカラーチャートとを含む検査画像データを取得する。

Ｓ１００５において、検査位置指定部２０６は、取得した検査画像におけるカラーチャートの位置と、検査位置を指定する。画像データの取得及び位置の指定は第１実施形態と同様である。

Ｓ１００６において、撮像位置から検査対象までの撮像距離に応じた照明分布データを取得する。ここで、照明分布データの取得方法は所望の方法でよい。例えば、図１１のように機種毎に撮像距離に関するデータがある場合は、機種に応じた撮像距離の照明分布データを取得するのが好ましい。一方、検査対象とは関係なく照明分布データを生成した場合は、所望の方法で撮像距離を取得した上で対応する照明分布データを取得する。撮像距離の取得方法としては測距計を用いてもよいし、検査対象に特性が既知の複数のマーカーを設置し、Ｓ１００４で撮像して得られた画像データから導出してもよい。そして、取得する照明分布データは、撮像距離が最も近いデータを利用してもよいし、複数の照明分布データを参照して補間処理により検査対象までの撮像距離に対応した照明分布データを導出しても構わない。

図１２を参照して補間処理により照明分布データを導出する方法について説明する。図１２において、Ｒが検査対象までの撮像距離、Ｐは検査対象よりも撮像距離が短い照明分布データ、Ｑは検査対象よりも撮像距離が長い照明分布データを示している。Ｒにおける点ｒに対応する色変換パラメータは、近傍８点のデータから導出すればよい。Ｐにおける点ｐ１、ｐ２、ｐ３、ｐ４、Ｑにおける点ｑ１、ｑ２、ｑ３、ｑ４とすると、次式で得られる。

尚、ここでは立方体補間の例を説明したが他の手法を用いても構わない。例えば、４面体、３角柱補間などの線形補間や、スプライン補間などの非線形の補間演算を用いてもよい。

Ｓ１００７は、第１色変換部２０３は、Ｓ１００６で取得した照明分布データを用いて検査画像の色を変換して照明ムラ補正を行う。検査画像データの色変換処理は第１実施形態と同様のため説明は省略する。

以上の処理により、撮像距離に応じた複数の照明分布データを利用することで、検査対象が大きく照明ムラの影響を受けやすい場合でも、対象に応じて適切に色変換することが可能になる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上述した各処理部のうち、第１色変換部２０３、色変換パラメータ導出部２０４、第２色変換部２０７等については、その代わりとして、機械学習された学習済みモデルを用いて処理しても良い。その場合には、例えば、その処理部への入力データと出力データとの組合せを学習データとして複数個準備し、それらから機械学習によって知識を獲得し、獲得した知識に基づいて入力データに対する出力データを結果として出力する学習済みモデルを生成する。学習済みモデルは、例えばニューラルネットワークモデルで構成可能である。そして、その学習済みモデルは、前記処理部と同等の処理をするためのプログラムとして、ＣＰＵあるいはＧＰＵなどと協働で動作することにより、前記処理部の処理を行う。なお、上記学習済みモデルは、必要に応じて一定の処理後に更新しても良い。

２０１ 画像データ取得部
２０３ 第１色変換部
２０５ 照明分布データ生成部
２１０ 照明分布データ取得部

Claims (19)

1. 第１の環境内に配置した検査対象のオブジェクトを撮像して得られた検査画像を取得する検査画像取得手段と、
   前記第１の環境内に前記検査対象のオブジェクトを配置せずに撮像して得られた画像における位置ごとの照明条件に応じた色の変化の度合いを示す第１の照明分布データを生成する照明分布データ生成手段と、
   目標とする照明条件に対応する第２の照明分布データを取得する照明分布データ取得手段と、
   前記第１の照明分布データと前記第２の照明分布データとに基づき、前記検査画像における少なくとも１つの位置の色を、前記目標とする照明条件に応じた色に変換する、第１の色変換手段と、
   を備えることを特徴とする画像処理装置。
2. 前記照明分布データ生成手段は、前記第１の環境内の異なる位置に配置された複数のカラーチャートを撮像して照明ムラを示す照明ムラ画像を取得し、前記照明ムラ画像から前記第１の照明分布データを生成し、
   前記複数のカラーチャートの各々は、所定の色に対応する複数の色票を含む
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記照明分布データ生成手段は、
   前記照明ムラ画像に含まれる前記複数のカラーチャートから基準カラーチャートを選択する選択手段と、
   選択した前記基準カラーチャートの各色票に対応する画素値と、前記複数のカラーチャートの各色票に対応する画素値とに基づき色変換パラメータを導出する第１の色変換パラメータ導出手段と、
   を含むことを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の照明分布データは、前記色変換パラメータが、前記色変換パラメータを導出するために用いたカラーチャートの前記照明ムラ画像における位置と対応付けて記録されている
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記第１の色変換パラメータ導出手段は、前記色変換パラメータに対応付けて記録されている前記基準カラーチャートを除いた他のカラーチャートの位置が色変換する位置と最も近い前記色変換パラメータを選択する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記第１の色変換パラメータ導出手段は、前記色変換パラメータに対応付けて記録されている前記基準カラーチャートを除いた他のカラーチャートの位置からの距離に応じた複数の前記色変換パラメータの補間演算に基づいて、色変換する位置の色変換パラメータを導出する
   ことと特徴とする請求項４に記載の画像処理装置。
7. 前記色変換パラメータは、画素値の各チャネルに対応するゲイン補正係数、色変換マトリクス、および色変換テーブルのいずれか１つである
   ことを特徴とする請求項３乃至６のいずれか１項に記載の画像処理装置。
8. 前記照明分布データ取得手段は、前記目標とする照明条件でカラーチャートを撮像して得られた画像に基づく前記第２の目標照明分布データを取得し、
   前記照明分布データ生成手段は、前記第１の照明分布データと前記第２の照明分布データとに基づき、前記検査画像における少なくとも１つの位置の色を、前記第２の照明分布データにおけるカラーチャートの位置の照明条件に応じた色に変換する
   ことを特徴とする請求項３乃至７のいずれか１項に記載の画像処理装置。
9. 前記第２の照明分布データの目標とする照明条件は、均一な照明である
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記第２の照明分布データは、前記第１の環境とは異なる第２の環境で取得された照明分布データであることを特徴とする請求項８に記載の画像処理装置。
11. 前記照明分布データ生成手段は、カラーチャートまでの撮像距離が異なる複数の照明分布データを生成し、
    前記第１の色変換手段は、前記複数の照明分布データのうち、色変換する位置に対応する撮像距離に応じた１つの照明分布データに基づき色変換する
    ことを特徴とする請求項２乃至１０のいずれか１項に記載の画像処理装置。
12. 前記検査画像における前記色変換を行う少なくとも１つの位置を指定する指定手段
    をさらに備え、
    前記第１の色変換手段は、前記指定手段により指定された位置の色を変換する
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記指定手段は、前記検査画像を表示する表示手段を含み、表示された前記検査画像に対するユーザ入力に基づき色変換する位置を指定する
    ことを特徴とする請求項１２に記載の画像処理装置。
14. 前記検査画像は、前記検査対象のオブジェクトに加えて少なくとも１つのカラーチャートを撮像して得られた画像である
    ことを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 前記第１の色変換手段で色変換された、撮像環境が異なる２つの検査画像において、前記２つの検査画像の一方の前記第１の色変換手段で色変換された位置の色を前記２つの検査画像の他方の前記第１の色変換手段で色変換された位置の照明条件に応じた色に変換する第２の色変換手段と、
    前記２つの検査画像の一方の前記第２の色変換手段で色変換された位置の色と、前記２つの検査画像の他方の対応する位置の色とを比較する比較手段と
    をさらに備えたことを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 前記第１の色変換手段で色変換された、撮像環境が異なる２つの検査画像において、前記２つの検査画像の一方の前記第１の色変換手段で色変換された位置の色、および前記２つの検査画像の他方の前記第１の色変換手段で色変換された位置の色を、所定の照明条件に応じた色に変換する第２の色変換手段と、
    前記２つの検査画像の両方の前記第２の色変換手段で色変換された位置の色を比較する比較手段と
    をさらに備えたことを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
17. 前記比較手段は、
    前記２つの検査画像を同時に表示する比較表示手段と、
    前記第２の色変換手段で色変換された位置のうちの１つを指定する比較位置指定手段と、
    を含み、
    前記比較表示手段は、前記２つの検査画像における前記比較位置指定手段で指定した位置の色信号値を比較表示する
    ことを特徴とする請求項１６に記載の画像処理装置。
18. 第１の環境内に配置した検査対象のオブジェクトを撮像して得られた検査画像を取得する検査画像取得ステップと、
    前記第１の環境内に前記検査対象のオブジェクトを配置せずに撮像して得られた画像における位置ごとの照明条件に応じた色の変化の度合いを示す第１の照明分布データを生成する照明分布データ生成ステップと、
    目標とする照明条件に対応する第２の照明分布データを取得する照明分布データ取得ステップと、
    前記第１の照明分布データと前記第２の照明分布データとに基づき、前記検査画像における少なくとも１つの位置の色を、前記目標とする照明条件に応じた色に変換する、第１の色変換ステップと、
    を有することを特徴とする画像処理方法。
19. コンピュータを、請求項１乃至１７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images