JP2019168930A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】基準となる色に対して許容される色差が検査対象物品の部分毎に異なるような場合でも、各部分の色評価を可能にする画像処理装置を提供する。【解決手段】画像処理装置１００は、物品の色検査を行う装置であって、色検査における基準色を設定する基準色設定部２０３と、物品を撮影した検査画対象像の所定の画像領域毎に色検査における許容色差を設定する許容色差設定部２０１と、検査対象画像における基準色からの色差を算出する色差算出部２０４と、許容色差設定部２０１で設定された許容色差に基づいて、色差算出部２０１で算出された色差を評価する色差判定部２０５と、を備える。【選択図】図２

Description

本発明は、画像内の色差を評価する画像処理技術に関する。

近年、デジタルスチルカメラやデジタルビデオカメラといったデジタル撮像装置を利用した対象物の計測が広く行われている。その一例として、製品の測色がある。基準となる物品を撮影した画像の色情報を正解データとし、検査対象の物品を撮影した画像の色情報と比較することで、製造した物品が規格通りの色を有しているかどうかを検査することができる。例えば、特許文献１には、デジタルカメラで撮影された基準物品の撮影画像と検査対象物品の撮影画像とを任意の位置・形状でブロック分割し、ブロック毎に色差を求め、ブロック単位で色比較を行う技術が開示されている。

特開２０１４−１８７５５８号公報

ここで、検査対象物品が例えば立体物である場合、基準とする色からの許容される乖離度（許容色差）が、その形状や光源との幾何的関係等により、当該検査対象物品の部分によって異なることも珍しくない。例えば、検査対象物品が複数の部品で構成される製品の場合、部品単位で許容色差が異なり得るのに加え、部品相互の間で求められる許容色差が部品同士の組合せによっても異なり得る。これは、複数の部品で構成される製品の場合、各部品の材質が異なったり、部品によって生産する工場が異なるといったことがよくあるためである。

この点、上記特許文献１に開示の技術は、基準物品と検査対象物品とで対応関係にある同一部分（画像領域）同士の色情報の比較を行って、検査対象物品における色が、基準物品に照らして適切かどうかの評価を行なうものである。したがって、基準となる色に対する許容色差が検査対象物品の部分によって異なる場合の評価には対応できないし、部分間で許容色差が異なる場合の相対的な色差の評価も不可能である。

本発明は、基準となる色に対して許容される色差が検査対象物品の部分毎に異なるような場合でも、各部分の色評価を可能にすることを目的とする。

本発明に係る装置、物品の色検査を行う装置であって、前記色検査における基準色、及び前記物品を撮影した検査対象画像の所定の画像領域毎に前記色検査における許容色差を設定する設定手段と、前記検査対象画像における前記基準色からの色差を算出する算出手段と、前記設定手段で設定された許容色差に基づいて、前記算出手段で算出された色差を評価する評価手段とを備えることを特徴とする。

本発明によれば、基準となる色に対する許容される色差が検査対象物品の部分毎に異なる場合でも、各部分の色を適切に評価することができる。

画像処理装置のハードウェア構成の一例を示す図 実施形態１に係る、画像処理装置のソフトウェア構成を示す機能ブロック図 実施形態１に係る、色検査処理の流れを示すフローチャート （ａ）は基準色設定用ＵＩ画面の一例を示す図、（ｂ）は共用色差設定用ＵＩ画面の一例を示す図、（ｃ）は色検査処理の結果を示すＵＩ画面の一例を示す図 実施形態１に係る、許容色差設定処理の詳細を示すフローチャート （ａ）はポインタによって入力画像内の任意の点が指定された状態の一例を示す図、（ｂ）は部品毎の画像領域を識別可能に示した一例を示す図 色差算出処理の詳細を示すフローチャート 色差評価処理の詳細を示すフローチャート （ａ）は許容色差画像の一例を示す図、（ｂ）は色差画像の一例を示す図、（ｃ）は評価画像の一例を示す図 実施形態１の変形例に係る、色検査処理の流れを示すフローチャート 実施形態１の変形例に係る、許容色差設定処理の詳細を示すフローチャート 実施形態２に係る、画像処理装置のソフトウェア構成を示す機能ブロック図 実施形態２に係る、色検査処理の流れを示すフローチャート 実施形態２に係る、基準色／許容色差設定処理の詳細を示すフローチャート （ａ）は許容色差画像の一例を示す図、（ｂ）は色差画像の一例を示す図、（ｃ）は評価画像の一例を示す図

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

実施形態１

図１は、画像処理装置１００のハードウェア構成の一例を示す図である。画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、メインバス１０９を備える。汎用Ｉ／Ｆ１０４は、デジタル撮像装置１０５、マウスやキーボードなどの入力装置１０６、メモリカードなどの外部メモリ１０７をメインバス１０９に接続する。そして、図２は、本実施形態に係る、画像処理装置１００のソフトウェア構成を示す機能ブロック図であり、許容色差設定部２０１、画像入力部２０２、基準色設定部２０３、色差算出部２０４、色差判定部２０５、表示制御部２０６を備える。これら各部は、ＣＰＵ１０１がＨＤＤ１０３に格納された所定のプログラムをＲＡＭ１０２に展開しこれを実行することで実現される。

本実施形態では、基準となる色からの許容される乖離度合いを示す許容色差を、検査対象物品の部品毎に設定することで、部品間（部品に対応する画像領域間）の相対的な色差をも評価する態様を説明する。ここで、色差について確認しておく。

本明細書において、色差とは、人の感じる色の差に対応した差分量を意味する。これを、人の知覚と均等性のあるＣＩＥＬＡＢ表色系で示される色情報の２点間のユークリッド距離を表すΔＥを用いて評価する。一般に、デジタル撮像装置１０５で撮影された画像はＲＧＢ表色系のＲＧＢ値で表現されているため、これをＣＩＥＬＡＢ表色系のＬａｂ値へ変換して色差ΔＥが求められる。以下、詳しく説明する。

前提として、入力画像の左上から水平方向にｘ画素目、垂直方向にｙ画素目のＲＧＢ値｛Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）｝が各８ｂｉｔのデータであるとする。まず、各ＲＧＢ値を０以上１以下の値に正規化した後、入力画像の撮影に使用したデジタル撮像装置１０５のγ特性をかけ、輝度リニアな色データＲ´、Ｇ´、Ｂ´を求める。Ｒ´、Ｇ´、Ｂ´はそれぞれ以下の式（１）〜式（３）で表される。
Ｒ´（ｘ，ｙ）＝｛Ｒ（ｘ，ｙ）／２５５｝＾γ ・・・式（１）
Ｇ´（ｘ，ｙ）＝｛Ｇ（ｘ，ｙ）／２５５｝＾γ ・・・式（２）
Ｂ´（ｘ，ｙ）＝｛Ｂ（ｘ，ｙ）／２５５｝＾γ ・・・式（３）

次に、Ｒ´Ｇ´Ｂ´で示される色データをＣＩＥＸＹＺ表色系の三刺激値Ｘ、Ｙ、Ｚへと変換する。ＣＩＥＸＹＺ表色系の示すＸＹＺ値は、撮像デバイスや撮影条件に非依存の色信号値であり、例えば、分光放射輝度計で測定された分光放射輝度の値と等色関数を畳み込み演算して求めることができる。Ｒ´Ｇ´Ｂ´／ＸＹＺ変換行列は、例えば３行３列の行列である。この３行３列の行列と、Ｒ´Ｇ´Ｂ´値に対応した３行１列の行列との行列積は、ＸＹＺ値に対応した３行１列の行列を示す。よって、行列積を計算することによって、Ｒ´Ｇ´Ｂ´値をＸＹＺ値に変換できる。具体的には以下の式（４）〜式（６）によりＸ、Ｙ、Ｚへ変換する。

Ｘ（ｘ，ｙ）＝ ｍ１１×Ｒ´（ｘ，ｙ）＋ ｍ１２×Ｇ´（ｘ，ｙ）＋ ｍ１３×Ｂ´（ｘ，ｙ） ・・・式（４）
Ｙ（ｘ，ｙ）＝ ｍ２１×Ｒ´（ｘ，ｙ）＋ ｍ２２×Ｇ´（ｘ，ｙ）＋ ｍ２３×Ｂ´（ｘ，ｙ） ・・・式（５）
Ｚ（ｘ，ｙ）＝ ｍ３１×Ｒ´（ｘ，ｙ）＋ ｍ３２×Ｇ´（ｘ，ｙ）＋ ｍ３３×Ｂ´（ｘ，ｙ） ・・・式（６）
上記式（４）〜式（６）において、ｍ１１〜ｍ３３は、Ｒ´Ｇ´Ｂ´／ＸＹＺ変換行列Ｍの要素であり、例えば、ＩＴＵ−Ｔ ＢＴ．７０９において規定される色変換行列Ｍは、以下の式（７）で表される。

さらに、以下の式（８）〜式（１０）を用いて、ＸＹＺ値からＬａｂ値へと変換する。
Ｌ（ｘ，ｙ）＝１１６（Ｙ（ｘ，ｙ）／Ｙｗ）＾（１／３）−１６ ・・・式（８）
ａ（ｘ，ｙ）＝５００（（Ｘ（ｘ，ｙ）／Ｘｗ）＾（１／３）−（Ｙ（ｘ，ｙ）／Ｙｗ）＾（１／３）） ・・・式（９）
ｂ（ｘ，ｙ）＝２００（（Ｙ（ｘ，ｙ）／Ｙｗ）＾（１／３）−（Ｚ（ｘ，ｙ）／Ｚｗ）＾（１／３）） ・・・式（１０）
なお、上記式（８）〜式（１０）において、Ｘｗ、Ｙｗ、Ｚｗは、例えばＣＩＥ（国際照明員会）の定義では基準白色面の三刺激値であり、それぞれ以下の式（１１）〜式（１３）で表される。

Ｘｗ＝９５．０３９／１００．０ ・・・式（１１）
Ｙｗ＝１．０ ・・・式（１２）
Ｚｗ＝１０８．８８０／１００．０ ・・・式（１３）
そして、色差ΔＥを２点のＬａｂ値から求める。算出対象となる２点のＬａｂ値を（Ｌ１，ａ１，ｂ１）、（Ｌ２，ａ２，ｂ２）とすると、色差ΔＥは以下の式（１４）で表すことができる。
ΔＥ＝（（Ｌ１−Ｌ２）＾２＋（ａ１−ａ２）＾２＋（ｂ１−ｂ２）＾２）＾（１／２）
・・・式（１４）

なお、上記式（１４）は、１９７６年にＣＩＥにおいて制定された色差式であるが、１９９４に制定されたΔＥ９４式、２０００年に制定されたΔＥ２０００式を用いてもよい。また、Ｌａｂ値の各成分の差分（ΔＬ，Δａ，Δｂ）を用いてもよい。さらに色差を算出する表色系はＣＩＥＬＡＢ表色系に限定されず、例えば、ＣＩＥＸＹＺ表色系、ＣＩＥＬＵＶ表色系、ＣＩＥＬＣＨ表色系、ＨＳＶ表色系、ＹＩＱ表色系、ＹＣｂＣｒ表色系を用いてもよい。なお、本実施形態では、入力画像として各画素がＲＧＢの色信号値を持つＲＧＢ画像を想定しているが、ＲＧＢ画像へ変換される前のＲＡＷ画像で入力を受け付け、ＲＧＢ画像に変換した上で本発明を適用しても良い。

本実施形態において、色検査処理の対象となる物品（以下、「対象物品」と表記）の撮像画像のデータは、デジタル撮像装置１０５や外部メモリ１０７から入力され、図３に示すフローチャートに沿って処理される。もちろん、入力された撮像画像データをＨＤＤ１０３などの記憶装置に一旦記憶しておき、ユーザの指示に従いそれを読み出して処理してもよい。以下、図３のフローに沿って、本実施形態に係る色検査処理について説明する。なお、以下の説明における記号「Ｓ」はステップを表す。

Ｓ３０１では、対象物品の全体または一部を撮影した検査対象画像（以下、「検査画像」と表記）が入力される。図４（ａ）は、色検査処理の開始時に表示されるメインのＵＩ画面の一例である。ユーザは、メイン画面４００内の入力画像指定欄４０１に、検査画像のデータが格納されているアドレス等を入力し、「開く」ボタン４０２を押下する。すると、入力されたアドレスから検査画像のデータが読み込まれ、画像表示エリア４０３に表示される。ここでは、対象物品を自動車とした場合において、その前半分（ドア部４０４、フェンダー部４０５及びバンパー部４０６の３つの部品で構成される領域）を撮影した画像を検査画像としている。ただし、本実施形態における対象物品は必ずしも複数部品で構成される物品に限定されるものではなく、単一部品で構成される物品であってもよい。例えば、なだらかな凹凸を持つ一体成型の製品などは、その一部（任意サイズの領域）を本実施形態でいう“部品”と捉えることで、本実施形態を適用可能である。

Ｓ３０２では、検査画像について色差を算出するときの基準となる色（基準色）がユーザ操作に基づき設定される。ユーザは、上述のメインＵＩ画面４００の基準色設定エリア４０７内のコード入力欄４０８に所定のコード等を入力することで、基準色を設定する。ここで、所定のコードとしては、例えば、各部品と対応付けられた色サンプル（その部品に使用される材料に塗装が施された板等）を識別する色コードや、各部品そのものを識別する部品コードなどが考えられる。このような部品と色情報とが紐付けられた所定のコードを入力することによって、特定の部品の色情報が基準色として設定される。なお、基準色に対応付けられた部品を以下では「基準部品」と呼ぶこととする。この例では、基準部品はドア部４０４であり、それに対応する部品コード“Ｄｏｏｒ＿０１”が入力されたことで、当該ドア部４０４に対応する色情報（輝度を表すＬ値＝６２、色度を表すａ値＝３５、ｂ値＝２１）が自動表示されている。なお、基準色の指定方法はこのようなコードを使った方法に限定されるものではなく、例えばユーザが、画像表示エリア４０３に表示された検査画像上で対象部品をマウス等で特定した上で、設定情報エリア４０７内の色情報（Ｌａｂ値）を直接入力してもよい。こうして基準色設定エリア４０７内に色情報が表示された状態で決定ボタン４０９が押下されると、基準色の設定が完了し、Ｓ３０３へ進む。これに合わせ、メインＵＩ画面４００は、図４（ｂ）に示す許容色差設定画面４１０へと遷移する。

Ｓ３０３では、許容色差設定画面４１０を介して、Ｓ３０２で設定された基準色に対する許容色差を、対象物品の部品毎（各部品に対応する画像領域毎）に設定する処理が実行される。この場合において、許容色差を設定する部品は、対象物品を構成する部品のうち同一色の部品だけでよい。すなわち、色差判定が不要な部品（例えば、対象物品のうち赤色に塗装された部品の色検査をしたい場合に、赤以外の色に塗装された部品）は、許容色差の設定対象部品から除外する。或いは後述の色差評価処理に影響を及ぼさないような所定の許容色差（例えばΔＥ＝３）を設定する。図５は、本実施形態に係る、許容色差設定処理の詳細を示すフローチャートである。以下、図５のフローを参照して、許容色差設定処理について詳しく説明する。

まず、Ｓ５０１において、検査画像内の被写体のうち１つの部品が選択され、当該選択された部品について、Ｓ３０２で設定された基準色に対する許容色差が設定される。ユーザは、許容色差設定画面４１０内の画像表示エリア４１１に表示された検査画像上の任意の位置にポインタを移動させてクリック等することで、許容色差を設定する部品を指定する。ユーザが検査画像上の任意の位置を指定すると、当該位置に対応した検査画像上の座標点が特定される。図６（ａ）は、ポインタによってフェンダー部４０５内の座標点６０１が指定された状態を示している。そして、当該座標点６０１を含む単一部品の領域が、許容色差の設定対象の部品の領域として選択される。この際、例えばエッジ検出を行うなどして部品単位の画像領域を抽出し、例えば図６（ｂ）に示すように、部品毎の画像領域が分かるようにしてもよい。図６（ｂ）の例では、検出されたエッジを太線で示すことで、各部品の画像領域を識別可能にしている。ユーザは、例えば太線のエッジで区分される領域毎に、Ｓ３０２で設定された基準色に対して許容される色差ΔＥの値を、許容色差入力欄４１２に入力する。許容色差入力欄４１２に所望の値を入力した状態で「設定」ボタン４１３を押下すると、基準部品（ここではドア）内の基準色に対する許容色差が、選択部品（ここではフェンダー）について設定されることになる。こうして部品単位で設定された許容色差の情報は、リスト４１４に順次追加される。なお、各部品に対応する領域の特定方法はエッジ検出に限るものではなく、例えばユーザがタッチペン等で個々の部品の範囲を特定してもよい。さらには、検査画像内の各画素がどの部品（単一物品の場合は被写体形状におけるどの部分）に属するのかを記載したテーブルを用意し、これを参照することで各部品の領域を特定するようにしてもよい。

Ｓ５０２においては、すべての部品の画像領域について、Ｓ３０２で設定された基準色に対する許容色差の設定が完了したかどうかが判定される。判定の結果、許容色差を未設定の部品の画像領域がある場合はＳ５０１へ戻り、許容色差の設定が続行される。この際、未設定の部品を強調表示するなどしてユーザに設定を促す表示を行なっても良い。一方、全ての部品の画像領域に対して許容色差が設定され、決定ボタン４１５が押下されると、許容色差設定処理を完了し、Ｓ３０４へ進む。

Ｓ３０４では、Ｓ３０２で設定された基準色とＳ３０１で入力された検査画像における各画素の色との差を示す画像（以下、「色差画像」と呼ぶ）が生成される。図７は、色差算出処理の詳細を示すフローチャートである。図７を参照して、色差算出処理について詳しく説明する。

まず、Ｓ７０１において、検査画像の各画素について色変換処理が実行される。具体的には、前述の式（８）〜式（１０）を用いて、ＲＧＢ値からＬａｂ値へと変換する。そして、Ｓ７０２において、基準色のＬａｂ値と検査画像の各画素のＬａｂ値との差分を求め、求めた差分値を２次元配列上に格納して色差画像を生成する。ここで、基準色のＬａｂ値を（Ｌ_ｒ，ａ_ｒ，ｂ_ｒ）、検査画像の各画素（ｘ，ｙ）のＬａｂ値を（Ｌ_ｔ，ａ_ｔ，ｂ_ｔ）とおくと、色差画像Ｉ_ＴＥＳＴは、以下の式（１５）で表される。
Ｉ＿ＴＥＳＴ（ｘ，ｙ）＝（（（Ｌ_ｒ−Ｌ_ｔ（ｘ，ｙ））＾２＋（ａ_ｒ−ａ_ｔ（ｘ，ｙ））＾２＋（ｂ_ｒ−ｂ_ｔ（ｘ，ｙ））＾２）＾（１／２） ・・・式（１５）

そして、Ｓ７０３において、Ｓ７０２で得られた色差画像Ｉ＿ＴＥＳＴのデータが、ＲＡＭ１０２に格納されると、Ｓ３０５へと進む。

Ｓ３０５では、Ｓ３０３で設定された許容色差に基づき、Ｓ３０４で生成された色差画像を評価する処理（色差評価処理）が実行される。図８は、色差評価処理の詳細を示すフローチャートである。図８を参照して、色差評価処理について詳しく説明する。

まず、Ｓ８０１において、Ｓ３０３で設定した部品毎の許容色差のデータ（リスト４１４）を取得し、Ｓ３０２で設定した基準色に対する許容色差を表す画像（以下、「許容色差画像」と呼ぶ）が生成される。ここで、具体例を挙げて説明する。いま、基準色に対する部品毎の許容色差として、ドア部４０４がΔＥ＝１、フェンダー部４０５がΔＥ＝２、バンパー部４０６がΔＥ＝３であったとする。この場合、基準部品であるドア部４０４の基準色に対する許容色差を表す画像Ｉ_ＲＥＦは、図９（ａ）のようになる。図９（ａ）の例では、ΔＥの値が小さいほど白に近く、ΔＥの値が大きいほど濃いグレーで示している。いま、ΔＥ＝１のドア部４０４のＩ_ＲＥＦ領域９０１は白に近く、ΔＥ＝２のフェンダー部４０５のＩ_ＲＥＦ領域９０２は薄いグレー、ΔＥ＝３のバンパー部４０６に対応するＩ_ＲＥＦ領域９０３は濃いグレーで示されている。

次にＳ８０２において、Ｓ３０４で生成した色差画像Ｉ_ＴＥＳＴ（ｘ，ｙ）の画素値とＳ８０１で生成した許容色差画像Ｉ_ＲＥＦ（ｘ，ｙ）における画素値との比較がなされる。比較の結果、Ｉ_ＴＥＳＴの画素値がＩ_ＲＥＦの画素値よりも大きい場合は問題あり（不合格）、Ｉ_ＴＥＳＴの画素値がＩ_ＲＥＦの画素値以下であれば問題なし（合格）と判定する。このような合否判定処理を画素単位で行う。本実施形態では、基準色に対する許容色差が部品毎（検査画像の所定領域毎）に設定されている。そのため、基準色との色差が仮に同じ値であっても、その画素が検査画像内のどの領域に属しているか（どの部品を表す画素であるか）によって合否判定の結果が異なり得る。図９（ｂ）は、図９（ａ）の許容色差画像と比較される色差画像を示している。そして、図９（ｃ）は、図９（ａ）の許容色差画像と図９（ｂ）の色差画像とを比較して得られた、合否判定結果を表す画像（評価画像）を示している。図９（ｃ）の例では、合格判定となった画素領域を白、不合格判定となった画素領域を黒で示している。ここで、図９（ｂ）に示す色差画像において、点９０４と点９０５との色差は同じ値であるが、図９（ａ）の許容色差画像が示すとおり、それぞれの点が属する画像領域に設定された許容色差が違っている。そのため、図９（ｃ）に示す評価画像においては、点９０５に対応する画素領域は不合格判定の黒で示され、点９０４に対応する画素領域は合格判定の白で示される（他の合格判定の画素領域に埋もれ、点９０４の存在が認識できない。）。なお、図９（ｃ）で示したように、画素単位の判定結果を画像化して２次元的に示しても良いし、検査画像における全画素数に対して不合格判定となった画素数の割合が閾値以上か否かをさらに判定し、画像全体の総合判定結果を１次元的に示しても良い。以上が、色差評価処理の内容である。上記のようにして合否判定の結果を反映した評価画像が生成されると、Ｓ３０６へ進む。

Ｓ３０６では、Ｓ３０５の色差評価処理の結果、例えば図９（ｃ）に示すような評価画像がモニタ１０８に表示される。以上が、本実施形態に係る色検査処理の内容である。

＜変形例＞
上述の実施形態では、Ｓ７０２の処理において検査画像の各画素に対して色変換処理がなされ、色差画像を生成したが、検査画像内に評価対象となる画素もしくは画素領域をユーザが別途指定し、当該画素や画素領域のみに対して色変換処理を行ってもよい。その場合、前述のＳ８０２に当たる処理において、許容色差画像において対応する画素もしくは画素領域との比較がなされる。

＜変形例＞
上述の実施形態では、基準色を先ず設定し、その後に当該基準色に対する許容色差を設定していたが、許容色差を先に設定してもよい。以下、基準色よりも先に許容色差を設定する態様を実施形態１の変形例として説明する。図１０は、実施形態１の図３のフローに相当する、本変形例に係る色検査処理の流れを示すフローチャートである。以下、図３のフローとの違いを中心に説明する。

Ｓ１００１では、前述のＳ３０１と同様、検査画像が入力される。続くＳ１００２では、対象物品を構成する部品毎（各部品に対応する画像領域毎）の許容色差に加え、部品相互の間（画像領域相互間）における許容色差を設定する処理が実行される。図１１は、本変形例に係る許容色差設定処理の詳細を示すフローチャートである。以下、図１１のフローを参照して、基準色よりも先に許容色差を設定する場合の処理について詳しく説明する。

まず、Ｓ１１０１において、検査画像内の被写体の部品毎に許容色差が設定される。ユーザは、例えば前述の図４（ｂ）に示す許容色差設定画面４１０において、画像表示エリア４１１に表示された検査画像上の任意の位置にポインタを移動させてクリック等することで部品を指定して、部品単体での許容色差を設定する。例えば、ドア部４０４についてΔＥ＝１、フェンダー部４０５についてΔＥ＝１、バンパー部４０６についてΔＥ＝２といった具合である。こうして部品単位で設定された許容色差の情報は、リスト４１４に順次追加される。

Ｓ１１０２においては、全ての部品に対して許容色差の設定が完了したかどうかが判定される。判定の結果、許容色差を未設定の部品がある場合はＳ１１０１へ戻り、許容色差の設定が続行される。一方、全ての部品に対して許容色差が設定された場合は、Ｓ１１０３へ進む。

Ｓ１１０３においては、部品相互の間の許容色差が設定される。つまり、上述のＳ１１０１では部品単体での許容される色差を設定したのに対し、本ステップでは部品と部品との間で許容される色差を設定する。検査画像内の部品がドア部、フェンダー部、バンパー部の３つで構成される場合、ドアとフェンダー間、ドアとバンパー間、フェンダーとバンパー間、の計３つの部品間許容色差が設定されることになる。例えば、ドアとフェンダー間の許容色差としてΔＥ＝２、フェンダーとバンパー間の許容色差としてΔＥ＝２、ドアとバンパー間の許容色差としてΔＥ＝３といった具合である。この際、許容色差が設定された部品数に応じて、部品間許容色差の設定が必要な組合せを順番に表示し、ユーザに設定を促すようにすればよい。こうして設定された部品間の許容色差の情報も、リスト４１４に順次追加される（不図示）。なお、基準色が設定される部品（基準部品）が予め分かっている場合は、当該基準部品との関係（例えば配置や材質）に応じて、自動で部品間の許容色差を設定するようにしてもよい。例えば、基準部品と隣接する部品間の許容色差は小さくし、隣接しない部品間の許容色差は大きくする、材質が同じ部品間の許容色差は小さくし、材質が異なる部品間の許容色差は大きくするといった具合である。

Ｓ１１０４においては、部品間の許容色差の設定がすべて完了したかどうかが判定される。判定の結果、部品間の許容色差を未設定の組合せがある場合はＳ１１０３へ戻り、部品間許容色差の設定が続行される。一方、全ての部品間許容色差の設定が完了した場合は、本処理を終える。以上が、本変形例の許容色差設定処理の内容である。なお、部品の識別情報を記載したテーブルに、部品毎及び部品間の許容色差の情報を盛り込んでおき、それを読み込むことで、上記設定作業を省略することができる。上記のようにして、検査画像内の被写体を構成する部品毎及び部品間の許容色差が設定されると、許容色差設定処理を完了し、Ｓ１００３へ進む。

Ｓ１００３では、前述のＳ３０２と同様、ユーザによるコード等の入力操作に基づき基準色が設定される。基準色の設定が完了すると、Ｓ１００４へ進む。Ｓ１００４〜Ｓ１００６の各処理は、図３のフローにおけるＳ３０４〜Ｓ３０６の各処理と基本的には同じである。以下、異なる点を説明する。

Ｓ１００４では、Ｓ１００３で設定された基準色とＳ１００１で入力された検査画像における各画素の色との差を示す色差画像が生成される。この処理は、図３のフローにおけるＳ３０４と同じである。

続くＳ１００５では、Ｓ１００２で設定された部品毎及び部品間の許容色差に基づき、Ｓ１００４で生成された色差画像を評価する色差評価処理が実行される。この処理も、図３のフローにおけるＳ３０５と基本的には同じである。つまり、図８の詳細フローに沿って、先ず、許容色差画像が生成（Ｓ８０１）されることになるが、その仕方が異なるので説明する。本変形例においては、Ｓ１００２で設定した部品毎及び部品間の許容色差のデータに基づき、Ｓ１００３で設定した基準色に対する許容色差を表す画像が生成される。いま、部品毎の許容色差が、ドア部４０４がΔＥ＝１、フェンダー部４０５がΔＥ＝１、バンパー部４０６がΔＥ＝２、さらに部品間の許容色差が、ドア・フェンダー間がΔＥ＝２、フェンダー・バンパー間がΔＥ＝２、ドア・バンパー間がΔＥ＝３であったとする。そして、基準色が例えばフェンダー部４０５の画像領域内で設定されていたとする。この場合、フェンダー部４０５のＩ_ＲＥＦの算出にはフェンダー単体のΔＥ＝１、ドア部４０４のＩ_ＲＥＦの算出にはドア・フェンダー間のΔＥ＝２、バンパー部４０６のＩ_ＲＥＦの算出にはフェンダー・バンパー間のΔＥ＝２がそれぞれ使用されることになる。こうして生成した許容色差画像に基づき色差画像の評価（合否判定処理）がなされ、評価画像が生成される。

そして、Ｓ１００６では、Ｓ１００５で生成された評価画像がモニタ１０８に表示される。以上が、本変形例に係る色検査処理の内容である。

本実施形態によれば、デジタル撮像装置を利用した物品の色検査において、検査画像の部分毎に基準色に対する許容色差が異なる場合でも、被写体における部分間の相対的な色の差を正しく評価することが可能となる。

実施形態２

実施形態１では、検査対象物品を構成する部品の色サンプルなどのコードを使って、色検査における基準色を設定していた。次に、理想的な色情報を持つ基準画像を使って基準色を設定する態様を、実施形態２として説明する。なお、画像処理装置のハードウェア構成など実施形態１と共通する内容については説明を省略ないしは簡略化し、以下では差異点を中心に説明するものとする。

図１２は、本実施形態に係る、画像処理装置１００のソフトウェア構成を示す機能ブロック図である。実施形態１のソフトウェア構成図（図２）との違いは、許容色差設定部２０１と基準色設定部２０３に代えて、これら両方の機能を持つ、基準色／許容色差設定部１２０１を備えている点である。図１３は、本実施形態に係る、色検査処理の流れを示すフローチャートである。以下、図１３に示すフローに沿って、本実施形態に係る色検査処理について説明する。

Ｓ１３０１では、色検査処理における正解データとしての基準画像（例えば理想的な色を持つ製品見本を撮影した画像やＣＧモデリングした画像、或いは、色検査を行って問題のなかった物品の色検査時に用いた検査画像）が入力される。この際の画像データの入力方法は、実施形態１の図３のフローにおけるＳ３０１と同じである。

続くＳ１３０２では、入力された基準画像に基づき、基準色と許容色差が設定される。図１４に示す詳細フローを参照して、基準画像を用いて基準色と許容色差を設定する処理（基準色／許容色差設定処理）について説明する。

まず、Ｓ１４０１において、Ｓ１３０１で入力された基準画像に対し色変換処理が実行される。この処理は実施形態１の図７のフローにおけるＳ７０１と同じ処理であり、基準画像における各画素値がＲＧＢ値からＬａｂ値へと変換される。

次に、Ｓ１４０２において、色変換処理後の基準画像を用いて、基準色がユーザ操作に基づき設定される。例えば、ユーザは、前述の図４（ａ）に示すＵＩ画面４００において、画像表示エリア４０３に表示された基準画像上の任意の位置にポインタを移動させてクリック等することで、基準色を設定する位置を指定する。ユーザが基準画像上の任意の位置を指定すると、当該位置に対応した座標点が特定され、当該座標点におけるＬａｂ値が基準色として設定される。こうして設定された基準色の情報は、その座標点の情報と対応付けてＲＡＭ１０２等に保持される。基準色の設定が完了すると、Ｓ１４０３へ進む。

そして、Ｓ１４０３において、Ｓ１４０２で設定した基準色のＬａｂ値と、Ｓ１３０１で入力された基準画像の各画素のＬａｂ値との色差を求め、例えば求めた色差＋２を各画素における許容色差として、２次元配列上に格納した画像が生成される。画像化の具体的な手法は、実施形態１の図７のフローにおけるＳ７０２で説明したとおりである。こうして生成された画像は、許容色差画像としてＲＡＭ１０２等に保持される。図１５（ａ）に、本実施形態で生成される許容色差画像の一例を示す。図１５（ａ）において、点１５０１は、ドア部の中に設定された基準色の座標点（画素位置）を示している。この例では基準色からの色差が小さい領域ほど白に近く、色差が大きい領域ほど濃いグレーで表しており、基準色の設定された位置を中心から外側へと向かって略同心円状に許容色差ΔＥの値が大きくなっているのが分かる。こうして得られた許容色差画像のデータは、Ｓ１４０４において、ＲＡＭ１０２等に格納される。このように本実施形態では、基準画像上で設定された基準色からの乖離度合いに応じて、検査画像上の各画素における許容色差が自動で設定される。以上が、本実施形態に係る、基準色／許容色差設定処理の内容である。こうしてＳ１３０２の処理が完了すると、Ｓ１３０３へと進む。

Ｓ１３０３では、検査画像が入力される。この場合に入力される検査画像の撮影は、Ｓ１３０１で入力された基準画像の撮影条件（或いはレンダリング条件）と同一条件でなされていることが必要である。例えば基準画像が実際の製品を撮影した画像である場合には、撮影場所やライティングの他、撮影に用いるデジタル撮像装置１０５の露出や画角など撮影パラメータが同じであることを要する。カメラのキャリブレーションを行って同一撮影条件であることが担保されれば、まったく同じカメラで撮影することまでは要求されない。

そして、Ｓ１３０４では、色差算出処理が実行される。この処理は実施形態１の図３のフローにおけるＳ３０４と同じ処理である。色差画像の生成が完了すると、Ｓ１３０５にて、色差評価処理が実行される。この処理は、実施形態１の図８のフローと基本的には同じであるが、本実施形態では、許容色差画像はＳ１３０２で既に得られているので、Ｓ８０１の処理はスキップされる。つまり、本実施形態の色差評価処理では、図８のフローにおけるＳ８０２とＳ８０３のみが実行される。図１５（ｂ）はＳ１３０４で生成された色差画像、図１５（ｃ）は色差評価処理で生成された評価画像の一例を示している。

Ｓ１３０６では、Ｓ１３０５の色差評価処理の結果、例えば図１５（ｃ）に示すような評価画像がモニタ１０８に表示される。以上が、本実施形態に係る色検査処理の内容である。

＜変形例＞
正解データである基準画像を用いて基準色を設定するのに代えて、対象物品の検査画像そのものを用いて基準色を設定してもよい。これによっても、検査画像における画像領域間の相対的な色差を評価することができる。ただし、この場合は、設定した基準色そのものが正解データである保証がない。そこで、検査画像から基準色を設定する場合には、設定された基準色が正解データとして適切かどうかの判定ステップを加えることが望ましい。例えば、基準色として設定されたＬａｂ値が、本来の望ましいＬａｂ値に対して所定の誤差の範囲内に収まっているかどうかをチェックするなどして判定する。このような判定処理を行った結果、設定された基準色が正解データとして相応しくない場合は警告表示を行なう等し、基準色の再設定または修正をユーザに促すようにすればよい。このように検査画像そのものを使用して基準色を設定してもよい。

本実施形態によれば、理想的な色情報を持つ基準画像における基準色との色差を基に、検査画像における所定の領域毎に許容色差が決定されるので、対象物品撮影時の光源の当たり方や対象物品の形状によって発生する色差の影響を加味した許容色差となる。つまり、塗装のムラなどの本来検出したい色差をより正確に判定することができる。さらに、許容色差の設定が自動でなされるため、ユーザの手間を減らすことができる。

その他の実施形態

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置
２０１ 許容色差設定部
２０３ 基準色設定部
２０４ 色差算出部
２０５ 色差判定部

Claims (17)

1. 物品の色検査を行う装置であって、
   前記色検査における基準色、及び前記物品を撮影した検査対象画像の所定の画像領域毎に前記色検査における許容色差を設定する設定手段と、
   前記検査対象画像における前記基準色からの色差を算出する算出手段と、
   前記設定手段で設定された許容色差に基づいて、前記算出手段で算出された色差を評価する評価手段と
   を備えることを特徴とする装置。
2. 前記基準色が前記許容色差よりも先に設定される場合、
   前記設定手段は、前記基準色に対する許容色差を、前記所定の画像領域毎に設定し、
   前記評価手段は、前記算出手段で算出された色差を、前記所定の画像領域毎に設定された許容色差に基づいて評価する、
   ことを特徴とする請求項１に記載の装置。
3. 前記許容色差が前記基準色よりも先に設定される場合、
   前記設定手段は、前記所定の画像領域毎の許容色差と前記所定の画像領域相互の間における許容色差を設定した後に、前記基準色を設定し、
   前記評価手段は、前記算出手段で算出された色差を、前記所定の画像領域毎及び前記所定の画像領域相互の間に設定された許容色差から得られる、前記基準色に対する前記所定の画像領域毎の許容色差に基づいて評価する、
   ことを特徴とする請求項１に記載の装置。
4. 前記算出手段は、前記検査対象画像から算出した色差を画像化した色差画像を生成し、
   前記評価手段は、
   前記基準色に対する許容色差を画像化した許容色差画像を生成し、
   前記評価において、前記許容色差画像と前記色差画像とを画素単位で比較し、前記色差画像の画素値が前記許容色差画像の画素値よりも大きい場合は不合格、前記色差画像の画素値が前記許容色差画像の画素値以下であれば合格と判定する、
   ことを特徴とする請求項２又は３に記載の装置。
5. 前記画素単位の合否判定の結果を２次元的に表示する、又は前記画素単位の合否判定の結果に基づき前記検査対象画像の全体の合否判定を行って得られた結果を１次元的に表示する、表示手段をさらに備えたことを特徴とする請求項４に記載の装置。
6. 前記所定の画像領域は、前記物品を構成する部品に対応する画像領域であり、
   前記設定手段は、前記物品を構成する部品のうち特定の部品と紐付けられた色信号値を、前記基準色として設定する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の装置。
7. 前記設定手段は、前記物品を構成する部品のうち前記色検査を要しない部品に対応する画像領域については、許容色差を設定しない或いは前記評価に影響を及ぼさない所定の許容色差を設定する、ことを特徴とする請求項６に記載の装置。
8. ユーザ操作を受け付けるユーザインタフェースをさらに備え、
   前記ユーザインタフェースを介して、前記部品と対応付けられた所定のコードを受け付けると、
   前記設定手段は、前記所定のコードに従って、前記特定の部品と紐付けられた色信号値を前記基準色として設定する
   ことを特徴とする請求項６又は７に記載の装置。
9. 前記所定のコードは、前記特定の部品と対応付けられた色サンプルを識別する色コード、或いは前記特定の部品そのものを識別する部品コードである、ことを特徴とする請求項８に記載の装置。
10. ユーザ操作を受け付けるユーザインタフェースをさらに備え、
    前記ユーザインタフェースを介して、前記物品の理想的な色情報を含む基準画像における特定の画素位置の指定を受け付けると、
    前記設定手段は、
    前記特定の画素位置が属する画像領域に対応する前記物品を構成する部品と紐付けて、前記特定の画素位置における色信号値を前記基準色として設定し、
    設定された前記基準色の色信号値と前記基準画像の各画素の色信号値との差分に所定の色差を加えた値を各画素における許容色差として設定する、
    ことを特徴とする請求項６又は７に記載の装置。
11. 前記基準画像は、前記物品について理想的な色を持つ製品見本を撮影した画像、前記物品をＣＧモデリングした画像、或いは前記色検査を行って問題なしと評価された物品の色検査時に用いた検査対象画像であることを特徴とする請求項１０に記載の装置。
12. ユーザ操作を受け付けるユーザインタフェースをさらに備え、
    前記ユーザインタフェースを介して、前記検査対象画像における特定の画素位置の指定を受け付けると、
    前記設定手段は、
    前記特定の画素位置が属する画像領域に対応する前記物品を構成する部品と紐付けて、前記特定の画素位置における色信号値を前記基準色として設定し、
    設定された前記基準色の色信号値と前記検査対象画像の各画素の色信号値との差分に所定の色差を加えた値を各画素における許容色差として設定する、
    ことを特徴とする請求項６又は７に記載の装置。
13. 設定された基準色が不適切である場合、警告表示を行なう手段をさらに備えたことを特徴とする請求項１２に記載の装置。
14. 前記設定手段は、前記物品の特定の部分に対応する所定の表色系で表される色信号値を、前記基準色として設定する
    ことを特徴とする請求項１乃至１３のいずれか１項に記載の装置。
15. 前記所定の表色系は、ＣＩＥＬＡＢ表色系、ＣＩＥＸＹＺ表色系、ＣＩＥＬＵＶ表色系、ＣＩＥＬＣＨ表色系、ＨＳＶ表色系、ＹＩＱ表色系、ＹＣｂＣｒ表色系のうちの何れかの表色系であることを特徴とする請求項１４に記載の装置。
16. 物品の色検査を行う方法であって、
    前記色検査における基準色、及び前記物品を撮影した検査対象画像の所定の画像領域毎に前記色検査における許容色差を設定する設定ステップと、
    前記検査対象画像における前記基準色からの色差を算出する算出ステップと、
    前記設定ステップで設定された許容色差に基づいて、前記算出ステップで算出された色差を評価する評価ステップと
    を含むことを特徴とする方法。
17. コンピュータを、請求項１乃至１５のいずれか１項に記載の装置として機能させるためのプログラム。

Images