JP2023040925A - 表面検査装置及びプログラム - Google Patents

Abstract

【課題】物体表面の質感を評価値だけで表示する場合に比して、物体表面の質感の確認を容易化する。【解決手段】表面検査装置は、検査の対象とする物体の表面を撮像する撮像デバイスと、撮像デバイスにより撮像された画像の処理を通じ、物体の質感を算出するプロセッサと、を有し、プロセッサは、物体の質感を表す記号を、多次元の分布図上の座標位置に表示する。【選択図】図６

Description

本発明は、表面検査装置及びプログラムに関する。

今日、様々な製品において、合成樹脂を成形した部品（以下「成形品」という）が用いられる。成形品の質感は、色、光沢、表面に形成された微小な凹凸等により変化する。

特許第６５６４６６０号公報 特開２０１２－００２７０４号公報

質感は、外観の印象を決定する項目の一つである。このため、開発フェーズには、成形品の質感を検査する工程が設けられており、作業の短縮化が求められている。なお、複数の成形品で構成される製品の場合には、追加で、複数の成形品間で質感の均一性の検査が求められる。
なお、従前の外観検査装置は、Ｌ^＊ａ^＊ｂ^＊の色情報のみを用いて質感を評価しているが、この手法による評価では、シボのような微小な凹凸により生じる質感の評価が難しい。

本発明は、物体表面の質感を評価値だけで表示する場合に比して、物体表面の質感の確認を容易化することを目的とする。

請求項１に記載の発明は、検査の対象とする物体の表面を撮像する撮像デバイスと、前記撮像デバイスにより撮像された画像の処理を通じ、前記物体の質感を算出するプロセッサと、を有し、前記プロセッサは、前記物体の質感を表す記号を、多次元の分布図上の座標位置に表示する、表面検査装置である。
請求項２に記載の発明は、前記多次元の分布図には、複数の前記記号が表示される、請求項１に記載の表面検査装置である。
請求項３に記載の発明は、複数の前記記号の１つは、基準とする物体の質感を表す記号であり、他は、検査の対象とする物体の質感を表す記号である、請求項２に記載の表面検査装置である。
請求項４に記載の発明は、前記多次元の分布図には、基準とする前記物体に対する質感差の許容範囲を与える指標が表示される、請求項１に記載の表面検査装置である。
請求項５に記載の発明は、前記指標の表示と不表示は、予め定めた操作により切り替えられる、請求項４に記載の表面検査装置である。
請求項６に記載の発明は、前記指標は、許容範囲の段階に応じ、同心的に複数表示される、請求項４に記載の表面検査装置である。
請求項７に記載の発明は、前記指標は矩形である、請求項４～６のいずれか１項に記載の表面検査装置である。
請求項８に記載の発明は、前記指標は楕円又は円形である、請求項４～６のいずれか１項に記載の表面検査装置である。
請求項９に記載の発明は、前記指標の形状は、予め定めた操作により切り替えられる、請求項４～６のいずれか１項に記載の表面検査装置である。
請求項１０に記載の発明は、前記座標位置は、物体表面からの巨視的な反射光成分の質感を表す第１の値と、物体表面からの微視的な反射光成分の質感を表す第２の値で規定される、請求項１に記載の表面検査装置である。
請求項１１に記載の発明は、前記第１の値は、物体表面からの正反射成分の画像と拡散反射成分の画像に基づいて算出され、前記第２の値は、物体表面からの正反射成分の画像に基づいて算出される、請求項１０に記載の表面検査装置である。
請求項１２に記載の発明は、前記プロセッサは、前記第１の値と前記第２の値を画面上に表示する、請求項１０に記載の表面検査装置である。
請求項１３に記載の発明は、前記プロセッサは、前記第１の値と前記第２の値を用いて算出された２つの物体の質感差を表す数値を画面上に表示する、請求項１２に記載の表面検査装置である。
請求項１４に記載の発明は、前記プロセッサは、前記２つの物体の色差を表す情報を含めて前記質感差を表す数値を算出する、請求項１３に記載の表面検査装置である。
請求項１５に記載の発明は、検査の対象とする物体の表面を撮像デバイスで撮像した画像を処理するコンピュータに、前記物体の質感を算出する機能と、前記物体の質感を表す記号を、多次元の分布図上の座標位置に表示する機能と、を実現させるためのプログラムである。

請求項１記載の発明によれば、物体表面の質感を評価値だけで表示する場合に比して、物体表面の質感の確認を容易化できる。
請求項２記載の発明によれば、複数の成形品の質感差の確認を容易化できる。
請求項３記載の発明によれば、基準とする質感と検査の対象とする物体の質感の違いを２つの記号の距離として把握できる。
請求項４記載の発明によれば、検査の対象とする物体の評価を容易化できる。
請求項５記載の発明によれば、必要に応じて指標の表示と不表示を切り替えることができる。
請求項６記載の発明によれば、検査の対象とする物体の評価を複数段階で確認できる。
請求項７記載の発明によれば、検査の対象とする物体の評価を容易化できる。
請求項８記載の発明によれば、検査の対象とする物体の評価を容易化できる。
請求項９記載の発明によれば、必要に応じて指標の表示と不表示を切り替えることができる。
請求項１０記載の発明によれば、人間の視覚に近い評価の質感を算出できる。
請求項１１記載の発明によれば、人間の視覚に近い評価の質感を算出できる。
請求項１２記載の発明によれば、分布図上に表示された前記記号の座標値を正確に確認できる。
請求項１３記載の発明によれば、複数の成形品の質感差を数値として確認できる。
請求項１４記載の発明によれば、質感差を表す値を、人間の視覚により近づけることができる。
請求項１５記載の発明によれば、物体表面の質感を評価値だけで表示する場合に比して、物体表面の質感の確認を容易化できる。

実施の形態１で想定する表面検査装置の使用例を説明する図である。 実施の形態１で使用する表面検査装置のハードウェア構成の一例を説明する図である。 実施の形態１における表面検査装置の光学系の構造例を説明する図である。 ２つのサンプル間の質感差を定量化したスコアを算出する手法の一例を説明する図である。 ディスプレイに表示される操作画面例の一例を説明する図である。 二軸グラフの表示例を説明する図である。（Ａ）は質感差スコアの算出に「定量化モデル１」を用いる場合の表示例であり、（Ｂ）は質感差スコアの算出に「定量化モデル２」を用いる場合の表示例である。 表面検査装置を用いた質感差の検査時に実行される処理動作例を示すフローチャートである。 許容限界線の表示と質感差スコアの算出に「定量化モデル１」の使用が選択されている場合における操作画面の具体例を説明する図である。 許容限界線の表示と質感差スコアの算出に「定量化モデル２」の使用が選択されている場合における操作画面の具体例を説明する図である。 基準サンプルと対象サンプルの撮像に伴う二軸グラフの表示の変化を説明する図である。（Ａ）はステップ１０２に対応する画面例であり、（Ｂ）はステップ１０４に対応する画面例であり、（Ｃ）はステップ１０６に対応する画面例であり、（Ｄ）は取り直し後のステップ１０４に対応する画面例であり、（Ｅ）はステップ１０８（図７参照）に対応する画面例であり、（Ｆ）はステップ１１２に対応する画面例であり、（Ｇ）はステップ１１４に対応する画面例であり、（Ｈ）はステップ１１６に対応する画面例である。 ２つのサンプル間の質感差を定量化したスコアを算出する手法の他の一例を説明する図である。 実施の形態２で用いる操作画面例の一例を説明する図である。 実施の形態３で想定する表面検査装置の使用例を説明する図である。

以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜表面検査装置の使用例＞
図１は、実施の形態１で想定する表面検査装置１の使用例を説明する図である。
実施の形態１で使用する表面検査装置１は、いわゆるエリアカメラであり、撮像する範囲（以下「撮像範囲」という）が面で規定される。

図１の場合、撮像範囲は、検査の対象とする物体（以下「検査対象」ともいう）１０の全体を含んでいる。もっとも、撮像範囲は、検査対象１０のうち注目する一部分のみを含んでもよい。本実施の形態の場合、検査対象１０として成形品を想定する。
エリアカメラによる検査の場合、表面検査装置１と検査対象１０による検査は、静止した状態で実行される。換言すると、表面検査装置１と検査対象１０が相対的に移動しない状態で、検査対象１０の表面の検査が実行される。

図１の場合、検査対象１０は板状であるが、検査対象１０の表面の形状は任意である。例えば検査対象１０は、多面体の他、球体や円柱等の曲面を有する形状でもよい。
実際の検査対象１０には、穴、切り欠き、突起、段差等が存在することがある。
また、検査対象１０の表面の仕上げの種類には、無処理、鏡面仕上げ、準鏡面仕上げ、シボ加工等がある。シボ加工は、検査対象１０の表面に微小な凹凸を意図的に形成する加工である。シボ加工が施された表面の質感は、凸部分と凹部分の面積比、凸部分の大きさ、凹凸により形成される模様、凹凸の高低差、表面の材質、色等の影響により変化する。

表面検査装置１は、検査対象１０の表面の欠陥や質感の検査に使用される。
欠陥には、例えばヒケ、ウェルドがある。ヒケは、肉厚部分やリブ部に発生する表面の凹みであり、ウェルドは、溶融した樹脂の先端が金型内で合流する部分に発生する筋をいう。なお、欠陥には、物がぶつかることで生じる傷や打痕も含まれる。
質感は、視覚上や触覚上の印象であり、物体の表面の色、光沢、凹凸が影響する。表面の凹凸には、金型を切削する際に生じた微細な筋も含まれる。この種の筋は、欠陥とは異なる。
本実施の形態における表面検査装置１は、欠陥や質感の検査に限らず、表面の汚れの検査にも使用が可能である。

本実施の形態における表面検査装置１は、検査対象１０毎の質感を表すスコアを算出する機能と、２つの検査対象１０間の質感の違い（以下「質感差」という）を表すスコアを算出する機能を有している。質感差は、例えば質感の均一性が求められる複数の検査対象１０の検査時に算出される。
図１に示す検査対象１０は、Ｘ軸とＹ軸で規定される面に対して平行に設置されている。図１の場合、検査対象１０の表面の法線はＺ軸と概略平行である。
表面検査装置１は、検査対象１０の鉛直上方に配置される。本実施の形態の場合、検査対象１０の表面を撮像するカメラの光軸は、検査対象１０の表面の法線と概略平行である。以下では、検査対象１０の表面の撮像時に要求される条件を「撮像条件」ともいう。

表面検査装置１は、撮像条件を満たす位置に設置される。表面検査装置１は、特定の部材に対して固定されてもよいし、特定の部材に対して取り外し可能でもよい。
もっとも、表面検査装置１は、携帯型の装置でもよい。携帯が可能である場合、検査の担当者（以下「作業者」という）は、例えば手に表面検査装置１を持ち、カメラを検査対象１０に向けることで検査対象１０の表面を撮像する。図１に示す表面検査装置１は、検査対象１０の表面から離れているが、表面検査装置１を検査対象１０の表面に接触させた状態で検査を実行してもよい。
図１では、表面検査装置１と検査対象１０の位置関係の説明を目的とするため、表面検査装置１の外観を簡略化して略直方体として表している。もっとも、表面検査装置１の外観は、略直方体に限らない。

＜表面検査装置の構成＞
図２は、実施の形態１で使用する表面検査装置１のハードウェア構成の一例を説明する図である。
図２に示す表面検査装置１は、装置全体の動作を制御するプロセッサ１０１と、ＢＩＯＳ（＝Basic Input Output System）等が記憶されたＲＯＭ（＝Read Only Memory）１０２と、プロセッサ１０１のワークエリアとして用いられるＲＡＭ（＝Random Access Memory）１０３と、プログラムや画像データを記憶する補助記憶装置１０４と、検査対象１０の表面を撮像した画像や操作に関する情報が表示されるディスプレイ１０５と、作業者の操作を受け付ける操作受付装置１０６と、検査対象１０の表面を撮像するカメラ１０７と、検査対象１０の表面を照明する光源１０８及び１０９と、外部との通信に用いられる通信ＩＦ（＝InterFace）１１０と、を有している。なお、プロセッサ１０１と各部は、バス等の信号線１１１を通じて接続されている。

プロセッサ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３は、いわゆるコンピュータとして機能する。プロセッサ１０１は、プログラムの実行を通じて各種の機能を実現する。例えばプロセッサ１０１は、プログラムの実行を通じ、照明光の発光の制御、検査対象１０の表面を撮像した画像の表示、スコアの算出等を実行する。
検査対象１０の表面を撮像した画像データは、補助記憶装置１０４に記憶される。補助記憶装置には、例えば半導体メモリ、ハードディスク装置を使用する。補助記憶装置１０４には、ファームウェアやアプリケーションプログラムも記憶される。以下では、ファームウェアやアプリケーションプログラムを総称して「プログラム」という。

ディスプレイ１０５は、例えば液晶ディスプレイや有機ＥＬディスプレイであり、検査対象１０を撮像した画像の表示や質感を表す情報の表示に用いられる。
本実施の形態の場合、ディスプレイ１０５は、装置本体に一体的に設けられているが、通信ＩＦ１１０を通じて接続されるモニタでもよいし、通信ＩＦ１１０を通じて接続される端末装置のディスプレイでもよい。例えばディスプレイ１０５は、通信ＩＦ１１０を通じて接続された他のコンピュータのディスプレイでもよい。例えば他のコンピュータは、ノート型のコンピュータやスマートフォンでもよい。

操作受付装置１０６は、ディスプレイ１０５に配置されるタッチセンサや筐体に配置される物理的なスイッチ、ボタン等で構成される。
ディスプレイ１０５と操作受付装置１０６を一体化したデバイスは、タッチパネルと呼ばれる。タッチパネルは、ソフトウェア的に表示されたキー（以下「ソフトキー」とも呼ぶ）に対するユーザの操作の受け付けに使用される。

本実施の形態の場合、カメラ１０７には、カラーカメラを使用する。カメラ１０７の撮像素子には、例えばＣＣＤ（＝Charge Coupled Device）イメージングセンサやＣＭＯＳ（＝Complementary Metal Oxide Semiconductor）イメージングセンサを使用する。
カメラ１０７にカラーカメラを使用するので、検査対象１０の表面の輝度だけでなく色調の観察も可能である。カメラ１０７は、撮像デバイスの一例である。

本実施の形態の場合、光源１０８及び１０９には、白色光源を使用する。
光源１０８は、検査対象１０の表面で正反射（すなわち鏡面反射）された光成分が主にカメラ１０７に入射する角度に配置される。
一方、光源１０９は、検査対象１０の表面で拡散反射された光成分が主にカメラ１０７に入射する角度に配置される。
図２においては、光源１０８を「光源Ａ」と表記し、光源１０９を「光源Ｂ」と表記している。

本実施の形態の場合、光源１０８と光源１０９は、カメラ１０７の光軸を挟んで反対側に配置するが、同じ側に配置してもよい。
光源１０８と光源１０９は、平行光源でも非平行光源でもよい。非平行光源には、例えば点光源、面光源がある。
本実施の形態における表面検査装置１の場合、光源１０８から出力される照明光の出力軸と、光源１０９から出力される照明光の出力軸と、カメラ１０７の光軸は、概略同じ面上に配置される。
通信ＩＦ１１０は、有線や無線による通信規格に準拠したモジュールで構成される。通信ＩＦ１１０には、例えばイーサネット（登録商標）モジュール、ＵＳＢ（＝Universal Serial Bus）モジュール、無線ＬＡＮ（＝Local Area Network）モジュールその他を使用する。

＜光学系の構造＞
図３は、実施の形態１における表面検査装置１の光学系の構造例を説明する図である。表面検査装置１の筐体１００の一部には開口部１００Ａが設けられている。
開口部１００Ａには、検査対象１０の表面を照明する照明光と検査対象１０の表面で反射した反射光とが入出力される開口１００Ｂと、開口１００Ｂの周辺を取り囲む鍔部１００Ｃとが設けられている。換言すると、開口１００Ｂは、平板状の鍔部１００Ｃの中央付近に設けられる穴として設けられる。

開口１００Ｂと鍔部１００Ｃは、例えば円形状である。もっとも、開口１００Ｂと鍔部１００Ｃは、他の形状でもよい。例えば矩形でもよい。
なお、開口１００Ｂと鍔部１００Ｃは相似形状である必要はなく、開口１００Ｂは円形状で、鍔部１００Ｃは矩形でもよい。
鍔部１００Ｃは、検査対象１０の表面に対する表面検査装置１の撮像方向の位置決めに使用される。換言すると、鍔部１００Ｃは、検査の対象である表面に対するカメラ１０７と光源１０８の位置決めに用いられる。鍔部１００Ｃには、開口１００Ｂへの外光又は環境光の入射を防止する又は低減する役割もある。

図３に示す筐体１００は、概略筒状の２つの部材を結合した構造を有している。一方の筒状部材には、プロセッサ１０１、カメラ１０７、光源１０８が収容されている。他方の筒状部材には、光源１０９が収容されている。
また、カメラ１０７が取り付けられている側の筒状部材の外表面には、ディスプレイ１０５と操作受付装置１０６が取り付けられている。

図３に示すカメラ１０７の光軸Ｌ１上には、不図示の結像レンズが配置されている。光源１０８及び１０９に平行光源を用いる場合、結像レンズにはテレセントリックレンズを使用する。一方、光源１０８及び１０９に非平行光源を用いる場合、結像レンズには非テレセントリックレンズを使用する。
図３の場合、光源１０８から出力される照明光の光軸をＬＡで示し、光源１０９から出力される照明光の光軸をＬＢで示している。
図３の場合、平板形状である検査対象１０の表面の法線Ｎ０は、カメラ１０７の光軸Ｌ１と概略平行である。

現実の検査対象１０の表面は、構造上又はデザイン上の凹凸、曲面、段差、つなぎ目、成形の過程等で形成された微細な凹凸等を有している。
従って、本実施の形態の場合、検査対象１０の法線Ｎ０を、検査対象１０のうち注目する領域ＡＲの法線Ｎ０の向きの平均値や注目する特定の位置Ｐの法線Ｎ０の意味で使用する。
図３の場合、光源１０８から出力される照明光の光軸ＬＡとカメラ１０７の光軸Ｌ１との角度はθ_Ａであり、光源１０９から出力される照明光の光軸ＬＢとカメラ１０７の光軸Ｌ１との角度はθ_Ｂである。本実施の形態の場合、θ_Ａは概略５°であり、θ_Ｂは概略４５°である。

＜質感差を表すスコアの算出＞
図４は、２つのサンプル間の質感差を定量化したスコア（以下「質感差スコア」という）ΔＴを算出する手法の一例を説明する図である。
質感差スコアΔＴの算出は、プロセッサ１０１（図２参照）によるプログラムの実行を通じて実現される。

図４では、基準として使用する検査対象１０を「基準サンプル」と表記し、基準サンプルに対する質感差を検査する検査対象１０を「対象サンプル」と表記している。
本実施の形態では、１番目に検査する検査対象１０を基準サンプルとし、２番目以降に検査する検査対象１０を対象サンプルとする。
まず、プロセッサ１０１は、基準サンプルと対象サンプルのそれぞれについて、正反射画像と拡散反射画像を取得する。
図４では、正反射画像を取得する機能部を正反射画像取得部１２１Ａと表記し、拡散反射画像を取得する機能部を拡散反射画像取得部１２１Ｂと表記する。正反射画像は、正反射成分の画像の一例であり、拡散反射画像は、拡散反射成分の画像の一例である。

図４では、正反射画像取得部１２１Ａと拡散反射画像取得部１２１Ｂを並列に記載しているが、各取得部による画像の取得は、時間順次に実行される。
具体的には、正反射画像取得部１２１Ａが、光源１０８（図３参照）だけを点灯状態に制御して正反射画像を取得した後、拡散反射画像取得部１２１Ｂが、光源１０９（図３参照）だけを点灯状態に制御して拡散反射画像を取得する。

また、図４では、基準サンプルから正反射画像と拡散反射画像（以下「画像対」ともいう）を取得する機能部と、対象サンプルから画像対を取得する機能部とを並列に記載しているが、これらの機能部は、同じものである。
具体的には、正反射画像取得部１２１Ａと拡散反射画像取得部１２１Ｂは、基準サンプルから画像対を取得する処理と、対象サンプルから画像対を取得する処理の両方に使用される。これらの機能部は、基準サンプルから画像対を取得する際に使用された後、対象サンプルから画像対を取得する際に使用される。

基準サンプルと対象サンプルから取得された正反射画像は、それぞれ凹凸感算出部１２２Ａに与えられる。
凹凸感算出部１２２Ａは、検査対象１０の表面から取得される微視的な反射光成分を評価したスコアを算出する機能部である。本実施の形態では、微視的な反射光成分により認識される質感を「凹凸感」といい、対応するスコアを「凹凸感スコア」という。凹凸が少ない表面の凹凸感スコアは相対的に小さい値となり、凹凸が多い表面の凹凸感スコアは相対的に大きな値となる。凹凸感スコアは、第２の値の一例である。

本実施の形態の場合、凹凸感算出部１２２Ａは、例えば正反射光成分の高速フーリエ変換（ＦＦＴ：Fast Fourier Transformation）の振幅を、凹凸感スコアとして出力する。
図４の場合、「凹凸感１」と「凹凸感２」が、凹凸感スコアである。「凹凸感１」は基準サンプルの凹凸感スコアであり、「凹凸感２」は対象サンプルの凹凸感スコアである。
凹凸感算出部１２２Ａは、基準サンプルの凹凸感スコアの算出と対象サンプルの凹凸感スコアの算出の両方で使用される。

基準サンプルと対象サンプルから取得された正反射画像と、基準サンプルと対象サンプルから取得された拡散反射画像は、それぞれ光沢感算出部１２２Ｂに与えられる。
光沢感算出部１２２Ｂは、検査対象１０の表面から取得される巨視的な反射光成分を評価したスコアを算出する機能部である。
本実施の形態では、巨視的な反射光成分により認識される質感を「光沢感」といい、対応するスコアを「光沢感スコア」という。拡散反射光が支配的な表面の光沢感スコアは相対的に小さい値となり、正反射光が支配的な表面の光沢感スコアは相対的に大きい値となる。光沢感スコアは、第１の値の一例である。

本実施の形態の場合、光沢感算出部１２２Ｂは、正反射画像の平均輝度値と拡散反射画像の平均輝度値の差分値（＝正反射画像の平均輝度値－拡散反射画像の平均輝度値）を、光沢感スコアとして出力する。
図４の場合、「光沢感１」と「光沢感２」が、光沢感スコアである。「光沢感１」は基準サンプルの光沢感スコアであり、「光沢感２」は対象サンプルの光沢感スコアである。
光沢感算出部１２２Ｂは、基準サンプルの光沢感スコアの算出と対象サンプルの光沢感スコアの算出の両方で使用される。

基準サンプルの凹凸感スコアと対象サンプルの凹凸感スコアは凹凸感差算出部１２３Ａに与えられる。
基準サンプルの光沢感スコアと対象サンプルの光沢感スコアは光沢感差算出部１２３Ｂに与えられる。
凹凸感差算出部１２３Ａは、基準サンプルについて算出された凹凸感スコアと、対象サンプルについて算出された凹凸感スコアの差分を算出し、凹凸感差を与えるスコア（以下「凹凸感差スコア」という）を出力する機能部である。
光沢感差算出部１２３Ｂは、基準サンプルについて算出された光沢感スコアと、対象サンプルについて算出された光沢感スコアの差分を算出し、光沢感差を与えるスコア（以下「光沢感差スコア」という）を出力する機能部である。

算出された凹凸感差スコアと光沢感差スコアは、質感差スコア算出部１２４に与えられる。
質感差スコア算出部１２４は、人間が基準サンプルと対象サンプルとの間で感じる質感差を定量化した質感差スコアΔＴを算出する機能部である。
人間は、２つの検査対象１０の表面の質感差を、光沢感の違いと凹凸感の違いを総合的に評価して判断する。そこで、本実施の形態では、質感差スコアΔＴを、光沢感差と凹凸感差をパラメータとする定量化モデルを用いて算出する。

本実施の形態では、２種類の定量化モデルが用意されている。以下では、２種類の定量化モデルを「定量化モデル１」及び「定量化モデル２」と表記する。
定量化モデル１：
ΔＴ＝係数１×光沢感差＋係数２×凹凸感差
定量化モデル２：
ΔＴ＝√｛（係数１×光沢感差）^２＋（係数２×凹凸感差）^２｝
本実施の形態の場合、質感差スコアΔＴの算出に使用する定量化モデルは作業者による選択が可能である。もっとも、質感差スコアΔＴの算出に使用する定量化モデルは、いずれか一方に固定されていてもよい。質感差スコアΔＴは、質感差を表す数値の一例である。

＜操作画面＞
図５は、ディスプレイ１０５に表示される操作画面例の一例を説明する図である。
図５に示す操作画面１３１は、基準サンプルに対する対象サンプルの質感差を計測した結果を示す画面の一例である。このため、操作画面１３１には「質感差計測」とのタイトルが付されている。
図５に示す操作画面１３１は、複数の表示欄１３２～１３８で構成されている。

表示欄１３２には、カメラ１０７（図２参照）がリアルタイムで撮像しているリアルタイム映像が表示される。本実施の形態における表面検査装置１では、電源ボタンが操作されると、光源１０８（図２参照）が点灯し、カメラ１０７による撮像が開始される。リアルタイム映像は、カメラ１０７で撮像される部位の確認に用いられる。このため、質感の検査に用いる画像の取得とは無関係である。
リアルタイム映像は、カラー画像又はグレースケール画像として表示される。なお、表示欄１３２には、スコアの計算に使用する領域の指標として用いられる矩形の枠１３２Ａが表示されている。

表示欄１３３には、質感差の検査のために撮像された画像が表示されている。表示欄１３３の画像は、作業者が撮像ボタンを操作した時点に枠１３２Ａに位置していた画像である。
撮像ボタンの操作があると、質感差の検査用として、正反射画像と拡散反射画像の２枚が時間差で撮像される。このため、表示欄１３３には、正反射画像と拡散反射画像とがサンプル毎に表示される。
図５の場合、基準サンプルを「基準」で示し、対象サンプルＡを「対象Ａ」で示し、対象サンプルＢを「対象Ｂ」で示している。

図５の場合、対象サンプルに対応する画像は、表示スペースの関係で２つだけ表示されているが、スクロールバーの操作により、表示欄１３３に表示する対象サンプルの画像の変更が可能である。
なお、表示欄１３３では、画素の濃淡が輝度値を表している。濃い色の画素ほど輝度レベルが低く、薄い色の画素ほど輝度レベルが高い。
正反射画像の輝度レンジは１５－１００であり、拡散反射画像の輝度レンジは１１－３５である。輝度レンジは撮像条件によっても異なる。

表示欄１３４は、算出されたスコアが作業者の確認用に表示される。スコアは、光沢感スコア、凹凸感スコア、質感差スコアΔＴの三種類である。図５においては、それぞれを「光沢感」、「凹凸感」、「ΔＴ」で表されている。
なお、基準サンプルについては質感差スコアΔＴは表示されない。
図５の場合、５つの対象サンプルのスコアの表示が可能である。また、より多数の対象サンプルを検査の対象とする場合に備え、スクロールバーが配置されている。スクロールバーの操作により、表示欄１３４に表示する対象サンプルの画像の変更が可能である。
因みに、質感差スコアΔＴの値は、算出に使用する定量化モデルに応じて異なる値になる。

表示欄１３５は、質感差スコアΔＴの算出に使用する定量化モデルの選択用に表示される。図５の場合、表示欄１３５には、「モデル１」の選択ボタン１３５Ａと「モデル２」の選択ボタン１３５Ｂが表示されている。
「モデル１」は「定量化モデル１」に対応し、「モデル２」は「定量化モデル２」に対応する。
表示欄１３６には、基準サンプルと対象サンプルの質感が２次元空間上の座標点として表示される。
図５の場合、表示欄１３６には、横軸を光沢感スコア、縦軸を凹凸感スコアとする二軸グラフが表示され、基準サンプルと対象サンプルのそれぞれに対応する記号が対応する座標位置に表示される。ここでの二軸グラフは多次元の分布図の一例である。

座標点を表す記号は、全てのサンプルで同じでもよいが、基準サンプルと対象サンプルとで異なってもよい。また、座標点を表す記号は、全てのサンプルで異なっても良い。
記号の違いは、記号の形状の違いでもよいし、色の違いでもよいし、形状と色の組み合わせの違いでもよい。
座標点を表す記号の近傍にはサンプル名を表す文字を表示してもよいし、二軸グラフの欄外に記号とサンプルとの対応関係を示す凡例を表示してもよい。

表示欄１３７は、基準サンプルと対象サンプルの質感差の判断用の指標を表示するか否かを選択するためのチェックボックスを表示する。
図５の場合、「許容限界線あり」のチェックボックスにチェックが入っている。許容限界線は、基準サンプルの質感を与える座標値を中心とした質感差の許容範囲の限界を与える線である。チェックボックスにチェックが入っていない場合、許容限界線は、二軸グラフに表示されない。
許容限界線の形状は、質感差スコアΔＴの算出に使用する定量化モデルに応じて異なる。例えば「定量化モデル１」の許容限界線は矩形であり、「定量化モデル２」の許容限界線は楕円又は円形である。

表示欄１３８は、操作画面１３１に表示されているスコアや座標点を消去するために用意されている。
「All clear」ボタン１３８Ａを操作すると、画面上の全てのスコアと座表点が消去される。
「clear」ボタン１３８Ｂを操作すると、直前に画像が取得されたサンプルのスコアと座表点だけが消去される。

図６は、二軸グラフの表示例を説明する図である。（Ａ）は質感差スコアの算出に「定量化モデル１」を用いる場合の表示例であり、（Ｂ）は質感差スコアの算出に「定量化モデル２」を用いる場合の表示例である。
図６（Ａ）及び図６（Ｂ）の場合、二軸グラフには３つのサンプルの座標点が同じ記号で表示されている。具体的には、円形のマークが、各サンプルに対応する座標点に表示されている。また、図６（Ａ）及び図６（Ｂ）に示す二軸グラフでは、各マークの隣に、サンプル名が表示されている。

図６（Ａ）及び図６（Ｂ）に示す二軸グラフには、許容限界線が表示されている。
「定量化モデル１」に対応する図６（Ａ）の二軸グラフにおける許容限界線は、矩形形状の一種である菱形で表されている。
一方、「定量化モデル２」に対応する図６（Ｂ）の二軸グラフにおける許容限界線は、楕円形状で表されている。もっとも、前述したように、許容限界線は、円形状でもよい。

図６（Ａ）及び図６（Ｂ）に示す二軸グラフのいずれの場合も、相似形状の許容限界線が同心的に複数表示されている。
図６（Ａ）及び図６（Ｂ）の場合、許容限界線の数は３つである。３つの許容限界線の線種、太さや色等は同じでもよいし、異なってもよい。
３つの許容限界線のうち最も内側の許容限界線は、例えば質感差がほぼない範囲を与え、真ん中の許容限界線は、例えば質感差があるが、質感差が目立たない範囲を与え、最も外側の許容限界線は、例えば不良判定の閾値を与える。もっとも、これらの区別は一例である。
なお、二軸グラフに表示する許容限界線の数は３つに限らず、１つでもよいし、２つや４つ以上でもよい。

＜質感差検査＞
図７は、表面検査装置１を用いた質感差の検査時に実行される処理動作例を示すフローチャートである。図中に示す記号のＳはステップを意味する。
なお、図７に示す処理動作は、プロセッサ１０１（図２参照）がプログラムの実行を通じて制御する。

プロセッサ１０１は、撮像ボタンの操作を検知することで、基準サンプルについて正反射画像と拡散反射画像を撮像する（ステップ１０１）。
撮像された正反射画像と拡散反射画像は、表示欄１３３（図５参照）に表示される。また、プロセッサ１０１は、撮像された正反射画像と拡散反射画像について光沢感スコアと凹凸感スコアを算出する。

次に、プロセッサ１０１は、基準サンプルについて算出されたスコアを、スコア欄と２軸グラフに表示する（ステップ１０２）。ここでのスコアは、光沢感スコアと凹凸感スコアである。
算出されたスコアは、表示欄１３４（図５参照）に表示される。また、算出されたスコアを座標値として二軸グラフ上の座標点に基準サンプルに対応する記号が表示される。

続いて、プロセッサ１０１は、撮像ボタンの操作を検知することで、対象サンプルＡについて正反射画像と拡散反射画像を撮像する（ステップ１０３）。
新たな画像対が撮像されると、プロセッサ１０１は、対象サンプルＡについて算出されたスコアを、スコア欄と２軸グラフに表示する（ステップ１０４）。

なお、プロセッサ１０１は、対象サンプルＡについて光沢感スコアと凹凸感スコアが算出されると、事前に選択されている定量化モデルに基づいて質感差スコアΔＴも算出し、表示欄１３４に表示する。
図７の場合、ステップ１０４の表示では、表示欄１３６の二軸グラフには、許容限界線は表示されていない。もっとも、ステップ１０４の段階で、二軸グラフに許容限界線を表示させるチェックの有無を判定してもよい。

次に、プロセッサ１０１は、「clear」ボタン１３８Ｂ（図５参照）の操作があったか否かを判定する（ステップ１０５）。対象サンプルの画像を撮り直したい場合、作業者は、「clear」ボタン１３８Ｂを操作する。
ステップ１０５で肯定結果が得られた場合、プロセッサ１０１は、対象サンプルＡのスコアを、スコア欄と２軸グラフから消去する（ステップ１０６）。この後、プロセッサ１０１は、ステップ１０３に戻る。
ステップ１０５で否定結果が得られることなく、撮像ボタンの操作が検知された場合、プロセッサ１０１は、対象サンプルＢについて正反射画像と拡散反射画像を撮像する（ステップ１０７）。

新たな画像対が撮像されると、プロセッサ１０１は、対象サンプルＢについて算出されたスコアを、スコア欄と２軸グラフに表示する（ステップ１０８）。
次に、プロセッサ１０１は、「clear」ボタン１３８Ｂの操作があったか否かを判定する（ステップ１０９）。
ステップ１０９で肯定結果が得られた場合、プロセッサ１０１は、対象サンプルＢのスコアを、スコア欄と２軸グラフから消去し（ステップ１１０）、ステップ１０７に戻る。
予め定めた時間が経過しても「clear」ボタン１３８Ｂの操作が無かった場合、プロセッサ１０１は、ステップ１０９で否定結果を得る。

次に、プロセッサ１０１は、「許容限界線あり」にチェックがあるか否かを判定する（ステップ１１１）。
ステップ１１１で肯定結果が得られた場合、プロセッサ１０１は、二軸グラフに許容限界線を表示する（ステップ１１２）。許容限界線は、基準サンプルの質感を表す記号を中心として表示される。
図７の場合、続いて、プロセッサ１０１は、定量化モデルの変更か否かを判定する（ステップ１１３）。

ステップ１１３で肯定結果が得られた場合、プロセッサ１０１は、許容限界線の表示を、変更後の定量化モデルに応じて変更する（ステップ１１４）。質感差スコアも変更後の定量化モデルに応じて再計算される。
なお、ステップ１１１で否定結果が得られた場合、又は、ステップ１１３で否定結果が得られた場合、又は、ステップ１１４の実行後、プロセッサ１０１は、「All clear」ボタン１３８Ａの操作があったか否かを判定する（ステップ１１５）。

ステップ１１５で否定結果が得られた場合、プロセッサ１０１は、ステップ１１１に戻る。
一方、ステップ１１５で肯定結果が得られた場合、プロセッサ１０１は、全ての画像と対応するスコアを画面上から消去し（ステップ１１６）、質感差の検査を終了する。

なお、図７に示す処理動作は、基準サンプルと比較する対象サンプルが２つの場合を表しているが、対象サンプルが３つ以上の場合には、例えばステップ１１０とステップ１１１の間に、ステップ１０７～ステップ１１０をサンプル数だけ実行してもよい。
また、ステップ１１１の判定やステップ１１３の判定は、１つのサンプルから画像対が取得されるたびに実行してもよい。

＜操作画面の具体例＞
以下では、表面検査装置１による質感差の検査時に表示される操作画面の具体例について説明する。
図８は、許容限界線の表示と質感差スコアΔＴの算出に「定量化モデル１」の使用が選択されている場合における操作画面１３１の具体例を説明する図である。図８には、図５との対応部分に対応する符号を付して示している。

図８の場合、表示欄１３２と表示欄１３３には、実際に撮像された画像が表示されている。
表示欄１３６に示す二軸グラフには、図６（Ａ）に示す画像が縮小表示されている。
作業者は、定量化された質感差を、二軸グラフ上における記号間の位置関係や許容限界線との位置関係として把握が可能である。

図９は、許容限界線の表示と質感差スコアΔＴの算出に「定量化モデル２」の使用が選択されている場合における操作画面１３１の具体例を説明する図である。図９には、図５との対応部分に対応する符号を付して示している。
図９の場合も、表示欄１３２と表示欄１３３には、実際に撮像された画像が表示されている。また、表示欄１３６に示す二軸グラフには、図６（Ｂ）に示す画像が縮小表示されている。
図９の場合、質感差スコアΔＴの算出に使用する算出モデルが図８と異なるので、質感差スコアΔＴの値も異なっている。

図１０は、基準サンプルと対象サンプルの撮像に伴う二軸グラフの表示の変化を説明する図である。（Ａ）はステップ１０２（図７参照）に対応する画面例であり、（Ｂ）はステップ１０４（図７参照）に対応する画面例であり、（Ｃ）はステップ１０６に対応する画面例であり、（Ｄ）は撮り直し後のステップ１０４に対応する画面例であり、（Ｅ）はステップ１０８（図７参照）に対応する画面例であり、（Ｆ）はステップ１１２（図７参照）に対応する画面例であり、（Ｇ）はステップ１１４（図７参照）に対応する画面例であり、（Ｈ）はステップ１１６（図７参照）に対応する画面例である。
図１０の場合、質感差スコアΔＴの算出に使用する定量化モデルは、「定量化モデル１」から「定量化モデル２」に変更された場合を表している。

＜実施の形態２＞
本実施の形態では、質感差スコアΔＴの他の算出例について説明する。
なお、本実施の形態における表面検査装置１の外観構成等は、実施の形態１で説明した表面検査装置１と同じである。
図１１は、２つのサンプル間の質感差を定量化したスコアを算出する手法の他の一例を説明する図である。図１１には、図４との対応部分に対応する符号を付して示している。

本実施の形態の場合、質感差スコアの算出に色差を表す情報を使用する。
図１１の場合、プロセッサ１０１（図２参照）には、色差算出部１２５としての機能が追加されている。
色差算出部１２５は、基準サンプルの拡散反射画像と対象サンプルの拡散反射画像から色差成分を表すスコア（以下「色差スコア」という）を算出し、算出された色差スコアを質感差スコア算出部１２４Ａに出力する機能部である。

まず、色差算出部１２５は、拡散反射画像の平均ｓＲＧＢ（＝standard RGB）値を算出する。平均ｓＲＧＢ値は、赤（Ｒ）値、緑（Ｇ）値、青（Ｂ）値の各平均値である。
次に、色差算出部１２５は、平均ｓＲＧＢ値をＬ^＊ａ^＊ｂ^＊値に変換する。
続いて、色差算出部１２５は、例えば次式により色差スコアΔＥを算出する。
ΔＥ＝√｛（Ｌ^＊１－Ｌ^＊２）^２＋（ａ^＊１－ａ^＊２）^２＋（ｂ^＊１－ｂ^＊２）^２｝
ここで、Ｌ^＊１、ａ^＊１、ｂ^＊１は基準サンプルの値であり、Ｌ^＊２、ａ^＊２、ｂ^＊２は対象サンプルの値である。

なお、色差スコアΔＥは、明度差ΔＬ^＊として算出してもよく、彩度差ΔＣ^＊として算出してもよく、色相差ΔＨ^＊として算出してもよい。各スコアは、例えば以下の式により算出される。
ΔＬ^＊＝｜Ｌ^＊１－Ｌ^＊２｜
ΔＣ^＊＝｜Ｃ^＊１－Ｃ^＊２｜
ただし、Ｃ^＊＝√（ａ^＊２＋ｂ^＊２）
ΔＨ^＊＝√（ΔＥ^＊２－ΔＬ^＊２－ΔＣ^＊２）

色差算出部１２５が、いずれかの値を色差スコアとして算出すると、質感差スコア算出部１２４Ａは、光沢感差と、凹凸感差と、色差を用いて質感差を定量化する。
本実施の形態の場合、定量化モデル１と定量化モデル２を以下のように規定する。
定量化モデル１：
ΔＴ＝係数１×光沢感差＋係数２×凹凸感差＋係数３×色差
定量化モデル２：
ΔＴ＝√｛（係数１×光沢感差）^２＋（係数２×凹凸感差）^２｝＋係数３×色差

図１２は、実施の形態２で用いる操作画面例の一例を説明する図である。図１２には、図５との対応部分に対応する符号を付して示している。
図１２の場合、表示欄１３６の基準サンプルと対象サンプルの質感の違いが３次元空間上の座標点の関係で表示される。
具体的には、１つの軸を光沢感差スコア、１つの軸を凹凸感差スコア、１つの軸を色差スコアとする三軸グラフが表示される。図１２の場合、表示欄１３６の表示に、色差スコアが追加されるだけでなく、光沢感スコアが光沢感差スコアに変更され、凹凸感スコアが凹凸感差スコアに変更されている。また、光沢感差スコアと凹凸感差スコアは負の値もとるので、図１２に示す表示欄１３６では、光沢感差スコアと凹凸感差スコアに対応する各軸には負の方向も表現している。

ここでの三軸グラフは多次元の分布図の一例である。
本実施の形態の場合、輝度に関する情報に加え、サンプル表面の色差に関する情報も含めた質感差を座標点の位置関係により確認が可能となる。すなわち、本実施の形態では、定量化された質感差スコアΔＴだけでなく、三次元グラフ上の座標点の関係から視覚的な判断が可能になる。

＜実施の形態３＞
図１３は、実施の形態３で想定する表面検査装置１Ａの使用例を説明する図である。図１３には、図１との対応部分に対応する符号を付して示している。
本実施の形態で使用する表面検査装置１Ａは、いわゆるラインカメラを使用する。このため、撮像範囲は線状である。

本実施の形態の場合、検査の際、検査対象１０は、１軸ステージ２０の上に設置された状態で矢印の方向に移動される。１軸ステージ２０が一方向に移動することにより、検査対象１０の全体が撮像される。
なお、カメラ１０７（図２参照）としてラインカメラを用いる以外、カメラ１０７と光源１０８、１０９（図２参照）の位置関係等は、実施の形態１と同じである。

＜他の実施の形態＞
（１）以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

（２）前述の実施の形態においては、カメラ１０７（図２参照）としてカラーカメラを用いたが、モノクロカメラを用いてもよい。また、カラーカメラのうち緑（Ｇ）成分だけを使用して、検査対象１０（図１参照）の表面を検査してもよい。

（３）前述の実施の形態においては、光源１０８、１０９（図２参照）として白色光源を使用したが、照明光の色は任意でよい。
また、照明光は、可視光に限らず、赤外光や紫外光等でもよい。

（４）前述の実施の形態では、検査対象１０（図１参照）を撮像する表面検査装置１（図１参照）のプロセッサ１０１（図２参照）がスコアを算出して操作画面１３１（図５参照）に表示する機能を実現しているが、表面検査装置１から画像データを取得する外部のコンピュータやサーバのプロセッサにより同等の機能を実現してもよい。

（５）前述の実施の形態では、操作画面１３１（図５参照）にリアルタイム映像と、正反射画像と、拡散反射画像を表示しているが、光沢感の算出に使用する正反射画像と拡散反射画像の差分画像も操作画面１３１に表示してもよい。また、正反射画像をＦＦＴ変換した後の画像も操作画面１３１に表示してもよい。

（６）前述の実施の形態では、質感差の検査時において最初に撮像されたサンプルを基準サンプルとし、２番目以降に撮像された他のサンプルを対象サンプルとして、基準サンプルに対する対象サンプルの質感差を表す質感差スコアを算出する例について説明したが、基準サンプルと対象サンプルは、検査の順番とは関係なく指定可能としてもよい。例えばディスプレイ１０５の操作画面上に表示されている任意のサンプルを基準サンプルに指定可能としてもよい。

（７）前述の実施の形態では、検査対象１０（図１参照）として成形品を想定しているが、検査対象１０は成形品に限らない。

（８）前述した各実施の形態におけるプロセッサは、広義的な意味でのプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ等）の他、専用的なプロセッサ（例えばＧＰＵ（＝Graphical Processing Unit）、ＡＳＩＣ（＝Application Specific Integrated Circuit）、ＦＰＧＡ（＝Field Programmable Gate Array）、プログラム論理デバイス等）を含む。
また、前述した各実施の形態におけるプロセッサの動作は、１つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順番は、前述した各実施の形態に記載した順番のみに限定されるものでなく、個別に変更してもよい。

１、１Ａ…表面検査装置、１０…検査対象、２０…１軸ステージ、１００…筐体、１００Ａ…開口部、１００Ｂ…開口、１００Ｃ…鍔部、１０１…プロセッサ、１０２…ＲＯＭ、１０３…ＲＡＭ、１０４…補助記憶装置、１０５…ディスプレイ、１０６…操作受付装置、１０７…カメラ、１０８、１０９…光源、１１０…通信ＩＦ、１１１…信号線、１２１Ａ…正反射画像取得部、１２１Ｂ…拡散反射画像取得部、１２２Ａ…凹凸感算出部、１２２Ｂ…光沢感算出部、１２３Ａ…凹凸感差算出部、１２３Ｂ…光沢感差算出部、１２４、１２４Ａ…質感差スコア算出部、１２５…色差算出部、１３１…操作画面

Claims (15)

1. 検査の対象とする物体の表面を撮像する撮像デバイスと、
   前記撮像デバイスにより撮像された画像の処理を通じ、前記物体の質感を算出するプロセッサと、を有し、
   前記プロセッサは、
   前記物体の質感を表す記号を、多次元の分布図上の座標位置に表示する、
   表面検査装置。
2. 前記多次元の分布図には、複数の前記記号が表示される、
   請求項１に記載の表面検査装置。
3. 複数の前記記号の１つは、基準とする物体の質感を表す記号であり、他は、検査の対象とする物体の質感を表す記号である、
   請求項２に記載の表面検査装置。
4. 前記多次元の分布図には、基準とする前記物体に対する質感差の許容範囲を与える指標が表示される、
   請求項１に記載の表面検査装置。
5. 前記指標の表示と不表示は、予め定めた操作により切り替えられる、
   請求項４に記載の表面検査装置。
6. 前記指標は、許容範囲の段階に応じ、同心的に複数表示される、請求項４に記載の表面検査装置。
7. 前記指標は矩形である、
   請求項４～６のいずれか１項に記載の表面検査装置。
8. 前記指標は楕円又は円形である、
   請求項４～６のいずれか１項に記載の表面検査装置。
9. 前記指標の形状は、予め定めた操作により切り替えられる、
   請求項４～６のいずれか１項に記載の表面検査装置。
10. 前記座標位置は、物体表面からの巨視的な反射光成分の質感を表す第１の値と、物体表面からの微視的な反射光成分の質感を表す第２の値で規定される、
    請求項１に記載の表面検査装置。
11. 前記第１の値は、物体表面からの正反射成分の画像と拡散反射成分の画像に基づいて算出され、
    前記第２の値は、物体表面からの正反射成分の画像に基づいて算出される、
    請求項１０に記載の表面検査装置。
12. 前記プロセッサは、前記第１の値と前記第２の値を画面上に表示する、
    請求項１０に記載の表面検査装置。
13. 前記プロセッサは、前記第１の値と前記第２の値を用いて算出された２つの物体の質感差を表す数値を画面上に表示する、
    請求項１２に記載の表面検査装置。
14. 前記プロセッサは、前記２つの物体の色差を表す情報を含めて前記質感差を表す数値を算出する、
    請求項１３に記載の表面検査装置。
15. 検査の対象とする物体の表面を撮像デバイスで撮像した画像を処理するコンピュータに、
    前記物体の質感を算出する機能と、
    前記物体の質感を表す記号を、多次元の分布図上の座標位置に表示する機能と、
    を実現させるためのプログラム。

Images