JP2022187661A - 表面検査装置及びプログラム - Google Patents

Abstract

【課題】表面の品質を表す数値と算出に寄与した部分との関係が不明な場合とは異なり、表面の品質を表す数値の算出に寄与した部分が作業者の着目する部分と一致するかの確認を可能にする。【解決手段】表面検査装置は、検査の対象とする物体の表面を撮像する撮像デバイスと、撮像デバイスにより撮像された画像を処理して表面の品質を表す数値を算出するプロセッサと、を有し、プロセッサは、数値の算出に寄与した部分の位置を特定する指標を含む画像と、数値とを、表示デバイス上に表示させる。【選択図】図８

Description

本発明は、表面検査装置及びプログラムに関する。

今日、様々な製品において、合成樹脂を成形した部品（以下「成形品」という）が用いられている。一方で、成形品の表面には、視覚的に観察が可能な不良が現れることがある。この種の不良には、意図せず形成される凹みである「ヒケ」、溶融した樹脂が合流する部分に形成される「ウェルド」等がある。また、表面に意図的に凹凸を形成するシボ加工の場合にも、想定する質感との違いが現れることがある。質感は、色、光沢、凹凸の複合的な要因により変化する。

特開２００９－２６４８８２号公報

物体の表面の品質を検査する装置には、検査した部分の品質を１つの数値で表示するものがある。定量化された数値は、官能検査の場合とは異なり、客観性が高い。一方で、数値が表示されるだけでは、数値の算出に寄与した主要な部分が分からない。このため、作業者は、自身が着目する部分が数値の算出に用いられているか、自身が想定していない部分が数値の算出に用いられているかを確認することができない。

本発明は、表面の品質を表す数値と算出に寄与した部分との関係が不明な場合とは異なり、表面の品質を表す数値の算出に寄与した部分が作業者の着目する部分と一致するかの確認を可能にすることを目的とする。

請求項１に記載の発明は、検査の対象とする物体の表面を撮像する撮像デバイスと、前記撮像デバイスにより撮像された画像を処理して前記表面の品質を表す数値を算出するプロセッサと、を有し、前記プロセッサは、前記数値の算出に寄与した部分の位置を特定する指標を含む前記画像と、当該数値を、表示デバイス上に表示させる、表面検査装置である。
請求項２に記載の発明は、前記位置を特定する指標は、前記部分とその他の部分との境界を与える、請求項１に記載の表面検査装置である。
請求項３に記載の発明は、前記位置を特定する指標は、前記部分の周囲を囲む枠線である、請求項２に記載の表面検査装置である。
請求項４に記載の発明は、前記プロセッサは、前記数値の候補が複数存在する場合、最も大きい数値に対応する前記部分の位置を特定する前記指標を表示させる、請求項１に記載の表面検査装置である。
請求項５に記載の発明は、前記プロセッサは、前記数値の候補が複数存在する場合、各候補に対応する前記部分の位置を特定する前記指標を表示させる、請求項１に記載の表面検査装置である。
請求項６に記載の発明は、前記プロセッサは、前記指標を複数表示する場合、対応する前記数値の大きさの順番と当該指標の表示の形式とを対応付ける、請求項５に記載の表面検査装置である。
請求項７に記載の発明は、前記プロセッサは、前記指標を複数表示する場合、対応する前記数値の大きさ順に、前記数値と当該指標の表示を切り替える、請求項５に記載の表面検査装置である。
請求項８に記載の発明は、前記プロセッサは、前記数値を、対応する前記指標と並べて表示する、請求項１～７のいずれか１項に記載の表面検査装置である。
請求項９に記載の発明は、前記プロセッサは、前記画像に対する領域の指定を受け付けた場合、当該領域について算出された前記数値を、対応する当該領域と並べて表示する、請求項１～８のいずれか１項に記載の表面検査装置である。
請求項１０に記載の発明は、前記プロセッサは、前記部分に対応する前記画像内における輝度差が予め定めた閾値より大きい場合、ユーザに報知する、請求項１～９のいずれか１項に記載の表面検査装置である。
請求項１１に記載の発明は、前記プロセッサは、検査が開始すると、前記数値と前記指標を前記画像上に表示する、請求項１～９のいずれか１項に記載の表面検査装置である。
請求項１２に記載の発明は、前記プロセッサは、検査の開始を指示する操作を受け付けると、前記数値と前記指標を前記画像上に表示する、請求項１～９のいずれか１項に記載の表面検査装置である。
請求項１３に記載の発明は、装置本体の携帯が可能であることを特徴とする、請求項１～１２のいずれか１項に記載の表面検査装置である。
請求項１４に記載の発明は、検査の対象とする物体の表面を撮像デバイスで撮像した画像を処理するコンピュータに、前記表面の品質を表す数値を算出する機能と、前記数値の算出に寄与した部分の位置を特定する指標を含む前記画像と、当該数値とを、表示デバイス上に表示させる機能と、を実現させるためのプログラムである。

請求項１記載の発明によれば、表面の品質を表す数値と算出に寄与した部分との関係が不明な場合とは異なり、表面の品質を表す数値の算出に寄与した部分が作業者の着目する部分と一致するかの確認を可能にできる。
請求項２記載の発明によれば、数値の算出に寄与した部分を容易に確認できる。
請求項３記載の発明によれば、数値の算出に寄与した部分の画像の内容と位置を同時に確認できる。
請求項４記載の発明によれば、表面の品質を表す数値の候補が複数存在する場合でも、画面上に表示された数値に対応する部分の位置を確認できる。
請求項５記載の発明によれば、表面の品質を表す数値の候補が複数存在する場合には、品質に関連する部分の位置を確認できる。
請求項６記載の発明によれば、表面の品質を表す数値の大きさの関係と対応する部分の位置を確認できる。
請求項７記載の発明によれば、表面の品質を表す数値と対応する部分の位置を確認できる。
請求項８記載の発明によれば、表面の品質を表す数値と対応する部分の関係を容易に確認できる。
請求項９記載の発明によれば、ユーザが注目する領域についても品質を表す数値を画面上で確認できる。
請求項１０記載の発明によれば、算出された数値と算出に寄与した部分の位置の確認をユーザに求めることができる。
請求項１１記載の発明によれば、検査の際の操作性を向上できる。
請求項１２記載の発明によれば、検査の際の操作性を向上できる。
請求項１３記載の発明によれば、検査の対象とする物体の表面と表面検査装置が撮像する範囲が不定でも、表面の品質の検査の精度を高めることができる。
請求項１４記載の発明によれば、表面の品質を表す数値と算出に寄与した部分との関係が不明な場合とは異なり、表面の品質を表す数値の算出に寄与した部分が作業者の着目する部分と一致するかの確認を可能にできる。

実施の形態１で想定する表面検査装置の使用例を説明する図である。 検査対象の表面に現れる欠陥の例を説明する図である。（Ａ）はヒケの例を示し、（Ｂ）はウェルドの例を示す。 実施の形態１で使用する表面検査装置のハードウェア構成の一例を説明する図である。 実施の形態１における表面検査装置の光学系の構造例を説明する図である。（Ａ）は表面検査装置の筐体の内部構造を概略的に示し、（Ｂ）は検査の際に検査対象の表面に押し当てられる開口部の構造を示す。 実施の形態１で使用する表面検査装置による検査動作の一例を説明するフローチャートである。 ディスプレイに表示される操作画面の一例を説明する図である。 スコアの算出の原理を説明する図である。（Ａ）は検査の対象として取得された画像例を示し、（Ｂ）はＹ軸方向に形成された凹みのｘ方向の断面例を示し、（Ｃ）は画像の輝度プロファイルを示す。 スコアの主要因箇所が表示された操作画面の一例を説明する図である。 スコアの主要因箇所が表示された操作画面の他の例を説明する図である。 カメラにより撮像された画像内に複数の筋状のパターンが含まれる場合における枠線の表示例を説明する図である。 カメラにより撮像された画像内に複数の筋状のパターンが含まれる場合における枠線の他の表示例を説明する図である。 カメラにより撮像された画像内に複数の筋状のパターンが含まれる場合における枠線の他の表示例を説明する図である。 複数の筋状のパターンが含まれる場合における枠線の他の表示例を説明する図である。（Ａ）は最大値のスコアの主要因箇所を示す枠線を表示する画面であり、（Ｂ）は２番目に大きいスコアの主要因箇所を示す枠線を表示する画面である。 表面の品質を表すスコアの表示例を説明する図である。 表面の品質を表すスコアの他の表示例を説明する図である。 作業者が指定した部分領域のスコアを追加的に表示する例を説明する図である。（Ａ）は作業者による部分領域の指定を説明する図であり、（Ｂ）は指定後の操作画面の表示例を示す。 スコアの算出に使用された主要因箇所を表す指標の他の例を説明する図である。（Ａ）は対象とする部分領域の外縁の目安となる位置に記号を表示する場合を示し、（Ｂ）は対象とする部分領域を矢印で表す場合を示す。 スコアの算出に寄与した部分領域を示す枠線の他の表示例を示す図である。 実施の形態２で使用する表面検査装置による検査動作の一例を説明するフローチャートである。 実施の形態３で想定する表面検査装置の使用例を説明する図である。

以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜表面検査装置の使用例＞
図１は、実施の形態１で想定する表面検査装置１の使用例を説明する図である。
実施の形態１で使用する表面検査装置１の撮像部は、いわゆるエリアカメラであり、撮像する範囲（以下「撮像範囲」という）が面で規定される。不図示の照明は、撮像範囲全体に対して、正反射条件となる成分を含むように構成する。

図１の場合、撮像範囲は、検査の対象とする物体（以下「検査対象」ともいう）１０の全体を含んでいる。もっとも、撮像範囲は、検査対象１０のうち注目する一部分のみを含んでもよい。本実施の形態における検査対象１０には、成形品を想定する。
エリアカメラによる検査の場合、表面検査装置１と検査対象１０による検査は、静止した状態で実行される。換言すると、表面検査装置１と検査対象１０が相対的に移動しない状態で、検査対象１０の表面の検査が実行される。

図１の場合、検査対象１０は板状であるが、検査対象１０の形状は任意である。例えば検査対象１０は、例えば多面体の他、球体や円柱等の曲面を有する形状でもよい。
実際の検査対象１０には、穴、切り欠き、突起、段差等が存在することがある。
また、検査対象１０の表面の仕上げの種類には、無処理、鏡面仕上げ、準鏡面仕上げ、シボ加工等がある。

表面検査装置１は、検査対象１０の表面の欠陥や質感を検査する。
欠陥には、例えばヒケ、ウェルドがある。ヒケは、肉厚部分やリブ部に発生する表面の凹みであり、ウェルドは、溶融した樹脂の先端が金型内で合流する部分に発生する筋をいう。なお、欠陥には、物がぶつかることで生じる傷や打痕も含まれる。
質感は、視覚や触覚の印象であり、物体の表面の色、光沢、凹凸が影響する。表面の凹凸には、金型を切削する際に生じた筋も含まれる。この種の筋は、欠陥とは異なる。

図２は、検査対象１０の表面に現れる欠陥の例を説明する図である。（Ａ）はヒケの例を示し、（Ｂ）はウェルドの例を示す。図２（Ａ）及び図２（Ｂ）では、欠陥の箇所を破線で囲んで示している。図２（Ａ）には４つのヒケがある。
本実施の形態における表面検査装置１は、欠陥と質感の検査に限らず、表面の汚れの検査にも使用される。

表面検査装置１は、検査対象１０の表面の欠陥を強調した画像を生成すると共に、質感を評価した結果を定量化して出力する。
ここでの欠陥は、本来は平坦であるべきに部分に出現している凹凸や筋、すなわちヒケやウェルドである。質感は、数値（以下「スコア」ともいう）により評価される。スコアは、検査対象１０の表面の品質を表す数値の一例である。

スコアの算出には、例えば多変量解析を使用する。多変量解析では、例えば輝度分布に現れる特徴が解析される。特徴の例には、例えばヒケの方向に沿って延びる筋状のパターンがある。
この他、スコアの算出には、人工知能を用いる方法もある。例えば欠陥を撮像した画像とスコアの関係を深層機械学習等した学習モデルにカメラで撮像された画像を与えることで、検査範囲内の部分領域のスコアが算出される。

図１に示す検査対象１０は、Ｘ軸とＹ軸で規定される面に対して平行に設置されている。この場合、検査対象１０の表面の法線はＺ軸と平行になる。
一方、表面検査装置１は、検査対象１０の鉛直上方に配置される。換言すると、表面検査装置１が検査対象１０の撮像に使用する光学系の光軸は、検査対象１０の表面の法線に対して概略平行に設定される。以下、この光軸について要求される条件を「撮像条件」ともいう。

このとき、表面検査装置１は、撮像条件を満たす位置に設置される。表面検査装置１の設置は、特定の部材への固定により行ってもよいし、特定の部材に対して取り外し可能に行われてもよい。
もっとも、表面検査装置１は、携帯型の装置でもよい。携帯が可能である場合、作業者は、例えば手に表面検査装置１を持ち、受光面を検査対象１０に向けることで、任意の表面を検査する。
図１では、表面検査装置１と検査対象１０の位置関係の説明を目的とするため、表面検査装置１の外観を簡略化して略直方体として表している。

＜表面検査装置の構成＞
図３は、実施の形態１で使用する表面検査装置１のハードウェア構成の一例を説明する図である。
図３に示す表面検査装置１は、装置全体の動作を制御するプロセッサ１０１と、ＢＩＯＳ（＝Basic Input Output System）等が記憶されたＲＯＭ（＝Read Only Memory）１０２と、プロセッサ１０１のワークエリアとして用いられるＲＡＭ（＝Random Access Memory）１０３と、プログラムや画像データを記憶する補助記憶装置１０４と、検査対象１０の表面を撮像した画像や操作に関する情報が表示されるディスプレイ１０５と、作業者の操作を受け付ける操作受付装置１０６と、検査対象１０の表面を撮像するカメラ１０７と、検査対象１０の表面を照明する光源１０８と、外部との通信に用いられる通信ＩＦ（＝InterFace）１０９と、を有している。なお、プロセッサ１０１と各部は、バス等の信号線１１０を通じて接続されている。

プロセッサ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３は、いわゆるコンピュータとして機能する。
プロセッサ１０１は、プログラムの実行を通じて各種の機能を実現する。例えばプロセッサ１０１は、プログラムの実行を通じ、撮像された検査対象１０の表面の質感を評価したスコアの算出等を実行する。
検査対象１０の表面を撮像した画像データは、補助記憶装置１０４に記憶される。補助記憶装置１０４には、例えば半導体メモリ、ハードディスク装置を使用する。補助記憶装置１０４には、ファームウェアやアプリケーションプログラムも記憶される。以下では、ファームウェアやアプリケーションプログラムを総称して「プログラム」という。
なお、本実施の形態及び後述する他の実施の形態等で説明する機能を実現するプログラムは、通信手段により提供することはもちろん、ＣＤＲＯＭ等の記録媒体に格納して提供することも可能である。

ディスプレイ１０５は、例えば液晶ディスプレイや有機ＥＬディスプレイであり、検査対象１０の全体や検査対象１０の特定の部位の画像等を表示する。ディスプレイ１０５は、検査対象１０に対する撮像範囲の位置決めにも使用される。
本実施の形態の場合、ディスプレイ１０５は、装置本体に一体的に設けられているが、通信ＩＦ１０９を通じて接続される外部の装置でもよいし、通信ＩＦ１０９を通じて接続される他の装置の一部でもよい。例えばディスプレイ１０５は、通信ＩＦ１０９を通じて接続された他のコンピュータのディスプレイでもよい。

操作受付装置１０６は、ディスプレイ１０５に配置されるタッチセンサや筐体に配置される物理的なスイッチ、ボタン等で構成される。
本実施の形態の場合、物理的なボタンの一例として電源ボタンや撮像ボタンが設けられている。電源ボタンが操作されると、例えば光源１０８が点灯し、カメラ１０７による撮像が開始される。また、撮像ボタンが操作されると、操作時にカメラ１０７が撮像していた特定の画像が、検査用の画像として取得される。

ディスプレイ１０５と操作受付装置１０６を一体化したデバイスは、タッチパネルと呼ばれる。タッチパネルは、ソフトウェア的に表示されたキー（以下「ソフトキー」とも呼ぶ）に対するユーザの操作の受け付けに使用される。

本実施の形態の場合、カメラ１０７には、カラーカメラを使用する。カメラ１０７の撮像素子には、例えばＣＣＤ（＝Charge Coupled Device）イメージングセンサ素子やＣＭＯＳ（＝Complementary Metal Oxide Semiconductor）イメージング素子を使用する。
カメラ１０７としてカラーカメラを使用するので、検査対象１０の表面の輝度だけでなく色調の観察も原理的には可能である。カメラ１０７は、撮像デバイスの一例である。

本実施の形態の場合、光源１０８には白色光源を使用する。白色光源は、可視光帯域の光が均等に混在された光を発生する。
本実施の形態の場合、光源１０８には平行光源を使用する。また、カメラ１０７の光軸上にテレセントリックレンズを配置する。

本実施の形態における光源１０８は、検査対象１０の表面で鏡面反射された光成分が主にカメラ１０７に入射する角度に配置される。
通信ＩＦ１０９は、有線や無線による通信規格に準拠したモジュールで構成される。通信ＩＦ１０９には、例えばイーサネット（登録商標）モジュール、ＵＳＢ（＝Universal Serial Bus）、無線ＬＡＮその他を使用する。

＜光学系の構造＞
図４は、実施の形態１における表面検査装置１の光学系の構造例を説明する図である。（Ａ）は表面検査装置１の筐体１００の内部構造を概略的に示し、（Ｂ）は検査の際に検査対象１０の表面に押し当てられる開口部１１１の構造を示す。
開口部１１１には、検査対象１０の表面を照明する照明光と検査対象１０の表面で反射した反射光が入出力される開口１１１Ａと、その外縁を取り囲む鍔部１１１Ｂとが設けられている。

図４の場合、開口１１１Ａと鍔部１１１Ｂは、いずれも円形状である。もっとも、開口１１１Ａと鍔部１１１Ｂは、他の形状でもよい。例えば矩形でもよい。
なお、開口１１１Ａと鍔部１１１Ｂは相似形状である必要はなく、開口１１１Ａは円形状で、鍔部１１１Ｂは矩形でもよい。

鍔部１１１Ｂは、検査対象１０の表面に対する表面検査装置１の撮像方向の位置決めに使用される。換言すると、鍔部１１１Ｂは、検査の対象である表面に対するカメラ１０７と光源１０８の位置決めに用いられる。鍔部１１１Ｂには、開口１１１Ａへの外光又は環境光の入射を防止する又は低減する役割もある。

図４（Ａ）に示す筐体１００は、概略筒状の２つの部材を結合した構造を有し、一方の部材側に光源１０８が取り付けられ、他方の部材側にカメラ１０７やプロセッサ１０１が取り付けられている。
また、カメラ１０７が取り付けられている側の筐体１００の側面には、ディスプレイ１０５と操作受付装置１０６が取り付けられている。

カメラ１０７の視野内のＭＴＦ（＝Modulation Transfer Function）は概ね均一である。このため、視野内の位置の違いによるコントラストのばらつきは小さく、検査対象１０の表面の忠実な撮像が可能である。

図４（Ａ）の場合、平板状の検査対象１０のうち検査対象１０の表面の法線をＮ０で示す。また、図４（Ａ）では、光源１０８から出力される照明光の光軸をＬ１で示し、検査対象１０の表面で鏡面反射された反射光の光軸をＬ２で示す。ここでの光軸Ｌ２は、カメラ１０７の光軸と一致する。

なお、現実の検査対象１０の表面は、構造上又はデザイン上の凹凸、曲面、段差、つなぎ目、成形の過程等で形成された微細な凹凸等を有している。
従って、検査対象１０の法線Ｎ０として、検査対象１０のうち注目する領域ＡＲの法線Ｎ０の平均値や注目する特定の位置Ｐの法線Ｎ０を使用してもよい。

また、検査対象１０の法線Ｎ０として、検査対象１０の平均的な仮想の表面や代表的な部分の法線Ｎ０を使用してもよい。
図４の場合、光源１０８から出力される照明光の光軸Ｌ１とカメラ１０７の光軸Ｌ２は、いずれも法線Ｎ０に対して角度θで取り付けられる。角度θには、例えば概略３０°や概略４５°を使用する。

＜検査動作＞
図５は、実施の形態１で使用する表面検査装置１による検査動作の一例を説明するフローチャートである。図中に示す記号のＳは、ステップを意味する。
図５に示す処理は、プロセッサ１０１（図４参照）によるプログラムの実行を通じて実現される。
本実施の形態における表面検査装置１は、電源ボタンの操作により光源１０８（図４参照）が点灯し、カメラ１０７（図４参照）による撮像が開始される。撮像された画像はディスプレイ１０５（図４参照）に表示される。

図６は、ディスプレイ１０５に表示される操作画面１２０の一例を説明する図である。図６に示す操作画面１２０には、カメラ１０７で撮像された画像の表示欄（以下「撮像画像欄」という）１２１と、スコア欄１２２と、スコアの算出に寄与した部分領域の特徴を強調した画像の表示欄（以下「強調画像欄」という）１２３と、凡例１２４が配置されている。
撮像画像欄１２１には、輝度値の分布、すなわちグレースケール画像が表示される。図６の場合、スコアの計算に使用する検査範囲の外縁を与える線１２１Ａが表示されている。

図６の例では４本の線１２１Ａで囲まれた範囲が検査範囲である。検査範囲内の画像について、表面の品質を表すスコアが算出される。
なお、撮像画像欄１２１の右隣には、凡例１２４が示されている。図６の場合、撮像画像欄１２１の濃淡は、階調値の「１９２」から「２５５」に対応する。
図６に示す操作画面１２０の場合、スコアの算出前であるので、スコア欄１２２は空白であり、強調画像欄１２３にも画像が表示されていない。

図５の説明に戻る。
本実施の形態では、ディスプレイ１０５に表示されている画像を確認している作業者が撮像ボタンを操作すると、表面の品質の評価に使用する画像が確定される。
そこで、電源ボタンの操作により検査動作を開始したプロセッサ１０１は、撮像ボタンの操作を受け付けたか否かを判定する（ステップ１）。操作ボタンの操作は、検査の開始を指示する操作の一例である。
ステップ１で否定結果が得られている間、プロセッサ１０１は、ステップ１の判定を繰り返す。

ステップ１で肯定結果が得られると、プロセッサ１０１は、検査に使用する画像を取得する（ステップ２）。具体的には、撮像ボタンが操作された時点にディスプレイ１０５に表示されていた画像が取得される。
本実施の形態の場合、撮像ボタンが操作されると、カメラ１０７による撮像が継続していても、撮像画像欄１２１（図６参照）に表示される画像の更新は停止される。
次に、プロセッサ１０１は、検査範囲内の輝度プロファイルを用いてスコアを算出する（ステップ３）。

図７は、スコアの算出の原理を説明する図である。（Ａ）は検査の対象として取得された画像例を示し、（Ｂ）はＹ軸方向に形成された凹みのｘ方向の断面例を示し、（Ｃ）は画像の輝度プロファイルＳを示す。
図７（Ｂ）に示す凹みは、例えばヒケを表している。図７（Ｂ）では、説明上の都合により、断面の形状が二等辺三角形の場合を表しているが、勿論、この形状は一例である。

この場合、図７（Ｃ）に示す輝度プロファイルＳは、Ｘ軸方向の各座標を代表する輝度値（以下「代表輝度値」という）の変化として与えられる。
ここでの代表輝度値は、ｘ座標が同じ各画素の輝度値の積分値で与えられる。輝度プロファイルＳの凸波形は周囲に比べて明るい領域を示し、凹波形は周囲に比べて暗い領域を示す。

スコアは、例えば輝度プロファイルＳの最大値と最小値の差として算出される。
スコアは、表面に形成された凹凸の幅、高さ、深さ、数等に依存する。例えば凸部の高さや凹部の深さが同じでも、より長い幅を有する凸部や凹部が形成されている部分領域のスコアが高くなる。

また、凸部や凹部の幅が同じでも、より高い凸部やより深い凹部が形成されている部分領域のスコアが高くなる。本実施の形態の場合、スコアが高いことは、品質が悪いことを意味する。
本実施の形態では、スコアの算出に寄与する部分領域を、図７（Ｃ）に示す輝度プロファイルＳの凸波形の開始点と凹波形の終了点の間と規定する。

図５の説明に戻る。
スコアが算出されると、プロセッサ１０１は、スコアの最大値に対応する部分領域を抽出する（ステップ４）。ここでの部分領域は、検査領域内でスコアの算出に寄与した画像部分である。スコアの最大値が複数見つかる場合には、複数の部分領域が抽出される。基本的には、１つの部分領域が抽出される。
続いて、プロセッサ１０１は、抽出された部分領域を示す枠線を画像内に表示する（ステップ５）。また、プロセッサ１０１は、抽出された部分領域の特徴を強調した画像（以下「強調画像」という）を生成して別表示する（ステップ６）。

本実施の形態では、プロセッサ１０１は、抽出された部分領域から特定の方向に現れる特定の周期成分を抽出し、抽出された周期成分の逆変換により特徴画像を元画像に重ねることで強調画像を生成する。
周期成分の抽出には、例えば２次元ＤＣＴ（＝Discrete Cosine Transform）、ＤＳＴ（＝Discrete Sine Transform）、ＦＦＴ（＝Fast Fourier Transform）等を使用する。
なお、特徴画像への逆変換の際には、各画素の強度成分（すなわち輝度値）を最大値で正規化し、特徴画像の階調の範囲を拡張する。また、特徴画像の強度成分には色成分をマッピングすることで、グレースケールで表現される元画像部分との区別を可能にする。

強調画像を表示することで、スコアが算出された部分領域の表面を撮像したグレースケール画像では微小な構造の目視が困難な場合でも、表面状態の確認が可能になる。
本実施の形態の場合、生成された強調画像は、カメラ１０７で撮像したグレースケール画像と同じ操作画面内に並べて表示される。
この他、プロセッサ１０１は、対応するスコアを操作画面１２０（図６参照）に表示して処理を終了する（ステップ７）。

＜操作画面例＞
以下では、表面検査装置１による検査対象１０の検査時に表示される画面例について説明する。

＜画面例１＞
図８は、スコアの主要因箇所が表示された操作画面１２０の一例を説明する図である。図８には、図６との対応部分に対応する符号を付して示している。
図８の場合、撮像画像欄１２１には、高輝度と低輝度が隣り合う筋状のパターンが画像の中央付近に現れている。
操作画面１２０のスコア欄１２２には、この部分領域について算出されたスコアとして「３．１」の数値が表示されている。
また、撮像画像欄１２１には、スコアの算出に寄与した箇所（以下「主要因箇所」という）を示す枠線１２５が元画像に重ねて表示されている。図８の場合、枠線１２５は、四隅に丸みを有する概略矩形である。

この枠線１２５の表示により、スコア欄１２２に表示された数値の算出に使用された部分領域と、作業者の着目する部分領域とが一致するか否かの判断が可能になる。
ここでの枠線１２５は、「スコアの算出に寄与した部分の位置を特定する指標」の一例である。
図８に示す枠線１２５は、スコアの算出に寄与した部分領域の周囲を囲むことで、スコアの算出に寄与した部分領域とその他の部分領域との境界を与えている。

図８に示す操作画面１２０には、撮像画像欄１２１の下側に、枠線１２５に関する凡例１２６が追加される。
図８の場合、操作画面１２０の強調画像欄１２３には、枠線１２５で囲まれた領域部分の強調画像が表示される。このため、仮にカメラ１０７で撮像された画像だけでは検査対象１０の表面の状態の確認が困難な場合でも、表面の状態の確認が可能になる。

＜画面例２＞
図９は、スコアの主要因箇所が表示された操作画面１２０の他の例を説明する図である。図９には、図８との対応部分に対応する符号を付して示している。
図９の場合、スコアの算出に寄与した主要因箇所を示す枠線１２５は、撮像画像欄１２１の上部付近に表示されている。
図９に示す撮像画像欄１２１には、高輝度と低輝度が隣り合う筋状のパターンが含まれているが、枠線１２５で囲まれた部分領域内の輝度差の方が大きい。このため、枠線１２５は、撮像画像欄１２１の上部付近に表示されている。なお、スコアは「５」である。

ただし、枠線１２５で囲まれた部分は、検査対象１０（図１参照）の構造上の外縁とその背景に対応する。
従って、作業者は、操作画面に表示されたスコアが自身の注目する箇所のスコアではないと気づくことが可能になる。この場合、作業者は、検査の対象とする画像の撮り直し等を行う。

なお、プロセッサ１０１は、閾値を超える輝度差のパターンが画像内に検出された場合、撮像された画像が表面の品質の検査には不向きであることを報知するエラー信号を出力してもよい。
また、プロセッサ１０１は、算出されたスコアが閾値を超える場合にもエラー信号を出力してもよい。例えば閾値が「４」の場合、スコアとして「５」が算出されると、プロセッサ１０１は、エラー信号を出力する。

エラー信号が出力された場合、プロセッサ１０１は、スコアの算出に使用した画像を破棄し、別の画像を自律的に再取得してもよい。また、プロセッサ１０１は、再撮像の必要性を作業者に報知してもよい。報知は、表示を使用してもよいし、音を使用してもよい。その際、プロセッサ１０１は、再撮像が必要と考えられる理由を表示してもよい。

＜画面例３＞
図１０は、カメラ１０７（図３参照）により撮像された画像内に複数の筋状のパターンが含まれる場合における枠線１２５の表示例を説明する図である。図１０には、図８との対応部分に対応する符号を付して示している。
図１０の場合、検査の対象とする画像の撮像画像欄１２１には、水平方向に２本の筋状のパターンが含まれている。換言すると、図１０には、スコア欄１２２に表示されるスコアの候補が２つ存在している。

この場合でも、プロセッサ１０１（図３参照）は、２つのスコアのうち最も大きいスコアを、スコア欄１２２に表示する。また、プロセッサ１０１は、スコア欄１２２に表示したスコアの算出に寄与した筋状のパターンを示す枠線１２５を撮像画像欄１２１の画像に重ねて表示する。具体的には、プロセッサ１０１は、２本の筋状のパターンのうち下側のパターンを囲む枠線１２５を表示する。
この表示により、作業者は、スコア欄１２２のスコアは、下側のパターンから算出されたことを知る。

＜画面例４＞
図１１は、カメラ１０７（図３参照）により撮像された画像内に複数の筋状のパターンが含まれる場合における枠線１２５の他の表示例を説明する図である。図１１には、図８との対応部分に対応する符号を付して示している。
図１１の場合も、検査の対象とする画像の撮像画像欄１２１には、水平方向に２本の筋状のパターンが含まれている。

ここで、２本の筋状のパターンのそれぞれに対応する２つの部分領域について算出される２つのスコアがいずれも同じ値である場合、２つの枠線１２５が撮像画像欄１２１に表示される。
もっとも、スコアの最大値と２番目以降のスコアとの差が閾値より小さいスコアに対応する部分領域も枠線１２５で表示する場合にも、図１１に示す操作画面１２０が出現する。

なお、スコアの最大値と２番目以降のスコアとの差が閾値より小さいスコアの数が３つ以上ある場合でも、撮像画像欄１２１に表示する枠線１２５の数は、予め定めた個数に限定してもよい。例えば最大値のスコアに対応する部分領域を示す枠線１２５と２番目に大きいスコアに対応する部分領域を示す枠線１２５の２つだけを撮像画像欄１２１に表示してもよい。

図１１の例では、２つの枠線１２５は同じ形式で表示される。このため、図１１に示す操作画面１２０を見た作業者は、スコアが同じ部分領域が２つあるかスコアがほぼ同じ部分領域が２つ存在することの確認が可能である。
ただし、図１１に示す表示の形式では、２つの部分領域に対応する２つのスコアが同じ値であるのか、異なる値であるのかを知り得ない。また、スコアに違いがある場合に、スコア欄１２２に表示されているスコアに対応する部分領域がいずれの部分領域であるかも知り得ない。
なお、図１１の場合も、強調画像欄１２３には、スコアの最大値に対応する部分領域の強調画像が表示される。

＜画面例５＞
図１２は、カメラ１０７（図４参照）により撮像された画像内に複数の筋状のパターンが含まれる場合における枠線１２５の他の表示例を説明する図である。図１２には、図１１との対応部分に対応する符号を付して示している。
図１２に示す画面例では、スコアの大きさの違いを枠線１２５の色の違いにより表現する。例えばスコアの最大値に対応する部分領域を囲む枠線１２５Ａを赤色で表示し、２番目に大きいスコアに対応する部分領域を囲む枠線１２５Ｂを緑色で表示する。図１２の例では、表示色の違いを線種の違いで表現している。

なお、スコアの大きさの違いの識別が可能であれば、枠線１２５Ａの輝度と枠線１２５Ｂの輝度を変更してもよいし、枠線１２５Ａと枠線１２５Ｂのうちのいずれか一方だけを点滅により表示してもよい。
また、スコアの大きさの違いを二重線や破線等の線種の違いで表現してもよい。すなわち、スコアの大きさの違いは、表示の形式の違いにより表現してもよい。
図１２の場合、凡例１２６として、枠線１２５Ｂの説明が追加されている。この説明の追加により、作業者は、枠線１２５Ａで示される部分領域と枠線１２５Ｂで示される部分領域のうち、いずれの部分領域がスコアの最大値に対応するかを知ることが可能になる。

＜画面例６＞
図１３は、複数の筋状のパターンが含まれる場合における枠線１２５の他の表示例を説明する図である。（Ａ）は最大値のスコアの主要因箇所を示す枠線１２５を表示する画面であり、（Ｂ）は２番目に大きいスコアの主要因箇所を示す枠線１２５を表示する画面である。
図１３には、図１１との対応部分に対応する符号を付して示している。
図１３に示す画面例は、予め定めた閾値より大きいスコアが複数見つかった場合やスコアの最大値との差分が閾値未満となるスコアが複数見つかった場合に用いる。

図１３の場合、カメラ１０７で撮像された画像に合成される枠線１２５の位置とスコア欄１２２に表示される数値は順次切り替わる。
例えば作業者が撮像画像欄１２１をタップすると、図１３（Ａ）の画面が図１３（Ｂ）の画面に切り替わり、更に作業者が撮像画像欄１２１をタップすると、図１３（Ｂ）の画面から図１３（Ａ）の画面に切り替わる。

図１３（Ａ）に示す操作画面１２０のスコア欄１２２には「３．１」が表示され、凡例１２６には「最大値のスコアの主要因箇所」なる文言が表示される。この表示を確認した作業者は、撮像画像欄１２１に表示されている枠線１２５に対応する部分領域のスコアが「３．１」であること、その値が検査範囲内のスコアの最大値であることを知る。
一方、図１３（Ｂ）に示す操作画面１２０のスコア欄１２２には「３」が表示され、凡例１２６には「２番目に大きいスコアの主要因箇所」なる文言が表示される。この表示を確認した作業者は、撮像画像欄１２１に表示されている枠線１２５に対応する部分領域のスコアが「３」であること、その値が検査範囲内のスコアの２番目に大きい値であることを知る。

なお、図１３（Ａ）及び図１３（Ｂ）に示す操作画面１２０は、表示の対象とするスコアが２つの場合を想定しているが、表示の対象とするスコアが３つ以上存在する場合には、操作画面１２０が３画面以上切り替わることになる。
もっとも、切り替わる画面の数が予め定めた閾値より多い場合には、特定の操作により、切り替えの前の画面に戻る機能を用意することで、順送りにしか画面を切り替えられない場合に比して、作業者の確認作業の効率化が実現される。
また、画面の切り替えは、プロセッサ１０１が数秒単位で実行してもよい。

＜画面例７＞
図１４は、表面の品質を表すスコアの表示例を説明する図である。図１４には、図８との対応部分に対応する符号を付して示している。
図１４に示す操作画面１２０の場合、強調画像欄１２３の下にスコア欄１２２が配置されていない。
ただし、図１４に示す操作画面１２０の場合には、枠線１２５と並んでスコア欄１２２Ａが表示される。この表示により、作業者は、スコアと対応する部分領域の関係の把握が容易になる。
なお、図１４の例では、スコア欄１２２Ａを枠線１２５の下に配置しているが、他の位置、例えば右側、左側、上側に配置してもよい。

図１５は、表面の品質を表すスコアの他の表示例を説明する図である。図１５には、図１４との対応部分に対応する符号を付して示している。
図１５の場合、撮像画像欄１２１には、２つの枠線１２５が表示されている。図１５の場合、画面例４（図１１参照）と同じく、２つの枠線１２５の表示の形式は同じである。
ただし、図１５に示す操作画面１２０の場合、枠線１２５と並んで、対応するスコア欄１２２Ａが表示されるので、２つの枠線１２５の表示の形式が同じでも、対応する部分領域から算出されるスコアを知ることが可能である。
図１５の場合、上側のパターンのスコアは「３」であり、下側のパターンのスコアは「３．１」である。

＜画面例８＞
図１６は、作業者が指定した部分領域のスコアを追加的に表示する例を説明する図である。（Ａ）は作業者による部分領域の指定を説明する図であり、（Ｂ）は指定後の操作画面１２０の表示例を示す。図１６には、図１５との対応部分に対応する符号を付して示している。
図１６（Ａ）では、ディスプレイ１０５がタッチパネルの場合を想定している。作業者は、表示欄１２１のスコアを確認したい部分領域を囲むように指先１３０を動かすことで、プロセッサ１０１にスコアの算出を求める部分領域を指示する。

図１６（Ｂ）の凡例１２６には、枠線１２５Ｃが作業者により指定された箇所であることが示されている。また、図１６（Ｂ）の場合、プロセッサ１０１が表示する枠線１２５とは異なる色で表示される。図１６（Ａ）及び１６（Ｂ）では色の違いを線種の違いで表現している。
図１６（Ｂ）の場合、作業者に指定された箇所のスコアは「３」である。この機能により、作業者は、気になった箇所のスコアを自由に確認することが可能になる。
なお、スコアを算出する箇所の指定は、該当する部分領域の外縁を指定する場合に限らず、着目する地点のタップにより指定することも可能である。この場合、タップされた地点を含む部分領域をプロセッサ１０１が決定し、スコアを算出してもよい。

＜画面例９＞
図１７は、スコアの算出に使用された主要因箇所を表す指標の他の例を説明する図である。（Ａ）は対象とする部分領域の外縁の目安となる位置に記号を表示する場合を示し、（Ｂ）は対象とする部分領域を矢印で表す場合を示す。図１７には、図６との対応部分に対応する符号を付して示している。
図１７（Ａ）に示す操作画面１２０では、スコアの算出に使用された主要因箇所の四隅の位置に三角形状の記号１２５Ｄが表示されている。この表示の態様によっても、作業者は、算出されたスコアの算出に使用された部分領域を知ることが可能である。なお、記号１２５Ｄの形状は一例であり、円や星等の他の形状を用いてもよい。

一方、図１７（Ｂ）に示す操作画面１２０では、スコアの算出に使用された主要因箇所のおおよその位置が矢印１２５Ｅにより示される。
矢印１２５Ｅによる表示では、主要因箇所の範囲までは分からない。しかし、画面例２（図９参照）の場合のように、構造上の外縁等が示されていれば、スコアの算出に使用された部分領域が、作業者の注目する領域とは異なることが分かる。

＜画面例１０＞
図１８は、スコアの算出に寄与した部分領域を示す枠線１２５の他の表示例を示す図である。図１８には、図８との対応部分に対応する符号を付して示している。
図１８に示す操作画面１２０の場合、カメラ１０７（図４参照）で撮像画像欄１２１には、湾曲した形状を有するヒケが表示されている。
他の画面例における枠線１２５は概略矩形であったが、図１８に示す枠線１２５は曲線である。すなわち、枠線１２５の形状は、概略矩形に限らず、欠陥の形状に応じて様々な形状を採り得る。

＜実施の形態２＞
本実施の形態の場合、スコアの算出に際し、撮像ボタンの操作が不要な表面検査装置１（図１参照）について説明する。
なお、本実施の形態における表面検査装置１の外観構成等は、実施の形態１で説明した表面検査装置１と同じである。

図１９は、実施の形態２で使用する表面検査装置１による検査動作の一例を説明するフローチャートである。図１９には、図５との対応部分に対応する符号を付して示している。
図１９の場合、プロセッサ１０１（図４参照）は、電源ボタンの操作により光源１０８（図４参照）が点灯し、カメラ１０７（図４参照）による撮像を開始すると同時にスコアの算出等が実行される。

このため、プロセッサ１０１は、カメラ１０７による撮像中の画像を取得する（ステップ１１）と、検査範囲内の輝度プロファイルを用いてスコアを算出する（ステップ３）。
以下、プロセッサ１０１は、スコアの最大値に対応する部分領域を抽出し（ステップ４）、抽出された部分領域を示す枠線１２５（図８参照）の表示、対応する部分領域の画像の表示、対応するスコアの表示等を実行する（ステップ５～７）。

なお、ステップ７の終了後、プロセッサ１０１は、ステップ１１に戻り、一連の処理を繰り返し実行する。この一連の処理の繰り返しにより、操作画面１２０（図８参照）に表示されるスコアは、カメラ１０７が撮像する画像の変化に応じて更新され続けることになる。
すなわち、カメラ１０７が撮像している位置が変化すると、スコアや枠線１２５の位置も変化する。

＜実施の形態３＞
図２０は、実施の形態３で想定する表面検査装置１Ａの使用例を説明する図である。図２０には、図１との対応部分に対応する符号を付して示している。
本実施の形態で使用する表面検査装置１Ａの撮像部には、いわゆるラインカメラを使用する。このため、撮像範囲は線状である。

本実施の形態の場合、検査の際、検査対象１０は、１軸ステージ２０の上に設置された状態で矢印の方向に移動される。１軸ステージ２０が一方向に移動することにより、検査対象１０の全体が撮像される。
なお、カメラ１０７（図４参照）としてラインカメラを用いる以外、カメラ１０７（図４参照）と光源１０８（図４参照）の位置関係等は、実施の形態１と同じである。

＜他の実施の形態＞
（１）以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

（２）前述の実施の形態においては、カメラ１０７（図４参照）としてカラーカメラを用いたが、モノクロカメラを用いてもよい。また、カラーカメラのうち緑（Ｇ）成分だけを使用して、検査対象１０（図１参照）の表面を検査してもよい。

（３）前述の実施の形態においては、光源１０８（図４参照）として白色光源を使用したが、照明光の色は任意でよい。
また、照明光は、可視光に限らず、赤外光や紫外光等でもよい。

（４）前述の実施の形態では、光源１０８（図４参照）を１つ使用する表面検査装置１（図１参照）について説明したが、複数の光源を用いて検査対象１０の表面を照明してもよい。
例えば２つの光源を使用してもよい。その場合、一方の光源は鏡面反射された光成分が主にカメラ１０７（図４参照）に入射する角度に配置し、他方の光源は拡散反射された光成分が主にカメラ１０７に入射する角度に配置してもよい。この場合、２つの光源は、カメラ１０７の光軸を挟んで両側に配置してもよいし、カメラ１０７の光軸に対して一方の側に並べて配置してもよい。

（５）前述の実施の形態では、光源１０８（図４参照）として平行光源を使用したが、非平行光源である点光源や面光源を使用してもよい。また、カメラ１０７（図４参照）の光軸上に非テレセントリックレンズを使用してもよい。テレセントリックレンズや平行光を使用しない場合、実施の形態で説明した表面検査装置１（図１参照）に比して装置の小型化が可能になり、コストも安価に済む。

（６）前述の実施の形態では、検査対象１０（図１参照）を撮像する表面検査装置１（図１参照）のプロセッサ１０１（図３参照）がスコアの算出と、スコアの算出に寄与した主要な部分領域を示す枠線１２５（図８参照）を操作画面１２０（図８参照）に表示する機能を実現しているが、表面検査装置１から画像データを取得する外部のコンピュータやサーバのプロセッサにより同等の機能を実現してもよい。

（７）前述した各実施の形態におけるプロセッサは、広義的な意味でのプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ等）の他、専用的なプロセッサ（例えばＧＰＵ（＝Graphical Processing Unit）、ＡＳＩＣ（＝Application Specific Integrated Circuit）、ＦＰＧＡ（＝Field Programmable Gate Array）、プログラム論理デバイス等）を含む。
また、前述した各実施の形態におけるプロセッサの動作は、１つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順番は、前述した各実施の形態に記載した順番のみに限定されるものでなく、個別に変更してもよい。

１、１Ａ…表面検査装置、１０…検査対象、２０…１軸ステージ、１０１…プロセッサ、１０２…ＲＯＭ、１０３…ＲＡＭ、１０４…補助記憶装置、１０５…ディスプレイ、１０６…操作受付装置、１０７…カメラ、１０８…光源、１０９…信号線、１１１…開口部、１１１Ａ…開口、１１１Ｂ…鍔部、１２０…操作画面、１２２、１２２Ａ…スコア欄、１２５、１２５Ａ、１２５Ｂ、１２５Ｃ…枠線、１２５Ｄ…記号、１２５Ｅ…矢印

Claims (14)

1. 検査の対象とする物体の表面を撮像する撮像デバイスと、
   前記撮像デバイスにより撮像された画像を処理して前記表面の品質を表す数値を算出するプロセッサと、を有し、
   前記プロセッサは、前記数値の算出に寄与した部分の位置を特定する指標を含む前記画像と、当該数値を、表示デバイス上に表示させる、
   表面検査装置。
2. 前記位置を特定する指標は、前記部分とその他の部分との境界を与える、
   請求項１に記載の表面検査装置。
3. 前記位置を特定する指標は、前記部分の周囲を囲む枠線である、
   請求項２に記載の表面検査装置。
4. 前記プロセッサは、前記数値の候補が複数存在する場合、最も大きい数値に対応する前記部分の位置を特定する前記指標を表示させる、
   請求項１に記載の表面検査装置。
5. 前記プロセッサは、前記数値の候補が複数存在する場合、各候補に対応する前記部分の位置を特定する前記指標を表示させる、
   請求項１に記載の表面検査装置。
6. 前記プロセッサは、前記指標を複数表示する場合、対応する前記数値の大きさの順番と当該指標の表示の形式とを対応付ける、
   請求項５に記載の表面検査装置。
7. 前記プロセッサは、前記指標を複数表示する場合、対応する前記数値の大きさ順に、前記数値と当該指標の表示を切り替える、
   請求項５に記載の表面検査装置。
8. 前記プロセッサは、前記数値を、対応する前記指標と並べて表示する、
   請求項１～７のいずれか１項に記載の表面検査装置。
9. 前記プロセッサは、前記画像に対する領域の指定を受け付けた場合、当該領域について算出された前記数値を、対応する当該領域と並べて表示する、
   請求項１～８のいずれか１項に記載の表面検査装置。
10. 前記プロセッサは、前記部分に対応する前記画像内における輝度差が予め定めた閾値より大きい場合、ユーザに報知する、
    請求項１～９のいずれか１項に記載の表面検査装置。
11. 前記プロセッサは、検査が開始すると、前記数値と前記指標を前記画像上に表示する、
    請求項１～９のいずれか１項に記載の表面検査装置。
12. 前記プロセッサは、検査の開始を指示する操作を受け付けると、前記数値と前記指標を前記画像上に表示する、
    請求項１～９のいずれか１項に記載の表面検査装置。
13. 装置本体の携帯が可能であることを特徴とする、請求項１～１２のいずれか１項に記載の表面検査装置。
14. 検査の対象とする物体の表面を撮像デバイスで撮像した画像を処理するコンピュータに、
    前記表面の品質を表す数値を算出する機能と、
    前記数値の算出に寄与した部分の位置を特定する指標を含む前記画像と、当該数値とを、表示デバイス上に表示させる機能と、
    を実現させるためのプログラム。

Images