JP2019061484A - 画像処理装置及びその制御方法及びプログラム - Google Patents

Abstract

【課題】 画像における検出対象領域を良好に検出することを可能にする。【解決手段】 対象画像と、前記対象画像と画素値の成分の種類が異なる参照画像を入力する画像入力部と、対象画像から検出対象候補の領域を検出する検出部と、少なくとも前記参照画像を用い、前記検出対象候補の領域から少なくとも１つの特徴量を抽出する抽出部と、特徴量に基づいて、前記検出対象候補の領域を選定する選定部とを有する。【選択図】 図５

Description

本発明は、画像処理装置及びその制御方法及びプログラムに関するものである。

画像を用いた物品の検査においては、一般的に欠陥領域を強調することが望ましく、そのために画像を高感度で取得することが必要になる。ただし、感度を上げ過ぎると、今度はノイズ成分が大きくなり、画像中の欠陥領域とノイズが重畳する領域（以下、ノイズ領域）の区別が困難になる。そこで、画像を欠陥領域とノイズ領域を分類するマスク処理を行うことで、欠陥領域候補のみを残す技術が必要となる。

たとえば、高感度に撮影し画像を生成する手法として、位相シフト法があげられる。位相シフト法とは、投影強度を正弦波に変調した縞パターンを利用して、位相をずらしながら投影して計測する方法であり、全画素において計測値が得ることができ、比較的少数の画像から精度の高い計測ができるので、計測範囲の調整が容易で撮像システムに容易に応用することができる。位相シフト法では、一般に強度を示す振幅画像と、周波数成分を表す位相差画像が生成されるので、振幅画像と位相差画像のふたつの異なる画像を用いて、欠陥領域とノイズ成分を分けるような処理を行うことが考えられる。

特開２０１７−１２０６７２号公報 特開２００５−１０２８６２号公報 特許４８６１６０５号公報

特許文献１に記載の手法では、距離画像から候補領域を検出して、候補領域と対応する輝度画像の領域から、対応関係を表す観測データ分布を算出し、モデルデータとの誤差を算出することにより、学習画像を生成する手法が開示されている。しかし、特許文献１に記載の手法は、単なる画像生成方法であり、学習データにおいて、領域が正常領域であるか、検出対象領域であるかを絞り込む判断しているわけではない
特許文献２に記載の手法では、距離画像から候補領域を検出して、閾値パラメータが異なる２種類のマンモグラフ画像から検出された異常陰影候補の特徴量により、異常陰影候補が陽性であるかどうかを判断しているが、この処理は異常検出方法であり、認識処理の前に用いる画像補正もしくは前処理として用いられていない。

特許文献３に記載の手法では、輝度画像からパターンマッチングにより領域検出を行い、検出した領域に対し背景と前景の領域の特徴量から逆光と順光レベルを算出し、逆光と順光レベルから、画像の補正のパラメータをかえ、領域によっては画像補正をおこなわないことを設定する画像補正方法である。この手法では、輝度画像のみによって、画像の補正方法を決定しているが、複数の異なる種類画像、例えば、輝度画像と距離画像を用いて、画像変換方法を決定しているわけではない。

本発明は、このような点に鑑みてなされたものであり、画像における検出対象領域を良好に検出する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
対象画像と、前記対象画像と画素値の成分の種類が異なる参照画像を入力する画像入力手段と、
前記対象画像から検出対象候補の領域を検出する検出手段と、
少なくとも前記参照画像を用い、前記検出対象候補の領域から少なくとも１つの特徴量を抽出する抽出手段と、
前記特徴量に基づいて、前記検出対象候補の領域を選定する選定手段とを有する。

本発明によれば、画像における検出対象領域を良好に検出することが可能になる。

第１の実施形態における情報処理システムのシステム構成を示す図。 第１の実施形態における情報処理装置およびユーザインターフェースのハードウェア構成図。 第１の実施形態における情報処理装置およびユーザインターフェースの機能構成図。 第１の実施形態における画像処理部およびユーザインターフェースによる処理手順を示すフローチャート。 第１の実施形態における画像処理部およびユーザインターフェースによる情報処理の一例を示すフローチャート。 第１の実施形態におけるクラスタ領域の分類法を示す図。 第２の実施形態における画像処理部およびユーザインターフェースによるにおける処理手順を示すフローチャート。 第２の実施形態におけるパラメータ設定に係る表示画面を示す図。 第２の実施形態におけるパラメータ設定に係るもう１つの表示画面を示す図。 第３の実施形態における画像処理装置およびユーザインターフェースによる処理手順を示すフローチャート。 第３の実施形態における座標空間へのクラスタリング例を示す図。 第４の実施形態における画像処理装置およびユーザインターフェースによる情処理の一例を示すフローチャート。

以下添付図面に従って本発明に係る実施形態を詳細に説明する。

［第１の実施形態］
本実施形態では、検査ライン上を検査対象物が順に搬送されており、検査対象物を撮影した画像に基づいて検査対象物を検査し、検査結果を表示するタスクを例として説明する。

図１は、本実施形態における情報処理システムのシステム構成図である。本システムは、検査対象物を検査する情報処理装置１０１、検査対象物を撮影する画像撮影装置１０２を有する。ユーザインターフェース１０３は、情報処理装置１０１の検査結果や、ユーザに入力を促すための情報を表示するデータ表示機能と、ユーザがデータを入力する装置である。ユーザインターフェース１０３は、モニタと、キーボード、マウス、タッチパネル等から構成され、情報処理装置１０１から送信される検査結果を示す画像等を表示し、また、検査結果に対してユーザが判断した結果等を入力する。

検査対象物１０４は、本実施形態における検査対象物である。光源１０５は検査対象物１０４を照射する。画像撮像装置１０２は、光が照射された検査対象物１０３を撮影し、画像データとして情報処理装置１０１に供給する。

図２は、本実施形態の情報処理装置１０１およびユーザインターフェース１０３のハードウェア構成の一例を示す図である。

情報処理装置１０１は、ＣＰＵ２０１、主記憶装置２０２、補助記憶装置２０３を含み、ユーザインターフェース１０３は、入力Ｉ／Ｆ２０４、出力Ｉ／Ｆ２０５を含む。ＣＰＵ２０１、主記憶装置２０２、補助記憶装置２０３、入力Ｉ／Ｆ２０４、出力Ｉ／Ｆ２０５は、システムバス２０６を介して、相互に接続されている。

ＣＰＵ２０１は、情報処理装置１０１の処理を制御する中央演算装置である。主記憶装置２０２は、ＣＰＵ２０１のワークエリアとして機能したり、プログラム等を記憶したりする記憶装置であり、ＲＯＭ、ＲＡＭ等で構成される。補助記憶装置２０３は、後述するデータ、各種設定値、各種閾値等のデータ、各種プログラム等を記憶する記憶装置であり、代表的にはＨＤＤである。

入力Ｉ／Ｆ２０４は、ユーザインターフェース１０３が入力を受け付ける際に利用されるインターフェースである。なお、ＣＰＵ２０１は、入力Ｉ／Ｆ２０４を介して、画像撮影装置１０２からの撮影画像の受け付けも行う。

出力Ｉ／Ｆ２０５は、外部の装置にデータを出力する際に利用されるインターフェースである。ＣＰＵ２０１は、出力Ｉ／Ｆ２０５を介して、ユーザインターフェース１０３へ検出結果の情報を出力して、不図示のモニタに表示する。ＣＰＵ２０１が主記憶装置２０２又は補助記憶装置２０３に記憶されたプログラムに基づき処理を実行することによって、後述する図２の情報処理装置１０１およびユーザインターフェース１０３の機能及び、後述する図４、図５、図７、図１０、及び図１２のフローチャートの処理を実現する。

図３は、情報処理装置１０１およびユーザインターフェース１０３の機能構成の一例を示す図である。情報処理装置１０１は、画像処理部３０１、特徴量抽出部３０２、識別器判定部３０３を含む。これらは、情報処理装置１０１におけるＣＰＵ２０１は、主記憶装置２０２又は補助記憶装置２０３に記憶された検査プログラムを実行する実現するものでもある。

画像処理部３０１は、画像撮像装置１０２による撮影で得た、検査対象物１０４の画像データを入力し、画像処理により検出対象領域に近い画像のノイズ成分を取り除く処理を行う。なお、画像撮影装置１０２から動画データが入力される場合には、検査対象物１０４が所定の位置に到達した時点での静止画（フレーム）を取得する。

特徴量抽出部３０２は、画像処理部３０１によりノイズ成分を取り除いた画像の検査対象領域から特徴量を算出する。本実施形態で利用される特徴量については、図３のＳ３０２等の説明にて後述する。検査対象領域とは、画像撮影装置１０２による撮影で得られる画像内の領域であり、検査対象物１０４を含む。

識別器判定部３０３は、特徴量抽出部３０２で抽出された特徴量を基に正常モデル識別器を生成し、生成された正常モデル識別器と判定対象のデータから求めた特徴量を用いて、判定対象のデータの認識スコアを算出する。ここにおける正常モデル識別器とは、正常として既知の検査対象物１０４のみを用いて正常の範囲を定義するものであり、正常の範囲に含まれるか否か判定することにより、正常とそれ以外の異常データを識別する手法である。

以下、図４のフローチャートに従って、画像処理部３０１、特徴量抽出部３０２、識別器判定部３０３の処理内容を説明する。

・Ｓ４０１：画像入力
Ｓ４０１において、画像処理部３０１は、画像撮影装置１０２により撮影された検査対象物１０４の画像データを取得する。本実施形態の画像処理部３０１は、位相シフト法を利用して撮影した振幅画像（対象画像）と位相差画像（参照画像）とを取得する。このように、本実施形態では、性質の異なる２種類の画像、具体的には画素値の成分が異なる２種類の画像を取得する。また、画像処理部３０１は、画像撮影装置１０２からの振幅画像と位相差画像を一旦、補助記憶装置２０３に保存し、そこからそれらの画像データを順に取得してもよい。ここで、検査対象領域が画像上の一部である場合、画像内の検査対象領域のみを評価対象として取得する。

・Ｓ４０２：画像前処理
Ｓ４０２において、画像処理部３０１は、Ｓ４０１で取得した検査対象物１０４の振幅画像（対象画像）の画像データの検査対象領域に対し、画像前処理を行う。

画像処理部３０１は、画像前処理において、まず、振幅画像内の着目画素をその周辺画素の輝度に基づき二値化し、二値化結果に基づいてラベリング処理を行う。そして、画像処理部３０１は、各ラべリングされた領域に対応する位相差画像内の該当する領域の標準偏差成分の値をもって、欠陥候補領域とノイズ成分を分類する。そして、画像処理部３０１は、欠陥候補領域はマスキング処理を行わず欠陥領域として残す処理を行い、ノイズ成分領域には、マスキング処理を行いノイズ成分として消去する処理を行う。詳細については、図５のフローチャートを用いて後述する。

・Ｓ４０３：特徴量算出
Ｓ４０３において、特徴量抽出部３０２は、Ｓ４０２で取得したマスク処理後の対象画像の画像データの検査対象領域から、特徴量を抽出する。

複数の特徴量を用いる場合、例えば、対象画像の検査対象領域に対して、ハール・ウェーブレット（Ｈａａｒ Ｗａｖｅｌｅｔ）変換をかけて、階層的な変換画像を生成する。ハール・ウェーブレット変換処理とは、画像データについて位置情報を保持したまま周波数変換する処理である。本実施形態における特徴量抽出部３０２は、Ｓ４０２で取得した画像データの特徴量を算出する処理として、ハール・ウェーブレット変換処理を用いる。

特徴量抽出部３０２は、一つの対象画像からハール・ウェーブレット変換処理を用いて生成した合計Ｎ種類（Ｎ階層）の画像に対して、それぞれ画素値の最大値、平均値、標準偏差を特徴量として算出する。つまり、特徴量抽出部３０２は、一つの対象画像から、計Ｎ種類の画像を生成し、生成した画像それぞれについて統計特徴量を３種類ずつ抽出する。結果的に、特徴量抽出部３０２は、１つの対象画像から合計で３Ｎ個の特徴量を抽出する。

このように、Ｓ４０３の処理により、特徴量抽出部３０２は、対象画像から複数の特徴量を抽出することができる。なお、対象画像の特徴量については、予め算出して補助記憶装置２０３に記憶しておいてもよい。

・Ｓ４０４：識別モデルの生成
Ｓ４０４において、識別器判定部３０３は、Ｓ４０３で算出した特徴量を用いて、後述の識別モデルの生成または更新を行う。

実施形態では、部分空間法のひとつである投影距離法を識別モデルの生成に用いる。投影距離とは、簡単に述べると、それぞれの特徴量を軸とする特徴空間における特徴ベクトルと、パターンの分布の分散が最大となる向きを持つ超平面（主平面）との最短距離である。ここで生成識別モデルを利用して、正常異常判別を行う。

・Ｓ４０５：テストデータに対する正常異常判定
Ｓ４０５において、識別器判定部３０３はＳ４０４で生成した識別モデルを利用して、対象画像データに対する正常異常判定を行う。具体的には対象画像データから特徴量抽出を行い、Ｓ４０３で生成または更新した識別モデルを用いて、正常異常判定を行う。ここでは対象画像データに対し投影距離を算出し、閾値処理をしたうえで、正常異常判定を行う。

図５は、画像処理部３０１およびユーザインターフェース１０３による情報処理の一例を示すフローチャートである。ここで、画像処理部３０１の処理（図４のＳ４０２)を同図を参照して説明する。

・Ｓ５０１：画像入力
Ｓ５０１において、画像処理部３０１は、画像撮影装置１０２により撮影された判定対象の画像データを取得する。本実施形態では、位相シフト法で撮影した振幅画像と位相差画像を取得する。ここで、検査対象領域が画像上の一部である場合、画像内の検査対象領域のみを評価対象として取得する。

・Ｓ５０２：候補検出
Ｓ５０２において、画像処理部３０１は、Ｓ５０１で取得した振幅画像データ（対象画像）の検査対象領域に対して二値化処理を行う。

二値化処理は、二値化しようとしている対象画素を、その対象画素の周辺画素群の平均輝度を基準（閾値）にして二値化を行う。具体的には、画像処理部３０１は、対象画素を中心とするｈ×ｈ画素の領域における、対象画素を除くｈ×ｈ−１個の画素の平均輝度を算出する。そして、画像処理部３０１は、算出した平均輝度に所定の値ｐを掛け合わせた値が、対象画素の輝度値より小さければ、対象画素に対して二値化結果“１”の値をセットする。逆に、平均輝度に所定の値ｐを掛け合わせた値が、対象画素より大きければ、対象画素に対して二値化結果“０”の値をセットする。画像処理部３０１は、このようにして、検査対象の領域のすべての画素を上記対象画素として処理することで、“１”または“０”の値を画素値とする二値化画像を得る。なお、対象画素が画像の端等に位置する場合、h×ｈ画素の幾つか画像外になってしまうことになる。画像外の画素については平均輝度を求める対象から省くことにして、残った画素で平均値を求め、対象画素に対し閾値処理を行うことにより、１または０の値をセットする。また、所定の値ｐはあらかじめ設定しておくと述べたが、候補領域と候補領域以外の輝度値を算出し、分離度をみることによって、パラメータｐを決定し、候補領域のマスクの値を設定してもよい。また、周辺画素群の広がりを規定する「ｈ」は予め設定されているものとするが、ユーザが適宜設定できるようにしても構わない。

画像処理部３０１は、上記のようにして得た二値化画像に対し、ラベリング処理をおこなう。ラベリング処理は、二値化画像における画素値“１”が連続する領域について１つのラベルを付与する。ここで「連続」の定義としては、４連結もしくは８連結が考えられる。「４連結」は、二値化された“１”の着目画素の垂直方向、或いは、水平方向に隣接画素が“１”である場合、それらに同じラベルを付与するものである。「８連結」は、垂直、水平に加えて、斜め方向（４方向有る）に隣接する画素が“１”である場合に、それらに同じラベルを付与するものである。実施形態では、「４連結」を用いて、二値化画像に対し、ラベリング処理を行い領域を検出するものとするが、「８連結」であっても構わない。なお、二値化画像における画素値“１”が連続している一塊の領域を、以降「クラスタ領域」という。

・Ｓ５０３：特徴抽出
Ｓ５０３にて、画像処理部３０１は、Ｓ５０３のラベリング処理で得たクラスタ領域に対し、それぞれ面積や長さといった特徴量を算出する。「面積」はクラスタ領域における画素値“１”の画素数、「長さ」はクラスタ領域内の画素値“１”の中で最も離れた２画素間のユークリッド距離とする。

・Ｓ５０４：ノイズ除去
Ｓ５０４にて、画像処理部３０１は、Ｓ５０４で得た各クラスタ領域の特徴量を利用して、マスク処理を行うかどうかを決定する。

面積、長さといった領域内の特徴量を用いる場合は、面積や長さが、それぞれに設定された閾値以上であれば、欠陥領域であると判定できるため、マスク処理を行わないことを示す“０”の値を、対象クラスタ領域にセットする。また、面積や長さがそれぞれの閾値に満たない場合、ノイズ領域、欠陥領域のいずれの場合もあり得るので、暫定的にマスク候補であることを示す“１”を対象クラスタ領域に対してセットする。

なお、領域間距離を特徴量として用いる場合、領域間の距離が最も近いクラスタ間の最短距離を求め、所定未満であれば、マスク処理を行わない、０の値をセットする。逆に、クラスタ間の最短距離を求め所定以上であれば、マスク処理を行うため、１の値をセットする。

次に、画像処理部３０１は、マスク候補として設定されたクラスタ領域それぞれについて、位相差画像内の対応する領域の画素値の標準偏差を求める。そして、マスク候補として設定されたクラスタ領域それぞれを｛面積，標準偏差｝の２つ成分のベクトルで表現し、面積−標準偏差の座標空間にプロットしていく。

図６は、このプロット例を示している。図示では、振幅画像の領域の特徴量（面積）６０１をＸ軸に、位相差画像の領域の特徴量（標準偏差）６０２をＹ軸に示している。そして、これらＸ，Ｙ軸で規定される座標空間に各クラスタ領域の特徴量をプロットし、座標空間を３つの領域に分ける。たとえば、異常種Ａを示す領域６０３、異常種Ｂを示す領域６０４、正常領域を示す領域６０５に分けられる。

境界６０６は、ｘ＝ｃで表され、異常種Ａを示す領域６０３と異常種Ｂを示す領域６０４とでわけられる。ここでパラメータｃは、異常種Ａを示す領域６０３と異常種Ｂを示す領域６０４を分けるようなパラメータであり、領域内のデータを確認した結果を用いて、パラメータｃを決定する。

境界６０７は、ｙ＝ａｘ＋ｂで表され、正常を示す領域６０５と異常種Ａを示す領域６０３で分けられる。ここにおけるパラメータａ（傾き）とｂ（切片）は、正常を示す領域６０５と、異常種Ａを示す領域６０３を分けるようなパラメータであり、領域内のデータを確認した結果を用いて、パラメータａとｂを決定する。

画像処理部３０１は図６のようにプロットした３つの領域のうち、領域６０５（ｘ≦ｃ、且つ、ｙ≧ａｘ＋ｂの領域）がノイズであるものと見なす。換言すれば、領域６０３、６０４は欠陥領域であるものと見なす。故に、画像処理部３０１は、暫定的にマスク候補であることを示す“１”をセットしたクラスタ領域のうち、領域６０３、６０４に属するクラスタ領域については、マスクしないことにするため“０”に設定する。

尚、本実施形態では、参照画像である位相差画像の候補領域から、特徴量として標準偏差を求めるようにしたが、本発明はこれに限るものではなく、例えば、平均値等のその他の統計値や、ヒストグラムといった多次元の特徴量を用いても構わない。

以上の処理を経て、画像処理部３０１は、各クラスタ領域について欠陥領域（マスクしない領域）、ノイズ領域（マスクする領域）を区別するためのマスクの選定（生成）が行う。
・Ｓ５０５：画像出力
Ｓ５０５にて、画像処理部３０１は、Ｓ５０４で生成したマスクを利用して、マスク処理おこなうことにより、欠陥候補領域とノイズ成分を分類し、ノイズ成分を打ち消した振幅画像を生成する。ここでは、マスクで０の値が入った領域に対しては、対象画像の画素値を変化させない。一方、マスクで１の値が入った領域（面積や距離がそれぞれの閾値以下であって、図６の「正常」として判定されたクラスタ領域）に対しては、対応する対象画像の領域の周辺輝度（例えば平均輝度）で埋め合わせ、領域を補完する処理を行う。これにより、検出対象候補領域とノイズ成分の領域を分類し、ノイズ成分を削除した正常異常判定に適した対象画像を生成することができる。なお、本実施形態では、マスクを使うことを前提としたが、マスクを使わずノイズ成分に対し、周辺輝度で埋める処理を行ってもよい。

尚、本実施形態では、参照画像である位相差画像の候補領域から、特徴量として標準偏差を求めるようにしたが、本発明はこれに限るものではなく、例えば、平均値等のその他の統計値や、ヒストグラムといった多次元の特徴量を用いても構わない。

以上、本実施形態では、振幅画像データから検出対象候補領域を算出し、検出対象候補領域の面積、もしくは長さの特徴量により検出対象候補領域を検出する。そして、対象画像とは性質の異なる参照画像を用い、対象画像の検出対象候補領域に対応する参照画像の領域の特徴量に基づき検出対象候補領域から検出候補領域を決定することにより、精度よく検出領域を検出することができる。

［第２の実施形態］
上記第１の実施形態における情報処理システムは、画像を周辺輝度により二値化処理し、領域ごとにラベリング処理を行ったうえで、異なる種類の画像の標準偏差成分の値をもって、欠陥候補領域とノイズ成分を分類した。そして、第１の実施形態では、欠陥候補領域はマスキング処理を行わず欠陥領域として残す処理を行い、ノイズ成分領域には、マスキング処理を行いノイズ成分として消去する処理を行った。

これに対し、本第２の実施形態の情報処理システムは、ユーザインターフェース１０３を用いて、画像を二値化するための閾値を決定し、欠陥候補領域とノイズ成分を分類するためのパラメータを決定する仕組みについて述べる。

・Ｓ７０２：候補検出
Ｓ７０２において、画像処理部３０１は、Ｓ７０１で取得した振幅画像データの検査対象領域を対象に初期の閾値を用いて二値化処理を行う。

二値化処理は、対象画素の周辺平均輝度を基準に二値化をおこなう。具体的には、対象画素を中心とするＨ×Ｈの領域を特定し、対象画素を除く検出したＨ×Ｈ−１個の画素の平均輝度を算出する。

ここで算出した平均輝度に初期の値ｐを掛け合わせた値が、対象画素の画素値より小さければ、対象画素に対して二値化結果“１”の値をセットする。換言すれば、対象画素の画素値が、平均輝度に初期の値ｐを掛け合わせた値以上の場合には、対象画素に対して二値化結果“１”の値をセットする。

逆に、平均輝度に所定の値ｐを掛け合わせた値が、対象画素の画素値以上の場合、二値化結果“０”の値をセットする。つまり、対象画素の画素値が、平均輝度に初期の値ｐを掛け合わせた値より小さい場合、対象画素に対して二値化結果“１”の値をセットする。

・Ｓ７０４：特徴量の関係に基づきユーザインターフェースでパラメータの確認
Ｓ７０４にて、画像処理部３０１は、ユーザインターフェース１０３を介して、ユーザに二値化パラメータｐの調整を行わせる。ここで、平均輝度に掛け合わせる所定の値をｐとして設定し、ユーザインターフェース１０３（実施形態ではスライダーバー）を用いて、パラメータｐを調整させる。

図８は、ユーザインターフェース１０３に表示されるパラメータｐを決定するための表示画面を示している。

図示における参照符号８０１は振幅画像であり、振幅画像に対し欠陥領域がどこにあるのかわかるように表示されている。参照符号８０２は、二値化処理で得た二値化画像であり、Ｓ５０２と同様に、対象画素を中心として、Ｈ×Ｈの領域を検出し、対象画素を除く検出したＨ×Ｈの領域に対し、平均輝度を算出する。ここで算出した平均輝度に閾値調整部を用いてセットされた値ｐを掛け合わせ、対象画素より小さければ、対象画素に対し、１の値をセットする。逆に、平均輝度に閾値調整部を用いてセットされた所定の値ｐを掛け合わせ、対象画素より大きければ、０の値をセットする。

参照符号８０３は、閾値調整部であり、ここで調整しセットされた値ｐにより、二値化画像８０２を生成するための閾値を決定し、二値化画像を生成する。ユーザは、閾値調整部８０３のツマミを左右にスライドする指示を与えることで、値ｐを変更でき、そのツマミ位置の値ｐに応じて２値化画像８０２が変化することになる。なお、図８の初期画面での閾値調整部８０３のツマミの位置は中央に位置し、その位置での値ｐは“１．０”である。

以上は第２の実施形態における二値化処理の閾値設定に係る説明である。

図９は、ユーザインターフェース１０３に表示される、図６における境界６０６（ｘ＝ｃ）が示すパラメータｃと、境界６０７（ｙ＝ａｘ＋ｂ）のパラメータａ，ｂを決定するための表示画面の例である。

振幅画像の領域の特徴量（面積）９０１は、マスク画像の領域ごとの特徴量（面積）を表しＸ軸であらわされている。また、位相差画像の領域の特徴量（標準偏差）９０２は、マスク画像の領域ごとに対応する位相差画像の領域の標準偏差を表し、Ｙ軸であらわされる。そして、各領域の特徴量をプロットし、３つの領域にわける。たとえば、異常種Ａを示す領域９０３、異常種Ｂを示す領域９０４、正常領域を示す領域９０５にわけられる。

境界９０６は、ｘ＝ｃであらわされ、異常種Ａを示す領域９０３と異常種Ｂを示す領域９０４とでわけられる。ここにおけるパラメータｃは、異常種Ａを示す領域９０３と異常種Ｂを示す領域９０４を分けるようなパラメータであり、領域内のデータを確認した結果を用いて、パラメータｃを決定する。

境界９０７は、ｙ＝ａｘ＋ｂであらわされ、正常を示す領域９０５と異常種Ａを示す領域９０３で分けられる。ここにおけるパラメータａ（傾き）とｂ（切片）は、正常を示す領域９０５と、異常種Ａを示す領域９０３を分けるようなパラメータであり、領域内のデータを確認した結果を用いて、パラメータａとｂを決定する。

画像９０９は、実際の画像であり、この画像の各領域がＸ軸９０１とＹ軸９０２でプロットされている。カーソル９０８は、領域を選択するための選択ツールであり、ここで選択された領域が画像９０９の領域９１０に対応している。

パラメータ設定部９１１は、境界９０６のパラメータｃを設定するためのツールであり、パラメータ設定部９１１を調節することにより、異常種Ａを示す領域９０３と異常種Ｂを示す領域９０４を分離できているかどうかを確認することができる。

パラメータ設定部９１２Ａ，９１２Ｂは、境界９０７のパラメータａとｂを設定するためのツールであり、パラメータ設定部９１２を調節することにより、正常を示す領域９０３と異常種Ａを示す領域９０４を分離できているかどうかを確認することができる。

画像チェックボックス９１３、９１４は画像を選択するための候補を示すチェックボックスであり、特徴量チェックボックス９１７、９１８、９１９、９２０は、特徴量を選択するための候補を示すチェックボックスである。画像チェックボックス９１３と特徴量チェックボックス９１７にチェックが入っているので、Ｘ軸を示す特徴量９０１は、画像Ａの特徴量Ａであることを示している。

同様に、画像チェックボックス９１５、９１６は画像を選択するための候補を示すチェックボックスであり、特徴量チェックボックス９２１、９２２、９２３、９２４は、特徴量を選択するための候補を示すチェックボックスである。画像チェックボックス９１６と特徴量チェックボックス９２４にチェックが入っているので、Ｙ軸を示す特徴量９０２は、画像Ｂの特徴量Ｄであることを示している。

ここでは、特徴量２つで正常であるか、欠陥種Ａであるか、欠陥種Ｂであるかを検討したが、特徴量が３つ以上ある場合も発明の範疇とする。三つ以上ある場合は、画像や特徴量を選択するための、画像チェックボックスや特徴量チェックボックスをそれぞれ増やして対応し、特徴量の評価軸も３軸以上にして表示することにより、対応する。

以上、本第２の実施形態では、画像データから検出対象候補領域を検出する際に、ユーザインターフェース１０３を利用して、検出対象候補領域を検出できているかどうかを判断をユーザに委ね、パラメータを設定する。また、ユーザインターフェース１０３を利用して、検出対象候補領域とノイズ成分を分類するためのパラメータを設定し、検出対象候補領域とノイズ成分を分類する。これにより、検出対象候補領域だけ残し、ノイズ成分を取り除く処理を行う前処理を行うことができ、精度よく検出対象領域を検出することができる。

［第３の実施形態］
第１の実施形態の情報処理システムは、振幅画像を周辺輝度により二値化処理して、領域ごとにラベリング処理を行ってクラスタ領域を求めた。そして、ノイズか欠陥領域かの判断が不明なクラスタ領域については、その面積と位相差画像の標準偏差成分の関係をもって、欠陥候補領域とノイズ成分を分類した。そして、欠陥候補領域はマスキング処理を行わず欠陥領域として残す処理を行い、ノイズ成分領域には、マスキング処理を行いノイズ成分として消去する処理を行った。

これに対し、本第３の実施形態の情報処理システムは、領域ごとの面積の軸と位相差画像の標準偏差の軸による特徴空間からクラスタリングを行い、ノイズ成分領域、異常種Ａ、異常種Ｂを分類し画像前処理を行う。

なお、図１０のＳ１００１、Ｓ１００２、Ｓ１００３、Ｓ１００５の処理は、図５のＳ５０１、Ｓ５０２、Ｓ５０３、Ｓ５０５の処理それぞれと同じであるので、その説明は省略し、Ｓ１００４について説明する。つまり、クラスタ領域の面積と距離による、第１段階での欠陥領域、ノイズ候補の判定は行わない。

・Ｓ１００４：クラスタリングを利用したマスク生成
Ｓ１００４にて、画像処理部３０１は、Ｓ１００３のラベリング処理で得たクラスタ領域に対し、マスク処理を行うかどうかの判定を行う。

具体的には、画像処理部３０１は、異常種の数にあわせて分類する数を決定する。たとえば、正常領域と、異常種Ａと、異常種Ｂがわかっている場合、クラスタリング結果が３になるように、最短距離法でクラスタリングを行う。

最短距離法とは、データ間のユークリッド距離をすべて算出したうえで、ユークリッド距離が小さい順に、データを連結していく手法である。そしてクラスタの数が所定の数になったところで連結をとめる。これにより、クラスタの数が所定の数になる学習データを得ることができる。

こうして得たデータを利用して、対象領域のユークリッド距離においてどのデータに最も近いかを判定する。そして、最も近いデータのラベルをあたえることにより、新しく入ってきた領域が、正常領域であるのか、異常種Ａであるのか、異常種Ｂであるのかを決定する。そして、画像処理部３０１は、正常領域に当たるクラスタ領域をノイズ領域として決定し、異常種Ａ、Ｂにプロットしたクラスタ領域を欠陥領域として決定する。

なお、ここでは、教師なしのクラスタリングで記述したが、領域のラベルがあらかじめ分かっていることを想定した教師付きクラスタリングや、領域のラベルが一部わかっている準教師付きクラスタリングを行ってもよい。

図１１は、選択された特徴量による特徴空間で、データをクラスタリングした結果を示す。画像Ｘの特徴量Ａと画像Ｙの特徴量Ｂに基づく特徴量間において、領域に対応するデータが３領域にクラスタリングされる。領域１１０１は、正常を示す領域に対応し、領域１１０２は、異常種Ａを示す領域に対応し、領域１１０３は、異常種Ｂを示す領域に対応する。クラスタリング結果を利用して、対象領域がどの領域に対応するかを決定する。

このように、マスクに対しラベリングされた領域ごとにノイズ成分領域であるのか、検出対象領域であるのかを判定し、ノイズ領域には１を入力し、検出対象領域には０を入力することにより、マスクを生成する。

本実施形態では、本実施形態の情報処理システムは、領域ごとの面積と位相差画像の標準偏差成分の関係からクラスタリングにより、ノイズ成分領域、異常種Ａ、異常種Ｂの３つに分類し、そのうえで、ノイズ成分を打ち消し周辺輝度で埋める処理を行い、検出対象領域は残すことにより前処理を行った。こうして得られた画像を利用して検出対象を強調した画像を生成することにより、精度よく検出領域を検出することができる。

［第４の実施形態］
第１の実施形態では、情報処理システムは、振幅画像を周辺輝度により二値化処理し、領域ごとにラベリング処理を行い、位相差画像の画素値（位相差）の標準偏差成分の値をもって、欠陥候補領域とノイズ成分を分類し、欠陥候補領域はマスキング処理を行わず欠陥領域として残す処理を行った。

これに対し、本第４の実施形態の情報処理システムは、画像データから顔領域を検出する際に、前処理として、所定の面積以上の実物の顔領域と、所定の面積以下の顔領域や実物ではなく印刷された顔等を分類し、所定の面積以上の実物の顔領域以外を除去した画像を生成することにより、より精度の高い学習用、評価用、グランドツルース入力用の画像を生成する。以下、図１２を参照して説明する。
・Ｓ１２０１：画像入力
Ｓ１２０１において、画像処理部３０１は、画像撮影装置１０２により撮影された人物を表す輝度画像（対象画像）と、その人物に対する距離画像（参照画像）を取得する。
・Ｓ１２０２：顔領域の検出
Ｓ１２０２において、画像処理部３０１は、Ｓ１２０１で取得した判定対象の対象画像の画像データの検査対象領域を対象に顔領域の検出を行う。

対象画像に対し、テンプレートマッチングにより顔領域検出を行うことにより顔領域を検出し、肌色検出により、顔の輪郭を検出する。そして検出した顔の輪郭を利用して、マスクを生成する。顔の輪郭を利用して、顔領域内を１にして、顔領域以外の部分を０にしたマスクを生成する。
・Ｓ１２０３：距離画像を利用して顔領域の特徴量を算出
Ｓ１２０３において、画像処理部３０１は、Ｓ１２０２で検出した輝度画像の顔領域に対応する距離画像の領域において、距離値の標準偏差を算出する。
・Ｓ１２０４：ノイズ除去
Ｓ１２０４において、画像処理部３０１は、Ｓ１２０３で検出した輝度画像の顔領域の面積を算出する。算出した顔領域の実際の面積が所定値未満であるならば、マスクの顔部分に対し、１が入力される。算出した顔領域の面積が所定値以上であった場合、Ｓ１２０３において求めた標準偏差が所定値以下であれば、実物ではないと判定し、その領域に対し１が入力される。面積が所定値以上であり、且つ、標準偏差も所定値以上であった場合、非マスク領域として０が入力される。
・Ｓ１２０５：画像生成
Ｓ１２０５にて、画像処理部３０１は、Ｓ１２０４で生成したマスクを利用して、マスク処理おこなうことにより、所定の面積以上の実物の顔領域と、所定の面積以下の顔領域、及び、印刷物等の可能性が高い顔領域を分類し、所定の面積以上の実物の顔領域以外を消した画像を生成する。

ここでは、マスクで０の値が入った領域に対しては、人物画像の画素値を変化させず、マスクで１の値が入った領域に対しては、対応する人物画像の領域の周辺輝度で埋め合わせ、領域を補完する処理を行う。これにより、所定の面積以上の実物の顔領域と、所定の面積以下の顔領域、及び、印刷物等の可能性が高い顔領域を分類し、所定の面積以上の実物の顔領域以外を消した画像を生成することができる。

本実施形態では、画像データから顔領域候補を検出する際に、前処理として、所定の面積以上の実物の顔領域と、所定の面積以下の顔領域、及び、印刷物等の可能性が高い顔領域を分類し、所定の面積以上の実物の顔領域以外を消した画像を生成することにより、精度よく顔領域（検出領域）を検出することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１…情報処理装置、１０２…画像撮影装置、１０３…ユーザインターフェース、１０４…検査対象物、１０５…光源

Claims (12)

1. 対象画像と、前記対象画像と画素値の成分の種類が異なる参照画像を入力する画像入力手段と、
   前記対象画像から検出対象候補の領域を検出する検出手段と、
   少なくとも前記参照画像を用い、前記検出対象候補の領域から少なくとも１つの特徴量を抽出する抽出手段と、
   前記特徴量に基づいて、前記検出対象候補の領域を選定する選定手段と、
   を有することを特徴とする画像処理装置。
2. 前記対象画像は位相シフト法により生成された振幅画像であり、前記参照画像は前記位相シフト法により生成された位相差画像であることを特徴とする請求項１に記載の画像処理装置。
3. 前記対象画像は輝度画像であり、前記参照画像は距離画像であることを特徴とする請求項１に記載の画像処理装置。
4. 前記検出手段は、輝度画像に対しテンプレートマッチングで行うことを特徴とする請求項１に記載の画像処理装置。
5. 前記検出手段は、輝度画像に対し肌色検出で行うことを特徴とする請求項１に記載の画像処理装置。
6. 前記検出手段は、前記振幅画像に対し閾値を用いた二値化処理を行い、前記振幅画像における前記閾値以上の画素が連続するクラスタ領域の面積、当該クラスタ領域における２画素間の最大となるユークリッド距離を検出することを特徴とする請求項２に記載の画像処理装置。
7. 前記クラスタ領域を、前記面積、前記ユークリッド距離がそれぞれに対して設定された閾値以上を示す第１のクラスタ領域と、前記第１のクラスタ領域を除く第２のクラスタ領域に分類し、
   前記第２のクラスタ領域については、前記位相差画像における対応する領域の標準偏差に基づいて、更に２つ以上のクラスタ領域に分類する分類手段と
   を有することを特徴とする請求項６に記載の画像処理装置。
8. 前記第２のクラスタ領域を前記２つ以上に分類するための境界をユーザの指示に応じて調整する調整手段を有することを特徴とする請求項７に記載の画像処理装置。
9. 前記二値化処理で用いる前記閾値をユーザの指示に応じて調整する調整手段を有することを特徴とする請求項６乃至８のいずれか１項に記載の画像処理装置。
10. 前記分類手段は、最短距離法に従って分類することを特徴とする請求項７に記載の画像処理装置。
11. 対象画像と、前記対象画像と画素値の成分の種類が異なる参照画像を入力する画像入力工程と、
    前記対象画像から検出対象候補の領域を検出する検出工程と、
    少なくとも前記参照画像を用い、前記検出対象候補の領域から少なくとも１つの特徴量を抽出する抽出工程と、
    前記特徴量に基づいて、前記検出対象候補の領域を選定する選定工程と、
    を有することを特徴とする画像処理装置の制御方法。
12. コンピュータが読み込み実行することで、前記コンピュータに、請求項１１に記載の方法の各工程を実行させるためのプログラム。