JP2023068507A - パラメータ調整支援装置及びパラメータ調整支援方法 - Google Patents

Abstract

【課題】複数の検査処理をもつ画像センサに関し、ユーザによるパラメータの調整作業を簡易化するための技術を提供する。
【解決手段】パラメータ調整支援装置が、複数の検査処理のうちから調整対象とするＮ項目の検査処理を設定する調整対象設定部と、ＯＫ画像とＮＧ画像とを取得する画像取得部と、Ｎ項目の検査処理のそれぞれについて、ＯＫ画像から設定パラメータの現在の条件に従って計算された計測パラメータの値であるＯＫ画像計測値と、当該検査処理のＮＧ画像から設定パラメータの現在の条件に従って計算された計測パラメータの値であるＮＧ画像計測値と、現在の閾値と、を描画したグラフを生成するグラフ生成部と、グラフを表示装置に出力する出力部と、を備える。
【選択図】図１

Description

本発明は、画像センサの検査処理で用いられるパラメータの調整を支援するための技術に関する。

工場の製造ラインなどでは、製造物の検査を自動化ないし省力化するために、画像センサと呼ばれるシステムが多用されている（特許文献１参照）。画像センサでは、複数項目の検査処理を組み合わせて一連の検査フローが構成される。画像センサで正しい検査結果を得るためには、各検査処理で用いられるパラメータを適切に設定する必要があるが、従来は、個々の検査処理のパラメータを個別に設定するしか方法がなく、そのパラメータの調整（追い込み）の作業が簡単ではなかった。

特開２００８－０１５７０６号公報

本発明は上記実情に鑑みてなされたものであって、その目的とするところは、複数の検査処理をもつ画像センサに関し、ユーザによるパラメータの調整作業を簡易化するための技術を提供することにある。

本開示は、画像に対して複数の検査処理を実行可能な画像センサに関し、各検査処理で用いられるパラメータの調整を支援するためのパラメータ調整支援装置であって、前記検査処理は、画像から所定の計測パラメータの値を計算し、前記計測パラメータの値を閾値と比較してＯＫ又はＮＧの判定結果を出力するものであり、前記パラメータは、前記計測パラメータの値を計算する際の条件を規定する設定パラメータと、前記閾値とを含むものであり、前記複数の検査処理のうちから調整対象とするＮ項目（Ｎは２以上の整数）の検査処理を設定する調整対象設定部と、前記Ｎ項目の検査処理のすべてにおいてＯＫ判定が得られるべきＯＫ画像と、前記Ｎ項目の検査処理のうち少なくともいずれかの検査処理においてＮＧ判定が得られるべきＮＧ画像とを取得する画像取得部と、前記Ｎ項目の検査処理のそれぞれについて、ＯＫ画像から前記設定パラメータの現在の条件に従って計算された前記計測パラメータの値であるＯＫ画像計測値と、当該検査処理のＮＧ画像から前記設定パラメータの現在の条件に従って計算された前記計測パラメータの値であるＮＧ画像計測値と、現在の前記閾値と、を描画したグラフを生成するグラフ生成部と、前記グラフを表示装置に出力する出力部と、を備えることを特徴とするパラメータ調整支援装置を含む。

前記ＯＫ画像計測値と前記ＮＧ画像計測値と前記閾値とが、少なくとも色又は図形のいずれか一方が異なる態様で前記グラフに描画されてもよい。

前記グラフ生成部は、前記調整対象の検査処理における前記ＯＫ画像計測値と前記ＮＧ画像計測値と前記閾値の関係に基づいて、当該検査処理の前記パラメータの調整が必要か否かを判断し、その判断結果を前記グラフに描画してもよい。

前記グラフ生成部は、さらに前記閾値と前記設定パラメータのいずれの調整が必要かを
判断し、その判断結果を前記グラフに描画してもよい。

前記グラフ生成部は、前記パラメータの調整が不要、前記閾値の調整が必要、前記設定パラメータの調整が必要、の少なくとも３つの状態を判断するものであり、前記３つの状態が互いに異なる色で前記グラフに描画されてもよい。

前記出力部は、前記パラメータの調整作業を行うための調整ウィンドウを前記表示装置に出力してもよい。

前記調整ウィンドウには、各ＯＫ画像のＯＫ画像計測値と各ＮＧ画像のＮＧ画像計測値と前記閾値が描画された散布図が表示されてもよい。

前記調整ウィンドウは、前記散布図に描画するＯＫ画像計測値とＮＧ画像計測値を、前記閾値により規定されるＯＫ範囲から外れるＯＫ画像のＯＫ画像計測値と、前記ＯＫ範囲に含まれるＮＧ画像のＮＧ画像計測値のみに切り替え可能であってもよい。

本開示は、画像に対して複数の検査処理を実行可能な画像センサに関し、各検査処理で用いられるパラメータの調整を支援するためのパラメータ調整支援方法であって、前記検査処理は、画像から所定の計測パラメータの値を計算し、前記計測パラメータの値を閾値と比較してＯＫ又はＮＧの判定結果を出力するものであり、前記パラメータは、前記計測パラメータの値を計算する際の条件を規定する設定パラメータと、前記閾値とを含むものであり、前記複数の検査処理のうちから調整対象とするＮ項目（Ｎは２以上の整数）の検査処理を設定するステップと、前記Ｎ項目の検査処理のすべてにおいてＯＫ判定が得られるべきＯＫ画像と、前記Ｎ項目の検査処理のうち少なくともいずれかの検査処理においてＮＧ判定が得られるべきＮＧ画像とを取得するステップと、前記Ｎ項目の検査処理のそれぞれについて、ＯＫ画像から前記設定パラメータの現在の条件に従って計算された前記計測パラメータの値であるＯＫ画像計測値と、当該検査処理のＮＧ画像から前記設定パラメータの現在の条件に従って計算された前記計測パラメータの値であるＮＧ画像計測値と、現在の前記閾値と、を描画したグラフを生成するステップと、前記グラフを表示装置に出力するステップと、を含むことを特徴とするパラメータ調整支援方法を含む。

本開示は、上記パラメータ調整支援方法の各ステップをプロセッサに実行させるためのプログラムを含む。

本発明は、上記手段の少なくとも一部を有するパラメータ調整支援装置として捉えてもよいし、同装置を具備する画像センサとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を含むパラメータ調整支援方法もしくは画像センサの制御方法、又は、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

本発明によれば、複数の検査処理をもつ画像センサに関し、ユーザによるパラメータの調整作業を簡易化することが可能である。

図１は、画像センサの外観を模式的に示す図である。 図２は、検査機能とパラメータ調整支援機能の構成例を示す機能ブロック図である。 図３は、検査の処理フロー及びパラメータの設定を説明するための図である。 図４は、パラメータ調整作業の流れを示すフローチャートである。 図５は、パラメータ調整支援ツールのメイン画面の例である。 図６は、画像分類ウィンドウのラベル設定タブの例である。 図７は、画像分類ウィンドウのラベル付けタブの例である。 図８は、レーダーチャート表示の例である。 図９は、調整ウィンドウにより閾値の調整を行う例である。 図１０は、調整ウィンドウにより設定パラメータの調整を行う例である。 図１１は、面積重心の設定パラメータの調整を行う例である。 図１２は、調整ウィンドウにより設定パラメータの調整を行う例である。 図１３は、パラメータ調整完了後のレーダーチャートの例である。

図１を参照して、本発明の実施形態に係る画像センサを説明する。図１は、画像センサの外観を模式的に示す図である。

画像センサ１は、例えば工場の製造ラインＰＬなどに設置され、画像を利用したさまざまな処理に利用される装置である。画像センサ１は、画像処理システム、視覚センサ（vision sensor）、視覚システム（vision system）などとも呼ばれる。

画像センサ１は、ハードウェア資源として、撮像装置１０、画像処理装置１１、表示装置１２、及び入力装置１３を備える。撮像装置１０、表示装置１２、及び入力装置１３は、画像処理装置１１の入出力Ｉ／Ｆに接続されている。なお、図１では、撮像装置１０と画像処理装置１１が別体構造の画像センサ１を示したが、撮像装置と画像処理装置が一体となった処理一体型の画像センサであってもよい。

撮像装置１０は、照明部、レンズ部、撮像部などを備えるデバイスであり、産業用カメラとも呼ばれる。照明部は被写体（検査対象物Ｏ）を照明するデバイスであり、例えば、ＬＥＤ光源などで構成される。レンズ部は、被写体の光学像を撮像部に結像する光学装置であり、例えば、ピント調整、絞り、ズームなどの機能を有する光学系が用いられる。撮像部は、光電変換によって画像データを生成し出力するデバイスであり、例えば、ＣＣＤやＣＭＯＳセンサなどの撮像素子により構成される。

画像処理装置１１は、主な機能として、撮像装置１０からの画像データの取り込み、画像データに対する画像処理、画像処理の結果に基づく検査処理、入出力Ｉ／Ｆを介した外部装置とのデータ送受信、外部装置へ出力するデータの生成、外部装置から受信したデータに対する処理、撮像装置１０や入出力Ｉ／Ｆの制御などを有する。画像処理装置１１は、例えば、プロセッサ（ＣＰＵ、ＧＰＵなど）、メモリ（ＲＡＭ、ＲＯＭなど）、ストレージ（ハードディスク、ソリッドステートドライブなどの不揮発性の記憶装置）、入出力Ｉ／Ｆなどを備える画像処理用コンピュータで構成することができる。後述する画像処理装置１１の機能及び処理は、ストレージに格納されたプログラムをメモリにロードし、プロセッサによって実行することにより実現可能である。ただし、画像処理装置１１の機能の一部又は全部を、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ
（Field Programmable Gate Array）などで実現してもよいし、他のコンピュータやクラ
ウドサーバなどで実行してもよい。

図２は、画像処理装置１１における検査機能とパラメータ調整支援機能の構成例を示す機能ブロック図である。

画像処理装置１１は、画像入力部２０、画像記憶部２１、検査実行部２２、パラメータ
記憶部２３、検査処理設定部２４、パラメータ調整支援部２５を備える。画像入力部２０は、撮像装置１０から画像データを取り込む。取り込まれた画像データは画像記憶部２１に格納される。検査実行部２２は、画像データに対し複数項目の検査を実施し、各項目についてＯＫ／ＮＧの判定結果を出力する。検査の判定結果は画像データに紐付けて保存してもよい。パラメータ記憶部２３には、それぞれの検査処理で用いられるパラメータの設定値が登録されている。検査実行部２２は、検査処理を実行する際にパラメータ記憶部２３からパラメータの設定値を参照する。検査処理設定部２４は、検査実行部２２で実施する検査の処理フローや、個別の検査処理で用いられるパラメータの設定を行うためのユーザインタフェイス（ＵＩ）を提供する。パラメータ調整支援部２５は、ユーザがパラメータを適切な値に調整する（追い込む）作業を支援するためのツールを提供する。パラメータ調整支援部２５は、画像取得部２５０、調整対象設定部２５１、グラフ生成部２５２、ＵＩ出力部２５３を有する。これらの機能の詳細は後述する。

（検査処理の設定）
図３を参照して、検査処理設定部２４のＵＩを利用して検査の処理フローやパラメータを設定する手順の例を説明する。

画像処理装置１１には、特定の処理を実行するモジュール（以後「処理ユニット」と称する。）が複数種類用意されている。処理ユニットには、大きく分けて、検査処理に関するものと、検査処理以外の処理に関するものとがある。検査処理の処理ユニットとしては、例えば、所定の形状の領域が画像内に存在するか検査する『形状サーチ』、所定の色の領域の面積や位置を検査する『面積重心』、被写体のエッジの位置を検査する『エッジ位置』など、様々な処理ユニットが用意されている。また、検査処理以外の処理ユニットとしては、例えば、撮像装置１０から撮影画像を取り込む『カメラ画像入力』、所定の色範囲を画像から抽出する『色抽出フィルタ』などが用意されている。図３に示すように、ユーザは、検査処理設定部２４のＵＩを利用して処理ユニットを適宜組み合わせることで、実施したい検査を設定する。複数の処理ユニットを組み合わせて作成された一連の処理を「処理フロー」と称する。

検査処理の処理ユニットは、画像から抽出される特徴に基づいて所定の計測パラメータの値を計算し、その計測パラメータの値を閾値と比較して『ＯＫ』又は『ＮＧ』の判定結果を出力する、という共通の設計を有している。例えば、上述した『形状サーチ』の場合であれば、計測パラメータとして、登録モデルと画像から検出されたモデルの間の類似度（相関値）、モデルが検出された位置（ＸＹ座標）、検出されたモデルの傾き（登録モデルに対する相対角度）などが計算される。そして、類似度、位置、傾きのそれぞれについて、閾値（ＯＫ範囲を規定する閾値上限値と閾値下限値）が設定されており、類似度、位置、傾きのすべての値がＯＫ範囲に含まれていれば『ＯＫ』、１つでもＯＫ範囲から外れていれば『ＮＧ』という判定結果が出力される。また、『面積重心』の場合であれば、計測パラメータとして、領域の面積、領域の重心位置（ＸＹ座標）などが計算される。そして、面積、重心位置のそれぞれについて閾値が設定されており、面積と重心位置がともにＯＫ範囲に含まれていれば『ＯＫ』、いずれかがＯＫ範囲から外れていれば『ＮＧ』という判定結果が出力される。ここで例示した『形状サーチ』や『面積重心』は、複数種類の計測パラメータについてＯＫ／ＮＧ判定を行う仕様、すなわち、１つの処理ユニットで複数項目の検査処理を行う仕様になっているが、１種類の計測パラメータ（１項目の検査処理）しか持たない処理ユニットも存在する。

各処理ユニットで計測パラメータとして用いられる指標は予め定義されており、これをユーザが変更することはできない。ただし、計測パラメータの値を計算する際のさまざまな条件（以後「設定パラメータ」と称する。）と、判定に用いる閾値については、ユーザが設定可能である。例えば、『形状サーチ』における設定パラメータとしては、サーチ対
象となるモデル、モデルの位置、類似度の算出で注目するモデル上の特徴点などが挙げられる。また、図３に示すように、『面積重心』における設定パラメータとしては、面積や重心を算出する領域として抽出する色の条件（色相、彩度、明度それぞれの範囲）などが挙げられる。これらの設定パラメータの設定次第で、画像から計算される計測パラメータの値は大きく変わる。また、閾値が適切に設定されているかが、ＯＫ／ＮＧの判定精度や判定結果の信頼性に影響を与える。

したがって、ユーザは、処理ユニットを組み合わせて処理フローを作成した後、所望の検査性能（判定結果）が得られるように、各処理ユニットの設定パラメータ及び閾値を適切に設定する必要がある。しかしながら、設定パラメータや閾値を適切な値に調整する（追い込む）作業には高度なスキルやノウハウが要求される。しかも、処理フローに含まれる処理ユニットの数が多い場合や、各々の処理ユニットが多数の設定パラメータや閾値を有している場合には、それらすべてで適切な判定結果が得られるように設定パラメータや閾値をバランス良く調整することは、容易ではない。

そこで、本実施形態の画像センサ１では、パラメータ調整支援部２５により、設定パラメータや閾値の調整作業を支援するためのパラメータ調整支援ツールを提供する（このパラメータ調整支援ツールが本発明に係るパラメータ調整支援装置の一例である。）。

（パラメータ調整支援ツール）
図４～図１２を参照して、本実施形態のパラメータ調整支援ツールについて詳しく説明する。図４は、パラメータ調整支援ツールを利用したパラメータ調整作業の流れを示すフローチャートである。図５は、パラメータ調整支援ツールのメイン画面の例である。

パラメータ調整支援ツール（以下単に「ツール」とも称する。）を起動すると、ＵＩ出力部２５３により図５のメイン画面が表示される（ステップＳ４０）。メイン画面には、処理フローを構成する複数の処理ユニットのリスト５０が表示されている。

ユーザはまず、メイン画面の「再計測対象画像」欄５１において、調整作業に利用する画像（サンプル画像）が格納されている場所を指定する（ステップＳ４１）。「本体ロギング画像」を指定した場合は、画像記憶部２１（例えば画像センサ１のＲＡＭディスクや内部ストレージなど）に格納されている画像群が利用され、「指定フォルダ画像」を指定した場合は、外部ストレージに保存されている画像群を利用することができる。格納場所が指定されると、画像取得部２５０によってサンプル画像が取り込まれる。１枚のサンプル画像のみでも調整作業を行うことは可能であるが、異なる検査対象物を撮影して得られた複数のサンプル画像を調整作業に用いるとよい。また、複数のサンプル画像が、良品の画像と不良品の画像の両方を含んでいるとよく、さらに、不良品の画像の中には複数種類の不良（すなわち、ＮＧ判定の出る検査処理項目が互いに異なるもの）が含まれているとよい。バリエーションのある複数の画像を用いて複数の検査処理項目に対するパラメータ調整を同時進行的に行うことによって、適切なパラメータの追い込み作業を効率的に実施することができる。

次に、ユーザがメイン画面において「画像分類」ボタン５２を押下すると、調整対象設定部２５１によって図６に示す画像分類ウィンドウが表示される。ユーザは、画像分類ウィンドウの「ラベル設定」タブ６０にて、調整対象とする検査処理を指定し、それらにラベルを設定する作業を行う（ステップＳ４２）。具体的には、「設定数」欄６１に調整対象とする検査処理の項目数を入力する。項目数Ｎは例えば３～２０の範囲で設定可能である。項目数Ｎを入力すると、Ｎ個のラベルが生成されるので、ユーザが、各ラベルに、「ラベル名」、「対象ユニット」、「計測パラメータ」を設定する。「ラベル名」は任意に設定できる。「対象ユニット」には、調整対象とする検査処理を実施する処理ユニットの
名前を指定し、「計測パラメータ」には、調整対象とする検査処理で用いられる計測パラメータの名前を指定する。図６は、「円形度」、「印字面積」、「印字有無」、「印字品質」、「印字高さ」の５個のラベルが設定された例を示している。

ラベル設定が終了したら、ユーザは、「ラベル付け」タブ６２にて、画像にラベルを付与する作業を行う（ステップＳ４３）。画像分類ウィンドウの「ラベル付け」タブ６２を選択すると、図７に示すＵＩに切り替わる。「ラベル付け」タブ６２のＵＩは、ラベル表示７１、プレビューボタン７２、ファイルリスト７３、ラベル付与欄７４を含む。ラベル表示７１には、「判定ラベル」と「欠陥種ラベル」の一覧が表示される。判定ラベルは、画像の判定結果を表すラベルであり、「ＯＫ」、「ＮＧ」、「分類保留」の３種類のラベルが予め用意されている。欠陥種ラベルは、「ラベル設定」タブ６０にてユーザが定義したラベルである。ファイルリスト７３には、ステップＳ４１で指定された画像のファイル名が一覧表示される。ステップＳ４１において複数の画像が指定された場合には、ファイルリスト７３に複数の画像のファイル名が表示される。プレビューボタン７２を押下すると、ファイルリスト７３で選択されている画像のプレビューを表示することができる。ユーザは、プレビュー画像を確認しながら、まず、判定ラベルを付与する。調整対象とするすべての検査処理においてＯＫ判定されるべき画像には「ＯＫ」ラベル、いずれかの検査処理でＮＧ判定されるべき画像には「ＮＧ」ラベル、ＯＫともＮＧとも判断がつかない画像には「分類保留」ラベルを付与する。ラベル付与欄７４には、各ラベルに対応するセルが用意されており、そのセルを押下するたびにラベルの付与と解除を切り替えることができる。「ＮＧ」ラベルを付与した画像に対しては、続いて、欠陥種ラベルの付与も行う。すなわち、どの検査処理でＮＧ判定されるべきかという情報を画像に紐付けるのである。なお、１つの画像に対し複数の欠陥種ラベルを付与することも可能である。ラベル表示７１及びラベル付与欄７４では、各ラベルが互いに異なる色で表示されるとよい。これにより、各画像に付与されているラベルを視認しやすくなり、ラベル付与作業がやりやすくなると共に、間違ったラベルを付与するなどの操作ミスを防止することができる。上記の作業を行うことにより、複数枚のＯＫ画像と複数枚のＮＧ画像を準備することができる。

ラベル付与（すなわち、画像の分類作業）が完了し、ＯＫボタンを押下すると、メイン画面に戻る。なお、「ラベル設定」タブ６０や「ラベル付け」タブ６２にて設定した内容を保存したい場合には、「データ保存」タブ６３にてファイルに保存することが可能である。

次に、ユーザがメイン画面の「一括再計測実行」ボタン５３を押下すると、検査実行部２２が、分類された画像（ラベルを付与した画像）のそれぞれに対し、処理フローに従って複数の検査処理を実施し、各検査処理における計測パラメータの計算及び閾値判定を行う（ステップＳ４４）。このとき、パラメータ記憶部２３に格納されている設定パラメータの現在の条件値と現在の閾値とが用いられる。

ステップＳ４４の再計測処理が完了した後、メイン画面の「データ詳細」タブ５４に切り替えると、グラフ生成部２５２によって再計測処理の結果を示すグラフが生成され（ステップＳ４５）、ＵＩ出力部２５３によってメイン画面にグラフが表示される（ステップＳ４６）。グラフには、例えば、調整対象の検査処理（すなわち欠陥種ラベルを設定した検査処理）のそれぞれについて、「ＯＫ画像から設定パラメータの現在の条件に従って計算された計測パラメータの値」、「ＮＧ画像から設定パラメータの現在の条件に従って計算された計測パラメータの値」、「現在の閾値」が描画されているとよい。グラフの具体的な形式は問わないが、複数項目の検査処理の結果が一目で確認できる態様であるとよい。例えば、レーダーチャート、棒グラフ、折れ線グラフなどを用いることができる。

図８にレーダーチャート表示の一例を示す。レーダーチャートのそれぞれの軸は、欠陥
種ラベルを設定した検査処理に対応している。例えば図６のように「円形度」、「印字面積」、「印字有無」、「印字品質」、「印字高さ」の５つの欠陥種ラベルを設定した場合であれば、図８に示すようにレーダーチャートは五角形となる。

レーダーチャートの各軸には、「ＯＫ最大値」、「ＯＫ平均値」、「ＯＫ最小値」、「ＮＧ最大値」、「ＮＧ平均値」、「ＮＧ最小値」、「閾値上限値」、「閾値下限値」の８つの点が描画される。ＯＫ最大値、ＯＫ平均値、ＯＫ最小値は、それぞれ、複数のＯＫ画像からそれぞれ計算された計測パラメータの値の最大値、平均値、最小値を表す。また、ＮＧ最大値、ＮＧ平均値、ＮＧ最小値は、それぞれ、複数のＮＧ画像からそれぞれ計算された計測パラメータの値の最大値、平均値、最小値を表す。このように「ＯＫ最大値」、「ＯＫ平均値」、「ＯＫ最小値」、「ＮＧ最大値」、「ＮＧ平均値」、「ＮＧ最小値」、「閾値上限値」、「閾値下限値」の８つの点を検査処理毎（軸毎）に関連付けて描画したグラフをユーザに提示することによって、各検査処理における計測パラメータの傾向や閾値との関係の理解を容易化することができる。ここで、ＯＫ画像から計算された計測パラメータの値（ＯＫ最大値、ＯＫ平均値、ＯＫ最小値）とＮＧ画像から計算された計測パラメータの値（ＮＧ最大値、ＮＧ平均値、ＮＧ最小値）と閾値（閾値上限値、閾値下限値）とが、少なくとも色又は図形のいずれか一方が異なる態様で描画されるとよい。また、最大値と平均値と最小値とを、少なくとも色又は図形のいずれか一方が異なる態様で描画してもよい。このような表示態様を採ることにより、ＯＫ、ＮＧ、閾値を視覚的に区別しやすくなる。

レーダーチャートの各軸のスケールは、上記８つの値のなかの最小値と最大値を用いて規格化するとよい。すなわち、８つの値のなかの最小値と最大値が、レーダーチャートの各軸の両端（チャートの中心と最外端）ないしその近傍にくるように、スケールが調整されるとよい。これにより、８つの点のプロット位置が可及的に拡がるため、視認性（見やすさ）が向上する。

レーダーチャートの各軸には、欠陥種ラベルの「ラベル名」と「設定調整の状態」が表示される。設定調整の状態は、「設定完了」と「閾値調整が必要」と「設定調整が必要」の３パターンがある。グラフ生成部２５２は、ＯＫ画像から計算された計測パラメータの値（以下単に「ＯＫ画像計測値」とも称する。）とＮＧ画像から計算された計測パラメータの値（以下単に「ＮＧ画像計測値」とも称する。）と閾値の関係に基づいて、設定調整の状態を判断する。図８の例では、設定調整の状態を色アイコンで表している（例えば、緑色：設定完了、黄色：閾値調整が必要、赤色：設定調整が必要）。

ここで、「設定完了」は、ＯＫ画像計測値とＮＧ画像計測値が分離しており、且つ、閾値がＯＫ画像計測値とＮＧ画像計測値の間に設定されている、という状態である。この状態が得られていれば、当該検査処理において適切なＯＫ／ＮＧ判定が実施されると期待できるため、当該計測パラメータに関する設定パラメータ及び閾値の設定は完了（調整不要）と判断してよい。図８の例では、「円形度」、「印字品質」、「印字有無」の３つが「設定完了」状態にある。

「閾値調整が必要」は、ＯＫ画像計測値とＮＧ画像計測値が分離しているが、閾値がＯＫ画像計測値とＮＧ画像計測値の間に設定されていない、という状態である。図８の例では、「印字高さ」が「閾値調整が必要」状態にある。この場合は、閾値がＯＫ画像計測値とＮＧ画像計測値の間にくるように閾値を調整することで、「設定完了」状態になる。

「設定調整が必要」は、ＯＫ画像計測値とＮＧ画像計測値が分離していない、という状態である。この場合は、閾値の調整だけでは解決しないため、設定パラメータの調整が必要となる。図８の例では、「印字面積」が「設定調整が必要」状態にある。

このように設定調整の状態をグラフと共に表示することで、ユーザは、調整対象として選んだ複数の検査処理に関し、パラメータの設定が適切なもの（調整不要なもの）とパラメータの調整が必要なものの見分け、さらにパラメータの調整が必要なものに関しては、閾値を調整すれば足りるのか設定パラメータを調整しなければならないのかの判断が即座に且つ間違いなく出来る。また、グラフには、「設定調整の状態」の判定結果（色アイコン）だけでなく、ＯＫ画像計測値、ＮＧ画像計測値、及び閾値の間の数値的な関係があわせて表示されている。したがって、「設定調整の状態」の判定根拠（エビデンス）を容易に確認でき、ユーザの納得性を高めることができる。また、ユーザは、ＯＫ画像計測値、ＮＧ画像計測値、及び閾値の間の数値的な関係から、閾値や設定パラメータをどのように或いはどの程度調整すればよいのかを把握することができるので、後のパラメータ調整作業を効率的に行うことが可能となる。１枚の画像だけでなく複数のＯＫ画像と複数のＮＧ画像を用いて「ＯＫ最大値」、「ＯＫ平均値」、「ＯＫ最小値」、「ＮＧ最大値」、「ＮＧ平均値」、「ＮＧ最小値」をグラフに示すことができるので、ユーザは複数の画像に対するパラメータの調整状況を全体的に把握でき、パラメータ調整作業を効率的に行うことが可能となる。

「閾値調整が必要」又は「設定調整が必要」と判定された検査処理（ラベル）が残っている場合（ステップＳ４７のＮＯ）、ユーザは、当該検査処理の閾値の調整作業や設定パラメータの調整作業を行う（ステップＳ４８）。

図９を参照して、「閾値調整が必要」な場合の操作を説明する。図８のレーダーチャートに表示されているラベル名（例えば「印字高さ」）を選択（押下）すると、ＵＩ出力部２５３によって、当該ラベルに関するパラメータを調整するための調整ウィンドウが表示される（図９）。

散布図９０とヒストグラム９１は、選択したラベルに関する、ＯＫ画像計測値とＮＧ画像計測値の分布の詳細を示している。散布図９０の横軸は個々の画像（画像Ｎｏ．）に対応し、縦軸は計測値（画像から計算された計測パラメータの値）に対応する。ヒストグラム９１の横軸は度数（画像の数）であり、縦軸は散布図９０の縦軸と共通である。ここで、散布図９０では、ＯＫ画像の群とＮＧ画像の群が分かれるように横軸における画像の並びを決めるとよい（図９の例では、最初にＯＫ画像を並べ、後半にＮＧ画像を並べており、なおかつ、ＯＫ画像群とＮＧ画像群の境界を示すラインを描画している。）。また、縦軸のスケールは、計測値の最小値と最大値が程よく分離するように調整するとよい。また、散布図９０及びヒストグラム９１において、ＯＫ画像とＮＧ画像の間で描画色を異ならせるとよい。このような工夫により、ＯＫ画像計測値の分布や傾向、ＮＧ画像計測値の分布や傾向を把握しやすくなる。

散布図９０の下側のテキストボックス９２Ｂ，９２Ｕには、閾値（下限）と閾値（上限）の現在の設定値が表示されている。また、散布図９０とヒストグラム９１には、閾値（下限）と閾値（上限）を示すライン９３Ｂ，９３Ｕが描画される。

図９を見て分かるように、ＯＫ画像計測値とＮＧ画像計測値はよく分離しているにもかかわらず、ＯＫ画像計測値とＮＧ画像計測値の両方ともが、閾値（下限）と閾値（上限）で規定されるＯＫ範囲の間に入ってしまっている。このような場合、ユーザは、テキストボックス９２Ｂ，９２Ｕの値を変更するか、ライン９３Ｂ，９３Ｕをドラッグして移動することにより、閾値を調整することができる。図９の例では、閾値（上限）をＯＫ画像計測値とＮＧ画像計測値の間にくるよう修正することで、適切な判定結果が得られるようになる。なお、閾値の調整を自動で行うことも可能である。「自動調整」ボタン９４を押下すると、ＯＫ画像計測値とＮＧ画像計測値に基づいて適切な閾値が自動計算される。閾値
の決定アルゴリズムは任意である。例えば、ＯＫ画像計測値の代表値（平均値、中間値、最小値、最大値など）とＮＧ画像計測値の代表値（平均値、中間値、最小値、最大値など）のちょうど中間となるように閾値を決定してもよい。あるいは、判別分析法などの閾値決定アルゴリズムを利用してもよい。

なお、図９では、十数枚の画像の例を示しているが、実際の運用では、数百や数千というオーダーの画像を用いてパラメータ調整を行うことも想定される。画像の数が膨大になると、散布図９０やヒストグラム９１の視認性の低下を招き、誤判定が生じている画像を見落としてしまったり、閾値の適切な配置を見誤ったりするおそれがある。このような場合には、「誤判定画像で設定調整」ボタン９５が有用である。このボタン９５を押下すると、画像の母集団のなかから、誤判定が発生している画像（すなわち、計測値がＯＫ範囲から外れているＯＫ画像と、計測値がＯＫ範囲に入っているＮＧ画像）のみが抽出され、抽出された誤判定画像の情報のみが散布図９０及びヒストグラム９１に表示される。このような表示に切り替えることにより、複数の画像に対する計測値を見ながら、個々の画像に対する計測値の状況を確認でき、問題箇所が明確となるため、効率的かつ適切なパラメータ調整が可能となる。

ユーザは、散布図９０上のプロット点を選択するか、再計測画像欄９６において画像Ｎｏ．を入力することにより、画像を１つ選択することができる。画像の選択が行われると、その選択画像の計測値が散布図９０に表示される。また、選択画像に対して各処理ユニットの検査処理（再計測）が実行され、そのＯＫ／ＮＧ判定結果が処理ユニットリスト９７に表示されるとともに、調整対象となっている処理ユニットの判定結果と計測値が詳細表示欄９８に表示される。このような機能を利用することにより、個々の画像に対する計測値や判定結果の確認が容易にできる。

図１０を参照して、「設定調整が必要」な場合の操作を説明する。図１０は、図８のレーダーチャートにおいて「印字面積」ラベルを選択した場合に表示される調整ウィンドウの例である。

散布図９０及びヒストグラム９１をみると、ＯＫ画像計測値とＮＧ画像計測値が分離しておらず、閾値の調整だけでは解決しないことが分かる。このような場合、似たような計測値が得られてしまっているＯＫ画像とＮＧ画像の群に注目するか、ＯＫ画像の中で他と大きく異なる計測値が得られている画像に注目して、設定パラメータの調整を行うとよい。図１０の例でいえば、Ｎｏ．１２のＯＫ画像が、Ｎｏ．１５のＮＧ画像と同じ計測値であり、かつ、他のＯＫ画像に比べて明らかに計測値が小さい。したがって、Ｎｏ．１２のＯＫ画像に対応するパラメータ調整を行うのが近道であると判断できる。

そこで、ユーザは、散布図９０上でＮｏ．１２のＯＫ画像を選択するか、再計測画像欄９６に「１２」を入力し、Ｎｏ．１２の画像を選択する。現在の条件では、該当する処理ユニット「面積重心」の判定結果に「ＮＧ」が表示され、「面積：０．００００」という計測値が表示される。散布図９０をみると他のＯＫ画像では面積の計測値が概ね１００００程度であることから、面積を計算するための設定パラメータに問題があると推測できる。

設定パラメータの修正を行うには、処理ユニットリスト９７内の処理ユニットを選択（押下）すればよい。例えば、「面積重心」を選択すると、図１１に示すように、面積重心の設定パラメータを設定するための設定ウィンドウが表示される。設定ウィンドウ右側のプレビューに何も表示されていないことから、現在の色指定設定（色相、彩度、明度）では、領域の抽出に失敗していることがわかる。そこで、ユーザは、プレビューを確認しながら、検査したい領域がちょうど抽出されるように色相、彩度、明度の範囲を調整する。
図１１の下段は、明度の上限値を２５５に変更したことで、領域が抽出できるようになったことを示している。設定パラメータの調整が完了したら、「ＯＫボタン」を押下して、設定ウィンドウを閉じる。

図１２に示すように、再び調整ウィンドウに戻り、「一括再計測実行」ボタン９９を押下すると、調整後の設定パラメータを用いて計測パラメータが再計算される。図１２の例では、画像Ｎｏ．１２の計測値が９６３１となり、他のＯＫ画像と同等の値が得られるようになったことが分かる。この状態であれば、ＯＫ画像計測値とＮＧ画像計測値とを分離するような閾値の設定が可能である。よって、続けて、閾値の調整も行い、調整作業を完了する。

以上述べた手順で、「閾値調整が必要」なラベルと「設定調整が必要」なラベルのすべてについてパラメータの調整を行った上で、メイン画面の「一括再計測実行」ボタン５３を押し、レーダーチャートの更新を行う。図１３のように、すべてのラベルの状態が「設定完了」になっていれば、パラメータの調整作業は完了である（図４のステップＳ４７のＹＥＳ）。

上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上記実施形態では、レーダーチャートを例示したが、棒グラフや折れ線グラフなどを用いてもよい。またレーダーチャート等にＯＫ画像計測値やＮＧ画像計測値の代表値（最大値、平均値、最小値）をプロットするのではなく、個別の計測値をすべてプロットしてもよい。また、上記実施形態で例示したＵＩやパラメータはあくまで一例であり、適宜変形しても構わない。また、上記実施形態では、調整対象とする検査処理をユーザ自身が選択する方法を採用したが、パラメータ調整支援ツールが調整対象とする検査処理を自動で選択（設定）したり、調整対象とすべき検査処理をユーザにレコメンドしたりしてもよい。例えば、処理フローに含まれる複数の検査処理のうち、ＮＧ判定の画像数が多いものから順にＮ項目の検査処理を調査対象（又はレコメンド対象）として選んでもよい。あるいは、調整対象とする検査処理が予め決められていてもよい。

＜付記＞
１．画像に対して複数の検査処理を実行可能な画像センサに関し、各検査処理で用いられるパラメータの調整を支援するためのパラメータ調整支援装置であって、
前記検査処理は、画像から所定の計測パラメータの値を計算し、前記計測パラメータの値を閾値と比較してＯＫ又はＮＧの判定結果を出力するものであり、
前記パラメータは、前記計測パラメータの値を計算する際の条件を規定する設定パラメータと、前記閾値とを含むものであり、
前記複数の検査処理のうちから調整対象とするＮ項目（Ｎは２以上の整数）の検査処理を設定する調整対象設定部と、
前記Ｎ項目の検査処理のすべてにおいてＯＫ判定が得られるべきＯＫ画像と、前記Ｎ項目の検査処理のうち少なくともいずれかの検査処理においてＮＧ判定が得られるべきＮＧ画像とを取得する画像取得部と、
前記Ｎ項目の検査処理のそれぞれについて、ＯＫ画像から前記設定パラメータの現在の条件に従って計算された前記計測パラメータの値であるＯＫ画像計測値と、当該検査処理のＮＧ画像から前記設定パラメータの現在の条件に従って計算された前記計測パラメータの値であるＮＧ画像計測値と、現在の前記閾値と、を描画したグラフを生成するグラフ生成部と、
前記グラフを表示装置に出力する出力部と、
を備えることを特徴とするパラメータ調整支援装置。

２．画像に対して複数の検査処理を実行可能な画像センサに関し、各検査処理で用いられるパラメータの調整を支援するためのパラメータ調整支援方法であって、
前記検査処理は、画像から所定の計測パラメータの値を計算し、前記計測パラメータの値を閾値と比較してＯＫ又はＮＧの判定結果を出力するものであり、
前記パラメータは、前記計測パラメータの値を計算する際の条件を規定する設定パラメータと、前記閾値とを含むものであり、
前記複数の検査処理のうちから調整対象とするＮ項目（Ｎは２以上の整数）の検査処理を設定するステップと、
前記Ｎ項目の検査処理のすべてにおいてＯＫ判定が得られるべきＯＫ画像と、前記Ｎ項目の検査処理のうち少なくともいずれかの検査処理においてＮＧ判定が得られるべきＮＧ画像とを取得するステップと、
前記Ｎ項目の検査処理のそれぞれについて、ＯＫ画像から前記設定パラメータの現在の条件に従って計算された前記計測パラメータの値であるＯＫ画像計測値と、当該検査処理のＮＧ画像から前記設定パラメータの現在の条件に従って計算された前記計測パラメータの値であるＮＧ画像計測値と、現在の前記閾値と、を描画したグラフを生成するステップと、
前記グラフを表示装置に出力するステップと、
を含むことを特徴とするパラメータ調整支援方法。

１：画像センサ
１０：撮像装置
１１：画像処理装置
１２：表示装置
１３：入力装置

Claims (10)

1. 画像に対して複数の検査処理を実行可能な画像センサに関し、各検査処理で用いられるパラメータの調整を支援するためのパラメータ調整支援装置であって、
   前記検査処理は、画像から所定の計測パラメータの値を計算し、前記計測パラメータの値を閾値と比較してＯＫ又はＮＧの判定結果を出力するものであり、
   前記パラメータは、前記計測パラメータの値を計算する際の条件を規定する設定パラメータと、前記閾値とを含むものであり、
   前記複数の検査処理のうちから調整対象とするＮ項目（Ｎは２以上の整数）の検査処理を設定する調整対象設定部と、
   前記Ｎ項目の検査処理のすべてにおいてＯＫ判定が得られるべきＯＫ画像と、前記Ｎ項目の検査処理のうち少なくともいずれかの検査処理においてＮＧ判定が得られるべきＮＧ画像とを取得する画像取得部と、
   前記Ｎ項目の検査処理のそれぞれについて、ＯＫ画像から前記設定パラメータの現在の条件に従って計算された前記計測パラメータの値であるＯＫ画像計測値と、当該検査処理のＮＧ画像から前記設定パラメータの現在の条件に従って計算された前記計測パラメータの値であるＮＧ画像計測値と、現在の前記閾値と、を描画したグラフを生成するグラフ生成部と、
   前記グラフを表示装置に出力する出力部と、
   を備えることを特徴とするパラメータ調整支援装置。
2. 前記ＯＫ画像計測値と前記ＮＧ画像計測値と前記閾値とが、少なくとも色又は図形のいずれか一方が異なる態様で前記グラフに描画される
   ことを特徴とする請求項１に記載のパラメータ調整支援装置。
3. 前記グラフ生成部は、前記調整対象の検査処理における前記ＯＫ画像計測値と前記ＮＧ画像計測値と前記閾値の関係に基づいて、当該検査処理の前記パラメータの調整が必要か否かを判断し、その判断結果を前記グラフに描画する
   ことを特徴とする請求項１又は２に記載のパラメータ調整支援装置。
4. 前記グラフ生成部は、さらに前記閾値と前記設定パラメータのいずれの調整が必要かを判断し、その判断結果を前記グラフに描画する
   ことを特徴とする請求項３に記載のパラメータ調整支援装置。
5. 前記グラフ生成部は、前記パラメータの調整が不要、前記閾値の調整が必要、前記設定パラメータの調整が必要、の少なくとも３つの状態を判断するものであり、
   前記３つの状態が互いに異なる色で前記グラフに描画される
   ことを特徴とする請求項４に記載のパラメータ調整支援装置。
6. 前記出力部は、前記パラメータの調整作業を行うための調整ウィンドウを前記表示装置に出力する
   ことを特徴とする請求項１～５のうちいずれか１項に記載のパラメータ調整支援装置。
7. 前記調整ウィンドウには、各ＯＫ画像のＯＫ画像計測値と各ＮＧ画像のＮＧ画像計測値と前記閾値が描画された散布図が表示される
   ことを特徴とする請求項６に記載のパラメータ調整支援装置。
8. 前記調整ウィンドウは、前記散布図に描画するＯＫ画像計測値とＮＧ画像計測値を、前記閾値により規定されるＯＫ範囲から外れるＯＫ画像のＯＫ画像計測値と、前記ＯＫ範囲に含まれるＮＧ画像のＮＧ画像計測値のみに切り替え可能である
   ことを特徴とする請求項７に記載のパラメータ調整支援装置。
9. 画像に対して複数の検査処理を実行可能な画像センサに関し、各検査処理で用いられるパラメータの調整を支援するためのパラメータ調整支援方法であって、
   前記検査処理は、画像から所定の計測パラメータの値を計算し、前記計測パラメータの値を閾値と比較してＯＫ又はＮＧの判定結果を出力するものであり、
   前記パラメータは、前記計測パラメータの値を計算する際の条件を規定する設定パラメータと、前記閾値とを含むものであり、
   前記複数の検査処理のうちから調整対象とするＮ項目（Ｎは２以上の整数）の検査処理を設定するステップと、
   前記Ｎ項目の検査処理のすべてにおいてＯＫ判定が得られるべきＯＫ画像と、前記Ｎ項目の検査処理のうち少なくともいずれかの検査処理においてＮＧ判定が得られるべきＮＧ画像とを取得するステップと、
   前記Ｎ項目の検査処理のそれぞれについて、ＯＫ画像から前記設定パラメータの現在の条件に従って計算された前記計測パラメータの値であるＯＫ画像計測値と、当該検査処理のＮＧ画像から前記設定パラメータの現在の条件に従って計算された前記計測パラメータの値であるＮＧ画像計測値と、現在の前記閾値と、を描画したグラフを生成するステップと、
   前記グラフを表示装置に出力するステップと、
   を含むことを特徴とするパラメータ調整支援方法。
10. 請求項９に記載のパラメータ調整支援方法の各ステップをプロセッサに実行させるためのプログラム。

Images