JP2022187070A - 画像認識システム - Google Patents

Abstract

【課題】画像に含まれる形状を認識する画像認識システムにおいて、画像内に複数の形状が映る場合であっても、それら形状の個別の予測結果についてその成否を判定することができる技術を提供する。【解決手段】本発明に係る画像認識システムは、画像内において認識した対象形状ごとにかつ特徴量の種類ごとに特徴量の重要度を計算し、前記重要度と特徴量の種類ごとの統計量とを前記対象形状ごとに比較することにより、認識結果の正否を判定する。【選択図】図２

Description

本発明は、画像に含まれる形状を認識する画像認識システムに関する。

半導体や液晶パネルなどの製造ラインにおいては、工程初期に不良が発生すると、その後の工程の作業は無駄になってしまう。そこで、工程の要所毎に検査工程を設けて、所定の歩留まりを得られていることを確認・維持しながら製造を進める。これらの検査工程においては、例えば、走査型電子顕微鏡（ＳＥＭ：Ｓｃａｎｎｉｎｇ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ）を応用した測長ＳＥＭ（ＣＤ－ＳＥＭ：Ｃｒｉｔｉｃａｌ Ｄｉｍｅｎｓｉｏｎ－ＳＥＭ）や欠陥レビューＳＥＭ（Ｄｅｆｅｃｔ Ｒｅｖｉｅｗ ＳＥＭ）などが用いられている。

検査工程においては、検査装置が撮像する画像に対して欠陥や異常の有無を確認する。近年、機械学習で構築された画像処理モデルによって高精度な自動検査が可能となった。しかし検査の対象となる試料の特徴は製造プロセスによって変わるので、高精度な検査精度を維持するためには製造現場で画像処理モデルを再学習する必要がある。その場合、再学習モデルと既存モデルとの間の性能比較評価や、再学習モデルが正常に機能しているかの確認、といったことが必要である。すなわち画像認識モデルの性能評価が必要となってくる。一般に性能評価はラベル付けしたデータもしくは第３者による確認によって実施されるが、製造現場ではコストや時間などの観点からこれらを実施するのは困難である。そこでラベルなしデータにより自動でモデルの性能を評価する必要がある。

本技術分野の背景技術としては、例えば、特許文献１のような技術がある。特許文献１は『画像の特徴量に基づき分類を行う画像分類装置および画像分類方法において、簡便な方法で、分類結果の確からしさに関する情報を提示することのできる技術を提供する。』ことを課題として、『任意の分類アルゴリズムによりカテゴリＡに分類された欠陥画像Ｘを算出対象として、その分類結果の確度を算出する。複数種の特徴量Ｖ１～Ｖ８のそれぞれに対して、当該分類カテゴリに属する典型的な画像が有する値の範囲を典型範囲として求めておく。算出対象画像Ｘを表す各特徴量のうち、その値が典型範囲内にあるものに投票を行い、特徴量の種類数に対する得票数の比を確度として出力する。』という技術を記載している（要約参照）。

特開２０１３－０７７１２７号公報

上記特許文献１の技術は、分類アルゴリズム（画像認識モデル）による分類結果の確からしさを表す確度を出力する。これにより画像認識モデルの分類結果の正否を判定できるので、ラベルなしデータにより自動でモデルの性能評価が可能であると考えられる。

しかしながら、特許文献１記載のような従来の画像分類装置は、１つの入力画像全体に対して特徴量を計算する。換言すると、画像内に複数の欠陥が存在する場合であっても、その複数欠陥の全体を識別する特徴量を計算することになる。そうすると、その特徴量によって識別されるのは複数の欠陥の集合体であり、個々の欠陥を個別識別しているわけではない。したがって、個々の欠陥の予測結果についてその成否を判定することは困難である。

本発明は、上記のような課題に鑑みてなされたものであり、画像に含まれる形状を認識する画像認識システムにおいて、画像内に複数の形状が映る場合であっても、それら形状の個別の予測結果についてその成否を判定することができる技術を提供することを目的とする。

本発明に係る画像認識システムは、画像内において認識した対象形状ごとにかつ特徴量の種類ごとに特徴量の重要度を計算し、前記重要度と特徴量の種類ごとの統計量とを前記対象形状ごとに比較することにより、認識結果の正否を判定する。

本発明に係る画像認識システムによれば、画像に含まれる形状を認識する画像認識システムにおいて、画像内に複数の形状が映る場合であっても、それら形状の個別の予測結果についてその成否を判定することができる。上記以外の課題、構成、効果は、以下の実施形態の説明により明らかにされる。

実施形態１に係る画像認識システム１００の構成を概念的に示す図である。 画像認識システム１００の構成を示すブロック図である。 画像認識システム１００の動作を説明するフローチャートである。 特徴量重要度算出部１４の処理を示すフローチャートである。 特徴量重要度算出部１４によって求まる結果の１例である。 画像認識システム１００の構成を示すブロック図である。 統計量算出部２１が統計量を求める手順を説明するフローチャートである。 Ｓ１１４において特徴量重要度データベース（ＤＢ）２０へ格納するデータの１例である。 Ｓ１１６において統計情報データベース（ＤＢ）１５へ格納するデータの１例である。 分布の比較による予測結果の正否判定を概念的に示す図である。 実施形態２に係る画像認識システム１００の構成を示すブロック図である。 実施形態２における画像認識システム１００の動作を説明するフローチャートである。 判定結果データベース（ＤＢ）２６に保存された誤認識判定結果と、評価結果データベース（ＤＢ）２８に保存されたモデル評価結果を表示するＧＵＩの例である。 比較結果データベース（ＤＢ）３０に保存された比較結果を表示するＧＵＩの例である。 実施形態３に係る画像認識システム１００の動作を説明するフローチャートである。 表示部３１が出力するＧＵＩの例である。

＜実施の形態１＞
図１は、本発明の実施形態１に係る画像認識システム１００の構成を概念的に示す図である。画像認識システム１００は、画像認識部２、誤認識判定部６などを備える。画像認識部２は、撮像画像１に対して予測を実施することにより予測結果３を取得する。誤認識判定部６は、予測結果３の正否を判定する。

予測結果３に示すように、画像認識部２は撮像画像１に映る欠陥の種類と位置を、予測結果４と予測結果５のようにそれぞれ個別に予測する。誤認識判定部６は画像認識部２によって予測された結果を入力とし、それら結果の正否を個別に判定する。つまり誤認識判定部６は予測された結果の領域毎に予測された欠陥の種類が正しいか否かを判定し、予測結果４については判定結果７、予測結果５については判定結果８として出力する。

図２は、画像認識システム１００の構成を示すブロック図である。図２を用いて、図１で説明した機能を実現するための具体的な構成について説明する。

検査装置１０は、試料９の撮像画像１を撮像する。試料９は例えば半導体ウエハである。検査装置１０は例えば、ミラー電子を結像するミラー電子顕微鏡による欠陥検査装置や光学式の欠陥検査装置などが該当する。

画像認識部２は、取得された撮像画像１に対して欠陥検査を実施する。画像認識部２は撮像画像１から特徴量を抽出し、抽出した特徴量から撮像画像１に映る欠陥を検出する。画像認識部２は、撮像画像１に複数の欠陥が映っている場合、それら欠陥を個別に予測する。したがって画像認識部２は、欠陥の種類と位置を予測可能な画像認識モデルを備える。画像認識部２が備える画像認識モデルとしては、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）で構成されたＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）やＲｅｔｉｎａＮｅｔなどを用いることができる。

誤認識判定部６は、特徴量重要度算出部１４、統計情報データベース（ＤＢ）１５、比較部１６を備える。各構成部の処理内容の詳細は後述する。

特徴量重要度算出部１４は、予測結果１３を入力とし、予測結果１３から特徴量重要度を求める。特徴量重要度は、画像認識部２が抽出した特徴量が予測結果に対して有する重要度を表している。重要度の具体例については後述する。

統計情報データベース（ＤＢ）１５は、特徴量重要度算出部１４が求めた特徴量重要度に関する統計量を保存している。

比較部１６は、特徴量重要度算出部１４が求めた特徴量重要度と統計情報データベース（ＤＢ）１５に保存されている統計量とを比較する。比較部１６は、特徴量重要度算出部１４が求めた特徴量重要度が統計情報データベース（ＤＢ）１５に保存されている統計量から逸脱する場合には、予測結果１３は誤りと判定し、判定結果１７として出力する。

図３は、画像認識システム１００の動作を説明するフローチャートである。以下図３の各ステップについて説明する。

ステップＳ１０１において、検査装置１０は試料９の撮像画像１を撮像する。

ステップＳ１０２において、画像認識部２は撮像画像１に対して画像処理を実施することにより、撮像画像１に映っている欠陥の種類と位置を予測し、予測結果１３として出力する。

ステップＳ１０３において、特徴量重要度算出部１４は予測結果毎に特徴量重要度を求める。

ステップＳ１０４において、比較部１６は、特徴量重要度算出部１４が求めた特徴量重要度と統計情報データベース（ＤＢ）１５に保存されている統計量とを比較することにより、予測結果毎に予測結果の正否を判定する。

図４から図８を参照して、誤認識判定部６を構成する特徴量重要度算出部１４、統計情報データベース（ＤＢ）１５、比較部１６について、各構成部の処理内容の詳細を説明する。

図４は、特徴量重要度算出部１４の処理を示すフローチャートである。以下図４の各ステップについて説明する。

ステップＳ１０５において、特徴量重要度算出部１４は誤差逆伝搬を用いて、予測結果に対する画像認識部２の特徴量マップの微分を計算する。この微分値を用いて、予測結果に対する重要度を特徴量マップのチャンネル（特徴量の種別）毎に求める。特徴量マップは撮像画像１に対して抽出された特徴量を保持している。本ステップの処理を、数１に示す。

数１においてｙ_{ｃ，ｂｏｘ＿ｐｒｅ}は画像認識部２によって予測されたクラスｃ（欠陥の種類）に対するスコアであり、ｂｏｘ＿ｐｒｅは予測した位置を表す。Ａ_{ｉ，ｊ，ｋ}は画像認識部２の特徴量マップを表し、ｉ、ｊはそれぞれ特徴量マップの縦と横のピクセル番号、ｋはチャンネル番号を表す。ｕ，ｖはそれぞれ特徴量マップの縦と横のピクセル数を表す。ｚはｕ×ｖである。つまりステップＳ１０５によって、クラスがｃであり位置がｂｏｘ＿ｐｒｅであるスコア値に対する特徴量マップの微分を計算し、チャンネル毎に平均値を計算する。これにより求まるα_{ｋ，ｃ，ｂｏｘ＿ｐｒｅ}は、チャンネル番号ｋの特徴量マップが保持する特徴量の、予測結果（クラスがｃ、位置がｂｏｘ＿ｐｒｅ）に対する重要度を表す。重要度はチャンネル毎に求めるので、例えばチャンネル数が１００の場合は１００通りの重要度が求まる。撮像画像１に欠陥が複数映り予測結果が複数ある場合は、予測結果毎に重要度を求める。この重要度は、特徴量の種別ｋが認識結果に対して与える影響度を表していることになる。

ステップＳ１０６において、特徴量重要度算出部１４は、特徴量マップが保持する特徴量を、ステップＳ１０５でもとめた重要度と予測結果の領域情報で重みづけする。この処理を数２に示す。Ｓ_{ｋ，ｃ，ｂｏｘ＿ｐｒｅ}は予測結果の領域情報であり数３によって求まる。Ｓ_{ｋ，ｃ，ｂｏｘ＿ｐｒｅ}は、チャンネル番号ｋの特徴量マップの各ピクセルにおける、予測結果（クラスがｃ、位置がｂｏｘ＿ｐｒｅ）に対する領域の重要度を表す。予測結果の領域情報としては、予測結果の領域内を１、それ以外の領域を０としたマスクや、あらかじめ重要領域を設定しておいたテンプレート領域なども用いることができる。撮像画像１に欠陥が複数映り予測結果が複数ある場合は、予測結果毎に数２の処理を実施する。ステップＳ１０６において、特徴量重要度算出部１４は、特徴量マップが保持する特徴量を、ステップＳ１０５で求めた重要度のみで重みづけしてもよい。Ｇ_{ｋ，ｃ，ｂｏｘ＿ｐｒｅ}またはＳ_{ｋ，ｃ，ｂｏｘ＿ｐｒｅ}は、画像領域が認識結果に対して与える影響度を表していることになる。

ステップＳ１０７において、特徴量重要度算出部１４は、ステップＳ１０６で求めたＧ_{ｋ，ｃ，ｂｏｘ＿ｐｒｅ}から特徴量重要度をチャンネル番号毎に求める。特徴量重要度は、例えば、Ｇ_{ｋ，ｃ，ｂｏｘ＿ｐｒｅ}において予測結果付近の領域のみの値に対し平均を計算することや、あらかじめ設定された閾値以上の値のみに対し平均を計算することなどによって求めることができる。上記処理によってチャンネル番号別に特徴量重要度を求めることができるので、例えば、チャンネル数が１００の場合は１００通りの特徴量重要度が求まる。撮像画像１に欠陥が複数映り予測結果が複数ある場合は、予測結果毎に特徴量重要度を求める。

ステップＳ１０８において、特徴量重要度算出部１４は、ステップＳ１０７で求めた特徴量重要度を値の降順でソートし、予測結果（クラスがｃ、位置がｂｏｘ＿ｐｒｅ）に対する重要なチャンネルＡ個（第１個数）を決定する。撮像画像１に欠陥が複数映り予測結果が複数の場合は、予測結果毎に上記処理を実施する。

図５は、特徴量重要度算出部１４によって求まる結果の１例である。図５に示すように、ステップＳ１０５からステップＳ１０８によって、予測結果に対する重要なチャンネルＡ個が求まる。

図６から図８を用いて、統計情報データベース（ＤＢ）１５に保存されている統計量の求め方について説明する。

図６は、画像認識システム１００の構成を示すブロック図である。画像認識システム１００は、図２で説明した構成に加えて、特徴量重要度データベース（ＤＢ）２０を備えてもよい。

画像認識部２は学習画像１８に対して予測を実施し、予測結果１９を出力する。学習画像１８は画像認識部２の学習時に使った画像である。学習画像１２は学習に使った画像の一部を使ってもよい。

特徴量重要度算出部１４は予測結果１９に対して特徴量重要度を計算し、その結果を特徴量重要度データベース（ＤＢ）２０に保存する。

統計量算出部２１は特徴量重要度データベース（ＤＢ）２０に保存されている結果から統計量を計算し、結果を統計情報データベース（１５）に保存する。統計量の具体例については後述する。

図７は、統計量算出部２１が統計量を求める手順を説明するフローチャートである。以下図７の各ステップについて説明する。

ステップＳ１０９において、画像認識部２は学習画像１８に対し予測を実施して予測結果１９を出力する。

ステップＳ１１０において、特徴量重要度算出部１４は誤差逆伝搬により予測結果１９に対する画像認識部２の特徴量マップの微分を計算し、予測結果１９に対する重要度を特徴量マップのチャンネル毎に求める。計算手順はＳ１０５と同じである。

ステップＳ１１１において、特徴量重要度算出部１４は特徴量マップが保持する特徴量を、重要度と予測結果の領域情報で重みづけする。計算手順はＳ１０６と同じである。

ステップＳ１１２において、特徴量重要度算出部１４はステップＳ１１１の結果から、特徴量重要度をチャンネル毎に求める。計算手順はＳ１０７と同じである。

ステップＳ１１３において、特徴量重要度算出部１４は特徴量重要度を値の降順でソートし、予測に対する重要なチャンネルＢ個（第２個数）を決定する。

ステップＳ１１４において、特徴量重要度算出部１４は結果を特徴量重要度データベース（ＤＢ）２０に保存する。この際、予測結果のクラス別に保存する。本ステップの結果の１例は図８Ａにおいて説明する。

ステップＳ１１５において、全ての学習画像に対し処理を実施したか否かを判断する。全ての学習画像に対し処理を実施した場合（ＹＥＳ）はステップＳ１１６に進む。全ての学習画像に対し処理を実施していない場合（ＮＯ）は、ステップＳ１０９に戻り、ステップＳ１０９以降の処理を再び実行する。

ステップＳ１１６において、統計量算出部２１は特徴量重要度データベース（ＤＢ）２０に保存されている結果から統計量を計算し、学習画像の予測に対する統計的に求めた重要チャンネルＣ個（第３個数）をクラス別に決定する。これは例えば、特徴量重要度データベース（ＤＢ）２０に保存されている結果からクラスごとに、Ｒａｎｋ Ｂ以内に入った回数が多い上位Ｃ個のチャンネル番号を決定することによる。本ステップの結果の１例は図８Ｂにおいて説明する。

ステップＳ１１７において、統計量算出部２１は求めた結果をクラス別に統計情報データベース（ＤＢ）１５に保存する。

図８Ａは、Ｓ１１４において特徴量重要度データベース（ＤＢ）２０へ格納するデータの１例である。図８Ａに示すように、予測結果毎に求められた重要なチャンネルＢ個がクラス別に保存される。図８Ａにおいて、１つの表は１つの予測結果（すなわち１つの欠陥を識別した結果）に対応する。

図８Ｂは、Ｓ１１６において統計情報データベース（ＤＢ）１５へ格納するデータの１例である。図８Ｂに示すように、特徴量重要度データベース（ＤＢ）２０から求めた重要なチャンネルＣ個がクラス別に保存される。

比較部１６は、特徴量重要度算出部１４が求めた特徴量重要度と、統計情報データベース（ＤＢ）１５に保存されている特徴量重要度に関する統計量とを比較し、予測結果の正否を判定する。予測クラスがＸの場合、特徴量重要度算出部１４が求めた予測結果に対する重要なチャンネルＡ個と、統計情報データベース（ＤＢ）１５に保存されているクラスＸに対応する重要チャンネルＣ個を比較する。予測結果の正否判定は、例えば、特徴量重要度算出部１４が求めた重要なチャンネルＡ個のうちＮ個（閾値）以上が、統計情報データベース（ＤＢ）１５に保存されている重要チャンネルＣ個に含まれていれば正解、そうでなければ不正解として判定する。

図９は、分布の比較による予測結果の正否判定を概念的に示す図である。比較部１６は特徴量重要度の分布と特徴量重要度の統計分布とを比較して予測結果の正否を判定してもよい。この場合、特徴量重要度算出部１４は、予測結果に対しチャンネル番号と特徴量重要度に関する分布を求める。統計量算出部２１は、学習画像の予測結果に対するチャンネル番号と特徴量重要度に関する統計分布をクラス別に統計情報データベース（ＤＢ）１５へ格納する。比較部１６は、予測結果に対し特徴量重要度算出部１４が求めた分布と、統計情報データベース（ＤＢ）１５に保存されている統計分布との間の距離を計算し、その距離が閾値Ｄ以下の大きさであるならば予測結果を正解、そうでなければ不正解として判定する。分布間の距離は、例えば、Ｌ１距離、Ｌ２距離、ＫＬ（Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ）などによって測定する。

＜実施の形態１：まとめ＞
本実施形態１に係る画像認識システム１００は、画像特徴量が認識結果に対して与える影響の大きさを表すパラメータを用いて、特徴量重要度を対象形状ごとにかつ特徴量種別ごとに計算する。さらに、特徴量重要度とその統計量を比較することにより、認識結果の正否を判定する。特徴量重要度とその統計量との比較を対象形状ごとに実施するので、画像内に複数の対象形状が映っている場合であっても、その対象形状ごとに認識結果の正否を判定することができる。

本実施形態１に係る画像認識システム１００は、画像領域が認識結果に対して与える影響の大きさを表すパラメータを用いて、特徴量重要度を対象形状ごとにかつ特徴量種別ごとに計算する。これにより、画像内の各部分に対象形状が分散している場合であっても、その対象形状ごとに認識結果の正否を判定することができる。

＜実施の形態２＞
図１０は、本発明の実施形態２に係る画像認識システム１００の構成を示すブロック図である。本実施形態２においては、誤認識判定部６の結果に基づき、画像認識モデルを評価または比較する。

モデルデータベース（ＤＢ）２２は、教師データ、学習条件などを変えて学習した複数の画像認識モデルが保存されたデータベースである。

モデル読み込み部２３は、モデルデータベース（ＤＢ）２２からモデルを選択し、画像認識部２に読み込む。

評価画像２４はモデルの評価をするための画像であり、ラベルなしデータである。これらは、例えば、検査装置によって撮像される画像から適当な画像を収取する。

判定結果データベース（ＤＢ）２６は、誤認識判定部６による判定結果を保存するデータベースである。

モデル評価部２７は、判定結果データベース（ＤＢ）２６に保存されている結果から画像認識部２に読み込まれたモデルの性能を評価し、評価結果データベース（ＤＢ）２８に保存する。

モデル比較部２９は、評価結果データベース（ＤＢ）２８に保存されている結果から、モデルを比較評価し、結果を比較結果データベース（ＤＢ）３０に保存する。

モデル監視部３２は判定結果データベース（ＤＢ）２６に保存されている結果から、モデルの監視を行い、結果を監視データベース（ＤＢ）３３に保存する。モデル監視部３２および監視データベース（ＤＢ）３３の詳細については後述の実施形態で説明する。

表示部３１は、誤認識判定結果、モデル評価結果、モデル比較結果、モデル監視結果を表示する表示装置である。表示部３１は、後述する各ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示することもできる。

図１１は、本実施形態２における画像認識システム１００の動作を説明するフローチャートである。以下図１１の各ステップについて説明する。

ステップＳ１１８において、モデル読み込み部２３はモデルデータベース（ＤＢ）２２からモデルを選択し読み込む。画像認識部２はそのモデルを取得する。

ステップＳ１１９において、画像認識部２は評価画像２４に対し予測を実施して予測結果２５を出力する。

ステップＳ１２０において、誤認識判定部６は予測結果２５に対し、その結果の正否を判定し、判定結果データベース（ＤＢ）２６に保存する。

ステップＳ１２１において、全ての評価画像に対し処理を実施したか否かを判断する。全ての評価画像に対し処理を実施した場合（ＹＥＳ）はステップＳ１２２に移行する。全ての評価画像に対し処理を実施していない場合（ＮＯ）はステップＳ１１９に戻り、ステップＳ１１９以降の処理を再実行する。

ステップＳ１２２において、モデル評価部２７は判定結果データベース（ＤＢ）２６に保存されている結果からモデルの性能を評価し、評価結果を評価モデルと関連付けて評価結果データベース（ＤＢ）２８に保存する。

ステップＳ１２３において、モデルデータベース（ＤＢ）２２に保存されている全てのモデルに対し処理を実施したか否かを判断する。全てのモデルに対し処理を実施した場合（ＹＥＳ）はステップＳ１２４に移行する。全てのモデルに対し処理を実施していない場合（ＮＯ）はＳ１１８に戻る。

ステップＳ１２４において、モデル比較部２９は評価結果データベース（ＤＢ）２８に保存されている結果から、モデルを比較評価し、結果を比較結果データベース（ＤＢ）３０に保存する。

図１２は、判定結果データベース（ＤＢ）２６に保存された誤認識判定結果と、評価結果データベース（ＤＢ）２８に保存されたモデル評価結果を表示するＧＵＩの例である。図１２に示すように、ＧＵＩには、（１）評価データ選択部、（２）モデル選択部、（３）画像選択部、（４）画像確認部、（５）予測・判定結果確認部、（６）クラス選択部、（７）評価結果確認部などが表示される。

（１）評価データ選択部によって評価データを選択し、（２）モデル選択部によってモデルを選択する。

（５）予測・判定結果確認部では、（３）画像選択部によって選択され（４）画像確認部に表示される画像に対する、画像認識部２の予測結果と、誤認識判定部６によるそれら予測結果に対する正否判定の判定結果が表示される。

（７）評価結果確認部では、モデル評価部２７による評価結果が表示される。評価指標は、例えば、認識総数、推定誤認識数、推定誤認識率、推定正答率などである。（６）クラス選択部によってクラス毎の評価結果を表示することが可能である。

図１３は、比較結果データベース（ＤＢ）３０に保存された比較結果を表示するＧＵＩの例である。図１３に示すようにＧＵＩには、（１）評価データ選択部、（２）比較条件設定部、（３）比較結果確認部などが表示される。

（１）評価データ選択部によって評価データを選択する。

（２）比較条件設定部では、モデルの比較評価を行う際の具体的な設定がなされる。例えば、比較対象として比較される指標や、モデル確信度などが設定される。モデル確信度は画像認識モデルの予測結果に対する「確からしさ」を定量的に示す指標であり、値が大きいほど、予測結果の蓋然性が高い。

（３）比較結果確認部には、（２）比較条件設定部で設定された条件で、複数のモデルに対する比較結果が表示される。例えば、クラス別に比較対象で評価した場合の最適モデルが表示される。

＜実施の形態３＞
図１４は、本発明の実施形態３に係る画像認識システム１００の動作を説明するフローチャートである。本実施形態３においては、誤認識判定部６の判定結果に基づき、モデルの状態を監視する。画像認識システム１００の構成は実施形態２と同様である。

ステップＳ１２５において、検査終了か否かを判断する。検査終了の場合（ＹＥＳ）は本フローチャートを終了する。検査終了でない場合（ＮＯ）は、ステップＳ１２６に移行する。

ステップＳ１２６において、検査装置１０は試料９の撮像画像１を撮像する。

ステップＳ１２７において、画像認識部２は、撮像画像１に対し予測を実施して予測結果２５を出力する。

ステップＳ１２８において、誤認識判定部６は予測結果２５に対し、その結果の正否を判定し、結果を判定結果データベース（ＤＢ）２６に保存する。

ステップＳ１２９において、モデル監視部３２はその時点における誤認識数の総数を集計し、結果を監視データベース（ＤＢ）３３に保存する。モデル監視部３２は認識総数と誤認識数の総数から推定誤認識率、推定正答率などを求めてもよい。

ステップＳ１３０において、検査期間内の誤認識数が閾値以上か否かを判断する。検査期間内の誤認識数が閾値以上の場合（ＹＥＳ）、ステップＳ１３１に移行し、モデル監視部３２は警告を出す。検査期間内の誤認識数が閾値以上でない場合（ＮＯ）、ステップＳ１２５に戻り、ステップＳ１２５以降の処理を再実行する。検査期間内の推定誤認識率が閾値以上、検査期間内の推定正答率が閾値以下、などで判断してもよい。

図１５は、表示部３１が出力するＧＵＩの例である。図１５はＧＵＩへの監視データベース（ＤＢ）３３に保存された結果の表示例である。図１５に示すように、ＧＵＩには、（１）期間選択部、（２）監視結果確認部などが表示される。

（２）監視結果確認部は、監視データベース（ＤＢ）３３に保存されている結果を表示する。図１５に示すように、例えば、横軸が検査期間、縦軸が推定誤認識数や推定誤認識率であるグラフが表示される。横軸の検査期間は、（１）期間選択部で変更可能である。図１５の例では、１か月毎に推定誤認識率、推定誤認識率が集計され、あらかじめ設定しておく設定値を超えた場合に、モデル監視部３２は警告を出す。

＜本発明の変形例について＞
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記の実施形態は本発明に対する理解を助けるために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

以上の実施形態において、画像認識部２は予測結果として、欠陥の種類（クラス）と位置を出力することを説明した。本発明の画像認識システム１００は、画像認識部２が入力画像のピクセル毎にクラス分類を実施する（セグメンテーション）場合においても適用可能である。この場合、例えば、画像認識部２の予測結果で得られるセグメント領域を指定領域として誤認識判定部６の入力とする。

以上の実施形態において、欠陥以外の任意の形状が画像内に移っている場合においてその形状を認識する画像認識システムに対して、本発明を適用することもできる。すなわち画像内の物体の種類と位置を認識するシステム一般において、本発明を適用することができる。

以上の実施形態において、あらかじめ検査対象となる試料の画像（典型的画像）を取得しておき、画像認識部２の予測結果と典型画像を比較することにより、予測結果の正否を判定してもよい。

以上の実施形態において、特徴量重要度算出部１４は、例えば、ユーザが指定した領域における代表ピクセルが持つクラススコアに対し図４に示す処理を実施することにより、特徴量重要度を求めることができる。代表ピクセルは、例えば、入力領域において最も高いクラススコアを持つピクセルを選択するなどによって決定する。統計量算出部２１は、画像認識部の学習に使った画像に対する予測結果の指定領域毎に、図７に示したフローに従って特徴量重要度に関する統計量を求める。上記処理により、誤認識判定部６は画像認識部２の予測結果における指定領域毎に、予測結果の正否を判定でき、その結果に基づき、モデル評価、モデル比較、モデル監視が可能である。

以上の実施形態において、数２の係数αを省略し、ＡとＳのみによってＧを計算してもよい。本発明者の実験によれば、この場合であっても、正誤判定精度は十分であったことを付言しておく。

以上の実施形態において、画像認識システム１００が備える各機能部（画像認識部２、誤認識判定部６、統計量算出部２１、モデル読み込み部２３、モデル評価部２７、モデル比較部２９、表示部３１、モデル監視部３２）は、その機能を実装した回路デバイスなどのハードウェアによって構成することもできるし、その機能を実装したソフトウェアを演算装置（例えばＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が実行することによって構成することもできる。

以上の実施形態において、各データベースは、レコードを記録するデータファイルを記憶装置に格納することによって構成することができる。データベースに対してアクセスするデータベース管理機能は、画像認識システム１００が備える各機能部が実装してもよいし、データベース管理システムを別途設けてこれを介してレコードへアクセスするようにしてもよい。

以上の実施形態において、検査装置１０は画像認識システム１００の一部として構成してもよいし、画像認識システム１００は検査装置１０から独立した装置として構成してもよい。

１００：画像認識システム
２：画像認識部
６：誤認識判定部
９：試料
１０：検査装置
１４：特徴量重要度算出部
１５：統計情報データベース（ＤＢ）
１６：比較部
２０：特徴量重要度データベース（ＤＢ）
２１：統計量算出部
２２：モデルデータベース（ＤＢ）
２３：モデル読み込み部
２６：判定結果データベース（ＤＢ）
２７：モデル評価部
２８：評価結果データベース（ＤＢ）
２９：モデル比較部
３０：比較結果データベース（ＤＢ）
３１：表示部
３２：モデル監視部
３３：監視データベース（ＤＢ）

Claims (12)

1. 画像に含まれる形状を認識する画像認識システムであって、
   機械学習を実施した結果に基づいて入力画像から特徴量を抽出し、前記特徴量を用いて前記入力画像に含まれる対象形状を認識する、画像認識部、
   前記画像認識部による認識結果の正否を判定する誤認識判定部、
   を備え、
   前記誤認識判定部は、
   前記特徴量の重要度を計算する特徴量重要度算出部、
   前記重要度に関する統計量を格納する統計情報データベース、
   前記重要度と前記統計量を比較することにより前記認識結果の正否を判定する比較部、
   を備え、
   前記特徴量重要度算出部は、前記画像認識部が認識した前記対象形状ごとに、かつ前記特徴量の種類ごとに、前記重要度を計算し、
   前記統計情報データベースは、前記対象形状の種類ごとに、かつ前記特徴量の種類ごとに、前記統計量を格納しており、
   前記比較部は、前記特徴量重要度算出部が計算した前記特徴量の種類ごとの前記重要度と、前記統計情報データベースが格納している前記特徴量の種類ごとの前記統計量とを、前記画像認識部が認識した前記対象形状ごとに比較することにより、前記画像認識部が認識した前記対象形状ごとに前記認識結果の正否を判定する
   ことを特徴とする画像認識システム。
2. 前記特徴量重要度算出部は、前記画像認識部が前記対象形状を認識する際における前記特徴量の影響の大きさを表す特徴量重要度パラメータを用いて、前記重要度を計算し、
   前記特徴量重要度算出部は、前記特徴量重要度パラメータに加えて、前記画像認識部が前記対象形状を認識する際における前記入力画像内の画像領域の影響の大きさを表す領域重要度パラメータを用いて、前記重要度を計算する
   ことを特徴とする請求項１記載の画像認識システム。
3. 前記特徴量重要度算出部は、前記画像認識部が前記対象形状を認識する際における前記特徴量の影響の大きさを表す特徴量重要度パラメータを用いて、前記重要度を計算し、
   前記特徴量重要度算出部は、前記入力画像のピクセル位置ごとの前記特徴量の増分に対する前記認識結果の確信度スコアの増分の比率を用いて、前記特徴量重要度パラメータを計算する
   ことを特徴とする請求項１記載の画像認識システム。
4. 前記特徴量重要度算出部は、前記画像認識部が前記対象形状を認識する際における前記入力画像内の画像領域の影響の大きさを表す領域重要度パラメータを用いて、前記重要度を計算し、
   前記特徴量重要度算出部は、前記認識結果の確信度スコアを前記特徴量によって微分した微分値と、前記入力画像内における前記微分値の最大値との間の比率を、前記画像領域ごとに求めることにより、前記領域重要度パラメータを計算する
   ことを特徴とする請求項１記載の画像認識システム。
5. 前記画像認識システムはさらに、前記統計情報データベースを作成する統計量算出部を備え、
   前記統計量算出部は、前記特徴量の種別を前記重要度が高い順に第１個数列挙した第１リストを、前記画像認識部が認識した前記対象形状ごとに作成し、
   前記統計量算出部は、各前記第１リストのなかに含まれている頻度が高い順に前記特徴量の種別を第２個数列挙した第２リストを、前記画像認識部が認識した前記対象形状ごとに、前記統計量として前記統計情報データベースに格納し、
   前記特徴量重要度算出部は、前記特徴量の種別を前記重要度が高い順に第３個数列挙した第３リストを、前記画像認識部が認識した前記対象形状ごとに作成し、
   前記比較部は、前記第３リストが列挙している前記特徴量の種別のうち閾値個数以上が前記第２リストのなかに含まれている場合は、その対象形状についての前記認識結果が正解であると判定し、そうでなければ不正解であると判定する
   ことを特徴とする請求項１記載の画像認識システム。
6. 前記画像認識システムはさらに、前記統計情報データベースを作成する統計量算出部を備え、
   前記特徴量重要度算出部は、前記特徴量の種別と前記重要度の分布を記述した第１分布を、前記画像認識部が認識した前記対象形状ごとに作成し、
   前記統計量算出部は、前記特徴量の種別と前記重要度の分布を記述した第２分布を、前記画像認識部が認識した前記対象形状の種別ごとに作成し、
   前記比較部は、前記第１分布と前記第２分布との間の距離を計算し、
   前記比較部は、前記距離が閾値以下である場合は、その対象形状についての前記認識結果が正解であると判定し、そうでなければ不正解であると判定する
   ことを特徴とする請求項１記載の画像認識システム。
7. 前記画像認識システムはさらに、
   １以上の前記入力画像について前記画像認識部による認識結果または前記誤認識判定部による判定結果を格納する判定結果データベース、
   前記画像認識部の性能を評価した結果を格納する評価結果データベース、
   前記判定結果データベースが格納している結果から前記画像認識部の性能を評価しその評価結果を前記評価結果データベースに格納するモデル評価部、
   を備える
   ことを特徴とする請求項１記載の画像認識システム。
8. 前記画像認識システムはさらに、
   画像に含まれる形状を認識するための機械学習をあらかじめ実施した画像認識モデルを１以上格納するモデルデータベース、
   前記モデルデータベースが格納している前記画像認識モデルを前記画像認識部に読み込ませるモデル読み込み部、
   前記評価結果データベースが格納している１以上の評価結果に基づき前記画像認識モデルを評価するモデル比較部、
   を備え、
   前記誤認識判定部は、前記画像認識モデルと関連付けて前記判定結果を前記判定結果データベースに格納し、
   前記モデル評価部は、前記画像認識モデルと関連付けて前記評価結果を前記評価結果データベースに格納する
   ことを特徴とする請求項７記載の画像認識システム。
9. 前記画像認識システムはさらに、前記判定結果データベースが格納している前記判定結果に基づき、前記画像認識部が異常な動作をしているか否かを判定し、異常な動作をしている場合はその旨の警告を出力する、モデル監視部を備える
   ことを特徴とする請求項７記載の画像認識システム。
10. 前記画像認識部は、畳み込みニューラルネットワークを用いた機械学習により、前記対象形状を認識する
    ことを特徴とする請求項１記載の画像認識システム。
11. 前記画像認識部は、前記入力画像に映っている物体の種類と位置を、前記対象形状によって認識する
    ことを特徴とする請求項１記載の画像認識システム。
12. 前記誤認識判定部は、あらかじめ入力された典型的画像と、前記入力画像とを比較することにより、前期画像認識部による認識結果の成否を判定する
    ことを特徴とする請求項１記載の画像認識システム。

Images