JP2021128406A - 分析装置及び分析方法 - Google Patents

Abstract

【課題】判定装置の精度を可視化できる分析装置、及び分析方法を提供する。
【解決手段】分析装置は、良品ラベル又は不良品ラベルを出力する学習済みの判定装置の精度を可視化する分析装置であって、良品を被写体とする良品画像と不良品を被写体とする不良品画像との画像ペアを取得する取得部と、画像ペアに基づいて不良品の不良箇所の画像領域を抽出する抽出部と、不良箇所の画像領域の特徴量を変化させて、疑似不良箇所の画像領域を複数生成する生成部と、複数の疑似不良箇所の画像領域それぞれと良品画像とを合成して、特徴量が異なる複数の合成画像を生成する合成部と、判定装置へ複数の合成画像を出力する画像出力部と、判定装置から複数の合成画像それぞれに対応するラベルを取得する結果取得部と、複数の合成画像それぞれに対応するラベルを示すオブジェクトを特徴量に基づく配列で表示させる表示制御部と、を備える。
【選択図】図１

Description

本開示は、分析装置及び分析方法に関する。

特許文献１は、ニューラルネットワークに学習させるための疑似不良画像を作成する手段を有する画像検査装置を開示する。この画像検査装置は、良品画像と不良品画像との差分データを抽出し、位置や大きさを変換した差分データを良品画像に合成することで、複数のパターンの疑似不良画像を作成する。画像検査装置は、作成した疑似不良画像を不良品の学習データとしてニューラルネットワークに学習させる。画像検査装置は、ニューラルネットワークに基づいて、画像の被写体の良否を判定する。

特開２００５−１５６３３４号公報

ところで、特許文献１に記載の画像検査装置によって生成される疑似不良画像は、良品と判断されてもよい画像を含む場合がある。特許文献１に記載の画像検査装置は疑似不良画像を全て不良品として学習するため、画像検査装置の判定結果が想定と異なるおそれがある。また、特許文献１に記載の画像検査装置では、差分データが表す不具合がどの程度までであれば良品と判断すべきか否かの検証を行うことができない。

本開示は、判定装置の精度を可視化できる分析装置、及び分析方法を提供することを目的とする。

本開示の一側面に係る分析装置は、物品を被写体とする画像を用いて物品が良品であることを示す良品ラベル及び物品が不良品であることを示す不良品ラベルの何れか一方を出力する学習済みの判定装置の精度を可視化する分析装置であって、良品を被写体とする良品画像と不良品を被写体とする不良品画像との画像ペアを取得する取得部と、画像ペアに基づいて不良品の不良箇所の画像領域を抽出する抽出部と、不良箇所の画像領域の特徴量を変化させて、疑似不良箇所の画像領域を複数生成する生成部と、複数の疑似不良箇所の画像領域それぞれと良品画像とを合成して、疑似不良箇所の特徴量が異なる複数の合成画像を生成する合成部と、判定装置へ複数の合成画像を出力する画像出力部と、判定装置から複数の合成画像それぞれに対応するラベルを取得する結果取得部と、複数の合成画像それぞれに対応するラベルを示すオブジェクトを、特徴量に基づく配列で表示させる表示制御部と、を備える。

本開示によれば、判定装置の精度を可視化できる。

実施形態に係る分析装置及び判定装置の機能の一例を示すブロック図である。 図２の（Ａ）は、抽出部における不良箇所の画像領域を抽出する工程の一例を示す図である。図２の（Ｂ）は、生成部における疑似不良箇所の画像領域を生成する工程の一例を示す図である。図２の（Ｃ）は、合成部における合成画像を生成する工程の一例を示す図である。 複数の合成画像それぞれに対応するラベルを示すオブジェクトを、特徴量に基づく配列で表示させた一例である。 複数の合成画像それぞれに対応するラベルを示すオブジェクトを、特徴量に基づく配列で表示させた他の例である。 図１に示す装置のハードウェア構成の一例を示すブロック図である。 分析方法のフローチャートである。 実施形態に係る分析装置及び判定装置の機能の他の例を示すブロック図である。

以下、図面を参照して、本開示の実施形態について説明する。なお、以下の説明において、同一又は相当要素には同一符号を付し、重複する説明は繰り返さない。

［分析装置の機能構成］
図１は、実施形態に係る分析装置１０及び判定装置２０の機能の一例を示すブロック図である。図１に示される分析装置１０は、判定装置２０の精度を可視化する装置である。判定装置２０は、物品を被写体とする画像を用いて当該物品の品質を判定するように、予め学習される。学習済みの判定装置２０は、良品ラベル及び不良品ラベルの何れか一方を出力する。ラベルとは、予め設定されたカテゴリを識別する情報である。良品ラベルは物品が良品であることを示し、不良品ラベルは物品が不良品であることを示す。良品は外観品質基準を満たす物品であり、不良品は外観品質基準を満たさない物品である。

判定装置２０は、判定機能を発揮するモデルＭ２を有する。判定装置２０では、モデルＭ２に対象画像Ｄ２が入力され、モデルＭ２からラベルＬ２が出力される。対象画像Ｄ２は、物品を被写体とし、判定装置２０の判定対象となる画像である。ラベルＬ２は、良品ラベル及び不良品ラベルの何れか一方である。出力されたラベルＬ２は対象画像Ｄ２に付与されてもよい。付与とは、関連付けることを意味する。例えば、付与とは、対象画像Ｄ２とラベルＬ２との関係性をテーブルなどに記録することであってもよいし、ラベルＬ２が含まれるように対象画像Ｄ２の属性情報を変更することであってもよいし、対象画像Ｄ２そのものにラベルＬ２を埋め込むことであってもよい。

モデルＭ２は、ニューラルネットワークとパラメータとを含む。ニューラルネットワークは、複数のニューロンを結合させた構造を有する。ニューラルネットワークは、複数のニューロンがグループ化された層を連ねた階層型の多層ニューラルネットワークであってもよい。ニューラルネットワークは、ニューロンの個数及び結合関係で定義される。ニューロン間又は層間の結合強度は、パラメータ（重み係数など）を用いて定義される。ニューラルネットワークでは、データが入力され、複数のニューロンの演算結果及びパラメータに基づいて、データの特徴が解として出力される。モデルＭ２は、目的とする能力を獲得できるように教師画像などを用いてパラメータが学習される。学習とは、パラメータを最適値に調整することである。モデルＭ２は、判定装置２０の外部にて学習されたモデルのコピーであってもよい。以下では、モデルＭ２は、電子部品を被写体とする対象画像Ｄ２を入力し、電子部品の品質に関するラベルＬ２を出力する場合を一例として説明する。この場合、外観品質基準は、電子部品の欠け、変色及び傷の程度などによって定められる。

分析装置１０は、学習済みの判定装置２０が良品及び不良品を判定する精度を可視化する。最初に、分析装置１０は、不良箇所に関する画像の予め決定された特徴量の大きさがそれぞれ異なるように、電子部品を被写体とする複数の画像を生成する。次に、分析装置１０は、生成された複数の画像を判定装置２０に出力して、複数の画像それぞれに対応するラベルを取得する。そして、分析装置１０は、取得されたラベルを示すオブジェクトを特徴量に基づく配列で表示装置などに表示させる。これにより、アノテータ（作業者）は、不良箇所の特徴量の大きさとラベルとの関係性を確認することができる。このような機能を実現するために、分析装置１０は、取得部１１、抽出部１２、生成部１３、合成部１４、画像出力部１５、結果取得部１６及び表示制御部１７を備える。

取得部１１は、画像ペアＤＰを取得する。画像ペアＤＰは、電子部品を被写体とする２枚の画像である。画像ペアＤＰを構成する画像の被写体は、判定装置２０に入力される対象画像Ｄ２と同一の物品である。画像ペアＤＰの２枚の画像は同一の画角で撮像された画像が好適に用いられる。画像ペアＤＰは、被写体である電子部品が良品である良品画像と、被写体である電子部品が不良品である不良品画像とによって構成される。画像ペアＤＰは、予め取得された良品画像及び不良品画像を含む画像群から選択されてもよい。画像ペアＤＰには、ラベル（タグ）が付与されていてもよいし、付与されていなくてもよい。

抽出部１２は、画像ペアＤＰに基づいて、不良品画像に含まれる不良品の不良箇所の画像領域を抽出する。不良箇所は、電子部品が欠けた箇所、変色した箇所及び傷のある箇所などである。不良箇所は、良品画像と不良品画像との間で相違する部分となる。抽出部１２は、良品画像のデータと不良品画像のデータとの差分に基づいて不良箇所の画像領域を抽出する。

図２の（Ａ）は、抽出部１２における不良箇所の画像領域を抽出する工程の一例を示す図である。図２の（Ａ）では、良品画像Ｇ１と、不良品箇所を有する不良品画像Ｇ２との画像ペアＤＰが示される。不良品画像Ｇ２の電子部品は、電子部品が欠けた箇所（不良箇所の一例）が存在する。図２の（Ａ）に示されるように、抽出部１２は、良品画像Ｇ１と不良品画像Ｇ２との画素位置ごとの画素値の差分に基づいて、不良箇所の画像領域Ｒを抽出する。抽出部１２が対象とする不良箇所は電子部品の欠けに限定されない。良品画像Ｇ１と不良品画像Ｇ２との差分に基づいて不良箇所が抽出されるため、抽出部１２は、不良箇所の種類（欠け、変色、傷）を考慮することなく、不良箇所を抽出することができる。なお、不良品画像Ｇ２は、実際に不良箇所が存在する電子部品を撮像して得られた画像でなくてもよい。例えば、アノテータがＰＣのペイントツールを操作することにより、良品画像Ｇ１上に手作業で不良箇所をマーキングした画像を、不良品画像Ｇ２に用いても良い。アノテータがマーキングを施した不良箇所を抽出部１２に抽出させることにより、アノテータ自身の考えを不良箇所に反映することができる、という効果を奏する。

生成部１３は、不良箇所の画像領域Ｒの特徴量を変化させて疑似不良箇所の画像領域を複数生成する。疑似不良箇所とは、模擬的な不良箇所であり、画像領域Ｒに基づいた演算によって生成される。不良箇所の画像領域Ｒの特徴量は、不良箇所の種類に依存する。例えば、電子部品の欠け及び傷の特徴量は、横幅、縦の長さ、位置及び面積などである。電子部品の変色の特徴量は、横幅、縦の長さ、位置、色相、彩度及び明度などである。ここで、位置は、ＸＹ座標空間におけるＸＹ方向（平行移動）、及び、θ方向（回転方向）を含む概念である。以下では、電子部品の欠けの面積（幅及び長さ）を特徴量として疑似不良箇所の画像領域を生成する場合を一例として説明する。

図２の（Ｂ）は、生成部１３における疑似不良箇所の画像領域を生成する工程の一例を示す図である。図２の（Ｂ）に示されるように、生成部１３は、不良箇所の画像領域Ｒとして抽出された電子部品の欠けの画像を拡大又は縮小する。これにより、複数の疑似不良箇所の画像領域Ｐ１〜Ｐ４が生成される。生成部１３は、拡大率又は縮小率を変更することにより、電子部品の欠けの面積が異なる複数の疑似不良箇所の画像領域Ｐ１〜Ｐ４を生成する。図２の（Ｂ）に示される例では、４つの画像領域Ｐ１〜Ｐ４が生成されたが、画像領域の個数は４つに限定されない。

合成部１４は、複数の疑似不良箇所の画像領域Ｐ１〜Ｐ４それぞれと良品画像Ｇ１とを合成して、特徴量の異なる複数の合成画像を生成する。合成部１４は、一つの良品画像Ｇ１に一つの疑似不良箇所の画像領域を合成して、一つの画像データを生成する。合成は、疑似不良箇所の画像領域に対応する良品画像Ｇ１の画素の画素値を変更することにより行われる。図２の（Ｃ）は、合成部１４における合成画像を生成する工程の一例を示す図である。合成部１４は、疑似不良箇所の画像領域Ｐ２と良品画像Ｇ１とを合成して、合成画像Ｄ１を生成する。合成部１４は、複数の疑似不良箇所の画像領域Ｐ１〜Ｐ４ごとに合成を行うことにより、様々な面積の欠けを有するように合成された複数の合成画像を得る。

生成部１３及び合成部１４は、上述した手法とは異なる手法で合成画像を生成してもよい。例えば、生成部１３は、不良箇所の画像領域Ｒを用いて複数のマスクを生成できる。生成部１３は、複数のマスクそれぞれを用いて不良品画像Ｇ２から不良箇所を抽出することにより、複数の疑似不良箇所の画像領域Ｐ１〜Ｐ４を生成できる。この場合、複数の疑似不良箇所の画像領域Ｐ１〜Ｐ４それぞれは、不良箇所の画像領域Ｒよりも狭い面積となる。合成部１４は、不良品画像Ｇ２から抽出された複数の疑似不良箇所の画像領域Ｐ１〜Ｐ４それぞれを良品画像Ｇ１と合成できる。

画像出力部１５は、複数の合成画像を判定装置２０へ出力する。判定装置２０は、モデルＭ２に合成画像を入力し、ラベルＬ１を出力する。ラベルＬ１とは、ラベルＬ２と同様に、合成画像が有する欠けの面積に基づいてモデルＭ２が判定する、良品及び不良品の何れか一方を表す情報である。判定装置２０は、複数の合成画像それぞれに対応するラベルＬ１を出力する。

結果取得部１６は、判定装置２０から複数の合成画像それぞれに対応するラベルＬ１を取得する。これにより、合成画像ごとに、当該合成画像における疑似不良箇所の画像領域の特徴量と、当該合成画像に対応するラベルＬ１とが関連付けられる。

表示制御部１７は、複数の合成画像それぞれに対応するラベルＬ１を示すオブジェクトを、特徴量に基づく配列で表示装置に表示させる。オブジェクトは、図形、アイコン、記号などである。また、表示制御部１７は、複数の合成画像の表現を変更することなく、複数のそのままの合成画像とオブジェクトとを表示装置に表示してもよい。さらに、表示制御部１７は、複数の合成画像の表現を変更することなく、所望の割合で拡大又は縮小した複数の合成画像とオブジェクトとを表示装置に表示してもよい。表示装置は、ディスプレイなどである。

図３は、複数の合成画像それぞれに対応するラベルを示すオブジェクトを、特徴量に基づく配列で表示させた一例である。横軸は、特徴量であり、所定の大きさに撮影された電子部品の画像における疑似不良箇所の面積を示す。疑似不良箇所の面積は、画素数（ｐｉｘｅｌ）で表現される。オブジェクトは、画像ペアごとに、特徴量の大きさに基づいて直線的に配列される。ここでは、８種類の画像ペアＤＰから生成される複数の合成画像に対応するラベルを示すオブジェクトが、ペア１からペア８まで図示される。ラベルＬ１が良品ラベルである場合、オブジェクトは白丸のオブジェクトとして表示される。ラベルＬ１が不良品ラベルである場合、オブジェクトは黒丸のオブジェクトとして表示される。例えば、ペア１の配列において、左から数えて４番目までのオブジェクトに対応する合成画像Ｄ１には良品ラベルが付与される。左から数えて５番目以降のオブジェクトに対応する合成画像Ｄ１には不良品ラベルが付与される。図３の左側に表示されるオブジェクトに対応する合成画像Ｄ１は、電子部品の欠けの面積が小さく良品画像に近い。図３の右側に表示されるオブジェクトに対応する合成画像Ｄ１は、欠けの面積が大きく不良品画像に近い。

図３では、疑似不良箇所の面積という特徴量に関して、判定装置２０のラベルＬ１を判定する閾値が可視化される。例えば、ペア１の閾値には、面積が１００ｐｉｘｅｌとなる付近に存在することがわかる。ペアごとに判定装置２０のラベルＬ１を判定する閾値が可視化されるため、ペア同士の閾値を比較することもできる。例えば、ペア８の閾値は、おおよそ６００ｐｉｘｅｌから７００ｐｉｘｅｌの間に位置する。他のペア１からペア７の閾値と比べて、ペア８の閾値は突出して大きい。このように他と比べて突出した閾値のペアが可視化される場合、アノテータは、ペア８の閾値の前後のオブジェクトに対応する合成画像Ｄ１を表示させて、閾値が正確であるか視認できる。

図４は、複数の合成画像それぞれに対応するラベルを示すオブジェクトを、特徴量に基づく配列で表示させた他の例である。横軸は、第１の特徴量であり、所定の大きさに撮影された電子部品の画像における疑似不良箇所の面積を示す。縦軸は、第２の特徴量であり、所定の大きさに撮影された電子部品の画像における疑似不良箇所の幅を示す。疑似不良箇所の面積及び幅は、画素数（ｐｉｘｅｌ）で表現される。オブジェクトは、画像ペアごとに、第１の特徴量と第２の特徴量とを座標軸とする平面に配列される。図４の例では、６種類の画像ペアＤＰから生成される合成画像Ｄ１に対応するラベルを示すオブジェクトが、ペア１１からペア１６の配列として図示される。図３と同様に、ラベルＬ１が良品ラベルである場合、オブジェクトは白抜きのオブジェクトとして表示される。ラベルＬ１が不良品ラベルである場合、オブジェクトは黒塗り潰しのオブジェクトとして表示される。

図４では、疑似不良箇所の面積及び幅という２つの特徴量に関して、判定装置２０のラベルＬ１を判定する閾値が可視化される。図４では、各ペアの閾値を線で繋ぐことによって、良品と不良品とを分ける領域が２次元で可視化される。例えば、ペア１５の閾値は面積のみに着目すると他の閾値と比較して小さい。しかし、閾値が二次元領域によって可視化されることで、ペア１５の閾値は幅に着目すると突出した値ではないことが可視化される。良品と不良品とを分ける２次元領域から突出する閾値がみられる場合、アノテータは、突出する閾値の前後のオブジェクトに対応する合成画像Ｄ１を表示させて、閾値が正確であるか視認できる。

［分析装置のハードウェア構成］
図５は、図１に示す装置のハードウェア構成を示すブロック図である。図５に示されるように、分析装置１０は、ＣＰＵ（Central Processing Unit）１０１と、ＲＡＭ（Random Access Memory）１０２と、ＲＯＭ１０３（Read Only Memory）と、グラフィックコントローラ１０４と、補助記憶装置１０５と、外部接続インタフェース１０６（以下インタフェースは「Ｉ／Ｆ」と記す）と、ネットワークＩ／Ｆ１０７と、バス１０８と、を含む、通常のコンピュータシステムとして構成される。

ＣＰＵ１０１は、演算回路からなり、分析装置１０を統括制御する。ＣＰＵ１０１は、ＲＯＭ１０３又は補助記憶装置１０５に記憶されたプログラムをＲＡＭ１０２に読み出す。ＣＰＵ１０１は、ＲＡＭ１０２に読み出したプログラムにおける種々の処理を実行する。ＲＯＭ１０３は、分析装置１０の制御に用いられるシステムプログラムなどを記憶する。グラフィックコントローラ１０４は、表示制御部１７が表示させる画面を生成する。補助記憶装置１０５は記憶装置としての機能を有する。補助記憶装置１０５は、種々の処理を実行するアプリケーションプログラムなどを記憶する。補助記憶装置１０５は、一例として、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などにより構成される。外部接続Ｉ／Ｆ１０６は、分析装置１０に種々の機器を接続するためのインタフェースである。外部接続Ｉ／Ｆ１０６は、一例として、判定装置２０、ディスプレイ、キーボード、マウスなどを接続させる。ネットワークＩ／Ｆ１０７は、ＣＰＵ１０１の制御に基づき、判定装置２０などとネットワークを介して通信を行う。上述の各構成部は、バス１０８を介して、通信可能に接続される。

分析装置１０は、上述以外のハードウェアを有し得る。分析装置１０は、一例として、ＧＰＵ(Graphics Processing Unit)、ＦＰＧＡ(Field Programmable Gate Array)、ＤＳＰ(Digital Signal Processor)などを備えてもよい。分析装置１０は、ハードウェアとして１つの筐体に収まっている必要はなく、いくつかの装置に分離していてもよい。

図１に示される分析装置１０の機能は、図５に示されるハードウェアによって実現する。取得部１１、抽出部１２、生成部１３、合成部１４、画像出力部１５、結果取得部１６及び表示制御部１７は、ＣＰＵ１０１がＲＡＭ１０２、ＲＯＭ１０３又は補助記憶装置１０５に格納されたプログラムを実行し、ＲＡＭ１０２、ＲＯＭ１０３もしくは補助記憶装置１０５に記憶されたデータ、又は、外部接続Ｉ／Ｆ１０６もしくはネットワークＩ／Ｆを介して取得されたデータを処理することで実現する。例えば、外部接続Ｉ／Ｆ１０６に接続されるディスプレイは、表示制御部１７が表示させる画面を表示する。図１に示される判定装置２０も、図５に示されるハードウェアの一部又は全部によって構成される。

［分析装置の動作］
図６は、分析方法のフローチャートである。分析装置１０による分析方法は、取得処理（ステップＳ１０）、抽出処理（ステップＳ２０）、生成処理（ステップＳ３０）、合成処理（ステップＳ４０）、画像出力処理（ステップＳ５０）、結果取得処理（ステップＳ６０）及び表示制御処理（ステップＳ７０）を備える。図６に示されるフローチャートは、例えばアノテータの開始指示に基づいて開始される。

最初に、分析装置１０の取得部１１は、取得処理（ステップＳ１０）として、良品画像Ｇ１と不良品画像Ｇ２とによって構成される画像ペアＤＰを取得する。

分析装置１０の抽出部１２は、抽出処理（ステップＳ２０）として、不良品画像Ｇ２に含まれる不良品の不良箇所の画像領域Ｒを抽出する。抽出部１２は、一例として、良品画像Ｇ１のデータと不良品画像Ｇ２のデータの差分に基づいて不良箇所の画像領域Ｒを抽出する。

分析装置１０の生成部１３は、生成処理（ステップＳ３０）として、不良箇所の画像領域Ｒの特徴量を変化させて疑似不良箇所の画像領域を複数生成する。生成部１３は、一例として、不良箇所の画像領域Ｒとして抽出された電子部品の不良箇所の画像領域を拡大又は縮小して疑似不良箇所の画像領域を生成する。

分析装置１０の合成部１４は、合成処理（ステップＳ４０）として、疑似不良箇所の画像領域と良品画像Ｇ１とを合成して、特徴量の異なる複数の合成画像Ｄ１を生成する。合成部１４は、一例として、拡大縮小された様々な面積の疑似不良箇所を有する複数の合成画像を生成する。

分析装置１０の画像出力部１５は、画像出力処理（ステップＳ５０）として、複数の合成画像を判定装置２０へ出力する。

分析装置１０の結果取得部１６は、結果取得処理（ステップＳ６０）として、判定装置２０から複数の合成画像Ｄ１それぞれに対応するラベルＬ１を取得する。これにより、合成画像ごとに、当該合成画像における疑似不良箇所の画像領域の特徴量と、当該合成画像に対応するラベルＬ１とが関連付けられる。

最後に、分析装置１０の表示制御部１７は、表示制御処理（ステップＳ７０）として、複数の合成画像Ｄ１それぞれに対応するラベルＬ１を示すオブジェクトを、特徴量に基づく配列で表示させる。表示制御部１７は、一例として、良品ラベル及び不良品ラベルの少なくとも一方を示すオブジェクトを、合成画像Ｄ１の特徴量である疑似不良箇所の面積に基づく配列で表示させる。表示制御処理（ステップＳ７０）が終了すると、図６に示されるフローチャートが終了する。

［変形例］
図７は、実施形態に係る分析装置１０及び判定装置２０の機能の一例を示すブロック図である。分析装置１０は、タグ部１８及び学習部１９を備えていてもよい。

タグ部１８は、ユーザ操作に基づいて合成画像Ｄ１に対応するタグを付与する。ユーザとは、分析装置１０の利用者であって、アノテータなどを含む。タグとは、ラベルＬ１、ラベルＬ２と同様に、合成画像が良品であるか、及び、合成画像が不良品であるかの何れか一方を表す情報である。タグ部１８は、ユーザによる操作を受け付ける機能を有する。操作とは、マウス、キーボード及びディスプレイなどのユーザインタフェースを介した情報の入出力である。操作は、外部接続Ｉ／Ｆ１０６を介して実現される。ユーザ操作とは、具体的には、ユーザによるタグを付与する指示であり、選択や入力によって実現される。タグ部１８は、合成画像Ｄ１に関連付けられるタグを付与する。あるいはまた、合成画像Ｄ１に関連付けられている良品タグを不良品タグへ変更する、又は不良品タグを良品タグへ変更する処理である。タグ部１８は、閾値を変更するユーザ操作に基づいて、複数のタグをまとめて付与してもよい。判定装置２０を介さず新規に教師画像を生成する場合、タグ部１８は、ユーザ操作に基づいてタグを合成画像Ｄ１へ新規に付与してもよい。

以下では、図３のペア８のオブジェクトに関連付けられた合成画像Ｄ１のタグを付与する場合を一例として説明する。ペア８の配列では、右から数えて最初のオブジェクトに関連付けられる合成画像Ｄ１に不良品ラベルが付与されている。右から数えて２番目以降のオブジェクトに関連付けられる合成画像Ｄ１には良品ラベルが付与されている。ペア８の閾値は、おおよそ６００ｐｉｘｅｌから７００ｐｉｘｅｌの間に位置する。アノテータが右から数えて５番目のオブジェクトに関連付けられる合成画像Ｄ１を確認して不良品と判定する場合、アノテータは、合成画像Ｄ１に不良品タグを付与する。ペア８の右から数えて５番目のオブジェクトに対応する合成画像Ｄ１に不良品タグが付与されると、ペア８の右から数えて２番目〜４番目のオブジェクトに対応する合成画像Ｄ１にも不良品タグが付与される。

学習部１９は、タグ部１８によってタグが付与された合成画像Ｄ１に基づいて判定装置２０を学習させる。一例として、学習部１９は、モデルＭ２のマスター（オリジナル）となるモデルＭ１を学習させることで、判定装置２０を学習させる。

モデルＭ１は、モデルＭ２と同一のニューラルネットワークとパラメータとを含む構造を有する。学習部１９は、タグ部１８によってタグが付与された合成画像Ｄ１を教師画像にしてモデルＭ１を学習させる。教師画像とは、被写体に対して正しいタグが関連付けられた、判定装置２０が判定する対象となるデータである。教師画像は、アノテータによって正しいタグが付与された合成画像Ｄ１である。

以下では、図３のペア８のオブジェクトに関連付けられたラベルが付与され、ペア８に対応する合成画像Ｄ１が教師画像になる場合を一例として説明する。判定装置２０のモデルＭ２は、ペア８の右から数えて５番目のオブジェクトに関連付けられる合成画像Ｄ１に対して良品ラベルを出力する。アノテータは、合成画像Ｄ１に不良品タグを付与する。学習部１９は、アノテータによって不良品タグが付与された合成画像Ｄ１を教師画像としてモデルＭ１を学習させる。モデルＭ１は、ペア８の右から数えて５番目のオブジェクトに関連付けられる合成画像Ｄ１は不良品と判定されることを学習する。判定装置２０のモデルＭ２は、マスターであるモデルＭ１の学習結果が反映される。

分析装置１０は、モデルＭ１の学習の効果に基づいて、教師画像とする合成画像Ｄ１を選定してもよい。モデルＭ１の学習の効果とは、学習部１９によって向上するモデルＭ１が正しいラベルＬ１を出力する精度である。モデルＭ１の学習の効果は、所定の評価値に基づいて決定される。

所定の評価値は、画像ペアＤＰを構成する良品画像Ｇ１の全体特徴量と、画像ペアＤＰを構成する不良品画像Ｇ２の全体特徴量と、画像ペアＤＰから生成された合成画像Ｄ１の全体特徴量とに基づいて算出される。全体特徴量は、モデルＭ１又はモデルＭ２に画像を入力し、出力層の一階層前の階層における計算結果としてもよい。ここで、合成画像Ｄ１に良品ラベルが付与される場合を例示する。この場合、所定の評価値は、良品ラベルの合成画像Ｄ１の全体特徴量が良品画像Ｇ１の全体特徴量に類似する度合い（第１の評価値）と、良品ラベルの合成画像Ｄ１の全体特徴量が不良品画像Ｇ２の全体特徴量と類似しない度合い（第２の評価値）とを考慮して決定される。類似の度合いは、全体特徴量をプロット可能なｎ次元の特徴空間における両者の距離で評価してもよい。第１の評価値は、例えば、良品ラベルの合成画像Ｄ１の全体特徴量と良品画像Ｇ１の全体特徴量との距離が短いほど大きくすることができる。第２の評価値は、例えば、良品ラベルの合成画像Ｄ１の全体特徴量と不良品画像Ｇ２の全体特徴量との距離が長いほど大きくすることができる。所定の評価値は、第１の評価値と第２の評価値との組合せ（例えば比）で決定することができる。不良品ラベルが付与された合成画像Ｄ１に対する所定の評価値も、良品ラベルの例と同様に、第１の評価値と第２の評価値とを算出し、第１の評価値と第２の評価値との組合せとすることができる。

以下では、取得部１１が予め取得された良品画像及び不良品画像を含む画像群から組み合わせで画像ペアＤＰを選択する場合を一例として説明する。学習部１９は、タグ部１８によってタグが付与された合成画像Ｄ１を教師画像にしてモデルＭ１を学習させる。学習部１９は、合成画像Ｄ１と合成画像Ｄ１の元データである画像ペアＤＰとをモデルＭ１へ入力して所定の評価値を演算する。所定の評価値に基づいてモデルＭ１の学習が十分と判定されれば、学習部１９は学習を終了する。モデルＭ１の学習が十分か否かの判定は、例えば、所定の評価値と予め定められた閾値との大小関係で判定される。モデルＭ１の学習が十分と判断されなければ、学習部１９は、他の組み合わせの画像ペアＤＰから生成される合成画像Ｄ１に基づいてモデルＭ１を学習させる。学習部１９は、所定の評価値に基づいてモデルＭ１の学習が十分と判断されるまでモデルＭ１を学習させる。

［実施形態まとめ］
分析装置１０によれば、良品を被写体とする良品画像Ｇ１と不良品を被写体とする不良品画像Ｇ２との画像ペアＤＰが取得部１１に取得される。画像ペアＤＰに基づいた不良品の不良箇所の画像領域Ｒが抽出部１２に抽出される。不良箇所の画像領域Ｒの特徴量を変化させた複数の疑似不良箇所の画像領域Ｐ１〜Ｐ４が生成部１３に生成される。複数の疑似不良箇所の画像領域Ｐ１〜Ｐ４それぞれと良品画像Ｇ１とを合成して、特徴量が異なる複数の合成画像が合成部１４に生成される。複数の合成画像が画像出力部１５によって判定装置２０へ出力される。判定装置２０から出力される、複数の合成画像それぞれに対応するラベルＬ１が結果取得部１６によって取得される。複数の合成画像それぞれに対応する、ラベルＬ１を示すオブジェクトが特徴量に基づく配列で表示制御部１７によって表示される。このように、分析装置１０は、判定装置２０の精度を可視化できる。

タグ部１８は、ユーザ操作に基づいて合成画像Ｄ１に対応するタグを付与する。この場合、分析装置１０は、ユーザ操作に基づいて正確な教師画像を生成できる。

学習部１９は、タグ部１８によってタグが付与された合成画像Ｄ１に基づいて判定装置２０を学習させる。この場合、分析装置１０は、ユーザ操作に基づいて、ユーザの意向が反映された教師画像を判定装置２０に再学習させることができる。

以上、本開示の実施形態について説明したが、本開示は、上述実施形態に限定されるものではない。上述の実施形態では、分析装置１０と判定装置２０とが物理的又は論理的に分離した構成について説明したが、分析装置１０と判定装置２０は統合され、物理的又は論理的に一体化してもよい。つまり、分析装置１０は、判定装置２０を含む構成であってもよい。モデルＭ２は、ニューラルネットワークとパラメータとを含む場合に限定されず、サポートベクターマシンにより学習されたモデルであってもよい。他にも、モデルＭ２は、現在のルールベースの判定器であってもよい。さらに、モデルＭ２は、ニューラルネットワークとサポートベクターマシンに限られず、決定木など、入力に対して判定を下せるものであれば上記に限定されない。

１０…分析装置、１１…取得部、１２…抽出部、１３…生成部、１４…合成部、１５…画像出力部、１６…取得部、１７…表示制御部、１８…タグ部、１９…学習部、２０…判定装置。

Claims (5)

1. 物品を被写体とする画像を用いて前記物品が良品であることを示す良品ラベル及び前記物品が不良品であることを示す不良品ラベルの何れか一方を出力する学習済みの判定装置の精度を可視化する分析装置であって、
   前記良品を被写体とする良品画像と前記不良品を被写体とする不良品画像との画像ペアを取得する取得部と、
   前記画像ペアに基づいて前記不良品の不良箇所の画像領域を抽出する抽出部と、
   前記不良箇所の画像領域の特徴量を変化させて、疑似不良箇所の画像領域を複数生成する生成部と、
   前記複数の疑似不良箇所の画像領域それぞれと前記良品画像とを合成して、前記疑似不良箇所の前記特徴量が異なる複数の合成画像を生成する合成部と、
   前記判定装置へ前記複数の合成画像を出力する画像出力部と、
   前記判定装置から前記複数の合成画像それぞれに対応するラベルを取得する結果取得部と、
   前記複数の合成画像それぞれに対応する前記ラベルを示すオブジェクトを、前記特徴量に基づく配列で表示させる表示制御部と、
   を備える、分析装置。
2. 前記表示制御部は、前記複数の合成画像と前記オブジェクトとを表示させる請求項１に記載の分析装置。
3. ユーザ操作に基づいて前記合成画像に対応するタグを付与するタグ部を備える、請求項１に記載の分析装置。
4. 前記合成画像と前記合成画像に対応する前記タグとに基づいて、前記判定装置を学習させる学習部を備える、請求項３に記載の分析装置。
5. 物品を被写体とする画像を用いて前記物品が良品であることを示す良品ラベル及び前記物品が不良品であることを示す不良品ラベルの何れか一方を出力する学習済みの判定装置の精度を可視化する分析方法であって、
   前記良品を被写体とする良品画像と前記不良品を被写体とする不良品画像との画像ペアを取得するステップと、
   前記画像ペアに基づいて前記不良品の不良箇所の画像領域を抽出するステップと、
   前記不良箇所の画像領域の特徴量を変化させて、疑似不良箇所の画像領域を複数生成するステップと、
   前記複数の疑似不良箇所の画像領域それぞれと前記良品画像とを合成して、前記疑似不良箇所の前記特徴量が異なる複数の合成画像を生成するステップと、
   前記判定装置へ前記複数の合成画像を出力するステップと、
   前記判定装置から前記複数の合成画像それぞれに対応するラベルを取得するステップと、
   前記複数の合成画像それぞれに対応する前記ラベルを示すオブジェクトを、前記特徴量に基づく配列で表示させるステップと、
   を備える、分析方法。

Images