JP2021093004A

JP2021093004A - 画像生成装置、画像生成方法及びプログラム

Info

Publication number: JP2021093004A
Application number: JP2019223729A
Authority: JP
Inventors: 拓耶野間; Takuya Noma; 菜摘矢木; Natsumi Yagi; 貴正浅野; Takamasa Asano
Original assignee: Fuji Electric Co Ltd
Current assignee: Fuji Electric Co Ltd
Priority date: 2019-12-11
Filing date: 2019-12-11
Publication date: 2021-06-17
Anticipated expiration: 2039-12-11
Also published as: JP7487469B2

Abstract

【課題】学習用の画像を生成すること。【解決手段】一実施形態に係る画像生成装置は、対象物の外観検査に用いられる分類器を学習するための画像を生成する画像生成装置であって、外観に異常がある対象物を撮影した異常画像を入力として、前記異常の種類を特定する第１の特定部と、前記異常画像中で前記異常の箇所を示す領域を特定する第２の特定部と、前記第２の特定部で特定された領域を、前記分類器の学習に使用しない領域に設定した前記異常画像を正常画像として生成する画像生成部と、を有する。【選択図】図１

Description

本発明は、画像生成装置、画像生成方法及びプログラムに関する。

近年、機械学習の発達に伴って、検査対象の外観を撮影した画像を入力して、この画像が正常画像又は異常画像のいずれであるかを分類する分類器が実用化されている。このような分類器は、例えば、入力画像と、この入力画像が正常画像又は異常画像のいずれであるかを示す正解ラベルとを含む学習データを用いて、ニューラルネットワーク等を教師あり学習の手法によって学習することで実現される。

ここで、一般に、学習データ数が多いほど分類器の精度が向上することが知られているが、十分な数の正常画像や異常画像を準備できない場合がある。

例えば、工場の生産ライン等では一般に不良率が低いため、十分な数の異常画像が得られない。これに対しては、学習用の異常画像を生成する従来技術として、異常画像に含まれる欠陥領域を人手で抽出し、正常画像に移植することで異常画像を生成する技術が知られている（例えば、特許文献１）。

また、例えば、異常画像のみを保存するシステムである場合には十分な数の正常画像が得られない。これに対しては、正常画像も保存するシステムを導入等することが考えられる。

特開２０１８−２０５１２３号公報

しかしながら、十分の数の異常画像が得られない場合、上記の特許文献１に記載された技術では人手で欠陥領域を抽出する必要があり、利用者の負担が大きい。また、欠陥領域である否かは利用者の主観で判断されるため、例えば、この利用者が経験の浅い担当者等である場合には欠陥領域でない領域を抽出してしまうことがある。

一方で、十分な数の正常画像が得られない場合、正常画像も保存するシステムを導入等することは多大なコストを要する。

本発明の実施形態は、上記の点に鑑みてなされたもので、学習用の画像を生成することを目的とする。

上記目的を達成するため、一実施形態に係る画像生成装置は、対象物の外観検査に用いられる分類器を学習するための画像を生成する画像生成装置であって、外観に異常がある対象物を撮影した異常画像を入力として、前記異常の種類を特定する第１の特定部と、前記異常画像中で前記異常の箇所を示す領域を特定する第２の特定部と、前記第２の特定部で特定された領域を、前記分類器の学習に使用しない領域に設定した前記異常画像を正常画像として生成する画像生成部と、を有する。

学習用の画像を生成することができる。

本実施形態に係る画像生成装置の全体構成の一例を示す図である。異常画像中の異常箇所の一例を示す図である。畳み込みニューラルネットワークの一例を示す図である。異常画像中の異常領域の一例を示す図である。本実施形態に係る画像生成装置のハードウェア構成の一例を示す図である。実施例１における画像生成処理の流れを示すフローチャートである。実施例２における画像生成処理の流れを示すフローチャートである。ランダムイレージングを用いて生成した異常画像の一例を示す図である。

以下、本発明の実施形態について説明する。本実施形態では、入力画像が正常画像又は異常画像のいずれであるかを分類する分類器を学習するための学習用の画像として、異常画像又は正常画像を生成する画像生成装置１０について説明する。以降で説明する本実施形態の実施例１では、学習用の異常画像数は十分であるものの、学習用の正常画像数が十分でないときに、これらの異常画像から正常画像を生成する場合について説明する。一方で、本実施形態の実施例２では、学習用の正常画像数は十分であるものの、学習用の異常画像数が十分でないときに、これらの異常画像から新たな異常画像を生成する場合について説明する。

なお、学習用の正常画像数又は異常画像数が十分でないとは、入力画像が正常画像又は異常画像のいずれであるかを分類する分類器を学習した際に所望の精度が得られないことを意味する。以降では、この分類器を「目的分類器」とも表す。

＜全体構成＞
まず、本実施形態に係る画像生成装置１０の全体構成について、図１を参照しながら説明する。図１は、本実施形態に係る画像生成装置１０の全体構成の一例を示す図である。

図１に示すように、本実施形態に係る画像生成装置１０は、異常種類分類部１０１と、領域特定部１０２と、画像生成部１０３と、記憶部１０４とを有する。

記憶部１０４は、目的分類器を学習するための学習用の正常画像と学習用の異常画像とを記憶する。ここで、正常画像とは、例えば、外観検査で正常と判別される対象（例えば、製品や半製品等）を撮影した画像のことである。一方で、異常画像とは、例えば、外観検査で異常と判別される対象を撮影した画像のことである。なお、外観検査で異常と判別される対象としては、その外観に何等かの異常（例えば、キズやへこみ、色ムラ等の欠陥）がある対象等が挙げられる。

また、異常画像は、この画像に写っている対象に存在する異常の種類（例えば、キズの種類等）に応じて分類されるものとする。例えば、図２に示すように、異常種類Ａの異常箇所１１０１が含まれる異常画像１１００と、異常種類Ｂの異常箇所１２０１が含まれる異常画像１２００とが存在する場合、異常画像１１００は異常種類Ａに分類され、異常画像１２００は異常種類Ｂに分類される。なお、異常種類Ａと異常種類Ｂは異なる異常の種類であり、例えば、異常種類Ａは或る工程Ａで発生する可能性があるキズＡであり、異常種類Ｂは別の工程Ｂで発生する可能性があるキズＢである。なお、図２では２種類の異常種類を示したが、これは一例であって、異常種類は２種類に限られない。

異常種類分類部１０１は、異常画像を異常種類によって分類することで、この異常画像の異常種類を特定する。ここで、異常種類分類部１０１は、異常画像を異常種別によって分類する分類器により実現される。このような分類器は、異常画像とその異常種類とを含む学習データを用いて、教師あり学習の手法により畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を学習することによって実現される。より具体的には、例えば、図３に示すように、入力層と、１以上の畳み込み層及びプーリング層と、全結合層と、活性化関数としてソフトマックス関数を用いた出力層とで構成される畳み込みニューラルネットワークに対して、学習データに含まれる異常画像を入力し、その出力結果を得る。そして、この出力結果と当該学習データに含まれる異常種類との誤差を計算し、この誤差を最小化させるように、当該畳み込みニューラルネットワークのパラメータを更新する。なお、出力層の次元（つまり、出力層に含まれるユニット数）は、分類器によって分類したい異常種類数とする。

領域特定部１０２は、異常画像に写っている対象の異常箇所を示す領域（以降、「異常領域」とも表す。）を特定する。領域特定部１０２は、例えば、Grad-CAM（Gradient-weighted Class Activation Mapping）により、異常種類分類部１０１を実現する分類器（つまり、学習済みのＣＮＮ）の判断根拠を可視化することで、この可視化された領域を異常領域と特定すればよい。この場合、領域特定部１０２は、異常種類分類部１０１を実現する分類器の最後の畳み込み層（つまり、全結合層の前の畳み込み層）の生成された特徴マップを入力として、予測クラス（つまり、異常種類を表すクラス）に対する特徴マップの勾配を計算し、この特徴マップ内の重要度を計算することで、重要度が高い領域を異常領域として可視化する。Grad-CAMの詳細については、例えば、参考文献１「Ramprasaath R. Selvaraju, et.al "Grad-CAM：Visual Explanations from Deep Networks via Gradient-based Localization"」を参照されたい。なお、Grad-CAMの代わりに、例えば、Guided Grad-CAMやGrad-CAM++等が用いられてもよい。

ここで、図２に示す異常画像１１００の異常領域を領域特定部１０２によって特定した結果を図４に示す。図４に示すように、異常画像１１００中で、異常箇所１１０１を含む領域が異常領域１１０２として特定される。なお、例えば、Grad-CAMの場合、この異常領域１１０２は、ヒートマップ等で表される。

画像生成部１０３は、実施例１では異常画像中の異常領域を含む領域をマスクすることで正常画像を生成する。一方で、画像生成部１０３は、実施例２では異常画像中の異常領域を含む領域以外の領域に対してランダムイレージングを行うことで、新たな異常画像を生成する。なお、ランダムイレージングとは、画像内でランダムに選択された位置に、ランダムなサイズの矩形領域（以降、この矩形領域を「イレーズ領域」とも表す。）を設定し、イレーズ領域を学習に使用しないことでデータ拡張を行う手法のである。ランダムイレージングの詳細については、例えば、参考文献２「Zhun Zhong, Liang Zheng, Guoliang Kang, Shaozi Li, Yi Yang, "Random Erasing Data Augmentation"」を参照されたい。

＜ハードウェア構成＞
次に、本実施形態に係る画像生成装置１０のハードウェア構成について、図５を参照しながら説明する。図５は、本実施形態に係る画像生成装置１０のハードウェア構成の一例を示す図である。

図５に示すように、本実施形態に係る画像生成装置１０は一般的なコンピュータ又はコンピュータシステムで実現され、入力装置２０１と、表示装置２０２と、外部Ｉ／Ｆ２０３と、通信Ｉ／Ｆ２０４と、プロセッサ２０５と、メモリ装置２０６とを有する。これら各ハードウェアは、それぞれがバス２０７を介して通信可能に接続されている。

入力装置２０１は、例えば、キーボードやマウス、タッチパネル等である。表示装置２０２は、例えば、ディスプレイ等である。なお、画像生成装置１０は、入力装置２０１及び表示装置２０２のうちの少なくとも一方を有していなくてもよい。

外部Ｉ／Ｆ２０３は、外部装置とのインタフェースである。外部装置には、記録媒体２０３ａ等がある。画像生成装置１０は、外部Ｉ／Ｆ２０３を介して、記録媒体２０３ａの読み取りや書き込み等を行うことができる。記録媒体２０３ａには、例えば、画像生成装置１０が有する各機能部（異常種類分類部１０１、領域特定部１０２及び画像生成部１０３）を実現する１以上のプログラムが格納されていてもよい。

なお、記録媒体２０３ａには、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等がある。

通信Ｉ／Ｆ２０４は、画像生成装置１０を通信ネットワークに接続するためのインタフェースである。なお、画像生成装置１０が有する各機能部を実現する１以上のプログラムは、通信Ｉ／Ｆ２０４を介して、所定のサーバ装置等から取得（ダウンロード）されてもよい。

プロセッサ２０５は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の各種演算装置である。画像生成装置１０が有する各機能部は、例えば、メモリ装置２０６等に格納されている１以上のプログラムがプロセッサ２０５に実行させる処理により実現される。

メモリ装置２０６は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の各種記憶装置である。画像生成装置１０が有する記憶部１０４は、メモリ装置２０６を用いて実現可能である。なお、記憶部１０４は、例えば、画像生成装置１０と通信ネットワークを介して接続される記憶装置（例えば、データベースサーバ等）を用いて実現されていてもよい。

本実施形態に係る画像生成装置１０は、図５に示すハードウェア構成を有することにより、後述する画像生成処理を実現することができる。なお、図５に示すハードウェア構成は一例であって、画像生成装置１０は、他のハードウェア構成を有していてもよい。例えば、画像生成装置１０は、複数のプロセッサ２０５を有していてもよいし、複数のメモリ装置２０６を有していてもよい。

＜画像生成処理＞
次に、本実施形態に係る画像生成処理の実施例１及び実施例２について説明する。上述したように、実施例１では、学習用の異常画像数は十分であるものの、学習用の正常画像数が十分でないものとする（つまり、記憶部１０４には十分な数の異常画像が記憶されているものの、正常画像は十分でない数しか記憶されていないものとする。）。一方で、実施例２では、学習用の正常画像数は十分であるものの、学習用の異常画像数が十分でないものとする（つまり、記憶部１０４には十分な数の正常画像が記憶されているものの、異常画像は十分でない数しか記憶されていないものとする。）。

≪実施例１≫
以降では、実施例１における画像生成処理の流れについて、図６を参照しながら説明する。図６は、実施例１における画像生成処理の流れを示すフローチャートである。なお、以降の画像生成処理では、或る１つの異常画像から正常画像を生成する場合について説明する。複数の異常画像に対して画像生成処理を実行する場合には、複数の異常画像の各々の異常画像に対して画像生成処理を繰り返し実行すればよい。

まず、異常種類分類部１０１は、異常画像の異常種類を分類する分類器（学習済みのＣＮＮ）により、記憶部１０４に記憶されている異常画像を異常種類によって分類することで、この異常画像の異常種類を特定する（ステップＳ１０１）。

次に、領域特定部１０２は、上記のステップＳ１０１で分類された異常画像の異常領域を、例えばGrad-CAMにより特定する（ステップＳ１０２）。

そして、画像生成部１０３は、上記のステップＳ１０２で特定された異常領域を含む領域を当該異常画像に設定し、この設定した領域をマスクすることで、疑似的に正常画像を生成する（ステップＳ１０３）。なお、異常領域を含む領域は任意の形状の領域としてよく、例えば、矩形領域でもよいし、円形領域でもよいし、異常領域と相似形の領域でもよいし、異常領域そのものとしてもよい。また、領域をマスクするとは、この領域を目的分類器の学習に使用しないことを意味し、例えば、この領域内の画素値をランダムな値に設定したり、予め決められた値（例えば、０又は１等）に設定したりすることである。

以上により、本実施形態の実施例１における画像生成装置１０は、異常画像から疑似的に正常画像を生成することができる。これにより、例えば、学習用の異常画像数が十分であるものの、学習用の正常画像数が十分でない場合に、正常画像数を増やすことが可能となる。

なお、上記のステップＳ１０３において、画像生成部１０３は、異常画像から生成した正常画像に対して既知のデータ拡張手法を適用することで、新たな正常画像を生成してもよい。例えば、異常画像から生成した正常画像の上下若しくは左右又はその両方を反転させることで新たな正常画像を生成してもよいし、ノイズを付加することで新たな正常画像を生成してもよいし、色（画素値）を補正することで新たな正常画像を生成してもよい。また、画像の反転やノイズ付加、色の補正を組み合わせることで新たな正常画像を生成してもよい。

≪実施例２≫
以降では、実施例２における画像生成処理の流れについて、図７を参照しながら説明する。図７は、実施例２における画像生成処理の流れを示すフローチャートである。なお、以降の画像生成処理では、或る１つの異常画像から新たな異常画像を生成する場合について説明する。複数の異常画像に対して画像生成処理を実行する場合には、複数の異常画像の各々の異常画像に対して画像生成処理を繰り返し実行すればよい。

まず、異常種類分類部１０１は、異常画像の異常種類を分類する分類器（学習済みのＣＮＮ）により、記憶部１０４に記憶されている異常画像を異常種類によって分類することで、この異常画像の異常種類を特定する（ステップＳ２０１）。

次に、領域特定部１０２は、上記のステップＳ２０１で分類された異常画像の異常領域を、例えばGrad-CAMにより特定する（ステップＳ２０２）。

そして、画像生成部１０３は、上記のステップＳ２０２で特定された異常領域を含む領域を当該異常画像に設定し、この設定した領域以外の領域に対してランダムイレージングを行うことで、新たな異常画像を生成する（ステップＳ２０３）。このとき、画像生成部１０３は、例えば、異常領域を含む領域と、ランダムイレージングによるイレーズ領域との少なくとも一部が重畳しているか否かを判定した上で、重畳していない場合は新たな異常画像として採用し、重畳している場合は新たな異常画像としては採用しないようにする。これにより、イレーズ領域が異常領域と重なってしまい、異常箇所が学習に使用されない事態を防止することができる。なお、異常領域を含む領域は任意の形状の領域としてよく、例えば、矩形領域でもよいし、円形領域でもよいし、異常領域と相似形の領域でもよい。

ここで、図４に示す異常画像１１００に対してランダムイレージングを行うことで生成した新たな異常画像１３００の一例を図８に示す。図８に示すように、新たな異常画像１３００は、異常画像１１００の異常領域１１０２を含む領域１１０３以外の領域に対して、ランダムイレージングによりイレーズ領域１１０４を設定した画像である。なお、イレーズ領域１１０４は学習に使用されない領域であり、例えば、この領域をマスクした領域のことである。また、図８に示す例は領域１１０３が矩形領域である場合を示しているが、上述したように、領域１１０３は任意の形状の領域（例えば、円形領域や、異常領域１１０２と相似形の領域、異常領域１１０２そのもの等）でよい。

なお、上記のステップＳ２０３を繰り返し実行することで、１つの異常画像から複数の新たな異常画像を生成することが可能である。

以上により、本実施形態の実施例２における画像生成装置１０は、異常画像から新たな異常画像を生成することができる。これにより、例えば、学習用の正常画像数が十分であるものの、学習用の異常画像数が十分でない場合に、異常画像数を増やすことが可能となる。

なお、上記のステップＳ２０３では、ランダムイレージングによるイレーズ領域は矩形領域であるものとしたが、これに限られず、任意の形状の領域であってもよい。また、１つの異常画像に対して複数のイレーズ領域が設定された新たな異常画像が生成されてもよい。また、上記のステップＳ２０３において、画像生成部１０３は、新たな異常画像に対して既知のデータ拡張手法を適用することで、新たな異常画像を更に生成してもよい。例えば、新たな異常画像の上下若しくは左右又はその両方を反転させることで新たな異常画像を更に生成してもよいし、ノイズを付加することで新たな異常画像を更に生成してもよいし、色（画素値）を補正することで新たな異常画像を更に生成してもよい。また、画像の反転やノイズ付加、色の補正を組み合わせることで新たな異常画像を更に生成してもよい。

＜まとめ＞
以上のように、本実施形態に係る画像生成装置１０は、異常画像の異常領域を自動的に特定した上で、特定した異常領域をマスクすることで疑似的に正常画像を生成したり、特定した異常領域以外の領域にランダムイレージングを適用して新たな異常画像を生成したりすることができる。このため、例えば、目的分類器を学習するための正常画像数が十分でない場合や異常画像数が十分でない場合等に、学習用の正常画像数や異常画像数を増やすことが可能になる。したがって、本実施形態に係る画像生成装置１０を用いることで、高い性能の目的分類器を得ることができるようになる。

なお、実施例１は学習用の異常画像数は十分であるものの、学習用の正常画像数が十分でないものとしたが、これは一例であって、必ずしも正常画像数が十分でない必要はなく、少なくとも或る程度の数の異常画像があればよい。同様に、実施例２は学習用の正常画像数は十分であるものの、学習用の異常画像数が十分でないものとしたが、これは一例であって、必ずしも正常画像数が十分であったり異常画像数が十分でなかったり必要はなく、少なくとも或る程度の数の異常画像があればよい。

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。

１０画像生成装置
１０１異常種類分類部
１０２領域特定部
１０３画像生成部
１０４記憶部
２０１入力装置
２０２表示装置
２０３外部Ｉ／Ｆ
２０３ａ記録媒体
２０４通信Ｉ／Ｆ
２０５プロセッサ
２０６メモリ装置
２０７バス

Claims

対象物の外観検査に用いられる分類器を学習するための画像を生成する画像生成装置であって、
外観に異常がある対象物を撮影した異常画像を入力として、前記異常の種類を特定する第１の特定部と、
前記異常画像中で前記異常の箇所を示す領域を特定する第２の特定部と、
前記第２の特定部で特定された領域を、前記分類器の学習に使用しない領域に設定した前記異常画像を正常画像として生成する画像生成部と、
を有する画像生成装置。
前記画像生成部は、
前記第２の特定部で特定された領域をマスクすることで、前記分類器の学習に使用しない領域を設定する、請求項１に記載の画像生成装置。
前記画像生成部は、
前記正常画像に対して、左右若しくは上下又は上下左右の反転、ノイズ付加及び色の補正のうちの少なくとも１つを行うことで、新たな正常画像を生成する、請求項１又は２に記載の画像生成装置。
対象物の外観検査に用いられる分類器を学習するための画像を生成する画像生成装置であって、
外観に異常がある対象物を撮影した異常画像を入力として、前記異常の種類を特定する第１の特定部と、
前記異常画像中で前記異常の箇所を示す領域を特定する第２の特定部と、
前記第２の特定部で特定された領域をデータ拡張に使用しない領域に設定した前記異常画像に対して、前記データ拡張を行うことで新たな異常画像を生成する画像生成部と、
を有する画像生成装置。
前記データ拡張は、ランダムイレージングであり、
前記画像生成部は、
前記ランダムイレージングの対象となる領域と、前記第２の特定部で特定された領域との少なくとも一部が重畳しているか否かを判定し、
前記少なくとも一部が重畳していないと判定した場合は、前記異常画像に前記ランダムイレージングを行って前記新たな異常画像を生成し、
前記少なくとも一部が重畳していると判定した場合は、前記新たな異常画像を生成しない、請求項４に記載の画像生成装置。
前記画像生成部は、
前記新たな異常画像に対して、左右若しくは上下又は上下左右の反転、ノイズ付加及び色の補正のうちの少なくとも１つを行うことで、新たな異常画像を更に生成する、請求項４又は５に記載の画像生成装置。
前記第１の特定部は、
異常画像と前記異常画像中の異常の種類とが含まれる学習データを用いて予め学習された畳み込みニューラルネットワークによって、入力された異常画像の種類を特定し、
前記第２の特定部は、
前記畳み込みニューラルネットワークに対してGrad-CAMを用いることで、前記異常の箇所を示す領域を特定する、請求項１乃至６の何れか一項に記載の画像生成装置。
対象物の外観検査に用いられる分類器を学習するための画像を生成する画像生成方法であって、
外観に異常がある対象物を撮影した異常画像を入力として、前記異常の種類を特定する第１の特定手順と、
前記異常画像中で前記異常の箇所を示す領域を特定する第２の特定手順と、
前記第２の特定手順で特定された領域を、前記分類器の学習に使用しない領域に設定した前記異常画像を正常画像として生成する画像生成手順と、
をコンピュータが実行する画像生成方法。
対象物の外観検査に用いられる分類器を学習するための画像を生成する画像生成方法であって、
外観に異常がある対象物を撮影した異常画像を入力として、前記異常の種類を特定する第１の特定手順と、
前記異常画像中で前記異常の箇所を示す領域を特定する第２の特定手順と、
前記第２の特定手順で特定された領域をデータ拡張に使用しない領域に設定した前記異常画像に対して、前記データ拡張を行うことで新たな異常画像を生成する画像生成手順と、
をコンピュータが実行する画像生成方法。
対象物の外観検査に用いられる分類器を学習するための画像を生成する画像生成装置を、
外観に異常がある対象物を撮影した異常画像を入力として、前記異常の種類を特定する第１の特定部、
前記異常画像中で前記異常の箇所を示す領域を特定する第２の特定部、
前記第２の特定部で特定された領域を、前記分類器の学習に使用しない領域に設定した前記異常画像を正常画像として生成する画像生成部、
として機能させるためのプログラム。
対象物の外観検査に用いられる分類器を学習するための画像を生成する画像生成装置を、
外観に異常がある対象物を撮影した異常画像を入力として、前記異常の種類を特定する第１の特定部、
前記異常画像中で前記異常の箇所を示す領域を特定する第２の特定部、
前記第２の特定部で特定された領域をデータ拡張に使用しない領域に設定した前記異常画像に対して、前記データ拡張を行うことで新たな異常画像を生成する画像生成部、
として機能させるためのプログラム。