JP2021179790A

JP2021179790A - 画像生成装置、画像生成方法及びプログラム

Info

Publication number: JP2021179790A
Application number: JP2020084581A
Authority: JP
Inventors: 拓耶野間; Takuya Noma
Original assignee: Fuji Electric Co Ltd
Current assignee: Fuji Electric Co Ltd
Priority date: 2020-05-13
Filing date: 2020-05-13
Publication date: 2021-11-18

Abstract

【課題】学習用の画像を生成する画像生成装置、画像生成方法及びプログラムを提供する。【解決手段】画像生成装置１０は、対象物の外観検査に用いられる分類器を学習するための学習用画像を生成する画像生成装置であって、分類器に入力された画像が分類される複数のクラスのうちの一のクラスを選択するクラス選択部１０１と、一のクラスに属する学習用画像の集合から、Ｎ（ただし、Ｎは２以上の整数）個の学習用画像を選択する画像選択部１０２と、所定の確率分布から、０以上１以下の値を取るＮ−１個の乱数を生成する乱数生成部１０３と、Ｎ−１個の乱数を合成比として、Ｎ個の学習用画像を合成して新たな学習用画像を生成する画像生成部１０４と、を有する。【選択図】図１

Description

本発明は、画像生成装置、画像生成方法及びプログラムに関する。

近年、機械学習の発達に伴って、検査対象の外観を撮影した画像を入力して、この画像が正常画像又は異常画像のいずれであるかを分類する分類器が実用化されている。このような分類器は、例えば、入力画像と、この入力画像が正常画像又は異常画像のいずれであるかを示す正解ラベルとを含む学習データを用いて、ニューラルネットワーク等を教師あり学習の手法によって学習することで実現される。

ここで、一般に、学習データ数が多いほど分類器の精度が向上することが知られているが、十分な数の正常画像や異常画像を準備できない場合がある。

例えば、工場の生産ライン等では一般に不良率が低いため、十分な数の異常画像が得られない。これに対しては、学習用の異常画像を生成する従来技術として、異常画像に含まれる欠陥領域を人手で抽出し、正常画像に移植することで異常画像を生成する技術が知られている（例えば、特許文献１）。これ以外にも、画像に対して何等かの変換又は処理（例えば、幾何学変換（画像の水平反転や上下反転、回転、拡大・縮小、画像中の欠陥領域の平行移動等）、ノイズ付加、フィルタ処理等）を行うことで、学習用の正常画像や異常画像を生成する技術も知られている。

また、例えば、異常画像のみを保存するシステムである場合には十分な数の正常画像が得られない。これに対しては、正常画像も保存するシステムを導入等することが考えられる。

特開２０１８−２０５１２３号公報

しかしながら、十分の数の異常画像が得られない場合、上記の特許文献１に記載された技術では人手で欠陥領域を抽出する必要があり、多くの異常画像を生成する際には利用者の負担が大きく、多大な時間を要する。また、画像に対して何等かの変換又は処理を行う技術では、欠陥の特徴が消失してしまうことがある。例えば、欠陥領域を平行移動させた結果、当該欠陥領域の一部が画像内に含まれなくなったり、欠陥領域の縮小させた結果、当該欠陥領域が潰れてしまったりすることがある。

一方で、十分な数の正常画像が得られない場合、正常画像も保存するシステムを導入等することは多大なコストを要する。

本発明の実施形態は、上記の点に鑑みてなされたもので、学習用の画像を生成することを目的とする。

上記目的を達成するため、一実施形態に係る画像生成装置は、対象物の外観検査に用いられる分類器を学習するための学習用画像を生成する画像生成装置であって、前記分類器に入力された画像が分類される複数のクラスのうちの一のクラスを選択するクラス選択部と、前記一のクラスに属する学習用画像の集合から、Ｎ（ただし、Ｎは２以上の整数）個の学習用画像を選択する画像選択部と、所定の確率分布から、０以上１以下の値を取るＮ−１個の乱数を生成する乱数生成部と、前記Ｎ−１個の乱数を合成比として、前記Ｎ個の学習用画像を合成して新たな学習用画像を生成する画像生成部と、を有する。

学習用の画像を生成することができる。

本実施形態に係る画像生成装置の全体構成の一例を示す図である。画像集合の一例を示す図である。本実施形態に係る画像生成装置のハードウェア構成の一例を示す図である。本実施形態に係る画像生成処理の流れの一例を示すフローチャートである。画像合成の一例を説明するための図である。

以下、本発明の実施形態について説明する。本実施形態では、入力画像をクラス分類する分類器を学習するための学習用画像を生成する画像生成装置１０について説明する。ここで、入力画像が分類されるクラスは、入力画像が正常画像である場合に分類される正常クラスと異常画像である場合に分類される異常クラスの２クラスであってもよいし、異常の種類毎に異常クラスが異なる多クラス（３つ以上のクラス）であってもよい。多クラスの例としては、例えば、「異常種類Ａ」及び「異常種類Ｂ」の２種類の異常が存在する場合、正常クラスと、異常種類Ａの異常画像である場合に分類される第１の異常クラスと、異常種類Ｂの異常画像である場合に分類される第２の異常クラスとの３クラスが挙げられる。一般に、Ｃを１以上の整数として、Ｃ種類の異常が存在する場合はＣ＋１クラスが同様に定義される。

上記の分類器（以下、「目的分類器」ともいう。）は、例えば、ニューラルネットワーク等の機械学習モデルにより実現され、画像とこの画像がいずれのクラスに属するかを表す教師データとを対応付けた学習用画像を用いて任意の最適化手法により学習される。以降では、各クラスのうちの少なくとも１つのクラスに属する学習用画像数が十分でないものとして、このクラスに属する学習用画像を生成する場合について説明する。なお、学習用画像数が十分でないとは、或る程度の数の学習用画像（例えば、数枚〜数十枚程度の学習用画像）が得られているものの、目的分類器を学習した際に所望の精度が得られるまでの十分な数の学習用画像数が得られていないことを意味する。

＜全体構成＞
まず、本実施形態に係る画像生成装置１０の全体構成について、図１を参照しながら説明する。図１は、本実施形態に係る画像生成装置１０の全体構成の一例を示す図である。

図１に示すように、本実施形態に係る画像生成装置１０は、クラス選択部１０１と、画像選択部１０２と、乱数生成部１０３と、画像生成部１０４と、記憶部１０５とを有する。

記憶部１０５は、目的分類器を学習するための学習用画像を記憶する。例えば、正常クラス、第１の異常クラス及び第２の異常クラスの３クラス分類を行う目的分類器を学習する場合、図２に示すように、正常クラスに属する学習用画像１１００の画像集合と、第１の異常クラスに属する学習用画像１２００の画像集合と、第２の異常クラスに属する学習用画像１３００の画像集合とが記憶部１０５に記憶されている。学習用画像１１００は正常画像、学習用画像１２００は異常種類Ａの異常画像、学習用画像１３００は異常種類Ｂの異常画像である。学習用画像１２００には異常種類Ａの異常個所１２１０が含まれ、学習用画像１３００には異常種類Ｂの異常個所１３１０が含まれる。ここで、正常画像とは、例えば、外観検査で正常と判別される対象（例えば、製品や半製品等）を撮影した画像のことである。一方で、異常画像とは、例えば、外観検査で異常と判別される対象を撮影した画像のことである。なお、外観検査で異常と判別される対象としては、その外観に何等かの異常（例えば、傷やへこみ、色ムラ等の欠陥）がある対象等が挙げられる。図２に示す例では、例えば、異常種類Ａは或る工程Ａで発生する可能性があるキズＡであり、異常種類Ｂは別の工程Ｂで発生する可能性があるキズＢである。ただし、これは一例であって、例えば、異常種類Ａはへこみ、異常種類Ｂは傷であってもよい。

クラス選択部１０１は、予め決められた各クラスのうち、学習用画像を生成する対象となるクラス（以下、「対象クラス」ともいう。）を選択する。

画像選択部１０２は、対象クラスに属する学習用画像のうち、新たな学習用画像の生成に用いられるＮ個の学習用画像をランダムに選択する。すなわち、画像選択部１０２は、記憶部１０５に記憶されている学習用画像のうち、対象クラスの画像集合からＮ個の学習用画像をランダムに選択する。ただし、Ｎは２以上の整数であり、予め設定される。

乱数生成部１０３は、予め決められた所定の確率分布に従って０以上１以下のＮ−１個の乱数を生成する。

画像生成部１０４は、乱数生成部１０３により生成された乱数を用いて、画像選択部１０２により選択された学習用画像を合成することで、新たな学習用画像を生成する。なお、新たな学習用画像は、対象クラスに属する学習用画像として記憶部１０５に保存される。

＜ハードウェア構成＞
次に、本実施形態に係る画像生成装置１０のハードウェア構成について、図３を参照しながら説明する。図３は、本実施形態に係る画像生成装置１０のハードウェア構成の一例を示す図である。

図３に示すように、本実施形態に係る画像生成装置１０は一般的なコンピュータ又はコンピュータシステムで実現され、入力装置２０１と、表示装置２０２と、外部Ｉ／Ｆ２０３と、通信Ｉ／Ｆ２０４と、プロセッサ２０５と、メモリ装置２０６とを有する。これら各ハードウェアは、それぞれがバス２０７を介して通信可能に接続されている。

入力装置２０１は、例えば、キーボードやマウス、タッチパネル等である。表示装置２０２は、例えば、ディスプレイ等である。なお、画像生成装置１０は、入力装置２０１及び表示装置２０２のうちの少なくとも一方を有していなくてもよい。

外部Ｉ／Ｆ２０３は、外部装置とのインタフェースである。外部装置には、記録媒体２０３ａ等がある。画像生成装置１０は、外部Ｉ／Ｆ２０３を介して、記録媒体２０３ａの読み取りや書き込み等を行うことができる。記録媒体２０３ａには、例えば、画像生成装置１０が有する各機能部（クラス選択部１０１、画像選択部１０２、乱数生成部１０３及び画像生成部１０４）を実現する１以上のプログラムが格納されていてもよい。

なお、記録媒体２０３ａには、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等がある。

通信Ｉ／Ｆ２０４は、画像生成装置１０を通信ネットワークに接続するためのインタフェースである。なお、画像生成装置１０が有する各機能部を実現する１以上のプログラムは、通信Ｉ／Ｆ２０４を介して、所定のサーバ装置等から取得（ダウンロード）されてもよい。

プロセッサ２０５は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の各種演算装置である。画像生成装置１０が有する各機能部は、例えば、メモリ装置２０６等に格納されている１以上のプログラムがプロセッサ２０５に実行させる処理により実現される。

メモリ装置２０６は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の各種記憶装置である。画像生成装置１０が有する記憶部１０５は、メモリ装置２０６を用いて実現可能である。なお、記憶部１０５は、例えば、画像生成装置１０と通信ネットワークを介して接続される記憶装置（例えば、データベースサーバ等）を用いて実現されていてもよい。

本実施形態に係る画像生成装置１０は、図３に示すハードウェア構成を有することにより、後述する画像生成処理を実現することができる。なお、図３に示すハードウェア構成は一例であって、画像生成装置１０は、他のハードウェア構成を有していてもよい。例えば、画像生成装置１０は、複数のプロセッサ２０５を有していてもよいし、複数のメモリ装置２０６を有していてもよい。

＜画像生成処理＞
次に、本実施形態に係る画像生成処理の流れについて、図４を参照しながら説明する。図４は、本実施形態に係る画像生成処理の流れの一例を示すフローチャートである。

まず、クラス選択部１０１は、予め決められた各クラスの中から対象クラスを選択する（ステップＳ１０１）。このとき、例えば、予め決められた各クラスの中から１つのクラスをユーザが選択することで対象クラスが選択されてもよいし、学習用画像数が所定の基準値未満のクラスや学習用画像数が最も少ないクラスを対象クラスとして選択されてもよい。なお、所定の基準値としては、例えば、目的分類器を学習した際に所望の精度が得られることが経験的に確認された値等が設定される。

ここで、上記のステップＳ１０１では、全てのクラス又は複数のクラスが対象クラスとして選択されてもよい。この場合、対象クラス毎に、以降のステップＳ１０２〜ステップＳ１０４が繰り返し実行されればよい。

次に、画像選択部１０２は、対象クラスの画像集合から、新たな学習用画像の生成に用いられるＮ個の学習用画像をランダムに選択する（ステップＳ１０２）。

次に、乱数生成部１０３は、所定の確率分布に従って０以上１以下のＮ−１個の乱数を生成する（ステップＳ１０３）。予め決められた所定の確率部分としては、確率変数の取り得る値を０以上１以下とした任意の確率分布を用いることが可能であるが、例えば、ベータ分布を用いることが可能である。ベータ分布を用いる場合、そのパラメータには任意の値を設定することが可能であるが、例えば、乱数として０．０〜０．２又は０．８〜１．０の範囲内の値が多く生成されるような値をパラメータに設定することが好ましい。

以降では、乱数生成部１０３により生成されたＮ個の乱数をｒ_１，・・・，ｒ_Ｎ−１と表す。なお、これらＮ個の乱数ｒ_１，・・・，ｒ_Ｎ−１はその全てが同一の確率分布に従って生成されてもよいし、複数の確率分布を用いて、各確率分布に従う乱数を合計Ｎ個生成されてもよい。例えば、２つの確率分布を用いる場合、第１の確率分布に従う乱数ｒ_１，・・・，ｒ_Ｋと、第２の確率分布に従う乱数ｒ_Ｋ＋１，・・・，ｒ_Ｎ−１とが生成されてもよい。同様に、例えば、３つの確率分布を用いる場合、第１の確率分布に従う乱数ｒ_１，・・・，ｒ_Ｋと、第２の確率分布に従う乱数ｒ_Ｋ＋１，・・・，ｒ_Ｌと、第３の確率分布に従う乱数ｒ_Ｌ＋１，・・・，ｒ_Ｎ−１とが生成されてもよい。４つ以上の確率分布を用いる場合も同様である。なお、Ｋ及びＬは１＜Ｋ＜Ｌ＜Ｎ−１を満たす整数である。

次に、画像生成部１０４は、上記のステップＳ１０３で生成された乱数ｒ_１，・・・，ｒ_Ｎ−１を用いて、上記のステップＳ１０２で選択されたＮ個の学習用画像を合成することで、新たな学習用画像を生成する（ステップＳ１０４）。なお、新たな学習用画像は、対象クラスに属する学習用画像として記憶部１０５に保存される。

・Ｎ＝２の場合
一例として、Ｎ＝２、対象クラスを「第１の異常クラス」として、上記のステップＳ１０２で学習用画像１２００−ｍ_１と学習用画像１２００−ｍ_２とが選択された場合について説明する。なお、簡単のため、ｒ＝ｒ_１とする。

このとき、画像生成部１０４は、図５に示すように、乱数ｒを合成比として、学習用画像１２００−ｍ_１の各画素値と学習用画像１２００−ｍ_２の各画素値とを合成することで、新たな学習用画像１２００−ｍ_３を生成する。なお、学習用画像１２００−ｍ_３中の異常個所１２１０−ｍ_３は学習用画像１２００−ｍ_１中の異常個所１２１０−ｍ_１に対応し、異常個所１２２０−ｍ_３は学習用画像１２００−ｍ_２中の異常個所１２１０−ｍ_２に対応する。

上記の合成に関してより具体的に説明すると、例えば、学習用画像１２００の横方向の画素数（横方向のサイズ）をＩ、縦方向の画素数（縦方向のサイズ）をＪとして、学習用画像１２００−ｍ_１の各画素値をｘ_１ｉｊ、学習用画像１２００−ｍ_２の各画素値をｘ_２ｉｊとする。このとき、各ｉ，ｊに対して、新たな学習用画像１２００−ｍ_３の各画素値ｙ_ｉｊは以下で計算される。

ｙ_ｉｊ＝ｒｘ_１ｉｊ＋（１−ｒ）ｘ_２ｉｊ
これにより、対象クラスに属する新たな学習用画像１２００−ｍ_３が生成される。

なお、上述したように、乱数ｒを生成するための確率分布としてベータ分布を用いる場合、０．０〜０．２又は０．８〜１．０の範囲内の値が多く生成されるような値をパラメータに設定することが好ましい。これは、乱数ｒの値が０．０〜０．２又は０．８〜１．０の範囲内にある方が、目的分類器を学習した際により高い精度が得られる学習用画像を生成することが可能であることが実験により確認されたためである。

・Ｎ≧３の場合
より一般に、Ｎ≧３の場合について説明する。この場合、乱数ｒ_１，・・・，ｒ_Ｎ−１を合成比として、Ｎ個の学習用画像の各画素値を合成することで、新たな学習用画像を生成する。すなわち、上記のステップＳ１０２で選択されたＮ個の学習用画像それぞれの画素値をｘ_ｎｉｊ（ただし、ｎ＝１，・・・，Ｎ）とすれば、各ｉ，ｊに対して、新たな学習用画像の各画素値ｙ_ｉｊは以下で計算される。

ｙ_ｉｊ＝ｒ_１ｘ_１ｉｊ＋（１−ｒ_１）ｒ_２ｘ_２ｉｊ＋（１−ｒ_１）（１−ｒ_２）ｒ_３ｘ_３ｉｊ＋・・・＋（１−ｒ_１）（１−ｒ_２）・・・（１−ｒ_Ｎ−１）ｘ_Ｎｉｊ
これにより、対象クラスに属する新たな学習用画像が生成される。

なお、図４に示す画像生成処理では新たな学習用画像を１つ生成する場合について説明したが、新たな学習用画像を複数生成する場合には上記のステップＳ１０１〜ステップＳ１０４を繰り返し実行すればよい。また、新たな学習用画像を複数生成する際に、対象クラスを固定したい場合は上記のステップＳ１０２〜ステップＳ１０４のみを繰り返せばよい。同様に、合成比として用いられる乱数を固定したい場合は上記のステップＳ１０３を繰り返しから除外すればよい。また、例えば、新たな学習用画像が或る所定の数生成されるごとに上記のステップＳ１０３を再実行し、合成比として用いられる新たな乱数を生成してもよい。

＜まとめ＞
以上のように、本実施形態に係る画像生成装置１０は、同一クラスに属するＮ個の学習用画像と、所定の確率分布に従うＮ−１個の合成比とを用いて、これらＮ個の学習用画像を合成して新たな学習用画像を生成する。これにより、本実施形態に係る画像生成装置１０は、当該クラスに属する学習用画像を増やすことが可能となる（言い換えれば、当該クラスのデータ拡張を行うことが可能となる。）。

しかも、このとき、Ｎ個の学習用画像の組み合わせをランダムに選択すると共に合成比を様々な確率分布から生成することができるため、当該クラスに属する学習用画像の特徴量を多様化し、バリエーションを増やすことが可能となる。また、Ｎ個の学習用画像を合成するという単純な処理で新たな学習用画像を生成することが可能であるため、例えば、専門家の知識やデータ（画像）の種類に依存せずに、かつ、手間やコストをかけずにデータ拡張を行うことが可能となる。このため、これらの学習用画像を用いて学習を行うことで、所望の精度を満たす目的分類器の構築が期待できる。

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。例えば、新たな学習用画像に対して既知のデータ拡張（幾何学変換やノイズ付加、フィルタ処理等）を実施して新たな学習用画像を更に増やしてもよいし、記憶部１０５に記憶されている学習用画像に対して既知のデータ拡張を実施して学習用画像を増やした上で、新たな学習用画像を生成してもよい。

１０画像生成装置
１０１クラス選択部
１０２画像選択部
１０３乱数生成部
１０４画像生成部
１０５記憶部
２０１入力装置
２０２表示装置
２０３外部Ｉ／Ｆ
２０３ａ記録媒体
２０４通信Ｉ／Ｆ
２０５プロセッサ
２０６メモリ装置
２０７バス

Claims

対象物の外観検査に用いられる分類器を学習するための学習用画像を生成する画像生成装置であって、
前記分類器に入力された画像が分類される複数のクラスのうちの一のクラスを選択するクラス選択部と、
前記一のクラスに属する学習用画像の集合から、Ｎ（ただし、Ｎは２以上の整数）個の学習用画像を選択する画像選択部と、
所定の確率分布から、０以上１以下の値を取るＮ−１個の乱数を生成する乱数生成部と、
前記Ｎ−１個の乱数を合成比として、前記Ｎ個の学習用画像を合成して新たな学習用画像を生成する画像生成部と、
を有する画像生成装置。
前記所定の確率分布はベータ分布である、請求項１に記載の画像生成装置。
前記Ｎ−１個の乱数の値が０．０〜０．２又は０．８〜１．０のいずれかの範囲内となるように前記ベータ分布のパラメータが設定されている、請求項２に記載の画像生成装置。
前記画像生成部は、
前記Ｎ個の学習用画像それぞれのサイズをＩ×Ｊ，前記Ｎ個の学習用画像それぞれの各画素値をｘ_ｎｉｊ（ただし、ｎ＝１，・・・，Ｎ，１≦ｉ≦Ｉ，１≦ｊ≦Ｊ），前記Ｎ−１個の乱数をｒ_１，・・・，ｒ_Ｎ−１とした場合、ｒ_１ｘ_１ｉｊ＋（１−ｒ_１）ｒ_２ｘ_２ｉｊ＋（１−ｒ_１）（１−ｒ_２）ｒ_３ｘ_３ｉｊ＋・・・＋（１−ｒ_１）（１−ｒ_２）・・・（１−ｒ_Ｎ−１）ｘ_Ｎｉｊにより前記新たな学習用画像の画素値ｙ_ｉｊを計算することで、前記Ｎ個の学習用画像を合成して前記新たな学習用画像を生成する、請求項１乃至３の何れか一項に記載の画像生成装置。
前記学習用画像を記憶する記憶部を有し、
前記クラス選択部は、
前記複数のクラスのうち、前記記憶部に記憶されている学習用画像の中で当該クラスに属する学習用画像の数が最も少ないクラスを前記一のクラスとして選択する、請求項１乃至４の何れか一項に記載の画像生成装置。
対象物の外観検査に用いられる分類器を学習するための学習用画像を生成する画像生成装置が、
前記分類器に入力された画像が分類される複数のクラスのうちの一のクラスを選択するクラス選択手順と、
前記一のクラスに属する学習用画像の集合から、Ｎ（ただし、Ｎは２以上の整数）個の学習用画像を選択する画像選択手順と、
所定の確率分布から、０以上１以下の値を取るＮ−１個の乱数を生成する乱数生成部と、
前記Ｎ−１個の乱数を合成比として、前記Ｎ個の学習用画像を合成して新たな学習用画像を生成する画像生成手順と、
を実行する画像生成方法。
対象物の外観検査に用いられる分類器を学習するための学習用画像を生成する画像生成装置を、
前記分類器に入力された画像が分類される複数のクラスのうちの一のクラスを選択するクラス選択部、
前記一のクラスに属する学習用画像の集合から、Ｎ（ただし、Ｎは２以上の整数）個の学習用画像を選択する画像選択部、
所定の確率分布から、０以上１以下の値を取るＮ−１個の乱数を生成する乱数生成部、
前記Ｎ−１個の乱数を合成比として、前記Ｎ個の学習用画像を合成して新たな学習用画像を生成する画像生成部、
として機能させるためのプログラム。