JP2020071808A - 学習装置及び学習方法 - Google Patents

Abstract

【課題】オートエンコーダ又は変分オートエンコーダの復元性能を向上させる。【解決手段】オートエンコーダ又は変分オートエンコーダである学習モデルを用いて機械学習する学習装置であって、学習データとして前記学習モデルに入力される第１の画像と、前記学習モデルから出力される第２の画像と、の復元誤差を求め、前記復元誤差がなくなるように前記学習モデルのパラメータを調整することで前記機械学習する学習部を備え、前記学習部は、前記第１の画像の画素値の特徴を示す第１の特徴量と前記第２の画像の画素値の特徴を示す第２の特徴量との誤差である特徴量誤差を算出し、前記特徴量誤差を前記復元誤差に含める。【選択図】図１

Description

本発明は、学習装置及び学習方法に関する。

入力画像の特徴を学習する手法の一つとして、入力画像を次元圧縮（エンコード）し、その次元圧縮したデータを復元（デコード）して出力画像を得るオートエンコーダ（Auto Encoder）を用いる方法がある（例えば、特許文献１）。

特開２０１８−１５６４５１号公報

従来のオートエンコーダでは、復元誤差として画素間のクロスエントロピーのみを用いている。したがって、単純な格子模様のデータセット（複数の入力画像）であっても、ぼやけた画像などを含めたデータセットで学習させると、出力画像において、元の入力画像の形状パターンが失われたり、学習したデータセットにはない別な形状パターンが出力画像に出現したりする場合がある。その結果、オートエンコーダの復元性能が低下する場合がある。
なお、このような問題は、オートエンコーダに限られた問題ではなく、変分オートエンコーダ（Variational Auto Encoder）や他の派生手法にも共通する問題である。

本発明は、このような事情に鑑みてなされたもので、その目的は、オートエンコーダ又は変分オートエンコーダの復元性能を向上させることが可能な学習装置及び学習方法を提供することである。

本発明の一態様は、オートエンコーダ又は変分オートエンコーダである学習モデルを用いて機械学習する学習装置であって、学習データとして前記学習モデルに入力される第１の画像と、前記学習モデルから出力される第２の画像と、の復元誤差を求め、前記復元誤差に基づいて前記学習モデルのパラメータを調整することで前記機械学習する学習部を備え、前記学習部は、前記第１の画像の画素値の特徴を示す第１の特徴量と前記第２の画像の画素値の特徴を示す第２の特徴量との誤差である特徴量誤差を算出し、前記特徴量誤差を前記復元誤差に含めることを特徴とする、学習装置である。

本発明の一態様は、上述の学習装置であって、前記学習部は、前記第１の画像の画素値及び前記第２の画像の画素値の誤差を示す画素値誤差を求める第１の処理部と、前記第１の特徴量及び前記第２の特徴量に基づいて前記特徴量誤差を求める第２の処理部と、前記画素値誤差及び前記特徴量誤差を前記復元誤差に含める第３の処理部と、を備える。

本発明の一態様は、上述の学習装置であって、前記第２の処理部は、前記第１の画像の各画素間での画素値の勾配を前記第１の特徴量として求め、前記第２の画像の各画素間での画素値の勾配を前記第２の特徴量として求める。

本発明の一態様は、上述の学習装置であって、前記第２の処理部は、前記第１の画像の各画素間での画素値を微分することで第１の微分画像を生成することで前記第１の特徴量を求める第１の特徴量算出部と、前記第２の画像の各画素間での画素値を微分することで第２の微分画像を生成することで前記第２の特徴量を求める第２の特徴量算出部と、前記第１の微分画像及び第２の微分画像の誤差を前記特徴量誤差として求める誤差算出部と、備える。

本発明の一態様は、上述の学習装置であって、前記第１の処理部は、交差エントロピーを用いた誤差関数により前記画素値誤差を算出し、前記第２の処理部は、交差エントロピーを用いた誤差関数により前記特徴量誤差を算出する。

本発明の一態様は、コンピュータがオートエンコーダ又は変分オートエンコーダである学習モデルを用いて機械学習する学習方法であって、学習データとして前記学習モデルに入力される第１の画像と、前記学習モデルから出力される第２の画像と、の復元誤差を求め、前記復元誤差に基づいて前記学習モデルのパラメータを調整することで前記機械学習する学習ステップを含み、前記学習ステップは、前記第１の画像の画素値の特徴を示す第１の特徴量を算出する第１の算出ステップと、前記第２の画像の画素値の特徴を示す第２の特徴量を算出する第２の算出ステップと、前記第１の特徴量及び前記第２の特徴量の誤差である特徴量誤差を算出する第３の算出ステップと、前記特徴量誤差を前記復元誤差に含めて当該復元誤差に基づいて前記パラメータを調整する調整ステップと、含むことを特徴とする、学習方法である。

以上説明したように、本発明によれば、オートエンコーダ又は変分オートエンコーダの復元性能を向上させることができる。

本発明の一実施形態に係る学習方法を備える学習装置Ａの機能部の一例を示す図である。 本発明の一実施形態に係るオートエンコーダＡＥ及び変分オートエンコーダＶＡＥの構成例を示す図である。 本発明の一実施形態に係る学習部３の機能部の一例を示す図である。 本発明の一実施形態に係る勾配Ｓの算出方法を説明する図である。 本発明の一実施形態に係る学習装置Ａの学習方法の流れを説明する図である。 従来のＶＡＥを適用した場合における入出力画像を示す図である。 本実施例で用いられたデータセットの特徴を説明する図である。 本実施例での入出力画像を示す図である。

以下、本発明の一実施形態に係る学習装置及び学習方法を、図面を用いて説明する。

図１は、本発明の一実施形態に係る学習方法を備える学習装置Ａの機能部の一例を示す図である。図１に示す学習装置Ａは、オートエンコーダＡＥ（Auto Encoder）又は変分オートエンコーダＶＡＥ（Variational Auto Encoder）である学習モデルを用いて、学習データである入力画像の特徴を機械学習する。
なお、本実施形態に係る学習装置Ａは、情報処理装置であって、ＣＰＵ又はＭＰＵなどのマイクロプロセッサ、ＭＣＵなどのマイクロコントローラなどにより構成されてよい。

以下に、本発明の一実施形態に係る学習装置Ａの各機能部について説明する。
図１に示すように、学習装置Ａは、入力画像取得部１、学習モデル２及び学習部３を備える。

入力画像取得部１は、学習データとして入力画像Ｇを取得する。例えば、入力画像Ｇは、外部に設けられた撮像装置（不図示）が撮像対象物を撮像した撮像画像（例えば、超音波検査の検査画像）である。なお、例えば、入力画像取得部１は、上記撮像画像を入力画像Ｇとして当該撮像装置から直接取得してもよい。また、入力画像取得部１は、学習装置Ａの外部又は内部に設けられた格納部（不図示）に格納されている上記撮像画像を入力画像Ｇとして読み込むことで取得してもよい。なお、入力画像Ｇは、本発明の「第１の画像」の一例である。

ここで、例えば、学習装置Ａが撮像対象物の異常を上記撮像画像から検知することを目的として機械学習する場合には、学習データとして用いられる入力画像Ｇは、すべて正常時の撮像対象物の撮像画像である。

学習モデル２は、オートエンコーダＡＥ又は変分オートエンコーダＶＡＥである。
オートエンコーダＡＥは、ニューラルネットワークによる教師なしの学習モデルであって、隠れ層のニューロン数を入力層の次元数よりも少なくすることによって、より少ない次元数で入力画像Ｇを再現するように次元削減を行うことができる。

なお、本実施形態に係るオートエンコーダＡＥの構成は、公知であるため具体的な説明は省略するが、図２（ａ）に示すように、オートエンコーダＡＥは、入力層Ｌ１、隠れ層Ｌ２及び出力層Ｌ３で構成されるニューラルネットワークである。
入力層Ｌ１及び出力層Ｌ３は、同一の次元数である。一方、隠れ層Ｌ２は、入力層Ｌ１及び出力層Ｌ３よりも次元数が少ない。

したがって、入力画像取得部１で取得された入力画像Ｇが入力層Ｌ１に入力されると、オートエンコーダＡＥは、入力層Ｌ１から隠れ層Ｌ２の間（エンコーダ）で入力画像Ｇを潜在変数ｚに次元圧縮し、隠れ層Ｌ２から出力層Ｌ３の間（デコーダ）で、潜在変数ｚを元の画像になるように復元することで出力画像Ｇ´を得る。したがって、この出力画像Ｇ´は、オートエンコーダＡＥのデコーダで復元された画像である。なお、出力画像Ｇ´は、本発明の「第２の画像」の一例である。

変分オートエンコーダＶＡＥは、公知であるため詳細な説明は省略するが、図２（ｂ）に示すように、エンコーダで潜在変数ｚの平均ベクトルμと分散ベクトルσを求めることで、オートエンコーダＡＥに比べて低次元で抽象的な特徴を学習することができる。

学習部３は、入力画像Ｇ及び出力画像Ｇを取得する。例えば、学習部３は、入力画像取得部１から入力画像Ｇを取得する。また、学習部３は、学習モデル２の出力から出力画像Ｇ´を取得する。

そして、学習部３は、学習データとして学習モデル２に入力される入力画像Ｇと、学習モデル２から出力される出力画像Ｇ´との誤差である復元誤差（Reconstruction Error）Ｅを求め、この復元誤差Ｅがなくなるように、又は最小化するように学習モデル２のパラメータ（例えば、重み）を調整することで機械学習を行う。なお、学習モデル２のパラメータを最適化することが、本実施形態に係る機械学習の「学習」に相当する。なお、この学習には、例えば、誤差逆伝播法（back propagation）が用いられる。
なお、学習モデル２が変分オートエンコーダＶＡＥである場合には、ＫＬダイバージェンスによる正則化誤差をも考慮して学習モデル２のパラメータを最適化する必要があるが、この正規化誤差は例えば公知の技術で算出されてもよい。

次に、本発明の一実施形態に係る学習部３の機能部について、図３を用いて説明する。図３は、本発明の一実施形態に係る学習部３の機能部の一例を示す図である。

図３に示すように、学習部３は、第１の処理部４、第２の処理部５及び第３の処理部６を備える。

第１の処理部４は、入力画像Ｇ及び出力画像Ｇ´の間の画素値の誤差（以下、「画素値誤差」という。）Ｖを求める。例えば、第１の処理部４は、入力画像Ｇの画素の画素値Ｐと当該画素の位置と同じ位置にある出力画像Ｇ´の画素の画素値Ｐ´との間の誤差ｅを各画素間で求める。そして、第１の処理部４は、入力画像Ｇ及び出力画像Ｇ´の間の各画素間で求めた誤差ｅを合計することで画素値誤差Ｖを算出する。例えば、第１の処理部４は、以下の式（１）に示すように、交差エントロピーを用いた誤差関数により画素値誤差Ｖを算出する。すなわち、画素値誤差Ｖは、入出力画像（入力画像Ｇ及び出力画像Ｇ´）の交差エントロピーとなる。ただし、本発明はこれに限定されず、第１の処理部４は、画素値誤差Ｖを、交差エントロピーを用いた誤差関数以外の誤差関数（例えば、ＲＭＳＥ（Root Mean Square Error）やＭＳＥ（Mean Squared Error）、ＭＡＥ（Mean Absolute Error））で求めてもよい。

なお、ｉは、画素の位置を示すものである。すなわち、式（１）に示す画素値誤差Ｖは、「１」として設定された位置（例えば、ｘｙ座標の位置）から「Ｄ」として設定された位置までの各画素の誤差ｅを合計することを意味する。なお、このＤは、任意に設定可能である。本実施形態では、第１の処理部４が入力画像Ｇ及び出力画像Ｇ´の間のすべての画素間で誤差ｅを求めるように「Ｄ」が設定される。

第２の処理部５は、入力画像Ｇの画素値Ｐの特徴を示す第１の特徴量と出力画像Ｇ´の画素値ｑの特徴を示す第２の特徴量とを算出する。そして、第２の処理部５は、第１の特徴量及び第２の特徴量の誤差である特徴量誤差Ｕを算出する。

この第１の特徴量は、いわゆる入力画像Ｇの形状特徴を示すものであって、本実施形態では入力画像Ｇの勾配である。同様に、第２の特徴量は、出力画像Ｇ´の形状特徴を示すものであって、本実施形態では出力画像Ｇ´の勾配である。ただし、本発明はこれに限定されず、第１の特徴量及び第２の特徴量は、勾配の代わりに，ＩＳＣ（増分符号）やＯＣ（方向符号）など、画素値の特徴を示す他の符号や指標を用いても構わない。また、第１の特徴量及び第２の特徴量は、画像を二値化や微分を行うことで求められる輪郭を示すものであってもよい。

第３の処理部６は、画素値誤差Ｐ及び特徴量誤差Ｕを復元誤差Ｅに含める。例えば、第３の処理部６は、画素値誤差Ｐ及び特徴量誤差Ｕを加算した値を復元誤差Ｅに含めて、その復元誤差Ｅに基づいて（例えば、復元誤差Ｅに最小化するように）学習モデル２のパラメータを調整することで機械学習を行う。このように、第３の処理部６は、画素値誤差Ｐ及び特徴量誤差Ｕに基づいて復元誤差Ｅを設定してもよい。

次に、本発明の一実施形態に係る第２の処理部５の機能部について説明する。
第２の処理部５は、第１の特徴量算出部７、第２の特徴量算出部８及び誤差算出部９を備える。

第１の特徴量算出部７は、入力画像Ｇにおける画素値Ｐの勾配Ｓを第１の特徴量として求める。例えば、まず、第１の特徴量算出部７は、入力画像Ｇの各画素間での画素値Ｐの勾配Ｓｔを求める。本実施形態では、第１の特徴量算出部７は、勾配Ｓｔとして入力画像Ｇの各画素間におけるｘ方向の勾配Ｓｘ及び入力画像Ｇの各画素間におけるｙ方向の勾配Ｓｙを求める。
ここで、入力画像Ｇ内の画素の位置（ｘ,ｙ）における画素値をＰ（ｘ,ｙ）としたとき、勾配Ｓｘ及び勾配Ｓｙは以下の式（２）及び（３）で求められる。

勾配Ｓｘ＝Ｐ(ｘ＋１,ｙ)−Ｐ(ｘ,ｙ) …（２）
勾配Ｓｙ＝Ｐ(ｘ,ｙ＋１)−Ｐ(ｘ,ｙ) …（３）

すなわち、第１の特徴量算出部７は、図４に示すように、入力画像Ｇに対してｘ方向及びｙ方向のそれぞれにおいて微分処理を行うことで勾配Ｓｘ及び勾配Ｓｙを算出する。本実施形態に係る微分処理とは、例えば、隣接する画素の画素値の引き算である。

第１の特徴量算出部７は、各画素間の勾配Ｓｘの総和及び各画素間の勾配Ｓｙの総和を足して２で割った値を勾配Ｓとして求める。
なお、第１の特徴量算出部７は、入力画像Ｇの各画素間での画素値を微分処理して入力画像Ｇのｘ方向及びｙ方向の微分画像（第１の部分画像）を生成することで、入力画像Ｇにおける画素値Ｐの勾配Ｓを求めてもよい。

第２の特徴量算出部８は、出力画像Ｇ´における画素値ｑの勾配Ｓ´を第１の特徴量として求める。例えば、まず、第２の特徴量算出部８は、出力画像Ｇ´の各画素間での画素値ｑの勾配Ｓ´ｔを求める。本実施形態では、第２の特徴量算出部８は、勾配Ｓ´ｔとして出力画像Ｇ´の各画素間におけるｘ方向の勾配Ｓ´ｘ及び出力画像Ｇ´の各画素間におけるｙ方向の勾配Ｓ´ｙを求める。
ここで、出力画像Ｇ´内の画素の位置（ｘ,ｙ）における画素値をｑ（ｘ,ｙ）としたとき、勾配Ｓ´ｘ及び勾配Ｓ´ｙは以下の式（４）及び（５）で求められる。

勾配Ｓ´ｘ＝ｑ(ｘ＋１,ｙ)−ｑ(ｘ,ｙ) …（４）
勾配Ｓ´ｙ＝ｑ(ｘ,ｙ＋１)−ｑ(ｘ,ｙ) …（５）

すなわち、第２の特徴量算出部８は、図４に示すように、出力画像Ｇ´に対してｘ方向及びｙ方向のそれぞれにおいて微分処理を行うことで勾配Ｓ´ｘ及び勾配Ｓ´ｙを算出する。本実施形態に係る微分処理とは、例えば、隣接する画素の画素値の引き算である。

第２の特徴量算出部８は、各画素間の勾配Ｓ´ｘの総和及び各画素間の勾配Ｓ´ｙの総和を足して２で割った値を勾配Ｓ´として求める。
なお、第２の特徴量算出部８は、出力画像Ｇ´の各画素間での画素値を微分処理して出力画像Ｇ´のｘ方向及びｙ方向の微分画像（第２の部分画像）を生成することで、出力画像Ｇ´における画素値ｑの勾配Ｓ´を求めてもよい。

誤差算出部９は、勾配Ｓと勾配Ｓ´との誤差である特徴量誤差Ｕを求める。例えば、誤差算出部９は、交差エントロピーを用いた誤差関数により特徴量誤差Ｕを算出する。ただし、本発明はこれに限定されず、誤差算出部９は、特徴量誤差ＵをＲＭＳＥ（Root Mean Square Error）やＭＳＥ（Mean Squared Error）、ＭＡＥ（Mean Absolute Error）等を用いた誤差関数で求めてもよい。

本実施形態では、誤差算出部９は、交差エントロピーを用いた誤差関数により特徴量誤差Ｕを求める。例えば、誤差算出部９は、下記の式（６）に示すように、第１の微分画像及び第２の微分画像の交差エントロピーを求めることで特徴量誤差Ｕを得ることができる。

したがって、例えば、第３の処理部６は、画素値誤差Ｐ及び特徴量誤差Ｕを加算した値を復元誤差Ｅに含めることで、例えば、その復元誤差Ｅが最小化するように学習モデル２のパラメータを調整することで機械学習を行う。
例えば、第３の処理部６は、画素値誤差Ｐの重み係数Ｗａ及び特徴量誤差Ｕの重み係数Ｗｂとした場合に、以下に示す式（７）で復元誤差Ｅを定義してもよい。すなわち、第３の処理部６は、画素値誤差Ｐ及び特徴量誤差Ｕの加重平均を復元誤差Ｅとして設定してもよい。

次に、本発明の一実施形態に係る学習装置Ａの学習方法の流れを、図５を用いて説明する。
本発明の一実施形態に係る学習装置Ａの学習方法は、学習データとして学習モデル２に入力される入力画像Ｇと、学習モデル２から出力される出力画像Ｇ´と、の復元誤差Ｅを求め、この復元誤差Ｅに基づいて学習モデル２のパラメータを調整することで機械学習する学習ステップを含む。

具体的には、学習ステップは、第１の取得ステップ、第２の取得ステップ、第１の算出ステップ、第２の算出ステップ、第３の算出ステップ及び調整ステップを備える。
学習装置Ａは、第１の取得ステップとして、入力画像取得部１から入力画像Ｇを取得する（ステップＳ１０１）。また、学習装置Ａは、第２の取得ステップとして、学習モデル２で復元された画像、すなわち出力画像Ｇ´を取得する（ステップＳ１０２）。

そして、学習装置Ａは、第１の算出ステップとして入力画像Ｇの画素値の特徴を示す第１の特徴量を算出し、第２の算出ステップとして出力画像Ｇ´の画素値の特徴を示す第２の特徴量を算出する（ステップＳ１０３）。

学習装置Ａは、算出した第１の特徴量及び第２の特徴量の誤差である特徴量誤差Ｕを、交差エントロピー、ＲＭＳＥ、ＭＳＥ、又はＭＡＥ等を用いた誤差関数を用いて算出する（ステップＳ１０４）。そして、学習装置Ａは、特徴量誤差Ｕを復元誤差Ｅに含め、この復元誤差Ｅがなくなるように、又は最小化するように学習モデル２のパラメータを調整することで機械学習を行う。

具体的には、学習装置Ａは、入力画像Ｇ及び出力画像Ｇ´のそれぞれの形状特徴（第１の特徴量及び第２の特徴量）を算出し、入力画像の第１の特徴量を真値とし、出力画像Ｇ´の第２の特徴量との特徴量誤差Ｕを求める。そして、学習装置Ａは、復元誤差Ｅの評価関数に、形状特徴を評価する項である特徴量誤差Ｕを追加して、この復元誤差Ｅがなくなるように、又は最小化するように学習モデル２のパラメータを調整することで機械学習を行う。なお、この復元誤差Ｅの評価関数には、特徴量誤差Ｕの他に、画素値誤差Ｐの項が含まれている。

次に、本発明の一実施形態に係る効果について説明する。
例えば、従来のオートエンコーダＡＥや変分オートエンコーダＶＡＥでは、復元誤差として画素間のクロスエントロピーのみを用いている。したがって、図６に示すように、単純な格子模様の画像を入力画像として入力しても、出力画像として元の入力画像の形状パターンが失われたり、学習したデータセットにはない別な形状パターンが出力画像に出現したりする場合がある。
特に、変分オートエンコーダＶＡＥの場合には、入力画像の特徴を多次元正規分布上で学習するため、ある画像とある画像の中間のような、本体の入力画像とは異なる特徴が出力画像に出現することがある。したがって、データセットによっては復元前後の形状が一致しない方向に学習が進んでしまう場合がある。

一方、本実施形態に係る学習装置Ａは、入力画像Ｇの画素値の特徴を示す第１の特徴量と出力画像Ｇ´の画素値の特徴を示す第２の特徴量との誤差である特徴量誤差Ｕを算出し、特徴量誤差Ｕを復元誤差Ｅに含めて学習する。
これにより、入力画像のパターンを保持した復元が可能となり、オートエンコーダＡＥ又は変分オートエンコーダＶＡＥの復元性能を向上させることできる。

次に、実施例として、上記の学習方法で機械学習した学習モデル２（変分オートエンコーダＶＡＥ）を用いて撮像対象物の異常検知を行った場合について説明する。
本実施例では、撮像対象物とは、ハニカム構造体であって、例えば、シート状に形成されたハニカム構造の金属（以下、「ハニカムシート」という。）である。そして、本実施例の異常検知は、所定の部材（例えば、ＦＲＰ等の樹脂部材）とハニカム構造体とを接着させた場合の接着状態（以下、単に「接着状態」という。）の異常を検知するものである。具体的には、本実施例の異常検知は、ハニカムシートと樹脂部材との接着面を超音波で検査した検査画像から、本実施形態の変分オートエンコーダＶＡＥを用いて接着状態の異常を検知するものである。

ここで、超音波で検査した検査画像では、ハニカムシートと所定の部材との接着ができていない（接着状態が異常である）箇所が白く映る。すなわち、超音波で検査した検査画像では、ハニカムシートと所定の部材との接着ができていない箇所でハニカムの周期性が消失する。したがって、異常検知では、このハニカムの周期性が消失した領域を抽出することで接着状態の異常を検知可能である。そのため、事前に、本実施形態の学習方法（又は学習装置Ａ）を用いて、接着状態が正常であったときの複数の検査画像（ハニカムの周期性が消失した領域がない検査画像）のデータセット（４０００枚）を学習データ（入力画像Ｇ）として学習モデルに入力して機械学習させた。

なお、このハニカムシートには厚みが異なる個所があり、その厚みによってハニカムの形状や規則性に違いが生じる。したがって、例えば、図７に示すように、ハニカムシートの肉厚の部分では、ハニカムシートの肉薄の部分と比較して、ハニカムの規則性が崩れてしまうことがある。したがって、検査画像（４０００枚）のデータセットには、ハニカムの形が一定でない箇所や黒くつぶれてしまった箇所が存在する。

ここで、異常検知の検知方法について、説明する。
本実施形態の学習方法で学習した学習済みの変分オートエンコーダＶＡＥは、入力画像Ｇと出力画像Ｇ´とが同じになるように正常の入力画像の特徴を学習している。したがって、学習済みの変分オートエンコーダＶＡＥは、どんな画像が入力されても正常な入力画像に近づけた出力画像を生成することができる。

したがって、異常検知において、正常の検査画像（ハニカムの周期性が消失した領域がない検査画像）を入力画像として学習済みの変分オートエンコーダＶＡＥに入力された場合には、当該変分オートエンコーダＶＡＥから出力される出力画像は、入力画像と差がなない。一方、異常検知において、異常の検査画像（ハニカムの周期性が消失した領域がある検査画像）を入力画像として学習済みの変分オートエンコーダＶＡＥに入力された場合には、当該変分オートエンコーダＶＡＥから出力される出力画像は、正常の検査画像の特徴に近づけた画像になる。そのため、出力画像では、入力画像と比較して、ハニカムの周期性が消失した領域がハニカムの形状に置き換わっている。したがって、出力画像と入力画像との間に差（すなわちハニカムの周期性が消失した領域の有無）が生じることになり、学習済みの変分オートエンコーダＶＡＥを有する異常検知装置（例えば、コンピュータ）は、この差を検知することで異常を検知することができる。

図８は、本実施形態の学習した変分オートエンコーダＶＡＥを用いて異常検知したときの出力画像と、復元誤差として画素間のクロスエントロピーのみを用いて学習する従来の学習方法で学習した変分オートエンコーダＶＡＥを用いて異常検知したときの出力画像とを比較した図である。
図８に示すように、本実施形態では、隣接画像間の関係、すなわち特徴量誤差Ｕを学習に反映させているため、従来の変分オートエンコーダＶＡＥと比較して、元の入力画像にないパターンを学習することが少なくなった。すなわち、本実施形態の変分オートエンコーダＶＡＥは、従来の変分オートエンコーダＶＡＥと比較して、安定してハニカムを復元することができ、異常時の過検知を減少させることができる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

（変形例１）
上記実施形態では、第１の処理部４は、入力画像Ｇの画素の画素値Ｐと当該画素の位置と同じ位置にある出力画像Ｇ´の画素の画素値Ｐ´との間の誤差ｅを各画素間で求め、その誤差ｅを合計することで画素値誤差Ｖを算出したが、本発明はこれに限定されない。例えば、第１の処理部４は、すべての画像間で誤差ｅを求める必要はなく、入力画像Ｇにおける所定の領域内の画素と、当該画素の位置と同じ位置にある出力画像Ｇ´の画素との間で誤差ｅを求めてもよい。すなわち、第１の処理部４は、すべての画像間で誤差ｅを求める必要はなく、所定の領域内の各画素間で誤差ｅを求め、その求めた各誤差ｅを合計することで画素値誤差Ｖを算出してもよい。

（変形例２）
上記実施形態では、第１の特徴量算出部７は、入力画像Ｇの各画素間で画素値Ｐの勾配Ｓｔを求めたが、本発明はこれに限定されず、入力画像Ｇにおける所定の領域の各画素間で画素値Ｐの勾配Ｓｔを求めてもよい。同様に、第２の特徴量算出部８は、出力画像Ｇ´の各画素間で画素値ｑの勾配Ｓ´ｔを求めたが、本発明はこれに限定されず、出力画像Ｇ´における所定の領域の各画素間で画素値ｑの勾配Ｓ´ｔを求めてもよい。

（変形例３）
上記実施形態では、第１の特徴量算出部７は、各画素間の勾配Ｓｘの総和及び各画素間の勾配Ｓｙの総和を足して２で割った値を勾配Ｓとして求めたが、本発明はこれに限定されない。例えば、第１の特徴量算出部７は、各画素間の勾配Ｓｘの総和及び各画素間の勾配Ｓｙの総和のうち、いずれかを勾配Ｓとしてもよい。また、第１の特徴量算出部７は、勾配Ｓｘ及び勾配Ｓｙの双方を用いて勾配Ｓを算出する場合には、勾配Ｓｘの特徴及び勾配Ｓｙの特徴を反映した値を勾配Ｓとすればよく、必ずしも各画素間の勾配Ｓｘの総和及び各画素間の勾配Ｓｙの総和を足して２で割った値を勾配Ｓとしなくてもよい。例えば、第１の特徴量算出部７は、各画素間の勾配Ｓｘ及び勾配Ｓｙのそれぞれにおいて、代表値（例えば、平均値、中央値、又は最頻値）を求めて、その各代表値を足して２で割った値を勾配Ｓとしてもよい。なお、変形例３は、第２の特徴量算出部８の勾配Ｓ´にも適用できる。ただし、第２の特徴量算出部８の勾配Ｓ´の算出方法は、第１の特徴量算出部７の勾配Ｓの算出方法と同一であることが望ましい。

（変形例４）
上記実施例では、ハニカム構造体に対する樹脂等の部材の接着状態の異常検知を説明したが、本発明はこれに限定されず、ハニカム構造体でなくても、周期的な形状を有するものであれば適用が可能である。なお、周期的な形状は、厳密なものでなくてもよく、オートエンコーダＡＥ又は変分オートエンコーダＶＡＥなどの学習モデルを用いた機械学習ができれば対象は限定されない。

以上、説明したように、本実施形態に係る学習装置Ａは、オートエンコーダＡＥ又は変分オートエンコーダＶＡＥである学習モデル２を用いて機械学習する学習装置であって、入力画像Ｇと出力画像Ｇ´との復元誤差Ｅを求め、復元誤差Ｅに基づいて学習モデル２のパラメータを調整することで機械学習する学習部３を備える。そして、学習部３は、入力画像Ｇの画素値の特徴を示す第１の特徴量と出力画像Ｇ´の画素値の特徴を示す第２の特徴量との誤差である特徴量誤差Ｕを算出し、特徴量誤差Ｕを復元誤差Ｅに含める。

このような構成によれば、入力画像のパターンを保持した復元が可能となり、オートエンコーダＡＥ又は変分オートエンコーダＶＡＥの復元性能を向上させることできる。

また、本実施形態に係る学習方法は、コンピュータがオートエンコーダＡＥ又は変分オートエンコーダＶＡＥである学習モデル２を用いて機械学習する学習方法であって、入力画像Ｇと出力画像Ｇ´との復元誤差Ｅを求め、復元誤差Ｅに基づいて学習モデル２のパラメータを調整することで機械学習する学習ステップを含む。そして、学習ステップは、入力画像Ｇの画素値の特徴を示す第１の特徴量を算出する第１の算出ステップと、出力画像Ｇ´の画素値の特徴を示す第２の特徴量を算出する第２の算出ステップと、第１の特徴量及び第２の特徴量の誤差である特徴量誤差Ｕを算出する第３の算出ステップと、特徴量誤差Ｕを復元誤差Ｅに含めて当該復元誤差Ｅに基づいて学習モデル２のパラメータを調整する調整ステップと、含む。

このような構成によれば、入力画像のパターンを保持した復元が可能となり、オートエンコーダＡＥ又は変分オートエンコーダＶＡＥの復元性能を向上させることできる。

なお、上述した実施形態における学習装置Ａの全部または一部をコンピュータで実現するようにしてもよい。この場合、上記コンピュータは、ＣＰＵ、ＧＰＵなどのプロセッサ及びコンピュータ読み取り可能な記録媒体を備えてもよい。そして、学習装置Ａの全部または一部の機能をコンピュータで実現するためのプログラムを上記コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムを上記プロセッサに読み込ませ、実行することによって実現してもよい。ここで、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

Ａ 学習装置
１ 入力画像取得部
２ 学習モデル
３ 学習部
４ 第１の処理部
５ 第２の処理部
６ 第３の処理部
７ 第１の特徴量算出部
８ 第２の特徴量算出部
９ 誤差算出部

Claims (6)

1. オートエンコーダ又は変分オートエンコーダである学習モデルを用いて機械学習する学習装置であって、
   学習データとして前記学習モデルに入力される第１の画像と、前記学習モデルから出力される第２の画像と、の復元誤差を求め、前記復元誤差に基づいて前記学習モデルのパラメータを調整することで前記機械学習する学習部を備え、
   前記学習部は、
   前記第１の画像の画素値の特徴を示す第１の特徴量と前記第２の画像の画素値の特徴を示す第２の特徴量との誤差である特徴量誤差を算出し、前記特徴量誤差を前記復元誤差に含めることを特徴とする、学習装置。
2. 前記学習部は、
   前記第１の画像の画素値及び前記第２の画像の画素値の誤差を示す画素値誤差を求める第１の処理部と、
   前記第１の特徴量及び前記第２の特徴量に基づいて前記特徴量誤差を求める第２の処理部と、
   前記画素値誤差及び前記特徴量誤差を前記復元誤差に含める第３の処理部と、
   を備えることを特徴とする、請求項１に記載の学習装置。
3. 前記第２の処理部は、前記第１の画像の各画素間での画素値の勾配を前記第１の特徴量として求め、前記第２の画像の各画素間での画素値の勾配を前記第２の特徴量として求めることを特徴とする、請求項２に記載の学習装置。
4. 前記第２の処理部は、
   前記第１の画像の各画素間での画素値を微分することで第１の微分画像を生成することで前記第１の特徴量を求める第１の特徴量算出部と、
   前記第２の画像の各画素間での画素値を微分することで第２の微分画像を生成することで前記第２の特徴量を求める第２の特徴量算出部と、
   前記第１の微分画像及び第２の微分画像の誤差を前記特徴量誤差として求める誤差算出部と、
   備えることを特徴とする、請求項２に記載の学習装置。
5. 前記第１の処理部は、交差エントロピーを用いた誤差関数により前記画素値誤差を算出し、
   前記第２の処理部は、交差エントロピーを用いた誤差関数により前記特徴量誤差を算出することを特徴とする、請求項２から４のいずれか一項に記載の学習装置。
6. コンピュータがオートエンコーダ又は変分オートエンコーダである学習モデルを用いて機械学習する学習方法であって、
   学習データとして前記学習モデルに入力される第１の画像と、前記学習モデルから出力される第２の画像と、の復元誤差を求め、前記復元誤差に基づいて前記学習モデルのパラメータを調整することで前記機械学習する学習ステップを含み、
   前記学習ステップは、
   前記第１の画像の画素値の特徴を示す第１の特徴量を算出する第１の算出ステップと、
   前記第２の画像の画素値の特徴を示す第２の特徴量を算出する第２の算出ステップと、
   前記第１の特徴量及び前記第２の特徴量の誤差である特徴量誤差を算出する第３の算出ステップと、
   前記特徴量誤差を前記復元誤差に含めて当該復元誤差がなくなるように前記パラメータを調整する調整ステップと、
   含むことを特徴とする、学習方法。