JP2021082000A - 学習済モデルの生成方法、コンピュータプログラム、情報処理方法及び情報処理装置 - Google Patents

Abstract

【課題】電気設備を含む実画像が入力された場合、未知の不具合を含め、この実画像に電気設備の状態を判定することができる学習済モデルの生成方法を提供する。【解決手段】第１データが入力された場合、正常な電気設備に係る偽画像を出力するように学習されるべき生成モデルと、正常な電気設備を含む実画像が入力された場合、潜在変数を出力するように学習されるべきエンコーダモデルと、生成モデルから出力された偽画像及び第１データの組みデータ、又はエンコーダモデルから出力された第２データ及び実画像の組みデータが入力された場合、入力された画像が正常な電気設備を含む実画像であるか否かを示す識別結果を出力するように学習されるべき識別モデルと、正常な電気設備を含む複数の実画像とを用意し、正常な電気設備を含む複数の実画像を用いて、生成モデル、エンコーダモデル及び識別モデルを敵対的に学習させる。【選択図】図７

Description

本発明は、学習済モデルの生成方法、コンピュータプログラム、情報処理方法及び情報処理装置に関する。

電気設備の異常を判定する種々の手法が提案されている。例えば特許文献１では、一台の赤外線カメラ及び複数の可視光カメラで電柱を撮像し、可視光カメラで撮像した画像からアーム（腕金）の画像領域を抽出し、赤外線カメラで撮像した熱画像におけるアームの画像領域から柱上機材の温度勾配を算出して、柱上機材が正常か異常かを判定する異常検出方法等が開示されている。

特開２００２−３６６９５３号公報

近年、ニューラルネットワークの教師有り学習によって生成された学習済モデル（人工知能）により、カメラの撮像画像から特定の物体を検出する画像認識技術が急速に発展している。当該技術を利用し、電気設備を撮像した画像に基づいてこの電気設備の異常を判定することが研究されている。

しかしながら、教師有り学習では、学習用データに含まれる既知の不具合を判定することができるが、未知の不具合を精度良く判定することができないという問題があった。

本開示の目的は、未知の不具合を含め、電気設備の状態を判定することができる学習済モデルの生成方法、未知の不具合を含め、電気設備の状態を判定することができるコンピュータプログラム、情報処理方法及び情報処理装置を提供することにある。

本態様に係る学習済モデルの生成方法は、電気設備を含む実画像が入力された場合、該実画像に含まれる電気設備が正常な電気設備であるか否かを示す識別結果を出力する学習済モデルの生成方法であって、第１データが入力された場合、正常な電気設備に係る偽画像を出力するように学習されるべき生成モデルと、正常な電気設備を含む実画像が入力された場合、第２データを出力するように学習されるべきエンコーダモデルと、前記生成モデルから出力された前記偽画像及び前記第１データの組みデータ、又は前記エンコーダモデルから出力された第２データ及び前記実画像の組みデータが入力された場合、入力された画像が正常な電気設備を含む実画像であるか否かを示す識別結果を出力するように学習されるべき識別モデルと、正常な電気設備を含む複数の実画像とを用意し、所定の目的関数が最適化されるように、正常な電気設備を含む前記複数の実画像を用いて、前記生成モデル、前記エンコーダモデル及び前記識別モデルを敵対的に学習させる。

本態様に係るコンピュータプログラムは、コンピュータに、電気設備を含む実画像を取得し、電気設備を含む実画像が入力された場合、該実画像に潜在する特徴を表した潜在変数を出力するエンコーダモデルに、取得した前記実画像を入力することによって前記潜在変数を出力させ、前記エンコーダモデルから出力された前記潜在変数及び前記実画像の組みデータが入力された場合、入力された画像が正常な電気設備を含む実画像であるか否かを示す識別結果を出力する識別モデルに、取得した前記実画像及び生成した前記データを入力することによって前記識別結果を出力させ、前記識別モデルから出力された前記識別結果に基づいて、前記実画像に含まれる電気設備の状態を判定する処理を実行させる。

本態様に係る情報処理方法は、電気設備を含む実画像を取得し、電気設備を含む実画像が入力された場合、該実画像に潜在する特徴を表した潜在変数を出力するエンコーダモデルに、取得した前記実画像を入力することによって前記潜在変数を出力させ、前記エンコーダモデルから出力された前記潜在変数及び前記実画像の組みデータが入力された場合、入力された画像が正常な電気設備を含む実画像であるか否かを示す識別結果を出力する識別モデルに、取得した前記実画像及び生成した前記データを入力することによって前記識別結果を出力させ、前記識別モデルから出力された前記識別結果に基づいて、前記実画像に含まれる電気設備の状態を判定する。

本態様に係る情報処理装置は、電気設備を含む実画像を取得する画像取得部と、電気設備を含む実画像が入力された場合、該実画像に潜在する特徴を表した潜在変数を出力するエンコーダモデルに、取得した前記実画像を入力することによって前記潜在変数を出力させるエンコード処理部と、前記エンコーダモデルから出力された前記潜在変数及び前記実画像の組みデータが入力された場合、入力された画像が正常な電気設備を含む実画像であるか否かを示す識別結果を出力する識別モデルに、取得した前記実画像及び生成した前記データを入力することによって前記識別結果を出力させる識別処理部と、前記識別モデルから出力された前記識別結果に基づいて、前記実画像に含まれる電気設備の状態を判定する異常判定部とを備える。

本態様の生成方法によれば、未知の不具合を含め、電気設備の状態を判定することができる学習済モデルを生成することができる。
本態様のコンピュータプログラム、情報処理方法及び情報処理装置によれば、未知の不具合を含め、電気設備の状態を判定することができる。

本実施形態１に係る異常判定システムの概要を説明するための模式図である。 本実施形態１に係る情報処理装置の構成例を示すブロック図である。 本実施形態１に係る領域特定モデル及び異常判定モデルの構成例を示す概念図である。 エンコーダモデルの構成例を示す概念図である。 識別モデルの構成例を示す概念図である。 本実施形態１に係る異常判定モデルの生成方法を示すフローチャートである。 本実施形態１に係る異常判定モデルの生成方法を示す概念図である。 生成モデルの構成例を示す概念図である。 本実施形態１に係る情報処理装置が行う電気設備の異常判定処理手順を示すフローチャートである。 異常判定結果を示す概念図である。 異常判定モデルの評価結果を示すグラフである。

本発明の実施形態に係る学習済モデルの生成方法、コンピュータプログラム、情報処理方法及び情報処理装置の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

（実施形態１）
＜システム概要＞
図１は、本実施形態１に係る異常判定システムの概要を説明するための模式図である。本実施形態１に係る異常判定システムは、電気設備３１の異常判定を行う。電気設備３１は、例えば電柱３に設けられた放電クランプ、クランプがいし、中実がいし、耐張がいし、避雷器、変圧器、開閉器等の設備である。ただし、異常判定の対象となる電気設備３１は、上記のものに限らない。本実施形態１に係る異常判定システムは、サーバ装置である情報処理装置１と、作業者２が所持するカメラ２１及び端末装置２２とを含む。情報処理装置１及び作業者２の端末装置２２は、インターネット等のネットワークＮを介して通信可能に接続されている。またカメラ２１及び端末装置２２は、有線又は無線によりデータの授受が可能に構成されている。

作業者２は、電気設備３１の保守点検を行う人物であり、電気設備３１が設置されている道路等を巡回する。作業者２は、周囲を撮像するカメラ２１と、位置情報取得機能及び通信機能等を有する端末装置２２とを使用して作業を行う。作業者２は、カメラ２１を用いて周囲の風景等を撮像する。

なお本実施形態１においては、作業者２がカメラ２１を用いた撮像を行うものとするが、撮影者は作業者２に限らない。例えば、電柱３の近隣に住む住人又は電柱３の周辺を通行する歩行者等の一般人が撮像を行ってもよい。また例えば、電柱３の周辺の道路を走行する路線バス又はタクシー等の車両にカメラ２１を搭載して撮像を行ってもよい。

端末装置２２は、カメラ２１が撮像した撮像画像を取得し、取得した撮像画像を情報処理装置１へ送信する。なお、撮像画像は画像データである。また端末装置２２は、カメラ２１の撮像画像と共に、この画像が撮像された日時及び位置等の情報を併せて情報処理装置１へ送信してもよい。

なお本実施形態１においては、カメラ２１及び端末装置２２を別体の装置とするが、これに限るものではなく、カメラ２１及び端末装置２２が一体の装置であってもよい。また端末装置２２は、カメラ２１が撮像した撮像画像をリアルタイムで情報処理装置１へ送信してもよく、カメラ２１の撮像画像を一定時間記録し、一定時間の撮像画像をまとめて送信してもよい。また端末装置２２から情報処理装置１へネットワークＮを介した通信により撮像画像を送信するのではなく、例えば端末装置２２が撮像画像をメモリカード等の記憶媒体に記録し、撮像画像が記録されたメモリカードを情報処理装置１が読み込むことによって撮像画像を授受してもよい。

情報処理装置１は、作業者２のカメラ２１が撮像した電気設備３１を含む撮像画像を取得し、取得した画像からこの電気設備３１の異常の有無を判定する。本実施形態１に係る情報処理装置１は、機械学習により予め学習がなされた２つの学習済モデルを用いて、電気設備３１の異常を判定する。第１の学習済モデルは、撮像画像から、判定対象となる電気設備３１が含まれる画像領域を特定するよう学習された領域特定モデル５（図２参照）である。第２の学習済モデルは、画像中の電気設備３１の異常の有無を判定するよう学習された異常判定モデル６（図２参照）である。情報処理装置１は、カメラ２１から取得した撮像画像を領域特定モデル５へ入力することにより、電気設備３１が含まれる画像領域の特定結果を得る。この特定結果に基づいて情報処理装置１は、カメラ２１から取得した撮像画像から上記特定された画像領域に対応する画像部分を抽出する。以下、電気設備３１の画像領域に対応するこの画像部分、つまりカメラ２１で実際に撮像された本物の画像部分を、後述の偽画像と区別して実画像と呼ぶ。情報処理装置１は、抽出した実画像を異常判定モデル６へ入力することにより、電気設備３１の異常の有無の判定結果を得る。

情報処理装置１は、領域特定モデル５及び異常判定モデル６を用いて判定した電気設備３１の異常判定の結果に応じて、電気設備３１の異常箇所への対応を促す所定の通知を作業者２へ送信する。

＜装置構成＞
図２は、本実施形態１に係る情報処理装置１の構成を示すブロック図である。本実施形態１に係る情報処理装置１は、処理部（プロセッサ）１１、記憶部（ストレージ）１２及び通信部（トランシーバ）１３を備える。

処理部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）等の演算処理装置を用いて構成されている。処理部１１は、記憶部１２に記憶されたコンピュータプログラム１２ａを読み出して実行することにより、画像から電気設備３１が含まれる画像領域を特定する処理、及び、画像領域の電気施設の異常の有無を判定する処理等の種々の処理を行う。

記憶部１２は、例えば、ハードディスク、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリ等の記憶装置である。記憶部１２は、処理部１１が実行する各種のプログラム、及び、処理部１１の処理に必要な各種のデータを記憶する。本実施形態１において記憶部１２は、処理部１１が実行するコンピュータプログラム１２ａと、２つの学習済モデルとして領域特定モデル５及び異常判定モデル６を記憶している。

コンピュータプログラム１２ａは、例えば情報処理装置１の製造段階において記憶部１２に書き込まれてもよい。例えばコンピュータプログラム１２ａは、遠隔の他の情報処理装置１等が配信するものを情報処理装置１が通信にて取得してもよい。例えばコンピュータプログラム１２ａは、メモリカード又は光ディスク等の記録媒体４に読み出し可能に記録されたコンピュータプログラム１２ａを情報処理装置１が読み出して記憶部１２に記憶してもよい。例えばコンピュータプログラム１２ａは、記録媒体４に記録されたものを書込装置が読み出して情報処理装置１の記憶部１２に書き込んでもよい。コンピュータプログラム１２ａは、ネットワークＮを介した配信の態様で提供されてもよく、記録媒体４に記録された態様で提供されてもよい。

領域特定モデル５は、予め教師データを用いた機械学習又は深層学習等がなされた学習済モデルである。異常判定モデル６は、後述する教師無し学習により機械学習又は深層学習等がなされた学習済モデルである。学習済モデルは、入力値に対して所定の演算を行い、演算結果を出力するものであり、記憶部１２にはこの演算を規定する関数の係数及び閾値等のデータが領域特定モデル５及び異常判定モデル６として記憶される。領域特定モデル５は、カメラ２１の撮像画像から電気設備３１が含まれる画像領域を特定するように学習された学習済モデルである。異常判定モデル６は、特定された画像領域に含まれる電気設備３１の異常の有無を判定するように学習された学習済モデルである。コンピュータプログラム１２ａを実行する処理部１１が、領域特定モデル５及び異常判定モデル６として記憶されたデータを読み込むことによって、画像からの領域特定及び特定された領域の施設の異常判定のための演算を処理部１１が実行することが可能となる。

本実施形態１において領域特定モデル５及び異常判定モデル６の学習処理は、情報処理装置１が行う。ただし学習処理は、情報処理装置１以外の装置が行ってもよい。この場合に学習された領域特定モデル５及び異常判定モデル６に係るデータは、コンピュータプログラム１２ａと同様に、ネットワークＮを介した配信の態様で提供されてもよく、記録媒体４に記録された態様で提供されてもよい。

通信部１３は、インターネット、無線ＬＡＮ及び携帯電話通信網等を含むネットワークＮを介して、一又は複数の端末装置２２との間で通信を行う。また通信部１３は、ネットワークＮを介して端末装置２２以外の種々の装置との間で通信を行ってよい。通信部１３は、処理部１１から与えられたデータを他の装置へ送信すると共に、他の装置からの受信データを処理部１１へ与える。

なお記憶部１２は、情報処理装置１に接続された外部記憶装置であってよい。また情報処理装置１は、複数のコンピュータを含んで構成されるマルチコンピュータであってよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。また情報処理装置１は、上記の構成に限定されず、例えば可搬型の記憶媒体に記憶された情報を読み取る読取部、操作入力を受け付ける入力部、又は、画像を表示する表示部等を含んでもよい。

また本実施形態１に係る情報処理装置１では、記憶部１２に記憶されたコンピュータプログラム１２ａを処理部１１が読み出して実行することにより、画像取得部１１ａ、領域特定部１１ｂ、領域抽出部１１ｃ、調整部１１ｄ、エンコード処理部１１ｅ、識別処理部１１ｆ、学習処理部１１ｈ及び異常判定部１１ｇ等がソフトウェア的な機能ブロックとして実現される。

画像取得部１１ａは、通信部１３を介して端末装置２２との通信を行うことにより、カメラ２１にて撮像された撮像画像を取得する処理を行う。画像取得部１１ａは、端末装置２２から通信により取得した撮像画像を記憶部１２に記憶する。

領域特定部１１ｂは、記憶部１２に記憶された領域特定モデル５を用いて、画像取得部１１ａが取得した撮像画像から処理対象となる電気設備３１が含まれる領域を特定する処理を行う。領域特定モデル５は、撮像画像を入力として受け付け、電気設備３１が含まれている画像領域を特定する座標等の情報と、この特定に関する確信度とを出力する。

領域抽出部１１ｃは、領域特定部１１ｂが特定した画像領域に対応する実画像を、画像取得部１１ａが取得した撮像画像（即ち、領域特定部１１ｂに対して入力された画像）から抽出する処理を行う。領域特定部１１ｂが複数の画像領域を特定した場合、領域抽出部１１ｃは、撮像画像から複数の画像領域に対応する実画像を抽出する。

調整部１１ｄは、領域抽出部１１ｃが抽出した実画像に対して大きさを調整する処理を行う。領域特定部１１ｂにより特定されて領域抽出部１１ｃにより抽出される実画像の大きさは、元の撮像画像に写されていた電気設備３１の大きさに依存する。調整部１１ｄは、領域抽出部１１ｃが抽出した実画像を拡大又は縮小することによって、異常判定モデル６の入力に適した画像の大きさとなるよう調整する。例えば、異常判定モデル６の演算負荷及びメモリ量を考慮すると、実画像は、縦２５０画素×横２５０画素の画像であることが好ましい。実画像のサイズは縦２５０画素×横２５０画素未満でもよいが、電気設備３１の異常の有無を正しく判断するためには縦５０画素×横５０画素以上であることが好ましい。実画像に対する電気設備３１の画像の割合は８割以上が好ましい。

エンコード処理部１１ｅは、異常判定モデル６を構成する後述のエンコーダモデル６１を用いて、領域抽出部１１ｃにより抽出されて調整部１１ｄにより大きさが調整された実画像に潜在的に含まれる潜在変数を算出する処理を行う。エンコーダモデル６１は、実画像を入力として受け付け、電気設備３１の実画像に係る潜在変数を出力する。潜在変数はベクトルデータである。潜在変数の次元数は数千である。

識別処理部１１ｆは、異常判定モデル６を構成する後述の識別モデル６２を用いて、領域抽出部１１ｃにより抽出されて調整部１１ｄにより大きさが調整された実画像が、正常な電気設備３１の実画像である確率を表した識別結果を算出する処理を行う。識別モデル６２は、少なくとも、領域抽出部１１ｃにより抽出されて調整部１１ｄにより大きさが調整された実画像と、エンコーダモデル６１が出力した潜在変数とを入力として受け付け、正常な電気設備３１の実画像である確率を表した識別結果を出力する。

異常判定部１１ｇは、記憶部１２に記憶された異常判定モデル６から出力された識別結果を用いて、領域抽出部１１ｃにより抽出された実画像に含まれる電気設備３１の状態、ないし異常の有無を判定する処理を行う。

領域抽出部１１ｃが複数の画像領域を抽出した場合、エンコード処理部１１ｅ、識別処理部１１ｆ及び異常判定部１１ｇは、所定の順位に従って複数の実画像を異常判定モデル６へ入力し、複数の判定結果を得る。
領域抽出部１１ｃにより抽出された実画像の数が所定数より多い場合、異常判定部１１ｇは、実画像に付された順位に従って高順位のものを優先して異常判定を行い、所定数を超える低順位の画像領域については異常判定を行わない構成としてもよい。

学習処理部１１ｈは、領域特定モデル５及び異常判定モデル６を学習させる処理を行う。学習処理部１１ｈは、予め用意された教師データを用いて、領域特定モデル５を学習させる。学習処理部１１ｈは、正常な電気設備３１を含む複数の実画像を用いた教師無し学習により、領域特定モデル５を学習させる。なお領域特定モデル５及び異常判定モデル６は、必ずしも情報処理装置１にて学習が行われる必要はなく、他の装置にて学習が行われてもよい。

＜領域特定モデル５＞
図３は、本実施形態１に係る領域特定モデル５及び異常判定モデル６の構成例を示す概念図である。
本実施形態１において領域特定モデル５は、例えば、画像の入力を受け付ける入力層５１と、画像の特徴量を抽出する中間層５２と、画像に含まれる電気設備３１の画像領域の特定結果を出力する出力層５３とを有するニューラルネットワークである。本実施形態１において領域特定モデル５には、ニューラルネットワークとしてＣＮＮ（Convolution Neural Network）の構成が採用されている。情報処理装置１は、ＣＮＮのモデルに対して、撮像画像内における電気設備３１の異常箇所の画像特徴量を学習するディープラーニングを行うことで、領域特定モデル５を生成する。

ニューラルネットワークの入力層５１は、撮像画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層５２に受け渡す。中間層５２は、画像の特徴量を抽出する複数のニューロンを有し、抽出した特徴量を出力層５３に受け渡す。例えば領域特定モデル５がＣＮＮである場合、中間層５２は、入力層５１から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、画像の画素情報を圧縮しながら最終的に画像の特徴量を抽出する。出力層５３は、画像中に含まれる電気設備３１の画像領域の位置及び範囲等を示す情報を出力する一又は複数のニューロンを有している。
本実施形態１に係る情報処理装置１は、領域特定モデル５によって特定され、抽出された実画像に含まれる電気設備３１が異常であるか否かを後段の異常判定モデル６を用いて判定する構成である。このため、領域特定モデル５は、正常な電気設備３１を含む画像領域はもちろん異常な電気設備３１を含む画像領域も抽出し、これらの画像領域の位置及び範囲等を示す情報を出力する。
また本実施形態１において領域特定モデル５の出力層５３は、特定した画像領域について、この画像領域に含まれる物体が対象となる電気設備３１であることの確かさを示す確信度を出力する。各確信度は、例えば０以上、１以下の少数で表され、その値が大きいほど出力結果が確かであることを示す。情報処理装置１は、領域特定モデル５が出力する画像領域の位置情報と共に、確信度に基づいて、元の画像からの電気設備３１を含む画像領域の最終的な特定結果を定める。例えば情報処理装置１は、確信度が閾値未満の画像領域については、特定結果から除外してよい。ただし、本実施形態１では、後段の異常判定モデル６が、領域特定モデル５の学習時に想定されていなかった未知の異常を含め、電気設備３１の異常の有無を判定する構成であるため、閾値は低めに設定すると良い。つまり、処理部１１は、電気設備３１である可能性がある電気設備３１の画像領域を幅広く抽出するように構成するとよい。
なお、領域特定モデル５は、電気設備３１の画像領域のみならず、電柱３、鳥類等の動物、営巣、その他既知の異物等の他のオブジェクトを含む画像領域の位置及び範囲、オブジェクトの種類を示すクラスを出力するように構成してもよい。処理部１１は、画像領域が特定されたものの、電気設備３１及びその他のオブジェクトのいずれの確信度も所定の閾値未満である場合、未知の異常を有する電気設備３１である可能性があるため、かかる画像領域も、電気設備３１を有する画像領域として特定するように構成してもよい。

なお本実施形態１においては、領域特定モデル５がＣＮＮであるものとするが、モデルの構成はＣＮＮに限るものではない。領域特定モデル５は、例えばＣＮＮ以外のニューラルネットワーク、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、又は、回帰木等の構成の学習済モデルであってよい。

領域特定モデル５の学習処理において、情報処理装置１は、少なくとも電気設備３１を含む複数の撮像画像と、各撮像画像が電気設備３１であることを示すクラスとが対応付けられた教師データを用いる。なお、教師データには、その他のオブジェクトを含む撮像画像と、各撮像画像のオブジェクトの種類を示すクラスとが対応付けられたデータを含めても良い。
なお、本実施形態１では、未知の異常を含め、実画像に含まれる電気設備３１の異常の有無を後段の異常判定モデル６が判定する構成であるため、教師データである電気設備３１の撮像画像として、正常な電気設備３１を含む撮像画像、異常な電気設備３１を含む撮像画像に加え、電気設備３１を含む撮像画像に任意のノイズ画像を重畳させた撮像画像を含めるとよい。かかる教師データを用いて、領域特定モデル５を学習させることによって、未知の異常を有する電気設備３１の画像領域を特定できるようになる。

情報処理装置１は、教師データの画像をＣＮＮの入力層５１に入力し、中間層５２での演算処理を経て、出力層５３から出力される画像領域の特定結果を取得する。

情報処理装置１は、出力層５３から出力された特定結果を、教師データにおいて撮像画像に対しラベル付けされた情報、すなわち正解値と比較し、出力層５３からの出力値が正解値に近づくように、中間層５２での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み（結合係数）などである。パラメータの最適化の方法は特に限定されないが、例えば情報処理装置１は最急降下法等を用いて各種パラメータの最適化を行う。

情報処理装置１は、教師データに含まれる各画像について上記の処理を繰り返し行うことによって、学習済の領域特定モデル５を得る。

カメラ２１の撮像画像を端末装置２２から取得した場合、領域特定部１１ｂは、領域特定モデル５を用いて、撮像画像に含まれる電気設備３１の画像領域を特定する。領域抽出部１１ｃとして機能する処理部１１は、領域特定部１１ｂが特定した画像領域に対応する実画像を、撮像画像から抽出する。調整部１１ｄは、領域抽出部１１ｃが抽出した実画像に対して大きさを調整し、調整された実画像は異常判定モデル６に入力される。

＜異常判定モデル６＞
異常判定モデル６は、エンコーダモデル６１と識別モデル６２とを備える。エンコーダモデル６１には、領域特定部１１ｂ、領域抽出部１１ｃ及び調整部１１ｄにて、特定ないし調整された実画像ｘが入力される。エンコーダモデル６１は、入力された実画像ｘが入力された場合、この実画像ｘに潜在的に存在する特徴を表した潜在変数（第２データ）Ｅ（ｘ）を出力する。潜在変数Ｅ（ｘ）は複数の数値からなるベクトルデータである。潜在変数の次元数は数千である。識別モデル６２には、実画像ｘと、エンコーダモデル６１から出力された潜在変数Ｅ（ｘ）とが入力される。識別モデル６２は、入力された実画像ｘ及び潜在変数Ｅ（ｘ）に基づいて、この実画像ｘに含まれる電気設備３１が、正常な電気設備３１であるか否かを示す識別結果Ｐ（ｙ）を出力する。ｙは、画像及び潜在変数を示す。例えば、ｙは、実画像ｘ及び潜在変数Ｅ（ｘ）である。識別結果Ｐ（ｙ）は、正常な電気設備３１であるか否かを離散的に示す値（例えば「０」又は「１」の値）であってもよく、連続的な確率値（例えば「０」から「１」までの範囲の値）であってもよい。

図４は、エンコーダモデル６１の構成例を示す概念図である。エンコーダモデル６１は、例えば、実画像ｘが入力される入力層６１ａと、実画像ｘの特徴量を抽出する中間層６１ｂと、実画像ｘに潜在的に含まれる特徴を表した潜在変数Ｅ（ｘ）を出力する出力層６１ｃとを有するニューラルネットワークである。本実施形態１に係る異常判定モデル６は、領域特定モデル５と同様に、ＣＮＮの構成が採用されている。情報処理装置１は、ＣＮＮのモデルに対して、正常な電気設備３１の画像特徴量を学習する後述の敵対的学習を行うことで、エンコーダモデル６１を生成する。

エンコーダモデル６１の入力層６１ａは、実画像ｘに含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層６１ｂに受け渡す。中間層６１ｂは、画像の特徴量を抽出する複数のニューロンを有し、抽出した特徴量を出力層６１ｃに受け渡す。本実施形態１に係るエンコーダモデル６１の中間層６１ｂは、単数の畳み込み層６１ｄと、単数のプーリング層６１ｅの対からなる組みを、複数連結してなり、最終段のプーリング層６１ｅには、単数の全結合層６１ｆが接続されている。例えば、本実施形態１の中間層６１ｂは、畳み込み層６１ｄ及びプーリング層６１ｅの対を５つ備える。畳み込み層６１ｄ及びプーリング層６１ｅの数は特に限定されるものでは無いが、５層（５対）が好適である。このように構成された中間層６１ｂは、演算負荷、演算に必要なメモリ容量を最低限に抑えつつ、実画像ｘの画素情報を圧縮しながら最終的に画像の特徴量を抽出する。畳み込み層６１ｄ及びプーリング層６１ｅの数が５層（５対）未満であると、画像の特徴量を十分に抽出することが難しくなる。畳み込み層６１ｄ及びプーリング層６１ｅの数が６層（６対）以上であると、演算に必要なメモリ容量及び演算負荷が大きくなる。出力層６１ｃは、実画像ｘに含まれる特徴を表した潜在変数Ｅ（ｘ）を出力する一又は複数のニューロンを有している。

図５は、識別モデル６２の構成例を示す概念図である。識別モデル６２は、例えば、実画像ｘと共に、潜在変数Ｅ（ｘ）が入力される入力層６２ａと、実画像ｘの特徴量を抽出する中間層６２ｂと、実画像ｘに含まれる電気設備３１の異常の有無を示す識別結果Ｐ（ｙ）を出力する出力層６２ｃとを有するニューラルネットワークである。本実施形態１に係る識別モデル６２には、実画像ｘと共に潜在変数Ｅ（ｘ）が入力される構成であるため、識別モデル６２は実画像ｘの潜在変数に相当する特徴を探索する必要が無く、効率的、低負荷又は高速で実画像ｘの特徴を把握し、実画像ｘに含まれる電気設備３１が正常であるか否かを識別することができる。識別モデル６２の構成は、基本的にはエンコーダと同様であり、ＣＮＮの構成が採用されている。

識別モデル６２の入力層６２ａは、実画像ｘに含まれる各画素の画素値及び潜在変数Ｅ（ｘ）の入力を受け付ける複数のニューロンを有し、入力された画素値及び潜在変数Ｅ（ｘ）を中間層６２ｂに受け渡す。中間層６２ｂは、画像の特徴量を抽出する複数のニューロンを有し、抽出した特徴量を出力層６２ｃに受け渡す。本実施形態１に係る識別モデル６２の中間層６２ｂは、単数の畳み込み層６２ｄと、単数のプーリング層６２ｅの対からなる組みを、複数連結してなり、最終段のプーリング層６２ｅには、単数の全結合層６２ｆが接続されている。例えば、本実施形態１の中間層６２ｂは、畳み込み層６２ｄ及びプーリング層６２ｅの対を５つ備える。このように構成された中間層６２ｂは、演算負荷、演算に必要なメモリ量を最低限に抑えつつ、実画像ｘの画素情報を圧縮しながら最終的に画像の特徴量を抽出する。
また、全結合層６２ｆは、最終段のプーリング層６２ｅから出力されるデータが入力される複数のニューロンと、潜在変数Ｅ（ｘ）が入力される複数のニューロンとを備える。全結合層６２ｆを構成する複数のニューロンには、入力層６２ａが受け付けた潜在変数Ｅ（ｘ）が入力される。全結合層６２ｆは、畳み込み層６２ｄ及びプーリング層６２ｅで抽出された特徴と、潜在変数Ｅ（ｘ）とに基づいて、実画像ｘに含まれる電気設備３１が正常であるか印加を識別する。出力層６２ｃは、電気設備３１が正常であるか否かの識別結果Ｐ（ｙ）を出力する一又は複数のニューロンを有している。

＜異常判定モデル６の敵対的学習＞
次に、異常判定モデル６の学習方法を説明する。
図６は、本実施形態１に係る異常判定モデル６の生成方法を示すフローチャート、図７は、本実施形態１に係る異常判定モデル６の生成方法を示す概念図である。まず、学習前の生成モデル６３、エンコーダモデル６１及び識別モデル６２を用意する（ステップＳ１１）。

生成モデル６３は、潜在変数が存在する潜在空間におけるノイズであるベクトルデータ（第１データ）ｚが入力された場合、正常な電気設備３１に係る偽画像Ｇ（ｚ）を出力するように学習されるべきニューラルネットワークである。

図８は、生成モデル６３の構成例を示す概念図である。生成モデル６３は、例えば、ベクトルデータｚが入力される入力層６３ａと、ベクトルデータｚから、正常な電気設備３１の特徴を復元し、画像空間にマッピングする中間層６３ｂと、ベクトルデータｚに基づいて生成された偽画像Ｇ（ｚ）を出力する出力層６３ｃとを有するニューラルネットワークである。

生成モデル６３の入力層６３ａは、ベクトルデータｚの入力を受け付ける複数のニューロンを有し、入力されたベクトルデータｚを中間層６３ｂに受け渡す。中間層６３ｂは、全結合層６３ｄと、複数の転置畳み込み層６３ｅとを備える。中間層６３ｂは、転置畳み込み層６３ｅにより正常な電気設備３１の特徴を段階的に復元し、復元されたデータを出力層６３ｃに受け渡す。出力層６３ｃは、正常な電気設備３１の特徴を再現した偽画像Ｇ（ｚ）の各画素の画素値を出力する一又は複数のニューロンを有している。

エンコーダモデル６１は、正常な電気設備３１を含む実画像ｘが入力された場合、潜在変数Ｅ（ｘ）を出力するように学習されるべきニューラルネットワークであり、その構成は図４に示す通りである。

識別モデル６２は、生成モデル６３から出力された偽画像Ｇ（ｚ）及びベクトルデータｚの組みデータ、エンコーダモデル６１から出力された潜在変数Ｅ（ｘ）及び実画像ｘの組みデータが入力された場合、入力された画像が正常な電気設備３１を含む実画像ｘである確率を示す識別結果Ｐ（ｙ）を出力するように学習させるべきニューラルネットワークであり、その構成は図５に示す通りである。ｙは、実画像ｘ及び潜在変数Ｅ（ｘ）、又は偽画像Ｇ（ｚ）及びベクトルデータｚである。

図６に戻り、ステップＳ１１に次いで、正常な電気設備３１を含む複数の実画像ｘを用意する（ステップＳ１２）。ここでは、明け方、昼間、夕方、晴天時、雨天時等、種々の状況で撮像された正常な電気設備３１を含む実画像ｘを用意する。

そして、ステップＳ１２で用意した実画像ｘを用いて、所定の目的関数が最適化されるように、生成モデル６３、エンコーダモデル６１及び識別モデル６２を敵対的に学習させる（ステップＳ１３）。

目的関数は、例えば下記式（１）で表される。
Ｖ（Ｄ，Ｅ，Ｇ）＝Ｅ_{ｘ〜Ｐｄａｔａ（ｘ）}［ｌｏｇ（Ｄ（ｘ，Ｅ（ｘ））］＋Ｅ_{ｚ〜Ｐｚ（ｚ）}［ｌｏｇ（１−Ｄ（Ｇ（ｚ），ｚ）］…（１）
但し、
Ｖ（Ｄ，Ｅ，Ｇ）：目的関数
Ｐｄａｔａ（ｘ）：実画像の分布
Ｐｚ（ｚ）：潜在変数であるベクトルデータｚの分布
Ｄ（ｘ，Ｅ（ｘ））：識別モデル６２にデータ（ｘ，Ｅ（ｘ））が入力されたときに出力される、実画像ｘが本物と識別される確率
Ｄ（Ｇ（ｚ），ｚ）：識別モデル６２にデータ（Ｇ（ｚ），ｚ）が入力されたときに出力される、偽画像Ｇ（ｚ）が本物と識別される確率

学習処理部１１ｈは、識別モデル６２については、目的関数Ｖ（Ｄ，Ｅ，Ｇ）が最大化、エンコーダモデル６１及び生成モデル６３については、目的関数Ｖ（Ｄ，Ｅ，Ｇ）が最小化するように、識別モデル６２と、エンコーダモデル６１及び生成モデル６３の中間層６１ｂ，６２ｂ，６３ｂのパラメータを交互に最適化する。つまり、学習処理部１１ｈは、エンコーダモデル６１、識別モデル６２及び生成モデル６３を用いた敵対的学習により、各モデルの学習を行う。
つまり、学習処理部１１ｈは、識別モデル６２が、生成モデル６３によって生成された偽画像Ｇ（ｚ）を実画像ｘと誤認識せず、実画像ｘと、生成モデル６３によって生成された偽画像Ｇ（ｚ）とを正確に識別できるように、識別モデル６２のパラメータを調整する。
また、学習処理部１１ｈは、識別モデル６２によって実画像ｘと識別されるような、実画像ｘに似た偽画像Ｇ（ｚ）が生成されるように、生成モデル６３のパラメータを調整する。
更に、学習処理部１１ｈは、識別モデル６２によって、実画像ｘが正しく実画像ｘと識別されるような潜在変数Ｅ（ｘ）が出力されるように、エンコーダモデル６１のパラメータを調整する。

なお、パラメータの最適化の方法は特に限定されないが、例えば学習処理部１１ｈは、最急降下法等を用いて各種パラメータの最適化を行えばよい。

上記のような敵対的学習により、学習を行ったエンコーダモデル６１及び識別モデル６２を用いることによって、正常な電気設備３１が含まれる画像である確率を示す識別結果Ｐ（ｙ）を得ることができる。識別結果Ｐ（ｙ）＝Ｄ（ｘ，Ｅ（ｘ））を用いることによって、処理部１１は、実画像ｘが正常な電気設備３１を含むものであるか、正常な電気設備３１を含まない、つまり異常な電気設備３１を含むかを認識することができる。

＜異常検出処理＞
図９は、本実施形態１に係る情報処理装置１が行う電気設備３１の異常判定処理手順を示すフローチャートである。本実施形態１に係る情報処理装置１の処理部１１の画像取得部１１ａは、通信部１３にて端末装置２２との通信を行うことにより、カメラ２１が撮像した撮像画像を取得する（ステップＳ３１）。処理部１１の領域特定部１１ｂは、ステップＳ１１にて取得した撮像画像を、学習済の領域特定モデル５へ入力することによって、電気設備３１が含まれる画像領域を特定する（ステップＳ３２）。領域特定モデル５に撮像画像を入力すると、領域特定モデル５は、電気設備３１が含まれる画像領域の位置及び範囲等を示す情報を出力する。処理部１１は、この情報を取得することによって、電気設備３１に対応する画像領域を特定することができる。

そして、処理部１１の領域抽出部１１ｃは、ステップＳ３１にて取得した撮像画像から、ステップＳ３２にて特定された画像領域の実画像ｘを抽出する（ステップＳ３３）。処理部１１の調整部１１ｄは、異常判定モデル６の入力に適した大きさとなるよう、抽出された実画像ｘの大きさを必要に応じて拡大又は縮小して調整する（ステップＳ３４）。

処理部１１のエンコード処理部１１ｅは、抽出及び調整がなされた実画像ｘを、エンコーダモデル６１へ入力することによって、実画像ｘに係る潜在変数Ｅ（ｘ）を生成する（ステップＳ３５）。次いで、処理部１１の識別処理部１１ｆは、抽出及び調整がなされた実画像ｘと、ステップＳ３５で生成した潜在変数Ｅ（ｘ）とを識別モデル６２に入力することによって、識別結果Ｐ（ｙ）を取得する（ステップＳ３６）。

次いで、処理部１１の異常判定部１１ｇは、識別結果Ｐ（ｙ）に基づいて、実画像ｘに含まれる電気設備３１の状態を判定する（ステップＳ３７）。例えば、異常判定部１１ｇは、下記式（２）で表される異常度Ａ（ｘ）を算出するとよい。
Ａ（ｘ）＝σ（Ｄ（ｘ、Ｅ（ｘ）），１）…（２）

異常度Ａ（ｘ）は、生成モデル６３から出力される識別結果Ｐ（ｙ）、即ち正常な電気設備３１を含む実画像ｘである確率と、確率１（実画像ｘが本物であることを示す）との交差エントロピー損失である。異常度Ａ（ｘ）は、入力された実画像ｘが偽画像であると識別される程、つまり、異常な電気設備３１と識別される程、値が大きくなる関数である。

なお、図３では、異常判定モデル６として、エンコーダモデル６１及び識別モデル６２を含み、生成モデル６３を含まない例を説明したが、異常判定モデル６として、学習済みの生成モデル６３を含むように構成してもよい。この場合、異常判定部１１ｇは、下記式（３）、（４）、（５）で表される異常度Ａ（ｘ）を算出するとよい。

Ａ（ｘ）＝αＬ_Ｇ（ｘ）＋（１−α）Ｌ_D（ｘ）…（３）
再構築損失Ｌ_Ｇ（ｘ）＝||ｘ−Ｇ（Ｅ（ｘ））||…（４）
識別損失Ｌ_D（ｘ）＝σ（Ｄ（ｘ、Ｅ（ｘ）），１）…（５）

再構築損失は、実画像ｘと、この実画像ｘの潜在変数Ｅ（ｘ）を元に生成モデル６３にて生成された偽画像Ｇ（Ｅ（ｘ））とのノルムである。エンコーダモデル６１及び生成モデル６３は、正常な電気設備３１を含む実画像ｘを用いて学習されているため、実画像ｘが正常な電気設備３１を含む場合、再構築損失は小さな値になる。実画像ｘが、学習に用いた実画像ｘと異なる特徴を有する場合、つまり異常な電気設備３１を含む場合、エンコーダモデル６１及び生成モデル６３の出力が整合しなくなり、再構築損失は大きな値になる。
識別損失は、上記式（２）と同じであり、識別モデル６２によって異常な電気設備３１を含む実画像ｘであると識別される程、値が大きくなる関数である。
上記式（３）−（５）で表される異常度Ａ（ｘ）は、上記式（２）で表される識別損失に加え、再構築損失も考慮されているため、この異常度Ａ（ｘ）を用いることによって、処理部１１は、実画像ｘに含まれる電気設備３１の異常をより精度良く判定することができる。

図１０は、異常判定結果を示す概念図である。図中、横軸は異常度Ａ（ｘ）を示す。処理部１１は、ステップＳ３７で算出した異常度Ａ（ｘ）と、第１閾値、第２閾値又は第３閾値と比較する。処理部１１は、異常度Ａ（ｘ）が第１閾値未満である場合、実画像ｘに含まれる電気設備３１は正常であると判定し、第２閾値以上、第３閾値未満である場合、実画像ｘに含まれる電気設備３１が異常であると判定する。
異常度Ａ（ｘ）が第１閾値以上、第２閾値未満である場合、実画像ｘに含まれる電気設備３１が正常とも異常とも確定的に判断できない状態にあり、処理部１１は、未知の異常であると判定する。また、異常度Ａ（ｘ）が第３閾値以上である場合、実画像ｘに含まれる電気設備３１が、既知の異常状態からかけ離れた状態にあり、処理部１１は、未知の異常である、あるいは電気設備３１では無いと判定する。なお、上記の異常判定方法は一例であり、これに限定されるものではない。

処理部１１は、電気設備３１の異常度Ａ（ｘ）に応じて、例えば端末装置２２に対して通知を行い（ステップＳ３８）、処理を終了する。例えば、処理部１１は、特定の電気設備３１が異常である旨、又は未知の異常状態にあり、確認を要する旨を、端末装置２２へ通知する。また、処理部１１は、特定の電気設備３１が正常な状態にあることを確認的に通知しても良い。なお、処理部１１は、電気設備３１の異常を通知する際、異常な電気設備３１が含まれる実画像ｘ、又はこの実画像ｘの元になった撮像画像と、撮像位置、撮像時間等の情報を合わせて端末装置２２へ送信するように構成してもよい。

図１１は、異常判定モデル６の評価結果を示すグラフである。横軸は再現率、縦軸は適合率を示す。再現率はＴＰ／（ＴＰ＋ＦＮ）、適合率はＴＰ／（ＴＰ＋ＦＰ）で表される。ＴＰは、識別モデル６２が実画像ｘを、正しく実画像ｘと識別できた数、ＦＮは、識別モデル６２が実画像ｘを誤って偽画像と識別した数、ＦＰは、偽画像を誤って実画像ｘと識別した数である。
図１１は、図４に示すエンコーダを有する学習済みの異常判定モデル６を用いて、７０事例（正常な電気設備３１を含む実画像３５枚、異常な電気設備３１を含む実画像３５枚）の識別を行った結果を示している。実画像ｘのサイズは２５０×２５０画素である。再現率−適合率のグラフで囲まれる面積は０．８４６８であった。一般的に、この面積が０．８以上である場合、学習モデルが適切に学習されたと評価される。

以上、本実施形態１に係る学習モデルの生成方法によれば、未知の不具合を含め、放電クランプ、クランプがいし、トランス等の電気設備３１の異常の有無を判定することができる学習済モデル、即ちエンコーダモデル６１、識別モデル６２及び生成モデル６３を生成することができる。

また、図４に示すように、単数の畳み込み層６１ｄ及び単数のプーリング層６１ｅを複数対連結し、その後段に単数の全結合層６１ｆを接続してなるエンコーダモデル６１を採用することにより、より少ないメモリ容量で、電気設備３１の異常の有無を判定することが可能な学習済モデルを構成することができる。

このように構成された学習済モデルのうち、少なくともエンコーダモデル６１及び識別モデル６２を異常判定モデル６として備えることにより、未知の不具合を含め、放電クランプ、クランプがいし、トランス等の電気設備３１の異常の有無を判定することができる情報処理装置１を構成することができる。

また、情報処理装置１が備えるエンコーダモデル６１は上記の構成であるため、少ないメモリ容量で、電気設備３１の異常の有無を判定することができる。

更に、エンコーダモデル６１、生成モデル６３及び識別モデル６２を用いて演算される、上記式（３）の異常度Ａ（ｘ）を用いることによって、より精度良く、電気設備３１の異常の有無を識別することができる。

更にまた、撮像画像から、電気設備３１を含む実画像ｘを抽出し、所定サイズ（例えば２５０×２５０画素）に大きさを調整し、異常判定モデル６に入力する構成によって、情報処理装置１の必要メモリ容量を最小限に抑えつつ、電気設備３１の異常の有無を精度良く識別することができる。

更にまた、本実施形態１の情報処理装置１は、電気設備３１の異常状態に加え、未知の異常状態を識別して、作業者２の端末装置２２へ通知することができる。

なお本実施形態１においては、カメラ２１が撮像した撮像画像に基づく電気設備３１の異常の有無の判定をサーバ装置である情報処理装置１が行う構成としたが、これに限るものではない。例えば作業者２が有する端末装置２２が、カメラ２１の撮像画像に基づく電気設備３１の異常の有無の判定を行う構成であってもよい。また本実施形態１においては、電気設備３１に異常があると判定した場合に情報処理装置１が端末装置２２に対して通知を行う構成としたが、これに限るものではない。情報処理装置１は、自身のディスプレイにメッセージを表示して電気設備３１の異常を通知してもよく、情報処理装置１及び端末装置２２以外の装置に対して通知を行ってもよい。

なお本実施形態１においては、ＣＮＮをベースとした異常判定モデル６を説明したが、モデルの構成はＣＮＮに限るものではない。異常判定モデル６は、例えばＣＮＮ以外のニューラルネットワーク、ＳＶＭ、ベイジアンネットワーク、又は、回帰木等の構成の学習済モデルであってよい。

（実施形態２）
実施形態２に係る異常判定システムでは、作業者２が有する端末装置２２が学習済の領域特定モデル５を有している。端末装置２２は、カメラ２１が撮像した画像を取得し、取得した画像を領域特定モデル５へ入力して、電気設備３１を含む画像領域を特定する。端末装置２２は、特定した画像領域を元の撮像画像から抽出し、抽出した画像領域を情報処理装置１へ送信する。また端末装置２２は、抽出した画像領域に対する大きさの調整を行ってもよい。

実施形態２に係る情報処理装置１は、学習済の異常判定モデル６を有している。情報処理装置１は、端末装置２２から送信された画像領域を取得し、取得した画像領域を異常判定モデル６へ入力する。情報処理装置１は、異常判定モデル６の出力を取得し、画像領域に含まれる電気設備３１の異常の有無を判定する。異常があると判定した場合、情報処理装置１は、端末装置２２に対して通知を行ってよい。

以上の構成の実施形態２に係る異常判定システムは、領域特定モデル５を用いた画像領域の特定と、異常判定モデル６を用いた異常の有無の判定とをそれぞれ異なる装置が行う構成である。端末装置２２がカメラ２１の撮像画像からの画像領域の特定を行う構成とすることにより、端末装置２２から情報処理装置１へ送信する情報量を低減することができる。

実施形態２に係る異常判定システムのその他の構成は、実施形態１に係る異常判定システムと同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。

（実施形態３）
実施形態３に係る異常判定システムでは、作業者２が有する端末装置２２が学習済の領域特定モデル５及び異常判定モデル６を有している。端末装置２２は、カメラ２１が撮像した画像を取得し、取得した画像を領域特定モデル５へ入力して、電気設備３１を含む画像領域を特定する。端末装置２２は、特定した画像領域を元の撮像画像から抽出し、抽出した画像領域を異常判定モデル６へ入力する。端末装置２２は、異常判定モデル６の出力を取得し、画像領域に含まれる電気設備３１の異常の有無を判定する。異常があると判定した場合、端末装置２２は、作業者２に対する通知を行う。

また端末装置２２は、電気設備３１に異常があると判定した場合に、情報処理装置１へこの判定結果を通知してもよい。これにより情報処理装置１は、異常があると判定された電気設備３１について、設置された位置、異常の種類、異常の度合い及び異常が検出された日時等の情報を蓄積することができる。

以上の構成の実施形態３に係る異常判定システムは、領域特定モデル５を用いた画像領域の特定と、異常判定モデル６を用いた異常の有無の判定とを端末装置２２が単独で行う構成である。これにより、端末装置２２が情報処理装置１との通信を行うことができない状況であっても、作業者２が電気設備３１の異常の有無の判定結果をその場で確認することが可能となる。

実施形態３に係る異常判定システムのその他の構成は、実施形態１に係る異常判定システムと同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。

１ 情報処理装置
２ 作業者
３ 電柱
４ 記録媒体
５ 領域特定モデル
６ 異常判定モデル
１１ 処理部
１１ａ 画像取得部
１１ｂ 領域特定部
１１ｃ 領域抽出部
１１ｄ 調整部
１１ｅ エンコード処理部
１１ｆ 識別処理部
１１ｇ 異常判定部
１１ｈ 学習処理部
１２ 記憶部
１２ａ コンピュータプログラム
１３ 通信部
２１ カメラ
２２ 端末装置
３１ 電気設備
６１ エンコーダモデル
６２ 識別モデル
６３ 生成モデル

Claims (10)

1. 電気設備を含む実画像が入力された場合、該実画像に含まれる電気設備が正常な電気設備であるか否かを示す識別結果を出力する学習済モデルの生成方法であって、
   第１データが入力された場合、正常な電気設備に係る偽画像を出力するように学習されるべき生成モデルと、
   正常な電気設備を含む実画像が入力された場合、第２データを出力するように学習されるべきエンコーダモデルと、
   前記生成モデルから出力された前記偽画像及び前記第１データの組みデータ、又は前記エンコーダモデルから出力された第２データ及び前記実画像の組みデータが入力された場合、入力された画像が正常な電気設備を含む実画像であるか否かを示す識別結果を出力するように学習されるべき識別モデルと、
   正常な電気設備を含む複数の実画像と
   を用意し、
   所定の目的関数が最適化されるように、正常な電気設備を含む前記複数の実画像を用いて、前記生成モデル、前記エンコーダモデル及び前記識別モデルを敵対的に学習させる
   学習済モデルの生成方法。
2. 前記識別モデルによって正常な電気設備を含む実画像であると誤識別されるような偽画像が出力されるように、前記生成モデルを学習させる
   請求項１に記載の学習済モデルの生成方法。
3. 前記識別モデルによって実画像と正しく認識されるような第２データが出力されるように、前記エンコーダモデルを学習させる
   請求項１又は請求項２に記載の学習済モデルの生成方法。
4. 前記生成モデルから出力された前記偽画像及び前記第１データの組みデータが前記識別モデルに入力された場合、偽画像であると識別され、前記エンコーダモデルから出力された第２データ及び前記実画像の組みデータが前記識別モデルに入力された場合、実画像であると識別されるように、前記識別モデルを学習させる
   請求項１から請求項３のいずれか１項に記載の学習済モデルの生成方法。
5. 前記エンコーダモデルは、
   前記実画像が入力される入力層と、
   該入力層に入力された情報に対してパラメータに基づく演算を行う中間層と、
   該中間層の演算結果に基づいて、前記識別結果を出力する出力層と
   を含む畳み込みニューラルネットワークであり、
   前記中間層は、
   単数の畳み込み層及びプーリング層を複数対連結し、後段に単数の全結合層を接続してなる
   請求項１から請求項４のいずれか１項に記載の学習済モデルの生成方法。
6. コンピュータに、
   電気設備を含む実画像を取得し、
   電気設備を含む実画像が入力された場合、該実画像に潜在する特徴を表した潜在変数を出力するエンコーダモデルに、取得した前記実画像を入力することによって前記潜在変数を出力させ、
   前記エンコーダモデルから出力された前記潜在変数及び前記実画像の組みデータが入力された場合、入力された画像が正常な電気設備を含む実画像であるか否かを示す識別結果を出力する識別モデルに、取得した前記実画像及び生成した前記データを入力することによって前記識別結果を出力させ、
   前記識別モデルから出力された前記識別結果に基づいて、前記実画像に含まれる電気設備の状態を判定する
   処理を実行させるためのコンピュータプログラム。
7. 前記エンコーダモデル及び前記識別モデルは、
   ベクトルデータが入力された場合、正常な電気設備に係る偽画像を出力するように学習されるべき生成モデルを用いた敵対的学習にて生成される
   請求項６に記載のコンピュータプログラム。
8. 前記電気設備を含む実画像を取得する処理は、
   一又は複数の前記電気設備と、該一又は複数の電気設備が設けられた部材とを含む画像を取得し、
   取得した画像から単数の前記電気設備に対応する画像部分を実画像として抽出する
   処理を含む
   請求項６又は請求項７に記載のコンピュータプログラム。
9. 電気設備を含む実画像を取得し、
   電気設備を含む実画像が入力された場合、該実画像に潜在する特徴を表した潜在変数を出力するエンコーダモデルに、取得した前記実画像を入力することによって前記潜在変数を出力させ、
   前記エンコーダモデルから出力された前記潜在変数及び前記実画像の組みデータが入力された場合、入力された画像が正常な電気設備を含む実画像であるか否かを示す識別結果を出力する識別モデルに、取得した前記実画像及び生成した前記データを入力することによって前記識別結果を出力させ、
   前記識別モデルから出力された前記識別結果に基づいて、前記実画像に含まれる電気設備の状態を判定する
   情報処理方法。
10. 電気設備を含む実画像を取得する画像取得部と、
    電気設備を含む実画像が入力された場合、該実画像に潜在する特徴を表した潜在変数を出力するエンコーダモデルに、取得した前記実画像を入力することによって前記潜在変数を出力させるエンコード処理部と、
    前記エンコーダモデルから出力された前記潜在変数及び前記実画像の組みデータが入力された場合、入力された画像が正常な電気設備を含む実画像であるか否かを示す識別結果を出力する識別モデルに、取得した前記実画像及び生成した前記データを入力することによって前記識別結果を出力させる識別処理部と、
    前記識別モデルから出力された前記識別結果に基づいて、前記実画像に含まれる電気設備の状態を判定する異常判定部と
    を備える情報処理装置。

Images