JP2020160765A - 情報処理装置、設備判定方法、コンピュータプログラム及び学習済モデルの生成方法 - Google Patents

Abstract

【課題】カメラの撮像画像に基づく設備の異常判定の精度を向上することが期待できる情報処理装置、設備判定方法、コンピュータプログラム及び学習済モデルの生成方法を提供する。【解決手段】異常判定システムにおいて、サーバ装置（情報処理装置）１は、電気設備が写された画像を、画像取得部１１ａが取得し、取得した画像から電気設備に対応する画像領域を、領域特定部１１ｂが第１の学習済モデルである領域特定モデル１２ｂを用いて特定する。特定した画像領域を、領域抽出部１１ｃが元の画像から抽出し、抽出した画像領域からこの電気設備の状態を、異常判定部１１ｅが第２の学習済モデルである異常判定モデル１２ｃを用いて判定する。画像からの電気設備が写された画像領域の特定と、特定された画像領域からの電気設備の状態判定とを異なる学習済モデルを用いて行うことにより、電気設備の状態判定の精度の向上が期待できる。【選択図】図２

Description

本発明は、電気設備等の設備を含む画像から、当該設備の状態を判定する情報処理装置、設備判定方法、コンピュータプログラム及び学習済モデルの生成方法に関する。

配電設備の異常を判定する種々の手法が提案されている。例えば特許文献１では、一台の赤外線カメラ及び複数の可視光カメラで電柱を撮像し、可視光カメラで撮像した画像からアーム（腕金）の画像領域を抽出し、赤外線カメラで撮像した熱画像におけるアームの画像領域から柱上機材の温度勾配を算出して、柱上機材が正常か異常かを判定する異常検出方法等が開示されている。

特開２００２−３６６９５３号公報

近年、ニューラルネットワークを利用した人工知能により、カメラの撮像画像から特定の物体を検出する画像認識の技術が急速に発展している。当該技術を利用し、設備を撮像した画像に基づいてこの設備の異常を判定することが研究されている。しかし、カメラの撮像画像に写された設備の大きさにより異常判定の精度が左右され、撮像画像に設備が小さく写されている場合には、この設備の異常を精度よく判定できない虞がある。

本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、カメラの撮像画像に基づく設備の異常判定の精度を向上することが期待できる情報処理装置、設備判定方法、コンピュータプログラム及び学習済モデルの生成方法を提供することにある。

本発明に係る情報処理装置は、電気設備を含む画像を取得する取得部と、入力された画像に含まれる電気設備に対応する画像領域を特定した特定結果を出力する第１の学習済モデルを用いて、前記取得部が取得した画像から前記画像領域を特定する特定部と、前記特定部が特定した前記画像領域を前記取得部が取得した画像から抽出する抽出部と、入力された画像領域に含まれる電気設備の状態を判定した判定結果を出力する第２の学習済モデルを用いて、前記抽出部が抽出した画像領域から前記電気設備の状態を判定する判定部とを備える。

本発明においては、電気設備が写された画像を情報処理装置が取得し、取得した画像から電気設備に対応する画像領域を、第１の学習済モデルを用いて特定する。第１の学習済モデルは、入力された画像に含まれる電気設備に対応する画像領域を特定した特定結果を出力するよう予め学習がなされたモデルである。情報処理装置は、特定した画像領域を元の画像から抽出し、抽出した画像領域からこの電気設備の状態を、第２の学習済モデルを用いて判定する。第２の学習済モデルは、入力された画像領域に含まれる電気設備の状態を判定した判定結果を出力するよう予め学習がなされたモデルである。画像からの電気設備が写された画像領域の特定と、特定された画像領域からの電気設備の状態判定とを異なる学習済モデルを用いて行うことにより、電気設備の状態判定の精度の向上が期待できる。

本発明による場合は、カメラの撮像画像に基づく設備の異常判定の精度を向上することが期待できる。

本実施の形態に係る異常判定システムの概要を説明するための模式図である。 本実施の形態に係るサーバ装置の構成を示すブロック図である。 本実施の形態に係る領域特定モデルの生成処理を説明するための模式図である。 本実施の形態に係る異常判定モデルの生成処理を説明するための模式図である。 本実施の形態に係るサーバ装置が行う学習処理の手順を示すフローチャートである。 本実施の形態に係るサーバ装置が行う電気設備の異常判定処理を説明するための模式図である。 本実施の形態に係るサーバ装置が行う画像領域の順位付けを説明するための模式図である。 本実施の形態に係るサーバ装置が行う異常判定処理の手順を示すフローチャートである。 実施の形態２に係る異常判定システムの構成を示す模式図である。 実施の形態３に係る異常判定システムの構成を示す模式図である。

本発明の実施形態に係る情報処理装置の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

＜システム概要＞
図１は、本実施の形態に係る異常判定システムの概要を説明するための模式図である。本実施の形態に係る異常判定システムは、例えば道路上に設置された電柱３、この電柱に設けられた各種の機材、及び、複数の電柱３の間に架け渡された電線等の電気設備を対象として異常判定を行う。ただし、異常判定の対象となる設備は、上記のものに限らない。本実施の形態に係る異常判定システムは、サーバ装置１と、作業者２が所持するカメラ２１及び端末装置２２とを含む。サーバ装置１及び作業者２の端末装置２２は、インターネット等のネットワークＮを介して通信可能に接続されている。またカメラ２１及び端末装置２２は、有線又は無線によりデータの授受が可能に構成されている。

作業者２は、電柱３等の電気設備の保守点検を行う作業者であり、電気設備が設置されている道路等を巡回する。作業者２は、周囲を撮像するカメラ２１と、位置情報取得機能及び通信機能等を有する端末装置２２とを使用して作業を行う。作業者２は、カメラ２１を用いて周囲の風景等を撮像する。

なお本実施の形態においては、作業者２がカメラ２１を用いた撮像を行うものとするが、撮影者は作業者２に限らない。例えば、電柱３の近隣に住む住人又は電柱３の周辺を通行する歩行者等の一般人が撮像を行ってもよい。また例えば、電柱３の周辺の道路を走行する路線バス又はタクシー等の車両にカメラ２１を搭載して撮像を行ってもよい。

端末装置２２は、カメラ２１が撮像した画像を取得し、取得した画像をサーバ装置１へ送信する。また端末装置２２は、カメラ２１の撮像画像と共に、この画像が撮像された日時及び位置等の情報を併せてサーバ装置１へ送信してもよい。

なお本実施の形態においては、カメラ２１及び端末装置２２を別体の装置とするが、これに限るものではなく、カメラ２１及び端末装置２２が一体の装置であってもよい。また端末装置２２は、カメラ２１が撮像した画像をリアルタイムでサーバ装置１へ送信してもよく、カメラ２１が撮像した画像を一定時間記録し、一定時間の画像をまとめて送信してもよい。また端末装置２２からサーバ装置１へネットワークＮを介した通信により撮像画像を送信するのではなく、例えば端末装置２２が撮像画像をメモリカード等の記録媒体に記録し、撮像画像が記録されたメモリカードをサーバ装置１が読み込むことによって撮像画像を授受してもよい。

サーバ装置１は、作業者２のカメラ２１が撮像した電柱等の電気設備の画像を取得し、取得した画像からこの電気設備の異常の有無を判定する処理を行う。本実施の形態に係るサーバ装置１は、機械学習により予め学習がなされた２つの学習済モデルを用いて、電気設備の異常を判定する。第１の学習済モデルは、カメラ２１が撮像した画像から、判定対象となる電気設備が含まれる画像領域を特定するよう学習された領域特定モデルである。第２の学習済モデルは、画像中の電気設備の異常の有無を判定するよう学習された異常判定モデルである。サーバ装置１は、カメラ２１から取得した画像を領域特定モデルへ入力することにより、電気設備が含まれる画像領域の特定結果を得る。この特定結果に基づいてサーバ装置１は、カメラ２１から取得した画像から特定された画像領域を抽出する。サーバ装置１は、抽出した画像領域を異常判定モデルへ入力することにより、電気設備の異常の有無の判定結果を得る。

サーバ装置１が判定する電気設備の異常の有無には、電柱３、機材及び電線等の電気設備自体の異常の有無の他に、例えば電柱３の機材の上に作られた鳥類（動物）の営巣の有無、又は、複数の電柱３の間に架け渡された電線と周辺に植えられた樹木との接触の有無等が含まれ得る。サーバ装置１は、領域特定モデル及び異常判定モデルを用いて判定した電気設備の異常判定の結果に応じて、電気設備の異常箇所への対応を促す所定の通知を作業者へ送信する。

＜装置構成＞
図２は、本実施の形態に係るサーバ装置１の構成を示すブロック図である。本実施の形態に係るサーバ装置１は、処理部（プロセッサ）１１、記憶部（ストレージ）１２及び通信部（トランシーバ）１３等を備えて構成されている。処理部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の演算処理装置を用いて構成されている。処理部１１は、記憶部１２に記憶されたサーバプログラム１２ａを読み出して実行することにより、画像から電気設備が含まれる画像領域を特定する処理、及び、画像領域の電気施設の異常の有無を判定する処理等の種々の処理を行う。

記憶部１２は、例えばハードディスク等の大容量の記憶装置を用いて構成されている。記憶部１２は、処理部１１が実行する各種のプログラム、及び、処理部１１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部１２は、処理部１１が実行するサーバプログラム１２ａと、２つの学習済モデルとして領域特定モデル１２ｂ及び異常判定モデル１２ｃを記憶している。

サーバプログラム１２ａは、例えばサーバ装置１の製造段階において記憶部１２に書き込まれてもよい。例えばサーバプログラム１２ａは、遠隔の他のサーバ装置等が配信するものをサーバ装置１が通信にて取得してもよい。例えばサーバプログラム１２ａは、メモリカード又は光ディスク等の記録媒体９９に記録されたサーバプログラム１２ａをサーバ装置１が読み出して記憶部１２に記憶してもよい。例えばサーバプログラム１２ａは、記録媒体９９に記録されたものを書込装置が読み出してサーバ装置１の記憶部１２に書き込んでもよい。サーバプログラム１２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９９に記録された態様で提供されてもよい。

領域特定モデル１２ｂ及び異常判定モデル１２ｃは、予め教師データを用いた機械学習又は深層学習等がなされた学習済モデルである。学習済モデルは、入力値に対して所定の演算を行い、演算結果を出力するものであり、記憶部１２にはこの演算を規定する関数の係数及び閾値等のデータが領域特定モデル１２ｂ及び異常判定モデル１２ｃとして記憶される。領域特定モデル１２ｂは、カメラ２１の撮像画像から電気設備が含まれる画像領域を特定するように学習された学習済モデルである。異常判定モデル１２ｃは、特定された画像領域に含まれる電気設備の異常の有無を判定するように学習された学習済モデルである。サーバプログラム１２ａを実行する処理部１１が、領域特定モデル１２ｂ及び異常判定モデル１２ｃとして記憶されたデータを読み込むことによって、画像からの領域特定及び特定された領域の施設の異常判定のための演算を処理部１１が実行することが可能となる。

本実施の形態において領域特定モデル１２ｂ及び異常判定モデル１２ｃの学習処理は、サーバ装置１が行う。ただし学習処理は、サーバ装置１以外の装置が行ってもよい。この場合に学習された領域特定モデル１２ｂ及び異常判定モデル１２ｃに係るデータは、サーバプログラム１２ａと同様に、ネットワークを介した配信の態様で提供されてもよく、記録媒体９９に記録された態様で提供されてもよい。

通信部１３は、インターネット、無線ＬＡＮ及び携帯電話通信網等を含むネットワークＮを介して、一又は複数の端末装置２２との間で通信を行う。また通信部１３は、ネットワークＮを介して端末装置２２以外の種々の装置との間で通信を行ってよい。通信部１３は、処理部１１から与えられたデータを他の装置へ送信すると共に、他の装置からの受信データを処理部１１へ与える。

なお記憶部１２は、サーバ装置１に接続された外部記憶装置であってよい。またサーバ装置１は、複数のコンピュータを含んで構成されるマルチコンピュータであってよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。またサーバ装置１は、上記の構成に限定されず、例えば可搬型の記憶媒体に記憶された情報を読み取る読取部、操作入力を受け付ける入力部、又は、画像を表示する表示部等を含んでもよい。

また本実施の形態に係るサーバ装置１では、記憶部１２に記憶されたサーバプログラム１２ａを処理部１１が読み出して実行することにより、画像取得部１１ａ、領域特定部１１ｂ、領域抽出部１１ｃ、調整部１１ｄ、異常判定部１１ｅ及び学習処理部１１ｆ等がソフトウェア的な機能ブロックとして実現される。画像取得部１１ａは、通信部１３を介して端末装置２２との通信を行うことにより、カメラ２１にて撮像された画像を取得する処理を行う。画像取得部１１ａは、端末装置２２から通信により取得した画像を記憶部１２に記憶する。

領域特定部１１ｂは、記憶部１２に記憶された領域特定モデル１２ｂを用いて、画像取得部１１ａが取得した画像から処理対象となる電気設備が含まれる領域を特定する処理を行う。領域特定モデル１２ｂは、画像を入力として受け付け、電気設備が含まれている画像領域を特定する座標等の情報と、この特定に関する確信度とを出力する。また本実施の形態において領域特定モデル１２ｂは、特定した画像領域に含まれる電気設備の異常の有無の判定結果をも出力する。ただし本実施の形態において、領域特定モデル１２ｂが出力する異常の有無の判定結果は、画像領域の順位付けに用いる予備的な情報であり、電気設備の異常の有無の最終的な判定は異常判定モデル１２ｃが行う。

画像中に複数の電気設備が写されている場合、領域特定モデル１２ｂは複数の画像領域を特定する。この場合に領域特定部１１ｂは、特定された複数の画像領域に対して順位付けを行う。例えば領域特定部１１ｂは、領域特定モデル１２ｂが出力する異常有無の判定結果に基づき、異常があると判定された電気設備に対応する画像領域に高順位を付す。領域特定部１１ｂは、異常があると判定された電気設備に対応する画像領域に対して所定の位置関係にある画像領域、例えば一列に並んだ連続的な画像領域に、異常ありの画像領域に次ぐ高順位を付す。領域特定部１１ｂは、異常ありの画像領域が複数存在する場合、領域の大きさに応じて、例えば領域が大きいものから順に、高順位を付す。なお上記の順位付けは一例であり、領域特定部１１ｂによる画像領域の順位付けの方法はどのようなものであってもよい。

領域抽出部１１ｃは、領域特定部１１ｂが特定した画像領域を、画像取得部１１ａが取得した画像（即ち、領域特定部１１ｂに対して入力された画像）から抽出する処理を行う。領域特定部１１ｂが複数の画像領域を特定した場合、領域抽出部１１ｃは、画像から複数の画像領域を抽出する。

調整部１１ｄは、領域抽出部１１ｃが抽出した画像領域に対して大きさを調整する処理を行う。領域特定部１１ｂにより特定されて領域抽出部１１ｃにより抽出される画像領域の大きさは、元の画像に写されていた電気設備の大きさに依存する。調整部１１ｄは、領域抽出部１１ｃが抽出した画像領域を拡大又は縮小することによって、異常判定モデル１２ｃの入力に適した画像の大きさとなるよう調整する。

異常判定部１１ｅは、記憶部１２に記憶された異常判定モデル１２ｃを用いて、領域抽出部１１ｃにより抽出されて調整部１１ｄにより大きさが調整された画像領域に含まれる電気設備の異常の有無を判定する処理を行う。異常判定モデル１２ｃは、画像（画像領域）を入力として受け付け、この画像に含まれた電気設備の異常の有無の判定結果を出力する。異常判定部１１ｅは、調整部１１ｄが大きさを調整した画像領域を異常判定モデル１２ｃへ入力し、電気設備の異常の有無の判定結果を得る。

領域抽出部１１ｃが複数の画像領域を抽出した場合、異常判定部１１ｅは、領域特定部１１ｂが付した順位に従って複数の画像領域を異常判定モデル１２ｃへ入力し、複数の判定結果を得る。ここで領域抽出部１１ｃにより抽出された画像領域の数（又は、領域特定部１１ｂにより特定された画像領域の数）が所定数より多い場合、異常判定部１１ｅは、画像領域に付された順位に従って高順位のものを優先して異常判定を行い、所定数を超える低順位の画像領域については異常判定を行わない構成としてもよい。

学習処理部１１ｆは、領域特定モデル１２ｂ及び異常判定モデル１２ｃを学習する処理を行う。学習処理部１１ｆは、予め用意された教師データを用いて、領域特定モデル１２ｂ及び異常判定モデル１２ｃを学習する。なお領域特定モデル１２ｂ及び異常判定モデル１２ｃは、必ずしもサーバ装置１にて学習が行われる必要はなく、他の装置にて学習が行われてもよい。

＜学習済モデル＞
図３は、本実施の形態に係る領域特定モデル１２ｂの生成処理を説明するための模式図である。なお図３においては、機械学習を行って領域特定モデル１２ｂを生成する処理を概念的に示している。以下、図３に基づいて、領域特定モデル１２ｂの生成処理について説明する。

本実施の形態において領域特定モデル１２ｂは、画像の入力を受け付ける入力層と、画像の特徴量を抽出する中間層と、画像に含まれる電気設備の画像領域の特定結果及び当該電気設備の異常の有無を示す情報を出力する出力層とを有するニューラルネットワークとして構成される。本実施の形態において領域特定モデル１２ｂには、ニューラルネットワークとしてＣＮＮ（Convolution Neural Network）の構成が採用されている。サーバ装置１は、ＣＮＮのモデルに対して、画像内における電気設備の異常箇所の画像特徴量を学習するディープラーニングを行うことで、領域特定モデル１２ｂを生成する。

ニューラルネットワークの入力層は、画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、画像の特徴量を抽出する複数のニューロンを有し、抽出した特徴量を出力層に受け渡す。例えば領域特定モデル１２ｂがＣＮＮである場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、画像の画素情報を圧縮しながら最終的に画像の特徴量を抽出する。出力層は、画像中に含まれる電気設備の画像領域の位置及び範囲等を示す情報と、この電気設備の異常を判定した判定結果とを出力する一又は複数のニューロンを有している。出力層は、中間層から出力された画像の特徴量に基づいて、画像中の電気設備の画像領域を特定すると共に、電気設備の異常の有無を判定する。なお本実施の形態において領域特定モデル１２ｂの出力層は、特定した画像領域について、この画像領域に含まれる物体が対象となる電気設備であることの確かさを示す確信度と、電気設備の異常判定の確かさを示す確信度とを出力する。各確信度は、例えば０以上、１以下の少数で表され、その値が大きいほど出力結果が確かであることを示す。サーバ装置１は、領域特定モデル１２ｂが出力する画像領域の位置情報及び異常判定結果と共に、これらの確信度に基づいて、元の画像からの電気設備を含む画像領域の最終的な特定結果を定める。例えばサーバ装置１は、確信度が閾値未満の画像領域については、特定結果から除外してよい。

なお本実施の形態においては、領域特定モデル１２ｂがＣＮＮであるものとするが、モデルの構成はＣＮＮに限るものではない。領域特定モデル１２ｂは、例えばＣＮＮ以外のニューラルネットワーク、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、又は、回帰木等の構成の学習済モデルであってよい。

領域特定モデル１２ｂの学習処理において、サーバ装置１は、電柱３、電柱３に設けられた機材、及び、電線等の電気設備を撮像した複数の撮像画像と、各画像における電気設備の異常箇所を示す情報とが対応付けられた教師データを用いる。教師データは、例えば図３に示すように、電柱３等の電気設備を含む画像に対し、異常箇所に該当する画像領域の座標範囲と、異常の内容とがラベル付けされたデータである。なお、図３ではラベル付けされた画像領域を太線の矩形枠で図示している。また異常内容の一例として、「異常箇所：放電クランプ、種類：焦げ目、ランクＡ」が示されている。

サーバ装置１は、教師データの画像をＣＮＮの入力層に入力し、中間層での演算処理を経て、出力層から出力される画像領域の特定結果及び電気設備の異常判定結果を取得する。なお、出力層から出力される異常判定結果は、異常の有無を離散的に示す値（例えば「０」又は「１」の値）であってもよく、連続的な確率値（例えば「０」から「１」までの範囲の値）であってもよい。またサーバ装置１は、出力層から出力される情報として、画像領域の特定結果及び異常の有無の他に、例えば異常の種類、又は、異常の程度等を判定した結果を取得してもよい。

サーバ装置１は、出力層から出力された識別結果を、教師データにおいて撮像画像に対しラベル付けされた情報、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み（結合係数）などである。パラメータの最適化の方法は特に限定されないが、例えばサーバ装置１は最急降下法等を用いて各種パラメータの最適化を行う。

サーバ装置１は、教師データに含まれる各画像について上記の処理を繰り返し行うことによって、学習済の領域特定モデル１２ｂを得る。カメラ２１の撮像画像を端末装置２２から取得した場合、サーバ装置１は、領域特定モデル１２ｂを用いて、画像に含まれる電気設備の画像領域の特定と、この電気設備の異常の有無の判定とを行う。

図４は、本実施の形態に係る異常判定モデル１２ｃの生成処理を説明するための模式図である。本実施の形態において異常判定モデル１２ｃは、画像（画像領域）の入力を受け付ける入力層と、画像の特徴量を抽出する中間層と、画像に含まれる電気設備の異常の有無を示す情報を出力する出力層とを有するニューラルネットワークとして構成される。本実施の形態に係る異常判定モデル１２ｃは、領域特定モデル１２ｂと同様に、ＣＮＮの構成が採用されている。サーバ装置１は、ＣＮＮのモデルに対して、画像内における電気設備の異常箇所の画像特徴量を学習するディープラーニングを行うことで、異常判定モデル１２ｃを生成する。

異常判定モデル１２ｃの入力層は、領域特定モデル１２ｂにより特定された画像領域に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、画像の特徴量を抽出する複数のニューロンを有し、抽出した特徴量を出力層に受け渡す。ＣＮＮの構成の異常判定モデル１２ｃの中間層は、領域特定モデル１２ｂの中間層と同様に、コンボリューション層及びプーリング層等を有し、画像の画素情報を圧縮しながら最終的に画像の特徴量を抽出する。出力層は、電気設備の異常を判定した判定結果を出力する一又は複数のニューロンを有している。

なお本実施の形態においては、異常判定モデル１２ｃがＣＮＮであるものとするが、モデルの構成はＣＮＮに限るものではない。異常判定モデル１２ｃは、例えばＣＮＮ以外のニューラルネットワーク、ＳＶＭ、ベイジアンネットワーク、又は、回帰木等の構成の学習済モデルであってよい。

サーバ装置１は、領域特定モデル１２ｂの学習処理に用いた教師データと、学習済の領域特定モデル１２ｂとを用いて、異常判定モデル１２ｃの学習処理に用いる教師データを生成する。サーバ装置１は、元の教師データの画像を領域特定モデル１２ｂに入力することにより得られる画像領域の特定結果に基づいて、元の教師データの画像から特定された画像領域を抽出する画像処理を行う。サーバ装置１は、抽出した画像（画像領域）と、元の教師データにラベル付けされたデータとの組を新たな教師データとして異常判定モデル１２ｃの学習処理を行う。ただし、異常判定モデル１２ｃの学習のための教師データは、領域特定モデル１２ｂを用いて生成するのではなく、別に用意してもよい。

サーバ装置１は、新たに生成した教師データの画像をＣＮＮの入力層に入力し、中間層での演算処理を経て、出力層から出力される電気設備の異常判定結果を取得する。なお、出力層から出力される異常判定結果は、異常の有無を離散的に示す値であってもよく、連続的な確率値であってもよい。またサーバ装置１は、出力層から出力される情報として、異常の有無の他に、例えば異常箇所に該当する画像領域、異常の種類、又は、異常の程度等を判定した結果を取得してもよい。サーバ装置１は、出力層から出力された識別結果を、教師データにおいて画像領域に対しラベル付けされた情報、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。パラメータの最適化の方法は特に限定されないが、例えばサーバ装置１は最急降下法等を用いて各種パラメータの最適化を行う。

サーバ装置１は、教師データに含まれる各画像について上記の処理を繰り返し行うことによって、学習済の異常判定モデル１２ｃを得る。サーバ装置１は、端末装置２２から取得したカメラ２１の撮像画像を領域特定モデル１２ｂに入力することで画像領域を特定し、特定した画像領域を撮影画像から抽出し、抽出した画像領域を異常判定モデル１２ｃへ入力することで、電気設備の異常の有無の判定を行う。

図５は、本実施の形態に係るサーバ装置１が行う学習処理の手順を示すフローチャートである。本実施の形態に係るサーバ装置１の処理部１１の学習処理部１１ｆは、例えば予め用意されて記憶部１２に記憶された教師データを取得する（ステップＳ１）。ここで学習処理部１１ｆが取得する教師データは、例えば電気設備を撮像した画像と、この画像に含まれる電気設備の位置及び異常の有無等の情報とが対応付けられたデータである。学習処理部１１ｆは、取得した教師データを用いて、ＣＮＮの構成を有する領域特定モデル１２ｂを学習させる（ステップＳ２）。学習の終了後、学習処理部１１ｆは、学習済の領域特定モデル１２ｂを記憶部１２に保存する（ステップＳ３）。

次いで、学習処理部１１ｆは、記憶部１２に記憶された教師データ及び領域特定モデル１２ｂを取得する（ステップＳ４）。ここで学習処理部１１ｆが取得する教師データはステップＳ１にて取得する教師データと同じものであってよく、領域特定モデル１２ｂはステップＳ３にて保存した学習済の領域特定モデル１２ｂであってよい。学習処理部１１ｆは、取得した教師データの画像を領域特定モデル１２ｂへ入力することにより画像領域を特定し、特定した画像領域を元の画像から抽出する。学習処理部１１ｆは、抽出した画像領域と、元の教師データに含まれる電気設備の異常の情報とを対応付けた新たな教師データを生成する（ステップＳ５）。学習処理部１１ｆは、生成した教師データを用いて、ＣＮＮの構成を有する異常判定モデル１２ｃを学習させる（ステップＳ６）。学習の終了後、学習処理部１１ｆは、学習済の異常判定モデル１２ｃを記憶部１２に保存して（ステップＳ７）、学習処理を終了する。

なお本フローチャートにおいては、領域特定モデル１２ｂの学習と、異常判定モデル１２ｃの学習とを一連の処理として実施しているが、この２つの学習処理は別のタイミングで行われてもよい。また領域特定モデル１２ｂの学習と、異常判定モデル１２ｃの学習とを、それぞれ別の装置で行ってもよい。

＜異常検出処理＞
図６は、本実施の形態に係るサーバ装置１が行う電気設備の異常判定処理を説明するための模式図である。図６の上段には領域特定モデル１２ｂを用いた画像領域の特定処理を示し、下段には異常判定モデル１２ｃを用いた異常判定処理を示している。図６の上段に示すように、本実施の形態に係るサーバ装置１は、端末装置２２から取得したカメラ２１の撮像画像を領域特定モデル１２ｂへ入力することによって、電気設備が含まれる画像領域を特定する処理を行う。このときにＣＮＮの領域特定モデル１２ｂは、入力された画像に対して畳み込みの処理を行い、入力画像から特徴量を抽出しながら画像の大きさを圧縮していく。圧縮した情報に基づいて領域特定モデル１２ｂは、入力画像に含まれる電気設備の画像領域を特定した特定結果を出力すると共に、この電気設備の異常の有無を判定した判定結果を出力する。

なお領域特定モデル１２ｂは、画像領域の特定結果と共に、この特定結果の確信度を出力する。また領域特定モデル１２ｂは、異常の有無の判定結果と共に、この判定結果の確信度を出力する。サーバ装置１は、領域特定モデル１２ｂが出力するこれらの情報に基づいて、電気設備が含まれる画像領域の最終的な特定を行う。例えば、サーバ装置１は、領域特定モデル１２ｂが出力した特定結果の確信度が低い場合、又は、異常有無の判定結果の確信度が低い場合等には、領域特定モデル１２ｂが出力した画像領域の特定結果を破棄して次段の処理を行わなくてもよい。また領域特定モデル１２ｂが複数の画像領域を特定した場合、サーバ装置１は、領域特定モデル１２ｂが出力する情報に基づいて、画像領域の順位付けを行う。順位付けの詳細は後述する。

図６の下段に示すように、サーバ装置１は、領域特定モデル１２ｂを用いて特定した画像領域を、カメラ２１から取得した元の画像から抽出する。サーバ装置１は、抽出した画像領域に対して、必要に応じて画像の大きさの拡大又は縮小を行い、異常判定モデル１２ｃへ入力することによって、画像領域に含まれる電気設備の異常の有無を判定する。このときにＣＮＮの異常判定モデル１２ｃは、入力された画像領域に対して畳み込みの処理を行い、入力された画像領域から特徴量を抽出しながら領域の大きさを圧縮していく。

ここで、図６上段に示す領域特定モデル１２ｂが撮像画像から圧縮した情報と、図６下段に示す異常判定モデル１２ｃが画像領域から圧縮した情報とを比較すると、異常判定モデル１２ｃの情報の方が電気設備の特徴量を多く含んでいる。電気設備の特徴量をより多く含む圧縮情報に基づいて、異常判定モデル１２ｃは、画像領域に含まれる電気設備の異常の有無を判定した判定結果を出力する。また異常判定モデル１２ｃは、この判定結果の確信度を共に出力してもよい。サーバ装置１は、異常判定モデル１２ｃが出力するこれらの情報に基づいて、電気設備の異常の有無の最終的な判定を行う。例えば、サーバ装置１は、異常判定モデル１２ｃが異常ありと判定した場合であっても、この判定結果の確信度が低い場合等には、この判定結果を保留又は破棄等してもよい。

図７は、本実施の形態に係るサーバ装置１が行う画像領域の順位付けを説明するための模式図である。図７の上段にはカメラ２１が撮像した電柱３の画像から領域特定モデル１２ｂにより５つの画像領域が特定された例を示している。本例では、電柱３に設けられた５つの放電クランプについて画像領域が特定されており、図中に太線の矩形枠として画像領域が示されている。図７の下段には、特定された５つの画像領域の位置関係が拡大して示されている。特定された５つの画像領域は、上側左のものを画像領域１０１とし、上側中央のものを画像領域１０２とし、上側右のものを画像領域１０３とし、下側左のものを画像領域１０４とし、下側右のものを画像領域１０５とする。３つの画像領域１０１〜１０３は水平方向に並び、２つの画像領域１０４，１０５は水平方向に並んでいる。また領域特定モデル１２ｂが出力する特定結果の確信度に基づき、画像領域１０１が最も電気設備が含まれる画像領域として確信度が高い領域であるものとする。

サーバ装置１は、領域特定モデル１２ｂが特定したこれら５つの画像領域１０１〜１０５に対して、順位付けを行う。例えばサーバ装置１は、確信度が最も高い画像領域１０１に対して最も高い順位、本例では第１位の順位を与える。次いでサーバ装置１は、第１位の画像領域１０１に対して水平方向又は垂直方向に並び、且つ、最も距離が近い画像領域１０２に対して第２位の順位を与える。サーバ装置１は、第１位の画像領域１０１に対して水平方向又は垂直方向に並び、且つ、距離が２番目に近い画像領域１０３に対して第３位の順位を与える。次いでサーバ装置１は、第１位の画像領域１０１に対して水平方向又は垂直方向に並ぶ他の画像領域が存在しないため、順位が付されておらず、且つ、第１位の画像領域１０１から最も距離が近い画像領域１０４に対して第４位の順位を与える。サーバ装置１は、順位が付されておらず、且つ、第１位の画像領域１０１から２番目に距離が近い画像領域１０５に対して第５位の順位を与える。

なお本例の順位付けは一例であり、順位の決定方法はどのようなものが採用されてもよい。例えばサーバ装置１は、画像領域の位置関係を順位付けに考慮せず、単に特定結果の確信度が高い順に画像領域を順位付けしてもよい。また例えばサーバ装置１は、領域特定モデル１２ｂが出力する異常の有無の判定結果を考慮し、異常があると判定された画像領域に対して高順位を付してもよい。

サーバ装置１は、複数の画像領域に対する順位付けを行った後、最も順位が高い画像領域から順番に異常判定モデル１２ｃを用いた異常判定を行う。このときにサーバ装置１は、順位の低い画像領域については、異常判定を行わなくてもよい。例えばサーバ装置１は、上位３つの画像領域１０１〜１０３について異常判定を行い、それ以下の順位の画像領域１０４，１０５については異常判定を行わなくてもよい。

サーバ装置１は、異常判定モデル１２ｃを用いた異常判定の結果、電気設備に異常がある場合には、端末装置２２又は他の装置に対して通知を行う。このときにサーバ装置１は、画像領域対して付した順位に応じた優先順位で、異常の通知を行うことができる。

図８は、本実施の形態に係るサーバ装置１が行う異常判定処理の手順を示すフローチャートである。本実施の形態に係るサーバ装置１の処理部１１の画像取得部１１ａは、通信部１３にて端末装置２２との通信を行うことにより、カメラ２１が撮像した撮像画像を取得する（ステップＳ１１）。処理部１１の領域特定部１１ｂは、ステップＳ１１にて取得した画像を、記憶部１２に記憶された学習済の領域特定モデル１２ｂへ入力する（ステップＳ１２）。領域特定部１１ｂは、領域特定モデル１２ｂが出力する画像領域の特定結果を取得することにより、電気設備が含まれる画像領域を特定する（ステップＳ１３）。ここで特定された画像領域が複数存在する場合には、領域特定部１１ｂは、複数の画像領域に対する順位付けを行う（ステップＳ１４）。

次いで、処理部１１の領域抽出部１１ｃは、ステップＳ１１にて取得した撮像画像から、ステップＳ１３にて特定された画像領域を抽出する（ステップＳ１５）。処理部１１の調整部１１ｄは、異常判定モデル１２ｃの入力に適した大きさとなるよう、抽出された画像領域の大きさを必要に応じて拡大又は縮小して調整する（ステップＳ１６）。処理部１１の異常判定部１１ｅは、抽出及び調整がなされた画像領域を、記憶部１２に記憶された学習済の異常判定モデル１２ｃへ入力する（ステップＳ１７）。異常判定部１１ｅは、異常判定モデル１２ｃが出力する異常有無の判定結果を取得し（ステップＳ１８）、画像領域に含まれる電気設備の異常の有無を判定する（ステップＳ１９）。異常があると判定した場合（Ｓ１９：ＹＥＳ）、処理部１１は、例えば端末装置２２に対して通知を行い（ステップＳ２０）、処理を終了する。異常がないと判定した場合（Ｓ１９：ＮＯ）、処理部１１は、通知を行うことなく、処理を終了する。

＜まとめ＞
以上の構成の本実施の形態に係る異常判定システムは、電気設備が写された画像をサーバ装置１が端末装置２２から取得し、取得した画像から電気設備に対応する画像領域を、領域特定モデル１２ｂを用いて特定する。領域特定モデル１２ｂは、入力された画像に含まれる電気設備に対応する画像領域を特定した特定結果を出力するよう予め学習がなされたモデルである。サーバ装置１は、特定した画像領域を元の画像から抽出し、抽出した画像領域からこの電気設備の異常の有無を、異常判定モデル１２ｃを用いて判定する。異常判定モデル１２ｃは、入力された画像領域に含まれる電気設備の異常の有無を判定した判定結果を出力するよう予め学習がなされたモデルである。撮像画像からの電気設備が含まれる画像領域の特定と、特定された画像領域からの電気設備の異常の有無の判定とを異なる学習済モデルを用いて行うことにより、サーバ装置１による電気設備の異常判定の精度の向上が期待できる。

また本実施の形態に係るサーバ装置１は、画像領域に電気設備が含まれていることに係る確信度、及び、画像領域に含まれる電気設備の異常の有無の判定結果に係る確信度に基づいて、撮像画像から画像領域を特定する。これによりサーバ装置１は、より精度よく撮像画像から電気設備が含まれる領域を特定することが可能となる。

また本実施の形態に係るサーバ装置１は、撮像画像に含まれる複数の電気設備それぞれに対応する画像領域を順位付けして特定する。サーバ装置１は、特定した順位に従って、特定された複数の画像領域を異常判定モデル１２ｃへ入力する。順位付けは、例えば画像領域の特定結果の確信度、又は、複数の画像領域の位置関係等に応じて行うことができる。これらによりサーバ装置１は、複数の電気設備が含まれる撮像画像に対して、適切に異常判定を行うことができる。

また本実施の形態に係るサーバ装置１は、特定された画像領域を撮像画像から抽出し、抽出した画像領域の大きさを調整して異常判定モデル１２ｃへ入力する。これによりサーバ装置１は、異常判定モデル１２ｃの入力層に適した大きさの画像領域を入力することができる。

なお本実施の形態においては、カメラ２１が撮像した撮像画像に基づく電気設備の異常の有無の判定をサーバ装置１が行う構成としたが、これに限るものではない。例えば作業者２が有する端末装置２２が、カメラ２１の撮像画像に基づく電気設備の異常の有無の判定を行う構成であってもよい。また本実施の形態において領域特定モデル１２ｂは、特定した画像領域に含まれる電気設備の異常の有無を判定する構成としたが、これに限るものではない。領域特定モデル１２ｂは、電気設備の異常の有無を判定せず、画像領域の特定のみを行う構成であってもよい。また本実施の形態においては、電気設備に異常があると判定した場合にサーバ装置１が端末装置２２に対して通知を行う構成としたが、これに限るものではない。サーバ装置１は、自身のディスプレイにメッセージを表示して電気設備の異常を通知してもよく、サーバ装置１及び端末装置２２以外の装置に対して通知を行ってもよい。

（実施の形態２）
図９は、実施の形態２に係る異常判定システムの構成を示す模式図である。実施の形態２に係る異常判定システムでは、作業者２が有する端末装置２２が学習済の領域特定モデル１２ｂを有している。端末装置２２は、カメラ２１が撮像した画像を取得し、取得した画像を領域特定モデル１２ｂへ入力して、電気設備を含む画像領域を特定する。端末装置２２は、特定した画像領域を元の撮像画像から抽出し、抽出した画像領域をサーバ装置１へ送信する。また端末装置２２は、抽出した画像領域に対する大きさの調整を行ってもよい。

実施の形態２に係るサーバ装置１は、学習済の異常判定モデル１２ｃを有している。サーバ装置１は、端末装置２２から送信された画像領域を取得し、取得した画像領域を異常判定モデル１２ｃへ入力する。サーバ装置１は、異常判定モデル１２ｃの出力を取得し、画像領域に含まれる電気設備の異常の有無を判定する。異常があると判定した場合、サーバ装置１は、端末装置２２に対して通知を行ってよい。

以上の構成の実施の形態２に係る異常判定システムは、領域特定モデル１２ｂを用いた画像領域の特定と、異常判定モデル１２ｃを用いた異常の有無の判定とをそれぞれ異なる装置が行う構成である。端末装置２２がカメラ２１の撮像画像からの画像領域の特定を行う構成とすることにより、端末装置２２からサーバ装置１へ送信する情報量を低減することができる。

実施の形態２に係る異常判定システムのその他の構成は、実施の形態１に係る異常判定システムと同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。

（実施の形態３）
図１０は、実施の形態３に係る異常判定システムの構成を示す模式図である。実施の形態３に係る異常判定システムでは、作業者２が有する端末装置２２が学習済の領域特定モデル１２ｂ及び異常判定モデル１２ｃを有している。端末装置２２は、カメラ２１が撮像した画像を取得し、取得した画像を領域特定モデル１２ｂへ入力して、電気設備を含む画像領域を特定する。端末装置２２は、特定した画像領域を元の撮像画像から抽出し、抽出した画像領域を異常判定モデル１２ｃへ入力する。端末装置２２は、異常判定モデル１２ｃの出力を取得し、画像領域に含まれる電気設備の異常の有無を判定する。異常があると判定した場合、端末装置２２は、作業者２に対する通知を行う。

また端末装置２２は、電気設備に異常があると判定した場合に、サーバ装置１へこの判定結果を通知してもよい。これによりサーバ装置１は、異常があると判定された電気設備について、設置された位置、異常の種類、異常の度合い及び異常が検出された日時等の情報を蓄積することができる。

以上の構成の実施の形態３に係る異常判定システムは、領域特定モデル１２ｂを用いた画像領域の特定と、異常判定モデル１２ｃを用いた異常の有無の判定とを端末装置２２が単独で行う構成である。これにより、端末装置２２がサーバ装置１との通信を行うことができない状況であっても、作業者２が電気設備の異常の有無の判定結果をその場で確認することが可能となる。

実施の形態３に係る異常判定システムのその他の構成は、実施の形態１に係る異常判定システムと同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ サーバ装置（情報処理装置）
２ 作業者
３ 電柱
１１ 処理部
１１ａ 画像取得部（取得部）
１１ｂ 領域特定部（特定部）
１１ｃ 領域抽出部（抽出部）
１１ｄ 調整部
１１ｅ 異常判定部（判定部）
１１ｆ 学習処理部
１２ 記憶部
１２ａ サーバプログラム（コンピュータプログラム）
１２ｂ 領域特定モデル（第１の学習済モデル）
１２ｃ 異常判定モデル（第２の学習済モデル）
１３ 通信部
２１ カメラ
２２ 端末装置
９９ 記録媒体
１０１〜１０５ 画像領域

Claims (9)

1. 電気設備を含む画像を取得する取得部と、
   入力された画像に含まれる電気設備に対応する画像領域を特定した特定結果を出力する第１の学習済モデルを用いて、前記取得部が取得した画像から前記画像領域を特定する特定部と、
   前記特定部が特定した前記画像領域を前記取得部が取得した画像から抽出する抽出部と、
   入力された画像領域に含まれる電気設備の状態を判定した判定結果を出力する第２の学習済モデルを用いて、前記抽出部が抽出した画像領域から前記電気設備の状態を判定する判定部と
   を備える、情報処理装置。
2. 前記特定部は、画像領域に電気設備が含まれていることに係る確信度、及び、前記画像領域に含まれる前記電気設備の状態に係る確信度に基づいて、前記画像領域を特定する、請求項１に記載の情報処理装置。
3. 前記特定部は、前記取得部が取得した画像に含まれる複数の電気設備それぞれに対応する画像領域を順位付けして特定し、
   前記判定部は、前記特定部が付した順位に従って、特定された複数の画像領域を前記第２の学習済モデルへ入力する、
   請求項１又は請求項２に記載の情報処理装置。
4. 前記第１の学習済モデルは、画像領域の特定結果の確信度を出力し、
   前記特定部は、各画像領域の確信度に基づいて順位付けを行う、
   請求項３に記載の情報処理装置。
5. 前記特定部は、前記取得部が取得した画像に対して特定された複数の画像領域の位置関係に基づいて順位付けを行う、
   請求項３に記載の情報処理装置。
6. 前記抽出部が抽出した画像領域の大きさを調整する調整部を備え、
   前記判定部は、前記調整部が大きさを調整した画像領域を前記第２の学習済モデルへ入力する、
   請求項１から請求項５までのいずれか１項に記載の情報処理装置。
7. 電気設備を含む画像を取得し、
   入力された画像に含まれる電気設備に対応する画像領域を特定した特定結果を出力する第１の学習済モデルを用いて、取得した画像から前記画像領域を特定し、
   特定した前記画像領域を取得した画像から抽出し、
   入力された画像領域に含まれる電気設備の状態を判定した判定結果を出力する第２の学習済モデルを用いて、抽出した画像領域から前記電気設備の状態を判定する、設備判定方法。
8. コンピュータに、
   電気設備を含む画像を取得し、
   入力された画像に含まれる電気設備に対応する画像領域を特定した特定結果を出力する第１の学習済モデルを用いて、取得した画像から前記画像領域を特定し、
   特定した前記画像領域を取得した画像から抽出し、
   入力された画像領域に含まれる電気設備の状態を判定した判定結果を出力する第２の学習済モデルを用いて、抽出した画像領域から前記電気設備の状態を判定する処理を実行させる、コンピュータプログラム。
9. 電気設備を含む教師用画像を取得し、
   入力された画像に含まれる電気設備に対応する画像領域を特定した特定結果を出力する第１の学習済モデルを用いて、取得した画像から前記画像領域を特定し、
   特定した前記画像領域を取得した画像から抽出し、
   抽出した前記画像領域及び該画像領域に含まれる電気設備の状態を対応付けた教師データに基づいて、入力された画像領域に含まれる電気設備の状態を判定した判定結果を出力する第２の学習済モデルを生成する、学習済モデルの生成方法。

Images