JP2021086379A - 情報処理装置、情報処理方法、プログラム及び学習モデルの生成方法 - Google Patents

Abstract

【課題】配電設備の劣化診断を好適に行うことができる情報処理装置等を提供する。【解決手段】劣化診断システムにおいて、情報処理装置（サーバ）１は、対象の配電設備を撮像した画像を取得する取得部と、配電設備の画像と、該画像における配電設備の錆領域とを学習済みの第１学習モデルに基づき、取得部が取得した画像から錆領域を識別する識別部と、錆領域を示すデータと、配電設備の劣化度合いとを学習済みの第２学習モデルに基づき、識別部が識別した錆領域を示すデータから対象の配電設備の劣化度合いを判定する判定部とを備える。【選択図】図２

Description

本発明は、情報処理装置、情報処理方法、プログラム及び学習モデルの生成方法に関する。

配電設備の保守のために、配電設備の点検巡視が行われている。これに伴い、配電設備の劣化診断を行う手法が提案されている。例えば特許文献１では、配電設備の機器の撮像画像から発錆面積及び錆色を認識して機器の状態を分析し、機器の取替要否、及び余寿命を判定する劣化診断装置が開示されている。

特許第４９９９６４２号公報

しかしながら、特許文献１に係る発明では機器の状態を分析するためのルールを人手で構築しておく必要があり、必ずしも劣化診断を好適に行えるものではない。

一つの側面では、配電設備の劣化診断を好適に行うことができる情報処理装置等を提供することを目的とする。

一つの側面に係る情報処理装置は、対象の配電設備を撮像した画像を取得する取得部と、前記配電設備の画像と、該画像における前記配電設備の錆領域とを学習済みの第１学習モデルに基づき、前記取得部が取得した画像から錆領域を識別する識別部と、前記錆領域を示すデータと、前記配電設備の劣化度合いとを学習済みの第２学習モデルに基づき、前記識別部が識別した前記錆領域を示すデータから前記対象の配電設備の劣化度合いを判定する判定部とを備えることを特徴とする。

一つの側面では、配電設備の劣化診断を好適に行うことができる。

劣化診断システムの構成例を示す模式図である。 サーバの構成例を示すブロック図である。 設備ＤＢのレコードレイアウトの一例を示す説明図である。 劣化診断処理に関する説明図である。 劣化診断結果の通知画面例を示す説明図である。 錆識別モデル及び判定モデルの生成処理の手順を示すフローチャートである。 劣化診断処理の手順を示すフローチャートである。 実施の形態２に係る劣化診断処理を示す説明図である。 実施の形態２に係る劣化診断処理の手順を示すフローチャートである。 実施の形態３に係る劣化診断処理を示す説明図である。 実施の形態３に係る劣化診断処理の手順を示すフローチャートである。

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、劣化診断システムの構成例を示す模式図である。本実施の形態では、配電設備として配電用の変圧器４を一例に挙げ、変圧器４の劣化診断を行う劣化診断システムについて説明する。劣化診断システムは、情報処理装置１、車両２、及び端末３を含む。各装置は、インターネット等のネットワークＮに接続されている。

なお、配電設備は変圧器４に限定されず、その他の配電用の機器であってもよい。また、図１では変圧器４を柱上機器として図示してあるが、地中ケーブル用の配電設備であってもよい。

情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等である。本実施の形態では情報処理装置１がサーバコンピュータであるものとし、以下では簡潔のためサーバ１と読み替える。サーバ１は、配電設備の巡視点検を行う事業者（例えば電力会社）のサーバコンピュータであり、配電設備を撮像した画像から変圧器４の劣化診断を行い、診断結果に応じて巡視員に点検を行うべき旨を通知する。具体的には後述するように、サーバ１は、機械学習で構築された２つの学習モデルであって、撮像画像から変圧器４表面の錆領域を識別するための錆識別モデル１４１（第１学習モデル）と、錆領域の識別結果に基づいて劣化度合いを判定する判定モデル１４２（第２学習モデル）とを用いて劣化診断を行う。サーバ１は、劣化度合いの判定結果に応じて巡視員に点検を指示する。

なお、本実施の形態ではクラウド上のサーバ１が、機械学習、及び学習済みのモデルを用いた劣化診断の双方の処理を行うものとするが、学習はサーバ１で行い、学習済みのモデルをエッジ端末（例えば図１の端末３）にインストールし、エッジ側で劣化診断を行うようにしてもよい。すなわち、学習を行うコンピュータと、劣化診断を行うコンピュータとは異なっていてもよい。

車両２は、巡視員が運転する車両であって、図１に示すように、車両上部にカメラ２１が設置されている。サーバ１は、カメラ２１で撮像した画像を車両２から取得し、当該画像に基づいて劣化診断を行う。

なお、車両２の巡回による画像撮像は一例であって、例えばカメラ２１を搭載したドローンによって画像を撮像してもよく、あるいは巡視員がハンディカメラによって手動撮像を行ってもよい。このように、画像の撮像手段は特に限定されない。

端末３は、巡視員が使用する端末装置であって、例えばパーソナルコンピュータ、スマートフォン、タブレット端末等である。サーバ１は、劣化診断の結果を端末３に通知し、巡視員に点検を指示する。

図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰを読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。

補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ、その他のデータを記憶している。また、補助記憶部１４は、錆識別モデル１４１、判定モデル１４２、設備ＤＢ１４３を記憶している。錆識別モデル１４１は、教師データを学習済みの機械学習モデルであって、変圧器４の撮像画像を入力として、錆領域の識別結果を出力とする学習モデルである。判定モデル１４２は、教師データを学習済みの機械学習モデルであって、撮像画像における錆領域を示すデータを入力として、変圧器４の劣化度合いを出力とする学習モデルである。錆識別モデル１４１及び判定モデル１４２は、プログラムモジュールとしての利用が想定される。設備ＤＢ１４３は、点検保守の対象である配電設備（変圧器４）の情報を格納するデータベースである。

なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。

また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１は、ＣＤ（Compact Disk）−ＲＯＭ、ＤＶＤ（Digital Versatile Disc）−ＲＯＭ等の可搬型記憶媒体１ａを読み取る読取部を備え、可搬型記憶媒体１ａからプログラムＰを読み取って実行するようにしても良い。あるいはサーバ１は、半導体メモリ１ｂからプログラムＰを読み込んでも良い。

図３は、設備ＤＢ１４３のレコードレイアウトの一例を示す説明図である。設備ＤＢ１４３は、設備ＩＤ列、設備情報列、状態列を含む。設備ＩＤ列は、点検保守の対象である各配電設備（変圧器４）を識別するための設備ＩＤを記憶している。設備情報列、及び状態列はそれぞれ、設備ＩＤと対応付けて、各配電設備に関する設備情報、及び判定モデル１４２で判定した配電設備の状態（劣化度合い）を記憶している。設備情報列には、個々の配電設備に応じて固有の情報であって、例えば設置場所、設置年数、材質などの情報が記憶されている。

図４は、劣化診断処理に関する説明図である。図４に基づき、本実施の形態の概要を説明する。
上述の如く、サーバ１は、診断対象である変圧器４の撮像画像から錆領域を識別し、錆領域の識別結果から変圧器４の劣化度合いを判定する。撮像手段は特に問わないが、本実施の形態でサーバ１は、配電設備の巡視点検を行う巡視員の車両２から、カメラ２１で撮像した画像を取得する。例えばカメラ２１は、車両２の走行中に継続的に撮像を行い、撮像画像から画像認識で変圧器４を検出する。変圧器４を検出した場合、カメラ２１は、変圧器４に対応する画像領域（バウンディングボックス）を撮像画像から抽出し、サーバ１に送信する。

サーバ１は、診断対象の変圧器４の画像を錆識別モデル１４１に入力し、画像内の変圧器４の錆領域を識別する。錆識別モデル１４１は、変圧器４の撮像画像を入力とし、錆領域の識別結果を出力とするモデルであり、教師データを学習済みの機械学習モデルである。例えば錆識別モデル１４１は、深層学習によって構築（生成）されたニューラルネットワークであり、具体的には、セマンティックセグメンテーションに係るＣＮＮ（Convolution Neural Network）である。

セマンティックセグメンテーションはＥｎｃｏｄｅｒＤｅｃｏｄｅｒモデルの一種であり、画像内の物体が何であるかを画素単位で識別する手法である。セマンティックセグメンテーションに係るニューラルネットワークの中間層（隠れ層）は、入力画像のデータを圧縮するＥｎｃｏｄｅｒのニューロン層と、圧縮したデータを元のサイズにマッピング（拡大）するＤｅｃｏｄｅｒのニューロン層とから成る。Ｅｎｃｏｄｅｒ部分は、入力画像を圧縮して特徴量を抽出する。Ｄｅｃｏｄｅｒ部分は、抽出した特徴量に基づいて画像内にどの物体がどの位置に存在するかを識別し、各画素がどの物体に対応するかをラベリングしたラベル画像を生成する。

なお、本実施の形態では錆識別モデル１４１がＣＮＮ（セマンティックセグメンテーション）であるものとして説明するが、ＣＮＮ以外のニューラルネットワーク、ＳＶＭ（Support Vector Machine）、決定木等、その他の学習アルゴリズムに基づくモデルであってもよい。後述の判定モデル１４２も同様である。

図４左側に、錆識別モデル１４１を用いた処理内容を概念的に図示してある。錆識別モデル１４１の左側に白抜きで図示するように、サーバ１は、錆領域が未知の撮像画像を錆識別モデル１４１に入力する。そしてサーバ１は、錆識別モデル１４１の右側にハッチングで図示するように、錆領域に対応する各画素に対し、錆領域であることを示すラベルが付されたラベル画像を出力として取得する。

本実施の形態でサーバ１は、錆識別モデル１４１を用いて、変圧器４の錆領域を識別すると共に、各錆領域の種類を識別する。錆領域の種類は、錆自体の種類（組成）のほか、錆領域の形状（錆び方）で区分される。図４では、錆領域の種類を符号α、β、γで図示してある。サーバ１は、各種類の錆領域の画素に対し、符号α、β、γの何れかのラベルが付されたラベル画像を出力として取得する。

サーバ１は、上述の錆識別モデル１４１を教師データから生成する。すなわち、サーバ１は、教師用の変圧器４の撮像画像と、当該画像に対して錆領域がラベリングされたラベル画像とを含む教師データに基づき、錆識別モデル１４１を生成する。サーバ１は、教師用の画像を錆識別モデル１４１に入力し、各種類の錆領域を識別した識別結果（ラベル画像）を出力として取得する。サーバ１は、取得した識別結果を正解値（正解のラベル画像）と比較し、両者が近似するように、ニューロン間の重み等のパラメータを最適化する。これによりサーバ１は、錆識別モデル１４１を生成する。

サーバ１は、上記のように錆識別モデル１４１を用いて画像内の錆領域を識別する。次にサーバ１は、錆識別モデル１４１で識別した錆領域を示すデータを判定モデル１４２に入力して、変圧器４の劣化度合いを判定する。

判定モデル１４２は、錆識別モデル１４１と同様に教師データを学習することで構築（生成）されたモデルであり、錆領域を示すデータを入力として、変圧器４の劣化度合いを出力とするモデルである。具体的には、判定モデル１４２は、ｋ近傍法を用いてクラス判定を行うモデルであり、劣化度合いを表す複数のクラスの内、診断対象の変圧器４を何れかに分類する。

本実施の形態でサーバ１は、判定モデル１４２に入力する錆領域のデータとして、錆識別モデル１４１で識別した錆領域の画素数（面積）を用いる。具体的には、サーバ１は、上記のα、β、γの各種類の錆領域の画素数と、錆領域以外の画像領域の画素数とを入力パラメータとする。サーバ１は、α、β、γ、及び錆領域以外の画像領域の画素数を判定モデル１４２に入力し、劣化度合いを表す複数のクラス「Ａ」、「Ｂ」、「Ｃ」、「良」の何れに分類する。なお、「Ａ」が最も劣化が進行していることを表し、「良」は最も劣化が進行していないことを表す。

サーバ１は、教師用画像における各種類の錆領域の画素数と、当該画像の変圧器４の劣化度合いを表すクラスの正解値とを含む教師データから判定モデル１４２を生成する。すなわち、サーバ１は、錆領域の種類を次元数としたベクトル空間に、各種類の錆領域の画素数に応じて教師用画像をプロットしてベクトル化し、劣化度合いを表すクラスをラベリングする。そしてサーバ１は、クラス判定の基準とする所定数のｋ（例えばｋ＝１０）を設定し、劣化度合いのクラス判定を行うためのベクトル空間のデータ、すなわち判定モデル１４２を生成する。

診断対象の変圧器４の劣化度合いを判定する場合、サーバ１は、錆識別モデル１４１で識別した各種類の錆領域の画素数、及び錆領域以外の画像領域の画素数に応じてベクトル空間上に入力データをプロットし、ｋ個の近傍点を抽出する。サーバ１は、ｋ個の近傍点のラベル、すなわち劣化度合いのクラスから最多のクラスを特定することで、劣化度合いを判定する。

なお、本実施の形態では判定モデル１４２の学習アルゴリズムとしてｋ最近傍法を用いたが、判定モデル１４２はこれに限定されるものではない。例えば判定モデル１４２をＣＮＮとして、錆識別モデル１４１から出力されるラベル画像をそのまま判定モデル１４２の入力に用いて、劣化度合いを判定可能としてもよい。また、判定モデル１４２は、ｋ最近傍法に係るモデルやＣＮＮ以外に、他のニューラルネットワーク、ＳＶＭ、決定木等の学習アルゴリズムに基づくモデルであってもよく、その学習アルゴリズムは特に限定されない。

上述の如く、サーバ１は、変圧器４の撮像画像から劣化度合いを判定する。この場合にサーバ１は、一の撮像画像のみで劣化度合いを判定してもよいが、複数の撮像画像から劣化度合いを判定すると好適である。

具体的には、サーバ１は、一の変圧器４について複数の撮像方向（地点）から変圧器４をそれぞれ撮像した複数の撮像画像を取得し、各画像について錆領域を識別し、劣化度合いを判定する。そしてサーバ１は、複数の撮像画像それぞれにおける判定結果から、劣化度合いの総合判定を行う。例えばサーバ１は、各画像から判定されたクラスの内、最多のクラスを総合的なクラスとして決定してもよく、あるいは最も判定結果が悪いクラス（最も劣化が進行しているクラス）を総合的なクラスとして決定してもよい。複数の撮像画像から劣化度合いを判定することで、劣化診断の精度を向上させることができる。

また、上記では変圧器４の撮像画像のみから劣化診断を行ったが、画像に加えて、診断対象の変圧器４に関するその他の情報を入力に用いてもよい。例えばサーバ１は、設備ＤＢ１４３に記憶してある設備情報を判定モデル１４２への入力に用いて劣化度合いを判定する。

設備情報は、個々の変圧器４（配電設備）に応じて固有の情報であって、例えば設置場所、設置年数、材質などの情報である。なお、これらの情報は一例であって、例えば変圧器４の耐用年数を設備情報に加えてもよい。サーバ１は、判定モデル１４２の教師データに設備情報を加えて学習を行い、判定モデル１４２を生成する。そしてサーバ１は、診断対象の変圧器４の撮像画像から錆識別モデル１４１で錆領域を識別し、判定モデル１４２へ入力する場合に、当該変圧器４の設備情報を併せて判定モデル１４２に入力する。これにより、経年劣化、あるいは材質による劣化傾向の違いなどを考慮して劣化度合いを判定することができ、劣化診断の精度を向上させることができる。

図５は、劣化診断結果の通知画面例を示す説明図である。サーバ１は、上記の劣化度合いの判定結果を端末３に通知し、変圧器４を点検すべき旨を巡視員に指示する。具体的には、サーバ１は、判定された劣化度合いが一定度合い以上（例えばＡクラス）であるか否かを判定し、一定度合い以上である場合にアラート通知を行う。一定度合い未満の場合にアラートを省略することで、巡視点検の効率化を図ることができる。なお、一定度合い未満であっても判定結果を端末３に通知し、劣化の進行具合を巡視員に報知するようにしてもよい。

例えばサーバ１は、図５に示すように、劣化度合いの判定結果（クラス）を通知すると共に、錆識別モデル１４１から出力された錆領域のラベル画像を端末３に送信し、表示させる。例えば端末３は、錆領域の種類に応じて色分けしたラベル画像を表示する。

また、サーバ１は、単に劣化度合いの判定結果（クラス）を通知するだけでなく、判定結果の信頼度を併せて通知すると好適である。当該信頼度は、判定モデル１４２から出力された判定結果の精度を表す数値である。例えば判定モデル１４２がｋ近傍法に係るモデルである場合、サーバ１は、入力データに近いｋ個の近傍点（プロット）を抽出し、各近傍点のラベルの多数決でクラス分類を行う。この場合に、例えばサーバ１は、各近傍点のラベルの個数から信頼度を算出する。例えば「Ａ」が９個、「Ｂ」が１個である場合、サーバ１は信頼度を９０％として算出する。当該信頼度を端末３に通知することで、どの程度信頼できる結果かを巡視員に提示し、以下の診断結果の修正を好適に行うことができる。

通知を受けた巡視員は、変圧器４の点検を行う。本実施の形態でサーバ１は、点検完了後に巡視員から任意に、上記で通知した錆領域の識別結果（ラベル画像）、及び／又は劣化度合いの判定結果（ランク）を修正する入力を受け付ける。そしてサーバ１は、修正内容に基づいて錆識別モデル１４１及び／又は判定モデル１４２の再学習を行う。

例えば端末３は、図５の画面上で錆領域及び／又は劣化度合いの修正入力を受け付ける。詳細な図示は省略するが、例えば端末３は、錆領域を修正する場合、正しい錆領域の描画入力を受け付ける。あるいは端末３は、正しい錆領域の種類を指定（変更）する指定入力を受け付ける。また、劣化度合いを修正する場合、端末３は、正しい劣化度合い（ランク）を指定する指定入力を受け付ける。

サーバ１は端末３から、上記で入力された修正内容を取得する。そしてサーバ１は、修正された錆領域及び／又は劣化度合いと、当初の撮像画像とを再学習用の教師データとして用い、再学習を行う。再学習は初期の学習時と同じく、サーバ１は、錆識別モデル１４１で識別した錆領域と、修正された錆領域（正解値）とを比較してニューロン間の重み等を最適化し、錆識別モデル１４１を再生成する。また、サーバ１は、今回診断対象とした変圧器４の錆領域を示すデータ（画素数）をベクトル空間に追加（プロット）し、修正された劣化度合いのクラスをラベリングして判定モデル１４２を再生成する。このように、点検完了後に巡視員が診断結果を修正することで、錆識別モデル１４１及び／又は判定モデル１４２を好適にチューニングすることができる。

以上より、本実施の形態によれば、錆識別モデル１４１及び判定モデル１４２の２種類の機械学習モデルを用いることで、配電設備（変圧器４）の劣化度合いを好適に判定することができる。

図６は、錆識別モデル１４１及び判定モデル１４２の生成処理の手順を示すフローチャートである。図６に基づき、機械学習によって錆識別モデル１４１及び判定モデル１４２を生成する処理の内容について説明する。
サーバ１の制御部１１は、錆識別モデル１４１及び判定モデル１４２を生成するための教師データを取得する（ステップＳ１１）。錆識別モデル１４１の学習用の教師データは、変圧器４の撮像画像と、当該画像における変圧器４の錆領域を示すデータ（例えば撮像画像に対して錆領域がラベリングされたラベル画像）とを含む。判定モデル１４２の学習用の教師データは、変圧器４の撮像画像における各種類の錆領域を示すデータ（例えば錆領域の画素数）と、変圧器４の劣化度合いの正解値とを含む。その他、教師データは変圧器４の設備情報（設置場所、設置年数、材質等）を含む。

制御部１１は教師データを用いて、変圧器４の撮像画像を入力とし、撮像画像における錆領域の識別結果を出力とする錆識別モデル１４１を生成する（ステップＳ１２）。例えば制御部１１は、セマンティックセグメンテーションに係るＣＮＮを錆識別モデル１４１として生成する。制御部１１は、教師用の画像を錆識別モデル１４１に入力し、錆領域の識別結果（ラベル画像）を出力として取得する。制御部１１は、識別結果を正解値（正解のラベル画像）と比較し、両者が近似するように重み等のパラメータを最適化して錆識別モデル１４１を生成する。

また、制御部１１は教師データを用いて、撮像画像における錆領域を示すデータ（例えば画素数）を入力とし、変圧器４の劣化度合いを出力とする判定モデル１４２を生成する（ステップＳ１３）。例えば制御部１１は、ｋ近傍法を用いたクラス判定モデルを生成する。制御部１１は、各種類の錆領域の画素数、及び設備情報に応じて教師用の入力データをベクトル空間にプロットし、各プロットに対して劣化度合いを表すランクをラベリングして判定モデル１４２を生成する。制御部１１は一連の処理を終了する。

図７は、劣化診断処理の手順を示すフローチャートである。図７に基づき、錆識別モデル１４１及び判定モデル１４２を用いた劣化診断の処理内容について説明する。
サーバ１の制御部１１は、車両２のカメラ２１から、対象の変圧器４を撮像した画像を取得する（ステップＳ３１）。例えば制御部１１は、複数の方向（地点）それぞれから変圧器４を撮像した複数の画像を取得する。

制御部１１は、取得した画像を錆識別モデル１４１に入力し、変圧器４表面の錆領域を識別する（ステップＳ３２）。具体的には、制御部１１は、錆領域の種類に応じて、各種類の錆領域を画素単位でラベリングしたラベル画像を錆識別モデル１４１から取得する。制御部１１は、ステップＳ３１で取得した各画像について錆領域を識別する。

制御部１１は、識別した錆領域を示すデータを判定モデル１４２に入力し、変圧器４の劣化度合いを判定する（ステップＳ３３）。具体的には、制御部１１は、ラベル画像から各種類の錆領域の画素数（面積）を集計して判定モデル１４２に入力すると共に、対象の変圧器４の設備情報を設備ＤＢ１４３から読み出して判定モデル１４２に入力し、劣化度合いに係るクラス判定を行う。例えば制御部１１は、ステップＳ３２で錆領域を識別した各画像についてクラス判定を行い、各画像のクラスから総合的な劣化度合いを判定する。

制御部１１は、ステップＳ３３で判定した劣化度合いが一定度合い以上であるか否かを判定する（ステップＳ３４）。一定度合い以上でないと判定した場合（Ｓ３４：ＮＯ）、制御部１１は一連の処理を終了する。一定度合い以上であると判定した場合（Ｓ３４：ＹＥＳ）、制御部１１は、劣化度合いの判定結果を端末３に通知し、変圧器４を点検すべき旨を巡視員に指示する（ステップＳ３５）。例えば制御部１１は、劣化度合いを表すクラスのほか、ステップＳ３２で錆識別モデル１４１から取得したラベル画像を端末３に出力すると共に、劣化度合いに係る判定結果の信頼度を併せて通知する。

制御部１１は、変圧器４の点検完了後、ステップＳ３２で識別した錆領域、及び／又はステップＳ３３で判定した劣化度合いを修正する入力を受け付ける（ステップＳ３６）。修正の入力を受け付けた場合、制御部１１は、ステップＳ３１で取得した画像と、修正された錆領域及び／又は劣化度合いとに基づき、錆識別モデル１４１及び／又は判定モデル１４２の再学習を行い（ステップＳ３７）、一連の処理を終了する。

以上より、本実施の形態１によれば、配電設備（変圧器４）の劣化診断を好適に行うことができる。

また、本実施の形態１によれば、錆領域の種類毎に錆領域を識別して劣化度合いを判定することで、錆自体の種類や錆領域の形状（錆び方）を考慮して劣化度合いを精度良く判定することができる。

また、本実施の形態１によれば、錆領域を示すデータとして画素数（面積）を用い、各種類の錆領域の画素数（面積比）から劣化診断を行うことで、劣化度合いをより精度良く判定することができる。

また、本実施の形態１によれば、ユーザ（巡視員）から修正入力を受け付けて再学習を行うことで、錆識別モデル１４１及び／又は判定モデル１４２を好適にチューニングすることができる。

また、本実施の形態１によれば、撮像画像以外の設備情報を用いることで劣化度合いをより好適に判定することができる。

また、本実施の形態１によれば、複数方向から配電設備を撮像して劣化度合いを判定することで、判定精度を向上させることができる。

（実施の形態２）
本実施の形態では、錆識別モデル１４１から出力された錆領域のデータだけでなく、カメラ２１で撮像した元の画像（本実施の形態では便宜上、「元画像」と呼ぶ）を判定モデル１４２への入力に用いる形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。

図８は、実施の形態２に係る劣化診断処理を示す説明図である。図８に基づき、本実施の形態の概要を説明する。
本実施の形態でサーバ１は、錆識別モデル１４１で識別した錆領域を示すデータだけでなく、元画像を判定モデル１４２に入力する。例えばサーバ１は、判定モデル１４２で画像を取り扱えるように、実施の形態１で説明したｋ近傍法のモデルではなく、ＣＮＮに係るニューラルネットワークを判定モデル１４２として予め用意してある。サーバ１は、この判定モデル１４２に錆識別モデル１４１の入出力データ（元画像及び錆領域を示すデータ）を入力して、劣化度合いを判定する。

例えばサーバ１は、実施の形態１とは異なり、判定モデル１４２に入力する錆領域のデータとして、錆識別モデル１４１から出力されたラベル画像自体を用いる。サーバ１は、教師用の変圧器４の撮像画像（元画像）及びラベル画像と、劣化度合いを示すランクの正解値とを含む教師データを学習して、ＣＮＮに係る判定モデル１４２を生成しておく。そしてサーバ１は、診断対象の変圧器４の元画像及びラベル画像を判定モデル１４２に入力し、劣化度合いを表すランクを判定する。元画像を判定モデル１４２への入力に用いることで、変圧器４における錆領域の相対的な位置を考慮して判定を行うことができる。

なお、上記では錆領域をラベリングしたラベル画像を判定モデル１４２への入力としたが、実施の形態１と同様に、錆領域の画素数を判定モデル１４２への入力としてもよい。すなわち、判定モデル１４２への入力とするデータは画像データに限定されない。

また、上記では画像を取り扱うモデルとしてＣＮＮを一例に挙げたが、判定モデル１４２が元画像を取り扱うことが可能であればよく、判定モデル１４２はＣＮＮに限定されない。

後の処理は実施の形態１と同様であり、サーバ１は、劣化度合いが一定度合い以上の場合は端末３にアラート通知を行い、巡視員に点検を行わせる。

図９は、実施の形態２に係る劣化診断処理の手順を示すフローチャートである。カメラ２１から変圧器４の元画像を取得し（ステップＳ３１）、錆領域を識別した後（ステップＳ３２）、サーバ１の制御部１１は以下の処理を実行する。
制御部１１は、ステップＳ３１で取得した元画像と、ステップＳ３２で識別した錆領域を示すデータとを判定モデル１４２に入力し、変圧器４の劣化度合いを判定する（ステップＳ２０１）。具体的には上述の如く、サーバ１は、ＣＮＮに係るニューラルネットワークを判定モデル１４２として用い、元画像及びラベル画像を入力して劣化度合いのクラス分類を行う。制御部１１は処理をステップＳ３４に移行する。

なお、上記では元画像及びラベル画像の２枚の画像を判定モデル１４２に入力して劣化度合いを判定するものとしたが、本実施の形態はこれに限定されるものではない。例えばサーバ１は、元画像に、錆識別モデル１４１で識別した錆領域を着色した１枚の画像を生成し、判定モデル１４２の入力に用いるようにしてもよい。このように、サーバ１は、元画像と、錆識別モデル１４１で識別した識別結果（錆領域を示す情報）とから劣化度合いを判定可能であればよく、元画像及びラベル画像の２枚の画像を判定モデル１４２の入力とする構成は必須ではない。

以上より、本実施の形態２によれば、元画像を判定モデル１４２に入力して判定を行うことで、配電設備（変圧器４）における錆領域の位置を考慮して劣化度合いを判定することができる。

（実施の形態３）
本実施の形態では、変圧器４における発錆部位に応じて劣化度合いを判定する形態について述べる。

図１０は、実施の形態３に係る劣化診断処理を示す説明図である。図１０に基づき、本実施の形態の概要を説明する。
本実施の形態でサーバ１は、錆識別モデル１４１で撮像画像から錆領域を識別すると共に、変圧器４を構成する各部位を検出する。例えばサーバ１は、変圧器４の碍子（不図示）周辺領域、変圧器４の容器の蓋、及び容器本体をそれぞれ検出する。なお、変圧器４の部位の検出手段は、セマンティックセグメンテーション、Ｒ−ＣＮＮ（Region CNN）、ＹＯＬＯ（You Look Only Once）等の画像検出系のニューラルネットワーク（学習済みモデル）であってもよく、パターンマッチングによる画像認識であってもよく、その検出手段は特に問わない。

例えば変圧器４が油入変圧器である場合、特に碍子周辺に錆が生じると、油漏れが生じやすく、事故に繋がりやすい。そこで本実施の形態では、発錆部位も考慮して劣化度合いを判定すべく、撮像画像から変圧器４の各部位を検出する。

サーバ１は、錆識別モデル１４１で識別した各種類の錆領域を示すデータと、当該錆領域に対応する変圧器４の部位とから、判定モデル１４２を用いて劣化度合いを判定する。例えばサーバ１は、錆領域の種類、及び錆領域が位置する変圧器４の部位に応じて画素数（錆領域の面積）を集計し、判定モデル１４２に入力する。サーバ１は、錆領域の種類及び部位毎に集計した画素数から、劣化度合いを表すクラスを判定する。

上述の如く、本実施の形態でサーバ１は、錆領域の面積（画素数）だけでなく、発錆部位も考慮して劣化度合いを判定する。これにより、例えば碍子周辺に錆が生じている場合などを把握し、劣化診断を好適に行うことができる。

なお、上記では錆識別モデル１４１とは別の検出手段で変圧器４の各部位を検出することにしたが、本実施の形態はこれに限定されるものではない。例えばサーバ１は、錆領域の種類に加え、発錆部位がラベル付けされた教師データを学習して錆識別モデル１４１を生成してもよい。この場合、サーバ１は錆識別モデル１４１に基づき、錆領域の種類と、発錆部位とを同時に識別することができる。すなわち、変圧器４の部位を検出する検出手段は、錆識別モデル１４１の一部であってもよい。

図１１は、実施の形態３に係る劣化診断処理の手順を示すフローチャートである。変圧器４の撮像画像を取得し（ステップＳ３１）、錆領域を識別した後（ステップＳ３２）、サーバ１の制御部１１は以下の処理を実行する。
制御部１１は、ステップＳ３１で取得した画像から、対象の変圧器４を構成する各部位を検出する（ステップＳ３０１）。制御部１１は判定モデル１４２に基づき、ステップＳ３２で識別した錆領域を示すデータと、錆領域に対応する部位とから変圧器４の劣化度合いを判定する（ステップＳ３０２）。例えば制御部１１は、変圧器４の部位、及び錆領域の種類毎に画素数を集計して判定モデル１４２に入力し、劣化度合いを判定する。制御部１１は処理をステップＳ３４に移行する。

以上より、本実施の形態３によれば、発錆部位を考慮して劣化診断を好適に行うことができる。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ サーバ（情報処理装置）
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
Ｐ プログラム
１４１ 錆識別モデル
１４２ 判定モデル
１４３ 設備ＤＢ
２ 車両
２１ カメラ
３ 端末

Claims (11)

1. 対象の配電設備を撮像した画像を取得する取得部と、
   前記配電設備の画像と、該画像における前記配電設備の錆領域とを学習済みの第１学習モデルに基づき、前記取得部が取得した画像から錆領域を識別する識別部と、
   前記錆領域を示すデータと、前記配電設備の劣化度合いとを学習済みの第２学習モデルに基づき、前記識別部が識別した前記錆領域を示すデータから前記対象の配電設備の劣化度合いを判定する判定部と
   を備えることを特徴とする情報処理装置。
2. 前記識別部は、前記錆領域の種類毎に該錆領域を識別し、
   前記判定部は、各種類の前記錆領域を示すデータから前記劣化度合いを判定する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記錆領域を示すデータは、前記対象の配電設備の画像に占める前記錆領域の画素数であり、
   前記判定部は、各種類の前記錆領域の画素数から前記劣化度合いを判定する
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記判定部は、前記第２学習モデルに基づき、前記錆領域を示すデータと、前記取得部が取得した画像とから前記劣化度合いを判定する
   ことを特徴とする請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記劣化度合いをユーザに通知する通知部と、
   前記ユーザから、前記識別部が識別した前記錆領域、又は前記判定部が判定した前記劣化度合いを修正する入力を受け付ける受付部と、
   前記受付部が受け付けた修正後の前記錆領域又は劣化度合いに基づき、前記第１又は第２学習モデルの再学習を行う学習部と
   を備えることを特徴とする請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記対象の配電設備に関する設備情報を記憶する記憶部を備え、
   前記判定部は、前記錆領域を示すデータと、前記設備情報とを前記第２学習モデルに入力して前記劣化度合いを判定する
   ことを特徴とする請求項１〜５のいずれか１項に記載の情報処理装置。
7. 前記取得部は、前記対象の配電設備を複数方向から夫々撮像した複数の画像を取得し、
   前記識別部は、前記複数の画像夫々における前記錆領域を識別し、
   前記判定部は、前記複数の画像夫々の前記錆領域を示すデータから前記劣化度合いを判定する
   ことを特徴とする請求項１〜６のいずれか１項に記載の情報処理装置。
8. 前記取得部が取得した画像から、前記対象の配電設備を構成する各部位を検出する検出部を備え、
   前記判定部は、前記識別部が識別した前記錆領域を示すデータと、該錆領域に対応する前記部位とから前記劣化度合いを判定する
   ことを特徴とする請求項１〜７のいずれか１項に記載の情報処理装置。
9. 対象の配電設備を撮像した画像を取得し、
   前記配電設備の画像と、該画像における前記配電設備の錆領域とを学習済みの第１学習モデルに基づき、取得した画像から錆領域を識別し、
   前記錆領域を示すデータと、前記配電設備の劣化度合いとを学習済みの第２学習モデルに基づき、識別した前記錆領域を示すデータから前記対象の配電設備の劣化度合いを判定する
   処理をコンピュータが実行することを特徴とする情報処理方法。
10. 対象の配電設備を撮像した画像を取得し、
    前記配電設備の画像と、該画像における前記配電設備の錆領域とを学習済みの第１学習モデルに基づき、取得した画像から錆領域を識別し、
    前記錆領域を示すデータと、前記配電設備の劣化度合いとを学習済みの第２学習モデルに基づき、識別した前記錆領域を示すデータから前記対象の配電設備の劣化度合いを判定する
    処理をコンピュータに実行させることを特徴とするプログラム。
11. 配電設備を撮像した画像と、該画像における前記配電設備の錆領域を示すデータと、前記配電設備の劣化度合いとを含む教師データを取得し、
    前記教師データに含まれる前記配電設備の画像及び前記錆領域を示すデータに基づき、前記配電設備の画像を入力した場合に、前記錆領域を示すデータを出力する第１学習モデルを生成し、
    前記教師データに含まれる前記錆領域を示すデータ及び劣化度合いに基づき、前記第１学習モデルから出力される前記錆領域を示すデータを入力した場合に、前記劣化度合いを出力する第２学習モデルを生成する
    処理をコンピュータに実行させることを特徴とする学習モデルの生成方法。

Images