JP2023039226A - 情報処理方法、コンピュータプログラム及び情報処理装置 - Google Patents
情報処理方法、コンピュータプログラム及び情報処理装置 Download PDFInfo
- Publication number
- JP2023039226A JP2023039226A JP2021146282A JP2021146282A JP2023039226A JP 2023039226 A JP2023039226 A JP 2023039226A JP 2021146282 A JP2021146282 A JP 2021146282A JP 2021146282 A JP2021146282 A JP 2021146282A JP 2023039226 A JP2023039226 A JP 2023039226A
- Authority
- JP
- Japan
- Prior art keywords
- image
- learning model
- types
- infrastructure
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】電気設備等のインフラ設備に対し、その夫々にて発生する異常に対応した判定を効率的に行う情報処理方法、装置及びプログラムを提供する。【解決手段】情報処理装置の制御部による処理手順であって、インフラ設備を含む画像を取得し、画像中に含まれる複数種類のインフラ設備の種類及び領域を出力するよう学習された第1学習モデルに、取得した画像を入力して複数種類のインフラ設備の種類及び領域を出力し、インフラ設備毎に複数種類の第2学習モデルの種類を登録したテーブルを参照して、画像中に含まれる複数種類のインフラ設備毎に、対応する単一又は複数の第2学習モデルを特定し、特定した第2学習モデル夫々に、第1学習モデルが出力した領域の画像を入力して、領域に含まれるインフラ設備の異常に関する情報を出力する。各第2学習モデルは、インフラ設備の画像を入力した場合にインフラ設備の異常に関する情報を出力するよう学習されている。【選択図】図8
Description
本発明は、情報処理方法、コンピュータプログラム及び情報処理装置に関する。
配電設備の異常を判定する種々の手法が提案されている。例えば特許文献1では、一台の赤外線カメラ及び複数の可視光カメラで電柱を撮像し、可視光カメラで撮像した画像からアーム(腕金)の画像領域を抽出し、赤外線カメラで撮像した熱画像におけるアームの画像領域から柱上機材の温度勾配を算出して、柱上機材が正常か異常かを判定する異常検出方法等が開示されている。
しかしながら、特許文献1の異常検出方法は、複数種類の電気設備等のインフラ設備に対し、当該インフラ設備それぞれにて発生し得る異常に対応した判定を効率的に行う点について考慮されていない。
本発明は、斯かる事情に鑑みてなされたものであって、例えば電気設備等のインフラ設備に対し、当該インフラ設備それぞれにて発生し得る異常に対応した判定を効率的に行うことができる情報処理装置等を提供する。
一つの側面では、情報処理方法は、インフラ設備を含む画像を取得し、画像を入力した場合に画像中に含まれる複数種類のインフラ設備の種類及び領域を出力するよう学習された第1学習モデルに、取得した前記画像を入力して複数種類のインフラ設備の種類及び領域を出力し、インフラ設備毎に複数種類の第2学習モデルの種類を登録したテーブルを参照して、前記画像中に含まれる複数種類のインフラ設備毎に、対応する単一又は複数の前記第2学習モデルを特定し、複数種類の前記第2学習モデルそれぞれは、インフラ設備の画像を入力した場合に該インフラ設備の異常に関する情報を出力するよう学習されており、特定した前記第2学習モデルそれぞれに、前記第1学習モデルから出力された領域の画像を入力して、前記領域に含まれるインフラ設備の異常に関する情報を出力する処理をコンピュータに実行させる。
一つの側面では、コンピュータプログラムは、コンピュータに、例えば電気設備等のインフラ設備を含む画像を取得し、画像を入力した場合に画像中に含まれる複数種類のインフラ設備の種類及び領域を出力するよう学習された第1学習モデルに、取得した前記画像を入力して複数種類のインフラ設備の種類及び領域を出力し、インフラ設備毎に複数種類の第2学習モデルの種類を登録したテーブルを参照して、前記画像中に含まれる複数種類のインフラ設備毎に、対応する単一又は複数の前記第2学習モデルを特定し、複数種類の前記第2学習モデルそれぞれは、インフラ設備の画像を入力した場合に該インフラ設備の異常に関する情報を出力するよう学習されており、特定した前記第2学習モデルそれぞれに、前記第1学習モデルから出力された領域の画像を入力して、前記領域に含まれるインフラ設備の異常に関する情報を出力する処理を実行させる。
一つの側面では、情報処理装置は、例えば電気設備等のインフラ設備を含む画像を取得する取得部と、画像を入力した場合に画像中に含まれる複数種類のインフラ設備の種類及び領域を出力するよう学習された第1学習モデルに、取得した前記画像を入力して複数種類のインフラ設備の種類及び領域を出力する領域出力部と、インフラ設備毎に複数種類の第2学習モデルの種類を登録したテーブルを参照して、前記画像中に含まれる複数種類のインフラ設備毎に、対応する単一又は複数の前記第2学習モデルを特定する特定部と、複数種類の前記第2学習モデルそれぞれは、インフラ設備の画像を入力した場合に該インフラ設備の異常に関する情報を出力するよう学習されており、特定した前記第2学習モデルそれぞれに、前記第1学習モデルから出力された領域の画像を入力して、前記領域に含まれるインフラ設備の異常に関する情報を出力する情報出力部とを備える。
本発明による場合は、複数種類の電気設備に対し、当該電気設備それぞれにて発生し得る異常に対応した判定を効率的に行う情報処理装置等を提供することができる。
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
(実施形態1)
(実施形態1)
図1は、実施形態1に係る異常判定システムSの概要を説明するための模式図である。図2は、情報処理装置1(サーバ装置)の構成を示すブロック図である。異常判定システムSは、情報処理装置1及び、例えば車両202等に搭載されるカメラ201及び端末装置2を含み、カメラ201によって撮像された画像は、例えば端末装置2に取り込まれ(読み込まれ)、インターネット等の広域ネットワークを介して情報処理装置1に送信される。当該画像には、電気設備DSが被写体として含まれている。情報処理装置1は、画像から電気設備DSが含まれる領域を抽出する第1学習モデル101(領域抽出モデル)及び、第2学習モデル102(異常判定モデル)を用いて、画像に含まれる電気設備DSそれぞれの異常の有無等を検出する。
本実施例において、電気設備DSをインフラ設備の一例として説明するが、これに限定されない。インフラ設備は、例えば、通信事業者設備、道路、信号機、橋、擁壁(土砂崩れ防止壁)、堤防等を含むものであってもよい。第1学習モデルは、当該インフラ設備を含む画像が入力された場合、これら各種のインフラ設備に関する情報(領域、インフラ設備種類)を出力する。これら各種のインフラ設備において、例えば、ひび、衝突痕等の共通する異常(異常種類)においては、当該異常に対応した第2学習モデルを共用的に適用することができる。すなわち、インフラ設備は、電気設備DSに加え、通信事業者設備、道路、信号機、橋、擁壁(土砂崩れ防止壁)、堤防等を含むものであり、本実施例にて例示されている全ての事項に対し、当該インフラ設備を適用することができる。
カメラ201は、例えばCMOSカメラ201であり、動画又は静止画の画像を撮像する。カメラ201は、端末装置2に搭載されるデバイスであってもよく、又は端末装置2とは別個の装置であり、当該端末装置2と有線又は無線によりデータの授受が可能に構成されているものであってもよい。カメラ201による撮像された画像は、端末装置2を介して情報処理装置1に転送される、又はカメラ201自体が通信機能及びGPS機能を備え、撮像した画像及びGPSデータを直接、情報処理装置1に送信(出力)するものであってもよい。
端末装置2及びカメラ201は電気設備DSの保守担当者等の作業者によって所持され、例えば、当該作業者が車両202を用いて巡回する際に、巡回ルート上に位置する電気設備DSの画像が、カメラ201によって撮像される。このように作業者が車両202を用いて巡回する場合、カメラ201は車両202に設けられたドライブレコーダであってもよい。ドライブレコーダによって撮像された画像(動画)は、例えばSDカード等の記憶メディアに保存され、情報処理装置1は、当該記憶メディアを読み取ることにより、カメラ201(ドライブレコーダ)によって撮像された画像を取得するものであってもよい。
カメラ201による撮像された画像には、当該画像の撮像日時(画像の撮像時点を示す日時情報)が関連付けられているものであってもよい。更に、作業者が所有する端末装置2に内蔵されるGPSモジュール、又は作業者が巡回に用いた車両202に設けられたGPSモジュールによる取得したGPSデータ(緯度、経度情報)の取得時点と、画像の撮像日時とを合わせ込むことにより、画像の撮像地点をGPSデータによる特定するものであってもよい。このようにカメラ201により撮像された画像には、撮像日時から成る日時情報、GPSデータから成る位置情報(地理情報)が、関連付けられる(付随する)ものであってもよい。
GPSデータによって特定される撮像地点は、撮像対象となる電気設備DSに近接した地点あることにより、当該撮像地点に基づき、撮像された画像に含まれる単一又は複数の電気設備DSの緯度及び経度等の所在地を示す位置情報(所在地情報)を確定することができる。後述する設備テーブル104には各電気設備DS毎の位置情報(緯度、経度)が登録されており、情報処理装置1は、当該設備テーブル104に登録されている各電気設備DS毎の所在地情報と、画像に関連付けられた位置情報とを対比(マッチング)することにより、当該画像に含まれる電気設備DSを特定することができる。
本実施形態においてカメラ201は車両202に搭載される等としたが、これに限定されず、カメラ201は、GPSモジュールを備えたドローンに搭載されるものであってもよい。当該ドローンは端末装置2と同様に通信機能を有し、カメラ201で撮像された画像は、撮像時点(日時情報)及び撮像地点(GPSデータ)が関連付けられ(付随され)、ドローンから情報処理装置1へ直接的又は間接的に送信されるものであってもよい。
又は、カメラ201及び端末装置2は作業員によって保持され、当該作業員が、例えば徒歩で巡回し、当該カメラ201にて電気設備DSを撮像するものであってもよい。
又は、カメラ201及び端末装置2は作業員によって保持され、当該作業員が、例えば徒歩で巡回し、当該カメラ201にて電気設備DSを撮像するものであってもよい。
情報処理装置1は、制御部11、記憶部12、及び通信部13を備える。制御部11は、一又は複数のCPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)等の演算処理装置を有し、記憶部12に記憶されたプログラムP(プログラム製品)を読み出して実行することにより、情報処理装置1に係る種々の情報処理、制御処理等を行う。
記憶部12は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の揮発性記憶領域及び、EEPROM又はハードディスク等の不揮発性記憶領域を含む。記憶部12には、プログラムP(プログラム製品)及び処理時に参照するデータが予め記憶してある。記憶部12に記憶されたプログラムPは、情報処理装置1が読み取り可能な記録媒体121から読み出されたプログラムPを記憶したものであってもよい。また、図示しない通信網に接続されている図示しない外部コンピュータからプログラムPをダウンロードし、記憶部12に記憶させたものであってもよい。記憶部12には、第1学習モデル101及び第2学習モデル102を構成する実体ファイルが保存されている。これら実体ファイルは、プログラムPの一部位として構成されるものであってもよい。記憶部12には、モデル特定テーブル103等、プログラムPを実行するにあたり参照されるデータが記憶されている。
通信部13は、有線又は無線により、インターネット等を介し、端末装置2等と通信するための通信インターフェイスである。
端末装置2は、例えばスマートホン、タブレットPC又はパーソナルコンピュータ等である。端末装置2は、情報処理装置1と同様に制御部、記憶部、及び通信部を備え、当該通信部を介して情報処理装置1と通信可能に接続される。
図3は、第1学習モデル101(領域抽出モデル)の生成処理に関する説明図である。
第1学習モデル101は、例えば、RCNN(Regions with Convolutional Neural Network)、Fast RCNN、Faster RCNN又はSSD(Single Shot Multibook Detector)、YOLO(You Only Look Once)等により構成され、物体(オブジェクト)検出、セマンティックセグメンテーション、又はインスタンスセグメンテーションを行うニューラルネットワーク(NN)である。
第1学習モデル101は、例えば、RCNN(Regions with Convolutional Neural Network)、Fast RCNN、Faster RCNN又はSSD(Single Shot Multibook Detector)、YOLO(You Only Look Once)等により構成され、物体(オブジェクト)検出、セマンティックセグメンテーション、又はインスタンスセグメンテーションを行うニューラルネットワーク(NN)である。
第1学習モデル101は、入力された画像に基づき、当該画像に碍子又は電柱等の電気設備DS(抽出対象オブジェクト)が含まれているか否か(有無)、及び電気設備DSが含まれている場合(有の場合)、当該電気設備DSの種類(クラス)、入力された画像における領域、及び推定確度(確信度/スコア)を出力する。すなわち、第1学習モデル101は、入力された画像に含まれる電気設備DSの種類及び領域を抽出する領域抽出モデルとして機能する。
第1学習モデル101が、例えばRCNN等、画像の特徴量を抽出するCNN(Convolutional Neural Network)を含むニューラルネットワークで構成される場合、第1学習モデル101に含まれる入力層は、画像の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。出力層は、電気設備DS(抽出対象オブジェクト)の位置等を含む領域情報を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量に基づいて、電気設備DSの種類、領域の位置(領域座標又は画素番号等)及び推定確度(確信度/スコア)を出力する。又は、第1学習モデル101は、中間層から出力された画像特徴量をSVM(support vector machine) に入力して物体認識を行うものであってもよい。訓練データを用いて学習されたニューラルネットワーク(第1学習モデル101)は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用が想定される。第1学習モデル101は、上述のごとく制御部11(CPU等)及び記憶部12を備える情報処理装置1にて用いられるものであり、このように演算処理能力を有する情報処理装置1にて実行されることにより、ニューラルネットワークシステムが構成される。すなわち、情報処理装置1の制御部11が、記憶部12に記憶された第1学習モデル101からの指令に従って、入力層に入力された画像の特徴量を抽出する演算を行い、出力層から、電気設備DSの種類、領域の位置及び推定確度を出力する。
第1学習モデル101は、碍子又は電柱等の複数の電気設備DSを含む画像(問題データ)と、各電気設備DSの位置(領域)及び種類を示すラベル(回答データ)とが対応付けられた訓練データを用意し、当該訓練データを用いて未学習のニューラルネットワークを機械学習させることにより生成することができる。訓練データは、例えば情報処理装置1の記憶部12に記憶されており、各種の電気設備DSに対する保守作業等の際に撮像された画像を集約することにより、生成することができる。このように学習及び構成された第1学習モデル101によれば、カメラ201で撮像した画像を第1学習モデル101に入力することによって、当該画像に含まれる電気設備DSの位置(画像座標系における領域座標)及び種類を示す情報を得ることができる。本実施形態における例示としては、第1学習モデル101は、入力された画像に基づき、当該画像に含まれる電気設備DSの種類として、例えば碍子、開閉器、送電線、鉄塔、変圧器、高圧線、電柱又は配電地上機器を出力する。
図4は、第2学習モデル102(異常判定モデル)の生成処理に関する説明図である。
第2学習モデル102は、例えばCNN(Convolution Neural Network)等により構成され、入力された画像に含まれる電気設備DSにおいて、異常の有無及び程度を出力するニューラルネットワーク(NN)であり、異常判定モデルとして機能する。第2学習モデル102は、例えば、錆学習モデル、傾き学習モデル、営巣学習モデル、樹木接触学習モデル、ヒビ学習モデル、及び衝突痕学習モデルを含み、これら複数の第2学習モデル102により構成される。本実施形態における図示においては、ヒビ学習モデルを一例として説明する。
第2学習モデル102は、例えばCNN(Convolution Neural Network)等により構成され、入力された画像に含まれる電気設備DSにおいて、異常の有無及び程度を出力するニューラルネットワーク(NN)であり、異常判定モデルとして機能する。第2学習モデル102は、例えば、錆学習モデル、傾き学習モデル、営巣学習モデル、樹木接触学習モデル、ヒビ学習モデル、及び衝突痕学習モデルを含み、これら複数の第2学習モデル102により構成される。本実施形態における図示においては、ヒビ学習モデルを一例として説明する。
ヒビ学習モデル(第2学習モデル102)は、画像の入力を受け付ける入力層と、画像に含まれる電気設備DSの異常の有無及び程度を出力する出力層と、画像の画像特徴量を抽出する中間層とを有する。入力層は、画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。例えばヒビ学習モデル(第2学習モデル102)がCNNである場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、画像の画素情報を圧縮しながら最終的に画像の特徴量を抽出する。出力層は、電気設備DSの異常(ヒビ)の有無及び程度を判定した判定結果を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量に基づいて、電気設備DSの異常(ヒビ)の有無及び程度を出力する。
ヒビ学習モデル(第2学習モデル102)は、電柱又は碍子等、共通して発生し得る異常(ヒビ)が懸念される電気設備DSに対し適用される。ヒビ学習モデルは、当該電気設備DSを含む画像(問題データ)と、異常の有無及び程度を示すラベル(回答データ)とが対応付けられた訓練データを用意し、当該訓練データを用いて未学習のニューラルネットワークを機械学習させることにより生成することができる。このように学習及び構成されたヒビ学習モデル(第2学習モデル102)は、電気設備DS(碍子、電柱)が含まれる領域の画像(画像領域)が入力された場合、当該電気設備DSにおけるヒビの有無及び、ヒビが有る場合は当該ヒビの程度(異常の程度)を出力する。電気設備DSの種類と、第2学習モデル102の種類との対応関係の詳細については、後述する。錆学習モデル及び樹木接触学習モデル等、ヒビ学習モデル以外の他の第2学習モデル102についても、ヒビ学習モデルと同様に学習及び構成される。
なお、本実施の形態では第2学習モデル102がCNNであるものとして説明するが、第2学習モデル102はCNNに限定されず、CNN以外のニューラルネットワーク、SVM(Support Vector Machine)、トランスフォーマー、RNN、ベイジアンネットワーク、回帰木など、他の学習アルゴリズムで構築された第2学習モデル102であってよい。第1学習モデル101等を学習するための訓練データに含まれる問題データ及び回答データのデータセットと、当該第1学習モデル101等を用いた際の入力データ及び出力データのデータセットとは同義であり、いずれかのデータセットにて定義されていれば、他方のデータセットにおいても、当然に適用される。
図5は、第1学習モデル101及び第2学習モデル102の連関を例示する説明図である。上述のように生成された第1学習モデル101及び複数の第2学習モデル102は、処理対象となる画像(データ)の流れにおいて直列に接続され、第1学習モデル101が上流側に位置し、第2学習モデル102は下流側に位置する。更に、異常の種類それぞれに対応した複数の第2学習モデル102それぞれは、並列に接続される。このように第1学習モデル101及び複数の第2学習モデル102が接続されることにより、第1学習モデル101の出力データである画像の領域が、第2学習モデル102の入力データとなるデータフロー・トポロジーが形成される。
第1学習モデル101に入力される画像は、カメラ201によって例えば街並み等を撮影した情景画像であり、当該情景画像には、複数の電気設備DSが含まれている。第1学習モデル101は、上述のとおり、例えばセマンティックセグメンテーション又はインスタンスセグメンテーション機能を有する物体検出モデルであり、カメラ201よって撮像された画像(情景画像)に含まれる個々の電気設備DSを抽出し、抽出した個々の電気設備DSの領域、種類及び確度(確信度)を出力する。第1学習モデル101が出力した電気設備DSの種類に応じて、適用される単一又は複数の第2学習モデル102が特定される。特定された第2学習モデル102には、第1学習モデル101が出力した電気設備DSの領域に基づき生成される、領域の画像(画像領域)が、入力される。電気設備DSの領域の画像(画像領域)が入力された第2学習モデル102は、自モデルにて対応する種類の異常において、当該電気設備DSにおける異常の有無及び程度を出力する。
本実施形態にて図5による例示される構成は、異常判定システムSを用いて、各電気設備DS毎の異常を検出する検出者(利用者)の利用に供する操作画面として機能するものであってもよい。当該検出者の利用に供する操作画面は、例えば、適用する第2学習モデル102に関する機微な操作が行えるように構成されており、第2学習モデル選択画面として機能する。第2学習モデル選択画面は、図5にて例示するように、碍子又は電柱等の複数種類の電気設備DSそれぞれを示すアイコンと、傾き学習モデル又は錆学習モデル等の異常種類毎の第2学習モデル102を示すアイコンとが、線図により接続されている。情報処理装置1は、例えば、当該線図に対するクリック操作を受け付けることにより、個々の第2学習モデル102に対する選択(適用又は不適用)を行う。これにより、モデル特定テーブル103による対応付けに加え、利用者によるインタラクティブな操作によって、適用する第2学習モデル102を選択することができる。
情報処理装置1は、第2学習モデル選択画面において、例えば、異常種類毎の第2学習モデル102のアイコンそれぞれに対するクリック操作を受け付けることにより、液漏学習モデル等、特定の異常種類の第2学習モデル102のモデル名又はバージョンを選択することができる。例えば、液漏学習モデル等、特定の異常種類の第2学習モデル102において、複数のモデルを生成し、これら複数のモデル間における液漏の検出精度を比較したい場合が想定される。当該複数のモデルは、例えば、同一のレイヤー構成であって訓練データが異なることによりバージョンが異なる複数のモデル、レイヤー構成が異なる複数のモデル、又は作成したAIベンダーが異なることによる複数のモデル等を含む。情報処理装置1は、利用者による第2学習モデル102のアイコンのクリックを受付けることにより、これら複数のモデルをリスト表示したポップアップ画面を表示し、当該複数のモデルのリストにて、単一又は複数のモデルの選択を受付けるものであってもよい。当該選択されたモデル(モデル名及びバージョン)が、当該アイコンに対応する第2学習モデル102として機能する。
図6は、第2学習モデル102を特定するためのテーブル(モデル特定テーブル103)の一例を示す説明図である。情報処理装置1の記憶部12には、モデル特定テーブル103が記憶されている。モデル特定テーブル103は、管理項目(フィールド)として、設備種類の管理項目(フィールド)と、第2学習モデル102の管理項目(フィールド)とを含む。
設備種類の管理項目(フィールド)には、例えば、電柱、高圧線、送電線、碍子(高圧クランプ碍子)、変圧器、開閉器、鉄塔、及び配電地上機器等、電気設備DSの種類が格納される。当該設備種類の管理項目(フィールド)に格納される電気設備DSの種類は、第1学習モデル101が出力する電気設備DSの種類に対応している。
第2学習モデル102の管理項目(フィールド)には、同一のレコードの設備種類の管理項目(フィールド)に格納される電気設備DSの種類に対応する単一又は複数の第2学習モデル102のモデル名称が登録されている。当該第2学習モデル102は、例えば、錆学習モデル、傾き学習モデル、営巣学習モデル、樹木接触学習モデル、ヒビ学習モデル、及び衝突痕学習モデルを含む。このように複数種類の電気設備DSそれぞれに対し適用できる第2学習モデル102を特定することにより、電気設備DSそれぞれにて発生し得る共通的な異常に対応した第2学習モデル102を、異なる種類の電気設備DSにて共用することができる。
例えば、錆学習モデルは、開閉器、鉄塔、変圧器及び配電地上機器によって共用される。この場合、開閉器、鉄塔、変圧器及び配電地上機器にて発生し得る共通的な異常の種類は、錆である。営巣学習モデルは、鉄塔、電柱によって共用される。この場合、鉄塔及び電柱にて発生し得る共通的な異常の種類は、営巣である。樹木接触学習モデルは、送電線、高圧線によって共用される。この場合、送電線及び高圧線にて発生し得る共通的な異常の種類は、樹木接触である。ヒビ学習モデルは、碍子、電柱によって共用される。この場合、碍子及び電柱にて発生し得る共通的な異常の種類は、ヒビである。衝突痕学習モデルは、電柱、配電地上機器によって共用される。この場合、電柱及び配電地上機器にて発生し得る共通的な異常の種類は、衝突痕である。傾き学習モデルは、電柱によって用いられる。当該傾き学習モデルのように、第2学習モデル102は、特定の設備種類(例えば、電柱)に対してのみ用いられるモデルを含むものであってもよい。液漏学習モデルは、変圧器によって用いられる。なお、変圧器が、第1学習モデル101により、柱上変圧器と地上変圧器とに分類される場合、液漏学習モデルは、柱上変圧器と地上変圧器によって共用される。このように第2学習モデル102それぞれは、複数種類の電気設備DSに対し共用されるものとなる。第2学習モデル102の種類は、本実施形態にて開示されるものに限定されず、電気設備DSにて発生し得る他の異常に対応した各種の第2学習モデル102が適用されることは、言うまでもない。
図7は、情報処理装置1の制御部11に含まれる機能部を例示する機能ブロック図である。情報処理装置1の制御部11は、記憶部12に記憶されているプログラムを実行することにより、取得部111、モデル特定部112、出力部113として機能する。情報処理装置1の制御部11は、記憶部12に記憶されている第1学習モデル101及び第2学習モデル102の実体ファイル等を読み取ることにより、第1学習モデル101及び第2学習モデル102として機能する。
取得部111は、車両202又はドローン等に搭載されたカメラ201が撮像した画像を取得する。当該画像には、電気設備DSが被写体として含まれている。取得部111は、更に、当該画像が撮像された撮像日時及び、GPSデータ等による撮像地点を、カメラ201又は、カメラ201と通信可能に接続された端末装置2から取得する。上述のとおり、カメラ201がドライブレコーダである場合はドライブレコーダによるGPSログ機能により、又はカメラ201と通信可能に接続された端末装置2のGPSモジュールにより、画像と画像の撮像地点とは、関連付けられている。カメラ201が撮像した画像が動画である場合、当該動画を構成する各フレーム(静止画)に対し、撮像地点及び撮像時点が関連付けられているものであってもよい。
取得部111は、取得した画像を、第1学習モデル101に入力する。カメラ201によって撮像された画像は、例えば、予め定められた巡回ルートに応じた巡回車又はドローンによる1回の巡回の際に撮像された動画として取得される。取得部111は、当該動画を構成するフレーム(静止画)それぞれを、順次に第1学習モデル101に入力するものであってもよい。カメラ201が撮像した画像が動画である場合、取得部111は、当該動画を構成する全フレームのうち、所定のサンプリング周期で抽出した一部のフレームを第1学習モデル101に入力ものであってもよい。
第1学習モデル101は、入力された画像(1フレームの静止画)に基づき、当該画像に含まれる電気設備DSの種類及び領域を推定し、推定した種類及び領域をモデル特定部112に出力する。上述のとおり、第1学習モデル101は物体検出モデルであり、画像が入力された場合、当該画像に含まれる電気設備DSの種類、領域及び確度(確信度)を出力するように学習されている。電気設備DSの種類は、例えば、碍子、開閉器、送電線、鉄塔、変圧器、高圧線、電柱又は配電地上機器であり、本実施形態においては、モデル特定テーブル103にて定義されている設備種類である。当該設備種類(電気設備DSの種類)は例示であり、これに限定するものではなく、現時点及び将来における発電、送電、配電及び売電等に関する電気設備DS(電力設備)の全ての種類を含むことを意図する。電気設備DSの領域とは、画像に含まれる電気設備DSの領域座標(画像座標系の座標)であり、当該電気設備DSを囲むバウンディボックス、又は電気設備DSを表示する画素番号の範囲等を含む。
モデル特定部112は、第1学習モデル101から取得した電気設備DSの種類及び領域に基づき、以下の処理を行う。モデル特定部112は、第1学習モデル101から、複数の電気設備DSの種類及び領域を取得した場合、個々の電気設備DSに関する処理を順次に行うものであってもよい。モデル特定部112は、第1学習モデル101から、時系列に並ぶ複数のフレーム(静止画)における電気設備DSの種類、領域及び確度を取得した場合、確度が最も高いフレーム(静止画)を用いて、個々の電気設備DSに関する処理を行うものであってもよい。動画から、所定の周期にて抽出した(切り出した)複数のフレーム(静止画)には、同一の電気設備DSが含まれることが想定され、この場合、電気設備DSを抽出した際の確度が最も高いフレーム(静止画)を用いることにより、第2学習モデル102での検出精度を向上させることが期待できる。
モデル特定部112は、第1学習モデル101から取得した電気設備DSの種類に基づき、当該電気設備DSの異常検知を行うための第2学習モデル102を特定する。モデル特定部112は、例えば、情報処理装置1の記憶部12に記憶されているモデル特定テーブル103を参照し、第1学習モデル101から取得した電気設備DSの種類(設備種類)に対応する単一又は複数の第2学習モデル102を特定する。
例えば、第1学習モデル101から取得した電気設備DSの種類が電柱の場合、モデル特定部112は、モデル特定テーブル103を参照して、営巣学習モデル、ヒビ学習モデル、傾き学習モデル及び衝突痕学習モデルを特定する。例えば、第1学習モデル101から取得した電気設備DSの種類が碍子の場合、モデル特定部112は、モデル特定テーブル103を参照して、ヒビ学習モデルを特定する。このようにモデル特定テーブル103を参照することにより、電気設備DSの種類に対応する第2学習モデル102、すなわち当該電気設備DSにおいて発生し得る異常の判定を行う第2学習モデル102を効率的に特定することができる。
モデル特定部112は、第1学習モデル101から取得した電気設備DSの領域に基づき、取得部111から取得した画像(カメラ201が撮像した画像)から当該領域を抽出することにより、領域の画像を生成する。このように生成された領域の画像は、画像全体の情報量比率において、抽出元の画像(カメラ201が撮像した画像)よりも、対象となる電気設備DSの情報量の比率が多くなるものとなる。当該電気設備DSの情報量の比率の増加は、第2学習モデル102等のCNNによって抽出される特徴量の増加に寄与するものとなり、第2学習モデル102による推定精度を向上させることができる。
モデル特定部112は、電気設備DS毎の領域の画像を生成するにあたり、当該領域の画像を所定の大きさに調整するものであってもよい。抽出される領域の画像(画像領域)の大きさは、元の画像に写されていた電気設備DSの大きさに依存するところ、モデル特定部112は、抽出した領域の画像(画像領域)を拡大又は縮小することによって、第2学習モデル102の入力に適した画像の大きさとなるよう調整するものであってもよい。この場合、大きさが調整された領域の画像(画像領域)が、第2学習モデル102に入力されるものとなる。
このようにモデル特定部112は、第1学習モデル101(領域抽出モデル)から出力される個々の電気設備DSの種類及び領域に応じて、当該電気設備DSにて発生し得る異常の種類それぞれに対応した単一又は複数の第2学習モデル102(異常判定モデル)を特定する。更に、モデル特定部112は、当該第2学習モデル102に入力する領域の画像(画像領域)の生成(大きさの調整を含む)を行う領域の画像生成部(画像領域生成部)、及び大きさ調整部として機能する。
モデル特定部112は、第1学習モデル101から取得した電気設備DSの種類(設備種類)に基づき特定された第2学習モデル102に対し、生成した領域の画像(画像領域)を出力する。上述のとおり、第1学習モデル101から取得した電気設備DSの種類が電柱の場合、モデル特定部112は、領域の画像(画像領域)を営巣学習モデル、ヒビ学習モデル、傾き学習モデル及び衝突痕学習モデルに出力する。第1学習モデル101から取得した電気設備DSの種類が碍子の場合、モデル特定部112は、領域の画像(画像領域)をヒビ学習モデルに出力する。
第2学習モデル102は、例えば、錆学習モデル、傾き学習モデル、営巣学習モデル、樹木接触学習モデル、ヒビ学習モデル及び衝突痕学習モデル等を含み、これら各種の異常それぞれに対応した複数の第2学習モデル102(第2学習モデル102群)により構成される。ヒビ学習モデル等の個々の第2学習モデル102は、モデル特定部112から出力された電気設備DSが含まれる領域の画像(画像領域)に基づき、自モデルに対応する異常の有無及び程度を出力する。
ヒビ学習モデルは、電気設備DS(碍子、電柱)が含まれる領域の画像(画像領域)が入力された場合、当該電気設備DSにおけるヒビの有無及び、ヒビが有る場合は当該ヒビの程度(異常の程度)を出力する。
錆学習モデルは、電気設備DS(開閉器)が含まれる領域の画像(画像領域)が入力された場合、当該電気設備DSにおける錆の有無及び、錆が有る場合は当該錆の程度(異常の程度)を出力する。
樹木接触学習モデルは、電気設備DS(送電線、高圧線)が含まれる領域の画像(画像領域)が入力された場合、当該電気設備DSにおける樹木接触の有無及び、樹木接触が有る場合は当該樹木接触の程度(異常の程度)を出力する。
営巣学習モデルは、電気設備DS(鉄塔、電柱)が含まれる領域の画像(画像領域)が入力された場合、当該電気設備DSにおける営巣の有無及び、営巣が有る場合は当該営巣の程度(異常の程度)を出力する。
傾き学習モデルは、電気設備DS(電柱)が含まれる領域の画像(画像領域)が入力された場合、当該電気設備DSにおける傾きの有無及び、傾きが有る場合は当該傾きの程度(異常の程度)を出力する。
衝突痕学習モデルは、電気設備DS(電柱、配電地上機器)が含まれる領域の画像(画像領域)が入力された場合、当該電気設備DSにおける衝突痕の有無及び、衝突痕が有る場合は当該衝突痕の程度(異常の程度)を出力する。
本実施形態において、錆学習モデル等の個々の第2学習モデル102(第2学習モデル102に含まれる異常種類毎の学習モデル)は一例であり、これらに限定されるものでなく、第2学習モデル102は、現時点及び将来において電気設備DS(電力設備)に発生し得る全ての異常種類それぞれに対応する学習モデルであることを意図する。
ヒビ学習モデル等、個々の第2学習モデル102は、モデル特定部112から、電気設備DSが含まれる領域の画像(画像領域)が入力されることにより、当該電気設備DSにおけるヒビ等、各異常種類毎の異常の有無及び程度を出力部113に出力する。領域の画像(画像領域)が入力される第2学習モデル102はモデル特定部112によって特定された2学習モデルであり、すなわち当該特定された2学習モデルは、出力部113に対し、自モデルに対応した異常の有無及び程度を出力するものとなる。
出力部113は、ヒビ学習モデル等の第2学習モデル102から出力された異常有無及び程度と、モデル特定部112から出力された電気設備DSの種類及び領域の画像(画像領域)と、取得部111から出力された画像(カメラ201による撮像画像)、撮像日時及び撮像地点(GPSデータ)とを関連付けて、例えば、作業者の端末装置2に出力する。取得部111及び出力部113等、情報処理装置1の制御部11に含まれる機能部は、自部にて取得又は出力する各種データを、例えば設備保守DBに保存するものであってもよい。当該設備保守DBは、情報処理装置1の記憶部12に記憶されているものであってもよく、又は情報処理装置1と通信可能に接続されるDBサーバ等に記憶されているものであってもよい。当該設備保守DBの詳細については、後述する。
本実施形態において、第1学習モデル101及び複数の第2学習モデル102それぞれは、単一の情報処理装置1の制御部11にて実行されると記載したが、これに限定されず、第1学習モデル101と、第2学習モデル102とは、別個の情報処理装置1にて、実行されるものであってもよい。又、複数の第2学習モデル102それぞれは、それぞれの第2学習モデル102に対応した複数の情報処理装置1によって、分散処理されるものであってもよい。
図8は、情報処理装置1の制御部11による処理手順を例示するフローチャートである。情報処理装置1の制御部11は、複数種類の電気設備DSを含む画像、画像の撮像日時、及び画像の撮像地点を取得する(S101)。情報処理装置1の制御部11は、カメラ201が撮像した画像、及び当該画像に関連付けられた撮像日時及び撮像地点(GPSデータ)を取得する。
情報処理装置1の制御部11は、複数種類の電気設備DSを含む画像を第1学習モデル101に入力することにより、複数種類それぞれの電気設備DSの種類及び領域を出力する(S102)。情報処理装置1の制御部11は、出力した電気設備DSの種類に基づき、第2学習モデル102を特定する(S103)。情報処理装置1の制御部11は、第1学習モデル101が出力した電気設備DSの種類に基づき、例えばモデル特定テーブル103を参照することにより、当該電気設備DSに対し適用される単一又は複数の第2学習モデル102を特定する。
情報処理装置1の制御部11は、出力した電気設備DSの領域に基づき、当該電気設備DSが含まれる領域の画像を生成する(S104)。情報処理装置1の制御部11は、第1学習モデル101が出力した電気設備DSの領域に基づき、当該電気設備DSが含まれる領域の画像を生成する。領域の画像を生成する際、情報処理装置1の制御部11は、当該領域の画像を所定の大きさに調整するものであってもよい。
情報処理装置1の制御部11は、生成した領域の画像を第2学習モデル102に入力することにより、当該領域の画像に含まれる電気設備DSの異常に関する情報を出力する(S105)。情報処理装置1の制御部11は、生成した領域の画像を、特定した第2学習モデル102それぞれに入力することにより、当該第2学習モデル102それぞれから、電気設備DSにおける異常の有無及び程度(電気設備DSの異常に関する情報)を取得する。情報処理装置1の制御部11は、当該取得した情報を、例えば、保守担当者の携帯端末(端末装置2)に出力する。
本実施形態によれば、複数種類の電気設備DSにおける複数種類の異常に対し、電気設備DSの種類及び領域を出力する第1学習モデル101(領域抽出モデル)と、電気設備DSの異常に関する情報を出力する第2学習モデル102(異常判定モデル)とによる2階層の学習モデルを用いる。これにより、当該第2学習モデル102を、複数種類の電気設備DSに対し共用化することができる。すなわち、第2学習モデル102は、電気設備DSの種類に依拠することなく、電気設備DSそれぞれにて発生し得る共通的な異常に対応している。これにより、複数種類の電気設備DSに対し、当該電気設備DSそれぞれにて発生し得る共通的な異常に対応した判定を効率的に行うことができる。
本実施形態によれば、本実施形態によれば、情報処理装置1が参照するテーブルには、例えば、電柱、変圧器、又は鉄塔等の特定の電気設備DSに対し、当該特定の電気設備DSにて発生し得る異常の種類それぞれに対応した複数の第2学習モデル102が登録されている。すなわち、電気設備DSの種類が電柱の場合、電柱のヒビを検出するヒビ学習モデル、電柱の傾きを検出する傾き学習モデル、及び電柱に作られた営巣を検出する営巣学習モデルが、テーブルに登録されている。電気設備DSの種類が変圧器の場合、変圧器の錆を検出する錆学習モデル、及び液漏を検出する液漏学習モデルが、テーブルに登録されている。電気設備DSの種類が鉄塔の場合、鉄塔の錆を検出する錆学習モデル、及び鉄塔に作られた営巣を検出する営巣学習モデルが、テーブルに登録されている。このように電気設備DSの種類に応じて、異なる種類の異常それぞれに対応した複数の第2学習モデル102を特定することにより、複数種類の電気設備DSそれぞれにて発生し得る異常に対応した判定を効率的に行うことができる。
(実施形態2)
図9は、実施形態2(位置情報との関連付け)に係る設備テーブル104を例示する説明図である。図10は、異常判定履歴テーブル105を例示する説明図である。情報処理装置1の記憶部12には、設備テーブル104及び異常判定履歴テーブル105が記憶されており、当該設備テーブル104及び異常判定履歴テーブル105によって、電気設備DSの保守全般に関する情報を保存及び管理する設備保守DB(データベース)が構成されるものであってもよい。
図9は、実施形態2(位置情報との関連付け)に係る設備テーブル104を例示する説明図である。図10は、異常判定履歴テーブル105を例示する説明図である。情報処理装置1の記憶部12には、設備テーブル104及び異常判定履歴テーブル105が記憶されており、当該設備テーブル104及び異常判定履歴テーブル105によって、電気設備DSの保守全般に関する情報を保存及び管理する設備保守DB(データベース)が構成されるものであってもよい。
設備テーブル104は、管理項目(フィールド)として、例えば、設備ID、設備種類、及び所在地を含む。設備IDの管理項目(フィールド)には、保守対象となる各種の電気設備DSを一意に識別するための管理番号又は識別番号等による設備IDが格納される。設備種類の管理項目(フィールド)には、同一レコードに含まれる設備IDの電気設備DSの種類が、格納される。
所在地の管理項目(フィールド)には、同一レコードに含まれる設備IDの電気設備DSの所在地が、格納される。当該所在地は、例えば、GPSデータ等による緯度及び経度であってもよい。複数の設備IDに対応する所在地が同一となる場合、これら設備IDの電気設備DSは、同じ場所に位置していることを意味する。例えば、電気設備DSとして、単一の電柱及び当該電柱に設けられた複数の碍子が存在する場合、これら電柱及び複数の所在地は、同一となる。
異常判定履歴テーブル105は、設備ID、撮像日時、撮像地点、第2学習モデル102、異常の有無、異常の程度、領域の画像を含む。設備IDの管理項目(フィールド)には、設備テーブル104にて定義されている設備IDが格納され、これにより、設備テーブル104と異常判定履歴テーブル105との関連付け(リレーション)が設定される。
撮像日時の管理項目(フィールド)には、同一レコードに含まれる設備IDの電気設備DSを含む画像(カメラ201による情景画像)が撮像された日時が格納される。当該撮像日時は、当該設備IDの電気設備DSの検出日時に相当する。撮像地点の管理項目(フィールド)には、当該設備IDの設備を含む画像(情景画像)が撮像された地点(撮像地点)が、格納される。当該撮像地点は、例えば、GPSデータ等による緯度及び経度であってもよい。
第2学習モデル102の管理項目(フィールド)には、モデル特定テーブル103に基づき用いられた第2学習モデル102のモデル名称が格納される。異常の有無の管理項目(フィールド)には、当該第2学習モデル102の判定結果として出力された異常の有無に関する情報が格納される。異常の程度の管理項目(フィールド)には、当該第2学習モデル102の判定結果として出力された異常の程度に関する情報が格納される。例えば、電気設備DSの種類が電柱である場合、電柱に対応する第2学習モデル102の種類は、ヒビ学習モデル、傾き学習モデル、営巣学習モデル及び傾き学習モデルとなる。従って、領域の画像に含まれる電柱は、これら異常の種類に応じた複数の第2学習モデル102によって、異常の有無及び程度が判定(推定)されるものとなる。
領域の画像の管理項目(フィールド)には、第1学習モデル101によって出力された領域に基づき抽出(生成)された領域の画像が、格納される。当該領域の画像には、同一レコードに含まれる設備IDの電気設備DSが含まれることは、言うまでもない。領域の画像をフィールドに格納するにあたり、オブジェクトデータとして格納するものであってもよく、又は当該領域の画像が保存されているファイルパス又はURLしてハイパーリンク等を設定するものであってもよい。
異常判定履歴テーブル105に格納されている電気設備の各種データは、設備テーブル104に格納されている当該電気設備の所在地に基づき、例えば地図データ上にマッピングされるものであってもよい。この場合、当該地図データ上には、個々の電気設備を示すアイコンが表示され、アイコンをクリックすることにより、当該アイコンが示す電気設備の履歴情報が表示されるものであってもよい。
図11は、情報処理装置1の制御部11による処理手順を例示するフローチャートである。情報処理装置1の制御部11は、複数種類の電気設備DSを含む画像、画像の撮像日時、及び画像の撮像地点を取得する(S201)。情報処理装置1の制御部11は、複数種類の電気設備DSを含む画像を第1学習モデル101に入力することにより、複数種類それぞれの電気設備DSの種類及び領域を出力する(S202)。情報処理装置1の制御部11は、実施形態1の処理S101及びS102と同様に、S201及びS202の処理を行う。
情報処理装置1の制御部11は、出力した電気設備DSそれぞれの種類に基づき、種類毎の個数を導出する(S203)。情報処理装置1の制御部11は、第1学習モデル101が抽出した電気設備DSの種類に基づき、第1学習モデル101に入力された画像に含まれる電気設備DSの種類、及び各種類毎の個数を導出する。
情報処理装置1の制御部11は、画像の撮像地点において、導出した種類毎の個数に過不足があるか否かを判定する(S204)。情報処理装置1の制御部11は、設備テーブル104を参照することにより、画像の撮像地点に対応する全ての電気設備DSの種類及び個数を特定する。情報処理装置1の制御部11は、設備テーブル104に基づき特定した電気設備DSの種類及び個数に対し、第1学習モデル101を用いて導出した電気設備DSの種類及び個数に、過不足があるか否かを判定する。
過不足がある場合(S204:YES)、情報処理装置1の制御部11は、導出した種類毎の個数が不足しているか否かを判定する(S2041)。不足している場合(S2041:YES)、情報処理装置1の制御部11は、画像の撮像地点において、電気設備DSの検出漏れが発生したと判定する(S2042)。情報処理装置1の制御部11は、設備テーブル104に基づき特定した電気設備DSの種類及び個数と、第1学習モデル101を用いて導出した電気設備DSの種類及び個数とを対比することにより、検出漏れとなった電気設備DSの種類又は設備IDを特定することができる。
不足していない場合(S2041:NO)、すなわち導出した種類毎の個数が過剰である場合、情報処理装置1の制御部11は、画像の撮像地点において、電気設備DSの誤検出が発生したと判定する(S2043)。
過不足がない場合(S204:NO)、情報処理装置1の制御部11は、画像の撮像地点において、電気設備DSの検出が正常に行われたと判定する(S205)。過不足がない場合、すなわち設備テーブル104に基づき特定した電気設備DSの種類及び個数と、第1学習モデル101を用いて導出した電気設備DSの種類及び個数とが、同一である(一致した)場合、情報処理装置1の制御部11は、電気設備DSの検出が正常に行われたと判定する。
情報処理装置1の制御部11は、判定結果を出力する(S206)。情報処理装置1の制御部11は、設備テーブル104を参照することによる判定結果を、例えば電気設備DSの保守担当者の携帯端末に出力することにより、当該保守担当者に対し報知することができる。上述おとおり、判定結果は、正常検出、検出漏れ、及び誤検出による3態様を含む。判定結果が検出漏れであった場合、情報処理装置1の制御部11は、例えば、当該電気設備DSに対する次回の巡回の際、当該巡回を担当する保守担当者の携帯端末に出力するものであってもよい。これにより、前回の巡回にて検出漏れとなった電気設備DSに対するフォローアップを確実に行うことができる。
本実施形態によれば、情報処理装置1は、保全対象となる電気設備DSそれぞれの位置情報が登録されている設備テーブル104を参照し、取得した電気設備DSの位置情報との対比を行うことにより、未検出の電気設備DSの有無を判定する。これにより、設備テーブル104にて、いずれかの位置情報に対応する電気設備DSが複数個、登録されている場合、当該位置情報に関連付けられた電気設備DSが、設備テーブル104に登録された当該複数個の電気設備DSとの間で差異があれば、当該差異に基づき、未検出の電気設備DSの有無を判定することができる。すなわち、いずれかの位置情報において、設備テーブル104に登録された電気設備DSに対し、位置情報に関連付けられた電気設備DS(第1学習モデル101により出力された電気設備DS)が少ない(不足)場合、第1学習モデル101が出力しなかった電気設備DS(未検出の電気設備DS)があると判定することができる。設備テーブル104に登録された電気設備DSに対し、位置情報に関連付けられた電気設備DS(第1学習モデル101により出力された電気設備DS)が多い(過多)場合、第1学習モデル101が誤って出力した電気設備DS(誤検出の電気設備DS)があると判定することができる。このように未検出の電気設備DSが有る判定された場合、当該未検出と判定された電気設備DSに関する情報を、例えば電気設備DSの保守担当者の携帯端末に出力することにより、当該保守担当者に対し報知することができる。未検出と判定された電気設備DSに関する情報は、例えば、当該電気設備DSに対する次回の巡回の際、当該巡回を担当する保守担当者の携帯端末に出力するものであってもよい。
(実施形態3)
図12は、実施形態3(劣化度合)に係る電気設備DSに関する情報(劣化度合等)を示す表示画面を例示する説明図である。情報処理装置1の制御部11は、情報処理装置1の記憶部12に記憶されている設備テーブル104及び異常判定履歴テーブル105を参照し、電気設備DSに関する情報を示す表示画面を構成する画面データを生成し、例えば、作業者の端末装置2に出力する。これにより、作業者の端末装置2が備える液晶ディスプレイ等の表示部に、電気設備DSに関する情報を示す表示画面(設備情報表示画面)が表示される。
図12は、実施形態3(劣化度合)に係る電気設備DSに関する情報(劣化度合等)を示す表示画面を例示する説明図である。情報処理装置1の制御部11は、情報処理装置1の記憶部12に記憶されている設備テーブル104及び異常判定履歴テーブル105を参照し、電気設備DSに関する情報を示す表示画面を構成する画面データを生成し、例えば、作業者の端末装置2に出力する。これにより、作業者の端末装置2が備える液晶ディスプレイ等の表示部に、電気設備DSに関する情報を示す表示画面(設備情報表示画面)が表示される。
設備情報表示画面は、対象となる電気設備DSの種類等をリスト形式で示す種類等リスト表示エリア、当該電気設備DSに対する異常検出の履歴等をリスト形式で示す履歴等リスト表示エリア、各異常の程度の推移をグラフ形式で表示する推移グラフ表示エリア、及び設備保守に関するアドバイスを表示する設備保守アドバイス表示エリアを含む。
種類等リスト表示エリアには、対象となる電気設備DSの設備ID、設備種類、及び所在地が表示される。情報処理装置1の制御部11は、例えば、設備テーブル104を参照することにより、当該設備ID、設備種類、及び所在地を取得することができる。
履歴等リスト表示エリアには、対象となる電気設備DSに対応する第2学習モデル102を用いて判定した結果(異常の有無及び程度)が、履歴情報として表示される。情報処理装置1の制御部11は、例えば、異常判定履歴テーブル105を参照することにより、当該履歴情報を取得することができる。
同一の設備IDの電気設備DSに対し、複数回の保守巡回が行われることにより、複数回に亘って画像が撮像されるものとなる。これら複数回に亘って撮像された画像の撮像時点は、時系列に並ぶものとなり、本実施形態においては、例えば、最新の撮像時点から順(降順)に、各撮像時点での異常の有無等をリスト表示する。
異常の有無等がリスト表示される第2学習モデル102は設備種類に対応するものであり、設備種類が電柱の場合、当該第2学習モデル102は、例えば、営巣学習モデル、ヒビ学習モデル、傾き学習モデル及び衝突痕学習モデルとなり、モデル特定テーブル103に基づき特定される。履歴等リスト表示エリアには、営巣学習モデル等、各第2学習モデル102毎での異常の有無及び程度が表示されるため、対象となる電気設備DSにて発生し得る異常の種類それぞれにおいて、異常の有無等を時系列に把握することができる。履歴等リスト表示エリアは、更に、対象となる電気設備DSの領域の画像を表示するアイコン等を含むものであってもよく、当該アイコンをクリックすることにより、当該領域の画像を子画面にてポップアップ表示するものであってもよい。
推移グラフ表示エリアには、各異常の種類毎の程度の推移がグラフ形式にて表示される。当該グラフの縦軸は、異常の程度(劣化度)の値を示す。横軸は、画像を撮像した撮像日時を経時的に示すものであり、時間軸に相当する。
当該グラフにおいて、過去から現在までに第2学習モデル102それぞれにて出力(推定)された異常の程度(劣化度)に基づき、実績線が表示される。当該実績線は、適用された第2学習モデル102毎(異常の種類毎)に生成されるものであり、本実施形態においては、電柱に対するヒビ、傾き、営巣、及び衝突痕それぞれにて、実績線が生成及び表示される。
予想線は、実績線上の値に基づき、例えば回帰分析等を行うことにより導出される。又は、予想線は、過去から現在までの異常の程度(劣化度)の値に基づき、対数近似曲線、多項式近似曲線、累乗近似曲線又は指数近似曲線等の種々方法を用いて、予想線を導出するものであってもよい。又は、情報処理装置1の制御部11は、過去から現在までの異常の程度(劣化度)の値を、例えばRNN等の自己回帰層を備えるニューラルネットワークに入力し、将来にて予測される異常の程度(劣化度)を導出することにより、予想線を生成するものであってもよい。情報処理装置1の記憶部12には、各電気設備DSにおける異常の種類毎に、異常の程度(劣化度)の許容範囲を定める閾値が記憶されており、当該閾値についても、グラフに表示される。これにより、現時点における異常の程度(劣化度)と閾値とを対比確認することにより、作業者に対する保守作業の支援を行うことができる。
設備保守アドバイス表示エリアには、推移グラフ表示エリア及び履歴等リスト表示エリアにて表示された事項に基づき生成された設備保守アドバイスが表示される。情報処理装置1の制御部11は、例えば記憶部12に記憶されている状態(異常の程度及び推移)及び行動(アドバイス)が関連付けられたテーブルを参照することにより、現時点において電気設備DSに発生している異常に対するアドバイスを生成するものであってもよい。
本実施形態によれば、情報処理装置1は、同一の電気設備DSに対する時系列から成る複数の異常に関する情報に基づき、当該電気設備DSの劣化度合を導出することにより、電気設備DSの劣化の進み具合を取得することができる。情報処理装置1は、劣化度合が所定の閾値以上となる電気設備DSがある場合、例えば、当該電気設備DSに対する巡回を担当する保守担当者の携帯端末に、当該電気設備DSに関する情報を出力するものであってもよい。情報処理装置1は、当該保守担当者の携帯端末に劣化度合が所定の閾値以上の電気設備DSに関する情報を出力するにあたり、例えば、携帯端末が備えるGPS機能を用いて、当該携帯端末(携帯端末を所有する保守担当者)の位置と、当該電気設備DSの位置(位置情報)とが近接した際、電気設備DSに関する情報を携帯端末に出力するものであってもよい。
今回開示された実施の形態は全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
S 異常判定システム
DS 電気設備
1 情報処理装置(サーバ装置)
11 制御部
111 取得部
112 モデル特定部
113 出力部
12 記憶部
121 記録媒体
P プログラム
13 通信部
101 第1学習モデル(領域抽出モデル)
102 第2学習モデル(異常判定モデル)
103 モデル特定テーブル
104 設備テーブル
105 異常判定履歴テーブル
2 端末装置
201 カメラ
202 車両
DS 電気設備
1 情報処理装置(サーバ装置)
11 制御部
111 取得部
112 モデル特定部
113 出力部
12 記憶部
121 記録媒体
P プログラム
13 通信部
101 第1学習モデル(領域抽出モデル)
102 第2学習モデル(異常判定モデル)
103 モデル特定テーブル
104 設備テーブル
105 異常判定履歴テーブル
2 端末装置
201 カメラ
202 車両
Claims (12)
- インフラ設備を含む画像を取得し、
画像を入力した場合に画像中に含まれる複数種類のインフラ設備の種類及び領域を出力するよう学習された第1学習モデルに、取得した前記画像を入力して複数種類のインフラ設備の種類及び領域を出力し、
インフラ設備毎に複数種類の第2学習モデルの種類を登録したテーブルを参照して、前記画像中に含まれる複数種類のインフラ設備毎に、対応する単一又は複数の前記第2学習モデルを特定し、
複数種類の前記第2学習モデルそれぞれは、インフラ設備の画像を入力した場合に該インフラ設備の異常に関する情報を出力するよう学習されており、
特定した前記第2学習モデルそれぞれに、前記第1学習モデルから出力された領域の画像を入力して、前記領域に含まれるインフラ設備の異常に関する情報を出力する
処理をコンピュータに実行させる情報処理方法。 - 前記インフラ設備は電気設備を含み、該電気設備を含む画像を取得し、
画像を入力した場合に画像中に含まれる複数種類の電気設備の種類及び領域を出力するよう学習された前記第1学習モデルに、取得した前記画像を入力して複数種類の電気設備の種類及び領域を出力し、
電気設備毎に複数種類の前記第2学習モデルの種類を登録したテーブルを参照して、前記画像中に含まれる複数種類の電気設備毎に、対応する単一又は複数の前記第2学習モデルを特定し、
複数種類の前記第2学習モデルそれぞれは、電気設備の画像を入力した場合に該電気設備の異常に関する情報を出力するよう学習されており、
特定した前記第2学習モデルそれぞれに、前記第1学習モデルから出力された領域の画像を入力して、前記領域に含まれる電気設備の異常に関する情報を出力する
請求項1に記載の情報処理方法。 - 前記第1学習モデルが出力した領域の画像に含まれる電気設備の種類が、電柱の場合、前記テーブルを参照して、前記電柱のヒビを検出するヒビ学習モデルと、前記電柱の傾きを検出する傾き学習モデルと、前記電柱に作られた営巣を検出する営巣学習モデルとの少なくともいずれかを、前記第2学習モデルとして特定する
請求項2に記載の情報処理方法。 - 前記第1学習モデルが出力した領域の画像に含まれる電気設備の種類が、変圧器の場合、前記テーブルを参照して、前記変圧器の錆を検出する錆学習モデルと、前記変圧器の液漏を検出する液漏学習モデルとの少なくともいずれかを、前記第2学習モデルとして特定する
請求項2又は請求項3に記載の情報処理方法。 - 前記第1学習モデルが出力した領域の画像に含まれる電気設備の種類が、鉄塔の場合、前記テーブルを参照して、前記鉄塔の錆を検出する錆学習モデルと、前記鉄塔に作られた営巣を検出する営巣学習モデルとの少なくともいずれかを、前記第2学習モデルとして特定する
請求項2から請求項4のいずれか1項に記載の情報処理方法。 - 前記電気設備は、電柱、電柱に接続される高圧線、電柱上に設けられる碍子、電柱上に設けられる変圧器、鉄塔、及び配電地上機器を含み、
前記第1学習モデルは、前記電柱、前記高圧線、前記碍子、前記変圧器、前記鉄塔、及び前記配電地上機器の領域を出力するよう学習されている
請求項2から請求項5のいずれか1項に記載の情報処理方法。 - 複数種類の前記第2学習モデルのうち、いずれかの第2学習モデルは、複数の異なる種類のインフラ設備に対し共用される
請求項1から請求項6のいずれか1項に記載の情報処理方法。 - 前記インフラ設備の位置情報を取得し、
前記位置情報と、前記インフラ設備を含む画像を取得した取得日時と、前記インフラ設備の異常に関する情報を関連付けて記憶し、
保守対象となるインフラ設備それぞれの位置情報が登録されている設備テーブルを参照して、取得した前記インフラ設備の位置情報に基づき、未検出のインフラ設備の有無を判定する
請求項1から請求項7のいずれか1項に記載の情報処理方法。 - 前記未検出のインフラ設備が有ると判定された場合、前記未検出と判定されたインフラ設備に関する情報を出力する
請求項8に記載の情報処理方法。 - 同一のインフラ設備に対する時系列から成る複数の異常に関する情報に基づき、該インフラ設備の劣化度合を導出し、
導出した前記劣化度合が所定の閾値以上である場合、該インフラ設備に関する情報を出力する
請求項1から請求項9のいずれか1項に記載の情報処理方法。 - コンピュータに、
インフラ設備を含む画像を取得し、
画像を入力した場合に画像中に含まれる複数種類のインフラ設備の種類及び領域を出力するよう学習された第1学習モデルに、取得した前記画像を入力して複数種類のインフラ設備の種類及び領域を出力し、
インフラ設備毎に複数種類の第2学習モデルの種類を登録したテーブルを参照して、前記画像中に含まれる複数種類のインフラ設備毎に、対応する単一又は複数の前記第2学習モデルを特定し、
複数種類の前記第2学習モデルそれぞれは、インフラ設備の画像を入力した場合に該インフラ設備の異常に関する情報を出力するよう学習されており、
特定した前記第2学習モデルそれぞれに、前記第1学習モデルから出力された領域の画像を入力して、前記領域に含まれるインフラ設備の異常に関する情報を出力する
処理を実行させるコンピュータプログラム。 - インフラ設備を含む画像を取得する取得部と、
画像を入力した場合に画像中に含まれる複数種類のインフラ設備の種類及び領域を出力するよう学習された第1学習モデルに、取得した前記画像を入力して複数種類のインフラ設備の種類及び領域を出力する領域出力部と、
インフラ設備毎に複数種類の第2学習モデルの種類を登録したテーブルを参照して、前記画像中に含まれる複数種類のインフラ設備毎に、対応する単一又は複数の前記第2学習モデルを特定する特定部と、
複数種類の前記第2学習モデルそれぞれは、インフラ設備の画像を入力した場合に該インフラ設備の異常に関する情報を出力するよう学習されており、
特定した前記第2学習モデルそれぞれに、前記第1学習モデルから出力された領域の画像を入力して、前記領域に含まれるインフラ設備の異常に関する情報を出力する情報出力部と
を備える情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021146282A JP2023039226A (ja) | 2021-09-08 | 2021-09-08 | 情報処理方法、コンピュータプログラム及び情報処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021146282A JP2023039226A (ja) | 2021-09-08 | 2021-09-08 | 情報処理方法、コンピュータプログラム及び情報処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023039226A true JP2023039226A (ja) | 2023-03-20 |
Family
ID=85600439
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021146282A Pending JP2023039226A (ja) | 2021-09-08 | 2021-09-08 | 情報処理方法、コンピュータプログラム及び情報処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023039226A (ja) |
-
2021
- 2021-09-08 JP JP2021146282A patent/JP2023039226A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109508681B (zh) | 生成人体关键点检测模型的方法和装置 | |
US11869192B2 (en) | System and method for vegetation modeling using satellite imagery and/or aerial imagery | |
CN109214280B (zh) | 基于街景的店铺识别方法、装置、电子设备及存储介质 | |
CN109543627A (zh) | 一种判断驾驶行为类别的方法、装置、及计算机设备 | |
CN111860140B (zh) | 目标事件检测方法、装置、计算机设备和存储介质 | |
CN109308490A (zh) | 用于生成信息的方法和装置 | |
CN110853033A (zh) | 基于帧间相似度的视频检测方法和装置 | |
US10679054B2 (en) | Object cognitive identification solution | |
CN112613569B (zh) | 图像识别方法、图像分类模型的训练方法及装置 | |
CN110942456B (zh) | 篡改图像检测方法、装置、设备及存储介质 | |
CN116452749A (zh) | 一种基于数字孪生的设备三维热成像方法、装置及设备 | |
CN110930386B (zh) | 图像处理方法、装置、设备及存储介质 | |
JP2020065330A (ja) | 異常検出方法、プログラム、学習済みモデルの生成方法及び学習済みモデル | |
CN112183321A (zh) | 机器学习模型优化的方法、装置、计算机设备和存储介质 | |
CN116229560A (zh) | 一种基于人体姿态的异常行为识别方法及系统 | |
Huang et al. | GridTracer: Automatic mapping of power grids using deep learning and overhead imagery | |
CN114332457A (zh) | 图像实例分割模型训练、图像实例分割方法和装置 | |
CN111738312B (zh) | 基于gis和虚拟现实融合的输电线状态监控方法、装置及计算机可读存储介质 | |
CN112528825A (zh) | 一种基于图像识别的车站乘客招援服务方法 | |
CN113705293A (zh) | 图像场景的识别方法、装置、设备及可读存储介质 | |
JP2023039226A (ja) | 情報処理方法、コンピュータプログラム及び情報処理装置 | |
CN115438945A (zh) | 基于电力设备巡检的风险识别方法、装置、设备及介质 | |
CN112862002A (zh) | 多尺度目标检测模型的训练方法、目标检测方法和装置 | |
CN111753766A (zh) | 一种图像处理方法、装置、设备及介质 | |
JP2021082000A (ja) | 学習済モデルの生成方法、コンピュータプログラム、情報処理方法及び情報処理装置 |