JP2019052954A - 検査システム、検査方法、サーバ装置、及びプログラム - Google Patents

Abstract

【課題】ドローン等の無人航空機を遠隔操作することで太陽光発電所等の検査対象物を撮影し、撮影情報に基づく検査対象物の異常の検出を簡易且つ迅速に行う。【解決手段】本発明の検査システムでは、無人航空機１は、撮影により得られた撮影画像をステーション端末２に送信し、ステーション端末２は、撮影画像をサーバ装置３に転送し、サーバ装置３は、撮影画像を受信すると、画像解析部が、撮影画像中の異常領域を特定し、過去の画像解析結果を参照しつつ異常の態様を特定する。サーバ装置３は、異常領域であるか否かを、ＲＧＢ値の閾値との比較で特定し、異常領域の異常の態様を、当該異常領域の大きさ及び形状に基づいて特定する。【選択図】図１

Description

本発明は、例えば太陽光発電所等に配置されたソーラモジュール等の検査対象物を、ドローンに搭載されたカメラで撮影し、撮影により得られた画像を、人工知能技術を用いて解析することで、セル、モジュール、クラスタ、及びストリングの異常を検出する検査システム、検査方法、サーバ装置、及びプログラムに関する。

従来、太陽光発電所等に配置されたソーラモジュールについて、セルの異常、モジュールの異常、クラスタの異常、及びストリングの異常等は、その発電効率に重大な影響を与えてしまう。例えば、所謂ホットスポットは、ハンダ不良等の製造時不具合、落ち葉の付着などが原因で、その部分が発熱し、モジュールの一部が破損する現象であるが、モジュール破損の原因となり、発電事業に大きな損失をもたらしてしまう。

従って、このような各種の異常を早期に発見し、早期に対応することは極めて重要であり、太陽光発電所の定期検診では、これら異常の検査が必須項目となっている。

一般に、ソーラモジュールに発生するホットスポットを発見するには、赤外線カメラでソーラモジュールを撮影し、セルの異常温度部分を発見することがなされている。

この種の技術については、例えば特許文献１では、複数の太陽電池パネルを含む太陽電池アレイの検査方法であって、太陽電池アレイに通電し、画像を取得し、画像を解析して指標を算出し、指標に対する出力特性より出力電力の推定を行い、交換の可否を判断する方法が開示されている。

特開２０１３−３６７４７号公報

しかしながら、特許文献１等で開示された従来技術では、太陽光発電所等の太陽光パネル等の検査対象物を、ドローンに搭載されたカメラで撮影し、該撮影により得られた画像を、人工知能技術を用いて解析することで、セル、モジュール、クラスタ、及びストリングの異常を検出することはできなかった。

本発明は、このような課題に鑑みてなされたものであり、ドローン等の無人航空機を遠隔操作することで太陽光発電所等の検査対象物を撮影し、人工知能技術を用いて撮影情報に基づく検査対象物の異常の検出を簡易且つ迅速に行うことを目的とする。

上記課題を解決するために、本発明の第１の態様に係る検査システムでは、無人航空機と、指令端末と、サーバ装置とを備え、検査対象物を検査する検査システムであって、前記無人航空機は、前記指令端末と通信する第１通信部と、航路制御情報に基づいて航行制御を行う航行制御部と、撮影制御情報に基づいて実画像及び赤外線画像を撮影するカメラと、を備え、前記指令端末は、前記無人航空機及び前記サーバ装置と通信する第２通信部と、前記サーバ装置からの航路情報に基づいて前記航行制御情報を生成し、前記第２通信部を介して前記無人航空機に送信する無人航空機制御部と、前記無人航空機のカメラによる撮影を制御する前記撮影制御情報を生成し、前記第２通信部を介して前記無人航空機に送信するカメラ制御部と、を備え、前記サーバ装置は、前記指令端末と通信する第３通信部と、前記航路情報を記憶する第１記憶部と、画像解析結果を記憶する第２記憶部と、前記撮影情報に含まれる画像を解析する画像解析部と、を備え、前記無人航空機は、前記撮影により得られた撮影画像を、前記第１通信部を介して前記指令端末に送信し、前記指令端末は、前記撮影画像を、前記第２通信部を介して前記サーバ装置に転送し、前記サーバ装置は、前記第３通信部が前記撮影画像を受信し、前記画像解析部は、前記撮影画像中の異常領域を特定し、前記第２記憶部に記憶された過去の画像解析結果を参照しつつ異常の態様を特定する。

第１の態様において、前記画像解析部は、前記異常領域であるか否かを、ＲＧＢ値の閾値との比較で特定してよい。前記画像解析部は、前記異常領域の異常の態様を、当該異常領域の大きさ及び形状に基づいて特定してよい。

本発明の第２の態様に係る検査方法は、無人航空機と、指令端末と、サーバ装置とを備え、検査対象物を検査する検査システムによる検査方法であって、前記指令端末は、前記サーバ装置からの航路情報に基づいて航行制御情報を生成し、前記カメラを制御するための撮影制御情報を生成し、航行制御情報及び撮影制御情報に基づいて前記無人航空機の航行及び撮影を制御し、前記無人航空機は、前記指令端末の制御に基づいて、航行及び撮影を行い、撮影画像を前記指令端末に送信し、前記指令端末は、前記撮影画像を前記サーバ装置に転送し、前記サーバ装置は、前記撮影画像中の異常領域を特定し、過去の画像解析結果を参照しつつ、異常の態様を特定する。

第２の態様において、前記サーバ装置は、前記異常領域であるか否かを、ＲＧＢ値の閾値との比較で特定してよい。前記サーバ装置は、前記異常領域の異常の態様を、当該異常領域の大きさ及び形状に基づいて特定してよい。

本発明の第３の態様に係るサーバ装置は、無人航空機と指令端末と通信自在で検査対象物を検査するサーバ装置であって、前記指令端末と通信する通信部と、航路情報を記憶する第１記憶部と、画像解析結果を記憶する第２記憶部と、前記無人航空機による撮影で得られた撮影画像を解析する画像解析部と、を備え、前記画像解析部は、前記通信部を介して前記指令端末からの撮影画像を受信すると、前記撮影画像中の異常領域を特定し、前記第２記憶部に記憶された過去の画像解析結果を参照しつつ異常の態様を特定する。

第３の態様において、前記画像解析部は、前記異常領域であるか否かを、ＲＧＢ値の閾値との比較で特定してよい。前記画像解析部は、前記異常領域の異常の態様を、当該異常領域の大きさ及び形状に基づいて特定してよい。

そして、本発明の第４の態様に係るプログラムでは、無人航空機と指令端末と通信自在で検査対象物を検査するサーバ装置により実行されるプログラムであって、前記サーバ装置を、前記無人航空機による撮影で得られた撮影画像を解析する画像解析部として機能させ、前記画像解析部は、異常領域であるか否かをＲＧＢ値の閾値との比較で特定し、過去の画像解析結果を参照しつつ、異常の態様を前記異常領域の大きさ及び形状に基づいて特定する。

本発明によれば、ドローン等の無人航空機を遠隔操作することで太陽光発電所等の検査対象物を撮影し、人工知能技術を用いて撮影情報に基づく検査対象物の異常の検出を簡易且つ迅速に行う検査システム、検査方法、サーバ装置、及びプログラムを提供することができる。

本発明の一実施形態に係る検査システムの構成図である。 同検査システムのドローンの構成図である。 同検査システムのステーション端末の構成図である。 同検査システムのデータセンタのサーバ装置の構成図である。 同検査システムの処理手順を示すフローチャートである。 解析結果表示画面の一例を示す図である。 解析結果表示画面の一例を示す図である。 検査報告書の一例を示す図である。 検査報告書の一例を示す図である。 画像解析処理の詳細な処理手順を示すフローチャートである。 画像解析処理について説明する図である。 検出される異常の例を示す図である。

以下、図面を参照しつつ本発明の実施形態について説明する。

図１には、本発明の一実施形態に係る検査システムの構成を示し説明する。

同図に示されるように、検査システムは、カメラを搭載した無人航空機としてのドローン１と、当該ドローン１を遠隔より制御する指令端末としてのステーション端末２と、データセンタのサーバ装置３とを有している。ステーション端末２は、ドローン１とは無線通信が可能であり、サーバ装置３とはインターネット等のネットワーク４を介して通信可能となっている。ここでは、検査対象物５として、太陽光発電所に設置されたソーラモジュールを例示して説明を進めることとする。

このような構成において、データステーションのサーバ装置３は、複数個所の発電所の登録を予め受けており、各発電所のソーラモジュールの構成に基づいて算定したドローン１の航路情報を保持している。サーバ装置３から、発電所にてスタンバイされたステーション端末２に、ネットワーク４を介して航路情報が送信されると、ステーション端末２は航路情報に基づいて航行制御情報を生成し、ドローン１の航行制御を実施する。より具体的には、ステーション端末２は、ドローン１に対して航路制御情報を無線通信により送信する。このとき、カメラによる撮影に係る撮影条件や撮影タイミングを制御するための撮影制御情報も併せて無線通信により送信する。

ドローン１は、ステーション端末２から送信された航行制御情報と撮影制御情報を受信すると、当該航行制御情報に基づく自動航行を開始すると共に、その航行の過程で撮影制御情報に基づく撮影を行う。この例ではドローン１に搭載されるカメラは、実画像に加えて赤外線画像も取得できるようになっており、撮像の際には位置情報をリアルタイムで取得して実画像と赤外線画像とからなる撮影情報に紐づける。ドローン１は、自動航行の過程で、リアルタイムに撮影情報と位置情報とをステーション端末２に無線通信により送信する。自動航行を終了した時点で、まとめて送信するようにしてもよい。

ステーション端末２は、ドローン１から送られてきた撮影情報と位置情報とを関連付けてデータセンタのサーバ装置３へと転送する。サーバ装置３では、この撮影情報に含まれる赤外線画像を解析し、ソーラモジュールの異常を検出する。そして、解析結果を、ネットワーク４を介してステーション端末２に送信する。ステーション端末２では、この解析結果を受信すると、それを表示し、異常の態様や箇所を作業者が確認可能とする。

図２には、ドローンの詳細な構成を示し説明する。

同図に示されるように、ドローン１は、全体の制御を司る制御部１１を備えており、当該制御部１１は、通信部１２、カメラ１３、ＧＰＳ１４、駆動系１５、ジャイロユニット１６、及び記憶部１７と通信自在となっている。通信部１２は、ステーション端末２との無線通信を行うものである。カメラ１３は、実画像と赤外線画像とを取得できるものとなっており、不図示の防振ダンパを介してドローン１に搭載されている。

ＧＰＳ１４は、ドローン１の位置情報（緯度、経度）を測位するものである。駆動系１５は、自動航行に際して自動離陸、着陸を行うと共に、任意の位置、高度での航行をホバリングにより実現するものである。ジャイロユニット１６は、自動航行時のドローン１の高度や飛行姿勢等を測位するものである。記憶部１７は、撮影情報や位置情報等を一時的に保持するためのメモリやハードディスクドライブ等からなる。

制御部１１は、制御プログラムに基づいて動作することで、主制御部１１ａ、撮影制御部１１ｂ、航行制御部１１ｃ、位置情報取得部１１ｄ、及び撮影情報取得部１１ｄとして機能する。

このような構成において、ステーション端末２からの航行制御情報と撮影制御情報とを通信部１２を介して受信すると、航行制御部１１ｃが航行制御情報を解読し、駆動系１５に対して制御信号を送り、自動離陸、ホバリング、自動着陸に至るまでの自動航行を実施するよう制御する。更に、撮影制御部１１ｂは、撮影制御情報を解読し、特定のタイミング及び位置で指定された撮影条件で撮影を実施するようにカメラ１３を制御する。撮影情報取得部１１ｅは、カメラ１３より実画像と赤外線画像とを取得する。この撮影の過程では、位置情報取得部１１ｄは、ＧＰＳ１４よりドローン１の位置情報（緯度、経度）を取得する。位置情報は、撮影情報と紐づけられて記憶部１７に記憶される。

尚、位置情報には、ＧＰＳ１４により測位された位置情報に加えて、ジャイロユニット１６により測位された高度、飛行姿勢、撮影時刻の情報も含まれる。こうして、主制御部１１ａは、記憶部１７に記憶された位置情報と撮影情報とを、通信部１２を介して、ステーション端末２に送信する。航行制御部１１ｃに、フェンス機能を加えて、任意の高度及び距離に到達すると、安全のため飛行開始地点へ自動帰還し着陸するような制御を加えてもよいことは勿論である。また、無線テレメントリ機能を更に搭載し、ドローン１の機体の飛行位置、高度等を適宜表示、記録するようにしてもよい。この実施形態で採用されるドローン１は、飛行時間は約２０分（ホバリング時）、飛行距離は約１０ｋｍ（水平移動時）であるが、これに限定されるものではない。

ここで、ドローン１に搭載されるカメラ１３について更に詳細を説明する。カメラ１３は、軽量で、バッテリによる長時間駆動が可能となっている。更にオートフォーカス機能を有しており、前述した通り通常撮影により実画像を、赤外線撮影により先外線画像を得ることができる。また、複数の記録モード（インターバル記録、ワンショット記録、及び動画記録）を機能として備えている。画素数については、特に制限はないが例えば３２０あっける２４０画素の高解像度とすることができる。

図３には、ステーション端末の詳細な構成を示し説明する。

同図に示されるように、ステーション端末２は、全体の制御を司る制御部２１を備えている。この制御部２１は、通信部２２、操作部２３、表示部２４、及び記憶部２５と通信自在に接続されている。制御部２１は、制御プログラムを実行することで、主制御部２１ａ、航行情報取得部２１ｂ、撮影情報・位置情報取得部２１ｃ、ドローン制御部２１ｄ、カメラ制御部２１ｅ、及び表示制御部２１ｆとして機能する。

通信部２２は、ドローン１との無線通信を実施する機能と、ネットワーク４を介してサーバ装置３と通信する機能を備えている。例えば、通信部２２は、３Ｇ／ＬＴＥ通信モジュールを備えている。操作部２３としては、キーボードやマウス等を採用することができる。表示部２４は、液晶ディスプレイ等で構成され、撮影情報等を適宜表示することが可能である。そして、記憶部２５は、データセンタのサーバ装置３から送信されてきた航路情報や、ドローン１から送信されてきた撮影情報及び位置情報等を記憶するメモリやハードディスク等で構成されている。

このような構成において、データセンタのサーバ装置３からの航路情報を通信部２２が受信すると、航路情報取得部２１ｂが取得し、記憶部２５に記憶する。そして、ドローン制御部２１ｄが、航路情報に基づいてドローン１を自動航行させるための航行制御情報を生成する。また、カメラ制御部２１ｅは、表示部２４に表示された設定画面への操作部２３の操作による入力に基づいて、撮影条件等の設定を受け、撮影制御情報を生成する。主制御部２１ａは、この航行制御情報と撮影制御情報とを通信部２２を介してドローン１に送信する。ドローン１側では、この航行制御情報に基づく自動航行が実施され、撮影制御情報に基づく撮影が実施される。

そして、ドローン１から送信された撮影情報及び位置情報を、通信部２２を介して受信すると、撮影情報・位置情報取得部２１ｃが、これを取得し、記憶部２５に記憶する。主制御部２１ａは、この撮影情報及び位置情報を記憶部２５より読み出し、通信部２２を介してデータセンタのサーバ装置３に送信する。サーバ装置３では、この撮影情報の赤外線画像に基づいて画像解析が実施され、解析結果がステーション端末２へと送信される。ステーション端末２では、この解析結果のデータを、通信部２２を介して受信すると、記憶部２５に記憶すると共に、表示制御部２１ｆの制御の下、表示部２４に表示する。これにより、作業者は、検査対象物の異常の態様や箇所を確認可能となる。

尚、ステーション端末２は、ドローン収納用ジュラルミンケースを一部に備えた携帯可能な構成としてもよい。

図４には、データセンタのサーバ装置の詳細な構成を示し説明する。

同図に示されるように、データセンタのサーバ装置３は、全体の制御を司る制御部３１を備えている。制御部３１は、通信部３２、記憶部３７と通信自在に接続されている。そして、制御部３１は、制御プログラムを実行することで、主制御部３１ａ、検査対象登録部３１ｂ、ドローン航路設定部３１ｃ、画像解析部３１ｄ、及び検査報告書生成部３１ｅとして機能する。記憶部３７は、ＲＡＭやＲＯＭ等のメモリやハードディスクドライブ（ＨＤＤ）等で構成されており、検査対象登録ＤＢ３３、航路情報ＤＢ３４、解析結果ＤＢ３５、及び検査報告書ＤＢ３６を記憶している。

通信部３２は、ネットワーク４を介して、ステーション端末２との通信を実行するものである。検査対象ＤＢ３３には、検査対象の情報が格納されている。この例では、検査対象が発電所であるので、検査対象である発電所のＩＤ、所在地、発電所におけるソーラモジュールの配置情報、作業担当者ＩＤ等が対応付けられて記憶されている。航路情報ＤＢ３４には、各発電所のＩＤと紐づけられて、各発電所のソーラモジュールの配置情報に合致したドローン１の航路情報が格納される。検査結果ＤＢ３５には、各発電所のＩＤと紐づけられて過去の検査結果の情報が格納されている。この検査結果ＤＢ３５には過去の膨大な検査結果が格納され、画像解析部３１ｄによる人工知能技術を用いた画像解析に際してライブラリとして機能する。検査報告書ＤＢ３６には、各発電所のＩＤと紐づけられて検査報告書が記憶される。

上記のほか、記憶部３７には、ステーション端末２から送信された撮影情報及び位置情報等が一時的に記憶される。

このような構成において、サーバ装置３１は、ステーション端末２が所定の認証を得てアクセスしてきたとき、検査対象登録ＤＢ３３を参照して検査対象を特定する。ドローン航路設定部３１ｃが航路情報ＤＢ３４を参照して、当該検査対象物に好適な航路情報を読み出し、主制御部３１ａが当該航路情報を、通信部３２を介してステーション端末２に送信する。ステーション端末２では、この航路情報にも続いてドローン１による自動航行を実行する。そして、ステーション端末２からの撮影情報（実画像、及び赤外線画像）及び位置情報を、通信部３２を介して受信すると、画像解析部３１ｄが、ライブラリとしての解析結果ＤＢ３５を参照しつつ、人工知能技術を用いて、赤外線画像を解析して異常の態様や箇所を特定する。

解析結果は、検査結果ＤＢ３５に検査対象物である発電所のＩＤと紐づけられて格納される。主制御部３１ａは、この解析結果を、通信部３２を介してステーション端末２に送信する。これによりステーション端末２側で解析結果の閲覧を促す。続いて、検査報告書生成部３１ｅは、検査結果ＤＢ３５より検査結果の情報を読み出し、検査報告書を生成する検査報告書は、検査報告書ＤＢ３６に発電所のＩＤと紐づけられて格納される。

ドローン１の個体認証については、ドローン１に予めインストール（登録）された電子認証用の証明書によって行う。また、電子証明書によるドローン１とステーション端末２との間のデータ通信の暗号化については、ＳＳＬ暗号化通信用の電子証明書を用いる。さらに、ドローン１のソフトウェアモジュールへのコードサイニングについては、ドローン１にインストールされたソフトウェアモジュールに電子署名用証明書（コードサイニング証明書）を用いたコードサイニング（電子署名）を施すことで、ソフトウェア配布元を正しく認証し、なりすましや改ざんがされていないことを証明する。

以下、図５のフローチャートを参照して、本発明の一実施形態に係る検査システムによる処理の流れを説明する。これは、本発明の一実施形態に係る検査方法にも相当する。ここでは、図６乃至図９を適宜参照しつつ説明を進める。

サーバ装置３１では、主制御部３１ａが、ステーション端末２が所定の認証を得てアクセスしてきたとき、検査対象登録ＤＢ３３を参照して検査対象を特定し、ドローン航路設定部３１ｃが、航路情報ＤＢ３４を参照して、当該検査対象物に好適な航路情報を読み出し、主制御部３１ａが当該航路情報を、通信部３２を介してステーション端末２に送信する（Ｓ１）。

ステーション端末２では、サーバ装置３からの航路情報を通信部２２が受信すると、航路情報取得部２１ｂが取得し記憶部２５に記憶する（Ｓ２）。そして、ドローン制御部２１ｄが、航路情報に基づいてドローン１を自動航行させるための航行制御情報を生成し、カメラ制御部２１ｅが、表示部２４に表示された設定画面への操作部２３の操作による入力に基づいて、撮影条件等の設定を受け、撮影制御情報を生成する（Ｓ３）。そして、航行制御情報、撮影制御情報をドローン１へと送信する（Ｓ４）。

ドローン１では、ステーション端末２からの航行制御情報と撮影制御情報とを通信部１２を介して受信すると（Ｓ５）、航行制御部１１ｃが航行制御情報を解読し、自動航行を実施し、撮影制御部１１ｂは、撮影制御情報を解読し、特定のタイミング及び位置で指定された撮影条件で撮影を実施するようにカメラ１３を制御する（Ｓ６）。

より詳細には、ステップＳ６の航路制御において、ドローン１の航路情報の設定は、太陽光発電所の図面及びGoogleMAP等のジオコード情報を持つマップを利用して行う。具体的には、ポイント地点を次の方法で設定する。即ち、ポイント地点の緯度経度を設定することで、ドローン１に搭載されたＧＰＳ１４の位置情報に基づいて、現在の位置情報と自動航路で設定された位置情報とを比較し、その差異を検知し、設定航路の制御を行う。そして、ポイント地点に自動航路スタート地点の座標からの距離・方位を設定し、計測されている方位と距離とによってポイント地点まで自動航行制御を行う。このように、ポイント間を直線的に一定速度、並びに一定高度で進行する航路制御を実行し、ポイント地点では次ポイントに向けた方向変換を行うための制御を実行する。

また、ステップＳ６の撮影制御では、ドローン１の走行速度に合わせて、カメラ１３のシャッタ間隔時間を設定し、連続的に画像をつなげられるための制御を行う。例えば、ドローン１が秒速５ｍの速度で進む場合、２０ｍ毎に１回撮影を行う場合は、カメラ１３のシャッタ間隔時間は４秒として設定する。

続いて、撮影情報取得部１１ｅは、カメラ１３から送信された実画像と赤外線画像とを取得する。この撮影の過程で、位置情報取得部１１ｄは、ＧＰＳ１４よりドローン１の位置情報（緯度、経度）を取得する。位置情報は、撮影情報と紐づけられて記憶部１７に記憶される（Ｓ７）。こうして、撮影情報と位置情報とが、ステーション端末２へと送信される（Ｓ８）。

ステーション端末２では、撮影情報と位置情報とを受信すると（Ｓ９）、サーバ装置３へと転送する（Ｓ１０）。

サーバ装置３は、ステーション端末２からの撮影情報（実画像、及び赤外線画像）及び位置情報を、通信部３２を介して受信すると（Ｓ１１）、画像解析部３１ｄが、解析結果ＤＢ３５をライブラリとして参照しつつ、人工知能技術を用いて赤外線画像を解析し、異常の態様と箇所を検出する（Ｓ１２）。画像解析処理の詳細は後述する。この解析結果は、検査対象物である発電所のＩＤと紐づけられて解析結果ＤＢ３５に格納される。

サーバ装置３では、主制御部３１ａは、この解析結果を、通信部３２を介してステーション端末２に送信する（Ｓ１３）。これによりステーション端末２側で解析結果の閲覧を促す。ステーション端末２では、この解析結果のデータを、通信部２２を介して受信すると（Ｓ１４）、記憶部２５に記憶すると共に、表示制御部２１ｆの制御の下、表示部２４に表示する（Ｓ１５）。

表示制御部２１ｆによる表示部２４への表示の様子は、図６及び図７に示される通りである。即ち、表示画面１００には、撮影画像表示ウィンドウ１００ａと解析結果表示ウィンドウ１００ｂが並べて表示され、更にその右方には、汎用の地図ソフトにより提供される地図データに基づく表示の上に、欠陥箇所をマーキングしたマーキング表示ウィンドウ１００ｃが表示される。そして、タブの「出力」が選択されると、図７に示されるような画面に切り換わり、記録用地図に欠陥箇所をマーキングした地図表示画面１０１がポップアップウィンドウ等により重ねて表示される。再生ボタン１００ｄが選択されると撮影画像表示ウィンドウ１００ａの動画が再生される。このとき、解析結果表示ウィンドウ１００ｂも連動するようになっている。

一方、サーバ装置３側では、検査報告書生成部３１ｅは、検査結果ＤＢ３５より検査結果の情報を読み出し、検査報告書を生成する（Ｓ１６）。

検査報告書の一例は図８及び図９に示される通りである。図８の例では、記録用地図に欠陥箇所をマーキングした図面と、各エリアの異常スポットの数及び内容を対比して示した表とが印刷されている。一方、図９の例では、赤外線画像の中に欠陥箇所をマーキングして示した画像と、各マーキングポイントである高温部と周辺部との温度差を対比して示した表とが印刷されている。

ここで、電子網についてさらに補足する。電子網とは、ドローンなどの無人航空機が飛行できる境界を電子的に構築することで、想定された航行エリア外を飛行しないようにする安全航行の仕組みである。この仕組みは、無人航空機のシステムとは独立して機能することで無人航空機の異常事態でも電子網を認識し、電子網の外に出た場合には航行を緊急停止する。電子網システムは、電子網制御装置と電子網ビーコンで構成されている。電子網制御装置は、ドローンなどの無人航空機に設置され、ビーコンからの信号を受信し、無人航空機が電子網内であることを常時確認する。

電子網制御装置は、３つ以上の電子網ビーコンの信号を受信し、無人航空機が航行エリア内であることを常時確認する。電子網制御装置は、無人航空機の制御信号の周波数帯と同じ周波数帯の無線装置を搭載し、無人航空機が電子網の外に出たと判断した場合、無人航空機の制御と通信を事前に決められた時間遮断し、無人航空機の飛行を停止させる。それでも無人航空機が電子網から離れていく場合、電子網制御装置は、無人航空機の主電源を遮断し航行を停止させる。

電子網ビーコンは、地上の航行エリアの境界線に沿って複数設置され、境界線上に複数の電子網ビーコンと航行エリア内に一つ以上の電子網ビーコンを設置して航行エリアを確定する。電子ビーコンは、サブGHz帯の近距離無線通信信号を発信し電子網制御装置に電子網の位置を伝える。電子ビーコンの信号は、電子ビーコン識別番号を有し、複数の電子網が隣接していてもそれらを識別し、自分の電子網と区別する。

次に、図１０のフローチャートを参照して、図５のステップＳ１２で実行される画像解析部３１ｄによる人工知能技術を用いた画像解析処理について詳細に説明する。尚、ここでは、図１１及び図１２を適宜参照しつつ説明を進める。

この処理を開始すると、画像解析部３１ｄは、先ず図１１（ａ）に示されるような入力画像を基に、図１１（ｂ）に示されるように、モジュール領域の分類を行う（Ｓ２１）。続いて、画像解析部３１ｄは、図１１（ｃ）に示されるようなモジュール領域の閾値画像を生成する（Ｓ２２）。この実施形態では、閾値は、周辺画像の温度＋２度を基準に生成されるものとする。モジュール上でない領域は、ＲＧＢ値の閾値が２５５に設定される。

次いで、画像解析部３１ｄは、図１１（ｄ）に示されるように、入力画像の方が閾値画像よりもＲＧＢ値が大きい領域を、差分画像と検出する（Ｓ２３）。次いで、図１１（ｅ）に示されるように、差分画像のノイズ除去を行う（Ｓ２４）。これにより、分類対象とすべき領域が得られることになる。そして、検出された領域の短編が所定画素（例えば、８ピクセル）未満の領域を除外し（Ｓ２５）、解析結果ＤＢ３５をライブラリとして参照しつつディープラニング技術を用いて候補領域の分類を行い（Ｓ２６）、本処理をリターンすることになる。出力画像の様子は、図１１（ｆ）に示される。

前述したステップＳ２６の候補領域の分類では、図１２（ａ）乃至図１２（ｄ）に示されるような異常のいずれに該当するか、分類することになる。即ち、図１２（ａ）は、セルの異常を示しており、詳細にはセルクラック、モジュールの汚れ、影、ジャンクションボックス異常等がこれに該当する。図１２（ｂ）は、モジュールの異常を示しており、ガラス割れ、バックシート異常等がこれに該当する。図１２（ｃ）は、クラスタの異常を示しており、インタコネクタ不良、半田不良、バイパスダイオードショート等がこれに該当する。そして、図１２（ｄ）は、ストリングの異常を示しており、コネクタ損傷、ケーブル損傷、接続箱開放等がこれに該当する。

画像解析部３１ｄは、絞り込まれた領域の大きさや形に基づいて、解析結果ＤＢ３５をライブラリとして参照しつつ、各領域が上記いずれの異常に該当するのか分類することになる。解析結果は、解析結果ＤＢ３５に格納され、検出を行う度に解析結果はビックデータを構築するような仕組みになっているので、検出を繰り返すごとに検出精度が高まることが期待される。

従って、画像解析部３１ｄによる画像解析によれば、モジュールの異常の態様（セルの異常、モジュールの異常、クラスタの異常、ストリングの異常等）及び箇所を検出し特定することが可能となる。より詳細には、クラスタ、ホットスポット、モジュール全体、ストリングのいずれの異常であるのか、それが画像上のいずれの箇所なのかを特定することが可能となる。

以上説明したように、本発明の一実施形態によれば、無人航空機としてのドローン１と指令端末としてのステーション端末２とデータセンタのサーバ装置３とを備え、検査対象物を検査する検査システムであって、無人航空機１は、指令端末２と通信する第１通信部１２と、航路制御情報に基づいて航行制御を行う航行制御部１１ｃと、撮影制御情報に基づいて実画像及び赤外線画像を撮影するカメラ１３と、を備え、指令端末２は、無人航空機１及び前記サーバ装置３と通信する第２通信部２２と、サーバ装置３からの航路情報に基づいて前記航行制御情報を生成し、第２通信部２２を介して無人航空機１に送信する無人航空機制御部２１ｄと、無人航空機１のカメラ１３による撮影を制御する撮影制御情報を生成し、第２通信部２２を介して無人航空機１に送信するカメラ制御部２１ｅと、を備え、サーバ装置３は、指令端末２と通信する第３通信部３２と、航路情報を記憶する第１記憶部としての航路情報ＤＢ３４と、画像解析結果を記憶する第２記憶部としての解析結果ＤＢ３５と、撮影情報に含まれる画像を解析する画像解析部３１ｄと、を備え、無人航空機１は、撮影により得られた撮影画像を第１通信部１２を介して指令端末２に送信し、指令端末２は、撮影画像を第２通信部２２を介してサーバ装置３に転送し、サーバ装置３は、第３通信部３２が撮影画像を受信し、画像解析部３１ｄは、撮影画像中の異常領域を特定し、第２記憶部３５に記憶された過去の画像解析結果を参照しつつ異常の態様を特定する検査システムが提供される。

ここで、画像解析部３１ｄは、異常領域であるか否かを、ＲＧＢ値の閾値との比較で特定することとしてよい。さらに、画像解析部３１ｄは、異常領域の異常の態様を、当該異常領域の大きさ及び形状に基づいて特定することとしてよい。

従って、ドローンを遠隔制御することでリアルタイムに検査対象物の異常の態様と箇所を検出し、ステーション端末でリアルタイムに確認できるようにすると共に、検査報告書を簡易且つ迅速に自動的に作成して提供することが可能となる。

以上、本発明の一実施形態について説明したが、本発明はこれに限定されることなくその趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。

例えば、検出対象物や検出可能な異常の種類は、前述したものに限定されるものではなく、各種のものに対応することが可能である。

１…ドローン、２…ステーション端末、３…サーバ装置、４…ネットワーク、１１…制御部、１１ａ…主制御部、１１ｂ…撮影制御部、１１ｃ…航行制御部、１１ｄ…位置情報取得部、１１ｅ…撮影情報取得部、１２…通信部、１３…カメラ、１４…ＧＰＳ、１５…駆動系、１６…ジャイロユニット、１７…記憶部、２１…制御部、２１ａ…主制御部、２１ｂ…航路情報取得部、２１ｃ…撮影情報・位置情報取得部、２１ｄ…ドローン制御部、２１ｅ…カメラ制御部、２１ｆ…表示制御部、２２…通信部、２３…操作部、２４…表示部、２５…記憶部、３１…制御部、３１ａ…主制御部、３１ｂ…検査対象登録部、３１ｃ…ドローン航路設定部、３１ｄ…画像解析部、３１ｅ…検査報告書生成部、３２…通信部、３３…検査対象登録ＤＢ、３４…航路情報ＤＢ、３５…解析結果ＤＢ、３６…検査報告書ＤＢ、３７…記憶部、３８…プログラム。

Claims (10)

1. 無人航空機と、指令端末と、サーバ装置とを備え、検査対象物を検査する検査システムであって、
   前記無人航空機は、
   前記指令端末と通信する第１通信部と、
   航路制御情報に基づいて航行制御を行う航行制御部と、
   撮影制御情報に基づいて実画像及び赤外線画像を撮影するカメラと、を備え、
   前記指令端末は、
   前記無人航空機及び前記サーバ装置と通信する第２通信部と、
   前記サーバ装置からの航路情報に基づいて前記航行制御情報を生成し、前記第２通信部を介して前記無人航空機に送信する無人航空機制御部と、
   前記無人航空機のカメラによる撮影を制御する前記撮影制御情報を生成し、前記第２通信部を介して前記無人航空機に送信するカメラ制御部と、を備え
   前記サーバ装置は、
   前記指令端末と通信する第３通信部と、
   前記航路情報を記憶する第１記憶部と、
   画像解析結果を記憶する第２記憶部と、
   前記撮影情報に含まれる画像を解析する画像解析部と、を備え、
   前記無人航空機は、前記撮影により得られた撮影画像を、前記第１通信部を介して前記指令端末に送信し、前記指令端末は、前記撮影画像を、前記第２通信部を介して前記サーバ装置に転送し、前記サーバ装置は、前記第３通信部が前記撮影画像を受信し、
   前記画像解析部は、前記撮影画像中の異常領域を特定し、前記第２記憶部に記憶された過去の画像解析結果を参照しつつ異常の態様を特定する
   検査システム。
2. 前記画像解析部は、前記異常領域であるか否かを、ＲＧＢ値の閾値との比較で特定する
   請求項１に記載の検査システム。
3. 前記画像解析部は、前記異常領域の異常の態様を、当該異常領域の大きさ及び形状に基づいて特定する
   請求項１に記載の検査システム。
4. 無人航空機と、指令端末と、サーバ装置とを備え、検査対象物を検査する検査システムによる検査方法であって、
   前記指令端末は、前記サーバ装置からの航路情報に基づいて航行制御情報を生成し、前記カメラを制御するための撮影制御情報を生成し、航行制御情報及び撮影制御情報に基づいて前記無人航空機の航行及び撮影を制御し、
   前記無人航空機は、前記指令端末の制御に基づいて、航行及び撮影を行い、撮影画像を前記指令端末に送信し、
   前記指令端末は、前記撮影画像を前記サーバ装置に転送し、
   前記サーバ装置は、前記撮影画像中の異常領域を特定し、過去の画像解析結果を参照しつつ、異常の態様を特定する
   検査方法。
5. 前記サーバ装置は、前記異常領域であるか否かを、ＲＧＢ値の閾値との比較で特定する
   請求項４に記載の検査方法。
6. 前記サーバ装置は、前記異常領域の異常の態様を、当該異常領域の大きさ及び形状に基づいて特定する
   請求項４に記載の検査方法。
7. 無人航空機と指令端末と通信自在で検査対象物を検査するサーバ装置であって、
   前記指令端末と通信する通信部と、
   航路情報を記憶する第１記憶部と、
   画像解析結果を記憶する第２記憶部と、
   前記無人航空機による撮影で得られた撮影画像を解析する画像解析部と、を備え、
   前記画像解析部は、前記通信部を介して前記指令端末からの撮影画像を受信すると、前記撮影画像中の異常領域を特定し、前記第２記憶部に記憶された過去の画像解析結果を参照しつつ異常の態様を特定する
   サーバ装置。
8. 前記画像解析部は、前記異常領域であるか否かを、ＲＧＢ値の閾値との比較で特定する
   請求項７に記載のサーバ装置。
9. 前記画像解析部は、前記異常領域の異常の態様を、当該異常領域の大きさ及び形状に基づいて特定する
   請求項７に記載のサーバ装置。
10. 無人航空機と指令端末と通信自在で、検査対象物を検査するサーバ装置により実行されるプログラムであって、
    前記サーバ装置を、
    前記無人航空機による撮影で得られた撮影画像を解析する画像解析部、
    として機能させ、
    前記画像解析部は、異常領域であるか否かをＲＧＢ値の閾値との比較で特定し、過去の画像解析結果を参照しつつ、異常の態様を前記異常領域の大きさ及び形状に基づいて特定するプログラム。