JP2016186682A - 空撮画像処理システム及び空撮画像処理方法 - Google Patents

Abstract

【課題】飛行体による空撮によってメガソーラーを形成する各ソーラーパネル上の異常の有無を検知する場合に、各ソーラーパネルが所在する位置を効率良く特定すること。
【解決手段】飛行体３０がメガソーラーの上空を飛行しつつ、該メガソーラーの一部を形成する複数のソーラーパネル４０を含む映像データを空撮する。撮像された映像データから複数の画像データを切り出し、隣り合う画像データに共通して存在する特徴を抽出し、抽出した特徴に基づいて画像データをつなぎ合わせることで、メガソーラーに含まれる複数のソーラーパネル４０の位置関係を判別し、各ソーラーパネル４０を一意に識別する識別情報を付与する。
【選択図】図１

Description

この発明は、太陽光で発電を行うための各パネル（以下、「ソーラーパネル」と言う）により形成されるソーラーパネル出力１メガワット以上の大規模な太陽光発電システム（以下、「メガソーラー」と言う）を空撮した空撮画像データを画像処理する空撮画像処理システム及び空撮画像処理方法に関する。

近年、エネルギーを取り巻く情勢の変化に伴って再生可能エネルギーへの関心が高まりつつあり、また、再生可能エネルギーの固定価格買取制度での採算性の確保が見込めることから、メガソーラーの建設が加速している。

ここで、雷などの自然災害が発生すると、メガソーラーを形成する各ソーラーパネルの劣化が一気に進み、早期点検が必要になる。従来は、各ソーラーパネルを人手で一枚一枚点検していたが、メガソーラーには膨大な数のソーラーパネルが設置されているため、全てのソーラーパネルを人手で点検したのでは、人的負荷が過大となる。

このため、メガソーラーを形成する各ソーラーパネルの異常な発電状態を自動的に検出する技術が知られている。例えば、特許文献１には、ソーラーパネルを形成する複数の太陽電池モジュール（セル）を直列に接続した太陽電池ストリングを複数持ち、太陽電池ストリングの各々の電力出力端に逆流防止用ダイオードを接続した太陽電池発電システムの異常検出装置において、逆流防止用ダイオードに流れる電流を測定するための測定手段を含み、測定手段が逆流防止用ダイオードの両端より電力を供給されるよう構成する技術が開示されている。

特開２０１０−２６３０２７号公報

しかしながら、かかる特許文献１のものは、電気回路を用いて各ソーラーパネルの異常な発電状態を検出するものであるため、この検出結果だけでは有効な保守点検を行うことができない。例えば、あるソーラーパネルの上に一時的に異物（例えば、草の葉）が載り、これに起因して電流量が低下した場合であっても、該ソーラーパネルの異常な発電状態が検出されてしまい、このソーラーパネルを保守の対象とすべきか否かを特定できない。

このため、ドローンと呼ばれる小型無人飛行機（以下、単に「飛行体」と言う）によりメガソーラーの画像データを空撮し、空撮した画像データを用いて保守の対象となるソーラーパネルを特定する方策が考えられる。具体的には、メガソーラーを形成する各ソーラーパネル上の異常の有無を検知できる程度の高度で飛行体を飛行させ、この飛行体により撮像された空撮画像データを用いて異常の有無を検出することになる。

ところが、各ソーラーパネル上の異常を検知できる程度の高度で飛行体を飛行させた場合には、各ソーラーパネル上の異常の有無を検知することができたとしても、異常を検知したソーラーパネルが所在する位置を特定できないという問題がある。メガソーラーは、その外観が同一の膨大な数のソーラーパネルから形成されているからである。一方、ソーラーパネルの位置を特定できる程度の高い高度で飛行体を飛行させたのでは、各ソーラーパネル上の異常の有無を検知することが難しくなる。このように、空撮によって各ソーラーパネル上の異常の有無を検知する点と、ソーラーパネルが所在する位置を特定する点は、ある意味でトレードオフの関係にあり、それゆえに空撮によるメガソーラーの点検が普及していないのが実情である。

これらのことから、飛行体による空撮によってメガソーラーを形成する各ソーラーパネル上の異常の有無を検知する場合に、いかにして各ソーラーパネルが所在する位置を特定するかが重要な課題となっている。

本発明は、上記の従来技術の課題を解消するためになされたものであって、飛行体による空撮によってメガソーラーを形成する各ソーラーパネル上の異常の有無を検知する場合に、各ソーラーパネルが所在する位置を効率良く特定することができる空撮画像処理システム及び空撮画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、請求項１に記載の発明は、メガソーラーの上空を飛行しつつ、該メガソーラーの一部を形成する複数のソーラーパネルを含む映像データを空撮する撮像装置を搭載した飛行体と、前記飛行体の撮像装置により空撮された映像データに含まれる空撮画像データを画像処理する空撮画像処理装置とを含む空撮画像処理システムであって、前記空撮画像処理装置は、隣り合う空撮画像データ間に共通のソーラーパネルが含まれるよう前記映像データから複数の空撮画像データを切り出す切出手段と、前記切出手段により切り出された隣り合う空撮画像データに共通して存在する特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段により抽出された特徴点に基づいて、前記切出手段により切り出された隣り合う空撮画像データにそれぞれ所在する共通のソーラーパネルを特定する特定手段と、前記特定手段により特定された共通のソーラーパネルに基づいて、前記切出手段により切り出された複数の空撮画像データに含まれる各ソーラーパネルのそれぞれに該ソーラーパネルを一意に識別する識別情報を付与する識別情報付与手段とを備えたことを特徴とする。

また、請求項２に記載の発明は、請求項１に記載の発明において、前記撮像装置は、赤外光の映像データと可視光の映像データとをそれぞれ撮像し、前記切出手段は、前記赤外光の映像データから複数の赤外光の空撮画像データを切り出すとともに、前記可視光の映像データから複数の可視光の空撮画像データを切り出し、前記特徴点抽出手段は、前記赤外光の空撮画像データと前記可視光の空撮画像データのうち少なくとも一方から特徴点を抽出し、前記特定手段は、前記赤外光の空撮画像データ間又は前記可視光の空撮画像データ間で共通のソーラーパネルを特定し、前記識別情報付与手段は、前記特定手段により特定された共通のソーラーパネルに基づいて、前記複数の赤外光の空撮画像データに含まれる各ソーラーパネルのそれぞれに該ソーラーパネルを一意に識別する識別情報を付与するとともに、前記複数の可視光の空撮画像データに含まれる各ソーラーパネルのそれぞれに該ソーラーパネルを一意に識別する識別情報を付与することを特徴とする。

また、請求項３に記載の発明は、請求項２に記載の発明において、前記特徴点抽出手段は、前記赤外光の空撮画像データにおける輝度の分布から前記特徴点を抽出することを特徴とする。

また、請求項４に記載の発明は、請求項１、２又は３に記載の発明において、前記ソーラーパネルの近傍に設置された標識部材をさらに備え、前記特徴点抽出手段は、前記空撮画像データに含まれる標識部材の像を用いて前記特徴点を抽出することを特徴とする。

また、請求項５に記載の発明は、請求項１〜４のいずれか一つに記載の発明において、前記切出手段は、前記飛行体の飛行速度、前記飛行体の飛行高度及び前記撮像装置の画角に基づいて、前記映像データから前記空撮画像データを切り出す間隔を算定することを特徴とする。

また、請求項６に記載の発明は、請求項１〜５のいずれか一つに記載の発明において、前記特定手段は、１の空撮画像データに含まれる複数のソーラーパネルの位置関係を判別し、前記識別情報付与手段は、前記共通のソーラーパネルと、前記空撮画像データに含まれる複数のソーラーパネルの位置関係とに基づいて前記複数の空撮画像データに含まれる各ソーラーパネルの位置関係を判別し、各ソーラーパネルに前記識別情報を付与することを特徴とする。

また、請求項７に記載の発明は、メガソーラーの上空を飛行しつつ、該メガソーラーの一部を形成する複数のソーラーパネルを含む映像データを空撮する撮像装置を搭載した飛行体と、前記飛行体の撮像装置により空撮された映像データに含まれる空撮画像データを画像処理する空撮画像処理装置とを含む空撮画像処理システムによる空撮画像処理方法であって、隣り合う空撮画像データ間に共通のソーラーパネルが含まれるよう前記映像データから複数の空撮画像データを切り出す切出ステップと、前記切出ステップにより切り出された隣り合う空撮画像データに共通して存在する特徴点を抽出する特徴点抽出ステップと、前記特徴点抽出ステップにより抽出された特徴点に基づいて、前記切出ステップにより切り出された隣り合う空撮画像データにそれぞれ所在する共通のソーラーパネルを特定する特定ステップと、前記特定ステップにより特定された共通のソーラーパネルに基づいて、前記切出ステップにより切り出された複数の空撮画像データに含まれる各ソーラーパネルのそれぞれに該ソーラーパネルを一意に識別する識別情報を付与する識別情報付与ステップとを含むことを特徴とする。

本発明によれば、飛行体がメガソーラーの上空を飛行しつつ該メガソーラーの一部を形成する複数のソーラーパネルを空撮した映像データを用い、隣り合う空撮画像データ間に共通のソーラーパネルが含まれるよう映像データから複数の空撮画像データを切り出し、隣り合う空撮画像データに共通して存在する特徴点を抽出し、隣り合う空撮画像データにそれぞれ所在する共通のソーラーパネルを特徴点に基づいて特定し、共通のソーラーパネルに基づいて複数の空撮画像データに含まれる各ソーラーパネルのそれぞれに該ソーラーパネルを一意に識別する識別情報を付与するので、飛行体による空撮によってメガソーラーを形成する各ソーラーパネル上の異常の有無を検知する場合に、各ソーラーパネルが所在する位置を効率良く特定することができる。

図１は、実施例に係る空撮画像処理についての説明図である。 図２は、空撮画像処理システムのシステム構成を示す構成図である。 図３は、空撮画像処理装置の記憶部が記憶するデータの説明図である。 図４は、切出部による画像データの切出し間隔についての説明図である。 図５は、切出部による画像データの切出処理を示すフローチャートである。 図６は、画像データのつなぎ合わせにかかる処理手順を示すフローチャートである。 図７は、赤外光と可視光の画像データにおける特徴の相互利用についての説明図である。 図８は、識別情報の付与の具体例についての説明図である。 図９は、標識部材の設置についての説明図である。

以下に、添付図面を参照して、本発明に係る空撮画像処理システム及び空撮画像処理方法の好適な実施例を詳細に説明する。

図１は、実施例に係る空撮画像処理についての説明図である。実施例に係る空撮画像処理システムは、飛行体によりメガソーラーの画像データを空撮し、空撮した画像データを用いて保守の対象となるソーラーパネルを特定する。

具体的には、図１（ａ）に示すように、飛行体３０がメガソーラーの上空を飛行しつつ、該メガソーラーの一部を形成する複数のソーラーパネル４０を含む映像データを空撮する。このとき、飛行体３０は、ソーラーパネル４０における異常の有無を検知できる程度の高度で飛行する。

そして、飛行体３０により撮像された映像データから複数の画像データを切り出す。このとき、映像データの１フレーム分を１つの画像データとして切り出す。また、切り出した複数の映像データのうち、時系列において隣り合う画像データ間に共通のソーラーパネルの像が含まれるように切り出しを行なう。

さらに、隣り合う画像データ間に共通して存在する特徴点を抽出し、抽出した特徴点によりソーラーパネルの対応付けを行なって、映像データに含まれるソーラーパネルを一意に識別する識別情報を付与する。

図１（ｂ）は、映像データから切り出された３つの画像データＦ１〜Ｆ３を示している。ここで、映像データは、赤外光の映像データであり、画像データＦ１〜Ｆ３は赤外光の画像データである。

ソーラーパネル４０は、可視光の画像データでは同一の外観であっても、赤外光の画像データでは輝度に差が生ずる場合がある。例えば、ソーラーパネル４０の性能のばらつきにより出力が異なる場合には、出力の差によりソーラーパネル４０の温度に差が生じ、この温度差が赤外光の画像データでは輝度差として現れる。同様に、保守の対象とすべきソーラーパネル４０についても、その動作状態の異常が温度に現れ、赤外光の画像データにおける輝度差となる。図１（ｂ）の画像データＦ１〜Ｆ３では、ソーラーパネル４０の輝度の違いを網掛けによって示している。

本実施例に係る空撮画像処理システムは、赤外光の画像データにおけるソーラーパネル４０の輝度の分布パターンを特徴として利用し、時系列において隣り合う画像データ間で共通する特徴を重ね合わせることで、複数の画像データをつなぎ合わせる。図１（ｃ）では、ソーラーパネル４０の輝度の分布パターンが一致するように画像データＦ１〜Ｆ３をつなぎ合わせた状態を示している。

このように、飛行体３０により撮像したメガソーラーの映像データから複数の画像データを切り出し、隣り合う画像データに共通して存在する特徴を抽出し、抽出した特徴に基づいて画像データをつなぎ合わせることで、メガソーラーに含まれる複数のソーラーパネル４０の位置関係を判別し、各ソーラーパネル４０を一意に識別する識別情報を付与することができる。

そして、このように各ソーラーパネルを一意に識別する識別情報を付与すれば、メガソーラーを形成する各ソーラーパネル上の異常の有無を検知する場合に、各ソーラーパネルが所在する位置を効率良く特定することができる。

次に、空撮画像処理システムの構成について説明する。図２は、空撮画像処理システムのシステム構成を示す構成図である。図２に示すように、空撮画像処理システムは、飛行体３０と空撮画像処理装置１０とを有する。

飛行体３０は、撮像ユニット３１、ＧＰＳ（Global Positioning System）ユニット３２、無線通信部３３、複数の回転翼３４、記憶部３５及び制御部３６を有する。

撮像ユニット３１は、赤外光カメラと可視光カメラとを有する。赤外光カメラと可視光カメラとは、同一の範囲を同時に撮像する。赤外光カメラにより撮像された赤外光の映像データと、可視光カメラにより撮像された可視光の映像データとは、それぞれ制御部３６に出力される。

ＧＰＳユニット３２は、複数のＧＰＳ衛星から信号を受信して自装置の位置を特定するユニットである。無線通信部３３は、空撮画像処理装置１０と無線通信するためのインタフェース部である。複数の回転翼３４は、制御部３６からの制御を受けて個別に回転し、飛行体３０の姿勢制御及び移動を実現する。

記憶部３５は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、飛行履歴データ３５ａ、赤外映像データ３５ｂ及び可視映像データ３５ｃを記憶する。飛行履歴データ３５ａは、飛行体３０の飛行の履歴を時刻とともに記録したデータであり、各時刻における位置情報、飛行高度、飛行方向、飛行速度が示されている。赤外映像データ３５ｂは、撮像ユニット３１の赤外光カメラにより撮像された赤外光の映像データである。可視映像データ３５ｃは、撮像ユニット３１の可視光カメラにより撮像された可視光の映像データである。

制御部３６は、飛行体３０を全体制御する制御部であり、飛行制御部３６ａ及び撮像制御部３６ｂを有する。飛行制御部３６ａは、予め設定された飛行経路とＧＰＳユニット３２が出力する位置情報とを用いて複数の回転翼３４を制御することで、飛行を制御する。

撮像制御部３６ｂは、撮像ユニット３１にソーラーパネル４０を撮像させ、得られた赤外映像データ３５ｂ及び可視映像データ３５ｃを飛行履歴データ３５ａと対応付けて記憶部３５に格納する。また、撮像制御部３６ｂは、飛行履歴データ３５ａ、赤外映像データ３５ｂ及び可視映像データ３５ｃを空撮画像処理装置１０に送信する。飛行履歴データ３５ａ、赤外映像データ３５ｂ及び可視映像データ３５ｃの空撮画像処理装置１０への送信は、飛行中にリアルタイムで行ってもよいし、飛行の終了後に一括して行ってもよい。

空撮画像処理装置１０は、表示部１１、入力部１２、無線通信部１３、記憶部１５及び制御部１６を有する。表示部１１は、液晶パネルやディスプレイ装置等である。入力部１２は、キーボードやマウス等である。無線通信部１３は、飛行体３０と無線通信するためのインタフェース部である。

記憶部１５は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、パネル設置データ１５ａ、赤外画像合成データ１５ｂ及び可視画像合成データ１５ｃを記憶する。パネル設置データ１５ａは、ソーラーパネル４０の設置位置や該ソーラーパネル４０の製造に係る情報を示すデータである。

赤外画像合成データ１５ｂは、赤外映像データ３５ｂから切り出された画像データをつなぎ合わせ、各ソーラーパネル４０に識別情報を付与したデータである。可視画像合成データ１５ｃは、可視映像データ３５ｃから切り出された画像データをつなぎ合わせ、各ソーラーパネル４０に識別情報を付与したデータである。

制御部１６は、空撮画像処理装置１０を全体制御する制御部であり、切出部１６ａ、特徴抽出部１６ｂ、共通パネル特定部１６ｃ、識別情報付与部１６ｄ及び異常検知部１６ｅを有する。実際には、これらの機能部に対応するプログラムを図示しないＲＯＭや不揮発性メモリに記憶しておき、これらのプログラムをＣＰＵ（Central Processing Unit）にロードして実行することにより、切出部１６ａ、特徴抽出部１６ｂ、共通パネル特定部１６ｃ、識別情報付与部１６ｄ及び異常検知部１６ｅにそれぞれ対応するプロセスを実行させることになる。

切出部１６ａは、飛行体３０から飛行履歴データ３５ａ、赤外映像データ３５ｂ及び可視映像データ３５ｃを取得し、それぞれから画像データを切り出す処理部である。切出部１６ａは、既に説明したように、映像データの１フレーム分を１つの画像データとして切り出す。また、切り出した複数の映像データのうち、時系列において隣り合う画像データ間に共通のソーラーパネルの像が含まれるように切り出しを行なう。具体的には、飛行履歴データ３５ａを参照して飛行体３０の飛行高度及び飛行速度を取得し、時系列において隣り合う画像データが所定の比率で重なるように画像データの切出し間隔を決定する。

特徴抽出部１６ｂは、隣り合う画像データに共通して存在する特徴を抽出する処理部である。赤外光の画像データでは、ソーラーパネル４０の輝度の分布パターンを特徴として利用することができる。可視光の画像データでは、ソーラーパネル４０の周囲の物品などを特徴として利用することができる。赤外光や可視光の画像データからの特徴の抽出については、任意のアルゴリズムを用いればよい。

共通パネル特定部１６ｃは、特徴抽出部１６ｂにより抽出された特徴に基づいて、隣り合う画像データにそれぞれ所在する共通のソーラーパネル４０を特定する処理部である。具体的には、共通パネル特定部１６ｃは、それぞれの画像データに対して画像処理を行なってソーラーパネル４０を認識し、それぞれの画像データ内でのソーラーパネル４０の位置関係を判別する。そして、画像データ間に共通して存在する特徴から画像データ間の対応関係を決定し、画像データ間の対応関係と、画像データ内のソーラーパネル４０の位置関係から、共通のソーラーパネル４０を特定する。

ソーラーパネル４０を認識する画像処理としては、例えば、エッジを抽出し、直線を検出し、直線により囲まれた領域を検出し、該領域の大きさが所定の範囲内である場合にソーラーパネル４０であると認識すればよい。

識別情報付与部１６ｄは、共通パネル特定部１６ｃにより特定された共通のソーラーパネル４０に基づいて複数の画像データをつなぎ合わせ、各ソーラーパネル４０に識別情報を付与して合成画像データを生成し、記憶部１５に格納する。なお、赤外映像データ３５ｂからは赤外画像合成データ１５ｂを、可視映像データ３５ｃからは可視画像合成データ１５ｃをそれぞれ生成する。また、複数の画像データをつなぎ合わせる場合には、共通のソーラーパネル４０の形状やサイズなどが一致するよう必要に応じて画像変換を行なう。

異常検知部１６ｅは、赤外画像合成データ１５ｂ及び可視画像合成データ１５ｃを用いて異常の検知を行なう処理部である。赤外画像合成データ１５ｂからは、温度の異常を検知できる。例えば、ソーラーパネル４０の温度が高すぎる場合には、該ソーラーパネル４０上の異物などにより不適切な抵抗成分が生じていることが示される。また、ソーラーパネル４０の温度が低すぎる場合には、該ソーラーパネル４０が正常に動作していないことが示される。可視画像合成データ１５ｃからは、ソーラーパネル４０の物理的な破損や汚れ、異物などを検知できる。

さらに、赤外画像合成データ１５ｂと可視画像合成データ１５ｃを対応付けることで、異常についての分析が可能である。例えば、赤外画像合成データ１５ｂにより異常な高温が検知され、可視画像合成データ１５ｃにより異物が検知されれば、異物によりソーラーパネル４０の温度が上昇したと分析可能である。異常検知部１６ｅは、異常の検知と分析の結果を表示部１１等に出力する。なお、赤外画像合成データ１５ｂと可視画像合成データ１５ｃの一方のみで異常が検知されたソーラーパネル４０であっても、対応する他方の画像データを合わせて出力することが望ましい。

次に、空撮画像処理装置１０の記憶部１５が記憶するデータについて説明する。図３は、空撮画像処理装置１０の記憶部１５が記憶するデータの説明図である。図３（ａ）に示すパネル設置データ１５ａは、ソーラーパネル４０の識別情報であるソーラーパネルＩＤに対し、設置位置、設置日、製造者、型番、製造日などを対応付けている。設置位置は、該ソーラーパネル４０が設置された地点を特定する。地点の特定には、例えば緯度経度を用いればよい。

図３（ａ）ではパネル設置データ１５ａは、ソーラーパネル「Ｐ０００１」であるソーラーパネル４０の設置位置が「３５．６７０９８６，１３９．７４５８８２」であり、設置日が「２０１３０６１０」であり、製造者が「ｍａｌｓｏ」であり、型番が「ｓｌｐ−０７」であり、製造年月が「２０１３０２０２」であることを示している。

図３（ｂ）に示す赤外画像合成データ１５ｂは、赤外映像データ３５ｂから切り出された画像データをつなぎ合わせ、各ソーラーパネル４０に識別情報を付与したデータである。この赤外画像合成データ１５ｂは、メガソーラーを形成する各ソーラーパネル４０の位置関係を示すとともに、各ソーラーパネル４０に識別情報として番号（１〜６９）を付している。

図３（ｃ）に示す可視画像合成データ１５ｃは、可視映像データ３５ｃから切り出された画像データをつなぎ合わせ、各ソーラーパネル４０に識別情報を付与したデータである。この可視画像合成データ１５ｃは、メガソーラーを形成する各ソーラーパネル４０の位置関係を示すとともに、各ソーラーパネル４０に識別情報として番号（１〜６９）を付している。

次に、切出部１６ａによる画像データの切出し間隔について説明する。図４は、切出部１６ａによる画像データの切出し間隔についての説明図である。図４に示すように、ソーラーパネル４０から飛行体３０までの高度である飛行高度をｈ、飛行速度をｖ、撮像ユニット３１の画角をθとすると、時刻ｔ１の画像データと時刻ｔ２の画像データとの重なり率がＲとなる切出し間隔Ｔ（ｔ２−ｔ１）は、

となる。

切出部１６ａは、飛行履歴データ３５ａに示された飛行体３０の飛行高度及び飛行速度に基づいて、重なり率がＲとなる切出し間隔Ｔを算出する。そして、±ｔｈを誤差範囲として、Ｔ±ｔｈの間隔で画像データの切出しを行なう。

図５は、切出部１６ａによる画像データの切出処理を示すフローチャートである。図５のフローチャートは、映像データからｎ番目の画像データＦｎを切り出す際の処理手順を示しており、（ｎ−１）番目の画像データを切り出した後に開始される。なお、（ｎ−１）番目の画像データが撮像された時刻をｔ（ｎ−１）とする。

切出部１６ａは、まず、次のフレームを読み込む（ステップＳ１０１）。このとき、読み込んだフレームの撮像時刻がｔｎである。切出部１６ａは、ｔｎ−ｔ（ｎ−１）とＴ＋ｔｈとを比較する（ステップＳ１０２）。

ｔｎ−ｔ（ｎ−１）≦Ｔ＋ｔｈであれば（ステップＳ１０２；Ｎｏ）、切出部１６ａは、ｔｎ−ｔ（ｎ−１）とＴ−ｔｈとを比較する（ステップＳ１０３）。

ｔｎ−ｔ（ｎ−１）≦Ｔ−ｔｈであれば（ステップＳ１０３；Ｎｏ）、（ｎ−１）番目の画像データを切り出してから十分な時間が経過していないので、ステップＳ１０１に移行して次のフレームを読み込む。

ｔｎ−ｔ（ｎ−１）＞Ｔ−ｔｈであれば（ステップＳ１０３；Ｙｅｓ）、切出部１６ａは、現在のフレームの画像の状態が良好であるか否かを判定する（ステップＳ１０４）。現在のフレームの画像状態が良好でなければ（ステップＳ１０４；Ｎｏ）、切出部１６ａは、ステップＳ１０１に移行して次のフレームを読み込む。

現在のフレームの画像状態が良好であれば（ステップＳ１０４；Ｙｅｓ）、切出部１６ａは、現在のフレームを画像データＦｎとしてサンプリングする（ステップＳ１０５）。そして、ｎをインクリメントし（ステップＳ１０６）、処理を終了する。

なお、ｔｎ−ｔ（ｎ−１）＞Ｔ＋ｔｈであれば（ステップＳ１０２；Ｙｅｓ）、良好な画像データが得られないままＴ＋ｔｈを超過しているので、画像データＦｎのサンプリングを行なわず、ｎをインクリメントして（ステップＳ１０６）、処理を終了する。この場合には、次の処理でのｔ（ｎ−１）はｔ（ｎ−２）＋Ｔを用いる。

次に、画像データのつなぎ合わせについて説明する。図６は、画像データのつなぎ合わせにかかる処理手順を示すフローチャートである。まず、特徴抽出部１６ｂは、同一の映像データから切り出した複数の画像データから１つの画像データを取得し、ベース画像データとする（ステップＳ２０１）。そして、特徴抽出部１６ｂは、ベース画像データの特徴を抽出する（ステップＳ２０２）。

その後、特徴抽出部１６ｂは、ベース画像データに隣接する画像データを追加する画像データとして取得し（ステップＳ２０３）、追加する画像データの特徴を抽出する（ステップＳ２０４）。

共通パネル特定部１６ｃは、ベース画像データの特徴と追加する画像データの特徴とを対応付ける（ステップＳ２０５）。識別情報付与部１６ｄは、追加する画像データの形状やサイズをベース画像データに合わせて変換（ステップＳ２０６）し、ベース画像データに追加する画像データを重ね合わせてベース画像データを更新する（ステップＳ２０７）。

その後、識別情報付与部１６ｄは、他に追加する画像データが残っているか否かを判定し、追加する画像データが残っていれば（ステップＳ２０８；Ｙｅｓ）、ステップＳ２０３に移行する。そして、全ての画像データの処理が終了したならば（ステップＳ２０８；Ｎｏ）、ベース画像データの各ソーラーパネルに識別情報を付与し、合成画像データとして出力して（ステップＳ２０９）、処理を終了する。

次に、特徴の利用についてさらに説明する。既に説明したように、赤外映像データ３５ｂからは赤外光の画像データを切り出して赤外画像合成データ１５ｂを生成し、可視映像データ３５ｃからは可視光の画像データを切り出して可視画像合成データ１５ｃを生成する。ここで、赤外光の画像データ間を対応付ける際に用いる特徴は、赤外光の画像データ自体の特徴に限らない。可視光の画像データ間の対応関係が特定できれば、同一の時刻に撮像された赤外光の画像データ間の対応関係も特定できるのである。同様に、赤外光の画像データ間の対応関係が特定できれば、同一の時刻に撮像された可視光の画像データ間の対応関係も特定できる。

図７は、赤外光と可視光の画像データにおける特徴の相互利用についての説明図である。図７（ａ）では、時刻ｔ１に赤外光の画像データＦ１ａと、可視光の画像データＦ１ｂとが撮像されている。また、時刻ｔ２に赤外光の画像データＦ２ａと、可視光の画像データＦ２ｂとが撮像されている。そして、時刻ｔ３に赤外光の画像データＦ３ａと、可視光の画像データＦ３ｂとが撮像されている。

赤外光の画像データＦ１ａと赤外光の画像データＦ２ａとの間には、特徴として利用可能な輝度の分布パターンが存在する。一方、赤外光の画像データＦ２ａと赤外光の画像データＦ３ａとの間には、特徴として利用可能な輝度の分布パターンが存在しない。

また、可視光の画像データＦ１ｂと可視光の画像データＦ２ｂとの間には、特徴として利用可能な物品の像等は存在しない。一方、可視光の画像データＦ２ｂと可視光の画像データＦ３ｂとの間には、特徴として利用可能な樹木の像が存在する。

そこで、時刻ｔ１に撮像した画像データ（Ｆ１ａ，Ｆ１ｂ）と時刻ｔ２に撮像した画像データ（Ｆ２ａ，Ｆ２ｂ）とは赤外光の画像データ間（Ｆ１ａ、Ｆ２ａ）の特徴によって対応付ける。そして、時刻ｔ２に撮像した画像データ（Ｆ２ａ，Ｆ２ｂ）と時刻ｔ３に撮像した画像データ（Ｆ３ａ，Ｆ３ｂ）とは可視光の画像データ間（Ｆ１ｂ、Ｆ２ｂ）の特徴によって対応付ける。

図７（ｂ）に示す赤外画像合成データＬＦａは、かかる特徴の相互利用を行なって赤外光の画像データＦ１ａ〜Ｆ３ａから生成した合成画像データである。また、図７（ｂ）に示す可視画像合成データＬＦｂは、かかる特徴の相互利用を行なって可視の画像データＦ１ｂ〜Ｆ３ｂから生成した合成画像データである。

次に、識別情報の付与の具体例について説明する。図８は、識別情報の付与の具体例についての説明図である。まず、共通パネル特定部１６ｃは、それぞれの画像データに対して画像処理を行なってソーラーパネルを認識し、画像データ内で一意な識別番号を付与するナンバリングを行なう。

この結果、図８（ａ）に示した例では、画像データＦ１ａ内のソーラーパネルには「１」〜「３４」の識別番号が付与され、画像データＦ２ａ内のソーラーパネルには「１」〜「３６」の識別番号が付与されている。

さらに、共通パネル特定部１６ｃは、それぞれの画像データ内でのソーラーパネルの位置関係を判別する。図８（ｂ）に示した例では、それぞれの画像データについて、上下左右に隣接するソーラーパネル間に接続関係を持たせたリンク構造を形成することで、ソーラーパネルの位置関係を示している。

その後、共通パネル特定部１６ｃは、画像データ間に共通して存在する特徴から画像データ間の対応関係を決定し、画像データ間の対応関係と、画像データ内のソーラーパネルの位置関係から、共通のソーラーパネルを特定する。

図８（ａ）及び図８（ｂ）に示した例では、画像データＦ１ａにおいて識別番号「２２」が付与されたソーラーパネルと、画像データＦ２ａにおいて識別番号「１９」が付与されたソーラーパネルとが共通のソーラーパネルである。

識別情報付与部１６ｄは、共通パネル特定部１６ｃにより特定された共通のソーラーパネルを基準として、図８（ｃ）に示すように、画像データＦ１ａのリンク構造と画像データＦ２ａのリンク構造とを接続する。その後、各ソーラーパネルに識別番号を振り直すリナンバリングを行なう。

このように、識別番号の振り直しを行なうことにより、複数の画像データに亘って一意な識別情報を付与することができる。図８（ｄ）に示した例では、「１」〜「５４」の識別番号が付与されている。

これまでの説明では、ソーラーパネルの輝度の分布パターンや、ソーラーパネルの周囲の物品などを特徴として利用する場合について説明を行なったが、予め特徴として利用可能な標識部材を設置することとしてもよい。

図９は、標識部材の設置についての説明図である。図９に示す標識部材Ｉｎ１〜Ｉｎ３は、例えば、適切な間隔でソーラーパネル４０の枠に固定し、飛行体３０がソーラーパネル４０を撮像した場合に常にいずれかの標識部材が映像データに映るようにする。

また、標識部材Ｉｎ１〜Ｉｎ３は、可視光で識別可能に色や形状を設定するとともに、赤外光で所定の輝度分布パターンをなすように発熱状態を設定することが好ましい。さらに、複数の標識部材Ｉｎ１〜Ｉｎ３は、個別に色、形状、発熱状態を異ならせる。

このように標識部材Ｉｎ１〜Ｉｎ３を適切に配置すれば、映像データから確実に特徴を抽出し、画像データのつなぎ合わせを精度良く行なうことが可能となる。

上述してきたように、本実施例に係る点検対象特定システムは、飛行体３０により撮像したメガソーラーの映像データから複数の画像データを切り出し、隣り合う画像データに共通して存在する特徴を抽出し、抽出した特徴に基づいて画像データをつなぎ合わせることで、メガソーラーに含まれる複数のソーラーパネル４０の位置関係を判別し、各ソーラーパネル４０を一意に識別する識別情報を付与することができる。このため、メガソーラーを形成する各ソーラーパネル上の異常の有無を検知する場合に、各ソーラーパネルが所在する位置を効率良く特定することができる。

なお、本実施例に図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部または一部を各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

本発明に係る空撮画像処理システム及び空撮画像処理方法は、飛行体による空撮によってメガソーラーを形成する各ソーラーパネル上の異常の有無を検知する場合に、各ソーラーパネルが所在する位置を効率良く特定する場合に適している。

１０ 空撮画像処理装置
１１ 表示部
１２ 入力部
１３、３３ 無線通信部
１５、３５ 記憶部
１５ａ パネル設置データ
１５ｂ 赤外画像合成データ
１５ｃ 可視画像合成データ
１６、３６ 制御部
１６ａ 切出部
１６ｂ 特徴抽出部
１６ｃ 共通パネル特定部
１６ｄ 識別情報付与部
１６ｅ 異常検知部
３０ 飛行体
３１ 撮像ユニット
３２ ＧＰＳユニット
３４ 回転翼
３５ａ 飛行履歴データ
３５ｂ 赤外映像データ
３５ｃ 可視映像データ
３６ａ 飛行制御部
３６ｂ 撮像制御部
４０ ソーラーパネル

Claims (7)

1. メガソーラーの上空を飛行しつつ、該メガソーラーの一部を形成する複数のソーラーパネルを含む映像データを空撮する撮像装置を搭載した飛行体と、前記飛行体の撮像装置により空撮された映像データに含まれる空撮画像データを画像処理する空撮画像処理装置とを含む空撮画像処理システムであって、
   前記空撮画像処理装置は、
   隣り合う空撮画像データ間に共通のソーラーパネルが含まれるよう前記映像データから複数の空撮画像データを切り出す切出手段と、
   前記切出手段により切り出された隣り合う空撮画像データに共通して存在する特徴点を抽出する特徴点抽出手段と、
   前記特徴点抽出手段により抽出された特徴点に基づいて、前記切出手段により切り出された隣り合う空撮画像データにそれぞれ所在する共通のソーラーパネルを特定する特定手段と、
   前記特定手段により特定された共通のソーラーパネルに基づいて、前記切出手段により切り出された複数の空撮画像データに含まれる各ソーラーパネルのそれぞれに該ソーラーパネルを一意に識別する識別情報を付与する識別情報付与手段と
   を備えたことを特徴とする空撮画像処理システム。
2. 前記撮像装置は、赤外光の映像データと可視光の映像データとをそれぞれ撮像し、
   前記切出手段は、前記赤外光の映像データから複数の赤外光の空撮画像データを切り出すとともに、前記可視光の映像データから複数の可視光の空撮画像データを切り出し、
   前記特徴点抽出手段は、前記赤外光の空撮画像データと前記可視光の空撮画像データのうち少なくとも一方から特徴点を抽出し、
   前記特定手段は、前記赤外光の空撮画像データ間又は前記可視光の空撮画像データ間で共通のソーラーパネルを特定し、
   前記識別情報付与手段は、前記特定手段により特定された共通のソーラーパネルに基づいて、前記複数の赤外光の空撮画像データに含まれる各ソーラーパネルのそれぞれに該ソーラーパネルを一意に識別する識別情報を付与するとともに、前記複数の可視光の空撮画像データに含まれる各ソーラーパネルのそれぞれに該ソーラーパネルを一意に識別する識別情報を付与する
   ことを特徴とする請求項１に記載の空撮画像処理システム。
3. 前記特徴点抽出手段は、前記赤外光の空撮画像データにおける輝度の分布から前記特徴点を抽出することを特徴とする請求項２に記載の空撮画像処理システム。
4. 前記ソーラーパネルの近傍に設置された標識部材をさらに備え、
   前記特徴点抽出手段は、前記空撮画像データに含まれる標識部材の像を用いて前記特徴点を抽出することを特徴とする請求項１、２又は３に記載の空撮画像処理システム。
5. 前記切出手段は、前記飛行体の飛行速度、前記飛行体の飛行高度及び前記撮像装置の画角に基づいて、前記映像データから前記空撮画像データを切り出す間隔を算定することを特徴とする請求項１〜４のいずれか一つに記載の空撮画像処理システム。
6. 前記特定手段は、１の空撮画像データに含まれる複数のソーラーパネルの位置関係を判別し、
   前記識別情報付与手段は、前記共通のソーラーパネルと、前記空撮画像データに含まれる複数のソーラーパネルの位置関係とに基づいて前記複数の空撮画像データに含まれる各ソーラーパネルの位置関係を判別し、各ソーラーパネルに前記識別情報を付与する
   ことを特徴とする請求項１〜５のいずれか一つに記載の空撮画像処理システム。
7. メガソーラーの上空を飛行しつつ、該メガソーラーの一部を形成する複数のソーラーパネルを含む映像データを空撮する撮像装置を搭載した飛行体と、前記飛行体の撮像装置により空撮された映像データに含まれる空撮画像データを画像処理する空撮画像処理装置とを含む空撮画像処理システムによる空撮画像処理方法であって、
   隣り合う空撮画像データ間に共通のソーラーパネルが含まれるよう前記映像データから複数の空撮画像データを切り出す切出ステップと、
   前記切出ステップにより切り出された隣り合う空撮画像データに共通して存在する特徴点を抽出する特徴点抽出ステップと、
   前記特徴点抽出ステップにより抽出された特徴点に基づいて、前記切出ステップにより切り出された隣り合う空撮画像データにそれぞれ所在する共通のソーラーパネルを特定する特定ステップと、
   前記特定ステップにより特定された共通のソーラーパネルに基づいて、前記切出ステップにより切り出された複数の空撮画像データに含まれる各ソーラーパネルのそれぞれに該ソーラーパネルを一意に識別する識別情報を付与する識別情報付与ステップと
   を含むことを特徴とする空撮画像処理方法。

Images