JP2020183873A

JP2020183873A - 空撮画像位置特定システムおよび空撮画像位置特定方法。

Info

Publication number: JP2020183873A
Application number: JP2019086763A
Authority: JP
Inventors: 明彦青山; Akihiko Aoyama; 顕上島; Akira Uejima; 匠吾岡島; Shogo Okajima
Original assignee: Comsys Joho System Corp
Current assignee: Comsys Joho System Corp
Priority date: 2019-04-26
Filing date: 2019-04-26
Publication date: 2020-11-12
Anticipated expiration: 2039-04-26
Also published as: JP6799635B2

Abstract

【課題】複数の観察対象物群を表示する空撮画像と、個々の観察対象物の対応関係の特定を可能とする。【解決手段】空撮画像位置特定システムは、飛行体から可視光画像と赤外線画像を受信する画像受信部と、可視光画像および赤外線画像における撮影時の位置情報と撮影方向情報を受信する位置情報受信部と、位置情報を、撮影方向情報に基づき補正し、補正位置情報を求める補正部と、可視光画像および赤外線画像に該補正位置情報を付加する付加部と、を備える。【選択図】図１

Description

この発明は、空撮画像位置特定システムおよび空撮画像位置特定方法に関する。

従来、飛行体（無人航空機（ドローン）等）を利用して、空撮することが広く行われている。このような空撮画像は個人が景色を観賞するために利用されるだけでなく、災害救助、農業、生態調査、報道、インフラ点検、異常箇所の点検等、業務上利用されることもある。

例えばインフラ点検の一例として、太陽光発電所の太陽光発電設備（太陽光パネル等）の点検に空撮画像を利用することができる。太陽光発電設備は主に光起電力効果によって発電するため、太陽光を受ける面の汚れ、破損等により発電に支障をきたす。空撮画像によって、太陽光発電設備の汚れ、破損等を把握することが可能である。したがって、空撮画像によって太陽光発電設備を撮影して点検することが太陽光発電所において発電効率を高めるのに有効である。

また、太陽電池モジュール表面を撮影して得られた撮影画像から、異物の厚さを求め、検出した厚さを基準値と比較し、検出した厚さが基準値を超える太陽電池モジュールについて、異常があると判定する点検方法もある（特許文献１参照）。

特開２０１４−０８２２７２号公報

空撮画像を利用して太陽光発電設備等、観察対象物の点検をする場合、当該画像に表示された状態（異常等）を把握することができるだけでは十分ではない。観察対象物の点検には、当該対象物の状態だけでなく、対象物の特定も必要である。なお、特定とは、例えば対象物の位置の特定や、一群の中から対象物を特定することである。

空撮画像を用いた観察対象物の点検には、画像における対象物の状態を把握可能な解像度が求められ、かつ上記の通り空撮画像と対象物の対応関係の特定も求められる。観察対象物によっては、求められている解像度で空撮すると、観察対象物の全体が画像内に収まりきらない場合がありうる。したがって、観察対象物を漏れなく点検するには、観察対象物全体を複数の領域に分割して撮影する場合もある。この場合、観察対象物を分割しているため、観察対象物の全体のうち、空撮画像がどの部分を撮影したものか把握困難となることがある。

また、太陽光発電所としてのメガソーラーのように、観察対象物が同一種の集合体であり、その１つ１つを点検するという利用方法もある。この場合、空撮画像の表示内容だけでは、画像が全体のうちのいずれの太陽光発電設備（太陽光パネル等）を示すものなのか把握困難である。

この発明は、上記課題を解決するためになされたものであり、その目的は、空撮画像と観察対象物の対応関係の特定を可能とすることである。

実施形態の空撮画像位置特定システムは、飛行体から可視光画像と赤外線画像を受信する画像受信部と、可視光画像および赤外線画像における撮影時の位置情報と撮影方向情報を受信する位置情報受信部と、位置情報を、撮影方向情報に基づき補正し、補正位置情報を求める補正部と、可視光画像および赤外線画像に該補正位置情報を付加する付加部と、を備える。
前記空撮画像位置特定システムにおいて、位置情報は、飛行体が撮影に対応して受けた全球測位衛星システムからの航法信号を含み、撮影方向情報は、飛行体の機体の向きと、飛行体に設けられた撮影部の向きとを含み、補正部は、航法信号に基づき、可視光画像と赤外線画像の位置情報を、撮影方向に基づき補正してもよい。
前記空撮画像位置特定システムにおいて、画像受信部は、飛行体が実質的に同時に撮影した、あるいは同期して撮影された前記可視光画像および前記赤外線画像を受信し、可視光画像および赤外線画像それぞれの撮影時刻と、飛行体の飛行速度とを受信する補足情報受信部をさらに備え、補正部は、可視光画像および赤外線画像それぞれの撮影時刻の時刻差と飛行速度に基づき、可視光画像および赤外線画像の撮影位置のずれ量を求め、当該ずれ量も補正位置情報の補正に用いてもよい。
前記空撮画像位置特定システムにおいて、補正位置情報に基づき、可視光画像および赤外線画像の相対位置を特定し、さらに画角と視差を計算し、位置合わせをした上で、当該可視光画像と当該赤外線画像を重畳して重畳画像を作成する重畳部をさらに備えてもよい。
前記空撮画像位置特定システムにおいて、可視光画像について、正射投影する処理を実行し、オルソ画像を生成するオルソ画像作成部をさらに備えてもよい。
前記空撮画像位置特定システムにおいて、赤外線画像における複数の観察対象物群から個々の観察対象物を特定し、当該特定した個々の観察対象物から特定の温度を示す被疑観察対象物を特定し、さらに被疑観察対象物の平均温度と最高温度の差分から閾値を超える不良観察対象物を特定する特定部をさらに備えてもよい。
前記空撮画像位置特定システムにおいて、特定部は、重畳画像、オルソ画像および赤外線画像の少なくともいずれか１つにおいて、不良観察対象物の位置を特定して強調表示させてもよい。
前記空撮画像位置特定システムにおいて、可視光画像、オルソ画像、重畳画像、赤外線画像、および不良観察対象物の位置を特定した位置特定画像のうち、少なくとも２つを同時に表示する報告書データを作成する作成部をさらに備えてもよい。

実施形態によれば、複数の観察対象物群を表示する空撮画像と、個々の観察対象物の対応関係の特定が可能である。

第１実施形態の空撮画像位置特定システムを示す概略ブロック図。赤外線画像の概略図。赤外線画像の概略図。可視光画像の概略図。第１実施形態の補正処理の概要を示す概念図。第１実施形態の概略フローチャート。太陽光発電所の点検システムにおける空撮画像の取得の概要を示す概念図。第２実施形態の空撮画像位置特定システムを示す概略ブロック図。第２実施形態の概略フローチャート。第３実施形態の空撮画像位置特定システムを示す概略ブロック図。重畳画像の一例の概要を示す概念図。第４実施形態の空撮画像位置特定システムを示す概略ブロック図。オルソ画像の一例の概要を示す概念図。第５実施形態の空撮画像位置特定システムを示す概略ブロック図。第５実施形態の特定部の処理の一例を示す概念図。重畳画像における補正処理前の不良観察対象物のマーキング位置を示す概念図。重畳画像における補正処理後の不良観察対象物のマーキング位置を示す概念図。変形例の地図データを示す概略図。第７実施形態の空撮画像位置特定システムを示す概略ブロック図。報告書データを示す概略図。

図１〜図１９を参照して、第１実施形態〜第５実施形態にかかる空撮画像位置特定システムについて説明する。

［第１実施形態］
第１実施形態にかかる空撮画像位置特定システム１００の全体構成について図１〜図６を参照して説明する。なお、図１における空撮画像位置特定システムは一例であり、その他の構成を含むことを除外するものではなく、様々な形態で実施することが可能である。

（飛行体Ｄの概要）
図１に示すように、飛行体Ｄは、撮影部Ｄ１、位置取得部Ｄ２、ジャイロスコープＤ３、ジンバルＤ４を備える。撮影部Ｄ１は、可視光カメラと赤外線カメラを備え、可視光画像（図２）および赤外線画像（図３）とを同時に、または同期して撮影可能である。位置受信部Ｄ２は、ＧＮＳＳ(Global Navigation Satellite System / 全球測位衛星システム)、例えばＧＰＳ、ＧＬＯＮＡＳＳ、Ｇａｌｉｌｅｏ、準天頂衛星（ＱＺＳＳ）等の測位衛星から航法信号を受信し、飛行体Ｄの３次元位置等を測位し、可視光画像、赤外線画像にそれぞれ付加する（例えばＥＸＩＦ情報）。また位置受信部Ｄ２は、例えば水圧計・気圧計を搭載し、その結果を基に深度・高度に変換してもよい。他の例として、超音波センサー等を搭載し、地表・海底等から飛行体Ｄまでの距離を測ってもよい。その受信された１次元位置情報を可視光画像および赤外線画像に付加する。このようにして可視光画像および赤外線画像の３次元位置が特定可能である。これらは、付加情報として可視光画像および赤外線画像とともに空撮画像位置特定システム１００に送信される。
なお、図２および図３の観察対象物は一例であって、各画像に描写される対象は、その他の種類の観察対象物であってもよい。

飛行体ＤのジャイロスコープＤ３は、飛行体Ｄの傾きを検出する。飛行体Ｄは、方位情報により機体が向いている方位とその方位からの姿勢ズレをジャイロスコープＤ３により求める。飛行体Ｄの方位情報と傾き情報は空撮画像位置特定システム１００に送信される。３軸方向の加速度センサーであってもよい。またジンバルＤ４は、撮影部Ｄ１を飛行体Ｄに傾動可能に支持しており、撮影部Ｄ１の姿勢を制御可能とする。これにより撮影部Ｄ１の光軸の制御を可能とする。撮影部Ｄ１の傾き等に基づく当該光軸方向の情報は空撮画像位置特定システム１００に送信される。また飛行体Ｄは、地磁気センサーＤ５により方位情報を受信する。これにより飛行体Ｄの方位（進路）を把握可能である。飛行体Ｄから空撮画像位置特定システム１００への各種データの送信は送信部Ｔによって実行される。

空撮画像位置特定システム１００は、位置情報受信部１１０、画像受信部１２０、補正部１３０、付加部１４０および制御部Ｃと記憶部Ｓを含んで構成される。位置情報受信部１１０は、飛行体Ｄから、航法信号に基づく飛行体Ｄの測位情報（３次元位置等）、高度、深度等の１次元位置、飛行体Ｄの傾き情報、光軸方向情報を受信する。例えばこれらはＥＸＩＦ情報として画像に付加された情報として受信されてもよい。

画像受信部１２０は、飛行体Ｄの撮影部Ｄ１から可視光画像および赤外線画像を受ける。補正部１３０は、可視光画像および赤外線画像の上記各種位置情報を、上記方位情報、傾き情報、光軸方向情報に基づき補正する。付加部１４０は、可視光画像および赤外線画像にその補正位置情報を付加する。

（補正部１３０）
補正部１３０について、さらに説明する。補正部１３０は、全球測位衛星システムからの航法信号、すなわち衛星が送信する信号発信時刻および衛星軌道に係る情報を含む情報を位置受信部Ｄ２を介して受ける。この情報に基づき２次元位置（例えば緯度・経度）や高度または深度を特定し、これらに基づく飛行体Ｄの３次元位置と時刻とを関連付けた位置情報とする。補正部１３０は、所定の時間間隔で飛行体Ｄの位置情報を特定してもよい。

可視光画像および赤外線画像に描画される撮影対象は、飛行体Ｄの方位および傾きと撮影部Ｄ１における光軸方向とによって、撮影部Ｄ１との位置関係が定まる。つまり必ずしも上記特定された飛行体Ｄの２次元位置の鉛直下方の画像とは限られない。したがって、補正部１３０は、方位および傾き情報と撮影部Ｄ１の向きに基づく光軸方向により、可視光画像および赤外線画像の上記位置情報を補正する。一例として以下、詳細に説明する。なお、図４は、当該補正処理の概要を示す概念図である。

補正部１３０は、可視光画像および赤外線画像の上記各種位置情報を、上記方位情報、傾き情報、光軸方向情報に基づきＶｉｎｃｅｎｔｙ順解法をもって補正する。例えば図４に示すように補正部１３０は、飛行体Ｄの撮影位置の緯度・経度および高度ｈと、複合Ｐｉｔｃｈ角θとによって求められる水平距離Ｓを求める。また補正部１３０は複合Ｙａｗ角と方位情報とから方位角αを求める。この水平距離Ｓと方位角αとに基づいて、補正部１３０は、補正位置情報を求める。具体例は次の通りである。

上記各種位置情報から得られた飛行体Ｄの高度をｈ、上記傾き情報と光軸方向から得られる複合Ｐｉｔｃｈ角をθ、太陽電池パネルの架台長をＬとすると、太陽電池パネルまでの「水平距離Ｓ」は、下記数１により求められる。その他Ｖｉｎｃｅｎｔｙ順解法に用いる「始点」（経度、緯度）は上記各種位置情報であり、「方位角」は上記傾き情報と光軸方向から得られる複合Ｙａｗ角と、地磁気センサーにより得られた方位情報とに基づいて得られる。

（補足）
高度ｈ：
ＧＮＳＳ情報に含まれる（地表面、接地面）から飛行体Ｄ（またはＧＮＳＳ情報受信部(不図示)）までの高さ。あるいは超音波センサー等により計測した高さ。
架台長Ｌ：
接地面(地表等)から、太陽電池パネルの中心位置までの高さ。
始点：
飛行体Ｄの撮影位置（図４：緯度φ₁ 、経度λ₁／鉛直下方位置（接地面））
水平距離Ｓ：
上記撮影位置から補正位置（太陽電池パネルの中心位置ＣＰ／緯度φ₂、経度λ₂）までの距離。

制御部Ｃは、位置情報受信部１１０、画像受信部１２０、補正部１３０および付加部１４０を統合的に制御する。また、制御部Ｃは、位置情報受信部１１０が受信した測位情報（3次元位置情報、時刻情報等）や、画像受信部１２０が受信した各画像データを記憶部Ｓに記憶させる。

［動作］
図５は、本実施形態における処理の流れを示す図である。以下に、図４および図６も参照しつつ、飛行体Ｄの動作を、ステップ番号（Ｓ００１〜Ｓ００４）に沿って説明する。図６は、本実施形態の利用例の１つである、太陽光発電所の点検システムにおける空撮画像の取得の概要を示す概念図、すなわち太陽光パネルを空撮する飛行体Ｄと太陽光パネルの集合の概要を示す概念図である。

（Ｓ００１）
空撮画像位置特定システム１００における位置情報受信部１１０は、飛行体Ｄから位置情報(ＧＮＳＳ情報等と、飛行体Ｄの方位情報、傾き、光軸方向（ジンバル）)とを受ける。また画像受信部１２０は可視光画像および赤外線画像を受ける。図６の例においては、飛行体Ｄが太陽光発電所における太陽光パネルの空撮画像(可視光画像および前記赤外線画像)を撮像している状態を示している。

（Ｓ００２）
補正部１３０は、ＧＮＳＳ情報から各画像の撮影時の飛行体Ｄの３次元位置を受ける。例えば、図４のように高度ｈと、飛行体Ｄの撮影位置（図４：緯度φ₁ 、経度λ₁／鉛直下方位置）を位置情報受信部１１０から受信する。

（Ｓ００３）
補正部１３０は、Ｓ００２で求めた３次元位置と、方位角と飛行体Ｄの傾き、撮影部Ｄ１の向きに基づく光軸方向とに基づき、可視光画像および赤外線画像の位置情報を補正した補正位置情報を求め、時刻情報と関連付ける。

（Ｓ００４）
付加部１４０は、補正位置情報を可視光画像および赤外線画像に付加する。

上記説明における各部の処理は、説明の便宜上、図１に示す制御部Ｃの制御の下に実行されるものとして説明した。この制御部Ｃは、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、或いは、特定用途向け集積回路（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ：ＡＳＩＣ）等のうち、単一または複数の回路を含んで構成されていてもよい。制御部Ｃはメモリに保存された例えば画像位置特定プログラムを読み出し実行することで機能を実現する。なお、メモリにプログラムを保存する代わりに、回路内にプログラムを直接組み込むよう構成しても構わない。この場合、制御部Ｃとしての回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、制御部Ｃは単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサーとして構成し、その機能を実現するようにしてもよい。さらに、実施形態における複数の構成要素（例えば位置情報受信部１１０、画像受信部１２０、補正部１３０および付加部１４０のうち少なくとも２以上）を１つのプロセッサーへ統合してその機能を実現するようにしてもよい。

［効果］
本実施形態によれば、空撮画像と観察対象物の対応関係の特定が可能である。例えば、観察対象物が広域にわたるとき等、空撮画像に求められる解像度等の要求から画角が限定的となる場合がある。その場合、観察対象の１つまたはその集合体の全体が撮影できず、赤外線画像に描写された観察対象物（またはその一部）の位置の特定または集合における個体の特定ができない可能性がある。本実施形態によれば、その場合でも、赤外線画像と可視光画像との位置関係や、撮影時の飛行体の位置と光軸方向等に基づき、広域の撮影が可能な可視光画像に対する赤外線画像の位置が求めやすくなる。結果、マーカーのような特徴点を周囲に設置しなくても可視光画像と赤外線画像との位置合わせが可能となる。一例としてメガソーラー（１ＭＷを超える大規模広域太陽光発電所）における１つの太陽光パネルの特定が容易となる。

また赤外線画像と可視光画像との位置関係も観察者や観察システムにとって認識しやすくなるため、両者を比較することで、赤外線画像において特異な温度情報を示している個体（多数の同種の個体の集合における、１個体または所定数の個体の群）を、可視光画像によって特定することも容易となる。

［第２実施形態］
第２実施形態にかかる空撮画像位置特定システム２００について図７および図８参照して説明する。以下の説明において、第１実施形態と重複する説明は割愛する。

（概要）
第１実施形態と同様に、飛行体Ｄはその撮影部Ｄ１において同一の観察対象物が含まれるように可視光画像および赤外線画像を撮像する。一例として、図２および図３のようにマトリクス状に配置された太陽電池パネル群を撮像した可視光画像および赤外線画像の双方に、特定の同一のパネルが描画されている。

この場合、例えば複数の同一種の観察対象物群を表示する可視光画像および赤外線画像の各画像内に、同一の観察対象物が含まれる。さらに画像内に特定の観察対象（例えば、何らかの異常が認められるパネル）が含まれる場合、可視光画像および赤外線画像のそれぞれでその特定の観察対象がどのパネルであるか容易に特定できれば、観察（例えばパネル点検）の効率は向上する。第２実施形態はそのための構成を備える。

飛行体Ｄは観察対象物に対し、高さ方向に所定間隔を保つように移動する。この移動を説明の便宜上「水平移動」として説明する（なお、この水平移動は、厳密な意味での水平移動に限られない）。飛行体Ｄは水平移動しながら撮影しており、かつ可視光画像および赤外線画像の撮影タイミングはわずかながらでも時間差（例えば時刻差）が生じる。したがって、可視光画像および赤外線画像とは、同様の範囲を撮影しようとして取得（例えば同期して撮影）されたものであっても、一方が他方に対して、この時間差と飛行体Ｄの飛行速度により所定の飛行距離分だけ移動した後の画像となる。なお、飛行体Ｄが水平移動しながら撮影するのは、観察効率(太陽電池パネルの点検等の効率)が向上するためである。

また一例においては、可視光画像（例：図３）と赤外線画像（例：図２Ａ、２Ｂ）とでは、可視光画像の方が画角が広くなる傾向がある。したがって、第１実施形態における補正位置情報の作成に加え、画像の生成、画像の撮影の時間差によって、可視光画像と赤外線画像との間に生じる撮影中心位置のずれも補正することにより、例えば両画像の相対位置の把握の精度の向上を図ることができる。具体的には次の通りである。

（空撮画像位置特定システム２００）
図７に示すように第２実施形態の空撮画像位置特定システム２００は、位置情報受信部２１０、画像受信部２２０、補正部２３０、付加部２４０および制御部Ｃと記憶部Ｓの他、補足情報受信部２１５を含んで構成される。画像受信部２２０、付加部２４０および制御部Ｃと記憶部Ｓの各機能は、第１実施形態と概ね同様であり説明が重複するため割愛する。

（補足情報受信部２１５）
補足情報受信部２１５は、全球測位衛星システムからの航法信号、すなわち衛星が送信する信号のうち、当該信号に基づく信号発信時刻を、可視光画像の付加情報として取得する。また、補足情報受信部２１５は、飛行体Ｄの水平移動速度を取得する。例えば飛行体Ｄに速度センサー（不図示）が設けられている場合、その速度センサーから受信した情報が水平移動速度である。または飛行体Ｄの移動を制御する制御系から当該移動に関する情報を受け、また飛行体Ｄの諸元等の情報も含めて水平移動の速度を求めてもよい。

（補正部２３０）
補正部２３０は、補足情報受信部２１５が受信した、可視光画像に付帯された時刻と赤外線画像に付帯された時刻とを比較し、時刻の早い方を特定する。なお、取得順があらかじめ決まっている場合はこの比較は行わない。また、当該両時刻の比較の結果、時刻差を求める。なお、時刻差に限らず、単に両画像の撮影の時間差であってもよい。

また補正部２３０は、補足情報受信部２１５を介して取得した飛行体Ｄの当該時刻における移動速度と上記時刻差とに基づいて、両画像の位置のずれ量（各撮影位置間の距離）を求める。さらに補正部２３０は、第１実施形態における補正処理において求めた、可視光画像および赤外線画像それぞれに対応する複合Ｐｉｔｃｈ角θと、上記ずれ量とに基づいて、両画像がどの方位にどれだけ位置ずれしているかを求める。

上記のような画角の差、すなわち可視光画像の方が広域である場合、補正部２３０はこのように特定した差分情報に基づいて、可視光画像内における赤外線画像が示す範囲を特定する処理を行う場合に、その処理の負荷を低減し、あるいはその処理結果の精度の向上を図ることが可能となる。

また、可視光画像と赤外線画像の位置の対応関係を求めることが可能となるため、両画像の画角を統一、あるいは両画像の画角の比を任意の比率となるように変更することも可能である。

［動作］
図８は、本実施形態における処理の流れを示す図である。以下に、飛行体Ｄの動作を、ステップ番号（Ｓ０２１〜Ｓ０２７）に添って説明する。

（Ｓ０２１）
空撮画像位置特定システム２００における位置情報受信部２１０および補足情報受信部２１５は、飛行体Ｄから位置情報(第１実施形態と同様)と、時刻情報を受ける。また画像受信部２２０は可視光画像および赤外線画像を受ける。

（Ｓ０２２）
補正部２３０は、補足情報受信部２１５から対応して撮影された可視光画像および赤外線画像の各画像の時刻情報を取得する。また補正部２３０は、可視光画像および赤外線画像の各画像の時刻情報を比較して、いずれが先に撮影されたものか求める。

（Ｓ０２３），（Ｓ０２５）
Ｓ０２２に前後、または並行して補正部２３０は、ＧＮＳＳ情報から各画像の撮影時の飛行体Ｄの３次元位置（図４：高度ｈ、撮影位置（緯度φ₁、経度λ₁）を位置情報受信部２１０から取得し、補足情報受信部２１５から移動速度情報を取得する。

（Ｓ０２４）
補正部２３０は、Ｓ０２２の結果、可視光画像が先に撮影されたものであると判断された場合（Ｓ０２２；Ｙｅｓ）、移動速度と時刻差に基づき赤外線画像とのずれ量を求める。また、複合Ｐｉｔｃｈ角θを取得し、赤外線画像が先に撮影された可視光画像に対して、どの方位にどの距離だけずれているかを示す差分情報を作成する。

（Ｓ０２６）
補正部２３０は、Ｓ０２２の結果、赤外線画像が先に撮影されたものであると判断された場合（Ｓ０２２；Ｎｏ）、移動速度と時刻差に基づき可視光画像とのずれ量を求める。また、方位角を取得し、可視光画像が先に撮影された赤外線画像に対して、どの方位にどの距離だけずれているかを示す差分情報を作成する。

（Ｓ０２７）
補正部２３０は差分情報に基づき両画像の相対位置を特定する。

なお、補正部２３０は、Ｓ０２３またはＳ０２５において、第１実施形態と同様に３次元位置と、方位角と飛行体Ｄの傾き、撮影部Ｄ１の向きに基づく光軸方向とに基づき、可視光画像および赤外線画像の位置情報を補正した補正位置情報を求め、それを利用してもよい。また、付加部２４０が、補正位置情報を可視光画像および赤外線画像に付加する。

また制御部Ｃは、第１実施形態と同様、各種の形態を採用することが可能である。また位置情報受信部２１０と補足情報受信部２１５とを区別して説明したが、この区別は説明の便宜上におけるものである。

［第３実施形態］
第３実施形態にかかる空撮画像位置特定システム３００について図９および図１０を参照して説明する。以下の説明において、第１実施形態、第２実施形態と重複する説明は割愛する。図１０は、可視光画像に赤外線画像を重畳した重畳画像の一例の概要を示す概念図である。

（概要）
第３実施形態においては、第１実施形態で補正した位置や、第２実施形態で特定した両画像の相対位置に基づき、可視光画像と赤外線画像を重畳する。

（空撮画像位置特定システム３００）
図９に示すように、第３実施形態の空撮画像位置特定システム３００は、位置情報受信部３１０、補足情報受信部３１５、画像受信部３２０、補正部３３０、付加部３４０および制御部Ｃと記憶部Ｓの他、重畳部３５０を含んで構成される。位置情報受信部３１０、補足情報受信部３１５、画像受信部３２０、付加部３４０および制御部Ｃと記憶部Ｓの各機能は、第１実施形態、第２実施形態と概ね同様であり説明が重複するため割愛する。

（重畳部３５０）
第３実施形態において重畳部３５０は、可視光画像における観察対象物（例：太陽光発電パネル）および、赤外線画像における観察対象物をそれぞれ特定する。例えば、画像における観察対象物のエッジ（輪郭線）を検出する。輪郭線の抽出方法は任意の方法を採ることができ、例えば太陽電池パネルであれば、二値化するとパネルの枠線が抽出でき、抽出した枠線の座標位置を元の画像において特定してその部分をパネルのエッジとすることができる。この処理は、第１実施形態および、第２実施形態の少なくともいずれか一方の位置情報の補正処理の後に実行される。

また重畳部３５０は、可視光画像と赤外線画像の画角と視差を計算し、画角を所定の比率(例えば画角を統一)とする。さらに重畳部３５０は、可視光画像の観察対象物のサイズと、赤外線画像の観察対象物のサイズが合うように赤外線画像のサイズを変換し、回転、平行移動等を行う（アフィン変換等）。

また重畳部３５０は、第１実施形態によって作成された補正位置情報や、第２実施形態によって、可視光画像と赤外線画像の相対位置の修正をした画像位置（例えば第１実施形態、第２実施形態の補正位置情報）等に基づき、可視光画像と赤外線画像との位置合わせをする。

さらに重畳部３５０は、可視光画像に赤外線画像を重畳する。図１０に示すように、ユーザーの設定により、赤外線画像の透明度が設定されると、重畳部３５０は赤外線画像を透過して可視光画像が見えるような画像処理をするように構成されていてもよい。

さらに、第３実施形態によれば可視光画像と赤外線画像の重畳画像をユーザーに提示することができ、直感的に両者の状態（相対位置、パネルの異常等）を視認でき、観察対象物の把握の効率化を図ることが可能である。

［第４実施形態］
第４実施形態にかかる空撮画像位置特定システム４００について図１１および図１２を参照して説明する。以下の説明において、第１実施形態、第２実施形態と重複する説明は割愛する。図１２は、オルソ画像の一例の概要を示す概念図である。

（空撮画像位置特定システム４００）
図１１に示すように、第３実施形態の空撮画像位置特定システム４００は、位置情報受信部４１０、補足情報受信部４１５、画像受信部４２０、補正部４３０、付加部４４０、重畳部４５０および制御部Ｃと記憶部Ｓの他、オルソ画像生成部４６０を含んで構成される。位置情報受信部４１０、補足情報受信部４１５、画像受信部４２０、付加部４４０および制御部Ｃと記憶部Ｓの各機能は、第１〜３実施形態と概ね同様であり、説明が重複するため割愛する。

一般に空撮画像は、飛行体Ｄの撮像部のレンズの中心に光束が集まるように撮影され、中心投影の画像となる。したがって、画像の画角において、中心と端部では、レンズの中心から対象物までの距離が異なる。これにより、端部側では観察対象物が傾いているように描画される。例えば太陽電池パネルの場合、中心側と端部側でパネルの形状が大きく異なるおそれもある。第４実施形態では、これを解消し、例えば第３実施形態のような重畳を適正に実行することを可能とする。

（オルソ画像生成部４６０）
第４実施形態におけるオルソ画像生成部４６０は、取得された可視光画像について、正射投影する処理を実行し、オルソ画像を生成する。例えば第１〜第３実施形態における可視光画像より画角の広い広域の可視光画像を取得しても、オルソ画像生成部４６０により正射投影処理することにより、画角の周縁側で画像のゆがみが解消される。

（重畳部４５０）
重畳部４５０は、第１実施形態によって作成された補正位置情報や、第２実施形態によって、オルソ画像と赤外線画像の相対位置の修正をした画像位置等に基づき、オルソ画像と赤外線画像との位置合わせをする。

さらに、第４実施形態によれば広域の可視光画像をオルソ画像とすることにより、広域の可視光画像と赤外線画像の重畳画像をユーザーに提示することができ、直感的に両者の状態（相対位置、パネルの異常等）を視認でき、観察対象物の把握の効率化を図ることが可能である。また、オルソ画像が、広域画像であることにより、特定の観察対象物の全体における位置が把握しやすくなる。

［第５実施形態］

第５実施形態にかかる空撮画像位置特定システム５００について図１３〜図１６を参照して説明する。以下の説明において、第１〜４実施形態と重複する説明は割愛する。図１４は、特定部における太陽電池パネルの特定処理の一例の概要を示す概念図である。図１５、図１６は、重畳画像における補正処理前後の不良観察対象物のマーキング位置のずれ量を示す概念図である。

（空撮画像位置特定システム５００）
図１３に示すように、第５実施形態の空撮画像位置特定システム５００は、位置情報受信部５１０、補足情報受信部５１５、画像受信部５２０、補正部５３０、付加部５４０、重畳部５５０および制御部Ｃと記憶部Ｓの他、特定部５７０を含んで構成される。またオルソ画像生成部を有していてもよい。位置情報受信部５１０、補足情報受信部５１５、画像受信部５２０、付加部５４０および制御部Ｃと記憶部Ｓの各機能は、第１〜４実施形態と概ね同様であり、説明が重複するため割愛する。

（特定部）
第５実施形態における特定部５７０は、赤外線画像における観察対象物を特定する。以下、その一例について説明する。特定部５７０は、受信した赤外線画像に対し、ディープラーニング（深層学習）による物体検知モデル（アルゴリズムでもよい）によって、観察対象物（例えば太陽電池パネル）の１つ１つを特定する。

次に特定部５７０は、赤外線画像の画像処理により、物体検知によって特定された観察対象物それぞれに対し、特定の温度を示す被疑観察対象物を特定する。太陽電池パネルの例であれば、特定の温度とは、正常なパネルと比べ相対的に高温であることであり、その相対的に高温なパネルが被疑観察対象物となる。

さらに特定部５７０は、被疑観察対象物それぞれのうち、当該被疑観察対象物内の、平均温度と最高温度の差分が閾値を超えるものを不良と判断する。太陽電池パネルの例であれば、閾値は例えば「２．０℃」以上となる。

さらに特定部５７０は、不良観察対象物の位置を第１実施形態によって作成された補正位置情報や、第２実施形態によって、可視光画像と赤外線画像の相対位置の修正をした画像位置等に基づき、特定する。

次に、重畳部５５０は、第１実施形態によって作成された補正位置情報や、第２実施形態によって、可視光画像と赤外線画像の相対位置の修正をした画像位置等に基づき、可視光画像と赤外線画像との位置合わせをし、第３実施形態と同様に重畳処理を実行する。このとき、可視光画像でなく、第４実施形態のオルソ画像であってもよい。

次に特定部５７０は、重畳画像における不良観察対象物を強調表示してもよい。強調表示は、他の部分と明確に識別できる色彩の付与、点滅表示、輪郭線の強調、特定の図形（マーキング）等、任意の方法を適宜採用することが可能である。

（変形例）
次に第５実施形態にかかる空撮画像位置特定システム５００の変形例について図１７を参照して説明する。図１７に示すようにＧＩＳ（ＧｅｏｇｒａｐｈｉｃＩｎｆｏｒｍａｔｉｏｎＳｙｓｔｅｍ；地理情報システム）を使用して可視化した地図データを可視光画像やオルソ画像のかわりに利用することが可能である。この地図データに含まれた緯度・経度・標高等のデータを利用して、重畳部５５０は赤外線画像を重畳することができ、特定部５７０は、不良観察対象物の強調表示をすることが可能となる。このため、この変形例においては、地図データを記憶する地図画像記憶部、または地図データのテンプレートをあらかじめ記憶し、外部から緯度、経度、標高等の地形のデータを取得して地図データを作成する地図データ作成部が含まれる。これらの図示は省略する。

さらに、第５実施形態によれば不良観察対象物を特定し、さらに重畳画像において不良観察対象物の位置を提示するので、不良観察対象物の把握の効率化を図ることが可能である。

図１５，図１６に示すように、太陽電池パネルの例における第１実施形態および第２実施形態の位置情報の補正処理を行う前と行った後の不良太陽電池パネルの位置は、大きくずれている。これらの図に示すように、第１実施形態および第２実施形態の補正処理により不良観察対象物の位置を精度よく提示することができるため、不良観察対象物の特定が容易となる。

［第６実施形態］
第６実施形態にかかる空撮画像位置特定システム６００について図１８および図１９を参照して説明する。以下の説明において、第１〜第５実施形態と重複する説明は割愛する。図１９は、報告書データの一例を示す概略図である。

（空撮画像位置特定システム６００）
図１８に示すように、第６実施形態の空撮画像位置特定システム６００は、位置情報受信部６１０、補足情報受信部６１５、画像受信部６２０、補正部６３０、付加部６４０、重畳部６５０、特定部６７０および制御部Ｃと記憶部Ｓの他、作成部６８０を含んで構成される。またオルソ画像生成部を有していてもよい。位置情報受信部６１０、補足情報受信部６１５、画像受信部６２０、付加部６４０、重畳部６５０、特定部６７０および制御部Ｃと記憶部Ｓの各機能は、第１〜５実施形態と概ね同様であり、説明が重複するため割愛する。

（作成部）
第６実施形態における作成部６８０は、可視光画像（例：図３）、オルソ画像（例：図１２）と、地図画像（例：図１７）のいずれか、重畳画像および赤外線画像のうち、少なくとも２つを同時に表示する報告書データを作成する。この同時表示される画像には、不良観察対象物の強調表示(異常箇所のマーキングを含む)が含まれていてもよい。さらに不良観察対象物の異常内容の説明が付記されていてもよい。また図１９に示すように例えば2種以上の画像は並列表示される。

さらに、第６実施形態によれば、可視光画像・オルソ画像・地図画像のいずれか、重畳画像および赤外線画像のうち、少なくとも２つを同時に表示する報告書データが作成される。報告書データにより、観察対象物の観察処理を実施するユーザーに直感的に、不良観察対象物の位置、状態等を提示することができ、ユーザーの負担軽減、処理効率の向上を図ることが可能となる。

以上、説明した第１〜第６実施形態については、説明の便宜上、飛行体Ｄと空撮画像位置特定システムの間でデータ通信をする例において説明したが、飛行体Ｄと、飛行体Ｄからの送信データに基づき上記各処理を実行するハードウェアとプログラムを記憶する記憶媒体、ＡＩを含むいずれの態様を採ることも可能である。

一例として、ハードウェア構成としては、飛行体Ｄと飛行体Ｄの操作をする操作部に対して、空撮画像位置特定システムとして飛行体Ｄと通信し飛行体Ｄからの送信データを受信し、上記各処理の少なくとも一部を実行するＰＣと、当該ＰＣから所定のデータを受け、上記ＰＣの処理以外の残りの処理を実行するサーバーによって構成されていてもよい。

あるいは、飛行体Ｄから直接送信データを受信し、上記各処理の全てを実行するサーバーによって構成されていてもよい。この場合、処理結果(例えば、重畳画像や報告書データ)は任意にユーザーが利用する端末にてダウンロードすることが可能になっていてもよい。なお以上のサーバーは複数あっても単一でもよい。

飛行体Ｄの操作部、ＰＣ、ユーザー端末の少なくともいずれか１つには、表示部が設けられていてもよい。図示しない表示部は、飛行体Ｄの操作に関するＵＩ、各種画像の表示ＵＩ、システム設定（パラメーター等）の設定ＵＩ、報告書データの表示ＵＩによる。表示部は、タッチパネルなどの各種表示デバイスを含んでいてもよい。

飛行体Ｄの操作部、ＰＣ、ユーザー端末の少なくともいずれか１つには、入力部が設けられていてもよい。入力部は、音声や文字入力信号等の外部入力を受けるデバイスである。例えば音声を検知するデバイス（マイクロフォン等）、または文字入力を行うデバイス（ソフトウェアキーボードまたはハードウェアキーボード）等が挙げられる。また、いずれの構成であっても、入力部に対する操作内容は、電気信号として制御部Ｃに入力される。また、表示部に表示されたグラフィカルユーザーインターフェイス（ＧＵＩ）と、入力部とを用いて、操作や情報入力を行うようにしてもよい。

表示部は、入力部と、独立に構成されても、一体的に構成されてもよい。例えばタッチパネルのように、表示機能と操作機能とが一体化されたデバイスを用いることも可能である。その場合、入力部および表示部は、タッチパネルとそれを実行するためのコンピュータプログラムとを含んで構成される。

飛行体Ｄ、ＰＣ、ユーザー端末、サーバーの少なくともいずれか１つには、記憶部が設けられていてもよい。記憶部は、位置情報、時刻情報、方位情報、画像データ、地図データ、学習モデル、その他上記各処理を実行するコンピュータプログラム等を記憶する。記憶部としてはハードディスク、フラッシュメモリの他、任意のデバイスを利用可能である。

以上から、例えば、タブレットやスマートフォンのようなユーザー端末にて、飛行体Ｄの操作、赤外線画像、可視光画像、地図、重畳画像、報告書データの表示や各処理のための入力を可能とし、その画像生成、位置補正処理、不良観察対象物の特定、記憶等の処理をサーバーが実行する等の態様も可能である。

以上説明した各実施形態によれば、マーカーのような特徴点を周囲に設置しなくても可視光画像と赤外線画像との相対位置の把握が可能となる。マーカーは、観察対象物が水上に存在する場合、崖等の危険な位置にある場合等、そもそも設置自体が困難な場合がある。この場合、マーカーの設置を前提とした空撮画像による観察対象物の観察ができなくなってしまう。また置けたとしても、マーカー自体のメンテナンス等の維持管理コストがかかり、マーカーの設置コストもかかる。さらにマーカーを密に設置しないと不良観察対象物等の特定の観察対象物の位置の把握が困難になってしまう。

また、マーカーを前提とした空撮画像位置特定システムでは、赤外線画像と、可視光画像（またはオルソ画像、地図等）との位置合わせの精度が低くなるおそれがある。太陽電池パネルの場合、１ｍ幅に対して、上空４０ｍ〜１５０ｍの位置で空撮するので、位置ずれがあると、赤外線画像の温度情報で異常検出できたとしてもどの観察対象物かの特定ができなくなってしまうおそれがある。

以上説明した各実施形態によれば、マーカーのような特徴点を周囲に設置しなくてもよいので、上記各問題を解決することが可能となる。

この発明の実施形態を説明したが、上記の実施形態は例として提示したものであり、発明の範囲を限定することを意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００、２００、３００、４００、５００、６００空撮画像位置特定システム
１１０、２１０、３１０、４１０、５１０、６１０位置情報受信部
１２０、２２０、３２０、４２０、５２０、６２０画像受信部
１３０、２３０、３３０、４３０、５３０、６３０補正部
１４０、２４０、３４０、４４０、５４０、６４０付加部
３５０、４５０、５５０、６５０重畳部
４６０オルソ画像作成部
５７０特定部
６８０作成部
Ｄ飛行体
Ｄ１撮影部
Ｄ２位置取得部
Ｄ３ジャイロスコープ
Ｄ４ジンバル
Ｄ５地磁気センサー

Claims

飛行体から可視光画像と赤外線画像を受信する画像受信部と、
前記可視光画像および前記赤外線画像における撮影時の位置情報と撮影方向情報を受信する位置情報受信部と、
前記位置情報を、前記撮影方向情報に基づき補正し、補正位置情報を求める補正部と、
前記可視光画像および前記赤外線画像に該補正位置情報を付加する付加部と、を備える空撮画像位置特定システム。
前記位置情報は、前記飛行体が前記撮影に対応して受けた全球測位衛星システムからの航法信号を含み、
前記撮影方向情報は、前記飛行体の機体の向きと、前記飛行体に設けられた撮影部の向きとを含み、
前記補正部は、前記航法信号に基づき、前記可視光画像と赤外線画像の位置情報を、前記撮影方向情報に基づき補正する
ことを特徴とする請求項１に記載の空撮画像位置特定システム。
前記画像受信部は、飛行体が実質的に同時に撮影した、あるいは同期して撮影された前記可視光画像および前記赤外線画像を受信し、
前記可視光画像および前記赤外線画像それぞれの撮影時刻と、前記飛行体の飛行速度とを受信する補足情報受信部をさらに備え、
前記補正部は、前記可視光画像および前記赤外線画像それぞれの前記撮影時刻の時刻差と前記飛行速度に基づき、前記可視光画像および前記赤外線画像の撮影位置のずれ量を求め、当該ずれ量も前記補正位置情報の補正に用いる
ことを特徴とする請求項２に記載の空撮画像位置特定システム。
前記補正位置情報に基づき、前記可視光画像および前記赤外線画像の相対位置を特定し、さらに画角と視差を計算し、位置合わせをした上で、当該可視光画像と当該赤外線画像を重畳して重畳画像を作成する重畳部をさらに備えた
ことを特徴とする請求項２または３に記載の空撮画像位置特定システム。
前記可視光画像について、正射投影する処理を実行し、オルソ画像を生成するオルソ画像作成部をさらに備えた
ことを特徴とする請求項４に記載の空撮画像位置特定システム。
前記赤外線画像における複数の観察対象物群から個々の観察対象物を特定し、当該特定した個々の観察対象物から特定の温度を示す被疑観察対象物を特定し、さらに被疑観察対象物の平均温度と最高温度の差分から閾値を超える不良観察対象物を特定する特定部をさらに備えた
ことを特徴とする請求項１〜５のいずれか１項に記載の空撮画像位置特定システム。
前記特定部は、前記重畳画像、前記オルソ画像および前記赤外線画像の少なくともいずれか１つにおいて、前記不良観察対象物の位置を特定して強調表示させる
ことを特徴とする請求項６に記載の空撮画像位置特定システム。
前記可視光画像、前記オルソ画像、前記重畳画像、前記赤外線画像、および前記不良観察対象物の位置を特定した位置特定画像のうち、少なくとも２つを同時に表示する報告書データを作成する作成部をさらに備えた
ことを特徴とする請求項６に記載の空撮画像位置特定システム。
空撮画像位置特定方法であって、
飛行体から可視光画像と赤外線画像を受信する工程と、
前記可視光画像および前記赤外線画像における撮影時の位置情報と撮影方向情報を受信する工程と、
前記位置情報を、前記撮影方向情報に基づき補正し、補正位置情報を求める工程と、
前記可視光画像および前記赤外線画像に該補正位置情報を付加する工程と、
を備えた空撮画像位置特定方法。