JP2022167442A - 特徴領域判定システムおよび特徴領域判定方法。 - Google Patents
特徴領域判定システムおよび特徴領域判定方法。 Download PDFInfo
- Publication number
- JP2022167442A JP2022167442A JP2021073226A JP2021073226A JP2022167442A JP 2022167442 A JP2022167442 A JP 2022167442A JP 2021073226 A JP2021073226 A JP 2021073226A JP 2021073226 A JP2021073226 A JP 2021073226A JP 2022167442 A JP2022167442 A JP 2022167442A
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- characteristic
- region
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 20
- 238000003384 imaging method Methods 0.000 claims description 41
- 230000004044 response Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 30
- 238000012545 processing Methods 0.000 description 26
- 238000010248 power generation Methods 0.000 description 20
- 239000002689 soil Substances 0.000 description 18
- 239000011159 matrix material Substances 0.000 description 17
- 241000196324 Embryophyta Species 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 230000005856 abnormality Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 241000607479 Yersinia pestis Species 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000000862 absorption spectrum Methods 0.000 description 2
- 239000010426 asphalt Substances 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000035558 fertility Effects 0.000 description 2
- 239000003337 fertilizer Substances 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 229920000742 Cotton Polymers 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 240000008042 Zea mays Species 0.000 description 1
- 235000016383 Zea mays subsp huehuetenangensis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 235000013339 cereals Nutrition 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 235000009973 maize Nutrition 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 230000000243 photosynthetic effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
- Photovoltaic Devices (AREA)
Abstract
【課題】複数の分割領域に表れる特徴領域の対応関係の特定を容易にすることを可能とする。
【解決手段】特徴領域判定システムは、状態情報受信部と、位置情報受信部と、特定部と、判定部とを有する。状態情報受信部は、観察対象全体を複数領域に分割した分割領域の状態を示す状態情報を飛行体から受信する。位置情報受信部は、状態情報における、情報取得時の位置情報と情報取得方向情報を受信する。特定部は、前記状態情報に基づき、特徴領域を特定する。判定部は、複数の分割領域でそれぞれ特定された各特徴領域について、位置情報と情報取得方向情報に基づき、同一性を判定する。
【選択図】図１
【解決手段】特徴領域判定システムは、状態情報受信部と、位置情報受信部と、特定部と、判定部とを有する。状態情報受信部は、観察対象全体を複数領域に分割した分割領域の状態を示す状態情報を飛行体から受信する。位置情報受信部は、状態情報における、情報取得時の位置情報と情報取得方向情報を受信する。特定部は、前記状態情報に基づき、特徴領域を特定する。判定部は、複数の分割領域でそれぞれ特定された各特徴領域について、位置情報と情報取得方向情報に基づき、同一性を判定する。
【選択図】図１
Description
この発明は、特徴領域判定システムおよび特徴領域判定方法に関する。
従来、飛行体（無人航空機（ドローン）等）を利用して、空撮することが広く行われている。このような空撮画像は個人が景色を観賞するために利用されるだけでなく、災害救助、農業、生態調査、報道、インフラ点検、異常箇所の点検等、業務上利用されることもある。
例えばインフラ点検の一例として、太陽光発電所の太陽光発電設備（太陽光パネル等）の点検に空撮画像を利用することができる。太陽光発電設備は主に光起電力効果によって発電するため、太陽光を受ける面の汚れ、破損等により発電に支障をきたす。空撮画像によって、太陽光発電設備の汚れ、破損等を把握することが可能である。したがって、空撮画像によって太陽光発電設備を撮影して点検することが太陽光発電所において発電効率を高めるのに有効である。
他の例として、従来、土壌の光スペクトルの測定と解析を行うことで土壌成分の解析が行われている。すなわち、土壌成分の種類や量によって吸収される光の波長や強度が異なるため、反射波における土壌の成分に応じた特有の光スペクトル（吸収スペクトル）の測定等が実施される。これにより、圃場内の土壌状態の把握をし、肥料、その他の飼料を低減させる。（例えば特許文献１）
太陽光発電所としてのメガソーラー、あるいは圃場のように、観察対象の全領域が広範となる場合、上空から観察対象物の点検、測定等をするためには、領域全体を複数に分割して実施せざるを得ない。上空からの観察対象物の点検、測定には、対象物の状態を把握可能な限界の距離（高度）があるためである。空撮画像における解像度が一例として挙げられる。観察対象物によっては、求められている解像度で空撮すると、観察対象物の全体が画像内に収まりきらない場合がありうる。
観察対象の全領域を分割して点検、測定等をする場合、各分割領域について隣接領域と一部重畳させる必要がある。重畳させない場合、点検等の対象から漏れる部分が発生する可能性があるためである。しかし、分割領域を重畳させる場合、重畳部分に特徴領域があると、1つの特徴領域が別々の分割領域に表れることになる。特徴領域とは、例えば太陽光発電パネルの異常個所であり、あるいは圃場における吸収スペクトルの値を示す領域である。
特徴領域について何らかの措置（状態の特定や、肥料量の算定等）を行うにあたり、隣接する２以上の別々の分割領域に表れる特徴領域が、実際は1つの特徴領域であるのか、または異なる特徴領域であるのかの特定には、多大な労力や処理コストがかかる。
この発明は、上記課題を解決するためになされたものであり、その目的は、複数の分割領域に表れる特徴領域の対応関係の特定を容易にすることを可能とすることである。
一の実施形態によれば、特徴領域判定システムは、状態情報受信部と、位置情報受信部と、特定部と、判定部とを有する。状態情報受信部は、観察対象全体を複数領域に分割した分割領域の状態を示す状態情報を飛行体から受信する。位置情報受信部は、状態情報における、情報取得時の位置情報と情報取得方向情報を受信する。特定部は、前記状態情報に基づき、特徴領域を特定する。判定部は、複数の分割領域でそれぞれ特定された各特徴領域について、位置情報と情報取得方向情報に基づき、同一性を判定する。
上記特徴領域判定システムにおいて、位置情報は、飛行体が前記撮影に対応して受けた全球測位衛星システムからの航法信号を含み、撮影方向情報は、飛行体の機体の向きと、飛行体に設けられた撮影部の向きとを含んでもよい。
上記特徴領域判定システムにおいて、位置情報は、飛行体が撮影に対応して受けた全球測位衛星システムからの航法信号を含んでもよく、撮影方向情報は、飛行体の機体の向きと、飛行体に設けられた撮影部の向きとを含んでもよい。
上記特徴領域判定システムにおいて、判定部は、複数の分割領域でそれぞれ特定された各特徴領域について、観察対象全体における位置を算定し、算定された特徴領域の該位置が設定範囲内であることにより同一と判断してもよい。
上記特徴領域判定システムにおいて、分割領域には、前記特徴領域を含みうる複数の観察対象物が所定の形状で配列されており、判定部は、位置情報と、情報取得方向情報と、複数の前記観察対象物の配列規則とに基づいて同一性を判定してもよい。
上記特徴領域判定システムにおいて、分割領域には、前記特徴領域を含みうる複数の観察対象物が所定の形状で配列されており、判定部は、位置情報と、情報取得方向情報と、複数の前記観察対象物の配列規則とに基づいて同一性を判定してもよい。
上記特徴領域判定システムにおいて、状態情報は赤外線画像であり、特定部は赤外線画像それぞれの温度情報に基づき、特徴領域を特定してもよい。
上記特徴領域判定システムにおいて、状態情報は植物の植生状況を示す画像であり、特定部は、植生状況を示す画像それぞれの植生状況情報に基づき特徴領域を特定してもよい。
上記特徴領域判定システムにおいて、位置情報は、飛行体が前記撮影に対応して受けた全球測位衛星システムからの航法信号を含み、撮影方向情報は、飛行体の機体の向きと、飛行体に設けられた撮影部の向きとを含んでもよい。
上記特徴領域判定システムにおいて、位置情報は、飛行体が撮影に対応して受けた全球測位衛星システムからの航法信号を含んでもよく、撮影方向情報は、飛行体の機体の向きと、飛行体に設けられた撮影部の向きとを含んでもよい。
上記特徴領域判定システムにおいて、判定部は、複数の分割領域でそれぞれ特定された各特徴領域について、観察対象全体における位置を算定し、算定された特徴領域の該位置が設定範囲内であることにより同一と判断してもよい。
上記特徴領域判定システムにおいて、分割領域には、前記特徴領域を含みうる複数の観察対象物が所定の形状で配列されており、判定部は、位置情報と、情報取得方向情報と、複数の前記観察対象物の配列規則とに基づいて同一性を判定してもよい。
上記特徴領域判定システムにおいて、分割領域には、前記特徴領域を含みうる複数の観察対象物が所定の形状で配列されており、判定部は、位置情報と、情報取得方向情報と、複数の前記観察対象物の配列規則とに基づいて同一性を判定してもよい。
上記特徴領域判定システムにおいて、状態情報は赤外線画像であり、特定部は赤外線画像それぞれの温度情報に基づき、特徴領域を特定してもよい。
上記特徴領域判定システムにおいて、状態情報は植物の植生状況を示す画像であり、特定部は、植生状況を示す画像それぞれの植生状況情報に基づき特徴領域を特定してもよい。
実施形態によれば、複数の分割領域に表れる特徴領域の対応関係の特定を容易にすることが可能である。
図１～図１５を参照して、第１実施形態～第４実施形態にかかる特徴領域判定システムについて説明する。
［第１実施形態］
第１実施形態にかかる特徴領域判定システム１００の全体構成について図１～図６を参照して説明する。なお、図１における特徴領域判定システムは一例であり、その他の構成を含むことを除外するものではなく、様々な形態で実施することが可能である。第1実施形態は、太陽光発電所における太陽光発電パネルの点検をする例について説明する。
第１実施形態にかかる特徴領域判定システム１００の全体構成について図１～図６を参照して説明する。なお、図１における特徴領域判定システムは一例であり、その他の構成を含むことを除外するものではなく、様々な形態で実施することが可能である。第1実施形態は、太陽光発電所における太陽光発電パネルの点検をする例について説明する。
（飛行体Ｄの概要）
図１に示すように、飛行体Ｄは、状態情報取得部Ｄ１、位置受信部Ｄ２、ジャイロスコープＤ３、ジンバルＤ４を備える。状態情報取得部Ｄ１は、赤外線カメラを備える。状態情報取得部Ｄ１は、複数の撮像対象が含まれる広範領域を分割した分割領域（概念図２・図３参照）の赤外線画像（例：図４）の撮像を行う。位置受信部Ｄ２は、ＧＮＳＳ(Global Navigation Satellite System / 全球測位衛星システム)、例えばＧＰＳ、ＧＬＯＮＡＳＳ、Ｇａｌｉｌｅｏ、準天頂衛星（ＱＺＳＳ）等の測位衛星から航法信号を受信し、飛行体Ｄの３次元位置等を測位し、赤外線画像に付加する（例えばＥＸＩＦ情報）。また位置受信部Ｄ２は、例えば水圧計・気圧計を搭載し、その結果を基に深度・高度に変換してもよい。他の例として、超音波センサー等を搭載し、地表・海底等から飛行体Ｄまでの距離を測ってもよい。その受信された１次元位置情報を赤外線画像に付加する。このようにして赤外線画像の３次元位置が特定可能である。これらは、付加情報として赤外線画像とともに特徴領域判定システム１００に送信される。なお、図２および図３の観察対象物は一例であって、各画像に描写される対象は、その他の種類の観察対象物であってもよい。
図１に示すように、飛行体Ｄは、状態情報取得部Ｄ１、位置受信部Ｄ２、ジャイロスコープＤ３、ジンバルＤ４を備える。状態情報取得部Ｄ１は、赤外線カメラを備える。状態情報取得部Ｄ１は、複数の撮像対象が含まれる広範領域を分割した分割領域（概念図２・図３参照）の赤外線画像（例：図４）の撮像を行う。位置受信部Ｄ２は、ＧＮＳＳ(Global Navigation Satellite System / 全球測位衛星システム)、例えばＧＰＳ、ＧＬＯＮＡＳＳ、Ｇａｌｉｌｅｏ、準天頂衛星（ＱＺＳＳ）等の測位衛星から航法信号を受信し、飛行体Ｄの３次元位置等を測位し、赤外線画像に付加する（例えばＥＸＩＦ情報）。また位置受信部Ｄ２は、例えば水圧計・気圧計を搭載し、その結果を基に深度・高度に変換してもよい。他の例として、超音波センサー等を搭載し、地表・海底等から飛行体Ｄまでの距離を測ってもよい。その受信された１次元位置情報を赤外線画像に付加する。このようにして赤外線画像の３次元位置が特定可能である。これらは、付加情報として赤外線画像とともに特徴領域判定システム１００に送信される。なお、図２および図３の観察対象物は一例であって、各画像に描写される対象は、その他の種類の観察対象物であってもよい。
飛行体ＤのジャイロスコープＤ３は、飛行体Ｄの傾きを検出する。飛行体Ｄは、方位情報により機体が向いている方位とその方位からの姿勢ズレをジャイロスコープＤ３により求める。飛行体Ｄの方位情報と傾き情報は特徴領域判定システム１００に送信される。３軸方向の加速度センサーであってもよい。またジンバルＤ４は、状態情報取得部Ｄ１を飛行体Ｄに傾動可能に支持しており、状態情報取得部Ｄ１の姿勢を制御可能とする。これにより状態情報取得部Ｄ１の光軸の制御を可能とする。状態情報取得部Ｄ１の傾き等に基づく当該光軸方向の情報は特徴領域判定システム１００に送信される。また飛行体Ｄは、地磁気センサーＤ５により方位情報を受信する。これにより飛行体Ｄの方位（進路）を把握可能である。飛行体Ｄから特徴領域判定システム１００への各種データの送信は送信部Ｔによって実行される。
特徴領域判定システム１００は、位置情報受信部１１０、画像受信部１２０、特定部１３０、判定部１４０および制御部Ｃと記憶部Ｓを含んで構成される。位置情報受信部１１０は、飛行体Ｄから、航法信号に基づく飛行体Ｄの測位情報（３次元位置等）、高度、深度等の１次元位置、飛行体Ｄの傾き情報、光軸方向情報を受信する。例えばこれらはＥＸＩＦ情報として画像に付加された情報として受信されてもよい。
画像受信部１２０は、飛行体Ｄの状態情報取得部Ｄ１から赤外線画像を受ける。特定部１３０は、状態情報に基づき特徴領域を特定する。この特定には、画像における所定の撮像対象または撮像対象群の特定と、撮像対象の温度情報の取得と、温度情報と閾値に基づく撮像対象の各部分の状態判定と、特徴的な状態を呈する領域（以下、「特徴領域」とする。）における画像内座標の特定とが含まれる。また特定部１３０により特定される赤外線画像内の各撮像対象を示す領域それぞれについてこれを以下、「設定領域」と記載する。
なお、以下においては撮像対象や設定領域の例として、太陽光発電パネルを挙げて説明する。また、「設定領域」としての「太陽光発電パネルまたは、所定数の太陽光発電パネル群」について、説明の便宜上、原則として単に「太陽光発電パネル」と記載する。ただし、本実施形態および後述する他の実施形態およびその変形例に関し、「設定領域」と記載されていても上記は例示であって太陽光発電パネルに限定されるものではない。その他設定領域ないし撮像対象は、多数置かれている自動車、建造物の構造物（ガラス等）、多数配置される各種センサー、大量生産されて点検される製造物等を挙げることが可能である。
（特定部１３０）
特定部１３０について、さらに説明する。特定部１３０は、赤外線画像における設定領域を特定する。一例として撮像対象の外縁の形状に基づきその領域を特定する。太陽光発電パネルや、太陽光発電パネル群が撮像対象の場合はパネルの形状に基づき設定領域が特定されてもよい。「領域の特定」には、一例として設定領域の外縁の座標、または当該領域に属する座標を特定することが含まれる。
特定部１３０について、さらに説明する。特定部１３０は、赤外線画像における設定領域を特定する。一例として撮像対象の外縁の形状に基づきその領域を特定する。太陽光発電パネルや、太陽光発電パネル群が撮像対象の場合はパネルの形状に基づき設定領域が特定されてもよい。「領域の特定」には、一例として設定領域の外縁の座標、または当該領域に属する座標を特定することが含まれる。
なお、例えば上記特定対象としての太陽光発電パネル群は、縦２列、横２行の太陽光発電パネル群であったり、縦２列、横１行の太陽光発電パネル群であってもよい。この検出単位は特徴領域判定システムごとに決定されていて変更されない構成であっても、図示しない入力部を介したユーザーの操作によって設定変更が可能な構成であってもよい。以下、「１つの太陽光発電パネルごと」に特定する構成について記載するが、本実施形態では特定部１３０が「２以上の太陽光発電パネルを１単位として」検出する変形例を含むので、以下の記載においても、このような複数の撮像対象を群として検出する変形例を考慮したものとする。
特定部１３０は、赤外線画像内の設定領域ごとに既知の任意の技術によって、温度情報を取得する。例えば温度情報は、赤外線画像における画像を構成する最小単位ごとの色温度から求められる。最小単位は、画素・ピクセルであってもよく、既定の画素単位・ピクセル単位のブロックであってもよい。なお、最小単位の温度情報それぞれには、画像における座標情報が対応づけられていてもよい。
また、特定部１３０は、温度情報から設定領域ごとの温度分布を求める。さらに特定部１３０は温度分布のうち、温度分布における高温域、中温域、低温域を特定する。高温域は分布における例えば上位２０％の温度情報である。低温域は分布における例えば下位２０％の温度情報である。中温域は高温域と低温域の間の温度情報である。また特定部１３０は高温域と中温域の温度情報の比較（例えば差）により、設定領域における特徴的な数値を示す領域を特徴領域として特定する。温度情報の比較には、例えば各設定領域における高温域と中温域の平均値の差分や、当該差分の設定領域間におけるばらつき(標準偏差等)が用いられる。
特定部１３０は、一例としてばらつきが大きい設定領域について、その温度分布のうち高温域である部分の集合の画像内座標を特定することにより特徴領域を特定する。つまり、上記の例において特定部１３０は以下のような流れで特徴領域を特定する。
特定部１３０は、まず撮像対象とそうでない部分を分け、さらに撮像対象における特異な部分の判定に用いる最小構成単位ごとに温度情報を取得する。次に特定部１３０は、その最小構成単位における温度分布のうち高温域と中温域の温度情報を比較する。次に特定部１３０は、いくつかの最小構成単位の群をグルーピングし、そのグループ内で比較の結果のばらつきを求め、ばらつきが大きいものを抽出する。次に特定部１３０は、ばらつきが大きいもの（例：被疑判定パネル）の中から高温域となる部分（画素等）を特定し、その部分の集合の画像内座標を特定する。特徴領域の例として、図４に概要を示す。図４における黒色の太線の矩形で囲われた部分は設定領域の一例である。この矩形内には白色で示される部分があり、これは上記例における高温域を示すものであってこの白色で示される画素の集合が「特徴領域」である。
（判定部１４０）
判定部１４０は、複数の前記分割領域における各設定領域でそれぞれ特定された各特徴領域について、位置情報と状態情報取得方向に基づき、同一性を判定する。一例として判定部１４０は、赤外線画像の位置、例えば画像中心の位置情報を特定する。また判定部１４０は、赤外線画像内の特徴領域の推定実際位置を算定する。次に判定部１４０は推定実際位置の比較に基づき、異なる赤外線画像における特徴領域それぞれの同一性について判定する。これら処理について以下に具体例を挙げる。
判定部１４０は、複数の前記分割領域における各設定領域でそれぞれ特定された各特徴領域について、位置情報と状態情報取得方向に基づき、同一性を判定する。一例として判定部１４０は、赤外線画像の位置、例えば画像中心の位置情報を特定する。また判定部１４０は、赤外線画像内の特徴領域の推定実際位置を算定する。次に判定部１４０は推定実際位置の比較に基づき、異なる赤外線画像における特徴領域それぞれの同一性について判定する。これら処理について以下に具体例を挙げる。
＜赤外線画像の位置特定＞
判定部１４０は、赤外線画像の位置、例えば画像中心の位置情報を特定する。判定部１４０は、全球測位衛星システムからの航法信号、すなわち衛星が送信する信号発信時刻および衛星軌道に係る情報を含む情報を位置情報受信部１１０を介して受ける。判定部１４０はこの情報に基づき、状態情報受信部１２０から受けた赤外線画像取得時の飛行体Ｄの２次元位置（例えば緯度・経度）や高度または深度を特定する。さらに判定部１４０は、これらに基づく飛行体Ｄの３次元位置と時刻とを関連付けた情報を赤外線画像に関連付ける。判定部１４０は、この関連付けを所定の時間間隔で実施してもよい。またこのように位置情報受信部１１０から情報を受ける構成に限らず、赤外線画像に位置情報が付加されている場合は、その位置情報を使用してもよい。
判定部１４０は、赤外線画像の位置、例えば画像中心の位置情報を特定する。判定部１４０は、全球測位衛星システムからの航法信号、すなわち衛星が送信する信号発信時刻および衛星軌道に係る情報を含む情報を位置情報受信部１１０を介して受ける。判定部１４０はこの情報に基づき、状態情報受信部１２０から受けた赤外線画像取得時の飛行体Ｄの２次元位置（例えば緯度・経度）や高度または深度を特定する。さらに判定部１４０は、これらに基づく飛行体Ｄの３次元位置と時刻とを関連付けた情報を赤外線画像に関連付ける。判定部１４０は、この関連付けを所定の時間間隔で実施してもよい。またこのように位置情報受信部１１０から情報を受ける構成に限らず、赤外線画像に位置情報が付加されている場合は、その位置情報を使用してもよい。
飛行体Ｄの方位および傾きと状態情報取得部Ｄ１におけるカメラの光軸方向に基づき、状態情報取得部Ｄ１と赤外線画像との位置関係が定まる。つまり赤外線画像は必ずしも上記特定された飛行体Ｄの２次元位置（Ｌａｔ・Ｌｎｇ等）の鉛直下方の画像とは限られない。したがって、判定部１４０は、方位および傾き情報と状態情報取得部Ｄ１の向きに基づく光軸方向により、赤外線画像の上記位置情報を補正する。次にその詳細の一例を説明する。なお、図５は、当該補正処理の概要を示す概念図である。
判定部１４０は、赤外線画像の上記各種位置情報を、上記方位情報、傾き情報、光軸方向情報に基づきＶｉｎｃｅｎｔｙ順解法をもって補正する。例えば図５に示すように判定部１４０は、飛行体Ｄの撮影位置の緯度・経度および高度ｈと、複合Ｐｉｔｃｈ角θとによって求められる水平距離Ｓを求める。また判定部１４０は複合Ｙａｗ角と方位情報とから方位角αを求める。この水平距離Ｓと方位角αとに基づいて、判定部１４０は、補正位置情報を求める。具体例は次の通りである。
上記各種位置情報から得られた飛行体Ｄの高度をｈ、上記傾き情報と光軸方向から得られる複合Ｐｉｔｃｈ角をθ、太陽光発電パネルの架台長をＬとすると、太陽光発電パネルまでの「水平距離Ｓ」は、下記数１により求められる。その他Ｖｉｎｃｅｎｔｙ順解法に用いる「始点」（経度、緯度）は上記各種位置情報であり、「方位角」は上記傾き情報と光軸方向から得られる複合Ｙａｗ角と、地磁気センサーにより得られた方位情報とに基づいて得られる。
（補足）
高度ｈ：
ＧＮＳＳ情報に含まれる地表面（接地面）から飛行体Ｄ（またはＧＮＳＳ情報受信部(不図示)）までの高さ。あるいは超音波センサー等により計測した高さ。
架台長Ｌ ：
接地面(地表等)から、太陽光発電パネルの中心位置までの高さ。
始点：
飛行体Ｄの撮影位置（図５：緯度φ1 、経度λ1／鉛直下方位置（接地面））
水平距離Ｓ：
上記撮影位置から補正位置（赤外線画像の中心位置ＣＰ／緯度φ2、 経度λ2）までの距離。
高度ｈ：
ＧＮＳＳ情報に含まれる地表面（接地面）から飛行体Ｄ（またはＧＮＳＳ情報受信部(不図示)）までの高さ。あるいは超音波センサー等により計測した高さ。
架台長Ｌ ：
接地面(地表等)から、太陽光発電パネルの中心位置までの高さ。
始点：
飛行体Ｄの撮影位置（図５：緯度φ1 、経度λ1／鉛直下方位置（接地面））
水平距離Ｓ：
上記撮影位置から補正位置（赤外線画像の中心位置ＣＰ／緯度φ2、 経度λ2）までの距離。
＜特徴領域の推定実際位置の算定＞
判定部１４０は、特徴領域の推定実際位置を求める。これは、以下において異なる赤外線画像間に表れた特徴領域の同一性の判定のために算定されるものである。上記の通り、飛行体Ｄは常に鉛直下方の撮影をしているわけではないため、撮影時の飛行体Ｄの位置（例：図５の緯度φ1、経度λ1）と、赤外線画像の中心位置（例：図５の緯度φ2、経度λ2/図７のＬａｔ１、Ｌｎｇ１）とは必ずしも一致しない。したがって赤外線画像に表れる特徴領域の実際の位置（緯度、経度等）も、上記補正された赤外線画像の位置と飛行体Ｄの位置との距離である上記水平距離Ｓと方位角αに対応して算定される。
さらに飛行体Ｄの状態情報取得部Ｄ１のセンサーサイズ情報とレンズの焦点距離もあらかじめ把握できる。すなわち、水平距離Ｓと複合pitch角θとセンサーサイズとレンズの焦点距離に基づき、赤外線画像における寸法やサイズについての実測比が算出可能である。
つまり、判定部１４０は赤外線画像の画像中心ＣＰの位置（例：図７のＬａｔ１、Ｌｎｇ１）から赤外線画像に表れた特徴領域の位置（Ｌａｔ２、Ｌｎｇ２）までの距離Ｓｍと、当該中心位置に対する特徴領域の位置の方位角と（図７）について、水平距離Ｓと方位角α（共に図５）に基づき算定する。これは上記赤外線画像の位置の補正情報を求めた手法と同様、Ｖｉｎｃｅｎｔｙの順解法による。特徴領域の推定実際位置（Ｌａｔ２、Ｌｎｇ２）は赤外線画像に対応づけて記憶される。
＜推定実際位置の同一性の判定＞
次に判定部１４０は、異なる赤外線画像（図４と図６）における特徴領域の推定実際位置の比較を行なう。この比較は次のように行なわれる。すなわち特定部１３０によって、全ての赤外線画像のうち特徴領域が含まれるものが特定されている。さらに各特徴領域については、上記推定実際位置が算定されている。判定部１４０はＶｉｎｃｅｎｔｙの逆解法を用いて別々の赤外線画像における特徴領域の推定実際位置の経緯度座標間の距離を求める。
次に判定部１４０は、異なる赤外線画像（図４と図６）における特徴領域の推定実際位置の比較を行なう。この比較は次のように行なわれる。すなわち特定部１３０によって、全ての赤外線画像のうち特徴領域が含まれるものが特定されている。さらに各特徴領域については、上記推定実際位置が算定されている。判定部１４０はＶｉｎｃｅｎｔｙの逆解法を用いて別々の赤外線画像における特徴領域の推定実際位置の経緯度座標間の距離を求める。
経緯度座標間の距離が求められると、次に判定部１４０は求めた距離を設定値（閾値等）と比較する。判定部１４０は算定距離が閾値未満である場合、比較対象となった推定実際位置それぞれを同一位置と推定する。例えば太陽光発電パネルにおける障害被疑判定においては、異なる赤外線画像に表れた特徴領域（障害被疑領域）を同一のものであると推定することになる。例えば図４と図６の太字の矩形枠内の特徴領域を同一と推定する。
（制御部Ｃ・構成）
上記説明における各部の処理は、説明の便宜上、図１に示す制御部Ｃの制御の下に実行されるものとして説明した。例えば制御部Ｃは、位置情報受信部１１０、画像受信部１２０、特定部１３０および判定部１４０を統合的に制御する。また、制御部Ｃは、位置情報受信部１１０が受信した測位情報（３次元位置情報、時刻情報等）や、画像受信部１２０が受信した赤外線画像等、特徴領域の有無、および特徴領域の推定実際位置等を記憶させる制御を行なう。
上記説明における各部の処理は、説明の便宜上、図１に示す制御部Ｃの制御の下に実行されるものとして説明した。例えば制御部Ｃは、位置情報受信部１１０、画像受信部１２０、特定部１３０および判定部１４０を統合的に制御する。また、制御部Ｃは、位置情報受信部１１０が受信した測位情報（３次元位置情報、時刻情報等）や、画像受信部１２０が受信した赤外線画像等、特徴領域の有無、および特徴領域の推定実際位置等を記憶させる制御を行なう。
この制御部Ｃは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、或いは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等のうち、単一または複数の回路を含んで構成されていてもよい。制御部Ｃはメモリに保存された例えば画像位置特定プログラムを読み出し実行することで機能を実現する。なお、メモリにプログラムを保存する代わりに、回路内にプログラムを直接組み込むよう構成しても構わない。この場合、制御部Ｃとしての回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、制御部Ｃは単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサーとして構成し、その機能を実現するようにしてもよい。さらに、実施形態における複数の構成要素（例えば位置情報受信部１１０、画像受信部１２０、特定部１３０および判定部１４０のうち少なくとも２以上）を１つのプロセッサーへ統合してその機能を実現するようにしてもよい。
［動作］
図８は、本実施形態における処理の流れを示す図である。以下に、図８を参照しつつ、特徴領域判定システム１００の処理の流れを、ステップ番号（Ｓ００１～Ｓ００７）に添って説明する。
図８は、本実施形態における処理の流れを示す図である。以下に、図８を参照しつつ、特徴領域判定システム１００の処理の流れを、ステップ番号（Ｓ００１～Ｓ００７）に添って説明する。
（Ｓ００１）
特徴領域判定システム１００における位置情報受信部１１０は、飛行体Ｄから位置情報を受ける。また画像受信部１２０は赤外線画像を受ける。
特徴領域判定システム１００における位置情報受信部１１０は、飛行体Ｄから位置情報を受ける。また画像受信部１２０は赤外線画像を受ける。
（Ｓ００２）
特定部１３０は、赤外線画像において太陽光発電パネルを特定する。
特定部１３０は、赤外線画像において太陽光発電パネルを特定する。
（Ｓ００３）
特定部１３０は、状態情報に基づき特徴領域を特定する。例えば特定部１３０により特定された赤外線画像における太陽光発電パネルごとにパネル内の温度情報を取得する。また特定部１３０は、温度分布のうち、高温域と中温域の温度情報の比較（例えば差）により、設定領域における特徴的な数値を示す領域を特徴領域として特定する。特徴領域は赤外線画像における画像内座標に対応づけて記憶される。
特定部１３０は、状態情報に基づき特徴領域を特定する。例えば特定部１３０により特定された赤外線画像における太陽光発電パネルごとにパネル内の温度情報を取得する。また特定部１３０は、温度分布のうち、高温域と中温域の温度情報の比較（例えば差）により、設定領域における特徴的な数値を示す領域を特徴領域として特定する。特徴領域は赤外線画像における画像内座標に対応づけて記憶される。
（Ｓ００４）
判定部１４０は、赤外線画像の位置、例えば画像中心の位置情報を、撮影位置情報と状態情報取得方向等により特定する。
判定部１４０は、赤外線画像の位置、例えば画像中心の位置情報を、撮影位置情報と状態情報取得方向等により特定する。
（Ｓ００５）
また判定部１４０は、赤外線画像内の特徴領域の推定実際位置を算定する。
また判定部１４０は、赤外線画像内の特徴領域の推定実際位置を算定する。
（Ｓ００６）
次に判定部１４０は推定実際位置の比較に基づき、異なる赤外線画像における特徴領域それぞれの同一性について判定する。
次に判定部１４０は推定実際位置の比較に基づき、異なる赤外線画像における特徴領域それぞれの同一性について判定する。
（Ｓ００７）
判定部１４０は、同一と判定された特徴領域を含む赤外線画像のうち、いずれかをユーザーに提示しないように表示制御を行なう。あるいは同一と判定された特徴領域を含む赤外線画像のうち、いずれかについて重複して特徴領域が提示されていることをユーザーに報知する。
判定部１４０は、同一と判定された特徴領域を含む赤外線画像のうち、いずれかをユーザーに提示しないように表示制御を行なう。あるいは同一と判定された特徴領域を含む赤外線画像のうち、いずれかについて重複して特徴領域が提示されていることをユーザーに報知する。
［効果］
本実施形態によれば、複数の撮像対象を含む全領域を分割して撮影範囲とした場合において、その分割領域でそれぞれ特定された各特徴領域について、位置情報と情報取得方向情報（撮影方向情報等）に基づき、同一性を判定する。また、別画像にそれぞれ表れる特徴領域につき同一と判定された場合、同一と判定された特徴領域を含む赤外線画像のうち、いずれかをユーザーに提示しないように表示制御を行なう。あるいは同一と判定された特徴領域を含む赤外線画像のうち、いずれかについて重複して特徴領域が提示されていることをユーザーに報知する。
本実施形態によれば、複数の撮像対象を含む全領域を分割して撮影範囲とした場合において、その分割領域でそれぞれ特定された各特徴領域について、位置情報と情報取得方向情報（撮影方向情報等）に基づき、同一性を判定する。また、別画像にそれぞれ表れる特徴領域につき同一と判定された場合、同一と判定された特徴領域を含む赤外線画像のうち、いずれかをユーザーに提示しないように表示制御を行なう。あるいは同一と判定された特徴領域を含む赤外線画像のうち、いずれかについて重複して特徴領域が提示されていることをユーザーに報知する。
このような構成によれば別画像にそれぞれ表れる同一の特徴領域につき、ユーザーが重複して検査する事態を防止できる。これによりユーザーにかかる多大な労力や処理コストを抑制することが可能となる。
さらに、赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定に用いる情報から除外している。例えば、太陽光発電施設においては、１つの太陽光発電パネル群と他の太陽光発電パネル群との間に、発電機器（パワーコントローラーやケーブル）、アスファルト舗装、水、植物等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズが含まれる可能性を低減可能である。さらに、また太陽光発電パネルの配置位置によって、例えば影により太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異なってくる場合もあり、その点においても異常判定のミスを低減可能である。
上記実施形態によれば判定ミスが低減されるため、障害の可能性が低いパネルが障害被疑の対象から外れやすい。これにより、ユーザーにかかる多大な労力や処理コストを抑制することが可能となる。
［第２実施形態］
第２実施形態にかかる状態判定システム２００について図９～図１１を参照して説明する。以下の説明において、第１実施形態と重複する説明は割愛する。
第２実施形態にかかる状態判定システム２００について図９～図１１を参照して説明する。以下の説明において、第１実施形態と重複する説明は割愛する。
第１実施形態と同様に、第２実施形態においても赤外線画像内の撮像対象が特定され（設定領域）、さらに設定領域それぞれの高温域と中温域の平均値の差分や、当該差分の設定領域間におけるばらつき等に基づき、設定領域における高温域である部分の集合の画像内座標を特定することにより特徴領域を特定する。
（状態判定システム２００）
図９に示すように第２実施形態の状態判定システム２００は、位置情報受信部２１０、画像受信部２２０、特定部２３０、判定部２４０、および制御部Ｃと記憶部Ｓを含んで構成される。位置情報受信部２１０、画像受信部２２０、特定部２３０については第１実施形態と同様であるため、説明を割愛する。
図９に示すように第２実施形態の状態判定システム２００は、位置情報受信部２１０、画像受信部２２０、特定部２３０、判定部２４０、および制御部Ｃと記憶部Ｓを含んで構成される。位置情報受信部２１０、画像受信部２２０、特定部２３０については第１実施形態と同様であるため、説明を割愛する。
（判定部２４０）
判定部２４０は、複数の前記分割領域における各設定領域でそれぞれ特定された各特徴領域について、位置情報と状態情報取得方向に基づき、同一性を判定する。一例として図１０を参照し判定部２４０の処理について説明する。
判定部２４０は、複数の前記分割領域における各設定領域でそれぞれ特定された各特徴領域について、位置情報と状態情報取得方向に基づき、同一性を判定する。一例として図１０を参照し判定部２４０の処理について説明する。
判定部２４０は、第１実施形態と同様に特徴領域の推定実際位置の比較を行なう。すなわち判定部２４０はＶｉｎｃｅｎｔｙの逆解法を用いて別々の赤外線画像における特徴領域の推定実際位置の経緯度座標間の距離を求める。
判定部２４０では、同一の特徴領域と判定するための条件が第１実施形態からさらに追加されている。すなわち、上記距離に基づく判定で同一と判定された特徴領域同士が、さらに赤外線画像内における撮像対象の配列形状または配列規則に基づき、所定の関係にある場合において、結論として同一の特徴領域であると判定される。あるいは同一性の判定の前に、対比しようとする特徴領域同士が、配列規則等に基づき所定の関係にある場合に、上記距離に基づく判定を行う。
例えば太陽光発電パネルにおいては、マトリクス状に各パネルが配列される。また太陽光発電パネルの形状は横方向を長辺とし、縦方向を短辺とする傾向がある。したがって、別画像にそれぞれ表れる特徴領域が横方向で離れていても、縦方向で近いために同一であると判定されることを考慮している。つまり、縦方向に隣接するパネルにそれぞれ別の特徴領域が存在するにもかかわらず、縦方向において隣接しているため、同一の特徴領域と判定することがありうる。
この対策として判定部２４０は、マトリクス状に配列された太陽光発電パネル横方向の位置が同じ、言い換えると同じ行に属するパネルであるかを追加条件として判定する。つまり、判定部２４０は第１実施形態と同様の距離に基づく判定と、同じ行に属するかの判定の両方を実行し、双方の条件を満たす場合に同一の特徴領域である最終的に判定するように構成されている。
なお、特定部２３０が赤外線画像において太陽光発電パネルを特定しているので、その画像内で特定された各パネルの位置に基づき、判定部２４０により上記行が特定される。例えば判定部２４０は画像内のパネルの集合を特定し、その集合における太陽光発電パネルの行列を判定部２４０が特定する。
また、太陽光発電パネル等の観察対象の配列に規則性があれば、判定部２４０による行の特定において、当該配列の規則の情報を補足的に利用する構成であってもよい。マトリクス状の配列の場合、概ね直線状に各パネルが配列されているため、判定部２４０は１つのパネルの横方向に沿って直線状に隣接するパネルに対し、上記距離に基づく判定を行う。他の例として円状に観察対象が複数並んで配列され、さらにその配列が同心円状になっていく配列規則の場合について考える。判定部２４０は画像に表れる観察対象の集合を１つの群とし、その外縁を特定する。判定部２４０は特定した外縁に基づき、各観察対象群（各集合）における、円形配列の中心位置を仮定する。画像において円状の観察対象の群の全体が表れない場合もあるため、この中心位置を当該画像外の位置として仮定してもよい。配列規則が正円状であれば、判定部２４０は仮定した中心位置からの距離が等距離の観察対象それぞれを上記判定対象とする。
配列規則が正円状でなくてもよい。例えば配列規則が楕円状の場合、あらかじめその楕円の形状が設定されていれば、画像に表れる観察対象の外縁の各部分の曲率に基づいて、１の観察対象に対し、判定対象とする他の観察対象を特定することが可能である。また１の観察対象に対する他の観察対象を判定対象から除外することも可能である。
図１０に示すように、左側の画像の第１特徴領域（Ｌａｔ２，Ｌｎｇ２）と、右側の画像の第２特徴領域（Ｌａｔ３，Ｌｎｇ３）とは、マトリクス状の配列規則であって、さらに矩形の観察対象における長手方向と短手方向のうち、長手方向（図１０における横方向）に隣接する。判定部２４０は、このように同一行（あらかじめ設定した所定の位置関係）にある設定領域（観察対象）に含まれる特徴領域の距離に基づき、特徴領域の同一性の判定をする。
［動作］
図１１は、本実施形態における処理の流れを示す図である。以下に、図１１を参照しつつ、特徴領域判定システム２００の処理の流れを、ステップ番号（Ｓ０１１～Ｓ０１７）に添って説明する。
図１１は、本実施形態における処理の流れを示す図である。以下に、図１１を参照しつつ、特徴領域判定システム２００の処理の流れを、ステップ番号（Ｓ０１１～Ｓ０１７）に添って説明する。
（Ｓ０１１）
特徴領域判定システム２００における位置情報受信部２１０は、飛行体Ｄから位置情報を受ける。また画像受信部２２０は赤外線画像を受ける。
特徴領域判定システム２００における位置情報受信部２１０は、飛行体Ｄから位置情報を受ける。また画像受信部２２０は赤外線画像を受ける。
（Ｓ０１２）
特定部２３０は、赤外線画像において太陽光発電パネルを特定する。
特定部２３０は、赤外線画像において太陽光発電パネルを特定する。
（Ｓ０１３）
特定部２３０は、状態情報に基づき特徴領域を特定する。例えば特定部２３０により特定された赤外線画像における太陽光発電パネルごとにパネル内の温度情報を取得する。また特定部２３０は、温度分布のうち、高温域と中温域の温度情報の比較（例えば差）により、設定領域における特徴的な数値を示す領域を特徴領域として特定する。特徴領域は赤外線画像における画像内座標に対応づけて記憶される。
特定部２３０は、状態情報に基づき特徴領域を特定する。例えば特定部２３０により特定された赤外線画像における太陽光発電パネルごとにパネル内の温度情報を取得する。また特定部２３０は、温度分布のうち、高温域と中温域の温度情報の比較（例えば差）により、設定領域における特徴的な数値を示す領域を特徴領域として特定する。特徴領域は赤外線画像における画像内座標に対応づけて記憶される。
（Ｓ０１４）
判定部２４０は、赤外線画像の位置、例えば画像中心の位置情報を、撮影位置情報と状態情報取得方向等により特定する。
判定部２４０は、赤外線画像の位置、例えば画像中心の位置情報を、撮影位置情報と状態情報取得方向等により特定する。
（Ｓ０１５）
また判定部２４０は、赤外線画像内の特徴領域の推定実際位置を算定する。
また判定部２４０は、赤外線画像内の特徴領域の推定実際位置を算定する。
（Ｓ０１６）
次に判定部２４０は、太陽光発電パネルの形状の特徴と、太陽光発電パネルの配列規則とに基づき設定された部分集合のうち、特徴領域がどの部分集合に属するか判定する。具体例として、太陽光発電パネルが縦方向に短く横方向に長く、かつ太陽光発電パネルがマトリクス状に配列されている一般的な太陽光発電施設の場合、次のように処理が実行される。太陽光発電パネルの一群を全体集合とし、その全体集合におけるマトリクス状配列の行方向に並ぶ太陽光発電パネルの集合を部分集合とした場合、判定部２４０は、特徴領域を含む赤外線画像において全体集合を特定する。次に判定部２４０は全体集合における行方向の部分集合（設定領域の集合）を特定する。次に判定部２４０は特徴領域がどの部分集合に属するか（マトリクス状配列の何行目に属するか）を判定する。
次に判定部２４０は、太陽光発電パネルの形状の特徴と、太陽光発電パネルの配列規則とに基づき設定された部分集合のうち、特徴領域がどの部分集合に属するか判定する。具体例として、太陽光発電パネルが縦方向に短く横方向に長く、かつ太陽光発電パネルがマトリクス状に配列されている一般的な太陽光発電施設の場合、次のように処理が実行される。太陽光発電パネルの一群を全体集合とし、その全体集合におけるマトリクス状配列の行方向に並ぶ太陽光発電パネルの集合を部分集合とした場合、判定部２４０は、特徴領域を含む赤外線画像において全体集合を特定する。次に判定部２４０は全体集合における行方向の部分集合（設定領域の集合）を特定する。次に判定部２４０は特徴領域がどの部分集合に属するか（マトリクス状配列の何行目に属するか）を判定する。
（Ｓ０１７）
次に判定部２４０は、Ｓ０１６の部分集合の判定結果に基づき、同じ部分集合に属すると判定された、異なる赤外線画像における特徴領域の推定実際位置を比較する。これにより判定部２４０は、異なる赤外線画像における特徴領域それぞれの同一性について判定する。
次に判定部２４０は、Ｓ０１６の部分集合の判定結果に基づき、同じ部分集合に属すると判定された、異なる赤外線画像における特徴領域の推定実際位置を比較する。これにより判定部２４０は、異なる赤外線画像における特徴領域それぞれの同一性について判定する。
（Ｓ０１８）
判定部２４０は、同一と判定された特徴領域を含む赤外線画像のうち、いずれかをユーザーに提示しないように表示制御を行なう。あるいは同一と判定された特徴領域を含む赤外線画像のうち、いずれかについて重複して特徴領域が提示されていることをユーザーに報知する。
判定部２４０は、同一と判定された特徴領域を含む赤外線画像のうち、いずれかをユーザーに提示しないように表示制御を行なう。あるいは同一と判定された特徴領域を含む赤外線画像のうち、いずれかについて重複して特徴領域が提示されていることをユーザーに報知する。
［効果］
本実施形態によれば、複数の撮像対象を含む全領域を分割して撮影範囲とした場合において、その分割領域でそれぞれ特定された各特徴領域について、位置情報と情報取得方向情報（撮影方向情報等）に基づき、同一性を判定する。また、別画像にそれぞれ表れる特徴領域につき同一と判定された場合、同一と判定された特徴領域を含む赤外線画像のうち、いずれかをユーザーに提示しないように表示制御を行なう。あるいは同一と判定された特徴領域を含む赤外線画像のうち、いずれかについて重複して特徴領域が提示されていることをユーザーに報知する。
本実施形態によれば、複数の撮像対象を含む全領域を分割して撮影範囲とした場合において、その分割領域でそれぞれ特定された各特徴領域について、位置情報と情報取得方向情報（撮影方向情報等）に基づき、同一性を判定する。また、別画像にそれぞれ表れる特徴領域につき同一と判定された場合、同一と判定された特徴領域を含む赤外線画像のうち、いずれかをユーザーに提示しないように表示制御を行なう。あるいは同一と判定された特徴領域を含む赤外線画像のうち、いずれかについて重複して特徴領域が提示されていることをユーザーに報知する。
さらに、第２実施形態では、同一の特徴領域と判定するための条件が第１実施形態からさらに追加されている。すなわち、上記距離に基づく判定で同一と判定された特徴領域同士が、さらに赤外線画像内における撮像対象の配列形状または配列規則に基づき所定の関係にある場合において、結論として同一の特徴領域であると判定される。
このような構成によれば別画像にそれぞれ表れる同一の特徴領域につき、ユーザーが重複して検査する事態を防止できる。これによりユーザーにかかる多大な労力や処理コストを抑制することが可能となる。
さらに、赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定に用いる情報から除外している。例えば、太陽光発電施設においては、１つの太陽光発電パネル群と他の太陽光発電パネル群との間に、発電機器（パワーコントローラーやケーブル）、アスファルト舗装、水、植物等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズが含まれる可能性を低減可能である。さらに、また太陽光発電パネルの配置位置によって、例えば影により太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異なってくる場合もあり、その点においても異常判定のミスを低減可能である。
上記実施形態によれば判定ミスが低減されるため、障害の可能性が低いパネルが障害被疑の対象から外れやすい。これにより、ユーザーにかかる多大な労力や処理コストを抑制することが可能となる。
［第３実施形態］
第３実施形態にかかる特徴領域判定システム３００の全体構成について図１２～図１３を参照して説明する。なお、図１２における特徴領域判定システムは一例であり、その他の構成を含むことを除外するものではなく、様々な形態で実施することが可能である。第３実施形態は、農場における土壌の肥沃の状態の点検をする例について説明する。
第３実施形態にかかる特徴領域判定システム３００の全体構成について図１２～図１３を参照して説明する。なお、図１２における特徴領域判定システムは一例であり、その他の構成を含むことを除外するものではなく、様々な形態で実施することが可能である。第３実施形態は、農場における土壌の肥沃の状態の点検をする例について説明する。
（飛行体Ｄの概要）
図１２に示すように、飛行体Ｄは、状態情報取得部Ｄ１、位置受信部Ｄ２、ジャイロスコープＤ３、ジンバルＤ４を備える。状態情報取得部Ｄ１が赤外線カメラを備えること、位置受信部Ｄ２が飛行体Ｄの３次元位置等を測位し、赤外線画像に付加することについては第１、第２実施形態と同様である。またこれらが、付加情報として赤外線画像とともに特徴領域判定システム３００に送信される点も同様である。
図１２に示すように、飛行体Ｄは、状態情報取得部Ｄ１、位置受信部Ｄ２、ジャイロスコープＤ３、ジンバルＤ４を備える。状態情報取得部Ｄ１が赤外線カメラを備えること、位置受信部Ｄ２が飛行体Ｄの３次元位置等を測位し、赤外線画像に付加することについては第１、第２実施形態と同様である。またこれらが、付加情報として赤外線画像とともに特徴領域判定システム３００に送信される点も同様である。
飛行体ＤのジャイロスコープＤ３およびジンバルＤ４についても第１、第２実施形態と同様である。飛行体Ｄから特徴領域判定システム３００への各種データの送信は送信部Ｔによって実行される。
特徴領域判定システム３００は、位置情報受信部３１０、画像受信部３２０、特定部３３０、判定部３４０および制御部Ｃと記憶部Ｓを含んで構成される。位置情報受信部３１０および画像受信部３２０については、第１、第２実施形態と同様である。
なお、以下においては撮像対象の例として、農場における土壌部分を挙げて説明する。また、「設定領域」については以下において説明する。
（特定部３３０）
特定部３３０は、赤外線画像における設定領域を特定する。一例として撮像対象としての土壌部分の外縁の全体形状と、全体形状を所定サイズの部分領域に分割し、マトリクス状に配列した部分形状に基づきその領域を特定する。「領域の特定」には、一例として設定領域の外縁の座標、または当該領域に属する座標を特定することが含まれる。
特定部３３０は、赤外線画像における設定領域を特定する。一例として撮像対象としての土壌部分の外縁の全体形状と、全体形状を所定サイズの部分領域に分割し、マトリクス状に配列した部分形状に基づきその領域を特定する。「領域の特定」には、一例として設定領域の外縁の座標、または当該領域に属する座標を特定することが含まれる。
なお、例えば上記土壌部分の分割方法については特徴領域判定システムごとに決定されていて変更されない構成であっても、図示しない入力部を介したユーザーの操作によって設定変更が可能な構成であってもよい。
特定部３３０は、赤外線画像内の設定領域ごとに既知の任意の技術によって、温度情報を取得する。例えば温度情報は、赤外線画像における画像を構成する最小単位ごとの色温度から求められる。最小単位は、画素・ピクセルであってもよく、既定の画素単位・ピクセル単位のブロックであってもよい。なお、最小単位の温度情報それぞれには、画像における座標情報が対応づけられていてもよい。
また特定部３３０は、第１実施形態等と同様に温度情報から設定領域ごとの温度分布を求め、高温域、中温域、低温域を特定する。また特定部３３０は第１実施形態等と同様に特徴領域を特定する。
（判定部３４０）
判定部３４０は、第１実施形態または第２実施形態と同様に、異なる赤外線画像における各特徴領域について、同一性を判定する。
判定部３４０は、第１実施形態または第２実施形態と同様に、異なる赤外線画像における各特徴領域について、同一性を判定する。
［動作］
図１３は、本実施形態における処理の流れを示す図である。以下に、図１３を参照しつつ、特徴領域判定システム３００の処理の流れを、ステップ番号（Ｓ０２１～Ｓ０２９）に添って説明する。
図１３は、本実施形態における処理の流れを示す図である。以下に、図１３を参照しつつ、特徴領域判定システム３００の処理の流れを、ステップ番号（Ｓ０２１～Ｓ０２９）に添って説明する。
（Ｓ０２１）
特徴領域判定システム３００における位置情報受信部３１０は、飛行体Ｄから位置情報を受ける。また画像受信部３２０は赤外線画像を受ける。
特徴領域判定システム３００における位置情報受信部３１０は、飛行体Ｄから位置情報を受ける。また画像受信部３２０は赤外線画像を受ける。
（Ｓ０２２）
特定部３３０は、撮像対象としての植物が植えられる土壌部分の外縁の全体形状と、全体形状を所定サイズの部分領域に分割し、マトリクス状に配列した部分形状に基づきその領域を特定する。
特定部３３０は、撮像対象としての植物が植えられる土壌部分の外縁の全体形状と、全体形状を所定サイズの部分領域に分割し、マトリクス状に配列した部分形状に基づきその領域を特定する。
（Ｓ０２３）
特定部３３０は、状態情報に基づき特徴領域を特定する。例えば特定部３３０により特定された赤外線画像における土壌全体を分割した設定領域（部分領域）ごとに領域内の温度情報を取得する。また特定部３３０は、温度分布のうち、高温域と中温域の温度情報の比較（例えば差）により、設定領域における特徴的な数値を示す領域を特徴領域として特定する。特徴領域は赤外線画像における画像内座標に対応づけて記憶される。
特定部３３０は、状態情報に基づき特徴領域を特定する。例えば特定部３３０により特定された赤外線画像における土壌全体を分割した設定領域（部分領域）ごとに領域内の温度情報を取得する。また特定部３３０は、温度分布のうち、高温域と中温域の温度情報の比較（例えば差）により、設定領域における特徴的な数値を示す領域を特徴領域として特定する。特徴領域は赤外線画像における画像内座標に対応づけて記憶される。
（Ｓ０２４）
判定部３４０は、赤外線画像の位置、例えば画像中心の位置情報を、撮影位置情報と状態情報取得方向等により特定する。
判定部３４０は、赤外線画像の位置、例えば画像中心の位置情報を、撮影位置情報と状態情報取得方向等により特定する。
（Ｓ０２５）
また判定部３４０は、赤外線画像内の特徴領域の推定実際位置を算定する。
また判定部３４０は、赤外線画像内の特徴領域の推定実際位置を算定する。
（Ｓ０２６）
次に判定部３４０は、設定領域の形状の特徴と、全体を分割して設定された設定領域の配列規則とに基づき設定された部分集合のうち、特徴領域がどの部分集合に属するか判定する。具体例として、設定領域が縦方向に短く横方向に長く、かつ設定領域がマトリクス状に配列されている場合、次のように処理が実行される。分割前の土壌部分を全体集合とし、その全体集合におけるマトリクス状配列の行方向に並ぶ設定領域の集合を部分集合とした場合、判定部３４０は、特徴領域を含む赤外線画像において全体集合を特定する。次に判定部３４０は全体集合における行方向の部分集合を特定する。次に判定部３４０は特徴領域がどの行に属するか（マトリクス状配列の何行目に属するか）を判定する。
次に判定部３４０は、設定領域の形状の特徴と、全体を分割して設定された設定領域の配列規則とに基づき設定された部分集合のうち、特徴領域がどの部分集合に属するか判定する。具体例として、設定領域が縦方向に短く横方向に長く、かつ設定領域がマトリクス状に配列されている場合、次のように処理が実行される。分割前の土壌部分を全体集合とし、その全体集合におけるマトリクス状配列の行方向に並ぶ設定領域の集合を部分集合とした場合、判定部３４０は、特徴領域を含む赤外線画像において全体集合を特定する。次に判定部３４０は全体集合における行方向の部分集合を特定する。次に判定部３４０は特徴領域がどの行に属するか（マトリクス状配列の何行目に属するか）を判定する。
（Ｓ０２７）
次に判定部３４０は、Ｓ０２６の部分集合の判定結果に基づき、同じ部分集合に属すると判定された、異なる赤外線画像における特徴領域の推定実際位置を比較する。これにより判定部３４０は、異なる赤外線画像における特徴領域それぞれの同一性について判定する。
次に判定部３４０は、Ｓ０２６の部分集合の判定結果に基づき、同じ部分集合に属すると判定された、異なる赤外線画像における特徴領域の推定実際位置を比較する。これにより判定部３４０は、異なる赤外線画像における特徴領域それぞれの同一性について判定する。
（Ｓ０２８）
判定部３４０は、同一と判定された特徴領域を含む赤外線画像のうち、いずれかをユーザーに提示しないように表示制御を行なう。あるいは同一と判定された特徴領域を含む赤外線画像のうち、いずれかについて重複して特徴領域が提示されていることをユーザーに報知する。
判定部３４０は、同一と判定された特徴領域を含む赤外線画像のうち、いずれかをユーザーに提示しないように表示制御を行なう。あるいは同一と判定された特徴領域を含む赤外線画像のうち、いずれかについて重複して特徴領域が提示されていることをユーザーに報知する。
［効果］
本実施形態によれば、複数の撮像対象を含む全領域を分割して撮影範囲とした場合において、その分割領域でそれぞれ特定された各特徴領域について、位置情報と情報取得方向情報（撮影方向情報等）に基づき、同一性を判定する。また、別画像にそれぞれ表れる特徴領域につき同一と判定された場合、同一と判定された特徴領域を含む赤外線画像のうち、いずれかをユーザーに提示しないように表示制御を行なう。あるいは同一と判定された特徴領域を含む赤外線画像のうち、いずれかについて重複して特徴領域が提示されていることをユーザーに報知する。
本実施形態によれば、複数の撮像対象を含む全領域を分割して撮影範囲とした場合において、その分割領域でそれぞれ特定された各特徴領域について、位置情報と情報取得方向情報（撮影方向情報等）に基づき、同一性を判定する。また、別画像にそれぞれ表れる特徴領域につき同一と判定された場合、同一と判定された特徴領域を含む赤外線画像のうち、いずれかをユーザーに提示しないように表示制御を行なう。あるいは同一と判定された特徴領域を含む赤外線画像のうち、いずれかについて重複して特徴領域が提示されていることをユーザーに報知する。
また、上記距離に基づく判定で同一と判定された特徴領域同士が、さらに赤外線画像内における撮像対象の配列形状または配列規則に基づき所定の関係にある場合において、結論として同一の特徴領域であると判定してもよい。
このような構成によれば別画像にそれぞれ表れる同一の特徴領域につき、ユーザーが重複して検査する事態を防止できる。これによりユーザーにかかる多大な労力や処理コストを抑制することが可能となる。
さらに、赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定に用いる情報から除外している。例えば、農場においては、農道、舗装路、水路、柵、害虫駆除具、害獣対策機器、農具、収納庫等の、作物を育成する土壌部分とは全く異なる温度情報を呈する物が存在している。赤外線画像全体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定に支障をきたすおそれがある。本実施形態によれば、判定対象の土壌部分をまず特定し、異常判定はそれを分割した設定領域ごとに実行する。その結果、ノイズが含まれる可能性を低減可能である。さらに、また農場全体における土壌部分の位置によって、例えば影により温度情報の平均値が異なってくる場合もあり、その点においても異常判定のミスを低減可能である。
上記実施形態によれば判定ミスが低減されるため、障害の可能性が低いパネルが障害被疑の対象から外れやすい。これにより、ユーザーにかかる多大な労力や処理コストを抑制することが可能となる。
［第４実施形態］
第４実施形態にかかる特徴領域判定システム４００の全体構成について図１４～図１５を参照して説明する。なお、図１４における特徴領域判定システムは一例であり、その他の構成を含むことを除外するものではなく、様々な形態で実施することが可能である。第４実施形態は、農場における土壌の肥沃の状態の点検をする例について説明する。
第４実施形態にかかる特徴領域判定システム４００の全体構成について図１４～図１５を参照して説明する。なお、図１４における特徴領域判定システムは一例であり、その他の構成を含むことを除外するものではなく、様々な形態で実施することが可能である。第４実施形態は、農場における土壌の肥沃の状態の点検をする例について説明する。
（飛行体Ｄの概要）
図１４に示すように、飛行体Ｄは、状態情報取得部Ｄ１、位置受信部Ｄ２、ジャイロスコープＤ３、ジンバルＤ４を備える。状態情報取得部Ｄ１は光学機器であり、例えばマルチスペクトルカメラ、ＲＧＢカメラ、ハイパースペクトルカメラ等である。位置受信部Ｄ２が飛行体Ｄの３次元位置等を測位し、撮影画像に付加することについては第１～第３実施形態と同様である。またこれらが、付加情報として撮影画像とともに特徴領域判定システム４００に送信される点も同様である。
図１４に示すように、飛行体Ｄは、状態情報取得部Ｄ１、位置受信部Ｄ２、ジャイロスコープＤ３、ジンバルＤ４を備える。状態情報取得部Ｄ１は光学機器であり、例えばマルチスペクトルカメラ、ＲＧＢカメラ、ハイパースペクトルカメラ等である。位置受信部Ｄ２が飛行体Ｄの３次元位置等を測位し、撮影画像に付加することについては第１～第３実施形態と同様である。またこれらが、付加情報として撮影画像とともに特徴領域判定システム４００に送信される点も同様である。
飛行体ＤのジャイロスコープＤ３およびジンバルＤ４についても第１～第３実施形態と同様である。飛行体Ｄから特徴領域判定システム４００への各種データの送信は送信部Ｔによって実行される。
特徴領域判定システム４００は、位置情報受信部４１０、画像受信部４２０、特定部４３０、判定部４４０および制御部Ｃと記憶部Ｓを含んで構成される。位置情報受信部４１０については、第１、第２実施形態と同様である。画像受信部４２０は、飛行体Ｄの状態情報取得部Ｄ１（スペクトルカメラ等）から撮影画像を受ける。特定部４３０は、状態情報に基づき特徴領域を特定する。この特定には、画像における所定の撮像対象または撮像対象群の特定と、撮像対象の植生指標の取得と、植生指標と閾値に基づく撮像対象の各部分の状態判定と、特徴領域における画像内座標の特定とが含まれる。また特定部４３０により特定される撮影画像内の各撮像対象を示す領域それぞれについては上記実施形態と同様に以下、「設定領域」と記載する。
なお、以下においては撮像対象の例として、植物を挙げて説明する。植物には穀物（トウモロコシ、コメ（水稲）、コムギ等）やその他の作物、生花、綿花等が含まれる。また、「設定領域」については以下において説明する。また、植生指標とは、植物による光の反射の特徴を生かし空撮したデータを使って簡易な計算式で植生の状況を把握することを目的として考案された指標であって、植物の量や活力を表す。代表的な植生指標には、ＮＤＶＩ(Normalized Difference Vegetation Index：正規化植生指標)がある。
（特定部４３０）
特定部４３０は、撮影画像における設定領域を特定する。一例として撮像対象としての植物が整列されて育成された集合の外縁の全体形状と、植物の１株または所定株数を一単位とした部分領域に基づきその領域を特定する。「領域の特定」には、一例として上記１以上の株を一単位とした設定領域の外縁の座標、または当該領域に属する座標を特定することが含まれる。あるいは厳密に１株または当該単位を厳密に識別せず、一構成単位に属する領域を撮影画像内で正方形、長方形、円形または多角形等の任意の設定形状として特定してもよい。
特定部４３０は、撮影画像における設定領域を特定する。一例として撮像対象としての植物が整列されて育成された集合の外縁の全体形状と、植物の１株または所定株数を一単位とした部分領域に基づきその領域を特定する。「領域の特定」には、一例として上記１以上の株を一単位とした設定領域の外縁の座標、または当該領域に属する座標を特定することが含まれる。あるいは厳密に１株または当該単位を厳密に識別せず、一構成単位に属する領域を撮影画像内で正方形、長方形、円形または多角形等の任意の設定形状として特定してもよい。
なお、例えば上記特定方法については特徴領域判定システムごとに決定されていて変更されない構成であっても、図示しない入力部を介したユーザーの操作によって設定変更が可能な構成であってもよい。
特定部４３０は、撮影画像内の設定領域ごとに既知の任意の技術によって、植生指標を取得する。例えば植生指標は、撮影画像における画像を構成する最小単位ごとの赤色光（例：波長約620nm～680nm）と近赤外光（例：波長約760nm～780nm）の反射光から求められる。最小単位は、画素・ピクセルであってもよく、既定の画素単位・ピクセル単位のブロックであってもよい。なお、最小単位の植生指標それぞれには、画像における座標情報が対応づけられていてもよい。
ＮＤＶＩ＝（ＩＲ－Ｒ）/（ＩＲ＋Ｒ）
ＩＲ：近赤外光の反射率
Ｒ：赤色光の反射
ＮＤＶＩ＝（ＩＲ－Ｒ）/（ＩＲ＋Ｒ）
ＩＲ：近赤外光の反射率
Ｒ：赤色光の反射
また特定部４３０は、第１実施形態等と同様に植生指標から設定領域ごとの植生状況を求め、高活性域、中活性域、低活性域を特定する。ここでの活性度は、植生指標そのものでもよく、植生指標を補正した数値でもよく、またはこれらに基づき算出された評価値や評価ランクでもよい。また高活性域は分布における例えば上位２０％の活性度情報である。低活性域は分布における例えば下位２０％の活性度情報である。中活性域は高活性域と低活性域の間の活性度情報である。
また特定部４３０は中活性域と低活性域の活性度情報の比較（例えば差）により、設定領域における特徴的な数値を示す領域を特徴領域として特定する。活性度情報の比較には、例えば各設定領域における中活性域と低活性域の平均値の差分や、当該差分の設定領域間におけるばらつき(標準偏差等)が用いられる。
特定部４３０は、一例としてばらつきが大きい設定領域について、その活性度分布のうち低活性域である部分の集合の画像内座標を特定することにより特徴領域を特定する。つまり、上記の例において特定部４３０は以下のような流れで特徴領域を特定する。
特定部４３０は、まず測定対象とそうでない部分を分け、さらに測定対象における特異な部分の判定に用いる最小構成単位ごとに活性度情報を取得する。次に特定部４３０は、その最小構成単位における活性度分布のうち中活性域と低活性域の活性度情報を比較する。次に特定部４３０は、いくつかの最小構成単位の群をグルーピングし、そのグループ内で比較の結果のばらつきを求め、ばらつきが大きいものを抽出する。次に特定部１３０は、ばらつきが大きいもの（例：被疑判定パネル）の中から低活性域となる部分（画素等）を特定し、その部分の集合の画像内座標を特定する。
（判定部４４０）
判定部４４０は、第１実施形態または第２実施形態と同様に、異なる撮影画像における各特徴領域について、同一性を判定する。
判定部４４０は、第１実施形態または第２実施形態と同様に、異なる撮影画像における各特徴領域について、同一性を判定する。
［動作］
図１５は、本実施形態における処理の流れを示す図である。以下に、図１５を参照しつつ、特徴領域判定システム４００の処理の流れを、ステップ番号（Ｓ０３１～Ｓ０３９）に添って説明する。
図１５は、本実施形態における処理の流れを示す図である。以下に、図１５を参照しつつ、特徴領域判定システム４００の処理の流れを、ステップ番号（Ｓ０３１～Ｓ０３９）に添って説明する。
（Ｓ０３１）
特徴領域判定システム４００における位置情報受信部４１０は、飛行体Ｄから位置情報を受ける。また画像受信部４２０は撮影画像を受ける。
特徴領域判定システム４００における位置情報受信部４１０は、飛行体Ｄから位置情報を受ける。また画像受信部４２０は撮影画像を受ける。
（Ｓ０３２）
特定部４３０は、撮像対象としての植物の１株または所定株数を一単位とした部分領域に基づきその領域を特定する。あるいは厳密に１株または当該単位を厳密に識別せず、一構成単位に属する領域を撮影画像内で正方形、長方形、円形または多角形等の任意の設定形状として特定してもよい。
特定部４３０は、撮像対象としての植物の１株または所定株数を一単位とした部分領域に基づきその領域を特定する。あるいは厳密に１株または当該単位を厳密に識別せず、一構成単位に属する領域を撮影画像内で正方形、長方形、円形または多角形等の任意の設定形状として特定してもよい。
（Ｓ０３３）
特定部４３０は、状態情報に基づき特徴領域を特定する。例えばＳ０３２で特定部４３０により特定された撮影画像における設定領域（部分領域）ごとに領域内の植生指標を取得する。また特定部４３０は、活性度分布のうち、低活性域と中活性域の植生指標の比較（例えば差）により、設定領域における特徴的な数値を示す領域を特徴領域として特定する。特徴領域は撮影画像における画像内座標に対応づけて記憶される。
特定部４３０は、状態情報に基づき特徴領域を特定する。例えばＳ０３２で特定部４３０により特定された撮影画像における設定領域（部分領域）ごとに領域内の植生指標を取得する。また特定部４３０は、活性度分布のうち、低活性域と中活性域の植生指標の比較（例えば差）により、設定領域における特徴的な数値を示す領域を特徴領域として特定する。特徴領域は撮影画像における画像内座標に対応づけて記憶される。
（Ｓ０３４）
判定部４４０は、撮影画像の位置、例えば画像中心の位置情報を、撮影位置情報と状態情報取得方向等により特定する。
判定部４４０は、撮影画像の位置、例えば画像中心の位置情報を、撮影位置情報と状態情報取得方向等により特定する。
（Ｓ０３５）
また判定部４４０は、撮影画像内の特徴領域の推定実際位置を算定する。
また判定部４４０は、撮影画像内の特徴領域の推定実際位置を算定する。
（Ｓ０３６）
次に判定部４４０は、設定領域の形状の特徴と、設定領域の配列規則とに基づき設定された部分集合のうち、特徴領域がどの部分集合に属するか判定する。具体例として、設定領域がマトリクス状に配列されている場合、次のように処理が実行される。測定対象としての植物全株を全体集合とし、その全体集合におけるマトリクス状配列の行方向に並ぶ設定領域の集合を部分集合とした場合、判定部４４０は、特徴領域を含む撮影画像において全体集合を特定する。次に判定部４４０は全体集合における行または列方向の部分集合を特定する。次に判定部４４０は特徴領域がどの行または列に属するか（マトリクス状配列の何行目に属するか）を判定する。
行方向か列方向かは、設定領域の外縁形状に基づいて上記実施形態と同様に設定される。
次に判定部４４０は、設定領域の形状の特徴と、設定領域の配列規則とに基づき設定された部分集合のうち、特徴領域がどの部分集合に属するか判定する。具体例として、設定領域がマトリクス状に配列されている場合、次のように処理が実行される。測定対象としての植物全株を全体集合とし、その全体集合におけるマトリクス状配列の行方向に並ぶ設定領域の集合を部分集合とした場合、判定部４４０は、特徴領域を含む撮影画像において全体集合を特定する。次に判定部４４０は全体集合における行または列方向の部分集合を特定する。次に判定部４４０は特徴領域がどの行または列に属するか（マトリクス状配列の何行目に属するか）を判定する。
行方向か列方向かは、設定領域の外縁形状に基づいて上記実施形態と同様に設定される。
（Ｓ０３７）
次に判定部４４０は、Ｓ０３６の部分集合の判定結果に基づき、同じ部分集合に属すると判定された、異なる撮影画像における特徴領域の推定実際位置を比較する。これにより判定部４４０は、異なる撮影画像における特徴領域それぞれの同一性について判定する。
次に判定部４４０は、Ｓ０３６の部分集合の判定結果に基づき、同じ部分集合に属すると判定された、異なる撮影画像における特徴領域の推定実際位置を比較する。これにより判定部４４０は、異なる撮影画像における特徴領域それぞれの同一性について判定する。
（Ｓ０３８）
判定部４４０は、同一と判定された特徴領域を含む撮影画像のうち、いずれかをユーザーに提示しないように表示制御を行なう。あるいは同一と判定された特徴領域を含む撮影画像のうち、いずれかについて重複して特徴領域が提示されていることをユーザーに報知する。
判定部４４０は、同一と判定された特徴領域を含む撮影画像のうち、いずれかをユーザーに提示しないように表示制御を行なう。あるいは同一と判定された特徴領域を含む撮影画像のうち、いずれかについて重複して特徴領域が提示されていることをユーザーに報知する。
なお、本実施形態のように、植物の植生状況を示すデータとして、ＮＤＶＩおよびそれを用い、または補正した数値情報（窒素吸収量等）に限られない。例えば植被率情報、光合成効率等、任意の植生状況を示す数値情報や指標あるいはそれを分析した評価情報であってもよい。
また、第２実施形態に記載したように、植物の配列がマトリクス状でない場合についての判定は第２実施形態と同様に処理することが可能である。また、第１実施形態のように判定部４４０が配列規則を利用した判定をせず、単に距離と閾値に基づいて判定を行うことも可能である。
［効果］
本実施形態によれば、設定領域でそれぞれ特定された各特徴領域について、位置情報と情報取得方向情報（撮影方向情報等）に基づき、同一性を判定する。また、別画像にそれぞれ表れる特徴領域につき同一と判定された場合、同一と判定された特徴領域を含む撮影画像のうち、いずれかをユーザーに提示しないように表示制御を行なう。あるいは同一と判定された特徴領域を含む撮影画像のうち、いずれかについて重複して特徴領域が提示されていることをユーザーに報知する。
本実施形態によれば、設定領域でそれぞれ特定された各特徴領域について、位置情報と情報取得方向情報（撮影方向情報等）に基づき、同一性を判定する。また、別画像にそれぞれ表れる特徴領域につき同一と判定された場合、同一と判定された特徴領域を含む撮影画像のうち、いずれかをユーザーに提示しないように表示制御を行なう。あるいは同一と判定された特徴領域を含む撮影画像のうち、いずれかについて重複して特徴領域が提示されていることをユーザーに報知する。
また、上記距離に基づく判定で同一と判定された特徴領域同士が、さらに撮影画像内における撮像対象の配列形状または配列規則に基づき所定の関係にある場合において、結論として同一の特徴領域であると判定してもよい。
このような構成によれば別画像にそれぞれ表れる同一の特徴領域につき、ユーザーが重複して検査する事態を防止できる。これによりユーザーにかかる多大な労力や処理コストを抑制することが可能となる。
さらに、撮影画像内の撮像対象と、それ以外のものを識別し、撮像対象以外が示す画素等を異常判定に用いる情報から除外している。例えば、農場においては、農道、舗装路、水路、柵、害虫駆除具、害獣対策機器、農具、収納庫等の、植物とは全く異なる植生指標を呈する物が存在している。撮影画像全体で活性度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定に支障をきたすおそれがある。本実施形態によれば、判定対象の土壌部分をまず特定し、異常判定はそれを分割した設定領域ごとに実行する。その結果、ノイズが含まれる可能性を低減可能である。さらに、また農場全体における土壌部分の位置によって、例えば影により植生指標の平均値が異なってくる場合もあり、その点においても異常判定のミスを低減可能である。
上記実施形態によれば判定ミスが低減されるため、障害の可能性が低いパネルが障害被疑の対象から外れやすい。これにより、ユーザーにかかる多大な労力や処理コストを抑制することが可能となる。
この発明の実施形態を説明したが、上記の実施形態は例として提示したものであり、発明の範囲を限定することを意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１００、２００、３００、４００ 特徴領域判定システム
１１０、２１０、３１０、４１０ 位置情報受信部
１２０、２２０、３２０、４２０ 画像受信部
１３０、２３０、３３０、４３０ 特定部
１４０、２４０、３４０、４４０ 判定部
Ｄ 飛行体
Ｄ１ 状態情報取得部
Ｄ２ 位置取得部
Ｄ３ ジャイロスコープ
Ｄ４ ジンバル
Ｄ５ 地磁気センサー
１１０、２１０、３１０、４１０ 位置情報受信部
１２０、２２０、３２０、４２０ 画像受信部
１３０、２３０、３３０、４３０ 特定部
１４０、２４０、３４０、４４０ 判定部
Ｄ 飛行体
Ｄ１ 状態情報取得部
Ｄ２ 位置取得部
Ｄ３ ジャイロスコープ
Ｄ４ ジンバル
Ｄ５ 地磁気センサー
Claims (9)
- 観察対象全体を複数領域に分割した分割領域の状態を示す状態情報を飛行体から受信する状態情報受信部と、
前記状態情報における、情報取得時の位置情報と情報取得方向情報を受信する位置情報受信部と、
前記状態情報に基づき、特徴領域を特定する特定部と、
複数の前記分割領域でそれぞれ特定された各特徴領域について、前記位置情報と前記情報取得方向情報に基づき、同一性を判定する判定部と、
を備える特徴領域判定システム。 - 前記位置情報は、前記飛行体が前記撮影に対応して受けた全球測位衛星システムからの航法信号を含み、
前記撮影方向情報は、前記飛行体の機体の向きと、前記飛行体に設けられた撮影部の向きとを含む
ことを特徴とする請求項１に記載の特徴領域判定システム。 - 前記判定部は、位置情報は、前記飛行体が前記撮影に対応して受けた全球測位衛星システムからの航法信号を含み、
前記撮影方向情報は、前記飛行体の機体の向きと、前記飛行体に設けられた撮影部の向きとを含む
ことを特徴とする請求項１に記載の特徴領域判定システム。 - 前記判定部は、複数の前記分割領域でそれぞれ特定された各特徴領域について、前記観察対象全体における位置を算定し、算定された特徴領域の該位置が設定範囲内であることにより同一と判断する
ことを特徴とする請求項１から３のいずれか１項に記載の特徴領域判定システム。 - 前記分割領域には、前記特徴領域を含みうる複数の観察対象物が所定の形状で配列されており、
前記判定部は、前記位置情報と、前記情報取得方向情報と、複数の前記観察対象物の配列規則とに基づいて同一性を判定する
ことを特徴とする請求項１から４のいずれか１項に記載の特徴領域判定システム。 - 前記分割領域には、前記特徴領域を含みうる複数の観察対象物が所定の形状で配列されており、
前記判定部は、前記位置情報と、前記情報取得方向情報と、複数の前記観察対象物の配列規則とに基づいて同一性を判定する
ことを特徴とする請求項１から５のいずれか１項に記載の特徴領域判定システム。 - 前記状態情報は赤外線画像であり、
前記特定部は前記赤外線画像それぞれの温度情報に基づき、特徴領域を特定する
ことを特徴とする請求項１から６のいずれか１項に記載の特徴領域判定システム。 - 前記状態情報は植物の植生状況を示す画像であり、
前記特定部は、前記植生状況を示す画像それぞれの植生状況情報に基づき特徴領域を特定する
ことを特徴とする請求項１から６のいずれか１項に記載の特徴領域判定システム。 - 前記状態情報における、情報取得時の位置情報と情報取得方向情報を受信するするステップと、
前記状態情報に基づき、特徴領域を特定する特定部と、
複数の前記分割領域でそれぞれ特定された各特徴領域について、前記位置情報と前記情報取得方向情報に基づき、同一性を判定するするステップと、
を備える特徴領域判定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021073226A JP2022167442A (ja) | 2021-04-23 | 2021-04-23 | 特徴領域判定システムおよび特徴領域判定方法。 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021073226A JP2022167442A (ja) | 2021-04-23 | 2021-04-23 | 特徴領域判定システムおよび特徴領域判定方法。 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022167442A true JP2022167442A (ja) | 2022-11-04 |
Family
ID=83852634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021073226A Pending JP2022167442A (ja) | 2021-04-23 | 2021-04-23 | 特徴領域判定システムおよび特徴領域判定方法。 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022167442A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7453643B1 (ja) | 2023-11-07 | 2024-03-21 | Ｐｃｉソリューションズ株式会社 | ソーラーパネルの経緯度特定方法 |
-
2021
- 2021-04-23 JP JP2021073226A patent/JP2022167442A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7453643B1 (ja) | 2023-11-07 | 2024-03-21 | Ｐｃｉソリューションズ株式会社 | ソーラーパネルの経緯度特定方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kalisperakis et al. | Leaf area index estimation in vineyards from UAV hyperspectral data, 2D image mosaics and 3D canopy surface models | |
| Liu et al. | Estimating leaf area index using unmanned aerial vehicle data: shallow vs. deep machine learning algorithms | |
| Turner et al. | Development of an Unmanned Aerial Vehicle (UAV) for hyper resolution vineyard mapping based on visible, multispectral, and thermal imagery | |
| Honkavaara et al. | Hyperspectral reflectance signatures and point clouds for precision agriculture by light weight UAV imaging system | |
| Lin et al. | Quality control and crop characterization framework for multi-temporal UAV LiDAR data over mechanized agricultural fields | |
| Paredes et al. | Multispectral imaging system with UAV integration capabilities for crop analysis | |
| Huang et al. | Multispectral imaging systems for airborne remote sensing to support agricultural production management | |
| de Oca et al. | The AgriQ: A low-cost unmanned aerial system for precision agriculture | |
| US10585210B2 (en) | Apparatus for radiometric correction and orthorectification of aerial imagery | |
| Honkavaara et al. | Using multitemporal hyper-and multispectral UAV imaging for detecting bark beetle infestation on norway spruce | |
| Herrero-Huerta et al. | Vicarious radiometric calibration of a multispectral sensor from an aerial trike applied to precision agriculture | |
| Negash et al. | Emerging UAV applications in agriculture | |
| JP2020515809A (ja) | マルチセンサ放射照度推定に係る機器及び方法 | |
| de Oliveira et al. | Geometric calibration of a hyperspectral frame camera | |
| Yuan et al. | GNSS-IMU-assisted colored ICP for UAV-LiDAR point cloud registration of peach trees | |
| De Biasio et al. | UAV-based environmental monitoring using multi-spectral imaging | |
| Jung et al. | Analysis of vegetation infection information using unmanned aerial vehicle with optical sensor | |
| Gautam et al. | Footprint determination of a spectroradiometer mounted on an unmanned aircraft system | |
| Jia et al. | UAV remote sensing image mosaic and its application in agriculture | |
| Salvado et al. | Semantic navigation mapping from aerial multispectral imagery | |
| Tsoulias et al. | An approach for monitoring temperature on fruit surface by means of thermal point cloud | |
| JP2022167442A (ja) | 特徴領域判定システムおよび特徴領域判定方法。 | |
| Elbahnasawy et al. | Multi-sensor integration onboard a UAV-based mobile mapping system for agricultural management | |
| Sefercik et al. | 3D positioning accuracy and land cover classification performance of multispectral RTK UAVs | |
| JP2022066062A (ja) | 状態判定システムおよび状態判定方法。 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240729 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240731 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240906 |