JP2023100107A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】より簡易に植物体の状態を検知した検知データを生成することができる情報処理装置、情報処理方法、およびプログラムを提供すること。【解決手段】飛翔体により上方から撮影された、植物体を含む二次元の画像を取得する画像取得部と、前記画像の領域を所定の大きさの複数の分割画像に分割する画像分割部と、前記画像に含まれる当該画像の中心位置を表す地理情報に基づいて、それぞれの前記分割画像の地理的な位置を取得する位置取得部と、それぞれの前記分割画像に写された所定の種類の植物体の状態を検知する植物体検知部と、取得した前記分割画像の地理的な位置と、検知した前記所定の種類の植物体の状態とを関連付けた検知データを生成する検知データ生成部と、を備える情報処理装置。【選択図】図１

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関する。

植物体（作物）を栽培する試験圃場や生産現場において、植物体（雑草）の被度を計測すること、つまり、雑草を検知することは、例えば、農薬散布や草地更新などの圃場管理をする上で有用である。ここで、被度を計測（検知）する植物体は、雑草など、栽培をしていない植物体、つまり、栽培している作物などの植物体を含んでもよい。圃場管理においては、例えば、計測（検知）した雑草の被度を地図上に表すことによって、どの位置に雑草が多く生育しているのかを可視化することは重要である。これに関して、従来から、空撮画像と機械学習とを用いた雑草検知に関する種々の方法が提案されている。

例えば、非特許文献１には、小型の無人航空機（Unmanned Aerial Vehicle：ＵＡＶ）により撮影された空撮画像から雑草を検知する方法が記載されている。非特許文献１に記載されている雑草の検知方法では、一連の空撮画像から、圃場の全体を一体化して表したオルソモザイク画像とよばれる三次元データを生成し、生成したオルソモザイク画像を機械学習により分析することによって、オルソモザイク画像上で雑草を検知している。これにより、非特許文献１では、検知した雑草の位置をオルソモザイク画像上に表示させることによって、圃場内での雑草の位置を特定することができる。

「ＡｒｃＧＩＳと小型ＵＡＶで簡単かつ低コストな牧草地管理を実現：帯広畜産大学」，ＥＳＲＩジャパン，https://www.esrij.com/cgi-bin/wp/wp-content/uploads/2020/01/2020_04_obihirotikusan.pdf

しかしながら、オルソモザイク画像を生成するためには、空撮画像に対して、例えば、Structure from Motion（ＳｆＭ）といわれる手法を適用する必要がある。このＳｆＭは、多視点の画像から三次元モデルを構築する手法であり、バイオマス分野において利用が検討されている手法ではあるものの、その処理には多くの時間を要する。つまり、ＳｆＭは、処理コストが高い手法である。

さらに、ＳｆＭによってオルソモザイク画像を生成するために用いる一連の空撮画像には、それぞれの空撮画像の同士に所定量の重なり（オーバーラップ）を必要とする。例えば、国土地理院によって公開されている測量マニュアルでは、無人航空機（ＵＡＶ）の飛行方向に８０％以上、かつ飛行経路（コース）間で６０％以上のオーバーラップがあることが推奨されている。このため、オルソモザイク画像を生成するためには、多くの空撮画像を撮影する、つまり、撮影枚数を多くする必要があり、空撮画像の撮影に要する時間が長くなってしまう。

さらに、オルソモザイク画像は、例えば、空撮画像の撮影中に風が吹いてきたなどの外的な要因によって、撮影対象の雑草の葉が揺れてしまうと、歪みを含んだものとなってしまう。オルソモザイク画像に歪みが発生してしまう外的な要因は、空撮画像の撮影に要する時間が長くなるほど多くなると考えられる。そして、例えば、雑草の葉の形状を学習させた機械学習モデルを用いた機械学習によって雑草を検知する場合、歪みが発生しているオルソモザイク画像では、雑草を検知する精度が低下してしまうことになる。このことから、機械学習では、オルソモザイク画像を用いて雑草を検知することが困難である場合がある。

本発明は、上記の課題認識に基づいてなされたものであり、より簡易に植物体の状態を検知した検知データを生成することができる情報処理装置、情報処理方法、およびプログラムを提供することを目的としている。

この発明に係る情報処理装置、情報処理方法、およびプログラムは、以下の構成を採用した。
本発明の一態様に係る情報処理装置は、飛翔体により上方から撮影された、植物体を含む二次元の画像を取得する画像取得部と、前記画像の領域を所定の大きさの複数の分割画像に分割する画像分割部と、前記画像に含まれる当該画像の中心位置を表す地理情報に基づいて、それぞれの前記分割画像の地理的な位置を取得する位置取得部と、それぞれの前記分割画像に写された所定の種類の植物体の状態を検知する植物体検知部と、取得した前記分割画像の地理的な位置と、検知した前記所定の種類の植物体の状態とを関連付けた検知データを生成する検知データ生成部と、を備える情報処理装置である。

前記位置取得部は、前記地理情報が表す前記画像の中心位置を基準とし、前記画像を撮影したときの前記飛翔体の移動方向、前記画像を撮影したときの前記飛翔体の地上からの高さ、および前記画像の撮影範囲に基づいて求められる前記分割画像の地理的な位置を取得するものである。

前記植物体検知部は、前記分割画像を入力すると前記所定の種類の植物体の状態を出力するように学習された植物体学習済みモデルに対して、前記分割画像を入力することで、前記所定の種類の植物体の状態を得て検知するものである。

前記所定の種類の植物体の状態は、前記分割画像内における当該植物体の被度であるものである。

前記検知データ生成部は、前記分割画像ごとに前記所定の種類の植物体の被度の大きさを表す前記検知データを生成するものである。

前記検知データ生成部は、前記検知データを画像の形式で表す検知画像を生成し、生成した前記検知画像を地図画像に重畳して、表示装置に表示させるものである。

本発明の他の態様に係る情報処理方法は、コンピュータが、飛翔体により上方から撮影された、植物体を含む二次元の画像を取得し、前記画像の領域を所定の大きさの複数の分割画像に分割し、前記画像に含まれる当該画像の中心位置を表す地理情報に基づいて、それぞれの前記分割画像の地理的な位置を取得し、それぞれの前記分割画像に写された所定の種類の植物体の状態を検知し、取得した前記分割画像の地理的な位置と、検知した前記所定の種類の植物体の状態とを関連付けた検知データを生成する、情報処理方法である。

本発明の他の態様に係るプログラムは、コンピュータに、飛翔体により上方から撮影された、植物体を含む二次元の画像を取得させ、前記画像の領域を所定の大きさの複数の分割画像に分割させ、前記画像に含まれる当該画像の中心位置を表す地理情報に基づいて、それぞれの前記分割画像の地理的な位置を取得させ、それぞれの前記分割画像に写された所定の種類の植物体の状態を検知させ、取得した前記分割画像の地理的な位置と、検知した前記所定の種類の植物体の状態とを関連付けた検知データを生成させる、プログラムである。

本発明によれば、より容易に植物体を検知することができる。

実施形態に係る情報処理装置の構成の一例、および情報処理装置の使用環境の一例を示す図である。 植物体学習済みモデルの生成方法の一例を模式的に示す図である。 植物体検知部が検知した検知結果を表す検知データの一例である。 検知データ生成部が生成した検知データを表示させた画面の一例を示す図である。 情報処理装置において植物体の状態を検知する処理の流れの一例を示すフローチャートである。 情報処理装置において植物体の状態を検知する処理の一例を模式的に示す図である。 情報処理装置によって検知した植物体の状態の検知結果の比較例を示す図である。 情報処理装置が備える植物体検知部が異なる植物体の状態を検知した検知結果を表す検知データの一例である。

以下、図面を参照し、本発明の情報処理装置、情報処理方法、およびプログラムの実施形態について説明する。

［情報処理装置の構成］
図１は、実施形態に係る情報処理装置の構成の一例、および情報処理装置の使用環境の一例を示す図である。情報処理装置１００は、上方（上空）から撮影された植物体を含む二次元の空撮画像に基づいて、空撮画像に写された所定の種類の植物体の状態を検知し、検知した植物体の状態を表す検知データを生成する。空撮画像は、例えば、ドローンや小型の無人航空機（ＵＡＶ）などの飛翔体によって上空から、状態を検知する植物体が生育している対象の領域（以下、「検知対象領域」という）を含めて撮影されたものである。植物体は、例えば、圃場や生産現場において栽培している作物や牧草、圃場や生産現場の中あるいは周囲に生息している雑草など、種々の植物体を含む。植物体の状態とは、例えば、空撮画像に写された所定の種類の植物体が占める領域の大きさの割合、いわゆる、植物体の被度である。植物体の状態は、例えば、空撮画像に写された所定の種類の植物体の生育状態であってもよい。生育状態とは、例えば、栽培している植物体（特に、作物や牧草など）の生育度合いや、栽培している植物体に病害が発生しているか否かなど、植物体を栽培する際に確認が行われる種々の状態を含む。検知データは、空撮画像と同じ大きさの領域内に、検知した植物体の状態を表す情報を配置した二次元のデータ、いわゆる、ラスターデータである。

図１には、飛翔体ＦＯがドローンである場合の一例を示している。図１では、検知対象領域が、圃場Ｆを中心とした領域であり、飛翔体ＦＯが、圃場Ｆの上空から植物体を含む検知対象領域を撮影している様子を示している。以下の説明においては、状態を検知する対象の植物体が雑草であり、植物体の状態が雑草の被度であるものとする。

飛翔体ＦＯは、例えば、端末装置Ｔ１によって飛行が制御される。これに代えて、飛翔体ＦＯは、内蔵されたメモリに格納されたプログラムに従って自律飛行してもよい。飛翔体ＦＯは、例えば、デジタルカメラなどの撮像装置Ｃを搭載している。撮像装置Ｃは、例えば、一定時間あるいは飛翔体ＦＯが一定距離飛行するごとに、上空から植物体（ここでは、雑草）を含む検知対象領域の空撮画像を撮影する。撮像装置Ｃは、端末装置Ｔ１からの操作に応じて上空から植物体（雑草）を含む検知対象領域の空撮画像を撮影してもよい。撮像装置Ｃは、撮影した空撮画像を端末装置Ｔ１に送信する。さらに、飛翔体ＦＯは、例えば、ＧＰＳ（Global Positioning System）などのＧＮＳＳ（Global Navigation Satellite System）を構成する衛星から受信した信号に基づいて、飛翔体ＦＯ自体の位置を測位する不図示の測位装置も備えている。撮像装置Ｃは、撮影した空撮画像と、この空撮画像に関連する情報（以下、「画像情報」という）と、飛翔体ＦＯの位置を表す情報（以下、「ＧＰＳ情報」という）とを関連付けて、端末装置Ｔ１に送信する。画像情報には、少なくとも、空撮画像を撮影したときの焦点距離を表す情報が含まれる。画像情報に含まれる焦点距離の情報は、撮像装置Ｃにおける撮影の画角を表す情報でもある。画像情報の一例としては、例えば、Ｅｘｉｆ（Exchangeable image file format）において記録されるメタデータである。ＧＰＳ情報には、例えば、飛翔体ＦＯが位置する緯度、経度、高度などの情報や、飛翔体ＦＯの移動方向、つまり、飛翔体ＦＯが飛行して向かっている方向を表す情報などが含まれる。ＧＰＳ情報は、撮影した空撮画像の中心位置の緯度、経度、高度などの地理的な位置や、空撮画像の撮影方向を表す情報でもある。撮像装置Ｃは、飛翔体ＦＯが、例えば、気圧に基づいて高度を計測する高度計を備えている場合、ＧＰＳ情報に含まれる高度の情報に代えて、または加えて、高度計により計測した飛翔体ＦＯの高度の情報を空撮画像に関連付けて端末装置Ｔ１に送信してもよい。ＧＰＳ情報は、特許請求の範囲における「地理情報」の一例であり、画像情報に含まれる焦点距離の情報は、特許請求の範囲における「撮影範囲」の一例である。

端末装置Ｔ１は、例えば、飛翔体ＦＯの飛行および撮像装置Ｃによる空撮画像の撮影を制御する。端末装置Ｔ１は、例えば、パーソナルコンピュータや、スマートフォン、タブレット端末などのコンピュータ装置である。端末装置Ｔ１では、飛翔体ＦＯの飛行および撮像装置Ｃによる撮影を制御するためのアプリケーションなどが実行されている。アプリケーションは、情報処理装置１００を利用する利用者Ｐ１による操作に応じて、端末装置Ｔ１に、飛翔体ＦＯの飛行や撮像装置Ｃによる撮影を制御するための情報を、飛翔体ＦＯや撮像装置Ｃに送信させる。アプリケーションは、飛翔体ＦＯの飛行および撮像装置Ｃによる撮影を制御するための操作ボタンなどを含む画像や、撮像装置Ｃにより送信された現在の撮影範囲を示す画像を、端末装置Ｔ１が備える表示装置に表示させる。利用者Ｐ１は、端末装置Ｔ１を操作して撮像装置Ｃによる検知対象領域の撮影を行う場合、飛翔体ＦＯを移動させながら複数回撮影して、検知対象領域の全体の範囲が撮影されるようにしてもよい。アプリケーションは、端末装置Ｔ１に、飛翔体ＦＯを予め設定された飛行経路で検知対象領域内を飛行させ、所定の間隔で撮像装置Ｃによる撮影を行うように制御するための情報を、飛翔体ＦＯや撮像装置Ｃに送信させてもよい。アプリケーションは、端末装置Ｔ１に、飛翔体ＦＯが備える撮像装置Ｃにより送信された空撮画像を、情報処理装置１００に送信させる。

端末装置Ｔ１は、例えば、ネットワークＮＷを介して空撮画像を情報処理装置１００に送信する。ネットワークＮＷは、例えば、インターネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、プロバイダ装置、無線基地局などを含む。端末装置Ｔ１は、例えば、撮像装置Ｃにより送信された空撮画像を一旦可搬型のメモリに記憶しておき、可搬型のメモリを情報処理装置１００に装着することで、空撮画像を情報処理装置１００に渡してもよい。

以下の説明においては、飛翔体ＦＯが、所定の方向（方位）に向かって、所定の高度で直線的に飛行するものとする。つまり、飛翔体ＦＯは、一定のヨー角で飛行し、検知対象領域の端部に来たとき以外は飛行する方向を変えることなく、同じ高度で直線的に飛行するものとする。そして、撮像装置Ｃは、飛翔体ＦＯの真下の空撮画像を撮影するものとする。このとき、撮像装置Ｃは、一つ（１枚）の空撮画像に検知対象領域の全体の範囲を収めるのではなく、複数回撮影した一連の空撮画像で検知対象領域の全体の範囲を収めるように撮影するものとする。さらに撮像装置Ｃは、例えば、飛翔体ＦＯが検知対象領域の端部に来たことによって飛行する方向が変わった場合でも、撮影した空撮画像の上側が一定の方向（方位）であるものとする。つまり、撮像装置Ｃが撮影する一連の空撮画像における上側が東西南北のいずれの方位であるかが固定されているものとする。このため、飛翔体ＦＯは、検知対象領域を撮像装置Ｃによって撮影するために最初に飛行している方向（方位）を前方として考えた場合、検知対象領域の端部に来たことによって方向を変えて飛行する（折り返して飛行する）ときには、例えば、後方に向かって飛行するようにしてもよい。例えば、撮像装置Ｃが、撮影方向を回転させることができる構造を備えている場合には、飛翔体ＦＯが後方に向かって飛行するのではなく、１８０°旋回して飛行する場合、撮像装置Ｃ自体が１８０°回転することによって撮影する方向が変わらないようにしてもよい。例えば、撮像装置Ｃが、撮影した空撮画像を回転させる機能を備えている場合には、撮影した空撮画像を１８０°回転させてから端末装置Ｔ１に送信するようにしてもよい。例えば、撮像装置Ｃは、撮影した空撮画像の方向が１８０°異なることを表す情報を画像情報に加えてから、端末装置Ｔ１に送信するようにしてもよい。

情報処理装置１００は、例えば、通信部１１０と、画像取得部１２０と、記憶部１３０と、画像分割部１４０と、位置取得部１５０と、植物体検知部１６０と、検知データ生成部１７０と、を備える。情報処理装置１００は、さらに、端末装置Ｔ１とは別の端末装置Ｔ２と、ネットワークＮＷを介して通信してもよい。

端末装置Ｔ２は、例えば、ネットワークＮＷを介して接続された情報処理装置１００における検知結果を確認するために、例えば、情報処理装置１００を利用する利用者Ｐ２によって操作される端末装置である。端末装置Ｔ２も、端末装置Ｔ１と同様に、例えば、パーソナルコンピュータや、スマートフォン、タブレット端末などのコンピュータ装置である。端末装置Ｔ２では、情報処理装置１００における検知の制御および検知結果を確認するためのアプリケーションなどが実行されている。端末装置Ｔ２において実行されているアプリケーションは、利用者Ｐ２による操作に応じて、情報処理装置１００が検知を行う際の検知条件の設定や、情報処理装置１００の検知結果の表示を制御させる。端末装置Ｔ２において実行されているアプリケーションは、検知条件の設定を制御するための操作ボタンなどを含む画像や、情報処理装置１００における検知結果を示す画像を、端末装置Ｔ２が備える表示装置に表示させる。検知条件には、例えば、検知を行う植物体の種類の指定や、検知を行う範囲（つまり、検知対象領域）の設定など、植物体を検知する際の種々の条件が含まれる。端末装置Ｔ１と端末装置Ｔ２とのうち一方または両方、あるいは端末装置Ｔ１と端末装置Ｔ２とのうち一方または両方が備える表示装置は、特許請求の範囲における「表示装置」の一例である。

上記の情報処理装置１００が備える構成要素のうち、通信部１１０と記憶部１３０と除くものは、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素の機能のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。これらの構成要素の機能のうち一部または全部は、専用のＬＳＩによって実現されてもよい。プログラムは、予め情報処理装置１００が備えるＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体が情報処理装置１００が備えるドライブ装置に装着されることで情報処理装置１００が備える記憶装置にインストールされてもよい。情報処理装置１００は、例えば、パーソナルコンピュータなどのコンピュータ装置や記憶装置に実現されてもよい。情報処理装置１００は、クラウドコンピューティングシステムに組み込まれたサーバ装置や記憶装置に実現されてもよい。この場合、クラウドコンピューティングシステムにおける複数のサーバ装置や記憶装置によって、情報処理装置１００の機能が実現されてもよい。

通信部１１０は、ネットワークＮＷに接続するためのネットワークカードなどの通信インターフェースである。通信部１１０は、ネットワークＮＷを介して、端末装置Ｔ１と通信する。

画像取得部１２０は、通信部１１０と通信する端末装置Ｔ１から、飛翔体ＦＯに搭載された撮像装置Ｃによって撮影された空撮画像を取得する。画像取得部１２０は、通信部１１０および端末装置Ｔ１を介して、撮像装置Ｃが撮影した少なくとも一つ（１枚）の空撮画像を取得する。画像取得部１２０は、撮像装置Ｃが撮影したそれぞれの空撮画像を順次取得してもよいし、全ての空撮画像を一度に取得してもよい。画像取得部１２０は、取得した空撮画像を記憶部１３０に記憶させる。このとき、画像取得部１２０は、取得したそれぞれの空撮画像に、空撮画像を識別するための識別情報（以下、「空撮画像ＩＤ」という）を付与して、記憶部１３０に記憶させる。空撮画像ＩＤは、それぞれの空撮画像ごとに排他的な識別情報である。空撮画像ＩＤは、例えば、画像取得部１２０が空撮画像を取得して記憶部１３０に記憶させる順番に更新（インクリメント）した番号である。空撮画像に、撮影日時の情報が画像情報として含まれる場合、画像取得部１２０は、インクリメントした番号に代えて、または加えて、撮影日時の情報を空撮画像ＩＤとしてもよい。画像取得部１２０における取得した空撮画像の記憶部１３０への記憶は、ＤＭＡ（Direct Memory Access）によって行ってもよい。

記憶部１３０は、情報処理装置１００が備える構成要素が処理を行う際に用いるデータや情報を記憶する。記憶部１３０は、例えば、ＨＤＤやフラッシュメモリなどの記憶装置である。

画像分割部１４０は、画像取得部１２０により取得されて記憶部１３０に記憶された少なくとも一つ（１枚）の空撮画像を記憶部１３０から読み出し、読み出した空撮画像から所定の大きさの複数の領域を切り出すことによって、空撮画像を複数の分割画像に分割する。画像分割部１４０が分割するそれぞれの分割画像の大きさは、後述する植物体検知部１６０が雑草を検知する処理を行う単位（以下、「処理単位」という）に基づいて、分割画像の左右方向および上下方向の解像度や画素数が予め定められている。後述する植物体検知部１６０における処理単位の大きさは、空撮画像が撮影された飛翔体ＦＯの高度によって異なる。このため、画像分割部１４０は、空撮画像に関連付けられているＧＰＳ情報が表す飛翔体ＦＯ高度に基づいて、空撮画像の領域を、後述する植物体検知部１６０における処理単位と同様の大きさ（解像度や画素数）の分割画像に分割する。例えば、後述する植物体検知部１６０における処理単位が、水平方向および垂直方向の画素数がともに１２８画素である場合、画像分割部１４０は、空撮画像から１２８画素×１２８画素の領域ごとに切り出した複数の分割画像に分割する。画像分割部１４０は、例えば、空撮画像から分割画像として切り出す領域（以下、「分割画像領域」という）を、空撮画像の左上から右方向（水平方向）に順次移動させ、分割画像領域が空撮画像の右上に来たときに、空撮画像の左側における最初の分割画像領域よりも下側で重ならないところ戻って再度右方向に移動させるようにして、空撮画像の全体の範囲からそれぞれの分割画像領域を切り出す。つまり、画像分割部１４０は、分割画像領域を、空撮画像の左上から右下に向かって順次移動させる、いわゆる、ラスター順に移動させながら切り出すことによって、空撮画像の全体の範囲をそれぞれの分割画像に分割する。画像分割部１４０は、空撮画像の中心位置から周囲の方向に広がるように分割画像領域を順次移動させながら切り出すことによって、空撮画像の全体の範囲をそれぞれの分割画像に分割してもよい。画像分割部１４０が空撮画像から分割画像を分割する範囲は、空撮画像の全体の範囲に限定されない。例えば、端末装置Ｔ２において実行されているアプリケーションによって雑草の検知を行う範囲（検知対象領域）が検知条件として設定されている場合、画像分割部１４０は、設定された範囲を包含するように分割画像領域を移動させて、それぞれの分割画像に分割してもよい。

画像分割部１４０は、分割したそれぞれの分割画像を記憶部１３０に記憶させる。このとき、画像分割部１４０は、それぞれの分割画像に、当該分割画像を識別するための識別情報（以下、「分割画像ＩＤ」という）を付与し、さらに、当該分割画像を分割した元の空撮画像（以下、「元空撮画像」ともいう）に関連付けられていた（付与されていた）画像情報、ＧＰＳ情報、および空撮画像ＩＤと、当該分割画像が元空撮画像内のいずれの位置から分割したものであるかを表す情報（以下、「分割位置情報」という）とを関連付けて、記憶部１３０に記憶させる。分割画像ＩＤは、それぞれの分割画像ごとに排他的な識別情報である。分割画像ＩＤは、例えば、空撮画像ＩＤと元空撮画像から分割した位置に対応する番号とを組み合わせた番号である。分割位置情報は、例えば、分割画像を分割した元空撮画像に関連付けられていたＧＰＳ情報が表す中心位置を基準の座標位置とした場合において、分割画像の中心位置を表す座標である。画像分割部１４０における記憶部１３０からの空撮画像（元空撮画像）の読み出しや、分割画像の記憶部１３０への記憶は、ＤＭＡによって行ってもよい。

位置取得部１５０は、画像分割部１４０により分割されて記憶部１３０に記憶されたそれぞれの分割画像を読み出し、読み出したそれぞれの分割画像の地理的な位置を取得する。分割画像の地理的な位置は、例えば、当該分割画像の元空撮画像の中心位置と、元空撮画像を撮影したときの飛翔体ＦＯの移動方向、元空撮画像を撮影したときの飛翔体ＦＯの高度、および元空撮画像の撮影範囲に基づいて求めることができる。元空撮画像の中心位置や、飛翔体ＦＯの移動方向、高度は、分割画像に関連付けられたＧＰＳ情報に示されている。元空撮画像の撮影範囲は、分割画像に関連付けられた画像情報に示されている。このため、位置取得部１５０は、分割画像に関連付けられたそれぞれの情報に基づいて、分割画像の地理的な位置を求めることができる。例えば、撮像装置Ｃが、飛翔体ＦＯが飛行する際の前方が空撮画像の上側となるように撮影を行う場合、位置取得部１５０は、飛翔体ＦＯの移動方向に基づいて、元空撮画像における水平方向の上側がいずれの方位であるかを求めることができる。位置取得部１５０は、画像情報に示されている元空撮画像の撮影範囲と、ＧＰＳ情報に示されている高度に基づいて、元空撮画像に写されている水平方向および垂直方向の範囲がそれぞれ何［ｍ］の範囲であるかを求めることができる。つまり、位置取得部１５０は、元空撮画像に写されている範囲の水平方向の距離と垂直方向の距離とを求めることができる。そして、位置取得部１５０は、ＧＰＳ情報が表す元空撮画像の中心位置を基準の座標位置とし、基準の座標位置と分割位置情報が表す分割画像の中心位置の座標とのずれ（つまり、座標の差分）から、分割画像の中心位置の緯度および経度を求め、元空撮画像の撮影範囲（解像度や画素数であってもよい）と分割画像の大きさ（解像度や画素数であってもよい）との差から、分割画像に写されている範囲の水平方向の距離と垂直方向の距離とを求めることができる。位置取得部１５０は、分割画像に写されている範囲の水平方向の距離と垂直方向の距離とに基づいて、分割画像を構成する１つの画素における水平方向の距離と垂直方向の距離とを求めることもできる。位置取得部１５０は、求めたそれぞれの結果を、分割画像の地理的な位置として取得する。

位置取得部１５０は、取得した分割画像の地理的な位置を表す情報（以下、「位置情報」という）を、記憶部１３０に記憶させる。このとき、位置取得部１５０は、分割画像ＩＤを位置情報に関連付けて、記憶部１３０に記憶させる。位置取得部１５０は、地理的な位置を取得した分割画像にさらに位置情報を関連付けて、新たな分割画像として記憶部１３０に記憶させてもよい。つまり、位置取得部１５０は、記憶部１３０から読み出した、画像情報、ＧＰＳ情報、空撮画像ＩＤ、分割画像ＩＤ、および分割位置情報が関連付けられた分割画像に、さらに位置情報を関連付けて、記憶部１３０に記憶させてもよい。位置取得部１５０における記憶部１３０からの分割画像の読み出しや、位置情報、あるいは位置情報をさらに関連付けた新たな分割画像の記憶部１３０への記憶は、ＤＭＡによって行ってもよい。

植物体検知部１６０は、画像分割部１４０により分割されて記憶部１３０に記憶された分割画像（新たな分割画像として位置取得部１５０により記憶部１３０に記憶された分割画像であってもよい）を読み出し、読み出した分割画像に写された所定の種類の植物体の状態（ここでは、雑草の被度）を検知する。植物体検知部１６０における植物体の状態の検知は、植物体における種々の状態が植物体の種類ごとに予め学習された学習済みモデル（以下、「植物体学習済みモデル」という）を用いて行われる。植物体学習済みモデルは、状態を検知したい植物体の画像（ここでは、分割画像）を入力すると、検知対象の植物体の状態を出力するように予め学習されたものである。植物体学習済みモデルは、例えば、植物体の葉や花の形状、大きさ、色などの植物体の特徴と、その植物体の生育状態との関係を植物体の状態として、例えば、ＡＩ（Artificial Intelligence：人工知能）による機能を用いて学習することで生成される。

ここで、植物体検知部１６０が雑草の被度を検知するために用いる植物体学習済みモデルの一例について説明する。図２は、植物体学習済みモデルの生成方法の一例を模式的に示す図である。

植物体学習済みモデルＴＭは、例えば、ＣＮＮ（Convolutional Neural Network）やＤＮＮ（Deep Neural Network）などの技術を用いて学習されたモデルである。より具体的には、植物体学習済みモデルＴＭは、二次元の画像（二次元画像）が入力されると、入力された画像に写された植物体の種類を認識（検出）するとともに、入力された画像内で認識（検出）された検知対象の植物体の領域が占める割合（被度）を表す数値や、この数値を色や色の階調（明るさや濃淡など）で表した画像（以下、「被度画像」という）を検知結果として出力するように学習されたモデルである。ＣＮＮは、畳み込み（Convolution）層やプーリング（Pooling）層などのいくつかの層が繋がれたニューラルネットワークである。ＤＮＮは、任意の形態の層が多層に連結されたニューラルネットワークである。植物体学習済みモデルＴＭは、例えば、不図示の演算装置などよる植物体認識機械学習モデルＬＭを用いた機械学習によって生成される。

植物体認識機械学習モデルＬＭは、例えば、ＣＮＮやＤＮＮなどの形態を有し、暫定的にパラメータが設定されたモデルである。植物体認識機械学習モデルＬＭは、雑草の被度の検知とは異なる領域の学習として生成されたモデル（例えば、植物体の種類を判別する学習によって生成されたモデル）であってもよい。この場合、植物体学習済みモデルＴＭは、不図示の演算装置における転移学習によって生成される。

不図示の演算装置は、例えば、情報処理装置１００を利用する利用者Ｐ１や、利用者Ｐ２、情報処理装置１００の機能を提供する提供者、あるいは情報処理装置１００の機能を管理する管理者などによって操作される装置である。不図示の演算装置は、例えば、パーソナルコンピュータや、サーバ装置などのコンピュータ装置である。不図示の演算装置は、例えば、端末装置Ｔ１や端末装置Ｔ２であってもよい。不図示の演算装置には、機械学習によって植物体学習済みモデルＴＭを生成する際に、植物体認識機械学習モデルＬＭの入力側に植物体学習データＤＩが入力データとして入力され、植物体認識機械学習モデルＬＭの出力側に植物体被度正解データＤＯが教師データとして入力される。

植物体学習データＤＩは、例えば、空撮画像とは別に撮影された学習用の二次元画像から処理単位の大きさに切り出された、少なくとも学習対象の植物体を含む複数の二次元画像の画像データである。処理単位の大きさは、少なくとも植物体の葉の形状を認識することができる大きさである。学習用二次元画像ＴＩＭから切り出す植物体学習データＤＩの位置は、ランダムな位置である。図２には、学習用二次元画像ＴＩＭから雑草（ここでは、ギシギシ）が写された領域を含む処理単位の大きさの複数の分割画像ＳＩＭを植物体学習データＤＩとして植物体認識機械学習モデルＬＭに入力している様子を示している。

植物体被度正解データＤＯは、植物体学習データＤＩにおける検知結果を示すデータである。図２には、学習用二次元画像ＴＩＭから切り出されたそれぞれの分割画像ＳＩＭ、つまり、それぞれの植物体学習データＤＩに含まれる雑草の領域ＷＡを抽出し、抽出した領域ＷＡが学習用二次元画像ＴＩＭから切り出されたそれぞれの分割画像ＳＩＭ内で植物体が占める割合（被度）を表す植物体被度データを植物体被度正解データＤＯとして植物体認識機械学習モデルＬＭに入力している様子を示している。分割画像ＳＩＭ内の領域ＷＡの抽出は、例えば、情報処理装置１００を利用する利用者Ｐ１や、利用者Ｐ２、情報処理装置１００の機能を提供する提供者、あるいは情報処理装置１００の機能を管理する管理者などが行ってもよいし、植物体の種類を判別するように予め学習された学習済みモデルを用いて行ってもよい。つまり、分割画像ＳＩＭ内の領域ＷＡの抽出は、手動で行ってもよいし、自動で行ってもよい。分割画像ＳＩＭにおける植物体の被度は、例えば、分割画像ＳＩＭの全体の画素数に対する領域ＷＡの画素数によって求めることができる。例えば、図２に示した一例において、それぞれの分割画像ＳＩＭにおける植物体の被度は、対応する分割画像ＷＡＳＩＭ内の領域ＷＡの画素数を、分割画像ＷＡＳＩＭの全体の画素数で除することによって求めることができる。分割画像ＳＩＭにおける植物体の被度も、手動で求めてもよいし、自動で求めてもよい。植物体被度正解データＤＯには、植物体被度データに加えて、学習用二次元画像ＴＩＭから切り出された分割画像ＳＩＭから抽出した雑草の領域ＷＡを表すデータ（例えば、分割画像ＷＡＳＩＭ）が含まれていてもよい。

不図示の演算装置は、植物体学習データＤＩが植物体認識機械学習モデルＬＭに入力された際の植物体認識機械学習モデルＬＭの出力が、植物体被度正解データＤＯにより示された検知結果（植物体被度データ）に近づくように、植物体認識機械学習モデルＬＭのパラメータを調整する。パラメータを調整する方法としては、例えば、バックプロパゲーション法（誤差逆伝播法）などの手法がある。不図示の演算装置によってパラメータが調整された植物体認識機械学習モデルＬＭが、植物体学習済みモデルＴＭとなる。植物体学習済みモデルＴＭは、特許請求の範囲における「植物体学習済みモデル」の一例である。

上述したように、植物体学習済みモデルＴＭを生成するために植物体認識機械学習モデルＬＭに入力する植物体学習データＤＩおよび植物体被度正解データＤＯは、処理単位の大きさの画像データであり、その大きさ（画素数）は、少なくとも植物体の葉の形状を認識することができる大きさである。そして、処理単位の大きさは、画像分割部１４０が空撮画像から分割する分割画像の大きさでもある。ところで、情報処理装置１００において実際に雑草の状態を検知するために撮影した空撮画像は、同じ雑草を同時期に撮影したものであっても、飛翔体ＦＯの高度、つまり、地上に生息している雑草と撮像装置Ｃとの間の距離によって画角が変わる。このため、異なる高度から撮影された同じ雑草の空撮画像を同じ処理単位の大きさの分割画像に分割してしまうと、植物体学習済みモデルＴＭが出力する検知結果が異なるものとなってしまう。例えば、飛翔体ＦＯの高度が低い場合には、同じ雑草が大きく写されるため、雑草の被度が高くなり、飛翔体ＦＯの高度が高い場合には、同じ雑草が小さく写されるため、雑草の被度が低くなってしまう。このため、異なる高度から撮影された同じ雑草の空撮画像から同じ検知結果を得るために、植物体認識機械学習モデルＬＭは、植物体の種類ごとに加えて、飛翔体ＦＯの高度ごとに生成されている。例えば、植物体認識機械学習モデルＬＭは、同じ種類の植物体に対して、処理単位の大きさが異なる、つまり、大きさが異なる分割画像が入力されるものが複数生成されている。例えば、飛翔体ＦＯの高度が８［ｍ］のところから撮影された空撮画像に対応する植物体認識機械学習モデルＬＭとして、処理単位が水平方向および垂直方向の画素数が１２８画素×１２８画素の大きさに対応するものが生成されている。例えば、飛翔体ＦＯの高度が４［ｍ］のところから撮影された空撮画像に対応する植物体認識機械学習モデルＬＭとして、処理単位が２５６画素×２５６画素の大きさに対応するものが生成され、飛翔体ＦＯの高度が１６［ｍ］のところから撮影された空撮画像に対応する植物体認識機械学習モデルＬＭとして、処理単位が６４画素×６４画素の大きさに対応するものが生成されている。ここで、飛翔体ＦＯの高度が所定の範囲内（例えば、前後１［ｍ］の範囲内）である場合には、植物体検知部１６０は、最も近い高度に対応する植物体認識機械学習モデルＬＭを用いて植物体の状態を検知することができると考えられる。このため、例えば、飛翔体ＦＯの高度の５０［ｃｍ］ごとに異なる植物体認識機械学習モデルＬＭを生成しておくというような、必要以上に多くの植物体認識機械学習モデルＬＭを生成しておくことはしなくてもよい。

図１に戻り、植物体検知部１６０は、植物体学習済みモデルに対して、読み出した分割画像を入力することによって検知結果を得る。植物体検知部１６０は、一つの分割画像に対して一つの検知結果を得る。植物体検知部１６０は、得られた検知結果を記憶部１３０に記憶させる。このとき、植物体検知部１６０は、検知結果がいずれの分割画像に対して得られた検知結果であるかを表す情報を関連付けて、記憶部１３０に記憶させる。より具体的には、植物体検知部１６０は、検知結果を得た分割画像に付与されていた分割画像ＩＤを、検知結果に関連付けて記憶部１３０に記憶させる。植物体検知部１６０は、検知結果を得た分割画像に関連付けられていた位置情報をさらに関連付けた検知結果を、記憶部１３０に記憶させてもよい。植物体検知部１６０は、検知結果を得た分割画像に検知結果を関連付けて、さらに新たな分割画像として記憶部１３０に記憶させてもよい。つまり、植物体検知部１６０は、記憶部１３０から読み出した、画像情報、ＧＰＳ情報、空撮画像ＩＤ、分割画像ＩＤ、および分割位置情報（さらに位置情報を含んでもよい）が関連付けられた分割画像に、さらに検知結果を関連付けて、記憶部１３０に記憶させてもよい。植物体検知部１６０における記憶部１３０からの分割画像の読み出しや、検知結果、あるいは検知結果を関連付けた分割画像の記憶部１３０への記憶は、ＤＭＡによって行ってもよい。

検知データ生成部１７０は、植物体検知部１６０により検知されて記憶部１３０に記憶された検知結果を読み出し、読み出した検知結果に基づいて、分割画像ごとの検知結果を表す検知データを生成する。検知データは、それぞれの分割画像に対して検知された検知結果を、空撮画像の単位にまとめたものである。つまり、検知データは、検知結果を空撮画像と同じ二次元の領域にまとめたデータ（ラスターデータ）である。検知データ生成部１７０は、少なくとも、それぞれの分割画像における検知結果と位置情報とを空撮画像の単位にまとめた検知データを生成する。検知データは、空撮画像に含まれるそれぞれの分割画像の位置に、検知結果の被度画像を配置した画像データの形式であってもよい。検知データが画像データの形式である場合、検知データ生成部１７０は、空撮画像と同じ画像領域内のそれぞれの分割画像に対応する位置に、位置情報と被度画像とを画素のデータとして配置する。以下の説明においては、画像データの形式の検知データを、「検知画像」という。検知データ生成部１７０は、それぞれの分割画像に対応する位置に位置情報を画素のデータとして配置するのに代えて、または加えて、空撮画像の中心位置の緯度、経度、高度などを表す地理的な位置の情報（ＧＰＳ情報）を、検知画像の中心位置の情報として付与してもよい。検知画像は、地理的な位置の情報、つまり、ジオリファレンス情報（Geo-referenced information）を持ったＴＩＦＦ（Tagged Image File Format）形式の画像データ、いわゆる、ＧｅｏＴｉｆｆ形式の画像データである。検知データの形式は、画像データの形式に限定されず、例えば、空撮画像に含まれるそれぞれの分割画像に対応する位置情報が表す地理的な位置（分割画像の中心位置の緯度および経度）に、検知結果が表す雑草の被度の数値を関連付けたデータ（例えば、テキストデータ）の形式であってもよい。

ここで、植物体検知部１６０が雑草の被度を検知した場合において検知データ生成部１７０が生成する検知画像の一例について説明する。以下の説明においては、植物体検知部１６０において得られた検知結果が、分割画像における雑草の被度を色の濃淡で表した被度画像であるものとする。図３は、植物体検知部１６０が検知した検知結果を表す検知データ（検知画像）の一例である。図３の（ａ）には、植物体検知部１６０において被度を検知させる雑草が生育している検知対象領域の一枚の空撮画像（元空撮画像）ＡＩＭの一例を示している。図３の（ｂ）には、検知データ生成部１７０が、植物体検知部１６０が空撮画像ＡＩＭから分割したそれぞれの分割画像に対して検知した検知結果（被度画像）を、空撮画像ＡＩＭと同じ画像領域を持つ検知画像ＤＩＭとして生成した場合の一例を示している。図３の（ｂ）に示した検知画像ＤＩＭでは、被度画像を得た分割画像に関連付けられた位置情報に基づいて、検知画像ＤＩＭ内のそれぞれの分割画像に対応する位置に、被度画像が画素のデータとして配置されている。図３の（ｂ）に示した検知画像ＤＩＭにおいて、同じ色の濃淡で示された矩形の領域のそれぞれが、空撮画像ＡＩＭから分割されたそれぞれの分割画像の分割画像領域と等価な領域である。

図１に戻り、検知データ生成部１７０は、生成した検知データを記憶部１３０に記憶させる。このとき、検知データ生成部１７０は、検知データがいずれの空撮画像に対応する検知データであるかを表す情報を関連付けて、記憶部１３０に記憶させる。より具体的には、検知データ生成部１７０は、生成した検知データに対応する空撮画像に付与されていた空撮画像ＩＤを、検知データに関連付けて記憶部１３０に記憶させる。検知データ生成部１７０は、生成した検知データに対応する空撮画像に付与されていたＧＰＳ情報を、さらに検知データに関連付けて、記憶部１３０に記憶させてもよい。検知データ生成部１７０における記憶部１３０からの検知結果の読み出しや、検知データの記憶部１３０への記憶は、ＤＭＡによって行ってもよい。

後の後、例えば、端末装置Ｔ２において実行されているアプリケーションによって、検知データ生成部１７０により記憶部１３０に記憶された検知データがネットワークＮＷを介して記憶部１３０から読み出され、読み出された検知データが端末装置Ｔ２が備える表示装置に表示されることにより、利用者Ｐ２に提示される。端末装置Ｔ２における検知データの利用者Ｐ２への提示方法は、例えば、ＧｅｏＴｉｆｆ形式の画像データを表示させることが可能な画像表示ソフトウェアが行ってもよい。

検知データ生成部１７０は、検知画像を生成した場合、生成した検知画像を、例えば、情報処理装置１００が備える不図示の表示装置に表示させてもよい。この場合、検知データ生成部１７０は、表示させる検知画像に対応する空撮画像を記憶部１３０から読み出し、読み出した空撮画像に検知画像を重畳させることにより、空撮画像上で、雑草の被度を検知した位置を表してもよい。さらに、検知データ生成部１７０は、空撮画像を撮影した位置に対応する地図画像を、例えば、国土地理院やその他の機関（企業を含む）などから別途取得し、取得した地図画像に検知データを重畳させることにより、地図画像上で、雑草の被度を検知した位置を表してもよい。情報処理装置１００が備える不図示の表示装置も、特許請求の範囲における「表示装置」の一例である。

ここで、検知データ生成部１７０が生成した検知画像を地図画像に重畳させて表させる場合の一例について説明する。図４は、検知データ生成部１７０が生成した検知データ（検知画像）を表示させた画面の一例を示す図である。図４には、検知画像を端末装置Ｔ２が備える表示装置に表示させることによって利用者Ｐ２に提示する場合の一例を示している。図４に示した画面による検知画像の提示は、例えば、端末装置Ｔ２において実行されているアプリケーション（以下、単に「アプリケーション」という）によって行われる。図４では、端末装置Ｔ２が別途取得した地図画像ＭＩＭに、撮影した複数（一連）の空撮画像のそれぞれに対応する複数の検知画像ＤＩＭを重畳し、さらにそれぞれの検知画像ＤＩＭの中心位置を表す丸印のポイントを重畳して、利用者Ｐ２に提示している。図４では、撮影した複数（一連）の空撮画像において、隣接する空撮画像同士で写されている範囲が重複している場合を示している。この場合、空撮画像が重複している範囲の検知画像ＤＩＭも重複することになる。このとき、アプリケーションは、後に撮影された空撮画像に対応する検知画像ＤＩＭを重複している範囲に表示させてもよいし、それぞれの検知画像ＤＩＭ同士で重複している範囲の検知結果、つまり、検知画像ＤＩＭにおける画素値を平均化して表示させてもよい。

さらに、図４には、利用者Ｐ２が検知対象の植物体を選択（設定）するための検知対象選択パネルＴＳと、利用者Ｐ２が表示させる検知結果を選択するための検知結果選択パネルＲＳとのそれぞれの操作領域を示している。利用者Ｐ２が、図４に示した検知対象選択パネルＴＳによって、被度を検知する対象の植物体を選択した場合、この情報はアプリケーションによって情報処理装置１００に送られる。これにより、情報処理装置１００は、利用者Ｐ２により選択された植物体の被度を検知し、その検知結果を新たな検知データ（検知画像ＤＩＭ）として記憶部１３０に記憶させる。そして、アプリケーションは、情報処理装置１００が生成した新たな検知データ（検知画像ＤＩＭ）を記憶部１３０から読み出して、地図画像ＭＩＭにさらに重畳させる、あるいは地図画像ＭＩＭに重畳している現在の検知画像ＤＩＭを、新たな検知画像ＤＩＭに差し替える。利用者Ｐ２が、図４に示した検知結果選択パネルＲＳによって、表示させる検知結果を選択した場合、アプリケーションは、検知画像ＤＩＭに配置されたそれぞれの検知結果（つまり、画素値）に基づいて、利用者Ｐ２による選択に合致する検知結果（画素値）の検知画像ＤＩＭを、地図画像ＭＩＭにさらに重畳させる、あるいは地図画像ＭＩＭに重畳している現在の検知画像ＤＩＭを差し替える。

図４では、地図画像ＭＩＭに検知画像ＤＩＭを重畳して表示させるとともに、検知対象選択パネルＴＳと検知結果選択パネルＲＳとを表示させているが、これはあくまで一例である。アプリケーションは、例えば、最初に地図画像ＭＩＭに空撮画像を重畳して表示させるとともに、検知対象領域などの検知条件を利用者Ｐ２が設定するための検知条件設定パネルを表示させてもよい。この場合、アプリケーションは、利用者Ｐ２が検知条件を設定や変更したときに、その情報を情報処理装置１００に送る。これにより、情報処理装置１００は、利用者Ｐ２により設定や変更がされた検知条件で植物体の状態を検知し、その検知結果を新たな検知データ（検知画像ＤＩＭ）として記憶部１３０に記憶させる。そして、アプリケーションは、情報処理装置１００が生成した検知データ（検知画像ＤＩＭ）を記憶部１３０から読み出して、設定された検知条件で検知した検知結果として地図画像ＭＩＭに重畳することにより、利用者Ｐ２に提示する。

［情報処理装置における植物体の検知処理］
次に、情報処理装置１００において植物体の状態（ここでは、雑草の被度）を検知する処理の全体の流れの一例について説明する。図５は、情報処理装置１００において植物体の状態を検知する処理の流れの一例を示すフローチャートである。図６は、情報処理装置１００において植物体の状態を検知する処理の一例を模式的に示す図である。以下の説明においては、図６を適宜参照して、図５に示した情報処理装置１００における処理の流れを説明する。以下の説明においては、端末装置Ｔ１によって飛翔体ＦＯの飛行および撮像装置Ｃによる空撮画像の撮影が制御され、情報処理装置１００における検知結果の確認が、端末装置Ｔ２が備える表示装置に検知画像を表示させることによって行われるものとする。さらに、情報処理装置１００には、今回の植物体の検知（雑草の被度の検知）に対応する、つまり、植物体の種類と飛翔体ＦＯの高度とに適合した植物体学習済みモデルＴＭがすでに準備されているものとする。

端末装置Ｔ１による制御に応じて飛翔体ＦＯは、一定の方位に向かって、同じ高度で直線的に飛行し、撮像装置Ｃは、複数（一連）の空撮画像を撮影する。ここでは、撮像装置Ｃが、例えば、図６の（ａ）に示した空撮画像ＡＩＭ－１、空撮画像ＡＩＭ－２、空撮画像ＡＩＭ－３の順番にそれぞれの（一連の）空撮画像ＡＩＭを撮影するものとする。図６の（ａ）に示したそれぞれの空撮画像ＡＩＭでは、関連付けられているＧＰＳ情報が表す中心位置に丸印を示すことによって、飛翔体ＦＯが一定の方位に向かって（同じ高度で）直線的に飛行していることを表している。撮像装置Ｃは、端末装置Ｔ１による制御に応じて、撮影したそれぞれの空撮画像ＡＩＭを端末装置Ｔ１に送信する。端末装置Ｔ１は、撮像装置Ｃにより送信されたそれぞれの空撮画像ＡＩＭを情報処理装置１００に送信する。以下の説明においては、情報処理装置１００が、端末装置Ｔ１により送信された空撮画像ＡＩＭ－１～ＡＩＭ－３のうちの一つ（１枚）である空撮画像ＡＩＭ－２に写された雑草の被度を検知する場合に着目して説明する。

情報処理装置１００が備える画像取得部１２０は、端末装置Ｔ１により送信された空撮画像ＡＩＭ－２を取得する（ステップＳ１００）。画像取得部１２０は、取得した空撮画像ＡＩＭ－２に空撮画像ＩＤを付与して記憶部１３０に記憶させる。画像取得部１２０は、空撮画像ＡＩＭ－２を取得して記憶部１３０に記憶させたことを画像分割部１４０に通知してもよい。

画像分割部１４０は、記憶部１３０に記憶された空撮画像ＡＩＭ－２を読み出して、分割画像ＳＩＭに分割する（ステップＳ１０２）。図６の（ａ）に示したそれぞれの空撮画像ＡＩＭには、画像分割部１４０が分割した分割画像ＳＩＭ（分割画像領域）の一例を示している。図６の（ａ）に示したように、画像分割部１４０は、それぞれの空撮画像ＡＩＭから、同じようにそれぞれの分割画像ＳＩＭを分割する。画像分割部１４０は、それぞれの分割画像ＳＩＭに分割画像ＩＤを付与し、元空撮画像の画像情報、ＧＰＳ情報、および空撮画像ＩＤと、分割位置情報とを関連付けて、記憶部１３０に記憶させる。画像分割部１４０は、それぞれの分割画像ＳＩＭを記憶部１３０に記憶させたことを位置取得部１５０に通知してもよい。

位置取得部１５０は、記憶部１３０に記憶されたそれぞれの分割画像ＳＩＭ（ここでは、空撮画像ＡＩＭ－２から分割されたそれぞれの分割画像ＳＩＭ）を順次読み出して、それぞれの分割画像ＳＩＭの地理的な位置を取得する（ステップＳ１０４）。位置取得部１５０は、それぞれの分割画像ＳＩＭの分割画像ＩＤと、この分割画像ＩＤの分割画像ＳＩＭに対して取得した地理的な位置を表す位置情報とを関連付けて、記憶部１３０に記憶させる。位置取得部１５０は、それぞれの分割画像ＳＩＭの地理的な位置を取得して記憶部１３０に記憶させたことを植物体検知部１６０に通知してもよい。

植物体検知部１６０は、記憶部１３０に記憶されたそれぞれの分割画像ＳＩＭ（ここでは、空撮画像ＡＩＭ－２から分割されたそれぞれの分割画像ＳＩＭ）を順次読み出し、例えば、分割画像ＳＩＭに写されているそれぞれの植物体の葉の形状から、被度を検知する対象の植物体を検出する（ステップＳ１０６）。そして、植物体検知部１６０は、検知対象の植物体を検出した場合、この植物体の被度を検知する（ステップＳ１０８）。植物体検知部１６０は、それぞれの分割画像ＳＩＭに対して検知した検知結果に、その分割画像ＳＩＭの分割画像ＩＤを関連付けて、記憶部１３０に記憶させる。植物体検知部１６０は、それぞれの分割画像ＳＩＭの検知結果を記憶部１３０に記憶させたことを検知データ生成部１７０に通知してもよい。

検知データ生成部１７０は、記憶部１３０に記憶されたそれぞれの検知結果（ここでは、空撮画像ＡＩＭ－２から分割されたそれぞれの分割画像ＳＩＭの検知結果）を順次読み出し、検知データとして検知画像ＤＩＭを生成する（ステップＳ１１０）。図６の（ｂ）には、空撮画像ＡＩＭ－１に対応する検知画像ＤＩＭ－１、空撮画像ＡＩＭ－２に対応する検知画像ＤＩＭ－２、空撮画像ＡＩＭ－３に対応する検知画像ＤＩＭ－３のそれぞれの検知画像ＤＩＭの一例を示している。図６の（ｂ）に示したそれぞれの検知画像ＤＩＭには、それぞれの分割画像ＳＩＭに対応する位置に、被度画像が配置されている。図６の（ｂ）に示したそれぞれの検知画像ＤＩＭでは、対応する空撮画像ＡＩＭに関連付けられていたＧＰＳ情報が表す中心位置に丸印を示している。図６の（ｂ）に示したように、それぞれの検知画像ＤＩＭも、飛翔体ＦＯが一定の方位に向かって飛行した直線的な並びになっている。図６の（ｂ）に示したそれぞれの検知画像ＤＩＭでは、対応する空撮画像ＡＩＭの空撮画像ＩＤに関連付けられているＧＰＳ情報が表す中心位置に丸印を示すことによって、それぞれの検知画像ＤＩＭが直線的な並びになっていることを表している。検知データ生成部１７０は、生成したそれぞれの検知画像ＤＩＭに対応する空撮画像ＡＩＭの空撮画像ＩＤを関連付けて、記憶部１３０に記憶させる。検知データ生成部１７０は、空撮画像ＡＩＭ－２に写されている雑草の被度の検知を行って記憶部１３０に記憶させたことを、端末装置Ｔ２に通知してもよい。

このような処理によって情報処理装置１００は、飛翔体ＦＯに搭載された撮像装置Ｃによって撮影された空撮画像ＡＩＭごとに雑草の被度を検知し、その検知結果である検知画像ＤＩＭ生成して記憶部１３０に記憶させる。それぞれの空撮画像ＡＩＭに対する雑草の被度の検知は、図５に示したステップＳ１００～ステップＳ１１０を、雑草の被度を検知する空撮画像ＡＩＭの数（枚数）と同じ回数繰り返せばよい。このとき、情報処理装置１００は、ステップＳ１００において撮像装置Ｃが撮影した全ての空撮画像ＡＩＭを同時に取得している場合には、図５に示したステップＳ１０２～ステップＳ１１０を、取得した空撮画像ＡＩＭ（雑草の被度を検知する空撮画像ＡＩＭ）の数（枚数）と同じ回数繰り返せばよい。

その後、端末装置Ｔ２は、記憶部１３０に記憶された検知画像ＤＩＭを表示装置に表示させる（ステップＳ２００）。このとき、端末装置Ｔ２は、検知対象領域の全体の範囲に対応するそれぞれの検知画像ＤＩＭを表示させる。図６の（ｃ）には、それぞれの検知画像ＤＩＭを検知対象領域の全体の範囲にまとめて表示させる表示画面の一例を示している。これにより、利用者Ｐ２は、端末装置Ｔ２の表示装置に表示された、情報処理装置１００による検知対象領域に対する雑草の被度の検知結果を確認することができる。

このような構成および処理によって情報処理装置１００は、飛翔体ＦＯに搭載された撮像装置Ｃによって撮影された空撮画像を取得する。そして、情報処理装置１００は、取得した空撮画像を、植物体の状態を検知する処理単位の複数の分割画像に分割し、それぞれの分割画像の地理的な位置を取得する。その後、情報処理装置１００は、植物体学習済みモデルＴＭを用いてそれぞれの分割画像ごとに植物体の状態を検知し、その検知結果を空撮画像の単位にまとめた検知データを生成する。ここで、情報処理装置１００が生成した検知データは、例えば、端末装置Ｔ２が備える表示装置に表示させることよって検知結果を利用者Ｐ２に提供することを可能にするデータである。

しかも、情報処理装置１００では、従来の植物体の状態の検知方法として考えられる、ＳｆＭの手法によって生成されるオルソモザイク画像などの三次元データを用いずとも、飛翔体ＦＯに搭載された撮像装置Ｃによって撮影された二次元の空撮画像から、植物体の状態を検知することができる。つまり、情報処理装置１００では、オルソモザイク画像を生成するために処理コストが高い手法であるＳｆＭを用いたり、それぞれの空撮画像にＳｆＭを適用するために多くの重なり（オーバーラップ）を持たせたりする必要がなく、さらには、オルソモザイク画像において歪みが生じてしまうことが懸念される外的な要因による影響を受けることなく、より簡易に、より少ない処理コストで、植物体の状態を検知することができる。そして、情報処理装置１００では、隣接するそれぞれの空撮画像同士がオーバーラップしている領域がなくとも、言い換えれば、隣接する空撮画像同士の間に隙間が空いていたとしても、植物体の状態を確認する目的としては十分に有効な検知結果を得ることができる。

ここで、空撮画像同士にオーバーラップがある場合とない場合とにおける検知結果の違いを比較してみる。図７は、情報処理装置１００によって検知した植物体の状態（ここでは、雑草の被度）の検知結果の比較例を示す図である。図７の（ａ）および（ｂ）のそれぞれには、撮影した複数（一連）の空撮画像のそれぞれに対応する検知結果を表す複数の検知画像ＤＩＭを地図画像ＭＩＭに重畳して表した画面の一例を示している。図７の（ａ）に示した画面は、隣接する空撮画像同士に隙間がないように敷き詰めた（ＳｆＭの手法を用いるにはオーバーラップしている範囲が十分ではないが、空撮画像の一部の領域がオーバーラップしている）場合の一例であり、図７の（ｂ）に示した画面は、隣接する空撮画像同士に隙間が空いているところがある（空撮画像同士がオーバーラップしている領域がないところがある）場合の一例である。

図７の（ａ）に示した画面と、図７の（ｂ）に示した画面とを比べてわかるように、いずれの画面においても、雑草の被度が高い場所と低い場所とを同様に判別することができる。より具体的には、図７の（ｂ）に示したように、検知画像ＤＩＭ－Ａと検知画像ＤＩＭ－Ｂとの間にある程度の隙間Ｇ＿Ａ－Ｂがある場合でも、図７の（ａ）に示した検知画像ＤＩＭ－Ａと検知画像ＤＩＭ－Ｂとがオーバーラップしている場合と同様に、雑草の被度が高い場所と低い場所とを判別（確認）することができる。

このことから、情報処理装置１００では、それぞれの空撮画像同士の間に、ある程度の隙間があることを許容することができる。このため、情報処理装置１００では、検知対象領域内の植物体の状態を検知するために撮影する空撮画像の数（枚数）を意図的に少なくすることができる。この場合、情報処理装置１００では、植物体の状態を検知するための処理コストを、さらに少なくすることができる。

上記に述べたとおり、実施形態の情報処理装置１００によれば、飛翔体ＦＯに搭載された撮像装置Ｃによって撮影された二次元の空撮画像を取得する。そして、実施形態の情報処理装置１００は、取得した空撮画像を、植物体の状態を検知する処理単位の複数の分割画像に分割し、それぞれの分割画像の地理的な位置を取得する。その後、実施形態の情報処理装置１００は、植物体学習済みモデルＴＭを用いてそれぞれの分割画像ごとに植物体の状態を検知する。これにより、実施形態の情報処理装置１００では、より簡易に、より少ない処理コストで、植物体の状態を検知することができる。そして、実施形態の情報処理装置１００は、検知結果を空撮画像の単位にまとめて、例えば、端末装置Ｔ２が備える表示装置に表示させることよって検知結果を利用者Ｐ２に提供することを可能にする検知データを生成する。つまり、実施形態の情報処理装置１００では、撮像装置Ｃによって撮影した二次元の空撮画像のままで、植物体の状態を検知することができる。これにより、実施形態の情報処理装置１００では、より簡易に、より少ない処理コストで、植物体の状態を検知した検知データを生成することができる。

実施形態では、情報処理装置１００が所定の雑草の被度を植物体の状態として検知する、つまり、一種類の植物体の状態を検知する場合について説明した、しかし、上述したように、情報処理装置１００が植物体の状態を検知するために用いる植物体学習済みモデルＴＭは、植物体における種々の状態、および植物体の種類ごとに準備されている。このため、情報処理装置１００（より具体的には、植物体検知部１６０）は、同じ空撮画像から、植物体の異なる状態や、異なる種類の植物体の状態を検知することもできる。

ここで、情報処理装置１００において、同じ空撮画像から異なる種類の植物体の状態を検知する場合の一例について説明する。以下の説明においては、植物体検知部１６０が状態を検知する対象の植物体が牧草であり、植物体の状態が牧草の被度であるものとする。そして、植物体検知部１６０は、例えば、イネ科の牧草のような幅の細い葉（細葉）の牧草と、例えば、マメ科の牧草のような幅の広い葉（広葉）の牧草とのそれぞれ、つまり、二種類の牧草の被度を検知するものとする。以下の説明においても、植物体検知部１６０において得られた検知結果が、分割画像における牧草の被度を色の濃淡で表した被度画像であるものとする。

図８は、情報処理装置１００が備える植物体検知部１６０が異なる植物体の状態を検知した検知結果を表す検知データの一例（検知画像）である。図８の（ａ）には、植物体検知部１６０において被度を検知させる二種類の牧草を栽培している混播圃場の検知対象領域の一枚の空撮画像ＡＩＭ２の一例を示している。空撮画像ＡＩＭ２には、細葉の牧草と、広葉の牧草とのそれぞれの牧草が写されている。図８の（ｂ－１）には、検知データ生成部１７０が、植物体検知部１６０が空撮画像ＡＩＭ２から分割したそれぞれの分割画像に対して検知した細葉の牧草の検知結果（被度画像）を、空撮画像ＡＩＭ２と同じ画像領域を持つ検知画像ＤＩＭ２－１として生成した場合の一例を示している。図８の（ｂ－２）には、検知データ生成部１７０が、植物体検知部１６０が空撮画像ＡＩＭ２から分割したそれぞれの分割画像に対して検知した広葉の牧草の検知結果（被度画像）を、空撮画像ＡＩＭ２と同じ画像領域を持つ検知画像ＤＩＭ２－２として生成した場合の一例を示している。図８の（ｂ－１）および（ｂ－２）に示したそれぞれの検知画像ＤＩＭでも、被度画像を得た分割画像に関連付けられた位置情報に基づいて、検知画像ＤＩＭ内のそれぞれの分割画像に対応する位置に、対応する被度画像が画素のデータとして配置されている。図８の（ｂ－１）および（ｂ－２）に示したそれぞれの検知画像ＤＩＭにおいも、同じ色の濃淡で示された矩形の領域のそれぞれが、空撮画像ＡＩＭ２から分割されたそれぞれの分割画像の分割画像領域と等価な領域である。

このように、情報処理装置１００は、同じ空撮画像から、植物体の異なる状態や、異なる種類の植物体の状態を検知することができる。この場合における情報処理装置１００の動作や処理などは、上述した実施形態の情報処理装置１００の動作や処理と等価なものになるようにすればよい。これは、情報処理装置１００において検知する植物体の状態が被度の場合のみではなく、上述したように、植物体に病害が発生しているか否かを確認する、つまり、植物体の病徴を診断するために植物体の状態を検知する場合や、栽培している植物体の生育度合いを確認するために植物体の状態を検知する場合などのような、植物体の生育状態を検知する場合においても同様である。

そして、情報処理装置１００が検知したそれぞれの検知データは、検知画像ＤＩＭとして、例えば、端末装置Ｔ２が備える表示装置に表示させることができる。このとき、検知画像ＤＩＭは、複数の検知画像ＤＩＭを重畳して表示装置の同じ画面に表示させることにより、複数の検知データを同時に利用者Ｐ２に提供することができる。これにより、利用者Ｐ２は、端末装置Ｔ２が備える表示装置に表示された画面から、情報処理装置１００が検知した植物体の異なる複数の状態や、異なる複数種類の植物体の状態を確認することができる。

実施形態では、飛翔体ＦＯが、所定の方向に向かって、所定の高度で直線的に飛行し、撮像装置Ｃは、飛翔体ＦＯが飛行する方向が変わった場合でも、空撮画像の上側が一定の方向（方位）で撮影するものとして説明した。しかし、例えば、空撮画像の撮影中に風が吹いてきたなどの外的な要因によって、飛翔体ＦＯが飛行する方向や高度が意図せずに変化してしまうと、撮像装置Ｃが撮影する空撮画像の画角や撮影方向にずれが生じてしまうことが考えられる。つまり、植物体の状態を検知するために行う処理に起因するものではない不都合が生じてしまうことが考えられる。この場合、情報処理装置１００が植物体の状態の検知を開始する前に、空撮画像の画角や撮影方向が意図したものになるようにしておけば、実施形態と同様に植物体の状態を検知することができる。例えば、飛翔体ＦＯ自体が備える飛行経路や高度の補正機能によって、短時間で意図した画角や撮影方向に戻る場合には、引き続き空撮画像の撮影を継続し、仮に隣接する空撮画像同士の間に大きな隙間が空いてしまった場合には、一連の空撮画像の撮影の後に大きな隙間が空いてしまった箇所の空撮画像を再度撮影するようにしてもよい。例えば、撮像装置Ｃによってより広い画角で空撮画像を撮影しておき、通常時には空撮画像の中心位置を基準とした所定の範囲を切り出し、画角や撮影方向にずれが生じてしまった場合には、撮影した空撮画像から切り出す位置や範囲を変更することによって、想定範囲内の外的な要因の影響をなくす（意図した画角や撮影方向になるようにする）ようにしてもよい。この画像の切り出しの処理は、例えば、撮像装置Ｃが備える電子ズーム機能によって行ってもよいし、端末装置Ｔ１や端末装置Ｔ２、さらには情報処理装置１００が行ってもよい。

上述した実施形態では、端末装置Ｔ１が飛翔体ＦＯの飛行および撮像装置Ｃによる空撮画像の撮影を制御し、情報処理装置１００が備える画像取得部１２０が、通信部１１０および端末装置Ｔ１を介して、撮像装置Ｃが撮影した空撮画像を取得する構成について説明した。しかし、情報処理装置１００は、例えば、飛翔体ＦＯの飛行および撮像装置Ｃによる空撮画像の撮影を直接制御する制御部を備える構成であってもよい。つまり、情報処理装置１００は、飛翔体ＦＯおよび端末装置Ｔ１と協働して動作する構成であってもよい。この場合における情報処理装置の動作や処理などは、上述した実施形態の情報処理装置１００および端末装置Ｔ１の動作および処理と等価なものになるようにすればよい。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何ら限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

１００・・・情報処理装置
１１０・・・通信部
１２０・・・画像取得部
１３０・・・記憶部
１４０・・・画像分割部
１５０・・・位置取得部
１６０・・・植物体検知部
１７０・・・検知データ生成部
Ｆ・・・圃場
ＦＯ・・・飛翔体
Ｃ・・・撮像装置
Ｔ１，Ｔ２・・・端末装置
ＮＷ・・・ネットワーク
ＴＭ・・・植物体学習済みモデル
ＡＩＭ，ＡＩＭ－１，ＡＩＭ－２，ＡＩＭ－３，ＡＩＭ２・・・空撮画像
ＳＩＭ・・・分割画像
ＤＩＭ，ＤＩＭ－１，ＤＩＭ－２，ＤＩＭ－３，ＤＩＭ－Ａ，ＤＩＭ－Ｂ，ＤＩＭ２－１，ＤＩＭ２－２・・・検知画像
ＭＩＭ・・・地図画像

Claims (8)

1. 飛翔体により上方から撮影された、植物体を含む二次元の画像を取得する画像取得部と、
   前記画像の領域を所定の大きさの複数の分割画像に分割する画像分割部と、
   前記画像に含まれる当該画像の中心位置を表す地理情報に基づいて、それぞれの前記分割画像の地理的な位置を取得する位置取得部と、
   それぞれの前記分割画像に写された所定の種類の植物体の状態を検知する植物体検知部と、
   取得した前記分割画像の地理的な位置と、検知した前記所定の種類の植物体の状態とを関連付けた検知データを生成する検知データ生成部と、
   を備える情報処理装置。
2. 前記位置取得部は、前記地理情報が表す前記画像の中心位置を基準とし、前記画像を撮影したときの前記飛翔体の移動方向、前記画像を撮影したときの前記飛翔体の地上からの高さ、および前記画像の撮影範囲に基づいて求められる前記分割画像の地理的な位置を取得する、
   請求項１に記載の情報処理装置。
3. 前記植物体検知部は、前記分割画像を入力すると前記所定の種類の植物体の状態を出力するように学習された植物体学習済みモデルに対して、前記分割画像を入力することで、前記所定の種類の植物体の状態を得て検知する、
   請求項１または請求項２に記載の情報処理装置。
4. 前記所定の種類の植物体の状態は、前記分割画像内における当該植物体の被度である、
   請求項１から請求項３のうちいずれか１項に記載の情報処理装置。
5. 前記検知データ生成部は、前記分割画像ごとに前記所定の種類の植物体の被度の大きさを表す前記検知データを生成する、
   請求項４に記載の情報処理装置。
6. 前記検知データ生成部は、
   前記検知データを画像の形式で表す検知画像を生成し、
   生成した前記検知画像を地図画像に重畳して、表示装置に表示させる、
   請求項１から請求項５のうちいずれか１項に記載の情報処理装置。
7. コンピュータが、
   飛翔体により上方から撮影された、植物体を含む二次元の画像を取得し、
   前記画像の領域を所定の大きさの複数の分割画像に分割し、
   前記画像に含まれる当該画像の中心位置を表す地理情報に基づいて、それぞれの前記分割画像の地理的な位置を取得し、
   それぞれの前記分割画像に写された所定の種類の植物体の状態を検知し、
   取得した前記分割画像の地理的な位置と、検知した前記所定の種類の植物体の状態とを関連付けた検知データを生成する、
   情報処理方法。
8. コンピュータに、
   飛翔体により上方から撮影された、植物体を含む二次元の画像を取得させ、
   前記画像の領域を所定の大きさの複数の分割画像に分割させ、
   前記画像に含まれる当該画像の中心位置を表す地理情報に基づいて、それぞれの前記分割画像の地理的な位置を取得させ、
   それぞれの前記分割画像に写された所定の種類の植物体の状態を検知させ、
   取得した前記分割画像の地理的な位置と、検知した前記所定の種類の植物体の状態とを関連付けた検知データを生成させる、
   プログラム。

Images