JP2021096726A - 情報処理装置、コンピュータプログラム及び情報処理方法 - Google Patents

Abstract

【課題】農産物の生育状況に関する有益な情報を提供する情報処理装置を提供する。【解決手段】システムにおいて、情報処理装置（制御サーバ１０４、他のサーバ１０５〜１０８、１１０〜１１２の一部又は全部の機能を含む）は、圃場における特定の農作物の画像を取得するネットワークカメラと、圃場の環境に関する環境情報データを取得するセンサデバイス、気象情報サーバと、画像取得手段によって取得された農作物の画像に基づき農作物の生育指標データを生成する画像解析クラウドサーバと、指標データ生成手段によって生成された複数の日時の生育指標データと複数の日時の環境情報データを蓄積するデータ蓄積クラウドサーバと、蓄積手段に蓄積された複数の日時の生育指標データと複数の日時の環境情報データに基づき生育過程を表示するための表示データを生成するアプリケーションサーバと、を有する。【選択図】図１

Description

本発明は農作業の支援に適した情報処理装置等に関するものである。

従来の農業においては、伝統的に農業従事者の経験と知識や勘などに基づき農作物の生育状況の判断が行われてきた。一方、近年、ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）技術を用いて、環境センサや画像データなどの情報を取得し、生育状況を判断するためのシステムが考えられつつある。
しかしそのようなシステムにおいても、結局取得された画像データなどを総合的に判断するのは農業従事者であり、取得されたデータの蓄積が有益なデータとして十分に活用されたり共有されたりしていなかった。

特開２０１９−１６５６５５号公報

上記特許文献１には、農産物が栽培されている栽培所に設置され、栽培所における環境を示す環境情報を取得する環境情報センサと、前記栽培所に設置され、前記農産物の画像を撮像する撮像装置が記載されている。また、前記環境情報と、前記農産物の画像から得られる情報である画像情報と、に基づいて、前記農産物の適切な収穫までの所定の環境値の積算値である残積算値を判定する判定装置が記載されている。
しかし、特許文献１の技術では収穫時期を判定しているだけで、農作物の生育中に最適な生育を行うためのきめ細かな情報が不足している。従って天候の状況等によって生育状況が変化してもそれに対してどのような対策をするのが最適かは考慮されていない。

本発明は、上記のような従来技術の問題に対して、農産物の生育状況等に関する有益な情報を提供できる情報処理装置を得ることを目的としている。

上述の目的を達成するため、本発明の情報処理装置では、
圃場における特定の農作物の画像を取得する画像取得手段と、
前記圃場の環境に関する環境情報データを取得する環境情報取得手段と、
前記画像取得手段によって取得された前記農作物の画像に基づき前記農作物の生育指標データを生成する指標データ生成手段と、
前記指標データ生成手段によって生成された複数の日時の生育指標データと前記複数の日時の前記環境情報データを蓄積する蓄積手段と、
前記蓄積手段に蓄積された前記複数の日時の生育指標データと前記複数の日時の前記環境情報データに基づき生育過程を表示するための表示データを生成する表示データ生成手段と、
を有することを特徴とする。

本発明によれば農産物の生育状況等に関する有益な情報を提供できる情報処理装置を実現できる。

本発明の実施例の情報処理装置を用いたシステムの全体構成図である。 画像解析クラウドサーバの機能ブロック図である。 制御サーバを中心とした動作フローを示すフローチャートである。 アプリケーションサーバにおいて生成される表示データに基づく表示画面の例を示す図である。 表示画面の他の例を示す図である。 表示画面の更に別の例を示す図である。 関連付けのためのフローチャートの例を示す図である。 関連付けのためのフローチャートの例の続きを示す図である。 関連付けをしたテーブルの例等を示す図である。

以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。なお、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。

図１は、本発明の実施例の情報処理装置を用いたシステムの全体構成図である。
以下、図１を参照して本発明の実施例における情報処理装置を用いたシステムの全体構成について説明する。
本実施例における情報処理装置を用いたシステムはネットワークカメラ１０１、複数のセンサデバイス１０２、ネットワーク（公衆回線）１０３、制御サーバ１０４、データ蓄積クラウドサーバ１０５、アプリケーションサーバ１０６を有する。

また、サービス提供管理サーバ１０７、課金決済サーバ１０８、サービス契約者のタブレット等の情報端末１０９、画像解析クラウドサーバ１１０、生育状況を学習するモデルクラウドサーバ１１１、気象情報サーバ１１２等を有する。
なお、実施例ではサーバやクラウドサーバの例を用いて説明しているが、サーバやクラウドサーバの形態をとらなくても良く、例えば各サーバやクラウドサーバの機能と同様の機能を有する電子機器であれば良い。

また、本実施例において、情報処理装置とは、制御サーバ１０４の機能を少なくとも含む装置であって、更に他のサーバ１０５〜１０８、１１０、１１１等の一部または全部の機能を含む装置であっても良い。
ネットワークカメラ１０１は固定カメラであっても良いし、ドローン等に搭載されたカメラであっても良く、有線または無線のネットワーク１０３を介して撮影画像を制御サーバ１０４等に送るためのネットワークインターフェースを持つ。

また、ネットワークカメラ１０１はネットワーク１０３を介して制御サーバ１０４から撮影指示などの制御信号を受信し、制御信号に基づき、ＯＮ／ＯＦＦ制御や撮影動作や撮影画像の制御サーバへの送信動画等が実行される。ここで、ネットワークカメラ１０１は圃場における特定の農作物の画像を取得する画像取得手段として機能している。なお、画像取得手段は例えば予め記録媒体に記録された特定の農作物の画像を読み出すことによって取得する読出し装置を含む。

また制御サーバ１０４にはコンピュータとしてのＣＰＵが内蔵されており、メモリに記憶されたコンピュータプログラムに基づきシステム内のネットワークカメラ、センサデバイス、その他の各装置の動作を制御する制御手段として機能している。
なお本実施例において、農作物の圃場の面積が大きい場合には、ネットワークカメラ１０１やセンサデバイス１０２は複数設置されていてもよい。

また、本実施例では対象物（農作物）として稲を農作物として栽培する例を用いて説明するが、イネ科の他の植物にも同様に適用できる。イネ科の植物（農作物）としては、例えば稲、ムギ（小麦、大麦）、キビ、アワ、ヒエ、トウモロコシ等を含む。なお、本実施例はイネ科植物の他に露地栽培のホウレンソウなどに適用することもできる。
後述するように、少なくとも１台のネットワークカメラ１０１は図４において圃場の様子として示されるように、圃場の所定位置の農作物を上から撮影するように構成されている。

なお、ネットワークカメラ１０１はドローンに搭載されたカメラでもよく、ドローンを使って例えば圃場の複数の所定位置（サンプル位置）の農作物を上から撮影するようにしても良い。また、ステレオカメラ等を用いて上から撮影した時の左右の撮影画像に基づいて測距することによって草丈を求めるようにしても良い。また、測距可能なカメラとして例えばステレオカメラ等をドローンや移動型ロボットに搭載して定点上部からの撮影と測距をしても良い。

なお、ネットワーク１０３は有線ＬＡＮであっても無線ＬＡＮであってもよいが、本実施例ではネットワーク１０３は無線ＬＡＮであるものとする。
また、ネットワーク１０３は通信事業者が提供する移動体通信網であっても良い。その場合は、ネットワークカメラ１０１本体内の不図示のカードアダプタへＳＩＭカードを挿入することによって公衆回線網へ接続可能となる。

複数のセンサデバイス１０２は、ネットワーク１０３を介して制御サーバ１０４と接続され、センサデバイスごとに制御サーバ１０４からのセンサデータ取得要求に応じてセンサデータを制御サーバ１０４に送信する。あるいは、各センサデバイスはそれぞれ異なるタイミングで、かつ所定の送信間隔でセンサデータをＬＰＷＡ（Ｌｏｗ Ｐｏｗｅｒ Ｗｉｄｅ Ａｒｅａ）通信規格等に従って制御サーバ１０４に送信するように構成されていても良い。

その場合、制御サーバ１０４はセンサデバイスから所定周期で送られてきたデータの内、所望のタイミングで送られてきたセンサデータを取捨選択すれば良い。本実施例のセンサデバイス１０２は複数種類のセンサデバイスを含み、圃場の環境に関する環境情報データを取得する環境情報取得手段として機能している。具体的には、例えば、圃場の緯度経度（や高度）に関するデータを取得できるように構成されている。更に、圃場の土壌の環境に関する環境情報データを取得するセンサデバイスを含む。

なお、圃場の緯度経度（や高度）に関するデータを取得するためのセンサデバイスは例えばＧＰＳセンサなどを含み、このセンサデバイスは圃場の複数個所に配置されていても良いし、ネットワークカメラ１０１内部に配置されていても良い。
なお、ネットワークカメラ１０１はそれぞれ固有の識別情報としてのカメラＩＤ（カメラ識別情報）を有している。そしてそれらのカメラＩＤはネットワークカメラ１０１の筐体の外側に文字またはＱＲコード（登録商標）等で表示されている。

同様にセンサデバイス１０２はそれぞれ固有の識別情報としてのセンサＩＤ（センサ識別情報）を有している。そして本実施例ではそれらのセンサＩＤはセンサデバイス１０２の筐体の外側に文字またはＱＲコード（登録商標）等で表示されている。
ネットワークカメラ１０１とセンサデバイス１０２とは予めリンク（対応付け）あるいはペアリングしておくことが望ましい。

具体的な方法としては、例えばセンサデバイス１０２の筐体の外側に表示されている文字またはＱＲコード（登録商標）等から成るセンサＩＤを、ネットワークカメラ１０１で撮影する。それによって、撮影されたセンサデバイス１０２のセンサＩＤを画像認識し、撮影したネットワークカメラ１０１のカメラＩＤと対応付けることができる。
その際、例えばネットワークカメラ１０１で撮影した画像のヘッダ領域に認識したセンサデバイス１０２のセンサＩＤを書き込む。

それによって、ネットワークカメラ１０１で撮影した画像を制御サーバ１０４に送る際に、センサデバイス１０２のセンサＩＤとネットワークカメラ１０１のカメラＩＤを対応付けることができる。ここで、そのような画像ファイルのヘッダ領域への書き込み手段が対応付け手段として機能することになる。
あるいは、ネットワークカメラ１０１やセンサデバイス１０２や制御サーバ１０４が予めアプリケーションソフトを有するようにしても良い。そして、そのアプリケーションソフト画面上で、ユーザがセンサデバイス１０２のセンサＩＤとネットワークカメラ１０１のカメラＩＤを対応付けて登録するようにしても良い。

その場合には、カメラＩＤとセンサＩＤとはそれぞれの筐体の外側に表示されていなくても良い。この場合、前記ユーザが、前記カメラ識別情報と前記センサ識別情報を対応付けるための設定をするアプリケーションソフトが対応付け手段として機能する。
あるいはネットワークカメラ１０１のカメラＩＤとセンサデバイス１０２のセンサＩＤを同時にあるいは順次スマートフォン等に設けられた別のカメラで撮影してもよい。

そして、その画像を制御サーバ１０４に送信することで、ネットワークカメラ１０１のカメラＩＤとセンサデバイス１０２のセンサＩＤとを対応付けて登録することもできる。図７、図８のフローはそのようなペアリング（対応付け、リンク）方法についての詳細なフローチャートであり、後述する。

なお、カメラＩＤとセンサＩＤを対応付けする方法として上記のように筐体の外側に表示された文字ＩＤやＱＲコード（登録商標）などを撮影して画像認識したりする方法の代わりに例えばＢｌｕｅｔｏｏｔｈ（登録商標）やＮＦＣなどを用いてペアリングするようにしても良い。
ペアリングを事前にすることによって、例えば複数のネットワークカメラの内の特定のカメラで撮影した画像と、予め対応付けられたセンサデバイスのセンサデータとをリンクして（関連付けて）制御サーバでテーブルを用いて管理することができる。

図７、図８はペアリングの方法の例を示すフローチャートであり、図９はそのような関連付けをしたテーブルの例を示す図である。図７〜９については後述する。
そして、例えば特定のネットワークカメラ１０１で撮影した画像の画像ファイルのヘッダ領域に、対応付けられたセンサデバイスのセンサデータを効率的に記録することができる。従って、ネットワークカメラ１０１とセンサデバイス１０２が多数存在する場合に、画像データとセンサデータの関連付けを効率的に実行することができる。

なお、画像ファイルのヘッダ領域の一部に対応するセンサデバイスのＩＤが書き込まれることによって対応付けがなされている、同じ画像ファイルのそれとは別のヘッダ領域に前記センサデバイスのセンサデータが書き込まれることになる。
センサデバイス１０２が測定する圃場の土壌の環境に関する環境情報データは、例えば土壌の色、土壌の水分量、土壌中の所定の複数の化学物質（例えば窒素、リン酸、カリウム等）の量や割合、土壌のｐｈ値の少なくとも１つに関するデータを取得する。

また、センサデバイス１０２は圃場の気象情報等に関する一部のデータも取得できるように構成されていても良い。即ち、センサデバイス１０２は、例えば圃場の標高、降水量、降雨量、降雪量、気温、湿度、水田等の圃場の水位、水田等の圃場の水温、照度、日照時間、風速、気圧の少なくとも１つに関するデータを検出（測定）できるように構成されていても良い。
データ蓄積クラウドサーバ１０５は制御サーバ１０４からの指示に基づきデータを蓄積するためのクラウドサーバである。

そして、ネットワークカメラ１０１からの画像データ（画像ファイル）やセンサデバイス１０２からのセンサデータを、それらの取得日時のデータとリンクさせた状態で蓄積（記憶）する。なお、ここで、リンクとは画像ファイルのヘッダ領域に各種データを書き込む（記憶する）ことでリンク（関連付け）させるものを含む。なお、日時のデータは例えばネットワークカメラ１０１内のＣＰＵ等から取得しても良いし、センサデバイス１０２から取得しても良い。あるいはデータ蓄積クラウドサーバ１０５内のＣＰＵ等から取得しても良い。また、データ蓄積クラウドサーバ１０５は前記の画像が撮影された日時の気象データも気象情報サーバ１１２から取得する。

そしてデータ蓄積クラウドサーバ１０５は、制御サーバ１０４からの指示に基づき、ネットワークカメラ１０１からの撮影画像とセンサデータ、気象情報サーバ１１２からの気象情報データを画像解析クラウドサーバ１１０に送る。
画像解析クラウドサーバ１１０は制御サーバ１０４からの指示に基づきネットワークカメラ１０１からの画像を画像解析する。

モデルクラウドサーバ１１１は過去の農作物の画像、生育指標データ、環境情報データ（センサデータ、気象データ等）、日時等と生育状況の関係を統計的に学習する。そして、学習によって画像、生育指標データ、環境情報データ、日時等と生育状況とを関連付けた生育モデルデータを生成し保存している。
画像解析クラウドサーバ１１０はモデルクラウドサーバ１１１から過去の生育指標データおよび環境情報データとリンクした生育モデルデータを取得する。

そして画像解析クラウドサーバ１１０は、ネットワークカメラ１０１により得られた農作物の画像を解析して、解析結果として、前記農作物の生育指標データを生成する。更にこの生育指標データと環境情報データ（センサデータ、気象情報データ等）と日時データを生育モデルデータと比較/参照することによって、画像解析クラウドサーバ１１０は農作物の生育指標データを生成する。即ち、画像解析クラウドサーバ１１０は生育指標データを生成するための指標データ生成手段として機能する。また、特に各生育ステージ（例えば分げつ期等）に関する情報を生成する（生育ステージ）データ生成手段として機能する。

画像解析クラウドサーバ１１０が生成した生育指標データ（解析結果）はデータ蓄積クラウドサーバ１０５に送られて、前記画像やセンサデータや気象データや日時とリンクして（関連付けて）蓄積される。
その際、農作物の画像ファイルのそれぞれ所定のヘッダ領域に前記生育指標データとセンサデータと気象データと日時等をそれぞれ書き込んで蓄積（記憶）する。例えば、ＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）規格で定められている画像ファイルのヘッダ領域に書き込む。

具体的にはＥＸＩＦ規格のヘッダ領域の内のＭａｋｅｒ Ｎｏｔｅという、データタイプがＵＮＤＥＦＩＮＥＤとなっているデータ構造やサイズについて規定がない領域に書き込むのが望ましい。そして前記生育指標データ、センサデータ、気象データ、日時等をそれぞれのヘッダ領域に書き込むように割り振れば良い。また、画像ファイルのヘッダ領域ではなく、別途データプラットフォームを利用した通信を行う場合はＷＡＧＲＩ規格で定められているＡＰＩフォーマットを利用しても良い。ここでＡＰＩはＡｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅの略である。それによって、前記生育指標データとセンサデータと気象データの連携、共有や提供等相互利用を可能としても良い。

ここでＷＡＧＲＩは農業データ連携基盤の名称である。以下、ここでは、画像ファイルのヘッダ領域を使う場合の実施例を記載する。
データ蓄積クラウドサーバ１０５は前記指標データ生成手段によって生成された複数の日時の画像データ、生育指標データ、複数の日時の環境情報データ、気象情報等を各日時データと共に関連付けて蓄積する蓄積手段として機能している。

データ蓄積クラウドサーバ１０５に一旦蓄積された複数の日時の農作物の撮影画像データ、生育指標データ、環境情報データ、それらの取得日時の情報等はアプリケーションサーバ１０６に送られる。アプリケーションサーバ１０６は、複数の日時の生育指標データと複数の日時の前記環境情報データに基づき生育過程（生育ステージ）に関する情報をグラフ化して表示させるための表示データを生成する。アプリケーションサーバ１０６はそのための表示データ生成手段あるいは生育ステージデータ生成手段として機能している。

気象情報サーバ１１２は制御サーバ１０４からの気象情報取得要求に応じて環境情報データとして気象情報をデータ蓄積クラウドサーバ１０５に送る。気象情報は例えば、天気、降水量、降雨量、降雪量、気温、湿度、日照時間、風速、気圧の少なくとも１つに関するデータを含む。前述したように、気象情報等の一部はセンサデバイス１０２から取得することもできる。気象情報サーバ１１２も圃場の環境（気象）に関する環境情報データを取得する環境情報取得手段の一部として機能している。

１０７はサービス提供管理サーバであり、課金決済サーバ１０８からの課金決済情報に基づき、どのような表示画面、データ、サービスを契約者（契約ユーザ）に提供するかの情報をアプリケーションサーバ１０６に送る。また、課金サービス内容についての情報を課金決済サーバ１０８に送る。
課金決済サーバ１０８は、契約者の情報端末１０９と通信をし、契約者に対する課金の決済情報を契約者の情報端末１０９から取得し、決済が完了したか否か等の情報を契約者の情報端末１０９に送る。

ここで、サービス提供管理サーバ１０７と課金決済サーバ１０８とアプリケーションサーバ１０６は、蓄積された生育指標データと環境情報データを課金に応じて所定の端末に提供可能にするための課金決済手段として機能している。
また複数の日時の生育指標データと前記複数の日時の前記環境情報データに基づき生成した生育過程に関するデータを課金に応じて前記所定の端末に提供可能にする課金決済手段として機能している。

契約者の情報端末１０９から決済情報が課金決済サーバ１０８に送られると、その決済情報がサービス提供管理サーバ１０７に送られる。そして、その決済情報（支払いを完了したか否か等）に基づき画面、データ、サービス情報がアプリケーションサーバ１０６に送られる。

アプリケーションサーバ１０６はそれに応じて契約者の情報端末１０９に対して生育過
程をグラフ化して表示させるための表示データを送り、契約者の情報端末１０９で生育過程をグラフ化した表示画面が表示可能となる。なお、クラウドサーバ１０５〜１０８、１１０〜１１２や情報端末１０９もコンピュータを有することは言うまでもない。
図２は画像解析クラウドサーバ１１０の機能ブロック図であり、図２を用いて画像解析クラウドサーバ１１０の機能について説明する。

１１０１は入力部であり、データ蓄積クラウドサーバ１０５から撮影画像データ、各種センサデータ、気象情報データ、それぞれのデータを取得した日時データ等を取得する。
１１０２は葉色算出部であり農作物の葉の色を算出する。なお、穂の色も算出するようにしても良い。１１０３は茎数算出部であり、農作物の茎の数を算出する。

葉色は、所定の条件下で所定の範囲においてクロロフィル含有量との相関があると言われているＳＰＡＤ値（Ｓｏｌｉｄ ａｎｄ Ｐｌａｎｔ Ａｎａｌｙｚｅｒ Ｄｅｖｅｌｏｐｍｅｎｔ）という単位に換算して表すようにしても良い。圃場における茎の数を画像から算出するために、本実施例においては葉の先端を点として葉の先端（葉先）をＡＩ（人工知能）で学習させて認識し、葉の先端（葉先）の数をカウントし、それに基づき茎数を算出する。

これは過去の統計データ（学習データ）により葉の先端の数と茎数とに所定の相関関係が見いだせるためである。例えば、統計的には、葉先の数の約１／３を茎数として概算することができる。１１０４は草丈算出部であり、草丈（地面からの農作物の最大の高さ）を算出する。例えば農作物の側方にネットワークカメラ１０１の１つを配置し、農作物の横に設置した基準スケールと一緒に撮影することによって、草丈（地面からの農作物の最大の高さ）を算出することができる。

本実施例においてはこれらの葉色、茎数、草丈に関するデータを農作物の主要な生育指標データとしている。更に生育指標データとして、例えば単位面積当たりの植被率を含んでも良い。
またイネ科の農作物の場合には、茎数に対する穂の出た茎の割合、黄色に変色した穂の割合、穂の数、１穂当たりの籾数、茎の傾き、茎の曲がりの程度の少なくとも１つに関するデータを含んでも良い。それらの生育指標データの種類を増やすことによって、生育過程をグラフ化して表示する際の精度を向上することができる。

また、籾の膨らみや色などから算出される状態や成熟度合を生育指標データに入れても良い。これにより、整粒歩合を示せるようになる。ここで整粒歩合とは、一定量の玄米のなかに存在する整粒、すなわちきちんと整った形をしている米粒の割合を％で示したものである。
葉色算出部１１０２、茎数算出部１１０３、草丈算出部１１０４等の生育指標データおよび、入力部１１０１からのセンサデータや気象情報データ、日時データ等は生育ステージ判定部１１０５に供給される。

それとともに、生育状況を学習するモデルクラウドサーバ１１１にも供給されて保存され学習データとして使われる。
生育ステージ判定部１１０５においては、葉色、茎数、草丈等の生育指標データ、センサデータ、気象情報データ、日時データ等をモデルクラウドサーバ１１１の生育モデルデータと比較する。それによって農作物の画像が撮影されたときの生育ステージ（生育過程）を判定する。更に、モデルクラウドサーバ１１１の生育モデルデータを参照することによって単位面積当たりの収穫量の予想値や望ましい収穫予定日についても算出する。

そして出力部１１０６を介して葉色、茎数、草丈等の生育指標データ、生育ステージデータ、収穫予定日、単位面積当たりの収穫量等を解析結果としてデータ蓄積クラウドサーバ１０５に出力する。
図４はアプリケーションサーバ１０６において生成される表示データに基づく表示画面の例を示す図である。

アプリケーションサーバ１０６においては、データ蓄積クラウドサーバ１０５に蓄積された複数の日時の生育指標データと前記複数の日時の前記環境情報データ等に基づき生育過程をグラフ化して表示させるための表示データを生成する。更に、前記生育過程の表示と共に、所定の日時における前記圃場の画像または前記農作物の画像の少なくとも一方を表示させるための表示データを生成しても良い。

また、前記生育過程の表示と共に、収穫時期と単位面積当たりの収穫量の予想の少なくとも一方を表示するための表示データを生成しても良い。また、生育過程の表示データと共に、前記農作物の生育ステージ（例えば分げつ期等）に関する情報を表示させるための表示データを生成しても良い。これらの表示データは例えば情報端末１０９において図４に示すようなグラフ等として表示される。図４の表示内容については後述する。

次に図３を用いて制御サーバ１０４を中心とした動作フローを説明する。図３は制御サーバを中心とした動作フローを示すフローチャートである。
図１に示すシステムにおいて、制御サーバ１０４等を起動することによって図３のフローがスタートする。ステップＳ３０１において所定周期で圃場の撮影を、ネットワークカメラ１０１を用いて行う。所定周期は予め情報端末１０９のアプリケーションを介して例えば、「毎朝１０時に取得」等制御サーバ１０４に設定をしておく。

ステップＳ３０２においてセンサデバイス１０２に対してデータ取得要求を送る。ステップＳ３０３において、ステップＳ３０１とＳ３０２の結果として撮影画像とセンサデータとを取得する。ステップＳ３０４において、撮影画像データの所定のヘッダ領域にメタデータとして撮影日時とセンサデータを書き込む。
ステップＳ３０５で、上記のヘッダにデータが書き込まれた撮影画像データをデータ蓄積クラウドサーバ１０５に送り、気象情報サーバ１１２からの気象情報データを撮影画像データの他のヘッダ領域に書き込む。

ステップＳ３０６において、画像解析クラウドサーバ１１０に対して、ヘッダに各種データが書き込まれた画像データを送らせるとともに、画像解析を指示する。ステップＳ３０７において、画像解析クラウドサーバ１１０はモデルクラウドサーバ１１１の生育モデルを比較／参照して画像解析を実行させる。
ステップＳ３０８において、画像解析クラウドサーバ１１０が解析した結果である生育指標データを画像のヘッダ領域に更に追加して、データ蓄積クラウドサーバ１０５に送らせる。

これによって画像ファイルの各ヘッダ領域に日時と環境データ（センサデータ）と生育指標データとがそれぞれ書き込まれた状態で、データ蓄積クラウドサーバ１０５に蓄積されていく。ステップＳ３０９で所定の契約ユーザから課金の支払いがあったか否かを判別し、課金があればステップＳ３１０に進む。課金がなければステップＳ３０１に戻りデータの蓄積を継続する。ステップＳ３１０では、課金に対して支払いを行った契約ユーザに所定期間の画像を提供するようにアプリケーションサーバ１０６に指示を出す。

この時、画像のヘッダ領域には上述の複数のデータの一部または全部が書き込まれている状態で提供する。課金の金額に応じて、ヘッダ領域に書き込まれているデータの一部をマスクして提供するようにしても良い。
ステップＳ３１１では課金としてオプション料金の支払いがあるか否かを判別する。Ｎｏの場合にはステップＳ３１３に進み、Ｙｅｓの場合にはステップＳ３１２に進む。

ステップＳ３１２ではアプリケーションサーバ１０６で生育過程を表示するための表示データを生成させ、その生育過程を表示するための表示データを前記の所定期間の画像と共に契約ユーザに提供させる。
ステップＳ３１３では、契約ユーザのＩＤ（識別番号）と、支払い履歴と、提供したデータ等に関する履歴を課金決済サーバ１０８に保存させる。

ステップＳ３１４で図１のシステムがオフされたか否かを判別し、オフされていなければステップＳ３０１に戻り、データの蓄積を繰り返す。ステップＳ３１４でオフされたことが判別された場合にはフローを終了する。
このように、システム運営者は、過去の蓄積された有益な生育モデルデータを必要なユーザに提供することが可能になる。また逆に、ユーザは課金をすることによって、過去の蓄積された有益な生育モデルデータを入手することが可能になる。

次に図４を用いてアプリケーションサーバ１０６で生成される生育過程の表示例等を説明する。図４はアプリケーションサーバにおいて生成される表示データに基づく表示画面の例を示す図である。図５、図６は表示画面のそれぞれ他の例を示す図である。
アプリケーションサーバ１０６は、データ蓄積クラウドサーバ１０５から表示画面に必要なデータを取得する。

図４〜図６において、４００は情報端末１０９の表示画面であり、４０１は生育過程を示すグラフ、４０２は現在の日時を示す表示領域である。４０３は、課金契約者名（契約ユーザ名やユーザＩＤ）等を表示する表示領域である。ここで課金契約者とは、蓄積された生育指標データと環境情報データ、さらには、生育過程データ等を課金に応じて所定の端末に提供するための契約を結んだ契約者を指す。

４０４は農作物の種別を表示する表示領域、４０５縦軸に表示される茎数のスケール、４０６は縦軸に表示される草丈のスケール、４０７は横軸に表示される月単位の時間軸のスケールである。４０８は稲の生育過程（生育ステージ）の概略を示すデータ、４０９は生育過程に応じて行うことが推奨される農作業の例を示す表示である。４２０は縦軸に表示されるＳＰＡＤ値のスケール、４２１はＳＰＡＤ値に換算する前の葉色のスケールである。

４１０ａは草丈の生育過程を示すグラフであり、４１０ｂは草丈の生育モデルを示すグラフである。４１１ａは茎の数の生育過程を示すグラフであり、４１１ｂは茎数の生育モデルを示すグラフである。４１２ａはＳＰＡＤ値の生育に伴う過程を示すグラフであり、４１２ｂはＳＰＡＤ値の生育モデルを示すグラフである。４２２は茎の数の生育過程に応じた生育ステージ（例えば分げつ期等）に関する説明を表示している。

４１０ａ、４１１ａ、４１２ａは、撮影した現時点の画像から算出した値のグラフを示している。また、４１０ｂ、４１１ｂ、４１２ｂは、過去の実測値や過去に算出した値を蓄積して統計処理してモデル化したグラフ（生育モデル）を示している。これらのグラフにより、撮影された画像から算出した値が、モデル化したグラフに対して順調に沿っている（差分が小さい）か、ズレているかを容易に比較、判断することが可能になっている。

図５、図６はそれぞれ図４のグラフ表示からメニュー選択等により切り替えられる表示画面の例をそれぞれ示す図である。図５、図６の４１３は現時点において行うことが推奨される農作業について強調表示したガイドである。図５の表示例においては「現在、分げつ期です、追肥をしてください。」と表示し、図６の表示例においては、「現在、整粒歩合７５％です。収穫して下さい。」と表示している。

４１４は生育ステージがどのステージであるかを表示するための表示領域であり、４１５は主要な３つの生育指標データとしての葉色、茎数、草丈を数字表示するための表示領域である。この例では３つの生育指標データだけが表示されているが、例えばプルダウンメニュー等によってその他の生育指標データを表示できるようにしても良い。
なお、実施例では、例えばこれらの数字をユーザが適宜修正できるように構成されている。４１６は環境情報データを数値表示するための表示領域である。

この実施例では、環境情報データとして記憶、湿度、圃場の水位、圃場の水温、圃場の土壌のＰｈ、照度、風速などが表示されているが、例えばプルダウンメニュー等によってその他の環境情報データを表示できるようにしても良い。４１７は画面上に表示されている数値を修正するためのモードに切り替えるボタンであり、このボタンをクリックまたはタッチすると画面上に表示されている数値を修正するための修正モードに切り替わる。ここでボタン４１７は表示データ生成手段によって生成された表示データの一部をユーザ入力により修正するための修正手段として機能している。

修正モードにおいては、領域４１５や４１６に表示された数値を変更できる。変更後に、再びボタン４１７をクリックまたはタッチすると修正モードから通常モードに切換わる。４１８はグラフと共に表示される圃場の画像または農作物の画像であり、少なくとも一方の画像を表示できる。４１９は移動可能なマーカ線であり、デフォルトではグラフ上の現在の日時の位置に表示されるが、これをマウスやタッチによって移動することもできる。

例えば、強風や天候状況などによって茎が曲がったり、倒れていたりする場合に、撮影画像からは適切な草丈が得られないことがある。この修正モードにおいて、手動で測定した値や姿勢を直して撮影して測定しなおした値を入れ直すことが可能になる。環境情報についても環境情報センサの故障等の場合に測り直した測定値や正常なセンサからの値を入力し後から修正することが可能になる。

このように、画像認識の結果、誤ったデータが取得された場合には、ユーザが修正することによって、生育過程のグラフ等をそれに応じて自動的に修正することができる。そして、生育過程のグラフ等の精度が落ちないようにすることが出来る。
図４において、マーカ線４１９を移動すると４０２の領域の日付表示がそれに応じて変化する。また、マーカ線４１９の移動後にメニュー選択で表示画面を図５、図６のように切り替えると、４１４〜４１６の表示領域の表示内容や、４１８の画像もその日時に合わせたものに変化する。

なお、以上の例では、図４の生育課程のグラフと、図５や図６の圃場の画像と各指標値の表示等を別の表示画面としたが、図４と図５、または図４と図６を同一画面上に表示するようにしても良い。
或いは、例えば、生育過程のグラフと共に、所定の日時における生育指標データと環境情報データの少なくとも一方を、農作物の種別と共に表示させるようにしても良い。

このように、本実施例では、契約ユーザは圃場から取得した農作物の画像や環境情報データ等にもとづき農作物の生育過程がグラフによって速やかに理解できる。そして、圃場に行かなくても、また農業の初心者であっても、現時点でどのような農作業を行うべきかが速やかかつ容易にわかる。
次に図７、図８は前述のペアリングの方法の例を示すフローチャートであり、図９はそのような関連付けをしたテーブルの例を示す図である。

図７において、ステップＳ７００において情報端末１０９の電源をＯＮし、ステップＳ７０１において、対応付けを行うためのアプリケーションを起動する。ステップＳ７０２において、ユーザＩＤを登録し、ステップＳ７０３において、ＧＰＳ位置情報を取得し、ステップＳ７０４で例えば付属のカメラやスマートフォンのカメラ等で複数のセンサデバイス１０２のＱＲコード（登録商標）を撮影する。

ステップＳ７０５において、撮影された複数のセンサデバイス１０２のＩＤが登録されて画面に表示される。ステップＳ７０６において、付属のカメラやスマートフォンのカメラ等でネットワークカメラ１０１のＱＲコード（登録商標）を撮影し、ステップＳ７０７において、ネットワークカメラ１０１のＩＤが登録されて画面に表示される。ステップＳ７０８において、情報端末１０９が取得したＧＰＳの位置情報と複数のセンサデバイス１０２のＩＤとネットワークカメラ１０１のＩＤとが合わせて制御サーバ１０４に送られる。

ステップＳ７０９において、初期設定動作を終了すし、図８のステップＳ７１０に進む。ステップＳ７１０において、制御サーバ１０４は、登録されたユーザＩＤと情報端末１０９が取得したＧＰＳ位置情報とネットワークカメラの１０１のＩＤと複数のセンサデバイス１０２のＩＤをテーブル化して保存する。ここで図９（Ａ）はそのような関連付けをしたテーブルの例を示す図である。図９（Ａ）においてはユーザＩＤ、情報端末ＩＤ、センサデバイスのＧＰＳ位置情報、センサデバイスＩＤ、ネットワークカメラＩＤを関連付けたテーブルの例を示している。

このテーブルの例では、ユーザＩＤのみが異なり、他の情報が同じ例が示されている。ここで各ユーザＩＤは図９（Ｂ）に示すように、異なるサービスプランに加入している。図９（Ｂ）では、ユーザＩＤ（０００１）は圃場の画像をモニタリングするだけのプランに加入しており、ユーザＩＤ（０００２）は蓄積された生育データを一括でダウンロードできるプランに加入している。ここで、図９（Ｂ）のようなユーザＩＤとサービスプランの対応を示すテーブルは例えばサービス提供管理サーバ１０７に保存されている。

ステップＳ７１０の次にステップＳ７１１に進み図３のフローチャートに示されるフローを実行する。アプリケーションサーバ１０６はステップＳ７１２において、ユーザがアプリケーションサーバにログインしたことを検出し、ステップＳ７１３において、ログイン情報に元にサービス提供管理サーバ１０７にそのユーザの受けられるサービス情報を問い合わせる。そしてステップＳ７１４において、制御サーバ１０４のステップＳ７１１の処理中に、制御サーバ１０４からサービスを提供するように指示が来たらステップＳ７１４の処理を実行する。

即ち、ステップＳ７１４において、ステップＳ７１３での問い合わせの結果受領したサービス情報に応じた表示用データを生成するためのデータを、データ蓄積クラウドサーバ１０５に要求して取得する。ステップＳ７１５で必要なデータをデータ蓄積クラウドサーバ１０５から取得し、ステップＳ７１６で取得したデータに基づき表示用の画面データを生成する。

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
例えば以上の実施例では生育過程データを高い精度で得るために環境情報データを積するようにしているが、簡略化したシステムでは、環境情報データを蓄積しなくても良い。

そして、生育過程をグラフ化して表示するにあたり環境情報データを考慮せずに、画像から取得した生育指標データ（葉色、茎数、草丈等）に基づき、生育過程をグラフ化して表示するための表示データを生成しても良い。しかも、その際に、葉色、茎数、草丈だけを生育指標データとして用いて生育過程を表示するための表示データを生成しても良い。

また、実施例ではモデルクラウドサーバにおいて学習されたモデルデータを参照して生育過程データを生成しているが、簡易的に、予め用意した関数（テーブル）等によって生育過程データを生成するようにしてもよい。
なお、実施例においては、複数のサーバによって処理を分割して実行している。しかし、例えば制御サーバ１０４の中に、データ蓄積クラウドサーバ１０５やアプリケーションサーバ１０６や画像解析クラウドサーバ１１０、モデルクラウドサーバ１１１等の機能の一部または全部を内蔵しても良い。

更には、サービス提供管理サーバ１０７や課金決済サーバ１０８の機能も内蔵しても良い。あるいは、これらの７つのサーバ１０４〜１０８、１１０、１１１等の２つ以上を適宜統合してサーバの数を減らしても良い。
また、カメラで撮影する対象は農作物に限らず、例えば人間等を含む生物等であっても良い。

なお、本実施例における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して情報処理装置を構成する各サーバ等のコンピュータに供給するようにしてもよい。そしてそのサーバにおけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

１０１ ネットワークカメラ
１０２ センサデバイス
１０３ ネットワーク
１０４ 制御サーバ
１０５ データ蓄積クラウドサーバ
１０６ アプリケーションサーバ
１０９ 情報端末
１１０ 画像解析クラウドサーバ

Claims (36)

1. 圃場における特定の農作物の画像を取得する画像取得手段と、
   前記圃場の環境に関する環境情報データを取得する環境情報取得手段と、
   前記画像取得手段によって取得された前記農作物の画像に基づき前記農作物の生育指標データを生成する指標データ生成手段と、
   前記指標データ生成手段によって生成された複数の日時の生育指標データと前記複数の日時の前記環境情報データを蓄積する蓄積手段と、
   前記蓄積手段に蓄積された前記複数の日時の生育指標データと前記複数の日時の前記環境情報データに基づき生育過程を表示するための表示データを生成する表示データ生成手段と、
   を有することを特徴とする情報処理装置。
2. 前記蓄積手段は前記複数の日時の農作物の画像も蓄積することを特徴とする請求項１に記載の情報処理装置。
3. 前記表示データ生成手段は生育過程をグラフ化して表示するための表示データを生成することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記表示データ生成手段は、所定の日時における前記生育指標データと前記環境情報データの少なくとも一方を、前記生育過程及び前記農作物の種別と共に表示させるための表示データを生成することを特徴とする請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記生育指標データは前記農作物の茎数に関するデータを含むことを特徴とする請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記指標データ生成手段は、前記画像取得手段によって取得された前記農作物の画像に基づき、農作物の葉先の数をカウントすることを特徴とする請求項１〜５のいずれか１項に記載の情報処理装置。
7. 前記指標データ生成手段は、前記葉先の数に基づき前記農作物の茎数に関するデータを算出することを特徴とする請求項６に記載の情報処理装置。
8. 前記生育指標データは、草丈に関するデータを含むことを特徴とする請求項７に記載の情報処理装置。
9. 前記生育指標データは前記農作物の葉色に関するデータを含むことを特徴とする請求項８に記載の情報処理装置。
10. 前記生育指標データは単位面積当たりの植被率、茎数に対する穂の出た茎の割合、黄色に変色した穂の割合、穂の数、１穂当たりの籾数、茎の傾き、茎の曲がりの程度の少なくとも１つに関するデータを含むことを特徴とする請求項１に記載の情報処理装置。
11. 前記表示データ生成手段は、前記生育過程の表示データと共に、所定の日時における前記圃場の画像または前記農作物の画像の少なくとも一方を表示させるための表示データを生成することを特徴とする請求項１に記載の情報処理装置。
12. 前記表示データ生成手段は前記生育過程の表示データと共に、収穫時期と単位面積当たりの収穫量の予想の少なくとも一方を表示するための表示データを生成することを特徴とする請求項１に記載の情報処理装置。
13. 前記特定の農作物はイネ科の植物であることを特徴とする請求項１に記載の情報処理装置。
14. 前記表示データ生成手段によって生成された表示データの一部をユーザ入力により修正するための修正手段を有することを特徴とする請求項１に記載の情報処理装置。
15. 前記表示データ生成手段は、前記生育過程の表示データと共に、前記農作物の生育ステージに関する情報を表示させるための表示データを生成することを特徴とする請求項１３または１４に記載の情報処理装置。
16. 前記指標データ生成手段は、前記蓄積手段に蓄積された複数の日時の生育指標データと前記環境情報データを生育モデルデータと比較することによって前記農作物の生育指標データを生成することを特徴とする請求項１〜１５のいずれか１項に記載の情報処理装置。
17. 前記画像取得手段は、前記圃場の所定位置の前記農作物を上から撮影した画像を取得することを特徴とする請求項１に記載の情報処理装置。
18. 前記蓄積手段に蓄積された前記生育指標データと前記環境情報データを課金に応じて所定の端末に提供可能とするための課金決済手段を有することを特徴とする請求項１に記載の情報処理装置。
19. 前記課金決済手段は、前記蓄積手段に蓄積された前記複数の日時の生育指標データと前記複数の日時の前記環境情報データに基づき生成した生育過程に関するデータを課金に応じて前記所定の端末に提供可能にすることを特徴とする請求項１８に記載の情報処理装置。
20. 前記環境情報データは前記圃場の土壌の環境に関するデータを含むことを特徴とする請求項１に記載の情報処理装置。
21. 前記土壌の環境は前記圃場の土壌の色、土壌の水分量、土壌中の所定の複数の化学物質の割合、土壌のｐｈ値の少なくとも１つに関するデータを含むことを特徴とする請求項２０に記載の情報処理装置。
22. 前記環境情報データは前記圃場の気象情報に関するデータを含むことを特徴とする請求項１に記載の情報処理装置。
23. 前記環境情報データは、前記圃場の緯度経度に関するデータを含むとともに、標高、天気、降水量、降雨量、降雪量、気温、湿度、圃場の水位、圃場の水温、照度、日照時間、風速、気圧の少なくとも１つに関するデータを含むことを特徴とする請求項１に記載の情報処理装置。
24. 前記蓄積手段は、前記農作物の画像に基づき生成された前記農作物の生育指標データを前記画像ファイルとリンクして記憶することを特徴とする請求項１〜２３のいずれか１項に記載の情報処理装置。
25. 前記蓄積手段は、前記農作物の画像に基づき生成された前記農作物の生育指標データをＥＸＩＦ規格のフォーマットに従って前記画像ファイルのヘッダ領域に記憶することを特徴とする請求項２４に記載の情報処理装置。
26. 前記蓄積手段は、前記農作物の画像に基づき生成された前記農作物の生育指標データをＷＡＧＲＩ規格のデータプラットフォームのＡＰＩフォーマットに従って記憶することを特徴とする請求項２４に記載の情報処理装置。
27. 前記画像取得手段は前記農作物の画像を撮影するネットワークカメラまたは測距可能なカメラを含むことを特徴とする請求項１に記載の情報処理装置。
28. 前記環境情報取得手段は、前記圃場の環境を測定することによって前記環境情報データを生成するセンサデバイスを含むことを特徴とする請求項１に記載の情報処理装置。
29. 圃場におけるイネ科の農作物の画像を取得する画像取得手段と、
    前記画像取得手段によって取得された前記農作物の画像に基づき前記農作物の葉色、茎数、草丈に関する指標データを生成する指標データ生成手段と、
    前記指標データ生成手段によって生成された複数の日時の生育指標データを蓄積する蓄積手段と、
    前記蓄積手段に蓄積された前記複数の日時の生育指標データに基づき前記農作物の生育ステージに関する情報を生成する生育ステージデータ生成手段と、
    を有することを特徴とする情報処理装置。
30. 圃場における特定の農作物の画像を取得する画像取得手段と、
    前記圃場の環境に関する環境情報データを取得する環境情報取得手段と、
    前記画像取得手段によって取得された前記農作物の画像に基づき前記農作物の生育指標データを生成する指標データ生成手段と、
    前記指標データ生成手段によって生成された複数の日時の生育指標データと前記複数の日時の前記環境情報データを蓄積する蓄積手段と、
    前記蓄積手段に蓄積された前記生育指標データと前記環境情報データを課金に応じて所定の端末に提供するための課金決済手段と、
    を有することを特徴とする情報処理装置。
31. 前記課金決済手段は、前記蓄積手段に蓄積された前記複数の日時の生育指標データと前記複数の日時の前記環境情報データに基づき生成した生育過程に関するデータを課金に応じて前記所定の端末に提供可能とすることを特徴とする請求項３０に記載の情報処理装置。
32. 前記画像取得手段は前記農作物の画像を撮影するカメラを含むとともに、前記カメラはカメラ識別情報を有し、前記環境情報取得手段は、前記圃場の環境を測定することによって前記環境情報データを生成するセンサデバイスを含むとともに、前記センサデバイスはセンサ識別情報を有することを特徴とする請求項３０または３１に記載の情報処理装置。
33. 請求項１〜３２のいずれか１項に記載の前記情報処理装置の各手段としてコンピュータを機能させるためのコンピュータプログラム。
34. 圃場における特定の農作物の画像を取得する画像取得ステップと、
    前記圃場の環境に関する環境情報データを取得する環境情報取得ステップと、
    前記画像取得ステップによって取得された前記農作物の画像に基づき前記農作物の生育指標データを生成する指標データ生成ステップと、
    前記指標データ生成ステップによって生成された複数の日時の生育指標データと前記複数の日時の前記環境情報データを蓄積する蓄積ステップと、
    前記蓄積ステップで蓄積された前記複数の日時の生育指標データと前記複数の日時の前記環境情報データに基づき生育過程を表示するための表示データを生成する表示データ生成ステップと、
    を有することを特徴とする情報処理方法。
35. 圃場におけるイネ科の農作物の画像を取得する画像取得ステップと、
    前記画像取得ステップによって取得された前記農作物の画像に基づき前記農作物の葉色、茎数、草丈に関する指標データを生成する指標データ生成ステップと、
    前記指標データ生成ステップによって生成された複数の日時の生育指標データを蓄積する蓄積ステップと、
    前記蓄積ステップで蓄積された前記複数の日時の生育指標データに基づき前記農作物の生育ステージに関する情報を生成する生育ステージデータ生成ステップと、
    を有することを特徴とする情報処理方法。
36. 圃場における特定の農作物の画像を取得する画像取得ステップと、
    前記圃場の環境に関する環境情報データを取得する環境情報取得ステップと、
    前記画像取得ステップによって取得された前記農作物の画像に基づき前記農作物の生育指標データを生成する指標データ生成ステップと、
    前記指標データ生成ステップによって生成された複数の日時の生育指標データと前記複数の日時の前記環境情報データを蓄積する蓄積ステップと、
    前記蓄積ステップで蓄積された前記生育指標データと前記環境情報データを課金に応じて所定の端末に提供するための課金決済ステップと、
    を有することを特徴とする情報処理方法。
    
    
    
    

Images