JP2021157767A - 作物状態推定プログラム、作物状態推定方法および作物状態推定装置 - Google Patents

Abstract

【課題】異なる状態指標の値を推定するための推定モデルの学習コストを削減する。【解決手段】画像を当該画像より次元数の小さい特徴データに変換するエンコーダと、特徴データから画像を推定するデコーダと、を含むオートエンコーダの中のエンコーダを用いて、作物を撮像した作物画像を作物特徴データに変換する。作物特徴データと作物の状態を示す第１の指標の測定値とを対応付けた第１の訓練データを用いて、第１の指標の推定値を算出する第１の推定モデルを生成する。作物特徴データと作物の状態を示す第２の指標の測定値とを対応付けた第２の訓練データを用いて、第２の指標の推定値を算出する第２の推定モデルを生成する。【選択図】図７

Description

本発明は作物状態推定プログラム、作物状態推定方法および作物状態推定装置に関する。

作物の育成を情報処理システムによって支援する試みが行われている。作物育成支援を効果的に行うためには、ある時点における作物の状態を把握することになる。しかし、作物の状態を測定するための測定コストが高いことがあり、十分な経験を積まなければ作物の状態を正確に把握することが難しいこともある。そこで、情報処理システムが、作物を撮像した作物画像から作物の状態を推定することが考えられる。作物画像からの状態の推定には、機械学習によって生成した推定モデルを用いることが考えられる。

なお、農場を上空から撮像した空撮画像と気象データとから、作物の収穫量を予測する収量予測システムが提案されている。また、気象条件などの栽培状況と開花日などの栽培結果とを対応付けた訓練データを用意し、栽培状況を説明変数とし栽培結果を目的変数とする決定木の予測モデルを生成する栽培結果予測システムが提案されている。

特開２０１５−４９号公報 特開２０１９−１７０３５９号公報

作物の状態の指標としては、高さや重量のような作物の大きさに関する指標、光合成速度のような作物の成長活動に関する指標など、様々な指標がある。同一作物に対して様々な指標値を求めるための単純な方法としては、状態指標毎に個別に、作物画像から指標値を推定する推定モデルを用意することが考えられる。しかし、作物画像から指標値を直接推定する推定モデルを指標毎に生成することは、機械学習のコストが大きい。また、機械学習に用いる作物画像にはノイズが含まれていることがあり、ノイズの影響で推定精度が低下しないように個々の推定モデルを生成することは容易でない。

１つの側面では、本発明は、異なる状態指標の値を推定するための推定モデルの学習コストを削減する作物状態推定プログラム、作物状態推定方法および作物状態推定装置を提供することを目的とする。

１つの態様では、コンピュータに以下の処理を実行させる作物状態推定プログラムが提供される。画像を画像より次元数の小さい特徴データに変換するエンコーダと、特徴データから画像を推定するデコーダと、を含むオートエンコーダの中のエンコーダを用いて、作物を撮像した作物画像を作物特徴データに変換する。作物特徴データと作物の状態を示す第１の指標の測定値とを対応付けた第１の訓練データを用いて、第１の指標の推定値を算出する第１の推定モデルを生成する。作物特徴データと作物の状態を示す第２の指標の測定値とを対応付けた第２の訓練データを用いて、第２の指標の推定値を算出する第２の推定モデルを生成する。

また、１つの態様では、コンピュータが実行する作物状態推定方法が提供される。また、１つの態様では、記憶部と処理部とを有する作物状態推定装置が提供される。

１つの側面では、異なる状態指標の値を推定するための推定モデルの学習コストを削減することができる。

第１の実施の形態の作物状態推定装置を説明するための図である。 第２の実施の形態の情報処理システムの例を示す図である。 サーバ装置のハードウェア例を示すブロック図である。 オートエンコーダの例を示す図である。 畳み込み演算の例を示す図である。 転置畳み込み演算の例を示す図である。 草丈推定モデルと新鮮重推定モデルの例を示す図である。 光合成速度推定モデルの例を示す図である。 ニューラルネットワークの例を示す図である。 潜在空間における特徴ベクトルの分布の例を示すグラフである。 サーバ装置の機能例を示すブロック図である。 状態テーブルと環境テーブルの例を示す図である。 訓練データテーブルの例を示す図である。 モデル生成の手順例を示すフローチャートである。 状態推定の手順例を示すフローチャートである。 潜在空間における状態遷移の例を示すグラフである。 状態テーブルの他の例を示す図である。 訓練データテーブルの他の例を示す図である。 状態遷移モデルの例を示す図である。 育成計画の探索例を示す図である。 サーバ装置の他の機能例を示すブロック図である。 状態遷移モデル生成の手順例を示すフローチャートである。 育成計画生成の手順例を示すフローチャートである。 育成計画生成の手順例を示すフローチャート（続き）である。

以下、本実施の形態を図面を参照して説明する。
［第１の実施の形態］
第１の実施の形態を説明する。

図１は、第１の実施の形態の作物状態推定装置を説明するための図である。
第１の実施の形態の作物状態推定装置１０は、機械学習により、作物の画像から作物の状態を推定するための推定モデルを生成する。これにより、作物状態推定装置１０は、作物の状態の推定を可能にし、作物の育成を支援する。作物状態推定装置１０は、クライアント装置でもよいしサーバ装置でもよい。作物状態推定装置１０を、コンピュータ、情報処理装置、機械学習装置などと言うこともできる。

作物状態推定装置１０は、記憶部１１および処理部１２を有する。記憶部１１は、ＲＡＭ（Random Access Memory）などの揮発性半導体メモリでもよいし、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの不揮発性ストレージでもよい。処理部１２は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）などのプロセッサである。ただし、処理部１２は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの特定用途の電子回路を含んでもよい。プロセッサは、ＲＡＭなどのメモリ（記憶部１１でもよい）に記憶されたプログラムを実行する。複数のプロセッサの集合を「マルチプロセッサ」または単に「プロセッサ」と言うこともある。

記憶部１１は、作物画像１３および測定値１４−１，１４−２を記憶する。
作物画像１３は、ある時点で撮像装置により作物を撮像した写真画像である。作物は、例えば、葉菜類および果菜類などの栽培植物である。作物は、食用として農家により育成されていることがある。更に、作物は花きなどでもよい。作物画像１３には、作物の葉や枝が写っていることがあり、作物の茎が写っていることがあり、作物の実が写っていることがある。

測定値１４−１，１４−２は、作物の状態を示す指標の値（指標値）である。測定値１４−１は、ある指標（第１の指標）の測定値であり、測定値１４−２は、測定値１４−１とは異なる指標（第２の指標）の測定値である。測定値１４−１，１４−２の指標はそれぞれ、高さや重量など作物の大きさに関する指標であってもよいし、光合成速度など作物の成長活動に関する指標であってもよい。指標の例として、草丈、新鮮重、光合成速度などが挙げられる。測定値１４−１，１４−２はそれぞれ、作物画像１３が撮像された時点における作物の状態を表していてもよいし、作物画像１３から所定期間経過後（例えば、１日後）における作物の状態を表していてもよい。

処理部１２は、作物画像１３および測定値１４−１，１４−２を用いて機械学習を行い、推定モデル１８−１，１８−２を生成する。ここで、処理部１２は、オートエンコーダ１５を取得する。オートエンコーダ１５は、多層ニューラルネットワークであり、畳み込み演算を行う畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）でもよい。オートエンコーダ１５は、エンコーダ１５ａおよびデコーダ１５ｂを含む。

エンコーダ１５ａは、入力の画像を、入力の画像より次元数の小さい特徴データに変換する。例えば、エンコーダ１５ａは、１２８ピクセル×１２８ピクセルの画像を、４００次元の特徴ベクトルに変換する。特徴データを、潜在状態や潜在変数などと言うこともできる。デコーダ１５ｂは、エンコーダ１５ａが生成した特徴データから、エンコーダ１５ａの入力の画像を推定する。例えば、デコーダ１５ｂは、４００次元の特徴ベクトルを、１２８ピクセル×１２８ピクセルの画像に変換する。理想的には、デコーダ１５ｂは、エンコーダ１５ａの入力と同一の画像を出力する。

処理部１２は、作物画像１３をエンコーダ１５ａの入力かつデコーダ１５ｂの出力に対する教師データとして使用することで、機械学習によってオートエンコーダ１５を生成してもよい。例えば、処理部１２は、作物画像１３をエンコーダ１５ａに入力し、デコーダ１５ｂの出力と作物画像１３との間の誤差を算出し、誤差逆伝播法によってエンコーダ１５ａおよびデコーダ１５ｂに含まれるパラメータの値を調整する。

処理部１２は、オートエンコーダ１５の中のエンコーダ１５ａを用いて、作物画像１３を作物特徴データ１６に変換する。作物特徴データ１６は、作物画像１３をエンコーダ１５ａに入力したときにエンコーダ１５ａが出力する特徴データである。よって、作物特徴データ１６は、作物画像１３よりも小さい次元数をもつ。作物特徴データ１６は、作物画像１３に写った作物の潜在状態を表していると言うこともできる。この作物特徴データ１６が、推定モデル１８−１，１８−２の説明変数の値として使用される。

具体的には、処理部１２は、作物特徴データ１６と測定値１４−１とを対応付けた訓練データ１７−１（第１の訓練データ）を生成する。作物特徴データ１６が説明変数の値に相当し、測定値１４−１が目的変数の値に相当する。処理部１２は、訓練データ１７−１を用いて、機械学習により推定モデル１８−１（第１の推定モデル）を生成する。推定モデル１８−１は、ある作物画像の作物特徴データから、第１の指標の推定値を算出する。

また、処理部１２は、作物特徴データ１６と測定値１４−２とを対応付けた訓練データ１７−２（第２の訓練データ）を生成する。作物特徴データ１６が説明変数の値に相当し、測定値１４−２が目的変数の値に相当する。処理部１２は、訓練データ１７−２を用いて、機械学習により推定モデル１８−２（第２の推定モデル）を生成する。推定モデル１８−２は、ある作物画像の作物特徴データから、第２の指標の推定値を算出する。

推定モデル１８−１，１８−２は、例えば、多層ニューラルネットワークである。この場合、例えば、処理部１２は、作物特徴データ１６を推定モデル１８−１に入力し、推定モデル１８−１の出力と測定値１４−１との間の誤差を算出し、誤差逆伝播法によって推定モデル１８−１に含まれるパラメータの値を調整する。同様に、処理部１２は、作物特徴データ１６を推定モデル１８−２に入力し、推定モデル１８−２の出力と測定値１４−２との間の誤差を算出し、誤差逆伝播法によって推定モデル１８−２に含まれるパラメータの値を調整する。ただし、推定モデル１８−１，１８−２として、回帰モデルやランダムフォレストなど、ニューラルネットワーク以外のモデルを用いてもよい。

一例として、推定モデル１８−１を、ある作物画像に対応する作物特徴データから、当該作物画像の撮像時点における作物の草丈を推定するように生成することが可能である。また、推定モデル１８−２を、ある作物画像に対応する作物特徴データから、当該作物画像の撮像時点における作物の新鮮重を推定するように生成することが可能である。

また、作物特徴データ１６に加えて、作物の育成環境を示す環境データを、説明変数の値として訓練データ１７−１，１７−２の少なくとも一方に追加することも可能である。環境データには、例えば、作物が育成されている場所の温度、湿度、二酸化炭素濃度（ＣＯ２濃度）、光量などが含まれる。この場合、推定モデル１８−１，１８−２の少なくとも一方を、ある作物画像に対応する作物特徴データと当該作物画像の撮像時点の環境データから、所定期間経過後における作物の状態を推定するように生成することが可能である。一例として、推定モデル１８−１を、作物特徴データと環境データから、所定期間経過後の光合成速度を推定するように生成することが可能である。

生成された推定モデル１８−１，１８−２を利用して作物の状態を推定する場合、処理部１２は、新たな作物画像をエンコーダ１５ａに入力して、新たな作物画像に対応する作物特徴データを生成する。そして、処理部１２は、その作物特徴データを推定モデル１８−１，１８−２にそれぞれ入力して、異なる指標の推定値を算出する。

第１の実施の形態の作物状態推定装置１０によれば、オートエンコーダ１５を用いて、作物画像１３が作物特徴データ１６に変換される。そして、変換された作物特徴データ１６を説明変数の値として用いて、作物の状態に関する異なる指標の推定値を算出する推定モデル１８−１，１８−２が生成される。

このように、作物画像１３に写っている作物が有する様々な側面の特徴が、次元数の小さい作物特徴データ１６に圧縮して表現される。一般的に、類似する作物特徴データ１６が算出される作物は、類似する潜在状態をもつ。よって、作物画像１３そのものに代えて作物特徴データ１６を入力データとして利用することで、様々な指標の推定モデルを生成することが容易となり、機械学習のコストを削減できる。また、作物画像１３を作物特徴データ１６に変換することで、作物画像１３に含まれるノイズを除去することができ、推定モデル１８−１，１８−２の推定精度を向上させることができる。また、訓練データ１７−１，１７−２の量が少なくても十分な推定精度を達成しやすくなる。

［第２の実施の形態］
次に、第２の実施の形態を説明する。
図２は、第２の実施の形態の情報処理システムの例を示す図である。

第２の実施の形態の情報処理システムは、農家による作物の育成を支援する。この情報処理システムは、機械学習により、作物を撮像した作物画像から作物の状態を推定するための各種の推定モデルを生成する。また、情報処理システムは、生成した推定モデルを用いて、現在または近い将来の作物の状態を推定する。

情報処理システムは、ビニールハウス３１、端末装置３３およびサーバ装置１００を含む。端末装置３３およびサーバ装置１００は、ネットワーク３０に接続されている。ネットワーク３０は、インターネットなどの広域データ通信ネットワークである。サーバ装置１００は、第１の実施の形態の作物状態推定装置１０に対応する。

ビニールハウス３１は、作物を育成する農地を覆う園芸施設の一例である。園芸施設は、ビニールハウス以外に、ガラス温室などであってもよい。ビニールハウス３１の中には、栽培区画が設けられている。栽培区画では、例えば、葉菜類および果菜類などの作物が育成される。ビニールハウス３１の中には、センサデバイス３２などの１以上のセンサデバイスが設置されている。センサデバイス３２は、育成環境として温度、湿度、ＣＯ２濃度および光量を測定する。光量の指標として、例えば、光合成光量子束密度（ＰＰＦＤ：Photosynthetic Photon Flux Density）が用いられる。

また、センサデバイス３２または他のセンサデバイスは、サンプルとして予め指定された作物を撮像する。例えば、撮像素子を含むデジタルカメラによって、静止画像としての作物画像が生成される。センサデバイス３２がネットワーク３０に接続されていてもよく、環境データや作物画像がネットワーク３０を介してサーバ装置１００に送信されてもよい。また、環境データや作物画像が端末装置３３に送信されてもよい。

端末装置３３は、農家であるユーザが使用するクライアントコンピュータである。端末装置３３は、ネットワーク３０を介してサーバ装置１００にアクセスし、サーバ装置１００から画面データを受信して表示する。これにより、サーバ装置１００によって提供される作物育成支援サービスを利用することができる。サーバ装置１００へのアクセスおよび画面データの表示には、例えば、Ｗｅｂブラウザが用いられる。

端末装置３３は、ビニールハウス３１から環境データおよび作物画像を収集し、サーバ装置１００にアップロードしてもよい。また、端末装置３３は、ユーザから環境データや作物画像の入力を受け付け、サーバ装置１００にアップロードしてもよい。端末装置３３は、アップロードされた環境データや作物画像に応じて、サーバ装置１００から作物の状態に関する各種の指標の推定値を受信して表示する。

サーバ装置１００は、データセンタに設置されたサーバコンピュータである。サーバ装置１００は、いわゆるクラウドシステムの計算資源であってもよい。サーバ装置１００は、ビニールハウス３１における作物の育成を支援する。サーバ装置１００は、ビニールハウス３１から環境データおよび作物画像を継続的に収集してもよい。また、サーバ装置１００は、端末装置３３から環境データおよび作物画像を受信してもよい。サーバ装置１００は、ビニールハウス３１の環境データや作物画像に基づいて、ビニールハウス３１の作物の状態に関する各種の指標の推定値を算出して端末装置３３に送信する。

作物状態の推定のために、サーバ装置１００は、予め機械学習によって推定モデルを生成しておく。推定モデルの生成にあたり、サーバ装置１００は、環境データ、作物画像および各種指標の測定値を収集して、機械学習に用いる訓練データを用意する。作物状態の指標として、草丈や新鮮重など作物の大きさに関する指標が挙げられる。また、作物状態の指標として、光合成速度など作物の成長活動に関する指標が挙げられる。訓練データを用意するために、作物のサンプルに対して指標値が予め測定される。

推定モデルの生成に使用されるこれらのデータは、ビニールハウス３１から収集されてもよいし、他のビニールハウスや他の農家の農地から収集されてもよい。なお、第２の実施の形態では、サーバ装置１００が推定モデルの生成と推定モデルを利用した状態推定の両方を行っているが、両者を別個のサーバ装置が行うようにしてもよい。

図３は、サーバ装置のハードウェア例を示すブロック図である。
サーバ装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、画像インタフェース１０４、入力インタフェース１０５、媒体リーダ１０６および通信インタフェース１０７を有する。サーバ装置１００が有するこれらのユニットは、バスに接続されている。ＣＰＵ１０１は、第１の実施の形態の処理部１２に対応する。ＲＡＭ１０２またはＨＤＤ１０３は、第１の実施の形態の記憶部１１に対応する。端末装置３３も、サーバ装置１００と同様のハードウェアを用いて実現することができる。

ＣＰＵ１０１は、プログラムの命令を実行するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０３に記憶されたプログラムやデータの少なくとも一部をＲＡＭ１０２にロードし、プログラムを実行する。ＣＰＵ１０１は複数のプロセッサコアを備えてもよく、サーバ装置１００は複数のプロセッサを備えてもよい。複数のプロセッサの集合を「マルチプロセッサ」または単に「プロセッサ」と言うことがある。

ＲＡＭ１０２は、ＣＰＵ１０１が実行するプログラムやＣＰＵ１０１が演算に使用するデータを一時的に記憶する揮発性半導体メモリである。サーバ装置１００は、ＲＡＭ以外の種類のメモリを備えてもよく、複数のメモリを備えてもよい。

ＨＤＤ１０３は、ＯＳ（Operating System）やミドルウェアやアプリケーションソフトウェアなどのソフトウェアのプログラム、および、データを記憶する不揮発性ストレージである。サーバ装置１００は、フラッシュメモリやＳＳＤ（Solid State Drive）など他の種類のストレージを備えてもよく、複数のストレージを備えてもよい。

画像インタフェース１０４は、ＣＰＵ１０１からの命令に従って、サーバ装置１００に接続された表示装置１１１に画像を出力する。表示装置１１１として、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機ＥＬ（ＯＥＬ：Organic Electro-Luminescence）ディスプレイ、プロジェクタなど、任意の種類の表示装置を使用することができる。サーバ装置１００に、プリンタなど表示装置１１１以外の出力デバイスが接続されてもよい。

入力インタフェース１０５は、サーバ装置１００に接続された入力デバイス１１２から入力信号を受け付ける。入力デバイス１１２として、マウス、タッチパネル、タッチパッド、キーボードなど、任意の種類の入力デバイスを使用することができる。サーバ装置１００に複数種類の入力デバイスが接続されてもよい。

媒体リーダ１０６は、記録媒体１１３に記録されたプログラムやデータを読み取る読み取り装置である。記録媒体１１３として、フレキシブルディスク（ＦＤ：Flexible Disk）やＨＤＤなどの磁気ディスク、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光ディスク、半導体メモリなど、任意の種類の記録媒体を使用することができる。媒体リーダ１０６は、例えば、記録媒体１１３から読み取ったプログラムやデータを、ＲＡＭ１０２やＨＤＤ１０３などの他の記録媒体にコピーする。読み取られたプログラムは、例えば、ＣＰＵ１０１によって実行される。なお、記録媒体１１３は可搬型記録媒体であってもよく、プログラムやデータの配布に用いられることがある。また、記録媒体１１３やＨＤＤ１０３を、コンピュータ読み取り可能な記録媒体と言うことがある。

通信インタフェース１０７は、ネットワーク３０に接続され、ネットワーク３０を介して端末装置３３などの他の装置と通信する。通信インタフェース１０７は、例えば、スイッチやルータなどの有線通信装置に接続される有線通信インタフェースである。ただし、通信インタフェース１０７が、基地局やアクセスポイントなどの無線通信装置に接続される無線通信インタフェースであってもよい。

次に、推定モデルについて説明する。
図４は、オートエンコーダの例を示す図である。
後述するように、サーバ装置１００は、作物の状態についての複数の指標に対応する複数の推定モデルを生成する。第２の実施の形態では、これら複数の推定モデルそれぞれの入力として、作物の画像そのものに代えて、画像から変換される特徴ベクトルを使用する。特徴ベクトルの算出には、オートエンコーダ１４０が用いられる。

オートエンコーダ１４０は、エンコーダ１４１およびデコーダ１４２を含む。エンコーダ１４１は、画像１４４を特徴ベクトル１４３に変換する。デコーダ１４２は、エンコーダ１４１に入力された画像１４４を特徴ベクトル１４３から推定する。理想的には、デコーダ１４２は、特徴ベクトル１４３から画像１４４そのものを再現する。

画像１４４は、作物を撮像した作物画像である。画像１４４には、作物の葉や枝が写っていてもよく、作物の茎が写っていてもよく、作物の実が写っていてもよい。また、画像１４４には、作物の全体ではなく一部分のみが写っていてもよい。第２の実施の形態では、画像１４４は、縦１２８ピクセル×横１２８ピクセル×３チャネルのカラー画像である。３チャネルは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）に対応する。画像１４４は、画素値が１２８×１２８×３の構造に並んだ３階のテンソルとみなすことができる。

特徴ベクトル１４３は、画像１４４よりも次元数の小さいベクトルである。特徴ベクトル１４３を、潜在状態、潜在変数、特徴量などと言うこともできる。第２の実施の形態では、特徴ベクトル１４３は、４００次元のベクトル（４００個の数値が一列に並んだもの）である。後述するように、特徴ベクトル１４３は、画像１４４に写った作物がもつ様々な側面の特徴を、画像１４４よりも小さい次元に圧縮して表現したものである。類似する状態の作物を写した画像からは、類似する特徴ベクトルが算出されることが多い。画像１４４には、撮像装置によって生成されるものであるためノイズが含まれていることがある。これに対して、特徴ベクトル１４３では、低次元に圧縮されて作物の本質的特徴が抽出されているため、ノイズの影響が低減されている。

オートエンコーダ１４０は、多層ニューラルネットワーク（ＤＮＮ：Deep Neural Network）かつ畳み込みニューラルネットワーク（ＣＮＮ）のモデルである。オートエンコーダ１４０は、複数のノードおよびノード間を接続する複数のエッジを含み、エッジの重みを示すパラメータをもつ。このパラメータの値が、機械学習を通じて決定される。エンコーダ１４１は、段階的に次元数が小さくなる複数の層を含む。デコーダ１４２は、段階的に次元数が大きくなる複数の層を含む。

エンコーダ１４１は、畳み込み層１４１−１，１４１−２，１４１−３，１４１−４および全結合層１４１−５を含む。畳み込み層１４１−１は、縦１２８×横１２８のテンソル、すなわち、画像１４４の入力を受け付け、後述するストライド＝２の畳み込み演算（Convolution）によって、縦６４×横６４のテンソルを出力する。ストライド＝２の畳み込み演算では、出力テンソルの縦の次元数および横の次元数がそれぞれ、入力テンソルの２分の１になる。畳み込み演算によって出力されるテンソルを特徴マップと言うことがある。畳み込み演算の出力には、複数のチャネルが含まれ得る。

畳み込み層１４１−２は、畳み込み層１４１−１が出力した縦６４×横６４のテンソルを受け付け、ストライド＝２の畳み込み演算によって縦３２×横３２のテンソルを出力する。畳み込み層１４１−３は、畳み込み層１４１−２が出力した縦３２×横３２のテンソルを受け付け、ストライド＝２の畳み込み演算によって縦１６×横１６のテンソルを出力する。畳み込み層１４１−４は、畳み込み層１４１−３が出力した縦１６×横１６のテンソルを受け付け、ストライド＝２の畳み込み演算によって縦８×横８のテンソルを出力する。全結合層１４１−５は、畳み込み層１４１−４が出力した縦８×横８のテンソルを受け付け、１階のテンソルである特徴ベクトル１４３を生成する。

デコーダ１４２は、全結合層１４２−１および畳み込み層１４２−２，１４２−３を含む。全結合層１４２−１は、４００次元の特徴ベクトル１４３の入力を受け付け、縦３２×横３２のテンソルを出力する。畳み込み層１４２−２は、全結合層１４２−１が出力した縦３２×横３２のテンソルを受け付け、後述するストライド＝２の転置畳み込み演算（Transposed Convolution）によって、縦６４×横６４のテンソルを出力する。転置畳み込み演算を、逆畳み込み演算（Deconvolution）と言うこともある。ストライド＝２の転置畳み込み演算では、出力テンソルの縦の次元数および横の次元数がそれぞれ、入力テンソルの２倍になる。転置畳み込み演算の出力には、複数のチャネルが含まれ得る。

畳み込み層１４２−３は、畳み込み層１４２−２が出力した縦６４×横６４のテンソルを受け付け、ストライド＝２の転置畳み込み演算によって縦１２８×横１２８のテンソルを出力する。畳み込み層１４２−３の出力が、画像１４４に相当する。

オートエンコーダ１４０の機械学習では、ある種類の作物を撮像したサンプル画像の集合が使用される。このサンプル画像は、エンコーダ１４１の入力、かつ、デコーダ１４２の出力に対する正解データとして使用される。サンプル画像がエンコーダ１４１に入力され、デコーダ１４２によってエンコーダ１４１の入力が推定される。この推定画像と元のサンプル画像との間の誤差が算出され、誤差が小さくなるように、誤差逆伝播法によってエンコーダ１４１とデコーダ１４２のパラメータ（エッジの重み）が最適化される。

図５は、畳み込み演算の例を示す図である。
畳み込み演算は、エンコーダ１４１の畳み込み層１４１−１，１４１−２，１４１−３，１４１−４で実行される。ここでは説明を簡単にするため、１チャネルの入力テンソルから、１個のカーネルを用いて１チャネルの出力テンソルを生成する例を説明する。

入力テンソル１６１には、要素ａｉｊ（ｉ＝１，２，３，…；ｊ＝１，２，３，…）が並んでいる。カーネル１６２は、入力テンソル１６１に対して適用されるフィルタである。この例では、カーネル１６２は、縦３×横３の大きさをもち、要素ｍｉｊ（ｉ＝１，２，３；ｊ＝１，２，３）を含む。カーネル１６２の大きさは、オートエンコーダ１４０の生成にあたって予めユーザから指定されるハイパーパラメータである。例えば、カーネル１６２の大きさを、縦５×横５としてもよい。

入力テンソル１６１にカーネル１６２が適用されて、出力テンソル１６３が生成される。出力テンソル１６３を特徴マップと言うことがある。ストライド＝２であるため、出力テンソル１６３の縦の次元数は入力テンソル１６１の２分の１であり、出力テンソル１６３の横の次元数は入力テンソル１６１の２分の１である。出力テンソル１６３には、要素ｂｉｊ（ｉ＝１，２，３，…；ｊ＝１，２，３，…）が並んでいる。

ここで、畳み込み演算では、カーネル１６２が入力テンソル１６１の左上に重ね合わされる。これにより、ａ１１とｍ１１、ａ１２とｍ１２、ａ１３とｍ１３、ａ２１とｍ２１、ａ２２とｍ２２、ａ２３とｍ２３、ａ３１とｍ３１、ａ３２とｍ３２、ａ３３とｍ３３が重なる。これら重なった要素同士を乗算して合計した結果、すなわち、積和演算の結果が、出力テンソル１６３の左上の要素ｂ１１になる。

入力テンソル１６１の上でカーネル１６２をスライドさせながら積和演算を行うことで、出力テンソル１６３の他の要素も算出される。このとき、カーネル１６２を１回にスライドさせる量がストライドである。ここではストライド＝２であるため、カーネル１６２が、入力テンソル１６１の縦方向または横方向に２ずつスライドする。よって、カーネル１６２の中心の要素ｍ２２を入力テンソル１６１の要素ａ２４に合わせたときの積和演算の結果が、出力テンソル１６３の要素ｂ１２になる。

また、カーネル１６２の中心の要素ｍ２２を入力テンソル１６１の要素ａ４２に合わせたときの積和演算の結果が、出力テンソル１６３の要素ｂ２１になる。また、カーネル１６２の中心の要素ｍ２２を入力テンソル１６１の要素ａ４４に重ねたときの積和演算の結果が、出力テンソル１６３の要素ｂ２２になる。具体的には、ｂ２２＝ａ３３＊ｍ１１＋ａ３４＊ｍ１２＋ａ３５＊ｍ１３＋ａ４３＊ｍ２１＋ａ４４＊ｍ２２＋ａ４５＊ｍ２３＋ａ５３＊ｍ３１＋ａ５４＊ｍ３２＋ａ５５＊ｍ３３である。

このような畳み込み演算は、ニューラルネットワークとして表現することが可能である。入力テンソル１６１の要素がノードに対応し、出力テンソル１６３の要素が次段のノードに対応し、カーネル１６２の要素がエッジの重みに対応する。オートエンコーダ１４０の機械学習を通じて、カーネル１６２の要素の値が決定される。

図６は、転置畳み込み演算の例を示す図である。
転置畳み込み演算は、デコーダ１４２の畳み込み層１４２−２，１４２−３で実行される。ここでは説明を簡単にするため、１チャネルの入力テンソルから、１個のカーネルを用いて１チャネルの出力テンソルを生成する例を説明する。

入力テンソル１６４には、要素ｃｉｊ（ｉ＝１，２，３，…；ｊ＝１，２，３，…）が並んでいる。入力テンソル１６４を特徴マップと言うことがある。カーネル１６５は、入力テンソル１６４に対して適用されるフィルタである。この例では、カーネル１６５は、縦３×横３の大きさをもち、要素ｎｉｊ（ｉ＝１，２，３；ｊ＝１，２，３）を含む。通常、カーネル１６５の大きさはカーネル１６２と同じでよい。入力テンソル１６４にカーネル１６５が適用されて、出力テンソル１６６が生成される。ストライド＝２であるため、出力テンソル１６６の縦の次元数は入力テンソル１６４の２倍であり、出力テンソル１６６の横の次元数は入力テンソル１６４の２倍である。出力テンソル１６６には、要素ｄｉｊ（ｉ＝１，２，３，…；ｊ＝１，２，３，…）が並んでいる。

ここで、転置畳み込み演算では、出力テンソル１６６の各要素の値が０に初期化される。次に、入力テンソル１６４の左上の要素ｃ１１とカーネル１６５の各要素との積が算出され、出力テンソル１６６の左上の縦３×横３の領域に加算される。ここでは、ｃ１１＊ｎ１１がｄ１１に加算され、ｃ１１＊ｎ１２がｄ１２に加算され、ｃ１１＊ｎ１３がｄ１３に加算される。また、ｃ１１＊ｎ２１がｄ２１に加算され、ｃ１１＊ｎ２２がｄ２２に加算され、ｃ１１＊ｎ２３がｄ２３に加算される。また、ｃ１１＊ｎ３１がｄ３１に加算され、ｃ１１＊ｎ３２がｄ３２に加算され、ｃ１１＊ｎ３３がｄ３３に加算される。

入力テンソル１６４の他の要素についても、カーネル１６５の各要素との積が算出され、出力テンソル１６６の適切な要素に対して加算される。このとき、積を加算する出力テンソル１６６の位置を、ストライドだけスライドさせる。ここではストライド＝２であるため、出力テンソル１６６の縦方向または横方向に２つずつスライドすることになる。

よって、入力テンソル１６４の要素ｃ１２に着目したとき、ｃ１２＊ｎ１１がｄ１３に加算され、ｃ１２＊ｎ１２がｄ１４に加算され、ｃ１２＊ｎ１３がｄ１５に加算される。また、入力テンソル１６４の要素ｃ２１に着目したとき、ｃ２１＊ｎ１１がｄ３１に加算され、ｃ２１＊ｎ１２がｄ３２に加算され、ｃ２１＊ｎ１３がｄ３３に加算される。また、入力テンソル１６４の要素ｃ２２に着目したとき、ｃ２２＊ｎ１１がｄ３３に加算され、ｃ２２＊ｎ１２がｄ３４に加算され、ｃ２２＊ｎ１３がｄ３５に加算される。

上記の演算を入力テンソル１６４の各要素に対して行うことで、出力テンソル１６６が生成される。例えば、出力テンソル１６６の要素ｄ３３は、入力テンソルの要素ｃ１１，ｃ１２，ｃ２１，ｃ２２の影響を受け、ｄ３３＝ｃ１１＊ｎ３３＋ｃ１２＊ｎ３１＋ｃ２１＊ｎ１３＋ｃ２２＊ｎ１１のように算出される。

このような転置畳み込み演算は、ニューラルネットワークとして表現することが可能である。入力テンソル１６４の要素がノードに対応し、出力テンソル１６６の要素が次段のノードに対応し、カーネル１６５の要素がエッジの重みに対応する。オートエンコーダ１４０の機械学習を通じて、カーネル１６５の要素の値が決定される。なお、転置畳み込み演算は、図５の畳み込み演算の逆演算に相当する。カーネル１６５の要素の値を調整することで、出力テンソル１６３から入力テンソル１６１を再現することもできる。

このようにして、オートエンコーダ１４０が生成される。オートエンコーダ１４０に含まれるエンコーダ１４１を用いて、画像１４４が特徴ベクトル１４３に変換される。この特徴ベクトル１４３を入力として使用する様々な推定モデルを生成することができる。なお、以下では推定モデルをニューラルネットワークとしているが、回帰モデルやランダムフォレストなどニューラルネットワーク以外のモデルとしてもよい。

図７は、草丈推定モデルと新鮮重推定モデルの例を示す図である。
草丈推定モデル１５１は、特徴ベクトル１４３から、画像１４４を撮像した時点における作物の草丈を推定する推定モデルである。草丈は、作物の地表からの高さであり、茎や枝や葉などの部位を含む作物全体の高さである。草丈推定モデル１５１を用いることで、作物の写真を取れば、測定作業を行わずに草丈を算出することができる。

草丈推定モデル１５１は、多層ニューラルネットワークである。草丈推定モデル１５１は、入力層１５１−１、中間層１５１−２および出力層１５１−３を含む。入力層１５１−１は、４００次元の特徴ベクトル１４３の入力を受け付ける。中間層１５１−２は、入力層１５１−１が出力した４００次元のベクトルを２００次元のベクトルに変換する。出力層１５１−３は、中間層１５１−２が出力した２００次元のベクトルを２次元のベクトルに変換する。出力層１５１−３の出力は、草丈の平均と草丈の標準偏差を示す。作物には個体差があることから、草丈推定モデル１５１は、画像１４４が撮像された場所の周辺における草丈の分布を推定するようにしている。ただし、草丈推定モデル１５１が、草丈の期待値のみを推定するようにすることも可能である。

機械学習によって草丈推定モデル１５１を生成する場合、画像１４４に対応付けて、画像１４４が撮像された時点における草丈の測定値が教師データとして与えられる。草丈の分布を推定するため、例えば、画像１４４が撮像された場所の周辺における複数箇所の草丈が測定され、測定値の平均と標準偏差が算出される。機械学習では、画像１４４がエンコーダ１４１によって特徴ベクトル１４３に変換され、特徴ベクトル１４３が草丈推定モデル１５１に入力されて、草丈の平均および標準偏差の推定値が算出される。この推定値と測定値との間の誤差が小さくなるように、誤差逆伝播法によって、草丈推定モデル１５１のパラメータであるエッジの重みが最適化される。

新鮮重推定モデル１５２は、特徴ベクトル１４３から、画像１４４を撮像した時点における作物の新鮮重を推定する推定モデルである。新鮮重は、水分を含んだ作物の重量であり、茎や枝や葉などの部位を含む作物全体の重量である。新鮮重推定モデル１５２を用いることで、作物の写真を取れば、測定作業を行わずに新鮮重を算出することができる。

新鮮重推定モデル１５２は、多層ニューラルネットワークである。新鮮重推定モデル１５２は、入力層１５２−１、中間層１５２−２および出力層１５２−３を含む。入力層１５２−１は、４００次元の特徴ベクトル１４３の入力を受け付ける。中間層１５２−２は、入力層１５２−１が出力した４００次元のベクトルを２００次元のベクトルに変換する。出力層１５２−３は、中間層１５２−２が出力した２００次元のベクトルを２次元のベクトルに変換する。出力層１５２−３の出力は、新鮮重の平均と新鮮重の標準偏差を示す。作物には個体差があることから、新鮮重推定モデル１５２は、画像１４４が撮像された場所の周辺における新鮮重の分布を推定するようにしている。ただし、新鮮重推定モデル１５２が、新鮮重の期待値のみを推定するようにすることも可能である。

機械学習によって新鮮重推定モデル１５２を生成する場合、画像１４４に対応付けて、画像１４４が撮像された時点における新鮮重の測定値が教師データとして与えられる。新鮮重の分布を推定するため、例えば、画像１４４が撮像された場所の周辺における複数箇所の新鮮重が測定され、測定値の平均と標準偏差が算出される。草丈推定モデル１５１と同様、誤差逆伝播法によってパラメータであるエッジの重みが最適化される。このように、同じ特徴ベクトル１４３を入力とする複数の推定モデルを生成することができ、これら複数の推定モデルにより作物の状態に関する異なる指標の推定値を求めることができる。

図８は、光合成速度推定モデルの例を示す図である。
光合成速度推定モデル１５３は、特徴ベクトル１４３と環境データ１４５から、画像１４４を撮像した時点から所定期間後（例えば、１日後）の作物の光合成速度を推定するモデルである。光合成速度は、作物の葉によって水と二酸化炭素から糖類を合成する生化学反応の速度である。光合成速度は、例えば、単位時間当たりの二酸化炭素吸収量、酸素発生量、光合成産物量、光エネルギー吸収量などの観点から測定される。

環境データ１４５は、画像１４４が撮像された時点における育成環境を示す。環境データ１４５は、温度、湿度、二酸化炭素濃度および光量を含む４次元ベクトルである。光合成速度推定モデル１５３を用いることで、現在の画像１４４および現在の環境データ１４５から、１日後などの近い将来の光合成速度を予測することができる。光合成速度推定モデル１５３が出力する光合成速度の推定値は、将来の作物の生育状態の予測に用いることができる。また、目標とする作物の生育状態を達成するための環境データ１４５を推定して、生育計画を立案するために用いることもできる。

光合成速度推定モデル１５３は、多層ニューラルネットワークである。光合成速度推定モデル１５３は、入力層１５３−１、中間層１５３−２および出力層１５３−３を含む。入力層１５３−１は、４００次元の特徴ベクトル１４３と４次元の環境データ１４５とを結合した４０４次元のベクトルの入力を受け付ける。中間層１５３−２は、入力層１５３−１が出力した４０４次元のベクトルを２００次元のベクトルに変換する。出力層１５３−３は、中間層１５３−２が出力した２００次元のベクトルをスカラ値に変換する。出力層１５３−３の出力は、所定期間後の光合成速度の期待値を示す。

機械学習によって光合成速度推定モデル１５３を生成する場合、画像１４４と共に、画像１４４が撮像された日の環境データ１４５が与えられる。また、画像１４４および環境データ１４５と対応付けて、画像１４４が撮像された時点から所定期間後における光合成速度の測定値が教師データとして与えられる。機械学習では、画像１４４がエンコーダ１４１によって特徴ベクトル１４３に変換され、環境データ１４５と結合されて光合成速度推定モデル１５３に入力されて、光合成速度の推定値が算出される。この推定値と測定値との間の誤差が小さくなるように、誤差逆伝播法によって、光合成速度推定モデル１５３のパラメータであるエッジの重みが最適化される。

ここで、ニューラルネットワークについて説明を補足する。
図９は、ニューラルネットワークの例を示す図である。
図９に示すような構造をもつニューラルネットワーク１７０が、前述のオートエンコーダ１４０、草丈推定モデル１５１、新鮮重推定モデル１５２および光合成速度推定モデル１５３として使用される。ニューラルネットワーク１７０は、層１７１，１７２，１７３などの複数の層を含む。層１７２は層１７１の次段であり、層１７３は層１７２の次段である。層１７１，１７２，１７３は、それぞれ複数のノードを含む。ある層のノードは、前段の層のノードおよび次段の層のノードとの間でエッジをもつ。よって、層１７２のノードは、層１７１のノードおよび層１７３のノードとの間でエッジをもつ。これらエッジに対して、それぞれ重みがパラメータとして設定される。

ニューラルネットワーク１７０に入力データが与えられると、入力側から出力側に向かって数値が伝播する。層１７１の各ノードから出力される数値が、重み付けされた上で層１７２に伝播する。また、層１７２の各ノードから出力される数値が、重み付けされた上で層１７３に伝播する。パラメータの更新では、誤差逆伝播法に従って出力側から入力側に向かって誤差情報が伝播し、出力側に近いエッジから順に重みが更新される。エッジ毎に誤差勾配が算出され、誤差勾配に所定の学習率を乗じた分だけ重みが変動する。

次に、特徴ベクトルの特性について説明を補足する。
図１０は、潜在空間における特徴ベクトルの分布の例を示すグラフである。
同じ種類の作物を撮像した画像の集合をエンコーダ１４１によって特徴ベクトルの集合に変換し、特徴ベクトルの集合を４００次元の特徴空間にプロットすると、グラフ１８０のような特徴ベクトルの分布が得られる。特徴空間を、潜在空間と言うこともある。なお、グラフ１８０では可視化のために、４００次元を２次元にマッピングしている。

作物の本質的特徴が近い画像からは、近い特徴ベクトルが算出されることが多い。草丈や新鮮重や光合成速度などの何れか１つの指標に着目すると、近い特徴ベクトルが算出される作物は近い指標値をもつことが多い。よって、特徴ベクトルを入力とする推定モデルを生成することは、特徴空間の中の連続領域を指標値に対応付けていると言うことができ、１つの指標の観点から特徴空間を分割していると言うこともできる。ただし、特徴空間の中の連続領域と指標値との対応関係は容易にはわからない。このため、機械学習を通じてこの対応関係が推定されることになる。

例えば、ある指標（例えば、草丈）の値域を複数の区間に分割し、同一区間に属する指標値が対応付けられた画像の特徴ベクトルを同一グループに分類すると、特徴空間においてグループ１８１，１８２，１８３のような複数のグループが形成される。グループ１８１に属する特徴ベクトルは、互いに類似する指標値をもつ作物の画像から変換されたものである。同様に、グループ１８２に属する特徴ベクトルは、互いに類似する指標値をもつ作物の画像から変換されたものであり、グループ１８３に属する特徴ベクトルは、互いに類似する指標値をもつ作物の画像から変換されたものである。

一方、グループ１８１に属する特徴ベクトルとグループ１８２に属する特徴ベクトルとは、類似しない指標値をもつ作物の画像から変換されたものである。同様に、グループ１８１に属する特徴ベクトルとグループ１８３に属する特徴ベクトルとは、類似しない指標値をもつ作物の画像から変換されたものである。グループ１８２に属する特徴ベクトルとグループ１８３に属する特徴ベクトルとは、類似しない指標値をもつ作物の画像から変換されたものである。このように、指標を１つ選択すると、特徴空間に分布する特徴ベクトルを指標値に応じてグルーピングすることができる。

次に、サーバ装置１００の機能について説明する。
図１１は、サーバ装置の機能例を示すブロック図である。
サーバ装置１００は、画像記憶部１２１、状態データ記憶部１２２、環境データ記憶部１２３、オートエンコーダ記憶部１２４および推定モデル記憶部１２５を有する。これらの記憶部は、例えば、ＲＡＭ１０２またはＨＤＤ１０３の記憶領域を用いて実装される。また、サーバ装置１００は、オートエンコーダ生成部１２６、推定モデル生成部１２７および状態推定部１２８を有する。これらの処理部は、例えば、ＣＰＵ１０１が実行するプログラムを用いて実装される。

画像記憶部１２１は、機械学習用の画像を記憶する。また、画像記憶部１２１は、ビニールハウス３１または端末装置３３から受信される状態推定用の画像を記憶する。機械学習用の画像と状態推定用の画像は、同じ種類の作物を撮像したものである。状態データ記憶部１２２は、機械学習用の画像が撮像された農地において測定された作物の状態を示す状態データを記憶する。この状態データは、教師データに相当する。環境データ記憶部１２３は、機械学習用の画像が撮像された農地において測定された育成環境を示す環境データを記憶する。また、環境データ記憶部１２３は、ビニールハウス３１または端末装置３３から受信される状態推定用の環境データを記憶する。

オートエンコーダ記憶部１２４は、機械学習によって生成されたオートエンコーダ１４０を記憶する。ただし、エンコーダ１４１およびデコーダ１４２のうち、エンコーダ１４１のみを保存するようにしてもよい。推定モデル記憶部１２５は、機械学習によって生成された複数の推定モデルを記憶する。例えば、前述の草丈推定モデル１５１、新鮮重推定モデル１５２および光合成速度推定モデル１５３が記憶される。

オートエンコーダ生成部１２６は、画像記憶部１２１に記憶された機械学習用の画像を用いて、オートエンコーダ１４０を生成する。オートエンコーダ生成部１２６は、同一の画像をオートエンコーダ１４０の入力、かつ、オートエンコーダ１４０の出力に対する教師データとして用いることで、パラメータを最適化する。オートエンコーダ１４０には、エンコーダ１４１とデコーダ１４２が含まれる。オートエンコーダ生成部１２６は、生成したオートエンコーダ１４０をオートエンコーダ記憶部１２４に保存する。

推定モデル生成部１２７は、作物の状態を示す指標毎に、訓練データを生成して機械学習によって推定モデルを生成する。訓練データの生成では、推定モデル生成部１２７は、画像記憶部１２１に記憶された機械学習用の画像を、オートエンコーダ記憶部１２４に記憶されたエンコーダ１４１に入力して、特徴ベクトルに変換する。

推定モデル生成部１２７は、この特徴ベクトルを説明変数の値として訓練データに追加する。また、推定モデル生成部１２７は、環境データ記憶部１２３に記憶された環境データを、説明変数の値として訓練データに追加する。ただし、推定モデルによっては、環境データを説明変数として使用しないこともある。また、推定モデル生成部１２７は、状態データ記憶部１２２に記憶された状態データを、目的変数の値として訓練データに追加する。推定モデル生成部１２７は、このような訓練データを用いて推定モデルを生成し、生成した推定モデルを推定モデル記憶部１２５に保存する。

状態推定部１２８は、端末装置３３からの要求に応じて、作物の状態を示す複数の指標の推定値を算出し、端末装置３３に送信する。このとき、状態推定部１２８は、アップロードされた最新の作物の画像を画像記憶部１２１から抽出し、アップロードされた最新の環境データを環境データ記憶部１２３から抽出する。状態推定部１２８は、オートエンコーダ記憶部１２４に記憶されたエンコーダ１４１に画像を入力して、特徴ベクトルを算出する。状態推定部１２８は、特徴ベクトルに環境データを結合して、推定モデル記憶部１２５に記憶された推定モデルにそれぞれ入力し、推定値を算出する。ただし、推定モデルによっては、環境データを説明変数として使用しないこともある。

図１２は、状態テーブルと環境テーブルの例を示す図である。
状態テーブル１３１は、状態データ記憶部１２２に記憶される。状態テーブル１３１は、日付、画像ＩＤ、草丈、新鮮重および光合成速度の項目を含む。日付として、画像が撮像された日が登録される。画像ＩＤとして、画像ファイルの識別子が登録される。草丈として、画像が撮像された日における草丈の測定値が登録される。草丈の単位は、例えば、ｃｍ（センチメートル）である。新鮮重として、画像が撮像された日における新鮮重の測定値が登録される。新鮮重の単位は、例えば、ｇ（グラム）である。

光合成速度として、画像が撮像された日における光合成速度の測定値が登録される。光合成速度の単位は、例えば、μｍｏｌ／（ｍ^２・ｓ）である。なお、推定モデルが指標値の分布を出力する場合、例えば、複数箇所で測定された異なる指標値（例えば、草丈の複数の測定値や新鮮重の複数の測定値）が列挙される。

環境テーブル１３２は、環境データ記憶部１２３に記憶される。環境テーブル１３２は、日付、温度、湿度、二酸化炭素濃度および光量の項目を含む。日付として、環境データが測定された日が登録される。温度の単位は、例えば、℃である。湿度の単位は、例えば、％である。二酸化炭素濃度の単位は、例えば、ｐｐｍ（parts per million）である。光量の単位は、例えば、μｍｏｌ／（ｍ^２・ｓ）である。光量を、日射量やＰＰＦＤと言うこともある。温度、湿度、二酸化炭素濃度および光量は、例えば、１日の平均値である。

図１３は、訓練データテーブルの例を示す図である。
訓練データテーブル１３３は、草丈推定モデル１５１のための訓練データである。訓練データテーブル１３３は、特徴ベクトル、草丈平均および草丈標準偏差の項目を含む。特徴ベクトルが説明変数に相当し、草丈平均および草丈標準偏差が目的変数に相当する。訓練データテーブル１３３の１つのレコード（一行）は、状態テーブル１３１の１つのレコード（一行）に対応する。特徴ベクトルは、状態テーブル１３１に含まれる画像ＩＤが示す画像を、エンコーダ１４１に入力することで算出される。草丈平均および草丈標準偏差は、状態テーブル１３１に含まれる草丈の測定値の平均および標準偏差である。

訓練データテーブル１３４は、新鮮重推定モデル１５２のための訓練データである。訓練データテーブル１３４は、特徴ベクトル、新鮮重平均および新鮮重標準偏差の項目を含む。特徴ベクトルが説明変数に相当し、新鮮重平均および新鮮重標準偏差が目的変数に相当する。訓練データテーブル１３４の１つのレコード（一行）は、状態テーブル１３１の１つのレコード（一行）に対応する。特徴ベクトルは、訓練データテーブル１３３で算出されたものと同じである。新鮮重平均および新鮮重標準偏差は、状態テーブル１３１に含まれる新鮮重の測定値の平均および標準偏差である。

訓練データテーブル１３５は、光合成速度推定モデル１５３のための訓練データである。訓練データテーブル１３５は、特徴ベクトル、環境データおよび光合成速度の項目を含む。特徴ベクトルおよび環境データが説明変数に相当し、光合成速度が目的変数に相当する。訓練データテーブル１３５の１つのレコード（一行）は、状態テーブル１３１の１つのレコード（一行）に対応する。特徴ベクトルは、訓練データテーブル１３３，１３４で算出されたものと同じである。環境データは、状態テーブル１３１の日付と同じ日付として環境テーブル１３２に登録されている温度、湿度、二酸化炭素濃度および光量である。光合成速度は、状態テーブル１３１に翌日の値として登録されているものである。これは、光合成速度推定モデル１５３が翌日の光合成速度を推定するためである。

次に、サーバ装置１００の処理手順について説明する。
図１４は、モデル生成の手順例を示すフローチャートである。
（Ｓ１０）オートエンコーダ生成部１２６は、エンコーダ１４１およびデコーダ１４２を含むオートエンコーダ１４０のパラメータを初期化する。

（Ｓ１１）オートエンコーダ生成部１２６は、作物画像を１つ選択してオートエンコーダ１４０に入力し、オートエンコーダ１４０が出力する推定画像を取得する。オートエンコーダ生成部１２６は、推定画像と元の作物画像とを比較して誤差を算出する。

（Ｓ１２）オートエンコーダ生成部１２６は、誤差逆伝播法により、誤差が小さくなるようにオートエンコーダ１４０のパラメータを更新する。
（Ｓ１３）オートエンコーダ生成部１２６は、停止条件を満たすか判断する。停止条件として、例えば、オートエンコーダ１４０への作物画像の入力回数が所定の上限に達したことが挙げられる。また、停止条件として、例えば、直近の平均誤差が閾値未満に低下したことが挙げられる。なお、停止条件を満たすまでの間に、ステップＳ１１において同じ画像が複数回選択されることもある。

（Ｓ１４）オートエンコーダ生成部１２６は、ステップＳ１０〜Ｓ１３を通じて生成したオートエンコーダ１４０をオートエンコーダ記憶部１２４に保存する。
（Ｓ１５）推定モデル生成部１２７は、オートエンコーダ１４０に含まれるエンコーダ１４１に、複数の作物画像をそれぞれ入力して特徴ベクトルを算出する。

（Ｓ１６）推定モデル生成部１２７は、ステップＳ１５で算出した特徴ベクトルを説明変数に含む訓練データを生成する。説明変数に環境データを含める場合、推定モデル生成部１２７は、環境テーブル１３２から環境データを抽出する。また、推定モデル生成部１２７は、状態テーブル１３１から状態データを抽出し、目的変数の値を定義する。

（Ｓ１７）推定モデル生成部１２７は、推定モデルのパラメータを初期化する。
（Ｓ１８）推定モデル生成部１２７は、ステップＳ１６で生成した訓練データからレコードを１つ選択し、レコードに含まれる説明変数の値を推定モデルに入力し、推定モデルから推定値を取得する。推定モデル生成部１２７は、推定値と当該レコードに含まれる目的変数の値（正解値）とを比較して誤差を算出する。

（Ｓ１９）推定モデル生成部１２７は、誤差逆伝播法により、誤差が小さくなるように推定モデルのパラメータを更新する。
（Ｓ２０）推定モデル生成部１２７は、停止条件を満たすか判断する。停止条件として、例えば、推定モデルへの説明変数の値の入力回数が所定の上限に達したことが挙げられる。また、停止条件として、例えば、直近の平均誤差が閾値未満に低下したことが挙げられる。なお、停止条件を満たすまでの間に、ステップＳ１８において訓練データの中の同じレコードが複数回選択されることもある。

（Ｓ２１）推定モデル生成部１２７は、ステップＳ１５〜Ｓ２０を通じて生成した推定モデルを推定モデル記憶部１２５に保存する。なお、異なる複数の指標に対応する複数の推定モデルを生成する場合、指標毎に上記のステップＳ１６〜Ｓ２０が実行される。特徴ベクトルについては、複数の推定モデルの間で流用できる。

図１５は、状態推定の手順例を示すフローチャートである。
（Ｓ３０）状態推定部１２８は、推定対象の作物画像を取得する。使用する推定モデルに応じて、状態推定部１２８は、併せて環境データを取得することがある。

（Ｓ３１）状態推定部１２８は、オートエンコーダ記憶部１２４に保存されているエンコーダ１４１に、ステップＳ３０の作物画像を入力して特徴ベクトルを算出する。
（Ｓ３２）状態推定部１２８は、ステップＳ３１で算出した特徴ベクトルを含む入力データを生成する。説明変数が特徴ベクトルのみの推定モデルを使用する場合、特徴ベクトルそのものが入力データになる。説明変数に環境データを含む推定モデルを使用する場合、特徴ベクトルと環境データを連結したものが入力データになる。

（Ｓ３３）状態推定部１２８は、推定モデル記憶部１２５に保存されている推定モデルに、ステップＳ３２で生成した入力データを入力して推定値を算出する。なお、複数の推定モデルを用いて複数の指標の推定値を求める場合、指標毎にステップＳ３２，Ｓ３３が実行される。特徴ベクトルについては、複数の推定モデルの間で流用できる。

（Ｓ３４）状態推定部１２８は、ステップＳ３３で算出した推定値を端末装置３３に送信して、端末装置３３のディスプレイに表示させる。
第２の実施の形態の情報処理システムによれば、作物画像から作物の潜在状態を表現した特徴ベクトルが算出され、特徴ベクトルから作物の状態を示す具体的な指標の推定値が算出される。これにより、作物育成者の経験によらずに、成長の勢いといった漠然とした作物の状態を可視化することができる。また、指標値を実際に測定せずに、作物の写真を撮ることで推定値を得ることができる。また、近い将来の指標値を推定することも可能となる。よって、作物の育成に有用な情報を効率的に入手することができる。

また、作物画像から低次元の特徴ベクトルへの変換を通じて、作物の潜在状態との関連性が低い画像ノイズが除去される。よって、推定モデルが作物画像から指標値を直接算出する場合よりも、画像ノイズの影響を抑制して推定精度を向上させることができる。また、特徴ベクトルには作物の様々な側面の特徴が反映されており、同一の特徴ベクトルから異なる指標の推定値を算出することができる。よって、作物画像から指標値を算出する推定モデルを指標毎に個別に生成する場合よりも、計算量といった機械学習のコストを低減できる。また、少ない訓練データからでも推定モデルの精度が向上しやすくなる。

［第３の実施の形態］
次に、第３の実施の形態を説明する。
第２の実施の形態との違いを中心に説明し、第２の実施の形態と同様の内容については説明を省略することがある。第３の実施の形態の情報処理システムは、第２の実施の形態で説明したオートエンコーダや推定モデルを応用して、作物の育成計画を生成する。

一般的に作物の将来の状態は、現在の状態と温度や湿度などの環境条件とから決まることが多い。また、作物を育成する農家は、草丈や着果数などの作物の状態について、一定期間後に達成されるべき目標状態を設定することが多い。そこで、農家は、ビニールハウス内の環境条件を調節して、作物の状態を目標状態に誘導することがある。目標状態を達成するための今後の環境条件の調節方法が、育成計画として決定される。

ここで、草丈や着果数などの数値は、１つの評価尺度に基づいて測定される測定値に相当し、作物の外見に顕在化している顕在状態を表している。育成計画の生成に機械学習を利用する場合、１つの方法として、ある時点の顕在状態と環境条件とから一定期間後の顕在状態を予測する予測モデルを使用する方法が考えられる。例えば、ある時点の草丈と温度や湿度とから一定期間後の草丈を予測する予測モデルを使用する方法が考えられる。

しかし、草丈や着果数などの顕在状態は、作物の様々な側面のうちの１つの側面を切り出して評価した結果であり、作物がもつ本質的特徴である潜在状態の全てを表しているわけではない。異なる潜在状態の作物が、結果的に同一の顕在状態をもつこともある。例えば、異なる潜在状態の作物が、同一の草丈をもつことがある。そのため、同一の顕在状態をもつ作物を同一の環境条件で育成しても、将来の顕在状態が大きく異なることがある。例えば、同一の草丈をもつ作物を同一の環境条件で育成しても、一定期間後の草丈が大きくばらつくことがある。その結果、ある時点の顕在状態と環境条件とから一定期間後の顕在状態を予測する予測モデルでは、予測精度が低くなることがあるという問題がある。

これに対して、第２の実施の形態で説明した特徴ベクトルは、作物の様々な顕在状態に対応する特徴を複合的に含んでおり、作物の潜在状態を表している。第２の実施の形態の特徴ベクトルを、潜在状態ベクトルと呼ぶこともできる。そこで、第３の実施の形態では、この特徴ベクトルを利用して最適な育成計画を探索する。

図１６は、潜在空間における状態遷移の例を示すグラフである。
前述のように、グラフ１８０は、特徴ベクトルの集合を４００次元の特徴空間（潜在空間）にプロットした結果を可視化したものである。ある時点の１つの作物画像からエンコーダにより算出される特徴ベクトルは、特徴空間の１つの点で表される。また、所定期間後の１つの作物画像からエンコーダにより算出される特徴ベクトルは、特徴空間の別の１つの点で表される。また、所定期間について温度や湿度などの環境条件が測定される。そこで、特徴空間上に、１つの特徴ベクトルと１つの環境条件の組から別の１つの特徴ベクトルが決定されるという状態遷移関数を定義することができる。

例えば、グラフ１８０は、特徴ベクトル１８４，１８５，１８６，１８７を含む。特徴ベクトル１８４，１８５，１８６，１８７は、それぞれ作物の潜在状態を表す。特徴ベクトル１８４をもつ作物を特定の環境条件のもとで所定期間育成すると、特徴ベクトル１８５をもつ作物に成長する。よって、状態遷移関数は、特徴ベクトル１８４と特定の環境条件の組に対して、特徴ベクトル１８５を出力する。

同様に、特徴ベクトル１８５をもつ作物を特定の環境条件のもとで所定期間育成すると、特徴ベクトル１８６をもつ作物に成長する。よって、状態遷移関数は、特徴ベクトル１８５と特定の環境条件の組に対して、特徴ベクトル１８６を出力する。特徴ベクトル１８６をもつ作物を特定の環境条件のもとで所定期間育成すると、特徴ベクトル１８７をもつ作物に成長する。よって、状態遷移関数は、特徴ベクトル１８６と特定の環境条件の組に対して、特徴ベクトル１８７を出力する。このように、状態遷移関数は、特徴ベクトルの間の遷移を規定する。なお、第３の実施の形態では、所定期間を１週間とする。

過去に育成された作物の作物画像と環境条件に基づいて、機械学習によって状態遷移関数が生成される。状態遷移関数は、ニューラルネットワークである状態遷移モデルによって規定される。また、第２の実施の形態で説明したように、ある時点の特徴ベクトルからその時点の顕在状態を推定する推定モデルが生成される。例えば、特徴ベクトルから草丈を推定する草丈推定モデルが生成される。また、例えば、草丈推定モデルとは別に、特徴ベクトルから着果数を推定する着果数推定モデルが生成される。

第３の実施の形態では、この状態遷移モデルと推定モデルを用いて、所望の顕在状態を達成するための最適な育成計画が探索される。ある顕在状態から所定期間後に別の顕在状態に作物が成長するための環境条件は、特徴空間において、ある特徴ベクトルから別の特徴ベクトルに潜在状態が遷移するための環境条件に対応する。特徴空間における特徴ベクトルは、推定モデルを用いて顕在状態に変換される。

そこで、第３の実施の形態の情報処理システムは、現在の作物画像からエンコーダにより現在の特徴ベクトルを算出し、現在の特徴ベクトルと仮の環境条件との組から状態遷移モデルにより一定期間後の特徴ベクトルを算出する。情報処理システムは、一定期間後の特徴ベクトルから推定モデルにより一定期間後の顕在状態を推定し、推定した顕在状態と所望の顕在状態との間の誤差を算出する。情報処理システムは、推定した顕在状態が所望の顕在状態に近付くように、状態遷移モデルに入力する環境条件を変更する。

これにより、一定期間後に所望の顕在状態を達成するための環境条件が探索される。一定期間後の顕在状態に対応する特徴ベクトルを基準として、上記の探索を連鎖的に実行することで、今後の環境条件を列挙した育成計画が生成される。また、特徴空間を経由して環境条件を探索することで、特徴空間を経由せずに顕在状態のみから環境条件を探索する場合と比べて、潜在状態の違いを考慮でき予測精度が向上する。

第３の実施の形態の情報処理システムは、図２に示した第２の実施の形態のシステム構成と同様のシステム構成によって実現できる。また、第３の実施の形態の情報処理システムは、図３に示した第２の実施の形態のハードウェア構成と同様のハードウェア構成によって実現できる。ただし、後述するように第３の実施の形態では、第２の実施の形態のサーバ装置１００に代えてサーバ装置１００ａが使用される。

次に、機械学習に用いるデータについて説明する。
図１７は、状態テーブルの他の例を示す図である。
サーバ装置１００ａは、状態テーブル１３６を記憶する。状態テーブル１３６は、第２の実施の形態の状態テーブル１３１に相当する。状態テーブル１３６は、日付、画像ＩＤ、草丈、着果数および収量の項目をそれぞれ含む複数のレコードを記憶する。日付として、画像が撮像された日が登録される。画像ＩＤとして、画像ファイルの識別子が登録される。草丈として、画像が撮像された日における草丈の測定値が登録される。着果数として、画像が撮像された日にカウントされた果実の個数が登録される。収量として、画像が撮像された日までの直近１週間に収穫された作物の重量が登録される。

状態テーブル１３６は、同一の農場において１週間毎に観察された作物の状態を示す。よって、状態テーブル１３６には、１週間毎に１つのレコードが登録される。なお、サーバ装置１００ａは、複数の農場に対応する複数の状態テーブルを記憶してもよい。

図１８は、訓練データテーブルの他の例を示す図である。
サーバ装置１００ａは、図１７に示した状態テーブル１３６に加えて、図１２に示した環境テーブル１３２を記憶する。サーバ装置１００ａは、状態テーブル１３６を用いて、推定モデルの機械学習のための訓練データテーブル１３７−１，１３７−２，１３７−３を生成する。また、サーバ装置１００ａは、状態テーブル１３６および環境テーブル１３２を用いて、状態遷移モデルの機械学習のための訓練データテーブル１３８を生成する。

訓練データテーブル１３７−１は、特徴ベクトルから草丈を推定するための草丈推定モデルの機械学習に使用される。訓練データテーブル１３７−１は、特徴ベクトルおよび草丈の項目をそれぞれ含む複数のレコードを記憶する。特徴ベクトルが説明変数に相当する入力データであり、草丈が目的変数に相当する教師データである。特徴ベクトルは、状態テーブル１３６が示す作物画像からエンコーダにより変換される特徴ベクトルである。草丈は、状態テーブル１３６に登録された草丈である。

訓練データテーブル１３７−２は、特徴ベクトルから着果数を推定するための着果数推定モデルの機械学習に使用される。訓練データテーブル１３７−２は、特徴ベクトルおよび着果数の項目をそれぞれ含む複数のレコードを記憶する。特徴ベクトルが説明変数に相当する入力データであり、着果数が目的変数に相当する教師データである。特徴ベクトルは、状態テーブル１３６が示す作物画像からエンコーダにより変換される特徴ベクトルである。着果数は、状態テーブル１３６に登録された着果数である。

訓練データテーブル１３７−３は、特徴ベクトルから収量を推定するための収量推定モデルの機械学習に使用される。訓練データテーブル１３７−３は、特徴ベクトルおよび収量の項目をそれぞれ含む複数のレコードを記憶する。特徴ベクトルが説明変数に相当する入力データであり、収量が目的変数に相当する教師データである。特徴ベクトルは、状態テーブル１３６が示す作物画像からエンコーダにより変換される特徴ベクトルである。収量は、状態テーブル１３６に登録された収量である。

訓練データテーブル１３８は、状態遷移モデルの機械学習に使用される。訓練データテーブル１３８は、遷移前ベクトル、環境データおよび遷移後ベクトルの項目をそれぞれ含む複数のレコードを記憶する。遷移前ベクトルおよび環境データが説明変数に相当する入力データであり、遷移後ベクトルが目的変数に相当する教師データである。

遷移前ベクトルは、状態テーブル１３６が示す作物画像のうち、ある週の作物画像からエンコーダにより変換される特徴ベクトルである。遷移後ベクトルは、状態テーブル１３６が示す作物画像のうち、その１週間後の作物画像からエンコーダにより変換される特徴ベクトルである。環境データは、環境テーブル１３２が示す育成環境のうち、遷移前ベクトルが属する日から遷移後ベクトルが属する日の前日までの１週間における育成環境の平均を示す。環境データは、平均温度、平均湿度、平均ＣＯ２濃度および平均光量を含む。

図１９は、状態遷移モデルの例を示す図である。
サーバ装置１００ａは、訓練データテーブル１３８に基づいて状態遷移モデル１５４を生成する。状態遷移モデル１５４は、入力層１５４−１、中間層１５４−２および出力層１５４−３を含む。状態遷移モデル１５４が、更に多数の中間層を含んでもよい。

入力層１５４−１は、４０４次元の入力データを受け付ける。よって、入力層１５４−１は、４０４個のノードを含む。４０４次元の入力データは、４００次元の特徴ベクトル１４３と４次元の環境データ１４６とを含む。環境データ１４６は、温度、湿度、ＣＯ２濃度および光量を含む。中間層１５４−２は、複数のノードを含む。中間層１５４−２の次元数は、入力層１５４−１より大きくてもよいし小さくてもよい。例えば、中間層１５４−２の次元数は、５００次元から１０００次元程度である。出力層１５４−３は、４００次元の特徴ベクトル１４７を出力する。よって、出力層１５４−３は、４００個のノードを含む。特徴ベクトル１４７は、特徴ベクトル１４３から１週間後の潜在状態を示す。

次に、状態遷移モデル１５４を利用した育成計画の探索例について説明する。
図２０は、育成計画の探索例を示す図である。
ここでは説明を簡単にするため、サーバ装置１００ａのユーザが２週間後の目標状態を指定する場合を考える。ユーザが３週間以上先の目標状態を指定する場合についても、同様の方法で育成計画を生成できる。また、ある週の１つの潜在状態から、異なる環境条件を仮定して翌週の２通りの潜在状態を予測する場合を考える。翌週の３通り以上の潜在状態を予測することも可能である。また、ここでは顕在状態として草丈を使用する。

サーバ装置１００ａは、２週間後の目標状態としてユーザから２週間後の草丈の目標値を受け付ける。すると、サーバ装置１００ａは、現在の草丈の測定値と２週間後の草丈の目標値とから、１週間後の草丈の目標中間値を算出する。目標中間値の算出には、一定速度での成長を仮定して線形補間を用いてもよいし、作物の種類に応じた所定の成長曲線を仮定して非線形補間を用いてもよい。ノード１９１は、現在の顕在状態を示す。ノード１９１は、草丈が１２０ｃｍであることを示す。

次に、サーバ装置１００ａは、現在の作物画像をエンコーダに入力して現在の特徴ベクトルを算出する。また、サーバ装置１００ａは、２つの環境初期値を生成する。環境初期値は、温度、湿度、ＣＯ２濃度および光量を含む。環境初期値はランダムに選択してもよい。サーバ装置１００ａは、２つの環境初期値それぞれについて、現在の特徴ベクトルと環境初期値を状態遷移モデルに入力して１週間後の特徴ベクトルを推定し、推定した特徴ベクトルを草丈推定モデルに入力して１週間後の草丈を推定する。サーバ装置１００ａは、１週間後の草丈の目標中間値と１週間後の草丈の推定値とを比較して誤差を算出し、誤差が小さくなるように、状態遷移モデルに入力する環境値を変更する。

サーバ装置１００ａは、誤差が最小化された際の第１週の環境値および１週間後の草丈を、解候補として採用する。これにより、サーバ装置１００ａは、２つの環境初期値に対応する２通りの解候補を取得する。２通りの解候補を取得するのは、異なる環境初期値から局所解として異なる環境値に到達する可能性があるためである。ただし、２つの環境初期値から同一の環境値に到達する可能性もある。ノード１９２，１９３は、異なる環境条件を仮定して予測された１週間後の顕在状態を示す。ノード１９２は草丈が１３０ｃｍであることを示す、ノード１９３は草丈が１２４ｃｍであることを示す。

サーバ装置１００ａは、上記と同様の方法で、１週間後の草丈を前提として２週間後の草丈を予測する。すなわち、サーバ装置１００ａは、予測した１週間後の草丈それぞれについて、２つの環境初期値を生成する。サーバ装置１００ａは、２つの環境初期値それぞれについて、推定した１週間後の特徴ベクトルと環境初期値を状態遷移モデルに入力して２週間後の特徴ベクトルを推定し、推定した２週間後の特徴ベクトルを草丈推定モデルに入力して２週間後の草丈を推定する。サーバ装置１００ａは、２週間後の草丈の目標値と２週間後の草丈の推定値とを比較して誤差を算出し、誤差が小さくなるように、状態遷移モデルに入力する環境値を変更する。サーバ装置１００ａは、誤差が最小化された際の第２週の環境値および２週間後の草丈を、解候補として採用する。

これにより、サーバ装置１００ａは、１週間後の２つの草丈の推定値と２つの環境初期値の組み合わせから、第２週について合計で４通りの解候補を取得する。ノード１９４，１９５，１９６，１９７は、異なる環境条件を仮定して予測された２週間後の顕在状態を示す。ノード１９４は草丈が１３７ｃｍであることを示し、ノード１９５は草丈が１３４ｃｍであることを示し、ノード１９６は草丈が１３２ｃｍであることを示し、ノード１９７は草丈が１２８ｃｍであることを示す。その結果、ノード１９１，１９２，１９４を通るパスと、ノード１９１，１９２，１９５を通るパスと、ノード１９１，１９３，１９６を通るパスと、ノード１９１，１９３，１９７を通るパスとが得られる。

サーバ装置１００ａは、２週間後の草丈の推定値が目標値に最も近いパスを選択し、選択したパスが示す第１週の環境値および第２週の環境値を育成計画として出力する。ユーザがビニールハウスの育成環境を育成計画に従って今後２週間調節することで、２週間後に作物の草丈が目標値に到達することが期待される。なお、サーバ装置１００ａは、２週間後の草丈の推定値が目標値に近い複数個のパスを選択し、育成環境を調節するために要するコストなどの他の評価基準に基づいて、何れか１つのパスに絞り込んでもよい。

次に、サーバ装置１００ａの機能および処理手順について説明する。
図２１は、サーバ装置の他の機能例を示すブロック図である。
サーバ装置１００ａは、第２の実施の形態のサーバ装置１００の推定モデル記憶部１２５および推定モデル生成部１２７に代えて、モデル記憶部１２５ａおよびモデル生成部１２７ａを有する。また、サーバ装置１００ａは、育成計画生成部１２９を有する。

モデル記憶部１２５ａは、異なる顕在状態の種類に対応する異なる推定モデルを記憶する。例えば、モデル記憶部１２５ａは、特徴ベクトルから草丈を推定する草丈推定モデルと、特徴ベクトルから着果数を推定する着果数推定モデルと、特徴ベクトルから収量を推定する収量推定モデルとを記憶する。また、モデル記憶部１２５ａは、特徴ベクトルと環境条件から次の特徴ベクトルを推定する状態遷移モデルを記憶する。

モデル生成部１２７ａは、状態テーブル１３６が示す作物画像をオートエンコーダのエンコーダに入力して特徴ベクトルに変換する。モデル生成部１２７ａは、状態テーブル１３６が示す顕在状態と特徴ベクトルとを組み合わせて訓練データを生成し、この訓練データを用いて機械学習により推定モデルを生成する。また、モデル生成部１２７ａは、環境テーブル１３２に基づいて各週の環境条件を算出し、週始めの特徴ベクトルと環境条件と週終わりの特徴ベクトルとを組み合わせて訓練データを生成する。モデル生成部１２７ａは、この訓練データを用いて機械学習により状態遷移モデルを生成する。

育成計画生成部１２９は、モデル記憶部１２５ａに記憶された推定モデルおよび状態遷移モデルを用いて育成計画を生成する。育成計画生成部１２９は、ユーザから顕在状態の目標値を受け付ける。育成計画生成部１２９は、現在の作物画像に対応する特徴ベクトルを取得し、状態遷移モデルに特徴ベクトルと仮の環境条件を入力して１週間後の特徴ベクトルを推定し、推定モデルに１週間後の特徴ベクトルを入力して１週間後の顕在状態を推定する。育成計画生成部１２９は、状態遷移モデルに入力する環境条件を変更することで、顕在状態の目標値を達成するための最適な環境条件を判定する。

育成計画生成部１２９は、今後の最適な環境条件を示す育成計画データを生成し、育成計画データを出力する。例えば、育成計画生成部１２９は、育成計画データをＨＤＤ１０３などの不揮発性ストレージに保存する。また、例えば、育成計画生成部１２９は、育成計画データをネットワーク３０を介して端末装置３３に送信する。また、例えば、育成計画生成部１２９は、育成計画データを表示装置１１１に表示する。なお、第３の実施の形態では、モデル生成部１２７ａと育成計画生成部１２９を同一のサーバ装置に実装しているが、両者を別個のサーバ装置に実装することも可能である。

図２２は、状態遷移モデル生成の手順例を示すフローチャートである。
（Ｓ４０）モデル生成部１２７ａは、予め機械学習により生成されたオートエンコーダに含まれるエンコーダを取得する。モデル生成部１２７ａは、状態テーブル１３６が示す各週の作物画像をエンコーダに入力して、各週の特徴ベクトルを算出する。

（Ｓ４１）モデル生成部１２７ａは、環境テーブル１３２に含まれるレコードを１週間毎に分類して、各週の環境データを算出する。各週の環境データは、１週間分の温度の平均値と湿度の平均値とＣＯ２濃度の平均値と光量の平均値を含む。

（Ｓ４２）モデル生成部１２７ａは、遷移前ベクトルと環境データと遷移後ベクトルとを対応付けた訓練データを生成する。遷移前ベクトルは、週開始時点の特徴ベクトルである。環境データは、１週間の育成環境の平均を示す。遷移後ベクトルは、週終了時点、すなわち、翌週開始時点の特徴ベクトルである。

（Ｓ４３）モデル生成部１２７ａは、状態遷移モデルのパラメータを初期化する。状態遷移モデルのパラメータは、ニューラルネットワークの重みを含む。
（Ｓ４４）モデル生成部１２７ａは、ステップＳ４２で生成された訓練データからレコードを１つ選択する。モデル生成部１２７ａは、レコードに含まれる遷移前ベクトルおよび環境データを状態遷移モデルに入力し、状態遷移モデルの出力とレコードに含まれる正解の遷移後ベクトルとの間の誤差を算出する。

（Ｓ４５）モデル生成部１２７ａは、ステップＳ４４の誤差が小さくなるように状態遷移モデルのパラメータを更新する。例えば、モデル生成部１２７ａは、誤差逆伝播法によって状態遷移モデルの出力から入力に向かって重みを更新する。

（Ｓ４６）モデル生成部１２７ａは、停止条件を満たすか判断する。停止条件は、ステップＳ４４，Ｓ４５のイテレーション回数が所定回数に達したことでもよい。また、停止条件は、ステップＳ４４の誤差が閾値を下回ったことでもよい。停止条件を満たす場合はステップＳ４７に進み、停止条件を満たさない場合はステップＳ４４に戻る。

（Ｓ４７）モデル生成部１２７ａは、状態遷移モデルを保存する。
図２３は、育成計画生成の手順例を示すフローチャートである。
（Ｓ５０）育成計画生成部１２９は、ユーザから期日と目標状態の指定を受け付ける。目標状態は、草丈などの特定の顕在状態の数値として指定される。

（Ｓ５１）育成計画生成部１２９は、現在の顕在状態を取得する。育成計画生成部１２９は、現在の顕在状態と指定された目標状態とに基づいて、現在から期日までの各週の目標中間状態を算出する。例えば、育成計画生成部１２９は、作物が現在から期日まで線形に成長すると仮定して、各週の目標中間状態を補間する。

（Ｓ５２）育成計画生成部１２９は、現在の作物画像を取得し、エンコーダに作物画像を入力して現在の特徴ベクトルを算出する。
（Ｓ５３）育成計画生成部１２９は、現在に近い方から未処理の週を１つ選択する。

（Ｓ５４）育成計画生成部１２９は、ステップＳ５３で選択した週に属する状態を１つ選択する。なお、現在の属する週は１つの初期状態をもつ。
（Ｓ５５）育成計画生成部１２９は、温度、湿度、ＣＯ２濃度および光量を含む環境初期値を所定個（例えば、３個）生成する。育成計画生成部１２９は、所定個の環境初期値をランダムに生成してもよいし、できる限り離れた値になるよう生成してもよい。

（Ｓ５６）育成計画生成部１２９は、環境初期値を１つ選択する。
（Ｓ５７）育成計画生成部１２９は、ステップＳ５４で選択した状態に対応する特徴ベクトルと、ステップＳ５６で選択した環境初期値またはその環境初期値から変更された環境値を、状態遷移モデルに入力して、翌週の特徴ベクトルを予測する。

（Ｓ５８）育成計画生成部１２９は、ステップＳ５７で算出された翌週の特徴ベクトルを推定モデルに入力して、翌週の顕在状態に変換する。
（Ｓ５９）育成計画生成部１２９は、翌週に対して設定された目標中間状態とステップＳ５８で算出された翌週の顕在状態との間の誤差を算出する。

（Ｓ６０）育成計画生成部１２９は、ステップＳ５７〜Ｓ６１の繰り返しを通じて、ステップＳ５９で算出された誤差が極小化されたか判断する。誤差が極小化された場合はステップＳ６２に進み、極小化されていない場合はステップＳ６１に進む。

（Ｓ６１）育成計画生成部１２９は、ステップＳ５９の誤差が小さくなるように、状態遷移モデルに入力する環境値を更新する。そして、ステップＳ５７に戻る。
図２４は、育成計画生成の手順例を示すフローチャート（続き）である。

（Ｓ６２）育成計画生成部１２９は、ステップＳ５８で算出した顕在状態を、翌週に属する中間状態として採用する。この中間状態は、ステップＳ５４の選択対象になり得る。
（Ｓ６３）育成計画生成部１２９は、ステップＳ５６において全ての環境初期値を選択したか判断する。全ての環境初期値を選択した場合はステップＳ６４に進み、未選択の環境初期値がある場合はステップＳ５６に戻る。

（Ｓ６４）育成計画生成部１２９は、ステップＳ５４において、現在選択されている週に属する全ての状態を選択したか判断する。全ての状態を選択した場合はステップＳ６５に進み、未選択の状態がある場合はステップＳ５４に戻る。

（Ｓ６５）育成計画生成部１２９は、現在選択されている週が期日の属する週であるか、すなわち、期日に到達したか判断する。期日に到達した場合はステップＳ６６に進み、期日に到達していない場合はステップＳ５３に戻る。

（Ｓ６６）育成計画生成部１２９は、現在から期日までの状態遷移を示す複数のパスのうち、期日における顕在状態が目標状態に最も近いパスを抽出する。
（Ｓ６７）育成計画生成部１２９は、ステップＳ６６で抽出したパスに含まれる各週の環境値を順に列挙した育成計画データを生成する。

（Ｓ６８）育成計画生成部１２９は、育成計画データを出力する。例えば、育成計画生成部１２９は、育成計画データを端末装置３３に送信する。また、例えば、育成計画生成部１２９は、育成計画データを表示装置１１１に表示する。

第３の実施の形態の情報処理システムによれば、期日における顕在状態の目標値が指定されると、目標値を達成するための現在から期日までの環境条件を示す育成計画データが生成される。よって、農家による作物の育成を支援することができる。また、最適な環境条件は、作物画像から算出される特徴ベクトルが属する潜在空間において、特徴ベクトルの間の遷移を示す状態遷移モデルを用いて探索される。よって、同一の顕在状態をもつ作物を同一の環境条件で育成しても、潜在状態が同一とは限らないため成長量がばらつくという問題に対し、将来の顕在状態の予測精度を向上させることができる。その結果、信頼性の高い育成計画データを生成することが可能となる。

１０ 作物状態推定装置
１１ 記憶部
１２ 処理部
１３ 作物画像
１４−１，１４−２ 測定値
１５ オートエンコーダ
１５ａ エンコーダ
１５ｂ デコーダ
１６ 作物特徴データ
１７−１，１７−２ 訓練データ
１８−１，１８−２ 推定モデル

Claims (7)

1. コンピュータに、
   画像を前記画像より次元数の小さい特徴データに変換するエンコーダと、前記特徴データから前記画像を推定するデコーダと、を含むオートエンコーダの中の前記エンコーダを用いて、作物を撮像した作物画像を作物特徴データに変換し、
   前記作物特徴データと前記作物の状態を示す第１の指標の測定値とを対応付けた第１の訓練データを用いて、前記第１の指標の推定値を算出する第１の推定モデルを生成し、
   前記作物特徴データと前記作物の状態を示す第２の指標の測定値とを対応付けた第２の訓練データを用いて、前記第２の指標の推定値を算出する第２の推定モデルを生成する、
   処理を実行させる作物状態推定プログラム。
2. 前記コンピュータに更に、前記作物画像を、前記オートエンコーダの入力かつ前記オートエンコーダの出力に対する教師データとして使用することで、前記オートエンコーダに含まれるパラメータの値を調整する処理を実行させる、
   請求項１記載の作物状態推定プログラム。
3. 前記コンピュータに更に、前記エンコーダを用いて他の作物画像を他の作物特徴データに変換し、前記他の作物特徴データを前記第１の推定モデルに入力して前記第１の指標の推定値を算出し、前記他の作物特徴データを前記第２の推定モデルに入力して前記第２の指標の推定値を算出する処理を実行させる、
   請求項１記載の作物状態推定プログラム。
4. 前記第１の訓練データは、前記作物の育成環境を示す環境データを更に含み、
   前記第１の指標の測定値は、前記作物画像よりも後に測定された測定値であり、
   前記第１の推定モデルの生成では、前記作物特徴データおよび前記環境データから前記第１の指標の測定値を推定するように前記第１の推定モデルを生成する、
   請求項１記載の作物状態推定プログラム。
5. 前記第１の指標は、前記作物の高さ、重量および光合成速度のうちの１つであり、前記第２の指標は、前記高さ、前記重量および前記光合成速度のうちの他の１つである、
   請求項１記載の作物状態推定プログラム。
6. コンピュータが、
   画像を前記画像より次元数の小さい特徴データに変換するエンコーダと、前記特徴データから前記画像を推定するデコーダと、を含むオートエンコーダの中の前記エンコーダを用いて、作物を撮像した作物画像を作物特徴データに変換し、
   前記作物特徴データと前記作物の状態を示す第１の指標の測定値とを対応付けた第１の訓練データを用いて、前記第１の指標の推定値を算出する第１の推定モデルを生成し、
   前記作物特徴データと前記作物の状態を示す第２の指標の測定値とを対応付けた第２の訓練データを用いて、前記第２の指標の推定値を算出する第２の推定モデルを生成する、
   作物状態推定方法。
7. 作物を撮像した作物画像と、前記作物の状態を示す第１の指標の測定値と、前記作物の状態を示す第２の指標の測定値とを記憶する記憶部と、
   画像を前記画像より次元数の小さい特徴データに変換するエンコーダと、前記特徴データから前記画像を推定するデコーダと、を含むオートエンコーダの中の前記エンコーダを用いて、前記作物画像を作物特徴データに変換し、前記作物特徴データと前記第１の指標の測定値とを対応付けた第１の訓練データを用いて、前記第１の指標の推定値を算出する第１の推定モデルを生成し、前記作物特徴データと前記第２の指標の測定値とを対応付けた第２の訓練データを用いて、前記第２の指標の推定値を算出する第２の推定モデルを生成する処理部と、
   を有する作物状態推定装置。

Images