JP2018161058A - 植物の生育状態評価方法、植物生育状態評価プログラム、植物生育状態評価装置ならびに植物モニタリングシステム - Google Patents

Abstract

【課題】従来より簡易で安価な装置を用いて、植物の生育状態を適切に把握すること。
【解決手段】植物を撮影したカラー画像から、緑色波長域の画像であるＧ画像と、青色波長域の画像であるＢ画像を求め、Ｇ画像とＢ画像から算出される指標を用いて植物の葉領域を抽出し、植物の生育状態を評価する。例えば、Ｇ画像およびＢ画像を用いて、画素ごとにＧＢＶＩを算出し、ＧＢＶＩ画像を生成する。ＧＢＶＩ画像から、植物の葉領域の面積と、フラクタル次元を算出する。葉領域の面積から第１生育曲線を求め、フラクタル次元から第２生育曲線を求めて、葉の生育状態および果実の生育状態を把握する。植物モニタリングシステム１は、データ計測部１０を設置し、リンゴ樹を１時間毎に撮影して画像データをサーバ２０に蓄積し、データ処理部３０がサーバ２０に蓄積された画像データを取得して解析や表示を行う。
【選択図】図１

Description

本発明は、植物の生育状態を把握するための方法、プログラム、装置、ならびにモニタリングシステムに関する。

農作物や果樹などの植物の栽培を行う場合、植物の生育状態を適切に把握することが重要である。例えば、植物の生育状態を把握して、生育状態に応じた適切なタイミングで適切な作業を実施することが求められる。また、生育状態に基づいて収量や品質を精度良く予測できれば有用である。

従来、植物の生育状態の把握方法として、管理者が目視で植物を確認し、あるいは気象情報などを確認して経験により生育状態を評価することが行われてきたが、管理者の負担が少なく、的確に生育状態を把握できる方法が求められている。そこで、リモートセンシングを行い、得られたデータから生育状態を示す指標を算出する方法が用いられている。例えば、特許文献１には、衛星や航空機から撮影した赤外光や近赤外光による画像を解析し、ＮＶＤＩ（正規化植生指数）などの指標を算出して農作物の収量を予測することが開示されている。

また、特許文献２には、植物の撮影画像から植物の生育指標を算出し、植物の生育状態を分析することが提案されている。特許文献２では、ＮＤＶＩ等の指標を用いる場合、照度や太陽光の色の変化などの条件変化があると精度良く生育状態を反映した値を算出できないことに着目して、画像を撮影する際の条件に応じて画像を補正する。また、可視光フィルタを用いてカラー画像を撮影し、カラー画像を表示することで誤判断をなくすことを提案している。

特開２０１０−１６６８５１号公報 特開２０１７−１１４５９号公報

特許文献１、２では、生育状態の指標としてＮＤＶＩ等の赤外光や近赤外光による画像から求めた指標を用いている。そのため、赤外光や近赤外光による画像を撮影するための特殊な機材が必要である。また、衛星や航空機で撮影する場合は、撮影が大がかりになるため、計測コストが高くなってしまう。更に、衛星や航空機からの撮影では十分な解像度の画像を得られないおそれがある。そこで、少ない負担で、且つ、従来より簡易で安価な装置を用いて植物の生育状態を把握する方法が求められている。例えば、地上からの撮影で、且つ、一般的なカメラで撮影可能な可視光画像を用いて生育状態を適切に把握する方法が求められている。

植物の生育状態を示す指標としては、ＮＤＶＩ以外に、ＬＡＩ（葉面積指数）や、ＧＲＶＩ（Green-Red Vegetation Index）が提案されている。しかしながら、ＬＡＩは植物から手作業で葉を採取して葉面積を算出する必要があるため、計測のための負担が大きく、継続的に生育状態を把握するためにこの指標を用いるのは現実的でない。一方、ＧＲＶＩは汎用のカメラで撮影可能な可視光による画像から求めることが可能な指標である。具体
的には、撮影したカラー画像の緑色波長域の成分（Ｇ画像）と赤色波長域の成分（Ｒ画像）を用いて、画素ごとに以下の式（１）により算出される。ＧＲＶＩは、植物の葉に含まれる葉緑素が赤色光と青色光の反射率が相対的に低く、緑色光の反射率が相対的に高いことに着目した指標であり、葉領域の抽出や光合成の指標として使用される。
ＧＲＶＩ＝（Ｇ−Ｒ）／（Ｇ＋Ｒ）・・・・・（１）

しかしながら、本発明者らが植物を撮影した画像からＧＲＶＩを算出して葉領域の抽出を試みたところ、背景に空が含まれる画像に対しては、空と葉を識別できない場合があり、葉領域を適切に抽出できないことが明らかになった。そこで、従来のＧＲＶＩを用いた植物の生育状態の評価事例を調査したところ、解析対象の画像が空を含まない画像であったため、このような問題点は指摘されていないものと判断できた。地上から、農作物、特に果樹などを撮影する場合、農作物の背景に空が含まれる画像が一般的である。したがって、植物の生育状態を適切に把握するためには、空と葉を識別可能な指標を用いる必要がある。

本発明の課題は、上記の問題点に鑑みて、従来より簡易で安価な装置を用いて、植物の生育状態を適切に把握することにある。

上記の課題を解決するために、本発明の植物の生育状態評価方法は、植物を可視光で撮影したカラー画像の緑色波長域の画像であるＧ画像と、前記カラー画像の青色波長域の画像であるＢ画像を用いて、前記植物の生育状態を評価することを特徴とする。

本発明者らは、空と葉を識別可能な植物の生育状態の指標を検討した結果、植物を可視光で撮影したカラー画像の緑色波長域の画像であるＧ画像と、青色波長域の画像であるＢ画像を用いて指標を求めるという着想を得た。そして、Ｇ画像とＢ画像を用いて指標を求めた結果、空と植物の葉とを良好に分離できることを確認した。この方法は、汎用のカメラで撮影した画像から指標を求めることができるため、従来より簡易で安価な装置を用いて植物の生育状態を把握することができる。また、空と植物の葉とを識別できるため、植物の生育状態を適切に把握することができる。

本発明において、前記Ｇ画像および前記Ｂ画像を用いて、前記植物の葉領域を抽出し、
前記葉領域の抽出結果に基づき、前記植物の生育状態を評価することができる。

また、本発明の植物生育状態評価プログラムは、コンピュータに、植物を可視光で撮影したカラー画像の緑色波長域の画像であるＧ画像と、前記カラー画像の青色波長域の画像であるＢ画像を用いて、前記植物の葉領域を抽出する処理を行わせることを特徴とする。

本発明らは、Ｇ画像とＢ画像を用いて植物の葉領域を抽出することを試みた結果、空と植物の葉とを良好に分離できることを確認した。従って、汎用のカメラで撮影した画像から植物の葉領域を抽出することができ、植物の生育状態を適切に把握することができる。

本発明において、前記葉領域の面積を求め、前記葉領域の面積に基づいて前記植物の生育状態を評価することができる。本発明らは、葉領域の面積を求めた結果、生育状態の指標として有用であることを確認した。

本発明において、前記葉領域のフラクタル次元を求め、前記葉領域のフラクタル次元に基づき、植物の生育状態を把握することができる。本発明者らは、フラクタル次元を求めた結果、生育状態の指標として有用であることを確認した。

例えば、前記Ｇ画像および前記Ｂ画像を用いて、前記カラー画像の単位領域ごとに、以下の式（Ａ）によりＧＢＶＩを算出し、ＧＢＶＩ画像を生成する処理を行わせる。
ＧＢＶＩ＝（Ｇ−Ｂ）／（Ｇ＋Ｂ）・・・・・（Ａ）

本発明らは、空と葉を識別可能な植物の生育状態の指標を検討した結果、ＧＢＶＩ（Green-Blue Vegetation Index）という新たな指標の着想を得た。そして、果樹などの植物を数か月にわたって撮影した画像を蓄積し、蓄積した画像からＧＢＶＩを算出し、ＧＢＶＩを用いた解析結果と実際の果樹の生育状態との比較検討を行った結果、ＧＢＶＩが植物の生育状態、例えば葉領域を反映した値となり、生育状態の指標として用いることができることを確認した。また、画像が空を含んだ画像であっても、葉領域を適切に抽出できることを確認した。ＧＢＶＩは、汎用のカメラで撮影された可視光による画像を用いて求めることができる上、背景が空であっても葉領域を適切に抽出できる。従って、空を含む画像を解析対象として用いることができ、従来より簡易で安価な装置を用いて、植物の生育状態を適切に把握することができる。

また、本発明者らは、ＧＢＶＩ画像として、カラー画像の単位領域ごとに、ＧＢＶＩから生成した画素値を所定の閾値に基づいて２値化した画像を生成した場合に、この２値化した画像の高輝度側の画素が植物の葉領域を示す領域となっていることを確認した。従って、この２値化した画像（ＧＢＶＩ画像）を用いて、葉領域の面積、あるいは、葉領域におけるＧＢＶＩの統計値を求めれば、これらのデータに基づき、植物の生育状態を把握できることを確認した。葉領域におけるＧＢＶＩの統計値としては、例えば、平均値、中央値、最頻値、最大値、最小値などがあるが、これら以外の統計値を用いることもできる。更に、上記の２値化した画像（ＧＢＶＩ画像）から求めたフラクタル次元に基づき、植物の生育状態を把握できることを確認した。つまり、ＧＢＶＩ画像から求めた葉領域の面積、葉領域におけるＧＢＶＩの統計値、およびフラクタル次元は、生育状態の指標として有用であることを確認した。

本発明において、前記葉領域の面積の経時的変化を示す第１生育曲線を求め、前記第１生育曲線に基づいて前記植物の生育状態を評価することができる。本発明者らは、上述した数か月にわたる植物の撮影画像から、葉領域の面積のデータ分布を求め、このデータから曲線近似により第１生育曲線を作成し、第１生育曲線が植物の葉の生育状態を反映していることを確認した。また、第１生育曲線と同様に、葉領域のフラクタル次元のデータ分布から、フラクタル次元の経時的変化を示す第２生育曲線を作成し、第２生育曲線が植物（果樹）の葉の生育状態を反映しており、更に、果実の生育状態を反映していることを確認した。つまり、第１生育曲線および第２生育曲線は、生育状態の指標として有用であることを確認した。

本発明において、第１生育曲線および第２生育曲線を求めるにあたって、解析対象のデータを絞り込むことで第１生育曲線および第２生育曲線をより適切に求めることができる。具体的には、所定の期間のデータに対して、前記所定の期間におけるデータの平均値を中心とした所定範囲から外れたデータを除去する処理を、残ったデータの数が初期データ数の所定割合以下になるまで繰り返す外れデータ除去処理を行う。このように、外れデータを解析対象から除外することで、外乱等により葉領域の面積やフラクタル次元のデータ分布がばらついたとしても、第１生育曲線および第２生育曲線がその影響によって大きく変動することを回避できる。

本発明において、推定しようとする当日の第１生育曲線および第２生育曲線の値を逐次推定により求めることができる。具体的には、過去の複数日におけるデータから、前記過去の複数日におけるデータの平均値を中心とする一定範囲を求め、前記過去の複数日より後の日（当日）におけるデータの推定値を、前記一定範囲内となるように求める逐次推定
処理を行う。葉領域の面積やフラクタル次元の経時的変化をモニタリングしている場合、上記の逐次推定処理を行えば、モニタリング中に第１生育曲線あるいは第２生育曲線の変化を逐次推定して、生育状態を把握することができる。

本発明において、前記第１生育曲線と前記第２生育曲線のそれぞれについてピーク形状を抽出し、前記第１生育曲線と前記第２生育曲線に共通のピーク形状と、共通でないピーク形状とを判別し、前記共通のピーク形状および前記共通でないピーク形状に基づき、前記植物の生育状態を評価することができる。例えば、第１生育曲線と第２生育曲線との差分を求めれば、共通のピークを除外し、共通でないピーク形状を抽出することができる。その際、第１生育曲線を正規化した第１正規化曲線と、第２生育曲線を正規化した第２正規化曲線の差分を求めることで、より的確に共通のピークを除外することができる。このように、複数の指標（第１生育曲線と第２生育曲線）を複合的に解析することにより、植物の生育状態をより的確に把握することができる。

本発明において、前記カラー画像の赤色波長域の画像であるＲ画像と、前記Ｇ画像および前記Ｂ画像から求めた前記葉領域との複合解析により、前記植物の生育状態を評価することもできる。本発明者らは、果樹の生育状態を把握するにあたって、果実の生育状態はＲ画像の画像解析によって把握できるとの着想を得た。例えば、Ｇ画像およびＢ画像から求めた葉領域と、Ｒ画像から求めた果実の生育状態との複合解析を行えば、果樹の生育状態をより的確に把握することができる。

本発明において、前記カラー画像の撮影時における前記植物の生育環境の環境データと、前記Ｇ画像および前記Ｂ画像から求めた前記葉領域との複合解析に基づき、前記植物の生育状態を評価することができる。このように、生育環境の環境データを利用すれば、植物の生育状態に対する生育環境の影響を把握することができる。

次に、本発明の植物生育状態評価装置は、上記の植物生育状態評価プログラムを記憶するプログラム記憶部と、前記記憶部から前記植物生育状態評価プログラムを読み出して実行するプログラム実行部と、を有することを特徴とする。

また、本発明の植物モニタリングシステムは、可視光でカラー画像を撮影するカメラと、前記カメラにより撮影された画像データを記憶する画像データ記憶部と、前記カメラを制御して予め定めた撮影スケジュールで前記カラー画像を撮影させ、前記画像データを前記画像データ記憶部に記憶させる計測部と、前記画像データ記憶部から読み出した前記カラー画像を用いて、植物の生育状態のモニタリングのための表示を行うデータ処理部と、を有することを特徴とする。

このように、カメラを制御して予め定めたスケジュールで植物を撮影し、カラー画像を時系列に従って自動で蓄積するシステムを構築しておけば、データ処理部から画像データ記憶部にアクセスして、蓄積されたカラー画像を用いて植物の生育状態のモニタリングを行うことができる。従って、植物の生育状態を容易に且つ的確に把握することができる。また、現時点までの蓄積データを用いて、今後の生育状態を予測することができる。

例えば、データ処理部として上記の植物生育状態評価装置を用いる場合には、植物生育状態評価装置は、画像データ記憶部から読み出したカラー画像を用いて、植物生育状態評価プログラムを実行することができる。従って、蓄積されたカラー画像を用いて時系列に従ってＧＢＶＩ画像を生成し、葉領域やフラクタル次元の継時的変化を把握できる。

このような植物モニタリングシステムを構築するにあたって、前記データ処理部は表示部を備え、前記カラー画像と、前記カラー画像の撮影時における前記植物の生育環境の環
境データを互いに対応づけて前記表示部に表示させるように構成することが望ましい。このように、環境データをカラー画像と関連付けて表示させれば、両データを用いて植物の生育状態を評価できる。従って、植物の生育状態をより的確に把握することができる。

この場合に、例えば、前記表示部への表示モードとして、前記環境データを前記表示部に表示し、前記表示部に表示された前記環境データの一部を選択すると、選択内容に対応づけられた前記カラー画像を前記表示部に表示させるデータインデックスモードと、前記カラー画像もしくはその解析データを前記表示部に表示し、前記表示部に表示された前記カラー画像もしくは前記解析データを選択すると、選択内容に対応づけられた前記環境データを前記表示部に表示する画像インデックスモードと、の一方もしくは両方を備えることが望ましい。このようにすれば、必要に応じてデータを参照することができ、利便性が高い。例えば、第１生育曲線や第２生育曲線にイレギュラーな変化が現れたとき、変化点を選択してその時点の環境データを表示することができる。あるいは、気になるカラー画像が現れたとき、対応する環境データを表示することができる。従って、生育状態の変化の原因を把握するために有用である。

本発明を適用した植物の生育状態評価方法の例を示すフローチャートである。 ＧＢＶＩ画像の生成例を示す説明図である。 ＧＢＶＩ画像、葉領域の面積、フラクタル次元の経時的変化を示す説明図である。 フラクタル次元の算出例である。 第１生育曲線と第２生育曲線の例を示すグラフである。 外れデータ除去処理を行ったデータから求めた第１生育曲線と第２生育曲線の例（統計値）を示すグラフである。 植物の生育における特徴的イベントの時期に対応するＧＢＶＩ画像である。 特徴的イベントに対応するデータを第１生育曲線上および第２生育曲線上にプロットしたグラフである。 第１生育曲線および第２生育曲線の逐次推定の結果を示すグラフである。 気象データのグラフである。 気象データを用いた複合解析の例を示すグラフである。 本発明を適用した植物モニタリングシステムおよび植物生育状態評価装置の概略ブロック図である。 図１２の植物モニタリングシステムの動作概要を示すフローチャートである。 表示部へのデータ表示例である。

以下に、図面を参照して、本発明を適用した植物の生育状態評価方法、植物生育状態評価プログラム、植物モニタリングシステム、ならびに植物生育状態評価装置の実施形態を説明する。

（ＧＢＶＩを用いた植物の生育状態評価方法）
図１は本発明を適用した植物の生育状態評価方法の例を示すフローチャートである。また、図２はＧＢＶＩ画像の生成例を示す説明図である。本発明では、植物を可視光で撮影したカラー画像の緑色波長域の画像であるＧ画像と、カラー画像の青色波長域の画像であるＢ画像を用いて、カラー画像に含まれる植物の生育状態を評価する。例えば、Ｇ画像およびＢ画像を用いて、カラー画像に含まれる植物の葉領域を抽出し、抽出結果に基づいて植物の生育状態を評価する。カラー画像が８ビット（２５６階調）の画像データである場合、各画素のＧ成分（緑色波長域の成分）とＢ成分（青色波長域の成分）は、それぞれ０から２５５の範囲の輝度値となる。Ｇ画像は、各画素のＧ成分から構成された画像である
。また、Ｂ画像は、各画素のＢ成分から構成された画像である。

本明細書において、「植物の生育状態」とは、生長、病害虫、作業などの結果として生じる植物の状態のことである。生育状態は形状や色彩から把握できるため、カラー画像から植物の生育状態の指標を求める。

本明細書において、Ｇ画像およびＢ画像から求める指標をＧＢＶＩ（Green-Blue Vegetation Index）と呼ぶ。ＧＢＶＩは、Ｇ画像およびＢ画像から求めることのできる植物の生育状態の指標の総称である。

本発明の植物の生育状態の評価方法においては、図１に示すように、まず、評価対象の植物のカラー画像を取得する（ステップＳＴ１）。例えば、図２に示すように、屋外で育成される果樹（リンゴ樹）を可視光（自然光）で撮影して原画像を得る。そして、原画像から評価対象の植物（リンゴ樹）が写った主要領域を切り出す。例えば、図２の例では、３４５６×５１８４ピクセルの原画像から、２０４８×２０４８ピクセルのカラー画像を切り出している。なお、原画像として２０４８×２０４８ピクセルの写真を撮影し、原画像からカラー画像を切り出す処理を省略してもよい。また、原画像およびカラー画像のサイズはこのようなサイズに限定されるものではなく、適宜変更可能である。

次に、ステップＳＴ２では、カラー画像の単位領域である各画素についてＧＢＶＩを求める。図２に示すように、カラー画像（ＲＧＢ画像）には、緑色波長域の画像であるＧ画像と、青色波長域の画像であるＢ画像と、赤色波長域の画像であるＲ画像が含まれる。ＧＢＶＩは、例えば、Ｇ画像およびＢ画像の各画素の輝度値を用いて、画素ごとに、以下の式（Ａ）により算出される。
ＧＢＶＩ＝（Ｇ−Ｂ）／（Ｇ＋Ｂ）・・・・・（Ａ）
なお、ＧＢＶＩを求める際の単位領域は１画素でなくてもよい。例えば、複数の画素を単位領域として、単位領域の画素のＧ成分およびＢ成分の平均値を用いて、式（Ａ）によりＧＢＶＩを算出することもできる。

植物の葉は、光合成をおこなう葉緑素の働きで赤色と青色の反射率が低く、緑色の反射率が相対的に高い。そこで、従来から、上記の式（Ａ）のＢ値の代わりにＲ値（Ｒ成分の輝度値）を用いたＧＲＶＩ（Green-Red Vegetation Index）という指標が用いられていたが、この指標では、植物を地上から撮影した場合に植物の背景となる空を、植物の葉と分離できないという問題点があった。そこで、本発明者らは、試行錯誤の結果、Ｇ成分とＢ成分を用いて算出されるＧＢＶＩを用いれば、空と植物の葉とを良好に分離できることを確認した。Ｒ成分とＢ成分は、植物の葉による反射率がいずれも低いため、ＧＢＶＩは、植物の生育状態の把握においては、ＧＲＶＩと同様の意味合いを持つ。

なお、ＧＢＶＩは、Ｇ画像とＢ画像の演算により算出される指標であればよく、算出式は上記の式（Ａ）に限定されるものではない。後述する葉領域の面積、葉領域における指標の統計値、および葉領域のフラクタル次元は、Ｇ画像とＢ画像の演算により算出される他の指標からも求めることができる。

（２値化処理によるＧＢＶＩ画像の生成）
例えば、カラー画像が８ビット（２５６階調）の画像の場合、各画素のＧ成分とＢ成分は、それぞれ０から２５５の範囲の輝度値となる。従って、式（Ａ）により求めたＧＢＶＩは、−１から１の範囲となる。ステップＳＴ３では、各単位領域（各画素）のＧＢＶＩを０から２５５の範囲の輝度値に変換することにより、８ビット（２５６階調）のグレイスケール画像（図３参照）を生成する。次に、ステップＳＴ４では、ステップＳＴ３で求めたグレイスケール画像をモノクロ２値画像に変換する２値化処理を行う。以下、本明細
書では、ステップＳＴ４で得られるモノクロ２値画像をＧＢＶＩ画像と呼ぶ。

グレイスケール画像からモノクロ２値画像への変換（２値化処理）は、所定の閾値を用いて行う。図２に示すカラー画像の例は、果樹（リンゴ樹）を撮影した写真である。本発明者らは、閾値Ｔｈの値を具体的にどのような値にすべきか試行錯誤した結果、図２に示すリンゴ樹のカラー画像を用いたＧＢＶＩ画像の生成例においては、閾値Ｔｈの値を１５０に設定するのが適切であると判断した。図２に示すＧＢＶＩ画像は、閾値Ｔｈ＝１５０として各画素のグレイスケール値を２値化する２値化処理を行ったものである。図２のカラー画像とＧＢＶＩ画像を比較すると、ＧＢＶＩ画像の白色領域、すなわち２値化した画像の高輝度側の画素の領域は、カラー画像におけるリンゴ樹の葉領域を良好に抽出できていることが確認できる。

図３は、カラー画像、グレイスケール画像、ＧＢＶＩ画像、葉領域の面積、フラクタル次元の経時的変化を示す説明図である。本発明者らは、図２の植物（リンゴ樹）を所定の期間にわたって撮影し、多数のカラー画像を収集した。そして、全てのカラー画像からグレイスケール画像を生成し、グレイスケール画像からＧＢＶＩ画像を生成した。図３には、その一部を示す。撮影期間は４月１日〜１２月２５日であり、リンゴ樹の生育状態の年間変化を把握できる期間である。図３には、４月１５日、５月１５日、６月１５日、７月１５日、８月１６日、９月１５日、１０月１５日、１１月１６日、１２月１５日の画像を示す。撮影時刻はいずれも１１時である。

図３に示す全ての画像において、ＧＢＶＩ画像の白色領域は、カラー画像におけるリンゴ樹の葉領域に対応する領域になっており、黒色領域は、葉領域以外の領域に対応する領域となっていることが確認できる。図３に示す９枚のカラー画像は、リンゴ樹の生育時期が異なっており、晴天や曇天などの様々な空の状態でのものである。すなわち、ＧＢＶＩ画像は、植物の生育時期や空の状態にかかわらず、良好にカラー画像の中の葉領域を抽出できている。つまり、少なくともリンゴ樹の生育状態に関しては、２値化処理を行うための閾値Ｔｈを１５０に設定してＧＢＶＩ画像を生成することにより、葉領域を良好に抽出できる。

なお、２値化処理を行うための閾値Ｔｈの値は、１５０に限定されるものではなく、評価対象の植物の種類やその栽培態様などに応じて、適宜、最適な値を検討し、閾値Ｔｈの設定を変更することができる。また、上記の例ではＧＢＶＩをグレイスケール値に変換してモノクロ２値画像に変換したが、グレイスケール値以外の所定の階調の画素値に変換し、所定の閾値を用いて２値化した画像（ＧＢＶＩ画像）を生成してもよい。この場合、２値化した画像の高輝度側の画素の領域を、葉領域として抽出することができる。

（葉領域の面積）
続いて、ステップＳＴ５〜ＳＴ１３では、ステップ４で得られたＧＢＶＩ画像を更に解析して、植物の生育状態の評価指標を求め、ステップＳＴ１４で植物の生育状態の評価を行う。ステップＳＴ５以降の処理は、全て行っても良いし、その一部のみを行ってもよい。また、評価指標の算出や評価の順序は自由である。ステップＳＴ５では、第１の指標として、ステップＳＴ４で得られたＧＢＶＩ画像から葉領域の面積を求める。上述したように、葉領域はＧＢＶＩ画像の白色領域である。従って、ステップＳＴ５では、以下の式（Ｂ）で示すように、ＧＢＶＩ画像の中の白色の画素数を算出して、全画素数（２０４８×２０４８）に対する白色の画素の比率を算出する。
葉領域の面積（％）＝白色の画素数／全画素数・・・（Ｂ）

図３には、各画像の下方に葉領域の面積の算出結果を示している。図３の算出結果によれば、葉領域の面積は葉の成長とともにおおむね増加し、また、成長のピークを過ぎた後
は、葉の衰退とともにおおむね減少している。つまり、ＧＢＶＩ画像から求めた葉領域の面積は、従来用いられてきた葉面積指数ＬＡＩに代わる簡易指標として用いることができる。すなわち、葉領域の面積は、植物における葉の生育の指標として用いることができ、この値が大きいと、光合成が多く行われると評価できる。

（葉領域におけるＧＢＶＩの統計値）
ステップＳＴ６では、第２の指標として、ステップＳＴ３、ＳＴ４で得られたグレイスケール画像とモノクロ２値画像などの２値化した画像であるＧＢＶＩ画像を用いて、葉領域におけるＧＢＶＩの統計値を求める。具体的には、ステップＳＴ６では、ステップＳＴ４の２値化処理によって白色などの高輝度値に変換された全画素を対象として、ＧＢＶＩ（２値化処理前の値）の統計値を求める。ここで、統計値とは、例えば、平均値、中央値、最頻値、最大値、最小値などの値を用いることができる。また、これら以外の統計値であってもよい。ＧＢＶＩ値が高いと光合成が多く行われていると評価できる。従って、葉領域におけるＧＢＶＩの統計値は、生育状態や光合成の指標として用いることができる。

（フラクタル次元）
ステップＳＴ７では、第３の指標として、ステップＳＴ４で得られたＧＢＶＩ画像を用いて、葉領域のフラクタル次元を算出する。フラクタル次元は、自己相似性がある画像の複雑性を示す指標として従来から用いられている。しかしながら、フラクタル次元を用いて植物の生育状態を評価した例はない。本発明者らは、リンゴ樹などの樹木の葉領域の形状を観察した結果、樹木の生育にともなって葉領域が複雑に形状変化することを定性的に確認した。そこで、図３に示すように樹木を側面から撮影したカラー画像から葉領域を抽出し、そのフラクタル次元を算出して、生育状態を把握できるとの着想を得た。

具体的には、ステップＳＴ７では、モノクロ２値画像であるＧＢＶＩ画像の中の白色画素が形成する図形のフラクタル次元を算出する。フラクタル次元の算出は、ボックスカウント法を用いる。まず、２値化したＧＢＶＩ画像を１辺の幅ｒ＝２^ｎ（ｎ＝０〜１０）の矩形ボックスに分割し、各矩形ボックスの中に白色画素が含まれる矩形ボックスの数Ｎ（ｒ）の数をカウントする。すなわち、ｒはボックスサイズであり、Ｎ（ｒ）はカウント数である。得られたボックスサイズｒとカウント数Ｎ（ｒ）を両対数軸上にプロットしたグラフに線形性があれば、自己相似性を有していると判断でき、その傾きの絶対値がフラクタル次元となる。このように、ボックスカウント法でフラクタル次元を求めるためには、カラー画像のサイズを１辺のピクセル数ｒ＝２^ｎ（ｎ：整数）の矩形ボックスに分割可能なサイズ（例えば、２０４８×２０４８ピクセル）にしておくことが望ましい。

図４はフラクタル次元の算出例であり、４月〜７月に撮影した８枚のカラー画像および当該カラー画像に対するボックスカウント法の実施例である。おおむね、ボックスサイズｒが３２以下の範囲ではグラフに線形性が見られることが確認でき、フラクタル次元を算出できた。なお、ボックスサイズｒが３２を越える範囲では線形性が乱れるため、図４のグラフに示したように、ボックスサイズｒが３２以下の範囲のデータを用いてフラクタル次元を算出した。図３には、葉領域の面積と共に、フラクタル次元の算出結果を示している。ＧＢＶＩ画像から算出したフラクタル次元は、葉領域の面積と同様に、葉の成長とともにおおむね増加し、また、ピークを過ぎた後は、葉の衰退とともにおおむね減少している。

（生育曲線および外れデータ除去処理）
次に、ステップＳＴ８〜ＳＴ１１では、第１の指標である葉領域の面積と、第３の指標であるフラクタル次元の経時的変化を示すグラフを生成して、これらのグラフに基づいて植物の生育状態の評価を行う。上述したように、本発明者らは、図２に示したカラー画像の植物（リンゴ樹）を４月１日〜１２月２５日の期間にわたって撮影している。全期間に
おいて、１日のうちの撮影時間帯は５時〜２２時であり、１時間に１回カラー画像の撮影を行った。これにより、３２８１枚のカラー画像を得た。撮影に用いた装置構成（植物モニタリングシステム１）については後述する。得られた全てのカラー画像からＧＢＶＩ画像を生成し、３２８１点の葉領域の面積および３２８１点のフラクタル次元のデータを得た。このデータを用いて、葉領域の面積の経時的変化を示す第１生育曲線と、フラクタル次元の経時的変化を示す第２生育曲線を求めた。

（第１生育曲線）
図５（ａ）は第１生育曲線の例を示すグラフである。図５（ａ）の横軸は４月１日を起点とした経過日数である。また、図５（ａ）の縦軸は葉領域の面積である。ステップＳＴ８では、３２８１点の葉領域の面積のデータを全て用いて第１生育曲線を求める。すなわち、ステップＳＴ８では、図５（ａ）に示すように、３２８１点のデータを全てグラフにプロットし、最小自乗法を用いて４次式で曲線近似することにより、第１生育曲線を求める。

また、ステップＳＴ９では、全てのデータ（３２８１点）を用いるのでなく、外れデータを除去し、残ったデータから第１生育曲線を求める。本発明者らは、外れデータ除去方法として、葉領域の面積の平均値からのずれ量が±２ＳＤ（ＳＤ：標準偏差）の範囲外にあるデータを除去し、残ったデータが初期データ数（３２８１点）の８０％以下になるまで、平均値±２ＳＤの範囲外のデータを除去する作業を繰り返す方法を用いた。すなわち、葉領域の面積の平均値を中心とした所定範囲から外れたデータを除去する処理を、残ったデータの数が初期データ数の所定割合以下になるまで繰り返す処理（外れデータ除去処理）を行った。

図６（ａ）は外れデータ除去処理を行ったデータから求めた第１生育曲線の例（統計値）を示すグラフである。３２８１点のデータを初期データとしてステップＳＴ８を行った場合、葉領域の面積の平均値からのずれ量が±２ＳＤの範囲外にあるデータを除去する処理の８回目でデータ数が２６０５（初期データ数の７９．４０％）となったため、その時点で外れデータの除去を終了した。残ったデータ分布に対して、最小自乗法を用いて４次式で曲線近似することにより、図６（ａ）に示す第１生育曲線を求める。以下、外れデータの除去を行った結果得られた第１生育曲線を、第１生育曲線の統計値と呼ぶ。

（第２生育曲線）
ステップＳＴ１０〜ＳＴ１１では、ステップＳＴ８〜ＳＴ９と同様に、全データおよび外れデータ除去処理を行ったデータを用いて第２生育曲線を求める。図５（ｂ）は第２生育曲線の例を示すグラフである。また、図６（ｂ）は外れデータ除去処理を行ったデータから得られた第２生育曲線の例（統計値）を示すグラフである。ステップＳＴ１０では、３２８１点のフラクタル次元のデータを全てプロットし、最小自乗法を用いて４次式で曲線近似することにより、図５（ｂ）の第２生育曲線を求める。

また、ステップＳＴ１１では、フラクタル次元の平均値からのずれ量が±２ＳＤ（ＳＤ：標準偏差）の範囲外にあるデータを除去し、残ったデータが初期データ数（３２８１点）の８０％以下になるまでこの処理を繰り返す外れデータ除去処理を行い、残ったデータから第２生育曲線を求める。フラクタル次元のデータでは、平均値からのずれ量が±２ＳＤ（ＳＤ：標準偏差）の範囲外にあるデータを除去する処理の４回目でデータ数が２５３９（初期データ数の７７．３８％）となったため、その時点で外れデータの除去を終了した。残ったデータ分布に対して、最小自乗法を用いて４次式で曲線近似することにより、図６（ｂ）に示す第２生育曲線を求める。以下、外れデータの除去を行った結果得られた第２生育曲線を、第２生育曲線の統計値と呼ぶ。

本発明者らが得た３２８１枚のカラー画像は、自然光（太陽光）により屋外で撮影されたものであるため、季節、天候、時刻などによる撮影画像の変化があると推察され、その影響で、隣接する日時であっても葉領域の面積やフラクタル次元の値がばらついていると推察される。ステップＳＴ９、ＳＴ１１の第１、第２外れデータ除去処理を行うことにより、このような植物の生育とは無関係なデータ変動が除去される。すなわち、図６（ａ）（ｂ）に示すように、第１、第２外れデータ除去処理によって、図５（ａ）（ｂ）のデータ分布に見られた外れデータを良好に除去できている。

なお、外れデータ除去処理において、平均値を中心とした所定範囲は、平均値±２ＳＤでなくてもよい。また、外れデータ除去処理は、初期データ数の所定割合以下になるまで行うが、所定割合は、８０％以外の割合であってもよい。

図６（ａ）の第１生育曲線と、図６（ｂ）の第２生育曲線は、リンゴ樹の生育状態を反映した特徴を備える。第１生育曲線の統計値は１つのピークを備える１峰性のカーブであり、第２生育曲線の統計値は２つのピークを備える２峰性のカーブである。第１生育曲線の統計値は葉領域の面積の経時的変化であるため、葉の盛衰をおおむね近似している。一方、第２生育曲線の統計値はフラクタル次元の経時的変化であるが、ピークが２つ存在しており、葉の盛衰以外の要因を含んでいる。

本発明者らは、第１生育曲線と第２生育曲線の意義を分析するため、３２８１枚のカラー画像から植物の生育における特徴的なイベントを検討し、（ａ）開花、（ｂ）葉の成長のピークと果実の成長開始、（ｃ）果実の色づき始め、（ｄ）葉色の変化と変形、（ｅ）葉色のさらなる変化と変形、（ｆ）収穫と落葉、の６種類のイベントに着目した。

図７は植物の生育における特徴的イベントの時期に対応するＧＢＶＩ画像である。また、図８（ａ）は特徴的イベント時におけるＧＢＶＩ画像の面積を第１生育曲線の統計値と同時にプロットしたグラフであり、図８（ｂ）は特徴的イベント時におけるＧＢＶＩ画像のフラクタル次元を第２生育曲線の統計値と同時にプロットしたグラフである。図８（ａ）（ｂ）に示すグラフは外れデータ除去後の第１、第２生育曲線の統計値であるのに対して、プロットした面積もしくはフラクタル次元はカラー画像から求めた実測値である。図７、図８を検討すると、上記の６種類の特徴的イベントのうち、図７（ｂ）の葉の成長のピークは、第１、第２生育曲線の統計値のグラフにおける共通のピークと一致することがわかる。また、第２生育曲線の統計値の２つ目のピークの際には、果実の膨らみと着色が進んでいることがわかる。つまり、第１生育曲線の統計値は、葉の盛衰を近似していることがわかる。また、第２生育曲線の統計値は、葉の盛衰に加えて、果実の成長も近似していると推察される。つまり、第１生育曲線の統計値と第２生育曲線の統計値の複合解析を行うことにより、果実の生育状態を把握できる。

（第１生育曲線および第２生育曲線を用いた複合解析）
本発明者らは、第１生育曲線と第２生育曲線を用いた演算により、植物の生育状態を評価することを試みた。例えば、第１生育曲線と第２生育曲線の差分を算出する。この処理により、両曲線に共通のピーク形状と、共通しないピーク形状が判別される。すなわち、共通しないピーク形状のみが残ることになる。例えば、図６（ａ）（ｂ）に示す第１生育曲線の統計値と第２生育曲線の統計値の差分を求めると、第２生育曲線から葉の盛衰の影響が除去される。従って、差分は果実の成長を示すと推察される。あるいは、第１生育曲線を正規化した第１正規化曲線と、第２生育曲線を正規化した第２正規化曲線との差分を求めれば、より的確に葉の盛衰の影響を除外できる。

（生育曲線の逐次推定）
図５、図６に示す第１生育曲線および第２生育曲線とその統計値は、４月１日〜１２月
２５日の全期間のデータが揃った状態で求めたものであるが、この方法では植物の生育途中に生育曲線を把握することはできない。植物の生育期間の途中で、その時点までの生育曲線を把握できれば、その結果に応じて適切な対応を行うことができるため、有用である。そこで、本発明者らは、ステップＳＴ１２、ＳＴ１３において、第１生育曲線および第２生育曲線の逐次推定を行った。逐次推定の方法は、過去の複数日におけるデータから、当該データの平均値を中心とする一定範囲を求め、過去の複数日より後の日のデータが一定範囲内にあると推定して、一定範囲外のデータを除去したデータから推定値を求める方法を用いる。図９は第１生育曲線および第２生育曲線の逐次推定の結果を示すグラフであり、図９（ａ）は第１生育曲線の統計値の上に、葉領域の面積の逐次推定値をプロットしたものである。また、図９（ｂ）は第２生育曲線の統計値の上に、フラクタル次元の逐次推定値をプロットしたものである。

逐次推定は、以下の方法により行う。まず、葉領域の面積（第１生育曲線）の逐次推定を行う場合（ステップＳＴ１２）は、任意の日（当日）に撮影したカラー画像の中から、所定の時間帯に撮影したカラー画像を抽出する。例えば、１１時、１２時、１３時に撮影した３枚のカラー画像を抽出する。そして、これら３枚のカラー画像から生成したＧＢＶＩ画像の葉領域の面積を求める。これにより、当日の葉領域の面積について、３点のデータが得られる。一方、当日から数えて過去３日間における同一時間帯（１１〜１３時）の葉領域の面積のデータを求め、９点のデータを用いて、その平均値を中心として±２ＳＤ（ＳＤ：標準偏差）の範囲を求める。そして、当日の３点のデータから、直近３日間の９点の平均値±２ＳＤの範囲から外れるデータを除外し、残ったデータの平均値を当日の葉領域の面積（第１生育曲線）の推定値とする。

フラクタル次元（第２生育曲線）の逐次推定（ステップＳＴ１３）は、葉領域の面積（第１生育曲線）の逐次推定と全く同じ方法で行う。すなわち、当日から数えて過去３日間のフラクタル次元の平均±２ＳＤの範囲を求め、当日の同一時間帯のフラクタル次元のデータに対して、平均±２ＳＤの範囲から外れるデータを除外する。そして、残ったデータの平均値を当日のフラクタル次元（第２生育曲線）の推定値とする。図９（ａ）（ｂ）によれば、逐次推定値は、第１生育曲線の統計値の近傍、および、第２生育曲線の統計値の近傍にプロットされている。特に、フラクタル次元（第２生育曲線）の逐次推定値は、葉領域の面積（第１生育曲線）の逐次推定値よりも、統計値に近い値が得られることがわかる。すなわち、フラクタル次元の方が逐次推定を行った場合の誤差が少なく、推定精度が高いことがわかる。

（Ｒ画像を用いた複合解析）
Ｇ画像およびＢ画像を用いた植物の生育状態の評価（ステップＳＴ１４）を行う際に、Ｒ画像を用いて複合解析を行うことができる。本発明者らは、リンゴ樹の生育状態を把握するにあたって、Ｒ画像の画像解析によって果実の生育状態を把握する着想を得た。例えば、Ｒ画像の円形領域を抽出して個々の果実の生育状態を把握する。そしてフラクタル次元のデータを用いて果実の生育状態の全体的傾向を把握する。このような複合解析により、より精度良く生育状態を把握することができる。

（環境データを用いた複合解析）
Ｇ画像およびＢ画像を用いた植物の生育状態の評価（ステップＳＴ１４）を行う際に、環境データを用いて複合解析を行うことができる。環境データは、例えば気象データであり、気温、日照時間、降水量などのデータが想定される。環境データは、カラー画像の撮影時に計測することができる。あるいは、気象庁などの外部機関が提供する気象データを用いても良い。本発明者らは、上述した４月１日〜１２月２５日の気温、日照時間、降水量のデータを取得して複合解析を試みた。なお、環境データは気温、日照時間、降水量に限定されるものではなく、他のデータを用いることができる。

図１０は気象データのグラフであり、図１０（ａ）は平均気温、図１０（ｂ）は累積平均気温、図１０（ｃ）は日照時間、図１０（ｄ）は累積日照時間、図１０（ｅ）は降水量、図１０（ｆ）は累積降水量のグラフである。図１０（ａ）〜（ｆ）の横軸は４月１日を起算点とする日数である。また、図１１は気象データを用いた複合解析の例を示すグラフである。図１１（ａ）は第１生育曲線の統計値であり、図１１（ｂ）は第１生育曲線の統計値の累積値（すなわち、葉面積の累積値）である。また、図１１（ｃ）は第１生育曲線の統計値（すなわち、葉領域の面積）と日照時間を掛け合わせたグラフであり、図１１（ｄ）は図１１（ｃ）のグラフの累積値である。

図１１（ｄ）は、１６０日目から１９０日目（９月頃）にかけて、伸びが鈍化する特性を示す。図１０の気象データを確認した結果、図１０（ｄ）、図１０（ｆ）には、同様の特性が示され、これは、９月の長雨を示す。この時期の長雨は、リンゴ樹の場合、果実の色づき、成長遅れをもたらす。つまり、図１１（ｄ）のグラフを用いた複合解析により、果実の成長をより精度良く評価できる可能性がある。

（植物モニタリングシステムおよび植物生育状態評価装置）
次に、植物を可視光で撮影したカラー画像を用いて植物の生育状態の評価を行うための、植物モニタリングシステムおよび植物生育状態評価装置の実施形態を説明する。図１２（ａ）は本発明を適用した植物モニタリングシステムの概略ブロック図であり、図１２（ｂ）は本発明を適用した植物生育状態評価装置の概略ブロック図である。図１２（ａ）に示すように、植物モニタリングシステム１は、植物の生育環境に設置されるデータ計測部１０と、ネットワークを介してデータ計測部１０と通信可能なサーバ２０と、ネットワークを介してサーバ２０と通信可能なデータ処理部３０を備える。後述するように、データ処理部３０は、本発明を適用した植物生育状態評価装置２として機能する。

図１３は図１２（ａ）の植物モニタリングシステム１の動作概要を示すフローチャートである。モニタリングを行うにあたっては、最初に、データ計測部１０をモニタリング対象の植物の育成場所に設置し、撮影のための設定を行う（ステップＳＴ２１）。例えば、果樹（リンゴ樹）の例では、リンゴ樹を側面から撮影するようにカメラ１１を設置し、カメラ１１の設定および撮影スケジュールの設定を行う。そして、設定したスケジュールに従って写真の撮影を実行する（ステップＳＴ２２）。続いて、撮影した写真の画像データをサーバ２０に転送して、画像データをサーバ２０に蓄積する（ステップＳＴ２３）。データ計測部１０は、設定したスケジュールが終了するまで、あるいは、ユーザーが撮影を停止させるまで、写真の撮影とサーバ２０への転送（ステップＳＴ２２、ＳＴ２３）を継続する。

例えば、データ計測部１０は、植物の生育期間中の毎日、夜間を除く時間帯に、所定時間ごとに写真を撮影してサーバ２０に転送する。この構成を用いて、本発明者らは、４月１日〜１２月２５日の期間にわたって毎日、５時から２０時までの時間帯に、１時間毎に自動撮影を行って、果樹（リンゴ樹）の原画像もしくはその主要部分を切り出したカラー画像をサーバ２０に蓄積した。

データ処理部３０は、サーバ２０から適宜、画像データ（原画像もしくは主要部分を切り出したカラー画像）を取得し、画像データを解析する（ステップＳＴ２４）。例えば、データ処理部３０は、定期的にサーバ２０から画像データを取得し、画像データを取得する毎に、ＧＢＶＩ等の指標を求める。例えば、ＧＢＶＩ画像を求め、葉領域の面積およびフラクタル次元を求め、求めた指標をカラー画像と対応づけて蓄積する。あるいは、第１生育曲線および第２生育曲線の逐次推定を行い、逐次推定結果を蓄積する。そして、ユーザーの操作に応じて、あるいは、予め定められた表示方法に従って、求めた指標や逐次推
定結果を表示する（ステップＳＴ２５）。なお、カラー画像そのものを、求めた指標や逐次推定結果と共に、あるいはユーザーの操作に応じて適宜表示してもよい。すなわち、データ処理部３０として、ＧＢＶＩの算出を行わない装置を用いてもよい。

図１２（ａ）に示すように、データ計測部１０は、カメラ１１と、計測用コンピュータ１２と、通信部１３と、電源部１４を備える。カメラ１１は汎用の一眼レフカメラである。一眼レフカメラを用いた理由は、一般的なコンパクトデジタルカメラと比較して一画素あたりの受光面積が大きいためにＳ／Ｎ比や階調特性の面で有利な点にある。カメラ１１は、モニタリング対象の植物がファインダー内に表示されるように位置決めされて設置される。本発明者らは、上述した４月１日から１２月２５日の期間にわたってリンゴ樹を側面から撮影するにあたって、カメラ１１を西向きに設置し、カメラ１１の設定はオートフォーカスおよび絞り優先（Ｆ５．６）とした。

計測用コンピュータ１２は汎用のマイクロコントローラであり、ＵＳＢ端子を介してカメラ１１および通信部１３と接続される。計測用コンピュータ１２は、制御ブログラムを記憶するＲＯＭまたはフラッシュメモリなどの記憶部、記憶部から制御プログラムを読み出して実行するＣＰＵなどの処理装置、および、設定されたスケジュールに従って制御を行わせるためのタイマーなどを備える。計測用コンピュータ１２は、ＣＰＵなどの処置装置が制御プログラムを読み出して実行することにより、カメラ１１を制御して所定のスケジュールで植物の画像を撮影するとともに、通信部１３を介して撮影した画像をサーバ２０に転送し、サーバ２０に蓄積させる計測部として機能する。また、サーバ２０は、画像データ記憶部として機能する。本形態では、通信部１３としてＬＴＥモデムを用いている。また、サーバ２０としてインターネットを介して接続可能なクラウドサーバを使用している。

電源部１４は、商用電源なしでも電力を供給可能となっており、例えば、ソーラーパネルと、バッテリーと、チャージコントローラを備える。電源部１４は、ソーラーパネルで発電された電力、あるいは、バッテリーからの電力を必要に応じて切り換えてカメラ１１および計測用コンピュータ１２に供給する。また、ソーラーパネルで発電された電力によってバッテリーを充電する。

ここで、図１２（ａ）に置いて破線で示すように、データ計測部１０は環境データ計測部１５を備えていてもよい。環境データ計測部１５としては、例えば、気温、土壌温度、湿度、土壌水分、照度などを計測するセンサーを備えており、計測用コンピュータ１２によって制御されるものを用いる。計測用コンピュータ１２は、カメラ１１による撮影時に環境データ計測部１５による計測を行い、撮影した画像データと環境データとを対応づけてサーバ２０に蓄積させる。これにより、環境データを用いて複合解析を行うことができる。なお、環境データ計測部１５を用いず、外部から環境データを取得することもできる。例えば、気象庁が公開する気象データの中から育成場所に近い地点の気象データを取得して用いることができる。この場合、データ処理部３０において気象データを取得してもよい。

データ処理部３０は、本発明を適用した植物生育状態評価装置２として機能する。本形態では、データ処理部３０として汎用のパーソナルコンピュータを用いる。図１２（ｂ）に示すように、データ処理部３０（植物生育状態評価装置２）は、液晶ディスプレイなどの表示部３１と、コンピュータ本体３２と、キーボードやマウス、タッチパネルなどの操作部３３を備える。コンピュータ本体３２は、ＣＰＵなどの処理装置を備える制御部３４と、植物生育状態評価プログラムを含む各種の制御プログラムを記憶する記憶部３５と、解析対象のデータや解析結果のデータを蓄積する解析用データ記憶部３６と、インターネットを介してサーバ２０に接続するための通信部３７を備える。

Ｇ画像およびＢ画像から求めた葉領域の抽出、例えばＧＢＶＩ画像の生成やその解析などの、植物の生育状態評価方法を実行するためのデータ処理部３０の機能は、コンピュータ本体３２の制御部３４が植物生育状態評価プログラムを記憶部３５から読み出して実行することにより、実現される。すなわち、記憶部３５はプログラム記憶部であり、制御部３４はプログラム実行部である。なお、データ処理部３０はパーソナルコンピュータ以外のコンピュータ装置であってもよい。すなわち、植物生育状態評価プログラムを記憶する不揮発性記憶手段と、植物生育状態評価プログラムを読み出して実行するＣＰＵなどの処理装置を備えているものであればよい。

植物生育状態評価プログラムの解析対象となるカメラ１１による撮影画像（画像データ）は、本形態では通信部３７を介してネットワーク経由でデータ処理部３０に供給されるが、他の手段で供給するようにしてもよい。例えば、データ処理部３０がサーバ２０を介さずに直接データ計測部１０と接続されるように構成してもよい。また、データ計測部１０を複数の場所に設置し、複数のデータ計測部１０で撮影した画像をサーバ２０に集約して蓄積し、データ処理部３０において複数の場所における植物の生育状態を評価することもできる。つまり、複数の場所の計測結果を用いた複合解析を行うこともできる。

（カラー画像と環境データの表示）
植物生育状態評価装置２は、Ｇ画像およびＢ画像から求められる指標の例であるＧＢＶＩ画像、葉領域の面積、葉領域におけるＧＢＶＩの統計値、フラクタル次元、第１生育曲線およびその統計値、第２生育曲線およびその統計値などのデータを表示部３１に表示できるが、カラー画像をそのまま表示することもできる。また、カラー画像と、カラー画像の撮影時の環境データを対応付けて表示させることもできる。表示態様や表示項目は、操作部３３からの入力により選択できる。

図１４は表示部３１へのデータ表示例である。カラー画像やその解析データと、環境データとを表示部に表示させるにあたって、データ処理部３０（植物生育状態評価装置２）は、データインデックスモードと、画像インデックスモードの２つの表示モードを用いることができる。図１４には、説明のため、データインデックスモードの表示内容と、画像インデックスモードの表示内容とを混在させて表示した。

データインデックスモードの初期画面には、図１４の画面左上に示すように、環境データの経時的変化を示すグラフＧ１が表示される。また、表示されたデータの特徴点を示すマークＭ１が表示される。このマークＭ１は、植物生育状態評価装置２が自動解析により抽出する。ユーザーが気になるマークＭ１を選択する操作を行うと、このマークＭ１の時点のデータに対応付けられたカラー画像Ｃ１を表示させることができる。従って、実際の植物の写真を見て植物の生育状態を把握することができる。なお、マークＭ１以外の任意の時点のデータを選択し、対応するカラー画像Ｃ１を表示させるようにしてもよい。

一方、画像インデックスモードの初期画面には、植物のカラー画像Ｃ１を表示させる。また、画面左下には、各種の環境データを表示させるためのボタンＢ１を表示させる。画像インデックスモードでは、任意の時点のカラー画像Ｃ１を表示させることができ、カラー画像Ｃ１を所定の順序で、例えば、時系列で１時間ごとに順次切り換えて表示させることもできる。気になるカラー画像Ｃ１が表示された場合、ユーザーがボタンＢ１を選択すると、環境データが表示される。その際、カラー画像Ｃ１に対応付けられたデータがどの点かすぐわかるように、データ上にマークを表示させる。

なお、画像インデックスモードの初期画面には、カラー画像Ｃ１と共に、あるいは、カラー画像Ｃ１に代えて、ＧＢＶＩ画像や生育曲線などの解析データを表示させるようにし
てもよい。

（本形態の主な作用効果）
以上のように、本形態は、植物を汎用のカメラ１１で撮影したカラー画像を用いて植物の生育状態を評価する。例えば、カラー画像の緑色波長域の画像であるＧ画像および青色波長域の画像であるＢ画像から葉領域を抽出し、葉領域に基づいて植物の生育状態を評価する。葉領域を抽出するための指標の一例として、例えば、ＧＢＶＩを用いることができる。ＧＢＶＩ画像を求めた場合、空を含むカラー画像を解析対象として葉領域を適切に抽出できることを確認できた。従って、従来より簡易で安価な装置を用いて、植物の生育状態を適切に把握することができる。また、Ｇ画像およびＢ画像から求めた葉領域の面積および葉領域のフラクタル次元は、生育状態の指標として有用であることを確認できた。また、第１生育曲線および第２生育曲線は、生育状態の指標として有用であることを確認できた。更に、第１生育曲線、第２生育曲線、Ｒ画像、環境データ（気象データ）などを用いた複合解析が有用であることを確認できた。

また、本形態の植物モニタリングシステム１は、データ計測部１０によって予め定めたスケジュールに従って自動で原画像もしくは主要部分を切り出したカラー画像をサーバ２０に蓄積できる。また、データ処理部３０はサーバ２０に適宜アクセスして、蓄積された画像データを用いて指標等を算出し蓄積できる。従って、ユーザーは任意のスケジュールで植物の生育状態をモニタリングすることができる。また、モニタリング内容を適宜選択でき、必要な指標やカラー画像を適宜参照することができる。よって、植物の生育状態を容易に且つ的確に把握することができる。

１…植物モニタリングシステム、２…植物生育状態評価装置、１０…データ計測部、１１…カメラ、１２…計測用コンピュータ（計測部）、１３…通信部、１４…電源部、１５…環境データ計測部、２０…サーバ（画像データ記憶部）、３０…データ処理部、３１…表示部、３２…コンピュータ本体、３３…操作部、３４…制御部（プログラム実行部）、３５…記憶部（プログラム記憶部）、３６…解析用データ記憶部、３７…通信部、Ｂ１…ボタン、Ｃ１…カラー画像、Ｇ１…環境データのグラフ、Ｍ１…特徴点を示すマーク

Claims (31)

1. 植物を可視光で撮影したカラー画像の緑色波長域の画像であるＧ画像と、前記カラー画像の青色波長域の画像であるＢ画像を用いて、前記植物の生育状態を評価することを特徴とする植物の生育状態評価方法。
2. 前記Ｇ画像および前記Ｂ画像を用いて、前記植物の葉領域を抽出し、
   前記葉領域の抽出結果に基づき、前記植物の生育状態を評価することを特徴とする請求項１に記載の植物の生育状態評価方法。
3. 前記葉領域の面積を求め、前記葉領域の面積に基づいて前記植物の生育状態を評価することを特徴とする請求項２に記載の植物の生育状態評価方法。
4. 前記葉領域のフラクタル次元を求め、前記葉領域のフラクタル次元に基づいて前記植物の生育状態を評価することを特徴とする請求項２に記載の植物の生育状態評価方法。
5. 前記Ｇ画像および前記Ｂ画像を用いて、前記カラー画像の単位領域ごとに、以下の式（Ａ）によりＧＢＶＩを算出し、
   ＧＢＶＩ＝（Ｇ−Ｂ）／（Ｇ＋Ｂ）・・・・・（Ａ）
   ＧＢＶＩ画像を生成することを特徴とする請求項２から４の何れか一項に記載の植物の生育状態評価方法。
6. 前記ＧＢＶＩ画像は、前記単位領域ごとに、前記ＧＢＶＩから生成した画素値を所定の閾値に基づいて２値化した画像であり、
   前記２値化した画像内の高輝度側の画素を前記葉領域として抽出することを特徴とする請求項５に記載の植物の生育状態評価方法。
7. 前記ＧＢＶＩ画像から、前記葉領域における前記ＧＢＶＩの統計値を求め、
   前記統計値に基づいて前記植物の生育状態を評価することを特徴とする請求項５に記載の植物の生育状態評価方法。
8. 前記葉領域の面積の経時的変化を示す第１生育曲線を求め、前記第１生育曲線に基づいて前記植物の生育状態を評価することを特徴とする請求項３に記載の植物の生育状態評価方法。
9. 前記葉領域のフラクタル次元の経時的変化を示す第２生育曲線を求め、前記第２生育曲線に基づいて前記植物の生育状態を評価することを特徴とする請求項４に記載の植物の生育状態評価方法。
10. 請求項８に記載の植物の生育状態評価方法における前記第１生育曲線を求める処理、および、請求項９に記載の植物の生育状態評価方法における前記第２生育曲線を求める処理の一方もしくは両方において、
    所定の期間のデータに対して、前記所定の期間におけるデータの平均値を中心とした所定範囲から外れたデータを除去する処理を、残ったデータの数が初期データ数の所定割合以下になるまで繰り返す外れデータ除去処理を行うことを特徴とする植物の生育状態評価方法。
11. 請求項８または１０に記載の植物の生育状態評価方法における前記第１生育曲線の値を推定する処理、および、請求項９または１０に記載の植物の生育状態評価方法における前記第２生育曲線の値を推定する処理の一方もしくは両方において、
    過去の複数日におけるデータから、前記過去の複数日におけるデータの平均値を中心とする一定範囲を求め、前記過去の複数日より後の日におけるデータの推定値を、前記一定範囲内となるように求める逐次推定処理を行うことを特徴とする植物の生育状態評価方法。
12. 請求項８または１０に記載の植物の生育状態評価方法における前記第１生育曲線、および、請求項９または１０に記載の植物の生育状態評価方法における前記第２生育曲線を求め、
    前記第１生育曲線と前記第２生育曲線のそれぞれについてピーク形状を抽出し、
    前記第１生育曲線と前記第２生育曲線に共通のピーク形状と、共通でないピーク形状とを判別し、
    前記共通のピーク形状および前記共通でないピーク形状に基づき、前記植物の生育状態を評価することを特徴とする植物の生育状態評価方法。
13. 前記カラー画像の赤色波長域の画像であるＲ画像と、前記Ｇ画像および前記Ｂ画像から求めた前記葉領域との複合解析により、前記植物の生育状態を評価することを特徴とする請求項２から１２の何れか一項に記載の植物の生育状態評価方法。
14. 前記カラー画像の撮影時における前記植物の生育環境に関する環境データと、前記Ｇ画像および前記Ｂ画像から求めた前記葉領域との複合解析に基づき、前記植物の生育状態を評価することを特徴とする請求項２から１３の何れか一項に記載の植物の生育状態評価方法。
15. コンピュータに、植物を可視光で撮影したカラー画像の緑色波長域の画像であるＧ画像と、前記カラー画像の青色波長域の画像であるＢ画像を用いて、前記植物の葉領域を抽出する処理を行わせることを特徴とする植物生育状態評価プログラム。
16. コンピュータに、前記葉領域の面積を求める処理を行わせることを特徴とする請求項１５に記載の植物生育状態評価プログラム。
17. コンピュータに、前記葉領域のフラクタル次元を求める処理を行わせることを特徴とする請求項１５に記載の植物生育状態評価プログラム。
18. コンピュータに、前記Ｇ画像および前記Ｂ画像を用いて、前記カラー画像の単位領域ごとに、以下の式（Ａ）によりＧＢＶＩを算出させ、
    ＧＢＶＩ＝（Ｇ−Ｂ）／（Ｇ＋Ｂ）・・・・・（Ａ）
    ＧＢＶＩ画像を生成させる処理を行わせることを特徴とする請求項１５から１７の何れか一項に記載の植物生育状態評価プログラム。
19. コンピュータに、前記ＧＢＶＩ画像として、前記単位領域ごとに、前記ＧＢＶＩから生成した画素値を所定の閾値に基づいて２値化した画像を生成させ、
    前記２値化した画像内の高輝度側の画素を前記葉領域として抽出させる処理を行わせることを特徴とする請求項１８に記載の植物生育状態評価プログラム。
20. コンピュータに、前記ＧＢＶＩ画像から前記葉領域における前記ＧＢＶＩの統計値を求める処理を行わせることを特徴とする請求項１８に記載の植物生育状態評価プログラム。
21. コンピュータに、所定の期間にわたって撮影された前記カラー画像のそれぞれに対して、前記葉領域の面積の算出を行わせ、
    前記所定の期間における前記葉領域の面積のデータ分布から、前記葉領域の面積の経時
    的変化を示す第１生育曲線を生成させる第１生育曲線生成処理を行わせることを特徴とする請求項１６に記載の植物生育状態評価プログラム。
22. コンピュータに、所定の期間にわたって撮影された前記カラー画像のそれぞれに対して、前記葉領域のフラクタル次元の算出を行わせ、
    前記所定の期間における前記葉領域のフラクタル次元のデータ分布から、前記葉領域のフラクタル次元の経時的変化を示す第２生育曲線を生成させる第２生育曲線生成処理を行わせることを特徴とする請求項１７に記載の植物生育状態評価プログラム。
23. 請求項２１に記載の植物の生育状態評価プログラムにおける前記第１生育曲線生成処理、および、請求項２２に記載の植物の生育状態評価プログラムにおける前記第２生育曲線生成処理の一方もしくは両方は、
    所定の期間のデータに対して、前記所定の期間におけるデータの平均値を中心とした所定範囲から外れたデータを除去する処理を、残ったデータの数が初期データ数の所定割合以下になるまで繰り返す外れデータ除去処理を含むことを特徴とする植物生育状態評価プログラム。
24. 請求項２１または２３に記載の植物の生育状態評価プログラムにおける前記第１生育曲線の値を推定する処理、および、請求項２２または２３に記載の植物の生育状態評価プログラムにおける前記第２生育曲線の値を推定する処理の一方もしくは両方は、
    過去の複数日におけるデータから、前記過去の複数日におけるデータの平均値を中心とする一定範囲を求め、前記過去の複数日より後の日におけるデータの推定値を、前記一定範囲内となるように求める逐次推定処理を含むことを特徴とする植物生育状態評価プログラム。
25. コンピュータに、請求項２１または２３に記載の植物の生育状態評価プログラムにおける前記第１生育曲線生成処理、および、請求項２２または２３に記載の植物の生育状態評価プログラムにおける前記第２生育曲線生成処理を行わせ、
    前記第１生育曲線と前記第２生育曲線との差分を求める処理を行わせる植物生育状態評価プログラム。
26. コンピュータに、請求項２１または２３に記載の植物の生育状態評価プログラムにおける前記第１生育曲線生成処理、および、請求項２２または２３に記載の植物の生育状態評価プログラムにおける前記第２生育曲線生成処理を行わせ、
    前記第１生育曲線を正規化した第１正規化曲線と前記第２生育曲線を正規化した第２正規化曲線の差分を求める処理を行わせる植物生育状態評価プログラム。
27. 請求項１５から２６の何れか一項に記載の植物生育状態評価プログラムを記憶するプログラム記憶部と、
    前記記憶部から前記植物生育状態評価プログラムを読み出して実行するプログラム実行部と、を有することを特徴とする植物生育状態評価装置。
28. 可視光でカラー画像を撮影するカメラと、
    前記カメラにより撮影された前記カラー画像を記憶する画像データ記憶部と、
    前記カメラを制御して予め定めた撮影スケジュールで前記カラー画像を撮影させ、前記カラー画像を前記画像データ記憶部に記憶させる計測部と、
    前記画像データ記憶部から読み出した前記カラー画像を用いて、植物の生育状態のモニタリングのための表示を行うデータ処理部と、を有することを特徴とする植物モニタリングシステム。
29. 前記データ処理部は、請求項２７に記載の植物生育状態評価装置であり、
    前記植物生育状態評価装置は、前記画像データ記憶部から読み出した前記カラー画像を用いて、前記植物生育状態評価プログラムを実行することを特徴とする請求項２８に記載の植物モニタリングシステム。
30. 前記データ処理部は表示部を備え、前記カラー画像と、前記カラー画像の撮影時における前記植物の生育環境の環境データを互いに対応づけて前記表示部に表示することを特徴とする請求項２８または２９に記載の植物モニタリングシステム。
31. 前記表示部への表示モードとして、
    前記環境データを前記表示部に表示し、前記表示部に表示された前記環境データの一部を選択すると、選択内容に対応づけられた前記カラー画像を前記表示部に表示するデータインデックスモードと、
    前記カラー画像もしくはその解析データを前記表示部に表示し、前記表示部に表示された前記カラー画像もしくは前記解析データを選択すると、選択内容に対応づけられた前記環境データを前記表示部に表示する画像インデックスモードと、の一方もしくは両方を備えることを特徴とする請求項３０に記載の植物モニタリングシステム。