以下、本発明の第1の実施の形態について説明する。
本実施の形態の植物情報取得システムは、植物の表面を撮影した画像データに基づいて、植物の情報を取得するものである。本実施の形態では、画像データにおける例えばRGB(赤、緑、青)等の色空間を構成する複数の変数の値から葉色濃度(例えば、SPAD値の換算値や葉色カラースケールの換算値)を求めるようになっている。
図1および図2に示すように、本実施の形態の植物情報取得システムの植物情報取得装置101(作物管理システムの作物情報取得装置:カメラ30)は、装置本体32と、装置本体32に対向する受面を備える受部材33とからなっており、受部材33は、装置本体32に対して基部が回動自在に固定され、例えば、ステープラ(ホッチキス)状の構造となっている。すなわち、受部材33の基端部が回転自在に装置本体32に接続されていることにより、受部材33の先端部側と装置本体32との間に測定対象となる例えば葉を挟むようになっている。
なお、装置本体32に対して受部材33は所定範囲の角度だけ回転可能となっているとともに、図示しないばね等の付勢デバイスにより、所定範囲内で最大角度となるように付勢されている。この状態で付勢力に抗して受部材33の先端部を装置本体32に近づけることにより、葉を挟んだ状態に保持可能となっている。
装置本体32には、撮像装置として、撮像素子(イメージセンサ)41、撮像素子41上に像を結ばせるための光学系としてのレンズ40、照明用の白色LED(光源)42、反射光防止用の偏光板43(43a,43b)と、外光遮断用フード34と、オン・オフ用のスイッチ35とを備える。また、装置本体32には、白色LED42、撮像素子41および各種回路の少なくともオン・オフを制御する制御回路50、撮像素子41から出力されるRGBの各信号を処理する画像処理回路51、画像処理回路51から出力されるRGB空間の画像データから独立変数を算出するデータ処理回路52および後述の携帯端末130(スマートフォン1)との間でデータ通信を行う通信回路53を備える。通信回路53と携帯端末130の間は無線(bluetooth(登録商標);WiFi)あるいは有線(USBケーブル等)で接続される。一方、受部材33は、装置本体32に対向する面が平面であり、装置本体の撮像位置に対応する位置に位置決めガイド36が設けられている。位置決めガイド36は受部材33から幅方向(図2における手前側から奥行方向)に左右に突出する凸部であり、受部材33の平面に連続する平面部を上部に有する。左右の各々の位置決めガイド36の中央部にはカメラの撮像範囲の中央を示す直線状の凹部が設けられている。この凹部は葉を撮像範囲の中央に位置させるための目印の機能を果たしている。したがって、左右一方の位置決めガイド36の凹部から他方の位置決めガイド36の凹部にわたって稲の葉を配置した状態で葉を挟み込んだ際に、カメラの光学的視野の中央に葉を配置させることができるようになっている。したがって、位置決めガイド36の凹部は稲の葉を受け部材に配置する際にカメラの撮像範囲の中央に配置するための目印になるとともに、葉を挟む直前まで葉を受部材33に対して動かないように手で固定することができる。凹部を設けなくても位置決めガイド36そのものの位置を中央に配置するための目印としてもよい。
外光遮断用フード49は黒色のウレタン材からなり、外光遮断用フード49の高さおよびシャッタースイッチ35がオンとなる高さは、葉を挟んで撮影する際に葉に損傷を与えずにかつ外光遮断用フード49が十分外光を遮断した状態でシャッタースイッチ35がオンとなるように設定されている。
撮像素子31は、カラーフィルタを備えるCCD(Charged・coupled devices)センサまたはCMOS(Complementary Metal―Oxide―Semiconductor)センサである。レンズ40は、例えば、接写用の単焦点レンズである。白色LED42は、葉を撮影するための照明であり、本実施の形態では、葉の撮影時に上述のフード34が葉の表面に押し付けられ、外光が遮断された状態で、白色LED42の光によって撮影されるようになっている。この際には、装置本体32と受部材33により葉が挟まれた状態であり、受部材33が葉を透過する方向の外光を遮断した状態となっている。したがって、上述のフード34と受部材33とから撮像時に外光を遮断する遮光デバイスが構成されている。
また、被写体に近い白色LED42の反射光が例えば葉の表面に映り込んだ状態(例えば、鏡に映るのに近い状態)となるのを防止するために、偏光板43が用いられている。偏光板43は、図2に示すように、白色LED42の照明光が通過する偏光板43aと、被写体としての葉の反射光が通過する偏光板43bとからなり、かつ、偏光板43aと偏光板43bとでは、偏光方向が直交した状態となっている。これにより、偏光板43aを介して葉に照射された白色LED42の照明光の直接的な反射光は、一対の偏光板43a、43bに遮られることになり、例えば、白色LED42が葉の表面に映り込んだ状態となるのを防止し、葉の表層の色が見えるようになっている。
また、この例では、ハーフミラー44を用いて、ハーフミラー44を透過させて照明光を葉に当てるとともに、葉からの反射光をハーフミラー44に反射させてレンズ40に導くようになっている。また、上述のように装置本体32と受部材33との間のフード34の位置に葉を挟むことにより、葉に円筒状のフード34が押し付けられた状態となり、撮像用の開口から侵入する外光が撮像素子41側に向かうのを防止できる。すなわち、外光の遮断を図ることができる。また、フード34は、撮像範囲を制限するようになっており、撮像範囲は、撮像素子41の有効画素部分より狭くなっている。なお、葉を挟んだ場合に、葉が傷つくと、葉が変色する虞があるので、フード34は、その表面に突起等の無い滑らかな形状となっていることが好ましい。また、フード34は、遮光性の向上と、葉の損傷の防止のために、手で挟む操作を行った際に弾性変形するような柔軟性の高い素材を用いてもよい。
本実施の形態は、葉の色から例えば植物情報(作物情報)として葉緑素の含有量を示す指標として換算葉色値(SPAD換算値)を求めるが、この際にカラースケール値に変換可能なSPAD値との相関関係に基づいてSPAD値と相関するSPAD換算値を求めている。そのために、例えば、撮像された画像データの所定範囲(所定面積)の各画素のRGBの各値とRGBの各値から求められるGrayの値を用いる。なお、各画素のRGB値を求める際に、撮像素子41から出力される例えばRGBの信号は、画像処理回路(画像処理デバイス)51で画像処理されて、RGBの各色の信号として出力される。また、撮像素子41が単板式の場合に、カラーフィルタのパターンに対応して各画素はRの画素、Gの画素、Bの画素から構成されることになるが、同時化処理(内挿処理)により各画素のRGB値を求める。
本実施の形態において、光学系に基づく撮影範囲内のさらに所定範囲内の複数画素からの信号が用いられる。上述の所定範囲は、例えば、2mm×2mmで、200画素×200画素程度とするが、特にこれに限定されるものではない。この所定範囲に含まれる各画素のRGBの各値と、RGBの値から求められるGrayの値を用いるようになっている。Grayの値は、次式によりRGBの各値から求められる。
Gray=R×0.3+G×0.59+B×0.11
なお、画像データとしては、RGBおよびGrayに限られるものではなく、HSVやHLSやYUVやYCbCrやYPbPr等を用いるものとしてもよい。基本的には、求めるべき作物情報としてのカラースケール値や葉緑素濃度(SPAD値)との相関関係があれば、RGB以外の色空間を用いてもよい。
また、RGBの各値やGrayの値を求めることになるが、上述の撮像範囲のうちの利用される所定範囲の各画素の値は、必ずしも必要はなく、撮影された画像データの所定範囲内の各画素の色に関するデータの代表値、すなわち、RGBの各値と、Grayの値のそれぞれの代表値を求め、当該代表値との相関関係に基づいて例えば換算葉色値(SPAD換算値)を求めることになる。集団の中心的傾向を示す代表値としては、平均値、中央値、最頻値や、その他にも積分値や、代表値と成り得る各種値を採用することができる。本実施の形態では、画像データの所定範囲の各画素のRGBの各値とGrayの値のそれぞれの平均値を代表値として求める。
なお、取得可能な植物情報(作物情報)としては、換算葉色値に限られるものではなく、例えば、葉緑素濃度やSPAD値と相関性が認められる窒素含有量であってもよい。基本的には、画像データを構成する各画素のRGB等の変数の値と、相関関係がある値を取得可能な作物情報とすることができる。例えば、果実の色と、糖濃度やクエン酸濃度やその他の酸濃度やポリフェノール濃度や、成熟度等の生育状況との間に相関関係が認められれば、作物情報として糖の濃度や各種酸の濃度の情報や各種ポリフェノールの濃度や、生育状況の情報を取得するものとしてもよい。また、所定の病気か否かの判定に上述のRGB等の値を用いるものとしてもよい。
また、スイッチ35は、制御回路50を介して白色LED42と撮像素子41のオン、オフを行うものであり、例えば、照明のオン・オフとシャッタとを兼ねるものである。スイッチ35は、受部材33を装置本体32に上述のように付勢デバイスの付勢力に抗して近づけると、装置本体32側にあるスイッチ35が受部材33に押されてオンとなり、受部材33を装置本体32から離すとオフとなる。スイッチ35がオンとなると、制御回路50や、撮像素子41や画像処理回路51等を搭載する回路基板の電源がオンになる。また、これによりオンとなった制御回路50の制御により、照明用の白色LED42がオンとなった後に、シャッタがオンとなる。この際に、受部材33と装置本体32のフード34との間に葉が挟まれていれば、葉の表面がフード34に遮光された状態で撮影される。この際には、受部材33により、葉を透過する光が遮光される。なお、スイッチ35は、1つに限られるものではなく、撮像素子41や画像処理回路51等を搭載する回路基板の電源スイッチ、照明用白色LED42の電源スイッチ、シャッタ用のスイッチ等がそれぞれ設けられていても良い。この場合には、スイッチ35は静止画像取り込みのためのシャッターボタンとしてのみ機能するので、スイッチ35が押下されるまではスマートフォンに対して現在の入力画像の動画を表示してもよい。これにより、画像を確認しながらスイッチを押下することができるので適切な静止画像を撮影することが可能となる。
また、本実施の形態において、スイッチ35は、受部材33に当たることでオンとなるが、スイッチ35は、例えば、受部材33が所定角度だけ回転移動した場合に、オンとなるものであってもよいし、所定箇所に設けられたタッチセンサであってもよい。また、スイッチ35は、フード内に設けられた照度センサ(例えば、受光素子)であってもよく、外光が遮られて照度が低下した際に照明用白色LED42を点灯し、白色LED42の点灯を照度センサで検知してシャッタをオンにするものであってもよい。
レンズ40は、例えば、接写用の単焦点のマクロレンズであり、フード34の先端に接触して、フード34を閉塞する被写体(葉)に焦点(ピント)が合うようになっている。
制御回路50は、上述のように白色LED42および撮像素子41の駆動等の制御を行うものであるが、それに加えて画像処理回路51やデータ処理回路52や通信回路53の駆動等の制御を行うものとしてもよい。
画像処理回路51は、撮像素子41から出力される画像信号に基づき上述の同時化処理を行うとともに、所定範囲の各画素のRGBの値から各画素のGrayの値を求め、各画素のRGBの各値とGrayの値を出力する。データ処理回路(画像処理デバイス)52では、各画素のRGBの各値それぞれの平均値(代表値)、および各画素のGrayの平均値(代表値)を求める。すなわち、Rの平均値、Gの平均値、Bの平均値、Grayの平均値を求め、これらの値を通信回路53に出力する。通信回路53では、有線、例えば、USBや有線LAN(イーサネット(登録商標))を用いた有線通信や、無線、例えば、WIFI(無線LAN)やbluetooth(登録商標)を用いた無線通信によりカメラ30が携帯端末130としてのスマートフォン(スマホ1:ユーザ端末)と通信可能となっており、上述の葉を撮影した画像データのRGBの各平均値とGrayの平均値を送信するようになっている。
すなわち、図3に示すように、植物情報取得装置101は、携帯端末130と接続されるとともに、携帯端末130は、無線公衆回線網とインターネット142を介してサーバ143と接続可能となっている。携帯端末130は、携帯電話(スマホ1)として無線公衆回線網を介して音声通信およびデータ通信を行うための無線通信デバイスと、各種通信の制御を行うとともに、インストールされたアプリケーション(以下、省略してアプリと称する)を実行する制御デバイス(植物情報取得デバイス)と、アプリやシステム(OS)の実行に基づく表示を行うためのディスプレイ(表示デバイス)と、ディスプレイにアプリ等の実行に基づいて画像を表示する表示制御デバイスと、音の入出力を制御する音制御デバイスと、GPSを含む各種センサを備える。
また、携帯端末130は、アプリやアプリで使用されるストレージとしてのフラッシュメモリを備える。なお、アプリ等のプログラムで使用されるメモリとしてのRAMは、例えば、制御デバイスに備えられている。
また、フラッシュメモリには植物情報取得処理用アプリ(植物情報取得デバイス)がプリインストールされており、植物情報取得装置101(カメラ30)から送信される上述のRGBおよびGrayの代表値(平均値)に対して葉緑素量の指標であるSPAD換算値を算出するようになっている。
植物情報取得処理用アプリ(作物管理用アプリ)には、例えば、回帰分析や重回帰分析で求めた上述の代表値とSPAD換算値との(重)回帰式(相関式)が登録されている。例えば、RGBの各平均値のうちのGの平均値と、Grayの平均値とからSPAD換算値を算出する重回帰式が登録されている。これにより、植物情報取得装置101からRGBの各平均値とGrayの平均値が受信された場合に、Gの平均値と、Grayの平均値とに基づいてSPAD換算値が携帯端末130から出力されるようになっている。
重回帰式は、例えば、換算葉色値(SPAD換算値)をY,Gの平均値をX1、Grayの平均値をX2とすると、Y=a(X1)+b(X2)+cとなる。この式に撮影された画像データの所定範囲の複数画素のGの値の平均値(独立変数)をX1に代入し、画像データの所定範囲の複数画素のGrayの平均値(独立変数)をX2に代入することで、Y(従属変数)であるSPAD換算値を算出する。
また、求められたSPAD換算値と、携帯端末130に入力された稲の品種、稲を栽培している地域(住所)、現在の日付、稲の高さとが施肥管理を行うためのデータとしてサーバ143に送信される。サーバ143には、基本的に地域と現在の日付と品種に対応してSPAD換算値および稲の高さが記憶されている。この地域と、現在の日付と、品種に対応するSPAD換算値を地域(住所)と現在の日付とで検索して抽出し、登録されているSPAD値と、測定されたSPAD換算値とを比較する。同様に登録されている稲の高さと、入力された稲の高さとを比較する。なお、稲の高さは、例えば、携帯端末130にインストールされた高さ測定用のソフトにより計測された値が送信されるようになっていてもよい。
登録されているSPAD換算値より測定されているSPAD換算値が小さければ窒素肥料が不足していると判断可能であり、逆に登録されているSPAD換算値より測定されるSPAD換算値の方が大きければ窒素肥料が足りているか、必要量より窒素肥料が多い可能性がある。また、登録されたSPAD換算値より測定されたSPAD換算値が低く、かつ、登録された稲の高さより測定された稲の高さが低ければ、肥料不足が裏付けられたことになり、登録されたSPAD換算値より測定されたSPAD換算値の方が高く、登録された稲の高さより、測定された稲の高さが高ければ、肥料のやり過ぎの可能性が高くなる。
サーバ143には、地域、日付(または種蒔きや田植えからの日数)、品種に応じて上述のように標準となるSPAD換算値が登録されるとともに、例えば、測定されたSPAD換算値に対してアドバイスが登録されている。例えば、標準となるSPAD換算値より測定されたSPAD換算値が低ければ、基本的に窒素肥料等の施肥を促すアドバイスが登録されており、標準となるSPAD換算値より測定されたSPAD換算値が高ければ肥料を控えるようなアドバイスが登録されている。
また、季節と地域と品種に応じて、施肥管理だけではなく、水の管理や、除草や、病気対策等のアドバイスが得られるようになっている。これらにはSPAD換算値に関連するものと、関連しないものが含まれる。なお、現在、SPAD換算値に対して各地域の稲作に関係する組織(農協や農業試験場や役所等)において、測定されたSPAD換算値に対する施肥管理を含むアドバイスの提供が行われており、これを利用することも可能である。
このような植物情報取得装置101による植物情報取得方法においては、例えば、図4のフローチャートに示すように、カメラの一種である本実施の形態の植物情報取得装置101(カメラ30)による直物情報取得処理が行われる。
この際には、葉の撮像を行うことになる。
葉の撮像においては、例えば、他の葉と略同様の異常のない葉を選択する。この葉をカメラ30のフード34の位置で装置本体32と受部材33との間に挟み込む。この動作によりスイッチ35がオフからオンとなり(ステップS1)、カメラ30に搭載された制御回路50がオンとなり、制御回路50の制御に基づいて、白色LED42の点灯、撮像素子41の起動、画像処理回路51の起動、データ処理回路52の起動、通信回路53の起動が行われる(ステップS2)。これらの回路は、1つのチップ上にあってもよい。
次いで、スイッチオンをトリガーとして自動的に撮像が行われる(ステップS3)。撮像素子41から出力された信号が画像処理回路51において、上述のように同時化処理されて画像データが生成される。この際にGrayのデータもRGBのデータから算出される。すなわち、各画素のRGBおよびGrayの値が算出され(ステップS4)、この各画素のRGBおよびGrayの値がデータ処理回路52に送られる(ステップS5)。データ処理回路52では、画像データの所定範囲内の各画素のRの値、Gの値、Bの値、Grayの値から、Rの代表値、Gの代表値、Bの代表値、Grayの代表値とが算出される(ステップS6)。Rの代表値、Gの代表値、Bの代表値、Grayの代表値と画像データが通信回路53を介してスマホ(携帯端末130)1に送信される(ステップS7)。なお、各代表値は、上述の画像データからスマホ1で求めても良い。
携帯端末130では、図5のフローチャートに示すように、植物情報取得装置101から上述の各代表値が入力された場合(ステップS11)に、上述の代表値とSPAD換算値との関係式に代入してSPAD換算値(換算葉色値)を算出する(ステップS12)。すなわち、SPAD値と、上述の各色の代表値との相関に基づく重回帰式に、Gの代表値とGrayの代表値が代入されて、換算葉色値が求められる。
求められた換算葉色値は、他のデータとしての上述の住所、日付、品種等のデータとともに、携帯端末130のディスプレイに表示される(ステップS13)。この際には、撮像された画像データを表示してもよい。ディスプレイに表示されたデータは、サーバ143に送信可能であるが、SPAD換算値以外のデータ表示は、直接変更可能に表示されている。ユーザがデータを変更した場合(ステップS14)には、それに対応して携帯端末130に記憶されているデータが変更されて更新記憶される(ステップS15)。次に稲の高さを入力する(ステップS16)。なお、稲の高さは、ユーザが計測して入力するものとしてもよいが、植物情報取得処理用アプリに周知の高さ計測機能を設けておき、携帯端末130のカメラで撮影することにより、稲の高さを算出して入力するようになっていてもよい。
求められたSPAD値は、サーバ143に登録されているデータベースに送られる(ステップS17)。サーバ143では、図6のフローチャートに示すように、携帯端末130からSPAD値等のデータが受信されると(ステップS21)、サーバ143のデータベースを上述の地域、日付、稲の品種、SPAD値、稲の高さに基づいて検索し(ステップS22)、肥料を施すか否か、肥料を施す場合の単位面積当たりの施肥量等の施肥管理に関するデータを得られることになる(ステップS23)。検索により得られた施肥管理に関する情報は、携帯端末130に送信される(ステップS24)。
携帯端末130では、施肥管理に関する情報が受信されると(ステップS18)、この情報を表示する(ステップS19)。上述の肥料を施すか否や、施す場合の単位面積当たりの肥料の量や、その他の稲の農作業に関する情報が携帯端末130に受信されて、携帯端末130に表示されることになる。
スマホ(携帯端末130)1では、カメラ30から上述の各代表値が入力された場合に、上述の代表値と換算葉色値(SPAD換算値)との関係式に代入して換算葉色値を算出する。SPAD値と緑色の葉色カラースケールによる読み取り値は、相関関係があることが知られており、換算葉色値の計測には、RGB+GrayのうちのGとGrayの値を用いる。すなわち、換算葉色値(SPAD換算値)と、上述の各色の代表値との相関に基づく重回帰式に、Gの代表値とGrayの代表値が代入されて、換算葉色値が求められる。
求められた換算葉色値は、他のデータとしての上述の住所、日付、品種等のデータとともに、スマホ1のディスプレイに表示される。この際には、撮像された画像データも同時に表示してもよい。ディスプレイに表示されたデータは、サーバ−143(後述の管理サーバ10)に送信可能であるが、換算葉色値以外のデータ表示は、直接変更可能に表示されている。ユーザがデータを変更した場合には、それに対応してスマホ1に記憶されているデータが変更されて更新記憶される。次に稲の高さを入力する。なお、稲の高さは、ユーザが計測して入力するものとしてもよいが、植物情報取得処理用アプリに周知の高さ計測機能を設けておき、カメラ30で撮影することにより、稲の高さを算出して入力するようになっていてもよい。
次に、カメラ30の校正方法の工程を、図7を用いて説明する。カメラ30では、色によって植物情報(作物情報)を得ることになる。この際に、各カメラ30の固体差や経時変化等を校正する必要がある。
葉緑素計で測定した場合に所定のSPAD換算値(校正用の基準値)となるカラーチップを例えばカメラ30の販売時に同梱する(ステップSt1)。このカラーチップを用いてユーザが校正を行う(ステップSt2)。校正は、使用開始時に行うとともに、できるだけ設定された期間毎に略定期的に行うことが好ましい。
まず、カメラ30を携帯端末130(スマホ1)に接続するとともに、植物情報取得処理用アプリ(作物管理用アプリ)を起動する。
校正処理では、カメラ30が接続されたスマホ1で行われる処理であり、以下のステップS31からの処理がスマホ1で行われる処理となる。
作物管理アプリが起動したスマホ1のディスプレイには、例えば、校正等の項目がボタンとして表示されたサブメニューが表示可能となっている。校正処理を行う場合には、ユーザが校正ボタンを押すことにより、スマホ1では、ディスプレイの校正のボタンが表示された範囲で、タッチスクリーンがタッチされることを検知する(ステップS31)。ここでは、作物管理用アプリ起動後に、メニューとして表示された各ボタンへのタッチの検出を監視して待機する状態となっており、校正ボタンへのタッチが検知されることにより、校正処理を開始する(ステップS32)。
スマホ1のディスプレイには、同梱のカラーチップを所定回数(例えば、5回や10回)撮影するように促し、装置本体32と受部材33との間にカラーチップを挟んで撮影することを示す表示が表示され、カメラ30から撮影された画像データが入力するのを監視して待機する状態となる。この際に、画像データの入力回数をカウントし、入力回数のカウント値が上述の所定回数となるまで、ディスプレイにカラーチップの撮影を継続するように促す表示が行われる。これに対応してユーザがカラーチップの撮影を行うことにより、画像データが順次、スマホ1に入力することになる(ステップS33)。
スマホ1では、入力した画像データを取得して、フラッシュメモリ等の記憶装置に記憶する(ステップS34)。
スマホ1の制御デバイスでは、カラーチップを撮影した所定数の画像データの所定範囲の各画素のRGBの値のうちのGの値の代表値としての平均値と、所定範囲の各画素のGrayの値をRGBの値から算出するとともに、所定範囲の各画素のGrayの値の代表値として平均値を求める。すなわち、所定範囲内の各画素のG値およびGray値の平均値を求める。これを所定数の画像データの全てに対して行って、各画像データに平均化された1つずつのG値とR値とを求めた後に、所定枚数の画像データ毎のG値とGray値との平均値(代表値)を求める。
算出されたG値と、Gray値とを上述の回帰式に代入してSPAD換算値を求める。このカラーチップの撮影により得られた換算葉色値と、カラーチップに設定された基準となる葉色値との差を補正用のデータとして算出決定される(ステップS35)。
算出された補正用のデータは、スマホ1内に自動的に登録され(ステップS36)、処理を終了する(ステップS37)。以降、実際の葉の撮影画像に基づきSPAD換算値が計算される際にこの補正用のデータを用いて補正される。すなわち、回帰式に設定された補正項に補正値が代入された相関式を用いて、Gの平均値とGrayの平均値とから校正された状態で換算葉色値を求めることができる。
ここでは、補正用のデータをスマホ1内に登録しているが、これに限らずサーバ143に登録しておいてもよく、あるいは両方で登録しておいてもよい。後述するSPAD換算値をスマホ1で計算するのではなくサーバで計算する場合には処理を簡素化できる。また、サーバに補正用のデータを履歴も含めて常に登録しておく場合、サーバは補正値の変動をチェックすることによりカメラ30の性能の劣化を把握できユーザに注意を促すことができ、異常な撮影画像、異常なSPAD換算値のデータベースへの登録を抑制することができる。
重回帰式は、上述のように、Y=a(X1)+b(X2)+cと表されるが、これに補正項(α)を使い、Y=a(X1)+b(X2)+c+αとするように補正する。すなわち、上述のように算出された補正値をαに代入してから従属変数Yとしての換算葉色値を求める。
例えば、図8には、葉の画像データから計算により得られた換算葉色値(SPAD換算値)を独立変数Xとし、前記葉を葉緑素計で測定した場合のSPAD値を従属変数Yとして回帰分析を行い、その回帰分析の結果として、色情報から算出されたSPAD換算値(X)と、葉を葉緑素計で測定したSPAD値(Y)の相関式(回帰式)が、Y=0.8762X+4.6722とされている。図8において縦軸が色情報から算出されたSPAD換算値(X)であり、横軸が葉を葉緑素計で測定したSPAD値(Y)である。プロットされた点は、測定された稲の各株に対応することになる。
この際にカラーチップの基準値(葉緑素計で測定した測定値に略等しい値)となるSPAD値が40で校正時のSPAD換算値の色情報からの算出値が34とすると、基準値−算出値=+6となり、相関式がY=0.8762X+4.6722+6に補正される。これにより、相関式が示す回帰直線が右に移動することになる。なお、図8の決定係数R2=0.8762は、上述の相関式における寄与率を示すものである。すなわち、決定係数R2は測定結果の変動を説明変数でどの程度説明できているかを示すもので、1に近づくほど精度が高いことを表わす。また、図8は、SPAD換算値を計算により求めた場合と、葉緑素計で測定した場合との相関関係を示すものであり、実際の校正では、上述のようにGの代表値と、Grayの代表値とからSPAD換算値を求めるための相関式であるY=a(X1)+b(X2)+cをY=a(X1)+b(X2)+c+αに補正する。
以上のように、回帰式に設定された補正項に補正値が代入された相関式を用いて、Gの平均値とGrayの平均値とから校正された状態で換算葉色値を求めることができる。
また、上述の校正方法では、ユーザがカメラ30の校正を行うものであるが、それとは別に、カメラ30の出荷時に、カメラ30のメーカ等で行われる校正を説明する。
カメラ30では、例えばCMOSセンサである撮像素子41と集積回路としての画像処理回路51とが設けられている。なお、撮像素子41と画像処理回路51とは、SOCとしてワンチップ化されていても良いし、別々のチップであってもよい。
例えば、画像処理回路51では、ホワイトバランス、ブラックレベルコントロール、各種フィルタ機能、マトリックスゲイン調整、アパーチャ補正、ガンマ補正等が可能であり、自動で調整されるものもあるが、例えば、マトリックスゲイン調整、アパーチャ補正、ガンマ補正等は、外部からRGB毎にパラメータを設定して色や輝度が調整可能である。
ここで、照明に使用している白色LED42では、青色LEDと黄色蛍光体を用いたものが比較的安価であり、主流となっているが、例えば、同ロッド内でも輝度等の性能のばらつきが比較的大きく、白色LED42を光源とした場合に、カメラ30の固体差が大きくなる虞がある。
そこで、カメラ30においては、出荷前の段階で所定の葉色値となるカラーチップ(例えば、葉色カラースケールで稲の葉の適正な葉色の範囲に含まれる葉色値4またはその近傍の葉色値(植物情報)となる緑色の校正用の被写体)を撮影し、葉色カラースケールの読み取り値の換算値としての葉色値が例えば上述の4となるように、上述の画像処理回路51のパラメータを変更する。これにより、カメラ30の出荷時には、画像処理回路51で調整可能な範囲で、固体差が小さくなっており、上述のユーザによる校正を省略したり、ユーザによる校正を行うまでの期間を長くしたりすることが可能である。また、カメラ30の固体差を小さくして、各農家や農業関係の各期間における換算葉色値のぶれを小さくして、換算葉色値による管理における精度を高めることができる。
このようなカメラ30を用いた換算葉色値の測定では、外光を遮断していつでも所定の照明を行うことができ、かつ、画素数の多い撮像素子41を必要とせず、少ない画素数の撮像素子41で測定可能である。また、演算処理の一部や、データの表示等をスマホ1側で行うことが可能となっている。以上のことから葉色カラースケールよりは高価になるが、カメラではなく専用の比色分析装置を備えるような葉緑素計に比較して低コストに製造可能となる。
また、外光をカットしてLED照明を用いることにより、安定した撮影が可能となり、季節や時刻や天候や環境によって、測定結果が変わってしまうのを抑制可能であり、誤差の少ない測定を行うことができる。また、植物(作物)の葉、茎、実、根等の各種部位の表面の色と、作物の各種情報との間に相関関係があれば、各種情報の測定が可能となる。この際には、カメラ30が、植物(作物)の表面を撮影して得られた画像データの各画素のRGBの各値、または、RGBから求められるGrayを含む各値を出力できる機能を有するものならば、スマホ1側の植物情報取得処理用アプリに登録されている関係式を追加することで葉緑素以外の物質の含有量の測定が可能となる。例えば、SPAD値だけではなく、実際に葉を破砕して葉緑素を抽出することにより葉緑素量を実測し、上述の代表値と、葉緑素の実測された濃度との相関式を求めて、SPAD値ではなく葉緑素量を求めるようにしてもよい。また、葉緑素量と相関関係がある窒素量を実測し、実測した窒素量と上述の代表値との相関関係を求めて窒素量を測定するものとしてもよい。また、果実等において、その色と果実に含まれる糖、酸、色素成分であるポリフェノール等の濃度との相関関係が認められれば、これらの測定にカメラ30とスマホ1を用いることができる。
なお、本実施の形態では、Gの代表値とGrayの代表値を用いるので、Rの代表値とBの代表値とを算出しないものとしてもよい。回帰式からSPAD換算値が求められると、このSPAD換算値と、スマホ1に入力された地域(住所)と、日付と、稲の品種と、稲の草丈とがインターネット142を介して、サーバ143(管理サーバ−10)に送られる。なお、地域の情報は、例えば、スマホ1に設けられたGPSに読み取られたスマホ1の位置情報を用いるものとしてもよい。また、日付の入力の機能はスマホ1の時計機能やカレンダー機能から今日の日付を入力させるものとしてもよい。
また、本実施の形態では、データ処理回路52をカメラ30に設けたが、スマホ1の作物管理用アプリの機能にデータ処理回路52の機能を加えるものとしてもよい。この場合に、カメラ30は、基本的に画像データとしてRGBの各値とGrayの値を出力することになる。なお、相関関係の高さにもよるが、RGB+Grayの全てを独立変数としても良いし、Bを除く残りRG+Grayを独立変数としてもよいし、GまたはGrayだけを独立変数としてもよい。
次に、本発明の第2の実施の形態を説明する。
本実施の形態の作物管理システムは、図9に示すように、ユーザが用いるユーザ端末であるスマートフォン(スマホ1)と、スマホ1と携帯電話用の公衆無線回線または有線や無線のLANを用いるとともにインターネット2(142)を介して接続可能な管理サーバ10(サーバ143)と、前記スマホ1にUSB等を介して接続可能な測定デバイス(撮影デバイス)としてのカメラ30と、インターネット2等を介して管理サーバ10に接続可能で管理サーバ10の管理を行うためのパーソナルコンピュータからなる端末60とを備える。
携帯端末130としてのスマホ1は、周知のものであり、データ通信を行う機能、通信可能なデータとしての画像(静止画、動画)、テキスト等の表示用データを表示するディスプレイを備えた表示機能、主にタッチパネルを用いて行われるテキスト等のデータの入力機能と、アプリケーション(アプリ)を実行するプログラム実行機能とを有し、管理サーバ10に対して、データの入力と出力とを可能な端末として機能する。
また、スマホ1を用いるユーザとしては、農業従事者を想定しており、農作業を行うか、農作業の管理を行う者がスマホ1のユーザとなることを想定している。また、ここで農作業として稲の栽培を想定しており、農業従事者が稲の栽培による米の生産に係わっていることを想定している。なお、本実施の形態は、作物の栽培の管理に係わるものであり、作物として米以外の各種穀物、豆や芋等を含む各種野菜、各種果物等の栽培の管理を行うものであってもよい。また、作物とは、食品となる植物に限られuものではなく、基本的に栽培が管理されるものであればよく、作物には、花や茶や樹木等が含まれる。また、花や観葉植物などの観賞用の植物の色の管理に本発明を応用することが可能である。
管理サーバ10は、インターネット2を介して、携帯端末130である複数のスマホ1と同時にデータ通信可能であるとともに、例えば、中央演算処理装置(CPU)やRAMやROM等を有するとともに、データの記憶や通信のための各種インタフェースを有する制御部11と、ハードディスク等からなるストレージ装置等とを備える。ストレージ装置には、各種データを検索可能に記憶する記憶デバイスとして機能し、検索等により記憶したデータを抽出可能としたデータベースが構築されている。
本実施の形態の管理サーバ10には、ユーザ情報データベース12、農地情報データベース13、栽培情報データベース14、測定値データベース15、葉色基準値データベース16、農業・肥料データベース17等が構築されている。
ユーザ情報データベース12には、ユーザを特定可能なユニークなユーザIDに紐付けして、後述のアカウント登録時に主に入力された個人情報が登録されている。ユーザ情報データベース12には、例えば、ユーザID、氏名、住所、メールアドレス、電話番号等が記憶されるとともに、生年月日、職業、属する組織(団体や法人等)等が登録される。なお、ユーザ情報データベース12には、課金等のためのクレジットカードの情報が含まれていてもよい。
なお、ユーザとして、個人ではなく、法人等の組織、団体が登録されるものとしてもよい。
農地情報データベース13には、上述のユーザIDに紐付けされてユーザが農作業を行う(ユーザが管理する)農地(圃場)の位置が記憶されている。なお、圃場の位置は、基本的に緯度と経度で表されるが、圃場に住所があれば、住所も登録される。なお、1ユーザに対して複数の圃場が登録可能とあっている。また、農地情報データベース13には、圃場の種類と、面積が登録される。
圃場の種類とは、主に栽培する作物で分離されるもので、例えば、稲、キャベツ、トマト等である。また、圃場の種類として登録される作物の種類には、作物を特定可能な品種名やブランド名が含まれる。
なお、圃場の位置は、例えば、スマホ1のGPS機能を用いて入力したり、スマホ1の地図アプリ上で入力したりしても良いし、圃場の緯度や経度が分かればそれを直接入力してもよい。また、圃場の位置は、圃場を代表する一個所の緯度と経度を入力するものとしてもよいが、各圃場の各角の緯度と経度を入力することにより、圃場の形状と面積が分かる状態となっていることが好ましい。なお、例えば、四角形の土地では、4つ角があることになり、3角形の土地では、3つの角があることになり、略L字状の土地では、5箇所の出隅の角と、1箇所の入隅の角があることになる。
このように圃場の全ての角(出隅の角と入隅の角を含む)の緯度と、経度を入力する場合には、例えば、スマホ1の地図アプリ上で航空写真を表示するとともに、航空写真上で圃場の各角を順次、指示して各角の緯度と経度を確定して入力する。また、スマホ1のGPS機能を用いて、スマホ1を持ったユーザ等のスマホ1のオペレータが、各圃場の角でGPS機能により測定される緯度と経度を登録するものとしてもよい。
ただし、GPSでは、誤差が生じる虞があるので、地図アプリ上で圃場の位置を修正可能となっていることが好ましい。このような圃場の角の位置に基づいて、圃場の形状と、圃場の面積が管理サーバ10において、算出されるようになっている。なお、圃場の面積は、ユーザがスマホ1から入力するようになっていてもよい。また、各圃場には、圃場を筆毎に特定可能な筆シリアルナンバが付されており、各圃場の緯度と経度のデータと、作物の種類や品種等のデータや、顧客IDは、筆シリアルナンバに紐付けされて記憶される。
以上のように農地情報データベース13には、顧客IDに紐付けして、ユーザが管理や農作業を行う圃場の位置と、圃場の種類として圃場で栽培される作物の品種と、圃場の面積と筆シリアルナンバが登録されている。
栽培情報データベース14には、顧客IDに紐付けされて、各作物の品種と、各作物が栽培されている圃場の筆シリアルナンバと、時期(日時)とに対応付けて、栽培情報が記憶されている。例えば、栽培情報として、例えば、種を蒔いた日や、苗を植えた日や、蕾ができた日や、肥料を施した日や穂が出た日(出穂日)や、出穂予定日や田圃から水を抜いた日や、肥料を施した日や、農薬を散布した日などの農作業の内容(肥料や農薬の量も含む)と農作業の時期や、作物の生育の節目になる日が記憶される。なお、栽培情報データベース14に記憶される栽培情報は、作物の種類や品種によって異なるものとすることができる。
測定値データベース15には、本実施の形態において、上述のカメラ30により撮影された画像データ(画像情報)と、当該画像データから読み取られた換算葉色値(作物情報)のデータが記憶される。なお、換算葉色値以外に作物の草丈や単位面積当たりの株数や、株当たりの茎数等の測定値(作物情報)がある場合に、全ての測定値のデータを測定値データベース15に記憶するものとしてもよい。なお、栽培情報データベース14および測定値データベース15において、各情報は、上述の顧客IDと、筆シリアルナンバと、日時または日付等の時期情報に紐付けされて記憶されており、作物情報からユーザ、圃場、日時が特定可能であるとともに、顧客IDや、筆シリアルナンバから栽培情報や農地情報を検索可能であり、圃場がある地域を検索可能である。また、測定値としての換算葉色値は、基本的にカラースケールを読み取った場合のカラースケール値やSPAD値に変換可能なものであり、本実施の形態では、SPAD値との相関関係に基づいて換算葉色値(SPAD換算値)が決定されている。
なお、本実施の形態では、基準となる葉色基準値は、カメラ30を用いて求められた換算葉色値に基づいて算出されたものであり、換算葉色値(測定値)と葉色基準値とは、カメラ30の画像データを用いた同様の方法で求められるものである。なお、カメラ30以外で撮影された画像データを用いて換算葉色値や葉色基準値を求めてもよい。あるいは、葉色基準値は従来から行われているカラースケール値またはSPAD値にもとづいて定められてもよい。また、以下の説明で測定された換算葉色値を測定値、葉色基準値を基準値と記載する場合がある。
葉色基準値データベース16には、作物の品種、栽培地域ごとに、時期に対応付けられた好ましい葉色基準値が登録されている。ここで、時期とは当該年度の日付や田植え日からの経過日数などの時間軸をいう。基準値は、専門家が当該地域の当該品種の過去のシーズンに測定された換算葉色値を分析して、特定の時間軸に対する基準とすべき換算葉色値を決定して定められたものである。葉色基準値データベース16の葉色基準値は分げつ期あるいは田植え前などの時期に決定されるが、当該年度の気象状況などに応じて専門家により適宜変更されることもありうる。
葉色基準値は、基本的に計測された換算葉色値が葉色基準値と一致または近い値となれば作物が順調に生育していることを示すものとなっている。例えば、所定の時期における換算葉色値が葉色基準値より小さい場合に、窒素肥料の不足を示し、換算葉色値が葉色基準値より大きい場合に稲の高さ等にもよるが、窒素肥料過多で育ち過ぎの可能性がある。なお、育ち過ぎて稲の高さが高くなると、風等により稲が倒れる可能性高くなることから、稲の育成をある程度制限することが好ましく、例えば、窒素肥料の量を制限することになる。
葉色基準値は、例えば、当該地域における現在のシーズンより前のシーズンの通年の換算葉色値データを分析して、算定されるものであるが、カメラ30による換算葉色値データだけではなく、カラースケールやSPAD値に基づく葉色値データも参酌されており、各品種の各時期における好ましい換算葉色値のデータが葉色基準値として記憶されている。なお、今回のシーズンの天候等の状況に応じて葉色基準値の時期をシフトしたり、葉色基準値に対する換算葉色値の許容範囲を低い側や高い側に広くしたり、狭くしたりしてもよい。
農業・肥料データベース17には、品種と地域と時期ごとに、換算葉色値の測定値と基準値との差に対応付けられて単位面積当たりの施肥量が、作物栽培における施肥管理のための管理情報として登録されている。なお、基本的に基準値より測定値が高い場合に施肥量は0となる。ここで、肥料は主に窒素系肥料であるが、例えば、リンやカリ等に係わる肥料の標準となる施肥量や生育状態に応じた施肥量が登録されていてもよい。この農業・肥料データベース17には、上述の葉色の測定値と基準値との差に対して単位面積当たりの施肥量が専門家により決定されて登録されている。すなわち、農業・肥料データベース17には、作物の栽培の管理の1つとして施肥管理のための施肥量の情報が登録されており、作物の栽培の管理に係わる管理情報を記憶した管理情報記憶デバイスとなる。農業・肥料データベース17も葉色基準値データベース16と同様に当該年度の気象状況などに応じて専門家により適宜変更されることもありうる。
ここで、管理サーバ10は、上述の単位面積当たりの施肥量を換算葉色値、草丈等の生育状態、単位面積当たりの株数や一株中の茎数等の栽培密度等により調整するようになっている。また、管理サーバ10では、上述の圃場の面積に基づいて、圃場毎の施肥量を算出するようになっている。
例えば、単位面積当たりの施肥量に対して、葉色基準値に対する測定された換算葉色値の差に基づいて1.1や0・9等の係数を乗算した除算したりしてもよいし、係数を加算したり減算したりするものとしてもよいし、測定された換算葉色値が葉色基準値より濃くかつ草丈が基準となる草丈より高い場合に施肥量を0としてもよい。
単位面積当たりの株数や一株中の茎数等に基づいて作物の生育密度が基準に対して高いか低いか判定し、それに基づいて単位面積当たりの施肥量を増減するものとしてもよい。
また、端末60は、例えば、地方自治体や農協や農業法人等の農業関連団体で、施肥管理や肥培管理を行ったり、支援したりする団体のオペレータが使用するものであり、基本的に葉色基準値データベース16、農業・肥料データベース17へのデータの登録、データの変更等のデータの管理を行うための端末であり、管理サーバ−10の各データベースの閲覧等のための専用アプリB(作物管理用アプリ)がインストールされている。葉色基準値データベース16、農業・肥料データベース17のデータの登録やデータの変更においては、農地情報データベース13、栽培情報データベース14、測定値データベース15等を参照し、これらのデータを統計処理して利用する場合があり、端末60は、管理サーバ10にログインすることにより、管理サーバ10の全てのデータベースにアクセス可能である。また、ユーザ毎のデータではなく、作物管理システムを使用する複数のユーザの測定データ等を端末60で閲覧することにより、地域全体の状況を観察したり、各ユーザの各圃場における測定結果の比較も可能となっている。したがって、葉色の測定値を基準値と比較するだけではなく、測定値を他の圃場の測定値と比較することも可能であり、明らかに他の圃場より測定値が大きい場合や小さい場合に、それを施肥管理における判断材料に利用することができる。
カメラ30は、ここでは換算葉色値測定用のものであり、装置上部のホッチキス状の部分で作物の葉を挟み込んで葉の表面を、外光を遮断した状態で撮影できるようになっている。カメラ30は、スマホ1に接続されて撮影された画像データをスマホ1に出力し、スマホ1を介して画像データを管理サーバ10等に出力するようになっている。
なお、第2の実施の形態の作物管理システムでは、第1の実施の形態の植物情報取得システムと同様に、作物(植物)の育成状態の指標として換算葉色値を用いるようになっている。すなわち、作物管理システムでは、カメラ30で作物の表面を撮影した画像データに基づいて、作物の情報として換算葉色値を取得するものである。第2の実施の形態では、第1の実施の形態と同様に画像データにおける例えばRGB(赤、緑、青)等の色空間を構成する複数の変数の値から葉緑素濃度を示す換算葉色値を求めるようになっている。
すなわち、作物管理システムは、植物情報取得システムと近似または類似しており、実質的には、略同様のシステムであり、作物管理システムのカメラ30は、上述の植物情報取得システムのカメラ30と同様のものでる。
また、スマホ1は、アプリやアプリで使用されるデータ等を記憶するストレージとしてのフラッシュメモリを備える。なお、アプリ等のプログラムで使用されるメモリとしてのRAMは、例えば、制御デバイスに備えられている。
また、フラッシュメモリには作物管理用アプリがインストールされており、カメラ30から送信される上述のRGBおよびGrayの代表値(平均値)に対して葉緑素量の指標である換算葉色値を算出するようになっている。なお、カメラ30で撮影された画像データから換算葉色値を算出することになるが、換算葉色値を算出する処理は、スマホ1で行われても、画像データをスマホ1から送信された管理サーバ10で行ってもよいし、カメラ30の内部で行ってもよい。なお、以下の説明では、換算葉色値として説明するが、ここでのカラースケール換算値は、SPAD換算値に変換可能なものであり、後述の実施例に示すように、SPAD換算値を求めてこれをカラースケール値に変換したものである。
スマホ1には、管理サーバ−10から専用アプリA(作物管理用アプリ)がダウンロードされてインストールされている。作物管理用アプリには、例えば、回帰分析や重回帰分析で求めた上述の代表値と換算葉色値(SPAD換算値)との(重)回帰式(相関式)が登録されている。例えば、RGBの各平均値のうちのGの平均値と、Grayの平均値とからSPAD換算値を算出する重回帰式が登録されている。これにより、カメラ30からRGBの各平均値とGrayの平均値が受信された場合に、Gの平均値と、Grayの平均値とに基づいて換算葉色値がスマホ1から出力されるようになっている。
また、求められた換算葉色値と、スマホ1に入力された稲の品種、稲を栽培している地域(住所)、現在の日付、稲の高さ(草丈)とが施肥管理を行うためのデータとして管理サーバ10に送信される。管理サーバ10では、上述の葉色基準値データベース16に、例えば、稲の品種、地域(住所)、時期(日付)に関連付けて基準となる葉色基準値が登録されている。
この管理サーバ10では、施肥管理の処理として、スマホ1から入力される地域(圃場の住所や緯度および経度)と、現在の日付と、稲の品種とから、葉色基準値データベース16を検索して葉色基準値を抽出する。次に、抽出された葉色基準値と、入力された換算葉色値とを比較する。
ここで、葉色基準値データベース16に、品種、地域、時期(月日)に関連付けて登録されて上述のように抽出される葉色基準値と、測定された換算葉色値を比較した場合に、例えば、葉色基準値より換算葉色値の値が小さければ(色が薄ければ)窒素源の不足が考えられ、逆に換算葉色値の値が大きければ(色が濃ければ)窒素源の過多が考えられる。
これにより、管理サーバ10からスマホ1に対して、窒素肥料を与えるか否か等の施肥管理上のアドバイスを送信することが可能である。
第2の実施の形態の作物管理システムのカメラ30による作物の情報として換算葉色値を取得する作物情報取得方法は、例えば、第1の実施の形態の植物情報取得システムによる植物情報取得方法と同様に行われる。すなわち、上述の図4のフローチャートに示される植物情報取得処理と同様に行われる。
次に、図10、図11および図12のフローチャートを参照してスマホ1における作物管理用アプリにおけるメイン処理とログイン処理と初期設定処理を説明する。なお、ここで作物管理用アプリは、説明を容易とするために作物として稲の施肥管理や肥培管理等の栽培の管理を行うものとするが、作物は稲に限定されるものではなく、作物として各種野菜、果物、穀物等の各種作物にこの作物管理システムを適用可能である。
図10は作物管理アプリのメイン処理を示すフローチャートとメイン画面である。作物管理用アプリをスマホ1で起動すると、メイン処理が開始されメイン画面1aが表示される(ステップA1)。ここで作物管理用アプリには、基本的にログイン処理と、初期設定処理と、作物管理処理とが行われる。また、作物管理処理には、3つのモードがあり、ユーザがスマホ1でいずれかのモードを選択することができる。この作物管理処理のモードには、換算葉色値の測定と測定された換算葉色値が示す作物の生育状態の判定とを行う測定判定モードと、ユーザが植付、農薬の散布、施肥等の農作業の情報を入力する栽培情報入力モードと、測定された換算葉色値の測定結果の履歴を葉色規準値と比較して表示する葉色値履歴表示モードとがある。
図10に示すように、起動時のメイン画面(起動画面)1aには、初期設定ボタン1bと、作物管理処理の上述の各モードに対応するボタンとして、測定判定ボタン1cと、栽培情報入力ボタン1dと、葉色値履歴表示ボタン1eが表示される。また、メイン画面1aには、ログインボタン1fが表示されており、ログインボタン1fをタッチすると、ログインしていない場合にログイン処理が開始されることになるが、基本的にログインしていない状態では、いずれのボタンをタッチしても、ログイン処理が開始される。
すなわち、スマホ1では、作物管理アプリ起動後のメイン画面1aでのタッチ操作を契機としてログインしているか否かが判定される(ステップA2)。なお、ログインした状態とは、管理サーバ10で、作物管理アプリが起動しているスマホ1からのアカウント情報の入力による認証が行われて、スマホ1による管理サーバ10へのアクセスが許可された状態である。
ログインしていない場合には、後述のログイン処理が開始される(ステップA3)。既にログインしている場合と、上述のログイン処理が終了した場合に、メイン画面1aのログインボタン1f以外の各ボタン1b〜1eへのタッチを契機として、メイン画面上の各ボタン1b〜1eに対応する作業(処理)の選択が行われる(ステップA4)、タッチされたボタン1b〜1eに対応して、初期設定処理か選択されて実行されるか(ステップA5)、作物管理処理の測定判定モードが選択されて実行されるか(ステップA6)、作物管理処理の栽培情報入力モードが選択されて実行されるか(ステップA7)、作物管理処理の葉色値履歴表示モードが選択されて実行される(ステップA8)。
次に、図11のフローチャートを参照して、ログイン処理を説明する。
上述のように作物管理用アプリを起動した際に、ログインされていない場合に、ログイン処理が開始され、ログイン画面がスマホ1の画面1aに表示される(ステップB1)。ログイン画面には、例えば、ユーザIDと、パスワードの入力欄が表示されるとともに、これらユーザIDおよびパスワードを入力した後にログインするためのログインボタンが表示される。また、ログイン画面には、ユーザIDおよびパスワードが設定されていない未登録のユーザに対して、登録ボタンが表示されている。
ログイン画面上で登録ボタンが押されると、ユーザ登録処理が開始されることになり、作物管理用アプリでは、登録ボタンが押されるか、ログインボタンが押されるかで、ユーザ登録を行うか否かを判定する(ステップB2)。
すなわち、登録ボタンがタッチされた場合に、ユーザ登録が選択されたものとしてユーザ登録処理を行い、ログインボタンが押された場合にログイン処理を行う。
登録ボタンがタッチされた場合には、ユーザ登録処理が行われる(ステップB3)。ユーザ登録処理では、管理サーバ10のユーザ情報データベース12にユーザ毎に登録されるユーザ情報を入力させる処理が行われる。基本的には、ユーザ情報の各項目の入力欄が表示され、各入力欄に対応するユーザ情報をユーザに入力させる処理が行われる。なお、このユーザ登録処理では、スマホ1から管理サーバ10にユーザ情報が送信されて管理サーバ10のユーザ情報データベース12にユーザ情報が登録されることになり、ユーザ情報登録時には、スマホ1と管理サーバ10との間でデータ通信が行われる状態となっている必要がある。
ユーザ登録処理で入力されてユーザ情報データベース12に登録されるユーザ情報には、例えば、顧客ID、ユーザID、パスワード、氏名、住所、メールアドレス、電話番号、課金情報、契約期間、カメラシリアルナンバー、所属団体等がある。
ユーザ情報登録処理では、スマホ1から管理サーバ10にユーザ情報登録が行われることが通知され、この際に管理サーバ10は、ユーザ情報データベース12に未だ登録されていない顧客IDを自動で設定する処理が行われた後に、この顧客IDに紐付けしてスマホ1で入力されたユーザ情報が管理サーバ10に登録される。
ユーザIDは、ユーザが決めるIDであり、例えば、ニックネームやメールアドレスや氏名であってもよいが、他のユーザと重複しないものが好ましい。なお、ユーザIDは、ユニークな顧客IDに紐付けされているので、他のユーザと重複してもよい。
課金情報は、例えば、クレジットカードの情報であるが、課金はプリペイドカードや電子マネーカードや銀行振り込みや自動引き落とし等で行うものとしてもよい。また、ユーザが作物管理システムの利用において、必ず課金されるものでなくともよい。
契約期間は、ユーザの作物管理システムの契約上の利用期間であるが、例えば、契約期間は自動的に更新される。カメラシリアルナンバーは、上述のスマホ1に接続されるカメラ30にそれぞれユニークに設定された番号であるとともに、カメラ30が正規品か否かの判定が可能となっている。この例では、作物管理システム用のカメラ30が設定されており、設定されたカメラ30をユーザが購入して使用するか、所属団体からカメラ30が提供されるようになっており、各カメラ30には、シリアルナンバが付されており、シリアルナンバにより作物管理用システムで利用可能なカメラ30か否かを判定(認証)できるようになっている。なお、使用可能なカメラ30を限定することにより、換算葉色値の測定結果のばらつきを抑え、測定結果の信頼性の向上を図ることができる。
なお、シリアルナンバが入力されない場合に、スマホ1に接続されたカメラ30を使用できないものとして、作物管理システムが利用できないようにしてもよい。例えば、カメラ30の購入を作物管理システムの使用条件の1つとしてもよい。
所属団体は、例えば、農協や農業法人等である。この所属団体に応じて、団体に所属するユーザに対して、当該所属団体で管理する端末60からのアドバイスを受けるなどのサービスが可能となる。
ユーザ情報の各入力欄にユーザ情報が入力されると、ユーザ登録完了となって、ユーザ登録処理が終了する。なお、ユーザ登録終了時にログインした状態となる。
ログインボタンが押された場合には、ユーザ登録処理が行われずに、ログイン入力処理(ステップB4)が行われる。ログイン入力処理では、上述の入力欄に入力されたユーザIDとパスワードが管理サーバ10に送信され、管理サーバ10でユーザ情報データベース12を用いた認証処理が行われることになる。管理サーバ10では、上述のようにスマホ1から入力されたユーザIDと顧客IDに基づいてユーザ情報データベース12からパスワードを抽出し、抽出されたパスワードと入力されたパスワードが一致する場合にログインを許可し、一致しない場合にログインを拒否する。
ログイン入力処理が終了したスマホ1では、認証処理が開始され(ステップB5)、管理サーバ10から上述のログインの許可または拒否の結果が送信された場合にそれを表示する。なお、ログインが許可された際には、スマホ1は、管理サーバ10にログインした状態となり、管理サーバ10で設定されたメニューを選択することにより、各処理が行われる。ログインが拒否された場合には、ユーザがアカウントとしてのユーザIDとパスワードの再入力を行うか、作物管理用アプリを終了する。
次に、起動時のメイン画面(起動画面)1aにおいて初期設定ボタン1bが選択された際の処理について説明する。スマホ1が管理サーバ10にログインした際に、未だ初期設定が済んでいない場合に、スマホ1では、初期設定処理を促す。なお、初期設定が済んでいるか否かは、ユーザ情報データベース12に顧客IDに紐付けして登録されており、管理サーバ10にログインした際に確認される。なお、農地情報データベース13に、顧客IDに対応する農地が登録されていなければ、初期設定処理における圃場登録が行われていないことになり、初期設定処理を行ったか否かが確認可能である。
この初期設定処理では、基本的にユーザが農作業を行う圃場の位置が登録される。なお、作物管理システムで施肥管理を行う際には、農地情報における圃場の面積のデータ等が必要であるが、例えば、換算葉色値等から稲等の作物の生育状態を判断し、施肥管理は、独自の方法で行うのであれば、必ずしも農地情報として各圃場の情報を入力する必要はない。なお、農地情報の入力は、設定画面からいつでも行えるようになっている。
スマホ1の初期設定処理では、図12のフローチャートに示すように、初期設定画面がディスプレイに表示される(ステップC1)。初期設定画面には、圃場登録を行うか否かの選択画面が表示され、選択画面で圃場登録を行うか否かをユーザが入力可能となる。ユーザの入力に基づいて、スマホ1で圃場登録を行うか否か判定される(ステップC2)。圃場登録を行わないことが選択されると初期設定処理が終了する。一方、圃場登録を行うことが選択されると、農地情報の入力欄が表示され、各農地情報として、上述の圃場の情報がユーザにより入力可能となる。なお、各ユーザは、複数の圃場を登録可能となっている。農地情報の入力欄に各農地情報を入力すると、スマホ1が圃場登録処理として、入力された農地情報を管理サーバ10に送信する(ステップC3)。送信された農地情報は、管理サーバ10の農地情報データベース13に顧客ID(ユーザーID)に紐付けされて登録される。なお、農地情報データベース13では、圃場の単位としての筆毎に、圃場を登録するようになっている。
初期設定処理で入力される農地情報としての圃場の情報は、圃場毎(筆毎)の筆シリアルナンバと、圃場名と、住所と、地域名と、圃場の面積と、圃場の形状の頂点(角)の数と、各頂点の緯度および経度と、所有者名である。圃場名は、ユーザが複数の圃場を有する場合に各圃場の区別を容易にするためのものであり、任意に設定される。なお、ユーザID等と連番やアルファベット等との組み合わせで自動的に設定可能としてもよい。圃場の各筆シリアルナンバは、農地情報データベース13内で重複しないユニークな数値となっており、筆シリアルナンバの設定は、例えば、管理サーバ10で、農地情報データベース13を参照して重複しないように行われる。
圃場の面積は、ユーザが入力してもよいが、上述の各頂点の位置を入力することにより、圃場の形状とサイズが決まるので、圃場の形状とサイズから圃場の面積を算出してもよい。地域名は、基本的に住所の市町村となる名前であるが、例えば、地域名が米のブランドとして扱われている場合に、ブランドとなっている名前を用いてもよい。
圃場の形状の頂点の位置としての緯度・経度の入力においては、例えば、スマホ1のGPSによる現在地を用いてもよい。
例えば、頂点の数を入力した後に、スマホ1を持ってユーザが各頂点に立ち、スマホ1の初期設定画面で所定のボタンを押すことで、スマホ1がGPSで測定された現在位置を入力するようになっている。また、地図アプリを利用して地図上で頂点位置をタッチすることで、頂点位置を入力してもいい。この場合に、スマホ1の表示として、地図単独だけではなく、航空写真を用いてもよい。
GPS単独での現在地入力には、誤差が生じる虞があるので、GPSで各圃場の頂点の位置を入力した後に、地図アプリの地図上の入力された頂点の位置を表示させて地図上で位置を修正するものとしてもよい。なお、既にユーザにより圃場の面積が入力されており、圃場の頂点位置で示される形状から面積を算出しない場合には、頂点位置に多少の誤差があっても問題ないので、修正せずにGPS上の位置を用いるものとしてもよい。
1つの圃場の情報の入力が終了した場合、引き続きその圃場の測定ポイントをユーザに入力させ、入力された測定ポイント情報を測定ポイントD/Bに登録する処理を行う(ステップC4)。測定ポイントの入力は、前述した圃場の形状の頂点の位置の入力方法と同様の方法で入力することができる。SPAD換算値の測定は定点観測する必要があるため、測定ポイントを予め登録しておく。測定ポイントは入力された順番に測定ポイントNOが付与される。
1つの圃場の情報の入力が終了した場合には、初期設定画面に次の圃場の情報を入力するか否かを選択する画面が表示されるので、ユーザがさらに別の圃場の情報を入力するか否かを選択する。
スマホ1では、引き続き次の圃場の情報を入力するか否かが判定され(ステップC5)、次の圃場の情報の入力を行わない場合に初期設定処理を終了し、次の圃場の情報の入力を行う場合に、ステップC3の前の圃場の情報を入力する状態に戻り、次の圃場の情報を入力することになる。
作物管理システムでは、初期設定が終了した状態で、ユーザが定期的に換算葉色値の測定を行い、葉色基準値に対して測定された換算葉色値が大きいか小さいかを判定することになるが、この換算葉色値のデータ以外に栽培情報として作物(稲)の品種、作物の生育度合、作物の栽培密度等の測定値をスマホ1から管理サーバ10の測定値データベース15に入力するようになっている。また、肥料を施したり、農薬を散布したりする農作業を行った場合に、これを栽培情報として栽培情報データベース14に登録するようになっている。
この栽培情報の入力は、作物管理処理の栽培情報入力モードで行われるものである。栽培情報の入力には、圃場の情報が必要であり、初期設定処理後に利用可能となる。上述のメイン画面1aで、栽培情報入力ボタン1dをタッチすることで、作物管理処理の栽培情報入力モードが開始される。
次に、起動時のメイン画面(起動画面)1aにおいて栽培情報入力モードボタン1dが選択された際の処理について説明する。図13のフローチャートに示すように、栽培情報入力処理においては、圃場を特定するデータの入力を行うようになっており、例えば、スマホ1の栽培情報入力画面に圃場名の入力欄が表示され(ステップD1)、ユーザが圃場名を打ち込むことにより、スマホ1から圃場名が管理サーバ10に送信される(ステップD2)。なお、スマホ1は、既に管理サーバ10に対してログインしているので、当該ユーザが所有・占有・担当する圃場名を画面上に表示し、ユーザが選択するようにしてもよい。また、この際には、スマホ1から現在の年月日を示すデータが管理サーバ10に送信さえる。なお、年月日のデータは、現在の年度や西暦や和暦のいずれかが分かるデータであればよく、管理サーバ10側の時計機能により求められてもよい。
栽培情報データベース14では、圃場一筆毎で、さらに年度毎に1レコードのデータとして各圃場の栽培情報が登録されており、各レコードは、顧客IDに紐付けされるとともに、圃場を特定可能な上述の圃場の筆シリアルナンバと、年度が紐付けされている。したがって、ログインして顧客IDが認識されているスマホ1から圃場名と年度を示すデータが管理サーバ10に送信されると、管理サーバ10では、農地情報データベース13を参照して、圃場名に対応する圃場が登録されていることを確認し、顧客IDと、農地情報データベース13から抽出した筆シリアルナンバと、現在の年度から栽培情報データベース14の圃場と年度毎に1レコードとして記憶される栽培情報を抽出する。
管理サーバ10からは、栽培情報データベース14に上述の顧客IDと筆シリアルナンバと年度とに対応する栽培情報のレコードが有るか否かがスマホ1に送信される。スマホ1では、管理サーバ10からの通知により、上述の顧客IDと筆シリアルナンバと年度とに対応するレコードの有無を判定する(ステップD3)。
圃場と現在の年度に対応する栽培情報のレコードがない場合には、新規レコードの作成と登録を行うことになる(ステップD4)。
この場合には、スマホ1から新規レコードの作成が要求され、管理サーバ10で栽培情報データベース14に新規レコードが作成される。
新規レコードが作成時には、新規レコードには、レコード作成時にログインして栽培情報入力処理を選択したスマホ1に対応して顧客IDが登録されるとともに、上述の圃場名に基づいて農地情報データベース13上の筆シリアルナンバが登録され、さらに現在の年度が登録される。通常、年初に新規レコードが作成され、その際に既に決定されている情報として、例えば米品種が入力される。この新規レコード作成時に登録される顧客ID、筆シリアルナンバ、年度によって、これ以降栽培情報データベースで栽培情報を検索可能となり、適切な時期に未入力の栽培情報の入力を行うことが可能となる。
上述の顧客ID、筆シリアルナンバ、年度の情報に対応する栽培情報のレコードがあった場合には、管理サーバ10で該当する栽培情報のレコードが栽培情報データベース14から抽出され、スマホ1にレコードが送信されることになる(ステップD5)。
栽培情報の新規レコードが登録された場合と、栽培情報のレコードが抽出された場合に、スマホ1には、レコードを受信した状態となっており、レコードの栽培情報でデータを入力すべき各基本項目にデータ入力されているか否かがチェックされる(ステップD6)。なお、入力すべき項目は、予め設定された後述の基本項目である。また、このチェックは、スマホ1ではなく、管理サーバ10で行ってもよい。例えば、最初に新規レコードが作成された場合には米品種、坪面積当たり株数などの情報が入力項目として要求される。その後は、時期に応じて入力が必要な項目の入力を促すメッセージを画面上に出力する。
栽培情報データベース14で入力すべきデータの基本項目は、米品種と、坪面積当たりの株数、植付日、出穂日予測、収穫日、収量(Kg)、単位面積当たり収量(Kg/m2)、等級、平均水分量(%)、平均タンパク質量(%)である。米品種とは、例えば、コシヒカリ、あきたこまち等の品種である。なお、ここでは、上述のように作物を米としているが、作物が米以外の場合に、作物の品種が登録される。
坪面積当たりの株数とは、例えば、植付の際に一束ずつ植えられた苗の束の単位面積当たりの数に相当するものである。一株には、複数の稲の茎が含まれており、この一株当たりの茎数は、苗の段階から順次増加する。植付日は、田植えの日であり、作物管理システムで農作業を管理する上では、栽培情報を植付日前後に入力して稲の栽培を管理することが好ましい。
出穂予測日は、稲において出穂が予測される日であり、地域と植付日とに基づいて決定される。基本的には、地域の自治体や農協において予測が行われており、各地域の農業従事者が知ることが可能である。なお、地域と植付日とにより、管理サーバ10で自動入力するようになっていてもよい。
収穫日は、実際に収穫された日以降に登録することになるので、入力すべきデータの項目であるが、実際に栽培している間は入力されていない。なお、収穫日のデータは、栽培情報の今年度より前の年度のデータとして残ることになり、過去の情報として翌年以降の栽培に利用可能である。また、栽培情報データベース14では、収穫後に確定するデータを入力するようになっており、収量(Kg)、単位面積当たり収量(Kg/m2)、等級、平均水分量(%)、平均タンパク質量(%)等のデータは、収穫後に行われる検査の後に入力される。
栽培情報データベース14には、上述の基本項目の情報に加えて、行った農作業が記憶されるようになっており、例えば、肥料を施した日や農薬を散布した日と関連付けて施した肥料を示す実施項目コードと施した量や、農薬を示す実施項目コードと散布した量を入力可能となっている。栽培情報データベース14では、農作業の実施項目として、各種肥料や各種農薬毎に、コードが設定されており、肥料や農薬を実施項目のコードで特定可能である。なお、農作業は、肥料や農薬に限られるものではなく、各種農作業を含ませることができ、農作業のコードを設定すればよい。農作業としては、田圃への水の出し入れや、米以外の作物への灌水の際の水量や、草取りや、果実への袋かけなど、実際に行われる農作業の全てを登録可能とすることができる。
スマホ1では、上述の入力すべき項目のチェックで入力すべき項目があったか否かが判定される(ステップD7)。なお、上述のようにチェックが管理サーバ−10で行われた場合にチェック結果の判定も管理サーバ−10で行われる。
入力すべき基本項目で栽培情報が未入力の項目がある場合に、スマホ1上に基本項目の入力画面が表示され、未入力の項目に栽培情報が入力可能となる(ステップD8)。基本的には、収穫日は、栽培中は未入力であり、収穫されるまで、基本項目の入力画面が表示されるが、基本項目の入力画面をスキップすることが可能となっている。また、栽培情報の圃場毎のレコードが新規登録された場合には、未入力の基本項目があり、栽培情報の基本項目を入力することになる。
基本項目が入力された場合、基本項目の入力がスキップされた場合、入力すべき基本項目がない場合に、上述の農作業の項目を入力するための栽培情報入力画面がスマホ1に表示される(ステップD9)。スマホ1において、農作業の情報が入力可能になり、農作業の入力欄に実施した日付、実施項目のコード、実施した内容に係わる数値(例えば、肥料、農薬、水等の量)が入力可能となる(ステップD10)。
なお、栽培情報の入力においては、スマホ1の栽培情報入力画面に各栽培情報の入力欄が表示され、ユーザにより上述の実施項目のコード等の栽培情報の入力が行われる。入力欄に栽培情報が入力されると、スマホ1から管理サーバ10に入力された栽培情報が送信され、管理サーバ−10の栽培情報データベース14に栽培情報が入力される(ステップD11)。
次に、起動時のメイン画面(起動画面)1aにおいて測定判定モードボタン1cが選択された際の処理について図14のフローチャートを参照して説明する。本実施の形態において、作物の生育状態を測る指標として葉の換算葉色値と、作物の草丈と、一株中の茎数を測定している。作物の草丈は、作物の生育状態を示すものであるが、例えば、米のように葉や茎ではなく、穀物として実を収穫する場合に、草丈と収穫量が比例するわけではない。特に稲では、草丈が高く成り過ぎると、倒伏する確率が高くなり、実の収穫量や品質に悪影響を与える。
葉色値は、基本的には、葉緑素濃度に依存し、葉緑素濃度は窒素量に依存する。すなわち、肥料としての窒素量が十分ならば葉色値が大きい値となり、窒素量が不十分ならば葉色値が小さい値となる。葉色値の場合も、十分な濃さを示す状態よりもさらに濃くなっても米の収穫量等に好影響を与えるとは限らず、基本的には葉色値、すなわち、緑色の濃さが適度な濃さとなっていることが好ましい。各品種と時期に対応する葉色基準値は、例えば、高品質の米の多くの収穫に好適な葉色値を示すものである。一株中の茎数は、上述のように植付後に増加し、茎数の増加により、肥料等の必要量が増加することになる。
上述のようにスマホ1のメイン画面1aに表示された測定判定ボタン1cを押すと、作物管理処理の測定・判定モードが開始される。図示されていないが、最初にユーザは圃場を選択する。これは、画面上にユーザの圃場一覧画面を表示しユーザがタッチして選択することにより決定される。圃場が選択されることによりサーバ上の農地情報D/Bと測定ポイントD/Bが検索され、圃場の情報と測定ポイントの情報が取得され、画面上に選択された圃場の形状が表示されその上に測定ポイントの位置が表示される。以降の作物管理処理の測定・判定処理は選択された圃場の測定ポイントの数だけ行われるようになっている。ユーザがまず測定ポイントをタッチして選択すると、スマホ1では、換算葉色値の測定の前に、稲の草丈の入力欄と、一株当たりの茎数の入力欄が表示される。これによりユーザがスマホ1上で、稲の草丈と一株当たり茎数を入力すると、スマホ1でこれら草丈と茎数が記憶される(ステップE1)。
次に、スマホ1に接続されたカメラ30により稲の葉を撮影することで、葉の画像データをカメラ30からスマホ1に入力する(ステップE2)。この際には、外光が遮られた状態でLEDの照明光により葉が撮影される。これにより外光の影響を抑制することができるとともに、LED照明での撮影に当たって葉の表面からの直接の反射光を偏光板で抑制することで、近い位置からのLED照明に対する反射光が白く写るのを防止する。指定された測定ポイントで撮影できるように、撮影前にスマホ上に現在地と測定ポイントを示す地図を表示してユーザを正確な位置に誘導してもよい。あるいは、「少し前方に○m」「斜め前に○mです」という音声案内を行ってもよい。
スマホ1においては、撮影データの入力に対応して内部のGPS機能から現在の位置の緯度と経度とを読み取るとともに、内部の時計機能により現在の時刻(年、月、日を含む)を読み取り、画像データに関連付けて位置と日時とを記憶する(ステップE3)。なお、読み取った現在の位置の緯度と経度が現在選択されている測定ポイントから1m以上離れている場合は入力ミスとしてエラーメッセージを出力する。あるいは、当該圃場に登録されたいずれかの測定ポイントから1m以内にあると判断された場合は、測定ポイントの入力ミスがあったものとして、入力された測定ポイントを当該最も近い測定ポイントとして以下の処理を行うようにしてもよい。
また、スマホ1は、天気の情報を出力しているサイトにアクセスし、上述のGPSにより読み取られた現在地を含むか近傍となる地域の現在の天気を読み取る(ステップE4)。次に画像データから換算葉色値を算出するための画像解析を行う(ステップE5)。基本的には、上述のように画像データからR・G・B・Grayの各値の代表値を求める処理を行う。なお、この処理は、例えば、カメラ30で行うものとしてもよいし、スマホ1で行うものとしてもよい。
次に求められたR・G・B・Grayの値と、換算葉色値を上述の相関式を用いて算出する(ステップE6)。ここで、換算葉色値は、SPAD値との相関から求めており、SPAD値と近似する値となっている。この換算葉色値(SPAD換算値)は、SPAD値として利用可能であるとともに、カラースケールで想定されるカラースケール換算値にも変換可能である。基本的に地方自治体や農協等が提供するデータでは、カラースケール値とSPAD値が用いられており、画像データから求められた換算葉色値(カラースケール換算値とSPAD換算値)を用いて提供されたデータによる判定が可能となる。
換算葉色値の1つの測定ポイントにおける測定が終わると図15に示すように、スマホ1の画面5b(1)(測定表示モード画面)に、測定結果の表示が行われる。なお、ホッチキス状のカメラ30の葉を挟んでスイッチ35がオンとなることにより、撮影が自動で行われる。この際にカメラ30が接続されたスマホ1でシャッタ音が出力されるとともに、振動(1秒間)が発生するようになっている。
画面5b(1)には、撮影された画像データの表示5cが行われる。この表示5cは、葉の表面を示すもので、例えば、換算葉色値を示唆する緑のカラー画像である。また。画面5b(1)には、画像データの色の平均値(代表値)としてのR、G、B、グレイ(Gray)の値の表示5dと、これらの値から算出されたSPAD換算値の表示5eと、SPAD換算値から換算されたカラースケール換算値の表示5fとが行われる。また、1つの測定ポイントで設定された回数だけ測定を行って各測定ポイントのSPAD換算値とカラースケール換算値の平均を求めるようになっており、撮影すべき設定された回数から撮影回数を除算した残り撮影回数の表示5gが行われるようになっている。また、画面5b(1)には、シャッターボタン1hが表示されており、葉を挟んでスイッチ35をオンとしなくとも、画面5b(1)のシャッターボタン1hに指をタッチさせることでも、撮影が可能となっている。これにより、葉のように薄い形状以外の作物としての根菜や果物等の表面の撮影も可能となる。
図16に示すように1つの測定ポイントで設定された回数の撮影が終わると、スマホ1に測定結果表示1iが行われる。この表示では、設定された測定回数の各測定における測定値としてのSPAD換算値とカラースケール換算値が表示されるとともに、これらの平均値が測定される。なお、平均する前の測定値に異常値があるような場合に、再測定を行うことも可能であり、例えば、1つの測定値をタッチして、画面上の変更をタッチすると、再撮影が可能になる。問題がなければ、登録をタッチすることで、測定値と平均値等のデータが管理サーバ10に送信されて記憶される。なお、測定者が測定時に気付いた点をコメントとして記載可能であり、データの登録時にコメントも記憶される。
次に、管理サーバ−10に上述のように入力された位置と月日のデータを送信する。管理サーバ−10では、稲の品種と位置と月日に基づいて葉色基準値データベース16から葉色基準値を抽出し、スマホ1に送信する。スマホ1では、葉色基準値を得ることができる(ステップE7)。
なお、本ステップE7において、スマートフォンにカメラが有線あるいは無線で接続された際にカメラ内部のメモリに記憶されたカメラのシリアルナンバを取得し、サーバに上記データを転送する際に同時に転送するようにし、サーバでは受信したカメラのシリアルナンバとユーザ情報D/Bに格納されたカメラシリアルナンバーとを比較して一致しない場合に不適切なアクセス要求としてスマートフォンに回答し、スマートフォンではエラーメッセージを出力しその後の処理を行わないようにしてもよい。これにより、不適切なアクセス、不適切なカメラによる画像およびSPAD換算値のサーバへの登録を防止でき、次年度の葉色基準値の適正な決定を行うことができる。
葉色基準値データベース16には、品種と日付に対応付けて標準(基準)の葉色値である葉色基準値が図14のグラフに示すように登録されており、品種と日付を入力することで葉色基準値を抽出することができる。スマホ1では、測定により画像データから得られた換算葉色値と、葉色基準値データベースから得られた葉色基準値とを比較する(ステップE8)。なお、ここで葉色値は、値が大きいほど色が濃いものである。
比較結果は、測定値と基準値が略同じで基準値に対して測定値が許容範囲の場合(ステップE9)と。許容範囲を越えて基準値より測定値が大きい場合(ステップE10)と、許容範囲を越えて基準値より測定値が小さい場合(ステップE11)とになる。
基準値と測定値が許容範囲内の場合は、栽培されている稲の換算葉色値が葉色基準値と略等しいので、順調に生育していることになり、例えば、スマホ1で稲の生育が順調であることを示す表示が行われる(ステップE9)。測定値が許容範囲を越えて基準値より大きい場合、すなわち色が濃い場合には、窒素肥料が過多である可能性が高く、スマホ1で肥料を控えたり、稲の状況を観察したりするように、注意を喚起する表示が行われる(ステップE10)。測定値が許容範囲を越えて基準値より小さい場合には、窒素不足が考えられ、窒素肥料を施すことが好ましく、肥料の量を決定するために測定値と基準値を用いて管理サーバ10の農業・肥料データベース17を検索する(ステップE11)。この場合には、換算葉色値の測定値と基準値に加えて稲の品種、圃場の地域、植付日、現在の日付等を入力する。農業・肥料データベース17には、品種と地域毎に、基準値と測定値の差と、植付日から現在までの経過日数と、施肥量とのテーブルデータが記憶されている。テーブルデータでは、基準値と測定値の差と、植付日からの経過日数とから施肥量が求められるようになっている。
施肥量は、設定された種類の肥糧の圃場の単位面積当たりの重量となっている。農業・肥料データベース17から抽出された施肥量は、例えば、農地情報データベース13に登録された面積が乗算される。これにより、単位面積当たりの施肥量と、一圃場当たりの施肥量が算出される。この場合に、栽培情報データベース14の単位面積(坪)当たりの株数と、測定値データベース15の株当たりの茎数、草丈等のデータに基づいて施肥量を補正するものとしてもよい。例えば、茎数と草丈とは、月日に対応して基準値を設定し、株数も基準値を設定し、茎数と株数が基準値より多い場合には、施肥量を増加するように補正し、草丈が高い場合には、施肥量を減少するように補正するものとしてもよい。
決定された単位面積当たりの施肥量と一圃場当たりの施肥量は、例えば、管理サーバ−10で算出され、スマホ1に送信されて(ステップE12)、スマホ1で表示される(ステップE13)。なお、表示された施肥量データに基づき実際に施肥を行った場合には、前述の栽培情報入力モードを選択して施肥の実施について記憶することとなる。上述のような測定値と基準値との比較結果に基づいた処理が終了した際に、測定された各種値を測定値データベース15に圃場毎(筆シリアルナンバ毎)に登録する(ステップE14)。
すなわち、測定値データベース15には、顧客ID 、筆シリアルナンバ、撮影日時、測定場所(GPS) 、天気、気温 、カラー画像、換算葉色値(換算した測定結果)、基準値、草丈値、一株当たり茎数、R値、G値、B値、Gray(Y)値、診断結果等が登録される。
この測定値データベース15に記憶されたデータは、基本的に顧客IDとパスワードにより認証されたユーザのスマホ1から閲覧可能であるとともに、作物管理システムを運営している団体、例えば、地方自治体、農協、農業法人等の端末60から閲覧可能であり、データを利用可能となっている。この場合に複数のユーザの各圃場のデータを見比べることが可能となる。
ユーザのスマホ1から閲覧可能な画面表示について説明する。測定値データベース15のデータを用いた処理に、上述の作物管理処理の葉色値履歴表示モードがある。上述のようにメイン画面1aで、葉色値履歴表示ボタン1eを押すと、図17に示すように、測定値の過去のデータ(履歴)と基準値の過去のデータ(履歴)とを比較可能な画面が表示される。
この場合に時の経過に伴って変動する基準値と測定値の両方を見ることができるので、例えば、基準値より測定値が低い状態で施肥量を増加させた場合に、その後も測定値が規準値に至らない場合や、略基準値に至る場合や、規準値を越えてしまう場合などの観察が可能になり、これらのことから測定値と基準値との差に対する最適な施肥量を求めることなどが可能となる。なお、図17においては、栽培情報データベース14に登録された施肥や農薬散布の日付と肥料や農薬の使用量が表示されるようになっている。これら施肥や農薬散布の表示は、それらを行った日付に対応してグラフの時間軸上に表示される。これにより、肥料や農薬による測定値への影響を容易に確認できる。
また、本画面においては、図17のグラフの背景の色を、換算葉色値(SPAD換算値)の測定値と基準値との差の変化に対応して変化させるように表示している。すなわち、グラフの背景を時間軸の所定期間毎にブロックに分け、各ブロックの背景色を測定値と基準値との差の値に対応して予め設定された色にして表示する。これにより、測定値と基準値との差を視覚的に確認できる。この際、測定していない時期の色は前後の測定日の色から補完して推測して着色することが好ましい。この際に基準値もグラフの上方あるいは下方に帯として表示し、グラデーションとして表現することにより、基準値と測定値の相違を色の相違により視覚的に認識できる。
また、ユーザにより選択された圃場について、全ての測定ポイントについて測定算出されたSPAD換算値のデータと、ユーザが圃場全体を上方からスマホ1のカメラ機能で撮影した画像を用いて、スマホ1の画面上に圃場の外形形状を表示し、測定ポイントごとのSPAD換算値の測定値と基準値を表示し、測定ポイント毎のSPAD換算値と圃場撮影画像に表された色彩状況から圃場全領域のSPAD換算値分布を推測し、基準値との差を色分けして塗りつぶし表示した画像を表示したものを図18に示す。ここでは、スマホ1で撮影された画像中の圃場を認識させる。この際には、スマホ1のGPS等による位置測定機能により圃場の撮影位置を決定するとともに、圃場の形状を畦等により画像認識させ、かつ、上述の圃場の形状の頂点位置から圃場の範囲を認識させる。なお、ユーザがスマホ1の画面上で撮影された画像上の圃場の範囲を入力するものとしてもよい。この場合には、例えば、圃場の画像上で上述の形状の頂点位置をタッチすることで、圃場の範囲を入力する。
次に、スマホ1では、画像データ上で上述のように測定を行った測定ポイントの位置を設定する。この場合に、上述の測定ポイントの緯度と経度を用いる。圃場の画像データにおいて、画像上の色の違いで圃場を複数のエリアに区分けする。この際には、例えば、画像データのRGBの各値やRGBから求められる色差や輝度等に係わる値のうちのSPAD値と相関性が高い値を用いる。例えば、Gの値やRGBの値から求められる輝度に係わるGrayの値を用いてもよい。また、各画素のRGBの値やGrayの値から上述の相関式により仮のSPAD換算値を求めて用いてもよい。
上述の値(例えば、Gの値)を用いて各エリアに区分けする方法は、例えば、任意の方法を用いることができ、各測定ポイントにおける画像データ上のGの値をソートして値の大小の順に並べ、隣り合うGの各値の中間の値を閾値として、各測定ポイントのGの値が含まれるGの値の範囲を閾値毎に区切られた範囲として設定し、画像データの各画素のGの値に基づいて各画素を各範囲毎のエリアに区分けする。
区分けされた各エリアは、含まれる測定ポイントの測定値と基準値との差の値の大小により色分する。また、基準値との差ではなく、圃場全領域のSPAD換算値分布を塗りつぶし表示してもよい。この画面上の、測定ポイントがある場所には×印などの印をそのSPADの測定値とともに表示している。
次に、作物管理システムを運営している団体、例えば、地方自治体、農協、農業法人等の端末60に表示される画面について説明する。上述のように端末60では、作物管理サーバ−10に登録されているので、例えば、図19に示すように、地図上で作物管理システムに登録されている各圃場の領域を圃場内の全ての測定ポイントの測定値の平均値と基準値との差の違いを色分けして表示するようなことも可能である。この場合に略同じ地域内で基準値とあまり差がない圃場と大きな差がある圃場とを見分けることが可能となり、基準値と測定値との差が大きな圃場のユーザのスマホ1に対して、注意を促すようなメッセージを送ることなどが可能となる。
また、各圃場の基準値と測定値の差と、各圃場の米の生産量や米の品質等とを比較することにより、米の生産量が高く米の品質が高い圃場の測定値に基準値を近づけることが可能となる。これにより基準値をより適した値に改善していくことが可能となる。なお、図17〜図19の色分けは基準葉色値との差を表しているが、換算葉色値(SPAD換算値)の測定値を示す色分け(葉色を直接表現あるいは、換算葉色値に応じた色分け)としてもよい。
次に、本発明の第3の実施の形態を説明する。
第3の実施の形態は、第1の実施の形態の植物情報取得システムおよび第2の実施の形態の作物管理システムにおいて、前記色情報や植物情報の異常値を検出して削除するための方法を説明するものである。
例えば、熟練した農業従事者が、葉緑素計でSPAD値を測定するような場合には、稲の視覚による色の感じと、測定結果であるSPAD値とから測定結果が異常と判断して測りなおす場合があり、異常に基づく作物管理への影響が排除される可能性が高い。しかし、測定になれていない農業従事者には、異常値を見つけることは、必ずしも容易ではない。そこで、植物情報取得システムおよび作物管システムでは、カメラ30またはスマホ1において、測定される色情報や植物情報の異常値を検知するようになっている。
本実施の形態において、図32に示す3つの異常の原因に対応する異常値の検知方法では、3つの異常値判定条件のいずれかを満たす場合に異常値としている。第1の異常判定条件は、カメラ30の撮影範囲中の所定範囲で被写体を撮影した場合に、撮影位置がずれて所定範囲の一部が被写体から外れたり、被写体の側縁部に重なったりした場合の異常を判定するものである。ここで、所定範囲は、例えば、2mm×2mmで、180画素×180画素程度の範囲である。したがって、例えば、稲の葉の幅よりは十分に小さいが撮り方によって葉と所定範囲全体が重ならない場合がある。この場合に得られた矩形の所定範囲の画像の四隅のいずれかが被写体からはずれた状態となり、画像の被写体から外れた隅部分が他の部分より暗くなる(色が濃くなる)か、明るくなる(色が薄くなる)。
したがって、第1の異常値判定条件では、所定範囲の4隅部分の画素からRGB値を取得し、それぞれの隅部分の換算葉色値を求める。ここで、黄色換算値を葉色カラースケールの読み取り値の換算値とした場合に、4隅部分の換算葉色値が1未満、または7を超える場合は、当該測定で得られる所定範囲全体の色情報や換算葉色値を異常値と判定する。
すなわち、異常値判定条件は、矩形の所定範囲の4隅部分でそれぞれ換算葉色値を求め、当該葉色換算値の1つでも所定の上限値または所定の下限値を越える場合に、その測定時の測定結果としての換算葉色値を異常値と判定する。図32において、第1の異常値判定条件を説明するための画像においては、1〜4までの4つの隅部において、1つの隅部だけ、換算葉色値が7を超えて9以上となっており、所定範囲全体の換算葉色値が異常値と判定される。なお、異常判定に用いるのは、換算葉色値に限られるものではなく、葉色換算値を求めるのに使用された測定結果としてのRGB、GRAY値(平均値)のいずれかを単独または複数組み合わせて、設定された単独または複数の閾値(上限値、下限値)と比較して判定するものとしてもよい。
第2の異常値判定条件は、撮像時に十分に遮光されずに外光が入り込んだ場合の異常値を主に判定するものである。本実施の形態では、葉を挟んで遮光して撮影が行われるが、葉の表面が平面ではなく、曲面となっていることで、遮光が十分に行なわれずに、外光が入り込み、画像が正常な場合より明るくなる(色が薄くなる)場合がある。第2の異常値判定条件は、このように画像(色情報)が明るくなった場合を異常として検出するものである。なお、外光は上述の矩形の所定範囲の1側縁部から主に浸入する状態となり、矩形の画像において1側縁部が主に明るくなる。図32の第2の異常値判定条件の項目に示されるように、青Bの輝度値(代表値)が閾値としての75(0〜255の範囲)以上となる場合に求められる換算葉色値を異常と判定する。なお、緑の葉を計測する場合に、外光が十分に遮断されている状態と、図32に示すように、外光が入り込んだ状態で、青Bの輝度値の変化が他の色より大きく、外光の有無が分かり易いことから青Bの輝度により異常値を判定する。なお、図32では、各色の平均の輝度値と、異常と判定された場合の輝度値を示すもので、明らかに青Bの輝度の変化量が他の色の輝度の変化量より大きくなっている。
なお、異常値判定条件として、青Bの輝度値ではなく、他の色の輝度値や、全色(白)の輝度値が閾値を越えるか否かを判定するものとしてもよい。矩形の所定範囲の4つの側縁部の青やその他の輝度値を参照して閾値を越えるか否かを判定するものとしてもよい。
第3の異常値判定条件は、葉の汚れ、傷などによるものや、その他の原因による異常値を検知するもので、複数回の測定結果からRGB,Gray値の標準偏差σを求め、例えば、2σの範囲を越える測定結果としての換算葉色値を異常と判定する。なお、葉色カラースケールや葉緑素計による葉色値の測定においては、例えば、1つの圃場において、10株の稲を選択し、それぞれの株において、展開第2葉の葉色値を測定する場合が多い。そこで、本願実施の形態でも、1度の測定で10個の換算葉色値が得られるようにすれば、標準偏差σを求めて、異常値の検出を行うことができる。検出はRGB,Gray値の一つでも上述の範囲を超えた場合に異常判定する。あるいはRGのみ、あるいはRGBの計算値Grayだけを判定してもよい。
以下に、図33のフローチャートを参照して、異常値判定処理を説明する。なお、異常値判定処理は、例えば、スマホ1で行われるものであるが、カメラ30に異常値判定処理の機能を設けてもよい。異常値判定処理では、まず、測定回数を設定する(ステップF1)。上述のように一度の測定では、例えば、10回の測定が行われる。
次に、カメラ30による測定(撮影)を開始し(ステップF2)、カメラ30による撮影を行う(ステップF3)。実際には、測定開始となって、順次カメラ30から画像信号が入力されるのをスマホ1側で待機している状態で、カメラ30から順次画像信号等が入力してくることになる。入力された画像信号はスマホ1側で記憶される。なお、異常値を除去して再測定を行う場合には、異常値である画像信号等の測定結果を削除した後に新たな画像信号を記憶する。
画像信号から所定範囲の各画素のR、G、B、グレイの値を算出して各画素の代表値としての平均値を求めて色情報とするとともに、色情報から換算葉色値を算出する(ステップF4)。この際に、所定範囲全体の色情報および換算葉色値を求めるとともに、4隅部分の色情報および換算葉色値を求める。なお、各画素の平均値は、例えば、緑Gとグレイを求めればよいが、ここでは、異常値判定のためにさらには青Bの平均値(代表値)を求める。なお、RGBの平均値の算出は、カメラ30で行ってもよいし、スマホ1で行ってもよい。
次に、撮像範囲の矩形の所定範囲の四隅部分の換算葉色値が所定の上限値または所定の下限値を越えているか否かを判定する(ステップF5)。
上限値も下限値を越えない場合には、青Bの平均値が所定の閾値を越えるか否かを判定する(ステップF6)。
ステップF5で、矩形の所定範囲の画像の隅部分の換算葉色値が上限値または下限値を越える場合と、ステップF6で、青Bの平均値が書影の閾値を越える場合に、スマホ1においてエラー表示を行う(ステップF7)。例えば、スマホ1のディスプレイに異常値が発生したことを表示し、再測定を通知する。ユーザは、基本的に設定した回数の撮影が終了するまで撮影を繰り返しており、ステップF5.ステップF6で異常と判定された場合には、測定回数がカウントアップされずに、ステップF7でエラーが通知されて、ステップ3に移行してカメラ30から次の画像信号が入力されるのが待機される。
ステップF6で青の色情報が正常と判定された場合には、測定回数を1増加させ、測定回数が上述の設定された回数となったか否かを判定する(ステップF8)。設定された回数に達していない場合には、ステップF3に移行して、次のカメラ30の撮影に基づく画像信号が入力した際に画像信号を記憶してステップF4に移行する。
ステップF8で、測定回数が設定された回数に達した場合には、測定された全ての換算葉色値のRGB,Gray値の標準偏差σと平均値を求め(ステップF9)、次に換算葉色値の平均値から例えば2σの範囲を越える換算葉色値があるか否かを判定する(ステップF10)。
2σの範囲を越える換算葉色値がない場合に、これを確認し(ステップF11)、測定された換算葉色値をスマホ1に登録する(ステップF12)。
また、ステップF10で2σを越える葉色値があった場合に、異常値があることを示す警告を表示する(ステップF13)。次に、ユーザに対して異常値を除去した際に、異常値に代る測定値を得るために再測定を行うかボタンの押下等により意思表示させて、再測定を行うか否かを判定する(ステップF14)。ユーザが再測定を行わないことを示す入力を行ったと判定された場合に、ステップF12に移行して、測定結果を全てスマホ1に登録する。なお、上述の2σの範囲を越える測定結果を排除してもよいし、登録するか否かをユーザに問い合わせるものとして、登録するか否かをユーザに決めさせてもよい。なお、異常検出はRGB,Gray値の1つでも超えた場合異常判定する。あるいはRGのみ、あるいはRGBの計算値Grayだけを判定してもよい。
ステップF14において、ユーザが再測定を選択したと判定された場合に、例えば、測定順に番号が付された画像信号等の測定結果のうちの異常値と判定された測定結果の番号を入力する(ステップF15)。次に、ステップF3に戻ってカメラ30により撮影を行う。この際には、撮影された画像信号等をスマホ1に登録する際に、入力された番号に対応する異常値となった画像信号、色情報、葉色換算値等を削除する。
このような異常判定処理によれば、ユーザが測定結果が異常か否かを判断しなくとも、スマホ1で異常値か否かを判定して、異常値を削除するので、異常値の判定が困難なユーザでも安心して測定を行うことができる。また、異常値を高い確率で排除できるので、測定結果として換算葉色値の信頼度が高くなり、測定者の違いによる測定結果の差を少なくすることができる。
次に、本発明の第4の実施の形態を説明する。
本実施の形態は、上述の植物情報取得システムまたは作物管理システムで、上述のように求められた換算葉色値のスマホ1における表示方法を示すものである。スマホ1には、上述のカメラ30が画像信吾や色情報を出力可能に接続されている。なお、色情報は、スマホ1側で画像信号から算出してもよい。
図34は、カメラ30で撮影中のスマホ1の表示画面(表示デバイス)102を示すものであり、表示画面102には、カメラ30から出力される画像信号が上述の所定範囲の動画として表示される撮影動画表示部103と、表示画面102の下側の比較対象表示部104で比較対象となる既に撮影された画像データが静止画(写真)として表示される。また、上述のように設定された回数だけ連続して撮影が行われるので、今回の撮影の前に、既に撮影された静止画が比較対象表示部104がに表示される。ここでは、例えば、上述のように10回の測定(撮影)を一度に行うが、図34では、7回目の撮影時に、6回目の撮影結果となる静止画が比較対象表示部104に表示されている。なお、表示画面102の下部には、葉色カラースケールの読み取り値の換算値(葉色値)とSPAD換算値(SPAD値)が表示されるようになっている。したがって、ユーザは、測定結果を数値と色とで認識可能となっている。また、表示画面102の上側には、あらかじめ位置が登録されている圃場名と、圃場内の地区を示す記号が表示される。これは、スマホ1のGPS機能により、位置から圃場名と地区の記号が検索されて表示される。なお、比較対象表示部104には、色ではなく撮影された静止画像を表示してもよい。
図35は、図34のスマホ1の表示画面102を通常モードの画面とした場合に、比較モードの表示画面102となっており、さらに比較対象表示部104に加えて第2比較対象表示部105が表示されるようになっている。第2比較対象表示部105には、スマホ1あるいはデータ管理サーバー10などの外部データベースに登録されている他の圃場や、異なる年度の色情報(RGB値の代表値)の色や、画像が表示可能となっており、例えば、生育が良い模範となる色や他の圃場の状態の色や画像と現在撮影中の画像とを比較することができる。なお、上述のベタ塗り状態にされる一色の色画像は、例えば、上述の葉色換算値を求める際に撮影された画像データから算出されたRGB値の平均値(代表値)を色としたものである。また、比較対象となる色(RGB値の平均値)のデータは、例えば、地方自治体や農協やその他の組織から提供されるものや、管理サーバ10を運営する組織が本実施の形態におけるカメラ30を用いて収集したものであってもよい。
図36は、一度の測定で測定された複数の結果を1つの表示画面102の結果表示部106に表示したものであり、各測定の測定結果として、葉色カラースケールの換算値(葉色値)と、SPAD換算値が複数表示されるとともに、これらに対応して、上述のRGB値の代表値としての色情報が色として表示されている。
これにより、一連の測定結果を数値と色で確認することが可能となり、視覚によっても測定結果を確認することができる。なお、結果表示部106では、手動で異常と思われる測定結果を再測定により変更することができるとともに、測定結果の登録を手動で行うことができる。
図37は、複数の測定結果と、比較対象となる過去の測定データ等を静止画(写真)で比較するための表示画面102を示すものであり、表示画面102のデータ比較部107に、測定結果毎に測定結果表示部108に静止画が表示される。また、比較写真表示部108aに、比較対象となる測定データとしての静止画が表示される。ここで比較対象となる静止画は、例えば、1、同一圃場の前回の測定結果、2.同一圃場の過去の同一時期の測定結果、3.別圃場の同一時期の測定結果、4.その地区の基準圃場の同一時期の測定結果、5.その地区の篤農家の同一時期の測定結果、6.その県がその時期に推奨する基準の葉色値等である。なお、6番目は写真ではなく、上述のようなRGBの平均値で示される色である。また、平均値表示部109に、上述の各測定結果としてのRGBの平均値をさらに平均した平均値の色画像が表示されるとともに、基準値表示部110に基準値となるRGB値の色の画像が表示される。基準値となる色とは、例えば、公的機関から供給され、現状で最適な生育状態と思われる色情報である。なお、基準値となる色や換算葉色値は、例えば、過去の結果、公共的な機関からの基準となる指標、その地域の作物の平均値、その地域の優秀な生産者の栽培結果などに基づくものであってもよい。
上述のRGBの平均値である色の求め方は、例えば、画像データが計32400画素(180画素x180画素)を持ってる場合に、各画素のRGB値を算出すると、合計32400個分のRGBの各輝度値が得られる。RGBの各輝度値の合計を画素数(32400画素)で割ると平均が求められる。
なお、測定結果は比較対象となる測定データを上述のようなRGBの平均値のベタ塗り状態の色で表示する場合や、測定結果としてのRGB、Grayの平均値から換算葉色値を求める場合に例えばカメラ30の機種やメーカが異なる場合に画像処理が異なることになるので、撮像センサ、光源、光学系等の固体差に加えて画像処理のプロセスやパラメータの設定等の違いにより出される画像信号が変化することになる。したがって、正確に撮影対象となる植物の色や色に基づく換算葉色値の比較を行う上では、同じ機種のカメラ30を上述のように校正して使用することが好ましい。同じ機種のカメラ30が使えない場合には、上述の校正と同様に同じ色のカラーチップを撮影した場合に機種の異なるカメラであっても略同じRGBの平均値が取得できるように調整することが好ましい。なお、ディスプレイの機種の違いによって、表示される色が変化するが、同じ機種のディスプレイで比較表示するので、ディスプレイ側の画像処理回路等の調整を行う必要はない。
図38は、時系列で異なる時期の測定結果や、異なる場所の測定結果と、上述の基準値とを同時に表示して比較可能としたものである。表示画面102のグラフ表示部112には、換算葉色値が測定値と基準値とに分けて折れ線グラフとして表示されて、測定値と基準値とが比較可能となっている。また、色比較部113には、同様に基準値と測定値とが上述の色情報の色(RGBの平均値の色)として並べて表示されている。
これにより、時系列で測定結果と基準値とが表示されている場合には、グラフと色とから状況が良好か、悪化しているか、改善しているか等の判断が可能になる。また、異なる場所に対応して測定結果と基準値とが表示されている場合に、場所ごとに生育状況の良し悪しを判定でき、場所ごとに施肥管理や対応策の検討を行うことが可能となる。
以下に、本発明の実施例として、カメラ30で撮影された画像データのRGBおよびGrayの値と、SPAD値との相関関係に基づく重回帰式を求めるために行った実験を説明する。
図20に示すように、実験条件は、測定期間(データ期間)として、2014年の6月25日から8月18日までの約50日の間に、5回測定を行った。測定日は、6月25日、7月4日、7月11日、7月25日、8月18日の5日であるが、実験条件として、測定期間の後半となる7月11日、7月25日、8月18日だけ測定したパターンも設定した。測定に使用したカメラは、受部材33が無い開発中のものを使用した。受部材33がないため、測定に際しては、葉をテーブルや各種台等に置いた状態でフード34の先端を葉に押し付ける必要があり、稲をその場で測定するのではなく、稲を採取した後に建物内で撮影とSPAD値の測定を行った。
測定に際しては、複数の稲田に、複数の試験区を設定し、各試験区から代表となる稲の一株を採取した。なお、測定日によって、サンプルの稲を採取した試験区やその数が異なる場合がある。各稲の株から茎を10本抜き取るとともに、各茎の完全展開第2葉の中央部をカメラで撮影して画像データを取得するとともに、同じ場所で葉緑素計を用いてSPAD値を測定した。SPAD値の測定には、SPAD−502Plus(コニカミノルタ製)を用いた。したがって、1回の試験に際して各試験区で一株の稲の10枚の葉の測定を行った。また、回帰分析に際して、データ処理方法として、一株の稲の異なる葉に対する10回の測定の値をそのまま用いた場合と、一株の稲の10枚の葉の測定の値の代表値として平均値を求め、この平均値を用いて重回帰分析を行った場合とがある。なお、代表値は、上述のように中央値や最頻値等の一般的に代表値として用いられるものを用いることができる。
また、カメラにおける撮影条件は、以下の4種類とした。開発中のカメラには、白色LED42が3つ搭載されているが、白色LED42を2灯点灯する2灯モードと、3灯点灯する3灯モードとでの撮影が可能であり、撮影時に2灯モードでの撮影と3灯モードでの撮影を行った。また、撮影に際し、葉を卓上に配置してフード34を押し付けて外光を遮断し、白色LED42の照明で撮影した卓上パターンと、窓に葉をフード34で押し付けた状態で白色LED42を点灯して、葉を透過する外光と、白色LED42の照明との両方で撮影した窓透かしパターンとで撮影を行った。窓透かしパターンでは、外光の影響を受けることになるとともに、反射光だけではなく反射光と透過光の両方で撮影することになる。なお、卓上パターンでは、透過光はなく、反射光だけで撮影される。
この実施例では、画像解析方法として画像解析に用いたカラーモード(色空間)を、RGB+GrayとHSV+Grayとする。上述のように葉を撮影した画像データの所定範囲の各画素のRGBの各値とGrayの値またはHSVの各値とGrayの値を説明変数(独立変数)とし、SPAD値を目的変数(従属変数)として、重回帰分析を行った。なお、重回帰分析を行う前に上述のカラーモードとしてRGB+Grayを用い、測定方法が2灯卓上であり、かつ、一株の稲の10枚の葉の測定結果の平均値を用いて、SPAD値を従属変数とし、RGB+Grayの各値をそれぞれ1つの独立変数として、単回帰分析を行った結果を図21のグラフに示す。
図21のグラフにおいて、横軸がSPAD値であり、縦軸がRGB+Grayの各値(強度)である。また、四角のドットがGであり、菱形のドットがRであり、三角のドットがBであり、丸のドットがGrayである。また、グラフ上の各直線は、上から1番目がGとSPAD値との回帰式(回帰直線)を示し、上から2番目がGrayとSPAD値との回帰式(回帰直線)を示し、上から3番目がRとSPAD値との回帰式(回帰直線)を示し、上から4番目がBとSPAD値との回帰式(回帰直線)を示す。
SPAD値をYとし、GをXとすると回帰式はY=−0.0076X+0.47で、決定係数R2が0.7892である。また、GrayをXとすると回帰式はY=−0.0054X+0.3289で、決定係数R2が0.7719である。また、RをXとすると回帰式はY=−0.0035X+0.1794で、決定係数R2が0.7461である。また、BをXとすると回帰式はY=−0.0003X+0.0198で、決定係数R2が0.0589である。なお、決定係数R2は相関係数Rの2乗に等しく、寄与率とも呼ばれる。以上のことからRGB+Grayの各値を個別に独立変数とし、SPAD値を従属変数とした場合に、GとGrayとは寄与率が高いか、Bは寄与率が低い。
そこで、重回帰分析の重回帰式において、RGB+Grayの各値の全てを独立変数とするのではなく、相関が強い変数だけを独立変数として重回帰式を作成することにした。図22に示すように、4つのステップでRGB+Grayの4つの独立変数から独立変数を1つずつ減らして重回帰分析を行った。すなわち、ステップ1として4つの独立変数を全て用いた重回帰分析と、ステップ2として前述の4つの独立変数のうちの有意性を示すt値の絶対値が最も低い独立変数を除いて3つの独立変数を用いた重回帰分析と、ステップ3として前述の3つの独立変数のうちのt値の絶対値が最も低い独立変数を除いて2つの独立変数を用いた重回帰分析と、ステップ4として前述の2つの独立変数のうちのt値の絶対値が最も低い独立変数を除いて1つの独立変数を用いた回帰分析とを行った。
これら4回の(重)回帰分析において、相関係数R、補正(自由度調整済決定係数)R2、説明変数選択基準Ruを参照して、使用する独立変数を決定する。補正R2は、決定係数R2と同様に寄与率を示すものであるが、決定係数R2は独立変数が増加すると増加傾向となるのに対して、補正R2は、独立変数の数を考慮したものであり、最適な独立変数を判定するのに有効である。また、自由度修正決定係数(補正)R2は、決定係数R2よりも小さく1以下の値となり、マイナスもあり得るものとなっている。
また、説明変数選択基準Ruは、有効な独立変数(説明変数)かどうかを判断するための指標であり、上述の各独立変数の組み合わせで重回帰分析を行った場合に、Ruが大きいほど有効と判定できる。また、上述のt値は、回帰係数の有意性を示すもので、図24に示す係数を同じく図24に示す標準誤差で割ったもので、目的変数への影響度を意味する。t値の絶対値が2より小さい場合は統計的にはその説明変数は目的変数に影響しないと判断される。t値は理論的に、−無限大から+無限大の値をとる。t値の絶対値が大きいほど、t値に対応する独立変数を重回帰式に取り入れることが有効であることを示している。
図23は、図20に示す実験条件のうちの照明が白色LED42を2灯用いた2灯モードで、撮影方法が卓上で外光を遮断しての撮影である卓上パターンで、一株当たり10枚の葉を測定した場合の10回の測定の平均値を用いて重回帰分析を行う場合の各データを示すものである。測定日とサンプルを採取した試験区毎に、測定結果としての画像データのRの平均値、Gの平均値、Bの平均値およびGrayの平均値と、葉緑素計で測定したSPAD値の平均値が示されている。なお、Rの平均値(R値)、Gの平均値(G値)、Bの平均値(B値)およびGrayの平均値(Gray値)は、1回の測定で撮影された画像データの所定範囲内の各画素の平均であるとともに、10枚の葉を用いて10回行われた測定の平均である。
図24には、図23に示すSPAD値を従属変数とし、R値、G値、B値およびGray値を独立変数として、図22に示すステップ1〜4にしたがって重回帰分析を行った結果を示す。重回帰分析には、Microsoft Excel(登録商標)の分析ツールの回帰分析を用いて行った。
図24に示すように、R値、G値、B値およびGray値の4つの独立変数で重回帰分析を行った結果、R値、G値、B値およびGray値の中で上述の各独立変数の有意性を示すt値の絶対値が最も小さいのは、B値であった。そこで、ステップ2では、B値を除いて、R値、G値およびGray値の3つの独立変数で、重回帰分析を行った。ステップ2でt値の絶対値が最も低いのは、R値であった。そこで、ステップ3では、R値を除いて、G値およびGray値の2つの独立変数で、重回帰分析を行った。ステップ3でt値の絶対値が低いのは、Gray値であった。そこで、ステップ4では、G値を独立変数として回帰分析を行った。
図25には、上述のステップ1〜4において用いた4つの独立変数の組み合わせパターンと、各パターンにおけるステップ1〜4の(重)回帰分析における相関係数R、補正(自由度調整済決定係数)R2、説明変数選択基準Ruを示す。
ここでは、図25に示すように相関係数Rは、ステップ1の4つの独立変数を用いた場合が少し高いが、補正R2、説明変数選択基準Ruは、ステップ3のGとGrayの2つの独立変数を用いたものが最も大きくなっている。また、独立変数が多いほど相関係数Rは、高くなる傾向があることから、独立変数が2つのステップ3の相関係数Rは、独立変数4つのステップ1の相関係数Rより少し低くなるが、各独立変数のt値は、ステップ1よりステップ3の方が高く、各独立変数の有意性は、ステップ1よりステップ3の場合の方が大きくなっている。以上のことから、RGB+Grayの色空間を用いる重回帰分析においては、独立変数が4より少ない2であり、かつ、補正R2、説明変数選択基準Ruが最も高くなる、GとGrayの2つの独立変数を用いるステップ3のパターンを採用する。なお、HSV+Grayの場合には、独立変数の最適化を行わずに、H値、S値、V値およびGray値の4つの変数を用いて重回帰分析を行った。
図26には、図20に示す実験条件の組み合わせで行われた実験条件の異なる測定結果を用いた重回帰分析における(重)決定係数R2と有意Fとが示されている。有意Fは、回帰式の全ての係数が、0でありそうな確率を表し、約5%未満(0.05未満)ならば、統計的に「回帰式の全ての係数が、0では無い」ということができ。有意Fが0に近ければ、近いほど、回帰式の信頼性は高いことになる。
また、図27には、図26の実験条件の各組合せに付けられたグラフ横軸名称に対応して、(重)決定係数R2を棒グラフで示したものである。なお、図26に示す有意Fは、全ての実験条件で回帰式の信頼性が高いことを示している。
(重)決定係数R2については、図26の上から1番目で図27のグラフの左から1番目のHSV−2灯卓上(平均)と、図26の上から3番目で図20のグラフの左から3番目のRGB−2灯卓上(平均)とが高い値を示している。図26に示すように、HSV−2灯卓上(平均)は、上述のように卓上で2灯モードにより葉の撮影を行い、色空間の変数としてHSV+Grayを用い、10回の測定結果の平均値を重回帰分析のデータとしたものである。
また、RGB−2灯卓上(平均)は、上述のように卓上で2灯モードにより葉の撮影を行い、色空間の変数としてRGB+Grayを用い、10回の測定結果の平均値を重回帰分析のデータとしたものである。なお、カラーモードとしてRGB+Grayを用いる場合には、重回帰分析に際して上述のように独立変数として、Gの値と、Grayの値だけを用い、HSV+Grayを用いる場合は、Hの値と、Sの値と、Vの値と、Grayの値の全てを用いている。
図28に、HSV−2灯卓上(平均)とRGB−2灯卓上(平均)との重回帰分析結果を示す。基本的に独立変数が多いHSV−2灯卓上(平均)の方が、相関係数R、決定係数R2、補正R2の値が僅かに大きいが、RGB−2灯卓上(平均)は、独立変数が2つで、各独立変数のt値が大きなものとなっているのに対して、HSV−2灯卓上(平均)は、独立変数が4つで独立変数がRGB−2灯卓上(平均)の2倍となっているとともに、各独立変数のt値がRGB−2灯卓上(平均)に比較して小さい。
上述のように重回帰分析を行った結果、単回帰分析に比べてより高い相関係数を得ることができた。
単回帰分析の場合に、重決定係数R2=0.6171(色空間をRGBとするとともにGを独立変数とし、2灯卓上、10点平均、全区間とした条件)であったのに対して、重回帰分析では重決定係数R2=0.87619(色空間をRGBとし、独立変数をGとGrayとし、2灯卓上、10点平均、全区間とした条件)となった。
個別データの重回帰分析より、各測定ポイント10点の平均とSPAD値との相関が高いという結果が得られた。すなわち、相関関係の高さは、平均>個別データの順となり、2灯卓上>3灯卓上>3灯窓すかし>2灯窓透かしの順となると考えられる。
そして、2灯卓上、10点平均、全区間とした条件でHSV画像解析またはRGB画像解析で高い相関係数を示した。HSV画像解析とRGB画像解析とを比較した結果は、t値がRGB画像解析の方が高い値を示している(影響度が高い)。上述のように変数がRGB画像解析の方が少ない。すなわち、少ない変数で高い相関係数を示していることから、それぞれの要因(独立変数)の影響度が高いことになる。
以上のことから重回帰分析に用いるデータとしては、RGB−2灯卓上(平均)の条件で、RGB画像解析を用いるものとした。
この際の重回帰式(相関式)は、SPAD値=−701.166x(Gの平均値)+785.3087x(Grayの平均値)+68.92808となる。すなわち、カメラ30で10枚の葉を撮影した10個の画像データのそれぞれの所定範囲の画素のGの平均値(代表値)とGrayの平均値(代表値)を求めて、これらをGの値とGrayの値とした後に、10個の画像データのGの値の平均値(代表値)と10個の画像データのGrayの値の平均値(代表値)を求め、これらGの平均値と、Grayの平均値を上記重回帰式に代入することによりSPAD換算値(換算葉色値)を求めることになる。なお、必ずしも測定を10回行って、10回の測定結果の平均値を相関式に代入する必要はなく、測定回数を変更してもよい。
図29には、上述のRGB−2灯卓上(平均)の条件で取得された画像データのGの平均値とGrayの平均値とから重回帰式により求められた計算値としての各SPAD換算値と、上述のようにカメラ30で撮影を行った際に葉緑素計で計測されたSPAD値の10回の測定結果の平均値とを回帰分析して得られた回帰直線とが示されている。
縦軸が重回帰式から求められた計算結果としてのSPAD値(SPAD換算値)を示し、横軸が葉緑素計の測定結果としてのSPAD値を示している。また、各ドットは、稲の同じ株の10枚の葉に対応する計算結果であるSPAD換算値と測定結果としてのSPAD値とを示すものである。
図29に示すように、計算結果としてのSPAD換算値と測定結果としてのSPAD値の相関式は、y=0.8762x+4.6772であり決定係数R2は、0.8762であった。図29における回帰直線と各ドットの最短距離を図30に示すように求めた。図31は、横軸が回帰直線からの各ドットの最短距離を図29のSPAD値で示したものであり、縦軸は、上述の最短距離を0.1の範囲ずつに区切った場合の各区間に含まれるドットの数であり、図31のグラフは度数分布を示すものとなっている。
各ドットの回帰直線からの最短距離は、大部分のドットにおいてSPAD値で2以下となっている。なお、3つのドットだけ最短距離が2を超えている。葉緑素計のスペック上の測定精度は、プラス・マイナス1であるのに対して、上述のように各ドットの回帰直線からの最短距離が略2以下であることから、測定精度範囲内に各ドットが分布しているということができる。すなわち、葉緑素計のSPAD値との相関性が高いということができる。
なお、使用するカラーモード(色空間)は、RGB+Grayに限られるものではなく、上述のようにHSV+Grayでも良いし、その他の色空間を用いてもよい。また、HSV+Gray等のRGB+Gray以外の色空間を用いる場合も、上述のように重回帰分析においてt値の最も低い独立変数を順次減らしながら、重回帰分析を繰り返し行い。独立変数の数に影響を受けにくい補正R2と説明変数選択基準Ruとに基づいて、重回帰分析に用いる独立変数を絞り込んでもよい。
なお、上述の各実施の形態や実施例で記載される標準偏差σ、閾値や、画像データの画素数に係わる数値や、その他の数値は、記載された値に限定されるものではない。