JP2023034558A

JP2023034558A - イチゴの株の葉面積算出システム

Info

Publication number: JP2023034558A
Application number: JP2021140856A
Authority: JP
Inventors: 将吾坪田; Shogo Tsubota; 時広深津; Tokihiro Fukatsu; 和彦難波; Kazuhiko Namba
Original assignee: National Agriculture and Food Research Organization
Current assignee: National Agriculture and Food Research Organization
Priority date: 2021-08-31
Filing date: 2021-08-31
Publication date: 2023-03-13

Abstract

【課題】イチゴの株それぞれの総葉面積を精度よく算出する。【解決手段】葉面積算出システム１００は、イチゴの株に上方から風を吹き付けるブロワー２６と、株に風が吹き付けられた状態で株の画像を上方から撮影するカメラ２４とを有するモニタリング装置１０と、画像から、イチゴの株の総葉面積を算出する情報処理装置９０と、を備えている。この情報処理装置９０は、過去に算出した葉それぞれの葉面積を記憶する葉面積ＤＢを有している。そして、情報処理装置９０は、新たに撮影された画像の中から、計測対象葉（第１葉～第３葉）を特定し、計測対象葉の葉面積を画像から算出して、葉面積ＤＢに記憶されている計測対象葉以外の葉の葉面積と、算出した対象葉の葉面積を合計して、株の総葉面積を算出する。【選択図】図１

Description

本発明は、イチゴの株の葉面積算出システムに関する。

果菜類の生育診断や収量予測を行う場合の重要な指標として、光合成量の推定に利用できる総葉面積がある。近年、株を撮影した画像から総葉面積を計測する方法が開発されつつある。

例えば、トマト、キュウリ、パプリカ等の場合、上方から茎を吊り下げる方式の栽培様式が普及しており、一枚一枚の葉を外部から観察できることから、画像を用いた総葉面積の計測は比較的容易である。

特開２０１９－０３７２２５号公報特開２０１９－１９３５８１号公報特開２０２０－１５６４３１号公報

しかしながら、イチゴの場合、株の内側に存在する葉を外部から観察するのが難しかったり、隣接する株同士の葉が重なって観察しにくかったりするため、株を外部から撮影した画像を用いても、各株の総葉面積を計測することが難しい。

そこで、本発明は、イチゴの株それぞれの総葉面積を精度よく算出することが可能なイチゴの株の葉面積算出システムを提供することを目的とする。

本発明のイチゴの株の葉面積算出システムは、イチゴの株に上方から風を吹き付ける吹き付け装置と、前記株に風が吹き付けられた状態で前記株の画像を上方から撮影する撮影装置と、前記画像から、前記イチゴの株の総葉面積を算出する算出装置と、を備え、前記算出装置は、過去に算出した前記株の葉それぞれの葉面積を記憶する記憶部を有し、新たに撮影された第１画像の中から、前記株のうち、最も幼い第１葉と次に幼い第２葉を少なくとも含む対象葉を特定し、前記対象葉の葉面積を前記画像から算出し、前記記憶部に記憶されている前記対象葉以外の葉の葉面積と、算出した前記対象葉の葉面積と、を合計して、前記株の総葉面積を算出する。

本発明のイチゴの株の葉面積算出システムは、イチゴの株それぞれの総葉面積を精度よく算出することができるという効果を奏する。

一実施形態に係る葉面積算出システムの構成を概略的に示す図である。情報処理装置のハードウェア構成を示す図である。情報処理装置の機能ブロック図である。図４（ａ）は、イチゴの株を上方から撮影した画像であり、図４（ｂ）は、１つの株を上方から撮影した画像であり、図４（ｃ）は、図４（ｂ）の株に上方から風を吹き付け、撮影した画像であり、図４（ｄ）は、風を吹き付けることによる効果を説明するための図である。葉面積ＤＢに格納されているデータを示す図である。総葉面積ＤＢに格納されているデータを示す図である。１回目の算出処理を示すフローチャートである。図８（ａ）～図８（ｃ）は、株の中心を特定する方法について説明するための図である。図９（ａ）は、図７のステップＳ１６について説明するための図であり、図９（ｂ）は、図７のステップＳ１８を説明するための図ある。１回目の算出処理が行われた後の葉面積ＤＢの一例を示す図である。２回目以降の算出処理を示すフローチャートである。図１１のステップＳ５２の詳細処理を示すフローチャートである。第１葉（新葉）～第５葉の１週間ごとの葉面積の変化量を示すグラフである。図１４（ａ）、図１４（ｂ）は、図１１のステップＳ６０の処理を実行したときの、葉面積ＤＢの変化を示す図である。図１５（ａ）、図１５（ｂ）は、図１１のステップＳ６２の処理を実行したときの、葉面積ＤＢの変化を示す図である。図１１のステップＳ６４の処理を実行したときの葉面積ＤＢの変化を示す図である。

以下、一実施形態に係る葉面積算出システムについて、詳細に説明する。

図１には、一実施形態に係る葉面積算出システム１００の構成が概略的に示されている。本実施形態においては、葉面積算出システム１００は、例えば、図１に示すような栽培ベッド１２で高設栽培されているイチゴの株それぞれの葉面積（総葉面積）を算出し、記録するシステムである。なお、イチゴの株は、栽培ベッド１２で栽培されていなくてもよく、例えば畝に地植えされていてもよい。

葉面積算出システム１００は、モニタリング装置１０と、算出装置としての情報処理装置９０と、を備える。モニタリング装置１０は、栽培ベッド１２近傍を移動して、イチゴの株を上方から撮影した画像を取得する装置である。情報処理装置９０は、モニタリング装置１０と通信可能に接続されており、モニタリング装置１０から取得した画像や位置情報に基づいて、栽培ベッド１２に植えられているイチゴの株それぞれの葉面積（総葉面積）を算出する。情報処理装置９０とモニタリング装置１０との間は、有線ＬＡＮ（Local Area Network）等により有線接続されていてもよいし、ＷｉＦｉ等により無線接続されていてもよい。また、情報処理装置９０は、モニタリング装置１０に搭載されていてもよい。なお、本実施形態では、栽培ベッド１２の延伸方向をＸ軸方向とし、水平面内でＸ軸方向と垂直に交差する方向をＹ軸方向とし、鉛直方向をＺ軸方向として説明する。

モニタリング装置１０は、図１に示すように、栽培ベッド１２の下方（地面上）においてＸ軸方向に沿って敷設されたレール１４上に設置されている。モニタリング装置１０は、レール１４に沿ってＸ軸方向に移動可能となっている。

モニタリング装置１０は、筐体２０と、車輪２２と、撮影装置としてのカメラ２４と、吹き付け装置としてのブロワー２６と、モータ２８と、位置検出装置２９と、制御装置３０と、を備える。筐体２０は略矩形枠状の形状を有する。筐体２０の天井板２０ａは、栽培ベッド１２やイチゴの株の上方まで張り出しており、天井板２０ａの下面（－Ｚ面）とイチゴの株は上下対向した状態となっている。

車輪２２は、モータ２８により、レール１４上で回転駆動される。モータ２８は、制御装置３０により回転制御される。

カメラ２４及びブロワー２６は、筐体２０の天井板２０ａの下面に設けられている。カメラ２４は、イチゴの株を上方から撮影する。ブロワー２６は、イチゴの株に対して上方から下方に向けて風を吹き付ける機能を有する。制御装置３０は、ブロワー２６によって株に風を吹きつけ、その状態で、カメラ２４を用いて株を上方から撮影する。なお、カメラ２４によって撮影された画像は、制御装置３０に送信される。

位置検出装置２９は、例えば、栽培ベッド１２近傍に設置された複数のＲＦＩＤ（radio frequency identifier）タグと通信可能なＲＦＩＤリーダを有する位置検出装置や、栽培ベッド１２近傍に設置されたマーカを撮影可能なカメラを有する位置検出装置、車輪２２やモータ２８の回転量から位置検出を行う位置検出装置などである。位置検出装置２９は、カメラ２４のＸＹ位置を検出する。カメラ２４のＸＹ位置からは、撮影される画像（撮影範囲）内の各点のＸＹ位置を特定することができる。また、位置検出装置２９の検出結果は、制御装置３０に送信され、制御装置３０は、位置検出装置２９の検出結果に基づいてモータ２８を制御し、モニタリング装置１０の位置（カメラ２４の撮影箇所）を調整する。また、制御装置３０は、カメラ２４によって撮影された画像と、当該画像の位置情報（ＸＹ位置）とを、情報処理装置９０に送信する。

情報処理装置９０は、制御装置３０から送信されてきた画像と位置情報とを用いて、株の位置を特定し、各株の総葉面積を算出する。図２には、情報処理装置９０のハードウェア構成が示されている。図２に示すように、情報処理装置９０は、ＣＰＵ（Central Processing Unit）１９０、ＲＯＭ（Read Only Memory）１９２、ＲＡＭ（Random Access Memory）１９４、記憶部（ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等）１９６、ネットワークインタフェース１９７、及び可搬型記憶媒体用ドライブ１９９等を備えている。これら情報処理装置９０の構成各部は、バス１９８に接続されている。情報処理装置９０では、ＲＯＭ１９２あるいは記憶部１９６に格納されているプログラム、或いは可搬型記憶媒体用ドライブ１９９が可搬型記憶媒体１９１から読み取ったプログラムをＣＰＵ１９０が実行することにより、図３に示す各部の機能が実現される。なお、図３の各部の機能は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

図３は、情報処理装置９０のＣＰＵ１９０がプログラムを実行することにより実現されている機能を示すブロック図である。図３に示すように、情報処理装置９０は、画像取得部５０、画像解析部５２、データ管理部５４、総葉面積算出部５６として機能する。なお、図３には、記憶部１９６に格納されている葉面積ＤＢ６０及び総葉面積ＤＢ６２も図示されている。

画像取得部５０は、ブロワー２６によって風が吹きつけられた状態の株を上方から撮影した画像を制御装置３０から取得する。なお、画像取得部５０は、画像とともに、画像の位置情報についても取得する。

ここで、本実施形態において、ブロワー２６からイチゴの株に風を吹き付けた状態で撮影を行う理由について説明する。図４（ａ）には、イチゴの株を上方から撮影した画像が示されている。図４（ａ）に示すように、イチゴの株は、内側に存在する葉を外部から観察するのが難しかったり、隣接する株同士の葉が重なって観察しにくかったりする。図４（ｂ）には、１つの株を上方から撮影した画像が示され、図４（ｃ）には、図４（ｂ）の株に上方から風を吹き付け、撮影した画像が示されている。図４（ｂ）と図４（ｃ）とを比較するとわかるように、株に対して上方から風を吹き付けて撮影することで、内側に存在する葉が撮影しやすくなる。例えば、図４（ｄ）に示すように、株の中心付近に存在している若い葉（最も幼い葉である第１葉（新葉）、次に幼い第２葉、次に幼い第３葉など）を撮影しやすくなっている。

図３に戻り、画像解析部５２は、画像取得部５０が取得した画像を解析して、画像内に存在する株の中心位置を特定するとともに、例えば、第１葉（新葉）、第２葉、第３葉を計測対象葉として特定する。また、画像解析部５２は、画像を解析して、特定した計測対象葉（第１葉～第３葉）の葉面積を算出する。

データ管理部５４は、画像解析部５２による解析結果（例えば計測対象葉の葉面積の算出結果）を取得し、葉面積ＤＢ６０を更新する。ここで、葉面積ＤＢ６０においては、図５に示すようなデータを株ごとに管理しているものとする。図５に示すように、葉面積ＤＢ６０には、「株ＩＤ」、「株中心位置」、「第１葉と株中心を結ぶ直線の角度」、「各葉の葉面積」の情報が格納されている。株ＩＤは、株の定植直後に各株に割り振られる識別情報である。その他の情報の詳細については、後述する。

総葉面積算出部５６は、葉面積ＤＢ６０に格納されている情報を用いて、各株の葉面積（総葉面積）を算出する。総葉面積算出部５６は、算出した総葉面積の情報を、総葉面積ＤＢ６２に格納する。総葉面積ＤＢ６２には、例えば、図６に示すように、算出年月日ごとに、株ＩＤと対応付けて各株の総葉面積の値が格納されている。

（情報処理装置９０の処理について）
次に、情報処理装置９０の処理について、詳細に説明する。

（１回目の算出処理について）
まず、株の定植後において、各株の総葉面積を最初に算出する際の処理（１回目の算出処理）について、図７のフローチャートに沿って説明する。この１回目の算出処理のタイミングは、株に４つ以上の葉が出てきていないタイミングであるものとする。

なお、モニタリング装置１０は、栽培ベッド１２上の全ての株を順に撮影する。すなわち、制御装置３０は、位置検出装置２９の検出結果に基づいて、モニタリング装置１０の位置（カメラ２４の位置）をＸ軸方向に所定距離ずつ移動させつつ、カメラ２４を用いて画像を撮影する。この撮影の際には、ブロワー２６からイチゴの株に対して上方から風を吹き付ける。情報処理装置９０には、モニタリング装置１０の制御装置３０から、カメラ２４で撮影された画像と、画像の位置情報とが順次送信されてくる。

図７の処理が開始されると、まず、ステップＳ１０において、画像取得部５０は、モニタリング装置１０の制御装置３０から、画像と画像の位置情報とが送信されてくるまで待機する。制御装置３０から画像と位置情報が送られてくると、画像取得部５０は、画像及び位置情報を取得し、ステップＳ１２に移行する。

ステップＳ１２に移行すると、画像解析部５２は、取得した画像内に存在する株の中心を検出する。画像解析部５２は、例えば、株の形状と株の中心とを示す多数の画像を学習データとして深層学習を行い、得られた学習モデルを用いて、取得した画像内に存在する株の中心を検出することができる。また、画像解析部５２は、深層学習以外の方法を用いて、株の中心を検出することもできる。例えば、画像解析部５２は、図８（ａ）に示すように、複数の葉柄を検出し、それらの延長線上の交点を株の中心として検出することができる。この方法を採用すると、図８（ｂ）に示すように株の中心が他の株の葉などにより隠れている場合でも、株の中心を精度よく検出することができる。また、図８（ｃ）に示すように、イチゴは通常３枚の葉が１つの葉柄に接続されているので、画像解析部５２は、例えば、３枚の葉のうち真ん中の葉の長手方向に直線（図８（ｃ）の破線参照）を引く処理を複数回行い、それらの直線の交点を株の中心としてもよい。なお、画像解析部５２は、深層学習を用いた株の中心の検出を優先的に実施し、深層学習では株の中心を検出できなかった場合に、図８（ａ）、図８（ｂ）や図８（ｃ）の方法で株の中心を検出するようにしてもよい。画像解析部５２は、検出した株の中心のＸＹ座標をデータ管理部５４に送信し、データ管理部５４は受信したＸＹ座標を葉面積ＤＢ６０に格納する。具体的には、データ管理部５４は、中心を検出した株に株ＩＤを割り当て、図５の葉面積ＤＢ６０の「株ＩＤ」の欄に割当てた株ＩＤを格納するとともに、「株中心位置」の欄に検出した株の中心のＸＹ座標を格納する。

図７に戻り、次のステップＳ１４では、画像解析部５２は、第１葉を検出する処理を実行する。画像解析部５２は、例えば、葉の画像と未展開の度合いとを関連付けた多数の学習データを用いて深層学習を行い、学習モデルを得る。そして、画像解析部５２は、得られた学習モデルを用いて、画像内から株の未展開葉を検出し、検出された未展開葉を第１葉とすることができる。また、画像解析部５２は、画像から葉を検出し、検出された葉のうち最も小さな葉を第１葉と決定することとしてもよい。また、画像解析部５２は、画像から葉を検出し、検出された葉のうち最も色が薄い葉を第１葉と決定することとしてもよい。また、画像解析部５２は、画像から葉を検出し、検出された葉のうち株の中心からの距離が最も短い葉を第１葉と決定することとしてもよい。なお、画像解析部５２は、深層学習により第１葉を特定する方法を優先的に適用し、当該方法では第１葉を特定できなかった場合に、上述したその他の方法で第１葉を特定するようにしてもよい。また、画像解析部５２は、上述した方法のうちの複数の方法を用いて第１葉を特定し、複数の特定結果を総合して第１葉を特定するようにしてもよい。

次いで、ステップＳ１６では、画像解析部５２は、第１葉と株の中心を結ぶ直線の、基準線に対する角度を検出する。具体的には、画像解析部５２は、図９（ａ）に示すように、第１葉の株の中心から最も遠い点Ｐと、株の中心とを結ぶ直線Ｌと、画像の基準線（例えば、Ｙ軸）との間の角度（時計回り方向の角度）θを検出する。画像解析部５２は、検出した角度θをデータ管理部５４に送信し、データ管理部５４は受信した角度θを葉面積ＤＢ６０に格納する。具体的には、データ管理部５４は、図５の葉面積ＤＢ６０の「第１葉と株中心を結ぶ直線の角度」の欄に角度θを格納する。

なお、図９（ａ）では、直線Ｌが、第１葉の株の中心から最も遠い点Ｐと、株の中心と、を結んだ直線である場合について説明したが、これに限られるものではない。例えば、直線Ｌは、第１葉の画像の重心点と、株の中心と、を結んだ直線であってもよい。また、第１葉の葉柄が伸びる方向を直線Ｌとしてもよい。また、第１葉の中央の葉（通常、第１葉は３枚の葉を有するため、それらの真ん中に位置する葉）を取り囲む矩形（近似矩形）を特定し、当該近似矩形の長辺を直線Ｌとしてもよい。また、第１葉全体（３枚の葉全て）を取り囲む近接した矩形（近似矩形）を特定し、当該近似矩形の辺のいずれか（例えば葉柄が伸びる方向と近似する方向に伸びる辺）を直線Ｌとしてもよい。更に、第１葉の中央の葉を近似した楕円の長軸や、第１葉をひし形に近似したときの、対角線の方向を直線Ｌとしてもよい。すなわち、直線Ｌは、画像から得られる、株の中心から第１葉が伸びる方向とみなすことが可能な直線であれば、上記以外の直線であってもよい。

次いで、ステップＳ１８では、画像解析部５２は、第２葉と第３葉を特定し、第１葉～第３葉を計測対象葉とする。ここで、イチゴの場合、図９（ｂ）に示すように、第２葉は、株の中心を起点に第１葉の伸びる方向から約１４４°回転したところにあることが知られている。また、第３葉は、株の中心を起点に第２葉の伸びる方向から約１４４°回転したところにある（第１葉の伸びる方向から約２８８°回転したところにある）ことが知られている。したがって、画像解析部５２は、第１葉を基準として、第２葉、第３葉を特定し、第１～第３葉を計測対象葉とする。なお、第３葉がない場合もあるので、その場合には、第１葉、第２葉を計測対象葉とすればよい。

次いで、ステップＳ２０では、画像解析部５２が、計測対象葉の葉面積を算出する。この場合、画像解析部５２は、計測対象葉に対応する画素の数（面積）と、予め定められている撮影高さと、を用いて計測対象葉の葉面積を算出することができる。なお、撮影高さは、複数カメラの画像を用いて算出することとしても良いし、深度カメラや距離センサを用いて計測してもよい。また、移動計測による多点計測から、株までの高さを３次元化してもよい。画像解析部５２は、計測された葉面積をデータ管理部５４に送信し、データ管理部５４は受信した葉面積を葉面積ＤＢ６０に格納する。具体的には、データ管理部５４は、図５の葉面積ＤＢ６０の各葉の葉面積の欄に葉面積の計測値を格納する。

次いで、ステップＳ２２では、総葉面積算出部５６が、葉面積ＤＢ６０に記憶されている全ての葉の葉面積を合計し、総葉面積ＤＢ６２に格納する。以上により、１つの株についての１回目の算出処理が終了する。なお、取得した画像内に、別の株が存在している場合には、当該株について、図７のステップＳ１２～Ｓ２２の処理を繰り返し実行するものとする。また、図７の処理が終わった後も、モニタリング装置１０で順次撮影される画像に対し図７の処理は繰り返し実行され、栽培ベッド１２で栽培されている全ての株の総葉面積が算出されるようになっている。

なお、図７の処理（１回目の算出処理）は、株に４つ以上の葉が出てきているタイミングで行われてもよい。
例えば、（１）第１葉（新葉）、第２葉、第３葉の葉面積については、図７の処理により算出し、その他の葉の葉面積については、上方から撮影した画像から算出し、これらを合算して株の総葉面積を算出してもよい。
また、例えば、（２）第１葉（新葉）、第２葉、第３葉の葉面積については、図７の処理により算出し、その他の葉については、予め定めた葉面積であると仮定して、これらを合算して株の総葉面積を算出してもよい。
更に、例えば、（３）第１葉（新葉）、第２葉、第３葉の葉面積については、図７の処理により算出し、その他の葉の葉面積については無視する（葉面積＝０）こととしてもよい。第１回目の算出処理が定植時に近ければ、その他の葉の大きさは然程大きくないので無視しても問題ないと考えられるからである。

（２回目以降の算出処理について）
次に、２回目以降の葉面積の算出処理について、図１１、図１２のフローチャートに沿って処理が行われる。以下の説明においては、１回目の算出処理において葉面積ＤＢ６０に図１０に示すようなデータが格納された株（株ＩＤ＝００００１）の２回目の算出処理について説明する。なお、２回目の算出処理が実行されるタイミングは、例えば、１回目の算出処理において第１葉（新葉）と特定された葉が、第２葉又は第３葉と特定されるようなタイミングであるものとする。

図１１の処理では、まず、ステップＳ５０において、画像取得部５０は、モニタリング装置１０の制御装置３０から、画像と画像の位置情報とが送信されてくるまで待機する。制御装置３０から画像と位置情報が送られてくると、画像取得部５０はこれを取得し、ステップＳ５２に移行する。

ステップＳ５２に移行すると、画像解析部５２は、第１葉を検出する処理を実行する。具体的には、画像解析部５２は、図１２のフローチャートに沿った処理を実行する。

図１２の処理においては、画像解析部５２は、まずステップＳ１０２において、株の中心を検出する。この処理は、前述したステップＳ１２と同様である。そして、画像解析部５２は、葉面積ＤＢ６０を参照して、検出した株の中心座標と最も近い中心座標が格納されているデータ（株ＩＤ）を特定する。ここでは、図１０に示す株ＩＤ＝００００１の株の中心と、今回検出された株の中心とが最も近かったため、株ＩＤ＝００００１が特定されたものとする。

次いで、ステップＳ１０４では、画像解析部５２が、第１葉を検出する。この処理は、前述したステップＳ１４と同様である。

次いで、ステップＳ１０６では、画像解析部５２が、第１葉と株の中心を結ぶ直線の基準線に対する角度（角度θ₂とする）を検出する。この処理は、前述したステップＳ１６と同様である。

次いで、ステップＳ１０８では、画像解析部５２が、前回の計測で得られた、第１葉と株の中心を結ぶ直線の基準線に対する角度（図１０のθ₁）との差を算出する。この場合、画像解析部５２は、θ₁－θ₂を算出する。

ステップＳ１１０では、画像解析部５２が、ステップＳ１０８で算出した差（θ₁－θ₂）が約０°か否かを判断する。このステップＳ１１０の判断が肯定された場合、ステップＳ１１２に移行し、画像解析部５２は、検出された第１葉が前回検出時の第１葉と同一の葉である特定する。その後は、図１２の全処理を終了し、図１１のステップＳ５４に移行する。

一方、ステップＳ１１０の判断が否定されると、ステップＳ１１４に移行し、画像解析部５２は、差が約1４４°であるか否かを判断する。このステップＳ１１４の判断が肯定されると、ステップＳ１１６に移行し、画像解析部５２は、検出された第１葉が新たに出てきた１枚目の葉であると特定する。その後は、図１２の全処理を終了し、図１１のステップＳ５４に移行する。

一方、ステップＳ１１４の判断が否定されると、ステップＳ１１８に移行し、画像解析部５２は、差が約２８８°か否かを判断する。このステップＳ１１８の判断が肯定されると、ステップＳ１２０に移行し、画像解析部５２は、検出された第１葉が新たに出てきた２枚目の葉であると特定する。その後は、図１２の全処理を終了し、図１１のステップＳ５４に移行する。

一方、ステップＳ１１８の判断が否定されると、ステップＳ１２２に移行し、画像解析部５２は、エラー出力し、図１１の以降の処理を実行せずに、終了する。なお、ステップＳ１１８が否定される場合とは、計測間隔が長すぎる場合やわき芽が発生している場合であると考えられるため、画像解析部５２は、その旨を生産者等に通知する。

図１２の処理が行われ、図１１のステップＳ５４に移行すると、画像解析部５２は、第２葉と第３葉を特定し、第１葉～第３葉を計測対象葉とする。このステップＳ５４の処理は、前述した図７のステップＳ１８と同様であるので、第１葉を基準として、第２葉、第３葉を特定するようにすればよい。ただし、２回目以降の算出処理においては、前回の算出処理で得られた情報を利用することで、第２葉、第３葉が正しく特定されたかを確認し、特定精度を高めてもよい。例えば、前回の算出処理で、今回の第２葉（例えば前回の第１葉）、今回の第３葉（例えば前回の第２葉）の面積が得られているので、その面積と算出処理の実施間隔とから今回の第２葉、第３葉の面積がどの程度であるかを推定し、特定した第２葉、第３葉の面積が推定した面積と類似している場合に、第２葉、第３葉が正しく特定されたと判断してもよい。また、例えば、前回の算出処理で、今回の第２葉（例えば前回の第１葉）、今回の第３葉（例えば前回の第２葉）の株の中心からの距離が得られている場合には、その距離と算出処理の実施間隔とから今回の第２葉、第３葉の株の中心からの距離がどの程度であるかを推定し、特定した第２葉、第３葉の株の中心からの距離が推定した距離と類似している場合に、第２葉、第３葉が正しく特定されたと判断してもよい。

また、一般的には、第１葉、第２葉、第３葉の順で、（１）葉の面積の増大、（２）葉柄長の伸長度合、（３）色の変化、が大きいことが知られているので、この情報を利用して、第２葉、第３葉が正しく特定されたかを確認してもよい。

次いで、ステップＳ５６では、画像解析部５２が、計測対象葉の葉面積を算出する。この処理は、図７のステップＳ２０と同様である。なお、株には、計測対象葉以外の葉もあるが、計測対象葉以外の葉については葉面積を算出しないこととする。ここで、図１３には、第１葉（新葉）～第５葉の１週間ごとの葉面積の変化量が示されている。図１３に示すように、第１葉（新葉）、第２葉、第３葉は、葉面積が大きく変化する一方、第４葉、第５葉については、ほとんど変化（成長）しないことがわかる。したがって、本実施形態においては、２回目以降の算出処理において、株の全ての葉の葉面積を算出するのではなく、計測対象葉（ここでは、第１葉～第３葉）の葉面積のみを算出し、第４葉以降の葉については、前回の算出処理において得られた葉面積をそのまま用いることとしている。

次いで、ステップＳ５８では、データ管理部５４が、検出された第１葉が、前回までなかった葉であるか否かを判断する。この場合、データ管理部５４は、ステップＳ５２ｂにおいて、図１２のステップＳ１１６、Ｓ１２０のいずれかを経たかを判断する。このステップＳ５８の判断が肯定されると、ステップＳ６０に移行し、画像解析部５２は、新たに検出された葉数をｍとし、前回の第ｎ葉が第ｎ＋ｍ葉となるように葉面積ＤＢ６０を書き換える。例えば、新たに１枚の葉が検出された場合（図１２のステップＳ１１６を経た場合）には、図１０の葉面積ＤＢ６０は、図１４（ａ）に示すように書き換えられる。また、新たに２枚の葉が検出された場合（図１２のステップＳ１２０を経た場合）には、図１０の葉面積ＤＢ６０は、図１４（ｂ）に示すように書き換えられる。

次いで、ステップＳ６２では、データ管理部５４は、計測対象葉の葉面積を葉面積ＤＢ６０に上書きする。例えば、ステップＳ５６において、第１葉の葉面積＝Ｓ１ａ'、第２葉の葉面積＝Ｓ２ａ'、第３葉の葉面積＝Ｓ３ａ'が算出された場合、図１４（ａ）の葉面積ＤＢ６０であれば、図１５（ａ）のように上書きされる。また、図１４（ｂ）の葉面積ＤＢ６０であれば、図１５（ｂ）のように上書きされる。その後は、ステップＳ６６に移行する。

一方、ステップＳ５８の判断が否定された場合、すなわち、図１２のステップＳ１１２を経た場合には、ステップＳ６４に移行し、データ管理部５４は、計測対象葉の葉面積を葉面積ＤＢ６０に上書きする。例えば、図１０の葉面積ＤＢ６０は、図１６のように上書きされる。その後はステップＳ６６に移行する。

次いで、ステップＳ６６に移行すると、データ管理部５４は、葉面積ＤＢ６０から減算対象の葉を特定し、葉面積ＤＢ６０から削除する。例えば、生産者がどの葉を摘葉したかや、どの葉が枯死したかを記録している場合には、データ管理部５４は、摘葉した葉や枯死した葉のデータを葉面積ＤＢ６０から削除する。また、時期によって各株で何枚葉を残すかが予め定められている場合には、データ管理部５４は、栽培開始からの期間に基づいて、古い葉のデータを葉面積ＤＢ６０から削除する。また、古い葉は光合成活性が低いので、古い葉を総葉面積に含めないようにするために、データ管理部５４は、古い葉のデータを葉面積ＤＢ６０から削除する。更に、下の方の葉は、他の葉と重なり、光が当たり難いため、データ管理部５４は、下の方の葉のデータを葉面積ＤＢ６０から削除する。

次いで、ステップＳ６８では、総葉面積算出部５６は、葉面積ＤＢ６０に記憶されている全ての葉の葉面積（総葉面積）を算出し、総葉面積ＤＢ６２に格納する。この処理は、図７のステップＳ２２と同様である。

以上により、１つの株についての２回目以降の算出処理が終了する。なお、取得した画像内に、別の株が存在している場合には、当該株について、図１１、図１２の処理を繰り返し実行するものとする。また、図１１の処理が終わった後も、モニタリング装置１０で順次撮影される画像に対し図１１の処理は繰り返し実行され、栽培ベッド１２で栽培されている全ての株の総葉面積が算出されるようになっている。

上記のようにして算出される各株の総葉面積は、各株における光合成量の推定に用いることができる。したがって、本実施形態のように精度よく算出された総葉面積を用いることで、光合成量を精度よく推定することができる。なお、光合成量を推定する際には、総葉面積を用いずに、各葉の葉面積を用いることもできる。この場合、光合成量の推定において、葉位に応じた光合成活性の差異を考慮することで、光合成量をより精度よく推定することができる。また、精度よく推定された光合成量を用いることで、生育予測や収量予測を精度よく行うことが可能である。

以上、詳細に説明したように、本実施形態の葉面積算出システム１００は、イチゴの株に上方から風を吹き付けるブロワー２６と、株に風が吹き付けられた状態で株の画像を上方から撮影するカメラ２４とを有するモニタリング装置１０と、画像から、イチゴの株の総葉面積を算出する情報処理装置９０と、を備えている。この情報処理装置９０は、過去に算出した葉それぞれの葉面積を記憶する葉面積ＤＢ６０を有している。そして、情報処理装置９０は、新たに撮影された画像の中から、計測対象葉（第１葉～第３葉）を特定し、計測対象葉の葉面積を画像から算出して、葉面積ＤＢ６０に記憶されている計測対象葉以外の葉の葉面積と、算出した対象葉の葉面積を合計して、株の総葉面積を算出する。このように、本実施形態では、ブロワー２６で風を吹き付けた状態で株を上方から撮影するので、株の中心近傍に存在する幼い葉（例えば第１葉～第３葉）を撮影しやすくすることができる。また、総葉面積を算出する際に、幼い葉を計測対象葉とし、計測対象葉の葉面積のみを算出し、計測対象葉以外（葉面積がほとんど変化しない葉）の葉面積は、葉面積ＤＢ６０に記憶されている葉面積を用いることで、イチゴの株の総葉面積を精度よく算出することができる。また、株のうちの一部の葉の葉面積を算出しないこととしているので、全ての葉の葉面積を算出する場合に比べ、処理量を削減することができる。

また、本実施形態では、情報処理装置９０は、株の総葉面積を算出する際に、株から無くなった葉（摘葉された葉）、株から無くなったと推定される葉、光合成に寄与しないと推定される葉、の葉面積を加算しないこととしている。これにより、株の総葉面積や、光合成に寄与する株の総葉面積を精度よく算出することができる。

また、本実施形態では、情報処理装置９０は、撮影された画像を解析して、株の中心と、第１葉（新葉）の位置を特定し、株の中心と第１葉を結ぶ直線を基準として、第２葉や第３葉を特定する。これにより、イチゴの株の特性を利用して、第２葉や第３葉を精度よく特定することができる。

また、本実施形態では、情報処理装置９０は、撮影された画像から株が有する２以上の葉柄の位置を検出（図８（ａ）、図８（ｂ））又は推定（図８（ｃ））し、２以上の葉柄が交差する位置を株の中心と特定する。これにより、イチゴの株の特性を利用して、株の中心を精度よく特定することができる。また、特定された株の中心を用いて、中心の位置が一致する株は同一の株であることとして株のデータを管理することで、株のデータを継続的に管理することができる。

なお、上記実施形態では、計測対象葉が第１葉～第３葉である場合について説明したが、これに限られるものではない。品種や、栽培方法、栽培地域により異なるが、図１３のグラフにおいて、第３葉の変化量が第４葉や第５葉とほとんど変わらないと判断できるような場合には、計測対象葉は、第１葉と第２葉のみであってもよい。また、図１３のグラフにおいて、第４葉の変化量が大きいと判断できるような場合には、計測対象葉を第１葉～第４葉としてもよい。

なお、上記実施形態では、モニタリング装置１０がレール１４に沿って移動する場合について説明したが、これに限られるものではない。例えば、カメラ２４やブロワー２６、位置検出装置２９、制御装置３０を搭載した無人航空機（ドローンやマルチコプタ）をモニタリング装置として用いることとしてもよい。この場合、無人航空機のプロペラによる風圧がブロワー２６からの風と同等の風圧である場合には、ブロワー２６を省略してもよい。

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

１０モニタリング装置
２４カメラ（撮影装置）
２６ブロワー（吹き付け装置）
６０葉面積ＤＢ（記憶部）
９０情報処理装置（算出装置）
１００葉面積算出システム

Claims

イチゴの株に上方から風を吹き付ける吹き付け装置と、
前記株に風が吹き付けられた状態で前記株の画像を上方から撮影する撮影装置と、
前記画像から、前記イチゴの株の総葉面積を算出する算出装置と、を備え、
前記算出装置は、
過去に算出した前記株の葉それぞれの葉面積を記憶する記憶部を有し、
新たに撮影された第１画像の中から、前記株のうち、最も幼い第１葉と次に幼い第２葉を少なくとも含む対象葉を特定し、
前記対象葉の葉面積を前記画像から算出し、
前記記憶部に記憶されている前記対象葉以外の葉の葉面積と、算出した前記対象葉の葉面積と、を合計して、前記株の総葉面積を算出する、
ことを特徴とするイチゴの株の葉面積算出システム。
前記対象葉は、前記第１葉と、前記第２葉と、前記第２葉の次に幼い第３葉である、ことを特徴とする請求項１に記載のイチゴの株の葉面積算出システム。
前記算出装置は、前記株の総葉面積を算出する際に、前記株から無くなった葉、前記株から無くなったと推定される葉、光合成に寄与しないと推定される葉、の葉面積を加算しない、ことを特徴とする請求項１又は２に記載のイチゴの株の葉面積算出システム。
前記算出装置は、前記第１画像を解析して、前記株の中心と、前記第１葉の位置を特定し、
前記株の中心と前記第１葉を結ぶ直線を基準として、前記第１葉以外の前記対象葉を特定する、ことを特徴とする請求項１～３のいずれか一項に記載のイチゴの株の葉面積算出システム。
前記算出装置は、前記第１画像から前記株が有する２以上の葉柄の位置を検出又は推定し、前記２以上の葉柄が交差する位置を前記株の中心と特定する、ことを特徴とする請求項４に記載のイチゴの株の葉面積算出システム。
前記算出装置は、前記第１画像を解析して未展開葉を検出し、前記未展開葉を前記第１葉と特定する、ことを特徴とする請求項４又は５に記載のイチゴの株の葉面積算出システム。
前記算出装置は、前記株の中心との位置関係又は葉の特徴に基づいて、前記第１葉を特定する請求項４～６のいずれか一項に記載のイチゴの株の葉面積算出システム。