JP2023179320A - 収穫量推定装置、及び収穫量推定プログラム - Google Patents

Abstract

【課題】植物の育成状況や果実の収穫量を精度よく判断する。【解決手段】日没後に、地面側から対象となる果樹等の植物に照明を当てた状態で地面側から撮影する。対象植物を上空からではなく、地面側から撮影することで、地面上の雑草などの写り込みを回避するとともに、夜間に照明を当てた状態で撮影することで、逆光による黒つぶれ画像を回避することが可能になる。果樹や杉などの花の状態を可視画像で撮影する場合にはＲＧＢカメラと、ＬＥＤライトのセットが、植生の分布状況や活性度を知るためにマルチスペクトル画像を撮影する場合には、ＭＳカメラと、赤色光ライト、近赤外光ライトのセットが使用される。可視画像から果実の収穫量を推定する例として、例えば、梨の可視画像から梨の花叢数を係数し、１花叢での収穫果数を規定する判定条件を取得して、収穫量を推定する。【選択図】図１

Description

本発明は、収穫量推定装置、及び収穫量推定プログラムに係り、例えば梨などの果実の収穫量の推定に関する。

農作物や果実などの育成状況を判断する場合、従来から現状の目視と経験則による判断が広く行われているが、目視による判断は労力とコスト面で大きな負担となっている。
そこで最近では、対象となる果樹等の状態を撮影した画像を解析することで、果実等の育成状況についての各種情報を収集する技術が開発されている。
例えば、農作物の収量を衛星画像を用いて推定したり（特許文献１）、調査対象である圃場が撮影された空撮画像を用いて収量推計を実施している（特許文献２）。

しかし、植物を撮影した画像情報を使用して当該植物の育成状況を知る場合、特許文献記載技術を含め、従来では、対象植物を上方から撮影した画像が使用されている。
このため撮影した画像には、例えば、対象となる植物以外に地上の雑草が写り込んでしまうため、正確な育成状態を知ることができないという問題があった。
また、森林をその上から撮影する場合には樹木の上部だけしか撮影できなかった。

一方、従来果実の育成状況として収穫量を推定する場合、開花状態の植物を撮影し、その撮影画像から花の数を計数し、計数した花の総数の多少により収穫量を予想している。
しかし、開花後行われる摘花、摘果により残された果実の量が実際の収穫量であるため、摘花や摘果を反映した収穫量の推定はしていなかった。

特開２０１１－１６７１６３号公報 特開２０１５－４９号公報

植物の育成状況をより精度よく判断することが可能な植物情報を収集することを第１の目的とする。
また、開花状態に基づく、より適切な果実の収穫量を推定することを第２の目的とする。

本発明は、上記第２の目的を達成するために、開花状態にある対象果樹を撮影した可視画像を取得する可視画像取得手段と、前記対象果樹に対して規定された、花と収穫果実数との関係を規定した判定条件を取得する条件取得手段と、前記取得した判定条件に従って、前記可視画像から花の状態を取得する花状態取得手段と、前記取得した判定条件に従って、前記取得した花状態に対応する果実の収穫量を推定する推定手段と、前記推定した収穫量を出力する出力手段と、を具備したことを特徴とする収穫量推定装置を提供する。

本発明によれば、可視画像から花の状態を取得し、取得した判定条件に従って、花状態に対応する果実の収穫量を推定するので、開花状態に基づく、より適切な果実の収穫量を推定することができる。

植物情報収集装置の外観構成を表した図である。 情報収集部と制御部の配置関係を表した配置図である。 傾斜させたカメラによる撮影範囲と傾斜角α、βについて表した説明図である。 制御部の構成と、その制御対象の一部を表した説明図である。 植物情報収集の処理手順を表したフローチャートである。 梨園における、ＲＧＢカメラの撮影地点と撮影されたａ画像、ｂ画像の撮影範囲を表した説明図である。 ＲＧＢカメラで撮影した可視画像を表した説明図である。 植物の育成状態を判定する植物育成状態判定装置（収穫量推定装置）の構成を表した説明図である。 可視画像に写されている花から果実の収穫量を推定するための判定条件を表す説明図である。 梨の開花状態を模式的に表した説明図である。 育成状態判定処理について表したフローチャートである。 状態判定処理（サブルーチン）を表すフローチャートである。

以下、本発明の植物情報収集装置、植物育成状態判定装置（収穫量推定装置）における好適な実施の形態について、図１から図１２を参照して詳細に説明する。
（１）実施形態の概要
本実施形態の植物情報収集装置では、日没後（好ましくは夜間、以下同じ）において、地面側から対象となる果樹等の植物に照明を当てた状態で地面側から撮影するものである。
このように対象植物を上空からではなく、地面側から撮影することで、地面上の雑草などの写り込みを回避するとともに、夜間に照明を当てた状態で撮影することで、逆光による黒つぶれ画像を回避することが可能になる。

植物情報収集装置１は、基台２上に照明とカメラが上方向きに配設され、移動部（無人走行車両（ＵＧＶ））３で、対象となる圃場内を往復移動、又は、格子状移動（縦横の往復移動）をしながら所定間隔での撮影を行う。
照明とカメラはセットになっており、判断する植物の状態に応じた照明、カメラが使用される。
例えば、果樹や杉などの花の状態を可視画像として撮影する場合には、可視画像を撮影するＲＧＢカメラと、ＬＥＤライトのセットが使用される。
一方、植生の分布状況や活性度を知るためにマルチスペクトル画像を撮影する場合には、マルチスペクトル（以下、ＭＳという）カメラと、赤色光（Ｒｅｄ）ライト、近赤外光（ＮＩＲ）ライトのセットが使用される。
植物育成状態判定装置（収穫量推定装置）では、可視画像から果実の収穫量を推定する例として、例えば、梨の可視画像から梨の花叢数を係数し、１花叢での収穫果数を規定する判定条件を取得して、収穫量を推定する。

（２）実施形態の詳細
図１は、植物情報収集装置の外観構成を表した図である。
図１に示すように、植物情報収集装置１は、基台２、移動部３、情報収集部４、制御部５、電源６、その他の各部を備えている。
基台２は、情報収集部４、制御部５が載置される部分であり、収集する情報（可視画像、ＭＳ画像）に応じた情報収集部４に交換可能になっている。

移動部３は、対象となる植物（例えば梨園の梨の木）と地面との間を、決められた領域内で所定方向に移動することで、基台部を植物の地面側で移動させる移動手段として機能する。
本実施形態の移動部３は、無人走行車両（Ｕｎｍａｎｎｅｄ Ｇｒｏｕｎｄ Ｖｅｈｉｃｌｅ）により構成されている。この移動部３は、制御部５の制御に基づき、前後の移動やＵターン等の各種動作が行われることで、予め座標指定された領域内を往復移動、又は格子状の移動をする。なお、移動部３は、例えば、梨園やぶどう園等のように、対象植物が所定間隔で格子状に植えられている領域の場合、対象植物が植えられている各行間、各列間を往復移動する。
移動部３は、基台２を移動させる４つのタイヤを備えているが、タイヤに代えて各種圃場に対応させるためのキャタピラーを備えるようにしてもよい。

本実施形態の移動部３は、無人走行車両で構成されるが、他に無人飛行を行うドローン（ｄｒｏｎｅ）や、人力で基台２を移動させるワゴン（ｗａｇｏｎ）を使用することも可能である。
いずれの場合も、情報収集部４は、基台２に対して上方の情報収集（撮影）が可能に配設される。
移動部３にドローンが使用される場合、対象植物の下側（地面側）を飛行するように制御部５で飛行制御が実行される。
一方、ワゴンが使用される場合、地上を移動するために３つ以上のタイヤ又は、キャタピラーが配置され、人力によりワゴンを押したり引くことで移動させる。この場合、ワゴンを移動させるためのハンドルを備えている。

情報収集部４は、植物情報を収集するための機器として、対象植物を撮影するカメラと、撮影領域を照明する照明装置のセット、及び、撮影位置情報を取得する位置検出装置４０を備えている。

位置検出装置４０は、ＲＧＢカメラ４１、ＭＳカメラ４６が備えているＧＰＳ受信装置で検出される位置情報よりも高い精度、すなわち、ｃｍレベルでの位置情報を取得する。位置検出装置４０は、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）受信部と、基準局受信部を備えている（図示しない）。
基準局受信部は、予め正確に測量された基準局の位置情報と、基準局で受信したＧＮＳＳの観測データを、基準局データとして基準局から受信する。
位置検出装置４０は、制御部５からの観測指示に基づいて、自装置のＧＮＳＳ受信部による観測データと、基準局から受信した基準局データとから、植物情報収集装置１の位置情報ＧＮを求めて制御部５に供給し、制御部５は位置情報ＧＮをＲＡＭに保存する。

なお、基準局は自身の位置情報とＧＮＳＳの観測データとから、ＧＮＳＳの観測データに対する誤差情報を求めて位置検出装置４０に送信するようにしてもよい。位置検出装置４０では、ＧＮＳＳ受信部による観測データを基準局から受信する誤差情報を使用して補正することで正しい位置情報ＧＮを求めて制御部５に供給する。

情報収集部４のカメラと照明装置は、対象植物を地面側から撮影や照明をするために上方向きに配設されている。
カメラと照明装置は、判断する植物の状態（収集する植物情報）に応じた照明、カメラが使用される。
例えば、果樹や杉などの花の状態を可視画像（ＲＧＢ画像）で撮影する場合には、ＲＧＢカメラと、ＬＥＤライトのセットが使用される。
一方、植生の分布状況や活性度を知るためにマルチスペクトル画像を撮影する場合には、マルチスペクトル（以下、ＭＳという）カメラと、赤色光（Ｒｅｄ）ライト、近赤外光（ＮＩＲ）ライトのセットが使用される。

電源６は、基台２の下部に配設され、移動部３の駆動用電源として、情報収集部４による画像撮影や照明用の電源として、また、制御部５による制御用電源として電力が供給される。
なお、電源６については、照明用の電源とそれ以外の電源の２つに分けて配設することも、さらに３つ以上に分けて配設することも可能である。

図２は、情報収集部４と制御部５の配置関係を表したものである。
図２に示すように、基台２上には、移動部３による移動方向を図面上方とした場合、前側（図面上側）に情報収集部４が、後側（図面下側）に制御部５が配置されている。
制御部５の所定位置、例えば、進行方向に向かって右手前側には照明用スイッチ５０が配置されている。制御部５の詳細については後述する。

図２（ａ）は、対象植物の着花の状態を可視画像として撮影する場合の情報収集部４の配置関係を表している。
図２（ａ）に示すように、情報収集部４には、位置検出装置４０、ＲＧＢカメラ４１Ａとその撮影範囲を照明するＬＥＤライト４２Ａのセット、および、ＲＧＢカメラ４１Ｂとその撮影範囲を照明するＬＥＤライト４２Ｂのセットが配置されている。
ＲＧＢカメラ４１ＡとＬＥＤライト４２Ａのセットは、その撮影範囲、照明範囲の中心を通る光軸が、鉛直線に対して移動部３の進行方向（斜め前方）に所定角度α（本実施形態ではα＝３０度）だけ傾斜するように配置され、これにより鉛直上方を含む斜め領域の撮影と照明が行われる。
一方、ＲＧＢカメラ４１ＢとＬＥＤライト４２Ｂのセットは、各々の光軸が、鉛直線に対して進行方向の右側（斜め右方）に所定角度α（本実施形態ではα＝３０度）だけ傾斜するように配置され、これにより鉛直上方を含む右側領域の撮影と照明が行われる。

ＬＥＤライト２４Ａ、２４Ｂは可視光による照明を行うものであるが、必ずしもＬＥＤライトである必要がなく、それ以外の照明手段により可視光を照射することも可能である。
なお、符号Ａ、Ｂは、鉛直線に対する光軸の傾斜方向を示すものであり、使用するＲＧＢカメラ４１ＡとＲＧＢカメラ４１Ｂ、及び、ＬＥＤライト４２ＡとＬＥＤライト４２Ｂはそれぞれ同一のものである。従って、特に光軸の傾斜方向に係わらず共通する事項について説明する場合には使用ＲＧＢカメラ４１、ＬＥＤライト４２というように符号Ａ、Ｂを省略して説明することとする（以下他の図面についても同じ）。

図２（ｂ）は、対象植物の育成状況をＭＳ画像として撮影する場合の情報収集部４の配置関係を表している。
図２（ｂ）に示すように、情報収集部４には位置検出装置４０が同様に配置されると共に、ＭＳカメラ４６Ａ、４６Ｂとその撮影範囲を照明する赤色光（Ｒｅｄ）ライト４７Ａ、４７Ｂ、近赤外光（ＮＩＲ）ライト４８Ａ、４８Ｂが配設されている。
このＭＳカメラ４６Ａ、赤色光ライト４７Ａ、近赤外光ライト４８Ａは、その光軸が鉛直線に対して所定角度βだけ斜め前方に傾斜するように配置されている。
一方、ＭＳカメラ４６Ｂ、赤色光ライト４７Ｂ、近赤外光ライト４８Ｂは、その光軸が鉛直線に対して所定角度βだけ斜め右方に傾斜するように配置されている。

このように、ＲＧＢカメラ４１とＬＥＤライト４２のセット、ＭＳカメラ４６と赤色光ライト４７、近赤外光ライト４８のセットが、斜め前方用と斜め右方用の２セットずつ配置されることで、撮影範囲を効率的に撮影することが可能になる。
なお、傾斜方向については、斜め前方と斜め左方、斜め後方と斜め右方、斜め後方と斜め左方とすることも可能である。

ＲＧＢカメラ４１とＭＳカメラ４６は、照明された対象植物を、制御部５の制御によって所定間隔（所定時間ｔ毎、又は／及び所定移動距離ｍ毎）で撮影し、撮影した画像データ（可視画像、ＭＳ画像）を制御部５に供給するようになっている。
ＲＧＢカメラ４１Ａ、ＭＳカメラ４６Ａが撮影した画像はａ画像として、ＲＧＢカメラ４１Ｂ、ＭＳカメラ４６Ｂが撮影した画像はｂ画像として保存される。
なお、ＭＳカメラ４６は、撮影毎に、赤色光（Ｒｅｄ）ライトによる赤色光画像と、近赤外光（ＮＩＲ）ライトによる近赤外光画像のセットからなるＭＳ画像がａ画像として制御部５に供給される。
またＲＧＢカメラ４１とＭＳカメラ４６はＧＰＳ装置を内蔵しており、撮影した際の撮影位置ＧＫを取得して、撮影画像と共に制御部５に供給する。

ここで、カメラや照明の光軸を傾斜させる理由とその傾斜角α、βについて説明する。
本実施形態の植物情報収集装置１では、対象植物までの距離を自由に設定可能な上空からの撮影ではなく、対象植物を地面側から撮影しているため、撮影する距離に上限（植物の高さ未満）がある。
そこで、本実施形態では、カメラの光軸を鉛直線に対して傾斜角α、βだけ傾斜させることで、撮影範囲を広くすることが可能になっている。また、１の画像中により多くの特徴点（例えば枝と枝の分岐点や、節など）を含めることが可能になり、画像合成する際の処理精度と速度を向上させることが可能になる。
傾斜角α、βは使用する、画角の端面から内側５０ｍｍ～４００ｍｍの範囲内に位置する角度となるように、カメラの画角に応じて決められる。

図３は、傾斜させたカメラによる撮影範囲と傾斜角α、βについて表した説明図で、斜め前方に傾斜したＲＧＢカメラ４１Ａ、ＭＳカメラ４６Ａについては植物情報収集装置１の進行方向に向かって右側から見た状態、斜め右方に傾斜したＲＧＢカメラ４１Ｂ、ＭＳカメラ４６Ｂについては植物情報収集装置１の後方から見た状態を表している。
図３では、一例として梨園を対象とし、カメラから梨棚までの高さをｈ＝１５００ｍｍとした場合の撮影範囲を表したものである。
また図３では、鉛直線を符号Ｖで、カメラの光軸を符号Ｓで、カメラの撮影範囲の傾斜方向の撮影範囲の端部を示す範囲線をＲＲ、その反対側の範囲線をＲＬで表している。

図３（ａ）はＲＧＢカメラ４１の撮影範囲を、（ｂ）はＭＳカメラ４６の撮影範囲を示している。
ＲＧＢカメラ４１の画角は８２度と広いため、図３（ａ）に示すように、鉛直線Ｖに対して光軸Ｓを傾斜角α＝３０度に傾斜させている。この傾斜により撮影範囲の傾斜方向の距離を約４６９９ｍｍに伸すことができ、画角にして１１度分だけの距離（約２９７ｍｍ）の領域が傾斜方向の反対側に確保される。
一方、ＭＳカメラ４６の画角は４２度と狭いため、図３（ｂ）に示すように、光軸Ｓを傾斜角β＝２０度に傾斜させている。この傾斜により撮影範囲の傾斜方向の距離を約１５７１ｍｍに伸すことができ、画角にして４度分だけの距離（約１１１ｍｍ）の領域が傾斜方向の反対側に確保される。
なお、本実施形態では光軸の傾斜角をα＝３０度、β＝２０度に設定したが、傾斜角α、βは使用するカメラの画角に応じて、鉛直線上方が撮影範囲に含まれる傾斜角α、βが決定される。

図１、図２に戻り、制御部５は、植物情報収集装置１の各種動作を制御する。
この制御部５には照明用スイッチ５０が設けられている。本実施形態の照明用スイッチ５０は、基台２上に配設された情報収集部４の照明（ＬＥＤライト４２、赤色光ライト４７及び近赤外光ライト４８）と電源６との間に接続されて、ユーザ操作に基づいて照明のオン、オフが行われる。
なお、後述する撮影プログラムによる撮影処理の開始と連動して制御部５が照明の電源オン、オフを自動制御するようにしてもよい。この場合、照明用スイッチ５０は不要である。

図４は、制御部５の構成と、その制御対象の一部を表したものである。
図４に示すように制御部５は、ＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、入出力部５４、記憶部５５、通信制御部５６を備えている。
また制御部５のバスラインには、その制御対象である位置検出装置４０、ＲＧＢカメラ４１、ＭＳカメラ４６が接続されると共に、図示しない移動部３に駆動制御信号が供給される。

ＣＰＵ５１は、ＲＯＭ５２や記憶部５５等の各種記憶部に記憶されたプログラムに従って、本実施形態における撮影処理等の各種の情報処理や制御を行う。
ＲＯＭ５２は、ＣＰＵ５１が各種制御や演算を行うための各種プログラム（システムのブートプログラムやＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）などの基本プログラム等）や基本データが予め格納されたリードオンリーメモリである。

ＲＡＭ５３は、ＣＰＵ５１にワーキングメモリとして使用されるランダムアクセスメモリである。このＲＡＭ５３には、本実施形態による撮影処理等の各種処理を行うための各種エリアが確保可能になっている。
具体的にＲＡＭ５３には、撮影情報５３１、可視画像５３２、ＭＳ画像５３３、位置情報ＧＮ５３４等が一時記憶領域として確保される。

撮影情報５３１は、撮影に必要な各種条件が保存される。すなわち、ユーザによって指定される梨園等の各種圃場における撮影領域と、撮影領域内での移動経路、及び、撮影画像種別（可視画像又は／及びＭＳ画像）、撮影間隔ｓなどが保存される。
撮影情報５３１の撮影領域と移動経路は、記憶部５５の移動領域５５２から読込まれるが、通信制御部５６で受信することや、ユーザが入出力部５４の操作で指定することも可能である。撮影領域は、複数の位置座標（ｘ、ｙ）で囲まれた領域で指定され、移動部３が本実施形態の無人走行車両で構成される場合やドローンで構成される場合に必要となる。ドローンで構成される場合には、高さの情報を含む座標（ｘ、ｙ、ｚ）で領域が指定される。一方、人力で基台２を移動させるワゴンで移動部３が構成される場合には、撮影情報５３１は使用されない。
撮影画像種別は、情報収集部４に配置されているカメラの種別（ＲＧＢカメラ４１又は／及び、ＭＳカメラ４６）に基づいて撮影前に判断されて撮影情報５３１に保存される。
撮影間隔ｓは、対象植物を撮影する間隔であり、使用するＲＧＢカメラ４１、ＭＳカメラ４６の画角により決定される。撮影間隔ｓは、移動部３の移動距離や移動時間で指定される。

可視画像５３２にはＲＧＢカメラ４１で撮影された可視画像等が保存される。
ＭＳ画像５３３にはＭＳカメラ４６で撮影されたＭＳ画像として、赤色光によるＲｅｄ画像と近赤外光によるＮＩＲ画像等が保存される。
図４（ｂ）は、可視画像５３２、ＭＳ画像５３３に保存されるデータについて表したものである。
図４（ｂ）に示すように、ＲＧＢカメラ４１とＭＳカメラ４６（以下単に、両カメラ４１、４６という）で撮影された画像は、撮影番号で管理され、撮影番号毎に撮影位置ＧＫ、ａ画像、ｂ画像が保存される。

撮影番号は、ＣＰＵ５１から各カメラ４１、４６に撮影指示が出される毎に採番される。
撮影位置ＧＫは、各カメラ４１、４６が備えるＧＰＳ装置で検出した撮影位置のデータである。本実施形態では、撮影位置ＧＫをＲＧＢカメラ４１Ａ、ＭＳカメラ４６Ａから撮影位置ＧＫを取得するが、他方のカメラＢから取得することも可能であり、両カメラＡ、Ｂから取得した位置の中間地点を撮影位置ＧＫとして保存するようにしてもよい。

ａ画像は、ＲＧＢカメラ４１Ａ、ＭＳカメラ４６Ａで撮影された斜め前方の画像データであり、ｂ画像はＲＧＢカメラ４１Ｂ、ＭＳカメラ４６Ｂで撮影された斜め右方の画像データである。ａ画像とｂ画像は同時に撮影されるため、同じ撮影番号で管理されている。
なお、ＭＳ画像５３３のａ画像、ｂ画像には、赤色光ライトによる赤色光画像と、近赤外光ライトによる近赤外光画像のセットが保存される。

位置情報ＧＮ５３４は、ＲＧＢカメラ４１、ＭＳカメラ４６による撮影が行われる毎に位置検出装置４０から供給される正確な位置情報ＧＮが保存される。
位置情報ＧＮは、可視画像５３２、ＭＳ画像５３３に保存される撮影番号と同じ撮影番号で保存、管理される。

入出力部５４は、データの入力や出力を行い、例えば、ディスプレイ、タッチパネル、ＵＳＢ端子などを備えている。
ディスプレイは、出力装置としての液晶ディスプレイが使用され、入力供給からの入力結果や、ＲＧＢカメラ４１、ＭＳカメラ４６による撮影範囲を表す地図情報や撮影画像等が表示される。またディスプレイには、タッチパネルから必要な各種操作を行うための各種操作キー（テンキー、操作アイコン等）を画像表示する。
タッチパネルは、ディスプレイの表面に配置される入力機器で、ディスプレイに画面表示された各種操作キーに対応した、ユーザのタッチ位置を特定し、当該タッチ位置に対応して表示された操作キーの入力を受け付ける。

ＵＳＢ端子は、外部記憶装置としてのＵＳＢメモリを接続するためのインターフェイスである。
ＵＳＢ端子に接続されたＵＳＢメモリは、植物情報収集装置１の記憶部５５やＲＡＭ５３に読込むためのデータが保存されたり、撮影情報５３１のデータを保存して外部に出力するためなどに使用される。
例えば、可視画像５３２、ＭＳ画像５３３、位置情報ＧＮ５３４に保存されている画像データや位置情報ＧＮのデータが収集植物情報として、ＵＳＢ端子からＵＳＢメモリに出力、保存される。

記憶部５５は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータ等の各種情報を読み書きするための駆動装置等で構成されている。この記憶部５５に使用される媒体としては、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の半導体記憶装置が使用されるが、ハードディスクや光磁気ディスク等を使用することも可能である。
記憶部５５には、植物情報収集プログラム５５１、移動領域５５２、収集植物情報５５３が保存される。
植物情報収集プログラム５５１としては、撮影情報５３１に保存された撮影領域の範囲内で往復移動又は／及び格子状移動するように移動部３を制御する移動制御プログラムや、移動部３の移動距離又は／及び時間毎にＲＧＢカメラ４１やＭＳカメラ４６で撮影をし、撮影した画像を保存する撮影プログラム等が保存されている。
移動制御プログラムについては、移動部３として無人走行車両が使用される場合には地上を走行するプログラムが、ドローンが使用される場合には地面から所定距離（例えば、地上３０ｃｍ）だけ上方を飛行するプログラムが保存される。なお、移動部３として人力により移動するワゴンが使用される場合には、移動プログラムは不要である。

移動領域５５２には、撮影領域を指定するための地図データや領域の座標（ｘ、ｙ）からなる撮影領域や、当該撮影領域内を移動する移動経路の情報が保存されている。
これらの情報は、入出力部５４に接続されたＵＳＢメモリや、通信制御部５６を介して外部の機器から取得して移動領域５５２に保存される。
本実施形態の移動部３が地上を走行する無人走行車両で構成されているので、複数の位置座標（ｘ、ｙ）で囲まれた領域で撮影領域が指定される。
但し、圃場の地図画像をディスプレイに表示して、その撮影範囲と移動経路をタッチパネルから指定することも可能である。この場合、ＣＰＵ５１は指定された撮影範囲と移動経路を移動領域５５２に保存する。
なお、移動部３がドローンで構成される場合、撮影領域には、飛行する地面からの高さ情報を含む座標（ｘ、ｙ、ｚ）で指定される。また、人力で基台２を移動させるワゴンで移動部３が構成される場合には、移動領域５５２は使用されない。

収集植物情報５５３には、撮影情報５３１に保存されている全撮影領域における撮影が終了した後に、可視画像５３２、ＭＳ画像５３３、位置情報ＧＮ５３４、撮影情報５３１（移動領域５５２）が、収集した植物情報として保存される。
なお、本実施形態の植物情報収集装置１では収集した植物情報に基づいて、当該植物から推定される果実の収穫量や、植物の育成状態の判定を行わず、植物情報をＵＳＢメモリ等の外部に出力する構成となっているため、収集植物情報５５３を記憶部５５に保存しないようにすることも可能である。

通信制御部５６は、タブレット等の携帯端末装置やパーソナルコンピュータ等の各種外部電子機器との間を無線通信によりネットワーク接続するための制御装置である。
通信制御部５６は、これら各種外部電子機器から植物情報収集装置１にアクセスすることが可能になっており、外部電子機器から撮影領域や移動経路等を受信したり、外部電子機器に対して収集した植物情報を送信する場合等に使用される。

次に、植物情報収集装置１により植物の情報を収集する処理動作について説明する。
図５は、植物情報収集の処理手順を表したフローチャートである。
最初に、ユーザは植物情報収集装置１の準備を行う（ステップ１０）。
すなわちユーザは、収集する植物情報に対応した情報収集部４を基台２上にセットする。すなわち対象植物の着花状態を可視画像として撮影する場合には図２（ａ）で説明した情報収集部４を、対象植物の育成状況をＭＳ画像として撮影する場合には図２（ｂ）で説明した情報収集部４を植物情報収集装置１の基台２上にセットする。
そして、所定の情報収集部４をセットした植物情報収集装置１を、日没後に撮影対象である圃場に用意する。
なお、日没後に行うのは撮影時における、太陽光による逆光を回避するためであるため、少なくとも撮影の開始を日没後に行えばよく、情報収集部４のセット等は日没前に行うことは可能である。

なお、本実施形態では移動部３として自動走行車両が使用されるが、人力で基台２を移動させるワゴンで移動部３が構成される場合には、植物情報収集装置１の準備（ステップ１０）において、撮影予定の領域（例えば、４隅）の植物や支柱などに目印となるリボンやテープを巻付ける。

植物情報収集装置１の準備が終了した後、ユーザは制御部５の照明用スイッチ５０をオンにする（ステップ１１）。
これにより、撮影終了して照明用スイッチ５０がオフされるまでの間、照明用のＬＥＤライト４２、又は赤色光ライト４７、近赤外光ライト４８が点灯し、斜め前方、斜め右方の撮影範囲を継続的に照明する。
なお、本実施形態の植物情報収集装置１では、照明用スイッチ５０によりライトが点灯するが、植物情報収集プログラム５５１に基づいて撮影開始直前にライトを点灯するようにしてもよい。

次に、ユーザは植物情報収集プログラム５５１を起動する（ステップ１２）。
すなわち、ユーザは入出力部５４のディスプレイに表示された植物情報収集アイコンをタッチパネルで指定し、これにより制御部５のＣＰＵ５１が植物情報収集プログラム５５１を起動する。
植物情報収集プログラム５５１の起動により、これ以降の各処理については、当該プログラムに従ってＣＰＵ５１が植物情報収集装置１の各部を制御することで情報収集が行われる。

まずＣＰＵ５１は、撮影情報を取得する（ステップ１３）。すなわち、ＣＰＵ５１は、撮影情報として撮影領域、移動経路、撮影画像種別、撮影間隔ｓを取得する。
具体的にＣＰＵ５１は、記憶部５５の移動領域５５２から撮影領域を特定する座標（ｘ、ｙ）と移動経路を収集情報として取得してＲＡＭ５３の撮影情報５３１に保存する。
更にＣＰＵ５１は、情報収集部４にＲＧＢカメラ４１が配置されていれば可視画像（ＲＧＢ画像）を、ＭＳカメラ４６が配置されていればＭＳ画像を撮影画像種別として撮影情報５３１に保存する。なお、ＣＰＵ５１は、両カメラ４１、４６が配置されていれば、可視画像とＭＳ画像を保存する。

また、ＣＰＵ５１は、撮影画像種別に対応して、可視画像（ＲＧＢ画像）の場合の撮影間隔ｓ１、ＭＳ画像の場合の撮影間隔ｓ２を取得する。
撮影間隔は、使用するカメラの画角に応じて決まり、本実施形態のカメラでは画角が広いＲＧＢカメラ４１の撮影間隔ｓ１＝２ｍ、狭いＭＳカメラ４６の撮影間隔ｓ２＝１ｍである。
但し、本実施形態では、移動部３を所定移動速度（＝秒速１ｍ）で移動させるので、可視画像では撮影間隔時間ｔ１＝２秒、ＭＳ画像では撮影間隔時間ｔ２＝１秒を撮影間隔として取得する。
なお、撮影間隔としてｓ１、ｓ２を取得することも可能であるが、時間ｔ１、ｔ２をすることで撮影間隔に到達したか否かの判断が容易になる。

その後ＣＰＵ５１は、取得した移動経路に従って移動部３を撮影位置まで移動させる（ステップ１４）。
本実施形態では上述したように、移動部３が移動経路に沿って所定速度で継続的に移動しているので、ＣＰＵ５１は、移動部３を移動させながら前回の撮影から撮影間隔時間ｔ１、ｔ２が経過する毎に撮影位置に到達したと判断している。

ＣＰＵ５１は、移動部３の撮影位置においてＲＧＢカメラ４１、ＭＳカメラ４６による撮影をする（ステップ１５）。
具体的にＣＰＵ５１は、情報収集部４にＲＧＢカメラ４１が配置されていれば、２秒毎に可視画像の撮影を指示する。そしてＣＰＵ５１は、この撮影指示に基づいてＲＧＢカメラ４１Ａで撮影されたａ画像、ＲＧＢカメラ４１Ｂで撮影されたｂ画像、及び撮影時にＲＧＢカメラ４１Ａで検出した撮影位置ＧＫを取得し、撮影指示毎に採番した撮影番号を付してＲＡＭ５３の可視画像５３２に保存する（図４（ｂ）参照）。

またＣＰＵ５１は、ＭＳカメラ４６が配置されていれば、１秒毎にＭＳ画像の撮影を指示する。そしてＣＰＵ５１は、この撮影指示に基づいてＭＳカメラ４６Ａで撮影されたａ画像、ＭＳカメラ４６Ｂで撮影されたｂ画像、及び撮影時にＭＳカメラ４６Ａで検出した撮影位置ＧＫを取得し、撮影指示毎に採番した撮影番号を付してＲＡＭ５３のＭＳ画像５３３に保存する。
上述したように、ＭＳ画像５３３のａ画像、ｂ画像には、赤色光ライト４７の照明による赤色光画像と、近赤外光ライト４８の照明による近赤外光画像のセットが保存される。

なお、ＲＧＢカメラ４１とＭＳカメラ４６の両方が情報収集部４に配置されている場合、ＣＰＵ５１は、２秒毎にＲＧＢカメラ４１とＭＳカメラ４６に同時に撮影指示をし、その中間（１秒後）にＭＳカメラ４６に単独の撮影指示をする。この場合、ＭＳ画像は連続する撮影番号で保存され、ＲＧＢ画像は連続する奇数の撮影番号で保存される。
ＲＧＢカメラ４１に対する撮影指示とＭＳカメラ４６に対する撮影指示を異なるタイミングにすることも可能であるが、移動部３による移動を撮影用に一時停止する場合には同じタイミングで撮影指示をするのが時間短縮上好ましい。

本実施形態の植物情報収集装置１では、１回の撮影においてＲＧＢカメラ４１Ａ、４１Ｂによりａ画像とｂ画像が同時に撮影され、同一の撮影番号で保存される。またＭＳカメラ４６Ａ、４６Ｂによりａ画像とｂ画像同時に撮影され、同一の撮影番号で保存される。
図６は、一例として、梨園における、ＲＧＢカメラ４１の撮影地点と撮影されたａ画像、ｂ画像の撮影範囲を表したものである。
図６に示すように、梨園では複数の梨の木ＰＬが格子状に規則正しく植えられており、植物情報収集装置１は梨の各列間を長矢印で示した移動経路上を往復移動する。この移動経路上の撮影位置ｐ１、ｐ２、…においてＲＧＢカメラ４１による撮影が行われる。
なお、梨の木ＰＬは撮影範囲ａ１、ｂ１等を説明するため木の位置だけを丸印で表している。

また図６に示すように、撮影位置ｐ１において、ＲＧＢカメラ４１Ａで撮影した可視画像（ａ画像）を実線の撮影範囲ａ１で、ＲＧＢカメラ４１Ｂで撮影した可視画像（ｂ画像）を同じく実線の撮影範囲ｂ１で表している。
一方、撮影位置ｐ１から２ｍ（２秒）移動した次の撮影位置ｐ２において、ＲＧＢカメラ４１Ａによるａ画像を点線の撮影範囲ａ２で、ＲＧＢカメラ４１Ｂによるｂ画像を同じく点線の撮影範囲ｂ２で表している。
このように、２台のＲＧＢカメラ４１Ａ、４１Ｂをそれぞれ斜め前方と斜め右方に傾斜させることで、１回の撮影で（ａ１＋ｂ１）、（ａ２＋ｂ２）の広い領域を撮影することが可能になる。

図７は、ＲＧＢカメラ４１で撮影した可視画像を表したものである。
図７（ａ）は、ＲＧＢカメラ４１Ａで撮影した可視画像（ａ画像）で、斜め前方を撮影しているので梨の木の幹部分よりも枝先の多くが撮影されている。
一方、図７（ｂ）はＲＧＢカメラ４１Ｂで撮影した可視画像（ｂ画像）で、斜め右方向を撮影しているので、植物情報収集装置１の右側にある梨の木の幹周辺が撮影されている。

図５のフローチャートに戻り、ＣＰＵ５１は、位置検出装置４０から位置情報ＧＮを取得する（ステップ１６）。
すなわち、ＣＰＵ５１は、ＲＧＢカメラ４１、ＭＳカメラ４６に撮影指示をしたタイミングで、位置検出装置４０に観測を指示する。
この観測指示に基づいて、位置検出装置４０は植物情報収集装置１の正確な位置情報ＧＮを観測して出力し、ＣＰＵ５１は出力された位置情報ＧＮを取得してＲＡＭ５３の位置情報ＧＮ５３４に保存する。
位置情報ＧＮは、当該撮影指示と同時に出した撮影指示に対する撮影番号と同じ撮影番号で管理、保存される。

撮影とデータ保存が終了すると、ＣＰＵ５１は撮影情報５３１に保存された撮影領域内で全撮影が完了したか否かを、移動経路の終点に到達したか否かにより判断する（ステップ１７）。
撮影が完了していない場合（ステップ１７；Ｎ）、ＣＰＵ５１は、ステップ１４に戻り移動部３の移動と撮影を継続する。

一方、撮影が完了している場合（ステップ１７；Ｙ）、ＣＰＵ５１は、撮影データ等による収集植物情報を出力する（ステップ１８）。
ここで出力する収集植物情報は、ＲＡＭ５３の撮影情報５３１（又は移動領域５５２）、可視画像５３２、ＭＳ画像５３３、位置情報ＧＮ５３４に保存されている全ての画像データや位置情報ＧＮのデータである。
収集植物情報の出力先としては、入出力部５４に接続されているＵＳＢメモリや、通信制御部５６を介して接続された外部機器等である。またＲＡＭ５３の収集植物情報は、記憶部５５の収集植物情報５５３にも保存される。
収集植物情報を出力した後、ＣＰＵ５１は、植物情報収集処理を終了する。

次に、植物情報収集装置１から出力される収集植物情報（可視画像やＭＳ画像等）を使用して、対象植物に対する育成状況の判断について説明する。
図８は、植物の育成状態を判定する植物育成状態判定装置（収穫量推定装置）の構成を表したものである。
図８に示すように、植物育成状態判定装置１００は、ＣＰＵ１１０、ＲＯＭ１２０、ＲＡＭ１３０、ＵＳＢ端子１４０、入力部１５０、表示装置１６０、通信制御部１７０、記憶部１８０を備えている。

ＣＰＵ１１０は、ＲＯＭ１２０や記憶部１８０等の各種記憶部に記憶されたプログラムに従って、本実施形態における植物の育成情報を判定する処理等の各種の情報処理や制御を行う。
ＲＯＭ１２０は、ＣＰＵ１１０が各種制御や演算を行うための各種プログラム（システムのブートプログラムやＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）などの基本プログラム等）や基本データが予め格納されたリードオンリーメモリである。

ＲＡＭ１３０は、ＣＰＵ１１０にワーキングメモリとして使用されるランダムアクセスメモリである。このＲＡＭ１３０には、本実施形態による撮影処理等の各種処理を行うための各種エリアが確保可能になっている。
具体的にＲＡＭ１３０には、可視画像１３２、ＭＳ画像１３３、位置情報ＧＮ１３４、特徴点１３６、合成画像１３７、判定結果１３８等が一時記憶領域として確保される。
可視画像１３２、ＭＳ画像１３３、位置情報ＧＮ１３４は、植物の育成状態を判定するために収集された収集植物情報である。この収集植物情報は、植物情報収集装置１の撮影情報５３１（又は移動領域５５２）、可視画像５３２、ＭＳ画像５３３に対応する情報で、収集された植物の育成状態の判定処理において、記憶部１８０の収集植物情報１８２から読み出して保存される。可視画像１３２、ＭＳ画像１３３は一方又は両方がＲＡＭ１３０に保存される。

位置情報ＧＮ１３４は、撮影位置に対応して複数存在する可視画像１３２やＭＳ画像１３３を合成する際に使用される。
位置情報ＧＮ１３４は、可視画像１３２やＭＳ画像１３３に含まれる撮影位置ＧＫよりも正確な撮影位置を表す情報で、植物情報収集装置１の位置検出装置４０で検出された位置情報ＧＮである。
位置情報ＧＮ１３４は、可視画像１３２、ＭＳ画像１３３に保存されている各撮影画像の撮影番号と同一の撮影番号で管理されているので、同じ撮影番号の両画像１３２、１３３の位置情報ＧＮに上書きされる。

特徴点１３６は、１箇所の圃場に対して複数箇所で撮影された各撮影画像（可視画像、ＭＳ画像）から抽出した特徴点が保存される。
特徴点１３６は、各撮影画像から画像処理によって抽出した、枝の分岐点Ｆや節Ｈなどの特徴点である。
特徴点１３６は、各撮影画像を合成する際に使用される。

合成画像１３７は、各撮影画像から抽出した特徴点１３６に基づいて合成した可視画像１３２の合成画像とＭＳ画像１３３の合成画像である。
この本実施形態の合成画像１３７は、収集植物情報を収集した圃場全体で１枚の画像に合成されたものであるが、圃場によっては予め区画された領域毎に合成画像１３７を作成することも可能である。

判定結果１３８は、合成画像１３７を使用して当該画像に写し出された植物の育成情報を判定した結果が保存される。
例えば、可視画像に写る花の状態から判定した果実の収穫量や、ＭＳ画像から植物の育成状況を把握するための正規化植生指数（ＮＤＶＩ）等が保存される。

ＵＳＢ端子１４０は、外部記憶装置としてのＵＳＢメモリを接続するためのインターフェイスであり、植物情報収集装置１で収集して出力された収集植物情報が保存されたＵＳＢメモリが接続される。
入力部１５０は、表示装置１６０のディスプレイ表面に配置されたタッチパネルやキーボード等の各種入力機器である。入力部１５０は、育成状態を判定する対象データを指定したり、植物育成状態の判定に必要な条件等の判定情報の入力や指定をしたり、判定処理を開始する処理を指示したり、その他の各種入力操作に使用される。
表示装置１６０は、液晶ディスプレイ等の画像出力装置である。表示装置１６０には合成前後の可視画像やＭＳ画像、正規化植生指数の分布状態を表すＮＤＶＩ画像等が表示される。表示装置１６０には、またタッチパネルでの操作を可能にするための各種操作キー等も表示される。

通信制御部１７０は、タブレット等の携帯端末装置やパーソナルコンピュータ等の各種外部電子機器との間を無線通信によりネットワーク接続するための制御装置である。
本実施形態の通信制御部１７０は、植物情報収集装置１から無線通信により出力される収集植物情報を取得する場合にも使用される。

記憶部１８０は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータ等の各種情報を読み書きするための駆動装置等で構成されている。
この記憶部１８０に使用される記憶媒体としては、主としてハードディスクや、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の半導体記憶装置、光磁気記憶媒体等の各種記憶媒体のうちの読み書き可能な記憶媒体を使用するようにしてもよい。
記憶部１８０には、育成状態判定プログラム１８１、収集植物情報１８２、判定条件１８３、植物育成状態判定情報１８４、その他のプログラムやデータが保存されている。

育成状態判定プログラム１８１は、収集植物情報に基づいて果実の収穫量や、正規化植生指数等の各種植物の育成情報、更に、杉や桧の花粉量等について判定するためのプログラムである。育成状態判定プログラム１８１は、ユーザによって指定された判定対象植物や、後述の判定条件１８３から選択された条件に従って、収集植物情報１８２に保存されている撮影画像（可視画像、ＭＳ画像）を使用して対象植物の育成状態を判定する。
収集植物情報１８２は、植物情報収集装置１から出力される収集植物情報が保存される。この収集植物情報１８２は、育成状態判定プログラム１８１が実行されることで、ＲＡＭ１３０の作業領域に保存される。
植物育成状態判定情報１８４は、果実の収穫量等の判定結果が保存される。この判定結果は、育成状態判定処理においてＲＡＭ１３０に保存された判定結果１３８が読み出されて植物育成状態判定情報１８４に保存される。

判定条件１８３は、育成状態判定プログラム１８１で使用される各種判定条件が保存されている。具体的に判定条件１８３には、可視画像から果実の収穫量を推定する果実毎の判定条件や、ＭＳ画像から正規化植生指数（ＮＤＶＩ）を算出する計算式、杉や桧の花粉量を推定する場合の推定条件等が保存される。
いずれの判定条件を使用するか否かについてはユーザが指定することになるが、ユーザの指定が無い場合には予め決められたデフォルトの判定条件が使用される。
判定条件１８３に保存される各種判定条件としては、デフォルトの条件が予め決められているが、ユーザによって適宜変更、追加することが可能になっている。

ここで本実施形態で使用する、判定条件１８３に保存される判定条件、主として果実に対する判定条件について説明する。
一般に梨や林檎、桃、キウイ等の各種果実は、花の数を数えて果実の収穫量を予想している。
しかし、実際の果樹園では全ての花を結実させるのではなく、収穫までの途中段階で花や小さい果実を取り去る摘花、摘果を行うことで、最適（大きい、美味しい等）な果実を収穫している。
そこで本実施形態では、花の数を数えるのではなく、収穫用に残す花や果実に対応した花の状態を計数することで、より正確な収穫量を植物育成状態判定結果として推定している。
判定条件１８３には、果樹の場合は、花の状態から収穫量を推定するための条件が規定されている。

図９は、一例として、可視画像１３２に写されている果実の花から、梨やキウイ等の果実の収穫量を推定するための判定条件として、（ａ）は梨の判定条件、（ｂ）はキウイの判定条件を表したものである。
図９（ａ）に示すように、梨の判定条件として、「枝先無果花叢数」、「花叢の果数」などが規定されている。
ここで最初の条件「枝先無果花叢数」は、枝の先端（枝先）から数えて、梨の収穫数としてカウントしない花叢の数であり、果実を実らせない花叢の数である。
次の条件「花叢の果数」は、１つの花叢に収穫を予定している果数で、１花叢に対してカウントする果実の数（収穫推定数）である。
「枝先無果花叢数」が条件１では２つ、条件２では３つ、条件３では３つ…と規定され、「花叢の果数」が条件１では１果、条件２では１果、条件３では２果…と規定されている。

ここで、梨の収穫と判定条件の既定との関係について説明する。
図１０は、梨の開花状態を模式的に表したものである。
図１０に示すように、梨は１つの花芽から複数の花が咲き、その花群を花叢（ＫＳ１、ＫＳ２…）という。
そして梨の場合、新芽の成長を促進させたり全体に栄養分を行きわたらせる目的で、枝の先端（枝先）側には果実を実らせないようにするために、枝先から枝の分岐点方向に向かってｎ個の花叢については、全花の摘花を行うことがある。
この枝先から全摘花を行う花叢の数が、「枝先無果花叢数」として規定されている。
例えば、判定条件１では「枝先無果花叢数」が「２つ」なので（図９（ａ））、枝先の花叢ＫＳ１と花叢ＫＳ２（図１０)の２つが全摘花の対象となり、収穫推定数としてはカウント数０（カウント対象外）である。

一方、１つの花叢に多数の果実を実らせると、大きな果実を収穫できなくなるため、収穫までの間に適時、各花叢に対して摘花、摘果を行い、最終的に１つの花叢から収穫する果数が「花叢の果数」として規定されている。
例えば、判定条件１では「花叢の果数」が「１果」なので（図９（ａ））、カウント対象外の花叢ＫＳ１と花叢ＫＳ２を除いた、花叢ＫＳ３に対して、梨の収穫推定数１がカウントされる。
なお、「枝先無果花叢数」で規定された枝先の花叢は、「花叢の果数」によるカウント対象外である。

図９（ａ）に規定した梨の判定条件は一例であり、その他の条件、例えば対象となる梨の種類（幸水、豊水、にっこり等）に対応した条件や、梨園独自の収穫方針による条件などを設定、追加することが可能になっている。
梨園独自の収穫方針として、例えば特定の領域において特大サイズの梨を収穫するため用の条件として、先端以外の花叢でも、複数（例えば、２、３、…５個）の花叢当り１果と規定したり、収穫対象として係数する花叢と花叢の間をＢｃｍ（例えば、２０ｃｍ）以上と規定したりする。
このように、図９（ａ）を含めた各種梨の判定条件が規定されることで、ユーザが運営する梨園に適した判定条件を選択することで、より正確な収穫量を推定することが可能になる。

次に、図９（ｂ）に示したキウイの判定条件について説明する。
図９（ｂ）に示すように、キウイの判定条件として、「対象」「果柄の果数」「葉数条件」「枝長条件」等が規定されている。
キウイは雌雄別木であるため、計数する「対象」として全て雌花が規定されている。
キウイの花の認定は、画像認識により、花の形と白色とから花の外形を特定し、更に、中央から外側に向う白い糸状の雌しべの有無により雌花を特定する。なお、中央部分に黄色の花粉が付いた花糸が球状に存在するのが雄花である。

キウイは１つの果柄に通常３つの花が咲くので、１つの果柄に対して摘花、摘果によって残す（収穫する）キウイの数が「果柄の果数」として規定されている。
また、「葉数条件」は、キウイの葉の数に対して収穫する果数が規定され、例えば、条件１では葉数５枚当り１果のキウイを計数する。
枝長条件は、分岐した枝の長さに応じて収穫（計数）する果実の数で、例えば、条件３では、小の場合１果、中の場合２果、長の場合３果として規定されている。なお、小、中、長の区別も別途規定され、例えば、小は３０ｃｍ未満、中は３０ｃｍ以上８０ｃｍ未満、長は８０ｃｍ以上と規定されている。

なお図示しないが、判定条件１８３には、花の数（花数や花叢数、果柄等）に対して収穫する果実の数や、葉や枝に対するカウント条件などの各種判定条件が、桃、林檎、ブドウ等の果樹毎に規定されている。

次に、植物情報収集装置１で収集し出力された収集植物情報を使用して、当該植物の育成状態を判定する育成状態判定処理（収穫量推定処理）について説明する。
図１１は、育成状態判定処理（収穫量推定処理）について表したフローチャートである。
当該処理の前提として、記憶部１８０の収集植物情報１８２若しくはＵＳＢ端子１４０に接続されたＵＳＢメモリに植物情報収集装置１で収集した可視画像やＭＳ画像を含む収集植物情報が保存され、又は通信制御部１７０を介して外部から収集植物情報を取得可能な状態になっているものとする。
またユーザの入力部１５０の操作により、育成状態判定プログラム１８１が起動しているものとする。

図１１に示すように、植物育成状態判定装置１００のＣＰＵ１１０は、判定条件を取得する（ステップ２０）。すなわち、ＣＰＵ１１０は、表示装置１６０に判定条件を指定する画面を表示し、この表示に基づいてユーザが指定した判定条件を判定条件１８３から取得する。ここでは、仮にユーザが図９（ａ）に示した梨の判定条件１を指定したものとすると、ＣＰＵ１１０は、指定された梨の判定条件１をＲＡＭ１３０の所定領域（図視しない）に保存する。

次にＣＰＵ１１０は、撮影データを取得する（ステップ２１）。
すなわちＣＰＵ１１０は、ユーザが指定した判定条件１に基づいて、収集植物情報１８２（又は、ＵＳＢメモリ、通信制御部１７０）から対応する植物の収集植物情報を取得し、ＲＡＭ１３０の可視画像１３２又は／及びＭＳ画像１３３と位置情報ＧＮ１３４に保存する。

次にＣＰＵ１１０は、可視画像１３２、ＭＳ画像１３３の撮影位置修正を行う（ステップ２２）。
すなわちＣＰＵ１１０は、可視画像１３２、ＭＳ画像１３３の各撮影画像に含まれている撮影位置ＧＫ（図４（ｂ）参照）を、その撮影画像の撮影番号と同じ撮影番号で管理されている位置情報ＧＮ１３４の位置情報ＧＮに変更（修正）する。
以下、撮影位置ＧＫについて、位置情報ＧＮで撮影位置を修正した後の表記を撮影位置ＧＮとする。

なお、本実施形態では、植物情報収集装置１のカメラが備えるＧＰＳ装置で取得する撮影位置ＧＫの精度が低くて後述の画像合成（ステップ２４）ができないため、精度が高い位置情報ＧＮで修正している。
しかし、画像合成できる程度に精度が高い撮影位置ＧＫが得られる場合には、植物情報収集装置１に位置検出装置４０が搭載されず、撮影位置ＧＫがそのまま使用される。
この場合、撮影位置修正のステップ２２は省略される。
撮影位置ＧＫが撮影位置ＧＮに修正された状態の収集植物情報１８２を植物情報収集装置１から取得している場合にもステップ２２が省略される。

次にＣＰＵ１１０は、特徴点の抽出を行う（ステップ２３）。
すなわちＣＰＵ１１０は、可視画像１３２、ＭＳ画像１３３の各撮影画像から特徴点を抽出し、抽出した特徴点に撮影番号を付して特徴点１３６に保存する。
撮影画像の特徴点は、例えば図１０に示した対象植物の節Ｈや枝の分岐点Ｆ等が画像認識により抽出される。
なお、抽出する特徴点としては、植物情報収集装置１による撮影前に植物の枝や幹に所定の目印（例えば赤色のテープや紐など）を配設しておき、この目印を特徴点として抽出するようにしてもよい。この場合の目印は、植物情報収集装置１による撮影間隔と同程度に配置することが好ましい。本実施形態の場合、ＲＧＢカメラ４１の撮影間隔ｓ１＝２ｍ、狭いＭＳカメラ４６の撮影間隔ｓ２＝１ｍの間隔で目印を配置する。

抽出した特徴点は、対象となる撮影画像の撮影位置ＧＮと、その撮影画像中における特徴点の位置とから、撮影した圃場の撮影領域の所定地点を原点とした座標で表される。
圃場の撮影領域は、収集植物情報１８２に含まれる撮影情報５３１（又は移動領域５５２、図４参照）から取得する。
原点としては、例えば、最初に撮影した地点（撮影番号００１の位置情報ＧＮ）を使用する。

特徴点の抽出は、各撮影画像の画像全体から抽出することも可能であるが、本実施形態では、画像の中央部が除かれた周辺領域を対象として抽出している。
図６に例示したように、植物情報収集装置１における撮影では前後する撮影及び、往復する撮影において、前後左右の撮影画像の一部が重なるように撮影しているので、この重なる範囲を周辺領域として特徴点を抽出する。
なお、本合成処理で使用する可視画像１３２、ＭＳ画像１３３は、植物情報収集装置１により対象となる植物を、日没後に照明をした状態で地面側から撮影している。このため、逆光状態での撮影画像ではないので、特徴点の抽出（及び画像の合成）を容易に行うことができる。

次にＣＰＵ１１０は、画像の合成を行う（ステップ２４）。
すなわちＣＰＵ１１０は、抽出した各撮影画像の特徴点１３６と、撮影位置ＧＫを使用して可視画像１３２、ＭＳ画像１３３の合成を行う。
より具体的に説明すると、ＣＰＵ１１０は、まず可視画像１３２、ＭＳ画像１３３を、撮影番号と撮影時の移動経路とから、互いに隣接する撮影画像を求める。そして隣接する２枚の撮影画像の位置関係から、当該両撮影画像の撮影番号に対応する特徴点１３６のうち、画像が重なる周辺領域の特徴点１３６が一致するように位置合せを行う。
ＣＰＵ１１０は、全ての撮影画像に対して隣接する撮影画像との位置合せをした、圃場全体の撮影画像を合成画像１３７に保存する。

なお、撮影画像の合成については、撮影画像の位置合せをすることで単純に合成する場合のほか、可視画像１３２、ＭＳ画像１３３を合成することで、圃場全体を立体的に表すオルソ画像を作成するようにしてもよい。
オルソ画像の作成には、異なる撮影位置で撮影された画像を合成して３次元形状のオルソ画像を作成するＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）ソフトを使用する。

次にＣＰＵ１１０は、育成状態の判定を行い（ステップ２５）、処理を終了する。
すなわちＣＰＵ１１０は、可視画像１３２、ＭＳ画像１３３の合成画像１３７を使用して育成状態についての状態判定処理を行う。
図１２は、状態判定処理（サブルーチン）を表すフローチャートである。
状態判定処理は、ステップ２０で取得した判定条件に従って行われるが、ここでは、図９（ａ）の判定条件１が指定されたものとして、梨の収穫量を推定（判定）する場合について説明する。

最初に、ＣＰＵ１１０は、花叢の抽出を行う（ステップ２４１）。
梨の場合、１つの花叢ＫＳ１、ＫＳ２、…に複数の花が咲き（図１０参照）、１花叢当り１又は数個の梨を収穫対象としているので、花叢毎の収穫果数が判定条件として規定されている（図９（ａ）参照）。
そこで、ＣＰＵ１１０は、可視画像１３２からの合成画像１３７から、個々の花を抽出するのではなく、複数の花群で構成される花叢を抽出する。花叢の抽出は、花叢全体の輪郭を抽出する等の周知の各画像認識技術が使用可能である。

本実施形態の植物情報収集装置１では、日没後に、地面側から、照明をした状態で撮影をしているので、図７に示されるように、黒色の背景に対象植物が写されている。また、昼間に対象植物の上部から撮影する場合のように、背景部分に雑草などが写されていない。
本実施形態の撮影画像（合成画像１３７）には、対象植物の背景に雑草等がなく、花や花叢の輪郭が明瞭になる黒色の背景になっているので、花や花叢の抽出を容易に行うことができる。

次にＣＰＵ１１０は、対象花叢の計数を行う（ステップ２４２）．
すなわちＣＰＵ１１０は、ステップ２４１で抽出した花叢に対して、ステップ２０（図１１）で取得した判定条件に基づいて、対象花叢の数を計数する。
判定条件として図９（ａ）の条件１が選択されている場合には、抽出した花叢のうち枝の先端の花叢とその１つ手前の花叢（図１０の例では、花叢ＫＳ１と花叢ＫＳ２）を除外した数を対象果数として計数する。

次にＣＰＵ１１０は、収穫量を推定する（ステップ２４３）。
すなわちＣＰＵ１１０は、計数した対象花叢数をＷ、判定条件の「花叢の果数」をＵとした場合、次の式（１）から対象果実の収穫量Ｔを推定する。
収穫量Ｔ＝対象花叢数Ｗ×花叢果数Ｕ…（１）
例えば、図９（ａ）の条件１が指定されている場合、花叢の果数Ｕ＝１果なので、ＣＰＵ１１０は、収穫量Ｔ＝対象花叢数Ｗ×１＝Ｗを推定する。

最後にＣＰＵ１１０は、推定した収穫量Ｔを保存する（ステップ２４４）。
すなわちＣＰＵ１１０は、推定した梨の収穫量Ｔを、植物育成状態判定情報１８４として保存し、図１１のメインルーチンにリターンして処理を終了する。

以上、梨の収穫量を推定する育成状態判定処理について説明したが、キウイ、林檎、桃、ブドウ、サクランボ、蜜柑や八朔等の柑橘類などの他の果実についても、果実毎に規定された判定条件（ユーザが選択した判定条件、又はデフォルトとして決められている判定条件）に従って、果実の収穫量が推定される。

また、植物情報収集装置１により収集された収集植物情報５５３のうち、可視画像５３２（可視画像１３２）を使用し、植物の育成状態として果実の収穫量を推定する場合について説明したが果実以外にも、可視画像（ＲＧＢ画像）を使用して植物の育成状態を判定することが可能である。この場合にも、植物情報収集装置１により、当該植物を日没後に、地面側から、照明した状態で撮影した可視画像５３２（可視画像１３２）を、育成状態の判定に使用する。

次に植物情報収集装置１と植物育成状態判定装置１００による、第２実施形態について説明する。
この第２実施形態では、果実以外の例として、杉や桧の雄花の収集植物情報を収集し、杉雄花の着生状況（植物育成状態）を求め、翌年春の花粉量を推定するものである。

杉や桧の花粉によるアレルギーが大きな問題となっており、花粉の飛散量が予報されている。この予報については、実際に花粉が飛散している時期において花粉数を調べて、花粉予報に用いている。花粉数は、野外に放置されたプレパラートに付着した花粉の数を人が顕微鏡で数えたり、ポンプで吸引した大気にレーザー光を照射することで大気中の花粉数を自動計測したりしている。
しかし、花粉が飛散している時期における花粉飛散状況を調べるものであり、花粉の飛散時期よりも前に飛散状況を推測し予報することはできない。

そこで、花粉が飛散する前年において翌年春の花粉飛散量を予測する技術が提案されている（長野県林総セ研報第２１号１９頁～２８頁「花粉生産量予測システム普及事業」／２００６年１２月、近藤、道治）。
しかしこの予測システムでは、双眼鏡で杉の木の樹冠を目視観察することで、個々の杉における雄花の着生状況を評価する必要があり時間を要す大変な作業であった。
また日中に双眼鏡による目視観察を行うため、太陽との位置関係を考慮しながら行う必要もあった。

そこで第２実施形態では、果実以外の例として、杉や桧の雄花の可視画像を撮影し、収集植物情報として出力し、この収集情報（可視画像）を画像処理することにより杉雄花の着生状況を判断し、翌年春の花粉量を推定するものである。
以下第２実施形態による植物情報収集装置１と植物育成状態判定装置１００を使用した杉花粉量の推定について、第１実施形態で説明した処理と異なる点を中心に説明する。

この第２実施形態では、第１実施形態で説明したＲＧＢカメラ４１とＬＥＤライト４２のセットを搭載した植物情報収集装置１を使用して杉林内の撮影を行う。
この撮影は、杉の雄花が着生する１１月から１２月の、日没後に、移動領域５５２で指定された撮影領域と移動経路に従って、ＬＥＤライト４２による照明をした状態で、所定間隔毎にＲＧＢカメラ４１で、地面側から、杉の可視画像を撮影する。
第２実施形態の移動部３は、人力で移動させるワゴンや無人飛行を行うドローンを使用することも可能であるが、第１実施形態と同様に、無人走行車両が使用される。但し、杉林内を移動するので、図１に示した４つのタイヤに代えてキャタピラーを備えた無人走行車両を使用することが好ましい。

また植物情報収集装置１の移動領域５５２には、第１実施形態と同様に撮影領域と移動経路が保存される。
但し、対象植物が規則正しく格子状に植えられている第１実施形態で説明した梨園と異なり、対象となる杉は任意位置に存在している。このため、第２実施形態では杉の木を避けながら撮影領域全体の杉を撮影できる移動経路が移動領域５５２に保存される。

次に、植物情報収集装置１から出力される杉の収集植物情報５５３を取得して、植物育成状態判定装置１００で杉花粉の飛散状況を推測する処理について説明する。
この第２実施形態において、記憶部１８０に保存される判定条件１８３としては、「本数」、「分類条件」、「重み」、「計算式」等が規定されている。

「本数」は、撮影領域内に存在する調査対象となる杉の本数で４０本と決められている。この４０本は、撮影領域内に存在する予め決められた４０本であるが、任意に抽出した４０本を対象にすることも可能である。調査対象である４０本が予め決められている場合には、調査対象であることを画像認識するための識別票が杉に付けられる。

「分類条件」は、各杉の木における雄花の着生状況によって杉の木をＡ～Ｄに分類する為の条件である。分類Ａ～Ｄは次の通り規定されている。
分類Ａ：雄花が杉の樹冠の全面に着生し、かつ雄花群の密度が非常に高い個体
分類Ｂ：雄花が樹冠のほぼ全面に着生している個体
分類Ｃ：雄花が樹冠に疎らに着生、又は樹冠の限られた部分に着生している個体
分類Ｄ：雄花が観察されない個体
本実施形態では、分類Ａ～Ｄについて、杉の木の樹冠部分から画像認識によって求まる雄花密度Ｑから決定する。雄花密度Ｑは、針葉部分である緑領域Ｇに対する雄花部分である黄色領域Ｙの割合いで、Ｑ＝（Ｙ／Ｇ）×１００である。
雄花密度Ｑは、４０％以上である場合にＡ、１０％以上～４０％未満である場合にＢ、１％以上～１０％未満である場合にＣ、１％未満である場合にＤに分類するように規定されている。各分類に対応する雄花密度Ｑの密度範囲は、本実施形態で採用している一例であり、各観測地域の状況（寒冷地、温暖地、高地、平地等）などに応じて、密度範囲が条件１、条件２、…毎に決められ、図１１のステップ２０（判定条件取得）の際に決定するようになっている。

「重み」は、各分類条件に付けられた重みの値で、分類Ａが１００、分類Ｂが５０、分類Ｃが１０、分類Ｄが０である。

「計算式」は、雄花指数Ｄを使用して、花粉生産量ＫＨを算出する式である。
雄花指数Ｄは、雄花着生状態を表し、次の式（２）から算出される。
雄花指数Ｄ＝（Ａの本数×１００）＋（Ｂの本数×５０）＋（Ｃの本数×１０）＋（Ｄの本数×０）…（２）

花粉生産量ＫＨは、杉林内において発生（生産）される単位面積（１平方ｍ）当りの雄花の数を推定する式であり、例えば、次の式（３）、式（４）がユーザにより選択される判定条件に規定されている。
最初の式（３）は次の通りである。
花粉生産量ＫＨ＝０．１４５２×Ｄ＋１３４．７９…（３）
数式（３）における、決定係数Ｒ｛２｝（Ｒ｛２｝はＲの２乗）は、Ｒ｛２｝＝０．９１７７であり、雄花指数Ｄと花粉生産量ＫＨとの間に強い相関関係が認められる。

次の式（４）は次の通りである。
花粉生産量ＫＨ＝０．９９３４×Ｅ＋０．５８４２…（４）
式（４）における決定係数Ｒ｛２｝は０．９２４６であり、この式（４）においても雄花指数Ｄと花粉生産量ＫＨとの間に強い相関関係が認められる。
なお、この式（４）において、Ｅは第２雄花指数で、分類Ａの本数を調査対象数Ｚ（＝４０本）で除算（Ａの本数／Ｚ）した値をＡランク率として、次の式（５）で表される。
第２雄花指数Ｅ＝雄花指数Ｄ×（１＋Ａランク率）…（５）

第２実施形態では、図１１に示した育成状態判定処理のステップ２０～ステップ２４は実施形態と同様に処理される。
一方、図１２の状態判定処理（図１１のステップ２５）においてＣＰＵ１１０は、まず、合成した可視画像から対象となる４０本の杉の抽出を行う。
次にＣＰＵ１１０は、抽出した対象杉毎の雄花密度Ｑを画像解析により求め、Ａ～Ｄに分類すると共に、各分類Ａ～Ｄの本数を計数する。
更にＣＰＵ１１０は、判定条件として選択された式（３）又は式（４）を使用して単位面積当りの花粉生産量ＫＨを推定し、植物育成状態判定情報１８４に保存して処理を終了する。

以上第２実施形態による花粉生産量ＫＨの推定は、例えば、市町村単位、都道府県単位というように、特定のまとまった領域内において複数箇所（複数の撮影領域）に対して行うことが好ましい。そして、複数の撮影領域に対して算出した花粉生産量ＫＨを総合して、翌春における地方毎、領域毎の花粉飛散量を予想する。

以上第２実施形態では、杉の花粉生産量ＫＨを推定する場合について説明したが、桧の花粉生産量についても杉と同様にして求めることが可能である。
但し、判定条件１８３は桧に対する調査結果から求めた条件が使用される。

以上、可視画像１３２を使用して梨の収穫量や花粉生産量を推定する場合について説明した。
次に、第３実施形態として、植物情報収集装置１で撮影したＭＳ画像１３３を使用した植物の育成状態の判定について説明する。
第３実施形態では、植物育成状態の判定を可能にするため、ＭＳ画像１３３を使用して植物の育成状態をＮＤＶＩ画像により可視化する。
すなわち、植物の葉の中に含まれるクロロフィルは、赤色の光を吸収する一方で、近赤外領域の波長は強く反射する特性がある。この植生が有する特性を活かし、ＭＳ画像（赤色光画像と近赤外光画像）における赤波長（Ｒｅｄ）と近赤外波長（ＮＩＲ）の値を用いて正規化植生指数（ＮＤＶＩ）を算出し、正規化植生指数の分布状態を表すＮＤＶＩ画像を作成することで、植物の活性度の高低をＮＤＶＩ値の色の違いや、濃淡の違いなどで可視化する。
例えば、本実施形態のＮＤＶＩ画像では、正規化植生指数が高いほど植物の活性度が高いことを表し、緑の部分はＮＤＶＩの値が高いところ、赤の部分は低いところを表す。

第３実施形態では、収集植物情報を使用して正規化植生指数を算出するが、異なる日時に収集した正規化植生指数から過去と現在との差分を抽出することで、撮影範囲である圃場内における植生の変化があった位置、範囲、程度を容易に確認することができる。
また、所定の間隔（例えば、１週間毎、１０日毎、毎月等）で複数回算出することで、植物の育成状態の変化を含めて把握することができ、例えば、施肥のタイミングや範囲、収穫の時期などを把握する場合に有用である。
本実施形態によれば、植物情報収集装置１で収集した、日没後に地面側から照明をした状態で撮影したＭＳ画像１３３を使用しているので、画像の背景に土壌が存在しないので、背景土壌の影響を回避することが可能になる。

なお、植物情報収集装置１によるＭＳ画像１３３の撮影は第１実施形態で説明しているので、この第３実施形態では、育成状態判定プログラム１８１による、ＭＳ画像１３３を使用した植物育成状態判定について説明する。
第３実施形態では、植物情報収集装置１のＭＳカメラ４６では、赤色光ライト４７で照射した赤色光による赤色光画像と、近赤外光ライト４８の照射による近赤外光画像の二種類が各撮影位置で撮影されている。
そして、ＣＰＵ１１０は、赤色光画像と近赤外光画像の各々について撮影位置修正から画像の合成までを行い（ステップ２２～ステップ２４）、状態判定処理（ステップ２５）において、合成した両画像を使用して正規化植生指数（ＮＤＶＩ）画像を作成する。

状態判定処理（ステップ２５）において、ＣＰＵ１１０は、ＭＳ画像１３３における赤色光画像と近赤外光画像の対応する画素毎に、赤色バンドのピクセル値Ｒｅｄと近赤外バンドのピクセル値ＮＩＲを取得し、各画素の正規化植生指数（ＮＤＶＩ）を次の式（６）から求め、ＲＡＭ１３０の判定結果１３８に保存する。
ＮＤＶＩ＝（ＮＩＲ－Ｒｅｄ）／（ＮＩＲ＋Ｒｅｄ）…（６）
式（６）において、各画素におけるＮＤＶＩの値は、－１～＋１の範囲となる。

なお、次の式（７）によりデータの出力範囲を０～２００の範囲に整数化（８ビット）することも可能である。
整数化ＮＤＶＩ＝（ＮＤＶＩ＋１．０）×１００…（７）

式（６）、（７）で求めたＮＤＶＩ、整数化ＮＤＶＩは、数値が大きいほど、植生が多いという結果になる。
そしてＮＤＶＩ画像（正規化ＮＤＶＩ画像を含む、以下同じ）では、正規化植生指数が高いほど植物の活性度が高いことを表し、この活性度の高さを色の違いや、濃淡の違いなどで可視化する。
例えば、正規化植生指数を緑～赤の範囲で画像表示し、緑の部分は活性化植生指数の値が高いところを、赤の部分は低いところを表す。

なお、植生の指標として、上記式（６）、（７）の他に、別の定義を使用することも可能である。
例えば、次の式（８）で表される比植生指標を求めて植物の育成状態の把握、判定を行うことも可能である。
比植生指標＝ＮＩＲ／Ｒｅｄ…（８）

以上、本発明の植物情報収集装置１、植物育成状態判定装置１００における実施形態について説明したが、本発明は説明した実施形態に限定されるものではなく、各請求項に記載した範囲において各種の変形を行うことが可能である。
例えば、本実施形態の植物情報収集装置１では、図２（ａ）、（ｂ）に示すように、判断する植物の状態（収集する植物情報）に応じて、基台２上の情報収集部４（カメラと照明）を変更する場合について説明した。
これに対し、基台２上に、位置検出装置４０、ＲＧＢカメラ４１Ａ、４１ｂ、ＬＥＤライト４２Ａ、４２Ｂ、ＭＳカメラ４６Ａ、４６Ｂ、赤色光ライト４７Ａ、４７Ｂ、近赤外光ライト４８Ａ、４８Ｂを配置するようにしてもよい。
これにより、情報収集部４を交換することなく、各種情報を収集することが可能になる。

また説明した実施形態では、ＲＡＭ５３に保存した可視画像５３２又は／及びＭＳ画像５３３、並びに位置情報ＧＮ５３４を植物情報としてＵＳＢメモリ等の外部に出力し、植物育成状態判定装置１００で各画像データに含まれる撮影位置ＧＫ（図４（ｂ）参照）を正確な撮影位置を示す位置情報ＧＮに変更する場合について説明した。
これに対して、植物情報収集装置１のＣＰＵ５１が、可視画像５３２、ＭＳ画像５３３に含まれる撮影位置ＧＫを、位置情報ＧＮを使用して撮影位置ＧＮに変更するようにしてもよい。
この場合、ＣＰＵ５１は、ステップ１６（図５参照）において位置検出装置４０から位置情報ＧＮを取得する毎に、図４（ｂ）で説明した撮影位置ＧＫを撮影位置ＧＮに変更する。
このため、位置情報ＧＮ５３４はＲＡＭ５３に保存されず、外部出力され、記憶部５５に保存される収集植物情報５５３にも位置情報ＧＮ５３４は含まれない。

そして、植物育成状態判定装置１００では、既に撮影位置ＧＮに変更された収集植物情報１８２（可視画像１３２、ＭＳ画像１３３）を取得しているので、ステップ２２の撮影位置修正の処理は不要である。

また、実施形態の植物情報収集装置１では、より正確な撮影位置を取得するために、位置検出装置４０を配設したが、ＲＧＢカメラ４１やＭＳカメラ４６が精度の高い撮影位置ＧＫを取得可能である場合には、当該両カメラの位置情報ＧＫを使用するようにしてもよい。この場合、位置検出装置４０は不要であり、位置情報ＧＮによる撮影位置ＧＫの変更も不要である。

さらに実施形態では、植物情報収集装置１により画像データ等による植物情報を収集し、収集した植物情報を用いて収穫量や育成状況、花粉量等についての判定を植物育成状態判定装置１００において行う場合について説明した。
これに対し、植物育成状態判定装置１００の構成や判定機能を植物情報収集装置１が備えるようにし、植物情報収集装置１において植物情報の収集と、収集した植物情報を使用して植物の育成状態を判定するようにしてもよい。

また説明した実施形態では、斜め前方と斜め右方に傾斜した２組のカメラと照明のセットを情報収集部４に配置し、梨園やぶどう園等のように、対象植物が所定間隔で格子状に植えられている領域において、対象植物が植えられている各行間、各列間を移動部３で往復移動しながら撮影する場合について説明した。
これに対し、情報収集部４に、斜め前方、斜め右方の２組に加え、更に斜め後方、斜め左方の２組の合計４組のカメラと照明のセットを配置した場合には、対象植物の各行間、各列間を１回移動（２列、２行で１往復）するようにしてもよい。

なお、本実施形態については次のように構成することも可能である。
（１）構成１の実施形態では、植物を地面側から照明する照明手段と、前記照明手段で照明された植物の育成状態を地面側から撮影する撮影手段と、前記撮影手段で撮影した位置情報を取得する位置情報取得手段と、前記撮影手段で撮影した画像と前記取得した位置情報を出力する出力手段と、を備えたことを特徴とする植物情報収集装置を提供する。
（２）構成２の実施形態では、前記照明手段は、鉛直上方を基準にして所定方向に傾斜した方向を照明し、前記撮影手段は、前記所定方向に傾斜した方向を撮影する、ことを特徴とする構成１に記載の植物情報収集装置を提供する。
（３）構成３の実施形態では、前記所定方向の傾斜角度は２０度から３０度の範囲である、ことを特徴とする構成２に記載の植物情報収集装置を提供する。
（４）構成４の実施形態では、前記照明手段は第１照明装置と第２照明装置を有し、前記第１照明装置の前記傾斜した方向と、前記第２照明装置の前記傾斜した方向とが直行し、前記撮影手段は第１撮影装置と第２撮影装置を有し、前記第１撮影装置の前記傾斜した方向と、前記第２撮影装置の前記傾斜した方向とが直行している、ことを特徴とする構成２又は構成３に記載の植物情報収集装置を提供する。
（５）構成５の実施形態では、前記照明手段は、可視光を植物に照明し、前記撮影手段は、植物の可視画像を撮影する、ことを特徴とする構成１から構成４のうちのいずれか１の構成に記載の植物情報収集装置を提供する。
（６）構成６の実施形態では、前記照明手段は、赤色光と近赤外光を植物に照明し、前記撮影手段は、植物のマルチスペクトル画像を撮影する、ことを特徴とする構成１から構成４のうちのいずれか１の構成に記載の植物情報収集装置を提供する。
（７）構成７の実施形態では、前記照明手段、前記撮影手段、前記位置情報取得手段、及び前記出力手段を搭載する基台部と、前記基台部を植物の地面側で移動させる移動手段と、を具備したことを特徴とする構成１から構成６のうちのいずれか１の構成に記載の植物情報収集装置。
（８）構成８の実施形態では、前記移動手段は、地面上を転動するタイヤ、自動走行車両、ドローン、又は押されることで転動する車輪、であることを特徴とする構成７に記載の植物情報収集装置を提供する。
（９）構成９の実施形態では、前記撮影手段で撮影した画像から所定の特徴点を抽出する特徴点抽出手段と、前記位置情報が隣接する画像の特徴点を比較することで、画像を合成する画像合成手段と、前記合成した画像を出力する合成画像出力手段と、を備えることを特徴とする構成１から構成８のうちのいずれか１の構成に記載の植物情報収集装置を提供する。
（１０）構成１０の実施形態では、構成１から構成９のうちのいずれか１の植物情報収集装置から出力される画像と撮影位置情報を取得する画像情報取得手段と、前記取得した画像から所定の特徴点を抽出する特徴点抽出手段と、前記撮影位置情報が隣接する画像の特徴点を比較することで、画像を合成する画像合成手段と、前記合成した画像から、前記植物情報収集装置で撮影された植物の育成状態を判定する育成状態判定手段と、を備えることを特徴とする植物育成状態判定装置を提供する。
（１１）構成１１の実施形態では、構成１から構成９のうちのいずれか１の植物情報収集装置から出力される画像と撮影位置情報を取得する画像情報取得機能と、前記取得した画像から所定の特徴点を抽出する特徴点抽出機能と、前記撮影位置情報が隣接する画像の特徴点を比較することで、画像を合成する画像合成機能と、前記合成した画像から、前記植物情報収集装置で撮影された植物の育成状態を判定する育成状態判定機能と、をコンピュータに実現させるための植物育成状態判定プログラムを提供する。

また果実の収穫量を推定する実施形態として次のように構成することも可能である。
（２１）構成２１の実施形態では、開花状態にある対象果樹を撮影した可視画像を取得する可視画像取得手段と、前記対象果樹に対して規定された、花と収穫果実数との関係を規定した判定条件を取得する条件取得手段と、前記取得した判定条件に従って、前記可視画像から花の状態を取得する花状態取得手段と、前記取得した判定条件に従って、前記取得した花状態に対応する果実の収穫量を推定する推定手段と、前記推定した収穫量を出力する出力手段と、を具備したことを特徴とする収穫量推定装置を提供する。
（２２）構成２２の実施形態では、前記可視画像取得手段は、日没後に前記対象果樹を照明した状態で地面側から撮影した可視画像を取得する、ことを特徴とする構成２１に記載の収穫量推定装置を提供する。
（２３）構成２３の実施形態では、前記対象果樹を梨とし、前記条件取得手段は、花叢と収穫数との関係を梨の判定条件として取得し、前記花状態取得手段は、前記可視画像から花の状態として花叢数を取得し、前記推定手段は、取得した花叢数に対応する梨の収穫数を前記判定条件に従って推定する、ことを特徴とする構成２１又は構成２２に記載の収穫量推定装置を提供する。
（２４）構成２４の実施形態では、前記条件取得手段は、さらに枝の先端から所定数の花叢の収穫数をゼロとする判定条件を取得する、ことを特徴とする構成２３に記載の収穫量推定装置を提供する。
（２５）構成２５の実施形態では、梨等の果樹を前記対象果樹として、果樹毎に花と収穫果実数との関係を規定した判定条件を記憶する条件記憶手段を備え、前記条件取得手段は、前記取得した可視画像に対応して指定された判定条件を取得する、ことを特徴とする構成２１又は請求項２２に記載の収穫量推定装置。
（２６）構成２６の実施形態では、前記条件記憶手段に記憶された判定条件は、各果樹に対して複数の判定条件が規定されている、ことを特徴とする構成２５に記載の収穫量推定装置。
（２７）構成２７の実施形態では、開花状態にある対象果樹を撮影した可視画像を取得する可視画像取得機能と、前記対象果樹に対して規定された、花と収穫果実数との関係を規定した判定条件を取得する条件取得機能と、前記取得した判定条件に従って、前記可視画像から花の状態を取得する花状態取得機能と、前記取得した判定条件に従って、前記取得した花状態に対応する果実の収穫量を推定する推定機能と、前記推定した収穫量を出力する出力機能と、をコンピュータに実現させるための収穫量推定プログラムを提供する。

１ 植物情報収集装置
２ 基台
３ 移動部
４ 情報収集部
５ 制御部
６ 電源
４０ 位置検出装置
４１ ＲＧＢカメラ
４２ ＬＥＤライト
４６ ＭＳカメラ
４７ 赤色光ライト
４８ 近赤外光ライト
５０ 照明用スイッチ
５１ ＣＰＵ
５２ ＲＯＭ
５３ ＲＡＭ
５３１ 撮影情報
５３２ 可視画像
５３３ ＭＳ画像
５３４ 位置情報ＧＮ
５４ 入出力部
５５ 記憶部
５５１ 植物情報収集プログラム
５５２ 移動領域
５５３ 収集植物情報
５６ 通信制御部
１００ 植物育成状態判定装置
１１０ ＣＰＵ
１２０ ＲＯＭ
１３０ ＲＡＭ
１３２ 可視画像
１３３ ＭＳ画像
１３４ 位置情報ＧＮ
１３６ 特徴点
１３７ 合成画像
１３８ 判定結果
１４０ ＵＳＢ端子
１５０ 入力部
１６０ 表示装置
１７０ 通信制御部
１８０ 記憶部
１８１ 育成状態判定プログラム
１８２ 収集植物情報
１８３ 判定条件
１８４ 植物育成状態判定情報
α 傾斜角
β 傾斜角
Ｄ、Ｅ 雄花指数
Ｆ 分岐点
Ｇ 緑領域
ＧＫ 撮影位置
ＧＮ 位置情報
Ｈ 節
ＫＳ１～ＫＳ３ 花叢
ＰＬ 木
Ｑ 雄花密度
Ｒ 決定係数
Ｕ 花叢の果数
ＲＬ、ＲＲ 範囲線
Ｓ 光軸
Ｔ 収穫量
ｓ１、ｓ２ 撮影間隔
Ｖ 鉛直線
Ｗ 対象花叢数
ＫＨ 花粉生産量
ｐ１、ｐ２ 撮影位置

Claims (7)

1. 開花状態にある対象果樹を撮影した可視画像を取得する可視画像取得手段と、
   前記対象果樹に対して規定された、花と収穫果実数との関係を規定した判定条件を取得する条件取得手段と、
   前記取得した判定条件に従って、前記可視画像から花の状態を取得する花状態取得手段と、
   前記取得した判定条件に従って、前記取得した花状態に対応する果実の収穫量を推定する推定手段と、
   前記推定した収穫量を出力する出力手段と、
   を具備したことを特徴とする収穫量推定装置。
2. 前記可視画像取得手段は、日没後に前記対象果樹を照明した状態で地面側から撮影した可視画像を取得する、
   ことを特徴とする請求項１に記載の収穫量推定装置。
3. 前記対象果樹を梨とし、
   前記条件取得手段は、花叢と収穫数との関係を梨の判定条件として取得し、
   前記花状態取得手段は、前記可視画像から花の状態として花叢数を取得し、
   前記推定手段は、取得した花叢数に対応する梨の収穫数を前記判定条件に従って推定する、
   ことを特徴とする請求項１に記載の収穫量推定装置。
4. 前記条件取得手段は、さらに枝の先端から所定数の花叢の収穫数をゼロとする判定条件を取得する、
   ことを特徴とする請求項３に記載の収穫量推定装置。
5. 梨等の果樹を前記対象果樹として、果樹毎に花と収穫果実数との関係を規定した判定条件を記憶する条件記憶手段を備え、
   前記条件取得手段は、前記取得した可視画像に対応して指定された判定条件を取得する、
   ことを特徴とする請求項１に記載の収穫量推定装置。
6. 前記条件記憶手段に記憶された判定条件は、各果樹に対して複数の判定条件が規定されている、
   ことを特徴とする請求項５に記載の収穫量推定装置。
7. 開花状態にある対象果樹を撮影した可視画像を取得する可視画像取得機能と、
   前記対象果樹に対して規定された、花と収穫果実数との関係を規定した判定条件を取得する条件取得機能と、
   前記取得した判定条件に従って、前記可視画像から花の状態を取得する花状態取得機能と、
   前記取得した判定条件に従って、前記取得した花状態に対応する果実の収穫量を推定する推定機能と、
   前記推定した収穫量を出力する出力機能と、
   をコンピュータに実現させるための収穫量推定プログラム。

Images