JP2019037225A - Plant growth state monitoring device and method - Google Patents

Plant growth state monitoring device and method Download PDF

Info

Publication number
JP2019037225A
JP2019037225A JP2018141468A JP2018141468A JP2019037225A JP 2019037225 A JP2019037225 A JP 2019037225A JP 2018141468 A JP2018141468 A JP 2018141468A JP 2018141468 A JP2018141468 A JP 2018141468A JP 2019037225 A JP2019037225 A JP 2019037225A
Authority
JP
Japan
Prior art keywords
image
plant
growth
flower
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018141468A
Other languages
Japanese (ja)
Inventor
成英 山田
Narihide Yamada
成英 山田
須藤　晴彦
Haruhiko Sudo
晴彦 須藤
雄吾 高木
Yugo Takagi
雄吾 高木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Electric Co Ltd
Original Assignee
Fuji Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Electric Co Ltd filed Critical Fuji Electric Co Ltd
Publication of JP2019037225A publication Critical patent/JP2019037225A/en
Pending legal-status Critical Current

Links

Abstract

To provide a plant growth state monitoring device and method capable of correctly monitoring a growth state and extracting an image area of a plant, without receiving restriction of a growth environment of the plant, and capable of easily estimating an area of each leaf.SOLUTION: A plant area specific density range acquisition part 32C sets plural common designation division areas to an R image, G image and B image, and acquires a plant area specific density range regulated by a combination of an R density component of the R image, a G density component of the G image and a B density component of the B image. A plant area extraction part 32D scans the R image, G image and B image, and extracts a pixel area in which the combination of the R density component of the R image, the G density component of the G image, and the B density component of the B image is included in a plant area specific density range, as a plant area. A growth state monitoring part 32E monitors a growth state of a plant based on time series transition of the combination of the R density component of the R image, the G density component of the G image, and the B density component of the B image.SELECTED DRAWING: Figure 3

Description

本発明は、植物の生育状況監視装置及び植物の生育状況監視方法に関する。   The present invention relates to a plant growth status monitoring apparatus and a plant growth status monitoring method.

特許文献１には、植物体を撮像して取得したカラー画像より植物体の画像領域を抽出する方法が開示されている。この方法では、カラー画像の所定の色成分画像について背景の画像領域の濃度値を計測し、その計測値を予め同種の植物体のサンプルを用いて求められた２値化しきい値を算出する演算式に当てはめて背景の画像領域の明るさに応じた２値化しきい値を算出する。そして、２値化しきい値により色成分画像を２値化処理してマスク画像を生成し、そのマスク画像を用いてカラー画像より植物体の画像領域のみを抽出する。カラー画像は、単位画素当たりの面積を求めるための基準板の画像を含んでいる。２値化しきい値を算出する演算式は、色成分画像の背景の画像領域内の最も暗いまたは最も明るい決められた領域の濃度値と基準板の画像領域の濃度値との間の値に２値化しきい値を決定するものである。   Patent Document 1 discloses a method for extracting an image area of a plant from a color image acquired by imaging the plant. In this method, a density value of a background image region is measured for a predetermined color component image of a color image, and an arithmetic operation for calculating a binarization threshold value obtained by using the measured value in advance using a sample of the same kind of plant body is performed. A binarized threshold value corresponding to the brightness of the background image region is calculated by applying the equation. Then, the color component image is binarized using a binarization threshold value to generate a mask image, and only the image area of the plant body is extracted from the color image using the mask image. The color image includes an image of a reference plate for obtaining an area per unit pixel. An arithmetic expression for calculating the binarization threshold value is 2 between the density value of the darkest or brightest determined area in the background image area of the color component image and the density value of the image area of the reference plate. The threshold value is determined.

特許文献２には、植物を撮像し距離画像を出力する距離画像カメラと、前記距離画像カメラから距離画像を取得して記録部に記録する距離画像記録手段と、前記距離画像から植物の葉に対応する葉距離画像を抽出する葉距離画像抽出手段と、前記葉距離画像に基づいて葉の部分の面積を合計した合計葉面積に基づいて葉面積指数を算出する算出手段とを備えた生育管理装置が開示されている。   Patent Document 2 discloses a distance image camera that captures a plant and outputs a distance image; distance image recording means that acquires a distance image from the distance image camera and records the distance image in a recording unit; and Growth management comprising leaf distance image extraction means for extracting a corresponding leaf distance image, and calculation means for calculating a leaf area index based on a total leaf area obtained by summing the areas of leaf portions based on the leaf distance image An apparatus is disclosed.

特許第５７６１７８９号公報Japanese Patent No. 576789 特開２０１６−１３１４９４号公報Japanese Patent Laid-Open No. 2006-131494

しかしながら、特許文献１は、植物の生育環境（栽培環境）を制約しなければならないという技術課題がある。例えば、特許文献１は、カラー画像に単位画素当たりの面積を求めるための基準板（指標物）の画像が含まれていること、色成分画像に二値化の基準となる明暗の基準領域が存在することが必須となっており、パレット上に同一環境で植物を生育管理（栽培管理）するような場合に適用範囲が限られている。   However, Patent Document 1 has a technical problem that the growth environment (cultivation environment) of the plant must be restricted. For example, in Patent Document 1, a color image includes an image of a reference plate (index object) for obtaining an area per unit pixel, and a color component image has a light and dark reference region that serves as a binarization reference. It is essential to exist, and the scope of application is limited in the case where plants are grown and managed (cultivation management) in the same environment on a pallet.

また、特許文献２は、距離画像カメラによって葉とカメラの距離から葉面積を補正して葉面積を算出する方式である。しかし、実際の植物の生育環境では、成長と共に、葉同士が複雑に重なり、複数の方向から撮影しても全ての葉を見ることは困難であり、かつ、複数の距離画像から個々の葉を抽出し、面積算出するのは処理が複雑となる。例えば、上部カメラのみで、葉面積を算出する場合、植物の成長初期段階では、葉が重なっている部分が少なく、実際の葉面積との誤差を抑えた計測が可能であるが、成長に伴って葉の重なりが増えるに従い、計測誤差が拡大する課題がある。あるいは、手で葉の寸法、枚数を計測し、葉全体の面積を計測する必要がある。このように、従来の方式は、植物の生育に従い、多方向から撮影する必要があり、それに伴って処理が複雑となる。また、どの方向からも見えない葉については計測することができない。   Patent Document 2 is a method for calculating a leaf area by correcting a leaf area from a distance between a leaf and a camera using a distance image camera. However, in an actual plant growth environment, the leaves overlap with each other as they grow, making it difficult to see all the leaves even when taken from multiple directions. The process of extracting and calculating the area is complicated. For example, when calculating the leaf area using only the upper camera, there are few overlapping parts at the initial stage of plant growth, and measurement with a reduced error from the actual leaf area is possible. As the number of overlapping leaves increases, there is a problem that the measurement error increases. Alternatively, it is necessary to measure the size and number of leaves by hand and measure the area of the entire leaf. As described above, according to the conventional method, it is necessary to photograph from multiple directions according to the growth of the plant, and accordingly, the processing becomes complicated. In addition, it is not possible to measure leaves that are not visible from any direction.

本発明はかかる点に鑑みてなされたものであり、植物の生育環境の制約を受けることなく、植物の画像領域を高精度に抽出するとともに、植物の生育状況を正確に監視することができる植物の生育状況監視装置及び植物の生育状況監視方法を提供することを目的の１つとする。あるいは、本発明は、監視対象としての植物の葉の面積を簡易に推定することができる植物の生育状況監視装置及び植物の生育状況監視方法を提供することを目的の１つとする。   The present invention has been made in view of the above points, and a plant capable of accurately extracting a plant image area and accurately monitoring a plant growth state without being restricted by the plant growth environment. One of the objects is to provide a growth condition monitoring apparatus and a growth condition monitoring method for plants. Alternatively, an object of the present invention is to provide a plant growth state monitoring apparatus and a plant growth state monitoring method capable of easily estimating the area of a plant leaf as a monitoring target.

本実施形態の植物の生育状況監視装置は、その一態様では、植物を撮影した撮影画像を取得する撮影画像取得部と、前記撮影画像からＲ成分とＧ成分とＢ成分をそれぞれ抽出したＲ画像とＧ画像とＢ画像を取得するＲＧＢ画像取得部と、前記Ｒ画像と前記Ｇ画像と前記Ｂ画像に共通かつ複数の指定区分領域を設定して、当該指定区分領域において、前記Ｒ画像のＲ濃度成分と前記Ｇ画像のＧ濃度成分と前記Ｂ画像のＢ濃度成分の組み合わせにより規定される植物領域特定濃度範囲を取得する植物領域特定濃度範囲取得部と、前記Ｒ画像と前記Ｇ画像と前記Ｂ画像を走査して、前記Ｒ画像のＲ濃度成分と前記Ｇ画像のＧ濃度成分と前記Ｂ画像のＢ濃度成分の組み合わせが前記植物領域特定濃度範囲に含まれている画素領域を植物領域として抽出する植物領域抽出部と、前記植物領域における前記Ｒ画像のＲ濃度成分と前記Ｇ画像のＧ濃度成分と前記Ｂ画像のＢ濃度成分の組み合わせの時系列的な推移に基づいて、前記植物の生育状況を監視する生育状況監視部と、を有することを特徴としている。   In one aspect, the plant growth state monitoring apparatus of the present embodiment is a captured image acquisition unit that acquires a captured image of a plant, and an R image in which an R component, a G component, and a B component are extracted from the captured image. An RGB image acquisition unit for acquiring the G image and the B image, and setting a plurality of designated segment areas common to the R image, the G image, and the B image, and the R of the R image is set in the designated segment area. A plant region specific density range acquisition unit that acquires a plant region specific density range defined by a combination of a density component, a G density component of the G image, and a B density component of the B image; the R image, the G image, and the Scanning a B image, a plant area is defined as a pixel area in which a combination of an R density component of the R image, a G density component of the G image, and a B density component of the B image is included in the plant area specific density range Extraction The plant region extraction unit, and the growth of the plant based on the time-series transition of the R concentration component of the R image, the G concentration component of the G image, and the B concentration component of the B image in the plant region. And a growth condition monitoring unit for monitoring the situation.

本実施形態の植物の生育状況監視方法は、その一態様では、植物を撮影した撮影画像を取得する撮影画像取得ステップと、前記撮影画像からＲ成分とＧ成分とＢ成分をそれぞれ抽出したＲ画像とＧ画像とＢ画像を取得するＲＧＢ画像取得ステップと、前記Ｒ画像と前記Ｇ画像と前記Ｂ画像に共通かつ複数の指定区分領域を設定して、当該指定区分領域において、前記Ｒ画像のＲ濃度成分と前記Ｇ画像のＧ濃度成分と前記Ｂ画像のＢ濃度成分の組み合わせにより規定される植物領域特定濃度範囲を取得する植物領域特定濃度範囲取得ステップと、前記Ｒ画像と前記Ｇ画像と前記Ｂ画像を走査して、前記Ｒ画像のＲ濃度成分と前記Ｇ画像のＧ濃度成分と前記Ｂ画像のＢ濃度成分の組み合わせが前記植物領域特定濃度範囲に含まれている画素領域を植物領域として抽出する植物領域抽出ステップと、前記植物領域における前記Ｒ画像のＲ濃度成分と前記Ｇ画像のＧ濃度成分と前記Ｂ画像のＢ濃度成分の組み合わせの時系列的な推移に基づいて、前記植物の生育状況を監視する生育状況監視ステップと、を有することを特徴としている。   In one aspect, the plant growth state monitoring method of the present embodiment is a captured image acquisition step for acquiring a captured image of a plant, and an R image obtained by extracting an R component, a G component, and a B component from the captured image, respectively. RGB image acquisition step for acquiring the G image and the B image, and a plurality of designated segment areas common to the R image, the G image, and the B image are set, and the R of the R image is set in the designated segment area. A plant region specific density range obtaining step for obtaining a plant region specific density range defined by a combination of a density component, a G density component of the G image, and a B density component of the B image; the R image, the G image, and the Scanning a B image, a pixel region in which a combination of an R density component of the R image, a G density component of the G image, and a B density component of the B image is included in the plant region specific density range is obtained. Based on a time-series transition of a combination of a plant region extraction step for extracting as a physical region, and an R density component of the R image, a G density component of the G image, and a B density component of the B image in the plant region, A growth condition monitoring step for monitoring the growth condition of the plant.

本実施形態の植物の生育状況監視装置は、別の態様では、植物としての葉を上方向から撮影した上方向撮影画像と、植物としての葉を横方向から撮影した横方向撮影画像とを取得する撮影画像取得部と、前記上方向撮影画像に基づいた上方向葉面積と、前記横方向撮影画像に基づいた横方向葉面積とを算出するとともに、前記横方向葉面積によって前記上方向葉面積を補正することで、植物としての葉の面積を計測する葉面積計測部と、を有することを特徴としている。   In another aspect, the plant growth state monitoring apparatus according to the present embodiment acquires an up-direction photographed image obtained by photographing a leaf as a plant from above, and a transverse-direction photographed image obtained by photographing a leaf as a plant from the lateral direction. A captured image acquisition unit, an upward leaf area based on the upward captured image, and a lateral leaf area based on the lateral captured image, and the upward leaf area based on the lateral leaf area And a leaf area measuring unit that measures the area of leaves as a plant.

本実施形態の植物の生育状況監視方法は、別の態様では、植物としての葉を上方向から撮影した上方向撮影画像と、植物としての葉を横方向から撮影した横方向撮影画像とを取得する撮影画像取得ステップと、前記上方向撮影画像に基づいた上方向葉面積と、前記横方向撮影画像に基づいた横方向葉面積とを算出するとともに、前記横方向葉面積によって前記上方向葉面積を補正することで、植物としての葉の面積を計測する葉面積計測ステップと、を有することを特徴としている。   In another aspect, the method for monitoring the growth state of the plant according to the present embodiment obtains an upward photographed image obtained by photographing a leaf as a plant from above, and a lateral photographed image obtained by photographing the leaf as a plant from the lateral direction. A captured image acquisition step, an upward leaf area based on the upward captured image, and a lateral leaf area based on the lateral captured image, and the upward leaf area is calculated based on the lateral leaf area. And a leaf area measuring step for measuring the area of leaves as a plant.

本発明によれば、植物の生育環境の制約を受けることなく、植物の画像領域を高精度に抽出するとともに、植物の生育状況を正確に監視することができる植物の生育状況監視装置及び植物の生育状況監視方法を提供することができる。また、本発明は、監視対象としての植物の葉の面積を簡易に推定することができる植物の生育状況監視装置及び植物の生育状況監視方法を提供することを目的の１つとする。   ADVANTAGE OF THE INVENTION According to this invention, without being restricted by the growth environment of a plant, while extracting the image area | region of a plant with high precision, the growth condition monitoring apparatus of a plant which can monitor the growth condition of a plant accurately, and a plant A growth state monitoring method can be provided. Another object of the present invention is to provide a plant growth state monitoring apparatus and a plant growth state monitoring method that can easily estimate the area of a plant leaf as a monitoring target.

本実施形態による植物の生育状況監視装置を搭載した植物生育管理システムの構成を示す図である。It is a figure which shows the structure of the plant growth management system carrying the plant growth condition monitoring apparatus by this embodiment. 植物生育管理装置のハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of a plant growth management apparatus. ＣＰＵの内部構成を示す機能ブロック図である。It is a functional block diagram which shows the internal structure of CPU. ＲＧＢ画像取得部が撮影画像からＲ画像とＧ画像とＢ画像を取得する様子、及び、植物領域特定濃度範囲取得部が指定区分領域においてＲ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の組み合わせにより規定される植物領域特定濃度範囲を取得する様子を示す概念図である。The state in which the RGB image acquisition unit acquires the R image, the G image, and the B image from the photographed image, and the plant region specific density range acquisition unit in the designated divided region, the R density component of the R image, the G density component of the G image, and B It is a conceptual diagram which shows a mode that the plant area | region specific density | concentration range prescribed | regulated by the combination of the B density | concentration component of an image is acquired. 植物領域特定濃度範囲を変換した複数の生育段階の一例を示す図である。It is a figure which shows an example of the several growth stage which converted the plant area | region specific concentration range. イチゴの花（花中心）の生育段階の時系列的な推移の一例を示す図である。It is a figure which shows an example of a time-sequential transition of the growth stage of a strawberry flower (flower center). イチゴの実の生育段階の時系列的な推移の一例を示す図である。It is a figure which shows an example of the time-sequential transition of the growth stage of the fruit of a strawberry. イチゴの花（花中心）の生育速度の個別のバラツキの一例を示す図である。It is a figure which shows an example of the individual dispersion | variation in the growth rate of a strawberry flower (flower center). イチゴの実の生育速度の個別のバラツキの一例を示す図である。It is a figure which shows an example of the individual dispersion | variation in the growth rate of the fruit of a strawberry. 横方向葉面積比率ｘと上方向葉面積補正係数ｙの関係の一例を示す図である。It is a figure which shows an example of the relationship between the horizontal direction leaf area ratio x and the upward direction leaf area correction coefficient y. 所定期間に亘る補正前後の上方向葉面積の一例を示す第１の図である。It is a 1st figure which shows an example of the upper direction leaf area before and behind correction | amendment over a predetermined period. 所定期間に亘る補正前後の上方向葉面積の一例を示す第２の図である。It is a 2nd figure which shows an example of the upper direction leaf area before and behind correction | amendment over a predetermined period. イチゴの葉の生育段階の時系列的な推移の一例を示す第１の図である。It is a 1st figure which shows an example of a time-sequential transition of the growth stage of a strawberry leaf. イチゴの葉の生育段階の時系列的な推移の一例を示す第２の図である。It is a 2nd figure which shows an example of a time-sequential transition of the growth stage of a strawberry leaf. イチゴの葉の生育段階の時系列的な推移の一例を示す第３の図である。It is a 3rd figure which shows an example of a time-sequential transition of the growth stage of a strawberry leaf. 花個数計測部の内部構成の一例を示す機能ブロック図である。It is a functional block diagram which shows an example of an internal structure of a flower number measurement part. 花抽象化定義部による花抽象化処理の一例を示す図である。It is a figure which shows an example of the flower abstraction process by a flower abstraction definition part. 花抽象化定義部による処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process by a flower abstraction definition part. 花検出部による処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process by a flower detection part.

図１は、本実施形態による植物の生育状況監視装置を搭載した植物生育管理システムの構成を示す図である。植物生育管理システム１は、例えば、植物工場に設置されて、当該植物工場で生育される野菜や果物等の植物１０（図１ではイチゴを例示して描いている）の画像を抽出し、抽出した植物１０の画像に基づいて、当該植物１０の生育情報を推定して、当該植物１０の生育管理（水や栄養分の調整等）を実行する。   FIG. 1 is a diagram showing a configuration of a plant growth management system equipped with a plant growth status monitoring apparatus according to the present embodiment. The plant growth management system 1 is installed in a plant factory, for example, and extracts and extracts images of plants 10 (vegetables such as strawberries illustrated in FIG. 1) such as vegetables and fruits grown in the plant factory. Based on the image of the plant 10, the growth information of the plant 10 is estimated, and the management of the plant 10 (such as adjustment of water and nutrients) is executed.

植物生育管理システム１は、カラーカメラ（撮影画像取得部）２０と、植物生育管理装置（制御用ＰＣ）３０とを有している。カラーカメラ２０と植物生育管理装置３０は、互いに通信可能に接続されている。   The plant growth management system 1 includes a color camera (captured image acquisition unit) 20 and a plant growth management device (control PC) 30. The color camera 20 and the plant growth management device 30 are connected to be communicable with each other.

カラーカメラ２０は、植物１０を撮影した撮影画像（ＲＧＢ画像）を取得する（図１はグレースケールで読み込んでいるが植物１０の撮影画像はカラー画像である）。カラーカメラ２０は、撮影（取得）した撮影画像を植物生育管理装置３０に送信する。カラーカメラ２０は、植物１０を上方向から撮影する上カメラ２１Ｃ、並びに、植物１０を横方向から撮影する第１横カメラ２２Ｃ及び第２横カメラ２３Ｃを有している。例えば、上カメラ２１Ｃにより植物の株の密度を主にモニタリングし、第１横カメラ２２Ｃ及び第２横カメラ２３Ｃにより植物の丈の長さを主にモニタリングすることができる。   The color camera 20 acquires a photographed image (RGB image) obtained by photographing the plant 10 (FIG. 1 is read in gray scale, but the photographed image of the plant 10 is a color image). The color camera 20 transmits the captured (acquired) captured image to the plant growth management device 30. The color camera 20 includes an upper camera 21C that photographs the plant 10 from above, and a first lateral camera 22C and a second lateral camera 23C that photograph the plant 10 from the lateral direction. For example, the density of the plant strain can be mainly monitored by the upper camera 21C, and the length of the plant can be mainly monitored by the first horizontal camera 22C and the second horizontal camera 23C.

なお、カラーカメラ２０の数や配置には自由度があり（図１に描いたものに限定されず）、種々の設計変更が可能である。例えば、カラーカメラを１つ、２つ又は４つ以上設ける態様も可能である。   The number and arrangement of the color cameras 20 are flexible (not limited to those depicted in FIG. 1), and various design changes are possible. For example, an aspect in which one, two, four or more color cameras are provided is also possible.

図２は、植物生育管理装置３０のハードウェア構成を示す図である。植物生育管理装置３０は、インターフェース部（撮影画像取得部）３１Ｉと、ＣＰＵ３２Ｘと、メモリ３３と、記憶部３４と、入力部３５と、表示部３６と、これら構成要素を互いに接続するバス３７とを有している。   FIG. 2 is a diagram illustrating a hardware configuration of the plant growth management device 30. The plant growth management device 30 includes an interface unit (photographed image acquisition unit) 31I, a CPU 32X, a memory 33, a storage unit 34, an input unit 35, a display unit 36, and a bus 37 that connects these components to each other. have.

インターフェース部３１Ｉは、カラーカメラ２０から送信されてきた撮影画像（ＲＧＢ画像）を受信（取得）する。すなわち、撮影画像を取得する「撮影画像取得部」は、カラーカメラ２０であってもよいし、植物生育管理装置３０のインターフェース部３１Ｉであってもよい。別言すると、本実施形態の「植物の生育状況監視装置」は、カラーカメラ２０と植物生育管理装置３０の組み合わせによって構成されてもよいし、植物生育管理装置３０の単体で構成されてもよい。   The interface unit 31I receives (acquires) a captured image (RGB image) transmitted from the color camera 20. That is, the “photographed image acquisition unit” that acquires the captured image may be the color camera 20 or the interface unit 31I of the plant growth management device 30. In other words, the “plant growth state monitoring device” of the present embodiment may be configured by a combination of the color camera 20 and the plant growth management device 30, or may be configured by a single plant growth management device 30. .

ＣＰＵ３２Ｘは、植物生育管理装置３０の全構成要素を制御するための中央処理装置である。ＣＰＵ３２Ｘの詳細構成や具体的制御については後述する。   The CPU 32X is a central processing unit for controlling all components of the plant growth management device 30. The detailed configuration and specific control of the CPU 32X will be described later.

メモリ３３は、例えばＲＡＭ（Random Access Memory）等から構成されており、インターフェース部３１Ｉが受信した撮影画像を記録するとともに、ＣＰＵ３２Ｘが処理中のデータやプログラム等を記録するものである。   The memory 33 is composed of, for example, a RAM (Random Access Memory) or the like, and records a captured image received by the interface unit 31I, and records data, a program, and the like being processed by the CPU 32X.

記憶部３４は、例えばＨＤＤ（Hard Disc Drive）等から構成されており、ＣＰＵ３２Ｘがその機能（特に本実施形態による植物の生育状況監視機能）を実現するための各種のプログラムやデータ等を記憶するものである。   The storage unit 34 includes, for example, an HDD (Hard Disc Drive) or the like, and stores various programs, data, and the like for the CPU 32X to realize its functions (particularly the plant growth state monitoring function according to the present embodiment). Is.

入力部３５は、例えばキーボードやマウス等を有する入力装置から構成されている。   The input unit 35 is composed of an input device having, for example, a keyboard and a mouse.

表示部３６は、インターフェース部３１Ｉが受信した撮影画像やその他の画像、植物１０の生育管理情報等を表示する表示装置から構成されている。   The display unit 36 includes a display device that displays a captured image and other images received by the interface unit 31I, growth management information of the plant 10, and the like.

図３は、ＣＰＵ３２Ｘの内部構成を示す機能ブロック図である。ＣＰＵ３２Ｘは、フィルタリング部３２Ａと、ＲＧＢ画像取得部３２Ｂと、植物領域特定濃度範囲取得部３２Ｃと、植物領域抽出部３２Ｄと、生育状況監視部３２Ｅと、受粉時期決定部３２Ｆと、収穫時期決定部３２Ｇと、強調表示制御部（表示制御部）３２Ｈと、花個数計測部３２Ｉと、実個数計測部３２Ｊと、葉面積計測部３２Ｋと、葉かき時期決定部３２Ｌとを有している。   FIG. 3 is a functional block diagram showing the internal configuration of the CPU 32X. The CPU 32X includes a filtering unit 32A, an RGB image acquisition unit 32B, a plant region specific concentration range acquisition unit 32C, a plant region extraction unit 32D, a growth status monitoring unit 32E, a pollination time determination unit 32F, and a harvest time determination unit. 32G, an emphasis display control unit (display control unit) 32H, a flower number measurement unit 32I, an actual number measurement unit 32J, a leaf area measurement unit 32K, and a leaf cutting time determination unit 32L.

フィルタリング部３２Ａは、インターフェース部３１Ｉが受信した撮影画像（ＲＧＢ画像）に画素毎のフィルタリング処理を実行する。インターフェース部３１Ｉが受信した撮影画像は、各画素がＲ成分とＧ成分とＢ成分の濃度値（本実施形態では０〜２５５の２５６段階）を有しており、これらＲ濃度成分とＧ濃度成分とＢ濃度成分の組み合わせによって当該画素の色味が規定される。フィルタリング部３２Ａは、ある特定画素に着目したときに、当該特定画素に隣接する複数画素（例えば当該特定画素を取り囲む８画素）によって当該特定画素のＲ濃度成分とＧ濃度成分とＢ濃度成分を平均化することで、フィルタリング処理を実行する。なお、フィルタリング部３２Ａは本実施形態の必須の構成要素ではなく、フィルタリング部３２Ａを省略することも可能である。   The filtering unit 32A performs a filtering process for each pixel on the captured image (RGB image) received by the interface unit 31I. In the captured image received by the interface unit 31I, each pixel has density values of R component, G component, and B component (256 levels from 0 to 255 in this embodiment), and these R density component and G density component. And the B density component combine to define the color of the pixel. When focusing on a specific pixel, the filtering unit 32A averages the R density component, the G density component, and the B density component of the specific pixel by a plurality of pixels adjacent to the specific pixel (for example, eight pixels surrounding the specific pixel). By performing the conversion, the filtering process is executed. The filtering unit 32A is not an essential component of the present embodiment, and the filtering unit 32A can be omitted.

ＲＧＢ画像取得部３２Ｂは、インターフェース部３１Ｉが受信した撮影画像又はフィルタリング部３２Ａがフィルタリング処理を実行した撮影画像からＲ成分とＧ成分とＢ成分をそれぞれ抽出したＲ画像とＧ画像とＢ画像を取得する（撮影画像をＲ画像とＧ画像とＢ画像に分解する）。Ｒ画像には主に撮影画像の赤色成分の濃度が記録されており、Ｇ画像には主に撮影画像の緑色成分の濃度が記録されており、Ｂ画像には主に撮影画像の青色成分の濃度が記録されている。ＲＧＢ画像取得部３２Ｂが取得したＲ画像とＧ画像とＢ画像は、元の撮影画像と対応付けられて、メモリ３３又は記憶部３４に記憶される。   The RGB image acquisition unit 32B acquires the R image, the G image, and the B image obtained by extracting the R component, the G component, and the B component from the captured image received by the interface unit 31I or the captured image that the filtering unit 32A has executed the filtering process. (Decompose the photographed image into an R image, a G image, and a B image). The R image mainly records the density of the red component of the photographed image, the G image mainly records the density of the green component of the photographed image, and the B image mainly includes the blue component of the photographed image. The concentration is recorded. The R image, G image, and B image acquired by the RGB image acquisition unit 32B are associated with the original captured image and stored in the memory 33 or the storage unit 34.

植物領域特定濃度範囲取得部３２Ｃは、ＲＧＢ画像取得部３２Ｂが取得したＲ画像とＧ画像とＢ画像に共通かつ複数の指定区分領域を設定して、当該指定区分領域において、Ｒ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の組み合わせにより規定される植物領域特定濃度範囲を取得する。   The plant region specific density range acquisition unit 32C sets a plurality of designated segment areas common to the R image, the G image, and the B image acquired by the RGB image acquisition unit 32B, and the R density of the R image is set in the designated segment area. A plant area specific density range defined by a combination of a component, a G density component of the G image, and a B density component of the B image is acquired.

図４は、ＲＧＢ画像取得部３２Ｂが撮影画像からＲ画像とＧ画像とＢ画像を取得する様子、及び、植物領域特定濃度範囲取得部３２Ｃが指定区分領域においてＲ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の組み合わせにより規定される植物領域特定濃度範囲を取得する様子を示す概念図である。図４はグレースケールで読み込んだものであるため、撮影画像及びＲ画像とＧ画像とＢ画像が判別し難くなっているが、撮影画像はＲＧＢの各色成分を含んでおり、Ｒ画像は主にＲ成分を含んでおり、Ｇ画像は主にＧ成分を含んでおり、Ｂ画像は主にＢ成分を含んでいる。また、撮影画像及びＲ画像とＧ画像とＢ画像は、横方向にｎ画素（Ｘ＝１〜Ｘｎ）かつ縦方向にｎ画素（Ｙ＝１〜Ｙｎ）を含んで構成されている。   FIG. 4 shows how the RGB image acquisition unit 32B acquires an R image, a G image, and a B image from a photographed image, and the plant region specific density range acquisition unit 32C performs an R density component and a G image of the R image in a designated segment area. It is a conceptual diagram which shows a mode that the plant area specific density | concentration range prescribed | regulated by the combination of G density component of B and B density component of B image is acquired. Since FIG. 4 is read in grayscale, it is difficult to discriminate the captured image, the R image, the G image, and the B image. However, the captured image includes RGB color components, and the R image mainly includes An R component is included, a G image mainly includes a G component, and a B image mainly includes a B component. The captured image, the R image, the G image, and the B image include n pixels (X = 1 to Xn) in the horizontal direction and n pixels (Y = 1 to Yn) in the vertical direction.

図４において、植物領域特定濃度範囲取得部３２Ｃは、ＲＧＢ画像取得部３２Ｂが取得したＲ画像とＧ画像とＢ画像に共通の３つの指定区分領域I、II、IIIを設定する。各指定区分領域I、II、IIIは、例えば、１画素であってもよいし、横方向にａ画素かつ縦方向にａ画素を含んだ複数画素で構成されていてもよい（ａはｎよりも十分に小さい）。なお、指定区分領域I、II、IIIの数や配置については自由度があり、抽出対象や抽出精度に応じて、種々の設計変更が可能である。   In FIG. 4, the plant region specific density range acquisition unit 32C sets three designated classification regions I, II, and III that are common to the R image, the G image, and the B image acquired by the RGB image acquisition unit 32B. Each designated segment area I, II, III may be, for example, one pixel, or may be composed of a plurality of pixels including a pixel in the horizontal direction and a pixel in the vertical direction (a is from n Is also small enough). Note that the number and arrangement of the designated section areas I, II, and III are flexible, and various design changes can be made according to the extraction target and the extraction accuracy.

植物領域特定濃度範囲取得部３２Ｃは、指定区分領域I、II、IIIにおいて、Ｒ平均濃度の最小値と最大値、Ｇ平均濃度の最小値と最大値、Ｂ平均濃度の最小値と最大値を求めて、Ｒ平均濃度の最小値と最大値の差分（間）をＲ平均濃度範囲、Ｇ平均濃度の最小値と最大値の差分（間）をＧ平均濃度範囲、Ｂ平均濃度の最小値と最大値の差分（間）をＢ平均濃度範囲とする。   The plant region specific concentration range acquisition unit 32C obtains the minimum value and maximum value of the R average concentration, the minimum value and maximum value of the G average concentration, and the minimum value and maximum value of the B average concentration in the designated classification regions I, II, and III. The difference (between) the minimum value and the maximum value of the R average density is the R average density range, the difference (between) the minimum value and the maximum value of the G average density is the G average density range, and the minimum value of the B average density. The difference (between) of the maximum values is defined as the B average density range.

植物領域特定濃度範囲取得部３２Ｃは、このようにして求めた指定区分領域I、II、IIIのＲ平均濃度範囲とＧ平均濃度範囲とＢ平均濃度範囲の集合体として、Ｒ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の組み合わせにより規定される植物領域特定濃度範囲［Ｒ、Ｇ、Ｂ］（Ｒ、Ｇ、Ｂは０〜２５５の２５６段階の濃度値）を取得する。植物領域特定濃度範囲［Ｒ、Ｇ、Ｂ］は、［ＲＭｉｎ〜ＲＭａｘ、ＧＭｉｎ〜ＧＭａｘ、ＢＭｉｎ〜ＢＭａｘ］（ＲＭｉｎ、ＲＭａｘ、ＧＭｉｎ、ＧＭａｘ、ＢＭｉｎ、ＢＭａｘは０〜２５５の２５６段階の濃度値の最小値と最大値）で表現することができる。植物領域特定濃度範囲取得部３２Ｃは、上記のようにして求めた指定区分領域I、II、IIIのＲ平均濃度範囲とＧ平均濃度範囲とＢ平均濃度範囲、及び／又は、植物領域特定濃度範囲［Ｒ、Ｇ、Ｂ］に幅を持たせて、［ＲＭｉｎ±３〜ＲＭａｘ±３、ＧＭｉｎ±３〜ＧＭａｘ±３、ＢＭｉｎ±３〜ＢＭａｘ±３］とすることができる。なお、「±３」の部分については種々の設計変更が可能であり、例えば、「±１」、「±５」、「±７」、「±１０」等に設定することが可能である。植物領域特定濃度範囲取得部３２Ｃが取得した植物領域特定濃度範囲［Ｒ、Ｇ、Ｂ］は、予め、メモリ３３又は記憶部３４に記憶される。 The plant region specific density range acquisition unit 32C obtains the R density component of the R image as an aggregate of the R average density range, the G average density range, and the B average density range of the designated classification areas I, II, and III thus obtained. Plant region specific density range [R, G, B] (R, G, B are 256-level density values from 0 to 255) defined by the combination of the G density component of the G image and the B density component of the B image. get. Plant region specific concentration range [R, G, B] is [R Min -R Max , G Min -G Max , B Min -B Max ] (R Min , R Max , G Min , G Max , B Min , B Max can be expressed by a minimum value and a maximum value of density values in 256 steps from 0 to 255). The plant region specific concentration range acquisition unit 32C is configured to obtain the R average concentration range, the G average concentration range, the B average concentration range, and / or the plant region specific concentration range of the designated classification regions I, II, and III obtained as described above. [R, G, B] can be given a width to be [R Min ± 3 to R Max ± 3, G Min ± 3 to G Max ± 3, B Min ± 3 to B Max ± 3]. . The “± 3” portion can be variously modified. For example, “± 1”, “± 5”, “± 7”, “± 10”, and the like can be set. The plant region specific concentration range [R, G, B] acquired by the plant region specific concentration range acquisition unit 32C is stored in the memory 33 or the storage unit 34 in advance.

このように、植物領域特定濃度範囲取得部３２Ｃは、例えば、複数画素におけるＲ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の平均値をとってこれら平均値の組み合わせにより規定される植物領域特定濃度範囲を取得し、且つ／又は、画素毎に取得した植物領域特定濃度範囲を平滑化してこれを植物領域特定濃度範囲とすることが可能である。   In this way, the plant region specific density range acquisition unit 32C takes, for example, an average value of the R density component of the R image, the G density component of the G image, and the B density component of the B image in a plurality of pixels, and a combination of these average values. It is possible to acquire the plant region specific concentration range defined by the above and / or smooth the plant region specific concentration range acquired for each pixel and use this as the plant region specific concentration range.

あるいは、植物領域特定濃度範囲取得部３２Ｃは、例えば、指定区分領域I、II、IIIが１画素で構成されているような場合には、当該指定区分領域I、II、IIIにおけるＲ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の組み合わせを［Ｒ１、Ｇ１、Ｂ１］と［Ｒ２、Ｇ２、Ｂ２］と［Ｒ３、Ｇ３、Ｂ３］として求めて、これらの集合体としての植物領域特定濃度範囲［Ｒ、Ｇ、Ｂ］を取得することが可能である。例えば、植物領域特定濃度範囲［Ｒ、Ｇ、Ｂ］は、［Ｒ１〜Ｒ３、Ｇ１〜Ｇ３、Ｂ１〜Ｂ３］で表現することができる。 Alternatively, the plant region specific concentration range acquisition unit 32C, for example, when the designated divided regions I, II, and III are configured by one pixel, R of the R image in the designated divided regions I, II, and III. The combinations of the density component, the G density component of the G image, and the B density component of the B image are [R 1 , G 1 , B 1 ], [R 2 , G 2 , B 2 ], and [R 3 , G 3 , B 3]. It is possible to obtain the plant region specific concentration range [R, G, B] as an aggregate of these. For example, the plant region specific concentration range [R, G, B] can be expressed by [R 1 to R 3 , G 1 to G 3 , B 1 to B 3 ].

例えば、イチゴの花（花中心）の場合、初期状態では濃い緑色であり、その後に黄緑色に変化していき、最終的に黄色に変化する。そして、イチゴの花（花中心）の大部分が黄色に変化した段階が、イチゴの花（花中心）の受粉時期とされる。また、イチゴの実の場合、初期状態では全体が白色であり、その後に先端部から順に赤色に変化していき、最終的に全体が赤色に変化する。そして、イチゴの実の大部分が赤色に変化した段階が、イチゴの実の収穫時期とされる。   For example, in the case of a strawberry flower (flower center), it is dark green in the initial state, then changes to yellow-green, and finally changes to yellow. The stage at which most of the strawberry flowers (flower center) turn yellow is the pollination time of the strawberry flowers (flower center). Moreover, in the case of the fruit of a strawberry, the whole is white in an initial state, and after that, it changes to red sequentially from a front-end | tip part, and finally the whole changes to red. The stage when most of the strawberry fruits turn red is regarded as the harvest time of the strawberry fruits.

本実施形態では、異なる生育段階にある複数のイチゴの花（花中心）を指定区分領域に設定して、当該指定区分領域の植物領域特定濃度範囲を取得することで、イチゴの花（花中心）の生育段階は判別できないが、植物領域特定濃度範囲に含まれている画素領域が少なくともイチゴの花（花中心）であることを把握することが可能になる。また、異なる生育段階にある複数のイチゴの実を指定区分領域に設定して、当該指定区分領域の植物領域特定濃度範囲を取得することで、イチゴの実の生育段階は判別できないが、植物領域特定濃度範囲に含まれている画素領域が少なくともイチゴの実であることを把握することが可能になる。   In the present embodiment, a plurality of strawberry flowers (flower centers) at different growth stages are set in the designated segment area, and the plant region specific concentration range of the designated segment area is acquired, so that the strawberry flower (flower center) is obtained. ) Cannot be discriminated, but it is possible to grasp that the pixel region included in the plant region specific concentration range is at least a strawberry flower (flower center). In addition, by setting a plurality of strawberry fruits in different growth stages as a designated division area and obtaining a plant region specific concentration range of the designated division area, the growth stage of the strawberry fruit cannot be determined. It is possible to grasp that the pixel area included in the specific density range is at least a fruit of a strawberry.

図３に戻って、植物領域抽出部３２Ｄは、ＲＧＢ画像取得部３２Ｂが取得したＲ画像とＧ画像とＢ画像を画素毎に走査して、Ｒ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の組み合わせが、植物領域特定濃度範囲取得部３２Ｃが取得した植物領域特定濃度範囲に含まれている画素領域を、植物領域として抽出する。例えば、植物領域抽出部３２Ｄは、植物領域として、イチゴの花（花中心）やイチゴの実を抽出する。   Returning to FIG. 3, the plant region extraction unit 32D scans the R image, the G image, and the B image acquired by the RGB image acquisition unit 32B for each pixel, and the R density component of the R image and the G density component of the G image. A pixel region included in the plant region specific concentration range acquired by the plant region specific concentration range acquisition unit 32C is extracted as a plant region by the combination of the B image and the B density component of the B image. For example, the plant region extraction unit 32D extracts strawberry flowers (flower center) and strawberry fruits as plant regions.

より具体的に、植物領域抽出部３２Ｄは、ＲＧＢ画像取得部３２Ｂが取得したＲ画像とＧ画像とＢ画像のＲ濃度成分とＧ濃度成分とＢ濃度成分が［ＲＸ、ＧＸ、ＢＸ］（ＲＸ、ＧＸ、ＢＸは０〜２５５の２５６段階の濃度値）である場合において、［ＲＸ、ＧＸ、ＢＸ］が、植物領域特定濃度範囲取得部３２Ｃが取得した植物領域特定濃度範囲［Ｒ、Ｇ、Ｂ］⇒［ＲＭｉｎ〜ＲＭａｘ、ＧＭｉｎ〜ＧＭａｘ、ＢＭｉｎ〜ＢＭａｘ］又は［Ｒ１〜Ｒ３、Ｇ１〜Ｇ３、Ｂ１〜Ｂ３］に含まれているとき、当該画素領域を植物領域として抽出する。 More specifically, the plant region extraction unit 32D includes the R image, the G image, the R density component, the G density component, and the B density component of the R image, the G image, and the B image acquired by the RGB image acquisition unit 32B [R X , G X , B X ] (R X , G X , B X are 256-level concentration values from 0 to 255), [R X , G X , B X ] is a plant acquired by the plant region specific concentration range acquisition unit 32C Region specific concentration range [R, G, B] => [R Min to R Max , G Min to G Max , B Min to B Max ] or [R 1 to R 3 , G 1 to G 3 , B 1 to B 3 ], The pixel area is extracted as a plant area.

ここで、植物領域抽出部３２Ｄによる植物領域抽出処理は、時系列に沿って定期的に実行される。これにより、例えば、前回の抽出処理ではその場所（画素）に植物が映り込んでいたが、誤抽出や植物の成長、撮影アングルの変更などによって今回の抽出処理ではその場所（画素）に植物が映り込んでいないような場合にも、適切に対応することができる。さらに、前回の抽出処理でその場所（画素）に存在していた植物が無事に収穫されたような場合にも、適切に対応することができる。植物領域抽出部３２Ｄは、例えば、後述する受粉時期決定部３２Ｆが受粉時期を決定するタイミング、及び／又は、後述する収穫時期決定部３２Ｇが収穫時期を決定するタイミングと同期させて、植物領域抽出処理を実行することができる。   Here, the plant region extraction processing by the plant region extraction unit 32D is periodically executed in time series. Thus, for example, in the previous extraction process, a plant was reflected in the location (pixel). However, in this extraction process due to erroneous extraction, plant growth, change of the shooting angle, etc., a plant is reflected in the location (pixel). Even when it is not reflected, it can respond appropriately. Furthermore, it is possible to appropriately cope with the case where the plant existing at the place (pixel) was successfully harvested in the previous extraction process. The plant region extraction unit 32D extracts, for example, a plant region in synchronization with a timing at which a pollination time determination unit 32F (described later) determines a pollination time and / or a timing at which a harvest time determination unit 32G (described later) determines a harvest time. Processing can be executed.

生育状況監視部３２Ｅは、植物領域抽出部３２Ｄが抽出した植物領域におけるＲ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の組み合わせの時系列的な推移に基づいて、植物（イチゴの花（花中心）やイチゴの実）の生育状況を監視する。   Based on the time-series transition of the combination of the R density component of the R image, the G density component of the G image, and the B density component of the B image in the plant region extracted by the plant region extraction unit 32D, Monitor the growth of plants (strawberry flowers (flower center) and strawberry fruits).

生育状況監視部３２Ｅは、植物領域特定濃度範囲取得部３２Ｃが取得した植物領域特定濃度範囲を予め設定した複数の生育段階に変換する。図５Ａと図５Ｂは植物領域特定濃度範囲を変換した複数の生育段階の一例を示しており、図５Ａはイチゴの花（花中心）の場合を示しており、図５Ｂはイチゴの実の場合を示している。図５Ａでは、イチゴの花（花中心）の複数の生育段階が、色味が濃い緑色である生育段階１１、色味が黄緑色である生育段階１２、及び、色身が黄色である生育段階１３の３段階に設定されている。図５Ｂでは、イチゴの実の複数の生育段階が、色味が白色である生育段階２１、及び、色味が赤色である生育段階２２の２段階に設定されている。なお、ここで設定する植物の生育段階の段階数には自由度があり、種々の設計変更が可能である。   The growth condition monitoring unit 32E converts the plant region specific concentration range acquired by the plant region specific concentration range acquisition unit 32C into a plurality of preset growth stages. 5A and 5B show an example of a plurality of growth stages obtained by converting a plant region specific concentration range, FIG. 5A shows a case of a strawberry flower (flower center), and FIG. 5B shows a case of a strawberry fruit. Is shown. In FIG. 5A, a plurality of growth stages of strawberry flowers (flower center) are a growth stage 11 in which the color is dark green, a growth stage 12 in which the color is yellow-green, and a growth stage in which the color is yellow. 13 levels are set. In FIG. 5B, a plurality of strawberry fruit growth stages are set in two stages, a growth stage 21 in which the color is white and a growth stage 22 in which the color is red. In addition, there is a degree of freedom in the number of stages of the plant growth stage set here, and various design changes are possible.

生育状況監視部３２Ｅは、当該生育状況監視部３２Ｅが設定した複数の生育段階の中で、植物領域抽出部３２Ｄが抽出した植物領域におけるＲ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の組み合わせにより規定される生育段階の割合が時系列的にどのように推移するかに基づいて、植物の生育状況を監視する。   The growth state monitoring unit 32E includes an R density component of the R image, a G density component of the G image, and B in the plant region extracted by the plant region extraction unit 32D among the plurality of growth stages set by the growth state monitoring unit 32E. The growth status of the plant is monitored based on how the proportion of the growth stage defined by the combination of the B concentration components of the image changes in time series.

図６は、イチゴの花（花中心）の生育段階の時系列的な推移の一例を示している。図６Ａでは、イチゴの花（花中心）の色味が濃い緑色である生育段階１１となっており、図６Ｂでは、イチゴの花（花中心）の色味が黄緑色である生育段階１２となっており、図６Ｃでは、イチゴの花（花中心）の色味が黄色である生育段階１３となっている。   FIG. 6 shows an example of a time-series transition of the growth stage of a strawberry flower (flower center). In FIG. 6A, the strawberry flower (flower center) has a growth stage 11 in which the color of the strawberry flower (flower center) is dark green, and in FIG. 6B, the growth stage 12 in which the color of the strawberry flower (flower center) is yellow-green. In FIG. 6C, the growth stage 13 in which the color of the strawberry flower (flower center) is yellow is shown.

図７は、イチゴの実の生育段階の時系列的な推移の一例を示している。図７Ａでは、イチゴの実の全体の色味が白色である生育段階２１となっており、図７Ｂでは、イチゴの実の先端側の半分の色味が赤色である生育段階２２且つ基端側の半分の色味が白色である生育段階２１となっており、図７Ｃでは、イチゴの実の全体の色味が赤色である生育段階２２となっている。   FIG. 7 shows an example of a time-series transition of the strawberry fruit growth stage. In FIG. 7A, it becomes the growth stage 21 in which the whole color of the strawberry fruit is white, and in FIG. 7B, the growth stage 22 and the proximal side in which the half color of the top side of the strawberry fruit is red. The growth stage 21 in which half the color of the strawberry is white is shown in FIG. 7C. In FIG. 7C, the growth stage 22 in which the overall color of the strawberry fruit is red is shown.

受粉時期決定部３２Ｆは、生育状況監視部３２Ｅが監視した植物の生育状況に基づいて、当該植物としての花（花中心）の受粉時期を決定する。図６Ａ〜図６Ｃに示したイチゴの花（花中心）を例に挙げると、受粉時期決定部３２Ｆは、イチゴの花（花中心）を構成する画素領域を時系列的にモニタリングしており、当該画素領域のうちの９０％が、その色味が黄色である生育段階１３となったときに、イチゴの花（花中心）の受粉時期が到来したものと決定することができる。また、受粉時期決定部３２Ｆは、イチゴの花（花中心）を構成する画素領域を時系列的にモニタリングしており、当該画素領域のうちの７０％〜８０％が、その色味が黄色である生育段階１３となったときに、近い将来（例えば数日後）にイチゴの花（花中心）の受粉時期が到来するものと決定することができる。受粉時期決定部３２Ｆが決定した受粉時期に従って、例えば、受粉に必要な人員やミツバチの手配を適切に実行することができる。   The pollination time determination unit 32F determines the pollination time of the flower (flower center) as the plant based on the growth state of the plant monitored by the growth state monitoring unit 32E. Taking the strawberry flower (flower center) shown in FIG. 6A to FIG. 6C as an example, the pollination time determination unit 32F monitors the pixel area constituting the strawberry flower (flower center) in time series, When 90% of the pixel area reaches the growth stage 13 whose color is yellow, it can be determined that the pollination time of the strawberry flower (flower center) has arrived. In addition, the pollination time determination unit 32F monitors the pixel area constituting the strawberry flower (flower center) in time series, and 70% to 80% of the pixel area is yellow in color. When a certain growth stage 13 is reached, it can be determined that the pollination time of the strawberry flower (flower center) will come in the near future (for example, several days later). According to the pollination time determined by the pollination time determination unit 32F, for example, it is possible to appropriately arrange personnel and bees necessary for pollination.

受粉時期決定部３２Ｆは、植物としての花（花中心）の生育速度を個別に判定して、生育速度に応じて、花（花中心）の受粉時期を推測して決定することができる。図８Ａ、図８Ｂに示すように、時系列に沿った画像１と画像２と画像３に２つの花（花中心）がそれぞれ映り込んでいるとき、図８Ａの花（花中心）の方が図８Ｂの花（花中心）よりも生育速度が速く、生育段階１１から生育段階１２を経て生育段階１３に到達する割合の変化量が大きくなっている。受粉時期決定部３２Ｆは、このような花（花中心）の生育速度の違いを考慮に入れて、例えば、それぞれの花（花中心）にて生育段階１３に到達する画素が増大する生育速度（％／ｈ）（植物領域抽出部３２Ｄによる植物領域抽出処理を一時間毎に実行したものと仮定）を演算する。そして、受粉時期決定部３２Ｆは、例えば、ある花（花中心）の生育速度が速い場合には、当該花（花中心）を構成する画素領域のうちの８５％が、その色味が黄色である生育段階１３となったときに、当該花（花中心）の受粉時期が到来したものと決定することができる。また、受粉時期決定部３２Ｆは、ある花（花中心）の生育速度が遅い場合には、当該花（花中心）を構成する画素領域のうちの９５％が、その色味が黄色である生育段階１３となったときに、当該花（花中心）の受粉時期が到来したものと決定することができる。また、受粉時期決定部３２Ｆは、例えば、花（花中心）の生育速度を示す傾き曲線の微分値をとることで、あと何時間後あるいは何日後に花（花中心）の受粉時期が到来するかを正確に予測することができる。   The pollination time determination unit 32F can individually determine the growth rate of a flower (flower center) as a plant and estimate and determine the pollination time of the flower (flower center) according to the growth rate. As shown in FIGS. 8A and 8B, when two flowers (flower center) are reflected in time-series images 1, 2, and 3, respectively, the flower (flower center) in FIG. The growth rate is faster than that of the flower (flower center) in FIG. 8B, and the amount of change in the ratio of reaching the growth stage 13 from the growth stage 11 through the growth stage 12 is large. The pollination time determination unit 32F takes into account such a difference in the growth rate of flowers (flower center), for example, the growth rate (the growth rate (pixel center)) at which the pixels that reach the growth stage 13 increase ( % / H) (assuming that the plant region extraction processing by the plant region extraction unit 32D is performed every hour). And, for example, when the growth speed of a certain flower (flower center) is fast, the pollination time determination unit 32F has a yellow color in 85% of the pixel region constituting the flower (flower center). When it reaches a certain growth stage 13, it can be determined that the pollination time of the flower (flower center) has arrived. In addition, when the growth rate of a certain flower (flower center) is slow, the pollination time determination unit 32F grows in which 95% of the pixel area constituting the flower (flower center) has a yellow color. When it becomes stage 13, it can be determined that the pollination time of the flower (flower center) has arrived. In addition, the pollination time determination unit 32F takes, for example, the differential value of the slope curve indicating the growth rate of the flower (flower center), so that the pollination time of the flower (flower center) arrives after hours or days. Can be accurately predicted.

収穫時期決定部３２Ｇは、生育状況監視部３２Ｅが監視した植物の生育状況に基づいて、当該植物としての実の収穫時期を決定する。図７Ａ〜図７Ｂに示したイチゴの実を例に挙げると、収穫時期決定部３２Ｇは、イチゴの実を構成する画素領域を時系列的にモニタリングしており、当該画素領域のうちの９０％が、その色味が赤色である生育段階２２となったときに、イチゴの実の収穫時期が到来したものと決定することができる。また、収穫時期決定部３２Ｇは、イチゴの実を構成する画素領域を時系列的にモニタリングしており、当該画素領域のうちの７０％〜８０％が、その色味が赤色である生育段階２２となったときに、近い将来（例えば数日後）にイチゴの実の収穫時期が到来するものと決定することができる。収穫時期決定部３２Ｇが決定した収穫時期に従って、例えば、収穫に必要な人員や機材の手配を適切に実行することができる。   The harvest time determination unit 32G determines the actual harvest time as the plant based on the growth status of the plant monitored by the growth status monitoring unit 32E. Taking the strawberry fruit shown in FIG. 7A to FIG. 7B as an example, the harvest time determination unit 32G monitors the pixel area constituting the strawberry fruit in time series, and 90% of the pixel area However, it can be determined that the strawberry fruit harvest time has come when the growth stage 22 is red. In addition, the harvesting time determination unit 32G monitors the pixel area constituting the strawberry fruit in time series, and 70% to 80% of the pixel area has a red color. When it becomes, it can be determined that the harvest time of strawberry fruits will come in the near future (for example, several days later). According to the harvest time determined by the harvest time determination unit 32G, for example, it is possible to appropriately arrange personnel and equipment necessary for harvesting.

収穫時期決定部３２Ｇは、植物としての実の生育速度を個別に判定して、生育速度に応じて、実の収穫時期を推測して決定することができる。図９Ａ、図９Ｂに示すように、時系列に沿った画像１と画像２と画像３に２つの実がそれぞれ映り込んでいるとき、図９Ａの実の方が図９Ｂの実よりも生育速度が速く、生育段階２１から生育段階２２に到達する割合の変化量が大きくなっている。収穫時期決定部３２Ｇは、このような実の生育速度の違いを考慮に入れて、例えば、それぞれの実にて生育段階２２に到達する画素が増大する生育速度（％／ｈ）（植物領域抽出部３２Ｄによる植物領域抽出処理を一時間毎に実行したものと仮定）を演算する。そして、収穫時期決定部３２Ｇは、例えば、ある実の生育速度が速い場合には、当該実を構成する画素領域のうちの８５％が、その色味が赤色である生育段階２２となったときに、実の収穫時期が到来したものと決定することができる。また、収穫時期決定部３２Ｇは、ある実の生育速度が遅い場合には、当該実を構成する画素領域のうちの９５％が、その色味が赤色である生育段階２２となったときに、実の収穫時期が到来したものと決定することができる。また、収穫時期決定部３２Ｇは、例えば、実の生育速度を示す傾き曲線の微分値をとることで、あと何時間後あるいは何日後に実の収穫時期が到来するかを正確に予測することができる。   The harvest time determination unit 32G can individually determine the actual growth rate as a plant, and estimate and determine the actual harvest time according to the growth rate. As shown in FIG. 9A and FIG. 9B, when two fruits are reflected in image 1, image 2 and image 3 along the time series, the fruit of FIG. 9A is faster than the fruit of FIG. 9B. The rate of change from the growth stage 21 to the growth stage 22 is large. The harvest time determination unit 32G takes into account such a difference in the actual growth rate, for example, the growth rate (% / h) at which the pixels reaching the growth stage 22 increase in each fruit (plant region extraction unit) The plant area extraction process by 32D is assumed to be executed every hour). And the harvest time determination part 32G, for example, when a certain real growth rate is fast, when 85% of the pixel area which comprises the said fruit becomes the growth stage 22 whose color is red In addition, it can be determined that the harvest time has come. In addition, when a certain actual growth rate is slow, the harvest time determining unit 32G has a growth stage 22 in which 95% of the pixel area constituting the actual fruit is red. It can be determined that the actual harvest time has come. In addition, the harvesting time determination unit 32G can accurately predict how many hours or how many days later the actual harvesting time will arrive by, for example, taking a differential value of an inclination curve indicating the actual growth rate. it can.

強調表示制御部３２Ｈは、植物領域抽出部３２Ｄが抽出した植物領域（例えばイチゴの花（花中心）やイチゴの実）を表示部３６に表示するときに、当該植物領域を枠で囲う等の手法により強調表示する。   When the highlighting control unit 32H displays the plant region (for example, strawberry flower (flower center) or strawberry fruit) extracted by the plant region extraction unit 32D on the display unit 36, the plant region extraction unit 32H surrounds the plant region with a frame or the like. Highlight by technique.

強調表示制御部３２Ｈは、例えば、植物領域抽出部３２Ｄが抽出した植物領域としてのイチゴの花（花中心）を表示部３６に表示するときに、受粉時期決定部３２Ｆが決定した受粉時期に応じて、当該植物領域としてのイチゴの花（花中心）の表示態様を異ならせることができる。より具体的に、強調表示制御部３２Ｈは、受粉時期決定部３２Ｆと連動して、今直ぐに受粉させるべき花（花中心）を最も大きい枠で囲って、１〜２日後に受粉させるべき花（花中心）を２番目に大きい枠で囲って、３〜４日後に受粉させるべき花（花中心）を最も小さい枠で囲って、それぞれ異なる態様で強調表示することができる。   The highlight display control unit 32H, for example, displays the strawberry flower (flower center) as the plant region extracted by the plant region extraction unit 32D on the display unit 36, according to the pollination time determined by the pollination time determination unit 32F. And the display mode of the strawberry flower (flower center) as the said plant area | region can be varied. More specifically, the highlighting control unit 32H, in conjunction with the pollination time determination unit 32F, surrounds the flower (flower center) that should be pollinated immediately with the largest frame, and the flower that should be pollinated after 1-2 days ( The flower center) is surrounded by the second largest frame, and the flower (flower center) to be pollinated after 3-4 days is surrounded by the smallest frame, and can be highlighted in different manners.

強調表示制御部３２Ｈは、例えば、植物領域抽出部３２Ｄが抽出した植物領域としてのイチゴの実を表示部３６に表示するときに、収穫時期決定部３２Ｇが決定した収穫時期に応じて、当該植物領域としてのイチゴの実の表示態様を異ならせることができる。より具体的に、強調表示制御部３２Ｈは、収穫時期決定部３２Ｇと連動して、今直ぐに収穫すべき実を最も大きい枠で囲って、１〜２日後に収穫すべき実を２番目に大きい枠で囲って、３〜４日後に収穫すべき実を最も小さい枠で囲って、それぞれ異なる態様で強調表示することができる。   The highlighting control unit 32H, for example, displays the strawberry fruit as the plant region extracted by the plant region extraction unit 32D on the display unit 36 according to the harvest time determined by the harvest time determination unit 32G. The display mode of the strawberry fruit as the region can be varied. More specifically, the highlighting control unit 32H, in conjunction with the harvest time determination unit 32G, surrounds the fruits that should be harvested immediately with the largest frame, and the fruits that should be harvested after 1-2 days are the second largest. The fruits to be harvested after 3-4 days can be highlighted in different ways, each surrounded by a frame.

花個数計測部３２Ｉは、植物領域抽出部３２Ｄが抽出した植物領域としての花（花中心）の個数を計測する。花個数計測部３２Ｉを強調表示制御部３２Ｈと連動させて、花個数計測部３２Ｉが花（花中心）の個数として計測したものに限って強調表示制御部３２Ｈがこれを強調表示してもよい。   The flower number measuring unit 32I measures the number of flowers (flower center) as the plant region extracted by the plant region extracting unit 32D. The highlight display control unit 32H may highlight the flower number measurement unit 32I in conjunction with the highlight display control unit 32H so that the flower number measurement unit 32I measures the number of flowers (flower center). .

実個数計測部３２Ｊは、植物領域抽出部３２Ｄが抽出した植物領域としての実の個数を計測する。実個数計測部３２Ｊを強調表示制御部３２Ｈと連動させて、実個数計測部３２Ｊが実の個数として計測したものに限って強調表示制御部３２Ｈがこれを強調表示してもよい。   The actual number measuring unit 32J measures the actual number of plant regions extracted by the plant region extracting unit 32D. The actual number measurement unit 32J may be linked with the highlight display control unit 32H so that the highlight display control unit 32H highlights only the actual number measurement unit 32J measured as the actual number.

葉面積計測部３２Ｋは、植物領域抽出部３２Ｄが抽出した植物領域としての葉の面積を計測する。葉面積計測部３２Ｋを強調表示制御部３２Ｈと連動させて、葉面積計測部３２Ｋが計測した葉の面積が所定面積以上のものに限って、強調表示制御部３２Ｈがこれを強調表示してもよい。   The leaf area measuring unit 32K measures the area of the leaf as the plant region extracted by the plant region extracting unit 32D. Even if the leaf area measurement unit 32K is linked with the highlight display control unit 32H and the leaf area measured by the leaf area measurement unit 32K is limited to a predetermined area or more, even if the highlight display control unit 32H highlights the leaf area measurement unit 32K. Good.

葉面積計測部３２Ｋは、植物としての葉を上方向から撮影した上方向撮影画像に基づいた上方向葉面積と、植物としての葉を横方向から撮影した横方向撮影画像に基づいた横方向葉面積とを算出する。例えば、上方向撮影画像は、上カメラ２１Ｃによって撮影することができ、横方向撮影画像は、第１横カメラ２２Ｃ及び／又は第２横カメラ２３Ｃによって撮影することができる。   The leaf area measuring unit 32K has an upward leaf area based on an upward photographed image obtained by photographing a leaf as a plant from above, and a lateral leaf based on a lateral photographed image obtained by photographing the leaf as a plant from the lateral direction. Calculate the area. For example, the upper direction captured image can be captured by the upper camera 21C, and the lateral direction captured image can be captured by the first lateral camera 22C and / or the second lateral camera 23C.

葉面積計測部３２Ｋは、横方向葉面積によって上方向葉面積を補正する。より具体的に、図１０に示すように、葉面積計測部３２Ｋは、横方向葉面積の現在値を初期値で除算した横方向葉面積比率ｘを変数として上方向葉面積補正係数ｙを算出する。横方向葉面積比率ｘは、初期状態から現在に至るまでの横方向葉面積の増大分についての時系列的な比率を示している。例えば、初期状態の横方向葉面積を１としたとき、現在の横方向葉面積が２であればｘ＝２となり、現在の横方向葉面積が３であればｘ＝３となり、現在の横方向葉面積が５であればｘ＝５となる。このように求めたｘの値をｙ＝０．３８９７ｘ＋０．６３２６に代入することで、ｙの値を算出することができる。例えば、ｘ＝１のときはｙ＝１．０２２３となり、ｘ＝２のときはｙ＝１．４１２となり、ｘ＝３のときはｙ＝１．８０１７となり、ｘ＝５のときはｙ＝２．５８１１となる。ここでは、所定期間における横方向葉面積の増大比率を一次関数による直線で表すことができる。なお、横方向葉面積比率ｘと上方向葉面積補正係数ｙは、一次関数による直線で表す場合の他、マクロな視点で見た時に、横方向葉面積比率ｘの増加に伴って上方向葉面積補正係数ｙも増加する関係であってもよい。   The leaf area measuring unit 32K corrects the upward leaf area based on the lateral leaf area. More specifically, as shown in FIG. 10, the leaf area measuring unit 32K calculates the upward leaf area correction coefficient y using the lateral leaf area ratio x obtained by dividing the current value of the lateral leaf area by the initial value as a variable. To do. The lateral leaf area ratio x indicates a time-series ratio of the increase in the lateral leaf area from the initial state to the present. For example, assuming that the horizontal leaf area in the initial state is 1, if the current horizontal leaf area is 2, x = 2, and if the current horizontal leaf area is 3, x = 3. If the directional leaf area is 5, x = 5. By substituting the value of x thus obtained for y = 0.3897x + 0.6326, the value of y can be calculated. For example, when x = 1, y = 1.0223, when x = 2, y = 1.422, when x = 3, y = 1.8017, and when x = 5, y = 2 .5811. Here, the increase ratio of the lateral leaf area in a predetermined period can be represented by a straight line by a linear function. Note that the lateral leaf area ratio x and the upward leaf area correction coefficient y are not only expressed by a straight line by a linear function, but when viewed from a macro viewpoint, the upward leaf area ratio x increases as the lateral leaf area ratio x increases. The area correction coefficient y may also increase.

葉面積計測部３２Ｋは、上記のようにして求めた上方向葉面積補正係数ｙを上方向葉面積に乗算することにより、上方向葉面積を補正する。葉の密集度が低く上下方向に重なっていない状態では、上方向葉面積の正確性（信頼度）が高いが、葉の密集度が高く上下方向に重なっている状態では、上方向葉面積の正確性（信頼性）が低くなる。前者の場合には全ての葉の面積が求められるが、後者の場合には下方に隠れた葉の面積が求められないからである。そこで、本実施形態では、葉の密集度や上下方向の重なり具合を示す指標として横方向葉面積に着目し、横方向葉面積に基づいて、横方向葉面積比率ｘ、さらには上方向葉面積補正係数ｙを求めて、上方向葉面積補正係数ｙにより上方向葉面積を補正することで、常に、正確性（信頼度）が高い上方向葉面積を求めることに成功している。すなわち、上カメラ２１Ｃ、第１横カメラ２２Ｃ及び第２横カメラ２３Ｃの撮影画像に基づく葉面積の時系列的な推移により実葉面積を推定して、植物の生育状況を監視することが可能となる。また、ＬＡＩ（葉面積指数）を本推定値及び／又は上カメラ２１Ｃの全体撮影面積により算出して、栽培管理に活用することも可能である。   The leaf area measuring unit 32K corrects the upward leaf area by multiplying the upward leaf area correction coefficient y obtained as described above by the upward leaf area. The accuracy (reliability) of the upper leaf area is high when the leaf density is low and not overlapping vertically, but the leaf area is high when the leaf density is high and overlapping vertically. Accuracy (reliability) decreases. This is because the area of all leaves is obtained in the former case, but the area of the leaves hidden below is not obtained in the latter case. Therefore, in this embodiment, attention is paid to the lateral leaf area as an index indicating the density of the leaves and the degree of vertical overlap, and the lateral leaf area ratio x, and further the upward leaf area, based on the lateral leaf area. By obtaining the correction coefficient y and correcting the upper leaf area by the upper leaf area correction coefficient y, it has always succeeded in obtaining the upper leaf area with high accuracy (reliability). That is, it is possible to estimate the actual leaf area by the time-series transition of the leaf area based on the images taken by the upper camera 21C, the first horizontal camera 22C, and the second horizontal camera 23C, and to monitor the growth state of the plant. Become. Moreover, it is also possible to calculate LAI (leaf area index) from the estimated value and / or the entire photographing area of the upper camera 21C and use it for cultivation management.

図１１、図１２は、所定期間に亘る補正前後の上方向葉面積の一例を示す第１、第２の図である。図１２において、下側の破線は補正前の上方向葉面積を示しており、上側の実線は補正後の上方向葉面積を示し、上側の一点鎖線は手計測した葉面積を示している。   11 and 12 are first and second diagrams showing an example of the upward leaf area before and after correction over a predetermined period. In FIG. 12, the lower broken line indicates the upward leaf area before correction, the upper solid line indicates the corrected upward leaf area, and the upper one-dot chain line indicates the leaf area measured by hand.

Ａ：１０月２７日において、上方向葉面積は３４０４ｃｍ２であり、横方向葉面積は１６７６ｃｍ２であり、横方向葉面積比率ｘは１．０００であり、上方向葉面積補正係数ｙは１．０２２であり、補正後の上方向葉面積は、３４０４ｃｍ２×１．０２２＝約３４８０ｃｍ２となっている。補正後の上方向葉面積は、手計測の上方向葉面積と一致している。 A: On October 27, the upward leaf area is 3404 cm 2 , the lateral leaf area is 1676 cm 2 , the lateral leaf area ratio x is 1.000, and the upward leaf area correction coefficient y is 1. 0.022, and the corrected upward leaf area is 3404 cm 2 × 1.022 = about 3480 cm 2 . The corrected upward leaf area matches the upward leaf area measured manually.

Ｂ：１１月２８日において、上方向葉面積は５０５０ｃｍ２であり、横方向葉面積は３４７４ｃｍ２であり、横方向葉面積比率ｘは２．０７３であり、上方向葉面積補正係数ｙは１．４４０であり、補正後の上方向葉面積は、５０５０ｃｍ２×１．４４０＝約７２７４ｃｍ２となっている。補正後の上方向葉面積は、手計測の上方向葉面積と誤差があるものの大幅に改善されたもの（補正無しの葉面積よりも実際の葉面積により近いもの）となっている。 B: In November 28, upward leaf area is 5050Cm 2, transverse leaf area is 3474Cm 2, the transverse leaf area ratio x is 2.073, upward leaf area correction coefficient y is 1 is .440, the direction leaf area on the corrected has a 5050cm 2 × 1.440 = about 7274cm 2. The corrected upward leaf area is much improved (although closer to the actual leaf area than the uncorrected leaf area) although there is an error from the upwardly measured leaf area.

Ｃ：１２月１９日において、上方向葉面積は７０３３ｃｍ２であり、横方向葉面積は６４８８ｃｍ２であり、横方向葉面積比率ｘは３．８７１であり、上方向葉面積補正係数ｙは２．１４１であり、補正後の上方向葉面積は、７０３３ｃｍ２×２．１４１＝約１５０５９ｃｍ２となっている。補正後の上方向葉面積は、手計測の上方向葉面積と誤差があるものの大幅に改善されたもの（補正無しの葉面積よりも実際の葉面積により近いもの）となっている。 C: On December 19, the upward leaf area is 7033 cm 2 , the lateral leaf area is 6488 cm 2 , the lateral leaf area ratio x is 3.871, and the upward leaf area correction coefficient y is 2 141, and the corrected upward leaf area is 7033 cm 2 × 2.141 = about 15059 cm 2 . The corrected upward leaf area is much improved (although closer to the actual leaf area than the uncorrected leaf area) although there is an error from the upwardly measured leaf area.

Ｄ：１月３０日において、上方向葉面積は１０６４３ｃｍ２であり、横方向葉面積は１１０７２ｃｍ２であり、横方向葉面積比率ｘは６．６０６であり、上方向葉面積補正係数ｙは３．２０５であり、補正後の上方向葉面積は、１０６４３ｃｍ２×３．２０５＝約３４１０７ｃｍ２となっている。補正後の上方向葉面積は、手計測の上方向葉面積とほぼ一致している。 D: On 30th January, the upward leaf area is 10463 cm 2 , the lateral leaf area is 11072 cm 2 , the lateral leaf area ratio x is 6.606, and the upward leaf area correction coefficient y is 3 .205, and the corrected upward leaf area is 10634 cm 2 × 3.205 = about 34107 cm 2 . The corrected upward leaf area substantially matches the manually measured upward leaf area.

Ｅ：２月２７日において、上方向葉面積は１１１５２ｃｍ２であり、横方向葉面積は１１９０７ｃｍ２であり、横方向葉面積比率ｘは７．１０４であり、上方向葉面積補正係数ｙは３．４０１であり、補正後の上方向葉面積は、１１１５２ｃｍ２×３．４０１＝約３７９２８ｃｍ２となっている。補正後の上方向葉面積は、手計測の上方向葉面積とほぼ一致している。 E: On February 27, the upward leaf area is 11152 cm 2 , the lateral leaf area is 11907 cm 2 , the lateral leaf area ratio x is 7.104, and the upward leaf area correction coefficient y is 3 .401, and the corrected upward leaf area is 11152 cm 2 × 3.401 = about 37928 cm 2 . The corrected upward leaf area substantially matches the manually measured upward leaf area.

葉かき時期決定部３２Ｌは、生育状況監視部３２Ｅが監視した植物の生育状況に基づいて、当該植物としての葉の葉かき時期を決定する。より具体的に、葉かき時期決定部３２Ｌは、植物としての葉の面積比率及び／又は生育異常を判定して、当該面積比率及び／又は生育異常に応じて、植物としての葉の葉かき時期を推測して決定する。例えば、葉の面積比率を、葉の部分の画素数と画像全体の画素数との比率として規定すると、当該比率は、葉の密集度に影響を受ける（比例する）。葉の密集度が高いときに葉かきを行う場合、葉の面積比率を高めに設定することにより、葉かき時期を決定することができる。また、葉の面積比率の推移から葉かき時期を予測することもできる。   Based on the growth status of the plant monitored by the growth status monitoring unit 32E, the leaf stroke timing determination unit 32L determines the leaf stroke timing of the plant as the plant. More specifically, the leaf cutting time determination unit 32L determines the area ratio and / or growth abnormality of the leaf as the plant, and the leaf cutting time of the leaf as the plant according to the area ratio and / or the growth abnormality. Guess and decide. For example, if the leaf area ratio is defined as the ratio between the number of pixels in the leaf portion and the number of pixels in the entire image, the ratio is affected (proportional) by the density of the leaves. When leaf littering is performed when the density of leaves is high, the leaf lapping time can be determined by setting the leaf area ratio higher. In addition, the leaf writing time can be predicted from the change in the leaf area ratio.

図１３〜図１５は、イチゴの葉の生育段階の時系列的な推移の一例を示している。図１３〜図１５において、生育段階３１はイチゴの葉の色味が薄い緑色から濃い緑色である状態を示しており、生育段階３２はイチゴの葉が黄色や茶色などの生育異常を起こしている状態を示している。   FIG. 13 to FIG. 15 show an example of time-series transition of the growth stage of strawberry leaves. 13-15, the growth stage 31 has shown the state from which the color of a strawberry leaf is light green to dark green, and the growth stage 32 has raise | generates the abnormal growth of strawberry leaves, such as yellow and brown. Indicates the state.

図１３Ａ〜図１３Ｃには、時系列に沿った画像１〜画像３に葉が写り込んでいる。図１３Ａでは葉の面積比率が４０％であり、図１３Ｂでは葉の面積比率が６０％であり、図１３Ｃでは葉の面積比率が８０％である。例えば、図１３Ｃのように、葉の面積比率が８０％に到達したことを以って、葉かきを行うべき時期であると判断することができる。また、葉の面積比率を示す傾き曲線の微分値をとることで、あと何日後に葉かき時期が訪れるかを予測することができる。なお、葉かき時期を決定するための葉の面積比率の基準値には自由度があり、任意の値を設定することが可能である。例えば、葉の面積比率が７０％や７５％に到達したことを以って、葉かきを行うべき時期であると判断してもよい。   In FIG. 13A to FIG. 13C, leaves are reflected in images 1 to 3 in time series. In FIG. 13A, the leaf area ratio is 40%, in FIG. 13B, the leaf area ratio is 60%, and in FIG. 13C, the leaf area ratio is 80%. For example, as shown in FIG. 13C, when the leaf area ratio reaches 80%, it can be determined that it is time to carry out leaf scraping. Further, by taking a differential value of the slope curve indicating the leaf area ratio, it is possible to predict how many days later the leaf cutting time will come. There is a degree of freedom in the reference value of the leaf area ratio for determining the leaf cutting time, and an arbitrary value can be set. For example, when the leaf area ratio reaches 70% or 75%, it may be determined that it is time to carry out leaf cutting.

図１４Ａ〜図１４Ｃは、葉の面積比率に関しては、図１３Ａ〜図１３Ｃと同様である。しかし、イチゴの葉が黄色や茶色などの生育異常を起こした生育段階３２に該当する部分が混在している。このような正常な生育段階３１と異常な生育段階３２を区別して、生育段階３１の面積比率と生育段階３２の面積比率を別個独立に設定することで、より適切な葉かき時期を決定することができる。例えば、図１４Ａのように、異常な生育段階３２の面積比率が正常な生育段階３１の面積比率の１０％に到達した（ここでは８／４０＝２０％）ときに葉かき時期が訪れたと判断し、且つ／又は、図１４Ｃのように、正常な生育段階３１の面積比率が８０％に到達したときに葉かき時期が訪れたと判断することができる。あるいは、正常な生育段階３１の面積比率が６０％以上、且つ、異常な生育段階３２の面積比率が正常な生育段階３１の面積比率の１０％以上であるときに、葉かき時期が訪れたと判断してもよい。このように、葉かき時期を決定するための正常な生育段階３１の面積比率及び／又は異常な生育段階３２の面積比率の基準値には自由度があり、任意の値を設定することが可能である。   14A to 14C are the same as FIGS. 13A to 13C with respect to the leaf area ratio. However, the portion corresponding to the growth stage 32 in which the strawberry leaf has grown abnormally such as yellow or brown is mixed. By discriminating between the normal growth stage 31 and the abnormal growth stage 32 as described above, the area ratio of the growth stage 31 and the area ratio of the growth stage 32 are set independently, thereby determining a more appropriate leaf cutting time. Can do. For example, as shown in FIG. 14A, when the area ratio of the abnormal growth stage 32 reaches 10% of the area ratio of the normal growth stage 31 (here, 8/40 = 20%), it is determined that the leaf cutting time has come. And / or, as shown in FIG. 14C, it can be determined that the leaf cutting time has come when the area ratio of the normal growth stage 31 reaches 80%. Alternatively, when the area ratio of the normal growth stage 31 is 60% or more and the area ratio of the abnormal growth stage 32 is 10% or more of the area ratio of the normal growth stage 31, it is determined that the leaf cutting time has come. May be. As described above, there is a degree of freedom in the reference value of the area ratio of the normal growth stage 31 and / or the area ratio of the abnormal growth stage 32 for determining the leaf cutting time, and an arbitrary value can be set. It is.

あるいは、図１５に示すように、イチゴの葉を含んだ画像全体を複数の区分（ここでは区分１〜区分３）に分割して、区分毎に、葉の面積比率に基づく葉かき時期の決定を行ってもよい。図１５の例では、区分１では葉の面積比率が６０％で葉かきが不要、区分２では葉の面積比率が５０％で葉かきが不要、区分３では葉の面積比率が８７％で葉かきが必要との判断がなされている。   Alternatively, as shown in FIG. 15, the entire image including strawberry leaves is divided into a plurality of sections (here, sections 1 to 3), and for each section, the leaf writing time is determined based on the leaf area ratio. May be performed. In the example of FIG. 15, leaf area ratio is 60% and no leaf scraping is required in Category 1, leaf area ratio is 50% and leaf scraping is unnecessary in Category 2, and leaf area ratio is 87% in Section 3 and leaves. It has been determined that shaving is necessary.

強調表示制御部３２Ｈは、例えば、植物領域抽出部３２Ｄが抽出した植物領域としてのイチゴの葉を表示部３６に表示するときに、葉かき時期決定部３２Ｌが決定した葉かき時期に応じて、当該植物領域としてのイチゴの葉の表示態様を異ならせることができる。より具体的に、強調表示制御部３２Ｈは、今直ぐに葉かきを行うべき葉を枠で囲って強調表示することができる。強調表示制御部３２Ｈは、例えば、図１５の区分１〜区分３の一部を、今直ぐに葉かきを行うべき区分であるとして、枠で囲って強調表示することができる。   The highlighting control unit 32H, for example, when displaying the strawberry leaf as the plant region extracted by the plant region extraction unit 32D on the display unit 36, according to the leaf writing time determined by the leaf writing time determination unit 32L, The display mode of the strawberry leaf as the plant region can be varied. More specifically, the highlighting control unit 32H can highlight a leaf to be leafed immediately by surrounding it with a frame. For example, the highlight display control unit 32H can highlight a part of the sections 1 to 3 in FIG. 15 by enclosing them with a frame as a section that should be leafed immediately.

ＲＧＢ画像取得部３２Ｂが取得したＲ画像とＧ画像とＢ画像において、植物領域抽出部３２Ｄが植物領域を抽出したとき、当該植物領域を拡大表示（ズーミング）した上で、生育状況監視部３２Ｅが植物の生育状況を監視し、受粉時期決定部３２Ｆが植物としての花（花中心）の受粉時期を決定し、収穫時期決定部３２Ｇが植物としての実の収穫時期を決定し、葉かき時期決定部３２Ｌが植物としての葉の葉かき時期を決定してもよい。植物領域を拡大表示（ズーミング）することで、当該植物領域の画素数が増大されるので、生育状況監視部３２Ｅによる生育状況監視精度、受粉時期決定部３２Ｆによる受粉時期決定精度、収穫時期決定部３２Ｇによる収穫時期決定精度、及び、葉かき時期決定部３２Ｌによる葉かき時期決定精度を向上させることができる。   In the R image, the G image, and the B image acquired by the RGB image acquisition unit 32B, when the plant region extraction unit 32D extracts the plant region, the plant state is enlarged (zoomed), and then the growth state monitoring unit 32E The growth status of the plant is monitored, the pollination time determination unit 32F determines the pollination time of the flower (flower center) as the plant, the harvest time determination unit 32G determines the actual harvest time as the plant, and the leaf cutting time determination The part 32L may determine the leaf scraping time of the leaf as a plant. By enlarging and zooming in on the plant area, the number of pixels in the plant area is increased. Therefore, the growth status monitoring accuracy by the growth status monitoring unit 32E, the pollination timing determination accuracy by the pollination timing determination unit 32F, and the harvest time determination unit It is possible to improve the harvesting time determination accuracy by 32G and the leaf cutting time determination accuracy by the leaf cutting time determination unit 32L.

図１６は、花個数計測部３２Ｉの内部構成の一例を示す機能ブロック図である。花個数計測部３２Ｉは、花抽象化定義部３２Ｉ１と、花検出部３２Ｉ２とを有している。   FIG. 16 is a functional block diagram showing an example of the internal configuration of the flower number measuring unit 32I. The flower number measurement unit 32I includes a flower abstraction definition unit 32I1 and a flower detection unit 32I2.

花抽象化定義部３２Ｉ１は、計測対象である花の色分布情報に基づいて、当該花の共通した特徴を抽象化して定義する。   The flower abstraction definition unit 32I1 abstracts and defines common features of the flower based on the color distribution information of the flower to be measured.

図１７Ａ〜図１７Ｄは、花抽象化定義部３２Ｉ１による花抽象化処理の一例を示す図である。   17A to 17D are diagrams illustrating an example of a flower abstraction process performed by the flower abstraction definition unit 32I1.

図１７Ａに示すように、花抽象化定義部３２Ｉ１は、計測対象である花を含んだ撮影画像の中に、計測対象の花領域（例えば矩形枠）を抽出する。この花領域のサイズは任意に設定が可能である。花抽象化定義部３２Ｉ１は、抽出した花領域に含まれる花弁部分（白）及び花中心（黄色）の色、並びにこれと類似する色を抽出する。花弁（白）及びその類似色は白画素として抽出され、花中心（黄色）及びその類似色は黄色画素として抽出され、その他の色は黒画素として周出することができる。図１７Ａでは、花中心（黄色）及びその類似色として抽出された黄色画素をドットパターンで描いている。このようにして抽出した花領域画像は、花とその類似色の領域を含んだ画像となる。   As illustrated in FIG. 17A, the flower abstraction definition unit 32I1 extracts a measurement target flower region (for example, a rectangular frame) from a captured image that includes a measurement target flower. The size of this flower region can be arbitrarily set. The flower abstraction definition unit 32I1 extracts the color of the petal portion (white) and the center of the flower (yellow) included in the extracted flower region, and a color similar thereto. The petal (white) and its similar colors are extracted as white pixels, the flower center (yellow) and its similar colors are extracted as yellow pixels, and the other colors can be circled as black pixels. In FIG. 17A, the yellow pixel extracted as the flower center (yellow) and its similar color is drawn in a dot pattern. The flower area image extracted in this way is an image including a flower and its similar color area.

図１７Ｂに示すように、花抽象化定義部３２Ｉ１は、抽出した花領域画像を特定区分領域に分割する。ここでは、花領域画像を縦横５ブロックずつの２５ブロックに分割した例を示しているが、特定区分領域の分割ブロック数や分割パターンには自由度があり、種々の設計変更が可能である。例えば、花領域画像を縦横１０ブロックずつの１００ブロックに分割したり、花領域画像を縦横の一方が５ブロック且つ他方が１０ブロックの５０ブロックに分割したりすることができる。なお、１ブロックは１画素であってもよいし、複数画素（例えば２×２の４画素）であってもよい。   As illustrated in FIG. 17B, the flower abstraction definition unit 32I1 divides the extracted flower region image into specific segment regions. Here, an example is shown in which the flower region image is divided into 25 blocks of 5 blocks in the vertical and horizontal directions. However, the number of divided blocks and the divided pattern in the specific divided region have a degree of freedom, and various design changes are possible. For example, the flower area image can be divided into 100 blocks each having 10 blocks in the vertical and horizontal directions, or the flower area image can be divided into 50 blocks in which the vertical and horizontal sides are 5 blocks and the other is 10 blocks. One block may be one pixel or a plurality of pixels (for example, 2 × 2 four pixels).

図１７Ｃに示すように、花抽象化定義部３２Ｉ１は、花領域画像の各分割ブロックの色分布情報を抽出する。ここでは、花領域画像の各分割ブロックについて、白画素数と黄色画素数の割合が大きい色をその分割ブロックの色（Ｗ：白、Ｙ：黄色）として抽出している。なお、分割ブロックの色（Ｗ：白、Ｙ：黄色）が付されていない部分は、花領域ではない黒画素として抽出されてもよい。   As illustrated in FIG. 17C, the flower abstraction definition unit 32I1 extracts the color distribution information of each divided block of the flower region image. Here, for each divided block of the flower region image, a color having a large ratio between the number of white pixels and the number of yellow pixels is extracted as the color of the divided block (W: white, Y: yellow). In addition, the part which is not attached | subjected the color (W: white, Y: yellow) of a division block may be extracted as a black pixel which is not a flower area.

図１７Ｄに示すように、花抽象化定義部３２Ｉ１は、花領域画像の各分割ブロックの色分布情報に基づいて、花の共通した特徴を抽出して、花の抽象化定義を行う。ここでは、一例として、中央部分に２×２の４個の中央ブロックを設定し、周辺部分に１２個の周辺ブロックを設定する。そして、４個の中央ブロックが黄色（Ｙ）であり、１２個の周辺ブロックが白（Ｗ）である場合に、その色ブロック情報の組み合わせを花の抽象化パターンとして定義する。あるいは、４個の中央ブロックの２個以上が黄色（Ｙ）であり、１２個の周辺ブロックの４個以上が白（Ｗ）である場合に、その色ブロック情報の組み合わせを花の抽象化パターンとして定義してもよい。なお、花の抽象化パターンを定義するための色ブロック情報の組み合わせには自由度があり、種々の設計変更が可能である。例えば、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を利用して、経験則や学習機能を踏まえて、花の抽象化パターンを定義するための色ブロック情報の組み合わせを適宜アップデートしてもよい。   As illustrated in FIG. 17D, the flower abstraction definition unit 32I1 extracts a common feature of a flower based on the color distribution information of each divided block of the flower region image, and defines the abstraction of the flower. Here, as an example, 4 × 2 × 2 central blocks are set in the central portion, and 12 peripheral blocks are set in the peripheral portion. When the four central blocks are yellow (Y) and the 12 peripheral blocks are white (W), the combination of the color block information is defined as a flower abstraction pattern. Alternatively, when two or more of the four central blocks are yellow (Y) and four or more of the twelve peripheral blocks are white (W), the combination of the color block information is used as a flower abstraction pattern. May be defined as The combination of color block information for defining a flower abstraction pattern has a degree of freedom, and various design changes are possible. For example, using AI (Artificial Intelligence), a combination of color block information for defining a flower abstraction pattern may be appropriately updated based on an empirical rule and a learning function.

花検出部３２Ｉ２は、花抽象化定義部３２Ｉ１による定義に従って、花候補の中から花を検出する。花検出部３２Ｉ２は、カラーカメラ２０が撮影した計測対象画像をブロック単位（例えば１画素ブロック単位または２×２の４画素ブロック単位）で走査する。花検出部３２Ｉ２は、走査画像の中から、黄色（Ｙ）及び／又は白（Ｗ）の画素数が特定以上であるブロックを花候補領域として検出する。花検出部３２Ｉ２は、検出した花候補領域ブロック毎に、当該花候補領域ブロックが、花抽象化定義部３２Ｉ１による花の抽象化パターンと一致しているか否かを判定し、一致している場合に当該花候補領域ブロックを花と認定し、一致していない場合に当該花候補領域ブロックを花と認定しない。   The flower detection unit 32I2 detects a flower from the flower candidates according to the definition by the flower abstraction definition unit 32I1. The flower detection unit 32I2 scans the measurement target image captured by the color camera 20 in units of blocks (for example, 1 pixel block unit or 2 × 2 4-pixel block unit). The flower detection unit 32I2 detects, as a flower candidate region, a block in which the number of yellow (Y) and / or white (W) pixels is greater than a specific value from the scanned image. The flower detection unit 32I2 determines, for each detected flower candidate region block, whether or not the flower candidate region block matches the flower abstraction pattern by the flower abstraction definition unit 32I1. The flower candidate area block is recognized as a flower, and if it does not match, the flower candidate area block is not recognized as a flower.

図１８は、花抽象化定義部３２Ｉ１による処理の一例を示すフローチャートである。   FIG. 18 is a flowchart illustrating an example of processing performed by the flower abstraction definition unit 32I1.

ステップＳＴ１では、計測対象である花を含んだ撮影画像を取得する。   In step ST1, a captured image including a flower to be measured is acquired.

ステップＳＴ２では、取得した撮影画像の中から計測対象の花領域（例えば矩形枠）を抽出する。   In step ST2, a measurement target flower region (for example, a rectangular frame) is extracted from the acquired captured image.

ステップＳＴ３では、抽出した花領域の中から花の色及びその類似色を抽出する。   In step ST3, the color of the flower and its similar color are extracted from the extracted flower region.

ステップＳＴ４では、花領域画像を特定区分領域に分割する。   In step ST4, the flower area image is divided into specific segment areas.

ステップＳＴ５では、花領域画像の各分割ブロックの色分布情報を抽出する。   In step ST5, the color distribution information of each divided block of the flower region image is extracted.

ステップＳＴ６では、花領域画像の各分割ブロックの色分布情報に基づいて、花の共通した特徴を抽出して、花の抽象化定義を行う。   In step ST6, a common feature of the flower is extracted based on the color distribution information of each divided block of the flower region image, and the abstraction definition of the flower is performed.

図１９は、花検出部３２Ｉ２による処理の一例を示すフローチャートである。   FIG. 19 is a flowchart illustrating an example of processing performed by the flower detection unit 32I2.

ステップＳＴ１１では、計測対象画像をブロック単位（例えば１画素ブロック単位または２×２の４画素ブロック単位）で走査する。   In step ST11, the measurement target image is scanned in block units (for example, 1 pixel block unit or 2 × 2 4-pixel block unit).

ステップＳＴ１２では、走査画像の中から花候補領域ブロックを検出する。   In step ST12, a flower candidate area block is detected from the scanned image.

ステップＳＴ１３では、花候補領域ブロックが花の抽象化パターンと一致しているか否かを判定する。花候補領域ブロックが花の抽象化パターンと一致している場合（ステップＳＴ１３：ＹＥＳ）、ステップＳＴ１４において花の個数を１だけインクリメントして、ステップＳＴ１５に進む。花候補領域ブロックが花の抽象化パターンと一致していない場合（ステップＳＴ１３：ＮＯ）、ステップＳＴ１４をスキップして花の個数をインクリメントすることなく、ステップＳＴ１５に進む。   In step ST13, it is determined whether or not the flower candidate region block matches the abstract pattern of the flower. If the flower candidate area block matches the abstract pattern of the flower (step ST13: YES), the number of flowers is incremented by 1 in step ST14, and the process proceeds to step ST15. If the flower candidate area block does not match the abstract pattern of the flower (step ST13: NO), the process proceeds to step ST15 without skipping step ST14 and incrementing the number of flowers.

ステップＳＴ１５では、全ての花候補領域ブロックについて判定が終了したか否かを判定する。全ての花候補領域ブロックについて判定が終了していない場合（ステップＳＴ１５：ＮＯ）、ステップＳＴ１３に戻り、全ての花候補領域ブロックについて判定が終了している場合（ステップＳＴ１５：ＹＥＳ）は、ステップＳＴ１６に進む。このようにして、全ての花候補領域ブロックについて、当該花候補領域ブロックが花に相当するか否かの判定が行われる。   In step ST15, it is determined whether or not the determination has been completed for all flower candidate area blocks. If the determination has not been completed for all flower candidate area blocks (step ST15: NO), the process returns to step ST13. If the determination has been completed for all flower candidate area blocks (step ST15: YES), step ST16 is performed. Proceed to In this way, for all flower candidate area blocks, it is determined whether or not the flower candidate area block corresponds to a flower.

ステップＳＴ１６では、ステップＳＴ１３〜ステップＳＴ１５の処理ループによって算出された花の個数を出力する。これにより、計測対象画像に含まれる花の個数を高精度で算出することができる。   In step ST16, the number of flowers calculated by the processing loop of steps ST13 to ST15 is output. Thereby, the number of flowers included in the measurement target image can be calculated with high accuracy.

このように、本実施形態によれば、植物領域特定濃度範囲取得部３２Ｃが、Ｒ画像とＧ画像とＢ画像に共通かつ複数の指定区分領域を設定して、当該指定区分領域において、Ｒ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の組み合わせにより規定される植物領域特定濃度範囲を取得する。また、植物領域抽出部３２Ｄが、Ｒ画像とＧ画像とＢ画像を走査して、Ｒ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の組み合わせが植物領域特定濃度範囲に含まれている画素領域を植物領域として抽出する。そして、生育状況監視部３２Ｅが、植物領域におけるＲ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の組み合わせの時系列的な推移に基づいて、植物の生育状況を監視する。これにより、植物の生育環境の制約を受けることなく、植物の画像領域を高精度に抽出するとともに、植物の生育状況を正確に監視することが可能になる。   As described above, according to the present embodiment, the plant region specific concentration range acquisition unit 32C sets a plurality of designated segment areas that are common to the R image, the G image, and the B image, and the R image The plant region specific density range defined by the combination of the R density component, the G density component of the G image, and the B density component of the B image is acquired. Further, the plant region extraction unit 32D scans the R image, the G image, and the B image, and the combination of the R density component of the R image, the G density component of the G image, and the B density component of the B image is a plant region specific density range. The pixel area included in the is extracted as a plant area. Then, the growth state monitoring unit 32E monitors the growth state of the plant based on the time-series transition of the combination of the R density component of the R image, the G density component of the G image, and the B density component of the B image in the plant region. To do. As a result, it is possible to accurately extract the plant image area and accurately monitor the growth state of the plant without being restricted by the plant growth environment.

なお、本発明は上記実施の形態に限定されず、種々変更して実施することが可能である。上記実施の形態において、添付図面に図示されている構成要素の大きさや形状、機能などについては、これに限定されず、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。   In addition, this invention is not limited to the said embodiment, It can change and implement variously. In the above-described embodiment, the size, shape, function, and the like of the components illustrated in the accompanying drawings are not limited thereto, and can be appropriately changed within a range in which the effects of the present invention are exhibited. In addition, various modifications can be made without departing from the scope of the object of the present invention.

本発明は、植物工場に設置される植物の生育状況監視装置及び植物の生育状況監視方法に適用することができる。   The present invention can be applied to a plant growth status monitoring apparatus and a plant growth status monitoring method installed in a plant factory.

１ 植物の生育管理システム（植物の生育状況監視装置）
１０ 植物
２０ カラーカメラ（撮影画像取得部）
２１Ｃ 上カメラ
２２Ｃ 第１横カメラ
２３Ｃ 第２横カメラ
３０ 植物生育管理装置（制御用ＰＣ）
３１Ｉ インターフェース部（撮影画像取得部）
３２Ｘ ＣＰＵ
３２Ａ フィルタリング部
３２Ｂ ＲＧＢ画像取得部
３２Ｃ 植物領域特定濃度範囲取得部
３２Ｄ 植物領域抽出部
３２Ｅ 生育状況監視部
３２Ｆ 受粉時期決定部
３２Ｇ 収穫時期決定部
３２Ｈ 強調表示制御部（表示制御部）
３２Ｉ 花個数計測部
３２Ｉ１ 花抽象化定義部
３２Ｉ２ 花検出部
３２Ｊ 実個数計測部
３２Ｋ 葉面積計測部
３２Ｌ 葉かき時期決定部
３３ メモリ
３４ 記憶部
３５ 入力部
３６ 表示部
３７ バス 1 Plant growth management system (Plant growth monitoring device)
10 plant 20 color camera (photographed image acquisition unit)
21C Upper camera 22C First horizontal camera 23C Second horizontal camera 30 Plant growth management device (PC for control)
31I interface unit (captured image acquisition unit)
32X CPU
32A Filtering unit 32B RGB image acquisition unit 32C Plant region specific concentration range acquisition unit 32D Plant region extraction unit 32E Growth condition monitoring unit 32F Pollination timing determination unit 32G Harvest time determination unit 32H Emphasis display control unit (display control unit)
32I Flower number measurement unit 32I1 Flower abstraction definition unit 32I2 Flower detection unit 32J Real number measurement unit 32K Leaf area measurement unit 32L Leaf writing time determination unit 33 Memory 34 Storage unit 35 Input unit 36 Display unit 37 Bus

Claims (17)

植物を撮影した撮影画像を取得する撮影画像取得部と、
前記撮影画像からＲ成分とＧ成分とＢ成分をそれぞれ抽出したＲ画像とＧ画像とＢ画像を取得するＲＧＢ画像取得部と、
前記Ｒ画像と前記Ｇ画像と前記Ｂ画像に共通かつ複数の指定区分領域を設定して、当該指定区分領域において、前記Ｒ画像のＲ濃度成分と前記Ｇ画像のＧ濃度成分と前記Ｂ画像のＢ濃度成分の組み合わせにより規定される植物領域特定濃度範囲を取得する植物領域特定濃度範囲取得部と、
前記Ｒ画像と前記Ｇ画像と前記Ｂ画像を走査して、前記Ｒ画像のＲ濃度成分と前記Ｇ画像のＧ濃度成分と前記Ｂ画像のＢ濃度成分の組み合わせが前記植物領域特定濃度範囲に含まれている画素領域を植物領域として抽出する植物領域抽出部と、
前記植物領域における前記Ｒ画像のＲ濃度成分と前記Ｇ画像のＧ濃度成分と前記Ｂ画像のＢ濃度成分の組み合わせの時系列的な推移に基づいて、前記植物の生育状況を監視する生育状況監視部と、
を有することを特徴とする植物の生育状況監視装置。 A captured image acquisition unit that acquires a captured image of the plant;
An RGB image acquisition unit for acquiring an R image, a G image, and a B image obtained by extracting an R component, a G component, and a B component from the captured image;
A plurality of designated segment areas common to the R image, the G image, and the B image are set. In the designated segment area, the R density component of the R image, the G density component of the G image, and the B image A plant region specific concentration range acquisition unit for acquiring a plant region specific concentration range defined by a combination of B concentration components;
The plant image specific density range includes a combination of the R density component of the R image, the G density component of the G image, and the B density component of the B image by scanning the R image, the G image, and the B image. A plant region extraction unit that extracts a pixel region as a plant region;
Growth status monitoring for monitoring the growth status of the plant based on the time-series transition of the R density component of the R image, the G density component of the G image, and the B density component of the B image in the plant region And
A plant growth state monitoring device characterized by comprising: 前記生育状況監視部は、前記植物領域特定濃度範囲を予め設定した複数の生育段階に変換して、前記複数の生育段階の中で、前記植物領域における前記Ｒ画像のＲ濃度成分と前記Ｇ画像のＧ濃度成分と前記Ｂ画像のＢ濃度成分の組み合わせにより規定される生育段階の割合が時系列的にどのように推移するかに基づいて、前記植物の生育状況を監視する、
ことを特徴とする請求項１に記載の植物の生育状況監視装置。 The growth state monitoring unit converts the plant region specific concentration range into a plurality of growth stages set in advance, and the R concentration component of the R image and the G image in the plant region in the plurality of growth stages. Monitoring the growth status of the plant based on how the proportion of the growth stage defined by the combination of the G concentration component of the B image and the B concentration component of the B image changes in time series,
The plant growth monitoring apparatus according to claim 1, wherein 前記生育状況監視部が監視した前記植物の生育状況に基づいて、前記植物としての花の受粉時期を決定する受粉時期決定部をさらに有する、
ことを特徴とする請求項１又は請求項２に記載の植物の生育状況監視装置。 Based on the growth status of the plant monitored by the growth status monitoring unit, further comprising a pollination time determination unit for determining the pollination time of the flower as the plant,
The plant growth state monitoring apparatus according to claim 1 or 2, wherein 前記受粉時期決定部は、前記植物としての前記花の生育速度を判定して、当該生育速度に応じて、前記植物としての前記花の受粉時期を推測して決定する、
ことを特徴とする請求項３に記載の植物の生育状況監視装置。 The pollination time determination unit determines the growth rate of the flower as the plant, and infers and determines the pollination time of the flower as the plant according to the growth rate,
The plant growth status monitoring device according to claim 3. 前記植物としての前記花を表示部に表示するときに、前記受粉時期決定部が決定した受粉時期に応じて、前記植物としての前記花の表示態様を異ならせる表示制御部をさらに有する、
ことを特徴とする請求項３又は請求項４に記載の植物の生育状況監視装置。 When displaying the flower as the plant on a display unit, the display control unit further varies the display mode of the flower as the plant according to the pollination time determined by the pollination time determination unit,
The plant growth state monitoring device according to claim 3 or 4, wherein 前記生育状況監視部が監視した前記植物の生育状況に基づいて、前記植物としての実の収穫時期を決定する収穫時期決定部をさらに有する、
ことを特徴とする請求項１又は請求項２に記載の植物の生育状況監視装置。 Based on the growth status of the plant monitored by the growth status monitoring unit, further comprising a harvest time determination unit that determines the actual harvest time as the plant,
The plant growth state monitoring apparatus according to claim 1 or 2, wherein 前記収穫時期決定部は、前記植物としての前記実の生育速度を判定して、当該生育速度に応じて、前記植物としての前記実の収穫時期を推測して決定する、
ことを特徴とする請求項６に記載の植物の生育状況監視装置。 The harvest time determination unit determines the growth rate of the fruit as the plant, and determines and determines the harvest time of the fruit as the plant according to the growth rate.
The plant growth state monitoring apparatus according to claim 6. 前記植物としての前記実を表示部に表示するときに、前記収穫時期決定部が決定した収穫時期に応じて、前記植物としての前記実の表示態様を異ならせる表示制御部をさらに有する、
ことを特徴とする請求項６又は請求項７に記載の植物の生育状況監視装置。 When displaying the fruit as the plant on a display unit, the display control unit further varies the display mode of the fruit as the plant according to the harvest time determined by the harvest time determination unit,
The plant growth status monitoring device according to claim 6 or 7, wherein 前記植物領域抽出部が抽出した植物領域としての葉の面積を計測する葉面積計測部をさらに有する、
ことを特徴とする請求項１から請求項８のいずれかに記載の植物の生育状況監視装置。 Further comprising a leaf area measuring unit that measures the area of leaves as the plant region extracted by the plant region extracting unit,
The plant growth status monitoring device according to any one of claims 1 to 8, wherein 前記葉面積計測部は、前記植物としての前記葉を上方向から撮影した上方向撮影画像に基づいた上方向葉面積と、前記植物としての前記葉を横方向から撮影した横方向撮影画像に基づいた横方向葉面積とを算出するとともに、前記横方向葉面積によって前記上方向葉面積を補正する、
ことを特徴とする請求項９に記載の植物の生育状況監視装置。 The leaf area measuring unit is based on an upward leaf area based on an upward photographed image obtained by photographing the leaf as the plant from above, and on a lateral photographed image obtained by photographing the leaf as the plant from a lateral direction. And calculating the lateral leaf area and correcting the upward leaf area by the lateral leaf area,
The plant growth state monitoring apparatus according to claim 9. 前記葉面積計測部は、前記横方向葉面積の現在値を初期値で除算した横方向葉面積比率ｘを変数として上方向葉面積補正係数ｙを算出し、前記上方向葉面積補正係数ｙを前記上方向葉面積に乗算することにより、前記上方向葉面積を補正する、
ことを特徴とする請求項１０に記載の植物の生育状況監視装置。 The leaf area measurement unit calculates an upward leaf area correction coefficient y using a lateral leaf area ratio x obtained by dividing the current value of the lateral leaf area by an initial value as a variable, and calculates the upward leaf area correction coefficient y. Correcting the upward leaf area by multiplying the upward leaf area;
The plant growth status monitoring device according to claim 10. 前記生育状況監視部が監視した前記植物の生育状況に基づいて、前記植物としての葉の葉かき時期を決定する葉かき時期決定部をさらに有する、
ことを特徴とする請求項１又は請求項２に記載の植物の生育状況監視装置。 Based on the growth status of the plant monitored by the growth status monitoring unit, further comprising a leaf scraping time determination unit that determines the leaf cutting timing of the leaf as the plant,
The plant growth state monitoring apparatus according to claim 1 or 2, wherein 前記葉かき時期決定部は、前記植物としての前記葉の面積比率及び／又は生育異常を判定して、当該面積比率及び／又は生育異常に応じて、前記植物としての前記葉の葉かき時期を推測して決定する、
ことを特徴とする請求項１２に記載の植物の生育状況監視装置。 The leaf cutting time determination unit determines an area ratio and / or growth abnormality of the leaf as the plant, and determines the leaf cutting time of the leaf as the plant according to the area ratio and / or growth abnormality. Guess and decide,
The plant growth state monitoring apparatus according to claim 12, wherein 前記植物としての前記葉を表示部に表示するときに、前記葉かき時期決定部が決定した葉かき時期に応じて、前記植物としての前記葉の表示態様を異ならせる表示制御部をさらに有する、
ことを特徴とする請求項１２又は請求項１３に記載の植物の生育状況監視装置。 When displaying the leaves as the plant on a display unit, the display control unit further varies the display mode of the leaves as the plant according to the leaf cutting time determined by the leaf cutting time determination unit,
The plant growth state monitoring device according to claim 12 or 13, 前記植物領域抽出部が抽出した植物領域としての花の個数を計測する花個数計測部をさらに有する、
ことを特徴とする請求項１から請求項１４のいずれかに記載の植物の生育状況監視装置。 A flower number measuring unit for measuring the number of flowers as the plant region extracted by the plant region extracting unit;
The plant growth status monitoring device according to any one of claims 1 to 14, wherein 前記花個数計測部は、計測対象である花の色分布情報に基づいて前記花の共通した特徴を抽象化して定義する花抽象化定義部と、前記花抽象化定義部による定義に従って花候補の中から花を検出する花検出部とを有する、
ことを特徴とする請求項１５に記載の植物の生育状況監視装置。 The flower number measuring unit is configured to abstract a common feature of the flower based on color distribution information of a flower to be measured, and to define a flower candidate according to the definition by the flower abstraction defining unit. A flower detection unit for detecting flowers from inside,
The plant growth state monitoring apparatus according to claim 15, wherein 植物を撮影した撮影画像を取得する撮影画像取得ステップと、
前記撮影画像からＲ成分とＧ成分とＢ成分をそれぞれ抽出したＲ画像とＧ画像とＢ画像を取得するＲＧＢ画像取得ステップと、
前記Ｒ画像と前記Ｇ画像と前記Ｂ画像に共通かつ複数の指定区分領域を設定して、当該指定区分領域において、前記Ｒ画像のＲ濃度成分と前記Ｇ画像のＧ濃度成分と前記Ｂ画像のＢ濃度成分の組み合わせにより規定される植物領域特定濃度範囲を取得する植物領域特定濃度範囲取得ステップと、
前記Ｒ画像と前記Ｇ画像と前記Ｂ画像を走査して、前記Ｒ画像のＲ濃度成分と前記Ｇ画像のＧ濃度成分と前記Ｂ画像のＢ濃度成分の組み合わせが前記植物領域特定濃度範囲に含まれている画素領域を植物領域として抽出する植物領域抽出ステップと、
前記植物領域における前記Ｒ画像のＲ濃度成分と前記Ｇ画像のＧ濃度成分と前記Ｂ画像のＢ濃度成分の組み合わせの時系列的な推移に基づいて、前記植物の生育状況を監視する生育状況監視ステップと、
を有することを特徴とする植物の生育状況監視方法。 A captured image acquisition step of acquiring a captured image of the plant;
An RGB image acquisition step of acquiring an R image, a G image, and a B image obtained by extracting an R component, a G component, and a B component from the captured image;
A plurality of designated segment areas common to the R image, the G image, and the B image are set. In the designated segment area, the R density component of the R image, the G density component of the G image, and the B image A plant region specific concentration range acquisition step for acquiring a plant region specific concentration range defined by a combination of B concentration components;
The plant image specific density range includes a combination of the R density component of the R image, the G density component of the G image, and the B density component of the B image by scanning the R image, the G image, and the B image. A plant region extraction step for extracting a pixel region that has been extracted as a plant region;
Growth status monitoring for monitoring the growth status of the plant based on the time-series transition of the R density component of the R image, the G density component of the G image, and the B density component of the B image in the plant region Steps,
The growth condition monitoring method of the plant characterized by having.
JP2018141468A 2017-08-24 2018-07-27 Plant growth state monitoring device and method Pending JP2019037225A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017160707 2017-08-24
JP2017160707 2017-08-24

Publications (1)

Publication Number Publication Date
JP2019037225A true JP2019037225A (en) 2019-03-14

Family

ID=65724992

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018141468A Pending JP2019037225A (en) 2017-08-24 2018-07-27 Plant growth state monitoring device and method

Country Status (1)

Country Link
JP (1) JP2019037225A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020167967A (en) * 2019-04-04 2020-10-15 中国電力株式会社 Diagnostic device and program
CN111855653A (en) * 2019-04-25 2020-10-30 河南中原光电测控技术有限公司 Plant drought monitoring method, monitoring module and monitoring device
CN114241033A (en) * 2021-12-17 2022-03-25 贵州省山地资源研究所 Ectopic acquisition method for plant leaf area vertical structure
KR20230013791A (en) * 2021-07-20 2023-01-27 (주)루멘룩스 Method for managing plant growth and apparatus using the same
JP7466853B2 (en) 2020-03-27 2024-04-15 鹿児島県 Field management decision-making device and field management decision-making method
JP7473951B2 (en) 2020-02-27 2024-04-24 国立大学法人東海国立大学機構 Information processing device, information processing system, information processing method, and computer program

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020167967A (en) * 2019-04-04 2020-10-15 中国電力株式会社 Diagnostic device and program
JP7318280B2 (en) 2019-04-04 2023-08-01 中国電力株式会社 Diagnostic device and program
CN111855653A (en) * 2019-04-25 2020-10-30 河南中原光电测控技术有限公司 Plant drought monitoring method, monitoring module and monitoring device
CN111855653B (en) * 2019-04-25 2023-11-28 河南中原光电测控技术有限公司 Plant drought monitoring method, monitoring module and monitoring device
JP7473951B2 (en) 2020-02-27 2024-04-24 国立大学法人東海国立大学機構 Information processing device, information processing system, information processing method, and computer program
JP7466853B2 (en) 2020-03-27 2024-04-15 鹿児島県 Field management decision-making device and field management decision-making method
KR20230013791A (en) * 2021-07-20 2023-01-27 (주)루멘룩스 Method for managing plant growth and apparatus using the same
KR102639969B1 (en) 2021-07-20 2024-02-23 (주)루멘룩스 Method for managing plant growth and apparatus using the same
KR20240029749A (en) * 2021-07-20 2024-03-06 (주)루멘룩스 Apparatus for managing plant growth
KR102652306B1 (en) 2021-07-20 2024-03-28 (주)루멘룩스 Apparatus for managing plant growth
CN114241033A (en) * 2021-12-17 2022-03-25 贵州省山地资源研究所 Ectopic acquisition method for plant leaf area vertical structure

Similar Documents

Publication Publication Date Title
JP2019037225A (en) Plant growth state monitoring device and method
Liu et al. A computer vision system for early stage grape yield estimation based on shoot detection
Yu et al. Automatic image-based detection technology for two critical growth stages of maize: Emergence and three-leaf stage
JP7229864B2 (en) REMOTE SENSING IMAGE ACQUISITION TIME DETERMINATION SYSTEM AND CROPT GROWTH ANALYSIS METHOD
JPWO2020044480A1 (en) Server device of crop growth stage judgment system, growth stage judgment method and program
JP2019187259A (en) Culture support method, culture support program, culture support device and culture support system
KR20180057785A (en) A system of measuring fish number for image analysis and that of measure method
JP2011103870A (en) Automatic measurement system and method for plant features, and recording medium thereof
JP6872137B2 (en) Signal processing equipment, signal processing methods, and programs
KR101822410B1 (en) Apparatus for diagnosing growth state of crop organ using crop organ image
CN104200193A (en) Fruit tree yield estimation method and device
US20210142484A1 (en) Information processing apparatus, information processing method, and storage medium
KR20200020209A (en) Applaratus for Monitoring Crop Growth through Multispectral Image Histogram Pattern Analysis of Plot Unit
KR102095539B1 (en) Method for measuring growth amount by image analyzing ginseng
JP2017184673A (en) Plant cultivation-supporting apparatus, plant cultivation-supporting system, method for supporting plant cultivation, program, and storage medium
KR101810901B1 (en) Apparatus for simulation for growth state crop organ
JP2007200309A (en) Position specification method and apparatus for plant target part, and working robot using the same apparatus
CN111008563A (en) Seed germination detection method and device in dark scene and readable storage medium
EP3961568A1 (en) Crop growth measurement system based on crop images, and method thereof
Genno et al. Apple growth evaluated automatically with high-definition field monitoring images
WO2013110556A1 (en) Device and method for detecting a plant against a background
Nuske et al. Visual yield estimation in vineyards: experiments with different varietals and calibration procedures
EP3973767A1 (en) Information processing device and index value calculation method
JP2017009396A (en) Image pickup apparatus
Santhosh Kumar et al. Review on disease detection of plants using image processing and machine learning techniques