JP2022147292A - Information processing device, information processing system, information processing method and computer program - Google Patents

Information processing device, information processing system, information processing method and computer program Download PDF

Info

Publication number
JP2022147292A
JP2022147292A JP2021048473A JP2021048473A JP2022147292A JP 2022147292 A JP2022147292 A JP 2022147292A JP 2021048473 A JP2021048473 A JP 2021048473A JP 2021048473 A JP2021048473 A JP 2021048473A JP 2022147292 A JP2022147292 A JP 2022147292A
Authority
JP
Japan
Prior art keywords
image data
average size
target
information processing
plant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021048473A
Other languages
Japanese (ja)
Inventor
栄輔 北
Eisuke Kita
桃子 藤田
Momoko Fujita
明里 山田
Akari YAMADA
重信 吉田
Shigenobu Yoshida
清一 窪川
Seiichi Kubokawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Chemical Corp
Tokai National Higher Education and Research System NUC
Original Assignee
Mitsubishi Chemical Corp
Tokai National Higher Education and Research System NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Chemical Corp, Tokai National Higher Education and Research System NUC filed Critical Mitsubishi Chemical Corp
Priority to JP2021048473A priority Critical patent/JP2022147292A/en
Publication of JP2022147292A publication Critical patent/JP2022147292A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/25—Greenhouse technology, e.g. cooling systems therefor

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

To provide an information processing device, an information processing method and an information processing system which can reduce the labor and time required for estimating an average size of a target plant.SOLUTION: In a plant cultivation management system for managing cultivation of plants in a farm field, a plant cultivation management server being a type of an information processing device comprises: a target data acquisition unit 115 which acquires target image data being image data generated by imaging a cultivation section in which a plurality of target plants being a specific type of plant are cultivated; and an average size estimation unit 116 which estimates an average size being an average value of the size of each target plant cultivated in the cultivation section by using the image data including color information of the acquired target image data and a model created with prescribed machine learning.SELECTED DRAWING: Figure 2

Description

本明細書に開示される技術は、栽培中の植物のサイズを推定する情報処理装置等に関する。 The technology disclosed in this specification relates to an information processing device and the like for estimating the size of a plant being cultivated.

近年、植物（葉物野菜、果樹、花き類等）の栽培の効率化や最適化のための技術が種々提案されている。例えば、篤農家が行った果樹栽培において、果樹を撮影した画像から果実のサイズおよび葉面積の積算値を求め、果実のサイズおよび葉面積の積算値に基づき果実の生育状態を近似した生育曲線を決定し、該生育曲線を用いて栽培の果実の生育状態を評価し、該評価結果に基づき果実の収穫日を予測する技術が知られている（例えば、特許文献１参照）。 In recent years, various techniques have been proposed for improving the efficiency and optimizing the cultivation of plants (leaf vegetables, fruit trees, flowers, etc.). For example, in fruit tree cultivation conducted by an expert farmer, the integrated value of fruit size and leaf area is obtained from images of fruit trees, and a growth curve that approximates the growth state of the fruit based on the integrated value of fruit size and leaf area There is known a technique for determining the growth curve, evaluating the growth state of cultivated fruits using the growth curve, and predicting the harvest date of the fruits based on the evaluation results (see, for example, Patent Document 1).

特開２０１９－１８７２５９号公報JP 2019-187259 A

上記従来の技術では、画像に写った個々の果実について手作業でサイズを測定しているため、果実のサイズの特定に大きな労力と時間がかかる、という課題がある。なお、このような課題は、収穫日予測のための果実のサイズの特定に限らず、栽培中の植物のサイズの特定（推定）の際に共通の課題である。 In the conventional technique described above, since the size of each fruit in the image is measured manually, there is a problem that it takes a lot of labor and time to specify the size of the fruit. It should be noted that such a problem is not limited to identifying the size of the fruit for predicting the harvest date, but is a common problem when identifying (estimating) the size of the plant under cultivation.

本明細書では、上述した課題を解決することが可能な技術を開示する。 This specification discloses a technology capable of solving the above-described problems.

本明細書に開示される技術は、例えば、以下の形態として実現することが可能である。 The technology disclosed in this specification can be implemented, for example, in the following forms.

（１）本明細書に開示される情報処理装置は、対象データ取得部と、平均サイズ推定部とを備える。対象データ取得部は、特定種類の植物である対象植物が複数栽培された栽培区画を撮影することにより生成された画像データである対象画像データを取得する。平均サイズ推定部は、前記対象画像データの色情報を含む画像データと、所定の機械学習により作成されたモデルとを用いて、前記栽培区画において栽培されている各前記対象植物のサイズの平均値である平均サイズを推定する。このように、本情報処理装置は、栽培区画を撮影することにより生成された対象画像データを取得し、対象画像データの色情報を含む画像データと機械学習により作成されたモデルとを用いて、対象植物の平均サイズを推定することができる。そのため、本情報処理装置によれば、対象画像データを取得するだけで対象植物の平均サイズを推定することができ、対象植物の平均サイズの推定に要する労力および時間を低減することができる。 (1) An information processing apparatus disclosed in this specification includes a target data acquisition unit and an average size estimation unit. The target data acquisition unit acquires target image data, which is image data generated by photographing a cultivation plot in which a plurality of target plants, which are plants of a specific type, are cultivated. The average size estimating unit calculates the average size of each target plant cultivated in the cultivation plot using image data including color information of the target image data and a model created by predetermined machine learning. Estimate an average size that is In this way, the information processing apparatus acquires target image data generated by photographing a cultivation plot, and uses image data including color information of the target image data and a model created by machine learning, The average size of target plants can be estimated. Therefore, according to this information processing apparatus, the average size of the target plant can be estimated only by acquiring the target image data, and the labor and time required for estimating the average size of the target plant can be reduced.

（２）上記情報処理装置において、さらに、前記対象植物が複数栽培された栽培区画を複数の日時に撮影することにより生成された画像データである複数の訓練用画像データと、前記訓練用画像データにより表される前記栽培区画における前記対象植物の平均サイズを示す平均サイズデータと、が関連付けられた訓練データを取得する訓練データ取得部と、前記訓練データを用いた前記機械学習により、前記モデルを取得するモデル取得部と、を備える構成としてもよい。本情報処理装置によれば、他の装置を用いずとも、対象植物の平均サイズを推定するためのモデルを取得することができ、該モデルを用いて対象植物の平均サイズを推定することができ、対象植物の平均サイズの推定に要する労力および時間をさらに低減することができる。 (2) In the above information processing device, further, a plurality of training image data, which are image data generated by photographing a cultivation plot in which a plurality of the target plants are cultivated at a plurality of dates and times, and the training image data. A training data acquisition unit that acquires training data associated with average size data indicating the average size of the target plant in the cultivation plot represented by, and the machine learning using the training data, the model is and a model acquisition unit that acquires the model. According to this information processing device, a model for estimating the average size of a target plant can be obtained without using another device, and the average size of the target plant can be estimated using the model. , the effort and time required to estimate the average size of the target plant can be further reduced.

（３）上記情報処理装置において、前記訓練用画像データおよび前記対象画像データは、レンズの光軸と水平面とのなす角が２０度以上である撮影装置により前記栽培区画を撮影することにより生成された画像データである俯瞰画像データを含む構成としてもよい。本情報処理装置によれば、栽培区画が比較的広い画像領域に表された画像を用いて平均サイズを推定することができ、対象植物の平均サイズの推定の精度を向上させることができる。 (3) In the above information processing device, the training image data and the target image data are generated by photographing the cultivation section with a photographing device having an angle of 20 degrees or more between the optical axis of the lens and the horizontal plane. It may be configured to include bird's-eye view image data, which is image data obtained from the above. According to this information processing device, the average size can be estimated using an image in which the cultivation plot is represented in a relatively wide image area, and the accuracy of estimating the average size of the target plant can be improved.

（４）上記情報処理装置において、前記訓練用画像データおよび前記対象画像データは、前記俯瞰画像データに加えて、レンズの光軸と水平面とのなす角が２０度未満である撮影装置により前記栽培区画を撮影することにより生成された画像データである水平画像データを含み、前記モデル取得部は、前記俯瞰画像データについての前記訓練データを用いた前記機械学習により、第１の前記モデルを取得すると共に、前記水平画像データについての前記訓練データを用いた前記機械学習により、第２の前記モデルを取得し、前記平均サイズ推定部は、前記俯瞰画像データである前記対象画像データについては、前記第１のモデルを用いて前記平均サイズを推定し、前記水平画像データである前記対象画像データについては、前記第２のモデルを用いて前記平均サイズを推定する構成としてもよい。本情報処理装置によれば、画像の撮影角度に応じて最適化されたモデルを用いて平均サイズを推定することができ、対象植物の平均サイズの推定の精度をさらに向上させることができる。 (4) In the above information processing device, the training image data and the target image data, in addition to the bird's-eye view image data, are captured by a photographing device having an angle formed by an optical axis of a lens and a horizontal plane of less than 20 degrees. Horizontal image data, which is image data generated by photographing a section, is included, and the model acquisition unit acquires the first model by the machine learning using the training data for the bird's-eye view image data. At the same time, the second model is acquired by the machine learning using the training data for the horizontal image data, and the average size estimation unit acquires the second model for the target image data, which is the bird's-eye view image data. One model may be used to estimate the average size, and the second model may be used to estimate the average size for the target image data, which is the horizontal image data. According to this information processing apparatus, the average size can be estimated using a model optimized according to the imaging angle of the image, and the accuracy of estimating the average size of the target plant can be further improved.

（５）上記情報処理装置において、前記訓練用画像データおよび前記対象画像データは、前記栽培区画を、予め設定された昼間時間内に撮影することにより生成された画像データである構成としてもよい。本情報処理装置によれば、栽培区画において栽培されている対象植物の色が比較的忠実に表された画像を用いて平均サイズを推定することができ、対象植物の平均サイズの推定の精度を向上させることができる。 (5) In the above information processing apparatus, the training image data and the target image data may be image data generated by photographing the cultivation plot during a preset daytime. According to this information processing device, it is possible to estimate the average size using an image in which the color of the target plant cultivated in the cultivation section is represented relatively faithfully, and the accuracy of estimating the average size of the target plant can be improved. can be improved.

（６）上記情報処理装置において、前記訓練用画像データおよび前記対象画像データは、複数の前記栽培区画を含む範囲を撮影し、前記栽培区画毎にトリミングすることにより生成された画像データである構成としてもよい。本情報処理装置によれば、栽培区画毎に対象植物の生育状況に差異がある場合であっても、各栽培区画において栽培されている対象植物の平均サイズを高精度に推定することができる。 (6) In the above information processing apparatus, the training image data and the target image data are image data generated by photographing a range including a plurality of the cultivation plots and trimming the cultivation plots. may be According to this information processing device, even if there is a difference in the growth condition of the target plant for each cultivation section, the average size of the target plant cultivated in each cultivation section can be estimated with high accuracy.

（７）上記情報処理装置において、前記トリミングは、一の前記栽培区画についてトリミングされた画像が、他の前記栽培区画において栽培されている前記対象植物を表す画素を含まないように実行される構成としてもよい。本情報処理装置によれば、他の栽培区画の対象植物を表す画素の影響を排除することができ、各栽培区画において栽培されている対象植物の平均サイズをさらに高精度に推定することができる。 (7) In the information processing device, the trimming is performed so that the trimmed image of one of the cultivation compartments does not include pixels representing the target plant cultivated in another of the cultivation compartments. may be According to this information processing apparatus, the influence of pixels representing target plants in other cultivation sections can be eliminated, and the average size of target plants cultivated in each cultivation section can be estimated with higher accuracy. .

（８）上記情報処理装置において、さらに、前記対象画像データについて推定された前記対象植物の平均サイズに基づき、前記対象植物の収穫日時を予測する収穫日時予測部を備える構成としてもよい。本情報処理装置によれば、対象画像データを取得するだけで対象植物の収穫日時を予測することができ、植物栽培の効率化や最適化を効果的に実現することができる。 (8) The information processing apparatus may further include a harvest date/time prediction unit that predicts the harvest date/time of the target plant based on the average size of the target plant estimated for the target image data. According to this information processing apparatus, the harvest date and time of a target plant can be predicted only by acquiring target image data, and the efficiency and optimization of plant cultivation can be effectively realized.

（９）上記情報処理装置において、前記対象データ取得部は、前記栽培区画を複数の日時に撮影することにより生成された複数の前記対象画像データを取得し、前記平均サイズ推定部は、複数の前記対象画像データについて前記対象植物の平均サイズを推定し、前記収穫日時予測部は、一の前記対象画像データについての前記対象植物の収穫日時を、前記一の対象画像データについて推定された前記対象植物の平均サイズと、前記一の対象画像データの撮影日時より前に撮影された各前記対象画像データについて推定された前記対象植物の平均サイズと、に基づき予測する構成としてもよい。本情報処理装置によれば、対象植物の収穫日時を精度良く予測することができ、植物栽培の効率化や最適化をさらに効果的に実現することができる。 (9) In the information processing device, the target data acquisition unit acquires a plurality of target image data generated by photographing the cultivation plot at a plurality of dates, and the average size estimation unit acquires a plurality of target image data. estimating the average size of the target plant for the target image data; The prediction may be made based on the average size of the plant and the average size of the target plant estimated for each of the target image data captured before the shooting date and time of the one target image data. According to this information processing device, the harvest date and time of the target plant can be predicted with high accuracy, and the efficiency and optimization of plant cultivation can be realized more effectively.

（１０）上記情報処理装置において、前記対象植物は、葉物野菜であり、前記平均サイズは、前記対象植物の平均草丈である構成としてもよい。本情報処理装置によれば、葉物野菜の平均草丈の推定に要する労力および時間を低減することができる。 (10) In the above information processing device, the target plant may be a leafy vegetable, and the average size may be an average plant height of the target plant. According to this information processing device, it is possible to reduce the labor and time required for estimating the average plant height of leafy vegetables.

（１１）本明細書に開示される情報処理システムは、上記情報処理装置と、前記情報処理装置との間で通信ネットワークを介して通信可能な端末装置と、を備える。前記情報処理装置は、さらに、推定された前記対象植物の平均サイズを示す情報を、前記通信ネットワークを介して前記端末装置に向けて送信する情報送信部を備える。本情報処理システムによれば、情報処理装置の情報送信部が、推定された対象植物の平均サイズを示す情報を端末装置に向けて送信するため、端末装置を保持する者は、圃場以外の地点に居ても対象植物の平均サイズを把握することができ、植物栽培の効率化や最適化をさらに効果的に実現することができる。 (11) An information processing system disclosed in the present specification includes the above information processing device and a terminal device capable of communicating with the information processing device via a communication network. The information processing device further includes an information transmission unit that transmits information indicating the estimated average size of the target plant to the terminal device via the communication network. According to this information processing system, since the information transmission unit of the information processing device transmits information indicating the estimated average size of the target plant to the terminal device, a person holding the terminal device can The average size of the target plant can be grasped even when the user is in the field, and the efficiency and optimization of plant cultivation can be realized more effectively.

（１２）上記情報処理システムにおいて、さらに、前記対象植物が栽培されている圃場に設置され、前記情報処理装置との間で通信ネットワークを介して通信可能な撮影装置を備え、前記対象データ取得部は、前記撮影装置が前記栽培区画を撮影することにより生成された前記対象画像データを、前記通信ネットワークを介して取得する構成としてもよい。本情報処理システムによれば、撮影者（例えば、農作業者）が圃場に出向くことなく対象画像データを取得することができ、取得された対象画像データを用いて対象植物の平均サイズを推定することができるため、植物栽培の効率化や最適化を極めて効果的に実現することができる。 (12) The information processing system further includes a photographing device installed in a field where the target plant is cultivated and capable of communicating with the information processing device via a communication network; The object image data generated by the photographing device photographing the cultivation plot may be acquired via the communication network. According to this information processing system, a photographer (for example, a farm worker) can acquire target image data without going to a field, and the average size of target plants can be estimated using the acquired target image data. Therefore, the efficiency and optimization of plant cultivation can be realized extremely effectively.

なお、本明細書に開示される技術は、種々の形態で実現することが可能であり、例えば、情報処理装置、情報処理システム、情報処理方法、それらの方法を実現するコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体等の形態で実現することができる。 It should be noted that the technology disclosed in this specification can be implemented in various forms. can be realized in the form of a non-temporary recording medium or the like.

本実施形態における植物栽培管理システム１０の概略構成を示す説明図Explanatory diagram showing a schematic configuration of the plant cultivation management system 10 in the present embodiment 植物栽培管理サーバ１００の構成を概略的に示すブロック図Block diagram schematically showing the configuration of the plant cultivation management server 100 本実施形態における平均サイズ推定モデル作成処理の内容を示すフローチャートFlowchart showing the contents of average size estimation model creation processing in this embodiment 訓練データＴＤの一例を概念的に示す説明図Explanatory diagram conceptually showing an example of training data TD 訓練データＴＤの一例を概念的に示す説明図Explanatory diagram conceptually showing an example of training data TD 図６は、画像データＩに対するトリミングの際の条件を示す説明図FIG. 6 is an explanatory diagram showing the conditions for trimming the image data I. 平均サイズ推定モデルＭＯの一例を概念的に示す説明図Explanatory diagram conceptually showing an example of the average size estimation model MO 本実施形態における植物栽培支援処理の内容を示すフローチャートFlowchart showing contents of plant cultivation support processing in the present embodiment 本実施形態における植物栽培支援処理中に端末装置２００の表示部２１０に表示される画面の一例を示す説明図Explanatory diagram showing an example of a screen displayed on the display unit 210 of the terminal device 200 during the plant cultivation support process according to the present embodiment. 本実施形態における平均サイズＡＳに基づく収穫日時Ｔｅの予測方法の一例を示す説明図Explanatory diagram showing an example of a method of predicting the harvest date Te based on the average size AS in the present embodiment. 本実施形態における植物栽培支援処理中に端末装置２００の表示部２１０に表示される画面の一例を示す説明図Explanatory diagram showing an example of a screen displayed on the display unit 210 of the terminal device 200 during the plant cultivation support process according to the present embodiment. 各平均サイズ推定モデルＭＯについての平均サイズＡＳの予測精度を示す説明図Explanatory diagram showing prediction accuracy of average size AS for each average size estimation model MO 各トリミング条件についての平均サイズＡＳの予測精度を示す説明図Explanatory diagram showing prediction accuracy of average size AS for each trimming condition

Ａ．実施形態：
Ａ－１．植物栽培管理システム１０の構成：
図１は、本実施形態における植物栽培管理システム１０の概略構成を示す説明図である。植物栽培管理システム１０は、圃場における植物の栽培の管理を行うためのシステムである。より具体的には、植物栽培管理システム１０は、特定種類の植物（以下、「対象植物ＯＰ」という。）が複数栽培された栽培区画ＰＬを撮影することにより生成された画像データＩを利用して、該栽培区画ＰＬにおいて栽培されている各対象植物ＯＰのサイズの平均値である平均サイズを推定することを可能とし、植物栽培の効率化や最適化を図るシステムである。本実施形態において、圃場は、半開放型（太陽光利用型）の植物工場ＰＦである。ここで、半開放型の植物工場ＰＦとは、例えばビニールハウスのように、太陽光を遮断しない材料によって囲われた圃場である。ただし、植物栽培管理システム１０は、他の種類の圃場（例えば、閉鎖型や開放型といった他のタイプの植物工場、露地栽培用の圃場等）にも適用可能である。なお、図１には、１つの植物工場ＰＦのみが示されているが、植物栽培管理システム１０は、複数の植物工場ＰＦのそれぞれにおける植物栽培の管理にも適用可能である。また、本実施形態において、対象植物ＯＰは、葉物野菜の１つであるホウレンソウであり、平均サイズは、平均草丈である。ただし、植物栽培管理システム１０は、他の植物（ホウレンソウ以外の葉物野菜、果樹、花き類等）についての、他の平均サイズ（例えば、果実の平均径）の推定にも適用可能である。植物栽培管理システム１０は、特許請求の範囲における情報処理システムの一例である。 A. Embodiment:
A-1. Configuration of plant cultivation management system 10:
FIG. 1 is an explanatory diagram showing a schematic configuration of a plant cultivation management system 10 according to this embodiment. The plant cultivation management system 10 is a system for managing plant cultivation in a field. More specifically, the plant cultivation management system 10 utilizes image data I generated by photographing a cultivation plot PL in which a plurality of specific types of plants (hereinafter referred to as “target plants OP”) are cultivated. This system makes it possible to estimate the average size, which is the average value of the size of each target plant OP cultivated in the cultivation section PL, and achieves efficiency and optimization of plant cultivation. In the present embodiment, the field is a semi-open type (sunlight utilization type) plant factory PF. Here, the semi-open plant factory PF is an agricultural field surrounded by a material that does not block sunlight, such as a vinyl house. However, the plant cultivation management system 10 can also be applied to other types of fields (for example, other types of plant factories such as closed and open types, fields for outdoor cultivation, etc.). Although only one plant factory PF is shown in FIG. 1, the plant cultivation management system 10 can also be applied to manage plant cultivation in each of a plurality of plant factories PF. Further, in the present embodiment, the target plant OP is spinach, which is one of leafy vegetables, and the average size is the average plant height. However, the plant cultivation management system 10 is also applicable to estimation of other average sizes (for example, average fruit diameter) of other plants (leafy vegetables other than spinach, fruit trees, flowering plants, etc.). The plant cultivation management system 10 is an example of an information processing system in the claims.

植物栽培管理システム１０は、植物栽培管理サーバ１００と、端末装置２００と、植物工場ＰＦに設置された撮影装置３００とを備える。植物栽培管理システム１０を構成する各装置は、通信ネットワークＮＥＴを介して互いに通信可能に接続されている。 The plant cultivation management system 10 includes a plant cultivation management server 100, a terminal device 200, and a photographing device 300 installed in a plant factory PF. Each apparatus which comprises the plant cultivation management system 10 is mutually connected so that communication is possible via the communication network NET.

撮影装置３００は、植物工場ＰＦ内に設置され、対象植物ＯＰが複数栽培された栽培区画ＰＬを撮影することによって、画像データＩ（例えば、ＲＧＢデータ）を生成する装置である。本実施形態では、撮影装置３００は、植物工場ＰＦ内における予め設定された範囲、具体的には、１つまたは複数の栽培区画ＰＬをカバーする範囲を被写体として、定期的に（例えば、１時間毎に）または連続的に撮影を行うｗｅｂカメラである。また、撮影装置３００は、図示しない通信インターフェースを有しており、撮影の都度、撮影により生成された画像データＩを、通信ネットワークＮＥＴを介して植物栽培管理サーバ１００に送信する。なお、植物栽培管理システム１０の管理対象の植物工場ＰＦが複数ある場合には、各植物工場ＰＦに撮影装置３００が設置される。 The photographing device 300 is installed in the plant factory PF, and is a device that generates image data I (eg, RGB data) by photographing a cultivation plot PL in which a plurality of target plants OP are cultivated. In the present embodiment, the photographing device 300 periodically (for example, 1 hour every time) or a web camera that shoots continuously. The photographing device 300 also has a communication interface (not shown), and transmits image data I generated by photographing to the plant cultivation management server 100 via the communication network NET each time photographing is performed. In addition, when there are multiple plant factory PFs to be managed by the plant cultivation management system 10, the photographing device 300 is installed in each plant factory PF.

また、本実施形態では、俯瞰撮影装置３００Ａと水平撮影装置３００Ｂとの２種類の撮影装置３００が用いられる。俯瞰撮影装置３００Ａは、レンズの光軸と水平面とのなす角が２０度以上となる位置に設置された撮影装置３００であり、栽培区画ＰＬを俯瞰で捉えた画像データＩ（以下、「俯瞰画像データＩｏ」という。）を生成する。一方、水平撮影装置３００Ｂは、レンズの光軸と水平面とのなす角が２０度未満となる位置に設置された撮影装置３００であり、栽培区画ＰＬを水平に近い方向から捉えた画像データＩ（以下、「水平画像データＩｈ」という。）を生成する。各植物工場ＰＦに、俯瞰撮影装置３００Ａと水平撮影装置３００Ｂとの両方が設置されていてもよいし、俯瞰撮影装置３００Ａと水平撮影装置３００Ｂとのいずれか一方が設置されていてもよい。 Further, in this embodiment, two types of imaging devices 300 are used: a bird's eye imaging device 300A and a horizontal imaging device 300B. The bird's-eye view photographing device 300A is the photographing device 300 installed at a position where the angle formed by the optical axis of the lens and the horizontal plane is 20 degrees or more, and captures the image data I (hereinafter referred to as "bird's-eye view image data Io"). On the other hand, the horizontal imaging device 300B is the imaging device 300 installed at a position where the angle between the optical axis of the lens and the horizontal plane is less than 20 degrees, and the image data I ( hereinafter referred to as “horizontal image data Ih”). Each plant factory PF may be provided with both the bird's-eye imaging device 300A and the horizontal imaging device 300B, or may be provided with either the bird's-eye imaging device 300A or the horizontal imaging device 300B.

端末装置２００は、例えば、スマートフォンやタブレット型端末である。端末装置２００は、例えば液晶ディスプレイ等により構成された表示部２１０を備える（図９，１１参照）。また、端末装置２００には、植物栽培管理のためのアプリケーションプログラムがインストールされている。詳しくは後述するが、端末装置２００の使用者（農作業者）は、該アプリケーションプログラムを用いることにより、植物工場ＰＦにおいて栽培中の対象植物ＯＰの平均サイズや予測される収穫日時を把握することができる。 The terminal device 200 is, for example, a smart phone or a tablet terminal. The terminal device 200 includes a display unit 210 configured by, for example, a liquid crystal display (see FIGS. 9 and 11). An application program for plant cultivation management is installed in the terminal device 200 . Although details will be described later, the user (agricultural worker) of the terminal device 200 can grasp the average size of the target plant OP being cultivated in the plant factory PF and the predicted harvest date and time by using the application program. can.

植物栽培管理サーバ１００は、植物工場ＰＦにおける植物の栽培の管理を行うためのサーバ装置である。図２は、植物栽培管理サーバ１００の構成を概略的に示すブロック図である。植物栽培管理サーバ１００は、制御部１１０と、記憶部１２０と、表示部１３０と、操作入力部１４０と、インターフェース部１５０とを備える。これらの各部は、バス１９０を介して互いに通信可能に接続されている。なお、植物栽培管理サーバ１００は、特許請求の範囲における情報処理装置の一例である。 The plant cultivation management server 100 is a server device for managing plant cultivation in the plant factory PF. FIG. 2 is a block diagram schematically showing the configuration of the plant cultivation management server 100. As shown in FIG. The plant cultivation management server 100 includes a control section 110 , a storage section 120 , a display section 130 , an operation input section 140 and an interface section 150 . These units are communicably connected to each other via a bus 190 . In addition, the plant cultivation management server 100 is an example of an information processing device in the claims.

植物栽培管理サーバ１００の表示部１３０は、例えば液晶ディスプレイ等により構成され、各種の画像や情報を表示する。また、操作入力部１４０は、例えばキーボードやマウス、ボタン、マイク等により構成され、管理者の操作や指示を受け付ける。なお、表示部１３０がタッチパネルを備えることにより、操作入力部１４０として機能するとしてもよい。また、インターフェース部１５０は、例えばＬＡＮインターフェースやＵＳＢインターフェース等により構成され、有線または無線により他の装置との通信を行う。 The display unit 130 of the plant cultivation management server 100 is configured by, for example, a liquid crystal display or the like, and displays various images and information. The operation input unit 140 is composed of, for example, a keyboard, mouse, buttons, microphone, etc., and receives operations and instructions from the administrator. Note that the display unit 130 may function as the operation input unit 140 by including a touch panel. Also, the interface unit 150 is configured by, for example, a LAN interface, a USB interface, or the like, and performs wired or wireless communication with other devices.

植物栽培管理サーバ１００の記憶部１２０は、例えばＲＯＭやＲＡＭ、ハードディスクドライブ（ＨＤＤ）等により構成され、各種のプログラムやデータを記憶したり、各種のプログラムを実行する際の作業領域やデータの一時的な記憶領域として利用されたりする。例えば、記憶部１２０には、後述する平均サイズ推定モデル作成処理や植物栽培支援処理を実行するためのコンピュータプログラムである植物栽培管理プログラムＣＰが格納されている。植物栽培管理プログラムＣＰは、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ、ＵＳＢメモリ等のコンピュータ読み取り可能な記録媒体（不図示）に格納された状態で提供され、植物栽培管理サーバ１００にインストールすることにより記憶部１２０に格納される。 The storage unit 120 of the plant cultivation management server 100 is configured by, for example, a ROM, a RAM, a hard disk drive (HDD), etc., and stores various programs and data, and temporarily stores work areas and data when executing various programs. It is used as a general storage area. For example, the storage unit 120 stores a plant cultivation management program CP, which is a computer program for executing an average size estimation model creation process and a plant cultivation support process, which will be described later. The plant cultivation management program CP is provided in a state stored in a computer-readable recording medium (not shown) such as a CD-ROM, DVD-ROM, or USB memory, and installed in the plant cultivation management server 100. Stored in the storage unit 120 .

また、植物栽培管理サーバ１００の記憶部１２０には、後述する平均サイズ推定モデル作成処理および植物栽培支援処理の実行中に、訓練データＴＤと、平均サイズ推定モデルＭＯと、対象画像データＩ（ｏ）と、推定平均サイズデータＧＤと、予測収穫日時データＰＤとが格納される。これらの情報の内容については、後述する平均サイズ推定モデル作成処理および植物栽培支援処理の説明に合わせて説明する。 Further, the storage unit 120 of the plant cultivation management server 100 stores training data TD, an average size estimation model MO, and target image data I (o ), estimated average size data GD, and predicted harvest date data PD. The contents of these pieces of information will be described together with the description of the average size estimation model creation process and the plant cultivation support process, which will be described later.

植物栽培管理サーバ１００の制御部１１０は、例えばＣＰＵ等により構成され、記憶部１２０から読み出したコンピュータプログラムを実行することにより、植物栽培管理サーバ１００の動作を制御する。例えば、制御部１１０は、記憶部１２０から植物栽培管理プログラムＣＰを読み出して実行することにより、後述の平均サイズ推定モデル作成処理および植物栽培支援処理を実行する植物栽培管理部１１１として機能する。植物栽培管理部１１１は、訓練データ取得部１１２と、モデル取得部１１４と、対象データ取得部１１５と、平均サイズ推定部１１６と、収穫日時予測部１１７と、情報送信部１１８とを含む。これら各部の機能については、後述の平均サイズ推定モデル作成処理および植物栽培支援処理の説明に合わせて説明する。 The control unit 110 of the plant cultivation management server 100 is configured by, for example, a CPU, etc., and controls the operation of the plant cultivation management server 100 by executing a computer program read from the storage unit 120 . For example, the control unit 110 reads the plant cultivation management program CP from the storage unit 120 and executes it, thereby functioning as the plant cultivation management unit 111 that executes an average size estimation model creation process and a plant cultivation support process, which will be described later. Plant cultivation management unit 111 includes training data acquisition unit 112 , model acquisition unit 114 , target data acquisition unit 115 , average size estimation unit 116 , harvest date/time prediction unit 117 , and information transmission unit 118 . The functions of these units will be described together with the description of the average size estimation model creation process and the plant cultivation support process, which will be described later.

Ａ－２．平均サイズ推定モデル作成処理：
次に、本実施形態の植物栽培管理サーバ１００により実行される平均サイズ推定モデル作成処理について説明する。図３は、本実施形態における平均サイズ推定モデル作成処理の内容を示すフローチャートである。平均サイズ推定モデル作成処理は、所定の機械学習を用いて、対象植物ＯＰが複数栽培された栽培区画ＰＬを撮影することにより生成された画像データＩから、該栽培区画ＰＬにおいて栽培されている各対象植物ＯＰ（本実施形態では、ホウレンソウ）のサイズの平均値である平均サイズ（本実施形態では、平均草丈）を推定するための平均サイズ推定モデルＭＯを作成する処理である。平均サイズ推定モデル作成処理は、管理者が、植物栽培管理サーバ１００の操作入力部１４０を操作して開始指示を入力したことに応じて開始される。 A-2. Average size estimation model creation process:
Next, the average size estimation model creation process executed by the plant cultivation management server 100 of this embodiment will be described. FIG. 3 is a flow chart showing the contents of the average size estimation model creation process in this embodiment. The average size estimation model creation process uses predetermined machine learning, from image data I generated by photographing a cultivation section PL in which a plurality of target plants OP are cultivated, each cultivated in the cultivation section PL This is a process of creating an average size estimation model MO for estimating the average size (average plant height in this embodiment), which is the average size of the target plant OP (spinach in this embodiment). The average size estimation model creation process is started in response to the administrator operating the operation input unit 140 of the plant cultivation management server 100 and inputting a start instruction.

はじめに、植物栽培管理サーバ１００の訓練データ取得部１１２（図２）が、訓練データＴＤを取得する（Ｓ１１０）。訓練データＴＤは、植物工場ＰＦにおいて撮影装置３００により栽培区画ＰＬを撮影することにより生成された複数の訓練用画像データＩ（ｔ）と、各訓練用画像データＩ（ｔ）により表される栽培区画ＰＬにおける対象植物ＯＰの平均サイズを示す平均サイズデータと、が対応付けられたデータである。取得された訓練データＴＤは、植物栽培管理サーバ１００の記憶部１２０に格納される。 First, the training data acquisition unit 112 (FIG. 2) of the plant cultivation management server 100 acquires the training data TD (S110). The training data TD consists of a plurality of training image data I(t) generated by photographing the cultivation plot PL with the photographing device 300 in the plant factory PF, and cultivation data represented by each training image data I(t). and average size data indicating the average size of the target plant OP in the section PL. The acquired training data TD are stored in the storage unit 120 of the plant cultivation management server 100 .

図４および図５は、訓練データＴＤの一例を概念的に示す説明図である。図４には、俯瞰画像データＩｏを用いた訓練データＴＤの一例が示されており、図５には、水平画像データＩｈを用いた訓練データＴＤの一例が示されている。上述したように、植物工場ＰＦに設置された撮影装置３００（俯瞰撮影装置３００Ａおよび水平撮影装置３００Ｂ）は、定期的に撮影を行っており、撮影の都度、撮影により生成された画像データＩ（俯瞰画像データＩｏおよび水平画像データＩｈ）を通信ネットワークＮＥＴを介して植物栽培管理サーバ１００に送信している。植物栽培管理サーバ１００の訓練データ取得部１１２は、撮影装置３００から送信された画像データＩを、インターフェース部１５０を介して取得し、訓練用画像データＩ（ｔ）として記憶部１２０に格納する。 4 and 5 are explanatory diagrams conceptually showing an example of the training data TD. FIG. 4 shows an example of training data TD using overhead image data Io, and FIG. 5 shows an example of training data TD using horizontal image data Ih. As described above, the imaging devices 300 (the bird's eye imaging device 300A and the horizontal imaging device 300B) installed in the plant factory PF regularly perform imaging, and each time imaging is performed, the image data I ( The overhead image data Io and the horizontal image data Ih) are transmitted to the plant cultivation management server 100 via the communication network NET. The training data acquisition unit 112 of the plant cultivation management server 100 acquires the image data I transmitted from the imaging device 300 via the interface unit 150 and stores it in the storage unit 120 as training image data I(t).

なお、上述したように、本実施形態では、撮影装置３００は、１つまたは複数の栽培区画ＰＬをカバーする範囲を被写体として撮影を行っている。そのため、訓練データ取得部１１２は、撮影装置３００から送信された画像データＩに対して、栽培区画ＰＬ毎にトリミングを実行し、トリミング後の画像データＩを訓練用画像データＩ（ｔ）として記憶部１２０に格納する。図６は、画像データＩに対するトリミングの際の条件（以下、「トリミング条件」という。）を示す説明図である。本実施形態では、３つのトリミング条件（トリミング条件１～３）が設定されている。図６のＡ欄には、トリミング条件１に従い俯瞰画像データＩｏのトリミングを行った際の各栽培区画ＰＬ（ＰＬ１～３）に対応するトリミング枠ＴＦの例が示されており、図６のＢ欄には、トリミング条件２に従い俯瞰画像データＩｏのトリミングを行った際の各栽培区画ＰＬに対応するトリミング枠ＴＦの例が示されており、図６のＣ欄には、トリミング条件３に従い俯瞰画像データＩｏのトリミングを行った際の各栽培区画ＰＬに対応するトリミング枠ＴＦの例が示されている。 As described above, in the present embodiment, the photographing device 300 photographs a range covering one or a plurality of cultivation plots PL as a subject. Therefore, the training data acquisition unit 112 performs trimming on the image data I transmitted from the photographing device 300 for each cultivation plot PL, and stores the trimmed image data I as training image data I(t). Stored in unit 120 . FIG. 6 is an explanatory diagram showing conditions for trimming the image data I (hereinafter referred to as "trimming conditions"). In this embodiment, three trimming conditions (trimming conditions 1 to 3) are set. Column A in FIG. 6 shows an example of a trimming frame TF corresponding to each cultivation section PL (PL1 to PL3) when the bird's-eye view image data Io is trimmed according to the trimming condition 1, and B in FIG. The column shows an example of the trimming frame TF corresponding to each cultivation section PL when the bird's-eye view image data Io is trimmed according to the trimming condition 2. Column C in FIG. An example of the trimming frame TF corresponding to each cultivation section PL when the image data Io is trimmed is shown.

トリミング条件１（図６のＡ欄参照）は、各栽培区画ＰＬについて、栽培区画ＰＬで栽培されている対象植物ＯＰが写った画素のうち、画像の上端、下端、左端、右端のそれぞれに最も近い画素が、トリミング後の画像の上端、下端、左端、右端になるように、トリミングを行う条件である。すなわち、トリミング条件１に従ったトリミングによれば、各栽培区画ＰＬについて、栽培されている複数の対象植物ＯＰの全体が写った画像データＩが得られる。 Trimming condition 1 (see column A in FIG. 6) is for each cultivation plot PL, among the pixels in which the target plant OP cultivated in the cultivation plot PL is captured, the top, bottom, left, and right edges of the image are the most This is a condition for trimming such that the closest pixels are the top edge, bottom edge, left edge, and right edge of the image after trimming. That is, according to the trimming according to the trimming condition 1, the image data I showing the entirety of the plurality of target plants OP being cultivated is obtained for each cultivation section PL.

また、トリミング条件２（図６のＢ欄参照）は、トリミング条件１をベースに、他の栽培区画ＰＬで栽培されている対象植物ＯＰが写った画素が含まれないように、かつ、可能な限り多くの画素を含むように、トリミングを行う条件である。すなわち、トリミング条件２に従ったトリミングによれば、各栽培区画ＰＬについて、他の栽培区画ＰＬで栽培されている対象植物ＯＰが写っていない画像データＩが得られる。 Further, the trimming condition 2 (see column B in FIG. 6) is based on the trimming condition 1 so as not to include pixels in which the target plant OP cultivated in another cultivation section PL is included, and is possible. This is a condition for trimming to include as many pixels as possible. That is, according to the trimming according to the trimming condition 2, for each cultivation section PL, image data I in which the target plant OP cultivated in the other cultivation section PL is not captured is obtained.

また、トリミング条件３（図６のＣ欄参照）は、トリミング条件２をベースに、画像の縦横のサイズが同じになるように長辺の両端をカットするような、トリミングを行う条件である。すなわち、トリミング条件３に従ったトリミングによれば、学習のために画像データＩを縦横比１対１のデータに変換する際に画像の歪みが防止される画像データＩが得られる。 Trimming condition 3 (see column C in FIG. 6) is a condition for performing trimming based on trimming condition 2 such that both ends of the long side are cut so that the vertical and horizontal sizes of the image are the same. That is, trimming according to trimming condition 3 provides image data I that prevents image distortion when the image data I is converted into data having an aspect ratio of 1:1 for learning.

なお、図４および図５に示すように、以下では、日時Ｔｉに撮影・生成された画像データＩ（俯瞰画像データＩｏおよび水平画像データＩｈ）を、画像データＩｉ（俯瞰画像データＩｏｉおよび水平画像データＩｈｉ）と表す。定植日時Ｔｓに撮影された画像データＩは画像データＩｓ（俯瞰画像データＩｏｓおよび水平画像データＩｈｓ）であり、収穫日時Ｔｅに撮影された画像データＩは画像データＩｅ（俯瞰画像データＩｏｅおよび水平画像データＩｈｅ）である。訓練データ取得部１１２は、公知の画像認識処理により、記憶部１２０に格納された複数の画像データの中から、定植日時Ｔｓに撮影された画像データＩｓと、収穫日時Ｔｅに撮影された画像データＩｅを特定する。また、訓練データ取得部１１２は、記憶部１２０に格納された複数の画像データＩの中から、撮影日時が定植日時Ｔｓから収穫日時Ｔｅまでの期間内である画像データＩを選択する。ただし、本実施形態では、太陽光を利用して栽培を行う半開放型の植物工場ＰＦを対象としており、予め設定された昼間時間（例えば、７時～１７時）内に撮影することにより生成された画像データＩのみが用いられ、それ以外の時間帯に撮影された画像データＩには植物の姿が鮮明に写らないおそれがあるため、該時間帯に撮影された画像データＩは除外される。このようにして、訓練データ取得部１１２は、定植日時Ｔｓから収穫日時Ｔｅまでの期間内の複数の日時Ｔｉ（Ｔｓ，Ｔ１，Ｔ２，・・・，Ｔｅ）に撮影・生成された複数の画像データＩｉ（Ｉｓ，Ｉ１，Ｉ２，・・・，Ｉｅ）を、訓練用画像データＩ（ｔ）として選択する。 As shown in FIGS. 4 and 5, image data I (overhead image data Io and horizontal image data Ih) photographed and generated on date and time Ti will be described below as image data Ii (overhead image data Ioi and horizontal image data Ih). data Ihi). The image data I photographed on the planting date Ts is the image data Is (overhead image data Ios and horizontal image data Ihs), and the image data I photographed on the harvest date Te is the image data Ie (overhead image data Ioe and horizontal image data Ihs). data Ihe). The training data acquisition unit 112 uses a known image recognition process to extract image data Is captured on the planting date Ts and image data captured on the harvest date Te from among the plurality of image data stored in the storage unit 120. Identify Ie. In addition, the training data acquisition unit 112 selects image data I captured within a period from the planting date Ts to the harvest date Te from among the plurality of image data I stored in the storage unit 120 . However, in this embodiment, the object is a semi-open plant factory PF that uses sunlight for cultivation, and is generated by photographing during a preset daytime time (for example, 7:00 to 17:00). Only the image data I captured during this time period is used, and the image data I captured during other time periods may not show the plant clearly, so the image data I captured during this time period is excluded. be. In this way, the training data acquisition unit 112 obtains a plurality of images captured and generated at a plurality of dates Ti (Ts, T1, T2, . Data Ii (Is, I1, I2, . . . , Ie) are selected as training image data I(t).

また、訓練データ取得部１１２は、記憶部１２０に格納された複数の画像データＩのそれぞれについて、対象植物ＯＰの平均サイズＡＳ（平均草丈）の値を取得する。対象植物ＯＰの平均サイズＡＳは、例えば、画像データＩにおいて対象植物ＯＰと共に写った定規の画像を参照して測定することができる。また、対象植物ＯＰの平均サイズＡＳは、植物工場ＰＦの現地において農作業者が測定し、日時と共に記録した実測値を示す資料を参照して取得されてもよい。訓練データ取得部１１２は、取得された平均サイズＡＳの値を訓練用画像データＩ（ｔ）に関連付けることにより、ラベル付きデータとしての訓練データＴＤを作成する。例えば、図４に示すように、ある日時Ｔｍに撮影された俯瞰画像データＩｏｍについて、対象植物ＯＰの平均サイズＡＳが７ｃｍであった場合には、俯瞰画像データＩｏｍに平均サイズＡＳｍとして７ｃｍという値が関連付けられたデータが、訓練データＴＤとして作成される。他の画像データＩｉについても同様である。 Also, the training data acquisition unit 112 acquires the value of the average size AS (average plant height) of the target plant OP for each of the plurality of image data I stored in the storage unit 120 . The average size AS of the target plant OP can be measured, for example, by referring to the image of a ruler taken together with the target plant OP in the image data I. In addition, the average size AS of the target plant OP may be obtained by referring to a document showing the measured values recorded together with the date and time measured by the farm worker at the site of the plant factory PF. The training data acquisition unit 112 creates training data TD as labeled data by associating the acquired value of the average size AS with the training image data I(t). For example, as shown in FIG. 4, for bird's-eye view image data Iom taken on a certain date and time Tm, if the average size AS of the target plant OP is 7 cm, the average size ASm of the bird's-eye view image data Iom is 7 cm. is created as training data TD. The same applies to other image data Ii.

なお、訓練データ取得部１１２は、対象植物ＯＰの１作分の訓練データＴＤを取得するとしてもよいし、平均サイズ推定モデルＭＯの精度向上のために、対象植物ＯＰの複数作分の訓練データＴＤを取得してもよい。また、訓練データ取得部１１２は、１つの植物工場ＰＦに複数の撮影装置３００が設置されている場合には、複数の撮影装置３００から取得された画像データに基づき訓練データＴＤを取得するとしてもよい。また、訓練データ取得部１１２は、複数の植物工場ＰＦのそれぞれに設置された撮影装置３００から取得された画像データに基づき訓練データＴＤを取得するとしてもよい。また、撮影装置３００から取得された画像データに対して、回転、シフト、明るさ調整等によるデータオーギュメンテーション(データ拡張)を行うことによって、訓練用画像データＩ（ｔ）を生成するとしてもよい。 Note that the training data acquisition unit 112 may acquire training data TD for one crop of the target plant OP, or training data for multiple crops of the target plant OP in order to improve the accuracy of the average size estimation model MO. TD may be acquired. Further, when a plurality of imaging devices 300 are installed in one plant factory PF, the training data acquisition unit 112 acquires the training data TD based on the image data acquired from the plurality of imaging devices 300. good. Also, the training data acquisition unit 112 may acquire the training data TD based on the image data acquired from the imaging device 300 installed in each of the plurality of plant factories PF. Further, even if training image data I(t) is generated by performing data augmentation (data augmentation) by rotation, shift, brightness adjustment, etc. on the image data acquired from the imaging device 300, good.

次に、植物栽培管理サーバ１００のモデル取得部１１４（図２）が、訓練データＴＤを用いた所定の機械学習により、平均サイズ推定モデルＭＯを作成する（図３のＳ１２０）。図７は、平均サイズ推定モデルＭＯの一例を概念的に示す説明図である。図７に示すように、平均サイズ推定モデルＭＯは、対象植物ＯＰの栽培区画ＰＬを撮影することにより生成された画像データＩの色情報（例えば、ＲＧＢ値）を含む画像データから、該画像データＩにより表される栽培区画ＰＬにおいて栽培されている対象植物ＯＰの平均サイズＡＳ（すなわち、撮影日時における平均サイズＡＳ）を推定するためのモデルである。なお、本実施形態では、平均サイズ推定モデルＭＯとして、俯瞰画像データＩｏから対象植物ＯＰの平均サイズＡＳを推定するための俯瞰用平均サイズ推定モデルＭＯｏと、水平画像データＩｈから対象植物ＯＰの平均サイズＡＳを推定するための水平用平均サイズ推定モデルＭＯｈとが作成される。 Next, the model acquisition unit 114 (FIG. 2) of the plant cultivation management server 100 creates an average size estimation model MO by predetermined machine learning using the training data TD (S120 in FIG. 3). FIG. 7 is an explanatory diagram conceptually showing an example of the average size estimation model MO. As shown in FIG. 7, the average size estimating model MO uses image data including color information (eg, RGB values) of image data I generated by photographing the cultivation plot PL of the target plant OP. It is a model for estimating the average size AS of the target plant OP cultivated in the cultivation plot PL represented by I (that is, the average size AS at the shooting date and time). In the present embodiment, as the average size estimation model MO, an overhead average size estimation model MOo for estimating the average size AS of the target plant OP from the overhead image data Io, and the average size of the target plant OP from the horizontal image data Ih A horizontal mean size estimation model MOh for estimating the size AS is created.

モデル取得部１１４は、俯瞰用と水平用とのそれぞれについて、訓練データＴＤに含まれる訓練用画像データＩ（ｔ）を入力データとし、各訓練用画像データＩ（ｔ）に関連付けられた平均サイズＡＳを目的変数とし、評価指標として平均二乗平方根誤差（ＲＭＳＥ）、平均絶対誤差（ＭＡＥ）、決定係数（Ｒ２）の少なくとも１つを用いた公知の機械学習を実行することにより、平均サイズ推定モデルＭＯ（俯瞰用平均サイズ推定モデルＭＯｏおよび水平用平均サイズ推定モデルＭＯｈ）を作成する。作成された平均サイズ推定モデルＭＯは、植物栽培管理サーバ１００の記憶部１２０に格納される。なお、平均サイズ推定モデルＭＯの作成には、例えば、重回帰分析、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、ＸＧＢｏｏｓｔ、畳み込みニューラルネットワーク（ＣＮＮ）等の種々の公知の機械学習のアルゴリムを利用可能である。平均サイズ推定モデルＭＯは、特許請求の範囲におけるモデルの一例であり、俯瞰用平均サイズ推定モデルＭＯｏは、特許請求の範囲における第１のモデルの一例であり、水平用平均サイズ推定モデルＭＯｈは、特許請求の範囲における第２のモデルの一例である。以上の工程により、平均サイズ推定モデルＭＯを作成する生育率推定モデル作成処理が完了する。 The model acquisition unit 114 uses the training image data I(t) included in the training data TD as input data for each of the bird's eye view and the horizontal use, and the average size associated with each training image data I(t). Average size estimation by performing known machine learning with AS as the objective variable and at least one of the root mean square error (RMSE), the mean absolute error (MAE), and the coefficient of determination (R 2 ) as the evaluation index. A model MO (an overhead average size estimation model MOo and a horizontal average size estimation model MOh) is created. The created average size estimation model MO is stored in the storage unit 120 of the plant cultivation management server 100 . Various known machine learning algorithms such as multiple regression analysis, Random Forest, XGBoost, and convolutional neural network (CNN) can be used to create the average size estimation model MO. The average size estimation model MO is an example of a model in the claims, the bird's-eye average size estimation model MOo is an example of the first model in the claims, and the horizontal average size estimation model MOh is: It is an example of a second model in the claims. Through the above steps, the growth rate estimation model creation process for creating the average size estimation model MO is completed.

なお、本実施形態では、俯瞰画像データＩｏについての訓練データＴＤを用いて俯瞰用平均サイズ推定モデルＭＯｏが作成され、水平画像データＩｈについての訓練データＴＤを用いて水平用平均サイズ推定モデルＭＯｈが作成されるとしているが、俯瞰用と水平用とを区別せず、俯瞰画像データＩｏと水平画像データＩｈとが混在した訓練データＴＤを用いて１つの共通の平均サイズ推定モデルＭＯが作成されるとしてもよい。 Note that, in the present embodiment, the training data TD for the bird's-eye view image data Io is used to create the overhead average size estimation model MOo, and the training data TD for the horizontal image data Ih is used to create the horizontal average size estimation model MOh. However, one common average size estimation model MO is created using training data TD in which overhead image data Io and horizontal image data Ih are mixed without distinguishing between overhead view and horizontal use. may be

Ａ－３．植物栽培支援処理：
次に、本実施形態の植物栽培管理サーバ１００により実行される植物栽培支援処理について説明する。図８は、本実施形態における植物栽培支援処理の内容を示すフローチャートである。また、図９および図１１は、本実施形態における植物栽培支援処理中に端末装置２００の表示部２１０に表示される画面の一例を示す説明図であり、図１０は、本実施形態における平均サイズＡＳに基づく収穫日時Ｔｅの予測方法の一例を示す説明図である。 A-3. Plant cultivation support treatment:
Next, the plant cultivation support process executed by the plant cultivation management server 100 of this embodiment will be described. FIG. 8 is a flow chart showing the contents of the plant cultivation support process in this embodiment. 9 and 11 are explanatory diagrams showing examples of screens displayed on the display unit 210 of the terminal device 200 during the plant cultivation support process according to the present embodiment, and FIG. FIG. 4 is an explanatory diagram showing an example of a method for predicting harvest date Te based on AS;

植物栽培支援処理は、農作業者による対象植物ＯＰの栽培を支援するための処理である。より具体的には、植物栽培支援処理は、対象植物ＯＰが複数栽培された栽培区画ＰＬを撮影することにより生成された画像データＩである対象画像データＩ（ｏ）の色情報を含む画像データと、上述した平均サイズ推定モデルＭＯとを用いて、対象画像データＩ（ｏ）により表される栽培区画ＰＬにおいて栽培されている対象植物ＯＰの平均サイズＡＳ（すなわち、対象画像データＩ（ｏ）の撮影日時における平均サイズＡＳ）を推定する処理である。さらに、植物栽培支援処理は、推定された平均サイズＡＳに基づき対象植物ＯＰの収穫日時Ｔｅを予測し、平均サイズＡＳや収穫日時Ｔｅを示す情報を農作業者の端末装置２００に表示させる処理である。植物栽培支援処理は、農作業者が端末装置２００を操作したり植物栽培管理サーバ１００の管理者が操作入力部１４０を操作したりして開始指示を入力したことに応じて開始される。 The plant cultivation support process is a process for supporting the cultivation of the target plant OP by the farmer. More specifically, in the plant cultivation support process, image data including color information of target image data I(o), which is image data I generated by photographing a cultivation plot PL in which a plurality of target plants OP are cultivated. and the average size estimation model MO described above, the average size AS of the target plant OP cultivated in the cultivation plot PL represented by the target image data I(o) (i.e., the target image data I(o) This is a process of estimating the average size (AS) at the photographing date and time. Furthermore, the plant cultivation support process is a process of predicting the harvest date Te of the target plant OP based on the estimated average size AS, and displaying information indicating the average size AS and the harvest date Te on the terminal device 200 of the farm worker. . The plant cultivation support process is started in response to input of a start instruction by a farm worker operating the terminal device 200 or by an administrator of the plant cultivation management server 100 operating the operation input unit 140 .

植物栽培支援処理では、はじめに、植物栽培管理サーバ１００の対象データ取得部１１５（図２）が、対象画像データＩ（ｏ）を取得する（Ｓ２１０）。上述したように、植物工場ＰＦに設置された撮影装置３００は、定期的に撮影を行っており、撮影の都度、撮影により生成された画像データＩを通信ネットワークＮＥＴを介して植物栽培管理サーバ１００に送信している。植物栽培管理サーバ１００の対象データ取得部１１５は、撮影装置３００から送信された画像データＩを、インターフェース部１５０を介して取得し、対象画像データＩ（ｏ）として記憶部１２０に格納する。なお、上述した訓練データＴＤと同様に、対象データ取得部１１５は、撮影装置３００から送信された画像データＩに対して、栽培区画ＰＬ毎にトリミングを実行し、トリミング後の画像データＩを対象画像データＩ（ｏ）として記憶部１２０に格納する。 In the plant cultivation support process, first, the target data acquisition unit 115 (FIG. 2) of the plant cultivation management server 100 acquires target image data I(o) (S210). As described above, the photographing device 300 installed in the plant factory PF periodically photographs, and every time photographing is performed, the image data I generated by photographing is transmitted to the plant cultivation management server 100 via the communication network NET. are sending to The target data acquisition unit 115 of the plant cultivation management server 100 acquires the image data I transmitted from the imaging device 300 via the interface unit 150 and stores it in the storage unit 120 as target image data I(o). Note that, similarly to the training data TD described above, the target data acquisition unit 115 performs trimming on the image data I transmitted from the photographing device 300 for each cultivation plot PL, and the trimmed image data I is used as the target. It is stored in the storage unit 120 as image data I(o).

次に、植物栽培管理サーバ１００の平均サイズ推定部１１６（図２）は、直前のＳ２１０において取得された対象画像データＩ（ｏ）と、上述した平均サイズ推定モデルＭＯとを用いて、対象画像データＩ（ｏ）により表される栽培区画ＰＬにおいて栽培されている対象植物ＯＰの平均サイズＡＳ（すなわち、対象画像データＩ（ｏ）の撮影日時における平均サイズＡＳ）を推定する（Ｓ２２０）。平均サイズ推定部１１６は、図７に示すように、平均サイズ推定モデルＭＯに対象画像データＩ（ｏ）の色情報を含む画像データを入力し、平均サイズ推定モデルＭＯから出力される平均サイズＡＳを取得することにより、平均サイズＡＳを推定する。例えば図７に示す例では、対象植物ＯＰの平均サイズＡＳは「１０ｃｍ」であると推定される。平均サイズ推定部１１６は、推定された平均サイズＡＳを示す情報である推定平均サイズデータＳＤを生成し、植物栽培管理サーバ１００の記憶部１２０に格納する。 Next, the average size estimating unit 116 (FIG. 2) of the plant cultivation management server 100 uses the target image data I(o) acquired in the previous S210 and the average size estimation model MO described above to generate the target image The average size AS of the target plants OP cultivated in the cultivation plot PL represented by the data I(o) (that is, the average size AS at the shooting date and time of the target image data I(o)) is estimated (S220). As shown in FIG. 7, the average size estimation unit 116 inputs the image data including the color information of the target image data I(o) to the average size estimation model MO, and calculates the average size AS output from the average size estimation model MO. Estimate the average size AS by taking For example, in the example shown in FIG. 7, the average size AS of the target plant OP is estimated to be "10 cm". The average size estimation unit 116 generates estimated average size data SD, which is information indicating the estimated average size AS, and stores it in the storage unit 120 of the plant cultivation management server 100 .

なお、本実施形態では、俯瞰用平均サイズ推定モデルＭＯｏと水平用平均サイズ推定モデルＭＯｈとの２つの平均サイズ推定モデルＭＯが作成されている。平均サイズ推定部１１６は、対象画像データＩ（ｏ）が俯瞰画像データＩｏであるか水平画像データＩｈであるかを判別し、俯瞰画像データＩｏである場合には俯瞰用平均サイズ推定モデルＭＯｏを用いて平均サイズＡＳを推定し、水平画像データＩｈである場合には水平用平均サイズ推定モデルＭＯｈを用いて平均サイズＡＳを推定する。対象画像データＩ（ｏ）が俯瞰画像データＩｏであるか水平画像データＩｈであるかの判別は、例えば、対象画像データＩ（ｏ）の画像内容を解析することにより、あるいは、対象画像データＩ（ｏ）の付属情報を参照することにより、実現することができる。また、機械学習によって該判別のためのモデルを作成し、該モデルを用いた分類を行うことによって該判別を実現してもよい。 Note that in the present embodiment, two average size estimation models MO, an overhead average size estimation model MOo and a horizontal average size estimation model MOh, are created. The average size estimation unit 116 determines whether the target image data I(o) is the bird's-eye view image data Io or the horizontal image data Ih. In the case of the horizontal image data Ih, the average size AS is estimated using the horizontal average size estimation model MOh. Whether the target image data I(o) is the bird's-eye view image data Io or the horizontal image data Ih can be determined, for example, by analyzing the image content of the target image data I(o), or by analyzing the target image data I(o). It can be realized by referring to the attached information of (o). Alternatively, a model for the discrimination may be created by machine learning, and the discrimination may be realized by performing classification using the model.

次に、植物栽培管理サーバ１００の植物栽培管理部１１１（図２）は、平均サイズＡＳが推定された対象画像データＩ（ｏ）の個数Ｎが所定の閾値Ｔｈ（例えば、３０個）以上であるか否かを判定する（Ｓ２３０）。Ｓ２３０の判定において、平均サイズＡＳが推定された対象画像データＩ（ｏ）の個数Ｎが閾値Ｔｈ未満であると判定された場合には（Ｓ２３０：ＮＯ）、定式化が難しいために後述する収穫日時Ｔｅの予測（Ｓ２４０）は実行されない。この場合には、植物栽培管理サーバ１００の情報送信部１１８（図２）が、直前のＳ２１０において取得された対象画像データＩ（ｏ）と、直前のＳ２２０において推定された平均サイズＡＳを示す推定平均サイズデータＳＤとを、インターフェース部１５０および通信ネットワークＮＥＴを介して、農作業者の端末装置２００に向けて送信する（Ｓ２５０）。その結果、図９に示すように、端末装置２００の表示部２１０に、植物工場ＰＦで栽培されている対象植物ＯＰ（本実施形態では、ホウレンソウ）について、現時点（正確には、対象画像データＩ（ｏ）の撮影時点）での写真および推定された平均サイズＡＳが表示される。これにより、農作業者は、植物工場ＰＦに出向かなくても、現時点での対象植物ＯＰの平均サイズＡＳを把握することができる。なお、上述したように、Ｓ２３０の判定において平均サイズＡＳが推定された対象画像データＩ（ｏ）の個数Ｎが閾値Ｔｈ未満であると判定された場合には、収穫日時Ｔｅの予測（Ｓ２４０）は実行されていないため、予測される収穫日時Ｔｅの欄には、予測不能を示す記号「－」が表示されている。 Next, the plant cultivation management unit 111 (FIG. 2) of the plant cultivation management server 100 determines that the number N of the target image data I(o) for which the average size AS has been estimated is equal to or greater than a predetermined threshold Th (for example, 30). It is determined whether or not there is (S230). In the determination of S230, if it is determined that the number N of target image data I(o) for which the average size AS has been estimated is less than the threshold value Th (S230: NO), the harvesting described later is difficult because the formulation is difficult. The prediction of the date and time Te (S240) is not executed. In this case, the information transmission unit 118 ( FIG. 2 ) of the plant cultivation management server 100 outputs the target image data I(o) acquired in immediately preceding S210 and the average size AS estimated in immediately preceding S220. The average size data SD are transmitted to the farm worker's terminal device 200 via the interface unit 150 and the communication network NET (S250). As a result, as shown in FIG. 9, the current (more precisely, target image data I The photograph at (o) the time of photography) and the estimated average size AS are displayed. Thereby, the farm worker can grasp the current average size AS of the target plant OP without going to the plant factory PF. As described above, if it is determined in S230 that the number N of the target image data I(o) for which the average size AS has been estimated is less than the threshold Th, the harvest date Te is predicted (S240). has not been executed, a symbol "-" indicating unpredictability is displayed in the column of predicted harvest date Te.

Ｓ２５０の処理の後には、植物栽培管理サーバ１００の植物栽培管理部１１１（図２）は、栽培が終了したか（植物が収穫されたか）否かを判定する（Ｓ２７０）。Ｓ２７０の判定において、栽培はまだ終了していないと判定された場合には（Ｓ２７０：ＮＯ）、Ｓ２１０以降の処理が繰り返し実行される。 After the process of S250, the plant cultivation management unit 111 (FIG. 2) of the plant cultivation management server 100 determines whether or not the cultivation has ended (whether the plants have been harvested) (S270). If it is determined in S270 that the cultivation has not yet ended (S270: NO), the processes after S210 are repeatedly executed.

Ｓ２１０以降の処理が繰り返し実行され、Ｓ２３０の判定において平均サイズＡＳが推定された対象画像データＩ（ｏ）の個数Ｎが閾値Ｔｈ以上であると判定された場合には（Ｓ２３０：ＹＥＳ）、植物栽培管理サーバ１００の収穫日時予測部１１７（図２）が、各対象画像データＩ（ｏ）について推定された平均サイズＡＳに基づき、対象植物の収穫日時Ｔｅを予測する（Ｓ２４０）。図１０に示すように、本実施形態では、平均サイズＡＳｉを目的変数とし、定植日時Ｔｓからの経過時間ΔＴｉ（＝Ｔｉ－Ｔｓ）を説明変数として単回帰分析による回帰式を立て、該回帰式において平均サイズＡＳが所定の収穫平均サイズＡＳｅ（例えば、ＡＳｅ＝２０ｃｍ）となる経過時間ΔＴｉを逆算することにより、収穫日時Ｔｅを予測している。例えば、図１０には、日時Ｔｋに撮影された対象画像データＩ（ｏ）についての平均サイズＡＳの推定が完了した時点において、これまでに平均サイズＡＳが推定されたデータを示す（ｋ＋１）個の点（ΔＴｉ，ＡＳｉ）がプロットされている。収穫日時予測部１１７は、これら（ｋ＋１）個のデータを用いて、単回帰式ＲＬ：ＡＳｉ＝ａ×ΔＴｉ＋ｂを導出する。そして、収穫日時予測部１１７は、この単回帰式ＲＬにおいてＡＳｉ＝ＡＳｅ（例えば２０ｃｍ）となるΔＴｉ（＝ΔＴｅ）の値を算出し、定植日時Ｔｓからこの経過時間ΔＴｅが経過した日時（＝Ｔｓ＋ΔＴｅ）を、予測される収穫日時Ｔｅとして算出する。収穫日時予測部１１７は、予測された収穫日時Ｔｅを示す情報である予測収穫日時データＰＤを生成し、植物栽培管理サーバ１００の記憶部１２０に格納する。 The processes after S210 are repeatedly executed, and when it is determined in S230 that the number N of the target image data I(o) for which the average size AS is estimated is equal to or greater than the threshold Th (S230: YES), the plant The harvest date/time prediction unit 117 (FIG. 2) of the cultivation management server 100 predicts the harvest date/time Te of the target plant based on the average size AS estimated for each target image data I(o) (S240). As shown in FIG. 10, in this embodiment, the average size ASi is used as an objective variable, and the elapsed time ΔTi (=Ti−Ts) from the planting date and time Ts is used as an explanatory variable to create a regression equation by simple regression analysis. The harvest date Te is predicted by back-calculating the elapsed time ΔTi at which the average size AS reaches a predetermined average harvest size ASe (for example, ASe=20 cm). For example, FIG. 10 shows (k+1) pieces of data for which the average size AS has been estimated at the time when the estimation of the average size AS for the target image data I(o) captured on date and time Tk is completed. points (ΔTi, ASi) are plotted. The harvest date/time prediction unit 117 uses these (k+1) pieces of data to derive a simple regression equation RL: ASi=a×ΔTi+b. Then, the harvest date/time prediction unit 117 calculates the value of ΔTi (=ΔTe) that satisfies ASi=ASe (for example, 20 cm) in this simple regression formula RL, and the date and time (=Ts+ΔTe ) is calculated as the predicted harvest date Te. The harvest date/time prediction unit 117 generates predicted harvest date/time data PD, which is information indicating the predicted harvest date/time Te, and stores it in the storage unit 120 of the plant cultivation management server 100 .

収穫日時Ｔｅの予測（Ｓ２４０）が行われた場合には、植物栽培管理サーバ１００の情報送信部１１８（図２）が、直前のＳ２１０において取得された対象画像データＩ（ｏ）と、直前のＳ２２０において推定された平均サイズＡＳを示す推定平均サイズデータＳＤと、直前のＳ２４０において予測された収穫日時Ｔｅを示す予測収穫日時データＰＤとを、インターフェース部１５０および通信ネットワークＮＥＴを介して、農作業者の端末装置２００に向けて送信する（Ｓ２６０）。その結果、図１１に示すように、端末装置２００の表示部２１０に、植物工場ＰＦで栽培されている対象植物ＯＰ（本実施形態では、ホウレンソウ）について、現時点（正確には、対象画像データＩ（ｏ）の撮影時点）での写真と、推定された平均サイズＡＳと、予測された収穫日時Ｔｅとが表示される。これにより、農作業者は、植物工場ＰＦに出向かなくても、現時点での対象植物の平均サイズＡＳや予測される収穫日時Ｔｅを把握することができる。 When the prediction of the harvest date and time Te (S240) is performed, the information transmission unit 118 (FIG. 2) of the plant cultivation management server 100 transmits the target image data I(o) acquired in the immediately preceding S210 and the immediately preceding The estimated average size data SD indicating the average size AS estimated in S220 and the predicted harvest date/time data PD indicating the harvest date/time Te predicted in S240 immediately before are sent to the farm worker via the interface unit 150 and the communication network NET. is transmitted to the terminal device 200 (S260). As a result, as shown in FIG. 11, the current (more precisely, target image data I The photograph taken at (o)), the estimated average size AS, and the estimated harvest date and time Te are displayed. As a result, the farm worker can grasp the current average size AS of the target plant and the predicted harvest date Te without going to the plant factory PF.

Ｓ２６０の処理の後には、植物栽培管理サーバ１００の植物栽培管理部１１１（図２）は、栽培が終了したか（植物が収穫されたか）否かを判定する（Ｓ２７０）。Ｓ２７０の判定において、栽培はまだ終了していないと判定された場合には（Ｓ２７０：ＮＯ）、Ｓ２１０以降の処理が繰り返し実行される。上述した処理が繰り返し実行され、Ｓ２７０の判定において、栽培は終了したと判定された場合には（Ｓ２７０：ＹＥＳ）、物栽培支援処理は終了される。 After the processing of S260, the plant cultivation management unit 111 (FIG. 2) of the plant cultivation management server 100 determines whether or not the cultivation has ended (whether the plants have been harvested) (S270). If it is determined in S270 that the cultivation has not yet ended (S270: NO), the processes after S210 are repeatedly executed. The process mentioned above is repeatedly performed, and in determination of S270, when it is determined that cultivation is complete|finished (S270:YES), a plant cultivation support process is complete|finished.

Ａ－４．本実施形態の効果：
以上説明したように、本実施形態の植物栽培管理サーバ１００は、対象データ取得部１１５と、平均サイズ推定部１１６とを備える。対象データ取得部１１５は、対象植物ＯＰが複数栽培された栽培区画ＰＬを撮影することにより生成された画像データである対象画像データＩ（ｏ）を取得する。平均サイズ推定部１１６は、対象画像データＩ（ｏ）の色情報を含む画像データと、所定の機械学習により作成された平均サイズ推定モデルＭＯとを用いて、栽培区画ＰＬにおいて栽培されている各対象植物ＯＰのサイズの平均値である平均サイズＡＳを推定する。 A-4. Effect of this embodiment:
As described above, the plant cultivation management server 100 of this embodiment includes the target data acquisition unit 115 and the average size estimation unit 116 . The target data acquisition unit 115 acquires target image data I(o), which is image data generated by photographing a cultivation plot PL in which a plurality of target plants OP are cultivated. The average size estimating unit 116 uses image data including color information of the target image data I(o) and an average size estimating model MO created by predetermined machine learning to determine the size of each individual cultivated in the cultivation section PL. Estimate the average size AS, which is the average size of the target plant OP.

このように、本実施形態の植物栽培管理サーバ１００は、栽培区画ＰＬを撮影することにより生成された対象画像データＩ（ｏ）を取得し、対象画像データＩ（ｏ）の色情報を含む画像データと平均サイズ推定モデルＭＯとを用いて、対象植物ＯＰの平均サイズＡＳを推定することができる。そのため、本実施形態の植物栽培管理サーバ１００によれば、対象画像データＩ（ｏ）を取得するだけで対象植物ＯＰの平均サイズＡＳを推定することができ、対象植物ＯＰの平均サイズＡＳの推定に要する労力および時間を低減することができる。 As described above, the plant cultivation management server 100 of the present embodiment acquires the target image data I(o) generated by photographing the cultivation plot PL, and obtains an image including the color information of the target image data I(o). Using the data and the mean size estimation model MO, the mean size AS of the target plant OP can be estimated. Therefore, according to the plant cultivation management server 100 of the present embodiment, the average size AS of the target plant OP can be estimated only by acquiring the target image data I(o), and the average size AS of the target plant OP can be estimated. can reduce the labor and time required for

また、本実施形態の植物栽培管理サーバ１００は、さらに、対象植物ＯＰが複数栽培された栽培区画ＰＬを複数の日時に撮影することにより生成された画像データである複数の訓練用画像データＩ（ｔ）と、訓練用画像データＩ（ｔ）により表される栽培区画ＰＬにおける対象植物ＯＰの植物の平均サイズＡＳを示す平均サイズデータと、が関連付けられた訓練データＴＤを取得する訓練データ取得部１１２と、訓練データＴＤを用いた機械学習により、平均サイズ推定モデルＭＯを取得するモデル取得部１１４とを備える。そのため、本実施形態の植物栽培管理サーバ１００によれば、他の装置を用いずとも、平均サイズ推定モデルＭＯを取得することができ、平均サイズ推定モデルＭＯを用いて対象植物ＯＰの平均サイズＡＳを推定することができ、対象植物ＯＰの平均サイズＡＳの推定に要する労力および時間をさらに低減することができる。 In addition, the plant cultivation management server 100 of the present embodiment further includes a plurality of training image data I ( t) and average size data indicating the average size AS of the target plant OP in the cultivation plot PL represented by the training image data I(t), and a training data acquisition unit that acquires training data TD associated with each other. 112, and a model acquisition unit 114 that acquires an average size estimation model MO by machine learning using the training data TD. Therefore, according to the plant cultivation management server 100 of the present embodiment, the average size estimation model MO can be obtained without using another device, and the average size AS of the target plant OP can be obtained using the average size estimation model MO. can be estimated, and the labor and time required for estimating the average size AS of the target plant OP can be further reduced.

また、本実施形態の植物栽培管理サーバ１００では、訓練用画像データＩ（ｔ）および対象画像データＩ（ｏ）は、レンズの光軸と水平面とのなす角が２０度以上である撮影装置３００（俯瞰撮影装置３００Ａ）により栽培区画ＰＬを撮影することにより生成された画像データである俯瞰画像データＩｏを含む。そのため、本実施形態の植物栽培管理サーバ１００によれば、栽培区画ＰＬが比較的広い画像領域に表された画像を用いて平均サイズＡＳを推定することができ、対象植物ＯＰの平均サイズＡＳの推定の精度を向上させることができる。 In addition, in the plant cultivation management server 100 of the present embodiment, the training image data I(t) and the target image data I(o) are stored in the photographing device 300 in which the angle between the optical axis of the lens and the horizontal plane is 20 degrees or more. It includes bird's-eye view image data Io, which is image data generated by photographing the cultivation section PL by (the bird's-eye view photographing device 300A). Therefore, according to the plant cultivation management server 100 of the present embodiment, the average size AS can be estimated using an image in which the cultivation section PL is represented in a relatively wide image area, and the average size AS of the target plant OP can be estimated. The accuracy of estimation can be improved.

また、本実施形態の植物栽培管理サーバ１００では、訓練用画像データＩ（ｔ）および対象画像データＩ（ｏ）は、俯瞰画像データＩｏに加えて、レンズの光軸と水平面とのなす角が２０度未満である撮影装置３００（水平撮影装置３００Ｂ）により栽培区画ＰＬを撮影することにより生成された画像データである水平画像データＩｈを含む。また、モデル取得部１１４は、俯瞰画像データＩｏについての訓練データＴＤを用いた機械学習により、俯瞰用平均サイズ推定モデルＭＯｏを取得すると共に、水平画像データＩｈについての訓練データＴＤを用いた機械学習により、水平用平均サイズ推定モデルＭＯｈを取得する。平均サイズ推定部１１６は、俯瞰画像データＩｏである対象画像データＩ（ｏ）については、俯瞰用平均サイズ推定モデルＭＯｏを用いて平均サイズＡＳを推定し、水平画像データＩｈである対象画像データＩ（ｏ）については、水平用平均サイズ推定モデルＭＯｈを用いて平均サイズＡＳを推定する。そのため、本実施形態の植物栽培管理サーバ１００によれば、画像の撮影角度に応じて最適化されたモデルを用いて平均サイズＡＳを推定することができ、対象植物ＯＰの平均サイズＡＳの推定の精度をさらに向上させることができる。 Further, in the plant cultivation management server 100 of the present embodiment, the training image data I(t) and the target image data I(o) are, in addition to the overhead image data Io, the angle between the optical axis of the lens and the horizontal plane. It includes horizontal image data Ih, which is image data generated by photographing the cultivation section PL with the photographing device 300 (horizontal photographing device 300B) that is less than 20 degrees. In addition, the model acquisition unit 114 acquires a bird's-eye view average size estimation model MOo by machine learning using the training data TD for the bird's-eye view image data Io, and machine learning using the training data TD for the horizontal image data Ih. obtains the horizontal average size estimation model MOh. The average size estimation unit 116 estimates the average size AS of the target image data I(o), which is the bird's-eye view image data Io, using the bird's-eye view average size estimation model MOo, and calculates the target image data I(o), which is the horizontal image data Ih. For (o), the average size AS is estimated using the horizontal average size estimation model MOh. Therefore, according to the plant cultivation management server 100 of the present embodiment, the average size AS can be estimated using a model optimized according to the imaging angle of the image. Accuracy can be further improved.

また、本実施形態の植物栽培管理サーバ１００では、訓練用画像データＩ（ｔ）および対象画像データＩ（ｏ）は、栽培区画ＰＬを、予め設定された昼間時間内に撮影することにより生成された画像データＩである。そのため、本実施形態の植物栽培管理サーバ１００によれば、栽培区画ＰＬにおいて栽培されている対象植物ＯＰの色が比較的忠実に表された画像を用いて平均サイズＡＳを推定することができ、対象植物ＯＰの平均サイズＡＳの推定の精度を向上させることができる。 In addition, in the plant cultivation management server 100 of the present embodiment, the training image data I(t) and the target image data I(o) are generated by photographing the cultivation plot PL during the preset daytime hours. image data I. Therefore, according to the plant cultivation management server 100 of the present embodiment, the average size AS can be estimated using an image in which the color of the target plant OP cultivated in the cultivation section PL is relatively faithfully represented, It is possible to improve the accuracy of estimating the average size AS of the target plant OP.

また、本実施形態の植物栽培管理サーバ１００では、訓練用画像データＩ（ｔ）および対象画像データＩ（ｏ）は、複数の栽培区画ＰＬを含む範囲を撮影し、栽培区画ＰＬ毎にトリミングすることにより生成された画像データＩである。そのため、本実施形態の植物栽培管理サーバ１００によれば、栽培区画ＰＬ毎に対象植物ＯＰの生育状況に差異がある場合であっても、各栽培区画ＰＬにおいて栽培されている対象植物ＯＰの平均サイズＡＳを高精度に推定することができる。なお、このときのトリミングは、上述したトリミング条件２，３のように、一の栽培区画ＰＬについてトリミングされた画像が、他の栽培区画ＰＬにおいて栽培されている対象植物ＯＰを表す画素を含まないように実行されてもよい。このようにすれば、他の栽培区画ＰＬの対象植物ＯＰを表す画素の影響を排除することができ、各栽培区画ＰＬにおいて栽培されている対象植物ＯＰの平均サイズＡＳをさらに高精度に推定することができる。 In addition, in the plant cultivation management server 100 of the present embodiment, the training image data I(t) and the target image data I(o) are photographed in a range including a plurality of cultivation plots PL, and trimmed for each cultivation plot PL. This is image data I generated by Therefore, according to the plant cultivation management server 100 of the present embodiment, even if there is a difference in the growth status of the target plant OP for each cultivation section PL, the average of the target plant OP cultivated in each cultivation section PL The size AS can be estimated with high accuracy. In this trimming, the image trimmed for one cultivation section PL does not include pixels representing the target plant OP cultivated in another cultivation section PL, as in the trimming conditions 2 and 3 described above. may be executed as follows: In this way, the influence of the pixels representing the target plants OP in other cultivation plots PL can be eliminated, and the average size AS of the target plants OP cultivated in each cultivation plot PL can be estimated with higher accuracy. be able to.

また、本実施形態の植物栽培管理サーバ１００は、さらに、収穫日時予測部１１７を備える。収穫日時予測部１１７は、対象画像データＩ（ｏ）について推定された平均サイズＡＳに基づき、対象植物ＯＰの収穫日時Ｔｅを予測する。そのため、本実施形態の植物栽培管理サーバ１００によれば、対象画像データＩ（ｏ）を取得するだけで対象植物ＯＰの収穫日時Ｔｅを予測することができ、植物栽培の効率化や最適化を効果的に実現することができる。 Moreover, the plant cultivation management server 100 of this embodiment further includes a harvest date/time prediction unit 117 . The harvest date/time prediction unit 117 predicts the harvest date/time Te of the target plant OP based on the average size AS estimated for the target image data I(o). Therefore, according to the plant cultivation management server 100 of the present embodiment, it is possible to predict the harvest date and time Te of the target plant OP simply by acquiring the target image data I(o). can be effectively implemented.

また、本実施形態の植物栽培管理サーバ１００では、対象データ取得部１１５は、対象植物ＯＰを複数の日時に撮影することにより生成された複数の対象画像データＩ（ｏ）を取得し、平均サイズ推定部１１６は、複数の対象画像データＩ（ｏ）について平均サイズＡＳを推定する。また、収穫日時予測部１１７は、一の対象画像データＩ（ｏ）についての対象植物ＯＰの収穫日時Ｔｅを、該一の対象画像データＩ（ｏ）について推定された平均サイズＡＳと、該一の対象画像データＩ（ｏ）の撮影日時より前に撮影された各対象画像データＩ（ｏ）について推定された平均サイズＡＳと、に基づき予測する。そのため、本実施形態の植物栽培管理サーバ１００によれば、対象植物の収穫日時Ｔｅを精度良く予測することができ、植物栽培の効率化や最適化をさらに効果的に実現することができる。 In addition, in the plant cultivation management server 100 of the present embodiment, the target data acquisition unit 115 acquires a plurality of target image data I(o) generated by photographing the target plant OP at a plurality of dates and times, and obtains the average size The estimation unit 116 estimates an average size AS for a plurality of pieces of target image data I(o). In addition, the harvest date/time prediction unit 117 calculates the harvest date/time Te of the target plant OP for one target image data I(o), the average size AS estimated for the one target image data I(o), and the estimated average size AS for the one target image data I(o). and the average size AS estimated for each target image data I(o) captured before the shooting date and time of the target image data I(o). Therefore, according to the plant cultivation management server 100 of the present embodiment, it is possible to accurately predict the harvest date and time Te of the target plant, and it is possible to more effectively achieve efficiency and optimization of plant cultivation.

また、本実施形態の植物栽培管理サーバ１００では、対象植物ＯＰは、葉物野菜であり、平均サイズＡＳは、対象植物ＯＰの平均草丈である。そのため、本実施形態の植物栽培管理サーバ１００によれば、葉物野菜の平均草丈の推定に要する労力および時間を低減することができる。 In addition, in the plant cultivation management server 100 of the present embodiment, the target plants OP are leafy vegetables, and the average size AS is the average plant height of the target plants OP. Therefore, according to the plant cultivation management server 100 of this embodiment, it is possible to reduce the labor and time required for estimating the average plant height of leafy vegetables.

また、本実施形態の植物栽培管理システム１０は、植物栽培管理サーバ１００と、植物栽培管理サーバ１００との間で通信ネットワークＮＥＴを介して通信可能な端末装置２００とを備える。また、植物栽培管理サーバ１００は、さらに、推定された対象植物ＯＰの平均サイズＡＳを示す推定平均サイズデータＳＤを、通信ネットワークＮＥＴを介して端末装置２００に向けて送信する情報送信部１１８を備える。このように、本実施形態の植物栽培管理システム１０では、植物栽培管理サーバ１００の情報送信部１１８が、推定された対象植物ＯＰの平均サイズＡＳを示す推定平均サイズデータＳＤを端末装置２００に向けて送信するため、端末装置２００を保持する農作業者は、植物工場ＰＦ以外の地点に居ても対象植物ＯＰの平均サイズＡＳを把握することができ、植物栽培の効率化や最適化をさらに効果的に実現することができる。 Moreover, the plant cultivation management system 10 of this embodiment is provided with the plant cultivation management server 100 and the terminal device 200 which can communicate with the plant cultivation management server 100 via the communication network NET. The plant cultivation management server 100 further includes an information transmission unit 118 that transmits estimated average size data SD indicating the estimated average size AS of the target plant OP to the terminal device 200 via the communication network NET. . Thus, in the plant cultivation management system 10 of the present embodiment, the information transmission unit 118 of the plant cultivation management server 100 directs the estimated average size data SD indicating the estimated average size AS of the target plant OP to the terminal device 200. Therefore, the farmer holding the terminal device 200 can grasp the average size AS of the target plant OP even if he is at a point other than the plant factory PF. can be practically realized.

また、本実施形態の植物栽培管理システム１０は、さらに、対象植物ＯＰが栽培されている圃場（例えば、植物工場ＰＦ）に設置され、植物栽培管理システム１０との間で通信ネットワークＮＥＴを介して通信可能な撮影装置３００を備える。また、植物栽培管理システム１０の対象データ取得部１１５は、撮影装置３００が栽培区画ＰＬを撮影することにより生成された画像データＩである対象画像データＩ（ｏ）を、通信ネットワークＮＥＴを介して取得する。そのため、本実施形態の植物栽培管理システム１０では、撮影者（例えば、農作業者）が圃場に出向くことなく対象画像データＩ（ｏ）を取得することができ、取得された対象画像データＩ（ｏ）を用いて対象植物ＯＰの平均サイズＡＳを推定することができるため、植物栽培の効率化や最適化を極めて効果的に実現することができる。 In addition, the plant cultivation management system 10 of the present embodiment is further installed in a field (for example, a plant factory PF) where the target plant OP is cultivated, and communicates with the plant cultivation management system 10 via the communication network NET. A communicable photographing device 300 is provided. In addition, the target data acquisition unit 115 of the plant cultivation management system 10 acquires the target image data I(o), which is the image data I generated by the photographing device 300 photographing the cultivation plot PL, via the communication network NET. get. Therefore, in the plant cultivation management system 10 of the present embodiment, the target image data I(o) can be acquired without the photographer (for example, farm worker) going to the field, and the acquired target image data I(o) ) can be used to estimate the average size AS of the target plant OP, so the efficiency and optimization of plant cultivation can be realized very effectively.

Ａ－５．実施例：
上述した本実施形態の植物栽培管理サーバ１００による平均サイズＡＳの推定の精度を検証するために行った実施例について、以下説明する。図１２は、各平均サイズ推定モデルＭＯについての平均サイズＡＳの予測精度を示す説明図である。図１２には、平均サイズＡＳの推定に用いる各平均サイズ推定モデルＭＯについて、平均サイズＡＳの予測精度の指標としての決定係数（Ｒ２）の値が示されている。実施例Ｅ１は、俯瞰画像データＩｏのみを対象として俯瞰用平均サイズ推定モデルＭＯｏを用いて平均サイズＡＳを推定した例であり、実施例Ｅ２は、水平画像データＩｈのみを対象として水平用平均サイズ推定モデルＭＯｈを用いて平均サイズＡＳを推定した例であり、実施例Ｅ３は、俯瞰画像データＩｏについては俯瞰用平均サイズ推定モデルＭＯｏを用いて平均サイズＡＳを推定し、水平画像データＩｈについては水平用平均サイズ推定モデルＭＯｈを用いて平均サイズＡＳを推定した例である。また、実施例Ｅ４は、俯瞰用と水平用とを区別せず、俯瞰画像データＩｏと水平画像データＩｈとが混在した訓練データＴＤを用いて作成された共通の平均サイズ推定モデルＭＯを用いて、俯瞰画像データＩｏと水平画像データＩｈとが混在した対象画像データＩ（ｏ）についての平均サイズＡＳを推定した例である。なお、各実施例では、７時～１７時の時間帯に撮影された画像データＩのみを対象とし、上述したトリミング条件１に従ってトリミングした画像を用いた。また、平均サイズ推定モデルＭＯの作成のための機械学習は、ＶＧＧ１６を用い、並列アンサンブル法に従い５個の基本学習器の予測結果を単純平均した。 A-5. Example:
An example performed to verify the accuracy of estimation of the average size AS by the plant cultivation management server 100 of the present embodiment described above will be described below. FIG. 12 is an explanatory diagram showing the prediction accuracy of the average size AS for each average size estimation model MO. FIG. 12 shows the coefficient of determination (R 2 ) value as an index of the prediction accuracy of the average size AS for each average size estimation model MO used for estimating the average size AS. Example E1 is an example in which the average size AS is estimated using the bird's-eye view average size estimation model MOo only for the bird's-eye view image data Io. This is an example in which the average size AS is estimated using the estimation model MOh. In Example E3, the average size AS is estimated using the bird's-eye average size estimation model MOo for the bird's-eye view image data Io, and for the horizontal image data Ih This is an example of estimating the average size AS using the horizontal average size estimation model MOh. In addition, Example E4 does not distinguish between overhead view and horizontal use, and uses a common average size estimation model MO created using training data TD in which overhead image data Io and horizontal image data Ih are mixed. 3 is an example of estimating an average size AS for target image data I(o) in which bird's-eye view image data Io and horizontal image data Ih are mixed. In each example, only the image data I captured during the time period from 7:00 to 17:00 was used, and an image trimmed according to the trimming condition 1 described above was used. In machine learning for creating the average size estimation model MO, VGG16 was used, and prediction results of five basic learners were simply averaged according to the parallel ensemble method.

実施例Ｅ３と実施例Ｅ４とを比較すると、実施例Ｅ３の方が平均サイズＡＳの推定精度が高い。そのため、俯瞰画像データＩｏと水平画像データＩｈとが混在した訓練データＴＤを用いて作成された共通の平均サイズ推定モデルＭＯを用いて、俯瞰画像データＩｏと水平画像データＩｈとが混在した対象画像データＩ（ｏ）についての平均サイズＡＳを推定するより、俯瞰画像データＩｏについては俯瞰用平均サイズ推定モデルＭＯｏを用いて平均サイズＡＳを推定し、水平画像データＩｈについては水平用平均サイズ推定モデルＭＯｈを用いて平均サイズＡＳを推定した方が好ましいと言える。この理由は、俯瞰画像データＩｏのみを用いて俯瞰用平均サイズ推定モデルＭＯｏを作成すれば、該モデルは俯瞰画像データＩｏに特化したモデルとなり、俯瞰画像データＩｏからの平均サイズＡＳの推定の精度が向上するため（水平画像データＩｈについても同様）であると考えられる。 Comparing Example E3 and Example E4, Example E3 has higher accuracy in estimating the average size AS. Therefore, using a common average size estimation model MO created using the training data TD in which the overhead image data Io and the horizontal image data Ih are mixed, the target image in which the overhead image data Io and the horizontal image data Ih are mixed Rather than estimating the average size AS for the data I(o), the average size AS for the overhead image data Io is estimated using the overhead average size estimation model MOo, and the horizontal average size estimation model for the horizontal image data Ih. It can be said that it is preferable to estimate the average size AS using MOh. The reason for this is that if the bird's-eye view average size estimation model MOo is created using only the bird's-eye view image data Io, the model becomes a model specialized for the bird's-eye view image data Io, and it is difficult to estimate the average size AS from the bird's-eye view image data Io. It is considered that this is because the accuracy is improved (the same is true for the horizontal image data Ih).

また、実施例Ｅ１と実施例Ｅ２とを比較すると、実施例Ｅ１の方が平均サイズＡＳの推定精度が高い。そのため、水平画像データＩｈを用いるより、俯瞰画像データＩｏを用いて平均サイズ推定モデルＭＯの作成や平均サイズＡＳの推定を行う方が好ましいと言える。この理由は、俯瞰画像データＩｏは、栽培区画ＰＬが比較的広い画像領域に表された画像であり、栽培区画ＰＬにおいて栽培されている対象植物ＯＰのサイズに関する特徴がよく表れた画像となるためであると考えられる。 Further, when Example E1 and Example E2 are compared, Example E1 has higher accuracy in estimating the average size AS. Therefore, it can be said that it is preferable to use the bird's-eye view image data Io to create the average size estimation model MO and estimate the average size AS rather than using the horizontal image data Ih. The reason for this is that the bird's-eye view image data Io is an image in which the cultivation section PL is represented in a relatively wide image area, and is an image that well expresses the characteristics related to the size of the target plant OP cultivated in the cultivation section PL. It is considered to be

図１２は、各トリミング条件についての平均サイズＡＳの予測精度を示す説明図である。図１３には、画像データＩに対する各トリミング条件について、平均サイズＡＳの予測精度の指標としての決定係数（Ｒ２）の値が示されている。実施例Ｅ１１は、上述したトリミング条件１に従ってトリミングを行った画像データＩを用いて平均サイズ推定モデルＭＯの作成および平均サイズＡＳの推定を行った例であり、実施例Ｅ１２は、上述したトリミング条件２に従ってトリミングを行った画像データＩを用いて平均サイズ推定モデルＭＯの作成および平均サイズＡＳの推定を行った例であり、実施例Ｅ１３は、上述したトリミング条件３に従ってトリミングを行った画像データＩを用いて平均サイズ推定モデルＭＯの作成および平均サイズＡＳの推定を行った例である。なお、各実施例では、７時～１７時の時間帯に撮影された画像データＩのみを対象とした。また、平均サイズ推定モデルＭＯの作成のための機械学習は、ＶＧＧ１６を用い、並列アンサンブル法に従い５個の基本学習器の予測結果を単純平均した。また、俯瞰画像データＩｏについては俯瞰用平均サイズ推定モデルＭＯｏを用いて平均サイズＡＳを推定し、水平画像データＩｈについては水平用平均サイズ推定モデルＭＯｈを用いて平均サイズＡＳを推定した。 FIG. 12 is an explanatory diagram showing the prediction accuracy of the average size AS for each trimming condition. FIG. 13 shows the coefficient of determination (R 2 ) value as an index of the prediction accuracy of the average size AS for each trimming condition for the image data I. As shown in FIG. Example E11 is an example of creating an average size estimation model MO and estimating an average size AS using the image data I trimmed according to the trimming condition 1 described above. Example E13 is an example of creating an average size estimation model MO and estimating an average size AS using image data I trimmed according to 2. Example E13 is an example of image data I trimmed according to trimming condition 3 described above. is used to create an average size estimation model MO and estimate an average size AS. In each example, only the image data I captured during the time period from 7:00 to 17:00 was considered. In machine learning for creating the average size estimation model MO, VGG16 was used, and prediction results of five basic learners were simply averaged according to the parallel ensemble method. For the bird's-eye view image data Io, the average size AS was estimated using the bird's-eye average size estimation model MOo, and for the horizontal image data Ih, the average size AS was estimated using the horizontal average size estimation model MOh.

実施例Ｅ１１，Ｅ１２，Ｅ１３を比較すると、実施例Ｅ１１と比較して、実施例Ｅ１２，Ｅ１３では平均サイズＡＳの推定精度が高い。トリミング条件１に従ってトリミングを行った画像データＩを用いて平均サイズ推定モデルＭＯの作成および平均サイズＡＳの推定を行うより、トリミング条件２またはトリミング条件３に従ってトリミングを行った画像データＩを用いて平均サイズ推定モデルＭＯの作成および平均サイズＡＳの推定を行う方が好ましいと言える。トリミング条件２およびトリミング条件３は、一の栽培区画ＰＬについてトリミングされた画像が、他の栽培区画ＰＬにおいて栽培されている対象植物ＯＰを表す画素を含まないように実行されるトリミング条件である。そのため、一の栽培区画ＰＬについてトリミングされた画像が、他の栽培区画ＰＬにおいて栽培されている対象植物ＯＰを表す画素を含まないように実行されるトリミング条件を採用すれば、各栽培区画ＰＬにおいて栽培されている対象植物ＯＰの平均サイズＡＳをさらに高精度に推定することができると言える。 Comparing Examples E11, E12, and E13, Examples E12 and E13 have higher estimation accuracy of the average size AS than Example E11. Rather than creating an average size estimation model MO and estimating the average size AS using the image data I trimmed according to the trimming condition 1, the image data I trimmed according to the trimming condition 2 or trimming condition 3 is averaged It can be said that it is preferable to create a size estimation model MO and estimate the average size AS. Trimming condition 2 and trimming condition 3 are trimming conditions that are executed so that an image trimmed for one cultivation plot PL does not include pixels representing target plants OP grown in other cultivation plots PL. Therefore, if a trimming condition that is executed so that the image trimmed for one cultivation section PL does not include pixels representing the target plant OP cultivated in another cultivation section PL, then in each cultivation section PL It can be said that the average size AS of the cultivated target plant OP can be estimated with higher accuracy.

Ｂ．変形例：
本明細書で開示される技術は、上述の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の形態に変形することができ、例えば次のような変形も可能である。 B. Variant:
The technology disclosed in this specification is not limited to the above-described embodiments, and can be modified in various forms without departing from the scope of the invention. For example, the following modifications are possible.

上記実施形態における植物栽培管理システム１０の構成は、あくまで一例であり、種々変形可能である。例えば、上記実施形態では、植物栽培管理システム１０が撮影装置３００を備えているが、植物栽培管理システム１０が撮影装置３００を備えていなくてもよい。植物栽培管理システム１０が撮影装置３００を備えていない場合であっても、例えば、農作業者が撮影装置（例えば、端末装置２００に搭載されているカメラ）を用いて植物工場ＰＦ内で栽培されている植物を撮影することにより画像データを生成し、該画像データを植物栽培管理サーバ１００に送信することにより、植物栽培管理サーバ１００は植物の画像データを取得することができる。 The configuration of the plant cultivation management system 10 in the above embodiment is merely an example, and various modifications are possible. For example, although the plant cultivation management system 10 includes the imaging device 300 in the above embodiment, the plant cultivation management system 10 may not include the imaging device 300 . Even if the plant cultivation management system 10 does not include the photographing device 300, for example, a farm worker may use a photographing device (for example, a camera mounted on the terminal device 200) to cultivate in the plant factory PF. The plant cultivation management server 100 can acquire the image data of the plant by generating the image data by photographing the plant that is present and transmitting the image data to the plant cultivation management server 100 .

また、上記実施形態では、撮影装置３００は、撮影の都度、撮影により生成された画像データを植物栽培管理サーバ１００に送信するとしているが、他のタイミング（例えば、植物栽培管理サーバ１００からの要求があったタイミング）で画像データを植物栽培管理サーバ１００に送信するとしてもよい。 Further, in the above-described embodiment, the photographing device 300 transmits image data generated by photography to the plant cultivation management server 100 each time photographing is performed. The image data may be transmitted to the plant cultivation management server 100 at the timing when the

また、上記実施形態では、植物栽培管理サーバ１００が、平均サイズ推定モデルＭＯを作成するための平均サイズ推定モデル作成処理を実行しているが、平均サイズ推定モデル作成処理が、植物栽培管理サーバ１００以外の他の装置により実行され、植物栽培管理サーバ１００のモデル取得部１１４が、該他の装置から平均サイズ推定モデルＭＯを取得するものとしてもよい。あるいは、植物栽培管理サーバ１００が、該他の装置に対象画像データＩ（ｏ）を送信し、該他の装置において平均サイズ推定モデルＭＯを用いて推定された平均サイズＡＳを植物栽培管理サーバ１００が取得するとしてもよい。 In the above embodiment, the plant cultivation management server 100 executes the average size estimation model creation process for creating the average size estimation model MO. The model acquisition unit 114 of the plant cultivation management server 100 may acquire the average size estimation model MO from the other device. Alternatively, the plant cultivation management server 100 transmits the target image data I(o) to the other device, and transmits the average size AS estimated using the average size estimation model MO in the other device to the plant cultivation management server 100. may obtain.

また、上記実施形態における植物栽培支援処理の内容は、あくまで一例であり、種々変形可能である。例えば、上記実施形態における植物栽培支援処理では、平均サイズＡＳの推定（Ｓ２２０）と収穫日時Ｔｅの予測（Ｓ２４０）とが実行されているが、平均サイズＡＳの推定のみが実行され、収穫日時Ｔｅの予測は実行されないとしてもよい。 Also, the content of the plant cultivation support process in the above embodiment is merely an example, and various modifications are possible. For example, in the plant cultivation support process in the above embodiment, the estimation of the average size AS (S220) and the prediction of the harvest date/time Te (S240) are performed, but only the estimation of the average size AS is performed and the harvest date/time Te is performed. may not be performed.

上記実施形態では、平均サイズＡＳからの収穫日時Ｔｅの予測が単回帰により実行されているが、収穫日時Ｔｅの予測が他の手法（例えば重回帰）により実行されてもよい。 In the above embodiment, the harvest date/time Te is predicted from the average size AS by simple regression, but the harvest date/time Te may be predicted by another method (for example, multiple regression).

また、上記各実施形態において、ハードウェアによって実現されている構成の一部をソフトウェアに置き換えるようにしてもよく、反対に、ソフトウェアによって実現されている構成の一部をハードウェアに置き換えるようにしてもよい。 Further, in each of the above embodiments, part of the configuration realized by hardware may be replaced with software, and conversely, part of the configuration realized by software may be replaced with hardware. good too.

１０：植物栽培管理システム １００：植物栽培管理サーバ １１０：制御部 １１１：植物栽培管理部 １１２：訓練データ取得部 １１４：モデル取得部 １１５：対象データ取得部 １１６：平均サイズ推定部 １１７：収穫日時予測部 １１８：情報送信部 １２０：記憶部 １３０：表示部 １４０：操作入力部 １５０：インターフェース部 １９０：バス ２００：端末装置 ２１０：表示部 ３００：撮影装置 ３００Ａ：俯瞰撮影装置 ３００Ｂ：水平撮影装置 ＣＰ：植物栽培管理プログラム ＧＤ：推定平均サイズデータ ＭＯ：平均サイズ推定モデル ＭＯｈ：水平用平均サイズ推定モデル ＭＯｏ：俯瞰用平均サイズ推定モデル ＮＥＴ：通信ネットワーク ＯＰ：対象植物 ＰＤ：予測収穫日時データ ＰＦ：植物工場 ＰＬ：栽培区画 ＳＤ：推定平均サイズデータ ＴＤ：訓練データ ＴＦ：トリミング枠 10: Plant cultivation management system 100: Plant cultivation management server 110: Control unit 111: Plant cultivation management unit 112: Training data acquisition unit 114: Model acquisition unit 115: Target data acquisition unit 116: Average size estimation unit 117: Harvest date and time prediction Unit 118: Information transmitting unit 120: Storage unit 130: Display unit 140: Operation input unit 150: Interface unit 190: Bus 200: Terminal device 210: Display unit 300: Photographing device 300A: Bird's eye photographing device 300B: Horizontal photographing device CP: Plant cultivation management program GD: Estimated average size data MO: Average size estimation model MOh: Horizontal average size estimation model MOo: Overhead average size estimation model NET: Communication network OP: Target plant PD: Predicted harvest date data PF: Plant factory PL: cultivation plot SD: estimated average size data TD: training data TF: trimming frame

Claims (14)

情報処理装置であって、
特定種類の植物である対象植物が複数栽培された栽培区画を撮影することにより生成された画像データである対象画像データを取得する対象データ取得部と、
前記対象画像データの色情報を含む画像データと、所定の機械学習により作成されたモデルとを用いて、前記栽培区画において栽培されている各前記対象植物のサイズの平均値である平均サイズを推定する平均サイズ推定部と、
を備える、
情報処理装置。 An information processing device,
a target data acquisition unit that acquires target image data, which is image data generated by photographing a cultivation plot in which a plurality of target plants, which are plants of a specific type, are cultivated;
Estimate an average size, which is the average size of each target plant cultivated in the cultivation plot, using image data including color information of the target image data and a model created by predetermined machine learning. an average size estimator that
comprising
Information processing equipment. 請求項１に記載の情報処理装置であって、さらに、
前記対象植物が複数栽培された栽培区画を複数の日時に撮影することにより生成された画像データである複数の訓練用画像データと、前記訓練用画像データにより表される前記栽培区画における前記対象植物の平均サイズを示す平均サイズデータと、が関連付けられた訓練データを取得する訓練データ取得部と、
前記訓練データを用いた前記機械学習により、前記モデルを取得するモデル取得部と、
を備える、
情報処理装置。 The information processing apparatus according to claim 1, further comprising:
A plurality of training image data, which is image data generated by photographing a cultivation section in which a plurality of target plants are cultivated at a plurality of dates and times, and the target plant in the cultivation section represented by the training image data. A training data acquisition unit that acquires training data associated with average size data indicating the average size of
a model acquisition unit that acquires the model by the machine learning using the training data;
comprising
Information processing equipment. 請求項２に記載の情報処理装置であって、
前記訓練用画像データおよび前記対象画像データは、レンズの光軸と水平面とのなす角が２０度以上である撮影装置により前記栽培区画を撮影することにより生成された画像データである俯瞰画像データを含む、
情報処理装置。 The information processing device according to claim 2,
The training image data and the target image data are bird's-eye view image data that is image data generated by photographing the cultivation plot with a photographing device in which the angle between the optical axis of the lens and the horizontal plane is 20 degrees or more. include,
Information processing equipment. 請求項３に記載の情報処理装置であって、
前記訓練用画像データおよび前記対象画像データは、前記俯瞰画像データに加えて、レンズの光軸と水平面とのなす角が２０度未満である撮影装置により前記栽培区画を撮影することにより生成された画像データである水平画像データを含み、
前記モデル取得部は、前記俯瞰画像データについての前記訓練データを用いた前記機械学習により、第１の前記モデルを取得すると共に、前記水平画像データについての前記訓練データを用いた前記機械学習により、第２の前記モデルを取得し、
前記平均サイズ推定部は、前記俯瞰画像データである前記対象画像データについては、前記第１のモデルを用いて前記平均サイズを推定し、前記水平画像データである前記対象画像データについては、前記第２のモデルを用いて前記平均サイズを推定する、
情報処理装置。 The information processing device according to claim 3,
The training image data and the target image data, in addition to the bird's-eye view image data, were generated by photographing the cultivation plot with a photographing device in which the angle between the optical axis of the lens and the horizontal plane is less than 20 degrees. including horizontal image data, which is image data;
The model acquisition unit acquires the first model by the machine learning using the training data for the bird's-eye view image data, and by the machine learning using the training data for the horizontal image data, obtaining a second said model;
The average size estimation unit estimates the average size of the target image data, which is the bird's-eye view image data, using the first model, and estimates the average size of the target image data, which is the horizontal image data, using the first model. estimating the average size using a model of 2;
Information processing equipment. 請求項２から請求項４までのいずれか一項に記載の情報処理装置であって、
前記訓練用画像データおよび前記対象画像データは、前記栽培区画を、予め設定された昼間時間内に撮影することにより生成された画像データである、
情報処理装置。 The information processing device according to any one of claims 2 to 4,
The training image data and the target image data are image data generated by photographing the cultivation plot during a preset daytime,
Information processing equipment. 請求項２から請求項５までのいずれか一項に記載の情報処理装置であって、
前記訓練用画像データおよび前記対象画像データは、複数の前記栽培区画を含む範囲を撮影し、前記栽培区画毎にトリミングすることにより生成された画像データである、
情報処理装置。 The information processing device according to any one of claims 2 to 5,
The training image data and the target image data are image data generated by photographing a range including a plurality of the cultivation plots and trimming each cultivation plot.
Information processing equipment. 請求項６に記載の情報処理装置であって、
前記トリミングは、一の前記栽培区画についてトリミングされた画像が、他の前記栽培区画において栽培されている前記対象植物を表す画素を含まないように実行される、
情報処理装置。 The information processing device according to claim 6,
The trimming is performed so that the image trimmed for one of the cultivation plots does not include pixels representing the target plant cultivated in another of the cultivation plots.
Information processing equipment. 請求項１から請求項７までのいずれか一項に記載の情報処理装置であって、さらに、
前記対象画像データについて推定された前記対象植物の平均サイズに基づき、前記対象植物の収穫日時を予測する収穫日時予測部を備える、
情報処理装置。 The information processing apparatus according to any one of claims 1 to 7, further comprising:
a harvest date and time prediction unit that predicts the harvest date and time of the target plant based on the average size of the target plant estimated for the target image data;
Information processing equipment. 請求項８に記載の情報処理装置であって、
前記対象データ取得部は、前記栽培区画を複数の日時に撮影することにより生成された複数の前記対象画像データを取得し、
前記平均サイズ推定部は、複数の前記対象画像データについて前記対象植物の平均サイズを推定し、
前記収穫日時予測部は、一の前記対象画像データについての前記対象植物の収穫日時を、前記一の対象画像データについて推定された前記対象植物の平均サイズと、前記一の対象画像データの撮影日時より前に撮影された各前記対象画像データについて推定された前記対象植物の平均サイズと、に基づき予測する、
情報処理装置。 The information processing device according to claim 8,
The target data acquisition unit acquires a plurality of target image data generated by photographing the cultivation plot at a plurality of dates and times,
The average size estimating unit estimates the average size of the target plant for a plurality of the target image data,
The harvest date and time prediction unit calculates the harvest date and time of the target plant for the one target image data, the average size of the target plant estimated for the one target image data, and the shooting date and time of the one target image data. Predicting based on the estimated average size of the target plant for each of the target image data taken earlier,
Information processing equipment. 請求項１から請求項９までのいずれか一項に記載の情報処理装置であって、
前記対象植物は、葉物野菜であり、
前記平均サイズは、前記対象植物の平均草丈である、
情報処理装置。 The information processing device according to any one of claims 1 to 9,
The target plant is a leafy vegetable,
The average size is the average plant height of the target plant,
Information processing equipment. 請求項１から請求項１０までのいずれか一項に記載の情報処理装置と、
前記情報処理装置との間で通信ネットワークを介して通信可能な端末装置と、
を備える情報処理システムであって、
前記情報処理装置は、さらに、推定された前記対象植物の平均サイズを示す情報を、前記通信ネットワークを介して前記端末装置に向けて送信する情報送信部を備える、
情報処理システム。 an information processing apparatus according to any one of claims 1 to 10;
a terminal device capable of communicating with the information processing device via a communication network;
An information processing system comprising
The information processing device further comprises an information transmission unit that transmits information indicating the estimated average size of the target plant to the terminal device via the communication network.
Information processing system. 請求項１１に記載の情報処理システムであって、さらに、
前記対象植物が栽培されている圃場に設置され、前記情報処理装置との間で通信ネットワークを介して通信可能な撮影装置を備え、
前記対象データ取得部は、前記撮影装置が前記栽培区画を撮影することにより生成された前記対象画像データを、前記通信ネットワークを介して取得する、
情報処理システム。 The information processing system according to claim 11, further comprising:
A photographing device installed in a field where the target plant is cultivated and capable of communicating with the information processing device via a communication network,
The target data acquisition unit acquires, via the communication network, the target image data generated by the photographing device photographing the cultivation plot.
Information processing system. 情報処理方法であって、
特定種類の植物である対象植物が複数栽培された栽培区画を撮影することにより生成された画像データである対象画像データを取得する工程と、
前記対象画像データの色情報を含む画像データと、所定の機械学習により作成されたモデルとを用いて、前記栽培区画において栽培されている各前記対象植物のサイズの平均値である平均サイズを推定する工程と、
を備える、
情報処理方法。 An information processing method,
a step of obtaining target image data, which is image data generated by photographing a cultivation plot in which a plurality of target plants, which are plants of a specific type, are cultivated;
Estimate an average size, which is the average size of each target plant cultivated in the cultivation plot, using image data including color information of the target image data and a model created by predetermined machine learning. and
comprising
Information processing methods. コンピュータプログラムであって、
コンピュータに、
特定種類の植物である対象植物が複数栽培された栽培区画を撮影することにより生成された画像データである対象画像データを取得する処理と、
前記対象画像データの色情報を含む画像データと、所定の機械学習により作成されたモデルとを用いて、前記栽培区画において栽培されている各前記対象植物のサイズの平均値である平均サイズを推定する処理と、
を実行させる、
コンピュータプログラム。 A computer program,
to the computer,
A process of acquiring target image data, which is image data generated by photographing a cultivation plot in which a plurality of target plants, which are plants of a specific type, are cultivated;
Estimate an average size, which is the average size of each target plant cultivated in the cultivation plot, using image data including color information of the target image data and a model created by predetermined machine learning. and
to run
computer program.
JP2021048473A 2021-03-23 2021-03-23 Information processing device, information processing system, information processing method and computer program Pending JP2022147292A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021048473A JP2022147292A (en) 2021-03-23 2021-03-23 Information processing device, information processing system, information processing method and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021048473A JP2022147292A (en) 2021-03-23 2021-03-23 Information processing device, information processing system, information processing method and computer program

Publications (1)

Publication Number Publication Date
JP2022147292A true JP2022147292A (en) 2022-10-06

Family

ID=83463127

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021048473A Pending JP2022147292A (en) 2021-03-23 2021-03-23 Information processing device, information processing system, information processing method and computer program

Country Status (1)

Country Link
JP (1) JP2022147292A (en)

Similar Documents

Publication Publication Date Title
Zhou et al. Using colour features of cv.‘Gala’apple fruits in an orchard in image processing to predict yield
US11048940B2 (en) Recognition of weed in a natural environment
KR20190106388A (en) Plant growing system providing growing recipe
CN109284771B (en) Tomato growth model determination method and device
JP2019187259A (en) Culture support method, culture support program, culture support device and culture support system
CN111479459A (en) System, method, and program for predicting growth status or disease/pest occurrence status
KR102309568B1 (en) Prediction system for collecting growth information of crop
KR20140077513A (en) System and method for crops information management of greenhouse using image
Lootens et al. High-throughput phenotyping of lateral expansion and regrowth of spaced Lolium perenne plants using on-field image analysis
CN111476149A (en) Plant cultivation control method and system
Solvin et al. Use of UAV photogrammetric data in forest genetic trials: measuring tree height, growth, and phenology in Norway spruce (Picea abies L. Karst.)
Stewart et al. Measuring canopy coverage with digital imaging
JP2020024672A (en) Information processor, information processing method and program
KR20230061863A (en) Apparatus for predicting fruit development stage using ensemble model of convolutional neural network and multi layer perceptron and method thereof
JP7386503B2 (en) Yield estimation program, yield estimation method, and yield estimation device
JP2022147292A (en) Information processing device, information processing system, information processing method and computer program
JP7473951B2 (en) Information processing device, information processing system, information processing method, and computer program
Knerl et al. Optimization of leaf area estimation in a high-density apple orchard using hemispherical photography
JP2018169993A (en) Result prediction device, result prediction method, and program
WO2021006029A1 (en) Information processing device and index value calculation method
JP2023007457A (en) Chlorophyll amount learning estimation system, chlorophyll amount estimation model generation system, chlorophyll amount estimation system, chlorophyll amount estimation method, and computer program
WO2020218157A1 (en) Prediction system, prediction method, and prediction program
JP6931418B2 (en) Image processing methods, image processing devices, user interface devices, image processing systems, servers, and image processing programs
JP2023132624A (en) Information processor, information processing system, information processing method, and computer program
JP2019168874A (en) Tree appearance score estimation device, tree appearance score estimation method, and computer program

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20210326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210326

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240227