CN114828619A - 信息处理设备、计算机程序和信息处理方法 - Google Patents

Abstract

一种信息处理设备包括：图像获取部，用于获取农作物的图像；指标数据生成部，用于基于在多个不同时间获取的农作物的图像生成第一生长指标数据和与第一生长指标数据不同的第二生长指标数据；以及显示数据生成部，用于生成用于显示基于第一生长指标数据生成的农作物的第一生长过程和基于第二生长指标数据生成的农作物的第二生长过程的显示数据。

Description

信息处理设备、计算机程序和信息处理方法

技术领域

本发明涉及适于支援农活的信息处理设备等。

背景技术

在相关技术的农业中，传统上基于农业工人的经验、知识和直觉来确定农作物的生长状况。另一方面，最近考虑了使用物联网(IoT)技术来获取环境传感器的信息、图像数据等并确定生长状况的系统。

然而，在这样的系统中，获取的图像数据等最终由农业工人综合确定，并且获取的数据的累积没有作为有用的数据被充分地利用或共享。

[引用列表]

[专利文献]

[专利文献1]日本特开第2019-165655号公报

发明内容

[技术问题]

专利文献1公开了一种安装在种植农作物的种植园中并获取表示种植园中环境的环境信息的环境信息传感器和安装在种植园中并拍摄农作物图像的摄像设备。专利文献1还公开了一种确定设备，该确定设备基于环境信息和作为从农作物的图像获得的信息的图像信息，来确定剩余累计值，该剩余累计值是在农作物的适当收获之前的预定环境值的累计值。

然而，在专利文献1的技术中，仅确定收获时间，但用于在农作物生长中实现最佳生长的详细信息不足。因此，生长状况取决于天气等状况而变化，但尚未考虑针对生长状况的这种变化采取何种对策是最佳的。

专利文献1没有公开适于供应对农业等有用的信息的信息处理设备。

[解决问题的方案]

根据本发明的方面，可以供应对农作物的生长状况等有用的信息。

根据本发明的方面，一种信息处理设备包括：图像获取部，用于获取田地中的特定农作物的图像；环境信息获取部，用于获取关于田地环境的环境信息数据；指标数据生成部，用于基于图像获取部获取的农作物的图像来生成农作物的生长指标数据；累积部，用于累积由指标数据生成部生成的多个日期和时间的生长指标数据和所述多个日期和时间的环境信息数据；以及显示数据生成部，用于基于累积部中累积的所述多个日期和时间的生长指标数据和所述多个日期和时间的环境信息数据，生成用于显示生长过程的显示数据。

根据本发明的另一方面，一种信息处理设备包括：图像获取部，用于获取农作物的图像；指标数据生成部，用于基于在多个不同时间获取的农作物的图像，来生成第一生长指标数据和与第一生长指标数据不同的第二生长指标数据；以及显示数据生成部，用于生成用于显示基于第一生长指标数据生成的农作物的第一生长过程和基于第二生长指标数据生成的农作物的第二生长过程的显示数据。

附图说明

[图1]图1是示出使用根据第一实施例的信息处理设备的系统的整体构造的图。

[图2]图2是示出图像分析云服务器的功能框图。

[图3]图3是示出以控制服务器为中心的操作流程的流程图。

[图4]图4是示出基于在应用服务器中生成的显示数据的显示画面的示例的图。

[图5]图5是示出显示画面的另一示例的图。

[图6]图6是示出显示画面的又一示例的图。

[图7]图7是示出关联的流程图的示例的图。

[图8]图8是示出关联的流程图的后续示例的图。

[图9]图9是示出进行关联的表等的示例的图。

具体实施方式

在下文中，将参照附图描述本发明的实施例。然而，本发明不限于以下实施例。在附图中，相同的附图标记被赋予相同的构件或元件，并且将省略或简化对其的重复描述。

[第一实施例]

图1是示出使用根据第一实施例的信息处理设备的系统的整体构造的图。

在下文中，将参照图1描述使用根据第一实施例的信息处理设备的系统的整体构造。

使用根据第一实施例的信息处理设备的系统包括网络照相机101、多个传感器设备102、网络(公共线路)103、控制服务器104、数据累积云服务器105和应用服务器106。

该系统包括服务供应管理服务器107、收费结算服务器108、服务承包商的诸如平板电脑等的信息终端109、图像分析云服务器110、学习生长状况的模型云服务器111、以及天气信息服务器112。

在第一实施例中，以服务器或云服务器为例进行描述。然而，它不必具有服务器或云服务器的形式。例如，可以使用具有与各服务器或云服务器的功能类似的功能的电子设备。

在第一实施例中，信息处理设备是至少具有控制服务器104的功能的设备。此外，信息处理设备可以是具有其他服务器105至108、110和111中的部分或全部功能的设备。

网络照相机101可以是固定照相机，也可以是安装在无人机上的照相机，并且具有用于将拍摄到的图像经由有线或无线网络103发送到控制服务器104等的网络接口。

网络照相机101经由网络103从控制服务器104接收诸如摄像指令等的控制信号，并且基于控制信号进行开(ON)/关(OFF)控制、摄像操作、向控制服务器发送拍摄图像等。这里，网络照相机101用作用于获取田地中特定农作物的图像的图像获取部。图像获取部包括例如读取设备，其读取预先记录在记录介质上的特定农作物的图像以获取图像。

用作计算机的CPU嵌入在控制服务器104中，并且用作控制部以基于存储在存储器中的计算机程序来控制系统中的网络照相机、传感器设备以及其他设备的操作。

在第一实施例中，当农作物田地的面积较大时，安装的网络照相机101的数量或安装的传感器设备102的数量可以是多个。

在第一实施例中，将描述作为目标(农作物)的水稻被作为农作物栽培的示例，但同样可以类似地适用于其他禾本科植物。禾本科植物(农作物)的示例包括水稻、小麦、大麦、小米、粟、日本小米和玉米。第一实施例不仅可以适用于禾本科植物，还可以适用于在开阔地栽培的菠菜等。

如下文将描述的，如图4中田地的形式所示，至少一个网络照相机101被构造为从上方对田地的预定位置处的农作物进行摄像。

网络照相机101可以是安装在无人机上的照相机，并且可以使用无人机从上方对例如田地的多个预定位置(样本位置)处的农作物进行摄像。可以通过在使用立体照相机等从上方摄像时基于左侧和右侧的拍摄图像进行测距来获得农作物高度。例如，作为能够进行测距的照相机的立体照相机等可以安装在无人机或移动机器人上，以从固定点的上侧进行摄像和测距。

网络103可以是有线LAN或无线LAN。在第一实施例中，可以假设网络103是无线LAN。

网络103可以是通信服务提供商提供的移动通信网络。在这种情况下，将SIM卡插入网络照相机101主体中的卡适配器中，从而可以连接到公共线路网络。

多个传感器设备102经由网络103连接到控制服务器104，并且各传感器设备响应于来自控制服务器104的传感器数据获取请求而将传感器数据发送到控制服务器104。或者，各传感器设备可以被构造为按照低功率广域(LPWA)通信标准等在各不同的定时以预定的发送间隔将传感器数据发送到控制服务器104。

在这种情况下，控制服务器104可以在以预定周期从传感器设备发送的数据当中选择在期望定时发送的传感器数据。根据第一实施例的传感器设备102包括多种类型的传感器设备，并且用作用于获取关于田地环境的环境信息数据的环境信息获取部。具体地，例如，可以获取关于田地的纬度和经度(或海拔高度)的数据。此外，包括获取关于田地土壤环境的环境信息数据的传感器设备。

获取关于田地的纬度和经度(或海拔高度)的数据的传感器设备包括例如GPS传感器等。传感器设备可以设置在田地的多个位置，也可以设置在网络照相机101内部。

各网络照相机101具有用作唯一标识信息的照相机ID(照相机标识信息)。照相机ID作为文本、QR码(注册商标)等显示在网络照相机101的壳体外部。

类似地，各传感器设备102具有用作唯一标识信息的传感器ID(传感器标识信息)。在第一实施例中，传感器ID作为文本、QR码(注册商标)等显示在传感器设备102的壳体外部。

期望预先链接(映射)或配对网络照相机101和传感器设备102。

作为特定方法，例如，由显示在传感器设备102的壳体外部的文本、QR码(注册商标)等形成的传感器ID由网络照相机101进行摄像。因此，所拍摄的传感器设备102的传感器ID可以经过图像识别以与所拍摄的网络照相机101的照相机ID相映射。

此时，例如，将识别出的传感器设备102的传感器ID写入网络照相机101拍摄的图像的头部区域。

因此，当网络照相机101拍摄的图像被发送到控制服务器104时，传感器设备102的传感器ID可以与网络照相机101的照相机ID相映射。这里，用于在这种图像文件的头部区域中进行写入的部件用作映射部。

或者，网络照相机101、传感器设备102或控制服务器104可以预先具有应用软件。用户可以将传感器设备102的传感器ID和网络照相机101的照相机ID映射并登记在应用软件的画面上。

在这种情况下，照相机ID和传感器ID可能不会显示在各壳体的外部。在这种情况下，用户进行设置以映射照相机标识信息和传感器标识信息的应用软件用作映射部。

或者，网络照相机101的照相机ID和传感器设备102的传感器ID可以与智能手机等中提供的单独照相机同时或顺序地摄像。

通过将图像发送到控制服务器104，还可以映射和登记网络照相机101的照相机ID和传感器设备102的传感器ID。下面将描述作为配对(映射或链接)方法的详细流程的图7和图8的流程图。

作为照相机ID和传感器ID的映射方法，例如，可以使用蓝牙(注册商标)、NFC等来进行配对，而不是使用如上所述对显示在壳体外部的文本ID、QR码(注册商标)等进行摄像并识别图像的方法。

例如，通过预先进行配对，可以通过将预先映射的传感器设备的传感器数据与由多个网络照相机中的特定照相机拍摄的图像相链接(关联)来使用控制服务器中的表进行管理。

图7和图8是示出配对方法的示例的流程图。图9是示出进行关联的表的示例的图。下面将描述图7至图9。

传感器设备的被映射的传感器数据可以有效地记录在由例如特定网络照相机101拍摄的图像的图像文件的头部区域中。因此，当存在许多网络照相机101和传感器设备102时，图像数据和传感器数据可以有效地关联起来。

传感器设备的传感器数据被写入与同一图像文件的头部区域分开的头部区域中，并通过将传感器设备的映射ID写入图像文件的头部区域的一部分中来进行映射。

由传感器设备102测量的关于田地土壤环境的环境信息数据是关于例如土壤颜色、土壤含水量、土壤中多种预定化学物质(例如，氮、磷酸、钾等)的量或比例、以及土壤pH值中的至少一项而获取的数据。

传感器设备102可以被构造为能够获取关于田地的天气信息的一些数据。也就是说，传感器设备102可以被构造为能够检测(测量)关于例如田地的海拔高度、降水量、降雨量、降雪量、温度、湿度、稻田等田地的水位、稻田等田地的水温、照度、日照时长、风速和大气压中的至少一项的数据。

数据累积云服务器105是基于来自控制服务器104的指令来累积数据的云服务器。

来自网络照相机101的图像数据(图像文件)和来自传感器设备102的传感器数据被累积(存储)以与获取日期和时间的数据相关联。这里，链接包括通过在图像文件的头部区域中写入(存储)各种数据来链接(关联)。日期和时间的数据可以从例如网络照相机101内部的CPU等获取，也可以从传感器设备102获取。或者，日期和时间的数据可以从数据累积云服务器105内部的CPU等获取。数据累积云服务器105还从天气信息服务器112获取拍摄图像的日期和时间的天气数据。

数据累积云服务器105基于来自控制服务器104的指令，将来自网络照相机101的拍摄图像和传感器数据以及来自天气信息服务器112的天气信息数据发送到图像分析云服务器110。

图像分析云服务器110基于来自控制服务器104的指令对来自网络照相机101的图像进行图像分析。

模型云服务器111统计地学习生长状况与农作物的过去图像、生长指标数据、环境信息数据(传感器数据、天气数据等)、日期和时间等之间的关系。生成并保存通过学习将图像、生长指标数据、环境信息数据、日期和时间等与生长状况相关联的生长模型数据。

图像分析云服务器110从模型云服务器111获取过去的生长指标数据和环境信息数据被链接的生长模型数据。

图像分析云服务器110分析网络照相机101获得的农作物的图像，并生成农作物的生长指标数据作为分析结果。此外，图像分析云服务器110通过对生长指标数据、环境信息数据(传感器数据、天气信息数据等)以及日期和时间数据与生长模型数据进行比较/参考来生成农作物的生长指标数据。也就是说，图像分析云服务器110用作用于生成生长指标数据的指标数据生成部。特别地，图像分析云服务器110用作(生长阶段)数据生成部，用于生成关于各生长阶段(例如，分蘖阶段等)的信息。

由图像分析云服务器110生成的生长指标数据(分析结果)被发送到数据累积云服务器105，并通过将生长指标数据与图像、传感器数据、天气数据以及日期和时间链接(关联)来累积生长指标数据。

此时，生长指标数据、传感器数据、天气数据、日期和时间等各自被写入以累积(存储)在农作物的图像文件的预定头部区域中。例如，生长指标数据、传感器数据、天气数据、日期和时间等被写入按照可交换图像文件格式(EXIF)确定的图像文件的头部区域中。

例如，希望在EXIF标准的头部区域中名为Maker Note的区域中进行写入，其中数据类型为未定义(UNDEFINED)，并且数据结构或大小也未规定。生长指标数据、传感器数据、天气数据、日期和时间等可以被分配为写入各头部区域。当使用单独的数据平台而不是图像文件的头部区域进行通信时，可以使用按照WAGRI标准确定的API格式。这里，API是应用程序编程接口的缩写。因此，可以实现对生长指标数据、传感器数据和天气数据的诸如协调、共享、供应等相互可用性。

在这里，WAGRI是农业数据协作平台的名称。在下文中，这里将描述使用图像文件的头部区域的情况的示例。

数据累积云服务器105用作累积部，其用于将由指标数据生成部生成的多个日期和时间的图像数据、生长指标数据、多个日期和时间的环境信息数据、天气信息等与各日期和时间数据相关联地累积。

将在数据累积云服务器105中临时累积的关于多个日期和时间的农作物的拍摄图像数据、生长指标数据和环境信息数据以及获取日期和时间的信息等，发送到应用服务器106。应用服务器106基于多个日期和时间的生长指标数据和多个日期和时间的环境信息数据，生成用于以曲线图形式显示关于生长过程(生长阶段)的信息的显示数据。应用服务器106用作显示数据生成部或生长阶段数据生成部。

天气信息服务器112响应于来自控制服务器104的天气信息获取请求，将天气信息作为环境信息数据发送到数据累积云服务器105。天气信息包括例如关于天气、降水量、降雨量、降雪量、温度、湿度、日照时长、风速、大气压中的至少一项的数据。如上所述，还可以从传感器设备102获取部分天气信息。天气信息服务器112还用作环境信息获取部的一部分，以获取关于田地环境(天气)的环境信息数据。

附图标记107表示服务供应管理服务器，其基于来自收费结算服务器108的收费结算信息，将指示向承包商(合同用户)供应哪个显示画面、数据和服务的信息发送到应用服务器106。关于收费服务内容的信息被发送到收费结算服务器108。

收费结算服务器108与承包商的信息终端109进行通信，从承包商的信息终端109获取承包商的收费结算信息，并将关于结算是否完成的信息发送到承包商的信息终端109。

这里，服务供应管理服务器107、收费结算服务器108和应用服务器106用作收费结算部，其能够根据收费将累积的生长指标数据和环境信息数据供应给预定终端。

服务供应管理服务器107、收费结算服务器108和应用服务器106还用作收费结算部，其能够根据收费向预定终端供应基于多个日期和时间的生长指标数据和多个日期和时间的环境信息数据而生成的关于生长过程的数据。

当结算信息从承包商的信息终端109发送到收费结算服务器108时，结算信息被发送到服务供应管理服务器107。然后，基于结算信息(是否补充支付等)，将画面、数据和服务信息发送到应用服务器106。

应用服务器106将用于由此以曲线图形式显示生长过程的显示数据发送到承包商的信息终端109，使得其中以曲线图形式形成生长过程的显示画面可以显示在承包商的信息终端109上。不用说，云服务器105至108和110至112或信息终端109包括计算机。

图2是示出图像分析云服务器110的功能框图。将参照图2描述图像分析云服务器110的功能。

附图标记1101表示输入单元，其从数据累积云服务器105获取拍摄的图像数据、各种传感器数据、天气信息数据、获取各数据的日期和时间数据等。

附图标记1102表示计算农作物叶子颜色的叶子颜色计算单元。也可以计算穗的颜色。附图标记1103是茎数计算单元，其计算农作物的茎数。

叶子颜色可以被转换并以固体和植物分析仪发育(SPAD)值的单位表达，所述SPAD值与预定条件下预定范围内的叶绿素含量相关。在第一实施例中，为了从图像计算田地中的茎数，使用叶子的顶点作为点来学习叶子的顶点(叶尖)并通过人工智能(AI)对其进行识别，对叶子的顶点(叶尖)进行计数，并根据叶尖的数量计算茎数。

这是因为可以根据过去的统计数据(训练数据)找出茎数和叶子的顶点数之间的预定相关性。例如，大约1/3的叶子数量可以统计为茎数。附图标记1104表示计算农作物高度(农作物距地面的最大高度)的农作物高度计算单元。例如，一个网络照相机101被设置在农作物的侧面，并且可以通过对农作物连同安装在农作物侧面的参考标尺进行摄像来计算农作物高度(农作物距地面的最大高度)。

在第一实施例中，关于叶子颜色、茎数和农作物高度的数据被用作农作物的主要生长指标数据。此外，例如，可以包括每单位面积的植被率作为生长指标数据。

就禾本科农作物而言，可以包括关于出现穗的茎与茎数之间的比例、变黄的穗的比例、穗数、每穗的稻谷粒数、茎的倾斜度和茎的弯曲程度中的至少一项的数据。通过增加生长指标数据的种类，可以提高以曲线图形式显示生长过程时的精度。

根据稻谷的膨胀或颜色或成熟度计算的状态可以包括在生长指标数据中。因此，可以指示完美晶粒率(ratio of perfect grains)。这里，完美晶粒率以百分比表示在特定数量的未碾稻谷中存在多少整粒，即各自具有有序良好形状的米粒。

叶子颜色计算单元1102、茎数计算单元1103、农作物高度计算单元1104等的生长指标数据，或者将来自输入单元1101的传感器数据、天气信息数据、日期和时间数据供应给生长阶段确定单元1105。

该数据还被供应并保存在模型云服务器111中，该模型云服务器111学习生长状况并用作训练数据。

生长阶段确定单元1105将诸如叶子颜色、茎数和农作物高度等生长指标数据、传感器数据、天气信息数据、日期和时间数据等与模型云服务器111的生长模型数据进行比较。因此，确定拍摄农作物图像时的生长阶段(生长过程)。此外，还参考模型云服务器111的生长模型数据，来计算单位面积产量的预期值或优选的收获计划日期。

诸如叶子颜色、茎数、农作物高度等生长指标数据、生长阶段数据、收获计划日期、单位面积产量等作为分析结果经由输出单元1106输出到数据累积云服务器105。

图4示出了基于在应用服务器106中生成的显示数据的显示画面的示例。

应用服务器106基于在数据累积云服务器105中累积的多个日期和时间的生长指标数据以及多个日期和时间的环境信息数据，生成用于以曲线图形式显示生长过程的显示数据。此外，可以生成用于显示生长过程并且还显示在预定日期和时间的田地图像和农作物图像中的至少一个的显示数据。

可以生成用于显示生长过程以及还显示收获时间和每单位面积产量的预期量中的至少一个的显示数据。可以与生长过程的显示数据一起生成用于显示关于农作物的生长阶段(例如，分蘖阶段等)的信息的显示数据。例如，如图4所示，显示数据以曲线图形式显示在信息终端109上。下面将描述图4的显示内容。

接着，参照图3描述以控制服务器104为中心的操作流程。图3是示出以控制服务器为中心的操作流程的流程图。

在图1所示的系统中，控制服务器104等被激活以开始图3的流程。在步骤S301中，网络照相机101用于以预定周期对田地进行摄像。例如，通过信息终端109的应用程序，在控制服务器104中预先设置诸如“每天早上10:00点获取”的预定周期。

在步骤S302中，向传感器设备102发送数据获取请求。在步骤S303中，作为步骤S301和S302的结果，获取拍摄的图像和传感器数据。在步骤S304中，将摄像的日期和时间以及传感器数据作为元数据写入所拍摄的图像数据的预定头部区域中。

在步骤S305中，将数据写入头部的所拍摄图像数据发送到数据累积云服务器105，并且将来自天气信息服务器112的天气信息数据写入拍摄的图像数据的另一头部区域。

在步骤S306中，发送在头部写入了各种数据的图像数据，并且向图像分析云服务器110发出进行图像分析的指令。在步骤S307中，图像分析云服务器110通过比较/参考模型云服务器111的生长模型来进行图像分析。

在步骤S308中，进一步将作为图像分析云服务器110的分析结果的生长指标数据添加到要发送到数据累积云服务器105的图像的头部区域。

因此，日期和时间、环境数据(传感器数据)和生长指标数据中的各数据被写入要在数据累积云服务器105中累积的图像文件的各头部区域中。在步骤S309中，确定是否存在来自预定合同用户的收费支付。当存在支付时，处理进行到步骤S310。当不存在支付时，处理返回步骤S301以继续数据的累积。在步骤S310中，向应用服务器106发出指令，以将预定时段期间的图像供应给进行收费支付的合同用户。

此时，供应在图像的头部区域中写入的上述多条数据中的部分或全部。在头部区域中写入的部分数据可以根据收费量被屏蔽和供应。

在步骤S311，确定是否存在作为收费的选择费的支付。在“否”的情况下，处理进行到步骤S313。在“是”的情况下，处理进行到步骤S312。

在步骤S312中，使应用服务器106生成用于显示生长过程的显示数据，并且使应用服务器106在预定时段期间将用于显示生长过程的显示数据与图像一起供应给合同用户。

在步骤S313中，在收费结算服务器108中保存合同用户的ID(标识号码)、支付历史、所供应数据的历史等。

在步骤S314中，确定图1的系统是否关闭。当系统未关闭时，处理返回步骤S301以重复数据的累积。当在步骤S314确定系统关闭时，流程结束。

这样，系统操作者可以将过去累积的有用生长模型数据供应给需要的用户。反之，用户可以通过支付来获得过去累积的有用生长模型数据。

接下来，将参照图4描述在应用服务器106中生成的生长过程的显示示例等。图4是示出基于在应用服务器中生成的显示数据的显示画面的示例的图。图5和图6是示出显示画面的其他示例的图。

应用服务器106从数据累积云服务器105获取显示画面所需的数据。

在图4至图6中，附图标记400表示信息终端109的显示画面，附图标记401表示指示生长过程的曲线图，附图标记402表示指示当前的日期和时间的显示区域。附图标记403表示显示收费的承包商名称(合同用户名或用户ID)等的显示区域。这里，收费的承包商是签订合同的承包商，该合同用于根据收费向预定终端供应累积的生长指标数据、环境信息数据、生长过程数据等。

附图标记404表示显示农作物种类的显示区域，附图标记405表示在垂直轴上显示的茎数的刻度，附图标记406表示在垂直轴上显示的农作物高度的刻度，并且附图标记407表示在水平轴上显示的以月为单位的时间轴的刻度。附图标记408表示指示水稻的整个生长过程(生长阶段)的数据，并且附图标记409表示根据生长过程推荐执行的农活的示例的显示。附图标记420表示在垂直轴上显示的SPAD值的刻度，并且附图标记421表示在转换成SPAD值之前的叶子颜色的刻度。

附图标记410a表示指示农作物高度的生长过程的曲线图，并且附图标记410b表示指示农作物高度的生长模型的曲线图。附图标记411a表示指示茎数的生长过程的曲线图，并且附图标记411b表示指示茎数的生长模型的曲线图。附图标记412a表示指示与SPAD值的生长相关联的过程的曲线图，并且附图标记412b表示指示SPAD值的生长模型的曲线图。附图标记422表示根据茎数的生长过程的生长阶段(例如，分蘖阶段等)的描述的显示。

附图标记410a、411a、412a表示根据当前摄像时间的图像而计算的值的曲线图。附图标记410b、411b、412b表示通过累积过去的测量值或过去的计算值并进行统计处理而建模的曲线图(生长模型)。根据这样的曲线图，可以容易地比较和确定从拍摄的图像计算的值是否平滑地遵循建模的曲线图(差异小)以及是否存在间隙。

图5和图6是示出从图4的曲线图的显示中通过菜单选择等切换的显示画面的示例的图。在图5和图6中，附图标记413表示强调显示的当前时间推荐执行的农活指南。在图5的显示示例中，显示“当前状态是分蘖阶段，并且请执行追肥”。在图6的显示示例中，显示“当前完美晶粒率是75％。请执行收获”。

附图标记414表示用于显示所处生长阶段的显示区域，并且附图标记415表示显示作为三种主要生长指标数据的叶子颜色、茎数和农作物高度的显示区域。在这个示例中，只显示了三种生长指标数据。然而，例如，其他生长指标数据可能能够显示在下拉菜单等中。

在第一实施例中，例如，用户可以适当地校正数字。附图标记416表示环境信息数据被显示为数值的显示区域。

在第一实施例中，温度、湿度、田地水位、田地水温、田地土壤的pH、照度、风速等作为环境信息数据被显示。然而，例如，其他环境信息数据可能能够显示在下拉菜单等中。附图标记417表示用于切换到用于校正画面上显示的数值的模式的按钮。当点击或触摸按钮时，模式切换到用于校正画面上显示的数值的校正模式。这里，按钮417用作校正部，其用于通过用户输入来校正由显示数据生成部生成的显示数据的一部分。

在校正模式下，可以改变显示在区域415和416中的数值。当改变后再次点击或触摸按钮417时，校正模式切换到正常模式。附图标记418表示与曲线图一起显示的田地的图像或农作物的图像。可以显示至少一张图像。附图标记419表示可移动标记线。可移动标记线默认显示在曲线图上的当前日期和时间的位置处。可移动标记线可以用鼠标或通过触摸移动。

例如，当茎因强风、天气情况等而弯曲或掉落时，可能无法从拍摄的图像中获得适当的农作物高度。在校正模式下，可以再次应用手动测量值或通过校正其姿势而测量的值。对于环境信息，当环境信息传感器发生故障时，可以输入再次测量的测量值或来自正常传感器的值并稍后进行校正。

这样，当作为图像识别的结果而获取到错误数据时，可以通过用户校正来相应地自动校正生长过程的曲线图等。因此，可以防止生长过程的曲线图等的精度劣化。

当标记线419在图4中移动时，区域402的日期显示相应地改变。当在标记线419移动之后通过菜单选择将显示画面切换到图5或图6所示的显示画面时，显示区域414至416或图像418的显示内容也根据日期和时间而改变。

在前述示例中，图4中的生长过程的曲线图、图5和图6中的田地图像、各指标值等显示在不同的显示画面上，但是，图4和图5或图4和图6可以显示在同一画面上。

或者，例如，结合生长过程的曲线图，可以将预定日期和时间的生长指标数据和环境信息数据中的至少一项与农作物的种类一起显示。

这样，在第一实施例中，合同用户可以基于环境信息数据、从田地获取的农作物的图像等，在曲线图中快速了解农作物的生长过程。尽管合同用户不去田地或者是农业初学者，但是合同用户可以快速且容易地知道当前时间应该执行哪项农活。

接着，图7和图8是示出上述配对方法的示例的流程图。图9是示出进行关联的表的示例的图。

在图7中，在步骤S700中信息终端109被通电，并且在步骤S701中激活用于执行映射的应用。在步骤S702，登记用户ID。在步骤S703中，获取GPS位置信息。在步骤S704中，用例如所附接的照相机、智能手机的照相机等对多个传感器设备102的QR码(注册商标)进行摄像。

在步骤S705中，将拍摄的多个传感器设备102的ID登记并显示在画面上。在步骤S706中，用附接的照相机、智能手机的照相机等对网络照相机101的QR码(注册商标)进行摄像。在步骤S707中，将网络照相机101的ID登记并显示在画面上。在步骤S708中，将信息终端109获取的GPS位置信息、多个传感器设备102的ID和网络照相机101的ID一起发送到控制服务器104。

在步骤S709中，初始设置操作结束，并且处理进行到图8的步骤S710。在步骤S710中，控制服务器104以表格的形式保存登记的用户ID、由信息终端109获取的GPS位置信息、网络照相机101的ID、多个传感器设备102的ID。这里，图9(A)是示出进行关联的表的示例的图。图9(A)示出了将用户ID、信息终端ID、传感器设备的GPS位置信息、传感器设备ID、网络照相机ID相关联的表的示例。

在表的示例中，示出了仅用户ID不同而其他信息相同的示例。这里，各用户ID订阅了不同的服务计划，如图9(B)所示。在图9(B)中，用户ID(0001)订阅了监控田地图像的计划，而用户ID(0002)订阅了可以一次性下载累积生长数据的计划。这里，如图9(B)所示的指示用户ID和服务计划相映射的表被保存在例如服务供应管理服务器107中。

在步骤S710之后，处理进行到步骤S711以进行图3的流程图所示的流程图。在步骤S712，应用服务器106检测到用户登录应用服务器，并在步骤S713中基于登录信息向服务供应管理服务器107查询将供应给用户的服务信息。当在步骤S714中的控制服务器104，在步骤S711的处理期间从控制服务器104发出供应服务的指令时，进行步骤S714的处理。

即，在步骤S714中，从数据累积云服务器105请求和获取用于根据作为步骤S713中的查询结果接收的服务信息而生成显示数据的数据。在步骤S715中，从数据累积云服务器105获取所需数据，并且在步骤S716中，基于获取的数据生成用于显示的画面数据。

以上基于第一实施例对本发明进行了详细描述，但是，本发明不限于第一实施例，并且可以基于本发明的主旨对本发明进行各种修改。这些修改不排除在本发明的范围之外。

例如，在第一实施例中，累积环境信息数据以获得高精度的生长过程数据，但是，可以不在简化系统中累积环境信息数据。

当以曲线图形式显示生长过程时，可以基于从图像中获取的生长指标数据(叶子颜色、茎数、农作物高度等)生成用于以曲线图形式显示生长过程的显示数据，而不考虑环境信息数据。此外，此时，可以仅使用叶子颜色、茎数和农作物高度作为生长指标数据来生成用于显示生长过程的显示数据。

例如，在第一实施例中，参照在模型云服务器中学习的模型数据生成生长过程数据，但是，也可以仅利用准备好的函数(表)等来生成生长过程数据。

在第一实施例中，处理被多个服务器划分和进行。然而，例如，数据累积云服务器105、应用服务器106、图像分析云服务器110、模型云服务器111等的部分或全部功能可以嵌入控制服务器104中。

例如，可以嵌入服务供应管理服务器107或收费结算服务器108的功能。或者，可以通过适当地集成七个服务器104至108、110和111中的两个或更多个来减少服务器的数量。

例如，用照相机摄像的对象不限于农作物，例如也可以是包括人在内的生物等。

[第二实施例]

第一实施例中描述的各种功能、处理或方法也可以通过使服务器、个人计算机、微型计算机、中央处理单元(CPU)或微处理器执行程序来实现。在下文中，在第二实施例中，将服务器、个人计算机、微型计算机、CPU或微处理器称为“计算机X”。在第二实施例中，控制计算机X并实现第一实施例中描述的各种功能、处理或方法的程序被称为“程序Y”。

通过使计算机X执行程序Y来实现第一实施例中描述的各种功能、处理或方法。在这种情况下，程序Y经由计算机可读存储介质供应给计算机X。根据第二实施例的计算机可读存储介质包括硬盘设备、磁存储设备、光存储设备、磁光存储设备、存储卡、易失性存储器和非易失性存储器中的至少一种。根据第二实施例的计算机可读存储介质是非暂时性存储介质。

已经参考前述实施例描述了本发明的各方面，但是本发明的各方面被解释为不限于前述实施例。当然，以下权利要求在最广泛的意义上被解释和协调，以便包括所有修改示例和等效构造。附加以下权利要求以公开本说明书的权利要求。

本申请要求于2019年12月19日提交的日本专利申请第2019-228793号和日本专利申请第2019-228800号的优先权，其内容通过引用并入本文。

Claims (42)

1.一种信息处理设备，包括：

图像获取部，用于获取田地中的特定农作物的图像；

环境信息获取部，用于获取关于田地环境的环境信息数据；

指标数据生成部，用于基于图像获取部获取的农作物的图像来生成农作物的生长指标数据；

累积部，用于累积由指标数据生成部生成的多个日期和时间的生长指标数据和所述多个日期和时间的环境信息数据；以及

显示数据生成部，用于基于累积部中累积的所述多个日期和时间的生长指标数据和所述多个日期和时间的环境信息数据，生成用于显示生长过程的显示数据。

2.根据权利要求1所述的信息处理设备，其中，累积部还累积所述多个日期和时间的农作物的图像。

3.根据权利要求1或2所述的信息处理设备，其中，显示数据生成部生成用于以曲线图形式显示生长过程的显示数据。

4.根据权利要求1至3中任一项所述的信息处理设备，其中，显示数据生成部生成用于将预定日期和时间的生长指标数据和环境信息数据中的至少一项与生长过程及农作物种类一起显示的显示数据。

5.根据权利要求1至4中任一项所述的信息处理设备，其中，生长指标数据包括关于农作物的茎数的数据。

6.根据权利要求1至5中任一项所述的信息处理设备，其中，指标数据生成部基于由图像获取部获取的农作物的图像，对农作物的叶尖数进行计数。

7.根据权利要求6所述的信息处理设备，其中，指标数据生成部根据叶尖数计算关于农作物的茎数的数据。

8.根据权利要求7所述的信息处理设备，其中，生长指标数据包括关于农作物高度的数据。

9.根据权利要求8所述的信息处理设备，其中，生长指标数据包括关于农作物的叶子颜色的数据。

10.根据权利要求1所述的信息处理设备，其中，生长指标数据包括每单位面积的植被率、出现穗的茎与茎数之间的比例、变黄的穗的比例、穗数、每穗的稻谷粒数、茎的倾斜度或茎的弯曲程度中的至少一项。

11.根据权利要求1所述的信息处理设备，其中，显示数据生成部生成用于显示预定日期和时间的田地的图像和农作物的图像中的至少一项的显示数据，以及生长过程的显示数据。

12.根据权利要求1所述的信息处理设备，其中，显示数据生成部生成用于显示收获时间和每单位面积产量的预期量中的至少一项的显示数据，以及生长过程的显示数据。

13.根据权利要求1所述的信息处理设备，其中，所述特定农作物是禾本科植物。

14.根据权利要求1所述的信息处理设备，所述信息处理设备还包括校正部，所述校正部用于通过用户输入来校正由显示数据生成部生成的显示数据的一部分。

15.根据权利要求13或14所述的信息处理设备，其中，显示数据生成部生成用于显示关于农作物的生长阶段的信息的显示数据，以及生长过程的显示数据。

16.根据权利要求1至15中任一项所述的信息处理设备，其中，指标数据生成部通过将累积在累积部中的所述多个日期和时间的生长指标数据及环境信息数据与生长模型数据进行比较，来生成农作物的生长指标数据。

17.根据权利要求1所述的信息处理设备，其中，图像获取部获取通过从上方对田地的预定位置处的农作物进行摄像而获得的图像。

18.根据权利要求1所述的信息处理设备，所述信息处理设备还包括收费结算部，其能够根据收费将累积在累积部中的生长指标数据和环境信息数据供应给预定终端。

19.根据权利要求18所述的信息处理设备，其中，收费结算部能够根据收费向预定终端供应关于基于累积部中累积的所述多个日期和时间的生长指标数据和所述多个日期和时间的环境信息数据所生成的生长过程的数据。

20.根据权利要求1所述的信息处理设备，其中，环境信息数据包括关于田地的土壤环境的数据。

21.根据权利要求20所述的信息处理设备，其中，土壤环境包括关于田地的土壤颜色、土壤含水量、土壤中的多种预定化学物质之间的比例以及土壤pH值中的至少一项的数据。

22.根据权利要求1所述的信息处理设备，其中，环境信息数据包括关于田地的天气信息的数据。

23.根据权利要求1所述的信息处理设备，其中，环境信息数据包括关于田地的纬度和经度的数据，并且包括关于海拔高度、天气、降水量、降雨量、降雪量、温度、湿度、田地水位、田地水温、照度、日照时长、风速或大气压中的至少一项的数据。

24.根据权利要求1至23中任一项所述的信息处理设备，其中，累积部链接并存储基于农作物的图像生成的农作物的生长指标数据和图像文件。

25.根据权利要求24所述的信息处理设备，其中，累积部根据EXIF标准的格式将基于农作物的图像生成的农作物的生长指标数据存储在图像文件的头部区域中。

26.根据权利要求24所述的信息处理设备，其中，累积部根据WAGRI标准的数据平台的API格式存储基于农作物的图像生成的农作物的生长指标数据。

27.根据权利要求1所述的信息处理设备，其中，图像获取部包括拍摄农作物的图像的网络照相机或能够进行测距的照相机。

28.根据权利要求1所述的信息处理设备，其中，环境信息获取部包括传感器设备，所述传感器设备通过测量田地的环境来生成环境信息数据。

29.一种信息处理设备，包括：

图像获取部，用于获取田地中的禾本科农作物的图像；

指标数据生成部，用于基于图像获取部获取的农作物的图像生成关于农作物的叶子颜色、茎数和高度的指标数据；

累积部，用于累积由指标数据生成部生成的多个日期和时间的生长指标数据；以及

生长阶段数据生成部，用于基于累积部中累积的多个日期和时间的生长指标数据生成关于农作物的生长阶段的信息。

30.一种信息处理设备，包括：

图像获取部，用于获取田地中的特定农作物的图像；

环境信息获取部，用于获取关于田地环境的环境信息数据；

指标数据生成部，用于基于图像获取部获取的农作物的图像来生成农作物的生长指标数据；

累积部，用于累积由指标数据生成部生成的多个日期和时间的生长指标数据和所述多个日期和时间的环境信息数据；以及

收费结算部，用于根据收费将累积部中累积的生长指标数据和环境信息数据供应给预定终端。

31.根据权利要求30所述的信息处理设备，其中，收费结算部能够根据收费向预定终端供应关于基于累积部中累积的所述多个日期和时间的生长指标数据和所述多个日期和时间的环境信息数据所生成的生长过程的数据。

32.根据权利要求30或31所述的信息处理设备，其中，图像获取部包括拍摄农作物的图像的照相机，所述照相机具有照相机标识信息，环境信息获取部包括通过测量田地的环境来生成环境信息数据的传感器设备，并且，所述传感器设备具有传感器标识信息。

33.一种计算机程序，其使计算机用作根据权利要求1至32中任一项所述的信息处理设备的各部。

34.一种信息处理方法，包括：

图像获取步骤，获取田地中的特定农作物的图像；

环境信息获取步骤，获取关于田地环境的环境信息数据；

指标数据生成步骤，基于图像获取步骤获取的农作物的图像来生成农作物的生长指标数据；

累积步骤，累积在指标数据生成步骤中生成的多个日期和时间的生长指标数据和所述多个日期和时间的环境信息数据；以及

显示数据生成步骤，基于在累积步骤中累积的所述多个日期和时间的生长指标数据和所述多个日期和时间的环境信息数据，生成用于显示生长过程的显示数据。

35.一种信息处理方法，包括：

图像获取步骤，获取田地中的禾本科农作物的图像；

指标数据生成步骤，基于在图像获取步骤中获取的农作物的图像生成关于农作物的叶子颜色、茎数和高度的指标数据；

累积步骤，累积在指标数据生成步骤中生成的多个日期和时间的生长指标数据；以及

生长阶段数据生成步骤，基于在累积步骤中累积的多个日期和时间的生长指标数据生成关于农作物的生长阶段的信息。

36.一种信息处理方法，包括：

图像获取步骤，获取田地中的特定农作物的图像；

环境信息获取步骤，获取关于田地环境的环境信息数据；

指标数据生成步骤，基于在图像获取步骤获取的农作物的图像来生成农作物的生长指标数据；

累积步骤，累积在指标数据生成步骤中生成的多个日期和时间的生长指标数据和所述多个日期和时间的环境信息数据；以及

收费结算步骤，根据收费将在累积步骤中累积的生长指标数据和环境信息数据供应给预定终端。

37.一种信息处理设备，包括：

图像获取部，用于获取农作物的图像；

指标数据生成部，用于基于在多个不同时间获取的农作物的图像，生成第一生长指标数据和与第一生长指标数据不同的第二生长指标数据；以及

显示数据生成部，用于生成用于显示基于第一生长指标数据生成的农作物的第一生长过程和基于第二生长指标数据生成的农作物的第二生长过程的显示数据。

38.根据权利要求37所述的信息处理设备，其中，显示数据是用于以曲线图形式显示第一生长过程和第二生长过程的显示数据。

39.根据权利要求37或38所述的信息处理设备，其中，显示数据是用于显示第一生长过程和第一生长模型以便比较第一生长过程和第一生长模型、以及用于显示第二生长过程和第二生长模型以便比较第二生长过程和第二生长模型的显示数据。

40.根据权利要求37至39中任一项所述的信息处理设备，其中，显示数据是用于将关于农作物的生长阶段的信息与第一生长过程和第二生长过程一起显示的显示数据。

41.一种信息处理方法，包括：

图像获取步骤，获取农作物的图像；

指标数据生成步骤，基于在多个不同时间获取的农作物的图像，生成第一生长指标数据和与第一生长指标数据不同的第二生长指标数据；以及

显示数据生成步骤，生成用于显示基于第一生长指标数据生成的农作物的第一生长过程和基于第二生长指标数据生成的农作物的第二生长过程的显示数据。

42.一种程序，使得计算机执行如下：

图像获取步骤，获取农作物的图像；

指标数据生成步骤，基于在多个不同时间获取的农作物的图像，生成第一生长指标数据和与第一生长指标数据不同的第二生长指标数据；以及

显示数据生成步骤，生成用于显示基于第一生长指标数据生成的农作物的第一生长过程和基于第二生长指标数据生成的农作物的第二生长过程的显示数据。

Images