CN112823229B - 诊断辅助系统及其方法 - Google Patents

Abstract

有效地进行对象物的诊断。诊断辅助系统(1)的综合服务器(3)将各顾客所管理的对象物的数据(大量的照片图像)提供给该顾客、多个分析员以及专家，使得这些诊断者能够进行对象物的诊断，并且能够使这些诊断者之间共享各诊断者的诊断结果。多个分析员分担地观察大量的照片图像，来从对象物中找出异常部位。顾客和专家针对分析员所发现的异常部位进行更深入的诊断。诊断辅助系统(1)的AI服务器(5)根据多个诊断者的诊断结果来制作教师数据并对诊断结果进行机器学习，利用学习到的方法来进行自动诊断。

Description

诊断辅助系统及其方法

技术领域

本发明涉及一种用于辅助对象物的诊断的计算机利用系统及其方法。

背景技术

例如，以往以来，实施着以下的诊断作业：利用从田地、建筑物或生物体等对象物得到的数据、例如照片图像来发现该对象物的异常部位(病害、劣化、破损部位)，确定各个异常部位的异常详细情况，进而确定应该对各个异常部位应用的应对方法(农药种类、肥料种类、修缮方法或治疗方法等)。而且，提出了一种用于辅助这样的诊断作业的计算机利用系统。

在这种诊断辅助系统中，提出了以下方案：使以神经网络为代表的具有机器学习功能的计算机系统(在本说明书中将其称为“学习模型”)学习诊断方法，使用结束了学习的学习模型来自动地输出诊断结果。

例如，在专利文献1中公开了一种用于诊断植物的健康状态的系统。根据该公开，健康诊断服务器装置从专家终端装置接收作为学习对象的植物的图像、该植物的健康状态及生长环境信息，基于植物的图像、健康状态以及生长环境信息来对用于根据图像来判定植物的健康状态或决定恰当的应对措施的诊断方法进行学习。然后，健康诊断服务器装置基于该诊断方法对从用户终端装置接收到的作为诊断对象的植物的图像进行诊断，将诊断对象的健康状态、恰当的应对措施等作为诊断结果向用户终端装置发送。

例如在专利文献2中公开了一种用于辅助医疗诊断的系统。在该系统中，第一终端向服务器发送来自用户的患部图像。服务器接收该患部图像，导出与该患部图像对应的疾病名称，并向第一终端回复该疾病名称。另外，如果被第一终端请求，则服务器也向第二终端发送该患部图像。第二终端从医生接收与该患部图像对应的同表示由医生得出的诊断结果的疾病名称有关的信息，并向服务器回复该信息。服务器向第一终端发送与由该医生得出的疾病名称有关的信息。服务器还使用从第二终端接收到的与患部图像对应的同由医生得出的疾病名称有关的信息来进行机器学习，由此提高用于导出疾病名称的图像解析的精度。

现有技术文献

专利文献

专利文献1：日本专利第6307680号公报

专利文献2：日本特开2016-198197号公报

发明内容

发明要解决的问题

为了使学习模型一直进行学习直至其推断精度达到实用水准为止，必须准备大量的教师数据来训练学习模型。直到准备足够量的教师数据为止要耗费相当长的时间。特别是在田地的异常诊断的领域中，农作物的生长周期为半年或一年这样的长时间，因此仅收集所需量的表示田地的各种异常的数据就要耗费长的期间。并且，针对收集到的异常数据制作恰当的诊断结果也要花费相当的工夫和时间。因而，直到准备所需量的教师数据为止要耗费非常长的期间。

在直到如上所述的学习模型的学习完成为止的长期间，学习模型的诊断结果是不可靠的，因此诊断辅助系统的顾客除了自己亲自观察对象物的数据来做出诊断或者请专家观察数据来进行诊断以外，没有得到恰当的诊断结果的方法。

但是，在诊断作业中必须调查大量的数据的情况下，对顾客(或专家)来说，诊断作业的负担非常大。例如，在使用利用带摄像机的飞行无人机拍摄田地所得到的图像来诊断田地的情况下，有时一块田地被分割成几百至几千个子区域，对每个子区域拍摄高分辨率的照片。因而，顾客为了诊断自己的田地，必须仔细地调查几百张至几千张高分辨率的照片。该作业给顾客强加了很大负担。

本发明的一个目的在于减轻人调查对象物的数据来进行对象物的诊断时的人的作业负担。

用于解决问题的方案

本公开的一个实施方式所涉及的诊断辅助系统辅助进行对象物的诊断的人，所述诊断辅助系统具备：对象数据存储单元，其存储表示对象物的状态的对象数据；诊断作业单元，其向第一用户和第二用户分别提供所述对象数据，使得所述第一用户和所述第二用户的各用户能够进行所述对象物的诊断作业；诊断结果单元，其接收由所述第一用户和所述第二用户的各用户得出的关于所述对象物的诊断结果；共享单元，其能够使所述第一用户与所述第二用户之间共享由所述第一用户和所述第二用户的各用户得出的所述诊断结果；人工智能，其使用由所述第一用户或所述第二用户得出的所述诊断结果来学习诊断方法，使用学习到的所述诊断方法来进行所述对象物的自动诊断；以及自动诊断结果提供单元，其向所述第一用户提供由所述人工智能得出的所述对象物的自动诊断结果。

在一个实施方式中，所述第一用户是请求进行所述对象物的诊断或需要进行所述对象物的诊断的顾客，所述第二用户是在所述顾客之前进行所述对象物的预备诊断的分析员。

在一个实施方式中，所述诊断作业包括调查所述对象数据并输入第一诊断结果的第一子作业和利用所述第一诊断结果来输入第二诊断结果的第二子作业。所述诊断作业单元使得所述第二用户能够进行所述诊断作业中的至少第一子作业，使得所述第一用户能够进行所述诊断作业中的至少第二子作业。所述共享单元能够使所述第一用户与所述第二用户之间共享由所述第二用户得出的所述第一诊断结果。

在一个实施方式中，所述第一子作业是以下作业：调查所述对象数据来发现所述对象物中的异常部位，输入所发现的所述异常部位来作为所述第一诊断结果。所述第二子作业是以下作业：针对在所述第一子作业中发现的所述异常部位确定异常名称或应对方法。

在一个实施方式中，所述共享单元能够使所述第一用户与所述第二用户之间共享由所述第一用户得出的所述第二诊断结果。

在一个实施方式中，该诊断辅助系统还具备第一进度通知单元，所述第一进度通知单元向所述第一用户提供关于是否已经针对所述对象物进行了所述第一子作业的进度信息。

在一个实施方式中，该诊断辅助系统还具备第二进度通知单元，所述第二进度通知单元向所述第二用户提供关于是否已经针对所述对象物进行了所述第一子作业的进度信息。

在一个实施方式中，该诊断辅助系统能够与多个所述第二用户进行通信。所述对象物具有多个不同的部分，所述对象数据包含分别表示所述对象物的所述不同的部分的状态的多个部分数据记录。所述诊断作业单元向多个所述第二用户分配所述多个部分数据记录，使得多个所述第二用户能够分担地对所述对象物的所述不同的部分进行诊断作业。

在一个实施方式中，该诊断辅助系统还具备第三进度通知单元，所述第三进度通知单元向多个所述第二用户分别提供关于是否已经对所述对象物的所述不同的部分中的各个部分进行了所述诊断作业的进度信息。

在一个实施方式中，所述诊断作业单元向所述第一用户提供所述多个部分数据记录，使得所述第一用户能够对所述对象物的所述不同的部分进行诊断作业。

在一个实施方式中，该诊断辅助系统还具备第四进度通知单元，所述第四进度通知单元向所述第一用户提供关于是否已经对所述对象物的所述不同的部分的各个部分进行了所述诊断作业的进度信息。

在一个实施方式中，所述诊断作业单元不仅向所述第一用户和所述第二用户提供所述对象数据，还向第三用户提供所述对象数据，使得所述第一用户、所述第二用户以及所述第三用户的各用户能够对所述对象物进行诊断作业。所述诊断结果单元接收由所述第一用户、所述第二用户以及所述第三用户的各用户得出的所述对象物的诊断结果。所述共享单元能够使所述第一用户、所述第二用户以及所述第三用户之间共享由所述第一用户、所述第二用户以及所述第三用户的各用户得出的所述诊断结果。所述人工智能使用由所述第一用户、所述第二用户或所述第三用户得出的所述诊断结果来学习所述诊断方法。

在一个实施方式中，所述第三用户是在对于所述第一用户来说难以进行诊断的情况下帮助所述顾客的专家。

在一个实施方式中，该诊断辅助系统还具备：操作终端通信单元，其用于与一个以上的通信终端进行通信，所述通信终端能够与无人机进行通信；地理区域存储单元，其存储所述对象物的地理区域的位置；移动计划制作单元，其基于所述地理区域的位置来制作移动计划，所述移动计划用于控制所述无人机，以使所述无人机一边在所述地理区域内移动一边获取所述对象数据；移动计划存储单元，其存储所述移动计划；移动计划提供单元，其向至少一个所述通信终端提供所述移动计划，使得能够向所述无人机输入所述移动计划；以及对象数据获取单元，其获取由所述无人机获取到的所述对象数据。

在一个实施方式中，该诊断辅助系统具备一个以上的CPU、一个以上的存储器、以及存储在所述一个以上的存储器中的计算机程序。所述CPU通过执行所述计算机程序来进行以下处理：

准备表示所述对象物的状态的对象数据；

向第一用户和第二用户分别提供所述对象数据，使得所述第一用户和所述第二用户的各用户能够对所述对象物进行诊断作业；

接收由所述第一用户和所述第二用户的各用户得出的所述对象物的诊断结果；

能够使所述第一用户与所述第二用户之间共享由所述第一用户和所述第二用户的各用户得出的所述诊断结果；

使用由所述第一用户或所述第二用户得出的所述诊断结果来学习诊断方法；

使用学习到的所述诊断方法对所述对象物进行自动诊断；以及

将所述自动诊断的结果提供给作为所述顾客的所述第一用户。

本公开的另一实施方式所涉及的诊断辅助系统用于辅助进行对象物的诊断的人，所述诊断辅助系统具备：对象数据存储单元，其存储表示对象物的状态的对象数据；样品数据选择单元，其从所述对象数据中选择样品数据，该样品数据表示作为所述对象物的一部分的样品部分的状态；样品数据发送单元，其向一个以上的用户发送所述样品数据，使得所述一个以上的用户能够进行第一手动诊断，所述第一手动诊断是对所述样品数据进行诊断；第一手动诊断结果接收单元，其从所述一个以上的用户接收所述第一手动诊断的结果；诊断方法计算单元，其使用所述第一手动诊断的结果来计算用于对所述对象物进行自动诊断的诊断方法；自动诊断单元，其将所述诊断方法应用于所述对象数据，来对所述对象物的全部或范围比所述样品部分的范围大的部分进行自动诊断；自动诊断结果发送单元，其将所述自动诊断的结果发送给所述一个以上的用户，使得所述一个以上的用户能够进行第二手动诊断，所述第二手动诊断是对所述自动诊断的结果是否满意或者从所述自动诊断的结果的至少一部分中找出不满意的部分并将该不满意的部分进行修改；以及第二手动诊断结果接收单元，其从所述一个以上的用户接收所述第二手动诊断的结果。在所述第二手动诊断的结果中包含所述不满意的部分的修改结果的情况下，所述诊断方法计算单元使用所述不满意的部分的修改结果来重新计算所述诊断方法。所述自动诊断单元使用重新计算出的所述诊断方法再次进行所述自动诊断。所述自动诊断结果发送诊断将再次进行的所述自动诊断的结果发送给所述一个以上的用户。

在一个实施方式中，所述一个以上的用户包括第一用户和第二用户。该诊断辅助系统使得所述第一用户能够进行所述第一手动诊断，该诊断辅助系统使得所述第二用户能够进行所述第二手动诊断。

在一个实施方式中，该诊断辅助系统还具备：人工智能，其使用所述第二手动诊断的结果来学习第二诊断方法，使用学习到的所述第二诊断方法进行所述对象物的第二自动诊断；以及自动诊断结果提供单元，其将由所述人工智能得出的所述第二自动诊断的结果提供给所述一个以上的用户。

在一个实施方式中，该诊断辅助系统还具备数据分组单元，所述数据分组单元基于各部分数据的特征，将所述对象物数据中包含的多个部分数据分类为一个以上的数据组。所述诊断方法计算单元计算与所述一个以上的数据组中的每一个数据组相关联的一个以上的所述诊断方法。所述自动诊断单元使用与所述一个以上的数据组中的每一个数据组相关联的一个以上的所述诊断方法，来对所述一个以上的数据组中的每一个数据组进行自动诊断。

在一个实施方式中，该诊断辅助系统还具备：操作终端通信单元，其与一个以上的通信终端进行通信，所述通信终端能够与无人机进行通信；地理区域存储单元，其存储所述对象物的地理区域的位置；移动计划制作单元，其基于所述地理区域的位置来制作移动计划，所述移动计划用于控制所述无人机，以使所述无人机一边在所述地理区域内移动一边获取所述对象数据；移动计划存储单元，其存储所述移动计划；移动计划提供单元，其向至少一个所述通信终端提供所述移动计划，使得能够向所述无人机输入所述移动计划；以及对象数据获取单元，其获取由所述无人机获取到的所述对象数据。

在一个实施方式中，该诊断辅助系统具备一个以上的CPU、一个以上的存储器、以及存储在所述一个以上的存储器中的计算机程序。所述CPU通过执行所述计算机程序来进行以下处理：

存储表示所述对象物的状态的对象数据；

从所述对象数据中选择样品数据，所述样品数据表示作为所述对象物的一部分的样品部分的状态；

向一个以上的用户发送所述样品数据，使得所述一个以上的用户能够进行第一手动诊断，所述第一手动诊断是对所述样品数据进行诊断；

从所述一个以上的用户接收所述第一手动诊断的结果；

使用所述第一手动诊断的结果来计算用于对所述对象物进行自动诊断的诊断方法；

将所述诊断方法应用于所述对象数据，来对所述对象物的全部或范围比所述样品部分的范围大的部分进行自动诊断；

将所述自动诊断的结果发送给所述一个以上的用户，使得所述一个以上的用户能够进行第二手动诊断，所述第二手动诊断是对所述自动诊断的结果是否满意或者从所述自动诊断的结果的至少一部分中找出不满意的部分并将该不满意的部分进行修改；

从所述一个以上的用户接收所述第二手动诊断的结果；

在所述第二手动诊断的结果中包含所述不满意的部分的修改结果的情况下，使用所述不满意的部分的修改结果来重新计算所述诊断方法；

使用重新计算出的所述诊断方法再次进行所述自动诊断；以及

将再次进行的所述自动诊断的结果发送给所述一个以上的用户。

附图说明

图1是表示本发明的一个实施方式的整体的系统结构的框线图。

图2是表示该诊断辅助系统的具体的功能结构的框线图。

图3是表示由综合服务器和AI服务器分别管理的数据的结构例的框线图。

图4是表示各用户进行对象物的诊断时的各用户终端与综合服务器之间的通信和控制的过程的流程图。

图5是表示对象物的进度显示用GUI的一例的图。

图6是表示对象物的一个部分的诊断用GUI的一例的图。

图7是表示AI服务器进行诊断方法的机器学习时的AI服务器与综合服务器之间的通信和控制的过程的流程图。

图8是表示AI服务器进行诊断时的AI服务器与综合服务器之间的通信和控制的过程的流程图。

图9是表示对图2所示的诊断辅助系统追加诊断控制器所得到的功能结构的框线图。

图10是将由在田地的杂草检测中应用的诊断控制器进行的诊断控制的流程与用户所进行的操作的流程相关联地示出的流程图。

图11表示在诊断控制中进行的图像集的分组的概要。

图12表示在样品诊断开始时显示于用户终端的GUI的一例。

图13表示在用户正进行样品诊断时显示于用户终端的GUI的一例。

图14是表示诊断方法的计算和自动诊断的控制流程的一个具体例的流程图。

图15表示显示于用户终端的示出自动诊断结果的GUI的例子。

图16表示示出不恰当的自动诊断结果的GUI的例子。

图17表示用户修改了自动诊断结果时的GUI的例子。

图18是表示图1所示的诊断系统能够应用的、辅助使用无人机进行的作业的系统的一例的整体结构的框线图。

图19是表示该作业辅助系统的整体的控制例的流程的流程图。

图20是表示图1所示的诊断系统能够应用的、辅助使用无人机进行的作业的系统的另一例的整体结构的框线图。

图21是表示该作业辅助系统的整体的控制例的流程的流程图。

图22是表示症状解析部的结构例的框线图。

图23是表示作业解析部的结构例的框线图。

图24是表示解析部的其它结构例的框线图。

图25是表示解析部的另一个结构例的框线图。

图26是表示也能够作为各种服务器和终端中的任一个来使用的计算机系统的基本的结构例的框线图。

具体实施方式

下面，对本发明的一个实施方式所涉及的诊断辅助系统进行说明。

如图1所示，一个实施方式所涉及的诊断辅助系统1具有综合服务器3和AI服务器5。综合服务器3与AI服务器5例如能够通过通信网络相互通信。综合服务器3执行并控制用于向人提供诊断辅助服务的多个主要功能。AI服务器5作为通过机器学习来对诊断方法进行学习并进行自动诊断的AI(人工智能)，来执行并控制多个功能。

诊断辅助系统1的综合服务器3例如能够通过通信网络来与参与诊断辅助服务的多种人(以下统称为“用户”)分别使用的多个终端计算机(例如个人计算机、智能手机等)(以下统称为“用户终端”)7、9、11相互通信。

诊断辅助系统1的综合服务器3能够将示出进行对象物的诊断的状态的对象数据发送到参与该对象物的诊断的多个用户的用户终端7、9、11，并使该对象数据显示在用户终端7、9、11的监视屏上。各用户能够观察显示在各用户终端上的对象数据来进行该对象物的诊断。由各用户得出的该对象物的诊断结果被输入到各用户终端并由综合服务器3接收。

另外，综合服务器3能够将对象数据发送到AI服务器5并使AI服务器5进行该对象物的诊断。然后，综合服务器3接收AI服务器5的诊断结果。

在此，对象数据能够采用从对象物得到的各种数据(例如，用摄像机拍摄该对象物所得到的照片图像、或者用某种传感器调查对象物所得到的传感器信号等)。例如，在对某田地进行诊断的情况下，能够采用例如用带摄像机的飞行无人机拍摄该田地所得到的几百张至几千张的照片图像来作为对象数据。

综合服务器3能够将从各用户终端接收到的由各用户得出的对象物的诊断结果和从AI服务器5接收到的由AI服务器5得出的相同对象物的诊断结果发送到参与相同对象物的诊断的其他用户的用户终端。由此，参与相同对象物的诊断的多个用户彼此间能够共享由其他用户和AI服务器5分别得出的诊断结果，来作为各自的诊断作业所需的参考。

综合服务器3还能够将从各用户输入的对象物的诊断结果发送到AI服务器5。AI服务器5能够利用对象物的数据和由用户们关于相同对象物得到的诊断结果，来制作用于机器学习的教师数据，并使用该教师数据来对对象物的诊断方法进行学习。随着教师数据的增加，AI服务器5的机器学习有进展，其诊断精度提高。

参与各对象物的诊断的用户至少包括顾客和分析员这两种用户。还可以包括专家来作为第三类用户。在本说明书中，为了区分不同种类的用户所使用的用户终端，将由顾客使用的用户终端7称为“顾客终端”，将由分析员使用的用户终端9称为“分析员终端”，而且，将由专家使用的用户终端11称为“专家终端”。顾客、分析员以及专家能够分别使用顾客终端7、分析员终端9以及专家终端11一边与诊断辅助系统1进行通信一边进行对象物的诊断。

在此，顾客例如是要求进行对象物的诊断的人，也就是需要进行对象物的诊断的人。在进行田地的异常诊断的情况下，顾客的典型例是在田地中经营农业的农户们或者田地的管理者或所有者等。另外，在进行建筑物的异常诊断的情况下，顾客的典型例是建筑物的管理者或所有者等。顾客通过利用诊断辅助系统1能够亲自诊断自己所参与(例如拥有、管理或利用)的对象物。

分析员是与顾客不同的人，是利用诊断辅助系统1进行对象物的诊断的人。分析员的主要作用是在顾客之前进行初步诊断以减轻顾客的诊断作业量，对顾客来说是助手。分析员优选是具有能够在某种程度上识别对象物的异常的一定以上的知识的人。分析员也可以是通过例如众包(crowdsourcing)来受理诊断业务的人(所谓的众包工人)。

专家是既不是顾客也不是分析员的人，是利用诊断辅助系统1进行对象物的诊断的人。专家的主要作用是在顾客难以诊断的情况下帮助顾客以提高顾客的诊断质量，对于顾客来说是顾问。专家优选是与顾客、分析员相比具有更高的诊断能力的人。例如，在进行田地的诊断的情况下，日本国内的各地区的农业试验场、农业合作社、农业大学等农业专门机构的职员或研究人员且具有与田地的病害及应对方法有关的丰富知识和经验的人能够被录用为专家。

通常，对于一个对象物，存在至少一个顾客和多个分析员。另外，对于一个对象物，也可以不存在专家，但优选存在一个以上的专家。例如，在进行某田地的诊断的情况下，在该田地中种植作物的农户是典型的顾客，另外，能够录用多个农业专家来作为分析员。并且，能够录用顾客所加入的农业合作社的职员或管辖该田地所在地区的农业试验场的职员来作为专家。

如上所述，作为参与诊断辅助系统1来进行对象物的诊断的主体，存在AI服务器5、顾客、分析员以及专家这四种主体。这四种诊断主体的与诊断有关能力和情况互不相同。该实施方式所涉及的诊断辅助系统1是着眼于这些不同的诊断主体各自所具有的以下情况的差异而设计出的。

AI服务器5如果完成诊断方法的学习，则能够高精度地输出诊断结果，对于顾客来说成为可靠的帮手。但是，在学习未完成的期间、特别是在没有充分地收集教师数据而学习水平不高的期间，AI服务器5的诊断精度过低，对于顾客来说帮不上忙。

在AI服务器5帮不上忙的期间，顾客基本上不得不自己观察对象物的数据来进行诊断。但是，在为了进行诊断而应该观察的对象物的数据量庞大的情况下，顾客难以自己亲自进行诊断。例如，存在为了诊断一块田地而必须观察几百张至几千张的图像的情况。另外，由于顾客的诊断能力不足，因此也存在仅靠自己无法进行准确的诊断的情况。

由于对于一个对象物存在多个分析员，因此能够由多个人分担诊断作业。例如，如果100个分析员分担一块田地的诊断，则与顾客自己一个人进行诊断的情况相比，分析员的作业负担为100分之1。通过将分析员的诊断结果提供给顾客，分析员能够辅助顾客来减轻顾客的作业负担。虽然分析员各人的诊断应力有可能比顾客低，但即使这样也能够辅助顾客。

专家与分析员、顾客相比具有更高的诊断能力，通过弥补顾客的不足的诊断能力来提高诊断精度，能够辅助或教育顾客。一般来说，由于专家的人数比顾客和分析员少，因此难以期待专家进行大量的作业。但是，通过将分析员或顾客进行诊断得到的诊断结果提供给专家，专家能够从该诊断结果中仅选择自己需要参与的部分，因此能够避免专家负担过大的作业的危险。

分析员、顾客、专家进行诊断得到的诊断结果能够用作AI服务器5的机器学习所需的教师数据。在该情况下，具有更高的诊断能力的人参与所得出的诊断结果对于教师数据的制作更加有用。即，一般来说，与分析员单独得出的诊断结果相比，顾客参与所得出的诊断结果的精度更高，并且，专家参与所得出的诊断结果的精度进一步提高。

如上所述，不同的诊断主体的诊断特性及情况互不相同。利用该差异，不同的诊断主体相互协作或援助以进行取长补短，由此能够实现提高各个诊断主体的作业效率以及减轻作业负担。以下说明为了达到该目的而在诊断辅助系统1的综合服务器3和AI服务器5中搭载的功能。

图2表示综合服务器3和AI服务器5的功能结构。图3表示由综合服务器3和AI服务器5分别管理的数据的结构例。图3所示的数据构造例例示了对象物的数据是图像的情况(例如，对象物是田地，对象物的数据是拍摄田地所得到的多个照片图像的情况)。

如图2所示，综合服务器3具备服务管理器13、用户管理器15、用户数据集17、进度管理器19、进度数据集21、对象数据管理器23、对象数据集25、诊断数据管理器27以及诊断数据集29。AI服务器5具备学习控制部31、学习模型集33、教师数据集35、诊断模型集37以及AI诊断控制部39。

综合服务器3的服务管理器13分别经由用户管理器15、进度管理器19、对象数据管理器23以及诊断数据管理器27分别访问用户数据集17、进度数据集21、对象数据集25以及诊断数据集29，然后，基于该访问的结果来制作用于各用户确认各对象物的诊断的进度或者各用户进行各对象物的诊断的几种图形用户界面(以下简称为“GUI”)(这些GUI的具体例在后面说明)。

服务管理器13将上述GUI发送到各用户终端7、9、11，由此，各用户终端7、9、11将接收到的GUI显示在监视屏上。各用户通过该GUI来调查各对象物的数据，然后，将各对象物的诊断结果输入到各用户终端7、9、11。服务管理器13从各用户终端7、9、11接收各用户所输入的各对象物的诊断结果，然后，将接收到的诊断结果通过诊断数据管理器27存储到诊断数据集29中，或者通过进度管理器19来更新进度数据集21。

综合服务器3的用户管理器15管理用户数据集17。如图3所示，用户数据集17具有与多个用户分别相关的多个个别用户数据记录171。在各用户的个别用户数据记录171中记录有该用户所具有的各种属性。关于这样的属性，例如能够有用于识别该用户的用户ID、该用户的姓名和住址、指示该用户能够访问的对象物的可访问对象ID等。

再次参照图2，用户管理器15具有用户登记部151和访问控制部153。

用户登记部151接收来自各用户的用户终端7、9或11的用户登记请求，制作该用户的个别用户数据记录171，并登记到用户数据集17中。

访问控制部153根据来自各用户的用户终端7、9或11的针对对象数据集25的数据访问请求(例如，希望进行对象物的诊断作业的请求)，参照记录在该用户的个别用户数据记录171中的允许访问对象ID，来判断该用户能够访问的对象物是哪个。服务管理器13根据该判断的结果来控制各用户允许或禁止访问哪个对象物的对象数据。

针对各用户的访问控制的典型例如下所述。

各顾客只能访问自己管理或持有的对象物的对象数据，无法访问其他顾客的对象物的对象数据。能够访问各对象物的对象数据(也就是说，能够进行该对象物的诊断)的顾客仅为管理或持有该对象物的顾客，其他顾客无法访问该对象物的数据。各分析员能够访问不同顾客各自管理或持有的不同对象物的对象数据(当然，也可以将特定的分析员能够诊断的对象物仅限制为特定的对象物)。能够访问各对象物的对象数据(也就是说，能够进行该对象物的诊断)的分析员有多人。各专家能够访问不同顾客各自管理或持有的不同对象物的对象数据(当然，也可以将特定的专家能够诊断的对象物仅限制为特定的对象物)。能够访问各对象物的对象数据(也就是说，能够进行该对象物的诊断)的专家优选为一人以上，但是根据对象物的不同，专家也有可能为零。此外，AI服务器5能够访问所有对象物的对象数据(能够诊断所有对象物)。

综合服务器3的进度管理器19使用进度数据集21来管理各种对象物的诊断作业的进度状态。如图3所示，进度数据集21具有表示由各个用户实施的诊断的实际成果(例如，谁在何时诊断哪个对象物的哪个部分，其诊断结果是诊断数据集29内的哪个数据记录等)的多个实际成果数据记录211。在各实际成果数据记录211中记录有该诊断实际成果所具有的各种属性。关于这样的属性，例如能够有用于识别被诊断的对象物的对象ID、用于识别被诊断的对象物的部分的部分ID、用于识别在诊断中使用的该部分的图像的图像ID、用于识别进行了该诊断的主体(AI、分析员、顾客、专家)的诊断者ID、用于识别由各诊断者得出的诊断结果的诊断结果ID以及表示诊断日期时间的诊断日期时间等。

再次参照图2，进度管理器19具有作业委托部191、实际成果登记部193以及实际成果显示部195。

作业委托部191在从各用户的用户终端7、9或11接受了想要进行某个对象物的诊断作业的意思的诊断作业委托时，在进度数据集21内制作与被委托的该诊断作业对应的实际成果数据记录211。

在综合服务器3从各用户的用户终端7、9或11接收到各诊断作业的诊断结果时，实际成果登记部193将该诊断结果的诊断结果ID和诊断日期时间记录到与该诊断作业对应的实际成果数据记录211中。

实际成果显示部195在从各用户的用户终端7、9或11接受了询问某个对象物的诊断进度的进度显示委托时，从进度数据集21读出该对象物的从过去到当前时刻为止的诊断的实际成果数据记录211，基于该实际成果数据记录211向服务管理器13提供制作用于显示该对象物的诊断进度状态的GUI所需要的进度显示信息。服务管理器13使用该进度显示信息来制作上述进度显示用GUI。

综合服务器3的对象数据管理器23管理对象数据集25。如图3所示，对象数据集25具有与多个对象物分别对应的个别对象数据记录251。各对象物的个别对象数据记录251中记录有该对象物的各种属性。关于这样的属性，例如能够有用于识别该对象物的对象ID、该对象物的存在场所以及用于识别该对象物的顾客的顾客ID等。

在各对象物的个别对象数据记录251中还包含与构成该对象物的多个部分(例如，在对象物是田地的情况下，将该田地细致地划分出的多个子区域)分别对应的多个部分数据记录253。在各部分的部分数据记录253中包含与对象物数据中的该部分相当的对象部分数据(例如，田地内的该子区域的照片图像)、用于识别该部分的部分ID、表示该部分在对象物内的位置的部分位置以及该对象部分数据的取得日期时间(例如，该子区域的照片图像的拍摄日期时间)等。

再次参照图2，综合服务器3的对象数据管理器23具有对象登记部231和对象显示部233。

对象登记部231在从用户终端7、9、11(典型的是顾客所使用的顾客终端7)接收到关于某个对象物的对象登记请求和对象数据(例如，构成该对象的多个部分的各部分的图像和位置信息的集合等)时，制作该对象物的个别对象数据记录251并登记到对象数据集25内。

对象显示部233在从各用户的用户终端7、9或11接受了想要关于某个对象物确认诊断进度的意思的进度显示委托或者想要进行该对象物的诊断的意思的诊断作业委托时，从对象数据集25读出该对象物的个别对象数据记录251，基于该个别对象数据记录251向服务管理器13提供制作用于显示进度的GUI或用于诊断的GUI所需要的对象显示信息。服务管理器13使用该对象显示信息来制作上述进度显示用GUI或诊断用GUI。

再次参照图2，综合服务器3的诊断数据管理器27管理诊断数据集29。如图3所示，诊断数据集29具有与多个对象物分别对应的个别诊断数据记录291。在各对象物的个别诊断数据记录291中记录有用于识别对应的对象物的对象ID以及用于识别该对象物的顾客的顾客ID等。

在各对象物的个别诊断数据记录291中还包含与由不同的诊断者对该对象物实施的多个诊断作业分别对应的多个诊断作业数据记录293。在各诊断作业的诊断作业数据记录293中包含用于识别该诊断作业的诊断作业ID、在该诊断作业中给出的诊断结果、用于识别在该诊断作业中被诊断的对象物的部分的部分ID、用于识别进行了该诊断作业的诊断者(顾客、分析员、专家、AI服务器5)的诊断者ID以及实施了诊断作业的日期时间等信息。

再次参照图2，综合服务器3的诊断数据管理器27具有诊断输入部271和诊断显示部273。

诊断输入部271在从用户终端7、9、11接收到在某个对象物的某个部分的诊断作业中输入了诊断结果的意思的诊断输入请求和所输入的诊断结果时，制作与该诊断作业对应的诊断作业数据记录293，并将该诊断作业数据记录293登记到诊断数据集29内的该对象物的个别诊断数据记录291内。

诊断显示部273在从各用户的用户终端7、9或11接受了想要进行某个对象物的诊断作业的意思的诊断作业委托时，从诊断数据集29读出该对象物的个别诊断数据记录291，基于存储在该个别诊断数据记录291中的诊断作业数据记录293，向服务管理器13提供制作用于进行该对象物的诊断的GUI所需要的诊断显示信息。服务管理器13使用该诊断显示信息来制作上述诊断用GUI。

如图2所示，AI服务器5具备学习控制部31、学习模型集33、教师数据集35、诊断模型集37以及AI诊断控制部39。

AI服务器5的学习控制部31准备学习模型集33。学习模型集33具有至少一个学习模型，优选的是具有多个学习模型。各学习模型是能够通过机器学习来对诊断方法进行学习的计算系统，例如神经网络。不同的学习模型也可以分别对不同用途(例如，存在于不同场所或地区的不同对象物的诊断、不同种类的对象物的诊断或者针对相同对象的不同目的的诊断等)的诊断方法进行学习。或者，不同的学习模型是对相同用途的诊断方法进行学习的模型，但也可以是具有各不相同的构造或功能的模型。

学习控制部31制作教师数据集35，使上述各学习模型使用该教师数据集35学习诊断方法。

如图3所示，教师数据集35具有多个(通常为许多)个别教师数据记录35。各个别教师数据记录351是分别示出各对象物的诊断的多个典型例的教师数据的集合，其中例如记录有该对象物的对象ID和顾客ID等。并且，在各个别教师数据记录351中包含与该对象物的不同的部分分别对应的多个部分教师数据记录353。

与各部分对应的各部分教师数据记录353是示出该部分的诊断的一个典型例的一个单位的教师数据。在各部分教师数据记录353中例如包含该部分的部分ID、该部分的部分对象数据(例如，该部分的照片图像)、该部分对象数据的获取日期时间以及针对该部分对象数据的典型的诊断结果等。

如图2和图3所示，学习控制部31使用综合服务器3内的对象数据集25和诊断数据集29来制作教师数据集35。即，学习控制部31基于对象数据集25内保存的某个对象物的某个部分的某获取日期时间的部分数据记录253、以及在诊断数据集29内存储的与该部分对象数据有关的诊断作业数据记录293，来制作与相同的部分对象数据有关的部分教师数据记录353。

如上所述，在制作部分教师数据记录353(即，教师数据)时，在作为其材料的诊断数据集29内，关于相同的部分对象数据，有时存在分别表示由不同的诊断者(顾客、分析员、专家)给出的不同的诊断结果的多个诊断作业数据记录293(例如，对于田地的某个部位，分析员诊断为“异常”，顾客诊断为该异常是“稻瘟病”，专家诊断为“应用农药ABC”来作为稻瘟病对策)。在这样的情况下，学习控制部31可以通过将这些不同的诊断结果以相互匹配的方式进行整合，来制作教师数据用的诊断结果(例如，针对该田地的该部位制作“是稻瘟病，请施加农药ABC”这样的诊断结果。)。

在上述情况下，可能存在不同的诊断结果不相匹配(相互矛盾)的情况(例如，对于田地的某个部位，分析员诊断为“异常”，但顾客诊断为“正常”，专家诊断为“需要施肥”之类的情况)。在根据这样的相互矛盾的不同的诊断结果来制作教师数据的情况下，学习控制部31可以根据预先设定的某个诊断者的优先级(例如，专家为最高级、顾客为中间级、分析员为最低级)，更优先采用具有更高优先级的诊断者的诊断结果(例如，采用优先级最高的专家的诊断结果“需要施肥”以及与该诊断结果相匹配的分析员的诊断结果“异常”)，由此制作教师数据用的诊断结果。

参照图2，学习控制部31还准备诊断模型集37。即，学习控制部31从学习模型集33内的多个学习模型中选择可以在实际的诊断中采用的学习模型，采用所选择出的该学习模型的复制品来作为进行实际的诊断的诊断模型。这样采用的一个以上的诊断模型包含在诊断模型集37中。用于选择学习模型来作为诊断模型的选择条件能够任意地设定。例如，可以仅选择高度完成了学习直到提供能够满意的诊断精度高的学习模型，或者也可以选择达到了用于学习的教师数据的规定量的学习模型，来作为诊断模型。

AI诊断控制部39使用诊断模型集37内的各诊断模型来对实际的对象物进行自动诊断。即，AI诊断控制部39将对象数据集25内的各种对象物的对象数据输入到用于进行该对象物的诊断的至少一个诊断模型。然后，AI诊断控制部39将来自该诊断模型的自动诊断结果发送到综合服务器3。综合服务器3将来自AI服务器5的自动诊断结果与由顾客、分析员、专家进行的诊断作业的诊断结果同样地登记到诊断数据集29内，来作为图2所示的诊断作业数据记录293。

图4例示各用户(顾客、分析员以及专家的各用户)诊断对象时的各用户终端7、9、11与综合服务器3之间的通信和控制的过程。

无论对于顾客、分析员以及专家中的哪个种类的用户，该通信和控制的过程都是基本相同的。但是，能够诊断的对象物的范围可能根据用户的不同而不同。

参照图4，各用户从自己的用户终端7、9或11登录综合服务器3(步骤S1)。综合服务器3选择对于登录的该用户来说能够访问的对象物，将所选择出的该可访问对象物的列表发送到该用户的用户终端7、9或11(S2)。该用户终端7、9或11显示该可访问对象物列表(S3)。

当该用户从显示的该对象物列表中选择任意的对象物时，该用户终端7、9或11请求综合服务器3显示所选择出的该对象物的诊断进度(S4)。综合服务器3接受该进度显示请求，制作所选择出的该对象物的进度显示用GUI(S5)。

图5表示对象物的进度显示用GUI的一例。

在图5所例示的进度显示用GUI 41中显示俯瞰所选择出的对象物(例如一块田地)45的整体所得到的整体图像43。在该整体图像43上映射出构成该对象物的多个部分(例如，将一块田地细致地划分出的多个子区域)的各部分的识别号码以及表示与诊断的进度程度相应的颜色的进度标记47、49。例如，带有第一颜色的进度标记47的部分是指还没有人进行诊断的部分、即“未诊断”，带有第二颜色的进度标记49的部分是指已经有人进行了诊断(输入了诊断结果)的部分、即“已诊断”。另外，当用户在整体图像43上点击任意的部分的进度标记47或49时，选择被点击的该部分来作为诊断对象候选。

此外，进度标记不仅可以分为如上述那样的“未诊断”和“已诊断”这两种，也可以分为例如“未诊断”、“分析员诊断完毕”、“顾客诊断完毕”、“专家诊断完毕”等更多的种类。

在进度显示用GUI 41中还具有对象物概要显示栏51，该对象物概要显示栏51用于显示该对象物45的名称、某个诊断者已经输入的备注等概况信息。在进度显示用GUI 41中还具有部分显示栏53，该部分显示栏53用于显示作为诊断对象候选而被选择出的部分的概况信息。在部分显示栏53中具有被选择的该部分的部分图像55、该部分的概况说明57以及诊断按钮59等。当用户点击诊断按钮59时，能够加入被选择出的该部分的诊断作业。

再次参照图4，综合服务器3在步骤S5中制作如上述那样的进度显示用GUI 41。此时，综合服务器3基于对象数据集25内的与该对象物有关的数据记录来制作整体图像43和部分图像55并将它们编入GUI 41(S51)。另外，综合服务器3基于进度数据集21内的与该对象物有关的数据记录来制作各个部分的进度标记47、49并将它们映射到整体图像43上(S52)。另外，综合服务器3基于对象数据集25和诊断结果数据集29内的与该对象物有关的数据记录来制作GUI的其它部件并将其编入GUI 41(S53)。

综合服务器3将制作出的进度显示用GUI 41发送到请求了进行进度显示的用户终端7、9或11(S6)。该用户终端7、9或11显示进度显示用GUI(S7)。当该用户在进度显示用GUI上选择任意的部分时，该用户终端7、9或11请求综合服务器3对所选择出的部分进行诊断作业(S8)。综合服务器3在接收到上述诊断作业请求时，制作用于进行该选择部分的诊断作业的诊断用GUI(S9)。

在上述步骤S7中，用户通过观察进度显示用GUI获知对象物的哪个部分未诊断、哪个部分已诊断。在接下来的步骤S8中，如果该用户选择了未诊断的部分，则该用户首先进行该选择部分的诊断。另一方面，如果该用户选择了已诊断的部分，则该用户能够一边参考之前由其他诊断者给出的诊断结果一边进行该部分的诊断。如在后面所说明的那样，存在以下情况：分析员选择未诊断的部分，顾客和专家选择已诊断的部分，由此有效地进行各诊断者的取长补短。

图6表示诊断用GUI的一例。

在图6所例示的诊断用GUI 61中显示表示所选择出的部分(例如，从一块田地中选择出的一个子区域)的整体的选择部分图像63。在该选择部分图像63上，用户能够利用框61、71来指定被认为异常的任意的部位，并对该异常部位框61、71附加表示异常类型(例如害虫、疾病、颜色不均、杂草)的异常标记69、73。例如能够通过拖放操作来从位于诊断用GUI61上的异常标记列表65中选择异常标记69、73。异常标记列表65中的异常标记所表示的异常类型例如是(按图中的从上到下的顺序)“害虫”、“疾病”、“颜色不均”、“杂草”、“需要核查(类型不明确或不确定)”、“其它”。

在诊断用GUI 61中还具有选择部分概要显示栏75，该选择部分概要显示栏75用于显示表示该选择部分在整个对象物中的位置的位置显示图像77和概况说明79。在诊断用GU61中还具有备注栏81、83、85等，这些备注栏用于显示表示已经由其他用户输入的选择部分的诊断结果的备注或者用于各用户输入新的诊断结果的备注(全新的备注、与其他用户的诊断结果有关的备注等)。

若由任一个用户使用诊断用GUI 61实施对象物的某个部分的诊断，则以后无论针对哪个用户显示相同的部分的诊断用GUI 61，都在该诊断用GUI 61上显示先前进行了诊断的用户的诊断结果(例如，异常部位框61、71、异常标记69、73、备注等)。由此，使不同的用户之间共享这些不同用户针对相同的部分输入的诊断结果。由此，例如顾客能够与分析员及专家之间进行用于减轻各人的作业负担及相互弥补诊断能力的相互协作。

再次参照图4，综合服务器3在步骤S9中制作如上所述的诊断GUI 61。此时，综合服务器3基于对象数据集25内的该对象物的数据记录以及该选择部分的数据记录，来制作选择部分图像63和位置显示图像77，并将它们编入GUI61(S91)。另外，综合服务器3基于诊断数据集29内的与该选择部分有关的数据记录来制作该选择部分的异常部位框67、71、异常标记69、73、备注栏81、83、85，并将它们编入GUI 61(S92)。另外，综合服务器3制作GUI 61的其它部件并将其编入GUI 61(S93)。

综合服务器3将制作出的诊断用GUI 61发送到请求了进行诊断作业的用户终端7、9或11(S10)。该用户终端7、9或11显示诊断用GUI(S11)。当该用户输入(例如，异常部位、异常类型、备注等)时，用户终端7、9或11将其诊断结果显示在诊断GUI上，然后，将该诊断结果发送到综合服务器3(S12)。

综合服务器3在接收到上述诊断结果时，将该诊断结果的数据记录登记到诊断数据集29中并更新诊断数据集29，与此相应地也更新进度数据集21(S13)。

在上述步骤S12中，用户一边观察诊断用GUI一边进行对象物的诊断作业。在此，在复杂的诊断的情况下，一个完整的诊断作业能够分为多个阶段(多个子诊断)。例如，在图4中被表示为步骤S121～S124的诊断作业的例子是观察利用带摄像机的无人机拍摄到的几百张至几千张的田地的照片来诊断田地的情况的一例，但在此包括以下四个子诊断。

(1)第一子诊断(图4、S121)

在该作业中，仔细地调查一块田地的几百张至几千张的照片图像，从田地的区域中找出被认为异常的部位(例如，发生了病害、害虫损害、发育不良等的部位)，并将该异常部位输入到用户终端。该作业相当于以下操作：在图6所例示的诊断用GUI 61中检查选择部分图像63，从这些图像中找出异常部位，并分别用异常部位框67、71指定这些异常部位。在第一子诊断中，由于需要仔细地调查几百张至几千张的照片图像，因此其作业负担相当大。另一方面，第一子诊断所需要的诊断能力可以比后述的第三子诊断及第四子诊断所需要的诊断能力低。

(2)第二子诊断(图4、S122)

在该作业中，针对在第一子诊断中发现的各异常部位确定其异常种类(害虫、疾病、颜色不均、杂草等)，并将其异常类型输入到用户终端。该作业例如相当于以下操作：在图6所示的诊断用GUI 61的例子中观察各个异常部位框67、71来判断或估计异常类型，并附加与之对应的异常标记69、73。第二子诊断所需要的诊断能力可以比后述的第三子诊断及第四子诊断所需要的诊断能力低。

(3)第三子诊断(图4、S123)

在该作业中，针对通过田地内的第一子诊断而发现的各个异常部位，参考通过第二子诊断而附加的异常种类，来确定该异常的具体名称(害虫名称、疾病名称、颜色不均原因、杂草名称等)，并将该具体的异常名称输入到用户终端。例如，相当于以下操作：在图6所示的诊断用GUI 61的例子中，针对各个异常部位，在备注栏81、83、85中输入异常名称(此外，在图6的例子中还没有输入异常名称)。或者，该作业相当于以下操作：在图6所示的诊断用GUI 61的例子中，显示预先准备的异常名称列表(此外，在图6的例子中没有显示该列表)，从该列表中选择异常名称并附加在各异常部位。在第三子诊断中，通过利用第一子诊断和第二子诊断的结果，不需要仔细地调查几百张至几千张的照片图像，因此与第一子诊断相比其作业负担变小。另一方面，第三子诊断所需要的诊断能力比第一子诊断及第二子诊断所需要的诊断能力高。

(4)第四子诊断(图4、S124)

在该作业中，观察各异常部位的照片图像，并且以在第三子诊断中给出的异常名称为基础，来确定用于去除或消除该异常的应对方法(应该喷洒的农药的名称和量、应该施加的肥料的名称和量等)，并将该应对方法输入到用户终端。例如相当于以下操作：在图6所示的诊断用GUI 61的例子中，针对各个异常部位，在备注栏81、83、85中输入应对方法(此外，在图6的例子中还没有输入应对方法)。或者，该作业相当于以下操作：在图6所示的诊断用GUI 61的例子中，显示预先准备的处置方法列表(此外，在图6的例子中没有显示该列表)，从该列表中选择应对方法并附加在各异常部位。在第四子诊断中，通过利用第一子诊断至第三子诊断的结果，不需要仔细地调查几百张至几千张的照片图像，因此与第一子诊断相比其作业负担变小。第四子诊断所需要的诊断能力比第一子诊断及第二子诊断所需要的诊断能力高。

那么，在完整的诊断作业像这样由多个阶段的子诊断构成的情况下，虽然能够由一个用户进行所有的这些子诊断，但是一个用户的作业负担过大，或者一个用户所要求的诊断能力过高，在现实中大多是有难度的。

因此，在本实施方式所涉及的诊断辅助系统1中，各用户不需要进行多个子诊断的所有子诊断，只要仅选择这些子诊断的一部分(例如一个或两个子诊断)即可。因而，多个用户能够分担多个阶段的子诊断，并依次相继实施。由此，能够进行实用且有效的诊断。关于作业分担的方法，优选的是，利用顾客、分析员、专家这样的不同种类的用户分别具有的不同的特性和情况，各个种类的用户承担对于其各人来说擅长的子诊断。

如果表示该分担作业的一例，则如下所示。

首先，多个分析员所承担的作业适合为以下作业：需要调查大量的数据，但不需要那么高的诊断能力。例如，在上述的田地的诊断的例子中，期望分析员们主要承担第一子诊断(异常部位的确定)和第二子诊断(异常种类的确定)。在第一和第二子诊断中，对于一块田地，需要细心地观察几百张至几千张田地的照片，但另一方面，由于具有获知异常类型的程度的诊断应力就足够了，因此适于多个分析员们分担地进行子诊断。多个分析员通过在如图5所示的进度显示用GUI 41中仅选择带有表示“未诊断”的意思的进度标记47的部分，就能够有效地加入第一子诊断和第二子诊断。

顾客作为管理或持有对象物的最终负责人，可以承担所有的子诊断，特别地，通过主要承担第三子诊断(异常名称的确定)和第四子诊断(应对方法的确定)来减轻其作业负担。即，顾客通过利用分析员们先进行的第一子诊断和第二子诊断的结果，来减轻顾客的作业负担。顾客通过在如图5所示的进度显示用GUI 41中仅选择带有表示“已诊断”的意思的进度标记49的部分，就能够有效地加入第三子诊断和第四子诊断。

专家主要负责第三子诊断(异常名称的确定)和第四子诊断(应对方法的确定)，以有效利用其高诊断能力。为了使专家不被强加过大的作业负担，专家也可以仅起到对顾客的诊断进行补充的作用。即，例如专家并不是一开始就进行第三子诊断(异常名称的确定)和第四子诊断(应对方法的确定)，可以仅承担以下作业：对顾客所加入的第三子诊断(异常名称的确定)和第四子诊断(应对方法的确定)的结果进行核查，根据需要对其进行修改或补充。或者，专家也可以仅在从顾客向专家进行了诊断委托(例如提问、核查请求等)时，处理被委托的该事项。

如上所述，分析员、顾客、专家通过分担用于完成诊断作业的多个阶段的作业，能够相互辅助地提高诊断的效率和精度。即使在AI服务器5的诊断能力不成熟的期间，顾客通过接受分析员、专家的帮助也能够在自己不承受大的作业负担的情况下针对自己所管理或持有的对象物获得恰当的诊断结果。

另外，在本实施方式所涉及的系统中，分析员、顾客以及专家能够通过在诊断用GUI 63上浏览分别给出的诊断结果以及AI服务器5给出的诊断结果并彼此共享这些诊断结果。由此，特别是诊断能力低的诊断者(例如，经验少的分析员、顾客等)能够参考具有更高诊断能力的诊断者的诊断结果，来提高自己的诊断能力。这有助于提高系统整体的诊断效率和精度。特别是，即使是没有直接受到专家的帮助的对象者(例如，具有不在农业合作社或农业试验场管辖范围内的田地的对象者)，只要分析员们在其他顾客的田地的诊断作业中学习到专家的诊断结果，就能够通过这些分析员们间接地受到其它田地的专家的帮助。

另外，在本实施方式所涉及的系统中，能够利用分析员、顾客以及专家所给出的诊断结果来准备AI服务器5进行机器学习所需的教师数据。即，能够在向顾客提供诊断辅助服务的同时，背地里训练AI服务器5，然后向顾客提供有效利用了训练成果的自动诊断服务。

图7例示了AI服务器5对诊断方法进行机器学习时的AI服务器5与综合服务器3之间的通信和控制的过程。

综合服务器3在将由用户(分析员、顾客或专家)针对现有或新的对象物的各个部分得出的诊断结果登记到诊断数据集29的情况下，将该诊断结果发送到AI服务器5(S21)。AI服务器5使用从综合服务器3接收到的该对象物的各个部分的诊断结果以及该对象物的各个部分的部分数据记录253，来制作与各个部分有关的部分教师数据记录353，并将其登记在教师数据集35内的与该对象物对应的个别教师数据记录351内(S22)。此时，在已经由多个用户对相同的部分进行了诊断的情况下，如已经说明的那样，在将由这些多个用户得出的诊断结果以相互匹配的方式进行整合，或者，这些诊断结果相互矛盾的情况下，AI服务器5通过使优先级更高的用户的诊断结果更优先，来制作该部分的部分教师数据记录353。

之后，AI服务器5使用该部分教师数据记录353来对学习模型集33内的用于进行该对象物的诊断的一个以上的学习模型进行机器学习(S23)。之后，AI服务器5评价该学习模型的学习水平(诊断精度)(S24)。然后，对于被评价为学习模型充分的学习模型，AI服务器5使其结束机器学习(S25)。

另外，AI服务器5根据在步骤S24中进行了评价的学习模型的学习水平的提高程度，将与该学习模型对应的诊断模型更新为最新的学习模型的复制品(S26)。例如，每当学习水平(诊断精度)提高某一比例时、或者每当在学习中使用过的教师数据的量增加规定量时，可以更新诊断模型。由此，在提供诊断辅助服务的期间内，AI服务器5的自动诊断能力不断提高。

图8例示AI服务器5进行自动诊断时的AI服务器5与综合服务器3之间的通信和控制的过程。

综合服务器3在针对现有的对象物或新的对象物将新的个别对象数据记录251登记到对象数据集25的情况下，将该个别对象数据记录251发送到AI服务器5(S31)。AI服务器5将该个别对象数据记录251中包含的多个部分数据记录253输入到诊断模型集37内的负责进行该对象物的诊断的一个以上的诊断模型，根据该诊断模型，针对该对象物的各个部分得出自动诊断结果(S32)。

之后，AI服务器5向综合服务器3回复这些部分的自动诊断结果(S33)。综合服务器3将从AI服务器5接收到的该对象物的各个部分的自动诊断结果分别存储到诊断数据集29内的对应的对象物的个别诊断数据记录291内，来作为诊断作业数据记录293。

诊断数据集29内存储的由AI服务器5针对对象物的各个部分得出的自动诊断结果在各个部分的诊断用GUI 63上被顾客、分析员、专家等多个用户浏览并共享。在AI服务器5的诊断能力低的期间，该自动诊断结果不可靠，但随着AI服务器5的诊断能力提高，可靠程度提高。

图9表示对图2所示的诊断辅助系统1的结构施加了用于进一步减轻用户的作业负担的改良所得到的功能结构。如图9所示，综合服务器3除了具有图2所示的结构以外，还具有诊断控制器275。诊断控制器275能够访问诊断数据集29和用户数据集17，来进行用于进一步减轻用户的诊断作业的负担的控制。

由诊断控制器275进行的诊断控制应用于上述图4所示的多个阶段的子诊断、即异常检测S121、异常类型确定S122、异常名称确定S123以及解决对策确定S124的过程中的一个以上的过程。以下，以将该诊断控制应用于异常检测S121、例如从田地的图像中检测杂草的子诊断的情况为例，来说明其详细情况。根据该例示性的说明，本领域技术人员应该也能够容易地理解将诊断控制应用于其它诊断过程的情况下的详细情况。

图10将由应用于对田地的杂草检测的诊断控制器275进行的诊断控制的流程与用户所进行的操作的流程相关联地示出。

在图10中，用虚线包围的流程表示由综合服务器3的诊断控制器275进行的控制的流程，用点划线包围的流程表示在该控制下由用户进行的操作的流程。如图10所示，在步骤S201中，用户(典型的是顾客)将某个田地的图像集(例如几百张或几千张那样的多张照片图像)上传到综合服务器3。在综合服务器3中，诊断控制器275对图像集进行分组(S203)。

在步骤S201的分组中，如图11所示，诊断控制器275被输入该图像集281(S241)，针对该图像集281中的各图像283计算一个以上的特性值(S243)。之后，诊断控制器275基于各图像283的一个以上的特性值，将各图像283分类为一个以上的图像组285～289中的一个图像组，以将特性值相同或类似的一个以上的图像纳入相同的图像组(S245)。作为在分组中使用的上述一个以上的特性，例如能够采用田地的摄影日期时间、田地的场所、摄影时的天气以及摄像机的白平衡调整值等摄影条件、作物的类型之类的田地的条件以及图像的明度、色调及饱和度的分布之类的图像的条件等。对于特性值大不相同的多个图像，如果不应用与各个特性值相应的不同的诊断方法(例如杂草检测方法)，则无法得到精度良好的诊断结果。但是，通过进行上述的分组，来对相同的图像组的多个图像应用适于该图像组的特性值范围的相同的诊断方法，由此能够得到精度良好的诊断结果。

再次参照图10，诊断控制器275在步骤S205中核查有可能能够应用于输入图像集(或者，该图像集中包括的各个图像组)的诊断方法是否已经被保存在诊断控制器275所管理的诊断方法数据库277内。其结果，当在诊断方法数据库277中没有发现有可能应用于该图像集(或某个图像组)的诊断方法的情况下(在S205中为“否”)，诊断控制器275在该时间点不对该图像集(或该图像组)进行步骤S213的自动诊断。

另一方面，在上述步骤S205的核查的结果是在诊断方法数据库277中发现了有可能应用于输入图像集(或者，该输入图像集中包括的各个图像组)的一个以上的诊断方法的情况下(在S205中为“是”)，诊断控制器275从所发现的一个以上的诊断方法中选定被判断为最适于各图像组的特征(例如，该组的上述一个以上的特性值的范围)的一个诊断方法(S207)。然后，诊断控制器275针对每个图像组，使用选定的诊断方法来对对象物的图像集的全部图像(或者，涵盖范围比被进行了样品诊断的图像区域的范围大的区域的图像)进行自动诊断(例如，杂草的检测)(S213)。关于该步骤S213的自动诊断的详细情况将在后面叙述。

在上述S205的核查结果为“否”的情况下，在该阶段不对相应的图像集(或者相应的图像组)进行自动诊断。在该情况下，当用户(典型的是分析员或顾客)访问该图像集(或相应的图像组)的各图像时，能够观察还没有包含任何诊断结果的图像。然后，用户能够一边观察该未诊断的图像，一边进行本说明书中被称为“样品诊断”的简单的诊断(S209)。

在上述步骤S209中进行的“样品诊断”是指如下的对于用户来说负担轻的手动诊断：从一个对象物(例如田地)的图像集(例如该田地的多个照片图像)中选出少数的图像来作为样品图像，用户仅对这些少数的样品图像进行诊断(例如检测杂草)。在该情况下，用户不需要对各样品图像的整个区域进行诊断，仅对一部分区域进行诊断即可。例如，不需要从一张样品图像中找出全部的杂草，只要找出一部分杂草即可。

图12表示在上述步骤S209的样品诊断开始时向用户呈现的GUI的一例。在图12所例示的GUI 301上显示所选择出的一张样品图像303，在该样品图像303上还没有显示任何诊断结果。GUI 301上还具有几个诊断结果输入工具，例如用于指定作为检测目标的物体的杂草的杂草(目标物体)指定工具309以及用于指定作为应该从检测中排除的物体的作物的作物(排除物体)指定工具311等。用户能够使用这些工具309、311在样品图像303上进行样品诊断。

图13表示用户正在上述GUI 301上进行样品诊断(或者结束样品诊断)的GUI 301的情形的一例。如图13所示，用户利用杂草(目标物体)指定工具(例如矩形框)309从样品图像303中指定任意(典型地说，不是全部而是作为一部分的一个以上)杂草(目标物体)313。优选的是，用户还利用作物(排除物体)指定工具(例如，矩形框)311从样品图像303中指定任意(典型地说，不是全部而是作为一部分的一个以上)作物(排除物体)317。在以下的说明中，将在样品诊断中如上述那样指定的一部分杂草(目标物体)称为“样品杂草(样品目标物体)”，将被指定的一部分作物(排除物体)称为“样品作物(样品排除物体)”，将两者统称为“样品物体”。

再次参照图10。当上述步骤S209中的样品诊断结束时，将该样品诊断的结果输入到综合服务器3的诊断控制器275。然后，诊断控制器275使用该样品诊断的结果来自动计算诊断方法，并保存所计算出的诊断方法(S211)。

在此，上述“诊断方法”是在后述的步骤S213的自动诊断中使用的诊断方法，其具体的形态根据诊断控制器275所具有的进行自动诊断的计算机系统的类型的不同而不同。自动诊断用计算机系统的类型的一例是使用预先进行了编程的图像解析算法来进行杂草检测之类的诊断的计算机系统。在使用这种类型的自动诊断系统的情况下，能够采用控制该预先进行了编程的图像解析算法的判断动作所需的各种控制参数的集合，来作为上述诊断方法。在该控制参数的集合中能够包含例如对用于识别杂草的图像和作物的图像的一个以上的图像特性值(例如明度、饱和度、色调、图案形状、图案尺寸、这些值的方差之类的统计值等)应用的判别阈值、比较基准值或提取范围等控制参数。

作为自动诊断用计算机系统的其它类型，也能够使用神经网络之类的具有机器学习功能的计算机系统。在该情况下，上述诊断方法例如是将样品诊断的结果用作教师数据来进行机器学习之后的该诊断系统本身。

在以下的说明中，以使用了自动诊断系统的上述两种类型中的前者的情况为例进行说明。参照图10，在上述步骤S211中，诊断控制器275基于样品诊断的结果来计算诊断方法、即上述图像解析算法的控制参数的集合并进行保存。针对作为对象的图像集中包含的一个以上的图像组的每个图像组计算其诊断方法(控制参数的集合)。这是由于，如果图像组的特征不同，则与其相适合的诊断方法(控制参数的集合)也不同。将计算出的各诊断方法(控制参数的集合)与对应的各图像组建立关联并保存在综合服务器3内。

之后，在步骤S213中，诊断控制器275将与各图像组建立了关联的诊断方法(控制参数的集合)应用于自动诊断系统，使用该自动诊断系统对属于对应的各图像组的图像进行自动诊断，并保存其诊断结果。

图14表示上述步骤S211的诊断方法(控制参数的集合)的计算的控制流程以及步骤S213的自动诊断的控制流程的具体例。如图14所示，在步骤S211的诊断方法(控制参数)的计算过程中，基于在样品诊断中指定的每个图像组的样品作物和样品杂草的图像特性，对杂草(目标物体)进行步骤S251～S257的步骤，对作物(排除物体)进行步骤S261～S267的步骤。

即，在步骤S251中，从各图像组内的一个以上的样品图像中提取在样品诊断中指定的所有杂草区域(如图14所例示的那样，是通过杂草指定工具309指定的所有的杂草区域)内的所有像素值。在步骤S253中，对所提取出的这些杂草区域内的所有像素值应用植被提取掩模。在此，植被提取掩模处理是指将相当于如杂草、作物那样的植被(如果更通常地说，则是成为诊断对象的特定种类的物体)的图像区域与相当于地面、岩石等不成为诊断对象的特定物体的区域相区分的处理。例如通过对杂草区域内的所有像素应用用于识别具有植被特有的颜色特性的像素的HSV滤波器或RGB滤波器等，能够进行该掩模处理。

之后，在步骤S255中，基于植被提取掩模处理的结果来提取杂草区域内的相当于杂草的多个像素(以下称为杂草像素)。在步骤S257中，基于提取出的多个杂草像素的像素值来计算多维的图像特性空间(例如，RGB空间或HVC空间等)内的杂草像素的代表坐标(例如，杂草像素的重心的像素值)。

另外，对在样品诊断中指定的一个以上的作物区域进行步骤S261～S267。这些步骤的说明与在上述的针对杂草区域进行的步骤S251～S257的说明中将“杂草”替换为“作物”的情况相同。

通过上述的步骤S251～S257以及S261～S267，得到各图像组的杂草像素的代表坐标和作物像素的代表坐标。这两个代表坐标是用于自动诊断的诊断方法、即控制参数集。此外，上述的两个代表坐标只不过是用于说明的例示，也可以取而代之地或除此之外采用其它种类的值(例如，在多维特性空间内用于区分杂草像素和作物像素的阈值平面、或者杂草的尺寸的代表值和作物的尺寸的代表值等)，来作为控制参数。针对对象的图像集中包含的所有图像组进行步骤S251～S257以及S261～S267，来决定能够应用于各个图像组的诊断方法。

之后，使用所决定出的每个图像组的诊断方法(控制参数集)，对每个图像组进行步骤S213(S271～S277)的自动诊断。

即，在步骤S271中，属于各图像组的一个以上的图像分别被输入到诊断控制器275。在步骤S273中，对输入图像内的所有像素进行与上述步骤S253及S263相同的植被提取掩模处理，基于其结果，从该输入图像中提取相当于植被的多个像素(以下称为植被像素)。在该阶段，这些植被像素的各植被像素相当于杂草还是相当于作物是未知的。

在步骤S275中，所提取出的多个植被像素被分类为在图像上各自的位置连续的像素块。由此得到的各像素块能够视为相当于个别的植物(以下，将各像素块称为个别植物像素)。然后，对每个个别植物像素计算所述多维特性空间内的这些像素值的代表坐标(例如，重心的像素值)。在步骤S277中，针对各个别植物像素，使用这些像素值的代表坐标、先前计算出的杂草像素的代表坐标及作物像素的代表坐标，例如通过极大似然法来估计该个别植物像素是杂草(目标物体)还是作物(排除物体)。基于该估计的结果来提取被估计为杂草(目标物体)的个别植物像素。

对作为对象的图像集中包含的所有图像组进行以上的步骤S271～S277。由此，将田地中的被估计为杂草(目标物体)的区域作为自动诊断结果进行保存。

再次参照图10。在步骤S213中，如以上所说明的那样执行自动诊断(例如，田地的杂草检测)，并将其结果保存在综合服务器3中。之后，在步骤S215中，用户(例如，顾客或专家)能够将该自动诊断结果显示在用户终端上。然后，用户观察该自动诊断结果来判断该自动诊断结果是否能够满意(也就是是否恰当)(S217)，如果能够满意，则能够结束诊断过程。另一方面，如果自动诊断结果不满意(在S217中为“否”)，则用户能够手动地修改自动诊断结果(S219)。在步骤S219的修改中，用户不需要找出自动诊断结果不满意也就是不恰当的所有部位(例如，没有检测出某种杂草的漏检测、或者将某作物检测为杂草的误检测等)来进行修改，只要以与样品诊断相同的要领选择并指定不恰当的部位内的一部分部位即可。换言之，上述步骤S215～S219的过程是指用户参考自动诊断结果手动地进行诊断的过程。能够以与样品诊断相同的要领进行该手动的诊断，因此用户的作业负担轻。

在上述步骤S217中用户对自动诊断结果满意的情况下，将该自动诊断结果作为最终的诊断结果进行保存。另一方面，在步骤S219中修改了自动诊断结果的情况下，也可以将该修改结果作为最终的诊断结果进行保存。或者，如后面说明的那样，在用户对基于该修改结果再次进行的自动诊断的结果满意的情况下，也可以将该再次进行的自动诊断的结果作为最终的诊断结果进行保存。无论在哪一种情况下，被保存的最终的诊断结果和对象田地的图像集(即对象数据)都能够被图9所示的AI服务器5利用，以制作进行机器学习所需的教师数据。

在步骤S219中进行的自动诊断结果的修改结果被输入到诊断控制器275。于是，在步骤S221中，诊断控制器275基于该修改结果来重新计算诊断方法，也就是修改诊断方法。这样修改后的诊断方法被保存在综合服务器3中。此处的诊断结果的重新计算(修改)的控制流程可以与参照图14说明过的步骤S211的流程相同。在修改了诊断方法之后，诊断控制器275能够返回到上述步骤213来以修改后的诊断方法再次进行自动诊断。用户能够再次确认该第二次自动诊断的结果，如果有必要则进行追加的修改。由此，自动诊断的精度进一步提高。

图15表示示出在上述图10的步骤S215中显示在用户终端上的自动诊断结果的GUI的例子。如图15所示，在GUI 321上的田地的图像323中，将自动诊断的结果、即根据该图像323检测到的杂草325以用户能够肉眼识别的方式显示(例如，各个检测杂草的轮廓线被强调地显示)。在图15的例子中，自动诊断结果是恰当的，也就是说，图像323的区域内存在的所有杂草都被检测出，并且没有检测到任何作物。用户对该自动诊断结果满意。

图16表示示出不恰当的自动诊断结果的GUI的例子。在图16所示的例子中，图像323的区域内存在的一部分杂草327被漏检测，另外，一部分作物329被误检测。在这种情况下，用户能够进入上述图10的步骤S219来修改漏检测或误检测的部位。

图17表示用户修改了自动诊断结果时的GUI的例子。如图17所示，用户利用杂草指定工具309来指定被漏检测的一种以上的杂草327，还利用作物指定工具311来指定被误检测的一种以上的作物329，由此能够修改自动诊断结果。此时，用户不需要找出并指定被漏检测的所有杂草327和被误检测的所有作物329，仅指定其中的一部分即可。如上所述，该修改结果被使用于诊断方法的重新计算，对诊断方法进行修改。

通过如以上说明那样的诊断控制，能够减轻用户所进行的诊断的作业负担。

图18表示图1所示的本发明的一个实施方式所涉及的诊断辅助系统能够应用的、用于辅助使用无人移动机(以下称为无人机)进行的调查、检查、维护等作业的系统的一例的功能结构。

在图18所示的作业辅助系统的例子中，面向田地的检查维护(例如，发生了病害、生理障碍的部位的确定以及向该部位喷洒农药、肥料等)的用途。但是，根据该用途的系统的说明，本领域技术人员应当能够容易地理解面向其它用途(例如，针对建筑物、设施、土地、森林等人造物或自然物的调查、检查、维护、加工、建设、破坏等)的系统的结构。

典型地，图18所示的作业辅助系统1B是能够由多个不同的用户利用的系统。但是，以下限定为由多个用户中的一个用户利用的场景来进行说明。

如图18所示，在利用作业辅助系统1B时，用户能够使用适于不同作业的不同种类的无人机(在该情况下为无人航空器)，例如能够使用两种无人机3B、5B。其中一种是调查无人机3B，具有以下作用：调查用户所期望的地理区域即地区(例如，该用户所持有或利用的田地)的状态、也就是收集该地区的信息。在本实施方式中，作为地区调查的方法，采用从上空拍摄该地区的照片的方法。但是，照片拍摄是一个例示，也可以采用其它调查方法，例如使用了电波雷达、声波雷达或者各种传感器的信息收集法。另外，也可以组合不同的调查方法。

另一种无人机是实际作业无人机5B，具有以下作用：执行应该在该地区实施的某种作业(以下称为实际作业)、例如在广阔的田地中选择性地向发生了病害的部位喷洒农药的作业。

作为调查无人机3B和实际作业无人机5B，也可以使用相同机体的无人机，但为了最佳地发挥各自的作用，大多情况下希望分别使用不同的机体的无人机。另外，对于一个地区，也能够使用多台调查无人机3B以及/或者使用多台实际作业无人机5B。但是，下面，以一个用户使用一台调查无人机3B和另一台实际作业无人机5B的情况为例来进行说明。

作业辅助系统1B具有数据服务器7B，该数据服务器7B是用于对利用无人机3B、5B所需要的各种数据进行管理和处理的计算机系统。在此，通过在图1所示的诊断辅助系统1的综合服务器3中设置图18所示的数据服务器7B的功能要素，能够利用综合服务器3来作为数据服务器7B。

在利用图18所示的作业辅助系统1B时，用户使用操作终端9B。操作终端9B具有通过如因特网那样的通信网络来与数据服务器7B进行数据通信的功能。操作终端9B还具有与无人机3B、5B进行数据传送的功能(例如，能够通过有线或无线的通信方法或者经由移动式数据存储器来与无人机3B、5B传送数据)。

能够采用具有这种功能的通用的便携式信息处理终端(例如所谓的移动电话、智能手机、平板终端、移动型个人计算机或笔记本型个人计算机等)或者其它种类的计算机(例如台式个人计算机)，来作为操作终端9B。在该情况下，利用该作业辅助系统1B所需的计算机程序(例如，本系统专用的应用程序、或者能够访问作为数据服务器7B的外部接口的网站的通用网络浏览器等)被安装于该通用的信息处理终端，通过在该终端上执行该计算机程序，该通用终端作为该作业辅助系统1B用的操作终端9B来发挥功能。或者，作为操作终端9B，也可以在该作业辅助系统1B中准备专用的硬件。

各用户在利用作业辅助系统1B时，既可以始终仅使用同一台操作终端9B，也可以根据时间和情况适当地选择并使用多个操作终端9B中的一个。另外，多个不同的用户也能够使用各自的操作终端9B，参照与相同的地区(例如相同的田地)有关的信息来输入希望的信息。下面，以一个用户使用一台操作终端9B的情况为例来进行说明。

调查无人机3B具有用于使其飞行的飞行机构11B、用于测量其三维位置(纬度、经度、高度)的GPS接收器13B、用于拍摄照片的摄像机15B以及用于控制这些装置11B、13B、15B的控制器17B。另外，调查无人机3B上附带有用于用户从远处对其进行无线操纵的无线操纵器19B(所谓的遥控器)。无线操纵器19B能够与控制器17B进行无线通信，响应于用户针对无线操纵器19B的各种操作，将各种操纵指令发送到控制器17B。

实际作业无人机5B具有用于使其飞行的飞行机构21B、用于测量其三维位置(纬度、经度、高度)的GPS接收器23B、用于进行实际作业的实际作业装置25B以及用于控制这些装置21B、23B、25B的控制器27B。在实际作业是在田地中喷洒农药的情况下，实际作业装置25B当然是农药喷洒装置，但也可以对实际作业装置25B追加配备辅助装置、例如用于拍摄实际作业的情况的摄像机等。另外，实际作业无人机5B上附带有用于用户从远处对其进行无线操纵的无线操纵器29B(所谓的遥控器)。无线操纵器29B能够与控制器27B进行无线通信，响应于用户针对无线操纵器29B的各种操作，将各种操纵指令发送到控制器27B。

操作终端9B按照用户使用它的通常的步骤的顺序，具有地区登记部31B、飞行计划输入部33B、飞行计划输出部35B、摄影图像输入部37B、摄影图像输出部39B、摄影位置输入部41B、摄影位置输出部43B、图像显示部45B、作业部位登记部47B、作业结果输入部48B以及作业结果输出部49B等信息处理功能要素。

地区登记部31B响应于用户输入，将用户所期望的地理区域即地区(例如该用户所持有的田地)的位置(例如该地区的轮廓的顶点的纬度和经度)(以下称为地区位置)登记到数据服务器7B中。

飞行计划输入部33B响应于用户输入，从数据服务器7B下载用户所期望的飞行计划。飞行计划输出部35B响应于用户输入，将所下载的飞行计划发送到用户所期望的无人机3B或5B，来对无人机3B或5B的控制器17B或27B安装该飞行计划。在此，飞行计划是定义了无人机要飞行的地理路径的一种移动计划。

摄影图像输入部37B响应于用户输入，接收由调查无人机3B拍摄到的图像(在一个地区拍摄多个图像)(以下称为摄影图像)。摄影图像输出部39B响应于用户输入，将接收到的多个摄影图像发送到数据服务器7B。

摄影位置输入部41B响应于用户输入，接收由调查无人机3B测量出的拍摄各摄影图像时的调查无人机3B(或摄像机15B)的位置和角度(以下，将摄影的位置和角度统称为摄影位置)。摄影位置输出部43B响应于用户输入，将接收到的摄影位置发送到数据服务器7B。

图像显示部45B响应于用户输入，从数据服务器7B下载用户已经登记的整个地区的图像(以下称为地区图像)，并将其显示在操作终端9B的显示屏(省略图示)上。在此，由数据服务器7B将该地区的多个摄影图像进行结合来制作各地区图像。

作业部位登记部47B响应于用户输入，在所显示的地区图像上确定想要实施该地区内的实际作业的一个以上的地理小区域即部位(以下称为作业部位)，并将该作业部位登记到数据服务器7B中。例如，在实际作业是对田地喷洒农药的情况下，用户能够从某田地的地区图像中观察作物、叶子等的颜色、形状，并将确认发生了病害的部位设为作业部位。在登记该作业部位时，用户也一并指定想要对该作业部位实施的作业的内容(例如喷洒农药A和农药B)，并将该作业内容与作业部位相关联地登记到数据服务器7B中。

作业结果输入部48B响应于用户输入，接收实际作业无人机5B所实施的实际作业的结果(例如农药的喷洒位置和喷洒量等)。作业结果输出部49B响应于用户输入，将接收到的作业结果发送到数据服务器7B。

数据服务器7B具有地区位置数据库51B、三维地图数据库53B、飞行计划数据库55B、摄影图像数据库57B、摄影位置数据库59B、地区图像数据库61B、作业部位数据库63B以及作业结果数据库65B等数据库。另外，数据服务器7B具有飞行计划制作部71B、摄影图像输入部73B、摄影位置输入部75B、摄影图像结合部77B以及分析部79B等信息处理功能要素。

地区位置数据库51B用于登记并管理用户响应于操作终端9B的地区登记部31B而指定的地区(例如，该用户的田地)的地区位置。

三维地图数据库53B用于保存并管理定义了各位置的纬度、经度以及高度的三维地图。三维地图数据库53B由飞行计划制作部71B利用，以制作用于无人机3B、5B的飞行计划。此外，也可以是，在数据服务器7B内不具有三维地图数据库53B，数据服务器7B利用存在于因特网等上的外部的三维地图。

飞行计划数据库55B用于保存并管理用于无人机3B、5B的飞行计划。飞行计划数据库55B从操作终端9B的飞行计划输入部33B接收请求，并将所请求的飞行计划发送到飞行计划输入部33B。由飞行计划数据库55B管理的飞行计划例如大致分为调查飞行计划和实际作业飞行计划这两种。调查飞行计划是用于利用调查用无人机3B来调查所登记的各地区(例如拍摄照片)的飞行计划。实际作业飞行计划是用于利用实际作业无人机5B对所登记的各地区内的一个以上的作业部位实施实际作业(例如喷洒农药)的飞行计划。

摄影图像数据库57B用于保存并管理从操作终端9B的摄影图像输出部39B接收到的摄影图像。摄影位置数据库59B用于保存并管理从操作终端9B的摄影位置输出部43B接收到的摄影位置。

地区图像数据库61B用于保存并管理表示通过将各地区的摄影图像进行结合而制作出的各地区的全貌的地区图像。地区图像数据库61B接收来自操作终端9B的图像显示部45B的请求，并将所请求的地区图像发送到图像显示部45。

作业部位数据库63B用于登记并管理用户响应于操作终端9B的作业部位登记部47B而指定的作业部位。

作业结果数据库65B用于保存并管理从操作终端9B的作业结果输出部49B接收到的作业结果。

摄影图像输入部73B和摄影位置输入部75B分别从操作终端9B接收从调查无人机3B传送到操作终端9B的摄影图像和摄影位置，并将该摄影图像和摄影位置登记到摄影图像数据库57B和摄影位置数据库59B中。

飞行计划制作部71B制作各地区的调查飞行计划以及各地区内的一个以上的作业部位的实际作业飞行计划，并将制作出的飞行计划登记到飞行计划数据库55B中。飞行计划制作部71B既可以是能够全自动地制作飞行计划的全自动工具，或者也可以是人能够对其进行操作来制作飞行计划的半自动工具。

各地区的调查飞行计划是使用地区位置数据库51B内的各地区的地区位置(例如该地区的轮廓的顶点的纬度和经度)和三维地图数据库53B内的各地区内的各地点的三维位置(例如纬度、经度以及高度)来制作的。各地区内的一个以上的作业部位的实际作业飞行计划是使用作业部位数据库63B内的相应的作业部位的位置(例如，作业部位的轮廓的顶点的纬度和经度)和三维地图数据库53B内的各作业部位内的各点的三维位置(例如，纬度、经度以及高度)来制作的。

摄影图像输入部73B从操作终端9B的摄影图像输出部39B接收各地区的摄影图像，并将接收到的摄影图像登记到摄影图像数据库57B中。摄影位置输入部75B从操作终端9B的摄影位置输出部43B接收各地区的摄影位置，并将接收到的摄影位置登记到摄影位置数据库59B中。

摄影图像结合部77B基于摄影位置数据库59B内的各地区摄影位置，将摄影图像数据库57B内的各地区的摄影图像进行结合来制作表示各地区的整体的地区图像，并将该地区图像登记到地区图像数据库61B中。各地区的地区图像发挥用于将该地区的调查(例如照片摄影)的结果通知给用户的调查报告的作用。通过参照各地区的地区图像，用户能够判断应该对该地区内的哪个部位实施实际作业(例如农药喷洒)，并指定该部位。

分析部79B对作业结果数据库65B中保管的作业结果进行分析。作业结果的分析结果能够有效利用于后面的作业方法的改善或其它用途。

图19表示该作业辅助系统1B的整体的控制例的流程。

如图19所示，在操作终端9B中，由用户进行用于登记期望的地区(例如该用户所持有的田地)的操作(步骤S1B)。登记操作例如是如下操作：在操作终端9B的屏幕上显示利用因特网提供的地图，并在该地图上指定地区的地区位置。响应于该登记操作，数据服务器7B记录该地区的地区位置，由此登记该地区(步骤S2B)。之后，数据服务器7B基于该地区位置来制作该地区的调查飞行计划(步骤S3B)。

之后，用户对操作终端9B进行操作，从数据服务器7B向操作终端9B下载该地区的调查飞行计划，并将该调查飞行计划从操作终端9B发送到调查无人机3B(步骤S4B)。于是，对该调查无人机3B安装调查飞行计划(步骤S5B)。

用户将调查无人机3B带到该地区(例如，用户所持有的田地)，然后，操作无线操纵器19B来向调查无人机3B发送起飞及其它辅助性的操纵指示(步骤S6B)。调查无人机3B基本上按照调查飞行计划，一边自动且自主地在该地区的上空飞行，一边在飞行路径上的各位置处重复进行地表区域的照片拍摄，来记录多个摄影图像和摄影位置(步骤S7B)。该飞行控制基本上按照调查飞行计划自动且自主地进行，来自无线操纵器19B的操纵指示例如被辅助性地使用于起飞的开始、飞行位置或速度的若干修改等。

该地区的多个摄影图像和摄影位置从调查无人机3B被传送到操作终端9B，然后，从操作终端9B被发送到数据服务器7B(步骤S8B)。数据服务器7B根据各个摄影位置将这些摄影图像进行结合，来制作该地区整体的地区图像(步骤S9B)。

之后，用户对操作终端9B进行操作，从数据服务器7B接收该地区的地区图像并显示在屏幕上，然后，在所显示的该地区图像上确定作业部位(例如，该田地中的被视觉识别为发生了病害的部位)，并请求服务器7B登记该作业部位(步骤S10B)。数据服务器7B登记该作业部位，然后制作该作业部位的实际作业飞行计划(例如，用于向该部位喷洒农药的飞行计划)(步骤S11B)。

之后，用户对操作终端9B进行操作，将该实际作业飞行计划从数据服务器7B下载到操作终端9B，并将该实际作业飞行计划从操作终端9B发送到实际作业无人机5B(步骤S12B)。于是，将该实际作业飞行计划安装于该实际作业无人机5B(步骤S13B)。

用户将实际作业无人机5B带到该地区(例如用户所持有的田地)，然后，操作无线操纵器29B，来向实际作业无人机发送起飞以及其它辅助性的操纵指示(步骤S14B)。实际作业无人机5B基本上按照实际作业飞行计划，一边在作业部位的上空飞行，一边在作业部位实施实际作业(例如，向田地的病害部位喷洒农药)，并记录其作业结果(步骤S15B)。该飞行控制基本上按照实际作业飞行计划自动且自主地进行，来自无线操纵器19B的操纵指示被辅助性地使用于起飞的开始、飞行位置或速度的若干修改等。

该作业结果从实际作业无人机5B被传送到操作终端9B，然后，从操作终端9B被发送到数据服务器7B(步骤S16B)。数据服务器7B保存并分析该作业结果(步骤S17B)。

如根据以上的控制流程可知的那样，用户能够使用操作终端9B比较容易地利用无人机3B、5B来实施期望的地区内的期望的作业。

图20表示图1所示的诊断辅助系统1能够应用的作业辅助系统的其它例的功能结构。

图20所示的作业辅助系统100B除了具备图18所示的作业辅助系统1B的结构以外，还具备几个追加的构成要素，这几个追加的构成要素用于使为了得到期待的作业效果所需的作业计划的设定变得容易。在以下的作业辅助系统100B的说明以及参照附图中，对与上述的作业辅助系统1B相同的要素标注相同的参照编号，并省略冗余的说明。

在图20所示的作业辅助系统100B中，数据服务器101B和操作终端111B除了分别具备图18所示的数据服务器7B和操作终端9B所具有的构成要素以外，还具有追加的几个构成要素。通过在图1所示的诊断辅助系统1的综合服务器3中设置图20所示的数据服务器7B的功能要素，能够将综合服务器3用作数据服务器101B。

如图20所示，数据服务器101B具有作业计划数据库103B、作业计划提案数据库105B以及解析部107B，来作为上述追加的构成要素。操作终端111B具有异常部位检测部113B、作业计划输入部115B、提案呈现部117B以及作业选择部119B，来作为追加的构成要素。

操作终端111B的异常部位检测部113B自动地解析由图像显示部45B显示在操作终端111B的显示屏上的地区的调查结果即地区图像(例如，所登记的特定的田地的图像)，从该地区图像中检测异常部位(例如，田地中的被推测为发生了病害等的区域)。异常部位检测部113B将检测出的异常部位的区域(例如，表示该区域的轮廓的框线)显示在显示屏上的地区图像内。

此外，异常部位检测部113B也可以设置在数据服务器101B中，以取代设置在操作终端111B中。例如，数据服务器101B的解析部107B也可以具有异常部位检测部113B。异常部位检测部113B也可以如后述的解析部107B内的症状解析部108B或作业解析部109B那样使用深度神经网络来构成，通过深度学习来对从地区图像中检测异常部位的推断方法进行机器学习。

图像显示部45B在操作终端111B的显示屏上显示地区图像(例如，所登记的特定的田地的图像)，并且在用户使用作业部位登记部47B在该地区图像中确定了作业部位时，操作终端111B的作业计划输入部115B使得用户能够输入针对所确定的该作业部位的作业计划。即，作业计划输入部115B在显示屏上显示用于用户在显示屏上针对各作业部位输入任意的作业计划的作业计划输入工具。用户通过操作该作业计划输入工具，能够向作业辅助系统100B输入针对各作业部位的任意的作业计划。如果作业计划的输入结束(例如，如果用户在显示屏上请求登记作业计划)，则作业计划输入部115B将所输入的作业计划发送到数据服务器101B，该作业计划与对应的作业部位建立关联并被登记到数据服务器101B的作业计划数据库103B中。

在此，作业计划是定义了针对各作业部位进行的预定的实际作业的数据。作为一例，针对各作业部位的作业计划能够包括该作业部位的症状名称(例如病害或生理障碍的名称)以及根据该症状应该执行的实际作业的名称(例如应该对该作业部位实施的农药或肥料或其它维护作业的名称)。或者，作业计划也可以不包括症状名称，仅包括作业名称，或者也可以除了包括症状名称和作业名称以外还包括追加的信息(例如，用于确定作业部位的信息或图像、或者农药或肥料的喷洒量等)。

在数据服务器101B的飞行计划制作部71B制作各地区的飞行计划时，能够如以下那样利用作业计划数据库103B中登记的各地区内的各作业部位的作业计划(例如，与各田地内的各异常部位对应的症状名称及实际作业名称)。即，飞行计划制作部71B例如在针对相同的地区内的不同的作业部位登记有不同的作业计划的情况下，将被给出相同的作业计划(相同的作业名称)的作业部位分类为同一组，针对各组制作一个飞行计划，也就是针对不同的组制作不同的飞行计划。例如，在一个田地内针对作业部位A和B登记有施加农药C的作业计划且针对其它作业部位D和E登记有施加其它农药F的作业计划的情况下，飞行计划制作部71B针对作业部位A和B的组制作用于施加农药C的飞行计划，针对其它作业部位D和E的组制作用于喷洒其它农药F的飞行计划。

在用户使用作业计划输入部115B输入针对各作业部位的作业计划时，操作终端111B的提案呈现部117B从数据服务器101B的作业计划提案数据库105B读入针对各作业部位的作业计划提案，并将各作业计划提案与各作业部位相关联地显示在操作终端111B的显示屏上。

在此，作业计划提案是指数据服务器101B的解析部107B通过推断而生成的、对各作业部位推荐的作业计划的提案。将由解析部107B生成的各作业部位的作业计划提案与各作业部位相关联地存储在作业计划提案数据库105B中。

在用户使用作业计划输入部115B输入作业计划时，在操作终端111B的显示屏上显示的作业计划提案成为用户的参考。特别是对于决定作业计划所需的知识和经验少的用户来说，为了决定更恰当的作业计划，作业计划提案成为辅助。解析部107B的推断能力越高，则作业计划提案帮助用户的性能越高。为了提高解析部107B的推断能力，解析部107B具有后述的结构。

操作终端111B的作业选择部119B用于使用户从由飞行计划输入部33B从飞行计划数据库55B读入的针对特定的地区(例如，特定的田地)的飞行计划中选择与此次希望使实际作业无人机5B执行的特定的作业有关的飞行计划。例如，在由飞行计划输入部33B针对该特定的田地读入了喷洒农药C的飞行计划和喷洒其它农药F的飞行计划的情况下，作业选择部119B将这些飞行计划显示在显示屏上，使用户从中选择期望的飞行计划。作业选择部119B将所选择出的该飞行计划提供给飞行计划输出部35B。从飞行计划输出部35B向实际作业无人机5B的控制器27B提供所选择出的该飞行计划。

数据服务器101B的解析部107B从地区图像数据库61B、作业部位数据库63B、地区位置数据库51B、作业计划数据库103B以及作业结果数据库65B读入所登记的各地区(例如各田地)的图像、各地区内的各作业部位的位置、针对各作业部位的作业计划(例如症状名称和实际作业名称)、基于各作业计划实施实际作业后的各地区(各作业部位)的图像、用户基于实施作业后的图像再次输入的作业计划(特别是症状名称)等的数据。解析部107B利用这些被读入的数据来进行机器学习，由此制作用于自动地生成针对各作业部位的作业计划的提案的推断方法(也包括对暂时制作出的推断方法进行改良的情况)。另外，解析部107B使用通过该机器学习制作出的推断方法，根据各作业部位的图像来制作与该图像相应的作业计划提案。将所制作出的各作业部位的作业计划提案与各作业部位相关联地存储在作业计划提案数据库105B中。

在此，针对各作业部位的作业计划的提案例如包括针对该作业部位估计出的症状(例如病害名称等)的提案以及根据该症状对该作业部位推荐的实际作业(例如农药名称或肥料名称等)的提案。

图21表示该作业辅助系统100B的整体的控制例的流程。

在数据服务器101B中登记了用户所期望的地区的地区图像(步骤S9B)之后，用户能够使该地区图像显示在操作终端111B的显示屏上(步骤S20B)。在该步骤S20B中，操作终端111B自动地解析该地区图像并自动检测异常部位，在显示屏上的地区图像内显示所检测出的该异常部位在哪里。然后，用户参考所显示的该异常部位，通过自己的视觉观察来确定作业部位，并请求操作终端111B登记所确定的该作业部位。于是，从操作终端111B向数据服务器101B通知该作业部位并登记到数据服务器101B中(步骤S21B)。

当在步骤S21B中将作业部位登记到数据服务器101B中时，数据服务器101B的解析部107B对所登记的该作业部位的图像执行推断，并自动地生成针对该作业部位的作业计划提案(步骤S22B)。操作终端111B从数据服务器111B接收该作业计划提案，并将该作业计划提案与显示在显示屏上的作业部位相关联地显示在显示屏上(步骤S23B)。

用户参考显示在操作终端111B上的针对该作业部位的作业计划提案，来决定针对该作业部位的作业计划(例如症状名称和实际作业名称)，并将其输入到操作终端111B，请求操作终端111B登记该作业计划。于是，将所输入的该作业计划与该作业部位建立关联后通知给数据服务器101B，并登记到该数据服务器101B中(步骤S25B)。

在针对某个地区实施了实际作业后，重新拍摄该地区的照片图像(在此体现出该实际作业的效果)并获得该地区图像，进而，当输入并登记用户基于该地区图像重新确定的作业部位(可能存在包括与以前的作业部位相同的部位或者与以前的作业部位不同的部位的情况、或者没有作业部位的情况)以及用户针对各作业部位重新判断出的症状名称(可能包括与以前相同的症状或者与以前不同的症状)时，数据服务器101B的推断部107B接收所实施的该实际作业的作业计划、体现了该作业的效果的图像以及基于该图像重新确定的作业部位及症状名称，来作为教师数据，进行机器学习来自动地制作作业计划的推断方法(步骤S26B)。解析部107B能够将进行了学习的推断方法应用于之后要执行的步骤S22 B中的推断。

通过以上的控制，随着重复进行许多地区的照片拍摄和实际作业，用于生成数据服务器101B所具有的作业计划提案的推断方法逐渐被改善为性能更高的方法，能够向用户提供更恰当的作业计划提案。由此，用于得到所期待的作用效果的作业计划的设计对于用户来说变得更容易。

再次参照图20。数据服务器101B的解析部107B具有症状解析部108B和作业解析部109B。症状解析部108B对各作业部位的图像(地区图像中的相当于各作业部位的部分)进行解析，来估计该作业部位的症状，并将估计出的症状(例如病害名称或生理障碍名称等)作为症状提案来与该作业部位相关联地存储在作业计划提案数据库105B中。作业解析部109B根据各作业部位的症状来估计被推荐适用于该作业部位的实际作业(例如，农药名称或肥料名称等)，并将估计出的该实际作业作为作业提案来与该作业部位相关联地存储在作业计划提案数据库105B中。针对各作业部位的症状提案和作业提案构成针对该作业部位的作业计划提案。

症状解析部108B和作业解析部109B分别能够构成为：例如使用神经网络来进行适于各自的目的的机器学习和推断。

图22和图23分别表示症状解析部108B和作业解析部109B的结构例。

如图22所示，症状解析部108B具有以下两种深度神经网络(以下简称为DNN)。一种是症状学习DNN 121B，另一种是症状推断DNN 123B。

将多个作业部位的图像和症状以及从过去到现在的图像、症状以及实际作业的历史记录(变迁经过)作为教师数据125B大量地输入到症状学习DNN121B，从而症状学习DNN121B执行机器学习、例如深度学习，由此对用于根据图像来推断症状的推断方法进行学习(也就是，制作推断神经网络)。

症状推断DNN 123B具有在由症状学习DNN 121B进行的机器学习中在过去的某个时间点制作出的推断方法(也就是，推断神经网络)，将各作业部位的图像和历史记录的数据输入到该推断方法(推断神经网络)来进行推断，并输出针对该作业部位的症状提案数据129B。

症状学习DNN 121B和症状推断DNN 123B可以构成为不同的硬件或不同的计算机软件。在该情况下，将症状学习DNN 121B在某个期间进行某个量的学习而制作出的推断方法复制到症状推断DNN 123B中，由此以后症状推断DNN 123B能够执行该推断方法。每隔适当的期间重复进行这样的复制，由此症状推断DNN 123B的推断性能随时间经过而提高。

或者，症状学习DNN 121B和症状推断DNN 123B也可以构成为相同的硬件或相同的计算机软件。在该情况下，该相同的硬件或计算机软件能够在某个时间段作为症状学习DNN121B进行动作，在其它时间段作为症状推断DNN 123B进行动作。这样，通过在不同的时间段交替地重复进行学习和推断，来重复地将前一个时间段的学习结果用于下一个时间段的推断，因此症状推断DNN 123B的推断性能随时间经过而提高。

如图20所示，与上述症状解析部108B同样地，作业解析部109B也具有两种DNN。它们是作业学习DNN 131B和作业推断DNN 133B。

将多个作业部位的症状、适用于该症状的实际作业、实施了该实际作业后重新拍摄到的作业部位的图像以及基于该图像重新判断出的症状作为教师数据135B大量地输入到作业学习DNN 131B，从而作业学习DNN 131B执行机器学习、例如深度学习，由此对用于根据症状推断应该适用于该症状的实际作业的推断方法进行学习(也就是，制作推断神经网络)。

作业推断DNN 133B具有在由作业学习DNN 131B进行的机器学习中在过去的某个时间点制作出的推断方法(也就是，推断神经网络)，将各作业部位的症状输入到该推断方法(推断神经网络)中来进行推断，并输出针对该作业部位的作业提案数据139B。

与上述的症状学习DNN 121B和症状推断DNN 123B同样地，作业学习DNN 131B和作业推断DNN 133B可以构成为不同的硬件或不同的计算机软件。在该情况下，将作业状态学习DNN 131B在某个期间内进行某个量的学习而制作出的推段方法复制到作业推断DNN133B中，由此，以后作业推断DNN 133B能够执行该推断方法。每隔适当的期间重复进行这样的复制，由此作业推断DNN 133B的推断性能随时间经过而提高。

或者，作业学习DNN 131B和作业推断DNN 133B也可以构成为相同的硬件或相同的计算机软件。在该情况下，相同的硬件或计算机软件能够在某个时间段作为作业学习DNN131B进行动作，在其它时间段作为作业推断DNN133B进行动作。这样，通过在不同的时间带内交替地重复进行学习和推断，来重复地将前一个时间带的学习结果用于下一个时间带的推断，因此作业推断DNN 133B的推断性能随时间经过而提高。

图24表示数据服务器101B的解析部107B的另一结构例。

在图24的结构例中，解析部107B能够各作业部位的作业计划提案、也就是症状提案和实际作业提案不分离地一起输出。即，解析部107B具有作业计划学习DNN 141B和作业计划推断DNN 143B。

将多个作业部位的图像和作业计划(症状名称和实际作业名称)以及基于该作业计划实施实际作业后的该作业部位的图像和症状以及从过去到现在的该作业部位的图像、症状以及实际作业的历史记录(变迁经过)作为教师数据145B大量地输入到作业计划学习DNN 141B，从而作业计划学习DNN141B执行机器学习、例如深度学习，由此对用于根据图像推断作业计划的推断方法进行学习(也就是，制作推断神经网络)。

作业计划推断DNN 143B具有在由作业计划学习DNN 141B进行的机器学习中在过去的某个时间点制作出的推断方法(也就是，推断神经网络)，将各作业部位的图像和上述历史记录的数据输入到该推断方法(推断神经网络)来进行推断，并输出针对该作业部位的作业计划提案149B。

作业计划学习DNN 141B和作业计划推断DNN 143B可以构成为不同的硬件或不同的计算机软件，或者也可以构成为相同的硬件或相同的计算机软件。

图25表示解析部107B的另一个结构例。

在图25的结构例中，解析部107B并非针对地区内的每个作业部位、而是针对每个地区制作并输出作业计划提案(在此包括地区内的一个以上的作业部位的位置、各作业部位的症状名称和实际作业名称)。即，解析部107B具有作业计划学习DNN 151B和作业计划推断DNN 153B。

将多个地区的整体图像和其中的各作业部位的位置及其症状名称和实际作业名称以及这些地区的实施实际作业后的整体图像、作业部位及症状、以及从过去到现在的这些地区的整体图像、作业部位、症状及实际作业的历史记录(变迁经过)作为教师数据155B大量地输入到作业计划学习DNN 151B，从而作业计划学习DNN 151B执行机器学习、例如深度学习，由此对根据地区的整体图像推断作业计划(地区中的作业部位的位置、各作业部位的症状名称以及实际作业名称)的推断方法进行学习(也就是，制作推断神经网络)。

作业计划推断DNN 153B具有在由作业计划学习DNN 151B进行的机器学习中在过去的某个时间点制作出的推断方法(也就是，推断神经网络)，将各地区的作业部位的图像和上述历史记录的数据输入到该推断方法(推断神经网络)中来进行推断，并输出针对该地区的作业计划提案159B。

作业计划学习DNN 151B和作业计划推断DNN 153B可以构成为不同的硬件或不同的计算机软件，或者也可以构成为相同的硬件或相同的计算机软件。

再次参照图20。在数据服务器101B的地区图像数据库61B、作业部位数据库63B、地区位置数据库51B、飞行计划数据库55B、作业计划数据库、作业结果数据库65B、作业计划提案数据库105B中存储的数据以及解析部107B通过机器学习制作出的推断方法即推断神经网络除了显示于操作终端111B来辅助用户的用途以外，还能够用于各种有益的用途。因此，能够从数据服务器101B向外部输出存储在这些数据库中的数据、推断神经网络的全部或任意部分。

以上所说明的作业辅助系统1B、100B也可以具备用于进行数据校正的校正系统，该数据校正是指去除在利用无人机进行的调查中收集到的数据(例如，通过照片拍摄而得到的田地等地区的图像)中包含的噪声(例如，由于拍摄时的天气、时间段等环境状态而产生的照片图像的色调或明亮度等相对于实际成果的误差)。例如，上述两个实施方式所涉及的作业辅助系统1B、100B可以分别在例如数据服务器7B、101B或例如操作终端9B、111B内具备这样的校正系统。

本发明所涉及的诊断辅助系统不限于如上述那样的用于辅助田地的检查和维护的作业的系统，也能够应用于其它各种用途的作业辅助系统。例如，本发明能够应用于辅助各种作业，例如在材料放置场中使用无人机进行的物体的监视或输送、通过无人机对输电线、铁塔的状态的监视或维护、或者用户所期望的地区或场所的照片或运动图像的拍摄等。

根据用途的不同，也能够辅助仅包括实际作业飞行的作业，不辅助如上所述的包括无人机的调查飞行和实际作业飞行这两个阶段的飞行的作业。例如，在希望进行某个场所的运动图像摄影的情况下，能够辅助如下的更加简单的作业：用户在操作终端上指定该场所，服务器制作用于拍摄该场所的飞行计划，用户下载该飞行计划并安装于无人机，然后无人机进行摄影飞行。

另外，根据用途的不同，也能够辅助包括更多阶段的无人机飞行的作业。例如，能够通过应用了本发明的系统来辅助如下的更加复杂的作业：在对田地进行农药喷洒的情况下，在从进行了农药喷洒的日子起经过了某段期间后，为了调查农药的效果，也可以再次进行调查飞行(在该情况下，既可以进行地区整体的调查飞行，也可以进行将目标限定在作业部位的调查飞行)、或者定期地重复进行调查飞行和农药喷洒，或者进行用于播种或施肥的飞行等。

另外，上述服务器的一部分或全部也可以安装在用户所使用的操作终端内。例如，用于制作飞行计划的软件工具能够安装于操作终端7，从而用户能够使用该工具自己制作飞行计划，或者该工具可以自动地制作飞行计划。

另外，根据作业对象的种类或状况，也可以将本发明应用于辅助作为无人机使用除飞行以外的移动方法例如能够进行地面行驶、水上航行、水中潜航等的设备而进行的作业。

图26表示能够作为上述诊断辅助系统和作业辅助系统中包括的各种服务器和终端来使用的计算机系统的基本的结构例。

如图26所示，计算机系统401具有CPU 403、内部存储器405、主存储器407、通信接口409以及外部存储器411。内部存储器405或外部存储器411能够保持计算机程序(即，CPU403能够执行的多个命令代码的集合)。CPU 403通过将该计算机程序从内部存储器405或外部存储器411展开到主存储器407中并执行该计算机程序，能够进行与该计算机程序的各种命令代码的集合对应的各种功能或动作，例如上述的各种服务器或各种终端的功能、动作。在该过程中，CPU 403能够通过通信接口409与外部的装置进行通信。

上述各种服务器和各种终端分别能够使用具有图26所示的基本结构的一个或多个计算机系统来实现。

以上的说明是例示，本发明的主旨不限于上述说明的范围。本发明能够在不脱离其主旨的情况下以其它各种方式来实施。

附图标记说明

1：诊断辅助系统；3：综合服务器；5：AI(人工智能)服务器；7、9、11：用户终端；7：顾客终端；9：分析员终端；11：专家终端；13：服务管理器；15：用户管理器；17：用户数据集；19：进度管理器；21：进度数据集；23：对象数据管理器；25：对象数据集；27：诊断数据管理器；29：诊断数据集；31：学习控制部；33：学习模型集；35：教师数据集；37：诊断模型集；39：AI诊断控制部；275：诊断控制器；1B：作业辅助系统；3B：调查无人机；5B：实际作业无人机；7B：数据服务器；9B：操作终端。

Claims (8)

1.一种诊断辅助系统，辅助进行对象物的诊断的人，所述诊断辅助系统具备：

对象图像存储单元，其存储表示所述对象物的状态的对象图像；

诊断作业单元，其向第一用户和第二用户分别提供所述对象图像，使得所述第一用户和所述第二用户的各用户能够进行所述对象物的诊断作业；

诊断结果单元，其接收由所述第一用户和所述第二用户的各用户得出的所述对象物的诊断结果；以及

共享单元，其能够使所述第一用户与所述第二用户之间共享由所述第一用户和所述第二用户的各用户得出的所述诊断结果，

其中，所述诊断辅助系统构成为：

所述诊断辅助系统能够与多个所述第二用户进行通信，

所述对象物具有多个不同的部分，

所述对象图像包含分别表示所述对象物的所述不同的部分的状态的多个部分图像，

所述诊断作业单元向多个所述第二用户分配所述多个部分图像，使得多个所述第二用户能够分担地对所述对象物的所述不同的部分进行诊断作业，

所述诊断作业包括调查所述多个部分图像的各个部分图像并输入第一诊断结果的第一子作业和在利用所述多个部分图像的各个部分图像的所述第一诊断结果的同时调查所述各个部分图像来输入第二诊断结果的第二子作业，

所述诊断辅助系统还具备：

第一进度通知单元，所述第一进度通知单元向所述第一用户提供关于是否已经针对所述多个部分图像的各个部分图像进行了所述第一子作业的进度信息，以及

第二进度通知单元，所述第二进度通知单元向多个所述第二用户提供关于是否已经针对所述多个部分图像的各个部分图像进行了所述第一子作业的进度信息，

所述诊断作业单元具有：

第一子作业单元，所述第一子作业单元使得所述第二用户能够根据所述进度信息，从所述多个部分图像之中选择未进行所述第一子作业的未诊断部分图像，并对所选择的所述未诊断部分图像进行所述第一子作业，以及

第二子作业单元，所述第二子作业单元使得所述第一用户能够根据所述进度信息，从所述多个部分图像之中选择已进行了所述第一子作业的已诊断部分图像，并对所选择的所述已诊断部分图像进行所述第二子作业，

所述共享单元能够使所述第一用户与所述第二用户之间共享由所述第二用户得出的所述第一诊断结果。

2.根据权利要求1所述的诊断辅助系统，其中，

所述第一用户是请求进行所述对象物的诊断或需要进行所述对象物的诊断的顾客，

所述第二用户是在所述顾客之前进行所述对象物的预备诊断的分析员。

3.根据权利要求1所述的诊断辅助系统，其中，

所述第一子作业是以下作业：调查所述部分图像来发现所述对象物中的异常部位，输入所发现的所述异常部位来作为所述第一诊断结果，

所述第二子作业是以下作业：调查所述部分图像，针对在所述第一子作业中发现的所述异常部位确定异常名称或应对方法。

4.根据权利要求1所述的诊断辅助系统，其中，所述诊断辅助系统构成为：

所述共享单元能够使所述第一用户与所述第二用户之间共享由所述第一用户得出的所述第二诊断结果。

5.根据权利要求1所述的诊断辅助系统，其中，所述诊断辅助系统还构成为：

所述诊断作业单元不仅向所述第一用户和所述第二用户提供所述对象图像，还向第三用户提供所述对象图像，使得所述第一用户、所述第二用户以及所述第三用户的各用户能够对所述对象物进行诊断作业，

所述诊断结果单元接收由所述第一用户、所述第二用户以及所述第三用户的各用户得出的所述对象物的诊断结果，

所述共享单元能够使所述第一用户、所述第二用户以及所述第三用户之间共享由所述第一用户、所述第二用户以及所述第三用户的各用户得出的所述诊断结果。

6.根据权利要求5所述的诊断辅助系统，其中，

所述第三用户是在对于所述第一用户来说难以进行诊断的情况下帮助所述第一用户的专家。

7.根据权利要求1所述的诊断辅助系统，其中，还具备：

操作终端通信单元，其用于与一个以上的通信终端进行通信，所述通信终端能够与无人机进行通信；

地理区域存储单元，其存储所述对象物的地理区域的位置；

移动计划制作单元，其基于所述地理区域的位置来制作移动计划，所述移动计划用于控制所述无人机，以使所述无人机一边在所述地理区域内移动一边获取所述对象图像；

移动计划存储单元，其存储所述移动计划；

移动计划提供单元，其向至少一个所述通信终端提供所述移动计划，使得能够向所述无人机输入所述移动计划；以及

对象图像获取单元，其获取由所述无人机获取到的所述对象图像。

8.一种诊断辅助系统，用于辅助进行对象物的诊断的人，

所述诊断辅助系统具备一个以上的CPU、一个以上的存储器、以及存储在所述一个以上的存储器中的计算机程序，

所述CPU通过执行所述计算机程序来进行以下处理：

准备表示所述对象物的状态的对象图像；

向第一用户和第二用户分别提供所述对象图像，使得所述第一用户和所述第二用户的各用户能够对所述对象物进行诊断作业；

接收由所述第一用户和所述第二用户的各用户得出的所述对象物的诊断结果；

能够使所述第一用户与所述第二用户之间共享由所述第一用户和所述第二用户的各用户得出的所述诊断结果；

所述诊断辅助系统与多个所述第二用户进行通信，

所述对象物具有多个不同的部分，

所述对象图像包含分别表示所述对象物的所述不同的部分的状态的多个部分图像，

所述CPU通过执行所述计算机程序来进一步进行以下处理：

向多个所述第二用户分配所述多个部分图像，使得多个所述第二用户能够分担地对所述对象物的所述不同的部分进行诊断作业，所述诊断作业包括调查所述多个部分图像的各个部分图像并输入第一诊断结果的第一子作业和在利用所述多个部分图像的各个部分图像的所述第一诊断结果的同时调查所述各个部分图像来输入第二诊断结果的第二子作业，

向所述第一用户提供关于是否已经针对所述多个部分图像的各个部分图像进行了所述第一子作业的进度信息，以及

向多个所述第二用户提供关于是否已经针对所述多个部分图像的各个部分图像进行了所述第一子作业的进度信息，

使得所述第二用户能够根据所述进度信息，从所述多个部分图像之中选择未进行所述第一子作业的未诊断部分图像，并对所选择的所述未诊断部分图像进行所述第一子作业，

使得所述第一用户能够根据所述进度信息，从所述多个部分图像之中选择已进行了所述第一子作业的已诊断部分图像，并对所选择的所述已诊断部分图像进行所述第二子作业，以及

使所述第一用户与所述第二用户之间共享由所述第二用户得出的所述第一诊断结果。

Images