CN110826908A - 人工智能预测的评估方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请公开了一种人工智能预测的评估方法、装置、计算机可读存储介质以及电子设备，通过将测试数据输入待评估的人工智能模型得到预测结果，然后比对该预测结果与测试数据的标准结果，以得到该待评估的人工智能模型的评估结果，并且该预测结果与标准结果都包括多个参数指标，可以综合评估该待评估的人工智能模型，避免单个参数指标造成评估结果不全面和不客观，进一步提高评估的准确性。

Description

人工智能预测的评估方法、装置、存储介质及电子设备

技术领域

本申请涉及人工智能领域，具体涉及用于医疗辅助的人工智能模型预测的评估方法、评估装置、计算机可读存储介质以及电子设备。

背景技术

生活在当今数据化、信息化的人工智能时代，其代表性象征为“计算机”，主要以信息技术为主体，重点是创造和开发知识。获益于健康的数据数字化和数据聚合，AI(Artificial Intelligence，人工智能)作为一种很好的工具，在医疗方面，可以利用AI进行范围内居民健康管理，并且模拟医生诊疗过程并给出辅助诊疗和参考建议，能够缓解医生资源紧缺的问题，提高医生工作效率。

在AI技术快速发展的今天，出现了很多的AI模型，然而各个AI模型的预测结果不同，甚至对于不同诊疗对象和类型的预测结果也不尽相同，而在医疗健康如此严谨的领域，预测结果如果不准确，很容易对患者造成不可预估的损失，也不利于AI辅助诊疗在医疗健康领域的推广应用，因此，亟需一种能够较为准确的评估AI模型的方法。

发明内容

为了解决上述技术问题，本申请提出了一种人工智能预测的评估方法，通过将测试数据输入待评估的人工智能模型得到预测结果，然后比对该预测结果与测试数据的标准结果，以得到该待评估的人工智能模型的评估结果，并且该预测结果与标准结果都包括多个参数指标，可以综合评估该待评估的人工智能模型，避免单个参数指标造成评估结果不全面和不客观，进一步提高评估的准确性。

根据本申请的一个方面，提供了一种人工智能预测的评估方法，包括：将测试数据输入待评估的人工智能模型，得到对应所述测试数据的预测结果，其中，所述预测结果包括多个参数指标；以及比对所述预测结果的所述多个参数指标与所述测试数据的标准结果的所述多个参数指标，综合得到所述待评估的人工智能模型的评估结果。

在一实施例中，所述标准结果的获得方法包括：通过金标准的方法进行人工标记，以获取所述标准结果。

在一实施例中，所述标准结果的获得方法包括：根据所述待评估的人工智能模型的预测项目，选取对应的测试模型，其中，每个所述预测项目对应至少一个所述测试模型；以及将所述测试数据输入所述测试模型，得到所述标准结果。

在一实施例中，所述测试项目对应多个所述测试模型，所述将所述测试数据输入所述测试模型，得到所述标准结果包括：将所述测试数据输入多个所述测试模型，得到多个输出结果；以及根据所述多个输出结果，综合得到所述标准结果。

在一实施例中，所述将所述测试数据输入所述测试模型，得到所述标准结果包括：将所述测试数据输入所述测试模型，得到输出结果；获取第三方审核机制对于所述输出结果是否正确的判断结果；以及当所述判断结果为所述输出结果正确时，将所述输出结果作为标准结果输出。

在一实施例中，所述获取第三方审核机制对于所述输出结果是否正确的判断结果包括：当多个所述测试模型得到的所述多个输出结果不一致时，获取第三方审核机制对于所述输出结果是否正确的判断结果。

在一实施例中，所述第三方审核机制包括多个第三方审核小组，其中，所述获取第三方审核机制对于所述输出结果是否正确的判断结果包括：获取所述多个第三方审核小组对于所述输出结果是否正确的判断结果；以及判断所述多个第三方审核小组的判断结果是否一致；其中，所述当所述判断结果为所述输出结果正确时，将所述输出结果作为标准结果输出包括：当所述多个第三方审核小组的判断结果一致认为所述输出结果正确时，将所述输出结果作为标准结果输出。

在一实施例中，所述将所述测试数据输入所述测试模型，得到所述标准结果进一步包括：当所述判断结果为所述输出结果不正确时，获取所述第三方审核机制确定的与所述测试数据对应的正确结果；以及将所述测试数据及所述正确结果输入所述测试模型进行训练。

在一实施例中，所述第三方审核机制包括多个第三方审核小组，其中，所述获取第三方审核机制对于所述输出结果是否正确的判断结果包括：获取所述多个第三方审核小组对于所述输出结果是否正确的判断结果；以及判断所述多个第三方审核小组的判断结果是否一致；其中，所述当所述判断结果为所述输出结果不正确时，获取所述第三方审核机制确定的与所述测试数据对应的正确结果包括：当所述多个第三方审核小组的判断结果一致认为所述输出结果不正确时，获取所述第三方审核机制确定的与所述测试数据对应的正确结果。

在一实施例中，所述测试数据的获取方式包括：获取初始数据；对所述初始数据进行预处理，得到预处理后的数据；以及根据所述待评估的人工智能模型的预测项目，选取所述预处理后的数据中的部分或全部数据作为所述测试数据。

在一实施例中，所述预处理包括如下操作中的任一项或多项的组合：对所述初始数据进行分类；对所述初始数据进行数据脱敏；将所述初始数据转换为预先设定的格式。

在一实施例中，所述初始数据包括图像数据和/或数值数据。

在一实施例中，所述多个参数指标包括以下参数指标中的任意多个的组合：病灶位置、病灶数量、病灶面积、结果获取时长。

在一实施例中，在所述综合得到所述待评估的人工智能模型的评估结果之后，还包括：使用图像对比或者数据图表的方式展示所述评估结果。

根据本申请的另一个方面，提供了一种人工智能预测的评估装置，包括：预测模块，用于将测试数据输入待评估的人工智能模型，得到对应所述测试数据的预测结果，其中，所述预测结果包括多个参数指标；以及比对模块，用于比对所述预测结果的所述多个参数指标与所述测试数据的标准结果的所述多个参数指标，综合得到所述待评估的人工智能模型的评估结果；其中，所述标准结果通过测试模型获得。

根据本申请的另一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一所述的人工智能预测的评估方法。

根据本申请的另一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述任一所述的人工智能预测的评估方法。

本申请提供的一种人工智能预测的评估方法、装置、计算机可读存储介质以及电子设备，通过将测试数据输入待评估的人工智能模型得到预测结果，然后比对该预测结果与测试数据的标准结果，以得到该待评估的人工智能模型的评估结果，并且该预测结果与标准结果都包括多个参数指标，可以综合评估该待评估的人工智能模型，避免单个参数指标造成评估结果不全面和不客观，进一步提高评估的准确性。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请一示例性实施例提供的一种人工智能预测的评估方法的流程示意图。

图2是本申请一示例性实施例提供的一种标准结果的获得方法的流程示意图。

图3是本申请另一示例性实施例提供的一种标准结果的获得方法的流程示意图。

图4是本申请另一示例性实施例提供的一种第三方审核机制的判断结果获取方法的流程示意图。

图5是本申请另一示例性实施例提供的一种标准结果的获得方法的流程示意图。

图6是本申请另一示例性实施例提供的一种第三方审核机制的判断结果获取方法的流程示意图。

图7是本申请另一示例性实施例提供的一种标准结果的获得方法的流程示意图。

图8是本申请一示例性实施例提供的一种测试数据的获得方法的流程示意图。

图9是本申请另一示例性实施例提供的一种人工智能预测的评估方法的流程示意图。

图10是本申请一示例性实施例提供的一种人工智能预测的评估装置的结构示意图。

图11是本申请一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

目前的医疗水平和条件都有所提高，虽然全国各地都有很多的医院和医疗机构，然而相比众多的就诊患者，医院和医疗机构的数量就显得分外不足，而医院和医疗机构的主要参与者就是医生，每个患者都需要经过医生的诊断和治疗，面对每天大量的就诊患者，医生的工作压力可想而知，并且培养一个医生所需要的时间和投入都比较大，所以短时间内医生的数量是不能满足就诊需求的。

随着人工智能技术的不断发展，人工智能技术已经开始应用于各个领域了，例如医疗领域，通过人工智能可以对就诊患者进行辅助诊疗，譬如，根据就诊患者的病状或检查结果给出相应的治疗建议，从而大幅减少医生的工作量，实现辅助诊疗，特别是能够量化的标准化结果，对于医生的进一步诊疗具有非常大的参考意义。

但是，目前的人工智能模型有很多，甚至针对每一个项目(例如基于CT影像的病灶预测)都会有多个人工智能模型，而面对众多的人工智能模型，如何评估和选择符合准确度需求的人工智能模型就成了我们需要解决的一个问题。

出于解决上述问题，本申请提出了一种人工智能预测的评估方法，通过将测试数据输入待评估的人工智能模型得到预测结果，然后比对该预测结果与测试数据的标准结果，以得到该待评估的人工智能模型的评估结果，并且该预测结果与标准结果都包括多个参数指标，可以综合评估该待评估的人工智能模型，避免单个参数指标造成评估结果不全面和不客观，进一步提高评估的准确性。

示例性方法

图1是本申请一示例性实施例提供的一种人工智能预测的评估方法的流程示意图。本实施例可应用在电子设备上，如图1所示，该方法包括如下步骤：

步骤110：将测试数据输入待评估的人工智能模型，得到对应测试数据的预测结果。

测试数据可以是预先设定好的用于对人工智能模型进行评估的数据，也可以是随机抽取的数据库中的数据，其中，测试数据可以包括数值数据或者是图像数据等用于医疗诊断中的确定疾病种类和治疗方案的参考数据。利用该人工智能模型对测试数据进行预测以得到预测结果，其中预测结果包括多个参数指标，为了进一步提高评估的可靠性、避免因为个体差异而导致的评估结果的不准确，本申请实施例可以选取多个测试数据(甚至可以是大量的测试数据)来得到多个预测结果，从而可以根据多个预测结果综合评估该待评估的人工智能模型的预测准确度。应当理解，本申请实施例可以根据实际应用场景的需求而选取不同类型和数量的测试数据通过待评估的人工智能模型得到预测结果，只要所选取的测试数据的类型和数量能够保证评估的可靠性即可，本申请实施例对于测试数据的具体类型和具体数量不做限定。

在一实施例中，多个参数指标可以包括以下参数指标中的任意多个的组合：病灶位置、病灶数量、病灶面积、结果获取时长。应当理解，本申请实施例可以根据实际应用场景的需求而选取不同的参数指标来对人工智能模型进行评估，只要所选取的参数指标能够准确评估人工智能模型的预测准确度即可，本申请实施例对于具体的参数指标不做限定。

在一实施例中，本申请实施例可以根据单个或少数几个参数指标对多个待评估的人工智能模型进行初步评估，选取其中的一个或多个作为待评估的人工智能模型。由于在实际应用中，可能会存在很多人工智能模型，而如果对所有的人工智能模型逐个评估，那工作量将会很大，因此，可以利用一个或几个相对重要的参数指标对所有的人工智能模型进行初步筛选，以保留初步评估结果达到某一预设标准的人工智能模型，从而减小了评估的工作量。应当理解，本申请实施例可以根据实际应用场景的需求而选取不同的参数指标来对人工智能模型进行初步评估，该参数指标可以是上述预测结果的多个参数指标中的一个或多个，也可以是其他的参数指标，只要所选取的参数指标能够将预测准确度较低的人工智能模型排除掉即可，本申请实施例对于初步评估的具体参数指标不做限定。

步骤120：比对预测结果的多个参数指标与测试数据的标准结果的多个参数指标，综合得到待评估的人工智能模型的评估结果；其中，标准结果通过测试模型获得。

测试模型可以是基于标准样例数据建立的，可避免人为因素的干扰，例如测试模型可以是通过某一细化领域内的标准样例数据训练获得的，因此，测试模型在该细化领域内具有较高甚至绝对的准确度，而通过测试模型得到的该细化领域内的标准结果可以作为评估待评估的人工智能模型对该细化领域的测试数据的预测准确度。在一实施例中，测试模型可以包括多个。即采用多个不同细化领域内的测试模型分别对待评估人工智能模型进行本细化领域的评估，并且根据多个细化领域的结果综合得到该待评估的人工智能模型的评估结果。应当理解，本申请实施例可以根据实际应用场景的需求而选取不同的测试模型数量，只要所选取的测试模型的数量能够保证评估结果的准确性即可，本申请实施例对于测试模型的具体数量不做限定。在一实施例中，该标准结果的获取方法可以是通过金标准的方法进行人工标记得到。其中金标准是医学界公认的诊断疾病的标准方法，利用该标准获取的标准结果为可靠的结果。在一实施例中，可以采用多个人工标注结果综合评估待评估的人工智能模型。在进一步的实施例中，综合评估方式可以是将多个人工标注结果整合为一个标准结果并通过比对该一个标准结果与待评估的人工智能模型的预测结果之间的差异，也可以是通过比对每一个标准结果与待评估的人工智能模型的预测结果之间的差异，然后综合多个差异得到最终的差异。其中，多个人工标注结果整合的方式可以是加权平均，也可以是合并(例如集合求并的方式)。

本申请提供的一种人工智能预测的评估方法，通过将测试数据输入待评估的人工智能模型得到预测结果，然后比对该预测结果与测试数据的标准结果，以得到该待评估的人工智能模型的评估结果，并且该预测结果与标准结果都包括多个参数指标，可以综合评估该待评估的人工智能模型，避免单个参数指标造成评估结果不全面和不客观，进一步提高评估的准确性。

图2是本申请一示例性实施例提供的一种标准结果的获得方法的流程示意图。如图2所示，该标准结果的获得方法可以包括：

步骤210：根据待评估的人工智能模型的预测项目，选取对应的测试模型，其中，每个预测项目对应至少一个测试模型。

针对不同的预测项目，会有不同的测试模型，其中每个预测项目至少对应一个测试模型，预测项目可以包括CT图像、X光片图像等大项目，也可以包括胸腔的CT图像、肺部的CT图像等小项目，其中每个小项目对应上述一个细化领域。针对每一个具体的预测项目，都会对应有至少一个测试模型，该测试模型在其对应的细化领域内具有较高的准确度，因此，根据待评估的人工智能模型需要评估的预测项目，选取该预测项目所在的细化领域对应的测试模型，具有较高的比对依据，从而得到较为准确的评估结果。

步骤220：将测试数据输入测试模型，得到标准结果。

在选定了测试模型后，将测试数据输入该测试模型，以得到该预测项目所在的细化领域内的标准结果，从而可以评估待评估人工智能模型对于该预测项目的预测结果的准确度。

图3是本申请另一示例性实施例提供的一种标准结果的获得方法的流程示意图。如图3所示，步骤220可以包括如下子步骤：

步骤221：将测试数据输入测试模型，得到输出结果。

步骤222：获取第三方审核机制对于输出结果是否正确的判断结果。

步骤223：当判断结果为输出结果正确时，将输出结果作为标准结果输出。

由于测试模型的训练过程也是有限的，通过该测试模型获取的输出结果也不是百分之百准确，特别是在测试数据为非常规测试数据时，测试模型得到的输出结果就可能存在问题，此时可进一步引入第三方审核机制来判断输出结果是否真的存在问题。第三方审核机制可以是除待评估人工智能模型和测试模型之外的任何形式的审核机制，例如可以是拥有更高计算能力的人工智能引擎或具有更专业鉴别能力的人工审核小组等，本申请对第三方审核机制的具体实现形式并不做限定。在一实施例中，第三方审核机制可以是当测试数据满足一定条件时介入，或者是随机介入抽查；其中，测试数据满足的一定条件可以是测试数据的类型为非常规数据(例如测试数据为清晰度较低的图像数据或者非常规角度的图像数据等)，或者是测试数据的数量达到一个预设值时。应当理解，本申请实施例可以根据实际应用场景的需求选取第三方审核机制介入的条件，只要所选取的条件能够实现对测试模型的准确率的把控即可，本申请实施例对于第三方审核机制介入的具体条件不做限定。

图4是本申请另一示例性实施例提供的一种第三方审核机制的判断结果获取方法的流程示意图。如图4所示，第三方审核机制包括多个第三方审核小组，其中，当所述判断结果为所述输出结果正确时，步骤222可以包括如下子步骤：

步骤2221：获取多个第三方审核小组对于输出结果是否正确的判断结果。

步骤2222：判断多个第三方审核小组的判断结果是否一致。

步骤2223：当判断结果为多个第三方审核小组的判断结果一致认为输出结果正确时，确认输出结果正确。

通过多个第三方审核小组分别单独对测试模型的输出结果进行判断，并得到多个判断结果，当所有的判断结果一致认为该测试模型的输出结果正确时，确认该测试模型的输出结果正确，可以提高该测试模型获取的标准结果的准确度。

图5是本申请另一示例性实施例提供的一种标准结果的获得方法的流程示意图。如图5所示，步骤220可以包括如下子步骤：

步骤224：当判断结果为输出结果不正确时，获取第三方审核机制确定的与测试数据对应的正确结果。

当第三方审核机制确认该测试模型的输出结果不正确时，由该第三方审核机制确定该测试数据对应的正确结果，并将该正确结果作为该测试数据的标准结果。

步骤225：将测试数据及正确结果输入测试模型进行训练。

在第三方审核机制确定正确结果后，将该测试数据与该正确结果作为训练样本输入该测试模型，对该测试模型进一步训练，以提高该测试模型的准确率。

图6是本申请另一示例性实施例提供的一种第三方审核机制的判断结果获取方法的流程示意图。如图6所示，第三方审核机制包括多个第三方审核小组，其中，当判断结果为输出结果不正确时，步骤222可以包括如下子步骤：

步骤2224：获取多个第三方审核小组对于输出结果是否正确的判断结果。

步骤2225：判断多个第三方审核小组的判断结果是否一致。

步骤2226：当判断结果为多个第三方审核小组的判断结果一致认为输出结果不正确时，获取第三方审核机制确定的与测试数据对应的正确结果。

通过多个第三方审核小组分别单独对测试模型的输出结果进行判断，并得到多个判断结果，当所有的判断结果一致认为该测试模型的输出结果不正确时，确认该测试模型的输出结果不正确，获取第三方审核机制确定的与测试数据对应的正确结果，并且可以将测试数据与该正确结果作为训练样本输入该测试模型进行训练，以进一步提高该测试模型获取的标准结果的准确度。在一实施例中，当多个第三方审核小组的判断结果不一致时，可以采用投票机制，根据多个判断结果中认为正确的数量和认为不正确的数量的多少来确认该测试模型的输出结果是否正确，例如可以判断结果中数量较多的判断结果作为多个第三方审核小组的综合判断结果，即当多数人认为该输出结果正确时，确认该输出结果正确，否则确认该输出结果不正确，在一实施例中，为了保证投票机制的顺利进行，可以选取奇数个第三方审核小组。在一实施例中，为了保证判断结果的准确性，可以设定投票数量较多的判断结果的数量需大于某一预设的阈值(譬如第三方审核小组数量的80％等)。应当理解，本申请实施例可以根据实际应用场景的需求而选取多个第三方审核小组的判断结果不一致时的处理方式，只要所选取的处理方式能够保证判断结果的准确性即可，本申请实施例对于多个第三方审核小组的判断结果不一致时的具体处理方式不做限定。

图7是本申请另一示例性实施例提供的一种标准结果的获得方法的流程示意图。其中，测试项目对应多个测试模型，如图7所示，步骤220可以包括如下子步骤：

步骤226：将测试数据输入多个测试模型，得到多个输出结果。

步骤227：根据多个输出结果，综合得到标准结果。

对于一个测试项目，可以选取多个对应的测试模型，并且由该多个测试模型分别获取该测试数据的多个输出结果，然后根据该多个输出结果，综合得到标准结果，可以进一步提高标准结果的准确性。在一实施例中，可以根据每个测试模型不同而设定不同的权重，并根据每个测试模型得到的输出结果及对应的权重，综合得到标准结果。在一实施例中，可以对多个输出结果进行评判，当存在某个输出结果与其他的输出结果差距较大时，可以踢出该输出结果，也可以由第三方审核机制介入对多个输出结果进行判断，具体的判断方式如上所述，此处不再赘述。

图8是本申请一示例性实施例提供的一种测试数据的获得方法的流程示意图。如图8所示，该测试数据的获取方式可以包括如下步骤：

步骤810：获取初始数据。

在一实施例中，初始数据可包括图像数据和/或数值数据。应当理解，本申请实施例可以根据实际应用场景的需求而选取不同的初始数据类型，本申请实施例对此不做限定。

步骤820：对初始数据进行预处理，得到预处理后的数据。

对初始数据进行预处理，以得到适应于测试模型和待评估的人工智能模型的测试数据。在一实施例中，预处理包括如下操作中的任一项或多项的组合：对初始数据进行分类；对初始数据进行数据脱敏；将初始数据转换为预先设定的格式。应当理解，本申请实施例可以根据实际应用场景的需求而选取不同的预处理方式，只要所选取的预处理方式能够保证处理后的测试数据能够满足测试模型和待评估的人工智能模型的需求即可，本申请实施例对于具体的预处理方式不做限定。

步骤830：根据待评估的人工智能模型的预测项目，选取预处理后的数据中的部分或全部数据作为测试数据。

一个或一批初始数据通常可以应用于多个预测项目，即一个预测项目只需要改初始数据中的部分数据，因此，在进行评估之前，可以根据待评估的人工智能模型的预测项目筛除不需要的数据，从而减少评估过程中的数据处理量，提高评估的效率，同时也能避免不需要的数据对评估的干扰，进一步提高评估准确性。

图9是本申请另一示例性实施例提供的一种人工智能预测的评估方法的流程示意图。如图9所示，在步骤120之后，该评估方法还可以包括：

步骤130：使用图像对比或者数据图表的方式展示评估结果。

通过图像对比或者数据图表的方式将评估结果展示出来，图像对比能够让人直观的看到待评估人工智能模型的输出结果与标准结果之间的差距，数据图表能够量化待评估人工智能模型的输出结果与标准结果之间的差距，从而实现评估结果的直观视觉展示和精确量化展示。应当理解，本申请实施例中的评估结果还可以采用其他的展示方式，本申请对此不做限定。

示例性装置

图10是本申请一示例性实施例提供的一种人工智能预测的评估装置的结构示意图。如图10所示，该人工智能预测的评估装置20包括：预测模块21，用于将测试数据输入待评估的人工智能模型，得到对应测试数据的预测结果；以及比对模块22，用于比对预测结果的多个参数指标与测试数据的标准结果的多个参数指标，综合得到待评估的人工智能模型的评估结果；其中，标准结果通过测试模型获得。

本申请提供的一种人工智能预测的评估装置，通过预测模块将测试数据输入待评估的人工智能模型得到预测结果，然后通过比对模块比对该预测结果与测试数据的标准结果，以得到该待评估的人工智能模型的评估结果，并且该预测结果与标准结果都包括多个参数指标，可以综合评估该待评估的人工智能模型，避免单个参数指标造成评估结果不全面和不客观，进一步提高评估的准确性。

在一实施例中，多个参数指标可以包括以下参数指标中的任意多个的组合：病灶位置、病灶数量、病灶面积、结果获取时长。在一实施例中，测试模型可以包括多个。

在一实施例中，如图10所示，该人工智能预测的评估装置20还可以包括标准结果获取模块23，用于根据待评估的人工智能模型的预测项目，选取对应的测试模型，其中，每个预测项目对应至少一个测试模型；将测试数据输入测试模型，得到标准结果。

在一实施例中，标准结果获取模块23可以进一步配置为：将测试数据输入测试模型，得到输出结果；获取第三方审核机制对于输出结果是否正确的判断结果；当判断结果为输出结果正确时，将输出结果作为标准结果输出。

在一实施例中，第三方审核机制包括多个第三方审核小组，其中，当所述判断结果为所述输出结果正确时，标准结果获取模块23可以进一步配置为：获取多个第三方审核小组对于输出结果是否正确的判断结果；判断多个第三方审核小组的判断结果是否一致；当判断结果为多个第三方审核小组的判断结果一致认为输出结果正确时，确认输出结果正确。

在一实施例中，标准结果获取模块23可以进一步配置为：当判断结果为输出结果不正确时，获取第三方审核机制确定的与测试数据对应的正确结果；将测试数据及正确结果输入测试模型进行训练。

在一实施例中，第三方审核机制包括多个第三方审核小组，其中，当所述判断结果为所述输出结果不正确时，标准结果获取模块23可以进一步配置为：获取多个第三方审核小组对于输出结果是否正确的判断结果；判断多个第三方审核小组的判断结果是否一致；当判断结果为多个第三方审核小组的判断结果一致认为输出结果不正确时，获取第三方审核机制确定的与测试数据对应的正确结果。

在一实施例中，标准结果获取模块23可以进一步配置为：当多个第三方审核小组的判断结果不一致时，可以采用投票机制，根据多个判断结果中认为正确的数量和认为不正确的数量的多少来确认该测试模型的输出结果是否正确。在一实施例中，为了保证投票机制的顺利进行，可以选取奇数个第三方审核小组。在一实施例中，为了保证判断结果的准确性，可以设定投票数量较多的判断结果的数量需大于某一预设的阈值。

在一实施例中，标准结果获取模块23可以进一步配置为：将测试数据输入多个测试模型，得到多个输出结果；根据多个输出结果，综合得到标准结果。

在一实施例中，如图10所示，该人工智能预测的评估装置20还可以包括测试数据获取模块24，用于获取初始数据；对初始数据进行预处理，得到预处理后的数据；根据待评估的人工智能模型的预测项目，选取预处理后的数据中的部分或全部数据作为测试数据。在一实施例中，初始数据可包括图像数据和/或数值数据。在一实施例中，预处理包括如下操作中的任一项或多项的组合：对初始数据进行分类；对初始数据进行数据脱敏；将初始数据转换为预先设定的格式。

在一实施例中，如图10所示，该人工智能预测的评估装置20还可以包括评估结果展示模块25，用于使用图像对比或者数据图表的方式展示评估结果。

在一实施例中，如图10所示，该人工智能预测的评估装置20还可以包括权限管理模块26，用于根据测试项目确定其可以采用的测试模型。通过权限管理模块26可以将测试模型按照不同的测试项目分为多个类别，并且根据评估需求从某一个测试项目对应的测试模型中选取一个或多个，应当理解，单个测试模型可以只存在于单个测试项目对应的分类中，也可以存在于多个测试项目对应的的分类中。

在一实施例中，如图10所示，该人工智能预测的评估装置20还可以包括配置模块27，用于该人工智能预测的评估装置20的其他模块的参数。

示例性电子设备

下面，参考图11来描述根据本申请实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图11图示了根据本申请实施例的电子设备的框图。

如图11所示，电子设备30包括一个或多个处理器31和存储器32。

处理器31可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备30中的其他组件以执行期望的功能。

存储器32可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器31可以运行所述程序指令，以实现上文所述的本申请的各个实施例的人工智能预测的评估方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备30还可以包括：输入装置33和输出装置34，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是第一设备或第二设备时，该输入装置33可以是摄像头，用于获取图像的输入信号。在该电子设备是单机设备时，该输入装置33可以是通信网络连接器，用于从第一设备和第二设备接收所采集的输入信号。

此外，该输入设备33还可以包括例如键盘、鼠标等等。

该输出装置34可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备34可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图11中仅示出了该电子设备30中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备30还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的人工智能预测的评估方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的人工智能预测的评估方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (18)

1.一种人工智能预测的评估方法，其特征在于，包括：

将测试数据输入待评估的人工智能模型，得到对应所述测试数据的预测结果，其中，所述预测结果包括多个参数指标；以及

比对所述预测结果的所述多个参数指标与所述测试数据的标准结果的所述多个参数指标，综合得到所述待评估的人工智能模型的评估结果。

2.根据权利要求1所述的评估方法，其特征在于，所述标准结果的获得方法包括：

通过金标准的方法进行人工标记，以获取所述标准结果。

3.根据权利要求1所述的评估方法，其特征在于，所述标准结果的获得方法包括：

根据所述待评估的人工智能模型的预测项目，选取对应的测试模型，其中，每个所述预测项目对应至少一个所述测试模型；以及

将所述测试数据输入所述测试模型，得到所述标准结果。

4.根据权利要求3所述的评估方法，其特征在于，所述测试项目对应多个所述测试模型，所述将所述测试数据输入所述测试模型，得到所述标准结果包括：

将所述测试数据输入多个所述测试模型，得到多个输出结果；以及

根据所述多个输出结果，综合得到所述标准结果。

5.根据权利要求4所述的评估方法，其特征在于，所述将所述测试数据输入所述测试模型，得到所述标准结果包括：

将所述测试数据输入所述测试模型，得到输出结果；

获取第三方审核机制对于所述输出结果是否正确的判断结果；以及

当所述判断结果为所述输出结果正确时，将所述输出结果作为标准结果输出。

6.根据权利要求5所述的评估方法，其特征在于，所述获取第三方审核机制对于所述输出结果是否正确的判断结果包括：

当多个所述测试模型得到的所述多个输出结果不一致时，获取第三方审核机制对于所述输出结果是否正确的判断结果。

7.根据权利要求5所述的评估方法，其中，所述第三方审核机制包括多个第三方审核小组，其特征在于，所述获取第三方审核机制对于所述输出结果是否正确的判断结果包括：

获取所述多个第三方审核小组对于所述输出结果是否正确的判断结果；以及

判断所述多个第三方审核小组的判断结果是否一致；

其中，所述当所述判断结果为所述输出结果正确时，将所述输出结果作为标准结果输出包括：

当所述多个第三方审核小组的判断结果一致认为所述输出结果正确时，将所述输出结果作为标准结果输出。

8.根据权利要求5所述的评估方法，其特征在于，所述将所述测试数据输入所述测试模型，得到所述标准结果进一步包括：

当所述判断结果为所述输出结果不正确时，获取所述第三方审核机制确定的与所述测试数据对应的正确结果；以及

将所述测试数据及所述正确结果输入所述测试模型进行训练。

9.根据权利要求8所述的评估方法，其中，所述第三方审核机制包括多个第三方审核小组，其特征在于，所述获取第三方审核机制对于所述输出结果是否正确的判断结果包括：

获取所述多个第三方审核小组对于所述输出结果是否正确的判断结果；以及

判断所述多个第三方审核小组的判断结果是否一致；

其中，所述当所述判断结果为所述输出结果不正确时，获取所述第三方审核机制确定的与所述测试数据对应的正确结果包括：

当所述多个第三方审核小组的判断结果一致认为所述输出结果不正确时，获取所述第三方审核机制确定的与所述测试数据对应的正确结果。

10.根据权利要求1所述的评估方法，其特征在于，所述测试数据的获取方式包括：

获取初始数据；

对所述初始数据进行预处理，得到预处理后的数据；以及

根据所述待评估的人工智能模型的预测项目，选取所述预处理后的数据中的部分或全部数据作为所述测试数据。

11.根据权利要求10所述的评估方法，其特征在于，所述预处理包括如下操作中的任一项或多项的组合：

对所述初始数据进行分类；对所述初始数据进行数据脱敏；将所述初始数据转换为预先设定的格式。

12.根据权利要求10所述的评估方法，其特征在于，所述初始数据包括图像数据和/或数值数据。

13.根据权利要求1至9中任一项所述的评估方法，其特征在于，所述多个参数指标包括以下参数指标中的任意多个的组合：

病灶位置、病灶数量、病灶面积、结果获取时长。

14.根据权利要求1至9中任一项所述的评估方法，其特征在于，在所述综合得到所述待评估的人工智能模型的评估结果之后，还包括：

使用图像对比或者数据图表的方式展示所述评估结果。

15.一种人工智能预测的评估装置，其特征在于，包括：

预测模块，用于将测试数据输入待评估的人工智能模型，得到对应所述测试数据的预测结果，其中，所述预测结果包括多个参数指标；以及

比对模块，用于比对所述预测结果的所述多个参数指标与所述测试数据的标准结果的所述多个参数指标，综合得到所述待评估的人工智能模型的评估结果；其中，所述标准结果通过测试模型获得。

16.根据权利要求15所述的评估装置，其特征在于，还包括配置模块，用于配置所述预测模块和所述比对模块的参数。

17.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-14任一所述的人工智能预测的评估方法。

18.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行上述权利要求1-14任一所述的人工智能预测的评估方法。

Images