CN113886140A - 基于可信性验证的人工智能模型输出数据判断系统 - Google Patents

Abstract

本发明涉及人工智能技术领域，特别涉及基于可信性验证的人工智能模型输出数据判断系统，包括：可信输入模块，用于存储第一标准数据和与第一标准数据对应的标准计算结果，并向人工智能模型发送所述第一标准数据；可信性验证模块，用于接收人工智能模型返回的计算结果，并将接收到的技术结果与标准计算结果进行对比，根据对比的结果来判断人工智能模型输出数据的状态，当对比的结果为相同时，判断人工智能模型输出数据的状态正常，当对比的结果为不相同时，判断人工智能模型输出数据为异常。能够对人工智能模型输出数据进行可信性验证。

Description

基于可信性验证的人工智能模型输出数据判断系统

技术领域

本发明涉及人工智能技术领域，特别涉及基于可信性验证的人工智能模型输出数据判断系统。

背景技术

人工智能：即Artificial Intelligence，简称AI。其为通过计算机系统模拟人类智能的方法、技术、软硬件及系统的泛称。目前的人工智能通常通过深度学习实现，但是AI仅有深度学习是远远不够的。

换句话来说，在目前通过神经网络进行深度学习的相关技术中，由于深度学习是不透明的。神经网络如同“黑箱”一般，不管做什么，你只能看到结果，很难搞懂里面究竟发生了怎样的过程。学习某一个特定任务的神经网络，可能在某些测试中能拿到95％的准确率。但是，现在却很难找到那5％的错误背后的真正原因，而且这些错误中还包括正常人类不可能犯下的巨大的错误。即，部分人工智能模型输出数据存在低级错误的情况。

与此同时，人工智能模型本身在使用过程中，依然能够通过增加反馈的形式进行不断的训练，但是增加反馈并不一定都是正向的，还易出现影响原本正确的输出数据。

在针对人工智能模型的输出数据(以及人工智能模型本身)的可信性验证方面，现在实际上并没有行之有效的方法，无法采用例如在数据中增加校验位的方法(如传统的数据传输)，来验证人工智能模型(的输出数据)的可靠性。但是如果不能对其进行良好的监控，则无法及时准确的发现人工智能模型的异常，而导致后续的各类问题。

因此，现在急需一种在可信计算的基础上，能够对输出数据进行可信性验证的判断系统。

发明内容

本发明提供了一种基于可信性验证的人工智能模型输出数据判断系统，能够对人工智能模型输出数据进行可信性验证。

为了解决上述技术问题，本申请提供如下技术方案：

基于可信性验证的人工智能模型输出数据判断系统，包括：

可信输入模块，用于存储第一标准数据和与第一标准数据对应的标准计算结果，并向人工智能模型发送所述第一标准数据；

可信性验证模块，用于接收人工智能模型返回的计算结果，并将接收到的技术结果与标准计算结果进行对比，根据对比的结果来判断人工智能模型输出数据的状态，当对比的结果为相同时，判断人工智能模型输出数据的状态正常，当对比的结果为不相同时，判断人工智能模型输出数据为异常；

其中，所述第一标准数据为随机选取的测试数据，与第一标准数据对应的标准计算结果为测试人员根据测试数据依据自身能力输入的结果数据。

进一步，还包括工作状态判断模块，用于获取人工智能模型的运行状态，并反馈至可信输入模块；可信输入模块还用于根据人工智能模型的工作状态，向人工智能模型发送第一标准数据，其中，当人工智能模型处于空闲状态时，按照预设时间间隔，向人工智能模型周期性的发送第一标准数据，当判断人工智能模型处于工作状态时，对工作任务进行分隔，在工作任务的间隔中向人工智能模型发送第一标准数据。

进一步，还包括可信基生成模块，用于根据人工智能模型的处理的工作类型随机生成同类型的测试数据并发送至预存的目标地址，然后接收测试人员在目标地址根据测试数据输入的结果数据，并将测试数据作为第一标准数据，将结果数据作为与第一标准数据对应的标准计算结果。

进一步，所述可信基生成模块还用于接收多个测试人员针对相同的测试数据输入的结果数据，并对比结果数据的重复率，然后判断重复率是否超过阈值，若超过阈值，则确定重复率最高的结果数据为与第一标准数据对应的标准计算结果，若未超过阈值则向预存的仲裁地址重新发送测试数据，并接收仲裁地址反馈的仲裁指令，若仲裁指令为确定结果数据，则将该组测试数据和结果数据发送至可信输入模块以作为第一标准数据和与第一标准数据对应的标准计算结果，若仲裁指令为放弃，则放弃该组测试数据。

进一步，所述人工智能模型的处理的工作类型为图像识别、语音识别或自然语义识别。

进一步，当所述人工智能模型的处理的工作类型为图像识别时，目标地址采用展示图片并让测试人员输入结果数据的方式获取结果数据。

进一步，当所述人工智能模型的处理的工作类型为语音识别时，目标地址采用播放语音信息并让测试人员输入结果数据的方式获取结果数据。

进一步，当所述人工智能模型的处理的工作类型为自然语义识别时，目标地址展示文字并让测试人员输入结果数据的方式获取结果数据。

基础方案原理及有益效果如下：由于人工智能模型本身就是通过深度学习获得的，其经过预先数据的训练，以期其能够通过训练模拟“思考”的过程，其本身的输出结果主要是对应每个类别的概率，然后根据需求进行最终结果的输出。实际上对其进行可信性验证实际是比较困难的。但是在本发明中，通过“以终为始”的方式对人工智能模型进行可信性的验证，具体逻辑如下，本发明中的第一标准数据是随机选取的测试数据，以确保随机性，避免被人工智能模型误导(即尽量避免训练集中的样本)。但是与第一标准数据对应的标准计算结果还未产生，现有技术中通常是通过其他同类的人工智能模型获得的，但是这种方式在遭遇到人工智能模型本身存在通用缺陷时，此类方法无法识别出来。又或者是预先设计好的(又一个训练集)，在人工智能模型重复测试的过程中，预先设计的(样本)总会消耗殆尽的，影响验证的确性，且无法针对有反馈的人工智能模型进行验证。与先采集人工智能模型的输出，然后在安排测试人员进行评价相比，本方案能够极大的保证人工智能模型的安全性。

本发明针对这一情况，引入了测试人员这一概念，针对人工智能模型总是在为人类进行服务的，那么测试人员期望获得的结果数据，就应当是这个人工智能模型以及该人工智能模型输出数据的对标对象。即，模拟人工智能的工作状态，引入不再训练集中的样本进行测试，并且该样本对应的结果数据是后续输入的。通过对比人工智能模型输出数据与测试人员提供的结果数据进行对比。这样能够及时准确的发现人工智能模型的异常。

附图说明

图1为基于可信性验证的人工智能模型输出数据判断系统实施例1的逻辑框图；

图2为基于可信性验证的人工智能模型输出数据判断系统实施例1的实施环境示意图。

具体实施方式

下面通过具体实施方式进一步详细说明：

说明书附图中的标记包括：可信输入模块101、服务器102。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

卷积神经网络(Convolutional Neural Network，CNN)：是一类主要包含卷积计算的前馈神经网络，具有强大的深层表征学习能力，常用于计算机视觉常见任务。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

实施例一

本实施例的基于可信性验证的人工智能模型输出数据判断系统(基本如图1、图2所示)，本实施例中的人工智能模型主要是针对图像识别的(智能识别图片中的物体，并标注该物体的名称；在其他实施例中，还可以是针对语音识别，那么结果数据为与语音对应的文字信息；也可以是自然语义识别，那么结果数据为与句子对应语义信息)，包括：可信输入模块101、可信性验证模块、工作状态判断模块。

可信输入模块101，用于存储第一标准数据(可以是网络随机抓取的图片)和与第一标准数据对应的标准计算结果(图片中物体的名称)，并向人工智能模型发送所述第一标准数据。具体而言，可信输入模块101可以为智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、游戏主机、电子书阅读器、MP3(Moving Picture Experts GroupAudio LayerIII，动态影像专家压缩标准音频层面3)播放器、MP4(Moving PictureExperts Group AudioLayer IV，动态影像专家压缩标准音频层面4)播放器和膝上型便携计算机等，但并不局限于此。用户可以将待识别的原始图像输入至可信输入模块101，可信输入模块101还可以通过摄像头组件来进行待识别的第一标准数据的获取。根据需要，可信输入模块101还可以对第一标准数据进行预处理，得到尺度不同的至少两个预处理第一标准数据，然后将两个预处理第一标准数据(实际对应同一个标准计算结果)分别发送至人工智能模型，然后从计算结果中可以得出相关结果的概率(即后续可信性验证模块执行的部分操作)，如果概率偏差大，则表明人工智能模型存在问题。

可信性验证模块，用于接收人工智能模型返回的计算结果，并将接收到的技术结果与标准计算结果进行对比，根据对比的结果来判断人工智能模型输出数据的状态，当对比的结果为相同时，判断人工智能模型输出数据的状态正常，当对比的结果为不相同时，判断人工智能模型输出数据为异常。实际就是如上文所述，可以通过对同一对象形成不同尺寸的图片，然后发送至人工智能模型，在对返回的计算结果进行比对。

其中，所述第一标准数据为随机选取的测试数据，与第一标准数据对应的标准计算结果为测试人员根据测试数据依据自身能力输入的结果数据(即人为识别的图片中物体的名称)。

工作状态判断模块，用于获取人工智能模型的运行状态，并反馈至可信输入模块101；可信输入模块101还用于根据人工智能模型的工作状态，向人工智能模型发送第一标准数据，其中，当人工智能模型处于空闲状态时，按照预设时间间隔，向人工智能模型周期性的发送第一标准数据，当判断人工智能模型处于工作状态时，对工作任务进行分隔，在工作任务的间隔中向人工智能模型发送第一标准数据。

这样的方式能够保证人工智能模型的正常工作，又能够及时发现异常。即，在本实施例中的第一标准数据是随机选取的测试数据，以确保随机性，避免被人工智能模型误导(即尽量避免训练集中的样本)。但是与第一标准数据对应的标准计算结果还未产生，现有技术中通常是通过其他同类的人工智能模型获得的，但是这种方式在遭遇到人工智能模型本身存在通用缺陷时，此类方法无法识别出来。又或者是预先设计好的(又一个训练集)，在人工智能模型重复测试的过程中，预先设计的(样本)总会消耗殆尽的，影响验证的确性，且无法针对有反馈的人工智能模型进行验证。与先采集人工智能模型的输出，然后在安排测试人员进行评价相比，本方案能够极大的保证人工智能模型的安全性。

实际而言，可信输入模块101进行的预处理为，将待处理的图片(第一标准数据)的输入尺度调整为448*448、224*224两种尺度的图片。具体而言，在其他实施例中，可以选择合适的其他尺度的图片。

本实施例中，人工智能模型可以是搭载有相应算法的服务器102，可信输入模块101与服务器102之间可以通过有线网络或者无线网络的方式建立信息互通。可信性验证模块与可信输入模块101可以是搭载于同一终端(也可以是在不同终端上)的不同程序，均具有调用执行上述运算逻辑相关硬件的权限。工作状态判断模块可以是服务器102上执行相应功能的虚拟模块。

实施例二

本实施例和实施例一的区别在于，本实施例中还包括可信基生成模块，用于根据人工智能模型的处理的工作类型随机生成同类型的测试数据并发送至预存的目标地址(可以是某个目标网址)，然后接收测试人员在目标地址根据测试数据输入的结果数据(可以作为验证码让测试人员输入，且可以根据测试人员历史数据的中输入验证码的准确性，选取准确性较高的用户，将此次的测试数据作为无验证结果的验证码显示，以获取其输入的结果数据)，并将测试数据作为第一标准数据，将结果数据作为与第一标准数据对应的标准计算结果。

实施例三

与实施例二相比，不同之处仅在于，所述可信基生成模块还用于接收多个测试人员针对相同的测试数据输入的结果数据，并对比结果数据的重复率，然后判断重复率是否超过阈值，若超过阈值，则确定重复率最高的结果数据为与第一标准数据对应的标准计算结果(实施例二中主要是通过历史数据保证测试人员输入的结果数据的准确性，本实施例是通过横向对比的方式保证准确性，进一步提高了准确性)，若未超过阈值则向预存的仲裁地址重新发送测试数据，并接收仲裁地址反馈的仲裁指令，若仲裁指令为确定结果数据，则将该组测试数据和结果数据发送至可信输入模块101以作为第一标准数据和与第一标准数据对应的标准计算结果，若仲裁指令为放弃，则放弃该组测试数据。

以上的仅是本发明的实施例，该发明不限于此实施案例涉及的领域，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (8)

1.基于可信性验证的人工智能模型输出数据判断系统，其特征在于，包括：

可信输入模块，用于存储第一标准数据和与第一标准数据对应的标准计算结果，并向人工智能模型发送所述第一标准数据；

可信性验证模块，用于接收人工智能模型返回的计算结果，并将接收到的技术结果与标准计算结果进行对比，根据对比的结果来判断人工智能模型输出数据的状态，当对比的结果为相同时，判断人工智能模型输出数据的状态正常，当对比的结果为不相同时，判断人工智能模型输出数据为异常；

其中，所述第一标准数据为随机选取的测试数据，与第一标准数据对应的标准计算结果为测试人员根据测试数据依据自身能力输入的结果数据。

2.根据权利要求1所述的基于可信性验证的人工智能模型输出数据判断系统，其特征在于：还包括工作状态判断模块，用于获取人工智能模型的运行状态，并反馈至可信输入模块；可信输入模块还用于根据人工智能模型的工作状态，向人工智能模型发送第一标准数据，其中，当人工智能模型处于空闲状态时，按照预设时间间隔，向人工智能模型周期性的发送第一标准数据，当判断人工智能模型处于工作状态时，对工作任务进行分隔，在工作任务的间隔中向人工智能模型发送第一标准数据。

3.根据权利要求2所述的基于可信性验证的人工智能模型输出数据判断系统，其特征在于：还包括可信基生成模块，用于根据人工智能模型的处理的工作类型随机生成同类型的测试数据并发送至预存的目标地址，然后接收测试人员在目标地址根据测试数据输入的结果数据，并将测试数据作为第一标准数据，将结果数据作为与第一标准数据对应的标准计算结果。

4.根据权利要求3所述的基于可信性验证的人工智能模型输出数据判断系统，其特征在于：所述可信基生成模块还用于接收多个测试人员针对相同的测试数据输入的结果数据，并对比结果数据的重复率，然后判断重复率是否超过阈值，若超过阈值，则确定重复率最高的结果数据为与第一标准数据对应的标准计算结果，若未超过阈值则向预存的仲裁地址重新发送测试数据，并接收仲裁地址反馈的仲裁指令，若仲裁指令为确定结果数据，则将该组测试数据和结果数据发送至可信输入模块以作为第一标准数据和与第一标准数据对应的标准计算结果，若仲裁指令为放弃，则放弃该组测试数据。

5.根据权利要求4所述的基于可信性验证的人工智能模型输出数据判断系统，其特征在于：所述人工智能模型的处理的工作类型为图像识别、语音识别或自然语义识别。

6.根据权利要求5所述的基于可信性验证的人工智能模型输出数据判断系统，其特征在于：当所述人工智能模型的处理的工作类型为图像识别时，目标地址采用展示图片并让测试人员输入结果数据的方式获取结果数据。

7.根据权利要求6所述的基于可信性验证的人工智能模型输出数据判断系统，其特征在于：当所述人工智能模型的处理的工作类型为语音识别时，目标地址采用播放语音信息并让测试人员输入结果数据的方式获取结果数据。

8.根据权利要求7所述的基于可信性验证的人工智能模型输出数据判断系统，其特征在于：当所述人工智能模型的处理的工作类型为自然语义识别时，目标地址展示文字并让测试人员输入结果数据的方式获取结果数据。

Images