CN115329326A - 一种人工智能安全评测方法及系统 - Google Patents

Abstract

本发明涉及人工智能技术领域，且公开一种了人工智能安全评测方法及系统，该系统其包括交互模块、上传模块、上传资源管理模块、评测模块、可视化模块、修复与防御模块，所述交互模块输出端与上传模块输入端信号连接，所述上传模块输出端与上传资源管理模块输入端信号连接，通过各模块共同作用下可以更全面地衡量AI应用中存在的安全性问题。本发明从AI应用开发到部署的五大要素进行细粒度的评测，为AI应用的安全性提升提供基础，根据评测发现的问题指定解决方案，为AI应用落地保驾护航。本发明提出的系统可针对AI应用进行细粒度的评测，同时会根据其存在的安全问题制定相应的解决方案，对问题进行修复或设立防御措施来缓解安全问题。

Description

一种人工智能安全评测方法及系统

技术领域

本发明涉及人工智能技术领域，具体涉及人工智能安全评测方法及系统。

背景技术

随着人工智能(AI)技术的提升，促进了许多AI应用的落地，人脸识别、机器翻译、AI医疗、自动驾驶等走入了我们的生活，但是AI应用缺乏的安全性带来了很多负面影响，这些负面影响轻则影响应用的功能，重则可能会侵犯到我们的隐私或健康，甚至造成生命危险，因此针对AI的安全性评测迫在眉睫；现有的AI评测有以下缺点：

1、AI评测的片面性，目前AI评测主要集中对AI模型的评测，主要原因是AI模型是作为AI技术的最终应用产物。AI评测的片面性会导致难以全面地测试出AI应用中存在的问题；

2、AI安全性评测缺失，目前AI的指标还是以AI模型的准确率、精度等功能性指标为主，而AI模型的稳定性(鲁棒性)，偏见，以及训练数据异常、偏见等安全问题缺乏评测；

3、只评测而没有解决方案，AI安全性评测的最终目的还是要提高AI应用的安全性，因此通过AI评测发现的安全性问题，需要提供相应的解决或缓解方案，才能得以最终实现AI评测的目标。

发明内容

本发明的目的在于提供一种人工智能安全评测方法及系统，以解决背景技术中的问题。

为实现上述目的，本发明提供如下技术方案：

一种人工智能安全评测系统，包括交互模块、上传模块、上传资源管理模块、评测模块、可视化模块、修复与防御模块，所述交互模块输出端与上传模块输入端信号连接，所述上传模块输出端与上传资源管理模块输入端信号连接，所述上传资源管理模块输出端与评测模块输入端信号连接，所述上传资源管理模块输出端与修复与防御模块输入端信号连接，所述评测模块输出端与可视化模块输入端信号连接，所述可视化模块输出端与修复与防御模块输入端信号连接，所述交互模块输出端与可视化模块输入端信号连接，所修复与防御模块与交互模块双向信号连接，所述交互模块主要是提供使用者与系统的交互功能，实现显示、输入和下载资源的功能。

优选的，所述上传模块包括数据集、模型镜像和应用系统接口，所述上传模块，是提供上传资源的功能，所述数据集指的是参与训练、测试或验证AI模型的数据样本，分别对应训练数据集、测试数据集、验证数据集，也包括AI模型在实际部署中面临的输入样本，所述模型镜像包含AI模型的参数和结构、所使用的AI框架、所运行的环境、构建AI模型所用的训练程序、部署AI模型所用的预测程序等，所述应用系统接口包括远程控制接口和有线控制接口，主要目的是授权本系统可以控制AI应用系统并执行后续的评测任务。

优选的，所述上传资源管理模块包括数据集、AI模型、AI框架、算法、应用系统，所述上传资源管理模块是将上传资源按照评测对象种类进行分解并存储管理，所述数据集与上传模块中包括的数据集功能一样，所述AI模型指的是基于模型的参数与结构可以实现其功能的程序，所述AI框架指的是提供AI模型开发的软件工具，所述算法指的是构建AI模型所用的训练程序、部署AI模型所用的程序，所述应用系统指的是AI模型部署的软件系统和硬件平台。

优选的，所述评测模块包括数据评测、AI框架评测、算法评测、AI模型评测、应用平台评测，所述数据评测包括数据质量评测、数据差异评测、数据威胁评测，所述AI框架评测包括功能评测、安全评测、性能评测、版本控制，所述数据质量评测包括但不限于评测数据均衡性、规模、充分性、污染情况、标注质量、适用性、隐私风险和偏见，所述数据差异评测主要是量化数据间存在的分布差异或分布迁移情况，所述数据威胁评测主要是检测出恶意的样本，包括但不限于投毒数据、对抗样本、后门攻击样本，所述功能评测是测试AI框架中的程序是否正确地实现指定功能，所述安全评测是测试AI框架中是否存在安全漏洞，所述性能评测是测试框架中代码执行的时间消耗和算力消耗，所述版本控制是展示当前框架版本，及最新版本的更新内容(尤其是bug修复)。

优选的，所述算法评测包括训练代码检错、模型部署代码检错，所述AI模型评测包括功能性评测、相关性评测、可靠性评测、隐私性评测、公平性评测、效率评测、可解释性评测、测试充分性，所述应用平台评测包括系统环境安全评测、兼容性评测、适用性评测、处理性能，所述功能性评测主要是对模型预测性能进行量化，包括但不限于测试模型的基本指标(正确率，召回率，AUC，F-score等)和针对于特定任务的指标(IoU、Dice相似系数、Hausdorff距离等)，所述相关性评测是量化AI模型过拟合的程度，包括但不限于通过AI模型在训练集和测试集上的性能差异来衡量，所述可靠性评测是量化AI模型在恶意环境或复杂环境中维持其功能正常的能力，包括但不限于通过对抗样本攻击模型的结果来衡量，所述隐私性评测是一方面量化模型参数与结构被窃取的可能性；另一方面是量化训练数据被推理的风险，所述公平性评测是一方面通过训练数据存在的偏见程度来衡量；另一方面通过模型公平性指标来量化，所述效率评测主要是测试AI模型在训练数据集上的构建时间，部署时的单样本的预测时间和计算成本等，所述可解释性评测是由模型自身的结构决定(若由可解释性模型构建则具备可解释性，否则不具备可解释性)，所述测试充分性是衡量AI模型测试的充分性，包括但不限于通过神经元覆盖率指标来量化，所述系统环境安全评测是测试软件系统和硬件平台中存在的安全性漏洞，所述兼容性评测是测试软件系统和硬件平台对AI模型部署环境的兼容性，所述适用性测试是测试应用平台是否满足AI所需的系统或硬件等的部署要求，所述处理性能评测是测试应用平台的性能，包括运算精度、算力评估和硬件架构等。

优选的，所述可视化模块包括图表可视化引擎、评测报告生成，所述评测报告生成是对评测结果形成一份报告，可供查询和下载，所述图表可视化引擎是将评测结果进行制表和制图，并可视化结果。

优选的，所述修复与防御模块包括修复与防御方案生成、修复与防御执行引擎、修复内容跟存储模块，所述修复与防御方案生成是对评测结果中揭露的问题制定修复方案，对其中的脆弱点制定防御方案，所述修复与防御执行引擎是根据使用者选择的方案对上传资源进行修改，所述修复内容存储模块是备份已修复的上传资源，并提供下载。

一种基于前述系统的人工智能安全评测方法，包括如下步骤：

步骤一：上传资源：使用者通过上传模块上传数据集、模型镜像和应用系统接口；

步骤二：使用者通过交互模块选择需要的评测内容，评测内容指的是评测模块中的内容；

步骤三：上传资源管理模块将上传资源按照评测对象种类进行分解并存储管理，并接入应用系统；

步骤四：评测模块根据所选的评测内容，从上传资源管理模块中取出所需的测试对象，并执行评测任务(默认评测内容为：数据评测、AI框架评测、算法评测、AI模型评测、应用平台评测)；

步骤五：可视化模块将评测结果显示在交互模块中；

步骤六：可视化模块根据评测结果生成评测结果报告，并供使用者下载；

步骤七：使用者可以通过交互模块选择是否需要修复与防御方案，若选择否则结束流程，若选是则继续进行；

步骤八：修复与防御模块根据评测结果生成解决方案；

步骤九：修复与防御模块根据方案，从上传资源管理模块中取出所需的资源，并执行指定的方案和生成修复结果报告，并存储已修复的资源和结果报告；

步骤十：使用者可以导出已修复的资源和结果报告。

本发明提供的人工智能安全评测方法及系统，具备以下有益效果：

(1)、人工智能安全评测方法和系统，更全面地衡量AI应用中存在的安全性问题。本发明从AI应用开发到部署的五大要素进行细粒度的评测，为AI应用的安全性提升提供基础；

(2)、人工智能安全评测方法和系统，根据评测发现的问题指定解决方案，为AI应用落地保驾护航。本发明提出的系统不仅仅是针对AI应用进行细粒度的评测，同时会根据其存在的安全问题制定相应的解决方案，对问题进行修复或设立防御措施来缓解安全问题。

附图说明

图1为本发明实施例安全评测系统的模块组成结构示意图；

图2为本发明安全评测方法的流程示意图。

具体实施方式

实施例：

参见图1-2，本发明实施例提供的人工智能安全评测系统，包括交互模块、上传模块、上传资源管理模块、评测模块、可视化模块、修复与防御模块，所述交互模块输出端与上传模块输入端信号连接，所述上传模块输出端与上传资源管理模块输入端信号连接，所述上传资源管理模块输出端与评测模块输入端信号连接，所述上传资源管理模块输出端与修复与防御模块输入端信号连接，所述评测模块输出端与可视化模块输入端信号连接，所述可视化模块输出端与修复与防御模块输入端信号连接，所述交互模块输出端与可视化模块输入端信号连接，所修复与防御模块与交互模块双向信号连接，所述交互模块主要是提供使用者与系统的交互功能，实现显示、输入和下载资源的功能，所述上传模块包括数据集、模型镜像和应用系统接口，所述上传模块，是提供上传资源的功能，所述数据集指的是参与训练、测试或验证AI模型的数据样本，分别对应训练数据集、测试数据集、验证数据集，也包括AI模型在实际部署中面临的输入样本，所述模型镜像包含AI模型的参数和结构、所使用的AI框架、所运行的环境、构建AI模型所用的训练程序、部署AI模型所用的预测程序等，所述应用系统接口包括远程控制接口和有线控制接口，主要目的是授权本系统可以控制AI应用系统并执行后续的评测任务，所述上传资源管理模块包括数据集、AI模型、AI框架、算法、应用系统，所述上传资源管理模块是将上传资源按照评测对象种类进行分解并存储管理，所述数据集与上传模块中包括的数据集功能一样，所述AI模型指的是基于模型的参数与结构可以实现其功能的程序，所述AI框架指的是提供AI模型开发的软件工具，所述算法指的是构建AI模型所用的训练程序、部署AI模型所用的程序，所述应用系统指的是AI模型部署的软件系统和硬件平台，所述评测模块包括数据评测、AI框架评测、算法评测、AI模型评测、应用平台评测，所述数据评测包括数据质量评测、数据差异评测、数据威胁评测，所述AI框架评测包括功能评测、安全评测、性能评测、版本控制，所述数据质量评测包括但不限于评测数据均衡性、规模、充分性、污染情况、标注质量、适用性、隐私风险和偏见，所述数据差异评测主要是量化数据间存在的分布差异或分布迁移情况，所述数据威胁评测主要是检测出恶意的样本，包括但不限于投毒数据、对抗样本、后门攻击样本，所述功能评测是测试AI框架中的程序是否正确地实现指定功能，所述安全评测是测试AI框架中是否存在安全漏洞，所述性能评测是测试框架中代码执行的时间消耗和算力消耗，所述版本控制是展示当前框架版本，及最新版本的更新内容(尤其是bug修复)，所述算法评测包括训练代码检错、模型部署代码检错，所述AI模型评测包括功能性评测、相关性评测、可靠性评测、隐私性评测、公平性评测、效率评测、可解释性评测、测试充分性，所述应用平台评测包括系统环境安全评测、兼容性评测、适用性评测、处理性能，所述功能性评测主要是对模型预测性能进行量化，包括但不限于测试模型的基本指标(正确率，召回率，AUC，F-score等)和针对于特定任务的指标(IoU、Dice相似系数、Hausdorff距离等)，所述相关性评测是量化AI模型过拟合的程度，包括但不限于通过AI模型在训练集和测试集上的性能差异来衡量，所述可靠性评测是量化AI模型在恶意环境或复杂环境中维持其功能正常的能力，包括但不限于通过对抗样本攻击模型的结果来衡量，所述隐私性评测是一方面量化模型参数与结构被窃取的可能性；另一方面是量化训练数据被推理的风险，所述公平性评测是一方面通过训练数据存在的偏见程度来衡量；另一方面通过模型公平性指标来量化，所述效率评测主要是测试AI模型在训练数据集上的构建时间，部署时的单样本的预测时间和计算成本等，所述可解释性评测是由模型自身的结构决定，所述测试充分性是衡量AI模型测试的充分性，包括但不限于通过神经元覆盖率指标来量化，所述系统环境安全评测是测试软件系统和硬件平台中存在的安全性漏洞，所述兼容性评测是测试软件系统和硬件平台对AI模型部署环境的兼容性，所述适用性测试是测试应用平台是否满足AI所需的系统或硬件等的部署要求，所述处理性能评测是测试应用平台的性能，包括运算精度、算力评估和硬件架构等，所述可视化模块包括图表可视化引擎、评测报告生成，所述评测报告生成是对评测结果形成一份报告，可供查询和下载，所述图表可视化引擎是将评测结果进行制表和制图，并可视化结果，所述修复与防御模块包括修复与防御方案生成、修复与防御执行引擎、修复内容跟存储模块，所述修复与防御方案生成是对评测结果中揭露的问题制定修复方案，对其中的脆弱点制定防御方案，所述修复与防御执行引擎是根据使用者选择的方案对上传资源进行修改，所述修复内容存储模块是备份已修复的上传资源，并提供下载。

基于前述系统的人工智能安全评测方法，其包括步骤如下：

步骤一：上传资源：使用者通过上传模块上传数据集、模型镜像和应用系统接口；

步骤二：使用者通过交互模块选择需要的评测内容，评测内容指的是评测模块中的内容；

步骤三：上传资源管理模块将上传资源按照评测对象种类进行分解并存储管理，并接入应用系统；

步骤四：评测模块根据所选的评测内容，从上传资源管理模块中取出所需的测试对象，并执行评测任务(默认评测内容为：数据评测、AI框架评测、算法评测、AI模型评测、应用平台评测)；

步骤五：可视化模块将评测结果显示在交互模块中；

步骤六：可视化模块根据评测结果生成评测结果报告，并供使用者下载；

步骤七：使用者可以通过交互模块选择是否需要修复与防御方案，若选择否则结束流程，若选是则继续进行；

步骤八：修复与防御模块根据评测结果生成解决方案；

步骤九：修复与防御模块根据方案，从上传资源管理模块中取出所需的资源，并执行指定的方案和生成修复结果报告，并存储已修复的资源和结果报告；

步骤十：使用者可以导出已修复的资源和结果报告。

该人工智能安全评测方及系统在工作时，使用者发起对其人脸识别系统进行评测请求；使用者通过上传设备将人脸识别系统的资源进行上传(包括人脸数据集，人脸识别模型镜像，人脸识别系统接口)；使用者选择评测所有的上传资源；上传资源服务器接到客户要求，对上传资源进行分解与存储，其中还需要利用接口来连接上人脸识别系统；评测服务器群对上传资源进行评测：对人脸数据集进行数据评测；对人脸识别模型所用的深度学习框架进行框架评测；对人脸识别模型进行模型评测；对人脸识别训练和预测程序进行算法评测；对人脸识别系统进行应用平台评测；可视化处理服务器将评测结果可视化，并生成评测报告；使用者下载评测报告；使用者要求系统提供解决方案；修复与防御服务器对评测报告进行分析后，生成解决方案；使用者肯定解决方案，并要求对上传资源进行修复；修复与防御服务器根据使用者要求，对上传资源进行修复，并生成对应的修复情况报告；使用者下载已修复的上传资源，结束评测任务。

本发明从AI应用开发到部署的五大要素进行细粒度的评测，为AI应用的安全性提升提供基础，根据评测发现的问题指定解决方案，为AI应用落地保驾护航。本发明提出的系统不仅仅是针对AI应用进行细粒度的评测，同时会根据其存在的安全问题制定相应的解决方案，对问题进行修复或设立防御措施来缓解安全问题。

以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

Claims (8)

1.一种人工智能安全评测系统，其特征在于：其包括交互模块、上传模块、上传资源管理模块、评测模块、可视化模块、修复与防御模块；所述交互模块输出端与上传模块输入端信号连接，所述上传模块输出端与上传资源管理模块输入端信号连接，所述上传资源管理模块输出端与评测模块输入端信号连接，所述上传资源管理模块输出端与修复与防御模块输入端信号连接，所述评测模块输出端与可视化模块输入端信号连接，所述可视化模块输出端与修复与防御模块输入端信号连接，所述交互模块输出端与可视化模块输入端信号连接，所修复与防御模块与交互模块双向信号连接。

2.根据权利要求1所述的人工智能安全评测系统，其特征在于：所述上传模块包括数据集、模型镜像和应用系统接口。

3.根据权利要求1所述的人工智能安全评测系统，其特征在于：所述上传资源管理模块包括数据集、AI模型、AI框架、算法、应用系统。

4.根据权利要求1所述的人工智能安全评测系统，其特征在于：所述评测模块包括数据评测、AI框架评测、算法评测、AI模型评测、应用平台评测，所述数据评测包括数据质量评测、数据差异评测、数据威胁评测，所述AI框架评测包括功能评测、安全评测、性能评测、版本控制。

5.根据权利要求4所述的人工智能安全评测系统，其特征在于：所述算法评测包括训练代码检错、模型部署代码检错，所述AI模型评测包括功能性评测、相关性评测、可靠性评测、隐私性评测、公平性评测、效率评测、可解释性评测、测试充分性，所述应用平台评测包括系统环境安全评测、兼容性评测、适用性评测、处理性能。

6.根据权利要求1所述的人工智能安全评测系统，其特征在于：所述可视化模块包括图表可视化引擎、评测报告生成。

7.根据权利要求1所述的人工智能安全评测系统，其特征在于：所述修复与防御模块包括修复与防御方案生成、修复与防御执行引擎、修复内容跟存储模块。

8.一种基于权利要求1-7任一项所述系统的人工智能安全评测方法，其特征在于，包括如下步骤：

步骤一：上传资源：使用者通过上传模块上传数据集、模型镜像和应用系统接口；

步骤二：使用者通过交互模块选择需要的评测内容，评测内容指的是评测模块中的内容；

步骤三：上传资源管理模块将上传资源按照评测对象种类进行分解并存储管理，并接入应用系统；

步骤四：评测模块根据所选的评测内容，从上传资源管理模块中取出所需的测试对象，并执行评测任务(默认评测内容为：数据评测、AI框架评测、算法评测、AI模型评测、应用平台评测)；

步骤五：可视化模块将评测结果显示在交互模块中；

步骤六：可视化模块根据评测结果生成评测结果报告，并供使用者下载；

步骤七：使用者可以通过交互模块选择是否需要修复与防御方案，若选择否则结束流程，若选是则继续进行；

步骤八：修复与防御模块根据评测结果生成解决方案；

步骤九：修复与防御模块根据方案，从上传资源管理模块中取出所需的资源，并执行指定的方案和生成修复结果报告，并存储已修复的资源和结果报告；

步骤十：使用者可以导出已修复的资源和结果报告。

Images