CN114091644A

CN114091644A - 一种人工智能产品的技术风险评估方法及系统

Info

Publication number: CN114091644A
Application number: CN202010859193.1A
Authority: CN
Inventors: 孟令中; 薛云志; 董乾; 高卉; 武斌; 杨光; 师源
Original assignee: Nanjing Institute Of Software Technology Institute Of Software Chinese Academy Of Sciences; Institute of Software of CAS
Current assignee: Nanjing Institute Of Software Technology Institute Of Software Chinese Academy Of Sciences; Institute of Software of CAS
Priority date: 2020-08-24
Filing date: 2020-08-24
Publication date: 2022-02-25

Abstract

本发明公开了一种人工智能产品的技术风险评估方法及系统，建立面向人工智能产品的“风险域—风险子域—度量元”层次化的技术风险模型，每个风险域均有对应的风险子域，每个风险子域包含对应的度量元；根据待评估产品特性及评估需求确定该产品的风险域对应的风险子域及度量元，制定针对具体的技术风险模型；根据待评估人工智能产品的技术风险模型，收集技术风险评估要求的多个度量元结果；根据预先建立的技术风险评估通过准则对多个度量元结果进行评估，得出技术风险评估结论。本发明从多个角度考虑人工智能产品的技术风险，建立了人工智能产品的开发和应用全生命周期涉及的人工智能技术风险评估方法，解决了人工智能产品的技术风险评估模型缺失的问题。

Description

一种人工智能产品的技术风险评估方法及系统

技术领域

本发明涉及风险评估技术领域，具体涉及一种人工智能产品的技术风险评估方法及系统。

背景技术

近年来，人工智能(Artificial Intelligence，AI)技术出现了第三次发展高潮，强大的硬件基础、海量数据和先进的人工智能算法均为人工智能技术赋予了强大的动力，人工智能产品已经在智慧医疗、智慧交通、智慧司法、智能教育等方面取得了较大的突破。

但是，人工智能在给人类生活带来种种益处的同时，也带来了许多风险。确保人工智能技术平稳安全落地，积极做好人工智能的政策引导与合理规制，推进人工智能风险评估研究，对实现人工智能产品健康持续发展显得尤为重要。但是现有技术中并没有较为全面的评估技术针对人工智能产品的进行风险评估。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中人工智能产品的技术风险评估方法缺乏的不足，从而提供一种人工智能产品的技术风险评估方法及系统。

为达到上述目的，本发明提供如下技术方案：

第一方面，本发明实施例提供一种人工智能产品的技术风险评估方法，包括如下步骤：

建立面向人工智能产品的“风险域——风险子域——度量元”层次化的技术风险模型，其中每个风险域均有对应的风险子域，每个风险子域包含对应的度量元；

根据待评估人工智能产品特性及评估需求，确定待评估人工智能产品的风险域对应的风险子域及度量元，制定针对所述待评估人工智能产品的技术风险模型；

根据所述待评估人工智能产品的技术风险模型，收集技术风险评估要求的多个度量元结果；

根据预先建立的技术风险评估通过准则对多个度量元结果进行评估，得出技术风险评估结论。

在一实施例中，风险域包括：数据集风险、算法模型风险、系统运行风险；其中，

数据集风险的风险子域包括：无偏性、完整性、有效性、保密性、准确性和数据集分布平衡性；

算法模型风险的风险子域包括：鲁棒性、模型覆盖率、准确性、透明性、算法依赖性、可解释性和抗欺骗攻击性；

系统运行风险的风险子域包括：功能安全性、可预测性、可复现性、容错性、可追溯性、可控性和适应性。

在一实施例中，数据集完整性的度量元包括：数据集模型完整性、数据集模型属性完整性、元数据完整性；

数据集有效性的度量元包括：数据集有效性比率、数据元素有效性；

数据集保密性的度量元包括：加密使用和非脆弱性；

数据集准确性的度量元包括：语义准确性、数据集不准确性风险、元数据准确性；

数据集分布平衡性的度量元包括：类别平衡和错分成本平衡；

算法模型鲁棒性的度量元包括：非正常样本中输出正确率、局部对抗鲁棒性、全局对抗鲁棒性；

算法模型准确性的度量元包括：精准率和准确率；

算法模型透明性的度量元包括：训练过程透明度量和训练结果透明度量；

算法模型算法依赖性的度量元包括：依赖算法的正确性、依赖算法的合规性；

算法模型的可解释性的度量元包括：事前可解释和事后可解释；

系统运行的可复现性的度量元包括：复现结果偏差和复现成功率；

系统运行的容错性的度量元包括：失效的避免性、误操作的抵御性、误操作的危害性；

系统运行的可追溯性的度量元包括：系统执行结果可追溯性和故障追溯分析能力；

系统运行的可控性的度量元包括：危险场景下控制成功率、控制输入服从分布式一致性；

系统运行的适应性的度量元包括：跨平台适应性、任务适应性。

在一实施例中，根据待评估人工智能产品特性及评估需求，确定待评估人工智能产品的风险域对应的风险子域及度量元，制定针对所述待评估人工智能产品的技术风险模型的过程，包括：

人工智能产品技术风险评估模型中的风险域所包含数据集风险、算法模型风险、系统运行风险，均为必选项；

根据人工智能产品的特性，确定已选取风险子域中的每个度量元的重要程度，将已选取风险子域中的度量元分为重要度量元和一般度量元，其中重要度量元为必选项，一般度量元为可选项；

在每个风险子域中，根据评估需求，选取可选项及至少一个必选项，从而建立针对具体待测人工智能产品的技术风险评估模型。

在一实施例中，预先建立的技术风险评估通过准则包括：

依据相关历史相似产品度量值或根据需要达到的目标给定每个度量元设定需要达到的阈值；

该风险子域下选取的度量元全部达到阈值要求，则该风险子域达到评估要求；

该风险域下的选取的风险子域全部满足，则选取的风险域达到评估要求；

若风险域全部满足，则技术风险达到评估要求。

在一实施例中，收集技术风险评估要求的多个度量元结果包括：数据采集和数据确认；其中，

在数据采集过程中，技术风险评估要求的多个度量元数据可以分类进行采集，包括通过工具采集的数据、从介绍和演示中采集的数据、从面谈中获得的数据、以及从相关文档的评审中获得的数据；

在数据确认过程中，根据技术风险评估要求采集的度量元数据至少之一采用预设证实规则进行确认，包括：数据至少来自两个独立的来源、数据至少是在两个不同的采集期间获得的、数据至少被一个能反映确已做了预设规则的数据来源确认。

在一实施例中，根据预先建立的技术风险评估通过准则对多个度量元结果进行评估，得出技术风险评估结论的过程，包括：

利用收集的技术风险评估要求的多个度量元结果，对照预先建立的技术风险评估通过准则逐一开展结果判定，并最终得出待测人工智能产品技术风险评估的结果。

第二方面，本发明实施例提供一种人工智能产品的技术风险评估系统，包括：

技术风险模型建立模块，用于建立面向人工智能产品的“风险域——风险子域——度量元”层次化的技术风险模型，其中每个风险域均有对应的风险子域，每个风险子域包含对应的度量元；

待评估产品技术风险模型建立模块，根据待评估人工智能产品特性及评估需求，确定待评估人工智能产品的风险域对应的风险子域及度量元，制定针对所述待评估人工智能产品的技术风险模型；

数据收集模块，用于根据所述待评估人工智能产品的技术风险模型，收集技术风险评估要求的多个度量元结果；

技术风险评估结论获取模块，用于根据预先建立的技术风险评估通过准则对多个度量元结果进行评估，得出技术风险评估结论。

第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行本发明实施例第一方面的人工智能产品的技术风险评估方法。

第四方面，本发明实施例提供一种计算机设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明实施例第一方面的人工智能产品的技术风险评估方法。

本发明技术方案，具有如下优点：

本发明提供的人工智能产品的技术风险评估方法及系统，建立面向人工智能产品的“风险域—风险子域—度量元”层次化的技术风险模型，每个风险域均有对应的风险子域，每个风险子域包含对应的度量元；根据待评估产品特性及评估需求确定该产品的风险域对应的风险子域及度量元，制定针对具体的技术风险模型；根据待评估人工智能产品的技术风险模型，收集技术风险评估要求的多个度量元结果；根据预先建立的技术风险评估通过准则对多个度量元结果进行评估，得出技术风险评估结论。本发明从多个角度考虑了人工智能产品的技术风险，建立了人工智能产品的开发和应用全生命周期涉及的人工智能技术风险评估方法，解决了人工智能产品的技术风险评估模型的缺失的问题。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中人工智能产品的技术风险评估方法的一个具体示例的工作流程图；

图2为本发明实施例中技术风险评估模型的框架图；

图3为本发明实施例中人工智能产品的技术风险评估系统的一个具体示例的模块组成图；

图4为本发明实施例提供的计算机设备一个具体示例的组成图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

本发明实施例提供一种人工智能产品的技术风险评估方法，如图1所示，具体包括如下步骤：

步骤S10：建立面向人工智能产品的“风险域—风险子域—度量元”层次化的技术风险模型，其中每个风险域均有对应的风险子域，每个风险子域包含对应的度量元。

本发明实施例中，如图2所示，风险域包括：数据集风险、算法模型风险、系统运行风险。其中，

各个风险子域中所包括类型及对应的度量元，有的为定性描述，有的为定量描述，具体为：

1.数据集无偏性是指样本统计量的数学期望等于被估计的总体参数的值。总体参数的实际值与其估计值相等时，估计值具有无偏性；如果从总体中抽取关于Y的无限多个样本，并且每次都计算一个估计值，那么将所有随机样本的这些估计值平均起来(数学期望)，等于未知参数的真值，这就是无偏性的要求。

设A’＝g(X1,X2,...,Xn)是未知参数A的一个点估计量，若A’满足E(A’)＝A，则称A’为A的无偏估计量，否则为有偏估计量。

其中A’＝g(X1,X2,...,Xn)中的X1,X2,...,Xn是在样本中进行n次随机抽样，每次抽样都可以计算出一个对某一参数的点估计量，计算n次，得到n个点估计量，然后对n个点估计量计算期望。

2.数据集完整性是指在给定环境中，与一个实体相关联的主题数据集具有所有预期属性的值和相关的实力值的程度；其包括：数据集模型完整性、数据集模型属性完整性、元数据完整性，其中：

1)数据集模型完整性是指数据集模型相对于上下文模式中描述实体的完备性，公式如下：

其中，A为完整描述上下文模式的数据集模型实体个数，B为数据集模型的实体个数；

2)数据集模型属性完整性是指为数据集模型定义的属性完整性，公式如下：

其中，B为数据集模型中定义的属性个数，A为数据集模型中定义的完整地描述上下文模型的属性个数。

3)元数据完整性是指元数据属性的完整性，公式如下：

其中，A为数据集中有完整元数据的属性个数，B为预期在数据集中有元数据的属性个数。

3.数据集有效性是指数据集在特定环境的使用环境中具有表征其能被授权用户或应用程序检索的属性的程度，其包括：数据集有效性比率、数据元素有效性，其中：

1)数据集有效性比率是指在请求持续时间期间，尝试使用数据项请求成功的概率，公式如下：

其中，A为在请求持续时间中数据项有效的次数，B为在请求持续时间中数据项被请求的次数。

2)数据结构中元素有效性是指数据结构中元素有效的程度，公式如下：

其中，A为数据结构中对预期用户有效的元素个数，B为数据结构中元素个数。

4.数据集保密性是指在给定环境中，数据集本身只能被授权用户访问和解释的程度；其包括：加密使用和非脆弱性，其中：

1)加密使用是指数据集满足加密需求的程度，公式如下：

其中，A为数据集中正确且成功地加密和解密的数据个数，B为数据集中具有加密和解密需求的数据个数。

2)非脆弱性是指保密的数据集只能由授权用户访问的程度，公式如下：

其中，A为在特定时间段内非授权用户为了获得目标数据集而尝试正式入侵期间成功完成访问的次数，B为在特定时间段内非授权用户对目标数据集尝试访问的次数。

5.数据集准确性是指在给定的环境中，数据具有正确地表示一个概念或事件的相关属性真实值的属性的程度，其包括：语义准确性、数据集不准确性风险、元数据准确性，其中：

1)语义准确性是指就特定上下文中的语义而言，数据含义准确的比率，公式如下：

其中，A为语义准确的数据值个数，B为对语义准确性有要求的数据值个数；

2)数据集不准确性风险是指值中异常值的个数指出数据集中数据值不准确性的风险，公式如下：

其中，A为异常值的数据值个数，B为数据集中需要考虑的数据值个数；

3)元数据准确性是指元数据是否按照所需的准确性描述数据，公式如下：

其中，A为提供了合适的需求信息的元数据个数，B为在数据需求说明中定义的元数据个数。

6.数据集分布平衡性是指数据集中数据分布的平衡性，数据集分布平衡性的度量元，包括：

1)类别平衡，表示不同类别数量的平衡程度，公式如下：

其中，A_i为第i个类别的个数，n为数据集中类别的总数。

2)错分成本平衡，表示数据集中每一类别的分类错误成本的平衡程度，公式如下：

其中，N是类别的总数，Cost[i,j]为将一个i类数据错分到j类中的代价。

7.算法模型的鲁棒性是指人工智能算法在存在无效输入或压力环境条件下，能够正确工作的程度。算法模型鲁棒性的度量元包括：非正常样本中输出正确率、局部对抗鲁棒性、全局对抗鲁棒性；

1)鲁棒性非正常样本中输出正确率度量公式如下：

X＝A/B

其中，A为非正常数据样本中能够保持其正常结果输出的样本个数，B为基准数据中非正常数据样本数量。

2)全局对抗鲁棒性度量公式如下：

r＝E(S)-E(δ(S))

其中，设S为一个人工智能系统，E(S)是S的正确性，δ(S)是对任何机器学习组件(如数据、学习程序或框架)有扰动的机器学习系统。鲁棒性是E(S)和E(δ(S))之间差异的度量：

3)局部对抗鲁棒性公式如下：

设x为人工智能算法模型h的测试输入，设x'为通过对x进行对抗性扰动而产生的另一个测试输入。对于任何x'，模型h在输入x处具有δ-局部鲁棒性。

其中，|| ||_p表示表示距离测量的p规范，人工智能算法模型测试中常用的p情况是0、2和∞。

8.算法模型的模型覆盖率在一定程度上反映了模型学习能力被利用的程度。对于已训练完成的模型M，若测试集中至少有一个样本使其输出超过预先设定的阈值时，认为此神经元被激活。公式如下：

其中，Na为模型中被激活的神经元个数；N为模型中参与计算的神经元总数。

9.算法模型准确性是指在给定环境中，算法模型具有正确地表示一个概念或事件的相关属性真实值的属性的程度；其包括精准率和准确率，其中：

1)精准率是指被模型预测为正的正样本(真正例)占预测为正的样本的比例；公式如下：

其中，P为精准率；TP为被判定为正样例，实际为正样例数目；FP为被判定为正样例，实际为负样例数目。

2)准确率是模型预测正确的结果占所有分类结果的比例，公式如下：

其中，A为准确率；TP为被判定为正样例，实际为正样例数目；TN为被判定为负样例，实际为负样例数目；FP为被判定为正样例，实际为负样例数目；FN为被判定为负样例，实际为正样例数目。

10.算法模型透明性风险子域是指算法模型具有开放、可访问以及信息表示可清晰理解的性质；透明性的度量元包括：训练过程透明度量和训练结果透明度量。训练过程透明度量：在算法模型的训练过程中，可以通过特征提取的方式分析训练过程，使得模型使用者能够理解训练过程；结果透明度量：针对算法模型，可以通过基于统计结果进行解释分析，使得模型使用者可以能够清晰的理解算法结果。

11.算法模型的算法依赖性风险子域是指当AI算法模型的设计、运行依靠其它算法或程序时，对所依赖算法模型可能存在的质量要求及检查、测试的实际情况；度量元包括：依赖算法的正确性、依赖算法的合规性；

1)依赖算法的正确性公式为：

X＝A/B

其中，A为所依赖算法和库文件中存在缺陷、漏洞的总数，B为所依赖的其他算法和库文件的总数。

2)依赖算法的合规性公式为：

X＝A/B

其中，A为所依赖算法和库文件中许可证和知识产区存在问题的总数，B为所依赖的其他算法和库文件的总数。

12.算法模型的可解释性分为事前可解释和事后可解释，事前可解释：通过训练结构简单、可解释性好的模型或将可解释性结合到具体的模型结构中的子解释模型使模型本身具备可解释的能力。事后可解释:通过开发可解释性技术解释已训练好的机器学习模型。可解释性是指算法模型对影响预测决策的重要因素均能以人能理解的方式来表达的性质特性；公式如下：

X＝A/B

其中，A为用户期望AI产品可解释的元素，B为AI产品提供的可解释的元素。

解释准确度是指，AI产品推荐的解释的正确程度，公式如下：

X＝A/B

其中，A为元素解释的实际正确定义或流程，B为AI产品推荐解释的定义或流程。

13.算法模型的抗欺骗攻击性是指AI算法模型对于伪造、攻击等各种类型对抗性样本能够正确识别与处理，不产生异常结果的能力，公式如下：

X＝A/B

其中，A为AI产品能够准确正确识别与处理的欺骗样本个数，B为AI产品所探测到的对抗性样本个数。

14.系统运行功能安全性是指人工智能系统免于承受不可接受的风险，即系统在运行时，不会直接或间接的由于产品或环境的恶化而造成不可接受的人身伤害或财产损失的风险；公式如下：

X＝A/B

其中，A为AI系统发生故障后能够承受风险的统计次数，B为AI系统发生故障的统计次数。

15.系统运行可预测性是指研发者或使用者推断给定环境下人工智能下一个动作的能力，公式如下：

X＝A/B

其中，A为AI产品提供预测结果且预测准确的个数，B为AI产品提供预测结果的个数。

16.系统运行可复现性是指在相同测量条件下，对同一或相类似条件下，AI系统在进行连续多次测量所得结果之间一致性的程度；其度量元包括：复现结果偏差和复现成功率。

1)复现结果偏差

其中，δ是复现结果的平均偏差值，x是单项测量值，

是平均测量值，N是测量次数；

2)复现成功率

X＝A/B

其中，A为AI产品在相同测量条件下，对同一或相类似条件下，执行相同过程、得出相同结果的次数；B为AI产品在相同测量条件下，对同一或相类似条件下，执行过程、得出结果的次数；

17.系统运行的容错性是指当人工智能算法发生某些错误或故障时，在不排除错误或故障的条件下使系统能够继续正常工作或者进入应急工作状态的能力；其包括：失效的避免性、误操作的抵御性、误操作的危害性等，其中：

1)失效的避免性是指避免关键和严重的失效比率，公式如下：

其中，A为执行指标的测试要求的测试用例时，未发生关键的和严重的失效的测试用例数，B为指标的测试要的测试用例总数；

2)误操作的抵御性是指有效预防误操作的比率，公式如下：

其中，A为执行误操作的测试要点的测试用例时，模型有效抵御该误操作的用例数，B为误操作的测试要点的测试用例总数；

3)误操作的危害性是指操作失效中未引起危害的比率，公式如下：

其中，A为执行误操作的测试要点时发生无法抵御或未抵御时，发生关键和严重危害的测试用例数，B为执行误操作的测试要点的测试用例总数。

18.系统运行的可追溯性是指对AI系统，对须予考虑的重要事项均存档在案，帮助全面了解本系统运行结果如何发生的程度；包括：系统执行结果可追溯性和故障追溯分析能力，其中：

1)执行结果可追溯性，公式如下：

X＝A/B

其中，A为可以为AI系统提供结果日志等文件的执行结果数量；B为AI系统的执行结果数量。

2)故障追溯分析能力，公式如下：

X＝A/B

其中，A为AI系统发生故障后，可以通过历史记录、日志等进行追踪分析的数量；B为AI系统的发生故障的数量。

19.系统运行的可控性是指对人工智能系统的控制能力，防止人工智能系统被有意或无意的滥用；包括：

1)危险场景下控制成功率，公式如下：

X＝A/B

其中，A为危险场景下使用者人为控制系统的成功数量，B为AI系统在危险场景下执行任务的数量。

2)控制输入服从分布式一致性，公式如下：

其中，x_i和u_i分别表示状态和作用在人工智能产品i上的控制输入，i＝1,2,...,n，V_l＝{i₁,i₂,...,i_m}表示由外部输入驱动的人工智能产品，V_f＝V/V_l，u_o,i表示作用在i上的外部控制。

20.系统运行的适应性是指产品或系统能够有效地、有效率地适应不同的或演变的硬件、软件、其他运行(或使用)环境、数据或交互方式的程度；包括：跨平台适应度量元、任务适应性度量元，其中：

1)跨平台适应度量元，指AI产品能够在软硬件环境发生变化下，系统能够保持其任务正确完成的能力，公式如下：

X＝A/B

其中，A为测试任务中正确完成任务的任务数量，B为AI系统在软硬件环境发生变化后的测试任务数量。

2)任务适应性度量元，指AI系统能够在执行的任务发生变化后，能够保持其所执行任务正确完成的能力，公式如下：

X＝A/B

其中，A为测试任务中正确完成任务的任务数量，B为AI系统在任务发生变化后所执行的测试任务数量。

需要说明的是，以上风险域、风险子域及对应的度量元仅作为具体的实施例举例，但是并不以此为限，在实际应用中可以针对具体的人工智能产品的类型和具体评估需要求，做适应的删减或扩充，以涵盖更多的形式组合类型，均涵盖在本发明提供的“风险域——风险子域——度量元”层次化的技术风险模型的内容。

步骤S20：根据待评估人工智能产品特性及评估需求，确定待评估人工智能产品的风险域对应的风险子域及度量元，制定针对所述待评估人工智能产品的技术风险模型。

在应用中，人工智能产品技术风险评估模型中的风险域所包含数据集风险、算法模型风险、系统运行风险，均为必选项；根据人工智能产品的特性，确定已选取风险子域中的每个度量元的重要程度，将已选取风险子域中的度量元分为重要度量元和一般度量元，其中重要度量元为必选项，一般度量元为可选项(当有风险子域中的度量元只有一个时，该度量元做为重要度量元是必选项)；在每个风险子域中，根据评估需求，选取可选项和至少一个必选项，从而建立针对具体待测人工智能产品的技术风险评估模型。例如，针对军用人工智能产品，其产品的评估需求侧重于稳定性、安全性、有效性；以有效性为例，由于军用人工智能产品对于输出结果的有效性要求较高，可设置“数据集有效性比率”为重要度量元，设置“数据结构中元素有效性”为一般度量元。需要说明的是，本发明实施例中的一般度量元作为可选项是根据实际评估需求确定，不是必选项，即可以选取，也可以不选取；重要度量元作为必选项，在评估过程中会至少选取一项，即可以是一个，可以是多个，也可以所有的重要度量元均选取。

步骤S30：根据所述待评估人工智能产品的技术风险模型，收集技术风险评估要求的多个度量元结果。

在实际应用中，具体的开展技术风险的度量元评估活动收集技术风险评估要求的多个度量元结果，包括评估计划制定、数据集收集准备和风险评估开展；其中，评估计划制定的内容包括评估等级目标、进度安排、团队成员、评估要求及通过准则等；数据集收集准备的内容包括现场确认、工具有效性验证、不同风险评估要求的评估方式的确认、数据集收集策略等；风险评估开展的内容包括现场访谈、听取陈述、评审文档等。

收集技术风险评估要求的多个度量元的结果包括数据采集和数据确认；在数据采集过程中，技术风险评估要求的多个度量元数据可以分类进行采集，包括通过工具采集的数据、从介绍和演示中采集的数据、从面谈中获得的数据、以及从相关文档的评审中获得的数据；在数据确认过程中，根据技术风险评估要求采集的度量元数据至少之一采用预设证实规则进行确认，包括：数据至少来自两个独立的来源、数据至少是在两个不同的采集期间获得的、数据至少被一个能反映确已做了预设规则的数据来源确认。

步骤S40：根据预先建立的技术风险评估通过准则对多个度量元结果进行评估，得出技术风险评估结论。

本发明实施例预先建立的技术风险评估通过准则包括：依据相关历史相似产品度量值或根据需要达到的目标给定每个度量元设定需要达到的阈值；该风险子域下选取的度量元全部达到阈值要求，则该风险子域达到评估要求；该风险域下的选取的风险子域全部满足，则选取的风险域达到评估要求；若风险域全部满足，则技术风险达到评估要求。

利用收集的技术风险评估要求的多个度量元结果，对照预先建立的技术风险评估通过准则逐一开展结果判定，并最终得出待测人工智能产品技术风险评估的结果，确定选取的度量元是否达标，风险子域是否达标，最终从数据集、算法模型、系统运行三个方面得到针对AI产品的评估结果，即三个方面是否达标。

本发明实施例提出的人工智能产品的技术风险评估方法，通过建立面向人工智能产品的“风险域—风险子域—度量元”层次化的技术风险模型，构建人工智能产品的技术风险评估体系，从多个方面考虑了人工智能产品的技术风险，建立了人工智能产品的开发和应用全生命周期涉及的AI技术风险评估方法，解决了人工智能产品的技术风险评估模型的缺失的问题。

实施例2

本发明实施例提供一种人工智能产品的技术风险评估系统，如图3所示，包括：

技术风险模型建立模块10，用于技术风险模型建立模块，用于建立面向人工智能产品的“风险域—风险子域—度量元”层次化的技术风险模型，其中每个风险域均有对应的风险子域，每个风险子域包含对应的度量元。此模块执行实施例1中的步骤S10所描述的方法，在此不再赘述。

待评估产品技术风险模型建立模块20，根据待评估人工智能产品特性及评估需求，确定待评估人工智能产品的风险域对应的风险子域及度量元，制定针对所述待评估人工智能产品的技术风险模型。此模块执行实施例1中的步骤S20所描述的方法，在此不再赘述。

数据收集模块30，用于根据所述待评估人工智能产品的技术风险模型，收集技术风险评估要求的多个度量元结果。此模块执行实施例1中的步骤30所描述的方法，在此不再赘述。

技术风险评估结论获取模块40，用于根据预先建立的技术风险评估通过准则对多个度量元结果进行评估，得出技术风险评估结论。此模块执行实施例1中的步骤40所描述的方法，在此不再赘述。

本发明实施例提供的人工智能产品的技术风险评估系统，通过建立面向人工智能产品的“风险域—风险子域—度量元”层次化的技术风险模型，构建人工智能产品的技术风险评估体系，从多个方面考虑了人工智能产品的技术风险，建立了人工智能产品的开发和应用全生命周期涉及的AI技术风险评估方法，解决了人工智能产品的技术风险评估模型的缺失的问题。

实施例3

本发明实施例提供一种计算机设备，如图4所示，该设备可以包括处理器51和存储器52，其中处理器51和存储器52可以通过总线或者其他方式连接，图4以通过总线连接为例。

处理器51可以为中央处理器(Central Processing Unit，CPU)。处理器51还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器52作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的对应的程序指令/模块。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例1中的人工智能产品的技术风险评估方法。

存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器51所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、企业内网、移动通信网及其组合。

一个或者多个模块存储在存储器52中，当被处理器51执行时，执行实施例1中的人工智能产品的技术风险评估方法。

上述计算机设备具体细节可以对应参阅实施例1中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims

1.一种人工智能产品的技术风险评估方法，其特征在于，包括如下步骤：

建立面向人工智能产品的“风险域—风险子域—度量元”层次化的技术风险模型，其中每个风险域均有对应的风险子域，每个风险子域包含对应的度量元；

2.根据权利要求1所述的人工智能产品的技术风险评估方法，其特征在于，风险域包括：数据集风险、算法模型风险、系统运行风险；其中，

3.根据权利要求2所述的人工智能产品的技术风险评估方法，其特征在于，数据集完整性的度量元包括：数据集模型完整性、数据集模型属性完整性、元数据完整性；

数据集保密性的度量元包括：加密使用和非脆弱性；

算法模型准确性的度量元包括：精准率和准确率；

4.根据权利要求2所述的人工智能产品的技术风险评估方法，其特征在于，根据待评估人工智能产品特性及评估需求，确定待评估人工智能产品的风险域对应的风险子域及度量元，制定针对所述待评估人工智能产品的技术风险模型的过程，包括：

在每个风险子域中，根据评估需求，选取可选项和至少一个必选项，从而建立针对具体待测人工智能产品的技术风险评估模型。

5.根据权利要求1所述的人工智能产品的技术风险评估方法，其特征在于，预先建立的技术风险评估通过准则包括：

若风险域全部满足，则技术风险达到评估要求。

6.根据权利要求5所述的人工智能产品的技术风险评估方法，其特征在于，收集技术风险评估要求的多个度量元结果包括：数据采集和数据确认；其中，

7.根据权利要求5所述的人工智能产品的技术风险评估方法，其特征在于，根据预先建立的技术风险评估通过准则对多个度量元结果进行评估，得出技术风险评估结论的过程，包括：

8.一种人工智能产品的技术风险评估系统，其特征在于，包括：

技术风险模型建立模块，用于建立面向人工智能产品的“风险域—风险子域—度量元”层次化的技术风险模型，其中每个风险域均有对应的风险子域，每个风险子域包含对应的度量元；

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1-7任一项所述的人工智能产品的技术风险评估方法。

10.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如权利要求1-7任一项所述的人工智能产品的技术风险评估方法。