CN113407428B

CN113407428B - 人工智能系统的可靠性评估方法、装置和计算机设备

Info

Publication number: CN113407428B
Application number: CN202110691360.0A
Authority: CN
Inventors: 杨剑锋; 王喜宾; 陈静
Original assignee: Guizhou Institute of Technology
Current assignee: Guizhou Institute of Technology
Priority date: 2021-06-22
Filing date: 2021-06-22
Publication date: 2023-07-18
Anticipated expiration: 2041-06-22
Also published as: CN113407428A

Abstract

本发明人工智能系统安全检测领域，尤其涉及人工智能系统的可靠性评估方法、装置和计算机设备；所述方法包括采集人工智能系统的日志文件、传感器数据和实时运行数据；对预处理后的所述日志文件、所述传感器数据和所述实时运行数据进行多源异构融合；将多源异构融合的数据进行处理后获得人工智能系统的可靠性数据；根据所述可靠性数据，采用非齐次泊松过程构建出人工智能系统的累计故障数模型；计算出人工智能系统的故障均值函数和失效强度函数，获得人工智能系统的可靠性评估；本发明对这些多源异构数据进行融合能够保证融合后的数据更具有可靠性，基于可靠性数据能够利用非齐次泊松过程获得人工智能系统的可靠性结果以及实时监测结果。

Description

人工智能系统的可靠性评估方法、装置和计算机设备

技术领域

本发明人工智能系统安全检测领域，尤其涉及人工智能系统的可靠性评估方法、装置和计算机设备。

背景技术

目前，人工智能技术得到了快速发展，人工智能涉及各行各业，例如机器人、无人驾驶、智慧城市、智慧家居等，未来发展的场景会越来越多。人工智能系统是一套比较复杂的软硬件相结合的智能系统，它具有非常强大的多样化功能。

然而，人工智能系统在提供服务的同时，也面临着各种各样的威胁和攻击，并且可能会给系统带来不同程度的故障，这些故障可能会导致隐私泄露、功能失效等问题；因此，除了提升人工智能系统自身的防御能力之外，及时地监测并评估人工智能系统的故障情况也能够提升人工智能系统的可靠性。

现有技术中的故障监测方法和可靠性评估方法大多将人工智能系统中的软件系统和硬件系统拆分，并分别对软件系统和硬件系统进行评估，而人工智能系统是一个软硬件结合的复杂系统，采用传统方式对人工智能系统评估将会导致评估结果不准确，不能反映所述人工智能系统的真实情况。

发明内容

为了解决人工智能系统可靠性评估的技术问题，本发明提供了一人工智能系统的可靠性评估方法、装置和计算机设备用来评估人工智能系统的可靠性，并能够实时获得人工智能系统的故障监测情况。

在本发明的第一方面，本发明提出了一种人工智能系统的可靠性评估方法，所述方法包括：

采集人工智能系统的日志文件、传感器数据和实时运行数据；

对预处理后的所述日志文件、所述传感器数据和所述实时运行数据进行多源异构融合；

将多源异构融合的数据进行处理后获得人工智能系统的可靠性数据；

根据所述可靠性数据，采用非齐次泊松过程构建出人工智能系统的累计故障数模型；

计算出人工智能系统的故障均值函数和失效强度函数，获得人工智能系统的可靠性评估。

进一步的，所述进行多源异构融合包括对所述日志文件、所述传感器数据以及所述实时运行数据进行去异常处理、补缺失处理以及去重复处理。

进一步的，在获得人工智能系统的可靠性数据之后还包括根据所述可靠性数据获取人工智能系统的平均失效间隔、故障平均修复时间以及平均无故障时间；分别表示为：

所述平均失效间隔MTBF的计算如下：

其中，t₀<t₁<…<t_n为人工智能系统发生故障的时间点，n为观测到的人工智能系统发生的总故障数；

所述故障平均修复时间MTTR的计算如下：

其中，T_i为人工智能系统对应的故障的修复时间点；

所述平均无故障时间A的计算如下：

A＝MTBF/(MTBF+MTTR)。

进一步的，所述采用非齐次泊松过程构建出人工智能系统的累计故障数模型包括分别获取人工智能系统中软件系统和硬件系统的累计失效数，采用第一模型获取软件系统的累计故障均值函数，采用第二模型获取硬件系统的累计故障均值函数；将软件系统的累计故障均值函数与硬件系统的累计故障均值函数求和，得到人工智能系统的累计故障函数。

在本发明的第二方面，本发明一种人工智能系统的可靠性评估系统，所述系统包括：

数据采集模块，采集人工智能系统的日志文件、传感器数据和实时运行数据；

多源异构融合模块，对预处理后的所述日志文件、所述传感器数据和所述实时运行数据进行多源异构融合；

可靠性数据提取模块，将多源异构融合的数据进行处理后获得人工智能系统的可靠性数据；

可靠性实时评估模块，采用非齐次泊松过程构建出人工智能系统的累计故障数模型，计算出人工智能系统的故障均值函数和失效强度函数，获得人工智能系统的可靠性评估。

进一步的，所述多源异构数据融合模块包括去异常处理单元、补缺失处理单元以及去重复处理单元，所述去异常处理单元对所述日志文件、所述传感器数据以及所述实时运行数据进行去异常处理；所述补缺失处理单元对所述日志文件、所述传感器数据以及所述实时运行数据进行补缺失处理；所述去重复单元对对所述日志文件、所述传感器数据以及所述实时运行数据进行去重复处理。

进一步的，所述可靠性评估系统还包括在线故障监测模块，用于实时监测人工智能系统的故障，并调用所述可靠性数据获取人工智能系统的平均失效间隔、故障平均修复时间以及平均无故障时间；分别表示为：

所述平均失效间隔MTBF的计算如下：

所述故障平均修复时间MTTR的计算如下：

其中，T_i为人工智能系统对应的故障的修复时间点；

所述平均无故障时间A的计算如下：

A＝MTBF/(MTBF+MTTR)。

进一步的，所述可靠性实时评估模块包括第一模型单元、第二模型单元以及求和单元，所述第一模型单元获取软件系统的累计故障均值函数，所述第二模型单元获取硬件系统的累计故障均值函数；所述求和单元将软件系统的累计故障均值函数与硬件系统的累计故障均值函数求和，得到人工智能系统的累计故障函数。

在本发明的第三方面，本发明还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序或所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明第一方面所述的人工智能系统的可靠性评估方法。

本发明的有益效果：

本发明对人工智能系统中的硬件系统和软件系统分别进行建模，能够挖掘出各自系统的特性，分别采集人工智能系统的日志文件、传感器数据和实时运行数据；对这些多源异构数据进行融合能够保证融合后的数据更具有可靠性，基于可靠性数据能够利用非齐次泊松过程获得人工智能系统的可靠性结果以及实时监测结果。

附图说明

图1是本发明实施例中人工智能系统的可靠性评估方法流程图；

图2是本发明优选实施例中人工智能系统的可靠性评估方法流程图；

图3是本发明实施例中人工智能系统的可靠性评估系统架构图；

图4是本发明实施例中的一种计算机设备结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例中一种人工智能系统的可靠性评估方法流程图，如图1所示，所述方法包括：

101、采集人工智能系统的日志文件、传感器数据和实时运行数据；

在本步骤中，所述人工智能系统的日志文件的采集方式包括调用人工智能系统的日志文件接口，从所述日志文件接口获取人工智能系统的日志文件。

在本步骤中，包括多种传感器数据，传感器可以是数字传感器和模拟传感器；这些传感器可以具体是录音机、摄像头等，传感器实时产生对应的传感器数据，将这些传感器数据通过一定的方式传输至人工智能系统中，这些方式可以包括总线方式等等。

在本步骤中，实时运行数据可以包括人工智能系统中的CPU运行数据、电量数据、接口数据等等。

多源异构数据包括多种类型的结构化数据、半结构化数据和非结构化数据。在本发明实施例中，所述日志文件属于半结构化数据，具有一定基本固定结构模式，但是是非关系类型的；所述传感器数据属于非结构化数据，不具备固定模式，可以以不同形式的音频、图片、视频等体现；所述运行数据是结构化数据，可以以关系表数据库等形式体现。

102、对预处理后的所述日志文件、所述传感器数据和所述实时运行数据进行多源异构融合；

所述多源异构融合指的是数据来源具有多源性以及数据种类和形态具有复杂性即异构性；上述多源异构数据来自多个数据源，包括不同数据库系统中的存储的日志文件和不同传感器设备在工作中采集的数据集等。

传统的数据融合方式可以包括冗余信息的数据融合、互补信息的数据融合以及复杂信息的数据融合等，本发明需要采用多源异构融合方式对这些来自于不同数据的数据进行整合，屏蔽数据之间类型和结构的差异，解决多源异构数据的来源复杂、结构异构问题，从而实现对数据的统一存储、管理和分析，实现用户无差别访问，充分发挥数据的价值。

收到所述所述日志文件、所述传感器数据和所述实时运行数据后，可以分别对所述所述日志文件、所述传感器数据和所述实时运行数据进行预处理，过滤其中不合规的数据，并清洗其中无意义的数据，举个例子，数据清洗是指根据需求对日志文件进行处理，其中该数据清洗包括删除无关紧要的数据、合并某些记录、对用户请求页面时发生错误的记录进行适当的处理等等。数据清洗后，还可以对日志文件进行格式转换和规整，可以将日志文件分离出不同类别的文件。

将数据清洗完成后，还可以对数据进行降维，由于多源异构数据具有种类繁多、结构复杂的特点，为了从原始的日志文件、传感器数据和实时运行数据中提取出更加可靠、有效的数据信息，因此需要消除无关、冗余的特征，生成新的特征数据，从而实现对高维数据的降维。在现代制造技术的发展中，制造业生产过程中海量的多源异构数据往往维数较高且大量数据之间存在较高的相关性，这给数据降维带来了更高的难度，例如针对某一监控型的人工智能系统，在同一时间，其采集的视频数据和音频数据具有很强的相关性，因此可以利用该相关性来获得对多源异构数据进行融合。

103、将多源异构融合的数据进行处理后获得人工智能系统的可靠性数据；

一般来说，可以通过对数据进行特征选择或者特征提取来实现数据降维。特征选择的方法通过对原始特征集合中的元素进行选择来得到原始特征集合的子集，从而实现降维；而特征提取的方法则通过对不同特征进行组合来得到新的特征集合，从而达到数据降维的目的。

而本发明中为了融合数据，首先依次构建出日志文件、传感器数据和实时运行数据的维度属性权重，该维度属性可以表示为：

其中，表示第l种数据的第i个维度属性权重，l指的是日志文件、传感器数据和实时运行数据；h_i表示第i个维度属性的向量表示；a表示所有维度属性的平均向量表示；k表示维度属性总数；多源异构融合的数据表示为：

其中，conv表示多源异构融合后的数据集人工智能系统的可靠性数据，这个可靠性数据能够充分反映人工智能系统的多维度特征；M表示数据种类数，这里的种类可以包括但不限于日志文件、传感器数据和实时运行数据这三大类，而是对每一大类进行了细分后所形成了多个小类。

本发明对传统的融合方式进行了改进，通过维度属性权重的方式对所有数据的不同维度特征进行融合，这种方式可以实现维度融合，能够增加数据的多粒度信息，增强信息的可靠性；并且还可以减少维度漂移所带来的噪声信息，从而达到对有利的数据信息进行增强，对无用的噪声信息进行弱化。

104、根据所述可靠性数据，采用非齐次泊松过程构建出人工智能系统的累计故障数模型；

其中，人工智能系统由硬件系统和软件系统构成，软件系统和硬件系统的失效机理完全不同，因此将系统的失效分为软件系统失效和硬件系统失效。人工智能系统的累计故障数N(t)为一个随机过程，本发明用非齐次泊松过程来进行描述，其计算公式如下：

N(t)＝N₁(t)+N₂(t)

其中，N(t)为人工智能系统的累计失效数，N₁(t)为硬件系统的累计失效数，N₂(t)为软件系统的累计失效数。

105、计算出人工智能系统的故障均值函数和失效强度函数，获得人工智能系统的可靠性评估。

人工智能系统的故障均值函数m(t)和失效强度函数λ(t)的计算公式如下：

m(t)＝m₁(t)+m₂(t)

λ(t)＝m’(t)＝λ₁(t)+λ₂(t)

其中，m(t)和λ(t)分别为人工智能系统的故障均值函数和失效强度函数，m₁(t)和λ₁(t)分别为硬件系统的故障均值函数和失效强度函数，m₂(t)和λ₂(t)分别为软件系统的故障均值函数和失效强度函数。

人工智能系统可靠性反应在(t,t+Δt)时间段内没有发生失效的概率，系统可靠度函数计算公式如下：

R(Δt|t)＝P{N(t+Δt)-N(t)＝0}

＝exp{-[m(t+Δt)-m(t)]}

在上述实施例的基础上，本发明用G-O模型来对软件系统进行建模，用幂律模型对硬件系统可靠性建模。G-O模型的累计故障均值函数为m(t)＝a(1-exp(-bt))，幂律模型的累计故障均值函数为m(t)＝at^b。

计算人工智能系统的累计故障函数m(t)：

其中a_j和b_j(j＝1,2)为未知参数。

利用极大似然估计，可以得到未知参数的估计值和/>根据已经得到的估计值和/>进一步可得人工智能系统的可靠度函数为：

R(Δt|t)＝exp{-[m(t+Δt)-m(t)]}

通过该可靠性函数即可获得不同时间段中人工智能系统的可靠性，可以根据该可靠性确定人工智能系统是否需要进行调整等。

图2是本发明优选实施例中一种人工智能系统的可靠性评估方法流程图，如图2所示，所述方法包括：

201、采集人工智能系统的日志文件、传感器数据和实时运行数据；

202、对预处理后的所述日志文件、所述传感器数据和所述实时运行数据进行多源异构融合；

203、将多源异构融合的数据进行处理后获得人工智能系统的可靠性数据；

203A、实时调用人工智能系统的可靠性数据，根据所述可靠性数据获取人工智能系统的平均失效间隔、故障平均修复时间以及平均无故障时间；分别表示为：

所述平均失效间隔MTBF的计算如下：

所述故障平均修复时间MTTR的计算如下：

其中，T_i为人工智能系统对应的故障的修复时间点；

所述平均无故障时间A的计算如下：

A＝MTBF/(MTBF+MTTR)。

通过多源异构融合的方式对图片、音频、文本等数据进行分析，经过分析计算可以得到类似表1所示的失效数据即本发明所需的可靠性数据。

表1可靠性数据

其中，t_i和T_i分别表示人工智能系统故障发生和修复的时间点，TRUE和FALSE分别代表软/硬件系统发生故障和未发生故障。

204、根据所述可靠性数据，采用非齐次泊松过程构建出人工智能系统的累计故障数模型；

205、计算出人工智能系统的故障均值函数和失效强度函数，获得人工智能系统的可靠性评估。

图3是本发明实施例中一种人工智能系统的可靠性评估系统架构图，如图3所示，所述系统包括：

301、数据采集模块，采集人工智能系统的日志文件、传感器数据和实时运行数据；

302、多源异构融合模块，对预处理后的所述日志文件、所述传感器数据和所述实时运行数据进行多源异构融合；

所述多源异构数据融合模块包括去异常处理单元、补缺失处理单元以及去重复处理单元，所述去异常处理单元对所述日志文件、所述传感器数据以及所述实时运行数据进行去异常处理；所述补缺失处理单元对所述日志文件、所述传感器数据以及所述实时运行数据进行补缺失处理；所述去重复单元对对所述日志文件、所述传感器数据以及所述实时运行数据进行去重复处理。

303、可靠性数据提取模块，将多源异构融合的数据进行处理后获得人工智能系统的可靠性数据；

所述可靠性评估系统还包括在线故障监测模块，用于实时监测人工智能系统的故障，并调用所述可靠性数据获取人工智能系统的平均失效间隔、故障平均修复时间以及平均无故障时间；分别表示为：

所述平均失效间隔MTBF的计算如下：

所述故障平均修复时间MTTR的计算如下：

其中，T_i为人工智能系统对应的故障的修复时间点；

所述平均无故障时间A的计算如下：

A＝MTBF/(MTBF+MTTR)。304、可靠性实时评估模块，采用非齐次泊松过程构建出人工智能系统的累计故障数模型，计算出人工智能系统的故障均值函数和失效强度函数，获得人工智能系统的可靠性评估。

所述可靠性实时评估模块包括第一模型单元、第二模型单元以及求和单元，所述第一模型单元获取软件系统的累计故障均值函数，所述第二模型单元获取硬件系统的累计故障均值函数；所述求和单元将软件系统的累计故障均值函数与硬件系统的累计故障均值函数求和，得到人工智能系统的累计故障函数。

图4是本发明实施例中的一种计算机设备的结构图，如图4所示，所述计算机设备包括：

一个或多个处理器410；

存储器430，用于存储一个或多个程序；

当所述一个或多个程序或所述一个或多个处理器410执行，使得所述一个或多个处理器410实现如本发明的人工智能系统的可靠性评估方法，其中，所述处理器410和所述存储器430可以通过系统总线420连接。

在另一种可能的设计中，当计算机设备为芯片时，包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使该终端内的芯片执行上述第一方面任意一项的一种人工智能系统的可靠性评估方法。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述终端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。

其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，ASIC，或一个或多个用于控制上述方法的程序执行的集成电路。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims

1.一种人工智能系统的可靠性评估方法，其特征在于，所述方法包括：

依次构建出日志文件、传感器数据和实时运行数据的维度属性权重；利用维度属性权重对所有数据的不同维度特征进行融合；

其中，维度属性表示为：

其中，conv表示多源异构融合后的数据集人工智能系统的可靠性数据；M表示数据种类数；

2.根据权利要求1所述的一种人工智能系统的可靠性评估方法，其特征在于，所述进行多源异构融合包括对所述日志文件、所述传感器数据以及所述实时运行数据进行去异常处理、补缺失处理以及去重复处理。

3.根据权利要求1所述的一种人工智能系统的可靠性评估方法，其特征在于，在获得人工智能系统的可靠性数据之后还包括根据所述可靠性数据获取人工智能系统的平均失效间隔、故障平均修复时间以及平均无故障时间；分别表示为：

所述平均失效间隔MTBF的计算如下：

所述故障平均修复时间MTTR的计算如下：

其中，T_i为人工智能系统对应的故障的修复时间点；

所述平均无故障时间A的计算如下：

A＝MTBF/(MTBF+MTTR)。

4.根据权利要求1所述的一种人工智能系统的可靠性评估方法，其特征在于，所述采用非齐次泊松过程构建出人工智能系统的累计故障数模型包括分别获取人工智能系统中软件系统和硬件系统的累计失效数，采用第一模型获取软件系统的累计故障均值函数，采用第二模型获取硬件系统的累计故障均值函数；将软件系统的累计故障均值函数与硬件系统的累计故障均值函数求和，得到人工智能系统的累计故障函数。

5.一种人工智能系统的可靠性评估系统，其特征在于，所述系统包括：

其中，维度属性表示为：

6.根据权利要求5所述的一种人工智能系统的可靠性评估系统，其特征在于，所述多源异构融合模块包括去异常处理单元、补缺失处理单元以及去重复处理单元，所述去异常处理单元对所述日志文件、所述传感器数据以及所述实时运行数据进行去异常处理；所述补缺失处理单元对所述日志文件、所述传感器数据以及所述实时运行数据进行补缺失处理；所述去重复单元对对所述日志文件、所述传感器数据以及所述实时运行数据进行去重复处理。

7.根据权利要求5所述的一种人工智能系统的可靠性评估系统，其特征在于，所述可靠性评估系统还包括在线故障监测模块，用于实时监测人工智能系统的故障，并调用所述可靠性数据获取人工智能系统的平均失效间隔、故障平均修复时间以及平均无故障时间；分别表示为：

所述平均失效间隔MTBF的计算如下：

所述故障平均修复时间MTTR的计算如下：

其中，T_i为人工智能系统对应的故障的修复时间点；

所述平均无故障时间A的计算如下：

A＝MTBF/(MTBF+MTTR)。

8.根据权利要求5所述的一种人工智能系统的可靠性评估系统，其特征在于，所述可靠性实时评估模块包括第一模型单元、第二模型单元以及求和单元，所述第一模型单元获取软件系统的累计故障均值函数，所述第二模型单元获取硬件系统的累计故障均值函数；所述求和单元将软件系统的累计故障均值函数与硬件系统的累计故障均值函数求和，得到人工智能系统的累计故障函数。

9.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序或所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1～4任一所述的人工智能系统的可靠性评估方法。