CN115187019A - 一种人工智能全生命周期安全风险评估方法及装置 - Google Patents

一种人工智能全生命周期安全风险评估方法及装置 Download PDF

Info

Publication number
CN115187019A
CN115187019A CN202210739744.XA CN202210739744A CN115187019A CN 115187019 A CN115187019 A CN 115187019A CN 202210739744 A CN202210739744 A CN 202210739744A CN 115187019 A CN115187019 A CN 115187019A
Authority
CN
China
Prior art keywords
risk
artificial intelligence
safety risk
safety
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210739744.XA
Other languages
English (en)
Inventor
陈捷
张锋军
石凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
CETC 30 Research Institute
Original Assignee
Northwestern Polytechnical University
CETC 30 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University, CETC 30 Research Institute filed Critical Northwestern Polytechnical University
Priority to CN202210739744.XA priority Critical patent/CN115187019A/zh
Publication of CN115187019A publication Critical patent/CN115187019A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0635Risk analysis of enterprise or organisation activities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393Score-carding, benchmarking or key performance indicator [KPI] analysis

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种人工智能全生命周期安全风险评估方法及装置,该方法包括以下步骤:构建安全风险评估指标体系;评估人工智能全生命周期安全风险。本发明以模糊数学为纽带,将定性和定量的安全风险评估方法相结合,以信息熵为锚点,构造熵权向量,结合资产重要程度、威胁频度、脆弱性和构建的安全风险隶属度等级表对人工智能进行整体性的安全风险等级评估,同时保留了对各类安全风险的评价及评估;通过将马尔科夫链理论应用于各安全风险类,形成各个风险类在稳定状态下的转移矩阵和概率分布,使得人工智能安全风险状态更直观、全面地展现。

Description

一种人工智能全生命周期安全风险评估方法及装置
技术领域
本发明涉及风险评估技术领域,特别是一种人工智能全生命周期安全风险评估方法及装置。
背景技术
随着人工智能技术的不断发展,人工智能的应用也越来越广泛,在人脸识别、语音识别、自动驾驶、视频监控、人机对弈、恶意软件分析等领域都取得了令人满意的成果。如今,人工智能技术的应用正在改变人类社会的发展轨迹,为人们带来生产生活的便利、提高生产生活的质量。但是也催生出了针对人工智能的攻击手段,暴露其背后的安全风险,人工智能安全风险可能会导致人类社会的重大生命和财产损失。因此,对人工智能在数据采集、模型训练和部署应用等阶段的全生命周期进行安全风险评估十分必要。
保障人工智能安全性的重要手段之一就是进行安全风险评估。针对人工智能全生命周期进行安全风险评估,可以发现内部人员、使用数据、训练平台、部署设备和管理体系等方面已存在,或是潜在的风险隐患。评估后将存在的风险量化为具体的风险值,使用户更加直观地了解系统中存在的风险,并根据风险等级的大小采取不同优先级的安全措施来预防、控制,从而降低安全事件发生的可能性。目前,关于人工智能技术安全风险评估相关的研究还比较少,但关于系统安全、网络安全、信息安全、数据安全等领域风险评估已有大量研究成果,安全风险评估方法主要分为三类:1、定性的风险评估方法,主要依据评估者的经验、知识、技能等,其评估结果比较全面。典型的定性分析方法有因素分析法、逻辑分析法、历史比较法等。但其主观性太强,要求评估者本身的素质很高;2、定量的评估方法是指运用数量指标来对风险进行评估典型的定量分析方法,有因子分析法、聚类分析法、风险图法、决策树法等。定量的风险评估方法的评估结果更直观,但有时为了量化风险值使得复杂的事物简单化从而可能使得风险因素被误解或曲解;3、定性与定量相结合的综合评估方法融合了定性、定量的风险评估方法的优点,广泛地应用于复杂的信息系统的风险评估中。但是该方法无法对整个系统进行整体定量评价,也就无法得出系统整体安全风险状况的级别。
发明内容
鉴于此,本发明提供一种人工智能全生命周期安全风险评估方法及装置,能够对人工智能全生命周期安全风险进行整体定量评价,得出整体安全风险状况的级别。
本发明公开了一种人工智能全生命周期安全风险评估方法,包括以下步骤:
步骤1:构建安全风险评估指标体系;
步骤2:评估人工智能全生命周期安全风险。
进一步地,所述步骤1包括以下步骤:
所述步骤1包括以下步骤:
步骤1-1:深度梳理大量的资料,作为最初的理论依据;其中,所述资料包括报告、文献、书籍、会议、文件;
步骤1-2:结合步骤1-1梳理的理论依据,识别、梳理出现阶段影响人工智能安全的主要威胁;
步骤1-3:查阅企业资料进行调研,进一步探究人工智能全生命周期应用流程;
步骤1-4:识别初步的风险项,选取安全风险评估关键指标,经过增加、删减调整进一步确立安全风险因素或安全风险类,若存在分歧或异议则重新开始执行步骤1-1;
步骤1-5:最终确定人工智能全生命周期安全风险评估指标体系。
进一步地,所述步骤2包括以下步骤:
步骤2-1:对资产的影响、威胁频度以及脆弱性的评估都具有模糊性,依据模糊理论对资产的重要性、威胁频度以及脆弱性进行剖析处理,构建安全风险因素集和评判集;
步骤2-2:根据构建的安全风险因素集和评判集,确定风险熵;
步骤2-3:根据确定的风险熵,确定权重向量;
步骤2-4:通过全风险因素集和评判集、风险熵和权重向量,量化安全风险因素;
步骤2-5:根据量化后的安全风险因素和状态转移矩阵,量化评估人工智能系统整体安全风险。
进一步地,所述构建安全风险因素集和评判集的构建步骤包括:
步骤4-1:构建安全风险因素集Wi;Wi={Wi1,Wi2,…,Win},Wi表示在第i类下有n个风险因素,n是i类人工智能安全风险下风险因素的个数;
步骤4-2:构造评判集B,即在第i类下资产重要程度Bc={bc1,bc2,…,bcm}、威胁频度Bt={bt1,bt2,…,btm}和脆弱性Bf={bf1,bf2,…,bfm}的判断集合,其中,bcm是各安全风险类下关于资产重要程度的第m个风险评判,btm是各安全风险类下关于威胁频度的第m个风险评判,bfm是各安全风险类下关于脆弱性的第m个风险评判,m为对应判断集中元素的个数;
步骤4-3:构建评价和评判映射,依据评判集B对安全风险因素集Wi各风险因素实行评价,然后给予其评语,构建的模糊映射:h:Wi→H(B);H(B)是B上的模糊集Wj→f(Wj)=(pj1,pj2,…,pjm)∈H(B),其中h(Wj)表示安全风险因素Wj对评判集中各评语的支持程度,风险因素Wj对评判集B的隶属向量Pj=(pj1,pj2,…,pjm),j∈[1,n],得到隶属度矩阵:
Figure BDA0003717372540000041
对各安全风险依照评价表进行打分评定,求其均值;对评分结果进行归一化处理,处理公式为:
Figure BDA0003717372540000042
其中,
Figure BDA0003717372540000043
mk是第k个打分值,mjk是第j种安全风险类的第k个打分值;
由公式(2)能够得到风险j的评语k的隶属度矩阵Pc,m是评语的数量,同理能够求出Wj类风险下各风险因素对资产重要程度、威胁频度以及脆弱性的评定矩阵Pt、Pf
进一步地,所述步骤2-2包括:
在Wi类风险下,根据公式(2)得出资产重要程度、威胁频度以及脆弱性的隶属度矩阵后,根据公式(3)、(4)得到资产重要程度权重、威胁频度权重以及脆弱性严重程度的熵值为;
Figure BDA0003717372540000044
公式中,H为资产重要程度权重、威胁频度权重以及脆弱性严重程度的熵值;k=1,2,3…,m。
进一步地,pjk越逼近相等,其熵值越大,相应的安全风险Wi对其评估的不确定程度越大;
当m个状态概率出现相等的情况下,表明等概率的分布的平均不确定性最大,求极值得到,当
Figure BDA0003717372540000045
时,达到最大熵Hmax:Hmax=lnm;
使用最大熵Hmax作标准,对公式(3)进行归一化,得到该安全风险因素的相对重要程度的熵值:
Figure BDA0003717372540000051
公式中,ej为相对重要程度的熵值。
进一步地,所述步骤2-3包括:
当pjk的值相同时,即
Figure BDA0003717372540000052
ej具有最大值1,且0≤ej≤1,当ej最大时,表明评估人员的意见分散,那么风险因素对其系统风险评估的贡献达到最小,因此,能够用来衡量安全风险项的权重;
由公式(5)分别得到资产重要程度、威胁频度以及脆弱性严重程度的权重向量;同理,能够计算出其他类风险的资产重要程度、威胁频度以及脆弱性严重程度的权重向量τc、τt、τf
Figure BDA0003717372540000053
其中,0≤φj≤1;τ=(φ12,…,φn-1n),共n个安全风险因素,φj是第j个风险类的权重向量。
进一步地,所述步骤2-4包括:
当计算人工智能系统资产重要程度时,给予评价集中每个风险指标项对应的权重,得到权重指标向量
Figure BDA0003717372540000054
其中,
Figure BDA0003717372540000055
为X中的第n1个权重指标,n1为资产重要程度的评价集中元素的数量,资产重要程度评估是:
LRc=τc.Pc.XT (6)
公式中,LRc是资产重要程度的评估值威胁;
同理,人工智能系统威胁频度的评判集合指标量
Figure BDA0003717372540000056
其中,
Figure BDA0003717372540000057
为Y中的第n2个威胁频度的评判指标,n2为威胁频度的评价集中元素的数量,威胁频度评估值是:
LRt=τt.Pt.YT (7)
公式中,LRt是威胁频度评估值;
同理,人工智能系统脆弱性严重程度的评判集合指标向量
Figure BDA0003717372540000061
Figure BDA0003717372540000062
其中,
Figure BDA0003717372540000063
为Z中的第n3个脆弱性严重程度的评判指标,n3为脆弱性严重程度的评价集中元素的数量,脆弱性严重程度是:
LRf=τf.Pf.YT (8)
公式中,LRf是脆弱性严重程度;
人工智能系统各Wi类风险为:
LR=k1LRc+k2.LRt+k1.LRf (9)
公式中,LR为人工智能系统各Wi类风险;k1、k2和k3均为参数,且根据实际需求调整;LR的值越大则风险等级越高,对照预设的安全风险隶属度等级对照表进行判定。
进一步地,所述步骤2-5包括:
将马尔科夫链与人工智能安全风险评估指标体系相结合,建立各安全风险类之间的状态转移矩阵Q:
Figure BDA0003717372540000064
其中,状态转移q明确安全风险所有可能出现的状态集,并且建立状态集之间的状态转移矩阵,风险类有6种,总共18个风险因子;矩阵Q中的元素qij表示风险类Wi相关的安全风险因素的权重的和;并进一步对Q中的元素进行归一化处理,计算公式类似于公式(2),得到归一化后的状态转移矩阵:
Figure BDA0003717372540000065
转移矩阵γ和稳态概率πi能使公式(11)成立:
Figure BDA0003717372540000071
其中,公式(12)中对角线上元素,是指该安全风险单独发生的情况,公式(12)中非对角线上是风险可能相互转移,共同发生的情况;
因此,人工智能系统资产重要程度、威胁频度风险值以及脆弱性三者安全风险值的计算公式为:
Figure BDA0003717372540000072
Figure BDA0003717372540000073
Figure BDA0003717372540000074
公式中,πci是资产重要程度的稳态概率,πti是威胁频度的稳态概率,πfi是脆弱性的稳态概率,LRci是第i类安全风险类的资产重要度相应的评估值,LRti是第i类安全风险类威胁频度的评估值,LRfi是第i类脆弱性评估值;结合公式(13)、(14)、(15)计算,能够得到人工智能安全资产重要程度、威胁频度风险、脆弱性风险的值;再根据公式(9)能够求出人工智能系统整体安全风险值LR。
本发明还公开了一种人工智能全生命周期安全风险评估装置,包括:
构建模块,用于构建安全风险评估指标体系;
评估模块,用于评估人工智能全生命周期安全风险。
由于采用了上述技术方案,本发明具有如下的优点:
(1)以模糊数学为纽带,将定性和定量的安全风险评估方法相结合,以信息熵为锚点,构造熵权向量,结合资产重要程度、威胁频度、脆弱性和构建的安全风险隶属度等级表对人工智能进行整体性的安全风险等级评估,同时保留了对各类安全风险的评价及评估。
(2)提供了一种面向全局的人工智能安全风险展现方法。通过将马尔科夫链理论应用于各安全风险类,形成各个风险类在稳定状态下的转移矩阵和概率分布,使得人工智能安全风险状态更直观、全面地展现。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明实施例中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本发明实施例的一种人工智能资产示意图;
图2为本发明实施例的一种人工智能安全风险评估指标体系构建过程示意图;
图3为本发明实施例的一种人工智能安全风险评估指标体系示意图;
图4为本发明实施例的一种安全风险评估流程示意图。
具体实施方式
结合附图和实施例对本发明作进一步说明,显然,所描述的实施例仅是本发明实施例一部分实施例,而不是全部的实施例。本领域普通技术人员所获得的所有其他实施例,都应当属于本发明实施例保护的范围。
参见图4,本发明提供了一种人工智能全生命周期安全风险评估方法的实施例,其包括:
(1)构建安全风险评估指标体系
在遵循可靠性、可解释性、鲁棒性和隐私保护等原则的前提下,针对人工智能资产进行安全风险评估(人工智能资产见图1),构建安全风险指标体系,构建过程如图2所示,使得指标尽可能典型、全面、科学。
第一阶段:深度梳理大量的查阅报告、文献、书籍、会议、文件、报告等资料,作为最初的理论依据。
第二阶段:结合第一阶段的梳理理论依据,识别、梳理出现阶段影响人工智能安全的主要威胁。
第三阶段:并查阅企业资料进行调研,进一步探究人工智能全生命周期应用流程。
第四阶段:识别初步的风险项,选取安全风险评估关键指标,经过增、删调整进一步确立,若存在分歧或异议则回到第一步,重新执行该过程。
第五阶段:最终确定人工智能全生命周期安全风险评估指标体系。
通过上述指标体系的构建过程,形成从数据、框架、算法模型、管理和基础设施5个层面构建了具有普适性的人工智能全生命周期安全风险评估指标体系,评估因素如图3所示,评估指标体系如表1所示。
Figure BDA0003717372540000091
Figure BDA0003717372540000101
Figure BDA0003717372540000111
Figure BDA0003717372540000121
Figure BDA0003717372540000131
Figure BDA0003717372540000141
(2)评估人工智能全生命周期安全风险
建立评估指标体系后,对人工智能全生命周期安全风险进行评估,评估过程如图4所示。
1)构建隶属度矩阵
结合人工智能的特点以及应用模式对人工智能全生命周期中风险、资产以及威胁给出新定义:
资产:人工智能环境中有价值的数据、算法模型、智能框架、应用环境、运行环境等。
风险:人工智能全生命周期中威胁主体利用资产的脆弱性对其机密性、完整性以及可用性造成损失或者破坏的可能性。
脆弱性:人工智能全生命周期,被威胁利用的系统缺陷或者漏洞,增加被攻击的可能性。
威胁:对人工智能全生命周期有危害的、不能预料事件发生的可能性。
对资产的影响、威胁频度以及脆弱性的评估都具有一定的模糊性,依据模糊理论对各因素进行剖析处理,构建安全风险因素集和评判集,构建步骤如下:
构建安全风险因素集Wi,表示在第i类下有n个风险因素,Wi={Wi1,Wi2,…,Win},其中n是i类人工智能安全风险下风险因素的个数。
构造评判集,即在第i类下资产重要程度、威胁频度和脆弱性的判断集合,即Bc={bc1,bc2,…,bcm}、Bt={bt1,bt2,…,btm}、Bf={bf1,bf2,…,bfm},其中m为对应判断集中元素的个数。人工智能系统资产重要程度、威胁频度和脆弱性的评价表如表2、3、4所示。
表2人工智能资产重要程度的评价表
Figure BDA0003717372540000151
表3人工智能威胁度的评价表
Figure BDA0003717372540000152
Figure BDA0003717372540000161
表4人工智能脆弱性严重度的评价表
Figure BDA0003717372540000162
构建评价和评判映射,依据评判集B对因素集Wi各风险因素实行评价,然后给予其评语,构建的模糊映射:f:Wi→F(B)。F(B)是B上的模糊集Wj→f(Wj)=(pj1,pj2,…,pjm)∈F(B),其中f表示安全风险因素Wj对评判集中各评语的支持程度,风险因素Wj对评判集B的隶属向量Pj=(pj1,pj2,…,pjm),得到隶属度矩阵:
Figure BDA0003717372540000171
如,通过大量咨询专家、头脑风暴和打分表等形式,对各安全风险依照评价表进行打分评定,求其均值。对评分结果进行归一化处理,处理公式如下,其中,
Figure BDA0003717372540000172
Figure BDA0003717372540000173
由上式可得该风险j的评语k的隶属度矩阵Pc,m是评语的数量,本方法中m=5。同理能够求出Wj类风险下各风险因素对资产重要程度、威胁频度以及脆弱性的评定矩阵Pt、Pf
2)确定风险熵
在Wi类风险下,根据公式(2)得出资产重要程度、威胁频度以及脆弱性的隶属度矩阵后,如公式(3)、(4)得到资产重要程度权重、威胁频度权重以及脆弱性严重程度的熵值。
Figure BDA0003717372540000174
pjk(k=1,2,3…,m)越逼近相等,其熵值越大,相应的安全风险Wi对其评估的不确定程度越大,当m个状态概率出现相等的情况下,表明等概率的分布的平均不确定性最大,求极值可得当
Figure BDA0003717372540000175
时,达到最大熵:Hmax=lnm。使用最大熵Hmax作标准,对公式(3)进行归一化,可得该风险向的相对重要程度的熵值:
Figure BDA0003717372540000176
3)确定权重向量
当pjk(k=1,2,3…,m)的值相同时,即
Figure BDA0003717372540000177
ej具有最大值1,且0≤ej≤1,当ej最大时,表明评估人员的意见分散,那么风险因素对其系统风险评估的贡献达到最小,因此可用来衡量安全风险项的权重。由公式(5)分别得到资产重要程度、威胁频度以及脆弱性严重程度的权重向量。同理,可以计算出其他类风险的资产重要程度、威胁频度以及脆弱性严重程度的权重向量。
Figure BDA0003717372540000181
其中0≤φj≤1;τ=(φ12,…,φn-1n)。
4)量化各类安全风险
当计算人工智能系统资产重要程度时,通过专家知识给予评价集中每个风险指标项对应的权重,得到权重指标向量
Figure BDA0003717372540000182
式子中的n1为资产重要程度的评价集中元素的数量,那么其威胁是:
LRc=τc.Pc.XT (6)
同理人工智能系统威胁频度的评判集合指标向量
Figure BDA0003717372540000183
式子中的n2为威胁频度的评价集中元素的数量,那么其威胁是:
LRt=τt.Pt.YT (7)
同理人工智能系统脆弱性严重程度的评判集合指标向量
Figure BDA0003717372540000184
式子中的n3为脆弱性严重程度的评价集中元素的数量,那么其威胁是:
LRf=τf.Pf.YT (8)
人工智能系统各Wi类风险为:
LR=k1.LRc+k2.LRt+k1.LRf (9)
其中k1、k2和k3一般都为1/3,可根据实际需求微调。LR的值越大则风险等级越高,对照表5进行判定。
表5安全风险隶属度等级对照表(预设的安全风险隶属度等级对照表)
Figure BDA0003717372540000185
Figure BDA0003717372540000191
5)量化评估人工智能系统整体安全风险
将马尔科夫链与人工智能安全风险评估指标体系相结合,建立各安全风险类之间的状态转移矩阵Q。
Figure BDA0003717372540000192
其中状态转移q通过专家知识明确安全风险所有可能出现的状态集,并且建立他们之间的状态转移矩阵,风险类有6种,总共18个风险因子。qij表示风险类Wi相关的安全风险因素(包括其它安全风险类下的安全风险因素)的权重的和。并进一步对Q中的元素进行归一化处理,计算公式类似于公式(2)。得到归一化后的状态转移矩阵:
Figure BDA0003717372540000193
转移矩阵γ和稳态概率能使下列方程成立:
Figure BDA0003717372540000194
Figure BDA0003717372540000201
其中,对角线上元素,是指该安全风险单独发生的情况,非对角线上是风险可能相互转移,共同发生的情况。因此,人工智能系统资产重要程度、威胁频度风险值以及脆弱性三者安全风险值的计算公式如下:
Figure BDA0003717372540000202
Figure BDA0003717372540000203
Figure BDA0003717372540000204
结合公式(13)、(14)、(15)计算可得人工智能安全资产重要程度、威胁频度风险、脆弱性风险的值;再根据公式(9)能够求出人工智能系统整体安全风险值LR。
本发明还提供了一种人工智能全生命周期安全风险评估装置的实施例,包括:
构建模块,用于构建安全风险评估指标体系;
评估模块,用于评估人工智能全生命周期安全风险。
本发明上述实施例解决了如下技术问题:
(1)解决了人工智能安全风险评估技术受主观因素影响较大的问题。利用信息熵的特点,通过构造风险熵,弱化领域专家主观评价在整体评估中的作用,同时,保证了评估的有效性和科学性。
(2)解决了缺乏具有普适性的人工智能全生命周期安全风险评估指标体系的问题。构建人工智能在准备阶段、训练阶段和部署应用阶段以及维护阶段的人工智能资产,从训练数据、智能框架、算法模型、管理体系等方面入手,梳理出了人工智能相关的安全风险因素,构造了资产重要程度、威胁频度和脆弱性三个方面的评价表以及安全风险隶属度等级表,形成了具有普适性的人工智能全生命周期的指标体系。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,所述计算机可读记录介质包括用于以计算机(例如计算机)可读的形式存储或传送信息的任何机制。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种人工智能全生命周期安全风险评估方法,其特征在于,包括以下步骤:
步骤1:构建安全风险评估指标体系;
步骤2:评估人工智能全生命周期安全风险。
2.根据权利要求1所述的方法,其特征在于,所述步骤1包括以下步骤:
步骤1-1:深度梳理大量的资料,作为最初的理论依据;其中,所述资料包括报告、文献、书籍、会议、文件;
步骤1-2:结合步骤1-1梳理的理论依据,识别、梳理出现阶段影响人工智能安全的主要威胁;
步骤1-3:查阅企业资料进行调研,进一步探究人工智能全生命周期应用流程;
步骤1-4:识别初步的风险项,选取安全风险评估关键指标,经过增加、删减调整进一步确立安全风险因素或安全风险类,若存在分歧或异议则重新开始执行步骤1-1;
步骤1-5:最终确定人工智能全生命周期安全风险评估指标体系。
3.根据权利要求1所述的方法,其特征在于,所述步骤2包括以下步骤:
步骤2-1:对资产的影响、威胁频度以及脆弱性的评估都具有模糊性,依据模糊理论对资产的重要性、威胁频度以及脆弱性进行剖析处理,构建安全风险因素集和评判集;
步骤2-2:根据构建的安全风险因素集和评判集,确定风险熵;
步骤2-3:根据确定的风险熵,确定权重向量;
步骤2-4:通过全风险因素集和评判集、风险熵和权重向量,量化安全风险因素;
步骤2-5:根据量化后的安全风险因素和状态转移矩阵,量化评估人工智能系统整体安全风险。
4.根据权利要求3所述的方法,其特征在于,所述构建安全风险因素集和评判集的构建步骤包括:
步骤4-1:构建安全风险因素集Wi;Wi={Wi1,Wi2,…,Win},Wi表示在第i类下有n个风险因素,n是i类人工智能安全风险下风险因素的个数;
步骤4-2:构造评判集B,即在第i类下资产重要程度Bc={bc1,bc2,…,bcm}、威胁频度Bt={bt1,bt2,…,btm}和脆弱性Bf={bf1,bf2,…,bfm}的判断集合,其中,bcm是各安全风险类下关于资产重要程度的第m个风险评判,btm是各安全风险类下关于威胁频度的第m个风险评判,bfm是各安全风险类下关于脆弱性的第m个风险评判,m为对应判断集中元素的个数;
步骤4-3:构建评价和评判映射,依据评判集B对安全风险因素集Wi各风险因素实行评价,然后给予其评语,构建的模糊映射:h:Wi→H(B);H(B)是B上的模糊集Wj→f(Wj)=(pj1,pj2,…,pjm)∈H(B),其中h(Wj)表示安全风险因素Wj对评判集中各评语的支持程度,风险因素Wj对评判集B的隶属向量Pj=(pj1,pj2,…,pjm),j∈[1,n],得到隶属度矩阵:
Figure FDA0003717372530000021
对各安全风险依照评价表进行打分评定,求其均值;对评分结果进行归一化处理,处理公式为:
Figure FDA0003717372530000022
其中,
Figure FDA0003717372530000023
mk是第k个打分值,mjk是第j种安全风险类的第k个打分值;
由公式(2)能够得到风险j的评语k的隶属度矩阵Pc,m是评语的数量,同理能够求出Wj类风险下各风险因素对资产重要程度、威胁频度以及脆弱性的评定矩阵Pt、Pf
5.根据权利要求4所述的方法,其特征在于,所述步骤2-2包括:
在Wi类风险下,根据公式(2)得出资产重要程度、威胁频度以及脆弱性的隶属度矩阵后,根据公式(3)、(4)得到资产重要程度权重、威胁频度权重以及脆弱性严重程度的熵值为;
Figure FDA0003717372530000031
公式中,H为资产重要程度权重、威胁频度权重以及脆弱性严重程度的熵值;k=1,2,3…,m。
6.根据权利要求5所述的方法,其特征在于,pjk越逼近相等,其熵值越大,相应的安全风险Wi对其评估的不确定程度越大;
当m个状态概率出现相等的情况下,表明等概率的分布的平均不确定性最大,求极值得到,当
Figure FDA0003717372530000032
时,达到最大熵Hmax:Hmax=lnm;
使用最大熵Hmax作标准,对公式(3)进行归一化,得到该安全风险因素的相对重要程度的熵值:
Figure FDA0003717372530000033
公式中,ej为相对重要程度的熵值。
7.根据权利要求6所述的方法,其特征在于,所述步骤2-3包括:
当pjk的值相同时,即
Figure FDA0003717372530000034
ej具有最大值1,且0≤ej≤1,当ej最大时,表明评估人员的意见分散,那么风险因素对其系统风险评估的贡献达到最小,因此,能够用来衡量安全风险项的权重;
由公式(5)分别得到资产重要程度、威胁频度以及脆弱性严重程度的权重向量;同理,能够计算出其他类风险的资产重要程度、威胁频度以及脆弱性严重程度的权重向量τc、τt、τf
Figure FDA0003717372530000041
其中,0≤φj≤1;τ=(φ12,…,φn-1n),共n个安全风险因素,φj是第j个风险类的权重向量。
8.根据权利要求7所述的方法,其特征在于,所述步骤2-4包括:
当计算人工智能系统资产重要程度时,给予评价集中每个风险指标项对应的权重,得到权重指标向量
Figure FDA0003717372530000042
其中,
Figure FDA0003717372530000043
为X中的第n1个权重指标,n1为资产重要程度的评价集中元素的数量,资产重要程度评估是:
LRc=τc.Pc.XT (6)
公式中,LRc是资产重要程度的评估值威胁;
同理,人工智能系统威胁频度的评判集合指标量
Figure FDA0003717372530000044
其中,
Figure FDA0003717372530000045
为Y中的第n2个威胁频度的评判指标,n2为威胁频度的评价集中元素的数量,威胁频度评估值是:
LRt=τt.Pt.YT (7)
公式中,LRt是威胁频度评估值;
同理,人工智能系统脆弱性严重程度的评判集合指标向量
Figure FDA0003717372530000046
Figure FDA0003717372530000047
其中,
Figure FDA0003717372530000048
为Z中的第n3个脆弱性严重程度的评判指标,n3为脆弱性严重程度的评价集中元素的数量,脆弱性严重程度是:
LRf=τf.Pf.YT (8)
公式中,LRf是脆弱性严重程度;
人工智能系统各Wi类风险为:
LR=k1LRc+k2.LRt+k1.LRf (9)
公式中,LR为人工智能系统各Wi类风险;k1、k2和k3均为参数,且根据实际需求调整;LR的值越大则风险等级越高,对照预设的安全风险隶属度等级对照表进行判定。
9.根据权利要求8所述的方法,其特征在于,所述步骤2-5包括:
将马尔科夫链与人工智能安全风险评估指标体系相结合,建立各安全风险类之间的状态转移矩阵Q:
Figure FDA0003717372530000051
其中,状态转移q明确安全风险所有可能出现的状态集,并且建立状态集之间的状态转移矩阵,风险类有6种,总共18个风险因子;矩阵Q中的元素qij表示风险类Wi相关的安全风险因素的权重的和;并进一步对Q中的元素进行归一化处理,计算公式类似于公式(2),得到归一化后的状态转移矩阵:
Figure FDA0003717372530000052
转移矩阵γ和稳态概率πi能使公式(11)成立:
Figure FDA0003717372530000053
其中,公式(12)中对角线上元素,是指该安全风险单独发生的情况,公式(12)中非对角线上是风险可能相互转移,共同发生的情况;
因此,人工智能系统资产重要程度、威胁频度风险值以及脆弱性三者安全风险值的计算公式为:
Figure FDA0003717372530000054
Figure FDA0003717372530000055
Figure FDA0003717372530000056
公式中,πci是资产重要程度的稳态概率,πti是威胁频度的稳态概率,πfi是脆弱性的稳态概率,LRci是第i类安全风险类的资产重要度相应的评估值,LRti是第i类安全风险类威胁频度的评估值,LRfi是第i类脆弱性评估值;结合公式(13)、(14)、(15)计算,能够得到人工智能安全资产重要程度、威胁频度风险、脆弱性风险的值;再根据公式(9)能够求出人工智能系统整体安全风险值LR。
10.一种人工智能全生命周期安全风险评估装置,其特征在于,包括:
构建模块,用于构建安全风险评估指标体系;
评估模块,用于评估人工智能全生命周期安全风险。
CN202210739744.XA 2022-06-28 2022-06-28 一种人工智能全生命周期安全风险评估方法及装置 Pending CN115187019A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210739744.XA CN115187019A (zh) 2022-06-28 2022-06-28 一种人工智能全生命周期安全风险评估方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210739744.XA CN115187019A (zh) 2022-06-28 2022-06-28 一种人工智能全生命周期安全风险评估方法及装置

Publications (1)

Publication Number Publication Date
CN115187019A true CN115187019A (zh) 2022-10-14

Family

ID=83516139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210739744.XA Pending CN115187019A (zh) 2022-06-28 2022-06-28 一种人工智能全生命周期安全风险评估方法及装置

Country Status (1)

Country Link
CN (1) CN115187019A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115630756A (zh) * 2022-12-22 2023-01-20 交通运输部水运科学研究所 基于大数据风险评估的港区威胁事件预测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115630756A (zh) * 2022-12-22 2023-01-20 交通运输部水运科学研究所 基于大数据风险评估的港区威胁事件预测方法
CN115630756B (zh) * 2022-12-22 2023-03-17 交通运输部水运科学研究所 基于大数据风险评估的港区威胁事件预测方法

Similar Documents

Publication Publication Date Title
Xu et al. Risk prediction and early warning for air traffic controllers’ unsafe acts using association rule mining and random forest
Barak et al. A novel hybrid fuzzy DEA-Fuzzy MADM method for airlines safety evaluation
CN107886235A (zh) 一种耦合确定性与不确定分析的火灾风险评估方法
Wang A comprehensive survey of data mining-based accounting-fraud detection research
Yang et al. Use of fuzzy evidential reasoning in maritime security assessment
CN111292008A (zh) 一种基于知识图谱的隐私保护数据发布风险评估方法
AU2021104851A4 (en) An integrated fuzzy approach for risk assessment in tunneling construction projects
CN112380572B (zh) 一种多方数据协同场景下的隐私保护量化评估方法和系统
Kelley et al. Antidiscrimination laws, artificial intelligence, and gender bias: A case study in nonmortgage Fintech lending
Cheng et al. A decision-making framework for load rating planning of aging bridges using deep reinforcement learning
Guo et al. The prediction analysis of peer-to-peer lending platforms default risk based on comparative models
CN115187019A (zh) 一种人工智能全生命周期安全风险评估方法及装置
Eren-Dogu et al. Information security risk assessment: Bayesian prioritization for AHP group decision making
Zheng et al. A hybrid approach for evaluating faulty behavior risk of high‐risk operations using ANP and evidence theory
Groll et al. Churn Modeling of Life Insurance Policies Via Statistical and Machine Learning Methods
CN113283806A (zh) 企业信息评估方法、装置、计算机设备及存储介质
CN116663897A (zh) 一种基于贝叶斯网络的城市老旧社区安全风险评价方法
Ershadi et al. Information Security Risk Management of Research Information Systems: A hybrid approach of Fuzzy FMEA, AHP, TOPSIS and Shannon Entropy.
US20100042446A1 (en) Systems and methods for providing core property review
US8000995B2 (en) System and method for assessing customer segmentation strategies
CN114092216A (zh) 企业信贷评级方法、装置、计算机设备和存储介质
Zhukovska Decision-making model on potential borrower lending for independent experts group
Kelley et al. Anti-Discrimination Laws, AI, and Gender Bias in Non-Mortgage Fintech Lending
Sethi et al. Multi-attribute group decision-making problem of medical consumption products based on extended TODIM–VIKOR approach with Fermatean fuzzy information measure
Bae et al. INTEGRATED RISK MANAGEMENT PROCESS TO ADDRESS THE PROBLEM OF ASSIGNING PILOT MISSIONS TO KOREAN ARMY HELICOPTER UNITS.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination