CN110837527A - 一种机器学习模型的安全应用方法及系统 - Google Patents

Abstract

本发明公开一种机器学习模型的安全应用方法及系统，该方法包括前端服务模型处理、先验信息提取、验证策略分析、后端验证模块处理、融合决策等步骤。本发明后端验证和前端服务机器学习服务模型相对独立，通过这种模块功能分离可以增强防攻击能力，提升机器学习模型的应用安全性；后端验证支持固有属性和外信息的多维度后端验证，验证方式更全面、更严格，适用于各种类型的机器学习任务的验证策略定义，针对前端服务机器学习模型的处理结果，可定义主特征的影响系数，根据影响系数灵活制定验证策略，适用于各类机器学习模型的应用场景，具有良好的灵活性、通用性。

Description

一种机器学习模型的安全应用方法及系统

技术领域

本发明涉及计算机技术领域，特别涉及一种机器学习模型的安全应用方法及系统。

背景技术

机器学习尤其是深度学习正在成为构建智能系统的强大工具，能够大幅提升生产和生活的效率与质量。机器学习主要建立在数据统计分析的基础之上，能够从海量的输入数据中自动提取出数据所隐含的特征，形成数据处理的判决边界。

然而，较多应用场景的数据具有维度高、随机波动大等特点，比如分辨率1080P的图像，通过人工数据采集和标注建立训练数据集的方式难以涵盖所有的样本空间，同时，数据本身的统计分布也会受到训练集合的统计分布、数据概率特性的影响，使得训练得到的机器学习模型在实际数据判决时可能存在工作盲点，无法正确处理实际出现的随机样本，这是一个可能引起应用安全问题的潜在因素。

现有技术中对机器学习安全的研究表明，通过设计特定的机器学习攻击算法，产生人难以察觉的微小随机扰动并叠加在正常的数据上，就可能使得机器学习模型输出错误的结果，由此可见，机器学习的输入输出存在非连续性，另一方面，某些特定的攻击算法还可能通过干扰输入数据定向攻击机器学习模型。出现以上现象的原因包括训练数据、机器学习模型表达能力等多个方面。

进一步的，在数据训练模型时，机器学习往往将目标作为一个整体进行统一参数模型的表达，由于训练数据的不完备，该模型并不能表达所有可能的数据，同时，这种方式并不具备局部或全局推理能力，造成机器学习模型的性能损失，增加受攻击风险。

发明内容

本发明提出一种机器学习模型的安全应用方法及系统，旨在提高机器学习模型的安全性、通用性。

为实现上述目的，本发明提出的一种机器学习模型的安全应用方法，包括如下步骤：

步骤S1：前端服务模型处理，前端服务机器学习模型获取外部数据，并对数据进行识别，得到待验证的主特征，主特征记为a，数据记为d，前端服务机器学习模型记为A(d)，即a＝A(d)；

步骤S2：先验信息提取，先验信息提取模块获取所述步骤S1中待验证主特征，并提取得出待验证主特征的固有属性和外信息，以固有属性和外信息为依据确定验证条件，固有属性记为s，外信息记为e；

步骤S3：验证策略分析，验证策略分析模块获取所述步骤S1中主特征的影响系数和目标任务特点，根据影响系数和目标任务特点确定固有属性s和外信息e验证策略，分别记为S、E；

步骤S4：后端验证模块处理，后端验证模块基于所述步骤S3中的验证策略，对主特征的固有属性s和外信息e进行后端分析验证，得到固有属性s和外信息e置信度，分别记为α、β；

步骤S5：融合决策，融合决策模块基于所述步骤S4中的固有属性s和外信息e的置信度S、E，判断待验证的主特征a是否接纳；

若所有验证条件策略均成立，则接纳待验证的主特征，并将主特征信息发送给用户；

若其中一验证条件策略不成立，则不接纳待验证的主特征，并将结果以有限提示信息的方式反馈给用户。

优选地，所述步骤S2中先验信息提取，包括如下步骤：

S21、先验信息提取模块从知识数据库中获取主特征的固有属性知识，固有属性s指主特征a本身内在的、必定具备的属性，作为验证条件的必备依据；

S22、先验信息提取模块从外部关联业务系统中获得外信息条件知识，外信息e指从关联的外部业务系统中获取可以辅助验证主特征a的信息，作为验证条件的间接依据。

优选地，所述步骤S3中验证策略分析，包括如下步骤：

S31、根据机器学习目标任务和主特征计算影响系数，影响系数记为ρ：

ρ＝ω(a)

其中：

ω()为影响系数的计算函数，根据应用场景特点来确定；

ρ取值范围为(0，1)，ρ值越大，影响越大，则越应采取更严格、更全面的验证条件；

S32、根据影响系数ρ和固有属性s确定固有属性s的验证策略S，

其中：

采用离散映射模型；

S33、根据影响系数ρ和外信息e条件知识，确定外信息e验证策略E，

其中：

采用离散映射模型。

优选地，所述步骤S4中，

固有属性s的后端分析为：

根据固有属性s的验证策略S，从输入数据d中分析并提取所要求的固有属性s的信息，得到固有属性s的置信度α，α元素的取值范围为(0，1)。

外信息e的后端分析为：

根据外信息e验证策略E，从关联业务系统中获取外信息，并得到外信息e置信度β，β元素的取值范围为(0，1)。

优选地，所述步骤S5中待验证的主特征a验证决策确定方式包括如下步骤：

S51、验证固有属性条件

先设置固有属性s置信度α判决门限，记为：

γ^(α)＝﹛γ₁ ^(α)，γ₂ ^(α)，…﹜

其中，γ^(α)的门限元素取值范围为(0，1)；

再判断固有属性s置信度α中的所有置信度是否均高于γ^(α)的对应门限；若满足，则验证结果V_internal为1，否则V_internal为0；

S52、验证外信息条件

先设置外信息e置信度β的判决门限，记为：

γ^(β)＝﹛γ₁ ^(β)，γ₂ ^(β)，…﹜

其中，γ^(β)的门限元素取值范围为(0，1)。

再验证外信息e置信度β中的所有置信度是否均高于γ^(β)的对应门限；若满足，则验证结果V_external为1，否则V_external为0；

S53、验证决策

若固有属性s和外信息e均满足对应门限条件，即V_internal＝1且V_external＝1，则该主特征a验证成功，后端验证模块将该主特征a发送给用户，否则该主特征a验证失败，后端验证模块向用户发送有限信息。

本发明还提出一种机器学习模型的安全应用系统，包括：

前端服务机器学习模块，用于对输入的数据提取得到待验证的主特征；

先验信息提取模块，用于提取得出待验证主特征的固有属性和外信息，以固有属性和外信息为依据确定验证条件；

验证策略分析模块，用于获取主特征的影响系数和目标任务特点，根据影响系数和目标任务特点确定固有属性和外信息验证策略；

后端验证模块，用于对主特征的固有属性和外信息进行后端分析验证，得到固有属性和外信息置信度；

融合决策模块，用于根据固有属性和外信息的置信度，判断待验证的主特征是否接纳，并将反馈结果发送给用户。

优选地，所述前端服务机器学习模块与外部数据输送模块连接，外部数据输送模块用于向前端服务机器学习模块和后端验证模块输送数据。

优选地，所述先验信息提取模块与知识数据库相连接，知识数据库用于存取主特征的全部固有属性知识；所述先验信息提取模块还与外部关联业务系统连接，所述外部关联业务系统用于向先验信息提取模块提供主特征的外信息条件知识。

与现有技术相比，本发明的有益效果是：

1、本发明支持固有属性和外信息的多维度后端验证，用于对前端服务机器学习模型输出的主特征进行全面、严格的验证，同时，针对前端服务机器学习模型输出的主特征，可以定义主特征的影响系数，根据影响系数灵活制定验证策略，对影响系数大的主特征提高验证条件。

2、本发明的后端验证和前端服务机器学习服务模型相对独立，通过这种模块功能分离可以增强防攻击能力，提升机器学习模型的应用安全性。

3、本发明后端验证包括固有属性验证、外信息验证两个方面，这种机制可以适用于各种类型的机器学习任务的验证策略定义，针对前端服务机器学习模型的处理结果，可以灵活制定后端验证的策略，适用于各类机器学习模型的应用场景，具有良好的灵活性、通用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明机器学习模型的安全应用方法流程图；

图2为本发明机器学习模型的安全应用系统功能架构图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

本发明提出一种机器学习模型的安全应用方法，包括如下步骤：

步骤S1：前端服务模型处理，前端服务机器学习模型获取外部数据，并对数据进行识别，得到待验证的主特征，主特征记为a，数据记为d，前端服务机器学习模型记为A(d)，即a＝A(d)；

步骤S2：先验信息提取，先验信息提取模块获取所述步骤S1中待验证主特征，并提取得出待验证主特征的固有属性和外信息，以固有属性和外信息为依据确定验证条件，固有属性记为s，外信息记为e；

步骤S3：验证策略分析，验证策略分析模块获取所述步骤S1中主特征的影响系数和目标任务特点，根据影响系数和目标任务特点确定固有属性s和外信息e验证策略，分别记为S、E；

步骤S4：后端验证模块处理，后端验证模块基于所述步骤S3中的验证策略，对主特征的固有属性s和外信息e进行后端分析验证，得到固有属性s和外信息e置信度，分别记为α、β；

步骤S5：融合决策，融合决策模块基于所述步骤S4中的固有属性s和外信息e的置信度S、E，判断待验证的主特征a是否接纳；

若所有验证条件策略均成立，则接纳待验证的主特征，并将主特征信息发送给用户；

若其中一验证条件策略不成立，则不接纳待验证的主特征，并将结果以有限提示信息的方式反馈给用户。

本实施例中，以前向摄像头获取交通指示牌的图像数据d为例，所述步骤S1中，将交通指示牌图像数据d送入前端服务机器学习模型A(d)，前端服务机器学习模型A(d)识别主特征a，即：

a＝A(d)

其中：

a＝﹛type，confindence，…﹜，type为从当前图像中检测识别出的交通指示牌类型，confindence为该交通指示牌的检测识别置信度。

假设交通指示牌类型type为英文“STOP”标志，在相关场景下该标志表示车辆需要在停止线前停车确认安全后通行，否则可能发生交通事故。另一方面，如果该交通指示牌识别错误，而实际上并不存在该交通指示牌，则会向系统发出错误信号，产生误操作，影响交通通畅，因此，该检测结果对交通系统的影响较大。

所述步骤S2中先验信息提取，包括如下步骤：

S21、先验信息提取模块从知识数据库中获取主特征的固有属性知识，固有属性s指主特征a本身内在的、必定具备的属性，作为验证条件的必备依据。

具体地，根据主特征a＝﹛type，confindence﹜查找已有的先验证知识数据，得到主特征type所需具备的固有属性：

s₁＝﹛s_1,1，s_1,2，s_1,3，s_1,4﹜＝﹛“S”，“T”，“O”，“P”﹜

本实施例将4个字符作为了一个固有属性，也可以将它们各自单独作为一个固有属性，并且，验证时无需验证所有字符，具体根据验证策略确定。

若主特征confindence不具备固有属性，则主特征confindence所需具备的固有属性s₂为空集φ。

S22、先验信息提取模块从外部关联业务系统中获得外信息条件知识，外信息e指从关联的外部业务系统中获取可以辅助验证主特征a的信息，作为验证条件的间接依据。

本实施例以外部关联业务系统为智能驾驶系统为例，假设智能驾驶系统包括地图和定位系统，其中，地图信息中具有交通指示牌的位置信息，可以通过定位系统获得摄像头当前所处位置的定位，通过该定位查询地图信息，获得当前位置周围的交通指示牌信息。然后，通过这些信息估计出当前检测识别出交通指示牌“STOP”的置信度。比如，根据地图定位，如果在视觉的有效检测范围内，在地图中不存在交通指示牌“STOP”，则外信息的置信度设置为较小的值，如0.1，反之，根据相对距离等参数估计出交通指示牌“STOP”的外信息置信度。

本实施例采用了1个外信息，即外信息为：

e＝﹛e₁﹜＝﹛e_1，1﹜＝﹛confindence_stopsign﹜

所述步骤S3中验证策略分析，包括如下步骤：

S31、根据机器学习目标任务和主特征计算影响系数，影响系数记为ρ，：

ρ＝ω(a)

其中：

ω()为影响系数的计算函数，根据应用场景特点来确定；

ρ取值范围为(0，1)，ρ值越大，影响越大，则越应采取更严格、更全面的验证条件；

如表1所示，本实施例将各种指示牌的影响系数以离散映射表的形式进行定义；

表1

主特征指示牌类型type	影响系数ρ
		停车	0.9
直行	0.6
		左转	0.8
右转	0.6
		掉头	0.7
…	…

表1中，主特征type为停车的影响系数为0.9，影响系数较高，因此需重点验证。

S32、根据影响系数ρ和固有属性s确定固有属性s的验证策略S，

其中：

采用离散映射模型；

如表2所示，为主特征指示牌类型的固有属性验证策略表；

表2

ρ取值范围	验证策略S
		(0，0.3]	φ
(0.3，1]	﹛s<sub>1</sub>﹜

S33、根据影响系数ρ和外信息e条件知识，确定外信息e验证策略E，

其中：

采用离散映射模型。

如表3所示，为主特征指示牌类型的外信息验证策略表；

表3

ρ取值范围	验证策略E
		(0，0.3]	φ
(0.3，1]	﹛e<sub>1</sub>﹜

所述步骤S4中，后端验证模块分析主特征的固有属性和外信息；

固有属性s的后端分析为：

根据固有属性s的验证策略S，从输入数据d中分析并提取所要求的固有属性s的信息，得到固有属性s的置信度α，α元素的取值范围为(0，1)。

固有属性的验证策略S＝﹛s₁﹜，从交通指示牌的图像数据d中分析提取应具备的固有属性﹛“S”，“T”，“O”，“P”﹜，后端验证模块可以采用独立的机器学习模型来检测识别“S”，“T”，“O”，“P”这几个英文字符，获得这些固有属性的检测识别置信度α＝﹛α₁，α₂，α₃，α₄﹜。

外信息e的后端分析为：

根据外信息e验证策略E，从关联业务系统中获取外信息，并得到外信息e置信度β，β元素的取值范围为(0，1)。

外信息的验证策略E＝﹛e₁﹜＝﹛confindence_stopsign﹜，根据视觉检测距离和地图定位相关信息，估计出外信息的置信度β＝﹛β₁﹜。

所述步骤S5中待验证的主特征a验证决策确定方式包括如下步骤：

S51、验证固有属性条件

先设置固有属性s置信度α判决门限，记为：

γ^(α)＝﹛γ₁ ^(α)，γ₂ ^(α)，γ₃ ^(α)，γ₄ ^(α)﹜

其中，γ^(α)的门限元素取值范围为(0，1)；

再判断固有属性s置信度α中的所有置信度是否均高于γ^(α)的对应门限，若满足，则验证结果V_internal为1，否则V_internal为0；

假设：

4个固有属性的检测识别置信度为：α＝﹛0.79，0.83，0.91，0.76﹜；

4个固有属性置信度判决门限为：γ^(α)＝﹛0.75，0.75，0.75，0.75﹜，

则V_internal＝1。

S52、验证外信息条件

先设置外信息e置信度β的判决门限，记为：

γ^(β)＝﹛γ₁ ^(β)，γ₂ ^(β)，…﹜

其中，γ^(β)的门限元素取值范围为(0，1)。

再验证外信息e置信度β中的所有置信度是否均高于γ^(β)的对应门限，若满足，则验证结果V_external为1，否则V_external为0；

假设：

外信息置信度为：β＝﹛β₁﹜＝﹛0.9﹜；

外信息置信度的判决门限为：γ^(β)＝﹛γ₁ ^(β)﹜＝﹛0.8﹜；

则V_external＝1。

S53、验证决策

若固有属性s和外信息e均满足对应门限条件，即V_internal＝1且V_external＝1，则该主特征a验证成功，后端验证模块将该主特征a发送给用户，否则该主特征a验证失败，后端验证模块向用户发送有限信息。

本发明支持固有属性和外信息的多维度后端验证，用于对前端服务机器学习模型输出的主特征进行全面、严格的验证，同时，针对前端服务机器学习模型输出的主特征，可以定义主特征的影响系数，根据影响系数灵活制定验证策略，对影响系数大的主特征提高验证条件。

后端验证包括固有属性验证、外信息验证两个方面，这种机制可以适用于各种类型的机器学习任务的验证策略定义，针对前端服务机器学习模型的处理结果，可以灵活制定后端验证的策略，适用于各类机器学习模型的应用场景，具有良好的灵活性、通用性。

一种机器学习模型的安全应用系统，如图2所示，包括：

前端服务机器学习模块，用于对输入的数据提取得到待验证的主特征；

先验信息提取模块，用于提取得出待验证主特征的固有属性和外信息，以固有属性和外信息为依据确定验证条件；

验证策略分析模块，用于获取主特征的影响系数和目标任务特点，根据影响系数和目标任务特点确定固有属性和外信息验证策略；

后端验证模块，用于对主特征的固有属性和外信息进行后端分析验证，得到固有属性和外信息置信度；

融合决策模块，用于根据固有属性和外信息的置信度，判断待验证的主特征是否接纳，并将反馈结果发送给用户。

前端服务机器学习模块还与外部数据输送模块连接，外部数据输送模块用于向前端服务机器学习模块和后端验证模块输送数据。

本发明的后端验证和前端服务机器学习服务模型相对独立，通过这种模块功能分离可以增强防攻击能力，提升机器学习模型的应用安全性。

所述先验信息提取模块与知识数据库相连接，知识数据库用于存取主特征的全部固有属性知识，固有属性指主特征本身内在的、必定具备的属性，作为验证条件的必备依据；所述先验信息提取模块还与外部关联业务系统连接，所述外部关联业务系统用于向先验信息提取模块提供主特征的外信息条件知识，外信息指从关联的外部业务系统中获取可以辅助验证主特征的信息，作为验证条件的间接依据。

具体地，根据主特征a＝﹛type，confindence﹜查找已有的先验证知识数据，得到主特征type所需具备的固有属性：

s₁＝﹛s_1,1，s_1,2，s_1,3，s_1,4﹜＝﹛“S”，“T”，“O”，“P”﹜

本实施例将4个字符作为了一个固有属性，也可以将它们各自单独作为一个固有属性，并且，验证时无需验证所有字符，具体根据验证策略确定。

若主特征confindence不具备固有属性，则主特征confindence所需具备的固有属性s₂为空集φ。

以外部关联业务系统为智能驾驶系统为例，假设智能驾驶系统包括地图和定位系统，其中，地图信息中具有交通指示牌的位置信息，可以通过定位系统获得摄像头当前所处位置的定位，通过该定位查询地图信息，获得当前位置周围的交通指示牌信息。然后，通过这些信息估计出当前检测识别出交通指示牌“STOP”的置信度。比如，根据地图定位，如果在视觉的有效检测范围内，在地图中不存在交通指示牌“STOP”，则外信息的置信度设置为较小的值，如0.1，反之，根据相对距离等参数估计出交通指示牌“STOP”的外信息置信度。

本实施例采用了1个外信息，即外信息为：

e＝﹛e₁﹜＝﹛e_1，1﹜＝﹛confindence_stopsign﹜

验证策略分析模块进行验证策略分析，具体地：

先根据机器学习目标任务和主特征计算影响系数，影响系数记为ρ，：

ρ＝ω(a)

其中：

ω()为影响系数的计算函数，根据应用场景特点来确定；

ρ取值范围为(0，1)，ρ值越大，影响越大，则越应采取更严格、更全面的验证条件；

如表4所示，本实施例将各种指示牌的影响系数以离散映射表的形式进行定义；

表4

表4中，主特征type为停车的影响系数为0.9，影响系数较高，因此需重点验证。

再根据影响系数ρ和固有属性s确定固有属性s的验证策略S，

其中：

采用离散映射模型；

如表5所示，为主特征指示牌类型的固有属性验证策略表；

表5

ρ取值范围	验证策略S
		(0，0.3]	φ
(0.3，1]	﹛s<sub>1</sub>﹜

然后根据影响系数ρ和外信息e条件知识，确定外信息e验证策略E，

其中：

采用离散映射模型。

如表6所示，为主特征指示牌类型的外信息验证策略表；

表6

ρ取值范围	验证策略E
		(0，0.3]	φ
(0.3，1]	﹛e<sub>1</sub>﹜

后端验证模块分析主特征的固有属性和外信息，具体地：

(1)固有属性s的后端分析

根据固有属性s的验证策略S，从输入数据d中分析并提取所要求的固有属性s的信息，得到固有属性s的置信度α，α元素的取值范围为(0，1)。

固有属性的验证策略S＝﹛s₁﹜，从交通指示牌的图像数据d中分析提取应具备的固有属性﹛“S”，“T”，“O”，“P”﹜，后端验证模块可以采用独立的机器学习模型来检测识别“S”，“T”，“O”，“P”这几个英文字符，获得这些固有属性的检测识别置信度α＝﹛α₁，α₂，α₃，α₄﹜。

(2)外信息e的后端分析为：

根据外信息e验证策略E，从关联业务系统中获取外信息，并得到外信息e置信度β，β元素的取值范围为(0，1)。

外信息的验证策略E＝﹛e₁﹜＝﹛confindence_stopsign﹜，根据视觉检测距离和地图定位相关信息，估计出外信息的置信度β＝﹛β₁﹜。

融合决策模块根据固有属性s和外信息e验证结果决策主特征a的验证结论，待验证的主特征a验证决策确定方式包括如下内容：

(1)验证固有属性条件

先设置固有属性s置信度α判决门限，记为：

γ^(α)＝﹛γ₁ ^(α)，γ₂ ^(α)，γ₃ ^(α)，γ₄ ^(α)﹜

其中，γ^(α)的门限元素取值范围为(0，1)；

再判断固有属性s置信度α中的所有置信度是否均高于γ^(α)的对应门限，若满足，则验证结果V_internal为1，否则V_internal为0；

假设：

4个固有属性的检测识别置信度为：α＝﹛0.79，0.83，0.91，0.76﹜；

4个固有属性置信度判决门限为：γ^(α)＝﹛0.75，0.75，0.75，0.75﹜，

则V_internal＝1。

(2)验证外信息条件

先设置外信息e置信度β的判决门限，记为：

γ^(β)＝﹛γ₁ ^(β)，γ₂ ^(β)，…﹜

其中，γ^(β)的门限元素取值范围为(0，1)。

再验证外信息e置信度β中的所有置信度是否均高于γ^(β)的对应门限，若满足，则验证结果V_external为1，否则V_external为0；

假设：

外信息置信度为：β＝﹛β₁﹜＝﹛0.9﹜；

外信息置信度的判决门限为：γ^(β)＝﹛γ₁ ^(β)﹜＝﹛0.8﹜；

则V_external＝1。

(3)验证决策

若固有属性s和外信息e均满足对应门限条件，即V_internal＝1且V_external＝1，则该主特征a验证成功，后端验证模块将该主特征a发送给用户，否则该主特征a验证失败，后端验证模块向用户发送有限信息。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (8)

1.一种机器学习模型的安全应用方法，其特征在于，包括如下步骤：

步骤S1：前端服务模型处理，前端服务机器学习模型获取外部数据，并对数据进行识别，得到待验证的主特征，主特征记为a，数据记为d，前端服务机器学习模型记为A(d)，即a＝A(d)；

步骤S2：先验信息提取，先验信息提取模块获取所述步骤S1中待验证主特征，并提取得出待验证主特征的固有属性和外信息，以固有属性和外信息为依据确定验证条件，固有属性记为s，外信息记为e；

步骤S3：验证策略分析，验证策略分析模块获取所述步骤S1中主特征的影响系数和目标任务特点，根据影响系数和目标任务特点确定固有属性s和外信息e验证策略，分别记为S、E；

步骤S4：后端验证模块处理，后端验证模块基于所述步骤S3中的验证策略，对主特征的固有属性s和外信息e进行后端分析验证，得到固有属性s和外信息e置信度，分别记为α、β；

步骤S5：融合决策，融合决策模块基于所述步骤S4中的固有属性s和外信息e的置信度S、E，判断待验证的主特征a是否接纳；

若所有验证条件策略均成立，则接纳待验证的主特征，并将主特征信息发送给用户；

若其中一验证条件策略不成立，则不接纳待验证的主特征，并将结果以有限提示信息的方式反馈给用户。

2.如权利要求1所述的机器学习模型的安全应用方法，其特征在于，所述步骤S2中先验信息提取，包括如下步骤：

S21、先验信息提取模块从知识数据库中获取主特征的固有属性知识，固有属性s指主特征a本身内在的、必定具备的属性，作为验证条件的必备依据；

S22、先验信息提取模块从外部关联业务系统中获得外信息条件知识，外信息e指从关联的外部业务系统中获取可以辅助验证主特征a的信息，作为验证条件的间接依据。

3.如权利要求1所述的机器学习模型的安全应用方法，其特征在于，所述步骤S3中验证策略分析，包括如下步骤：

S31、根据机器学习目标任务和主特征计算影响系数，影响系数记为ρ：

ρ＝ω(a)

其中：

ω( )为影响系数的计算函数，根据应用场景特点来确定；

ρ取值范围为(0，1)，ρ值越大，影响越大，则越应采取更严格、更全面的验证条件；

S32、根据影响系数ρ和固有属性s确定固有属性s的验证策略S，

其中：

采用离散映射模型；

S33、根据影响系数ρ和外信息e条件知识，确定外信息e验证策略E，

其中：

采用离散映射模型。

4.如权利要求1所述的机器学习模型的安全应用方法，其特征在于，所述步骤S4中，

固有属性s的后端分析为：

根据固有属性s的验证策略S，从输入数据d中分析并提取所要求的固有属性s的信息，得到固有属性s的置信度α，α元素的取值范围为(0，1)。

外信息e的后端分析为：

根据外信息e验证策略E，从关联业务系统中获取外信息，并得到外信息e置信度β，β元素的取值范围为(0，1)。

5.如权利要求1所述的机器学习模型的安全应用方法，其特征在于，所述步骤S5中待验证的主特征a验证决策确定方式包括如下步骤：

S51、验证固有属性条件

先设置固有属性s置信度α判决门限，记为：

γ^(α)＝﹛γ₁ ^(α)，γ₂ ^(α)，…﹜

其中，γ^(α)的门限元素取值范围为(0，1)；

再判断固有属性s置信度α中的所有置信度是否均高于γ^(α)的对应门限；若满足，则验证结果V_internal为1，否则V_internal为0；

S52、验证外信息条件

先设置外信息e置信度β的判决门限，记为：

γ^(β)＝﹛γ₁ ^(β)，γ₂ ^(β)，…﹜

其中，γ^(β)的门限元素取值范围为(0，1)。

再验证外信息e置信度β中的所有置信度是否均高于γ^(β)的对应门限；若满足，则验证结果V_external为1，否则V_external为0；

S53、验证决策

若固有属性s和外信息e均满足对应门限条件，即V_internal＝1且V_external＝1，则该主特征a验证成功，后端验证模块将该主特征a发送给用户，否则该主特征a验证失败，后端验证模块向用户发送有限信息。

6.一种机器学习模型的安全应用系统，其特征在于，包括：

前端服务机器学习模块，用于对输入的数据提取得到待验证的主特征；

先验信息提取模块，用于提取得出待验证主特征的固有属性和外信息，以固有属性和外信息为依据确定验证条件；

验证策略分析模块，用于获取主特征的影响系数和目标任务特点，根据影响系数和目标任务特点确定固有属性和外信息验证策略；

后端验证模块，用于对主特征的固有属性和外信息进行后端分析验证，得到固有属性和外信息置信度；

融合决策模块，用于根据固有属性和外信息的置信度，判断待验证的主特征是否接纳，并将反馈结果发送给用户。

7.如权利要求6所述的机器学习模型的安全应用系统，其特征在于，所述前端服务机器学习模块和后端验证模块均与外部数据输送模块连接，外部数据输送模块用于向前端服务机器学习模块和后端验证模块输送数据。

8.如权利要求6所述的机器学习模型的安全应用系统，其特征在于，所述先验信息提取模块与知识数据库相连接，知识数据库用于存取主特征的全部固有属性知识；所述先验信息提取模块还与外部关联业务系统连接，所述外部关联业务系统用于向先验信息提取模块提供主特征的外信息条件知识。

Images