CN110837527B - 一种机器学习模型的安全应用方法及系统 - Google Patents

一种机器学习模型的安全应用方法及系统 Download PDF

Info

Publication number
CN110837527B
CN110837527B CN201911116113.7A CN201911116113A CN110837527B CN 110837527 B CN110837527 B CN 110837527B CN 201911116113 A CN201911116113 A CN 201911116113A CN 110837527 B CN110837527 B CN 110837527B
Authority
CN
China
Prior art keywords
verification
information
machine learning
external information
external
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911116113.7A
Other languages
English (en)
Other versions
CN110837527A (zh
Inventor
杨忠勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yuanyishu Intelligent Technology Co.,Ltd.
Original Assignee
Shenzhen Coos Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Coos Co ltd filed Critical Shenzhen Coos Co ltd
Priority to CN201911116113.7A priority Critical patent/CN110837527B/zh
Publication of CN110837527A publication Critical patent/CN110837527A/zh
Application granted granted Critical
Publication of CN110837527B publication Critical patent/CN110837527B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462Approximate or statistical queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Fuzzy Systems (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种机器学习模型的安全应用方法及系统,该方法包括前端服务模型处理、先验信息提取、验证策略分析、后端验证模块处理、融合决策等步骤。本发明后端验证和前端服务机器学习服务模型相对独立,通过这种模块功能分离可以增强防攻击能力,提升机器学习模型的应用安全性;后端验证支持固有属性和外信息的多维度后端验证,验证方式更全面、更严格,适用于各种类型的机器学习任务的验证策略定义,针对前端服务机器学习模型的处理结果,可定义主特征的影响系数,根据影响系数灵活制定验证策略,适用于各类机器学习模型的应用场景,具有良好的灵活性、通用性。

Description

一种机器学习模型的安全应用方法及系统
技术领域
本发明涉及计算机技术领域,特别涉及一种机器学习模型的安全应用方法及系统。
背景技术
机器学习尤其是深度学习正在成为构建智能系统的强大工具,能够大幅提升生产和生活的效率与质量。机器学习主要建立在数据统计分析的基础之上,能够从海量的输入数据中自动提取出数据所隐含的特征,形成数据处理的判决边界。
然而,较多应用场景的数据具有维度高、随机波动大等特点,比如分辨率1080P的图像,通过人工数据采集和标注建立训练数据集的方式难以涵盖所有的样本空间,同时,数据本身的统计分布也会受到训练集合的统计分布、数据概率特性的影响,使得训练得到的机器学习模型在实际数据判决时可能存在工作盲点,无法正确处理实际出现的随机样本,这是一个可能引起应用安全问题的潜在因素。
现有技术中对机器学习安全的研究表明,通过设计特定的机器学习攻击算法,产生人难以察觉的微小随机扰动并叠加在正常的数据上,就可能使得机器学习模型输出错误的结果,由此可见,机器学习的输入输出存在非连续性,另一方面,某些特定的攻击算法还可能通过干扰输入数据定向攻击机器学习模型。出现以上现象的原因包括训练数据、机器学习模型表达能力等多个方面。
进一步的,在数据训练模型时,机器学习往往将目标作为一个整体进行统一参数模型的表达,由于训练数据的不完备,该模型并不能表达所有可能的数据,同时,这种方式并不具备局部或全局推理能力,造成机器学习模型的性能损失,增加受攻击风险。
发明内容
本发明提出一种机器学习模型的安全应用方法及系统,旨在提高机器学习模型的安全性、通用性。
为实现上述目的,本发明提出的一种机器学习模型的安全应用方法,包括如下步骤:
步骤S1:前端服务模型处理,前端服务机器学习模型获取外部数据,并对数据进行识别,得到待验证的主特征,主特征记为a,数据记为d,前端服务机器学习模型记为A(d),即a=A(d);
步骤S2:先验信息提取,先验信息提取模块获取所述步骤S1中待验证主特征,并提取得出待验证主特征的固有属性和外信息,以固有属性和外信息为依据确定验证条件,固有属性记为s,外信息记为e;
步骤S3:验证策略分析,验证策略分析模块获取所述步骤S1中主特征的影响系数和目标任务特点,根据影响系数和目标任务特点确定固有属性s和外信息e验证策略,分别记为S、E;
步骤S4:后端验证模块处理,后端验证模块基于所述步骤S3中的验证策略,对主特征的固有属性s和外信息e进行后端分析验证,得到固有属性s和外信息e置信度,分别记为α、β;
步骤S5:融合决策,融合决策模块基于所述步骤S4中的固有属性s和外信息e的置信度S、E,判断待验证的主特征a是否接纳;
若所有验证条件策略均成立,则接纳待验证的主特征,并将主特征信息发送给用户;
若其中一验证条件策略不成立,则不接纳待验证的主特征,并将结果以有限提示信息的方式反馈给用户。
优选地,所述步骤S2中先验信息提取,包括如下步骤:
S21、先验信息提取模块从知识数据库中获取主特征的固有属性知识,固有属性s指主特征a本身内在的、必定具备的属性,作为验证条件的必备依据;
S22、先验信息提取模块从外部关联业务系统中获得外信息条件知识,外信息e指从关联的外部业务系统中获取可以辅助验证主特征a的信息,作为验证条件的间接依据。
优选地,所述步骤S3中验证策略分析,包括如下步骤:
S31、根据机器学习目标任务和主特征计算影响系数,影响系数记为ρ:
ρ=ω(a)
其中:
ω()为影响系数的计算函数,根据应用场景特点来确定;
ρ取值范围为(0,1),ρ值越大,影响越大,则越应采取更严格、更全面的验证条件;
S32、根据影响系数ρ和固有属性s确定固有属性s的验证策略S,
Figure BDA0002273818800000031
其中:
Figure BDA0002273818800000032
采用离散映射模型;
S33、根据影响系数ρ和外信息e条件知识,确定外信息e验证策略E,
Figure BDA0002273818800000033
其中:
Figure BDA0002273818800000034
采用离散映射模型。
优选地,所述步骤S4中,
固有属性s的后端分析为:
根据固有属性s的验证策略S,从输入数据d中分析并提取所要求的固有属性s的信息,得到固有属性s的置信度α,α元素的取值范围为(0,1)。
外信息e的后端分析为:
根据外信息e验证策略E,从关联业务系统中获取外信息,并得到外信息e置信度β,β元素的取值范围为(0,1)。
优选地,所述步骤S5中待验证的主特征a验证决策确定方式包括如下步骤:
S51、验证固有属性条件
先设置固有属性s置信度α判决门限,记为:
γ(α)=﹛γ1 (α),γ2 (α),…﹜
其中,γ(α)的门限元素取值范围为(0,1);
再判断固有属性s置信度α中的所有置信度是否均高于γ(α)的对应门限;若满足,则验证结果Vinternal为1,否则Vinternal为0;
S52、验证外信息条件
先设置外信息e置信度β的判决门限,记为:
γ(β)=﹛γ1 (β),γ2 (β),…﹜
其中,γ(β)的门限元素取值范围为(0,1)。
再验证外信息e置信度β中的所有置信度是否均高于γ(β)的对应门限;若满足,则验证结果Vexternal为1,否则Vexternal为0;
S53、验证决策
若固有属性s和外信息e均满足对应门限条件,即Vinternal=1且Vexternal=1,则该主特征a验证成功,后端验证模块将该主特征a发送给用户,否则该主特征a验证失败,后端验证模块向用户发送有限信息。
本发明还提出一种机器学习模型的安全应用系统,包括:
前端服务机器学习模块,用于对输入的数据提取得到待验证的主特征;
先验信息提取模块,用于提取得出待验证主特征的固有属性和外信息,以固有属性和外信息为依据确定验证条件;
验证策略分析模块,用于获取主特征的影响系数和目标任务特点,根据影响系数和目标任务特点确定固有属性和外信息验证策略;
后端验证模块,用于对主特征的固有属性和外信息进行后端分析验证,得到固有属性和外信息置信度;
融合决策模块,用于根据固有属性和外信息的置信度,判断待验证的主特征是否接纳,并将反馈结果发送给用户。
优选地,所述前端服务机器学习模块与外部数据输送模块连接,外部数据输送模块用于向前端服务机器学习模块和后端验证模块输送数据。
优选地,所述先验信息提取模块与知识数据库相连接,知识数据库用于存取主特征的全部固有属性知识;所述先验信息提取模块还与外部关联业务系统连接,所述外部关联业务系统用于向先验信息提取模块提供主特征的外信息条件知识。
与现有技术相比,本发明的有益效果是:
1、本发明支持固有属性和外信息的多维度后端验证,用于对前端服务机器学习模型输出的主特征进行全面、严格的验证,同时,针对前端服务机器学习模型输出的主特征,可以定义主特征的影响系数,根据影响系数灵活制定验证策略,对影响系数大的主特征提高验证条件。
2、本发明的后端验证和前端服务机器学习服务模型相对独立,通过这种模块功能分离可以增强防攻击能力,提升机器学习模型的应用安全性。
3、本发明后端验证包括固有属性验证、外信息验证两个方面,这种机制可以适用于各种类型的机器学习任务的验证策略定义,针对前端服务机器学习模型的处理结果,可以灵活制定后端验证的策略,适用于各类机器学习模型的应用场景,具有良好的灵活性、通用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明机器学习模型的安全应用方法流程图;
图2为本发明机器学习模型的安全应用系统功能架构图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
本发明提出一种机器学习模型的安全应用方法,包括如下步骤:
步骤S1:前端服务模型处理,前端服务机器学习模型获取外部数据,并对数据进行识别,得到待验证的主特征,主特征记为a,数据记为d,前端服务机器学习模型记为A(d),即a=A(d);
步骤S2:先验信息提取,先验信息提取模块获取所述步骤S1中待验证主特征,并提取得出待验证主特征的固有属性和外信息,以固有属性和外信息为依据确定验证条件,固有属性记为s,外信息记为e;
步骤S3:验证策略分析,验证策略分析模块获取所述步骤S1中主特征的影响系数和目标任务特点,根据影响系数和目标任务特点确定固有属性s和外信息e验证策略,分别记为S、E;
步骤S4:后端验证模块处理,后端验证模块基于所述步骤S3中的验证策略,对主特征的固有属性s和外信息e进行后端分析验证,得到固有属性s和外信息e置信度,分别记为α、β;
步骤S5:融合决策,融合决策模块基于所述步骤S4中的固有属性s和外信息e的置信度S、E,判断待验证的主特征a是否接纳;
若所有验证条件策略均成立,则接纳待验证的主特征,并将主特征信息发送给用户;
若其中一验证条件策略不成立,则不接纳待验证的主特征,并将结果以有限提示信息的方式反馈给用户。
本实施例中,以前向摄像头获取交通指示牌的图像数据d为例,所述步骤S1中,将交通指示牌图像数据d送入前端服务机器学习模型A(d),前端服务机器学习模型A(d)识别主特征a,即:
a=A(d)
其中:
a=﹛type,confindence,…﹜,type为从当前图像中检测识别出的交通指示牌类型,confindence为该交通指示牌的检测识别置信度。
假设交通指示牌类型type为英文“STOP”标志,在相关场景下该标志表示车辆需要在停止线前停车确认安全后通行,否则可能发生交通事故。另一方面,如果该交通指示牌识别错误,而实际上并不存在该交通指示牌,则会向系统发出错误信号,产生误操作,影响交通通畅,因此,该检测结果对交通系统的影响较大。
所述步骤S2中先验信息提取,包括如下步骤:
S21、先验信息提取模块从知识数据库中获取主特征的固有属性知识,固有属性s指主特征a本身内在的、必定具备的属性,作为验证条件的必备依据。
具体地,根据主特征a=﹛type,confindence﹜查找已有的先验证知识数据,得到主特征type所需具备的固有属性:
s1=﹛s1,1,s1,2,s1,3,s1,4﹜=﹛“S”,“T”,“O”,“P”﹜
本实施例将4个字符作为了一个固有属性,也可以将它们各自单独作为一个固有属性,并且,验证时无需验证所有字符,具体根据验证策略确定。
若主特征confindence不具备固有属性,则主特征confindence所需具备的固有属性s2为空集φ。
S22、先验信息提取模块从外部关联业务系统中获得外信息条件知识,外信息e指从关联的外部业务系统中获取可以辅助验证主特征a的信息,作为验证条件的间接依据。
本实施例以外部关联业务系统为智能驾驶系统为例,假设智能驾驶系统包括地图和定位系统,其中,地图信息中具有交通指示牌的位置信息,可以通过定位系统获得摄像头当前所处位置的定位,通过该定位查询地图信息,获得当前位置周围的交通指示牌信息。然后,通过这些信息估计出当前检测识别出交通指示牌“STOP”的置信度。比如,根据地图定位,如果在视觉的有效检测范围内,在地图中不存在交通指示牌“STOP”,则外信息的置信度设置为较小的值,如0.1,反之,根据相对距离等参数估计出交通指示牌“STOP”的外信息置信度。
本实施例采用了1个外信息,即外信息为:
e=﹛e1﹜=﹛e1,1﹜=﹛confindencestopsign
所述步骤S3中验证策略分析,包括如下步骤:
S31、根据机器学习目标任务和主特征计算影响系数,影响系数记为ρ,:
ρ=ω(a)
其中:
ω()为影响系数的计算函数,根据应用场景特点来确定;
ρ取值范围为(0,1),ρ值越大,影响越大,则越应采取更严格、更全面的验证条件;
如表1所示,本实施例将各种指示牌的影响系数以离散映射表的形式进行定义;
表1
主特征指示牌类型type 影响系数ρ
停车 0.9
直行 0.6
左转 0.8
右转 0.6
掉头 0.7
表1中,主特征type为停车的影响系数为0.9,影响系数较高,因此需重点验证。
S32、根据影响系数ρ和固有属性s确定固有属性s的验证策略S,
Figure BDA0002273818800000081
其中:
Figure BDA0002273818800000082
采用离散映射模型;
如表2所示,为主特征指示牌类型的固有属性验证策略表;
表2
ρ取值范围 验证策略S
(0,0.3] φ
(0.3,1] ﹛s<sub>1</sub>﹜
S33、根据影响系数ρ和外信息e条件知识,确定外信息e验证策略E,
Figure BDA0002273818800000083
其中:
Figure BDA0002273818800000084
采用离散映射模型。
如表3所示,为主特征指示牌类型的外信息验证策略表;
表3
ρ取值范围 验证策略E
(0,0.3] φ
(0.3,1] ﹛e<sub>1</sub>﹜
所述步骤S4中,后端验证模块分析主特征的固有属性和外信息;
固有属性s的后端分析为:
根据固有属性s的验证策略S,从输入数据d中分析并提取所要求的固有属性s的信息,得到固有属性s的置信度α,α元素的取值范围为(0,1)。
固有属性的验证策略S=﹛s1﹜,从交通指示牌的图像数据d中分析提取应具备的固有属性﹛“S”,“T”,“O”,“P”﹜,后端验证模块可以采用独立的机器学习模型来检测识别“S”,“T”,“O”,“P”这几个英文字符,获得这些固有属性的检测识别置信度α=﹛α1,α2,α3,α4﹜。
外信息e的后端分析为:
根据外信息e验证策略E,从关联业务系统中获取外信息,并得到外信息e置信度β,β元素的取值范围为(0,1)。
外信息的验证策略E=﹛e1﹜=﹛confindencestopsign﹜,根据视觉检测距离和地图定位相关信息,估计出外信息的置信度β=﹛β1﹜。
所述步骤S5中待验证的主特征a验证决策确定方式包括如下步骤:
S51、验证固有属性条件
先设置固有属性s置信度α判决门限,记为:
γ(α)=﹛γ1 (α),γ2 (α),γ3 (α),γ4 (α)
其中,γ(α)的门限元素取值范围为(0,1);
再判断固有属性s置信度α中的所有置信度是否均高于γ(α)的对应门限,若满足,则验证结果Vinternal为1,否则Vinternal为0;
假设:
4个固有属性的检测识别置信度为:α=﹛0.79,0.83,0.91,0.76﹜;
4个固有属性置信度判决门限为:γ(α)=﹛0.75,0.75,0.75,0.75﹜,
则Vinternal=1。
S52、验证外信息条件
先设置外信息e置信度β的判决门限,记为:
γ(β)=﹛γ1 (β),γ2 (β),…﹜
其中,γ(β)的门限元素取值范围为(0,1)。
再验证外信息e置信度β中的所有置信度是否均高于γ(β)的对应门限,若满足,则验证结果Vexternal为1,否则Vexternal为0;
假设:
外信息置信度为:β=﹛β1﹜=﹛0.9﹜;
外信息置信度的判决门限为:γ(β)=﹛γ1 (β)﹜=﹛0.8﹜;
则Vexternal=1。
S53、验证决策
若固有属性s和外信息e均满足对应门限条件,即Vinternal=1且Vexternal=1,则该主特征a验证成功,后端验证模块将该主特征a发送给用户,否则该主特征a验证失败,后端验证模块向用户发送有限信息。
本发明支持固有属性和外信息的多维度后端验证,用于对前端服务机器学习模型输出的主特征进行全面、严格的验证,同时,针对前端服务机器学习模型输出的主特征,可以定义主特征的影响系数,根据影响系数灵活制定验证策略,对影响系数大的主特征提高验证条件。
后端验证包括固有属性验证、外信息验证两个方面,这种机制可以适用于各种类型的机器学习任务的验证策略定义,针对前端服务机器学习模型的处理结果,可以灵活制定后端验证的策略,适用于各类机器学习模型的应用场景,具有良好的灵活性、通用性。
一种机器学习模型的安全应用系统,如图2所示,包括:
前端服务机器学习模块,用于对输入的数据提取得到待验证的主特征;
先验信息提取模块,用于提取得出待验证主特征的固有属性和外信息,以固有属性和外信息为依据确定验证条件;
验证策略分析模块,用于获取主特征的影响系数和目标任务特点,根据影响系数和目标任务特点确定固有属性和外信息验证策略;
后端验证模块,用于对主特征的固有属性和外信息进行后端分析验证,得到固有属性和外信息置信度;
融合决策模块,用于根据固有属性和外信息的置信度,判断待验证的主特征是否接纳,并将反馈结果发送给用户。
前端服务机器学习模块还与外部数据输送模块连接,外部数据输送模块用于向前端服务机器学习模块和后端验证模块输送数据。
本发明的后端验证和前端服务机器学习服务模型相对独立,通过这种模块功能分离可以增强防攻击能力,提升机器学习模型的应用安全性。
所述先验信息提取模块与知识数据库相连接,知识数据库用于存取主特征的全部固有属性知识,固有属性指主特征本身内在的、必定具备的属性,作为验证条件的必备依据;所述先验信息提取模块还与外部关联业务系统连接,所述外部关联业务系统用于向先验信息提取模块提供主特征的外信息条件知识,外信息指从关联的外部业务系统中获取可以辅助验证主特征的信息,作为验证条件的间接依据。
具体地,根据主特征a=﹛type,confindence﹜查找已有的先验证知识数据,得到主特征type所需具备的固有属性:
s1=﹛s1,1,s1,2,s1,3,s1,4﹜=﹛“S”,“T”,“O”,“P”﹜
本实施例将4个字符作为了一个固有属性,也可以将它们各自单独作为一个固有属性,并且,验证时无需验证所有字符,具体根据验证策略确定。
若主特征confindence不具备固有属性,则主特征confindence所需具备的固有属性s2为空集φ。
以外部关联业务系统为智能驾驶系统为例,假设智能驾驶系统包括地图和定位系统,其中,地图信息中具有交通指示牌的位置信息,可以通过定位系统获得摄像头当前所处位置的定位,通过该定位查询地图信息,获得当前位置周围的交通指示牌信息。然后,通过这些信息估计出当前检测识别出交通指示牌“STOP”的置信度。比如,根据地图定位,如果在视觉的有效检测范围内,在地图中不存在交通指示牌“STOP”,则外信息的置信度设置为较小的值,如0.1,反之,根据相对距离等参数估计出交通指示牌“STOP”的外信息置信度。
本实施例采用了1个外信息,即外信息为:
e=﹛e1﹜=﹛e1,1﹜=﹛confindencestopsign
验证策略分析模块进行验证策略分析,具体地:
先根据机器学习目标任务和主特征计算影响系数,影响系数记为ρ,:
ρ=ω(a)
其中:
ω()为影响系数的计算函数,根据应用场景特点来确定;
ρ取值范围为(0,1),ρ值越大,影响越大,则越应采取更严格、更全面的验证条件;
如表4所示,本实施例将各种指示牌的影响系数以离散映射表的形式进行定义;
表4
Figure BDA0002273818800000111
Figure BDA0002273818800000121
表4中,主特征type为停车的影响系数为0.9,影响系数较高,因此需重点验证。
再根据影响系数ρ和固有属性s确定固有属性s的验证策略S,
Figure BDA0002273818800000122
其中:
Figure BDA0002273818800000123
采用离散映射模型;
如表5所示,为主特征指示牌类型的固有属性验证策略表;
表5
ρ取值范围 验证策略S
(0,0.3] φ
(0.3,1] ﹛s<sub>1</sub>﹜
然后根据影响系数ρ和外信息e条件知识,确定外信息e验证策略E,
Figure BDA0002273818800000124
其中:
Figure BDA0002273818800000125
采用离散映射模型。
如表6所示,为主特征指示牌类型的外信息验证策略表;
表6
ρ取值范围 验证策略E
(0,0.3] φ
(0.3,1] ﹛e<sub>1</sub>﹜
后端验证模块分析主特征的固有属性和外信息,具体地:
(1)固有属性s的后端分析
根据固有属性s的验证策略S,从输入数据d中分析并提取所要求的固有属性s的信息,得到固有属性s的置信度α,α元素的取值范围为(0,1)。
固有属性的验证策略S=﹛s1﹜,从交通指示牌的图像数据d中分析提取应具备的固有属性﹛“S”,“T”,“O”,“P”﹜,后端验证模块可以采用独立的机器学习模型来检测识别“S”,“T”,“O”,“P”这几个英文字符,获得这些固有属性的检测识别置信度α=﹛α1,α2,α3,α4﹜。
(2)外信息e的后端分析为:
根据外信息e验证策略E,从关联业务系统中获取外信息,并得到外信息e置信度β,β元素的取值范围为(0,1)。
外信息的验证策略E=﹛e1﹜=﹛confindencestopsign﹜,根据视觉检测距离和地图定位相关信息,估计出外信息的置信度β=﹛β1﹜。
融合决策模块根据固有属性s和外信息e验证结果决策主特征a的验证结论,待验证的主特征a验证决策确定方式包括如下内容:
(1)验证固有属性条件
先设置固有属性s置信度α判决门限,记为:
γ(α)=﹛γ1 (α),γ2 (α),γ3 (α),γ4 (α)
其中,γ(α)的门限元素取值范围为(0,1);
再判断固有属性s置信度α中的所有置信度是否均高于γ(α)的对应门限,若满足,则验证结果Vinternal为1,否则Vinternal为0;
假设:
4个固有属性的检测识别置信度为:α=﹛0.79,0.83,0.91,0.76﹜;
4个固有属性置信度判决门限为:γ(α)=﹛0.75,0.75,0.75,0.75﹜,
则Vinternal=1。
(2)验证外信息条件
先设置外信息e置信度β的判决门限,记为:
γ(β)=﹛γ1 (β),γ2 (β),…﹜
其中,γ(β)的门限元素取值范围为(0,1)。
再验证外信息e置信度β中的所有置信度是否均高于γ(β)的对应门限,若满足,则验证结果Vexternal为1,否则Vexternal为0;
假设:
外信息置信度为:β=﹛β1﹜=﹛0.9﹜;
外信息置信度的判决门限为:γ(β)=﹛γ1 (β)﹜=﹛0.8﹜;
则Vexternal=1。
(3)验证决策
若固有属性s和外信息e均满足对应门限条件,即Vinternal=1且Vexternal=1,则该主特征a验证成功,后端验证模块将该主特征a发送给用户,否则该主特征a验证失败,后端验证模块向用户发送有限信息。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的发明构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (4)

1.一种机器学习模型的安全应用方法,其特征在于,包括如下步骤:
步骤S1:前端服务模型处理,前端服务机器学习模型获取外部数据,并对数据进行识别,得到待验证的主特征,主特征记为a,数据记为d,前端服务机器学习模型记为A(d),即a=A(d);
步骤S2:先验信息提取,先验信息提取模块获取所述步骤S1中待验证主特征,并提取得出待验证主特征的固有属性和外信息,以固有属性和外信息为依据确定验证条件,固有属性记为s,外信息记为e;
步骤S3:验证策略分析,验证策略分析模块获取所述步骤S1中主特征的影响系数和目标任务特点,根据影响系数和目标任务特点确定固有属性s和外信息e验证策略,分别记为S、E;
所述步骤S3中验证策略分析,包括如下步骤:
S31、根据机器学习目标任务和主特征计算影响系数,影响系数记为ρ:
ρ=ω(a)
其中:
ω()为影响系数的计算函数,根据应用场景特点来确定;
ρ取值范围为(0,1),ρ值越大,影响越大,则越应采取更严格、更全面的验证条件;
S32、根据影响系数ρ和固有属性s确定固有属性s的验证策略S,
Figure FDA0003444312230000011
其中:
Figure FDA0003444312230000012
采用离散映射模型;
S33、根据影响系数ρ和外信息e条件知识,确定外信息e验证策略E,
Figure FDA0003444312230000013
其中:
Figure FDA0003444312230000014
采用离散映射模型;
步骤S4:后端验证模块处理,后端验证模块基于所述步骤S3中的验证策略,对主特征的固有属性s和外信息e进行后端分析验证,得到固有属性s和外信息e置信度,分别记为α、β;
步骤S5:融合决策,融合决策模块基于所述步骤S4中的固有属性s和外信息e的置信度α、β ,判断待验证的主特征a是否接纳;
若所有验证条件策略均成立,则接纳待验证的主特征,并将主特征信息发送给用户;
若其中一验证条件策略不成立,则不接纳待验证的主特征,并将结果以有限提示信息的方式反馈给用户。
2.如权利要求1所述的机器学习模型的安全应用方法,其特征在于,所述步骤S2中先验信息提取,包括如下步骤:
S21、先验信息提取模块从知识数据库中获取主特征的固有属性知识,固有属性s指主特征a本身内在的、必定具备的属性,作为验证条件的必备依据;
S22、先验信息提取模块从外部关联业务系统中获得外信息条件知识,外信息e指从关联的外部业务系统中获取可以辅助验证主特征a的信息,作为验证条件的间接依据。
3.如权利要求1所述的机器学习模型的安全应用方法,其特征在于,所述步骤S4中,
固有属性s的后端分析为:
根据固有属性s的验证策略S,从输入数据d中分析并提取所要求的固有属性s的信息,得到固有属性s的置信度α,α元素的取值范围为(0,1);
外信息e的后端分析为:
根据外信息e验证策略E,从关联业务系统中获取外信息,并得到外信息e置信度β,β元素的取值范围为(0,1)。
4.如权利要求1所述的机器学习模型的安全应用方法,其特征在于,所述步骤S5中待验证的主特征a验证决策确定方式包括如下步骤:
S51、验证固有属性条件
先设置固有属性s置信度α判决门限,记为:
γ(α)=﹛γ1 (α),γ2 (α),…﹜
其中,γ(α)的门限元素取值范围为(0,1);
再判断固有属性s置信度α中的所有置信度是否均高于γ(α)的对应门限;若满足,则验证结果Vinternal为1,否则Vinternal为0;
S52、验证外信息条件
先设置外信息e置信度β的判决门限,记为:
γ(β)=﹛γ1 (β),γ2 (β),…﹜
其中,γ(β)的门限元素取值范围为(0,1);
再验证外信息e置信度β中的所有置信度是否均高于γ(β)的对应门限;若满足,则验证结果Vexternal为1,否则Vexternal为0;
S53、验证决策
若固有属性s和外信息e均满足对应门限条件,即Vinternal=1且Vexternal=1,则该主特征a验证成功,后端验证模块将该主特征a发送给用户,否则该主特征a验证失败,后端验证模块向用户发送有限信息。
CN201911116113.7A 2019-11-14 2019-11-14 一种机器学习模型的安全应用方法及系统 Active CN110837527B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911116113.7A CN110837527B (zh) 2019-11-14 2019-11-14 一种机器学习模型的安全应用方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911116113.7A CN110837527B (zh) 2019-11-14 2019-11-14 一种机器学习模型的安全应用方法及系统

Publications (2)

Publication Number Publication Date
CN110837527A CN110837527A (zh) 2020-02-25
CN110837527B true CN110837527B (zh) 2022-03-22

Family

ID=69575031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911116113.7A Active CN110837527B (zh) 2019-11-14 2019-11-14 一种机器学习模型的安全应用方法及系统

Country Status (1)

Country Link
CN (1) CN110837527B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11443045B2 (en) * 2020-05-05 2022-09-13 Booz Allen Hamilton Inc. Methods and systems for explaining a decision process of a machine learning model
WO2022141516A1 (zh) * 2020-12-31 2022-07-07 华为技术有限公司 模型验证方法及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011124082A1 (zh) * 2010-04-06 2011-10-13 中兴通讯股份有限公司 业务管理系统和方法
CN105260628A (zh) * 2014-06-03 2016-01-20 腾讯科技(深圳)有限公司 分类器训练方法和装置、身份验证方法和系统
CN106096657A (zh) * 2016-06-13 2016-11-09 北京物思创想科技有限公司 基于机器学习来预测数据审核目标的方法及系统
CN106407999A (zh) * 2016-08-25 2017-02-15 北京物思创想科技有限公司 结合规则来进行机器学习的方法及系统
CN108306894A (zh) * 2018-03-19 2018-07-20 西安电子科技大学 一种基于攻击发生置信度的网络安全态势评估方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180089587A1 (en) * 2016-09-26 2018-03-29 Google Inc. Systems and Methods for Communication Efficient Distributed Mean Estimation
US20190122073A1 (en) * 2017-10-23 2019-04-25 The Charles Stark Draper Laboratory, Inc. System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011124082A1 (zh) * 2010-04-06 2011-10-13 中兴通讯股份有限公司 业务管理系统和方法
CN105260628A (zh) * 2014-06-03 2016-01-20 腾讯科技(深圳)有限公司 分类器训练方法和装置、身份验证方法和系统
CN106096657A (zh) * 2016-06-13 2016-11-09 北京物思创想科技有限公司 基于机器学习来预测数据审核目标的方法及系统
CN106407999A (zh) * 2016-08-25 2017-02-15 北京物思创想科技有限公司 结合规则来进行机器学习的方法及系统
CN108306894A (zh) * 2018-03-19 2018-07-20 西安电子科技大学 一种基于攻击发生置信度的网络安全态势评估方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多目标属性约简研究;高学义;《万方数据》;20181219;全文 *

Also Published As

Publication number Publication date
CN110837527A (zh) 2020-02-25

Similar Documents

Publication Publication Date Title
US9082038B2 (en) Dram c adjustment of automatic license plate recognition processing based on vehicle class information
US8494273B2 (en) Adaptive optical character recognition on a document with distorted characters
US9014432B2 (en) License plate character segmentation using likelihood maximization
WO2018166116A1 (zh) 车损识别方法、电子装置及计算机可读存储介质
KR101122854B1 (ko) 스캔된 문서들로부터 전자 서식들을 채우기 위한 방법 및장치
CN110837527B (zh) 一种机器学习模型的安全应用方法及系统
JP2008130086A (ja) 分類境界確定方法及び分類境界確定装置
US9613299B2 (en) Method of identifying pattern training need during verification of recognized text
CN111783505A (zh) 伪造人脸的识别方法、装置和计算机可读存储介质
US20120128210A1 (en) Method for Traffic Sign Recognition
CN111507957B (zh) 身份证图片转换方法、装置、计算机设备及存储介质
CN111553310A (zh) 基于毫米波雷达的安检图像获取方法、系统及安检设备
CN104657721B (zh) 一种基于自适应模板的视频osd时间识别方法
US20200005467A1 (en) Image processing device, image recognition device, image processing program, and image recognition program
CN110738080A (zh) 一种识别改装机动车的方法、装置和电子设备
CN111191481B (zh) 车辆识别方法及系统
CN107944352B (zh) 一种基于图片检索方法的车牌识别系统和方法
US20210042551A1 (en) Apparatus and method for automatic failure threshold detection for images
CN116993517A (zh) 一种车险理赔欺诈识别方法、装置、设备及存储介质
CN113313016B (zh) 摄像头脏污识别方法、电子设备及车辆
CN107330470B (zh) 识别图片的方法和装置
CN110569732A (zh) 一种基于驾驶员监控系统的安全带检测方法以及相应的设备
CN113569839B (zh) 证件识别方法、系统、设备及介质
US8472719B2 (en) Method of stricken-out character recognition in handwritten text
CN114444081A (zh) 一种视觉感知系统的漏洞检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230330

Address after: 528313 401-118, 4th Floor, Building 18, Shunlian Machinery City, No. 18, Xingye 4th Road, Guanglong Industrial Park, Chihua Neighborhood Committee, Chencun Town, Shunde District, Foshan City, Guangdong Province

Patentee after: Linker Technology (Foshan) Co.,Ltd.

Address before: 1303-1305, 13 / F, block B2, building 9, Shenzhen Bay science and technology ecological park, 1819 Shahe West Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Patentee before: SHENZHEN COOS Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230524

Address after: 518000 Building A, Building 1, Shenzhen International Innovation Valley, Dashi 1st Road, Xili Community, Xili Street, Nanshan District, Shenzhen City, Guangdong Province, 1001

Patentee after: Shenzhen Qianshu Technology Co.,Ltd.

Address before: 528313 401-118, 4th Floor, Building 18, Shunlian Machinery City, No. 18, Xingye 4th Road, Guanglong Industrial Park, Chihua Neighborhood Committee, Chencun Town, Shunde District, Foshan City, Guangdong Province

Patentee before: Linker Technology (Foshan) Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20241017

Address after: Building 3, Xunmei Technology Plaza, No. 8 Keyuan Road, Science Park Community, Yuehai Street, Nanshan District, Shenzhen City, Guangdong Province, 518000, China 16293

Patentee after: Shenzhen Yuanyishu Intelligent Technology Co.,Ltd.

Country or region after: China

Address before: 518000 Building A, Building 1, Shenzhen International Innovation Valley, Dashi 1st Road, Xili Community, Xili Street, Nanshan District, Shenzhen City, Guangdong Province, 1001

Patentee before: Shenzhen Qianshu Technology Co.,Ltd.

Country or region before: China