CN112085281A - 检测业务预测模型安全性的方法及装置 - Google Patents

检测业务预测模型安全性的方法及装置 Download PDF

Info

Publication number
CN112085281A
CN112085281A CN202010956257.XA CN202010956257A CN112085281A CN 112085281 A CN112085281 A CN 112085281A CN 202010956257 A CN202010956257 A CN 202010956257A CN 112085281 A CN112085281 A CN 112085281A
Authority
CN
China
Prior art keywords
business
network
layer
prediction model
business object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010956257.XA
Other languages
English (en)
Other versions
CN112085281B (zh
Inventor
宗志远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010956257.XA priority Critical patent/CN112085281B/zh
Publication of CN112085281A publication Critical patent/CN112085281A/zh
Application granted granted Critical
Publication of CN112085281B publication Critical patent/CN112085281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Educational Administration (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例提供一种检测业务预测模型安全性的方法及装置，在检测业务预测模型安全性的方法中，在业务预测模型针对第一业务对象进行业务预测的过程中，获取业务预测模型的各层网络中各神经元的激活处理结果。根据各层网络中各神经元的激活处理结果，识别第一业务对象是否为异常对象。至少根据第一业务对象的识别结果，确定业务预测模型是否受到安全攻击。

Description

检测业务预测模型安全性的方法及装置
技术领域
本说明书一个或多个实施例涉及计算机技术领域，尤其涉及一种检测业务预测模型安全性的方法及装置。
背景技术
随着机器学习技术的不断发展与普及，越来越多的领域采用通过机器学习算法生成的业务预测模型，针对业务对象进行业务预测。比如，基于预先生成的人脸识别模型进行人脸识别，以及基于商品推荐模型向某用户推荐某商品等。
然而在上述业务预测模型发布上线之后，往往会有恶意攻击者对其进行攻击。在业务预测模型受到攻击的情况下，基于其所得到的预测结果往往是不准确的。
因此，希望提供一种检测业务预测模型安全性的方案，以便能够及时有效地发现业务预测模型的安全性问题。
发明内容
本说明书一个或多个实施例描述了一种检测业务预测模型安全性的方法及装置，可以有效地对业务预测模型进行安全检测。
第一方面，提供了一种检测业务预测模型安全性的方法，包括：
在所述业务预测模型针对第一业务对象进行业务预测的过程中，获取所述业务预测模型的各层网络中各神经元的激活处理结果；
根据所述各层网络中各神经元的激活处理结果，识别所述第一业务对象是否为异常对象；
至少根据所述第一业务对象的识别结果，确定所述业务预测模型是否受到安全攻击。
第二方面，提供了一种检测业务预测模型安全性的装置，包括：
获取单元，用于在所述业务预测模型针对第一业务对象进行业务预测的过程中，获取所述业务预测模型的各层网络中各神经元的激活处理结果；
识别单元，用于根据所述各层网络中各神经元的激活处理结果，识别所述第一业务对象是否为异常对象；
确定单元，用于至少根据所述第一业务对象的识别结果，确定所述业务预测模型是否受到安全攻击。
第三方面，提供了一种存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。
第四方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。
本说明书一个或多个实施例提供的检测业务预测模型安全性的方法及装置，在业务预测模型针对业务对象进行业务预测的过程中，获取业务预测模型的各层网络中各神经元的激活处理结果。之后，通过对获取的激活处理结果进行异常分析，得到业务对象的识别结果。最后，基于业务对象的识别结果，确定业务预测模型是否受到安全攻击。由于各神经元的激活处理结果为业务预测模型针对业务对象进行业务预测时的中间形态，从而本方案可以从业务对象的中间形态角度出发，检测业务预测模型的安全性，由此可以大大提升模型安全检测的准确性。
附图说明
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本说明书提供的检测业务预测模型安全性的方法实施场景示意图；
图2为本说明书提供的业务预测模型示意图；
图3为本说明书一个实施例提供的检测业务预测模型安全性的方法流程图；
图4为本说明书一个实施例提供的检测业务预测模型安全性的装置示意图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
如前所述，针对业务对象的业务预测模型在发布上线之后，存在被恶意攻击者攻击的可能。这里的业务预测模型用于预测业务对象的分类或者回归值。其中，业务对象可以包括但不限于用户、商品、商户以及事件等。为了及时有效地发现针对业务预测模型的攻击，就需要对业务预测模型进行安全检测。传统技术中，可以通过如下两种方式实现业务预测模型的安全检测。
第一种，在业务预测模型的入口处增加异常对象过滤机制，这种方法可以去除一些明显的异常对象(如人脸识别模型一般会有人脸质量检测，用于去除质量不佳的图片)。然而，该方法无法识别仿真度较高的异常样本(如，对抗样本)，进而也就无法有效地发现业务预测模型的安全性问题。
第二种，构建多个用于预测同类型任务的业务预测模型，这种方式可以通过多个模型同时执行业务预测，避免单个模型被针对性攻击的问题。然而，一方面这种方式需要同时运行多个模型增加了几倍的开销，另一方面仍然无法从根本上保证模型的安全性。
为此，本申请的发明人提出从业务对象在模型中的中间形态角度出发，检测业务预测模型的安全性。具体地，在业务预测模型针对第一业务对象进行业务预测的过程中，获取业务预测模型的各层网络中各神经元的激活处理结果。根据各层网络中各神经元的激活处理结果，识别第一业务对象是否为异常对象。至少根据第一业务对象的识别结果，确定业务预测模型是否受到安全攻击。
需要说明的是，本方案从业务对象在模型中的中间形态角度出发，检测业务预测模型的安全性，不仅可以识别出潜在的异常对象，还可以节约开销。也即达到了在节约成本的前提下，对业务预测模型进行安全检测的有益效果。以下对本方案进行详细说明。
图1为本说明书提供的检测业务预测模型安全性的方法实施场景示意图。图1中，离线训练业务预测模型，并进行测试和调试。在业务预测模型满足上线要求时，将业务预测模型发布上线。比如，可以部署到人工智能(Artificial Intelligence，AI)中台，以完成服务化。之后，业务后台或外部系统可以调用业务预测模型，以针对业务对象进行业务预测。
图1中，在业务预测模型针对业务对象进行业务预测的过程中，可以获取业务预测模型的各层网络中各神经元的激活处理结果。之后可以采用总分类模型识别、子分类模型识别、概率分布识别以及统计量识别等方法，识别业务对象是否为异常对象。以及可以将识别结果反馈给业务后台或外部系统。在业务预测模型针对若干业务对象进行业务预测之后，或者说，在业务预测模型运行一段时间之后，可以对各业务对象的识别结果进行分析，以确定出模型是否受到安全攻击。
总上所述，本说明书实施例提供的业务预测模型的安全检测与业务预测模型的预测过程可以并行执行，由此可以实现在不影响模型预测过程的情况下，对业务预测模型进行安全检测。
为便于理解，先对上述方法的实际应用场景进行介绍。
在一个示例性场景中，上述业务对象和业务预测可以分别为用户和人脸识别。相应地，用于对用户进行人脸识别的业务预测模型可称为人脸识别模型。该人脸识别模型可以是基于历史刷脸业务中采集的人脸数据而训练得到。这里的人脸数据可以包括拍摄的人脸图片和对应用户的身份标识(如手机号或系统分配的唯一编号)。
在另一个示例性场景中，上述业务对象可以包括用户和商品，上述业务预测可以为商品推荐，也就是判断是否向某用户推荐某商品。相应地，用于进行商品推荐的业务预测模型可以称为商品推荐模型。该商品推荐模型可以是基于用户对网站或应用App的操作行为数据训练得到。这里的操作行为数据可以包括浏览、点击或者关闭等。
在再一个示例性场景中，上述业务对象可以包括登录事件，上述业务预测可以为事件风险识别，也就是判断某个登录事件是否存在风险。相应地，用于识别事件风险的业务预测模型可以称为事件风险识别模型。该事件风险识别模型可以基于用户的登录行为数据训练得到。这里的登录行为数据可以包括登录时刻、登录耗时、是否登录成功等。
在又一个示例性场景中，上述业务对象和业务预测可以分别为工业设备和异常检测。相应地，用于识别设备异常的业务预测模型可以称为异常检测模型。该异常检测模型可以基于传感器数据以及因发生异常而产生的告警数据训练得到。其中传感器可以包括温度传感器、湿度传感器或压力传感器等，相应采集的传感器数据可以包括温度、湿度或压力等。
在还一个示例性场景中，上述业务对象和业务预测可以分别为商户和商户经营风险评估。相应地，用于评估商户经营风险的业务预测模型可以称为商户风险评估模型。该商户风险评估模型可以基于交易信息训练得到。这里的交易信息可以包括交易方、交易时间、交易金额、交易网络环境、交易商品信息等。
需要理解，以上场景仅作为示例，实际上，上述业务对象还可以包括访问事件等其他业务事件等。总的来说，上述业务预测模型可以为分类模型或回归模型，用于预测上述业务对象的分类或回归值。在一个实施例中，上述业务预测模型可以基于神经网络实现。
在业务预测模型基于神经网络实现时，该业务预测模型可以如图2所示。图2中，每个小圆圈代表一个神经元，且同一列小圆圈代表同一层神经元。从图2中可以看出，业务预测模型可以包括多层网络，其中，每层网络可以包括多个神经元，且各层网络的神经元个数可不同。此外，对于模型中的每个神经元，其可以包括两种运算。其中，一种运算为聚合运算，表示为符号：“∑”，用于对该神经元的各个输入(即前一层各神经元的输出)进行加权求和，得到加权求和结果。另一种运算为激活运算，表示为符号：“f”，用于对前述加权求和结果进行激活处理，得到激活处理结果。该激活处理结果即为对应神经元的输出。
需要说明的是，各神经元的激活运算可以基于激活函数实现。这里的激活函数可以包括但不限于tanh函数、relu函数以及sigmoid函数等。通过在各神经元中引入激活函数，可以将各神经元的输出控制在预定取值范围内。比如，在激活函数为tanh函数时，可以将各神经元的输出控制在[-1,1]内。再比如，在激活函数为sigmoid函数时，可以将各神经元的输出控制在[0,1]内。
对于图2示出的业务预测模型，其可以通过本说明书提供的方案进行安全检测。以下对其安全检测步骤进行说明。
图3为本说明书一个实施例提供的检测业务预测模型安全性的方法流程图。所述方法的执行主体可以为具有处理能力的设备：服务器或者系统或者装置。如图3所示，所述方法具体可以包括；
步骤302，在业务预测模型针对第一业务对象进行业务预测的过程中，获取业务预测模型的各层网络中各神经元的激活处理结果。
这里的业务预测模型可以为人脸识别模型、商品推荐模型、事件风险识别模型、异常检测模型或者商户风险评估模型等。相应地，第一业务对象可以为用户、用户和商品、登录事件、工业设备以及商户等。
具体地，业务后台或者外部系统可以向AI中台发送调用请求，该调用请求可以包括第一业务对象。AI中台在接收到调用请求后，可以向业务预测模型中输入第一业务对象的对象特征，以启动业务预测模型针对第一业务对象进行业务预测。以业务预测模型为人脸识别模型，第一业务对象为用户，业务预测为人脸识别为例来说，上述对象特征可以为人脸图像的图像特征(比如，颜色、大小以及像素值等)。
需要说明的是，在业务预测模型针对第一业务对象进行业务预测的过程中，模型的各层网络中各神经元可以产生对应的激活处理结果，本实施例可以获取这些激活处理结果。在获取到各层网络中各神经元的激活处理结果之后，基于每层网络中各神经元的激活处理结果，可以形成对应于该层网络的向量表示，且该向量表示的元素个数与该层网络中的神经元个数相符。以图2中的第二层网络为例来说，假设该层网络的6个神经元的激活处理结果(也即输出)分别为：-0.11、0.33、0.55、1.00、0.11和0.77。那么对应于第二层网络的向量表示即为：[-0.11；0.33；0.55；1.00；0.11；0.77]。
步骤304，根据各层网络中各神经元的激活处理结果，识别第一业务对象是否为异常对象。
在一种实现方式中，上述识别第一业务对象是否为异常对象可以包括：步骤a，对各层网络中各神经元的激活处理结果进行拼接，得到第一拼接向量。步骤b，将第一拼接向量输入预先训练的第一分类模型，得到第一分类模型对第一业务对象的打分，该打分表示第一业务对象为异常对象的概率。步骤c，根据打分，识别第一业务对象是否异常对象。
首先，在步骤a中，可以是将对应于各层网络的向量表示进行拼接，得到第一拼接向量。接着，在步骤b中，第一分类模型可以是通过监督学习而获取，也可以通过无监督学习而获取。以监督学习为例来说，第一分类模型可以基于若干标定样本的标签(如，正常样本或异常样本)以及基于标定样本的各层网络中各神经元的激活处理结果所得到的拼接向量而学习得到。此外，在通过监督学习获取时，第一分类模型可以包括但不限于决策树模型、逻辑回归模型以及支持向量机等。而在通过无监督学习获取时，第一分类模型可以包括但不限于K均值聚类模型以及高斯混合模型等。最后，在步骤c，可以将第一分类模型对第一业务对象的打分与概率阈值进行比较，在打分大于概率阈值的情况下，识别第一业务对象为异常对象；否则，识别第一业务对象为正常对象。
在此说明，上述一种实现方式通常也称为总分类模型识别方式。
在另一种实现方式中，上述识别第一业务对象是否为异常对象可以包括：步骤x，将各层网络中各神经元的激活处理结果，分别输入预先训练的、对应于各层网络的多个子分类模型，分别得到多个子分类模型对第一业务对象的多个打分，该打分表示第一业务对象为异常对象的概率。步骤y，基于多个打分，得到第一业务对象的综合分。步骤z，根据综合分，识别第一业务对象是否为异常对象。
首先，在步骤x中，各子分类模型与业务预测模型的各层网络是一一对应的。其中，任意的第一子分类模型可以通过监督学习而获取，也可以通过无监督学习而获取。以监督学习为例来说，对于上述第一子分类模型，假设其与第i层网络相对应，那么其可以基于若干标定样本的标签(如，正常样本或异常样本)以及标定样本的第i层网络中各神经元的激活处理结果而学习得到。此外，在通过监督学习获取时，第一子分类模型可以包括但不限于决策树模型、逻辑回归模型以及支持向量机等。而在通过无监督学习获取时，第一子分类模型可以包括但不限于K均值聚类模型以及高斯混合模型等。
接着，在步骤y中，可以对多个打分求和，将求和值作为综合分。更具体地，在一个例子中，上述求和可以是加权求和。即根据各子分类模型(或各层网络)的重要性、可靠性等因素，预先为各个子分类模型设置对应的权重。如此，对于上述多个子分类模型的打分，将各子分类模型的权重作为对应打分的权重，对多个打分进行加权求和，得到综合分。
最后，在步骤z中，可以将综合分与概率阈值进行比较，在综合分大于概率阈值的情况下，识别第一业务对象为异常对象；否则，识别第一业务对象为正常对象。
在此说明，上述另一种实现方式通常也称为子分类模型识别方式。
在再一种实现方式中，上述识别第一业务对象是否为异常对象可以包括：步骤A，获取各层网络中各神经元的历史处理结果的历史分布。步骤B，将各层网络中各神经元的激活处理结果，分别与对应的历史分布进行比对，得到多个比对结果。步骤C，根据多个比对结果的融合结果，识别第一业务对象是否为异常对象。
首先，步骤A中获取的历史分布与各层网络是一一对应的。其中，对应于任意的第i层网络的历史分布，其基于从历史样本集(后续说明)中，选取的若干历史样本的第i层网络中各神经元的激活处理结果而统计得到，其通常表现为正态分布曲线的形式。其中，i为正整数。
接着，在步骤B中，针对第i层网络中各神经元的激活处理结果，可以判断其是否服从对应于第i层网络的历史分布，如果服从，则可以将对应于第i层网络的比对结果设定为第一数值(如，1)；否则，将对应于第i层网络的比对结果设定为第二数值(如，0)。
最后，在步骤C中，可以对多个比对结果求和，得到融合结果。并且，在融合结果为第一数值时，识别第一业务对象为正常对象；否则，识别第一业务对象为异常对象。
需要说明的是，在上述三种实现方式中，第一业务对象的识别均直接基于原始数据(即各层网络中各神经元的激活处理结果)进行。在下述识别方式中，则先基于原始数据，计算对应于各层网络的统计量。之后再基于各层网络的统计量，进行第一业务对象的识别。以下进行详细说明。
在此说明，上述再一种实现方式通常也称为概率分布识别方式。
在又一种实现方式中，上述识别第一业务对象是否为异常对象可以包括：步骤X，获取历史样本集。其中的各历史样本已基于业务预测模型完成预测。步骤Y，基于第i层网络中各神经元的激活处理结果，以及历史样本集中各历史样本的第i层网络中各神经元的激活处理结果，计算对应于第i层网络的统计量。其中，i为正整数。步骤Z，基于各层网络的统计量，识别第一业务对象是否为异常对象。
首先，在步骤X中，历史样本集中的历史样本可以是指已完成预测的业务对象。对于上述历史样本，预先存储有业务预测模型针对其执行业务预测的过程中各层网络中各神经元的激活处理结果。以及还存储有对应的识别结果(即正常样本或异常样本)，以作为该历史样本的标签(或类别)。
接着，在步骤Y中，对应于第i层网络的统计量可以包括但不限于以下任一种：局部固有维度(Local Intrinsic Dimensionality，LID)以及概率密度(Kernel Density，KD)等。
以第i层网络的统计量为LID为例来说，步骤Y具体可以包括：基于第i层网络中各神经元的激活处理结果，以及历史样本集中各历史样本的第i层网络中各神经元的激活处理结果，计算第一业务对象与各历史样本之间的多个距离。之后，基于计算的多个距离，从历史样本集中选取第一业务对象的n个最近邻样本，以及基于第一业务对象与该n个最近邻样本之间的n个距离，计算第i层网络的LID。
在一个例子中，LID的计算公式可以如下：
Figure BDA0002678695520000101
其中，rj(x)为第一业务对象与第j个最近邻样本之间的距离。j为正整数，且1≤j≤n。rn(x)为n个距离中的最大距离。
再以KD为例来说，步骤Y具体可以包括：先基于第i层网络中各神经元的激活处理结果，以及历史样本集中标签为正常样本的历史样本的第i层网络中各神经元的激活处理结果，计算第一范数距离。并基于第一范数距离，计算第一KD。再基于第i层网络中各神经元的激活处理结果，以及历史样本集中标签为异常样本的历史样本的第i层网络中各神经元的激活处理结果，计算第二范数距离。并基于第二范数距离，计算第二KD。最后，将第一KD和第二KD中最大的KD作为第i层网络的KD。
在一个例子中，第一KD或第二KD的计算公式可以如下：
Figure BDA0002678695520000111
其中，x为第一业务对象，x’为历史样本集中标签为正常样本(或异常样本)的历史样本。σ是控制高斯估计平滑度的带宽参数。θ是业务预测模型的模型参数。z是x的对数。|Xk|为历史样本集中标签为正常样本(或异常样本)的历史样本的个数。
最后，在步骤Z中，可以对各层网络的统计量进行拼接，得到第二拼接向量。将第二拼接向量输入预先训练的第二分类模型，得到第二分类模型对第一业务对象的打分，该打分表示第一业务对象为异常对象的概率。根据打分，识别第一业务对象是否异常对象。
应理解，上述第二拼接向量的元素个数与业务预测模型的网络层数相符合。且其中的每个元素为一个统计量。此外，上述第二分类模型可以是通过监督学习而获取，也可以通过无监督学习而获取。以监督学习为例来说，第二分类模型可以基于若干标定样本的标签(如，正常样本或异常样本)以及标定样本的各层网络的统计量而学习得到。此外，在通过监督学习获取时，第一分类模型可以包括但不限于决策树模型、逻辑回归模型以及支持向量机等。而在通过无监督学习获取时，第一分类模型可以包括但不限于K均值聚类模型以及高斯混合模型等。最后，可以将第二分类模型对第一业务对象的打分与概率阈值进行比较，在打分大于概率阈值的情况下，识别第一业务对象为异常对象；否则，识别第一业务对象为正常对象。
在此说明，上述又一种实现方式通常也称为统计量识别方式。
需要说明的是，对于在步骤302中获取的各层网络中各神经元的激活处理结果，以及在步骤304中获得的识别结果，可以将其与第一业务对象对应存储。以便可以将第一业务对象作为一个新的历史样本添加到历史样本集中，从而可以得到更新的历史样本集。
此外，还需要说明的是，在基于各层网络的统计量，进行第一业务对象的识别时，还可以采用降维方法，对上述第二拼接向量进行降维处理。以及基于降维处理后的第二拼接向量，对第一业务对象进行可视化展示。这里的降维方法包括以下任一种：主成分分析(Principal Component Analysis，PCA)、最小绝对收缩和选择算子(Least absoluteshrinkage and selection operator，LASSO)方法、线性判别(Linear DiscriminantAnalysis，LDA)方法、小波分析方法以及T分布和随机近邻嵌入(Stochastic neighbourEmbedding，TSNE)方法。
以PCA方法为例来说，可以将上述第二拼接向量与历史样本集中若干历史样本的第二拼接向量进行组合，以得到m×n的矩阵X。这里的m为包括第一业务对象在内的样本总数，n为第二拼接向量的元素个数。接着，将矩阵的每一行进行零均值化，即减去这一行的均值，并求出协方差矩阵。以及求出协方差矩阵的特征值以及对应的特征向量。最后，将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P。Y＝PX即为降维到k维后的数据。应理解，基于Y中的若干主成分(如，前两个主成分)，就可以在二维空间中绘制第一业务对象。
最后，还需要说明的是，在确定出第一业务对象的识别结果之后，还可以将该识别结果反馈给业务后台或外部系统，以便在第一业务对象为异常对象时，业务后台或外部系统可以执行相应的异常处理。
步骤306，至少根据第一业务对象的识别结果，确定业务预测模型是否受到安全攻击。
本说明书所述的安全攻击可以包括但不限于如下几种类型：跨域攻击、对抗样本攻击、重放攻击、隐私窃取攻击、逃逸攻击以及数据攻击等。
在一种实现方式中，上述确定业务预测模型是否受到安全攻击可以包括：在第一业务对象的识别结果为异常对象时，可以对获取的各层网络中各神经元的激活处理结果进行分析，以判断其相较于正常对象，各层网络中各神经元的激活处理结果的扰动值是否均小于预定数值，若是，则确定业务预测模型受到对抗样本攻击。
在另一种实现方式中，也可以基于一段时间内的识别结果，来确定业务预测模型是否受到攻击。比如，可以获取其它业务对象的识别结果。基于第一业务对象的识别结果以及其它业务对象的识别结果，统计异常对象的占比。在统计的占比超过预定比例时，确定业务预测模型受到数据攻击。
再比如，针对一段时间内识别的若干业务对象，若该若干业务对象的识别结果均为正常对象，则可以针对每层网络，基于各业务对象的该层网络中各神经元的激活处理结果，计算各业务对象之间的相似度，若所计算的相似度均小于相似度阈值，则可以确定业务预测模型受到重放攻击。
综上，本说明书实施例提供的检测业务预测模型安全性的方法，可以与业务预测模型的预测过程并行执行，由此可以实现在不影响模型预测过程的情况下，对业务预测模型进行安全检测。其次，本方案可以从业务对象在模型中的中间形态角度出发，检测业务预测模型的安全性，由此不仅可以识别出潜在的异常对象，还可以节约开销。也即达到了在节约成本的前提下，对业务预测模型进行安全检测的有益效果。最后，本方案可以基于各层网络的统计量，来识别业务对象，进而确定业务预测模型是否受到安全攻击，实现了模型安全性的定量化检测。
与上述检测业务预测模型安全性的方法对应地，本说明书一个实施例还提供的一种检测业务预测模型安全性的装置。该业务预测模型用于针对业务对象进行业务预测，其包括多层网络，其中每层网络包括多个神经元，每个神经元对应于一个激活函数以产生激活处理结果。如图4所示，该装置可以包括：
获取单元402，用于在业务预测模型针对第一业务对象进行业务预测的过程中，获取业务预测模型的各层网络中各神经元的激活处理结果。
这里的业务对象可以包括以下任一种：用户、商户、商品以及事件。上述业务预测模型用于预测业务对象的分类或回归值。
识别单元404，用于根据各层网络中各神经元的激活处理结果，识别第一业务对象是否为异常对象。
确定单元406，用于至少根据第一业务对象的识别结果，确定业务预测模型是否受到安全攻击。
在一种实现方式中，识别单元404具体可以用于：
对各层网络中各神经元的激活处理结果进行拼接，得到第一拼接向量。
将第一拼接向量输入预先训练的第一分类模型，得到第一分类模型对第一业务对象的打分，该打分表示第一业务对象为异常对象的概率。
根据打分，识别第一业务对象是否异常对象。
在另一种实现方式中，识别单元404具体可以用于：
将各层网络中各神经元的激活处理结果，分别输入预先训练的、对应于各层网络的多个子分类模型，分别得到多个子分类模型对第一业务对象的多个打分，该打分表示第一业务对象为异常对象的概率。
基于多个打分，得到第一业务对象的综合分。
根据综合分，识别第一业务对象是否为异常对象。
在再一种识别方式中，识别单元404具体可以用于：
获取各层网络中各神经元的历史处理结果的历史分布。
将各层网络中各神经元的激活处理结果，分别与对应的历史分布进行比对，得到多个比对结果。
根据多个比对结果的融合结果，识别第一业务对象是否为异常对象。
在又一种实现方式中，识别单元404具体可以用于：
获取历史样本集。其中的各历史样本已基于业务预测模型完成预测。
基于第i层网络中各神经元的激活处理结果，以及历史样本集中各历史样本的第i层网络中各神经元的激活处理结果，计算对应于第i层网络的统计量。其中，i为正整数。
基于各层网络的统计量，识别第一业务对象是否为异常对象。
这里的统计量可以包括以下任一种：局部固有维度LID以及概率密度KD。
在上述又一种实现方式中，识别单元404还具体可以用于：
对各层网络的统计量进行拼接，得到第二拼接向量。
将第二拼接向量输入预先训练的第二分类模型，得到第二分类模型对第一业务对象的打分，该打分表示第一业务对象为异常对象的概率。
根据打分，识别第一业务对象是否异常对象。
可选地，上述装置还可以包括：
降维单元408，用于采用降维方法，对第二拼接向量进行降维处理。
展示单元410，用于基于降维处理后的第二拼接向量，对第一业务对象进行可视化展示。
上述降维方法可以包括以下任一种：主成分分析PCA方法、最小绝对收缩和选择算子LASSO方法、线性判别式分析LDA方法、小波分析方法以及T分布和随机近邻嵌入TSNE方法。
在一种实现方式中，确定单元406具体可以用于：
获取其它业务对象的识别结果。
基于第一业务对象的识别结果以及其它业务对象的识别结果，统计异常对象的占比。
在占比超过预定比例时，确定业务预测模型受到数据攻击。
在另一种实现方式中，确定单元406具体可以用于：
若第一业务对象的识别结果为异常对象，且相较于正常对象，各层网络中各神经元的激活处理结果的扰动值均小于预定数值，则确定业务预测模型受到对抗样本攻击。
本说明书上述实施例装置的各功能模块的功能，可以通过上述方法实施例的各步骤来实现，因此，本说明书一个实施例提供的装置的具体工作过程，在此不复赘述。
本说明书一个实施例提供的检测业务预测模型安全性的装置，可以从业务对象的中间形态角度出发，检测业务预测模型的安全性，由此可以大大提升模型安全检测的准确性。
另一方面，本说明书的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行图3所示的方法。
另一方面，本说明书的实施例提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现图3所示的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
结合本说明书公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于服务器中。当然，处理器和存储介质也可以作为分立组件存在于服务器中。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述的具体实施方式，对本说明书的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书的具体实施方式而已，并不用于限定本说明书的保护范围，凡在本说明书的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书的保护范围之内。

Claims (24)

1.一种检测业务预测模型安全性的方法，所述业务预测模型用于针对业务对象进行业务预测；其包括多层网络，其中每层网络包括多个神经元，每个神经元对应于一个激活函数以产生激活处理结果；所述方法包括：
在所述业务预测模型针对第一业务对象进行业务预测的过程中，获取所述业务预测模型的各层网络中各神经元的激活处理结果；
根据所述各层网络中各神经元的激活处理结果，识别所述第一业务对象是否为异常对象；
至少根据所述第一业务对象的识别结果，确定所述业务预测模型是否受到安全攻击。
2.根据权利要求1所述的方法，所述根据所述各层网络中各神经元的激活处理结果，识别所述第一业务对象是否为异常对象，包括：
对所述各层网络中各神经元的激活处理结果进行拼接，得到第一拼接向量；
将所述第一拼接向量输入预先训练的第一分类模型，得到所述第一分类模型对所述第一业务对象的打分，所述打分表示所述第一业务对象为异常对象的概率；
根据所述打分，识别所述第一业务对象是否异常对象。
3.根据权利要求1所述的方法，所述根据所述各层网络中各神经元的激活处理结果，识别所述第一业务对象是否为异常对象，包括：
将所述各层网络中各神经元的激活处理结果，分别输入预先训练的、对应于所述各层网络的多个子分类模型，分别得到所述多个子分类模型对所述第一业务对象的多个打分，所述打分表示所述第一业务对象为异常对象的概率；
基于所述多个打分，得到所述第一业务对象的综合分；
根据所述综合分，识别所述第一业务对象是否为异常对象。
4.根据权利要求1所述的方法，所述根据所述各层网络中各神经元的激活处理结果，识别所述第一业务对象是否为异常对象，包括：
获取所述各层网络中各神经元的历史处理结果的历史分布；
将所述各层网络中各神经元的激活处理结果，分别与对应的历史分布进行比对，得到多个比对结果；
根据所述多个比对结果的融合结果，识别所述第一业务对象是否为异常对象。
5.根据权利要求1所述的方法，所述根据所述各层网络中各神经元的激活处理结果，识别所述第一业务对象是否为异常对象，包括：
获取历史样本集；其中的各历史样本已基于所述业务预测模型完成预测；
基于所述第i层网络中各神经元的激活处理结果，以及所述历史样本集中各历史样本的第i层网络中各神经元的激活处理结果，计算对应于所述第i层网络的统计量；其中，i为正整数；
基于所述各层网络的统计量，识别所述第一业务对象是否为异常对象。
6.根据权利要求5所述的方法，所述统计量包括以下任一种：局部固有维度LID以及概率密度KD。
7.根据权利要求5所述的方法，所述基于所述各层网络的统计量，识别所述第一业务对象是否为异常对象，包括：
对所述各层网络的统计量进行拼接，得到第二拼接向量；
将所述第二拼接向量输入预先训练的第二分类模型，得到所述第二分类模型对所述第一业务对象的打分，所述打分表示所述第一业务对象为异常对象的概率；
根据所述打分，识别所述第一业务对象是否异常对象。
8.根据权利要求7所述的方法，还包括：
采用降维方法，对所述第二拼接向量进行降维处理；
基于降维处理后的第二拼接向量，对所述第一业务对象进行可视化展示；
所述降维方法包括以下任一种：主成分分析PCA方法、最小绝对收缩和选择算子LASSO方法、线性判别式分析LDA方法、小波分析方法以及T分布和随机近邻嵌入TSNE方法。
9.根据权利要求1所述的方法，所述至少根据所述第一业务对象的识别结果，确定所述业务预测模型是否受到安全攻击，包括：
获取其它业务对象的识别结果；
基于所述第一业务对象的识别结果以及所述其它业务对象的识别结果，统计异常对象的占比；
在所述占比超过预定比例时，确定所述业务预测模型受到数据攻击。
10.根据权利要求1所述的方法，所述至少根据所述第一业务对象的识别结果，确定所述业务预测模型是否受到安全攻击，包括：
若所述第一业务对象的识别结果为异常对象，且相较于正常对象，所述各层网络中各神经元的激活处理结果的扰动值均小于预定数值，则确定所述业务预测模型受到对抗样本攻击。
11.根据权利要求1所述的方法，所述业务对象包括以下任一种：用户、商户、商品以及事件；所述业务预测模型用于预测所述业务对象的分类或回归值。
12.一种检测业务预测模型安全性的装置，所述业务预测模型用于针对业务对象进行业务预测；其包括多层网络，其中每层网络包括多个神经元，每个神经元对应于一个激活函数以产生激活处理结果；所述装置包括：
获取单元，用于在所述业务预测模型针对第一业务对象进行业务预测的过程中，获取所述业务预测模型的各层网络中各神经元的激活处理结果；
识别单元，用于根据所述各层网络中各神经元的激活处理结果，识别所述第一业务对象是否为异常对象；
确定单元，用于至少根据所述第一业务对象的识别结果，确定所述业务预测模型是否受到安全攻击。
13.根据权利要求12所述的装置，所述识别单元具体用于：
对所述各层网络中各神经元的激活处理结果进行拼接，得到第一拼接向量；
将所述第一拼接向量输入预先训练的第一分类模型，得到所述第一分类模型对所述第一业务对象的打分，所述打分表示所述第一业务对象为异常对象的概率；
根据所述打分，识别所述第一业务对象是否异常对象。
14.根据权利要求12所述的装置，所述识别单元具体用于：
将所述各层网络中各神经元的激活处理结果，分别输入预先训练的、对应于所述各层网络的多个子分类模型，分别得到所述多个子分类模型对所述第一业务对象的多个打分，所述打分表示所述第一业务对象为异常对象的概率；
基于所述多个打分，得到所述第一业务对象的综合分；
根据所述综合分，识别所述第一业务对象是否为异常对象。
15.根据权利要求12所述的装置，所述识别单元具体用于：
获取所述各层网络中各神经元的历史处理结果的历史分布；
将所述各层网络中各神经元的激活处理结果，分别与对应的历史分布进行比对，得到多个比对结果；
根据所述多个比对结果的融合结果，识别所述第一业务对象是否为异常对象。
16.根据权利要求12所述的装置，所述识别单元具体用于：
获取历史样本集；其中的各历史样本已基于所述业务预测模型完成预测；
基于所述第i层网络中各神经元的激活处理结果，以及所述历史样本集中各历史样本的第i层网络中各神经元的激活处理结果，计算对应于所述第i层网络的统计量；其中，i为正整数；
基于所述各层网络的统计量，识别所述第一业务对象是否为异常对象。
17.根据权利要求16所述的装置，所述统计量包括以下任一种：局部固有维度LID以及概率密度KD。
18.根据权利要求16所述的装置，所述识别单元还具体用于：
对所述各层网络的统计量进行拼接，得到第二拼接向量；
将所述第二拼接向量输入预先训练的第二分类模型，得到所述第二分类模型对所述第一业务对象的打分，所述打分表示所述第一业务对象为异常对象的概率；
根据所述打分，识别所述第一业务对象是否异常对象。
19.根据权利要求18所述的装置，还包括：
降维单元，用于采用降维方法，对所述第二拼接向量进行降维处理；
展示单元，用于基于降维处理后的第二拼接向量，对所述第一业务对象进行可视化展示；
所述降维方法包括以下任一种：主成分分析PCA方法、最小绝对收缩和选择算子LASSO方法、线性判别式分析LDA方法、小波分析方法以及T分布和随机近邻嵌入TSNE方法。
20.根据权利要求12所述的装置，所述确定单元具体用于：
获取其它业务对象的识别结果；
基于所述第一业务对象的识别结果以及所述其它业务对象的识别结果，统计异常对象的占比；
在所述占比超过预定比例时，确定所述业务预测模型受到数据攻击。
21.根据权利要求12所述的装置，所述确定单元具体用于：
若所述第一业务对象的识别结果为异常对象，且相较于正常对象，所述各层网络中各神经元的激活处理结果的扰动值均小于预定数值，则确定所述业务预测模型受到对抗样本攻击。
22.根据权利要求12所述的装置，所述业务对象包括以下任一种：用户、商户、商品以及事件；所述业务预测模型用于预测所述业务对象的分类或回归值。
23.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-11中任一项所述的方法。
24.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-11中任一项所述的方法。
CN202010956257.XA 2020-09-11 2020-09-11 检测业务预测模型安全性的方法及装置 Active CN112085281B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010956257.XA CN112085281B (zh) 2020-09-11 2020-09-11 检测业务预测模型安全性的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010956257.XA CN112085281B (zh) 2020-09-11 2020-09-11 检测业务预测模型安全性的方法及装置

Publications (2)

Publication Number Publication Date
CN112085281A true CN112085281A (zh) 2020-12-15
CN112085281B CN112085281B (zh) 2023-03-10

Family

ID=73736980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010956257.XA Active CN112085281B (zh) 2020-09-11 2020-09-11 检测业务预测模型安全性的方法及装置

Country Status (1)

Country Link
CN (1) CN112085281B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222480A (zh) * 2021-06-11 2021-08-06 支付宝(杭州)信息技术有限公司 对抗样本生成模型的训练方法及装置
CN115115093A (zh) * 2022-05-19 2022-09-27 深圳市腾讯网络信息技术有限公司 对象数据的处理方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108566364A (zh) * 2018-01-15 2018-09-21 中国人民解放军国防科技大学 一种基于神经网络的入侵检测方法
CN109581871A (zh) * 2018-12-03 2019-04-05 北京工业大学 免疫对抗样本的工业控制系统入侵检测方法
CN109617706A (zh) * 2018-10-18 2019-04-12 北京鼎力信安技术有限公司 工业控制系统防护方法及工业控制系统防护装置
CN109829514A (zh) * 2019-03-07 2019-05-31 西安电子科技大学 一种网络入侵检测方法、装置、计算机设备和存储介质
CN110874550A (zh) * 2018-08-31 2020-03-10 华为技术有限公司 数据处理方法、装置、设备和系统
CN111310814A (zh) * 2020-02-07 2020-06-19 支付宝(杭州)信息技术有限公司 利用不平衡正负样本对业务预测模型训练的方法及装置
CN111355725A (zh) * 2020-02-26 2020-06-30 北京邮电大学 一种网络入侵数据的检测方法及装置
CN111553381A (zh) * 2020-03-23 2020-08-18 北京邮电大学 基于多网络模型的网络入侵检测方法、装置及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108566364A (zh) * 2018-01-15 2018-09-21 中国人民解放军国防科技大学 一种基于神经网络的入侵检测方法
CN110874550A (zh) * 2018-08-31 2020-03-10 华为技术有限公司 数据处理方法、装置、设备和系统
CN109617706A (zh) * 2018-10-18 2019-04-12 北京鼎力信安技术有限公司 工业控制系统防护方法及工业控制系统防护装置
CN109581871A (zh) * 2018-12-03 2019-04-05 北京工业大学 免疫对抗样本的工业控制系统入侵检测方法
CN109829514A (zh) * 2019-03-07 2019-05-31 西安电子科技大学 一种网络入侵检测方法、装置、计算机设备和存储介质
CN111310814A (zh) * 2020-02-07 2020-06-19 支付宝(杭州)信息技术有限公司 利用不平衡正负样本对业务预测模型训练的方法及装置
CN111355725A (zh) * 2020-02-26 2020-06-30 北京邮电大学 一种网络入侵数据的检测方法及装置
CN111553381A (zh) * 2020-03-23 2020-08-18 北京邮电大学 基于多网络模型的网络入侵检测方法、装置及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222480A (zh) * 2021-06-11 2021-08-06 支付宝(杭州)信息技术有限公司 对抗样本生成模型的训练方法及装置
CN113222480B (zh) * 2021-06-11 2023-05-12 支付宝(杭州)信息技术有限公司 对抗样本生成模型的训练方法及装置
CN115115093A (zh) * 2022-05-19 2022-09-27 深圳市腾讯网络信息技术有限公司 对象数据的处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112085281B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
US11005872B2 (en) Anomaly detection in cybersecurity and fraud applications
US11194691B2 (en) Anomaly detection using deep learning models
US11314242B2 (en) Methods and systems for fault detection and identification
Dheepa et al. Behavior based credit card fraud detection using support vector machines
CN111881722B (zh) 一种跨年龄人脸识别方法、系统、装置及存储介质
CN109818798A (zh) 一种融合kpca和elm的无线传感器网络入侵检测系统及方法
CN112085281B (zh) 检测业务预测模型安全性的方法及装置
JP6971514B1 (ja) 情報処理装置、情報処理方法及びプログラム
CN115438102B (zh) 时空数据异常识别方法、装置和电子设备
Usmani et al. A review of unsupervised machine learning frameworks for anomaly detection in industrial applications
CN111428572A (zh) 信息处理方法、装置、电子设备和介质
CN117061322A (zh) 物联网流量池管理方法及系统
CN111738441A (zh) 兼顾预测精度和隐私保护的预测模型训练方法及装置
Demertzis et al. Cyber-typhon: an online multi-task anomaly detection framework
Wang et al. Uncovering hidden vulnerabilities in convolutional neural networks through graph-based adversarial robustness evaluation
Yang et al. Efficient and persistent backdoor attack by boundary trigger set constructing against federated learning
CN115204322A (zh) 行为链路异常识别方法和装置
CN113469816A (zh) 基于多组学技术的数字货币识别方法、系统和存储介质
Ushio et al. The application of deep learning to predict corporate growth
Schulth et al. Detecting Backdoor Poisoning Attacks on Deep Neural Networks by Heatmap Clustering
Smart et al. An Ontology Based Multilayer Perceptron for Object Detection.
Heljakka et al. Disentangling model multiplicity in deep learning
US20240185090A1 (en) Assessment of artificial intelligence errors using machine learning
WO2024106604A1 (ko) 인공지능 기반 행동 모니터링 방법, 프로그램 및 장치
CN117540791A (zh) 一种对抗训练的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant