CN116582341B - 异常检测方法、装置、设备及存储介质 - Google Patents

异常检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116582341B
CN116582341B CN202310628677.9A CN202310628677A CN116582341B CN 116582341 B CN116582341 B CN 116582341B CN 202310628677 A CN202310628677 A CN 202310628677A CN 116582341 B CN116582341 B CN 116582341B
Authority
CN
China
Prior art keywords
information
data node
instance
node
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310628677.9A
Other languages
English (en)
Other versions
CN116582341A (zh
Inventor
王化楠
叶阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lianlian Hangzhou Information Technology Co ltd
Lianlian Yintong Electronic Payment Co ltd
Original Assignee
Lianlian Hangzhou Information Technology Co ltd
Lianlian Yintong Electronic Payment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lianlian Hangzhou Information Technology Co ltd, Lianlian Yintong Electronic Payment Co ltd filed Critical Lianlian Hangzhou Information Technology Co ltd
Priority to CN202310628677.9A priority Critical patent/CN116582341B/zh
Publication of CN116582341A publication Critical patent/CN116582341A/zh
Application granted granted Critical
Publication of CN116582341B publication Critical patent/CN116582341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0442Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/0819Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s)
    • H04L9/0822Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s) using key encryption key

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Storage Device Security (AREA)

Abstract

本申请属于计算机技术领域,具体涉及一种异常检测方法、装置、设备及存储介质。其中,方法应用于数据节点,包括:确定密钥;所述密钥用于和预设数据节点进行数据传输;基于密钥对第一数据节点的节点信息加密,得到第一加密信息;向预设数据节点发送第一加密信息;接收预设数据节点发送的联邦学习指令;联邦学习指令包含有实例交集,实例交集包括多个数据节点的共有实例,实例交集由预设数据节点根据第一加密信息以及第二数据节点的节点信息确定;响应于联邦学习指令,基于实例交集的特征信息协同第二数据节点进行联邦学习,得到第一数据节点的异常检测模型。本申请通过根据数据节点中共有实例进行联邦学习,可以解决数据孤岛、多数据节点数据不互通的问题。

Description

异常检测方法、装置、设备及存储介质
技术领域
本申请属于计算机技术领域,具体涉及一种异常检测方法、装置、设备及存储介质。
背景技术
随着信息技术的快速发展,诈骗技术也随之提高,近年信息诈骗案件层出不穷,因此,数据安全与隐私泄露问题收到了越来越多的社会关注。目前的异常检测方法多以中心化的方式进行风控建模,越来越多的平台、电商选择建立自己的独立站,每个独立站作为一个数据节点进行异常检测管理。通过分布式建模能够解决数据不互通的问题,从而提高异常检测时可用数据的范围和粒度,增强异常检测效果;然而,出于平台用户隐私和数据交互安全的原因,各平台方的原始数据信息不能直接进行交换,这给联合建模带来了困难。
发明内容
为了解决上述技术问题,本申请提供一种异常检测方法、装置、设备及存储介质。本申请通过根据数据节点中共有实例进行联邦学习,可以解决数据孤岛、多数据节点数据不互通的问题。
一方面,本申请提出了一种异常检测方法,应用于多个数据节点中的第一数据节点,方法包括:
确定密钥;所述密钥用于和预设数据节点进行数据传输;预设数据节点为第二数据节点中的一个,第二数据节点为多个数据节点中除第一数据节点之外的节点;
基于密钥对第一数据节点的节点信息加密,得到第一加密信息;
向预设数据节点发送第一加密信息;
接收预设数据节点发送的联邦学习指令;联邦学习指令包含有实例交集,实例交集包括多个数据节点的共有实例,实例交集由预设数据节点根据第一加密信息以及第二数据节点的节点信息确定;
响应于联邦学习指令,基于实例交集的特征信息协同第二数据节点进行联邦学习,得到第一数据节点的异常检测模型;
异常检测模型用于在识别到待检测实例的情况下确定异常检测信息,异常检测信息表征待检测实例的异常概率。
可选的,基于实例交集的特征信息协同第二数据节点进行联邦学习,得到第一数据节点的异常检测模型之后,方法还包括:在识别到待检测实例的情况下,基于异常检测模型和待检测实例的特征信息确定第一检测信息;获取第二数据节点关于待检测实例的第二检测信息;第二检测信息基于第二数据节点的异常检测模型确定;基于第一检测信息和第二检测信息确定异常检测信息;在异常检测信息满足预设条件的情况下,向待检测实例对应的数据节点发送告警信息。
可选的,获取第二数据节点关于待检测实例的第二检测信息,包括:向预设数据节点发送查询指令;查询指令包括待检测实例的特征信息,查询指令用于指示预设数据节点通过匿踪查询确定第二检测信息,第二检测信息基于第二数据节点的异常检测模型基于待检测实例的特征信息确定;接收预设数据节点发送的第二检测信息。
可选的,第一检测信息包括第一权重信息,第二检测信息包括第二权重信息,基于第一检测信息和第二检测信息确定异常检测信息,包括:基于第一权重信息、第二权重信息和待检测实例的特征信息确定异常检测信息;其中,第一权重信息包括第一特征的权重信息,第一特征为第一数据节点的实例中包含的特征;第二权重信息包括第二特征的权重信息,第二特征为第二数据节点的实例中包含但第一数据节点的实例中不包含的特征。
可选的,联邦学习指令还包含有特征类别并集,特征类别并集包括多个数据节点的全部特征类别,特征类别并集由预设数据节点根据第一加密信息以及第二数据节点的节点信息确定;基于实例交集的特征信息协同第二数据节点进行联邦学习,包括:基于实例交集的目标特征信息协同第二数据节点进行联邦学习;目标特征信息包括特征类别并集的特征信息;基于第一检测信息和第二检测信息确定异常检测信息,包括:基于第一判断信息和第二判断信息确定异常检测信息;第一判断信息基于第一数据节点的异常检测模型以及第一特征确定,第一特征为第一数据节点的实例中包含的特征;第二判断信息基于第二数据节点的异常检测模型以及第二特征决定,第二特征为第二数据节点的实例中包含但第一数据节点的实例中不包含的特征。
可选的,基于密钥对第一数据节点的实例加密,得到第一加密实例之前,方法还包括:接收预设数据节点发送的实例集合;实例集合由预设数据节点基于第二数据节点的实例确定;基于密钥对实例集合加密,得到第二加密实例;向预设数据节点发送第二加密实例;其中,第一加密实例和第二加密实例使得预设数据节点基于第一加密实例和第二加密实例生成实例交集。
可选的,基于实例交集的特征信息协同第二数据节点进行联邦学习,得到第一数据节点的异常检测模型,包括:基于实例交集的特征信息协同第二数据节点进行联邦学习,生成联合异常检测模型;联合异常检测模型包括加密后的第一数据节点的异常检测模型;基于密钥对联合异常检测模型进行解密处理,得到第一数据节点的异常检测模型。
另一方面,本申请实施例提供了一种异常检测装置,装置包括:
接收模块,用于确定密钥;所述密钥用于和预设数据节点进行数据传输;预设数据节点为第二数据节点中的一个,第二数据节点为多个数据节点中除第一数据节点之外的节点;
加密模块,用于基于密钥对第一数据节点的节点信息加密,得到第一加密信息;
发送模块,用于向预设数据节点发送第一加密信息;
指令模块,用于接收预设数据节点发送的联邦学习指令;联邦学习指令包含有实例交集,实例交集包括多个数据节点的共有实例,实例交集由预设数据节点根据第一加密信息以及第二数据节点的节点信息确定;
学习模块,用于响应于联邦学习指令,基于实例交集的特征信息协同第二数据节点进行联邦学习,得到第一数据节点的异常检测模型;
异常检测模型用于在识别到待检测实例的情况下确定异常检测信息,异常检测信息表征待检测实例的异常概率。
可选的,装置包括检测模块,用于:在识别到待检测实例的情况下,基于异常检测模型和待检测实例的特征信息确定第一检测信息;获取第二数据节点关于待检测实例的第二检测信息;第二检测信息基于第二数据节点的异常检测模型确定;基于第一检测信息和第二检测信息确定异常检测信息;在异常检测信息满足预设条件的情况下,向待检测实例对应的数据节点发送告警信息。
可选的,检测模块用于:向预设数据节点发送查询指令;查询指令包括待检测实例的特征信息,查询指令用于指示预设数据节点通过匿踪查询确定第二检测信息,第二检测信息基于第二数据节点的异常检测模型基于待检测实例的特征信息确定;接收预设数据节点发送的第二检测信息。
可选的,第一检测信息包括第一权重信息,第二检测信息包括第二权重信息。检测模块用于:基于第一权重信息、第二权重信息和待检测实例的特征信息确定异常检测信息;其中,第一权重信息包括第一特征的权重信息,第一特征为第一数据节点的实例中包含的特征;第二权重信息包括第二特征的权重信息,第二特征为第二数据节点的实例中包含但第一数据节点的实例中不包含的特征。
可选的,联邦学习指令还包含有特征类别并集,特征类别并集包括多个数据节点的全部特征类别,特征类别并集由预设数据节点根据第一加密信息以及第二数据节点的节点信息确定。学习模块用于:基于实例交集的目标特征信息协同第二数据节点进行联邦学习;目标特征信息包括特征类别并集的特征信息。检测模块用于:基于第一判断信息和第二判断信息确定异常检测信息;第一判断信息基于第一数据节点的异常检测模型以及第一特征确定,第一特征为第一数据节点的实例中包含的特征;第二判断信息基于第二数据节点的异常检测模型以及第二特征决定,第二特征为第二数据节点的实例中包含但第一数据节点的实例中不包含的特征。
可选的,接收模块还用于:接收预设数据节点发送的实例集合;实例集合由预设数据节点基于第二数据节点的实例确定。加密模块还用于:基于密钥对实例集合加密,得到第二加密实例。发送模块还用于:向预设数据节点发送第二加密实例;其中,第一加密实例和第二加密实例使得预设数据节点基于第一加密实例和第二加密实例生成实例交集。
可选的,学习模块用于:基于实例交集的特征信息协同第二数据节点进行联邦学习,生成联合异常检测模型;联合异常检测模型包括加密后的第一数据节点的异常检测模型;基于密钥对联合异常检测模型进行解密处理,得到第一数据节点的异常检测模型。
本申请实施例提出的异常检测方法、装置、电子设备及存储介质,通过在反欺诈或者异常检测场景中,采用非对称加密和隐私计算在可信节点结算得到训练数据,并由可信节点发起全部数据节点的联邦学习,以在预设的可信计算节点执行联邦学习任务,得到多个数据节点中每个数据节点的异常检测模型,以实现多个数据节点模型训练数据的互通,同时保障各个节点的数据隐私。再者,在检测到新用户、新实例时,可以采用匿踪查询,以在不泄露查询双方其余隐私信息的基础上为特征缺失方补全缺失特征相关的模型结果,以使异常检测模型在实际运用时综合多方的判断数据,从而可以提高异常检测的准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图;
图1是根据一示例性实施例示出的一种异常检测方法的实施环境示意图;
图2是根据一示例性实施例示出的一种异常检测方法的流程示意图;
图3是根据一示例性实施例示出的一种异常检测方法的流程示意图;
图4是根据一示例性实施例示出的一种异常检测方法的流程示意图;
图5是根据一示例性实施例示出的一种异常检测装置框图。
图6是根据一示例性实施例提供的一种异常检测方法的服务器的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请实施例的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了使本申请实施例公开的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请实施例进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请实施例,并不用于限定本申请实施例。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。为了便于理解本申请实施例上述的技术方案及其产生的技术效果,本申请实施例首先对于相关专业名词进行解释:
联邦学习:一般指在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下,在多参与方或多计算结点之间开展高效率的机器学习。
非对称加密:加密密钥和解密密钥不同的加密手段。
隐私计算:包括基于协议的安全多方计算、基于现代密码的联邦学习,可以在保护数据隐私的前提下,实现数据的计算、流通、应用。
隐私信息检索(Private Information Retrieval,PIR):对信息检索的一种加密性上的扩展,可以在服务端无法知道用户查询的是哪条数据的情况下,使数据查询方查询到需要查询的数据,也称为隐匿查询或者匿踪查询。
在互联网反欺诈场景中,涉及到多方数据的合规使用。每个平台的数据需要受到每个平台的监管,再者,在跨地域数据的场景中,跨地域数据会受到各个地域的监管,每个地域进行数据管理的方法、等级、范围均不同。随着各方对数据安全、用户隐私的重视,风险管理的挑战越来越大,因此,隐私计算逐渐成为常用的技术手段,但面对复杂的多方数据关系,比如主流电商平台的数据,比如越来越多的跨境电商选择自己建立独立站,每个独立站都是一个数据节点,目前仍然缺乏一种打通数据融合、数据建模的技术方法,来解决上述场景中数据孤岛的问题。
有鉴于此,本申请实施例提供了一种异常检测方法、装置、电子设备及存储介质,通过在反欺诈或者异常检测场景中,采用非对称加密和隐私计算在可信节点结算得到训练数据,并由可信节点发起全部数据节点的联邦学习,以在预设的可信计算节点执行联邦学习任务,得到多个数据节点中每个数据节点的异常检测模型,以实现多个数据节点模型训练数据的互通,同时保障各个节点的数据隐私。
图1是根据一示例性实施例示出的一种异常检测方法的实施环境示意图。如图1所示,该实施环境至少可以包括客户端01和服务器02,多个客户端01和服务器02之间可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
具体地,该客户端01可以向服务器02发起新请求或者新事件,以使服务器02检测到新的待检测实例。可选地,客户端01可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、智能语音交互设备、智能家电、智能可穿戴设备、车载终端设备等类型的实体设备,也可以包括运行于实体设备中的软体,例如应用程序等。
具体地,该服务器02可以确定密钥;所述密钥用于和预设数据节点进行数据传输;基于密钥对第一数据节点的节点信息加密,得到第一加密信息;向预设数据节点发送第一加密信息;接收预设数据节点发送的联邦学习指令;响应于联邦学习指令,基于实例交集的特征信息协同第二数据节点进行联邦学习,得到第一数据节点的异常检测模型;异常检测模型用于在识别到待检测实例的情况下确定异常检测信息,异常检测信息表征待检测实例的异常概率。可选地,服务器02可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。具体地,上述涉及的服务器可以包括实体设备,可以具体包括有网络通信子模块、处理器和存储器等等,也可以包括运行于实体设备中的软体,可以具体包括有应用程序等。
需要说明的是,图1仅仅是一种示例。在其他场景中,还可以包括其他实施环境。
图2是根据一示例性实施例示出的一种异常检测方法的流程示意图。该方法可以用于图1中的实施环境中。在本申请实施例中,一种异常检测方法的执行主体可以是多个数据节点中的一个。作为一种示例,每个数据节点可以属于不同的平台或者不同的地域。本说明书提供了如实施例或流程图上述的异常检测方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或服务器产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示,该方法可以包括:
S101:确定密钥。
在步骤S101中,第一数据节点可以确定密钥;密钥用于和预设数据节点进行数据传输。
其中,第一数据节点作为本节点,预设数据节点为第二数据节点中的一个,第二数据节点为多个数据节点中除第一数据节点之外的节点。预设数据节点可以是第二数据节点中预设的可信节点。在另一些可选的实施方式中,预设数据节点还可以是除多个数据节点之外的其他节点。
在一种可选的实施例中,第一数据节点是多个数据节点中的一个,多个数据节点中的每个数据节点可以分别属于北京、上海、广州、新疆等,根据每个地区的用户属性不同,相应地,每个数据节点之间包括的用户特征可以不同。在另一种实施例中,每个数据节点可以分别属于闲鱼、转转、淘宝、支付宝等,由于每个平台自身的用户需求和交易属性不同,每个数据节点所采集的用户特征互不相同。
作为一种示例,第一数据节点可以根据约定的加密算法P生成密钥。可选的,P可以是RSA加密算法,则第一数据节点得到(n,e,d),保留每组密钥中的(d)并向预设数据节点发送(n,e)。可选的,P可以是DH加密算法,则预设计算节点生成唯一的(p)并将其发送至各个参与的数据节点,之后每个数据节点根据(p)在本地生成密钥对(x,x-1)。P还可以是ECDH,RAW等,本申请实施例对加密算法P的类型不作限定,在其他一些可选的实施方式中,加密算法P还可以采用其他加密算法。
S102:基于密钥对第一数据节点的节点信息加密,得到第一加密信息。
在步骤S102中,第一数据节点可以基于密钥对第一数据节点的节点信息加密,得到第一加密信息。可选的,节点信息可以包括该数据节点的实例信息、特征类别信息中的至少一个,实例信息可以包括账户标识、用户信息,等等。
S103:向预设数据节点发送第一加密信息。
在步骤S103中,第一数据节点可以向预设数据节点发送第一加密信息。
S104:接收预设数据节点发送的联邦学习指令。
在步骤S104中,联邦学习指令包含有实例交集,实例交集包括多个数据节点的共有实例,实例交集由预设数据节点根据第一加密信息以及第二数据节点的节点信息确定。作为一种实施例,共有实例可以指多个数据节点中共同的账户。
在一种可选的实施方式中,预设数据节点可以利用隐私集合求交(PSI)算法,通过事先约定的加密算法P,对多个数据节点的实例集合做取交集处理。然后,预设数据节点可以将取得的实例交集发还给每个数据节点。
可选的,联邦学习指令还包括密文模型。具体而言,根据预设的参数、模型种类、学习轮数,预设数据节点可以得到每个数据节点的密文模型发送给对应的参与方,每个数据节点可以对密文模型进行解密。
S105:响应于联邦学习指令,基于实例交集的特征信息协同第二数据节点进行联邦学习,得到第一数据节点的异常检测模型。
在步骤S105中,第一数据节点响应于联邦学习指令,可以基于实例交集的特征信息,协同第二数据节点进行联邦学习,以得到第一数据节点的异常检测模型。其中,异常检测模型用于在识别到待检测实例的情况下确定异常检测信息,异常检测信息表征待检测实例的异常概率。
在一种可选的实施方式中,最后一轮联邦学习之后,第一数据节点可以向预设数据节点请求第一数据节点的异常检测模型,预设数据节点收到请求之后可以将第一数据节点的异常检测模型发送给第一数据节点。可选的,步骤S105可以包括:基于实例交集的特征信息协同第二数据节点进行联邦学习,生成联合异常检测模型;基于密钥对联合异常检测模型进行解密处理,得到第一数据节点的异常检测模型。其中,第一数据节点、第二数据节点进行联邦学习,可以在预设数据节点生成联合异常检测模型。联合异常检测模型可以包括第一数据节点的异常检测模型以及第二数据节点的异常检测模型。预设数据节点可以将第一数据节点的异常检测模型加密后发送,第一数据节点接收到加密后的模型可以对其进行解密,得到解密后的模型。
在执行步骤S101-步骤S105之前,多个数据节点可以对预设数据节点、联邦学习的算法和参数、加密算法达成约定。预设数据节点也可以是上文中阐述的多个数据节点中的一个,也可以不属于上文中的多个数据节点。也就是说,预设数据节点作为可信节点,其自身的数据可以参与联邦学习,也可以不参与联邦学习。
本申请实施例通过在反欺诈或者异常检测场景中,采用非对称加密和隐私计算在可信节点结算得到训练数据,并由可信节点发起全部数据节点的联邦学习,以在预设的可信计算节点执行联邦学习任务,得到多个数据节点中每个数据节点的异常检测模型,以实现多个数据节点模型训练数据的互通,同时保障各个节点的数据隐私。
作为一种示例,针对训练结束后新加入的新数据,持有新数据的数据节点可以通过匿踪查询的方式将新实例的信息发送给预设数据节点。预设数据节点在匿踪查询中可以让每个数据节点通过己方训练好的异常检测模型将对应的异常检测结果值发送回来,同时确认该新实例是否存在于其余数据节点的数据库中;若该新实例存在于其他数据库中,预设数据节点可以融合包含该新实例的数据库的异常检测结果值并最终发还给持有新数据的查询发起方,供发起方进行该新实例的异常判断。检测到新实例的可以是第一数据节点,也可以是第二数据节点中的一个数据节点。下面基于图3中的步骤S201-步骤S209对此实施例进行进一步的介绍。
图3是根据一示例性实施例示出的一种异常检测方法的流程示意图。具体地如图3所图示,本申请实施例的一种异常检测方法的示例性流程,包括:
S201:确定密钥;所述密钥用于和预设数据节点进行数据传输。
关于步骤S201的内容可以参照上文中针对步骤S101的阐述,此处不再赘述。
S202:基于密钥对第一数据节点的节点信息加密,得到第一加密信息。
关于步骤S202的内容可以参照上文中针对步骤S101的阐述,此处不再赘述。
S203:向预设数据节点发送第一加密信息;
关于步骤S203的内容可以参照上文中针对步骤S103的阐述,此处不再赘述。
作为一种示例,多个数据节点进行联邦学习后得到的异常检测模型可以包括全部数据节点中的特征类别,在此实施例中,第一数据节点的联邦学习中需要使用实例交集下的全部特征类别的特征。下面基于图4进一步介绍本申请实施例的一种异常检测方法。图4是根据一示例性实施例示出的一种异常检测方法的流程示意图。具体地如图4所图示,在一种可选的实施例中,在步骤S202之前,方法还包括:
S301:接收预设数据节点发送的实例集合。
在步骤S301中,第一数据节点可以接收预设数据节点发送的实例集合。其中,实例集合由预设数据节点基于第二数据节点的实例确定。
作为一种示例,实例集合可以是预设数据节点、若干个第二数据节点的实例交集,本实施不对若干个第二数据节点的数量作限定。
S302:基于密钥对实例集合加密,得到第二加密实例。
在步骤S302中,第一数据节点可以基于密钥对实例集合加密,得到第二加密实例。
S303:向预设数据节点发送第二加密实例。
在步骤S303中,第一数据节点可以向预设数据节点发送第二加密实例。
作为一种示例,第二加密实例可以和第一加密实例一同发送。其中,第一加密实例和第二加密实例使得预设数据节点基于第一加密实例和第二加密实例生成实例交集。可选的,预设数据节点可以根据第一加密实例、第二加密实例得到第一数据节点、若干个第二数据节点和预设数据节点的实例交集,并基于和除若干个第二数据节点之外的其他数据节点之间的通信确定全部数据节点的实例交集。
下面介绍步骤S301-步骤S203的一种具体实施方式。在下述实施例中,A,B双方为参与方,A,B均持有己方的实例ID集合XA,XB。其中,A可以是预设数据节点,B可以是第一数据节点。
(1)B通过RSA算法计算得到大合数n,公钥e,私钥d,并将大合数n和公钥e发送给A。
(2)A通过大合数n,公钥e,哈希函数H和随机数R={randi|i∈XA}对XA实施加密得到YA=E(e,R,H(XA)),并将YA发送给B。
(3)B通过大合数n,私钥d加密YA,得到ZA=E(d,YA)。B通过大合数n,私钥d和哈希函数H加密XB,得到ZB=E(d,H(XB))。B将ZA,ZB发给A。
(4)A解密ZA得到DA=D(e,ZA),将DA与ZB取交集得到一个集合I=DA∩ZB。通过I,DA,R和己方信息,A可以判断出明文的用户交集UA。由于多个数据节点中的第二数据节点需同第一数据节点一样,遵从上文中B的行为,因此,在第四步中,A会得到多个明文集合UB,UC,UD,…,A可以计算每个集合之间的交集Uunique=UB∩UC∩UD∩…,并将集合Uunique发送给每个数据节点。
在上述的四个步骤,需注意的是,在其他可选的的加密算法中,进行密钥计算的既可以是A,也可以是B。具体而言,第一步还可以是:A通过加密算法计算得到密钥中的公钥和私钥,并将公钥发送给B,后续步骤中A通过私钥进行加密,B通过公钥进行加密。
需注意的是,上面阐述的实施例仅为加密算法为RSA(n,e,d)时的一种可选的实施例,在其他可选的实施方式中,加密算法还可以采用其他的算法,第一数据节点和预设数据节点的交互步骤还可以是基于其他算法的其他步骤,本申请实施例不对此作限定。
下面继续基于图3进行阐述:
S204:接收预设数据节点发送的联邦学习指令。
关于步骤S204的内容可以参照上文中针对步骤S101的阐述,此处不再赘述。
S205:响应于联邦学习指令,基于实例交集的特征信息协同第二数据节点进行联邦学习,得到第一数据节点的异常检测模型。
在一种可选的实施方式中,联邦学习得到的异常检测模型可以是包括了全部数据节点特征的模型,例如安全树模型(Secure boost)。在此实施方式中,节点信息除了包括实例的信息之外还可以包括特征类别的信息,联邦学习指令可以还包含有特征类别并集,特征类别并集包括多个数据节点的全部特征类别。其中,特征类别并集由预设数据节点根据第一加密信息以及第二数据节点的节点信息确定。
在上述的实施方式中,步骤S205包括:基于实例交集的目标特征信息协同第二数据节点进行联邦学习。其中,目标特征信息包括特征类别并集的特征信息,也就是说,基于所有数据节点所包含的特征类别进行学习得到异常检测模型。
在另一种可选的实施方式中,联邦学习得到的异常检测模型可以是仅包括第一数据节点特征、不包括第二数据节点特征的模型,例如逻辑回归模型。在此实施方式中,训练时第一数据节点可以仅根据实例交集、本节点的特征进行训练,而不需要根据其他数据节点的特征训练。
关于步骤S205的其他内容可以参照上文中针对步骤S105的阐述,此处不再赘述。
S206:在识别到待检测实例的情况下,基于异常检测模型和待检测实例的特征信息确定第一检测信息。
在一种可选的实施方式中,第一数据节点可以在识别到待检测实例的情况下,基于异常检测模型和待检测实例的特征信息确定第一检测信息。
其中,第一数据节点可以是多个数据节点中检测到新的待检测示例的节点。需注意的是,本申请不对步骤S206-步骤S209的执行主语作限定,在一些可选的实施方式中,检测到新的待检测示例的节点还可以是多个数据节点中的其他节点。
S207:获取第二数据节点关于待检测实例的第二检测信息。
在一种可选的实施方式中,第一数据节点可以获取第二数据节点关于待检测实例的第二检测信息;其中,第二检测信息基于第二数据节点的异常检测模型确定。
作为一种示例,获取第二数据节点的第二检测信息,包括:向预设数据节点发送查询指令;接收预设数据节点发送的第二检测信息。其中,查询指令包括待检测实例的特征信息,查询指令用于指示预设数据节点通过匿踪查询确定第二检测信息,第二检测信息是基于第二数据节点的异常检测模型基于待检测实例的特征信息确定的信息。
可选的,在上文中阐述的异常检测模型包括全部数据节点特征的实施例中,预设数据节点可以基于第一数据节点中缺失的特征发起匿踪查询,获取缺失的特征在其他数据节点的异常检测模型中决策节点的判断结果,并将判断结果发送回第一数据节点。
可选的,在上文中阐述的异常检测模型仅包括第一数据节点特征、不包括第二数据节点特征的实施例中,预设数据节点可以基于第一数据节点中缺失的特征发起匿踪查询,获取其他数据节点的异常检测模型中缺失的特征的总权重以及截距,并将这些数据发送回第一数据节点。
下面介绍步骤S207的一种示例性流程。在此示例性流程中,检测到待检测实例的数据节点可以作为请求节点,向可信节点发出查询请求,并通过可信节点向其他数据节点请求其他数据节点各自的模型的数据,同时不透露请求节点的具体信息,包括具体查询内容,从而避免信息泄露。
(1)第一数据节点基于待检测实例ID以及数个混淆项生成请求列表;
(2)第一数据节点基于PSI通过预设数据节点向发送该请求列表,并接收第二数据节点基于PSI发送的返回列表;第一数据节点基于该返回列表确定待检测实例ID在第二数据节点的ID列表中的列表位置;
(3)第一数据节点生成一组公私钥(pk,sk);
(4)假设第二数据节点的返回列表包括多个数据[my,mg,...,mt,...,mn],第一数据节点根据想要请求的内容生成n长度的列表[s1,s2;...,st,...,sn],并发送至第二数据节点。其中,标号为t的数据对应于待检测实例ID。
在此步骤中,基于以下方式生成列表中的s:st=E(pk,1),selse=E(pk,0)。由于同态加密的混淆性质,第二数据节点无法区统计出0和1的总量,也就无法知道请求内容的具体信息,从而实现第一数据节点的隐私保护。
(5)第二数据节点将己方的[m1,m2,...,mt,...,mn]和收到的[s1,s2,...,st,...,sn]做向量点积,得到点积结果R,并将R发还给请求方。
(6)请求方利用sk解密R得到M=D(sk,E(mt)),M即明文的第二检测信息,例如第二数据节点的权重信息。
上述的步骤为步骤S207的基于同态加密的一种实施方式。需注意的是,步骤S207还可以基于不经意传输、基于key的传输实现,本申请对此不作限定。
S208:基于第一检测信息和第二检测信息确定异常检测信息。
在步骤208中,第一数据节点可以基于第一检测信息和第二检测信息确定异常检测信息。
可选的,在上文中阐述的异常检测模型包括全部数据节点特征的实施例中,步骤S208可以包括:基于第一判断信息和第二判断信息确定异常检测信息。其中,第一判断信息基于第一数据节点的异常检测模型以及第一特征确定,第一特征为第一数据节点的实例中包含的特征;第二判断信息基于第二数据节点的异常检测模型以及第二特征决定,第二特征为第二数据节点的实例中包含但第一数据节点的实例中不包含的特征。可选的,第一判断信息、第二判断信息可以包括存在异常或者不存在异常的判断结果。
可选的,在上文中阐述的异常检测模型仅包括第一数据节点特征、不包括第二数据节点特征的实施例中,第一检测信息可以包括第一权重信息,第二检测信息可以包括第二权重信息。步骤S208可以包括:基于第一权重信息、第二权重信息和待检测实例的特征信息确定异常检测信息。需注意的是,第一权重信息包括第一特征的权重信息,第一特征为第一数据节点的实例中包含的特征;第二权重信息包括第二特征的权重信息,第二特征为第二数据节点的实例中包含但第一数据节点的实例中不包含的特征。第一数据节点可以基于第一权重信息、第二权重信息确定目标逻辑回归方程,并根据目标逻辑回归方程和待检测实例的特征得到异常检测判定结果。
其中,在模型是逻辑回归模型的实施方式中,第一检测信息除了第一权重信息还可以包括第一截距信息,第二检测信息除了第二权重信息还可以包括第二截距信息,第一数据节点可以分别基于第一权重信息和第二权重信息、第一截距信息和第二截距信息作求平均运算,其中,求平均运算可以加权平均、算术平均、去极值平均中的一种。第一数据节点可以基于求得的平均权重信息和平均截距信息确定目标逻辑回归方程,并根据目标逻辑回归方程和待检测实例的特征得到异常检测判定结果。
S209:在异常检测信息满足预设条件的情况下,向待检测实例对应的数据节点发送告警信息。
在步骤S209中,第一数据节点可以在异常检测信息满足预设条件的情况下,向待检测实例对应的数据节点发送告警信息。其中,待检测实例对应的数据节点为包含有待检测实例的数据节点,第一数据节点可以向这些同样持有新实例的数据节点发送告警信息,以告知他们此实例可能存在欺诈嫌疑。
本申请实施例不仅通过数据加密、联邦学习、隐私计算使每个数据节点能够学习得到自身的异常检测模型,同时保障各方的数据隐私安全,并且,在检测到新用户、新实例时,可以采用匿踪查询,以在不泄露查询双方其余隐私信息的基础上为特征缺失方补全缺失特征相关的模型结果,以使异常检测模型在实际运用时综合多方的判断数据,从而可以提高异常检测的准确度。
本申请实施例还提供了一种异常检测装置,图5是根据一示例性实施例示出的一种异常检测装置框图。如图5所示,异常检测装置500可以至少包括:
接收模块501,用于确定密钥;所述密钥用于和预设数据节点进行数据传输;预设数据节点为第二数据节点中的一个,第二数据节点为多个数据节点中除第一数据节点之外的节点;
加密模块502,用于基于密钥对第一数据节点的节点信息加密,得到第一加密信息;
发送模块503,用于向预设数据节点发送第一加密信息;
指令模块504,用于接收预设数据节点发送的联邦学习指令;联邦学习指令包含有实例交集,实例交集包括多个数据节点的共有实例,实例交集由预设数据节点根据第一加密信息以及第二数据节点的节点信息确定;
学习模块505,用于响应于联邦学习指令,基于实例交集的特征信息协同第二数据节点进行联邦学习,得到第一数据节点的异常检测模型;
异常检测模型用于在识别到待检测实例的情况下确定异常检测信息,异常检测信息表征待检测实例的异常概率。
可选的,装置包括检测模块,用于:在识别到待检测实例的情况下,基于异常检测模型和待检测实例的特征信息确定第一检测信息;获取第二数据节点关于待检测实例的第二检测信息;第二检测信息基于第二数据节点的异常检测模型确定;基于第一检测信息和第二检测信息确定异常检测信息;在异常检测信息满足预设条件的情况下,向待检测实例对应的数据节点发送告警信息。
可选的,检测模块用于:向预设数据节点发送查询指令;查询指令包括待检测实例的特征信息,查询指令用于指示预设数据节点通过匿踪查询确定第二检测信息,第二检测信息基于第二数据节点的异常检测模型基于待检测实例的特征信息确定;接收预设数据节点发送的第二检测信息。
可选的,第一检测信息包括第一权重信息,第二检测信息包括第二权重信息。检测模块用于:基于第一权重信息、第二权重信息和待检测实例的特征信息确定异常检测信息;其中,第一权重信息包括第一特征的权重信息,第一特征为第一数据节点的实例中包含的特征;第二权重信息包括第二特征的权重信息,第二特征为第二数据节点的实例中包含但第一数据节点的实例中不包含的特征。
可选的,联邦学习指令还包含有特征类别并集,特征类别并集包括多个数据节点的全部特征类别,特征类别并集由预设数据节点根据第一加密信息以及第二数据节点的节点信息确定。学习模块505用于:基于实例交集的目标特征信息协同第二数据节点进行联邦学习;目标特征信息包括特征类别并集的特征信息。检测模块用于:基于第一判断信息和第二判断信息确定异常检测信息;第一判断信息基于第一数据节点的异常检测模型以及第一特征确定,第一特征为第一数据节点的实例中包含的特征;第二判断信息基于第二数据节点的异常检测模型以及第二特征决定,第二特征为第二数据节点的实例中包含但第一数据节点的实例中不包含的特征。
可选的,接收模块501还用于:接收预设数据节点发送的实例集合;实例集合由预设数据节点基于第二数据节点的实例确定。加密模块502还用于:基于密钥对实例集合加密,得到第二加密实例。发送模块503还用于:向预设数据节点发送第二加密实例;其中,第一加密实例和第二加密实例使得预设数据节点基于第一加密实例和第二加密实例生成实例交集。
可选的,学习模块505用于:基于实例交集的特征信息协同第二数据节点进行联邦学习,生成联合异常检测模型;联合异常检测模型包括加密后的第一数据节点的异常检测模型;基于密钥对联合异常检测模型进行解密处理,得到第一数据节点的异常检测模型。
需要说明的是,本申请实施例提供的异常检测装置实施例与上述异常检测方法实施例基于相同的发明构思。
本申请实施例还提供了一种异常检测的电子设备,该电子设备包括处理器和存储器,存储器中存储有至少一条指令或至少一段程序,至少一条指令或至少一段程序由处理器加载并执行以实现如上述任一实施例提供的异常检测方法。
本申请的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质可设置于终端之中以保存用于实现方法实施例中一种异常检测方法的至少一条指令或至少一段程序,至少一条指令或至少一段程序由处理器加载并执行以实现如上述方法实施例提供的异常检测方法。
可选地,在本说明书实施例中,存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书实施例存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行各种功能应用程序以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、功能所需的应用程序等;存储数据区可存储根据设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器还可以包括存储器控制器,以提供处理器对存储器的访问。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述方法实施例提供的异常检测方法。
本申请实施例所提供的异常检测方法实施例可以在终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例,图6是根据一示例性实施例提供的一种异常检测方法的服务器的硬件结构框图。如图6所示,该服务器600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(Central Processing Units,CPU)66(中央处理器66可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器630,一个或一个以上存储应用程序623或数据622的存储介质620(例如一个或一个以上海量存储设备)。其中,存储器630和存储介质620可以是短暂存储或持久存储。存储在存储介质620的程序可以包括一个或一个以上模块,每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器66可以设置为与存储介质620通信,在服务器600上执行存储介质620中的一系列指令操作。服务器600还可以包括一个或一个以上电源660,一个或一个以上有线或无线网络接口650,一个或一个以上输入输出接口640,和/或,一个或一个以上操作系统621,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
输入输出接口640可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器600的通信供应商提供的无线网络。在一个实例中,输入输出接口640包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,输入输出接口640可以为射频(RadioFrequency,RF)模块,其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解,图6所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器600还可包括比图6中所示更多或者更少的组件,或者具有与图6所示不同的配置。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置和服务器实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (8)

1.一种异常检测方法,其特征在于,应用于多个数据节点中的第一数据节点,所述方法包括:
确定密钥;所述密钥用于和预设数据节点进行数据传输;所述预设数据节点为第二数据节点中的一个,所述第二数据节点为所述多个数据节点中除所述第一数据节点之外的节点;
基于所述密钥对所述第一数据节点的节点信息加密,得到第一加密信息;
向所述预设数据节点发送所述第一加密信息;
接收所述预设数据节点发送的联邦学习指令;所述联邦学习指令包含有实例交集,所述实例交集包括所述多个数据节点的共有实例,所述实例交集由所述预设数据节点根据所述第一加密信息以及所述第二数据节点的节点信息确定;
响应于所述联邦学习指令,基于所述实例交集的特征信息协同所述第二数据节点进行联邦学习,得到所述第一数据节点的异常检测模型;所述异常检测模型用于在识别到待检测实例的情况下确定异常检测信息,所述异常检测信息表征所述待检测实例的异常概率;
在识别到待检测实例的情况下,基于所述异常检测模型和所述待检测实例的特征信息确定第一检测信息;
向所述预设数据节点发送查询指令;所述查询指令包括所述待检测实例的特征信息,所述查询指令用于指示所述预设数据节点通过匿踪查询确定第二检测信息,所述第二检测信息基于所述第二数据节点的异常检测模型基于所述待检测实例的特征信息确定;
接收所述预设数据节点发送的所述第二检测信息;
基于所述第一检测信息和所述第二检测信息确定异常检测信息;
在所述异常检测信息满足预设条件的情况下,向所述待检测实例对应的数据节点发送告警信息。
2.根据权利要求1所述的一种异常检测方法,其特征在于,所述第一检测信息包括第一权重信息,所述第二检测信息包括第二权重信息,
所述基于所述第一检测信息和所述第二检测信息确定异常检测信息,包括:
基于所述第一权重信息、所述第二权重信息和所述待检测实例的特征信息确定所述异常检测信息;
其中,所述第一权重信息包括第一特征的权重信息,所述第一特征为所述第一数据节点的实例中包含的特征;所述第二权重信息包括第二特征的权重信息,所述第二特征为所述第二数据节点的实例中包含但所述第一数据节点的实例中不包含的特征。
3.根据权利要求1所述的一种异常检测方法,其特征在于,所述联邦学习指令还包含有特征类别并集,所述特征类别并集包括所述多个数据节点的全部特征类别,所述特征类别并集由所述预设数据节点根据所述第一加密信息以及所述第二数据节点的节点信息确定;
所述基于所述实例交集的特征信息协同所述第二数据节点进行联邦学习,包括:
基于所述实例交集的目标特征信息协同所述第二数据节点进行联邦学习;所述目标特征信息包括所述特征类别并集的特征信息;
所述基于所述第一检测信息和所述第二检测信息确定异常检测信息,包括:
基于第一判断信息和第二判断信息确定所述异常检测信息;所述第一判断信息基于所述第一数据节点的异常检测模型以及第一特征确定,所述第一特征为所述第一数据节点的实例中包含的特征;所述第二判断信息基于所述第二数据节点的异常检测模型以及第二特征决定,所述第二特征为所述第二数据节点的实例中包含但所述第一数据节点的实例中不包含的特征。
4.根据权利要求1-3任一项所述的一种异常检测方法,其特征在于,所述基于所述密钥对所述第一数据节点的节点信息加密,得到第一加密信息之前,所述方法还包括:
接收所述预设数据节点发送的实例集合;所述实例集合由所述预设数据节点基于所述第二数据节点的实例确定;
基于所述密钥对所述实例集合加密,得到第二加密实例;
向所述预设数据节点发送所述第二加密实例;
其中,所述第一加密实例和所述第二加密实例使得所述预设数据节点基于所述第一加密实例和所述第二加密实例生成所述实例交集,所述第一数据节点的节点信息包括所述第一数据节点的实例信息,所述第一加密实例基于所述密钥对所述第一数据节点的实例信息加密得到。
5.根据权利要求4所述的一种异常检测方法,其特征在于,所述基于所述实例交集的特征信息协同所述第二数据节点进行联邦学习,得到所述第一数据节点的异常检测模型,包括:
基于所述实例交集的特征信息协同所述第二数据节点进行联邦学习,生成联合异常检测模型;所述联合异常检测模型包括加密后的所述第一数据节点的异常检测模型;
基于所述密钥对所述联合异常检测模型进行解密处理,得到所述第一数据节点的异常检测模型。
6.一种数据异常检测装置,其特征在于,应用于多个数据节点中的第一数据节点,所述装置包括:
接收模块,用于确定密钥;所述密钥用于和预设数据节点进行数据传输;所述预设数据节点为第二数据节点中的一个,所述第二数据节点为所述多个数据节点中除所述第一数据节点之外的节点;
加密模块,用于基于所述密钥对所述第一数据节点的节点信息加密,得到第一加密信息;
发送模块,用于向所述预设数据节点发送所述第一加密信息;
指令模块,用于接收所述预设数据节点发送的联邦学习指令;所述联邦学习指令包含有实例交集,所述实例交集包括所述多个数据节点的共有实例,所述实例交集由所述预设数据节点根据所述第一加密信息以及所述第二数据节点的节点信息确定;
学习模块,用于响应于所述联邦学习指令,基于所述实例交集的特征信息协同所述第二数据节点进行联邦学习,得到所述第一数据节点的异常检测模型;所述异常检测模型用于在识别到待检测实例的情况下确定异常检测信息,所述异常检测信息表征所述待检测实例的异常概率;
检测模块,用于在识别到待检测实例的情况下,基于所述异常检测模型和所述待检测实例的特征信息确定第一检测信息;向所述预设数据节点发送查询指令;所述查询指令包括所述待检测实例的特征信息,所述查询指令用于指示所述预设数据节点通过匿踪查询确定第二检测信息,所述第二检测信息基于所述第二数据节点的异常检测模型基于所述待检测实例的特征信息确定;接收所述预设数据节点发送的所述第二检测信息;基于所述第一检测信息和所述第二检测信息确定异常检测信息;在所述异常检测信息满足预设条件的情况下,向所述待检测实例对应的数据节点发送告警信息。
7.一种用于异常检测的电子设备,其特征在于,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行如权利要求1-5任一项所述的异常检测方法。
8.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-5任一项所述的异常检测方法。
CN202310628677.9A 2023-05-30 2023-05-30 异常检测方法、装置、设备及存储介质 Active CN116582341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310628677.9A CN116582341B (zh) 2023-05-30 2023-05-30 异常检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310628677.9A CN116582341B (zh) 2023-05-30 2023-05-30 异常检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116582341A CN116582341A (zh) 2023-08-11
CN116582341B true CN116582341B (zh) 2024-06-04

Family

ID=87545165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310628677.9A Active CN116582341B (zh) 2023-05-30 2023-05-30 异常检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116582341B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914277A (zh) * 2020-08-07 2020-11-10 平安科技(深圳)有限公司 交集数据的生成方法和基于交集数据的联邦模型训练方法
WO2021218167A1 (zh) * 2020-04-29 2021-11-04 平安科技(深圳)有限公司 数据处理模型生成方法和装置、数据处理方法和装置
CN113609508A (zh) * 2021-08-24 2021-11-05 上海点融信息科技有限责任公司 一种基于区块链的联邦学习方法、装置、设备及存储介质
WO2022108529A1 (zh) * 2020-11-19 2022-05-27 脸萌有限公司 模型构建方法、装置、介质及电子设备
CN115202911A (zh) * 2021-04-13 2022-10-18 中移(上海)信息通信科技有限公司 联邦学习系统的节点异常处理方法、装置及通信设备
CN115580446A (zh) * 2022-09-22 2023-01-06 南京富尔登科技发展有限公司 一种基于去中心化联邦学习的非侵入式负荷检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021218167A1 (zh) * 2020-04-29 2021-11-04 平安科技(深圳)有限公司 数据处理模型生成方法和装置、数据处理方法和装置
CN111914277A (zh) * 2020-08-07 2020-11-10 平安科技(深圳)有限公司 交集数据的生成方法和基于交集数据的联邦模型训练方法
WO2022108529A1 (zh) * 2020-11-19 2022-05-27 脸萌有限公司 模型构建方法、装置、介质及电子设备
CN115202911A (zh) * 2021-04-13 2022-10-18 中移(上海)信息通信科技有限公司 联邦学习系统的节点异常处理方法、装置及通信设备
CN113609508A (zh) * 2021-08-24 2021-11-05 上海点融信息科技有限责任公司 一种基于区块链的联邦学习方法、装置、设备及存储介质
CN115580446A (zh) * 2022-09-22 2023-01-06 南京富尔登科技发展有限公司 一种基于去中心化联邦学习的非侵入式负荷检测方法

Also Published As

Publication number Publication date
CN116582341A (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN111931253B (zh) 基于节点群的数据处理方法、系统、设备和介质
CN111209334B (zh) 基于区块链的电力终端数据安全管理方法
Chen et al. A blockchain-based intelligent anti-switch package in tracing logistics system
CN107248980B (zh) 云服务下具有隐私保护功能的移动应用推荐系统及方法
CN104715187A (zh) 用于认证电子通信系统中的节点的方法和装置
CN107196919B (zh) 一种匹配数据的方法和装置
CN112699399A (zh) 加密数据库系统、实现加密数据库系统的方法以及装置
Shen et al. An efficient and privacy-preserving location sharing mechanism
CN112787809B (zh) 一种高效的群智感知数据流隐私保护真值发现方法
CN111767411B (zh) 知识图谱表示学习优化方法、设备及可读存储介质
CN107767281B (zh) 一种基于移动社交网络二度人脉的交友匹配隐私保护方法及系统
WO2016200594A2 (en) System, apparatus and method for secure coordination of a rendezvous point for distributed devices using entropy multiplexing
CN107196918B (zh) 一种匹配数据的方法和装置
Priya et al. Improved blockchain-based user authentication protocol with ring signature for internet of medical things
Hassan et al. [Retracted] A Lightweight Proxy Re‐Encryption Approach with Certificate‐Based and Incremental Cryptography for Fog‐Enabled E‐Healthcare
CN111294793A (zh) 一种无线传感网中身份认证的数据隐私保护方法
CN112860790B (zh) 数据管理方法、系统、装置
Wang et al. FRNet: An MCS framework for efficient and secure data sensing and privacy protection in IoVs
Abbas et al. PRISM: PRivacy-aware interest sharing and matching in mobile social networks
CN110677253B (zh) 基于非对称密钥池和ecc的抗量子计算rfid认证方法及系统
CN116582341B (zh) 异常检测方法、装置、设备及存储介质
CN113901500B (zh) 图拓扑嵌入方法、装置、系统、设备及介质
CN112699391B (zh) 目标数据的发送方法及隐私计算平台
CN107193884B (zh) 一种匹配数据的方法和装置
CN114722429A (zh) 身份标识共享方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant