CN115238805B - 异常数据识别模型的训练方法及相关设备 - Google Patents
异常数据识别模型的训练方法及相关设备 Download PDFInfo
- Publication number
- CN115238805B CN115238805B CN202210908093.2A CN202210908093A CN115238805B CN 115238805 B CN115238805 B CN 115238805B CN 202210908093 A CN202210908093 A CN 202210908093A CN 115238805 B CN115238805 B CN 115238805B
- Authority
- CN
- China
- Prior art keywords
- data
- abnormal
- training
- sample data
- recognition model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 307
- 238000012549 training Methods 0.000 title claims abstract description 294
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000004088 simulation Methods 0.000 claims abstract description 105
- 238000005457 optimization Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000004590 computer program Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 67
- 238000001514 detection method Methods 0.000 description 34
- 230000005611 electricity Effects 0.000 description 25
- 238000000605 extraction Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 8
- 201000010099 disease Diseases 0.000 description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 238000000513 principal component analysis Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000008485 antagonism Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种异常数据识别模型的训练方法及相关设备,涉及计算机技术领域。该方法包括:获取原始样本数据,原始样本数据包括正常样本数据和异常样本数据;通过生成器对正常样本数据和异常样本数据进行模仿处理,生成模拟数据;将模拟数据、正常样本数据和异常样本数据确定为训练样本数据;基于训练样本数据对生成器和模拟数据识别模型进行第一对抗训练,以及基于训练样本数据对生成器和异常数据识别模型进行第二对抗训练。该方法可以通过生成器、模拟数据识别模型和异常数据识别模型共同构成一个生成式对抗网络,在该生成式对抗网络中三者可以互相对抗约束以进行基于梯度下降算法的训练优化,从而获得训练好的异常数据识别模型。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及一种异常数据识别模型的训练方法、异常数据识别方法、异常数据识别模型的训练装置、异常数据识别装置、存储介质及电子设备。
背景技术
随着人工智能的发展,可以通过采集样本数据来训练具有指定能力(例如数据转化能力、类型识别能力等)的网络模型,进而通过网络模型处理数据以实现其能力效果。
相关技术中,许多实际场景中样本数据难以获取,或者获取到的样本数据量较少,从而导致网络模型难以训练或训练效果较差,进而使其能力效果难以得到较好的应用。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种异常数据识别模型的训练方法及相关设备,能够通过构建生成式对抗网络以实现对异常数据识别模型的训练,并获得识别效果较好的异常数据识别模型。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的一个方面,提供一种异常数据识别模型的训练方法,包括:获取原始样本数据,原始样本数据包括正常样本数据和异常样本数据;通过生成器对正常样本数据和异常样本数据进行模仿处理,生成模拟数据;将模拟数据、正常样本数据和异常样本数据确定为训练样本数据;基于训练样本数据对生成器和模拟数据识别模型进行第一对抗训练,以及基于训练样本数据对生成器和异常数据识别模型进行第二对抗训练;其中,第一对抗训练和第二对抗训练是交替进行的。
在本公开一个实施例中,将模拟数据、正常样本数据和异常样本数据确定为训练样本数据,包括:将模拟数据和异常样本数据作为第一训练样本数据,以及将模拟数据、正常样本数据和异常样本数据作为第二训练样本数据;其中,基于训练样本数据对生成器和模拟数据识别模型进行第一对抗训练,以及基于训练样本数据对生成器和异常数据识别模型进行第二对抗训练,包括:基于第一训练样本数据对生成器和模拟数据识别模型进行第一对抗训练,以及基于第二训练样本数据对生成器和异常数据识别模型进行第二对抗训练。
在本公开一个实施例中,基于第一训练样本数据对生成器和模拟数据识别模型进行第一对抗训练,包括:通过模拟数据识别模型处理第一训练样本,得到第一预测类别,第一预测类别用于标识第一训练样本被识别为原始类别或模拟类别;基于第一训练样本的第一预测类别与第一真实类别构建针对生成器的第一损失函数,以及针对模拟数据识别模型的第二损失函数;第一真实类别用于标识第一训练样本为原始类别或模拟类别;利用第一损失函数对生成器进行训练,以及利用第二损失函数对模拟数据识别模型进行训练。
在本公开一个实施例中,基于第二训练样本数据对生成器和异常数据识别模型进行第二对抗训练,包括:通过异常数据识别模型处理第二训练样本,得到第二预测类别,第二预测类别用于标识第二训练样本被识别为正常类别或异常类别;基于第二训练样本的第二预测类别与第二真实类别构建针对生成器的第三损失函数,以及针对异常数据识别模型的第四损失函数;第二真实类别用于标识第二训练样本为正常类别或异常类别;利用第三损失函数对生成器进行训练,以及利用第四损失函数对异常数据识别模型进行训练。
在本公开一个实施例中,异常样本数据在原始样本数据中的占比小于第一预设阈值;模拟数据包括:正常模拟数据和异常模拟数据;以及,方法还包括:当异常模拟数据在模拟数据中的占比大于第二预设阈值时,停止第一对抗训练和第二对抗训练,得到训练好的异常数据识别模型;其中,第二预设阈值大于第一预设阈值。
在本公开一个实施例中,异常数据识别模型的训练方法还包括:通过训练好的异常数据识别模型处理第二训练样本数据,得到正常类别或异常类别的识别结果;以第二训练样本数据的识别结果与第二真实类别作为参数,基于预设的全局优化算法构建优化函数;其中,第二真实类别用于标识第二训练样本为正常类别或异常类别;基于优化函数对训练好的异常数据识别模型进行优化训练,得到优化后的异常数据识别模型。
根据本公开的又一个方面,提供一种异常数据识别方法,包括:获取待识别数据;通过上述异常数据识别模型的训练方法训练获得的异常数据识别模型对待识别数据进行识别,获得识别结果。
根据本公开的又一个方面,提供一种异常数据识别模型的训练装置,包括:第一获取模块,用于获取原始样本数据,原始样本数据包括正常样本数据和异常样本数据;生成模块,用于通过生成器对正常样本数据和异常样本数据进行模仿处理,生成模拟数据;确定模块,用于将模拟数据、正常样本数据和异常样本数据确定为训练样本数据;训练模块,用于基于训练样本数据对生成器和模拟数据识别模型进行第一对抗训练,以及基于训练样本数据对生成器和异常数据识别模型进行第二对抗训练;其中,第一对抗训练和第二对抗训练是交替进行的。
根据本公开的又一个方面,提供一种异常数据识别装置,包括:第二获取模块,用于获取待识别数据;识别模块,用于通过上述异常数据识别模型的训练方法训练获得的异常数据识别模型对待识别数据进行识别,获得识别结果。
根据本公开的又一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的异常数据识别模型的训练方法或者上述的异常数据识别方法。
根据本公开的又一个方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述的异常数据识别模型的训练方法或者上述的异常数据识别方法。
本公开的实施例所提供的异常数据识别模型的训练方法,能够通过生成器对正常样本数据和异常样本数据进行模仿处理以生成模拟数据,再将模拟数据、正常样本数据和异常样本数据作为训练样本数据对生成器、模拟数据识别模型和异常数据识别模型进行对抗训练。可见,本方案中可以使得生成器、模拟数据识别模型和异常数据识别模型共同构成一个生成式对抗网络,在该生成式对抗网络中,生成器与模拟数据识别模型存在第一对抗训练,且生成器与异常数据识别模型存在第二对抗训练,进而可以通过设置对抗任务使得生成器能够较真实地模仿扩充原始样本数据中的异常样本数据,也可以使得异常数据识别模型对于异常数据的识别效果得以增强,从而实现对于异常数据识别模型的训练。
进一步,本公开实施例提供的异常数据识别方法,还可以在获得训练好的异常数据识别模型之后将其投入实际应用中,以对待识别数据进行识别,获得待识别数据为正常类型或异常类型的识别结果。其中,由于在训练阶段已通过所构建的生成式对抗网络与预设的全局优化算法(或误检率优化模块)对异常数据识别模型的分类能力进行了训练和提升,因此在本公开所提供的异常数据识别方法中,可以对待识别数据识别出准确率较高的识别结果,以基于准确率较高的识别结果进行相关异常问题的排查或解决。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了可以应用本公开实施例的异常数据识别模型的训练方法的示例性系统架构的示意图;
图2示出了本公开一个实施例的异常数据识别模型的训练方法的流程图;
图3示出了本公开一个实施例的对生成器和模拟数据识别模型进行第一对抗训练的流程图;
图4示出了本公开一个实施例的对生成器和异常数据识别模型进行第二对抗训练的流程图;
图5示出了本公开一个实施例的实现异常数据识别模型的训练方法的框架示意图;
图6示出了本公开一个实施例的异常数据识别方法的流程图;
图7示出了本公开一个实施例的异常数据识别模型的训练方法的流程示意图;
图8示出了本公开一个实施例的异常数据识别模型的训练装置的框图;
图9示出了本公开一个实施例的异常数据识别装置的框图;和
图10示出了本公开一个实施例的适于用来实现异常数据识别模型的训练和/或异常数据识别的计算机设备的结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
针对上述相关技术中存在的技术问题,本公开实施例提供了一种异常数据识别模型的训练方法,以用于至少解决上述技术问题中的一个或者全部。
图1示出了可以应用本公开实施例的异常数据识别模型的训练方法的示例性系统架构的示意图。
如图1所示,该系统架构可以包括服务器101、网络102和客户端103。网络102用以在客户端103和服务器101之间提供通信链路的介质。网络102可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
在示例性实施例中,与服务端101进行数据传输的客户端103可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、AR(Augmented Reality,增强现实)设备、VR(Virtual Reality,虚拟现实)设备、智能可穿戴设备等类型的电子设备,或者,客户端103也可以是个人计算机,比如膝上型便携计算机和台式计算机等等。可选的,电子设备上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux系统、windows系统等。
服务器101可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。在一些实际应用中,服务器101也可以是网络平台的服务器,网络平台例如可以是交易平台、直播平台、社交平台或者音乐平台等,本公开实施例对此不作限定。其中,服务器可以是一台服务器,也可以是多台服务器形成的集群,本公开对于服务器的具体架构不做限定。
在一些实际应用中,服务器101或客户端103中可以存储有原始样本数据,也可以通过网络102从其他客户端103或其他服务器101处获取到原始样本数据,然后通过本公开实施例所提供的方法进行对异常数据识别模型的训练。
在示例性实施例中,以服务器101为执行主体进行举例说明,服务器101用于实现异常数据识别模型的训练方法的过程可以是:服务器101获取原始样本数据,原始样本数据包括正常样本数据和异常样本数据;服务器101通过生成器对正常样本数据和异常样本数据进行模仿处理,生成模拟数据;服务器101将模拟数据、正常样本数据和异常样本数据确定为训练样本数据;服务器101基于训练样本数据对生成器和模拟数据识别模型进行第一对抗训练,以及基于训练样本数据对生成器和异常数据识别模型进行第二对抗训练;其中,第一对抗训练和第二对抗训练是交替进行的。
此外,需要说明的是,图1所示的仅仅是本公开提供的异常数据识别模型的训练方法的一种应用环境。图1中的客户端、网络和服务器的数目仅仅是示意性的,根据实际需要,可以具有任意数目的客户端、网络和服务器。
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图及实施例对本公开示例实施例中的异常数据识别模型的训练方法的各个步骤进行更详细的说明。
图2示出了本公开一个实施例的异常数据识别模型的训练方法的流程图。本公开实施例提供的方法可以由如图1所示的服务器或客户端中执行,但本公开并不限定于此。
在下面的举例说明中,以服务器集群101为执行主体进行示例说明。
如图2所示,本公开实施例提供的异常数据识别模型的训练方法可以包括以下步骤。
根据本公开的一个方面,提供一种异常数据识别模型的训练方法,包括:
步骤S201,获取原始样本数据,原始样本数据包括正常样本数据和异常样本数据。
本步骤中,原始样本数据可以为从其他数据库获取到的未经处理的数据,也可以为已做过预处理(如过滤、筛选等)的数据,也可以为已经过特征提取后的数据。正常样本数据和异常样本数据可以是基于预先设置好的分类标准进行分类的两类数据,也即:正常样本数据可以是原始样本数据中正常类型的数据,异常样本数据可以是原始样本数据中异常类型的数据。在一些实际应用中,原始样本数据中还可以包括有其他类型的数据,本公开对此不做限定。
此外,原始样本数据还可以是小样本数据,例如,其中异常样本数据在原始样本数据中的占比可以小于第一预设阈值。
例如,在植物病害检测场景中,可以以一定范围内或某一种植物的生长数据作为原始样本数据,以无病害植物的生长数据作为正常样本数据,并以有病害植物的生长数据作为异常样本数据。
又例如,在窃电用户检测实例场景中,可以以某一区域中所有用电数据作为原始样本数据,以用户中普通用户的用电数据可以作为正常样本数据,并以用户中异常用电用户的用电数据可以作为异常样本数据,在本实施场景的一些实际应用中,异常样本数据的数量可以比正常样本数据的数量小很多(例如小多个数量级以上)。
步骤S203,通过生成器对正常样本数据和异常样本数据进行模仿处理,生成模拟数据。
本步骤中,可以使用生成器通过学习原始样本数据中的数据分布,由学习到的数据分布,生成“虚假”的样本,该样本能够“骗过”后续步骤中的数据识别模型(包括模拟数据识别模型和异常数据识别模型),从而达到扩充原始样本数据的效果,也即,可以将模拟数据、正常样本数据和异常样本数据作为模仿扩充后的原始样本数据。其中,模拟数据可以包括正常模拟数据和异常模拟数据;正常模拟数据是生成器模仿正常样本数据生成的,异常模拟数据是生成器模仿异常样本数据生成的。
步骤S205,将模拟数据、正常样本数据和异常样本数据确定为训练样本数据。
步骤S207,基于训练样本数据对生成器和模拟数据识别模型进行第一对抗训练,以及基于训练样本数据对生成器和异常数据识别模型进行第二对抗训练;其中,第一对抗训练和第二对抗训练是交替进行的。
在一些实施例中,步骤S205可以包括:将模拟数据和异常样本数据作为第一训练样本数据,以及将模拟数据、正常样本数据和异常样本数据作为第二训练样本数据。基于此,步骤S207可以进一步包括:基于第一训练样本数据对生成器和模拟数据识别模型进行第一对抗训练,以及基于第二训练样本数据对生成器和异常数据识别模型进行第二对抗训练。
其中,模拟数据识别模型可以用于鉴别当前输入的第一训练样本数据是否是模拟数据,异常数据识别模型可以用于鉴别当前输入的第二训练样本数据是否是异常数据。
在步骤S205和步骤S207中,生成器可以与模拟数据识别模型、异常数据识别模型互相对抗约束以进行基于梯度下降算法的训练优化,以使得训练结束时的生成器可以生成一定占比的难辨真假的异常样本数据,并使得训练结束时的异常数据识别模型的异常数据识别准确性达到一定强度。
通过本公开实施例提供的异常数据识别模型的训练方法,可以通过生成器对正常样本数据和异常样本数据进行模仿处理以生成模拟数据,再将模拟数据、正常样本数据和异常样本数据作为训练样本数据对生成器、模拟数据识别模型和异常数据识别模型进行对抗训练。可见,本方案中可以使得生成器、模拟数据识别模型和异常数据识别模型共同构成一个生成式对抗网络,在该生成式对抗网络中,生成器与模拟数据识别模型存在第一对抗训练,且生成器与异常数据识别模型存在第二对抗训练,进而可以通过设置对抗任务使得生成器能够较真实地模仿扩充原始样本数据中的异常样本数据,也可以使得异常数据识别模型对于异常数据的识别效果得以增强,从而实现对于异常数据识别模型的训练。
图3示出了本公开一个实施例的对生成器和模拟数据识别模型进行第一对抗训练的流程图,如图3所示,在一些实施例中,基于第一训练样本数据对生成器和模拟数据识别模型进行第一对抗训练,可以包括以下步骤。
步骤S301,通过模拟数据识别模型处理第一训练样本,得到第一预测类别,第一预测类别用于标识第一训练样本被识别为原始类别或模拟类别。
本步骤中,模拟数据识别模型可以用于对数据是原始类别还是模拟类别进行识别,获得一个关于第一预测类别(即是否为模拟数据)的识别结果。
步骤S303,基于第一训练样本的第一预测类别与第一真实类别构建针对生成器的第一损失函数,以及针对模拟数据识别模型的第二损失函数;第一真实类别用于标识第一训练样本为原始类别或模拟类别。
本步骤中,若第一训练样本中的数据来自于原始样本数据,则其为原始类别,若第一训练样本中的数据来自于模拟数据,则其为模拟类别。其中,第一损失函数和第二损失函数可以为0-1损失函数、绝对值损失函数、对数损失函数、平方损失函数、指数损失函数、铰链损失函数、感知损失函数、交叉熵损失函数、均方差损失函数等中的任一种,本公开实施例不作限定。
步骤S305,利用第一损失函数对生成器进行训练,以及利用第二损失函数对模拟数据识别模型进行训练。
本步骤中,通过分别针对生成器和模拟数据识别模型构造的损失函数对其进行训练,可以实现对生成器和模拟数据识别模型的第一对抗训练。
在一些实际应用中,可以以“生成与原始样本数据中的数据更相似的模拟数据”为目的构造第一损失函数,可以以“将数据的第一预测类别识别正确”为目的构造第二损失函数,以此在生成器和模拟数据识别模型之间建立对抗反馈关系,从而,通过以此构造的第一损失函数和第二损失函数对生成器和模拟数据识别模型进行对抗训练之后,可以获得能够生成接近原始样本数据的模拟数据的生成器,以及获得难以辨别模拟数据是否为模拟数据的模拟数据识别模型。
图4示出了本公开一个实施例的对生成器和异常数据识别模型进行第二对抗训练的流程图,如图4所示,在一些实施例中,基于第二训练样本数据对生成器和异常数据识别模型进行第二对抗训练,可以包括以下步骤。
步骤S401,通过异常数据识别模型处理第二训练样本,得到第二预测类别,第二预测类别用于标识第二训练样本被识别为正常类别或异常类别。
本步骤中,异常数据识别模型可以用于对数据是正常类别还是异常类别进行识别,获得一个关于第二预测类别(即是否为异常数据)的识别结果。
步骤S403,基于第二训练样本的第二预测类别与第二真实类别构建针对生成器的第三损失函数,以及针对异常数据识别模型的第四损失函数;第二真实类别用于标识第二训练样本为正常类别或异常类别。
本步骤中,若第二训练样本中的数据来自于原始样本数据中的正常样本数据,或来自于模拟数据中的正常模拟数据,则其为正常类别,若第二训练样本中的数据来自于原始样本数据中的异常样本数据,或来自于模拟数据中的异常模拟数据,则其为异常类别。其中,第三损失函数和第四损失函数可以为0-1损失函数、绝对值损失函数、对数损失函数、平方损失函数、指数损失函数、铰链损失函数、感知损失函数、交叉熵损失函数、均方差损失函数等中的任一种,本公开实施例不作限定。
步骤S405,利用第三损失函数对生成器进行训练,以及利用第四损失函数对异常数据识别模型进行训练。
本步骤中,通过分别针对生成器和异常数据识别模型构造的损失函数对其进行训练,可以实现对生成器和异常数据识别模型的第二对抗训练。
在一些实际应用中,可以以“生成更多的异常模拟数据”为目的构造第三损失函数,可以以“正确识别出异常数据”为目的构造第四损失函数,以此在生成器和异常数据识别模型之间建立对抗反馈关系,从而,通过以此构造的第三损失函数和第四损失函数对生成器和异常数据识别模型进行对抗训练之后,可以获得能够生成接近原始样本数据且异常类型占比更多的模拟数据的生成器,以及获得对异常类型的数据识别更准确的异常数据识别模型。
在一些实施例中,异常样本数据在原始样本数据中的占比小于第一预设阈值;模拟数据可以包括:正常模拟数据和异常模拟数据;以及,异常数据识别模型的训练方法还包括:当异常模拟数据在模拟数据中的占比大于第二预设阈值时,停止第一对抗训练和第二对抗训练,得到训练好的异常数据识别模型;其中,第二预设阈值大于第一预设阈值。
本实施例中,第一预设阈值和第二预设阈值的数量可以基于实际情况进行设置,例如,若将第一预设阈值设置为1%,则明显可知此时的原始样本数据为一个小样本数据。又例如,若将第二预设阈值设置为50%,则在通过训练,可以使生成器生成异常模拟数据的能力从1%提升至50%,在此情况下,在第二对抗训练中,由于异常类型的数据占比增多了,异常数据识别模型的训练样本也增多了,因此也可以有助于提升对于异常数据识别模型的训练效果,也即,可以使得异常数据识别模型对异常类型的数据识别结果更加准确。
可见,通过如图3和如图4所示的交替进行的两种对抗训练,可以通过在两种对抗训练中构建的四种损失函数,使得生成器和异常数据识别模型的效果都得到优化。
在一些实施例中,异常数据识别模型的训练方法还包括:通过训练好的异常数据识别模型处理第二训练样本数据,得到正常类别或异常类别的识别结果;以第二训练样本数据的识别结果与第二真实类别作为参数,基于预设的全局优化算法构建优化函数;其中,第二真实类别用于标识第二训练样本为正常类别或异常类别;基于优化函数对训练好的异常数据识别模型进行优化训练,得到优化后的异常数据识别模型。
其中,全局优化算法例如可以是遗传算法,人工蚁群算法和粒子群算法等。通过本实施例,可以基于全局优化算法对异常数据识别模型进行优化训练,以降低异常数据识别模型的误检率,提升其分类效能。
图5示出了本公开一个实施例的实现异常数据识别模型的训练方法的框架示意图,如图5所示,包括:特征提取模块501,生成器502,模拟数据识别模型503,异常数据识别模型504和误检率优化模块505,其中,生成器502,模拟数据识别模型503和异常数据识别模型504可以构成一个生成式对抗网络。
具体地,特征提取模块501可以用于对输入的原始样本数据进行特征提取,目的是去除掉无关变量的影响。此模块可以输出经过特征提取后的数据,并将之输入到生成式对抗网络中以用于训练,其中,原始样本数据可以是小样本数据,其中可以包括正常样本数据和异常样本数据。特征提取模块501也可以在实际应用阶段用于对待识别数据进行特征提取。此外,当原始样本数据为小样本数据(其中异常样本数据占比过小而使得原始样本数据为小样本数据)时,图5所示的生成式对抗网络可以看作是一个针对小样本数据的生成式对抗网络。
生成器502是生成式对抗网络中的一部分,可以通过模仿原始样本数据中的数据分布,从而生成“虚假的”的样本,即模拟数据。其中,模拟数据可以包括正常模拟数据和异常模拟数据。在训练阶段,生成器502可以与模拟数据识别模型503和异常数据识别模型504互相对抗约束以进行基于梯度下降算法的训练优化。
模拟数据识别模型503是生成式对抗网络中的一部分,可以用于鉴别当前输入至其中的第一训练样本数据是原始类别还是模拟类别。在训练阶段,模拟数据识别模型503可以与生成器502和异常数据识别模型504互相对抗约束以进行基于梯度下降算法的训练优化。
异常数据识别模型504也是生成式对抗网络中的一部分,可以用于鉴别当前输入至其中的第二训练样本数据是正常类别还是异常类别。在训练阶段,异常数据识别模型504可以与生成器502和模拟数据识别模型503互相对抗约束以进行基于梯度下降算法的训练优化。进一步地,在生成式对抗网络训练结束后,异常数据识别模型504还可以额外与误检率优化模块505共同进行训练优化,以降低异常数据识别模型504的误检率,提高对异常数据的检测精度。此外,在实际应用阶段,异常数据识别模型504可以直接用于对待识别数据进行分类,其中,若在训练阶段使用了小样本数据作为原始样本数据,那么在实际应用阶段,异常数据识别模型504则可以直接用于对小样本数据进行分类。
误检率优化模块505,可以在训练阶段中生成式对抗网络训练结束后,用于对异常数据识别模型504输出的第二预测类别结果进行误检率的计算,如可以第二训练样本的真实标签(即第二真实类别)计算其误检率。具体地,可以利用其中预先设置的全局优化算法与异常数据识别模型504共同进行优化训练,以降低异常数据识别模型504的误检率,提升其分类效能。
可见,通过图5所示的框架示意图,可以构造一种针对小样本数据的生成式对抗网络,此生成式对抗网络可以通过扩充原始样本数据中的异常类型的数据从而在一定程度上解决了小样本分类场景中因异常类型的数据稀缺而导致分类误差大的问题,同时还通过引入异常数据识别模型504用于提升异常数据的分类效果,以及通过引入误检率优化模块505降低了异常数据识别模型504的误检率,提升了异常数据识别模型504的分类精度,使得应用此框架的异常数据识别模型的训练方法能够在小样本分类场景下具有良好的效果。
继续参考图5,当训练完成后,训练所获得的异常数据识别模型504可以在应用阶段投入使用;具体包括:可以首先获取待识别数据,然后通过特征提取模块501对待识别数据进行特征提取,去除无关变量,再将特征提取后的待识别数据输入至训练好的异常数据识别模型504中,以使用训练好的异常数据识别模型504对待识别数据进行识别,获得待识别数据为正常类型或异常类型的识别结果。
基于同一发明构思,本公开实施例还提供一种异常数据识别方法,可以由如图1所示的服务器或客户端中执行,但本公开并不限定于此。在下面的举例说明中,以服务器集群101为执行主体进行示例说明。
图6示出了本公开一个实施例的异常数据识别方法的流程图,如图6所示,本公开实施例提供的异常数据识别方法可以包括以下步骤。
步骤S601,获取待识别数据。
其中,待识别数据可以是与异常数据识别模型的训练方法中的原始样本数据相同或相似场景下的数据;例如,假设原始样本数据为用户用电数据,其中包括正常用户的用电数据和异常用户(如具有窃电行为的用户)的用电数据,那么待识别数据也可以是用户用电数据;假设原始样本数据为植物检测数据,其中包括正常生成的植物检测数据和异常生成的植物检测数据(如存在病害的植物的检测数据),那么待识别数据也可以是植物检测数据。
此外,在一些实际应用中,待识别数据可以是未经处理的数据,也可以为已做过预处理(如过滤、筛选等)的数据,也可以为已经过特征提取后的数据。
步骤S603,通过上述异常数据识别模型的训练方法训练获得的异常数据识别模型对待识别数据进行识别,获得识别结果。
通过本公开实施例提供的异常数据识别方法,可以在获得训练好的异常数据识别模型之后将其投入实际应用中,以对待识别数据进行识别,获得待识别数据为正常类型或异常类型的识别结果。其中,在训练阶段已通过所构建的生成式对抗网络与预设的全局优化算法(或误检率优化模块)对异常数据识别模型的分类能力进行了训练和提升,因此在本公开所提供的异常数据识别方法中,可以对待识别数据识别出准确率较高的识别结果,以基于准确率较高的识别结果进行相关异常问题的排查或解决。
例如,假设待识别数据为用电数据,那么可以通过本公开实施例提供的异常数据识别方法识别出其中的异常用电数据,进而可以基于所识别出的异常用电数据对相关异常用电行为进行处理。再例如,假设待识别数据为植物检测数据,那么可以通过本公开实施例提供的异常数据识别方法识别出其中存在病害的植物的检测数据,进而可以基于所识别出的存在病害的植物的检测数据对相关存在病害的植物进行治疗。
图6实施例的其它内容可以参照上述其它实施例,此处不再进行赘述。
图7示出了本公开一个实施例的异常数据识别模型的训练方法及异常数据识别方法的流程示意图,如图7所示,在训练阶段,异常数据识别模型的训练方法可以包括以下步骤。
S1-1:构建训练集。
本步骤中,获取原始样本数据(可以是小样本数据),将其中的正常样本数据与异常样本数据组成原始训练数据。
例如,原始样本数据可以是通过电网已获取到的已标注标签(标签可以包括正常、异常)的用户用电消费数据,可以先去掉其中的全0数据以及抄表错误等数据,并对异常用电用户的数据进行筛选,例如,可以通过预先为异常用电用户标注的“1”以及预先为正常用电用户标注的“0”筛选出异常用电用户的数据。
S1-2:构建特征提取模块。
本步骤中,可由FAST、SIFT、PCA等技术构建特征提取模块。
例如,该模块可以使用PCA(主成分分析)方法对现有的经过筛选并标注的用户用电消费数据进行特征提取,去除无关变量的影响,以在后续步骤中将经过提取的用户用电消费数据输入到生成式对抗网络模块中。
S1-3:构建针对小样本数据的生成式对抗网络。
本步骤中,可由GAN、VAE-GAN等技术构建针对小样本数据的生成式对抗网络,其中两个鉴别器(即模拟数据识别模型和异常数据识别模型),可由不同的结构进行构建。
例如,可以构建由一个生成器,两个鉴别器模块组成的生成式对抗网络。生成器可以通过模仿经过筛选和特征提取的用电用户消费数据中的异常样本,生成“虚假的”用电样本,即模拟数据,其中可以包括“虚假的”用户异常用电样本。
然后可以将模拟数据和异常样本数据作为第一训练样本数据,以及将模拟数据、正常样本数据和异常样本数据作为第二训练样本数据,基于第一训练样本数据对生成器和模拟数据识别模型进行第一对抗训练,以及基于第二训练样本数据对生成器和异常数据识别模型进行第二对抗训练。其中,模拟数据识别模型可用于鉴别第一训练样本数据是输入的真实样本还是生成器生成的“虚假”样本。异常数据识别模型可用于鉴别输入的第二训练样本数据是输入的正常样本还是异常样本。
S1-4:构建误检率优化模块。
本步骤中,误检率优化模块中的全局优化算法可以是人工蚁群算法、粒子群算法、遗传算法等技术。
S1-5:训练针对小样本数据的生成式对抗网络。
本步骤中,可以通过梯度下降算法训练生成式对抗网络(内含生成器、模拟数据识别模型和异常数据识别模型)。
具体地,在训练阶段,两个鉴别器与生成器互相对抗约束以进行基于梯度下降算法的训练优化。随着生成器与模拟数据识别模型和异常数据识别模型之间不断博弈优化,此生成式对抗网络最终达到纳什均衡,第一阶段训练完成。
S1-6:训练误检率优化模块与异常数据识别模型。
本步骤中,可以通过全局寻优算法与梯度下降算法训练误检率优化模块与异常数据识别模型。
例如,在第一阶段的训练结束后,可以通过计算所有检出异常用电行为样本中,被错误分类的样本占比,得到误检率。在第二阶段的训练中,可以通过误检率优化模块的输出来更新生成式对抗网络中的异常数据识别模型的网络权重。误检率优化模块可以仅对异常数据识别模型进行优化训练,在具体的优化训练过程中,可以将误检率优化模块的输出添加到异常数据识别模型的损失函数中,二者将共同完成第二阶段的训练。
继续参考图7,在实际应用阶段,异常数据识别方法可以包括以下步骤。
S2-1:获取待分类的小样本数据。
本步骤中,可以通过用电系统获取用户用电的实时消费数据,以作为待分类的小样本数据,即待识别数据。
S2-2:使用特征提取模块进行特征提取。
本步骤中,将由步骤S2-1中得到的待分类的小样本数据(即待识别数据)进行特征提取。具体地,可以采用PCA(主成分分析)方法对从电网系统中获取的繁杂的用户实时消费数据进行特征提取,去除其中无关的变量。
S2-3:使用经过训练的异常数据识别模型进行分类。
本步骤中,将由步骤S2-2中得到的经过特征提取后小样本数据输入至经过训练阶段训练后的异常数据识别模型进行分类,输出每个输入样本对应的分类结果(分类结果可以是正常类别或异常类别)。具体地,可以将经过特征提取的用户实时消费数据输入到经过训练的异常数据识别模型中,以通过异常数据识别模型对用户用电行为进行实时监测并报告异常用电行为。
可见,通过如图7所示的实施例,首先,可以在训练阶段构建针对小样本数据的生成式对抗网络,以及构建用于对生成式对抗网络中的异常数据识别模型进行优化的误检率优化模块,以在小样本场景下实现对异常数据识别模型的两个阶段的训练,获得识别效果较好的异常数据识别模型;其次,可以在应用阶段通过训练好的异常数据识别模型对待识别数据进行分类,得到识别准确率较高的识别结果。
需要注意的是,上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
图8示出本公开第五实施例中一种异常数据识别模型的训练装置800的框图;如图8所示,包括:
第一获取模块801,用于获取原始样本数据,原始样本数据包括正常样本数据和异常样本数据;
生成模块802,用于通过生成器对正常样本数据和异常样本数据进行模仿处理,生成模拟数据;
确定模块803,用于将模拟数据、正常样本数据和异常样本数据确定为训练样本数据;
训练模块804,用于基于训练样本数据对生成器和模拟数据识别模型进行第一对抗训练,以及基于训练样本数据对生成器和异常数据识别模型进行第二对抗训练;其中,第一对抗训练和第二对抗训练是交替进行的。
通过本公开实施例提供的异常数据识别模型的训练装置,可以通过生成器对正常样本数据和异常样本数据进行模仿处理以生成模拟数据,再将模拟数据、正常样本数据和异常样本数据作为训练样本数据对生成器、模拟数据识别模型和异常数据识别模型进行对抗训练。可见,本方案中可以使得生成器、模拟数据识别模型和异常数据识别模型共同构成一个生成式对抗网络,在该生成式对抗网络中,生成器与模拟数据识别模型存在第一对抗训练,且生成器与异常数据识别模型存在第二对抗训练,进而可以通过设置对抗任务使得生成器能够较真实地模仿扩充原始样本数据中的异常样本数据,也可以使得异常数据识别模型对于异常数据的识别效果得以增强,从而实现对于异常数据识别模型的训练。
在一些实施例中,确定模块803将模拟数据、正常样本数据和异常样本数据确定为训练样本数据,包括:将模拟数据和异常样本数据作为第一训练样本数据,以及将模拟数据、正常样本数据和异常样本数据作为第二训练样本数据;其中,训练模块804基于训练样本数据对生成器和模拟数据识别模型进行第一对抗训练,以及基于训练样本数据对生成器和异常数据识别模型进行第二对抗训练,包括:基于第一训练样本数据对生成器和模拟数据识别模型进行第一对抗训练,以及基于第二训练样本数据对生成器和异常数据识别模型进行第二对抗训练。
在一些实施例中,训练模块804基于第一训练样本数据对生成器和模拟数据识别模型进行第一对抗训练,包括:通过模拟数据识别模型处理第一训练样本,得到第一预测类别,第一预测类别用于标识第一训练样本被识别为原始类别或模拟类别;基于第一训练样本的第一预测类别与第一真实类别构建针对生成器的第一损失函数,以及针对模拟数据识别模型的第二损失函数;第一真实类别用于标识第一训练样本为原始类别或模拟类别;利用第一损失函数对生成器进行训练,以及利用第二损失函数对模拟数据识别模型进行训练。
在一些实施例中,训练模块804基于第二训练样本数据对生成器和异常数据识别模型进行第二对抗训练,包括:通过异常数据识别模型处理第二训练样本,得到第二预测类别,第二预测类别用于标识第二训练样本被识别为正常类别或异常类别;基于第二训练样本的第二预测类别与第二真实类别构建针对生成器的第三损失函数,以及针对异常数据识别模型的第四损失函数;第二真实类别用于标识第二训练样本为正常类别或异常类别;利用第三损失函数对生成器进行训练,以及利用第四损失函数对异常数据识别模型进行训练。
在一些实施例中,异常样本数据在原始样本数据中的占比小于第一预设阈值;模拟数据包括:正常模拟数据和异常模拟数据;以及,训练模块804还用于:当异常模拟数据在模拟数据中的占比大于第二预设阈值时,停止第一对抗训练和第二对抗训练,得到训练好的异常数据识别模型;其中,第二预设阈值大于第一预设阈值。
在一些实施例中,异常数据识别模型的训练方法还包括优化模块805,优化模块805用于:通过训练好的异常数据识别模型处理第二训练样本数据,得到正常类别或异常类别的识别结果;以第二训练样本数据的识别结果与第二真实类别作为参数,基于预设的全局优化算法构建优化函数;其中,第二真实类别用于标识第二训练样本为正常类别或异常类别;基于优化函数对训练好的异常数据识别模型进行优化训练,得到优化后的异常数据识别模型。
图8实施例的其它内容可以参照上述其它实施例,此处不再进行赘述。
图9示出本公开第五实施例中一种异常数据识别装置900的框图;如图9所示,包括:
第二获取模块901,用于获取待识别数据。
识别模块902,用于通过上述异常数据识别模型的训练方法训练获得的异常数据识别模型对待识别数据进行识别,获得识别结果。
通过本公开实施例提供的异常数据识别装置,可以在获得训练好的异常数据识别模型之后将其投入实际应用中,以对待识别数据进行识别,获得待识别数据为正常类型或异常类型的识别结果。其中,在训练阶段已通过所构建的生成式对抗网络与预设的全局优化算法(或误检率优化模块)对异常数据识别模型的分类能力进行了训练和提升,因此在本公开所提供的异常数据识别方法中,可以对待识别数据识别出准确率较高的识别结果,以基于准确率较高的识别结果进行相关异常问题的排查或解决。
图9实施例的其它内容可以参照上述其它实施例,此处不再进行赘述。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
图10示出了本公开一个实施例的适于用来实现异常数据识别模型的训练和/或异常数据识别的计算机设备的结构框图。需要说明的是,图示出的电子设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
下面参照图10来描述根据本发明的这种实施方式的电子设备1000。图10显示的电子设备1000仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示,电子设备1000以通用计算设备的形式表现。电子设备1000的组件可以包括但不限于:上述至少一个处理单元1010、上述至少一个存储单元1020、连接不同系统组件(包括存储单元1020和处理单元1010)的总线1030。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元1010执行,使得所述处理单元1010执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如,所述处理单元1010可以执行如图2中所示的方法和/或执行如图6中所示的方法。
存储单元1020可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)10201和/或高速缓存存储单元10202,还可以进一步包括只读存储单元(ROM)10203。
存储单元1020还可以包括具有一组(至少一个)程序模块10205的程序/实用工具10204,这样的程序模块10205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1030可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1000也可以与一个或多个外部设备1100(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备1000交互的设备通信,和/或与使得该电子设备1000能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1050进行。并且,电子设备1000还可以通过网络适配器1060与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器1060通过总线1030与电子设备1000的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备1000使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
根据本发明实施方式的用于实现上述方法的程序产品,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由所附的权利要求指出。
Claims (10)
1.一种异常数据识别模型的训练方法,其特征在于,包括:
获取原始样本数据,所述原始样本数据包括正常样本数据和异常样本数据;
通过生成器对所述正常样本数据和异常样本数据进行模仿处理,生成模拟数据;
将所述模拟数据和所述异常样本数据作为第一训练样本数据,以及将所述模拟数据、所述正常样本数据和所述异常样本数据作为第二训练样本数据;
基于所述第一训练样本数据对所述生成器和模拟数据识别模型进行第一对抗训练,以及基于所述第二训练样本数据对所述生成器和异常数据识别模型进行第二对抗训练;其中,所述第一对抗训练和所述第二对抗训练是交替进行的。
2.根据权利要求1所述的方法,其特征在于,基于所述第一训练样本数据对所述生成器和模拟数据识别模型进行第一对抗训练,包括:
通过所述模拟数据识别模型处理所述第一训练样本数据,得到第一预测类别,所述第一预测类别用于标识所述第一训练样本数据被识别为原始类别或模拟类别;
基于所述第一训练样本数据的所述第一预测类别与第一真实类别构建针对所述生成器的第一损失函数,以及针对所述模拟数据识别模型的第二损失函数;所述第一真实类别用于标识所述第一训练样本数据为原始类别或模拟类别;
利用所述第一损失函数对所述生成器进行训练,以及利用所述第二损失函数对所述模拟数据识别模型进行训练。
3.根据权利要求1所述的方法,其特征在于,基于所述第二训练样本数据对所述生成器和异常数据识别模型进行第二对抗训练,包括:
通过所述异常数据识别模型处理所述第二训练样本数据,得到第二预测类别,所述第二预测类别用于标识所述第二训练样本数据被识别为正常类别或异常类别;
基于所述第二训练样本数据的所述第二预测类别与第二真实类别构建针对所述生成器的第三损失函数,以及针对所述异常数据识别模型的第四损失函数;所述第二真实类别用于标识所述第二训练样本数据为正常类别或异常类别;
利用所述第三损失函数对所述生成器进行训练,以及利用所述第四损失函数对所述异常数据识别模型进行训练。
4.根据权利要求1所述的方法,其特征在于,所述异常样本数据在所述原始样本数据中的占比小于第一预设阈值;所述模拟数据包括:正常模拟数据和异常模拟数据;
以及,所述方法还包括:
当所述异常模拟数据在所述模拟数据中的占比大于第二预设阈值时,停止所述第一对抗训练和所述第二对抗训练,得到训练好的异常数据识别模型;
其中,所述第二预设阈值大于所述第一预设阈值。
5.根据权利要求4所述的方法,其特征在于,还包括:
通过所述训练好的异常数据识别模型处理所述第二训练样本数据,得到正常类别或异常类别的识别结果;
以所述第二训练样本数据的识别结果与第二真实类别作为参数,基于预设的全局优化算法构建优化函数;其中,所述第二真实类别用于标识所述第二训练样本数据为正常类别或异常类别;
基于所述优化函数对所述训练好的异常数据识别模型进行优化训练,得到优化后的异常数据识别模型。
6.一种异常数据识别方法,其特征在于,包括:
获取待识别数据;
通过权利要求1-5任意一项所述的异常数据识别模型的训练方法训练获得的异常数据识别模型对所述待识别数据进行识别,获得识别结果。
7.一种异常数据识别模型的训练装置,其特征在于,包括:
第一获取模块,用于获取原始样本数据,所述原始样本数据包括正常样本数据和异常样本数据;
生成模块,用于通过生成器对所述正常样本数据和异常样本数据进行模仿处理,生成模拟数据;
确定模块,用于将所述模拟数据和所述异常样本数据作为第一训练样本数据,以及将所述模拟数据、所述正常样本数据和所述异常样本数据作为第二训练样本数据;
训练模块,用于基于所述第一训练样本数据对所述生成器和模拟数据识别模型进行第一对抗训练,以及基于所述第二训练样本数据对所述生成器和异常数据识别模型进行第二对抗训练;其中,所述第一对抗训练和所述第二对抗训练是交替进行的。
8.一种异常数据识别装置,其特征在于,包括:
第二获取模块,用于获取待识别数据;
识别模块,用于通过权利要求1-5任意一项所述的异常数据识别模型的训练方法训练获得的异常数据识别模型对所述待识别数据进行识别,获得识别结果。
9.一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如权利要求1至5任一项所述的异常数据识别模型的训练方法或者如权利要求6所述的异常数据识别方法。
10.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至5任一项所述的异常数据识别模型的训练方法或者如权利要求6所述的异常数据识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210908093.2A CN115238805B (zh) | 2022-07-29 | 2022-07-29 | 异常数据识别模型的训练方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210908093.2A CN115238805B (zh) | 2022-07-29 | 2022-07-29 | 异常数据识别模型的训练方法及相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115238805A CN115238805A (zh) | 2022-10-25 |
CN115238805B true CN115238805B (zh) | 2023-12-15 |
Family
ID=83677281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210908093.2A Active CN115238805B (zh) | 2022-07-29 | 2022-07-29 | 异常数据识别模型的训练方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115238805B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107391569A (zh) * | 2017-06-16 | 2017-11-24 | 阿里巴巴集团控股有限公司 | 数据类型的识别、模型训练、风险识别方法、装置及设备 |
CN112507735A (zh) * | 2020-12-18 | 2021-03-16 | 北京百度网讯科技有限公司 | 机器翻译模型的训练方法、装置和电子设备 |
WO2021151276A1 (zh) * | 2020-05-20 | 2021-08-05 | 平安科技(深圳)有限公司 | 基于oct图像的图像识别方法、装置、设备及存储介质 |
CN113468703A (zh) * | 2021-07-23 | 2021-10-01 | 河南工业大学 | 一种ads-b报文异常检测器及检测方法 |
WO2022116322A1 (zh) * | 2020-12-02 | 2022-06-09 | 罗普特科技集团股份有限公司 | 异常检测模型生成方法和装置、异常事件检测方法和装置 |
-
2022
- 2022-07-29 CN CN202210908093.2A patent/CN115238805B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107391569A (zh) * | 2017-06-16 | 2017-11-24 | 阿里巴巴集团控股有限公司 | 数据类型的识别、模型训练、风险识别方法、装置及设备 |
WO2021151276A1 (zh) * | 2020-05-20 | 2021-08-05 | 平安科技(深圳)有限公司 | 基于oct图像的图像识别方法、装置、设备及存储介质 |
WO2022116322A1 (zh) * | 2020-12-02 | 2022-06-09 | 罗普特科技集团股份有限公司 | 异常检测模型生成方法和装置、异常事件检测方法和装置 |
CN112507735A (zh) * | 2020-12-18 | 2021-03-16 | 北京百度网讯科技有限公司 | 机器翻译模型的训练方法、装置和电子设备 |
CN113468703A (zh) * | 2021-07-23 | 2021-10-01 | 河南工业大学 | 一种ads-b报文异常检测器及检测方法 |
Non-Patent Citations (2)
Title |
---|
基于生成对抗网络的异常行为模拟算法研究;赵维;;长春理工大学学报(自然科学版)(第06期);全文 * |
赵维 ; .基于生成对抗网络的异常行为模拟算法研究.长春理工大学学报(自然科学版).2019,(第06期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN115238805A (zh) | 2022-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11915123B2 (en) | Fusing multimodal data using recurrent neural networks | |
CN112863683A (zh) | 基于人工智能的病历质控方法、装置、计算机设备及存储介质 | |
CN113434683B (zh) | 文本分类方法、装置、介质及电子设备 | |
CN110781970A (zh) | 分类器的生成方法、装置、设备及存储介质 | |
JP2023085353A (ja) | 特徴抽出モデル訓練方法、画像分類方法および関連装置 | |
CN115759748A (zh) | 风险检测模型生成方法和装置、风险个体识别方法和装置 | |
CN111210332A (zh) | 贷后管理策略生成方法、装置及电子设备 | |
CN114299366A (zh) | 一种图像检测方法、装置、电子设备及存储介质 | |
CN114170575A (zh) | 一种火焰识别方法、装置、电子设备及存储介质 | |
CN117234505A (zh) | 一种交互页面生成方法、装置、设备及其存储介质 | |
CN116777646A (zh) | 基于人工智能的风险识别方法、装置、设备及存储介质 | |
CN115238805B (zh) | 异常数据识别模型的训练方法及相关设备 | |
CN114241411B (zh) | 基于目标检测的计数模型处理方法、装置及计算机设备 | |
CN110704650A (zh) | Ota图片标签的识别方法、电子设备和介质 | |
CN115601629A (zh) | 模型训练方法、图像识别方法、介质、装置和计算设备 | |
CN114297022A (zh) | 云环境异常检测方法、装置、电子设备和存储介质 | |
CN111859985B (zh) | Ai客服模型测试方法、装置、电子设备及存储介质 | |
CN113111181B (zh) | 文本数据处理方法、装置、电子设备及存储介质 | |
CN114721915B (zh) | 埋点方法和装置 | |
CN116708313B (zh) | 流量检测方法、流量检测装置、存储介质和电子设备 | |
CN116993516A (zh) | 一种理赔模型解释优化方法、装置、设备及其存储介质 | |
CN117034114A (zh) | 基于人工智能的数据预测方法、装置、设备及存储介质 | |
CN116933869A (zh) | 图谱构建方法、装置、计算机设备及存储介质 | |
CN117453536A (zh) | 系统异常分析方法、装置、计算机设备及存储介质 | |
CN117874518A (zh) | 基于人工智能的保险欺诈预测方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |