CN113364702B - 广告流量异常检测方法、系统、存储介质及电子设备 - Google Patents
广告流量异常检测方法、系统、存储介质及电子设备 Download PDFInfo
- Publication number
- CN113364702B CN113364702B CN202110625795.5A CN202110625795A CN113364702B CN 113364702 B CN113364702 B CN 113364702B CN 202110625795 A CN202110625795 A CN 202110625795A CN 113364702 B CN113364702 B CN 113364702B
- Authority
- CN
- China
- Prior art keywords
- advertisement
- features
- abnormal
- traffic
- detection method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 59
- 230000005856 abnormality Effects 0.000 title claims abstract description 35
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 230000002159 abnormal effect Effects 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000003062 neural network model Methods 0.000 claims abstract description 7
- 238000012163 sequencing technique Methods 0.000 claims abstract description 6
- 238000012360 testing method Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 abstract description 5
- 238000004880 explosion Methods 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2483—Traffic characterised by specific attributes, e.g. priority or QoS involving identification of individual flows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0248—Avoiding fraud
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Strategic Management (AREA)
- Health & Medical Sciences (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Computer Hardware Design (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种广告流量异常检测方法、系统、存储介质及电子设备，检测方法包括：获取步骤：获取各用户浏览触点媒体的回传信息；分析步骤：通过特征工程分析所述回传信息的重要性并进行排序后，提取回传特征；异常标签输出步骤：分析所述回传特征获得本质特征，根据所述本质特征构建广告反欺诈模型，通过所述广告反欺诈模型输出异常标签；检测步骤：根据神经网络模型对所述异常标签进行检测输出检测结果。本发明通过深度残差网络可以有效地缓解模型训练时梯度消失和梯度爆炸的问题，能够有效识别多种异常流量类型。
Description
技术领域
本发明属于广告流量异常检测领域，具体涉及一种广告流量异常检测方法、系统、存储介质及电子设备。
背景技术
随着近年来经济与科技的发展以及信息技术的普及,互联网已经在全社会各个领域中扮演着愈发重要的角色,俨然已经成为国家发展、企业发展的战略关键。作为保障网络信息安全的重要手段之一，网络流量异常检测技术的相关研究有着重要的现实意义。然而,目前的技术在面对日益复杂的网络环境时,还存在诸多挑战和局限性。
广告是许多开发者的主要收入来源，进而使得开发者将服务免费提供给用户，成为移动应用生态环境中重要的一环。但是一些开发者通过非法广告谋取利益，对用户的信息安全造成了严重威胁。黑产人员主要包括广告作弊技术及服务的提供者，也包括作弊方案的购买者。非法流量不仅直接损害广告主切身利益，还影响到了营销策略的制定，更制约了行业良性发展。目前，广告反欺诈所针对的流量分为两种，分别为一般无效流量（通过规则判别）以及复杂无效流量，目前如何采用机器学习方法对复杂无效流量类型的广告异常流量识别已经成为当前研究的热点内容。
发明内容
本申请实施例提供了一种广告流量异常检测方法、系统、存储介质及电子设备，以至少解决现有的广告流量异常检测方法局限性大的问题。
本发明提供了一种广告流量异常检测方法，其中，包括：
获取步骤：获取各用户浏览触点媒体的回传信息；
分析步骤：通过特征工程分析所述回传信息的重要性并进行排序后，提取回传特征；
异常标签输出步骤：分析所述回传特征获得本质特征，根据所述本质特征构建广告反欺诈模型，通过所述广告反欺诈模型输出异常标签；
检测步骤：根据神经网络模型对所述异常标签进行检测输出检测结果。
上述广告流量异常检测方法，其中，所述分析步骤包括：通过GBDT特征降维方法，选取前n个所述回传特征。
上述广告流量异常检测方法，其中，所述异常标签输出步骤包括：
高阶特征提取步骤：通过BP残差神经网络从所述回传特征中提取高阶特征，对提取的所述高阶特征进行合并获得广告流量数据的本质特征；
广告反欺诈模型构建步骤：根据所述本质特征构建所述广告反欺诈模型；
异常标签获取步骤：通过广告反欺诈模型对从广告流量测试集提取到的流量样本的回传特征进行测试获取所述异常标签。
上述广告流量异常检测方法，其中，所述广告反欺诈模型构建步骤还包括：采用随机梯度下降算法对所述广告反欺诈模型进行训练。
本发明还提供一种广告流量异常检测系统，其中，包括：
获取模块，所述获取模块获取各用户浏览触点媒体的回传信息；
分析模块，所述分析模块通过特征工程分析所述回传信息的重要性并进行排序后，提取回传特征；
异常标签输出模块，[1]所述异常标签输出模块分析所述回传特征获得本质特征，根据所述本质特征构建广告反欺诈模型，通过所述广告反欺诈模型输出异常标签；
检测模块，所述检测模块根据神经网络模型对所述异常标签进行检测输出检测结果。
上述广告流量异常检测系统，其中，所述分析模块包括：通过GBDT特征降维方法，选取前n个所述回传特征 。
上述广告流量异常检测系统，其中，所述异常标签输出模块包括：
高阶特征提取单元，所述高阶特征提取单元通过BP残差神经网络从所述回传特征中提取高阶特征，对提取的所述高阶特征进行合并获得广告流量数据的本质特征；
广告反欺诈模型构建单元，所述广告反欺诈模型构建单元根据所述本质特征构建所述广告反欺诈模型；
异常标签获取单元，所述异常标签获取单元通过广告反欺诈模型对从广告流量测试集提取到的流量样本的回传特征进行测试获取所述异常标签。
上述广告流量异常检测系统，其中，所述广告反欺诈模型构建模块还包括：采用随机梯度下降算法对所述广告反欺诈模型进行训练。
本发明还提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现任一所述的广告流量异常检测方法。
本发明还提供一种存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现任一所述的广告流量异常检测方法。
本发明的有益效果在于：
本发明属于数据能力中的数据挖掘领域，本方案拟采用的广告反欺诈模型为多输入-单输出模型，无需手动构造特征，通过深度残差网络可以有效地缓解模型训练时梯度消失和梯度爆炸的问题，能够有效识别多种异常流量类型。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
在附图中：
图1是本发明的广告流量异常检测方法的方案流程图；
图2是本发明的广告流量异常检测方法的模型图；
图3是本发明的广告流量异常检测方法的流程图；
图4是本发明步骤S3的分步骤流程图；
图5是本发明的广告流量异常检测系统的结构示意图；
图6是根据本发明实施例的电子设备的框架图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
在详细阐述本发明各个实施例之前，对本发明的核心发明思想予以概述，并通过下述若干实施例予以详细阐述。
实施例一：
本发明提供一种多维特征重构的广告流量异常检测方法，利用深度学习方法对异常广告流量进行检测。
为实现上述目的，如图1、图2所示本发明提出了以下步骤：
步骤 1：通过广告流量监测系统获取各用户对触点媒体所做的输出。
步骤2：考虑到回传字段较多，因此需要通过特征工程分析回传字段重要性并进行排序，选取重要特征（回传特征）。
步骤3：通过分析业务信息（业务规则等信息）发现，ip地址、uuid等特征（人工统计特征）是反映异常流量显著特征。
步骤4：拟采用的广告反欺诈模型为多输入-单输出模型，多输入分别指代广告连续非统计型特征、广告连续型特征以及经过embedding方法后的广告离散型特征，单输出指代广告流量异常标签。
步骤5：利用广告反欺诈模型的输出，实现对广告异常流量检测。
请参照图3，图3是广告流量异常检测方法的流程图。如图3所示，本发明的广告流量异常检测方法包括：
获取步骤S1：获取各用户浏览触点媒体的回传信息。
具体地说，首先，通过广告流量监测系统获取各用户游览触点的回传信息（ip地址、uuid、os、imei等字段信息）。考虑到回传字段较多，因此需要通过GBDT特征降维方法，选取前n个重要特征（回传特征）。通过分析业务信息发现，ip地址出现次数、uuid出现次数等特征（人工特征）是反映异常流量显著特征。
分析步骤S2：通过特征工程分析回传信息的重要性并进行排序后，提取回传特征；
异常标签输出步骤S3：分析回传特征获得本质特征，根据本质特征构建反欺诈模型，通过广告反欺诈模型输出异常标签；
检测步骤S4：根据神经网络模型对异常标签进行检测输出检测结果。
具体地说，分别构建BP残差神经网络，进一步提取三类高阶特征，引入残差恒等捷径的意图在于防止神经网络层数过多，导致梯度消失或者梯度爆炸的问题。待特征提取完成后，将广告连续统计型特征、广告连续非统计型特征以及广告离散型特征的深度高阶特征进行合并，得到广告流量数据的本质特征，进而构成基于本质特征重构的广告反欺诈检测模型，最后利用广告流量本质特征对其进行异常检测。基于本质特征重构的广告反欺诈检测模型的最终优化目标如公式（1）所示，共由四部分损失组成，分别是三个BP残差网络特征提取损失、/>、/>以及广告异常分类损失/>。
；
根据如上公式，训练基于本质特征重构的广告反欺诈模型，训练方法采用随机梯度下降算法进行求解，待模型训练完成后，对广告流量测试集提取到的流量样本进行测试；
请参照图4，图4是异常标签输出步骤S3的流程图。如图4所示，所述异常标签输出步骤S3包括：
高阶特征提取步骤S31：通过BP残差神经网络从所述回传特征中提取高阶特征，对提取的所述高阶特征进行合并获得广告流量数据的本质特征；
广告反欺诈模型构建步骤S32：根据所述本质特征构建所述广告反欺诈模型；
异常标签获取步骤S33：通过广告反欺诈模型对从广告流量测试集提取到的流量样本的回传特征进行测试获取所述异常标签。
本方案拟采用的广告反欺诈模型为多输入-单输出模型，多输入分别指代广告连续非统计型特征、广告连续型特征以及经过embedding方法后的广告离散型特征，单输出指代广告流量异常标签。分别构建BP残差神经网络，进一步提取三类高阶特征，引入残差恒等捷径的意图在于防止神经网络层数过多，导致梯度消失或者梯度爆炸的问题。待特征提取完成后，将广告连续统计型特征、广告连续非统计型特征以及广告离散型特征的深度高阶特征进行合并，得到广告流量数据的本质特征，进而构成基于本质特征重构的广告反欺诈检测模型，最后利用广告流量本质特征对其进行异常检测。
实施例二：
请参照图5，图5是本发明的广告流量异常检测系统的结构示意图。如图5所示本发明的一种广告流量异常检测系统，其中，包括：
获取模块，获取模块获取各用户浏览触点媒体的回传信息；
分析模块，分析模块通过特征工程分析所述回传信息的重要性并进行排序后，提取回传特征；
异常标签输出模块，异常标签输出模块分析回传特征获得本质特征，根据本质特征构建广告反欺诈模型，通过广告反欺诈模型输出异常标签；
检测模块，检测模块根据神经网络模型对异常标签进行检测输出检测结果。
其中，分析模块包括：通过GBDT特征降维方法，选取前n个所述回传特征 。
其中，所述异常标签输出模块包括：
高阶特征提取单元，所述高阶特征提取单元通过BP残差神经网络从所述回传特征中提取高阶特征，对提取的所述高阶特征进行合并获得广告流量数据的本质特征；
广告反欺诈模型构建单元，所述广告反欺诈模型构建单元根据所述本质特征构建所述广告反欺诈模型；
异常标签获取单元，所述异常标签获取单元通过广告反欺诈模型对从广告流量测试集提取到的流量样本的回传特征进行测试获取所述异常标签。
其中，广告反欺诈模型构建模块还包括：采用随机梯度下降算法对广告反欺诈模型进行训练。
实施例三：
结合图6所示，本实施例揭示了一种电子设备的一种具体实施方式。电子设备可以包括处理器81以及存储有计算机程序指令的存储器82。
具体地，上述处理器81可以包括中央处理器（CPU），或者特定集成电路（Application Specific Integrated Circuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器（Hard Disk Drive，简称为HDD）、软盘驱动器、固态驱动器（SolidState Drive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（Universal SerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性（Non-Volatile）存储器。在特定实施例中，存储器82包括只读存储器（Read-Only Memory，简称为ROM）和随机存取存储器（RandomAccess Memory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（Programmable Read-Only Memory，简称为PROM）、可擦除PROM（Erasable ProgrammableRead-Only Memory，简称为EPROM）、电可擦除PROM（Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM）、电可改写ROM（Electrically Alterable Read-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（Static Random-Access Memory，简称为SRAM）或动态随机存取存储器（Dynamic Random Access Memory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器（Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM）、同步动态随机存取内存（Synchronous Dynamic Random-Access Memory，简称SDRAM）等。
存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种广告流量异常检测方法。
在其中一些实施例中，电子设备还可包括通信接口83和总线80。其中，如图6所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线80包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线（Data Bus）、地址总线（Address Bus）、控制总线（ControlBus）、扩展总线（Expansion Bus）、局部总线（Local Bus）。举例来说而非限制，总线80可包括图形加速接口（Accelerated Graphics Port，简称为AGP）或其他图形总线、增强工业标准架构（Extended Industry Standard Architecture，简称为EISA）总线、前端总线（FrontSide Bus，简称为FSB）、超传输（Hyper Transport，简称为HT）互连、工业标准架构（Industry Standard Architecture，简称为ISA）总线、无线带宽（InfiniBand）互连、低引脚数（Low Pin Count，简称为LPC）总线、存储器总线、微信道架构（Micro ChannelArchitecture，简称为MCA）总线、外围组件互连（Peripheral Component Interconnect，简称为PCI）总线、PCI-Express（PCI-X）总线、串行高级技术附件（Serial AdvancedTechnology Attachment，简称为SATA）总线、视频电子标准协会局部（Video ElectronicsStandards Association Local Bus，简称为VLB）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该电子设备可以基于广告流量异常检测，从而实现结合图2-图3描述的方法。
另外，结合上述实施例中广告流量异常检测方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种广告流量异常检测方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
综上所述，基于本发明的有益效果在于，本方案拟采用的广告反欺诈模型为多输入-单输出模型，无需手动构造特征，通过深度残差网络可以有效地缓解模型训练时梯度消失和梯度爆炸的问题，能够有效识别多种异常流量类型。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本发明的保护范围应以所附权利要求的保护范围为准。
Claims (6)
1.一种广告流量异常检测方法，其特征在于，包括：
获取步骤：获取各用户浏览触点媒体的回传信息；
分析步骤：通过特征工程分析所述回传信息的重要性，并通过GBDT特征降维方法进行排序，选取前n个回传特征；
异常标签输出步骤：通过BP残差神经网络从所述回传特征中分别提取广告连续统计型特征、广告连续非统计型特征和广告离散型特征的深度高阶特征，对提取的所述深度高阶特征进行合并获得广告流量数据的本质特征，根据所述本质特征构建广告反欺诈模型，通过广告反欺诈模型对从广告流量测试集提取到的流量样本的回传特征进行测试获取异常标签；
检测步骤：根据神经网络模型对所述异常标签进行检测输出检测结果。
2.如权利要求1所述的广告流量异常检测方法，其特征在于，异常标签输出步骤还包括：采用随机梯度下降算法对所述广告反欺诈模型进行训练。
3.一种广告流量异常检测系统，其特征在于，包括：
获取模块，所述获取模块获取各用户浏览触点媒体的回传信息；
分析模块，所述分析模块通过特征工程分析所述回传信息的重要性，并通过GBDT特征降维方法进行排序，选取前n个回传特征；
异常标签输出模块，所述异常标签输出模块通过BP残差神经网络从所述回传特征中分别提取广告连续统计型特征、广告连续非统计型特征和广告离散型特征的深度高阶特征，对提取的所述高阶特征进行合并获得广告流量数据的本质特征，根据所述本质特征构建广告反欺诈模型，通过广告反欺诈模型对从广告流量测试集提取到的流量样本的回传特征进行测试获取异常标签；
检测模块，所述检测模块根据神经网络模型对所述异常标签进行检测输出检测结果。
4.如权利要求3所述的广告流量异常检测系统，其特征在于，异常标签输出模块还包括：采用随机梯度下降算法对所述广告反欺诈模型进行训练。
5.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至2中任一项所述的检测方法。
6.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至2中任一项所述的检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110625795.5A CN113364702B (zh) | 2021-06-04 | 2021-06-04 | 广告流量异常检测方法、系统、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110625795.5A CN113364702B (zh) | 2021-06-04 | 2021-06-04 | 广告流量异常检测方法、系统、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113364702A CN113364702A (zh) | 2021-09-07 |
| CN113364702B true CN113364702B (zh) | 2024-04-12 |
Family
ID=77532349
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110625795.5A Active CN113364702B (zh) | 2021-06-04 | 2021-06-04 | 广告流量异常检测方法、系统、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113364702B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113837318A (zh) * | 2021-10-20 | 2021-12-24 | 北京明略软件系统有限公司 | 流量判定方案的确定方法和装置、电子设备和存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109035003A (zh) * | 2018-07-04 | 2018-12-18 | 北京玖富普惠信息技术有限公司 | 基于机器学习的反欺诈模型建模方法和反欺诈监控方法 |
| CN109117634A (zh) * | 2018-09-05 | 2019-01-01 | 济南大学 | 基于网络流量多视图融合的恶意软件检测方法及系统 |
| CN109660533A (zh) * | 2018-12-14 | 2019-04-19 | 中国平安人寿保险股份有限公司 | 实时识别异常流量的方法、装置、计算机设备和存储介质 |
| CN110047069A (zh) * | 2019-04-22 | 2019-07-23 | 北京青燕祥云科技有限公司 | 一种图像检测装置 |
| CN110969441A (zh) * | 2019-12-23 | 2020-04-07 | 集奥聚合(北京)人工智能科技有限公司 | 基于深度学习的反欺诈模型处理方法及装置 |
| KR102115534B1 (ko) * | 2019-10-14 | 2020-05-26 | 주식회사 루닛 | GAN(Generative Adversarial Networks)을 이용하는 이상 검출 방법, 장치 및 그 시스템 |
| CN111428757A (zh) * | 2020-03-05 | 2020-07-17 | 支付宝(杭州)信息技术有限公司 | 模型训练方法、异常数据检测方法、装置和电子设备 |
| CN111461767A (zh) * | 2020-03-17 | 2020-07-28 | 北京邮电大学 | 一种基于深度学习的Android欺骗性广告检测方法、装置及设备 |
| CN111507386A (zh) * | 2020-04-09 | 2020-08-07 | 中国科学院声学研究所南海研究站 | 一种存储文件及网络数据流加密通信检测方法及系统 |
| CN112329713A (zh) * | 2020-11-25 | 2021-02-05 | 恩亿科(北京)数据科技有限公司 | 网络流量异常在线检测方法、系统、计算机设备及存储介质 |
| CN112784881A (zh) * | 2021-01-06 | 2021-05-11 | 北京西南交大盛阳科技股份有限公司 | 网络异常流量检测方法、模型及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11146579B2 (en) * | 2018-09-21 | 2021-10-12 | General Electric Company | Hybrid feature-driven learning system for abnormality detection and localization |
-
2021
- 2021-06-04 CN CN202110625795.5A patent/CN113364702B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109035003A (zh) * | 2018-07-04 | 2018-12-18 | 北京玖富普惠信息技术有限公司 | 基于机器学习的反欺诈模型建模方法和反欺诈监控方法 |
| CN109117634A (zh) * | 2018-09-05 | 2019-01-01 | 济南大学 | 基于网络流量多视图融合的恶意软件检测方法及系统 |
| CN109660533A (zh) * | 2018-12-14 | 2019-04-19 | 中国平安人寿保险股份有限公司 | 实时识别异常流量的方法、装置、计算机设备和存储介质 |
| CN110047069A (zh) * | 2019-04-22 | 2019-07-23 | 北京青燕祥云科技有限公司 | 一种图像检测装置 |
| KR102115534B1 (ko) * | 2019-10-14 | 2020-05-26 | 주식회사 루닛 | GAN(Generative Adversarial Networks)을 이용하는 이상 검출 방법, 장치 및 그 시스템 |
| CN110969441A (zh) * | 2019-12-23 | 2020-04-07 | 集奥聚合(北京)人工智能科技有限公司 | 基于深度学习的反欺诈模型处理方法及装置 |
| CN111428757A (zh) * | 2020-03-05 | 2020-07-17 | 支付宝(杭州)信息技术有限公司 | 模型训练方法、异常数据检测方法、装置和电子设备 |
| CN111461767A (zh) * | 2020-03-17 | 2020-07-28 | 北京邮电大学 | 一种基于深度学习的Android欺骗性广告检测方法、装置及设备 |
| CN111507386A (zh) * | 2020-04-09 | 2020-08-07 | 中国科学院声学研究所南海研究站 | 一种存储文件及网络数据流加密通信检测方法及系统 |
| CN112329713A (zh) * | 2020-11-25 | 2021-02-05 | 恩亿科(北京)数据科技有限公司 | 网络流量异常在线检测方法、系统、计算机设备及存储介质 |
| CN112784881A (zh) * | 2021-01-06 | 2021-05-11 | 北京西南交大盛阳科技股份有限公司 | 网络异常流量检测方法、模型及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113364702A (zh) | 2021-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020232879A1 (zh) | 风险传导关联图谱优化方法、装置、计算机设备和存储介质 | |
| CN109299258B (zh) | 一种舆情事件检测方法、装置及设备 | |
| CN104615760B (zh) | 钓鱼网站识别方法和系统 | |
| CN111460446B (zh) | 基于模型的恶意文件检测方法及装置 | |
| CN109086377B (zh) | 设备画像的生成方法、装置及计算设备 | |
| CN108959474B (zh) | 实体关系提取方法 | |
| CN108961019B (zh) | 一种用户账户的检测方法和装置 | |
| Pasquini et al. | Towards the verification of image integrity in online news | |
| CN105306495A (zh) | 用户识别方法和装置 | |
| CN112115326B (zh) | 一种以太坊智能合约的多标签分类和漏洞检测方法 | |
| CN107291774B (zh) | 错误样本识别方法和装置 | |
| CN113364702B (zh) | 广告流量异常检测方法、系统、存储介质及电子设备 | |
| CN114553555A (zh) | 恶意网址识别方法、装置、存储介质及电子设备 | |
| CN114462040A (zh) | 一种恶意软件检测模型训练、恶意软件检测方法及装置 | |
| US20230281696A1 (en) | Method and apparatus for detecting false transaction order | |
| CN107943906A (zh) | 一种信息的收藏、展示方法和装置 | |
| CN113282433B (zh) | 集群异常检测方法、装置和相关设备 | |
| CN111125605A (zh) | 页面元素获取方法和装置 | |
| CN113888285A (zh) | 用户旅程分析方法、系统、存储介质及电子设备 | |
| CN113420295A (zh) | 恶意软件的检测方法及装置 | |
| CN112214770A (zh) | 恶意样本的识别方法、装置、计算设备以及介质 | |
| CN113409092B (zh) | 一种异常特征信息提取方法、系统、电子设备及介质 | |
| CN112379967A (zh) | 模拟器检测方法、装置、设备及介质 | |
| CN112954666A (zh) | 一种用户画像方法、装置、设备和存储介质 | |
| CN111259237B (zh) | 一种用于公众有害信息的识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |