CN107168854B - 互联网广告异常点击检测方法、装置、设备及可读存储介质 - Google Patents

互联网广告异常点击检测方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN107168854B
CN107168854B CN201710402564.1A CN201710402564A CN107168854B CN 107168854 B CN107168854 B CN 107168854B CN 201710402564 A CN201710402564 A CN 201710402564A CN 107168854 B CN107168854 B CN 107168854B
Authority
CN
China
Prior art keywords
click
statistical
sample data
value
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710402564.1A
Other languages
English (en)
Other versions
CN107168854A (zh
Inventor
秦筱桦
何敬江
毕野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201710402564.1A priority Critical patent/CN107168854B/zh
Publication of CN107168854A publication Critical patent/CN107168854A/zh
Application granted granted Critical
Publication of CN107168854B publication Critical patent/CN107168854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0248—Avoiding fraud
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0253—During e-commerce, i.e. online transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Finance (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开一种互联网广告异常点击检测方法、装置、设备及可读存储介质。该方法包括：从多条日志数据中分别筛选出广告点击量大于一预设的第一阈值的多个样本数据，样本数据为基于不同维度聚合后的点击量数据；根据多个样本数据，基于配置化文件，分别确定相应维度的各统计特征的特征值；建立各统计特征的特征值的第一高斯分布，并获得各第一高斯分布的第一均值和第一标准差；以及根据各统计特征的特征值的第一高斯分布的第一均值和第一标准差，分别判断多个样本数据是否异常；其中，配置化文件包括用于确定各统计特征的特征值的计算算子。该方法能够有效实现异常点击的自动检测。

Description

互联网广告异常点击检测方法、装置、设备及可读存储介质
技术领域
本发明涉及互联网技术领域，具体而言，涉及一种互联网广告异常点击检测方法、装置、设备及可读存储介质。
背景技术
CPC广告是目前互联网中最为常见的一种广告形式，其为Cost per Click的英文缩写，即每次点击付费广告，当用户点击某个投放广告的媒体网站上的CPC广告后，该媒体网站即会获得相应的广告收入。随着CPC广告投放量越来越大，一些媒体网站为了获取更大利益，使用软件模拟正常用户的广告点击行为。这些虚假点击不能为广告主实现利益转化，确需要广告主付费，损害了广告主的利益，且不利于广告生态的健康有序发展。
目前通常采用通过专家经验确立规则或者通过简单统计方法来识别互联网广告的异常点击行为。但这两种方法在使用中均存在局限性，如根据专家经验确立的规则过于固化，无法适应作弊手段的变化；而简单统计方法处理数据空间有限，不能利于海量数据多维度精细化的分析。
在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此，本发明提供一种互联网广告异常点击检测方法、装置、设备及可读存储介质，能够有效实现异常点击的自动检测。
本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。
根据本发明的一方面，提供一种互联网广告异常点击检测方法，包括：从多条日志数据中分别筛选出广告点击量大于一预设的第一阈值的多个样本数据，所述样本数据为基于不同维度聚合后的点击量数据；根据所述多个样本数据，基于配置化文件，分别确定相应维度的各统计特征的特征值；建立所述各统计特征的特征值的第一高斯分布，并获得各第一高斯分布的第一均值和第一标准差；以及根据所述各统计特征的特征值的第一高斯分布的第一均值和第一标准差，分别判断所述多个样本数据是否异常；其中，所述配置化文件包括用于确定所述各统计特征的特征值的计算算子。
根据本发明的一实施方式，根据所述各统计特征的特征值的第一高斯分布的第一均值和第一标准差，分别判断所述多个样本数据是否异常包括：针对各统计特征i，去除所述多个样本数据中其统计特征i的特征值小于u(i)-2*σ(i)或者大于u(i)+2*σ(i)的样本数据，其中u(i)为统计特征i的特征值的第一高斯分布的第一均值，σ(i)为统计特征i的特征值的第一高斯分布的第一标准差；根据剩余的所述样本数据，分别重新建立相应维度的各统计特征i的特征值的第二高斯分布，并重新获得各第二高斯分布的第二均值u2(i)和第二标准差σ2(i)；确定各统计特征i的特征值的第二高斯分布中的第一分位点概率密度Cp(i)、第二分位点概率密度Bp(i)及第三分位点概率密度Ap(i)；分别确定所有统计特征的所述第一分位点概率密度的乘积Cp、所述第二分位点概率密度的乘积Bp及所述第三分位点概率密度的乘积Ap；分别计算各样本数据的所有统计特征的特征值的乘积Y；以及根据Cp、Bp、Ap及各样本数据的Y，分别判断各样本数据是否异常。
根据本发明的一实施方式，根据Cp、Bp、Ap及Y，分别判断各样本数据是否异常包括：当所述样本数据的Y小于Cp时，确定该样本数据为极端异常；当所述样本数据的Y小于Bp时，确定该样本数据为严重异常；当所述样本数据的Y小于Ap时，确定该样本数据为一般异常。
根据本发明的一实施方式，上述方法还包括：根据各样本数据相应维度的各统计特征的特征值及各统计特征的特征值的第二高斯分布，分别对各条日志数据进行离线标注，获得各条日志数据的标注结果，以确定各条日志中的离线点击是否异常；对各条日志数据中的所述离线点击的基础特征与所述标注结果之间的关系进行学习，获得训练生成模型；以及根据所述训练生成模型，对实时点击是否为异常点击进行实时判断。
根据本发明的一实施方式，根据各样本数据相应维度的各统计特征的特征值及各统计特征的特征值的第二高斯分布，分别对各条日志数据进行离线标注，获得各条日志数据的标注结果，以确定各条日志中的离线点击是否异常包括：分别对各条日志数据执行如下操作：确定各统计特征的特征值；根据各统计特征的特征值及其第二高斯分布的第二均值u2(i)及第二标准差σ2(i)，确定各统计特征的异常度分数为：
Figure BDA0001310077450000031
确定该条日志数据的总异常度为各统计特征的异常度分数的加和；以及当所述总异常度大于一预设的第二阈值时，判断所述离线点击为异常点击；当所述总异常度小于所述第二阈值时，判断所述离线点击为正常点击；其中，score(i)为统计特征i的所述异常度分数，fVal(i)为统计特征i的所述特征值。
根据本发明的一实施方式，根据所述训练生成模型，对实时点击是否为异常点击进行实时判断包括：解析所述实时点击的基础特征；根据所述实时点击的基础特征与所述训练生成模型，确定一预估值，所述预估值的区间为[0,1]；以及当所述预估值大于一预设的第三阈值时，判断所述实时点击为异常点击；当所述预估值小于或等于所述第三阈值时，判断所述实时点击为正常点击。
根据本发明的一实施方式，所述基础特征包括：广告位ID、IP地址、点击时间。
根据本发明的一实施方式，所述维度包括：广告位维度、IP地址维度。
根据本发明的另一个方面，提供一种互联网广告异常点击检测装置，包括：样本提取模块，用于从多条日志数据中分别筛选出广告点击量大于一预设的第一阈值的多个样本数据，所述样本数据为基于不同维度聚合后的点击量数据；特征值确定模块，用于根据所述多个样本数据，基于配置化文件，分别确定相应维度的各统计特征的特征值；分布建立模块，用于建立所述各统计特征的特征值的第一高斯分布，并获得各第一高斯分布的第一均值和第一标准差；以及异常判断模块，用于根据所述各统计特征的特征值的第一高斯分布的第一均值和第一标准差，分别判断所述多个样本数据是否异常；其中，所述配置化文件包括用于确定所述各统计特征的特征值的计算算子。
根据本发明的再一个方面，提供一种计算机设备，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，所述处理器执行所述可执行指令时实现如上述任意一种方法。
根据本发明的再一个方面，提供一种计算机可读存储介质，其上存储有计算机可执行指令，所述可执行指令被处理器执行时实现如上述任意一种方法。
根据本发明实施方式的互联网广告异常点击检测方法，通过配置文件，可实现统计特征的特征值提取的自动化及点击量分布生成的自动化，从而根据自动生成的点击量的分布来实现异常点击的检测。此外，通过对统计特征中使用到的算子的配置，可以灵活的对统计特征进行扩展，实现新特征的无缝接入。
另外，根据一些实施方式，本发明的互联网广告异常点击检测方法，利用离线高斯异常检测的结果，进一步提供对实时点击的异常检测，一方面提供了更为精细粒度的检测方法，另一方面满足了对应实时计费的检测需求。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。
附图说明
通过参照附图详细描述其示例实施例，本发明的上述和其它目标、特征及优点将变得更加显而易见。
图1是根据一示例性实施方式示出的一种互联网广告异常点击检测系统的框图。
图2是根据一示例性实施方式示出的一种互联网广告异常点击检测方法的流程图。
图3是根据图2所示的互联网广告异常点击检测方法的一示例性实施例的流程图。
图4是根据一示例性实施方式示出的又一种互联网广告异常点击检测方法的流程图。
图5是根据图4所示的互联网广告异常点击检测方法的一示例性实施例的流程图。
图6是根据图4所示的互联网广告异常点击检测方法的另一示例性实施例的流程图。
图7是根据一示例性实施方式示出的一种互联网广告异常点击检测装置的框图。
图8是根据一示例性实施方式示出的一种计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现或者操作以避免喧宾夺主而使得本发明的各方面变得模糊。
本发明实施方式的互联网广告异常点击检测方法，可应用于广告主的后台服务器中。当用户点击媒体网站中广告主投放的广告后，其会自动链接到广告主的网页中，广告主可以基于不同的媒体网站(即广告位)和/或用户的IP地址等信息对点击进行不同维度的统计，从而实现对异常点击的检测。广告主的后台服务器可以为单一的一台服务器，也可以为分布式的服务器群，本发明不以此为限。
图1是根据一示例性实施方式示出的一种互联网广告异常点击检测系统的框图。如图1所示，该系统1包括：离线模块11及在线模块12。其中离线模块11主要负责通过对离线的日志数据中的点击量进行统计，并采用高斯异常检测来对离线点击进行异常检测及等级划分等；此外，为了更细粒度以及实时的异常点击检测，离线模块11进一步对高斯异常检测时建立的分布进行离线标注、模型训练，从而生成模型文件。在线模块12通过离线模块11所生成的模型文件对实时点击进行异常检测。
基于该系统，下面具体说明本发明的方法实施方式。
图2是根据一示例性实施方式示出的一种互联网广告异常点击检测方法的流程图。参考图1及图2，方法10例如可以由离线模块11实现，方法10包括：
在步骤S102中，从多条日志数据中分别筛选出广告点击量大于一预设的第一阈值的多个样本数据，所述样本数据为基于不同维度聚合后的点击量数据。
为了保证统计特征计算的有效性，需要选取出的样本数据中的广告点击量满足大于第一阈值的要求。此外，该样本数据中为基于不同维度聚合后的点击量数据，不同维度例如可以包括：广告位维度、点击用户的IP地址维度等。也即该样本数据可以为来自同一广告位的点击量数据的聚合，或者为来自同一IP地址的点击量数据的聚合。
第一阈值在实际应用中可根据实际需求而设定，在此不做限定。
在步骤S104中，根据多个样本数据，基于配置化文件，分别确定相应维度的各统计特征的特征值。
统计特征通常可以抽象为三类：单日志特征、聚合特征及组合特征。其中不同的聚合特征具有不同的计算方式，为了实现特征提取的配置化，可以将特征的计算过程抽象为不同的算子，每一算子对应一种计算方式，例如：Count算子，用于计算点击数量；Sum算子，用于计算点击量的代数和；Ratio算子，用于计算比例；Max算子，用于计算最大值；Min算子，用于计算最小值；Avg算子，用于计算平均值；Distinct算子，用于计算不同元素的个数；TopNRatio算子，用于计算Top N元素占比总和。如可以通过TopNRatio算子计算同一广告位中统计特征pos_userid_top5的特征值，即计算Top 5的用户ID的点击占总点击量的比例。
通过在配置文件中通过指定算子、字段列等，使得离线模块11可以通过加载配置文件获得对应的特征值。
在步骤S106中，建立各统计特征的特征值的第一高斯分布，并获得各第一高斯分布的第一均值和第一标准差。
针对每个统计特征，如统计特征i，分别计算不同样本数据的该统计特征的特征值，并根据不同的特征值，建立该统计特征的第一高斯分布，并计算的到该第一高斯分布的第一均值u(i)及第一标准差σ(i)。
在步骤S108中，根据各统计特征的特征值的第一高斯分布的第一均值和第一标准差，分别判断多个样本数据是否异常。
根据本发明实施方式的互联网广告异常点击检测方法，通过配置文件，可实现统计特征的特征值提取的自动化及点击量分布生成的自动化，从而根据自动生成的点击量的分布来实现异常点击的检测。此外，通过对统计特征中使用到的算子的配置，可以灵活的对统计特征进行扩展，实现新特征的无缝接入。
应清楚地理解，本发明描述了如何形成和使用特定示例，但本发明的原理不限于这些示例的任何细节。相反，基于本发明公开的内容的教导，这些原理能够应用于许多其它实施方式。
图3是根据图2所示的互联网广告异常点击检测方法的一示例性实施例的流程图。图3进一步为图2中所示的步骤S108提供了一种实施方法，如图3所示，步骤S108包括：
在步骤S1082中，针对各统计特征i，去除多个样本数据中其统计特征i的特征值小于u(i)-2*σ(i)或者大于u(i)+2*σ(i)的样本数据。
其中u(i)为统计特征i的特征值的第一高斯分布的第一均值，σ(i)为统计特征i的特征值的第一高斯分布的第一标准差。
在步骤S1084中，根据剩余的样本数据，分别重新建立相应维度的各统计特征i的特征值的第二高斯分布，并重新获得各第二高斯分布的第二均值u2(i)和第二标准差σ2(i)。
在步骤S1086中，确定各统计特征i的特征值的第二高斯分布中的第一分位点概率密度Cp(i)、第二分位点概率密度Bp(i)及第三分位点概率密度Ap(i)。
其中，第一分位点例如可以为0.0001分位点，第二分位点例如可以为0.0125分位点，第三分位点例如可以为0.025分位点。
在步骤S1088中，分别确定所有统计特征的第一分位点概率密度的乘积Cp、第二分位点概率密度的乘积Bp及第三分位点概率密度的乘积Ap。
设共有n个统计特征，则即Cp＝Cp(1)*Cp(2)*......*Cp(n)，Bp＝Bp(1)*Bp(2)*......*Bp(n)，Ap＝Ap(1)*Ap(2)*......*Ap(n)。
在步骤S1090中，分别计算各样本数据的所有统计特征的特征值的乘积Y。
即Y＝x(1)*x(2)*......*x(n)，其中x(i)为统计特征i的特征值。
在步骤S1092中，根据Cp、Bp、Ap及各样本数据的Y，分别判断各样本数据是否异常。
例如，当某一样本数据的Y小于Cp时，确定该样本数据为极端异常；当某一样本数据的Y小于Bp时，确定该样本数据为严重异常；当某一样本数据的Y小于Ap时，确定该样本数据为一般异常。
在上述高斯异常检测中，可以对不同维度如广告位、IP地址等的统计特征进行判断，从而确定样本数据是否异常。但一个广告位上可能只有部分流量是作弊的，其他流量是正常的，为了进行更细粒度的检测及实时检测，本发明实施方式进一步提供了基于高斯异常检测的实时检测方法。
图4是根据一示例性实施方式示出的又一种互联网广告异常点击检测方法的流程图。与图2所示的方法10不同之处在于，图4所示的方法20在方法10的基础上，还包括：
在步骤202中，根据各样本数据相应维度的各统计特征的特征值及各统计特征的特征值的第二高斯分布，分别对各条日志数据进行离线标注，获得各条日志数据的标注结果，以确定各条日志中的离线点击是否异常。
离线标注需要使用高斯异常检测时所建立的各统计特征的特征值的高斯分布，从而为离线点击根据高斯异常检测时建立的分布进行标注，获得各条日志数据的标注结果，以确定各条日志中的离线点击是否异常。
在步骤S204中，对各条日志数据中的离线点击的基础特征与标注结果之间的关系进行学习，获得训练生成模型。
通过离线标注能够离线的识别点击是否作弊，但广告点击是实时扣费的，需要实时的判断点击是否为异常点击。实时的点击日志里只有基础特征，如包括：广告位ID、IP地址、点击时间等，没有离线标注中用到的聚合特征。因此，需要一个模型能学习到基础特征与异常点击检测(即标注结果)之间的关系。
具体地，在进行上述离线标注后，提取离线点击的基础特征，例如使用深度神经网络模型(Deep Neutral Network，DNN)进行学习基础特征与标注结果的关。深度神经网络模型是现有的比较成熟的技术，Theano、TensorFlow等开源框架都有提供，为了避免模糊本发明，对利用深度神经网络进行学习的说明不再赘述。
在步骤S206中，根据训练生成模型，对实时点击是否为异常点击进行实时判断。
该步骤可以由图1中实时在线模块12实施，其利用离线模块11生成的训练生成模型，对实时点击是否为异常点击进行实时判断。
根据本发明实施方式的互联网广告异常点击检测方法，利用离线高斯异常检测的结果，进一步提供对实时点击的异常检测，一方面提供了更为精细粒度的检测方法，另一方面满足了对应实时计费的检测需求。
图5是根据图4所示的互联网广告异常点击检测方法的一示例性实施例的流程图。图5进一步为图4中所示的步骤S202提供了一种实施方法，如图5所示，步骤S202包括：分别对各条日志数据执行如下操作：
在步骤S2022中，确定各统计特征的特征值。
在步骤S2024中，根据各统计特征的特征值及其第二高斯分布的第二均值u2(i)及第二标准差σ2(i)，确定各统计特征的异常度分数为：
Figure BDA0001310077450000101
其中，score(i)为统计特征i的异常度分数，fVal(i)为统计特征i的特征值。
在步骤S2026中，确定该条日志数据的总异常度为各统计特征的异常度分数的加和。
即
Figure BDA0001310077450000102
其中n为统计特征的数量。
在步骤S2028中，当总异常度大于一预设的第二阈值时，判断离线点击为异常点击；当总异常度小于第二阈值时，判断所述离线点击为正常点击。
第二阈值的取值在实际应用中可根据实际需求而设定，在此不做限定。
图6是根据图4所示的互联网广告异常点击检测方法的另一示例性实施例的流程图。图6进一步为图4中所示的步骤S202提供了一种实施方法，图6可以由图1所示的在线模块12实施，如图6所示，步骤S206包括：
在步骤S2062中，解析实时点击的基础特征。
基础特征如广告位ID、IP地址、点击时间等。
在步骤S2064中，根据实时点击的基础特征与训练生成模型，确定一预估值，预估值的区间为[0,1]。
在步骤S2066中，当预估值大于一预设的第三阈值时，判断实时点击为异常点击；当预估值小于或等于第三阈值时，判断实时点击为正常点击。
第三阈值例如可以为0.5，但本发明不以此为限，在实际应用中第三阈值可根据实际需求而具体设定。
本领域技术人员可以理解实现上述实施方式的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本发明提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。
此外，需要注意的是，上述附图仅是根据本发明示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
图7是根据一示例性实施方式示出的一种互联网广告异常点击检测装置的框图。如图7所示，装置30包括：样本提取模块302、特征值确定模块304、分布建立模块306及异常判断模块308。
其中，样本提取模块302用于从多条日志数据中分别筛选出广告点击量大于一预设的第一阈值的多个样本数据，所述样本数据为基于不同维度聚合后的点击量数据。
特征值确定模块304用于根据所述多个样本数据，基于配置化文件，分别确定相应维度的各统计特征的特征值。
所述配置化文件包括用于确定所述各统计特征的特征值的计算算子。
分布建立模块306用于建立所述各统计特征的特征值的第一高斯分布，并获得各第一高斯分布的第一均值和第一标准差。
异常判断模块308用于根据所述各统计特征的特征值的第一高斯分布的第一均值和第一标准差，分别判断所述多个样本数据是否异常。
在一些实施例中，异常判断模块308包括：样本去除子模块、分布建立子模块、概率密度确定子模块、第一乘积确定子模块、第二乘积确定子模块及异常检测子模块。其中，样本去除子模块用于针对各统计特征i，去除所述多个样本数据中其统计特征i的特征值小于u(i)-2*σ(i)或者大于u(i)+2*σ(i)的样本数据，其中u(i)为统计特征i的特征值的第一高斯分布的第一均值，σ(i)为统计特征i的特征值的第一高斯分布的第一标准差；分布建立子模块用于根据剩余的所述样本数据，分别重新建立相应维度的各统计特征i的特征值的第二高斯分布，并重新获得各第二高斯分布的第二均值u2(i)和第二标准差σ2(i)；概率密度确定子模块用于确定各统计特征i的特征值的第二高斯分布中的第一分位点概率密度Cp(i)、第二分位点概率密度Bp(i)及第三分位点概率密度Ap(i)；第一乘积确定子模块用于分别确定所有统计特征的所述第一分位点概率密度的乘积Cp、所述第二分位点概率密度的乘积Bp及所述第三分位点概率密度的乘积Ap；第二乘积确定子模块用于分别计算各样本数据的所有统计特征的特征值的乘积Y；异常检测子模块用于根据Cp、Bp、Ap及各样本数据的Y，分别判断各样本数据是否异常。
在一些实施例中，异常检测子模块还用于当所述样本数据的Y小于Cp时，确定该样本数据为极端异常；当所述样本数据的Y小于Bp时，确定该样本数据为严重异常；当所述样本数据的Y小于Ap时，确定该样本数据为一般异常。
在一些实施例中，装置30还包括：离线标注模块、模型训练模块及实时检测模块。其中离线标注模块用于根据各样本数据相应维度的各统计特征的特征值及各统计特征的特征值的第二高斯分布，分别对各条日志数据进行离线标注，获得各条日志数据的标注结果，以确定各条日志中的离线点击是否异常；模型训练模块用于对各条日志数据中的所述离线点击的基础特征与所述标注结果之间的关系进行学习，获得训练生成模型；实时检测模块用于根据所述训练生成模型，对实时点击是否为异常点击进行实时判断。
在一些实施例中，离线标注模块包括：特征值确定子模块、异常度确定子模块、总异常度确定子模块及点击判断子模块。各子模块分别对各条日志数据执行如下操作：特征值确定子模块用于确定各统计特征的特征值；异常度确定子模块用于根据各统计特征的特征值及其第二高斯分布的第二均值u2(i)及第二标准差σ2(i)，确定各统计特征的异常度分数为：
Figure BDA0001310077450000131
其中，score(i)为统计特征i的所述异常度分数，fVal(i)为统计特征i的所述特征值；总异常度确定子模块用于确定该条日志数据的总异常度为各统计特征的异常度分数的加和；点击判断子模块用于当所述总异常度大于一预设的第二阈值时，判断所述离线点击为异常点击；当所述总异常度小于所述第二阈值时，判断所述离线点击为正常点击。
在一些实施例中，实时检测模块包括：基础特征解析子模块、预估值确定子模块及点击检测子模块。其中，基础特征解析子模块用于解析所述实时点击的基础特征；预估值确定子模块用于根据所述实时点击的基础特征与所述训练生成模型，确定一预估值，所述预估值的区间为[0,1]；点击检测子模块用于当所述预估值大于一预设的第三阈值时，判断所述实时点击为异常点击；当所述预估值小于或等于所述第三阈值时，判断所述实时点击为正常点击。
需要注意的是，上述附图中所示的框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图8是根据一示例性实施方式示出的一种计算机系统的结构示意图。需要说明的是，图8示出的计算机系统仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括发送单元、获取单元、确定单元和第一处理单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，发送单元还可以被描述为“向所连接的服务端发送图片获取请求的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
从多条日志数据中分别筛选出广告点击量大于一预设的第一阈值的多个样本数据，所述样本数据为基于不同维度聚合后的点击量数据；
根据所述多个样本数据，基于配置化文件，分别确定相应维度的各统计特征的特征值；
建立所述各统计特征的特征值的第一高斯分布，并获得各第一高斯分布的第一均值和第一标准差；以及
根据所述各统计特征的特征值的第一高斯分布的第一均值和第一标准差，分别判断所述多个样本数据是否异常；
其中，所述配置化文件包括用于确定所述各统计特征的特征值的计算算子。
以上具体地示出和描述了本发明的示例性实施方式。应可理解的是，本发明不限于这里描述的详细结构、设置方式或实现方法；相反，本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (10)

1.一种互联网广告异常点击检测方法，其特征在于，包括：
从多条日志数据中分别筛选出广告点击量大于一预设的第一阈值的多个样本数据，所述样本数据为基于不同维度聚合后的点击量数据；
根据所述多个样本数据，基于配置化文件，分别确定相应维度的各统计特征的特征值；
建立所述各统计特征的特征值的第一高斯分布，并获得各第一高斯分布的第一均值和第一标准差；
根据所述各统计特征的特征值的第一高斯分布的第一均值和第一标准差，分别判断所述多个样本数据是否异常；
根据各样本数据相应维度的各统计特征的特征值及各统计特征的特征值的第二高斯分布，分别对各条日志数据进行离线标注，获得各条日志数据的标注结果，以确定各条日志中的离线点击是否异常；
对各条日志数据中的所述离线点击的基础特征与所述标注结果之间的关系进行学习，获得训练生成模型；以及
根据所述训练生成模型，对实时点击是否为异常点击进行实时判断；
其中，所述配置化文件包括用于确定所述各统计特征的特征值的计算算子。
2.根据权利要求1所述的方法，其特征在于，根据所述各统计特征的特征值的第一高斯分布的第一均值和第一标准差，分别判断所述多个样本数据是否异常包括：
针对各统计特征i，去除所述多个样本数据中其统计特征i的特征值小于u(i)-2*σ(i)或者大于u(i)+2*σ(i)的样本数据，其中u(i)为统计特征i的特征值的第一高斯分布的第一均值，σ(i)为统计特征i的特征值的第一高斯分布的第一标准差；
根据剩余的所述样本数据，分别重新建立相应维度的各统计特征i的特征值的第二高斯分布，并重新获得各第二高斯分布的第二均值u2(i)和第二标准差σ2(i)；
确定各统计特征i的特征值的第二高斯分布中的第一分位点概率密度Cp(i)、第二分位点概率密度Bp(i)及第三分位点概率密度Ap(i)；
分别确定所有统计特征的所述第一分位点概率密度的乘积Cp、所述第二分位点概率密度的乘积Bp及所述第三分位点概率密度的乘积Ap；
分别计算各样本数据的所有统计特征的特征值的乘积Y；以及
根据Cp、Bp、Ap及各样本数据的Y，分别判断各样本数据是否异常；
其中，所述第一分位点概率密度Cp(i)小于所述第二分位点概率密度Bp(i)，且所述第二分位点概率密度Bp(i)小于第三分位点概率密度Ap(i)。
3.根据权利要求2所述的方法，其特征在于，根据Cp、Bp、Ap及Y，分别判断各样本数据是否异常包括：
当所述样本数据的Y小于Cp时，确定该样本数据为极端异常；
当所述样本数据的Y小于Bp时，确定该样本数据为严重异常；
当所述样本数据的Y小于Ap时，确定该样本数据为一般异常。
4.根据权利要求1所述的方法，其特征在于，根据各样本数据相应维度的各统计特征的特征值及各统计特征的特征值的第二高斯分布，分别对各条日志数据进行离线标注，获得各条日志数据的标注结果，以确定各条日志中的离线点击是否异常包括：
分别对各条日志数据执行如下操作：
确定各统计特征的特征值；
根据各统计特征的特征值及其第二高斯分布的第二均值u2(i)及第二标准差σ2(i)，确定各统计特征的异常度分数为：
Figure FDA0002405026600000021
确定该条日志数据的总异常度为各统计特征的异常度分数的加和；以及
当所述总异常度大于一预设的第二阈值时，判断所述离线点击为异常点击；当所述总异常度小于所述第二阈值时，判断所述离线点击为正常点击；
其中，score(i)为统计特征i的所述异常度分数，fVal(i)为统计特征i的所述特征值。
5.根据权利要求4所述的方法，其特征在于，根据所述训练生成模型，对实时点击是否为异常点击进行实时判断包括：
解析所述实时点击的基础特征；
根据所述实时点击的基础特征与所述训练生成模型，确定一预估值，所述预估值的区间为[0,1]；以及
当所述预估值大于一预设的第三阈值时，判断所述实时点击为异常点击；当所述预估值小于或等于所述第三阈值时，判断所述实时点击为正常点击。
6.根据权利要求5所述的方法，其特征在于，所述基础特征包括：广告位ID、IP地址、点击时间。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述维度包括：广告位维度、IP地址维度。
8.一种互联网广告异常点击检测装置，其特征在于，包括：
样本提取模块，用于从多条日志数据中分别筛选出广告点击量大于一预设的第一阈值的多个样本数据，所述样本数据为基于不同维度聚合后的点击量数据；
特征值确定模块，用于根据所述多个样本数据，基于配置化文件，分别确定相应维度的各统计特征的特征值；
分布建立模块，用于建立所述各统计特征的特征值的第一高斯分布，并获得各第一高斯分布的第一均值和第一标准差；
异常判断模块，用于根据所述各统计特征的特征值的第一高斯分布的第一均值和第一标准差，分别判断所述多个样本数据是否异常；
离线标注模块，用于根据各样本数据相应维度的各统计特征的特征值及各统计特征的特征值的第二高斯分布，分别对各条日志数据进行离线标注，获得各条日志数据的标注结果，以确定各条日志中的离线点击是否异常；
模型训练模块，用于对各条日志数据中的所述离线点击的基础特征与所述标注结果之间的关系进行学习，获得训练生成模型；以及
实时检测模块，用于根据所述训练生成模型，对实时点击是否为异常点击进行实时判断；
其中，所述配置化文件包括用于确定所述各统计特征的特征值的计算算子。
9.一种计算机设备，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，其特征在于，所述处理器执行所述可执行指令时实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，所述可执行指令被处理器执行时实现如权利要求1-7任一项所述的方法。
CN201710402564.1A 2017-06-01 2017-06-01 互联网广告异常点击检测方法、装置、设备及可读存储介质 Active CN107168854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710402564.1A CN107168854B (zh) 2017-06-01 2017-06-01 互联网广告异常点击检测方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710402564.1A CN107168854B (zh) 2017-06-01 2017-06-01 互联网广告异常点击检测方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN107168854A CN107168854A (zh) 2017-09-15
CN107168854B true CN107168854B (zh) 2020-06-30

Family

ID=59822174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710402564.1A Active CN107168854B (zh) 2017-06-01 2017-06-01 互联网广告异常点击检测方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN107168854B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109561052B (zh) * 2017-09-26 2022-01-28 北京国双科技有限公司 网站异常流量的检测方法及装置
CN110020351B (zh) * 2017-09-29 2021-08-13 北京国双科技有限公司 点击热力图异常检测方法及装置
CN109586990B (zh) * 2017-09-29 2021-11-02 北京国双科技有限公司 一种识别作弊流量的方法及装置
WO2019109756A1 (en) 2017-12-05 2019-06-13 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for cheat examination
CN109961200A (zh) * 2017-12-25 2019-07-02 北京嘀嘀无限科技发展有限公司 监控提醒方法、监控提醒系统、计算机设备和存储介质
CN108536777B (zh) * 2018-03-28 2022-03-25 联想(北京)有限公司 一种数据处理方法、服务器集群及数据处理装置
CN108537174B (zh) * 2018-04-09 2020-05-08 山东大学 时变工况条件下旋转机械运行状态在线监测方法及系统
CN110210886B (zh) * 2018-05-31 2023-08-22 腾讯科技（深圳）有限公司 识别虚假操作方法、装置、服务器、可读存储介质、系统
CN108959415B (zh) * 2018-06-07 2022-03-04 北京奇艺世纪科技有限公司 一种异常维度定位方法、装置及电子设备
CN109359966B (zh) * 2018-07-25 2021-12-21 西北工业大学 一种检测物流包裹计费异常的方法及设备
CN109146574A (zh) * 2018-09-06 2019-01-04 深圳市木瓜移动科技有限公司 广告点击作弊监测方法及装置
CN109582553A (zh) * 2018-11-12 2019-04-05 咪咕文化科技有限公司 一种媒体播放行为的检测方法、装置及存储介质
CN109905738B (zh) * 2019-03-26 2022-03-08 湖南快乐阳光互动娱乐传媒有限公司 视频广告异常展现监测方法及装置、存储介质和电子设备
CN111899040B (zh) * 2019-05-05 2023-09-01 腾讯科技（深圳）有限公司 目标对象异常传播的检测方法、装置、设备及存储介质
CN110399366A (zh) * 2019-07-29 2019-11-01 秒针信息技术有限公司 数据过滤方法、装置、服务器及计算机可读存储介质
CN110830450A (zh) * 2019-10-18 2020-02-21 平安科技（深圳）有限公司 基于统计的异常流量监测方法、装置、设备及存储介质
CN111594391A (zh) * 2020-03-31 2020-08-28 华电电力科学研究院有限公司 一种风力发电塔筒倾斜度在线监测方法
CN111641629B (zh) * 2020-05-28 2021-08-10 腾讯科技（深圳）有限公司 一种异常行为检测方法、装置、设备及存储介质
CN111953557B (zh) * 2020-07-08 2021-09-17 北京明略昭辉科技有限公司 一种广告点位异常流量识别的方法和装置
CN112001758B (zh) * 2020-08-26 2024-01-30 豆盟(北京)科技股份有限公司 一种广告互动页的状态异常监测方法、装置
CN113486302A (zh) * 2021-07-12 2021-10-08 浙江网商银行股份有限公司 数据处理方法及装置
CN113806047A (zh) * 2021-09-16 2021-12-17 北京沃东天骏信息技术有限公司 数据运行优化处理方法和装置
CN115392489A (zh) * 2022-10-31 2022-11-25 北京亿赛通科技发展有限责任公司 异常用户检测方法、装置、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7734502B1 (en) * 2005-08-11 2010-06-08 A9.Com, Inc. Ad server system with click fraud protection
CN104765874B (zh) * 2015-04-24 2019-03-26 百度在线网络技术（北京）有限公司 用于检测点击作弊的方法及装置
CN106529721B (zh) * 2016-11-08 2018-12-25 安徽大学 一种深度特征提取的广告点击率预测系统及其预测方法
CN106651458B (zh) * 2016-12-29 2020-07-07 腾讯科技（深圳）有限公司 一种广告反作弊方法和装置

Also Published As

Publication number Publication date
CN107168854A (zh) 2017-09-15

Similar Documents

Publication Publication Date Title
CN107168854B (zh) 互联网广告异常点击检测方法、装置、设备及可读存储介质
CN106951925B (zh) 数据处理方法、装置、服务器及系统
CN110442712B (zh) 风险的确定方法、装置、服务器和文本审理系统
WO2021254027A1 (zh) 一种可疑社团的识别方法、装置、存储介质和计算机设备
CN111598360B (zh) 服务策略确定方法、装置及电子设备
CN114090601B (zh) 一种数据筛选方法、装置、设备以及存储介质
CN113538154B (zh) 风险对象的识别方法、装置、存储介质和电子设备
CN111598494A (zh) 资源额度的调整方法、装置及电子设备
CN107766316B (zh) 评价数据的分析方法、装置及系统
CN108491875A (zh) 一种数据异常检测方法、装置、设备及介质
CN111340062A (zh) 一种映射关系确定方法及装置
CN113591900A (zh) 一种高需求响应潜力用户的识别方法、装置及终端设备
CN117994021A (zh) 一种资产核销方式的辅助配置方法、装置、设备及介质
US20140129561A1 (en) Risk analysis using unstructured data
CN108959289B (zh) 网站类别获取方法和装置
CN115393034A (zh) 基于自然语言处理技术对企业账户进行风险识别的方法
CN107357703B (zh) 一种终端应用耗电检测方法及服务器
CN114285896B (zh) 信息推送方法、装置、设备、存储介质及程序产品
CN113568739B (zh) 用户资源额度分配方法、装置及电子设备
CN113297479B (zh) 一种用户画像生成方法、装置及电子设备
CN115147195A (zh) 一种招标采购风险监控方法、装置、设备及介质
CN114385878A (zh) 政务数据的可视化展示方法、装置及终端设备
CN114581219A (zh) 一种反电信网络诈骗预警方法及系统
CN114004629A (zh) 数据分析的方法及装置
CN110348190B (zh) 基于用户操作行为的用户设备归属判断方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant