CN113689270A - 黑产设备的确定方法、电子设备、存储介质及程序产品 - Google Patents

黑产设备的确定方法、电子设备、存储介质及程序产品 Download PDF

Info

Publication number
CN113689270A
CN113689270A CN202111237595.9A CN202111237595A CN113689270A CN 113689270 A CN113689270 A CN 113689270A CN 202111237595 A CN202111237595 A CN 202111237595A CN 113689270 A CN113689270 A CN 113689270A
Authority
CN
China
Prior art keywords
nodes
anchor point
node
subgraph
graph network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111237595.9A
Other languages
English (en)
Other versions
CN113689270B (zh
Inventor
郝怡然
张洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Cloud Computing Ltd
Original Assignee
Alibaba Cloud Computing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Cloud Computing Ltd filed Critical Alibaba Cloud Computing Ltd
Priority to CN202111237595.9A priority Critical patent/CN113689270B/zh
Publication of CN113689270A publication Critical patent/CN113689270A/zh
Application granted granted Critical
Publication of CN113689270B publication Critical patent/CN113689270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了一种黑产设备的确定方法、电子设备、存储介质及程序产品，其中，黑产设备的确定方法包括：以电子设备为节点，以电子设备的关联关系为边，构建图网络，并根据电子设备中的应用访问信息将图网络划分为多个子图，确定每个子图中作为锚点的节点；计算每个子图中的锚点的全局向量，并计算子图中除锚点外的其他节点相对于锚点的局部向量，根据锚点的全局向量以及其他节点相对于锚点的局部向量，确定其他节点的全局向量；根据图网络中的节点的全局向量，确定图网络中的黑产节点。本申请中的图网络的构建以及后续计算的计算量均较小，使得本申请实施例提供的方案尤其适用于具有超大量电子设备的黑产识别场景中。

Description

黑产设备的确定方法、电子设备、存储介质及程序产品
技术领域
本申请实施例涉及计算机技术领域，尤其涉及一种黑产设备的确定方法、电子设备、存储介质及程序产品。
背景技术
随着互联网的发展，网络购物成为越来越多的人的采购方式。而商家会通过在网络上发放优惠券等方式吸引顾客。然而，这些促销方式吸引了很多黑产。
黑产设备是指在网络上注册垃圾账号等方式撸商家羊毛来获利的人所使用的电子设备，这种获利行为会导致商家投入很多资金但却并为吸引到真正的客户，且获利过程产生的虚假访问回对商家造成干扰，进一步影响商家决策。然而，随着使用网络购物的人越来越多，从中识别出黑产设备的难度也越来越大。
有鉴于此，现有技术亟需解决的技术问题是如何提供一种快速识别出黑产设备的方案。
发明内容
有鉴于此，本申请实施例提供一种黑产设备的确定方案，以至少部分解决上述问题。
根据本申请实施例的第一方面，提供了一种黑产设备的确定方法，包括：以电子设备为节点，以所述电子设备的关联关系为边，构建图网络，并根据所述电子设备中的应用访问信息将所述图网络划分为多个子图，确定每个子图中作为锚点的节点；计算每个子图中的所述锚点的全局向量，并针对每个子图，根据所述子图中锚点的全局向量，计算该子图中除锚点外的其他节点的全局向量；根据所述图网络中的节点的全局向量，确定所述图网络中的黑产节点。
根据本申请实施例的第二方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上所述的黑产设备的确定方法对应的操作。
根据本申请实施例的第三方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的黑产设备的确定方法。
根据本申请实施例的第四方面，提供了一种计算机程序产品，包括计算机指令，所述计算机指令指示计算设备执行如上所述的黑产设备的确定方法对应的操作。
根据本申请实施例提供的黑产设备的确定方案，通过以电子设备为节点，以所述电子设备的关联关系为边，构建图网络，使得图网络的构建过程所需的计算量较小，并根据所述电子设备中的应用访问信息将所述图网络划分为多个子图，确定每个子图中作为锚点的节点，使得后续计算节点的全局向量所需的计算量较小，由于图网络的构建以及全局向量计算所需的计算量均较小，使得本申请实施例提供的方案尤其适用于具有超大量电子设备的黑产识别场景中，且在计算节点的全局向量时，计算每个子图中的所述锚点的全局向量，并计算子图中除锚点外的其他节点相对于锚点的局部向量，根据锚点的全局向量以及其他节点相对于锚点的局部向量，确定其他节点的全局向量，使得其他节点的全局向量可以更准确地刻画节点在图网络中的位置，进而在根据所述图网络中的节点的全局向量，确定所述图网络中的黑产节点时，确定出的黑产节点的准确率更高。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1A为根据本申请实施例一的一种黑产设备的确定方法的步骤流程图；
图1B为图1A所示实施例中的一种场景示例的示意图；
图2A为根据本申请实施例二的一种黑产设备的确定方法的步骤流程图；
图2B为图2A所示实施例中的一种向量映射原理示意图；
图2C为图2A所示实施例中的一种场景示例的示意图；
图3为根据本申请实施例三的一种黑产设备的确定装置的结构框图；
图4为根据本申请实施例四的一种电子设备的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
下面结合本申请实施例附图进一步说明本申请实施例具体实现。
图1A为本申请实施例提供的一种黑产设备的确定方法的流程示意图，如图所示，其包括：
S101、以电子设备为节点，以所述电子设备的关联关系为边，构建图网络，并根据所述电子设备中的应用访问信息将所述图网络划分为多个子图，确定每个子图中作为锚点的节点。
本实施例中，由于黑产设备一般具有关联性，例如，一般黑产设备都是聚集性活动，一组黑产设备之间会存在消息传输等。因此，本实施例中，可以以所述电子设备的关联关系为边，使得图网络中节点的结构信息可以表征电子设备之间的关联关系，例如，将IP地址相同的电子设备之间的节点之间增加边、将位于同一位置的电子设备之间增加边、将存在消息传输的电子设备对应的节点之间增加边等，并在后续步骤中基于此识别出黑产节点。
一般情况下，由于一个黑产团伙中的多个黑产设备之间均会采用类似的应用来完成账号注册等操作，进而可以完成薅羊毛等获利行为。因此，一般黑产设备访问的应用之间会存在较高的相似性。为此，在识别黑产设备时，会将黑产设备之间应用的相似度为边，构建图网络，从而可以根据图网络实现黑产设备的识别。然而，由于使用网络购物的人越来越多，导致电子设备的数量极大，针对一些大型的购物网站，每天访问的电子设备可能上千万或者上亿，导致从如此多的电子设备中识别出黑产设备的难度极大。
以一天访问购物网站的电子设备的数量为五千万为例，若仍然采用上述方案，针对任意两个电子设备之间均需计算应用相似度才能得到图网络的边，需要1015计算才能完成图网络的构建，整个过程所需的计算量极大。
而本实施例中，以电子设备之间的关联关系为边进行图网络的构建，电子设备的关联关系可以直接根据电子设备的相关信息获得，当判断两个电子设备的某个参数（如地理位置参数等）相等时，即可建立两个电子设备对应节点之间的边，整个过程无需计算相似度，与上述方案相比，本实施例提供的方案所需的计算量极小。
另外，为了能够依据电子设备访问的应用，从海量的电子设备中识别出黑产电子设备，同时为了减小后续步骤的计算量，本实施例中，按照电子设备访问的应用将图网络划分为了多个子图。另外，为了防止多个子图割裂导致全局信息丢失，本实施例中，还在每个子图中确定出作为锚点的节点，通过锚点之间的关联关系反映多个子图之间的关联关系。
S102、计算每个子图中的所述锚点的全局向量，并计算子图中除锚点外的其他节点相对于锚点的局部向量，根据锚点的全局向量以及其他节点相对于锚点的局部向量，确定其他节点的全局向量。
本实施例中，全局向量是指基于完整的图网络获得的图嵌入向量，用于刻画该节点在图网络中的结构信息，局部向量是指基于子图获得的图嵌入向量，由于刻画节点在子图中的结构信息，具体计算全局向量和局部向量的方法可参考相关技术，在此不再赘述。
本实施例不对“计算子图中的锚点的全局向量”以及“计算子图中除锚点外的其他节点相对于锚点的局部向量”两个步骤的先后顺序不进行限定，只要能够在确定其他节点的全局向量前确定即可。
由于确定的是子图中除锚点之外的其他节点相对于锚点的局部向量，且同时获得了锚点的全局向量，由此，可以基于锚点的全局向量对其他节点的局部向量进行映射，获得其他节点的全局向量。至此，可获得图网络中所有节点的全局向量。
S103、根据所述图网络中的节点的全局向量，确定所述图网络中的黑产节点。
本实施例中，由于全局向量是指基于完整的图网络获得的图嵌入向量，其可以刻画该节点在图网络中的结构信息，例如，该节点的近邻节点、该节点与近邻接点之间的相似度等，而黑产设备之间具有关联性。因此，本实施例中，可以基于节点的全局向量，确定出图网络中的黑产节点，黑产节点对应的电子设备即黑产设备。
下面通过一具体实现场景，对本申请的方案进行示例性说明。
本实施例中，可以采集一天内访问预设购物网站的所有电子设备的信息，电子设备的信息可以包括电子设备的地理位置、电子设备访问购物网站的时间、电子设备的应用访问信息等。应用访问信息可以为访问购物网站时关联至的应用的信息，例如通过应用跳转至购物网站，或者，通过购物网站跳转至应用，或者，在访问购物网站时同时访问的应用等。
之后可以以电子设备为节点，根据电子设备的信息确定出的电子设备之间的关联关系为边，构建图网络，构建出的图网络可以如图1B所示。当然，图1B中的图网络仅为示例性说明，在实际使用时，图网络中的节点可能为上千万或者上亿等。由于直接根据电子设备的关联关系构建图网络，无需进行相似度计算，极大地减少了图网络的构建过程所需的计算量。
建立图网络后，可以根据电子设备的应用访问信息将图网络划分为多个子图，并可以确定出子图中作为锚点的节点，每个子图可以对应一被访问的应用，子图中包括的节点即访问过该应用的电子设备对应的节点。参见图1B，可以将图网络划分为3个子图，子图中具有阴影的节点为锚点。
针对多个子图中的锚点，可以计算得到锚点的全局向量。由于所计算的全局向量的数量较少，因此，计算过程的计算量也较少。
针对多个子图中除锚点之外的其他节点，可以根据子图中节点之间的关联关系，计算出其他节点相对于锚点的局部向量。由于子图中节点的数量远远小于图网络中节点的数量，因此，计算局部向量的计算量也远远少于计算全局向量的计算量。
参见图1B，计算锚点的全局向量的过程可以为section0，计算结果为锚点的全局向量。针对子图，计算其他节点相对于锚点的局部向量的过程可以为section1-sections；计算得到其他节点相对于锚点的局部向量后，可以根据锚点的全局向量，得到节点的全局向量。
由于子图是根据应用访问信息划分的，因此，节点在子图中的局部向量可以反映访问该应用的多个电子设备之间的关联；另外，由于节点的全局向量是根据节点相对于锚点的局部向量以及锚点的全局向量得到的，因此，节点的全局向量可以更准确地刻画节点在图网络中的位置，进而可以根据节点的全局向量更加准确地确定出图网络中的黑产节点。
本实施例提供的方案，通过以电子设备为节点，以所述电子设备的关联关系为边，构建图网络，使得图网络的构建过程所需的计算量较小，并根据所述电子设备中的应用访问信息将所述图网络划分为多个子图，确定每个子图中作为锚点的节点，使得后续计算节点的全局向量所需的计算量较小，由于图网络的构建以及全局向量计算所需的计算量均较小，使得本申请实施例提供的方案尤其适用于具有超大量电子设备的黑产识别场景中，且在计算节点的全局向量时，计算每个子图中的所述锚点的全局向量，并计算子图中除锚点外的其他节点相对于锚点的局部向量，根据锚点的全局向量以及其他节点相对于锚点的局部向量，确定其他节点的全局向量，使得其他节点的全局向量可以更准确地刻画节点在图网络中的位置，进而在根据所述图网络中的节点的全局向量，确定所述图网络中的黑产节点时，确定出的黑产节点的准确率更高。
本实施例的黑产设备的确定方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端（如手机、PAD等）和PC机等。
图2A为本申请实施例提供的一种黑产设备的确定方法的流程示意图，如图所示，其包括：
S201、以电子设备为节点，以所述电子设备的关联关系为边，构建图网络。
具体构建图网络的方法可参考相关技术，在此不再赘述。
S202、根据所述电子设备中的应用访问信息将所述图网络划分为多个子图，确定每个子图中作为锚点的节点。
本实施例中，可以根据所述电子设备中的应用访问信息，将访问同一应用的电子设备对应的节点划分至一个子图中，以将所述图网络划分为多个子图。
具体地，可以确定多个电子设备访问的k个应用，并基于k个应用，将访问同一应用的电子设备对应的节点划分至一个子图中，以将所述图网络划分为k个子图。由于一个黑产团伙的多个黑产设备访问同一应用的可能性很高，因此通过按照电子设备访问的应用实现子图的划分，可以尽量使得属于同一黑产团伙的黑产节点聚集到一个或多个子图中，便于后续计算。
可选地，若k个子图中部分子图中的节点数量仍然较多，可以将k个子图中的部分或全部进行随机社群划分，获得多个子图。由此，可以保证获得的多个子图中的节点数量均较少。
另外，上述过程仅按照访问的应用进行划分或者随机划分，所需的计算量极小。
可选地，若存在访问多个应用的电子设备，则针对访问多个应用的电子设备，根据所述电子设备访问的应用的数量，将所述电子设备对应的节点分裂为对应数量的多个节点；按照所述电子设备访问的应用，将分裂出的多个节点分别划分至多个应用对应的子图中。由此，可以基于不同的应用对应的子图，分别刻画电子设备对应的多个节点的全局向量，从而基于不同的应用判断电子设备是否为黑产节点。
具体地，针对电子设备umid1，若该电子设备访问了两个应用，则可以将电子设备对应的节点umid1分裂为两个节点，两个节点分别记为“umid1#APP1”、“umid1#APP2”，节点“umid1#APP1”被划分至应用APP1对应的子图中，节点“umid1#APP2”被划分至应用APP2对应的子图中。
本实施例中，确定每个子图中作为锚点的节点，可以包括：确定子图中度最大的节点为子图的锚点；或者，从子图中随机选择一个节点作为子图的锚点。
节点的“度”是指与节点连接的边的数量。选择子图中度最大的节点为子图的锚点，可以使得锚点在子图中的影响力较大，使得锚点的全局向量更能够代表子图在全局中的位置，使得后续计算得到的其他节点的全局向量能够更加准确地刻画节点在图网络中的位置。
另外，从子图中随机选择一个节点，所需的计算量较小，进一步减小了确定黑产节点所需的计算量。
当然，上述仅针对优选方案进行举例说明，其他确定锚点的方案也在本申请的保护范围内。
S203、计算每个子图中的所述锚点的全局向量，并针对每个子图，计算该子图中除锚点外的其他节点相对于锚点的局部向量，根据锚点的全局向量以及其他节点相对于锚点的局部向量，确定其他节点的全局向量。
本实施例中，计算子图中锚点的全局向量时，可以基于图网络采用GraRep等方法计算得到锚点的全局向量，具体计算方法可参考相关技术，在此不再赘述。
本实施例中，针对子图，计算子图中除锚点之外的其他节点相对于锚点的局部向量时，针对每个子图，将子图中的锚点作为常量，并基于所述子图中节点的关联关系进行计算，获得子图中的各个节点相对于锚点的局部向量。具体可以采用GraRep等方式实现基于子图中节点的关联关系进行计算。具体计算方法同样可参考相关技术，在此不再赘述。
根据锚点的全局向量，以及其他节点相对于锚点的局部向量，计算其他节点的全局向量时，可以采用基于空间的映射。
具体地，参见图2B，下面对全局向量的计算方式进行示例性说明。
设M为图网络原始的邻接矩阵，W为参数矩阵，C为节点对应的全局向量，WTC构成重建矩阵，则计算节点的全局向量的过程中，要使得原始的邻接矩阵和重建矩阵之间的误差尽量小。即：
Figure 223171DEST_PATH_IMAGE001
在本申请的方案中，参见图2B，将图网络划分为了s个子图，则在计算上述向量C时，可以在s个小的矩阵内进行计算，减小了计算量。
具体地，将图网络划分为s个子图后，可以从子图中作为锚点的节点，共确定出确定s个锚点，则原始的邻接矩阵：
Figure 140312DEST_PATH_IMAGE002
其中，Mii对应第i个子图的锚点，Mij对应第i个子图的锚点和第j个子图的锚点之间的关系，亦可等价为第i个子图和第j个子图之间的关联关系，i=1,2，…s，j=1,2…s。
根据上述“要使得原始的邻接矩阵和重建矩阵之间的误差尽量小”的约束，结合上述锚点对应的矩阵，并设
Figure 920049DEST_PATH_IMAGE003
后，可以基于下述方式，计算出基于W0和C0表示的Wi和Ci，i=1,2，…s。其中，W为
Figure 128308DEST_PATH_IMAGE004
另，针对子图，可以采用与上述类似的方式，将锚点作为常量（类似上述
Figure 942680DEST_PATH_IMAGE005
），计算出除锚点之外的其他节点相对于锚点的局部向量。
计算获得局部向量后，可以基于图2B示出的映射原理图，得到节点的全局向量。
示例地，图2B左侧示出了三个子图，图2B右侧矩阵的第一行和第一列中的landmark-information（锚点信息）可以对应上述的W0和C0。图2B中的右侧矩阵的主对角线中的第i个元素可以对应于第i个子图中的其他节点相对于锚点的局部信息，i=1,2，3。图2B中右侧矩阵的除第一行、第一列及主对角线之外的其他元素Gij可以为上述根据锚点计算得到的锚点之间的关联关系，即子图之间的关联关系Wi TCj，i=1,2，3，j=1,2,3。
当然，图2B仅示出了进行向量映射的原理图，具体进行映射获得全局向量的方法本领域的技术人员可根据需求选择，本实施例对此不进行限定。
根据上述方案，可以获得所有节点的全局向量。
S204、将所述图网络中节点的全局向量输入至训练的所述第一神经网络模型，通过所述神经网络模型的输出节点对应的第一评价数据。
本实施例中，为了使得结果更加准确，第一神经网络模型优选为深度神经网络（Deep NeuralNetworks，DNN），当然，其他能够根据图网络中节点的全局向量进行预测的神经网络模型也在本申请的保护范围内。
具体地，可以按照周期执行本方案，则可以将上一周期中的确定为黑产节点和非黑产节点的全局向量作为训练样本，对第一神经网络模型进行监督训练。具体训练的方法可参考相关技术，在此不在赘述。
本实施例中，评价数据用于表征所述节点为黑产节点的可能性，此处的第一评价数据以及后续步骤中的第二评价数据为基于不同的源数据确定出的评价数据，均用于表征所述节点为黑产节点的可能性。
S205、根据所述图网络中节点对应的第一评价数据，确定所述图网络中的黑产节点。
可选地，本实施例中，若电子设备对应的节点被分裂为多个，则，本步骤中，可以针对访问多个应用的电子设备，根据所述电子设备对应的分裂出的多个节点的全局向量，分别确定出多个节点为黑产节点的可能性；根据多个节点为黑产节点的可能性，确定与多个节点对应的一个电子设备为黑产设备的可能性。
具体地，可以根据多个被分裂出的节点对应的全局向量，分别计算各个节点对应的第一评价数据，然后可以根据多个第一评价数据，确定多个节点对应的一个电子设备是否为黑产设备。示例地，若根据多个第一评价数据，将该电子设备对应的多个节点中的任一个节点确定为黑产节点，则确定该电子设备为黑产设备；或者，若根据多个第一评价数据，将该电子设备对应的多个节点中的一半及以上的节点确定为黑产节点，则确定该电子设备为黑产设备。
可选地，本实施例中，为了提高召回率，还可以获得节点对应的电子设备的历史请求序列，其中，所述历史请求序列为所述电子设备访问预设网络地址的请求序列；将节点的评价数据与历史请求序列进行拼接，获得拼接序列；将所述拼接序列输入至基于序列的第二神经网络模型，通过所述第二神经网络模型输出节点对应的第二评价数据；根据所述图网络中节点对应的第二评价数据，确定所述图网络中的黑产节点。第一评价数据基于电子设备的应用程序确定，历史请求序列可以表征电子设备访问预设网络地址的连续动作，通过拼接序列，可以结合电子设备的访问动作以及电子设备的应用程序，从两个方面判断节点是否为黑产节点，提高了黑产节点的召回率。
具体地，本实施例中，第二神经网络模型可以为长短期记忆网络模型（LongShort-Term Memory，LSTM）、transformer等任意基于序列的神经网络模型，本实施例对此不进行限定。与上述第一神经网络模型类似，若按照周期执行本方案，则可以将上一周期中的确定为黑产节点和非黑产节点的全局向量作为训练样本，对第二神经网络模型进行训练。具体训练的方法可参考相关技术，在此不在赘述。
本实施例中，为了减小计算量，可以仅获得预设时间段内的历史请求序列，例如一天内的历史请求序列。
可选地，本实施例中，为了进一步提高召回率，所述将节点的第一评价数据与历史请求序列进行拼接，获得拼接序列，包括：确定所述历史请求序列中包括的多个单条请求，并将第一评价数据拼接至各个单条请求，获得拼接序列。当然，其他拼接第一评价数据与历史请求序列的方案也在本申请的保护范围内。
另外需要说明的是，若电子设备对应的节点被分裂为多个，则在本申请的一种实现方式中，可以根据某一电子设备对应的多个节点的第一评价数据，确定该电子设备对应的第一评价数据，即将多个节点进行合并得到与电子设备一一对应的节点，并确定节点对应的第一评价数据，再将电子设备的第一评价数据与电子设备的历史请求序列进行拼接，获得拼接序列，然后可以将所述拼接序列输入至基于序列的第二神经网络模型，通过所述第二神经网络模型输出电子设备对应的第二评价数据；根据电子设备对应的第二评价数据，确定黑产设备。
在本申请的另一种实现方式中，若电子设备对应的节点被分裂为多个，还可以根据某一电子设备对应的多个节点的第一评价数据，分别与电子设备对应的历史请求序列进行拼接，获得多个节点分别对应的多个拼接序列；然后可以将多个拼接序列分别输入至基于序列的第二神经网络模型，通过所述第二神经网络模型输出多个节点分别对应的第二评价数据；根据多个第二评价数据，确定与多个节点对应的一个电子设备是否为黑产设备。示例地，若根据多个第二评价数据，将该电子设备对应的多个节点中的任一个节点确定为黑产节点，则确定该电子设备为黑产设备；或者，若根据多个第二评价数据，将该电子设备对应的多个节点中的一半及以上的节点确定为黑产节点，则确定该电子设备为黑产设备。
参见图2C，下面通过一具体场景，对本实施例的方案进行示例性说明。
针对请求发起端的电子设备，可以采集电子设备一天内的应用访问信息以及访问预设网站地址的请求。
电子设备可以通过设备指纹（umid）进行区分，设备指纹为每一个操作设备对应的唯一ID。
针对采集到的应用访问信息：
以电子设备为节点，以电子设备的关联关系为边，构建图网络，并可以按照电子设备访问的应用，将图网络划分为多个子图。例如，可以确定出k个或k类应用，并将访问对应应用的电子设备对应的节点划分至同一子图中，从而获得k个子图。若部分或全部子图中节点的数量仍然较多，则可以再通过随机划分的方式将k个子图中的部分或全部进一步划分。
子图划分完成后，可以确定子图中作为锚点Landmarks的节点。示例的，可以采用随机确定的方式确定锚点，或者可以选择度最大的节点作为锚点。
锚点选择完成后，可以计算锚点的全局向量，并针对子图计算出锚点外的其他节点相对于锚点的局部向量，进而结合锚点的全局向量及其他节点相对于锚点的局部向量，确定其他节点的全局向量。
当所有节点的全局向量计算完成后，可以将节点的全局向量输入至训练的第一神经网络模型（DNN）中，通过第一神经网络模型输出节点对应的第一评价分数。第一评价分数可以用于确定节点为黑产节点的概率。
针对采集的电子设备访问预设网站地址的请求，可以将多条请求进行排序，获得历史请求序列，由此，历史请求序列可以用于表征电子设备访问预设网站地址的所有访问动作。
针对某个电子设备的历史请求序列中的各条请求，可以将上述步骤中确定的该电子设备对应节点的第一评价分数拼接（concat）至请求结尾，获得拼接序列。然后可以将拼接序列输入至基于序列的第二神经网络模型（LSTM），并通过第二神经网络模型输出节点的第二评价分数。
通过将第一评价分数与历史请求序列进行拼接，可以根据电子设备中的应用程序以及电子设备访问预设网站地址的访问动作两方面判断电子设备对应的节点是否为黑产节点，即判断电子设备是否为黑产设备，提高了召回率。
本实施例的黑产设备的确定方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端（如手机、PAD等）和PC机等。
图3为本申请实施例提供的一种黑产设备的确定装置的结构示意图，如图所示，其包括:
图构建模块301，用于以电子设备为节点，以所述电子设备的关联关系为边，构建图网络，并根据所述电子设备中的应用访问信息将所述图网络划分为多个子图，确定每个子图中作为锚点的节点；
向量计算模块302，用于计算每个子图中的所述锚点的全局向量，并计算子图中除锚点外的其他节点相对于锚点的局部向量，根据锚点的全局向量以及其他节点相对于锚点的局部向量，确定其他节点的全局向量；
黑产确定模块303，用于根据所述图网络中的节点的全局向量，确定所述图网络中的黑产节点。
可选地，本申请任意实施例中，图构建模块具体用于根据所述电子设备中的应用访问信息，将访问同一应用的电子设备对应的节点划分至一个子图中，以将所述图网络划分为多个子图。
可选地，本申请任意实施例中，若存在访问多个应用的电子设备，则图构建模块具体用于针对访问多个应用的电子设备，根据所述电子设备访问的应用的数量，将所述电子设备对应的节点分裂为对应数量的多个节点；按照所述电子设备访问的应用，将分裂出的多个节点分别划分至多个应用对应的子图中。
可选地，本申请任意实施例中，黑产确定模块具体用于针对访问多个应用的电子设备，根据所述电子设备对应的分裂出的多个节点的全局向量，分别确定出多个节点为黑产节点的可能性；根据多个节点为黑产节点的可能性，确定与多个节点对应的一个电子设备为黑产设备的可能性。
可选地，本申请任意实施例中，针对节点数量大于预设数量的子图，采用随机社群划分的方式对子图进行进一步划分。
可选地，本申请任意实施例，黑产确定模块包括：第一评价数据输出模块，用于将所述图网络中节点的全局向量输入至所述第一神经网络模型，通过所述神经网络模型的输出节点对应的第一评价数据，所述评价数据用于表征所述节点为黑产节点的可能性；第一确定模块，用于根据所述图网络中节点对应的第一评价数据，确定所述图网络中的黑产节点。
可选地，本申请任意实施例中，所述确定模块包括：序列确定模块，用于获得节点对应的电子设备的历史请求序列，其中，所述历史请求序列为所述电子设备访问预设网络地址的请求序列；拼接模块，用于将节点的第一评价数据与历史请求序列进行拼接，获得拼接序列；第二评价数据输出模块，用于将所述拼接序列输入至基于序列的第二神经网络模型，通过所述第二神经网络模型输出节点对应的第二评价数据；第二确定模块，用于根据所述图网络中节点对应的第二评价数据，确定所述图网络中的黑产节点。
可选地，本申请任意实施例中，所述拼接模块用于确定所述历史请求序列中包括的多个单条请求，将所述第一评价数据拼接至各个单条请求，获得拼接序列。
可选地，本申请任意实施例中，向量计算模块具体用于计算每个子图中的所述锚点的全局向量；针对每个子图，将子图中的锚点作为常量，并基于所述子图中节点的关联关系进行计算，获得子图中的各个节点相对于锚点的局部向量；根据多个锚点分别对应的全局向量，将所述节点相对于锚点的局部向量映射为所述节点在所述图网络中的全局向量。
可选地，本申请任意实施例中，图构建模块具体用于确定子图中度最大的节点为子图的锚点；或者，从子图中随机选择一个节点作为子图的锚点。
本实施例的黑产设备的确定装置用于实现前述多个方法实施例中相应的黑产设备的确定方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的黑产设备的确定装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。
参照图4，示出了本申请实施例提供的一种电子设备的结构示意图，本申请具体实施例并不对电子设备的具体实现做限定。
如图4所示，该电子设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中：
处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。
通信接口404，用于与其它电子设备或服务器进行通信。
处理器402，用于执行程序410，具体可以执行上述黑产设备的确定方法实施例中的相关步骤。
具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。
处理器402可能是CPU（central processing unit），或者是特定集成电路ASIC（Application Specific Integrated Circuit），或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。
程序410中各步骤的具体实现可以参见上述黑产设备的确定方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
本申请实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述多个方法实施例中的任一黑产设备的确定方法。
本申请实施例还提供了一种计算机程序产品，包括计算机指令，该计算机指令指示计算设备执行上述多个方法实施例中的任一黑产设备的确定方法对应的操作。
需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。
上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质（诸如CD ROM、RAM、软盘、硬盘或磁光盘）中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件（诸如ASIC或FPGA）的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件（例如，RAM、ROM、闪存等），当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的黑产设备的确定方法。此外，当通用计算机访问用于实现在此示出的黑产设备的确定方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的黑产设备的确定方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。

Claims (13)

1.一种黑产设备的确定方法，包括：
以电子设备为节点，以所述电子设备的关联关系为边，构建图网络，并根据所述电子设备中的应用访问信息将所述图网络划分为多个子图，确定每个子图中作为锚点的节点；
计算每个子图中的所述锚点的全局向量，并计算子图中除锚点外的其他节点相对于锚点的局部向量，根据锚点的全局向量以及其他节点相对于锚点的局部向量，确定其他节点的全局向量；
根据所述图网络中的节点的全局向量，确定所述图网络中的黑产节点。
2.根据权利要求1所述的方法，其中，所述根据所述电子设备中的应用访问信息将所述图网络划分为多个子图，包括：
根据所述电子设备中的应用访问信息，将访问同一应用的电子设备对应的节点划分至一个子图中，以将所述图网络划分为多个子图。
3.根据权利要求2所述的方法，其中，若存在访问多个应用的电子设备，则根据所述电子设备中的应用访问信息，将访问同一应用的电子设备对应的节点划分至一个子图中，以将所述图网络划分为多个子图，包括：
针对访问多个应用的电子设备，根据所述电子设备访问的应用的数量，将所述电子设备对应的节点分裂为对应数量的多个节点；
按照所述电子设备访问的应用，将分裂出的多个节点分别划分至多个应用对应的子图中。
4.根据权利要求3所述的方法，其中，所述根据所述图网络中的节点的全局向量，确定所述图网络中的黑产节点，包括：
针对访问多个应用的电子设备，根据所述电子设备对应的分裂出的多个节点的全局向量，分别确定出多个节点为黑产节点的可能性；
根据多个节点为黑产节点的可能性，确定与多个节点对应的一个电子设备为黑产设备的可能性。
5.根据权利要求2所述的方法，其中，所述将所述图网络划分为多个子图还包括：
针对节点数量大于预设数量的子图，采用随机社群划分的方式对子图进行进一步划分。
6.根据权利要求1所述的方法，其中，所述根据所述图网络中的节点的全局向量，确定所述图网络中的黑产节点，包括：
将所述图网络中节点的全局向量输入至所述第一神经网络模型，通过所述神经网络模型的输出节点对应的第一评价数据，所述评价数据用于表征所述节点为黑产节点的可能性；
根据所述图网络中节点对应的第一评价数据，确定所述图网络中的黑产节点。
7.根据权利要求6所述的方法，其中，所述根据所述图网络中节点对应的第一评价数据，确定所述图网络中的黑产节点，包括：
获得节点对应的电子设备的历史请求序列，其中，所述历史请求序列为所述电子设备访问预设网络地址的请求序列；
将节点的第一评价数据与历史请求序列进行拼接，获得拼接序列；
将所述拼接序列输入至基于序列的第二神经网络模型，通过所述第二神经网络模型输出节点对应的第二评价数据；
根据所述图网络中节点对应的第二评价数据，确定所述图网络中的黑产节点。
8.根据权利要求7所述的方法，其中，所述将节点的第一评价数据与历史请求序列进行拼接，获得拼接序列，包括：
确定所述历史请求序列中包括的多个单条请求，将所述第一评价数据拼接至各个单条请求，获得拼接序列。
9.根据权利要求1-8任一项所述的方法，其中，所述确定每个子图中作为锚点的节点，包括：
确定子图中度最大的节点为子图的锚点；或者，从子图中随机选择一个节点作为子图的锚点。
10.根据权利要求1-8任一项所述的方法，其中，所述计算每个子图中的所述锚点的全局向量，并针对每个子图，根据所述子图中锚点的全局向量，计算该子图中除锚点外的其他节点的全局向量，包括：
计算每个子图中的所述锚点的全局向量；
针对每个子图，将子图中的锚点作为常量，并基于所述子图中节点的关联关系进行计算，获得子图中的各个节点相对于锚点的局部向量；
根据多个锚点分别对应的全局向量，将所述节点相对于锚点的局部向量映射为所述节点在所述图网络中的全局向量。
11.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-10中任一项所述的黑产设备的确定方法对应的操作。
12.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-10中任一所述的黑产设备的确定方法。
13.一种计算机程序产品，包括计算机指令，所述计算机指令指示计算设备执行如权利要求1-10中任一所述的黑产设备的确定方法对应的操作。
CN202111237595.9A 2021-10-25 2021-10-25 黑产设备的确定方法、电子设备、存储介质及程序产品 Active CN113689270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111237595.9A CN113689270B (zh) 2021-10-25 2021-10-25 黑产设备的确定方法、电子设备、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111237595.9A CN113689270B (zh) 2021-10-25 2021-10-25 黑产设备的确定方法、电子设备、存储介质及程序产品

Publications (2)

Publication Number Publication Date
CN113689270A true CN113689270A (zh) 2021-11-23
CN113689270B CN113689270B (zh) 2022-04-01

Family

ID=78587740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111237595.9A Active CN113689270B (zh) 2021-10-25 2021-10-25 黑产设备的确定方法、电子设备、存储介质及程序产品

Country Status (1)

Country Link
CN (1) CN113689270B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111651761A (zh) * 2019-03-04 2020-09-11 腾讯科技（深圳）有限公司 一种黑产电子设备检测方法、装置、服务器及存储介质
CN116777473A (zh) * 2023-05-04 2023-09-19 北京数美时代科技有限公司 一种黑灰产设备识别方法、系统、存储介质和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523831A (zh) * 2020-07-03 2020-08-11 支付宝(杭州)信息技术有限公司 风险团伙的识别方法、装置、存储介质和计算机设备
CN111651761A (zh) * 2019-03-04 2020-09-11 腾讯科技（深圳）有限公司 一种黑产电子设备检测方法、装置、服务器及存储介质
CN111666346A (zh) * 2019-03-06 2020-09-15 京东数字科技控股有限公司 信息归并方法、交易查询方法、装置、计算机及存储介质
CN112380531A (zh) * 2020-11-11 2021-02-19 平安科技（深圳）有限公司 黑产团伙识别方法、装置、设备及存储介质
CN112399484A (zh) * 2020-11-13 2021-02-23 Oppo广东移动通信有限公司 数据传输方法、装置、存储介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111651761A (zh) * 2019-03-04 2020-09-11 腾讯科技（深圳）有限公司 一种黑产电子设备检测方法、装置、服务器及存储介质
CN111666346A (zh) * 2019-03-06 2020-09-15 京东数字科技控股有限公司 信息归并方法、交易查询方法、装置、计算机及存储介质
CN111523831A (zh) * 2020-07-03 2020-08-11 支付宝(杭州)信息技术有限公司 风险团伙的识别方法、装置、存储介质和计算机设备
CN112380531A (zh) * 2020-11-11 2021-02-19 平安科技（深圳）有限公司 黑产团伙识别方法、装置、设备及存储介质
CN112399484A (zh) * 2020-11-13 2021-02-23 Oppo广东移动通信有限公司 数据传输方法、装置、存储介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111651761A (zh) * 2019-03-04 2020-09-11 腾讯科技（深圳）有限公司 一种黑产电子设备检测方法、装置、服务器及存储介质
CN116777473A (zh) * 2023-05-04 2023-09-19 北京数美时代科技有限公司 一种黑灰产设备识别方法、系统、存储介质和电子设备

Also Published As

Publication number Publication date
CN113689270B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
US20210166140A1 (en) Method and apparatus for training risk identification model and server
CN109922032B (zh) 用于确定登录账户的风险的方法、装置、设备及存储介质
US11836576B2 (en) Distributed machine learning at edge nodes
CN113689270B (zh) 黑产设备的确定方法、电子设备、存储介质及程序产品
CN111966912B (zh) 基于知识图谱的推荐方法、装置、计算机设备及存储介质
CN113435770A (zh) 基于区块链的交易风险评估方法及装置
CN109086139A (zh) 动态分片方法、设备和计算机存储介质
CN112733995A (zh) 训练神经网络的方法、行为检测方法及行为检测装置
CN112785157A (zh) 风险识别系统的更新方法及装置、风险识别方法及装置
WO2023207411A1 (zh) 一种基于时空数据的流量确定方法、装置、设备和介质
CN111198967A (zh) 基于关系图谱的用户分组方法、装置及电子设备
CN111738474A (zh) 交通状态预测方法和装置
EP4273750A1 (en) Data processing method and apparatus, computing device, and test simplification device
CN115296984A (zh) 异常网络节点的检测方法及装置、设备、存储介质
CN114943279A (zh) 招投标合作关系的预测方法、设备及系统
Liu et al. A trust prediction approach capturing agents' dynamic behavior
CN110347973B (zh) 用于生成信息的方法和装置
US20230259757A1 (en) Tiered input structures for machine learning models
CN115758271A (zh) 数据处理方法、装置、计算机设备和存储介质
CN112818235B (zh) 基于关联特征的违规用户识别方法、装置和计算机设备
CN115455426A (zh) 基于漏洞分析模型开发的业务错误分析方法及云端ai系统
CN112905987B (zh) 账号识别方法、装置、服务器及存储介质
CN115204931A (zh) 用户服务策略确定方法、装置及电子设备
CN113159926A (zh) 贷款业务的还款日期确定方法及装置
CN115204888A (zh) 一种目标账户识别方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40062653

Country of ref document: HK