CN113810341B - 一种识别目标网络团体的方法及系统、存储介质、设备 - Google Patents
一种识别目标网络团体的方法及系统、存储介质、设备 Download PDFInfo
- Publication number
- CN113810341B CN113810341B CN202010539840.0A CN202010539840A CN113810341B CN 113810341 B CN113810341 B CN 113810341B CN 202010539840 A CN202010539840 A CN 202010539840A CN 113810341 B CN113810341 B CN 113810341B
- Authority
- CN
- China
- Prior art keywords
- users
- user
- target
- target network
- network community
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9536—Search customisation based on social or collaborative filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种识别目标网络团体的方法,从参与所述网络直播平台的用户集中识别出在预设时间段内使用同一设备或同一IP的用户数量大于第一阈值的第一目标网络团体集,获得第二用户集;分别对所述第一目标网络团体集和所述第二用户集中每个用户提取相同的N种特征对应的N个特征值,获得第一特征向量和第二特征向量;基于所述N种特征和M个所述第二特征向量,构建二叉树;基于所述二叉树,获得第一目标参量和第二目标参量;基于所述第二用户集中用户的第一目标参量和第二目标参量,从所述第二用户集中识别出第二目标网络团体。
Description
技术领域
本发明涉及网络直播技术领域,尤其涉及一种识别目标网络团体的方法及系统、存储介质、设备。
背景技术
在网络直播平台上,经常会遭到一些目标网络团体的恶意网络攻击,造成直播网络堵塞的问题。现有技术中,通过一些聚类算法来识别这些目标网络团体,但是由于目标网络团体可以分批进行网络攻击,规模小,表现出来的聚集性低。因此,现有的目标网络团伙挖掘算法识别目标网络团体准确率低,仍然不能解决直播网络堵塞的问题。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的识别目标网络团体的方法及系统、存储介质、设备。
一方面,本申请通过本申请的一实施例提供如下技术方案:
一种识别目标网络团体的方法,用于网络直播平台,所述方法包括:
获取参与所述网络直播平台的用户,获得第一用户集;
从所述第一用户集中识别出在预设时间段内使用同一设备或同一IP的用户数量大于第一阈值的第一目标网络团体,获得第一目标网络团体集;
基于所述第一目标网络团体集和所述第一用户集,获得第二用户集;其中,所述第二用户集包括所述第一用户集中除所述第一目标网络团体集外的所有用户;
分别对所述第一目标网络团体集和所述第二用户集中每个用户提取相同的N种特征对应的N个特征值,获得L个包含所述第一目标网络团体集中用户的N个特征值的第一特征向量和M个包含所述第二用户集中用户的N个特征值的第二特征向量,其中,L为所述第一目标网络团体集中用户数,M为所述第二用户集中用户数,L和M为正整数;
基于所述N种特征和M个所述第二特征向量,构建二叉树;
基于所述二叉树,获得表征所述第二用户集中用户异常程度的第一目标参量;
基于L个所述第一特征向量和M个所述第二特征向量,获得表征所述第二用户集中用户与所述第一目标网络团体集之间相似度的第二目标参量;
基于所述第二用户集中用户的第一目标参量和第二目标参量,从所述第二用户集中识别出第二目标网络团体。
可选的,在所述基于所述第一目标参量和所述第二目标参量,从所述第二用户集中识别出第二目标网络团体之后,所述方法还包括:
对所述第一目标网络团体集中的用户和所述第二目标网络团体中的用户进行屏蔽。
可选的,所述N种特征包括用户在预设时间段内发生目标行为的次数、用户在预设时间段内使用的IP数和用户在预设时间段内使用的设备数。
可选的,所述基于所述N种特征和M个所述第二特征向量,构建二叉树,具体包括:
S101、将所述N种特征中的任意一种特征作为二叉树结构的起始节点;
S102、在该特征对应的最大特征值和最小特征值之间,利用重要性采样方法随机采样获得目标特征值;
S103、将小于所述目标特征值的特征值划到所述二叉树结构的左分支,大于等于所述目标特征值的特征值划到右分支;
S104、基于所述左分支的特征值和右分支的特征值,以所述左分支和/或右分支作为起始节点,重复S101~S103,循环直到左分支和右分支中只包含一个特征值或全部特征值相同,获得二叉树。
可选的,所述基于所述二叉树集合,获得表征所述第二用户集中用户异常程度的第一目标参量,具体包括:
按照如下公式获得所述第一目标参量:
其中:
IS(x)表示第二特征向量为x的用户的第一目标参量;
ht(x)表示用户的第二特征向量x在所述二叉树中的路径长度,t为多次执行S101~S104获得的n个二叉树中的第t个二叉树。
可选的,所述基于L个所述第一特征向量和M个所述第二特征向量,获得表征所述第二用户集中用户与所述第一目标网络团体集之间相似度的第二目标参量,具体包括:
按照如下公式获得所述第二目标参量:
其中,SS(x)是第二特征向量为x的用户的第二目标参量;g(u)表示第一目标网络团体g的中心向量,xm表示的是g中用户m的第一特征向量,G表示第一目标网络团体集;|g|表示g的用户数;||·||2表示向量的2范数。
可选的,所述基于所述第二用户集中用户的第一目标参量和第二目标参量,从所述第二用户集中识别出第二目标网络团体,具体包括:
按照如下公式获得用户的综合目标参量:
TS(x)=θIS(x)+(1-θ)SS(x)
其中,TS(x)是特征向量为x的综合目标参量;θ是一个常数,取值在0到1之间;
判断所述综合目标参量是否高于第二阈值;
将所述第二用户集中综合目标参量高于第二阈值的用户识别为第二目标网络团体用户。
另一方面,本申请通过本申请的另一实施例提供一种识别目标网络团体的系统,用于网络直播平台,所述系统包括:
第一获得模块,用于获取参与所述网络直播平台的用户,获得第一用户集;
第二获得模块,用于从所述第一用户集中识别出在预设时间段内使用同一设备或同一IP的用户数量大于第一阈值的第一目标网络团体,获得第一目标网络团体集;
第三获得模块,用于基于所述第一目标网络团体集和所述第一用户集,获得第二用户集;其中,所述第二用户集包括所述第一用户集中除所述第一目标网络团体集外的所有用户;
第四获得模块,用于分别对所述第一目标网络团体集和所述第二用户集中每个用户提取相同的N种特征对应的N个特征值,获得L个包含所述第一目标网络团体集中用户的N个特征值的第一特征向量和M个包含所述第二用户集中用户的N个特征值的第二特征向量,其中,L为所述第一目标网络团体集中用户数,M为所述第二用户集中用户数,L和M为正整数;
二叉树构建模块,用于基于所述N种特征和M个所述第二特征向量,构建二叉树;
第五获得模块,用于基于所述二叉树,获得表征所述第二用户集中用户异常程度的第一目标参量;
第六获得模块,用于基于L个所述第一特征向量和M个所述第二特征向量,获得表征所述第二用户集中用户与所述第一目标网络团体集之间相似度的第二目标参量;
目标识别模块,用于基于所述第二用户集中用户的第一目标参量和第二目标参量,从所述第二用户集中识别出第二目标网络团体。
本发明公开了一种可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述方法的步骤。
本发明公开了一种设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述方法的步骤。
本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
在本发明的一个或多个实施例中的方法,首先获取参与所述网络直播平台的用户,获得第一用户集,作为识别的基准数据;再从所述第一用户集中识别出在预设时间段内使用同一设备或同一IP的用户数量大于第一阈值的第一目标网络团体,获得第一目标网络团体集;基于所述第一目标网络团体集和所述第一用户集,获得第二用户集;其中,所述第二用户集包括所述第一用户集中除所述第一目标网络团体集外的所有用户;一方面识别出具有明显团体特征第一目标网络团体集,另一方面便于后续提取团体特征,进行后续计算;接下来分别对所述第一目标网络团体集和所述第二用户集中每个用户提取相同的N种特征对应的N个特征值,获得L个包含所述第一目标网络团体集中用户的N个特征值的第一特征向量和M个包含所述第二用户集中用户的N个特征值的第二特征向量;基于所述N种特征和M个所述第二特征向量,构建二叉树;基于所述二叉树,获得表征所述第二用户集中用户异常程度的第一目标参量;基于L个所述第一特征向量和M个所述第二特征向量,获得表征所述第二用户集中用户与所述第一目标网络团体集之间相似度的第二目标参量;基于所述第二用户集中用户的第一目标参量和第二目标参量,从所述第二用户集中识别出第二目标网络团体,在确定用户异常后,利用第二目标参量衡量异常用户与具有明显团体特征的第一目标网络团体集之间相似度,即可确定不具备明显团体特征的第二用户集中用户是否属于团体用户。因此,相对于现有技术,该方法可挖掘出聚集性不高且团体特征并不明显的团体用户,提高对目标网络团体用户的识别率。从而更高效的对直播网络平台中的目标网络团体用户进行屏蔽,解决直播网络堵塞的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明一种实施例中的识别目标网络团体的方法流程图;
图2是本发明一种实施例中的二叉树结构图;
图3是本发明一种实施例中的识别目标网络团体的系统构架图。
具体实施方式
本申请实施例通过提供一种识别目标网络团体的方法及系统、存储介质、设备,解决了现有的目标网络团伙挖掘算法识别目标网络团体准确率低,仍然不能解决直播网络堵塞的的技术问题。
本申请实施例的技术方案为解决上述技术问题,总体思路如下:
一种识别目标网络团体的方法,用于网络直播平台,所述方法包括:获取参与所述网络直播平台的用户,获得第一用户集;从所述第一用户集中识别出在预设时间段内使用同一设备或同一IP的用户数量大于第一阈值的第一目标网络团体,获得第一目标网络团体集;基于所述第一目标网络团体集和所述第一用户集,获得第二用户集;其中,所述第二用户集包括所述第一用户集中除所述第一目标网络团体集外的所有用户;分别对所述第一目标网络团体集和所述第二用户集中每个用户提取相同的N种特征对应的N个特征值,获得L个包含所述第一目标网络团体集中用户的N个特征值的第一特征向量和M个包含所述第二用户集中用户的N个特征值的第二特征向量,其中,L为所述第一目标网络团体集中用户数,M为所述第二用户集中用户数,L和M为正整数;基于所述N种特征和M个所述第二特征向量,构建二叉树;基于所述二叉树,获得表征所述第二用户集中用户异常程度的第一目标参量;基于L个所述第一特征向量和M个所述第二特征向量,获得表征所述第二用户集中用户与所述第一目标网络团体集之间相似度的第二目标参量;基于所述第二用户集中用户的第一目标参量和第二目标参量,从所述第二用户集中识别出第二目标网络团体。
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
首先说明,本文中出现的术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
实施例一
本实施提供了一种识别目标网络团体的方法,用于网络直播平台,参见图1,本实施例的方法包括如下步骤:
S100、获取参与所述网络直播平台的用户,获得第一用户集;
S200、从所述第一用户集中识别出在预设时间段内使用同一设备或同一IP的用户数量大于第一阈值的第一目标网络团体,获得第一目标网络团体集;
S300、基于所述第一目标网络团体集和所述第一用户集,获得第二用户集;其中,所述第二用户集包括所述第一用户集中除所述第一目标网络团体集外的所有用户;
S400、分别对所述第一目标网络团体集和所述第二用户集中每个用户提取相同的N种特征对应的N个特征值,获得L个包含所述第一目标网络团体集中用户的N个特征值的第一特征向量和M个包含所述第二用户集中用户的N个特征值的第二特征向量,其中,L为所述第一目标网络团体集中用户数,M为所述第二用户集中用户数,L和M为正整数;
S500、基于所述N种特征和M个所述第二特征向量,构建二叉树;
S600、基于所述二叉树,获得表征所述第二用户集中用户异常程度的第一目标参量;
S700、基于L个所述第一特征向量和M个所述第二特征向量,获得表征所述第二用户集中用户与所述第一目标网络团体集之间相似度的第二目标参量;
S800、基于所述第二用户集中用户的第一目标参量和第二目标参量,从所述第二用户集中识别出第二目标网络团体。
需要说明的是,本实施例中的用户可以是参与直播的人,也可以是参与直播互动的电子设备,如智能机器人等。
本实施例提供的识别目标网络团体的方法可适用于对以不正当的团体攻击的方式参与直播间活动的团体作弊用户进行识别的场景。该方法可以由识别目标网络团体装置来执行,该装置可以由软件和/或硬件的方式来实现,通常集成于终端,例如与直播平台对应的服务器。
参见图1,本实施例方法的执行过程如下:
首先,执行S100、获取参与所述网络直播平台的用户,获得第一用户集。
可以理解的是,为了针对某个网络直播平台,对目标网络团体进行识别,首先需要获取取参与所述网络直播平台的用户。
接下来,执行S200,从所述第一用户集中识别出在预设时间段内使用同一设备或同一IP的用户数量大于第一阈值的第一目标网络团体,获得第一目标网络团体集;以及,S300、基于所述第一目标网络团体集和所述第一用户集,获得第二用户集;其中,所述第二用户集包括所述第一用户集中除所述第一目标网络团体集外的所有用户。
可以理解的是,根据现有的用户情况,参与网络直播平台的所有用户中,存在部分团体特征特别明显的用户,例如,在预设时间段内使用同一设备或同一IP,这显然是属于一个网络团体用户。其中,预设时间段可以是可以是过去一周、一个月等,这里并不受任何限制。但如果只是即少数的用户在预设时间段内使用同一设备或同一IP,则可能是不同的用户恰巧在同一设备登录,因此,在预设时间段内使用同一设备或同一IP的用户数过少,则不具备特征的明显性。因此,本实施例中设定第一阈值,可根据网络用户的历史使用数据统计调查,确定第一阈值,以保证在预设时间段内使用同一设备或同一IP的用户数量大于第一阈值时,这些用户可确定为具有明显特征的第一目标网络团体用户。
识别出第一目标网络团体集后,获得第二用户集。而由于某些目标网络团体的用户为了隐藏特征,是分批参与的,可能规模很小,并不具备明显的团体特征,因此表现出来的聚集性是不高的。而这部分用户就隐藏在第二用户集中,依然占用直播网络资源,造成直播网络堵塞。
为此,为了解决直播网络堵塞的问题,需要执行后续步骤对第二用户集中隐藏的目标网络团体用户进行挖掘。
接下来,执行S400,分别对所述第一目标网络团体集和所述第二用户集中每个用户提取相同的N种特征对应的N个特征值,获得L个包含所述第一目标网络团体集中用户的N个特征值的第一特征向量和M个包含所述第二用户集中用户的N个特征值的第二特征向量,其中,L为所述第一目标网络团体集中用户数,M为所述第二用户集中用户数,L和M为正整数。
为了后续获得后续表征用户的异常程度和用户与具有明显团体特征的第一目标网络团体集的相似度的参量,这里需要先对第一目标网络团体集和第二用户集中每个用户的特征进行提取。
示例性的,所述N种特征包括:用户在预设时间段内发生目标行为的次数、用户在预设时间段内使用的IP数和用户在预设时间段内使用的设备数。其中,预设时间段可以是过去一周、一个月等,这里并不受任何限制。
可以理解的是,每个用户包括N种特征对应的N个特征值,每种特征对应每个用户具体的特征值,且对于一种特征,各用户对应的特征值可能相同,也可能不同,例如,对于一个特征(用户在预设时间段内使用的设备数),该特征的特征值包括0,1,2,3,4,10这5种,0,1,2,3,4,10分别对应的用户数是100,200,200,400,100,10。因此,有多少个用户,就可以获得相同数量的特征向量,在本实施例中,L个包含所述第一目标网络团体集中用户的N个特征值的第一特征向量和M个包含所述第二用户集中用户的N个特征值的第二特征向量,其中,L为所述第一目标网络团体集中用户数,M为所述第二用户集中用户数,L和M为正整数。
需要说明的是,选取上述三种特征的根据是:
在网络直播平台上,对于一个具有异常的用户,会在短时间内发生大量的相同的行为,例如,刷关注的用户会在短时间内关注大量的直播间。基于此,可以将在预设时间段内发生目标行为的次数作为表征异常程度的特征。由此可见,在预设时间段内发生目标行为的次数是获得更准确的识别率所必不可少的核心参数。
此外,为了规避相关的规则,异常用户往往频繁切换设备或者IP数,因此,用户在预设时间段内使用的IP数和用户在预设时间段内使用的设备数作为一个显著的特征,因此,统计使用的个数有助于帮助找到异常,是获得更准确的识别率所必不可少的核心参数。
基于此,本领域技术人员显然可以理解,在本发明实施例中选取的用户在预设时间段内发生目标行为的次数、用户在预设时间段内使用的IP数和用户在预设时间段内使用的设备数这三种特征均是进一步提高识别准确率所必不可少的信息参数,是用户使用后留下的痕迹,是客观存在的,并非人为主观因素的选取,而是为了解决技术问题必须对上述用户在第一预设时间段内请求历史活动接口的次数、在第一预设时间段内参与历史活动使用的IP个数和在第一预设时间段内参与活动使用的设备个数进行获取(也即符合自然规律的选取),以为下述S500提供数据基础。
接下来,执行S500,基于所述N种特征和M个所述第二特征向量,构建二叉树。
在具体实施过程中,为了获得后续表征用户的异常程度和用户与具有明显团体特征的第一目标网络团体集的相似度的参量。本实施例采用二叉树结构,通过路径长度作为异常程度的计算元素。
示例性的,所述基于所述N种特征和M个所述第二特征向量,构建二叉树,具体包括:
S101、将所述N种特征中的任意一种特征作为二叉树结构的起始节点;
S102、在该特征对应的最大特征值和最小特征值之间,利用重要性采样方法随机采样获得目标特征值;
S103、将小于所述目标特征值的特征值划到所述二叉树结构的左分支,大于等于所述目标特征值的特征值划到右分支;
S104、基于所述左分支的特征值和右分支的特征值,以所述左分支和/或右分支作为起始节点,重复S101~S103,循环直到左分支和右分支中只包含一个特征值或全部特征值相同,获得二叉树。
需要说明的是,二叉树是基于第二用户集中的所有用户的所有特征构建的。具体的,在S104中,所述左分支的特征值和右分支的特征值可能满足只包含一个特征值或全部特征值相同的条件,也可能不满足。对于满足的分支节点则不再进行二分,而对于不满足的分支节点,则以该分支节点作为起始节点,返回S101。此时,由于还是选择任意一种特征,因此,有可能选择到与上一次相同的特征(第一特征),该种情况下,则继续对该分支节点中特征值进行二分;而当选择到与上次不同的特征(第二特征)时,则基于对该分支节点中特征值对应用户的第二特征对应特征值进行二分,如此循环,直到所有末端的左分支和右分支中只包含一个特征值或全部特征值相同,获得二叉树。
示例性的,参见图2为一种二叉树结构实例,具体在后续实例中进行解释说明。
此外,为了后续提高识别的准确性,可重复S101~S104,进行n次构建,获得n个二叉树。
需要说明的是,本实施例中使用的采样方法是重要性采样,具体的采样方法是设定重要性因子,在具体实施过程中,该重要性因子正比于该特征值对应的用户数。具体原理是:给定一个特征X和其对应的取值集合,从取值集合中采样一个取值为x的概率是其中#(x)是集合中特征取值是x的个数,#(X)是集合的总个数。
相比于随机采样,使用重要性采样的好处是随机采样构成的树存在一定的随机性,如果异常值不是一个很大或者很小的值,那么通过随机采样不容易将其优先划分出来。而重要性采样可以根据值出现的频率进行采样,出现频率大的更可能被先采样到,这样无论异常值是多大由于其出现的频次较低仍可能优先划分。
接下来,执行S600,基于所述二叉树,获得表征所述第二用户集中用户异常程度的第一目标参量。
具体的,为了从第二用户集中识别出具有不明显团体特征的团体用户,首先需要识别出异常用户,因此需要计算用户的异常程度,因此,需要获得表征所述第二用户集中用户异常程度的第一目标参量。
示例性的,所述基于所述二叉树集合,获得表征所述第二用户集中用户异常程度的第一目标参量,具体包括:
按照如下公式获得所述第一目标参量:
其中:
IS(x)表示第二特征向量为x的用户的第一目标参量;
ht(x)表示用户的第二特征向量x在所述二叉树中的路径长度,t为多次执行S101~S104获得的n个二叉树中的第t个二叉树。
需要说明的是,该公式的原理是对于一个用户,如果其特征值比较异常,例如,特征值非常大或者小,那么根据前述的二叉树的划分原理会较快分割出来成为叶子节点,该特征值会位于树比较浅层的地方,遍历到的路径长度较小。因此,用户的第二特征向量x在所述二叉树中的路径长度可表征其异常程度。则表示n个二叉树中路径长度的均值,可使路径长度的取值更可靠,排除偶然因素的影响,提高识别准确度。而将/>作为2的指数,与结果成正比,因此,第一目标参量IS(x)的值大小可表征所述第二用户集中用户异常程度。
接下来,执行S700,基于L个所述第一特征向量和M个所述第二特征向量,获得表征所述第二用户集中用户与所述第一目标网络团体集之间相似度的第二目标参量。
具体的,异常用户并不一定都是具有团体特征的目标网络团体用户,因此,为了从第二用户集中识别出具有不明显团体特征的团体用户,在考虑表征用户的异常程度的第一目标参量的基础上,还需要考虑表征所述第二用户集中用户与所述第一目标网络团体集之间相似度的第二目标参量。
示例性的,所述基于L个所述第一特征向量和M个所述第二特征向量,获得表征所述第二用户集中用户与所述第一目标网络团体集之间相似度的第二目标参量,具体包括:
按照如下公式获得所述第二目标参量:
其中,SS(x)是第二特征向量为x的用户的第二目标参量;g(u)表示第一目标网络团体g的中心向量,xm表示的是g中用户m的第一特征向量,G表示第一目标网络团体集;|g|表示g的用户数;||·||2表示向量的2范数。
需要说明的是,该公式的含义是将用户的特征向量与具有明显特征的第一目标网络团体的特征向量进行比较,若两个向量非常类似,那么该用户与第一目标网络团体的匹配程度会越高,相应的表征所述第二用户集中用户与所述第一目标网络团体集之间相似度的第二目标参量值会更高。其中,第一目标网络团体的特征向量可以用第一目标网络团体的中心向量进行表示,该中心向量是第一目标网络团体的中心,能够表示网络团体的一般特征。需要说明的是,中心向量表示的是网络团体的特征,可以使用网络团体中的用户成员向量进行表示,由于用户成员的权重可以看做是一样的,因此,使用网络团体中的用户第一特征向量之和除以网络团体用户数|g|。
将用户的特征向量与第一目标网络团体集中的所有第一目标网络团体的中心向量进行比较计算,选择最大的一个作为第二目标参量值。因此,第二目标参量SS(x)的值大小可表征所述第二用户集中用户与所述第一目标网络团体集之间相似度。
在通过前述步骤获得第二用户集中所有用户的第一目标参量和第二目标参量后,接下来,执行S800,基于所述第二用户集中用户的第一目标参量和第二目标参量,从所述第二用户集中识别出第二目标网络团体。
具体的,要达到从所述第二用户集中识别出第二目标网络团体的目的,需要综合考虑第一目标参量和第二目标参量。
示例性的,所述基于所述第二用户集中用户的第一目标参量和第二目标参量,从所述第二用户集中识别出第二目标网络团体,具体包括:
S801、按照如下公式获得用户的综合目标参量:
TS(x)=θIS(x)+(1-θ)SS(x)
其中,TS(x)是特征向量为x的综合目标参量;θ是一个常数,取值在0到1之间;
S802、判断所述综合目标参量是否高于第二阈值;
S803、将所述第二用户集中综合目标参量高于第二阈值的用户识别为第二目标网络团体用户。
上述获得综合目标参量公式的原理是:将第一目标参量IS(x)和第二目标参量SS(x)两部分结果进行加权,其中权重分别是θ和1-θ。其中,θ的取值可以根据已知网络团体用户计算得到的第一目标参量和第二目标参量的平均值,将第一目标参量平均值/第二目标参量平均值作为取值的基准。在具体实施过程中,可以在上述取值基准上进行调整,若增加取值那么会增加异常用户识别的覆盖率,降低网络团体用户的覆盖率;若降低取值那么会降低异常用户识别的覆盖率,增加网络团体用户的覆盖率。
获得用户的综合目标参量的原因是:若只考虑第一目标参量,那么第一目标参量的值高,有可能是个体的异常行为,如使用插件等,这样的用户一般不是成规模的目标网络团体;若只考虑第二目标参量,那么可能会造成误识别的情况,例如使用同一个出口IP的用户群,这些用户可能会被认为是一个目标网络团体,但是行为上并没有异常。
具体的,第二阈值的确定是根据已发现的团体中的用户,对于这些用户按照上述方法计算综合目标参量,将结果从大到小进行排序,取99%中位数作为第二阈值。这样设定阈值可以覆盖99%的已知风险用户,如果要覆盖更多的风险则降低阈值,如果要求识别的准确更高则增加阈值。
作为一种可选的实施方式,在所述基于所述第一目标参量和所述第二目标参量,从所述第二用户集中识别出第二目标网络团体之后,所述方法还包括:
对所述第一目标网络团体集中的用户和所述第二目标网络团体中的用户进行屏蔽。
在具体应用场景中,例如,在斗鱼直播的风控业务中,将本实施例的方法应用于广告弹幕拦截场景中,拦截的方法是识别的账号所发送的弹幕其他账号不可见,通过其弹幕内容可判断该用户是否是发广告弹幕的违规用户。具体的,现有技术采用具有明显特征的嫌疑团伙规则日均可识别900个账户,使用本实施例的方法后,可以识别具有明显特征的嫌疑团伙规则之外的账户200个,因此,本实施例的方法可以提升识别的覆盖率22%,从而提高对目标网络团体识别的准确性。
下面以一个实际的例子,说明本实施例方法的实现过程:
假设只考虑一个特征,该特征在第二用户集的用户中的取值有0,1,2,3,4,10这5种,分别对应的用户数是100,200,200,400,100,10。
构建二叉树:进行重要性采样,假设采样的结果是4,2,1,3,0,于是可以按照构建二叉树:
参见图2,从Root节点开始,第一次采样的结果是4,Root节点可以分类成两支,其中左支表示的是特征<=4的样本,而右支是特征>4的样本。由于右支所有样本取值都是10,因此达到停止分裂条件。对左支的样本进行采样,如采样的结果是2,那么将该节点分成两个分支,左边表示的是特征<=2的样本,右边则表示特征>2的样本。
识别出第一目标网络团体集:找到3个第一目标网络团体,它们的特征中心向量的特征值分别是6,7.5和9。
若用户u的该特征的特征值是10,特征所在的叶子节点在二叉数的深度是,那么,用户u的第一目标参量的值:IS(x)=2°=1
用户u的第二目标参量的值:令θ=0.5,那么用户的综合得分:TS(x)=0.5*1+0.5*0.37=0.68
设置综合得分阈值0.6。由于0.68>0.6,因此,判定为该用户是一个目标网络团体用户。
上述本申请实施例中的技术方案,至少具有如下的技术效果或优点:
本实施例的方法,首先获取参与所述网络直播平台的用户,获得第一用户集,作为识别的基准数据;再从所述第一用户集中识别出在预设时间段内使用同一设备或同一IP的用户数量大于第一阈值的第一目标网络团体集,获得第二用户集;其中,所述第二用户集包括所述第一用户集中除所述第一目标网络团体集外的所有用户;一方面识别出具有明显团体特征第一目标网络团体集,另一方面便于后续提取团体特征,进行后续计算;接下来分别对所述第一目标网络团体集和所述第二用户集中每个用户提取相同的N种特征对应的N个特征值,获得L个包含所述第一目标网络团体集中用户的N个特征值的第一特征向量和M个包含所述第二用户集中用户的N个特征值的第二特征向量;基于所述N种特征和M个所述第二特征向量,构建二叉树;基于所述二叉树,获得表征所述第二用户集中用户异常程度的第一目标参量;基于L个所述第一特征向量和M个所述第二特征向量,获得表征所述第二用户集中用户与所述第一目标网络团体集之间相似度的第二目标参量;基于所述第二用户集中用户的第一目标参量和第二目标参量,从所述第二用户集中识别出第二目标网络团体,在确定用户异常后,利用第二目标参量衡量异常用户与具有明显团体特征的第一目标网络团体集之间相似度,即可确定不具备明显团体特征的第二用户集中用户是否属于团体用户。因此,相对于现有技术,该方法可挖掘出聚集性不高且团体特征并不明显的团体用户,提高对目标网络团体用户的识别率。从而更高效的对直播网络平台中的目标网络团体用户进行屏蔽,解决直播网络堵塞的问题。
实施例二
基于与实施例一同样的发明构思,本实施例提供一种识别目标网络团体的系统,用于网络直播平台,参见图3,所述系统包括:
第一获得模块,用于获取参与所述网络直播平台的用户,获得第一用户集;
第二获得模块,用于从所述第一用户集中识别出在预设时间段内使用同一设备或同一IP的用户数量大于第一阈值的第一目标网络团体,获得第一目标网络团体集;
第三获得模块,用于基于所述第一目标网络团体集和所述第一用户集,获得第二用户集;其中,所述第二用户集包括所述第一用户集中除所述第一目标网络团体集外的所有用户;
第四获得模块,用于分别对所述第一目标网络团体集和所述第二用户集中每个用户提取相同的N种特征对应的N个特征值,获得L个包含所述第一目标网络团体集中用户的N个特征值的第一特征向量和M个包含所述第二用户集中用户的N个特征值的第二特征向量,其中,L为所述第一目标网络团体集中用户数,M为所述第二用户集中用户数,L和M为正整数;
二叉树构建模块,用于基于所述N种特征和M个所述第二特征向量,构建二叉树;
第五获得模块,用于基于所述二叉树,获得表征所述第二用户集中用户异常程度的第一目标参量;
第六获得模块,用于基于L个所述第一特征向量和M个所述第二特征向量,获得表征所述第二用户集中用户与所述第一目标网络团体集之间相似度的第二目标参量;
目标识别模块,用于基于所述第二用户集中用户的第一目标参量和第二目标参量,从所述第二用户集中识别出第二目标网络团体。
由于本实施例所介绍的识别目标网络团体的系统为实现本申请实施例一种识别目标网络团体的方法所采用的系统,故而基于本申请实施例一中所介绍的识别目标网络团体的方法,本领域所属技术人员能够了解本实施例的系统的具体实施方式以及其各种变化形式,所以在此对于如何利用本中的系统实现实施例一中的方法不再详细介绍。只要本领域所属技术人员用于实现本申请实施例中识别目标网络团体的方法所采用的系统,都属于本申请所欲保护的范围。
基于与前述实施例中同样的发明构思,本发明实施例还提供一种可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前文任一所述方法的步骤。
基于与前述实施例中同样的发明构思,本发明实施例还提供一种设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现前文任一所述方法的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (9)
1.一种识别目标网络团体的方法,用于网络直播平台,其特征在于,所述方法包括:
获取参与所述网络直播平台的用户,获得第一用户集;
从所述第一用户集中识别出在预设时间段内使用同一设备或同一IP的用户数量大于第一阈值的第一目标网络团体,获得第一目标网络团体集;
基于所述第一目标网络团体集和所述第一用户集,获得第二用户集;其中,所述第二用户集包括所述第一用户集中除所述第一目标网络团体集外的所有用户;
分别对所述第一目标网络团体集和所述第二用户集中每个用户提取相同的N种特征对应的N个特征值,获得L个包含所述第一目标网络团体集中用户的N个特征值的第一特征向量和M个包含所述第二用户集中用户的N个特征值的第二特征向量,其中,L为所述第一目标网络团体集中用户数,M为所述第二用户集中用户数,L和M为正整数;
基于所述N种特征和M个所述第二特征向量,构建二叉树;
基于所述二叉树,获得表征所述第二用户集中用户异常程度的第一目标参量;
基于L个所述第一特征向量和M个所述第二特征向量,获得表征所述第二用户集中用户与所述第一目标网络团体集之间相似度的第二目标参量;
基于所述第二用户集中用户的第一目标参量和第二目标参量,从所述第二用户集中识别出第二目标网络团体;
所述基于所述N种特征和M个所述第二特征向量,构建二叉树,具体包括:
S101、将所述N种特征中的任意一种特征作为二叉树结构的起始节点;
S102、在该特征对应的最大特征值和最小特征值之间,利用重要性采样方法随机采样获得目标特征值;
S103、将小于所述目标特征值的特征值划到所述二叉树结构的左分支,大于等于所述目标特征值的特征值划到右分支;
S104、基于所述左分支的特征值和右分支的特征值,以所述左分支和/或右分支作为起始节点,重复S101~S103,循环直到左分支和右分支中只包含一个特征值或全部特征值相同,获得二叉树。
2.如权利要求1所述的方法,其特征在于,在所述基于所述第一目标参量和所述第二目标参量,从所述第二用户集中识别出第二目标网络团体之后,所述方法还包括:
对所述第一目标网络团体集中的用户和所述第二目标网络团体中的用户进行屏蔽。
3.如权利要求1所述的方法,其特征在于,所述N种特征包括用户在预设时间段内发生目标行为的次数、用户在预设时间段内使用的IP数和用户在预设时间段内使用的设备数。
4.如权利要求3所述的方法,其特征在于,所述基于所述二叉树集合,获得表征所述第二用户集中用户异常程度的第一目标参量,具体包括:
按照如下公式获得所述第一目标参量:
其中:
IS(x)表示第二特征向量为x的用户的第一目标参量;
ht(x)表示用户的第二特征向量x在所述二叉树中的路径长度,t为多次执行S101~S104获得的n个二叉树中的第t个二叉树。
5.如权利要求4所述的方法,其特征在于,所述基于L个所述第一特征向量和M个所述第二特征向量,获得表征所述第二用户集中用户与所述第一目标网络团体集之间相似度的第二目标参量,具体包括:
按照如下公式获得所述第二目标参量:
其中,SS(x)是第二特征向量为x的用户的第二目标参量;g(u)表示第一目标网络团体g的中心向量,xm表示的是g中用户m的第一特征向量,G表示第一目标网络团体集;|g|表示g的用户数;||.||2表示向量的2范数。
6.如权利要求5所述的方法,其特征在于,所述基于所述第二用户集中用户的第一目标参量和第二目标参量,从所述第二用户集中识别出第二目标网络团体,具体包括:
按照如下公式获得用户的综合目标参量:
TS(x)=θIS(x)+(1-θ)SS(x)
其中,TS(x)是特征向量为x的综合目标参量;θ是一个常数,取值在0到1之间;
判断所述综合目标参量是否高于第二阈值;
将所述第二用户集中综合目标参量高于第二阈值的用户识别为第二目标网络团体用户。
7.一种识别目标网络团体的系统,用于网络直播平台,其特征在于,所述系统包括:
第一获得模块,用于获取参与所述网络直播平台的用户,获得第一用户集;
第二获得模块,用于从所述第一用户集中识别出在预设时间段内使用同一设备或同一IP的用户数量大于第一阈值的第一目标网络团体,获得第一目标网络团体集;
第三获得模块,用于基于所述第一目标网络团体集和所述第一用户集,获得第二用户集;其中,所述第二用户集包括所述第一用户集中除所述第一目标网络团体集外的所有用户;
第四获得模块,用于分别对所述第一目标网络团体集和所述第二用户集中每个用户提取相同的N种特征对应的N个特征值,获得L个包含所述第一目标网络团体集中用户的N个特征值的第一特征向量和M个包含所述第二用户集中用户的N个特征值的第二特征向量,其中,L为所述第一目标网络团体集中用户数,M为所述第二用户集中用户数,L和M为正整数;
二叉树构建模块,用于基于所述N种特征和M个所述第二特征向量,构建二叉树;
第五获得模块,用于基于所述二叉树,获得表征所述第二用户集中用户异常程度的第一目标参量;
第六获得模块,用于基于L个所述第一特征向量和M个所述第二特征向量,获得表征所述第二用户集中用户与所述第一目标网络团体集之间相似度的第二目标参量;
目标识别模块,用于基于所述第二用户集中用户的第一目标参量和第二目标参量,从所述第二用户集中识别出第二目标网络团体;
所述二叉树构建模块,具体用于:
S101、将所述N种特征中的任意一种特征作为二叉树结构的起始节点;
S102、在该特征对应的最大特征值和最小特征值之间,利用重要性采样方法随机采样获得目标特征值;
S103、将小于所述目标特征值的特征值划到所述二叉树结构的左分支,大于等于所述目标特征值的特征值划到右分支;
S104、基于所述左分支的特征值和右分支的特征值,以所述左分支和/或右分支作为起始节点,重复S101~S103,循环直到左分支和右分支中只包含一个特征值或全部特征值相同,获得二叉树。
8.一种可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-6任一项所述方法的步骤。
9.一种识别目标网络团体的设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1-6任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010539840.0A CN113810341B (zh) | 2020-06-12 | 2020-06-12 | 一种识别目标网络团体的方法及系统、存储介质、设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010539840.0A CN113810341B (zh) | 2020-06-12 | 2020-06-12 | 一种识别目标网络团体的方法及系统、存储介质、设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113810341A CN113810341A (zh) | 2021-12-17 |
CN113810341B true CN113810341B (zh) | 2023-08-22 |
Family
ID=78892252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010539840.0A Active CN113810341B (zh) | 2020-06-12 | 2020-06-12 | 一种识别目标网络团体的方法及系统、存储介质、设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113810341B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101345627A (zh) * | 2008-08-12 | 2009-01-14 | 中国科学院软件研究所 | 一种p2p网络中基于行为相似度的共谋团体识别方法 |
WO2015160010A1 (ko) * | 2014-04-17 | 2015-10-22 | 한국전자통신연구원 | 스마트그리드 ami 네트워크에서 이상행위 탐지 시스템 및 이를 이용한 방법 |
CN105956184A (zh) * | 2016-06-01 | 2016-09-21 | 西安交通大学 | 一种微博社会网络中协作化及组织化的垃圾信息发布团体的识别方法 |
CN107093090A (zh) * | 2016-10-25 | 2017-08-25 | 北京小度信息科技有限公司 | 异常用户识别方法及装置 |
WO2018045545A1 (en) * | 2016-09-09 | 2018-03-15 | Microsoft Technology Licensing, Llc | Automated performance debugging of production applications |
CN109086975A (zh) * | 2018-07-10 | 2018-12-25 | 阿里巴巴集团控股有限公司 | 一种交易风险的识别方法和装置 |
CN109635298A (zh) * | 2018-12-11 | 2019-04-16 | 平安科技(深圳)有限公司 | 团体状态识别方法、装置、计算机设备及存储介质 |
CN110177094A (zh) * | 2019-05-22 | 2019-08-27 | 武汉斗鱼网络科技有限公司 | 一种用户团体识别方法、装置、电子设备及存储介质 |
CN111695597A (zh) * | 2020-05-07 | 2020-09-22 | 数尊信息科技(上海)有限公司 | 基于改进式孤立森林算法的信贷欺诈团伙识别方法和系统 |
-
2020
- 2020-06-12 CN CN202010539840.0A patent/CN113810341B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101345627A (zh) * | 2008-08-12 | 2009-01-14 | 中国科学院软件研究所 | 一种p2p网络中基于行为相似度的共谋团体识别方法 |
WO2015160010A1 (ko) * | 2014-04-17 | 2015-10-22 | 한국전자통신연구원 | 스마트그리드 ami 네트워크에서 이상행위 탐지 시스템 및 이를 이용한 방법 |
CN105956184A (zh) * | 2016-06-01 | 2016-09-21 | 西安交通大学 | 一种微博社会网络中协作化及组织化的垃圾信息发布团体的识别方法 |
WO2018045545A1 (en) * | 2016-09-09 | 2018-03-15 | Microsoft Technology Licensing, Llc | Automated performance debugging of production applications |
CN107093090A (zh) * | 2016-10-25 | 2017-08-25 | 北京小度信息科技有限公司 | 异常用户识别方法及装置 |
CN109086975A (zh) * | 2018-07-10 | 2018-12-25 | 阿里巴巴集团控股有限公司 | 一种交易风险的识别方法和装置 |
CN109635298A (zh) * | 2018-12-11 | 2019-04-16 | 平安科技(深圳)有限公司 | 团体状态识别方法、装置、计算机设备及存储介质 |
CN110177094A (zh) * | 2019-05-22 | 2019-08-27 | 武汉斗鱼网络科技有限公司 | 一种用户团体识别方法、装置、电子设备及存储介质 |
CN111695597A (zh) * | 2020-05-07 | 2020-09-22 | 数尊信息科技(上海)有限公司 | 基于改进式孤立森林算法的信贷欺诈团伙识别方法和系统 |
Non-Patent Citations (1)
Title |
---|
基于在线聚类的协同作弊团体识别方法;孙勇等;《计算机研究与发展》;20180615(第06期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113810341A (zh) | 2021-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110166344B (zh) | 一种身份标识识别方法、装置以及相关设备 | |
WO2019136850A1 (zh) | 风险行为识别方法、存储介质、设备及系统 | |
CN110782333A (zh) | 一种设备风险控制方法、装置、设备及介质 | |
CN110365636B (zh) | 工控蜜罐攻击数据来源的判别方法及装置 | |
CN112860951B (zh) | 一种识别目标账号的方法及系统 | |
Juvonen et al. | An efficient network log anomaly detection system using random projection dimensionality reduction | |
CN111787002B (zh) | 一种业务数据网络安全分析的方法及系统 | |
Figueiredo et al. | Revisit behavior in social media: The phoenix-r model and discoveries | |
Ovelgönne et al. | Covertness centrality in networks | |
Brito et al. | Detecting social-network bots based on multiscale behavioral analysis | |
CN108076032A (zh) | 一种异常行为用户识别方法及装置 | |
CN113011886B (zh) | 帐号类型的确定方法和装置及电子设备 | |
CN113810341B (zh) | 一种识别目标网络团体的方法及系统、存储介质、设备 | |
CN111885011B (zh) | 一种业务数据网络安全分析挖掘的方法及系统 | |
US20240119714A1 (en) | Image recognition model training method and apparatus | |
CN112070161A (zh) | 一种网络攻击事件分类方法、装置、终端及存储介质 | |
CN115329388B (zh) | 一种面向联邦生成对抗网络的隐私增强方法 | |
CN109587248B (zh) | 用户识别方法、装置、服务器及存储介质 | |
Ozkan-Okay et al. | A new feature selection approach and classification technique for current intrusion detection system | |
CN114466214B (zh) | 直播间人数统计方法及装置 | |
CN110020035B (zh) | 数据识别方法和装置、存储介质及电子装置 | |
CN112597379B (zh) | 数据识别方法、装置和存储介质及电子装置 | |
CN115834231A (zh) | 一种蜜罐系统的识别方法、装置、终端设备及存储介质 | |
CN107743070B (zh) | 一种双属性网络的社群划分方法及装置 | |
CN110399399B (zh) | 用户分析的方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |