CN113268696A - 一种四方支付网站识别及用户分析方法 - Google Patents

Abstract

本发明公开了一种四方支付网站识别及用户分析方法，通过镜像网络流量，嗅探捕获数据包报文进行协议深度解析还原网站信息并分流请求、响应数据；利用网页抽取技术，获取网站识别文字、特征信息；通过识别文字信息对目标网站分流后的响应数据匹配得出相似度，通过特征信息对目标网站分流后的请求数据匹配得出相似度，评估目标网站请求、响应数据匹配结果，确定网站类型；利用网页抽取技术，抽取网站访问类型特征判定信息、抽取用户角色特征判定信息；根据最终确认为四方支付类型的网站，利用抽取的用户角色特征页面信息匹配出用户角色特征页面的权重，根据权重大小判别用户角色，利用抽取的访问类型特征判定信息匹配出用户在四方支付网站的行为。

Description

一种四方支付网站识别及用户分析方法

技术领域

本发明涉及非法网站识别、网站用户行为分析技术领域，具体为一种四方支付网站识别及用户分析方法。

背景技术

目前对于网站识别方法主要是通过爬虫方法获取网页信息，人工制订黑名单并使用目标网站的特征来进行确定。缺少镜像流量还原网站方式，对黑名单方式很多的不在黑名单中的非法网站不能及时识别；通过特征检测，非法网站识别主要在赌博、色情、传销类，对非法的四方支付平台没有较好的识别方式。另外，已有的网站用户行为分析方法主要包括获取网站对应的点击日志，包括多条点击记录，以及通过结合预设的离散化函数及元素的尺寸信息来进行分析网站用户行为。这些方法需要获取大量用户日志，对非法网站尤其是非法四方支付这类访问量较小的非法网站用户行为识别不太适用。现有非法网站识别中采用爬虫方法获取网页信息进行非法网站识别的方法，无对四方支付类网站识别的方法，以及依靠现有用户行为分析非法四方支付网站的用户行为需要大量获取网站日志，对访问量小、日志不多的非法四方支付网站识别效率低、不准确。

发明内容

为了克服现有技术方案的不足，本发明提供一种四方支付网站识别及用户分析方法，能有效的解决背景技术提出的问题。

本发明解决其技术问题所采用的技术方案是：

一种四方支付网站识别及用户分析方法，包括以下步骤：

步骤S1：通过镜像网络流量，嗅探捕获数据包报文进行协议深度解析还原网站信息并分流请求、响应数据，具体为通过镜像互联数据流量，利用网络抓包嗅探技术捕获镜像流量，对捕获的流量会话重组并进行网站协议深度解析，还原出真实网站信息，对还原后的网站信息分离出请求数据包和响应数据包；

步骤S2：利用网页抽取技术，获取四方支付网站识别文字信息、特征信息，当获取到网站响应数据后，分析网页的文字信息和结构信息进行网站特征向量的提取；

步骤S3：通过识别文字信息对待测目标网站分流后的响应数据匹配得出相似度，通过特征信息对待测目标网站分流后的请求数据匹配得出相似度，综合评估目标网站请求、响应数据匹配结果，最终确定四方支付网站类型；

步骤S4：利用网页抽取技术，抽取网站访问类型特征判定信息、抽取用户角色特征页面信息，分析网页结构信息采用特征向量提取算法进行抽取；

步骤S5：根据最终确认为四方支付类型的网站，利用抽取的用户角色特征页面信息匹配出用户角色特征页面的权重，根据权重大小判别用户角色；利用抽取的访问类型判定信息匹配出用户在四方支付网站的行为。

进一步地，在步骤S1中，镜像网络流量是互联网上的数据流量，可以是数据中心机房网络流量、城域网网络流量、电信运营商网络流量。

进一步地，在步骤S2中，文字信息包括文本内容、文本区的长度、文本区的内聚度、文字链接比以及语言特性等，特征信息包括网络拓扑结构、DOM树节点间层次关系、页面属性、网页视觉特征等。

进一步地，在步骤S3中，根据分离的待测目标网站响应数据包与四方支付识别文字信息碰撞匹配来评估相似程度，根据分离的待测目标网站请求数据包和网页抽取的特征信息进行关联匹配来评估相似程度，综合目标网站文字匹配和特征匹配结果最终确认最终网站为四方支付网站的置信度。

进一步地，在步骤S4中，网页结构包括：页面属性，如:url属性、action属性、input属性、herf属性。

进一步地，在步骤S5中，根据最终确认为四方支付类型的网站从原始流量中过滤出这类网站流量数据，并分离请求数据和响应数据，使用提取的访问类型特征判定信息与四方支付网站的请求数据匹配，识别出用户在四方支付网站的访问类型；使用分离出来的响应数据包与角色特征页面信息匹配，然后通过角色判断特征页面的权重，最终确认四方支付网站用户角色。

与现有技术相比，本发明的有益效果是：

本发明采用捕抓网络流量、协议解析还原方式获取网页信息，并发明一种识别四方支付网站的方法，可以识别四方支付网站，清朗网络空间，能分析四方支付网站用户角色及访问类型，方便定位四方支付网站的实际经营管理者，打击网络违法犯罪活动，实用性强。

附图说明

图1为本发明分析步骤示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供了一种四方支付网站识别及用户分析方法，包括以下步骤：

步骤S1：通过镜像网络流量，嗅探捕获数据包报文进行协议深度解析还原网站信息并分流请求、响应数据，具体为通过镜像互联数据流量，利用网络抓包嗅探技术捕获镜像流量，对捕获的流量会话重组并进行网站协议深度解析，还原出真实网站信息，对还原后的网站信息分离出请求数据包和响应数据包，镜像网络流量是互联网上的数据流量，可以是数据中心机房网络流量、城域网网络流量、电信运营商网络流量；

步骤S2：利用网页抽取技术，获取四方支付网站识别文字信息、特征信息，当获取到网站响应数据后，分析网页的文字信息和结构信息进行网站特征向量的提取，文字信息包括文本内容、文本区的长度、文本区的内聚度、文字链接比以及语言特性等，特征信息包括网络拓扑结构、DOM树节点间层次关系、页面属性、网页视觉特征等；

步骤S3：通过识别文字信息对待测目标网站分流后的响应数据匹配得出相似度，通过特征信息对待测目标网站分流后的请求数据匹配得出相似度，综合评估目标网站请求、响应数据匹配结果，最终确定四方支付网站类型，根据分离的待测目标网站响应数据包与四方支付识别文字信息碰撞匹配来评估相似程度，根据分离的待测目标网站请求数据包和网页抽取的特征信息进行关联匹配来评估相似程度，综合目标网站文字匹配和特征匹配结果来确认最终网站为四方支付网站的置信度；

步骤S4：利用网页抽取技术，抽取网站访问类型特征判定信息、抽取用户角色特征页面信息，分析采用网页结构信息采用特征向量提取算法进行抽取，网页结构包括：页面属性，如:url属性、action属性、input属性、herf属性；

步骤S5：根据最终确认为四方支付类型的网站，利用抽取的用户角色页面信息配出用户角色特征页面的权重，根据权重大小判别用户角色；、利用抽取的访问类型判定信息匹配出用户在四方支付网站的行为，根据最终确认为四方支付类型的网站从原始流量中过滤这类网站流量数据，并分离请求数据和响应数据，使用提取的访问类型特征判定信息与四方支付网站的请求数据匹配，识别出用户在四方支付网站的访问类型，使用分离出来的响应数据包与角色特征页面信息匹配，然后通过角色判断特征页面的权重，最终确认四方支付网站用户角色。

根据以上步骤可以得出，本技术方案的主要工作流程如下如述：

（1）通过嗅探捕抓网络流量，报文协议解析还原并获取网站信息；

（2）将获取的网站信息分流，分流出网站请求信息、网站响应信息；

（3）四方支付识别文字信息抽取；

（4）将分流的网站响应信息与（3）抽取的文字信息碰撞匹配，对文字信息匹配的次数、匹配文字的条数评估打分；

（5）四方支付网站请求数据特征信息抽取；

（6）将分流的网站请求信息与（5）请求数据特征关联匹配，对匹配的特征规则评估打分；

（7）结合（4）、（6）对网站综合评分，评分高的域名四方支付网站的置信度越高；

（8）将置信度高的域名判定为四方支付网站；

（9）将（1）捕获的网络流量按（8）的域名过滤分离出四方支付网站，并分流；

（10）四方支付网站访问类型判定信息抽取，访问类型包括登录、注册、收款、提现；

（11）将分流的四方支付网站请求信息与（10）访问类型判定信息关联匹配，区分用户的访问类型。

（12）四方支付网站用户角色判定信息抽取，判定特征包括：订单管理特征、用户管理特征、收款码管理特征、提款管理特征等；判定角色包括：管理员、代理、商户、码商；

（13）将分流的四方支付网站响应信息按唯一身份标识区分不同用户响应数据；

（14）将按用户区分后响应数据包与（12）抽取的用户角色判定信息匹配，区分出不同用户角色；

（15）所述捕抓网络流量，会话还原协议解析并获取网站信息，包括：获取所述网络流量镜像可以是数据中心机房流量、电信运营商流量、城域网流量；通过深度网络数据包解析技术获取所述网站信息；

（16）所述四方支付网站是指建立在如支付宝、微信、银行卡等其他支付手段的基础上，进行金钱流通的网站；

（17）所述四方支付模糊匹配文字信息抽取、四方支付网站请求数据特征抽取、四方支付网站用户角色判定信息抽取、四方支付网站访问类型判定信息抽取，包括：采用的信息抽取为网页抽取技术分析网页结构信息、文字信息。

与传统技术相比，本技术方案采用捕抓网络流量、协议解析还原方式获取网页信息，并发明一种识别四方支付网站的方法，可以识别四方支付网站，清朗网络空间，能分析四方支付网站用户角色及访问类型，方便定位四方支付网站的实际经营管理者，打击网络违法犯罪活动。

实施例：

S1：通过镜像网络流量，嗅探捕获数据包报文进行协议深度解析还原网站信息并分流请求、响应数据。

本步骤主要实现网站的请求、响应数据获取和分流，其中镜像的网络流量是互联网上的数据流量，可以是数据中心机房网络流量、城域网网络流量、电信运营商网络流量。

具体而言，通过镜像互联数据流量，利用网络抓包嗅探技术捕获镜像来的流量，然后对这些流量会话重组，接着进行深度网络数据包解析，分析网站协议并还原出流量中的网站信息；对这些还原后的网站信息，分离出请求数据包和响应数据包。

作为一种优选实施实例，上述分离请求数据包和响应数据包，可以包括:当获取到数据包时，对网络数据流、网络会话进行跟踪重组，根据会话的方向分离出请求和响应数据。

S2：利用网页抽取技术，获取四方支付网站识别文字信息、特征信息。

本步骤主要实现四方支付网站识别文字信息和特征信息的抽取。其中文字信息包括文本内容、文本区的长度、文本区的内聚度、文字链接比以及语言特性等；结构信息包括网络拓扑结构、DOM树节点间层次关系、页面属性、网页视觉特征等。

具体的，当获取到网站响应数据后，利用网页的文字信息和结构信息进行网站特征向量的提取，其中抽取的文本内容信息为四方支付网站高频出现的文字，如“免签约支付”、“DO结算”、“代付系统”等；当获取请求信息后，抽取特征信息包括：支付地址payUrl、收款码地址qrcodeUrl、支付回调地址notifyUrl、支付订单编号、以及多个登录入口地址等。

作为一种优选实例，上述对网站响应数据包特征向量抽取，获取四方支付网站的特征，可以包括：利用网页抽取技术和算法对各网页进行特征抽取。其中网页抽取技术和算法为任意一种能抽取目标网站的特征信息的算法，如：基于启发式规则和无监督学习的网页抽取算法、基于分类器的网页抽取算法、基于网页模板自动生成的网页抽取算法。

S3：通过识别文字信息对待测目标网站分流后的响应数据匹配得出相似度；通过特征信息对待测目标网站分流后的请求数据匹配得出相似度；综合评估目标网站请求、响应数据匹配结果，最终确定四方支付网站类型。

本步骤主要实现四方支付网站的识别，根据上述分离的响应数据包和网页抽取的四方支付识别文字信息碰撞匹配，评估匹配程度；根据上述分离的请求数据包和网页抽取的特征信息进行关联匹配，评估匹配程度；综合文字匹配和特征匹配得分，确认最终网站为四方支付网站的置信值。

作为一种优选的实例，所述文字评估匹配程度，所述网站特征评估匹配程，具体步骤为：

（1）假设抽取的文字信息个数为n个，按权重的大小设置每个文字信息的分值：1~m；

（2）记录响应数据包与每个文字信息匹配命中的次数i；

（3）将权重分值及命中次数相乘f(m,i)=mi;

（4）将结果累加，最终的网站文字信息匹配得分为：

；

（5）同理，假设抽取的特征信息个数为k个，按权重的大小设置每个特征信息的分值1~q；

（6）记录请求数据包与每个特征信息匹配命中的次数j；

（7）将权重分值及命中次数相乘f(q,j)=qj;

（8）将结果累加，最终的网站特征信息匹配得分为：

；

（9）综合识别文字信息和特征信息，则该网站匹配四方支付的置信度为:S(n,k)=g(n)+O(k)。

S4：利用网页抽取技术，抽取网站访问类型特征判定信息、抽取用户角色特征页面信息。

本步骤主要实现四方支付网站访问类型和角色判定信息的抽取，本步骤特征提取采用的同S2中网页结构信息抽取的方式和特征向量提取算法，其中网页结构包括：页面属性如:action属性、input属性、herf属性。

具体的,当获取请求信息后，抽取访问类型input属性信息包括：注册、登录、收款、提现；当获取响应信息后，角色判定特征页面包括:订单管理、用户管理、收款码管理、提现银行卡管理等;综合访问类型及角色判断特征访问频数判断，确定非法支付网站角色，包括：管理员、代理、商户、码商。

作为一种优选的实例，所述抽取访问类型，采用的提取方法可以为正则匹配。如：匹配有账户名、密码的为登录访问类型；匹配账户名、密码及密码确认、邀请码的为注册访问行为；同理，对收款和提现访问类型，分别匹配收款方式和提现方式及账号信息。对于符合上述行为的网站请求关键特征，即为网站访问判定词。

S5：根据最终确认为四方支付类型的网站，利用抽取的用户角色特征页面信息、访问类型特征判定信息，确认四方支付网站的用户角色、用户在四方支付网站的行为。

本步骤最终确认四方支付网站的用户角色和用户在网站上的行为；其中四方支付网站为上述置信度高的网站。四方支付网站的用户角色判定时要确认同一用户的操作行为，其包括：通过网站的会话session、网站用户的token等能够唯一标识网站用户方式。

具体的，根据上述识别的四方支付网站，从原始流量中过滤出四方支付的网站流量数据，并分离请求数据和响应数据，根据上述提取的访问类型判定词，通过支付网站的请求数据与访问类型判定词匹配，识别出用户在四方支付网站的访问类型。

具体的，通过分离出来的响应数据包经过上述角色判定特征判断，然后通过角色判断特征页面的权重，最终确认四方支付网站用户角色。

作为一种优选的实例，所述四方支付网站角色判定，具体步骤为：

（1）通过网页抽取用户角色判定特征，假定抽取的角色判定特征有：订单管理特征、用户管理特征、收款码管理特征、提现管理特征；

（2）获取镜像后的网站响应数据按用户身份唯一标志区分不同用户的响应数据，然后把区分的响应数据与抽取的角色判定特征匹配，对匹配的特征及匹配次数进行记录；

（3）根据特征及匹配次数权重能够，进行角色判定：

A.管理员，响应数据同时包含上述假定的四种页面特征；

B.商户，响应数据包中无收款码管理特征、用户管理特征类型数据包，且提现管理特征数据包匹配次数权重最大；

C.码商，响应数据包中无用户管理特征数据包，且收款码管理特征数据包匹配次数权重最大；

D.代理商，响应数据包中无收款码管理特征、订单管理特征类型数据包，且用户管理特征数据包匹配次数权重最大；

（4）在区分用户的响应数据包中的，筛选出用户登录后返回的唯一身份标识信息；

（5）关联用户登录的用户名、登录成功返回唯一身份信息、通过唯一表示符角色判定结果，最终确认用户名对应的角色类型。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (6)

1.一种四方支付网站识别及用户分析方法，其特征在于，包括以下步骤：

步骤S1：通过镜像网络流量，嗅探捕获数据包报文进行协议深度解析还原网站信息并分流请求、响应数据；具体为通过镜像互联数据流量，利用网络抓包嗅探技术捕获镜像流量，对捕获的流量会话重组并进行网站协议深度解析，还原出真实网站信息，对还原后的网站信息分离出请求数据包和响应数据包；

步骤S2：利用网页抽取技术，获取四方支付网站识别文字信息、特征信息，当获取到网站数据后，分析网页的文字信息和结构信息进行网站特征向量的提取；

步骤S3：通过识别文字信息对待测目标网站分流后的响应数据匹配得出相似度，通过特征信息对待测目标网站分流后的请求数据匹配得出相似度，综合评估目标网站请求、响应数据匹配结果，最终确定四方支付网站类型；

步骤S4：利用网页抽取技术，抽取网站访问类型特征判定信息、抽取用户角色判定页面信息，分析网页结构信息采用特征向量提取算法进行抽取；

步骤S5：根据最终确认为四方支付类型的网站，利用抽取的用户角色特征页面信息匹配出用户角色特征页面的权重，根据权重大小判别用户角色；利用抽取的访问类型特征判定信息匹配出用户在四方支付网站的行为。

2.根据权利要求1所述的一种四方支付网站识别及用户分析方法，其特征在于，在步骤S1中，镜像网络流量是互联网上的数据流量，可以是数据中心机房网络流量、城域网网络流量、电信运营商网络流量。

3.根据权利要求1所述的一种四方支付网站识别及用户分析方法，其特征在于，在步骤S2中，识别文字信息包括文本内容、文本区的长度、文本区的内聚度、文字链接比以及语言特性等，特征信息包括网络拓扑结构、DOM树节点间层次关系、页面属性、网页视觉特征等。

4.根据权利要求1所述的一种四方支付网站识别及用户分析方法，其特征在于，在步骤S3中，根据分离的待测目标网站响应数据包与四方支付识别文字信息碰撞匹配来评估相似程度，根据分离的待测目标网站请求数据包和网页抽取的特征信息进行关联匹配来评估相似程度，综合目标网站文字匹配和特征匹配结果最终确认网站为四方支付网站的置信度。

5.根据权利要求1所述的一种四方支付网站识别及用户分析方法，其特征在于，在步骤S4中，网页结构包括：页面属性，如:url属性、action属性、input属性、herf属性。

6.根据权利要求1所述的一种四方支付网站识别及用户分析方法，其特征在于，在步骤S5中，根据最终确认为四方支付类型的网站从原始流量中过滤出这类网站流量数据，并分离请求数据和响应数据，使用提取的访问类型特征判定信息与四方支付网站的请求数据匹配，识别出用户在四方支付网站的访问类型，使用分离的响应数据包与角色特征页面信息匹配，然后通过角色判断特征页面的权重，最终确认四方支付网站用户角色。

Images