CN115941525A - 基于上网行为分析技术的用户跟踪方法及系统 - Google Patents
基于上网行为分析技术的用户跟踪方法及系统 Download PDFInfo
- Publication number
- CN115941525A CN115941525A CN202211177850.XA CN202211177850A CN115941525A CN 115941525 A CN115941525 A CN 115941525A CN 202211177850 A CN202211177850 A CN 202211177850A CN 115941525 A CN115941525 A CN 115941525A
- Authority
- CN
- China
- Prior art keywords
- data
- user
- layer
- storing
- tracking method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Abstract
本发明涉及互联网技术领域，具体涉及基于上网行为分析技术的用户跟踪方法及系统，包括，步骤S1，搭建旁路镜像环境，抓取旁路镜像的用户上网数据的报文并以数据包形式存储于一内存池中，并对数据包并进行逐层解析，至链路层解析完毕后将数据包保存至无锁队列；步骤S2，获取无锁队列的数据包并处理，进行网络层和传输层数据解析，将解析出的数据作为用户数据保存至用户链表；步骤S3，将用户数据与一特征库中的特征信息比对，基于比对结果对用户数据分类，并识别出用户数据所对应的应用程序或网站，本发明对于解析应用数据流效率更加高效，适用于物理机和虚拟机，并且实现简单，易于部署。
Description
技术领域
本发明涉及互联网技术领域，具体涉及基于上网行为分析技术的用户跟踪方法及系统。
背景技术
当前上网行为分析技术的用户跟踪方法两种，一种为对单个终端用户上网数据流量进行捕获解析、分类，以便及时对用户上网行为进行监测和统计，并且上报，及时发现用户违规违法行为。
对用户使用APP概率进行统计，以及用户数据流量的统计，端口上下行流量统计，获取用户app，流量使用比例和趋势。
现有技术的基于UDP，在自定义协议上，主设备对从设备进行管理并且传输基于数据视图的通用数据，在虚拟机和硬盘物理机均可运行，但是采用UDP传输协议，不具备可靠性，可能存在丢包导致误判网关状态异常问题。
现有技术的用户上网流量深度解析，通过获取镜像流量，对用户流量进行二层、三层、四层、七层解析，将解析后的数据进行APP分类、http访问记录，流量统计，APP使用频率统计，显示于前端页面，仅适用于存在硬盘的物理机，不适用于虚拟机，因为虚拟机没有物理接口，进行接收镜像流量数据，不适用于虚似机；内存利用率比较大，由于一台服务器对应的用户往往是上万级的，因此镜像的流量会比较大，往往会存在丢包，部分数据被遗漏解析的现象，这样会导致数据无法被准确的显示，因此需要及时调整。
现有技术中支持URL特征库、程序特征库比对，通过比对搜集的URL库、程序库文件，与镜像流量被解析后得到的URL进行对比，将访问的URL分为教育、财经等类型，以便统计流量趋势图，但是只适用于物理机，不适用于虚拟机，并且对于自己搜集的特征库里面没有的类别，会无法进行识别，无法识别出访问的是哪一种程序，需要不断的更新迭代，不断的丰富特征库，同时https的特征库无法被识别，因为https只能被解析到host，无法确定URL，所以没办法根据URL的特征库分别出应用程序的类别。
发明内容
本发明的目的在于，提供基于上网行为分析检测技术的用户跟踪方法，解决以上技术问题；
本发明的目的还在于，提供基于上网行为分析检测技术的用户跟踪系统，解决以上技术问题；
本发明所解决的技术问题可以采用以下技术方案来实现：
基于上网行为分析检测技术的用户跟踪方法，包括，
步骤S1，搭建旁路镜像环境，抓取旁路镜像的用户上网数据的报文并以数据包形式存储于一内存池中，并对所述数据包并进行逐层解析，至链路层解析完毕后将所述数据包保存至无锁队列；
步骤S2，获取所述无锁队列的数据包并处理，进行网络层和传输层数据解析，将解析出的数据作为用户数据保存至用户链表；
步骤S3，将所述用户数据与一特征库中的特征信息比对，基于比对结果对所述用户数据分类，并识别出所述用户数据所对应的应用程序或网站。
优选的，步骤S1包括，
步骤S11，分别接收所述旁路镜像的上行流数据和下行流数据；
步骤S12，所述旁路镜像的所述报文经数据包处理存于预分配的所述内存池中；
步骤S13，以线程方式获取所述数据包并进行七层模型的逐层解析，当链路层数据解析完毕后，将所述数据包保存至所述无锁队列。
优选的，步骤S2包括，
步骤S21，获取所述无锁队列的所述数据包，进行网络层解析，获得用户地址与端口号，并将所述用户地址与所述端口号作为所述用户数据保存至所述用户链表。
优选的，步骤S21包括，
获取所述无锁队列的所述数据包并进行解析，检测所述用户链表，确认用户是否存在，若不存在则添加所述用户数据。
优选的，步骤S2还包括，
步骤S22，对所述用户数据进行传输层解析，获得传输控制协议/用户数据报协议提供的数据流；
步骤S23，将所述数据流按照相对应的所述用户地址存入所述用户链表。
优选的，步骤S23包括，搜寻所述用户链表中是否存在于所述数据流相对应的所述用户地址，若不存在，则分配数据流存储空间，将所述数据流存入所述用户链表；否则，不分配所述数据流存储空间，按照相对应的所述用户地址存入所述用户链表。
优选的，步骤S3包括，
步骤S31，设定计时器，获取所述用户数据；
步骤S32，将所述用户数据中的所述端口号与所述特征库中的所述特征信息比对，确定所述用户数据对应的应用类型，并进一步解析得到应用程序的账号或网站的定位符。
优选的，还包括，
步骤S4，建立跟踪后台，查询并显示任一所述用户地址所对应的所述数据流。
基于上网行为分析检测技术的用户跟踪系统，用于实施所述的用户跟踪方法，包括，
数据包处理模块，用于获取所述数据包并存入所述内存池；
报文解析模块，连接所述数据包处理模块，用于解析所述旁路镜像的用户上网数据的报文，所述报文解析模块内设有用于比对所述用户数据的所述特征库；
数据传输模块，连接所述报文解析模块，用于接收和发送所述报文解析模块的数据；
数据库，通过一数据收集模块连接所述数据传输模块，用于存储所述数据传输模块的数据。
优选的，还包括，
网站服务器，连接所述数据库，用于提供网络服务；
第三方对接模块，连接所述数据库，用于对接外部监管系统；
信息收集模块，连接所述数据传输模块。
本发明的有益效果：由于采用以上技术方案，本发明对于解析应用数据流效率更加高效，适用于物理机和虚拟机，并且实现简单，易于部署。
附图说明
图1为本发明实施例中用户跟踪方法的流程图；
图2为本发明实施例中用户跟踪方法的步骤示意图；
图3为本发明实施例中步骤S1流程图；
图4为本发明实施例中步骤S2流程图；
图5为本发明实施例中用户跟踪系统软件架构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
基于上网行为分析检测技术的用户跟踪方法，如图1所示，包括，
步骤S1，搭建旁路镜像环境，抓取旁路镜像的用户上网数据的报文并以数据包形式存储于一内存池中，并对数据包并进行逐层解析，至链路层解析完毕后将数据包保存至无锁队列；
步骤S2，获取无锁队列的数据包并处理，进行网络层和传输层数据解析，将解析出的数据作为用户数据保存至用户链表；
步骤S3，将用户数据与一特征库中的特征信息比对，基于比对结果对用户数据分类，并识别出用户数据所对应的应用程序或网站。
具体的，本发明运行于内网，旁路用户流量，基于镜像流量分析用户行为，将用户上网数据信息进行解析，同时可以动态追踪单个终端用户实时上网信息，进一步的，通过特征库比对识别APP应用流量，将解析到的端口号与特征库端口号进行比对，识别出对应的APP应用后，在进行相应的应用数据解析，再将解析到的数据保存到数据库。
在一种较优的实施例中，如图2所示，步骤S1包括，
步骤S11，分别接收旁路镜像的上行流数据和下行流数据；
步骤S12，旁路镜像的报文经数据包处理存于预分配的内存池中；
步骤S13，以线程方式获取数据包并进行七层模型的逐层解析，当链路层数据解析完毕后，将数据包保存至无锁队列。
具体的，通过搭建旁路镜像环境，分别使用两个物理端口接收镜像的上下行数据，并通过DPDK抓取报文。
在一种较优的实施例中，如图3所示，步骤S2包括，
步骤S21，获取无锁队列的数据包，进行网络层解析，获得用户地址(IP地址)与端口号，并将用户地址与端口号作为用户数据保存至用户链表。
在一种较优的实施例中，步骤S21包括，
获取无锁队列的数据包并进行解析，检测用户链表，确认用户是否存在，若不存在则添加用户数据。
在一种较优的实施例中，步骤S2还包括，
步骤S22，对用户数据进行传输层解析，获得传输控制协议/用户数据报协议(TCP/UDP)提供的数据流；
步骤S23，将数据流按照相对应的用户地址存入用户链表。
在一种较优的实施例中，步骤S23包括，搜寻用户链表中是否存在于数据流相对应的用户地址，若不存在，则分配数据流存储空间，将数据流存入用户链表；否则，不分配数据流存储空间，按照相对应的用户地址存入用户链表；较优的，用户链表采用为哈希链表。
在一种较优的实施例中，如图4所示，步骤S3包括，
步骤S31，设定计时器，获取用户数据；
步骤S32，将用户数据中的端口号与特征库中的特征信息比对，确定用户数据对应的应用类型，并进一步解析得到应用程序的账号或网站的定位符。
在一种较优的实施例中，还包括，
步骤S4，建立跟踪后台，查询并显示任一用户地址所对应的数据流。
具体的，分析出TCP、UDP数据流，按照用户的IP将数据流保存在流链表，便于后续方便查询，保存完用户信息的IP和端口后，为了进一步分析用户行为，需要对用户数据进行深度解析，通过比对URL库将数据分类为http、https、应用程序三个类别，并将对应app的用户登录账号信息解析出来，便于查询。
通过后台命令将实时查询用户数据的基本信息，并且根据用户的IP查询用户数据流对用的应用程序和账户ID，以便于查询单个用户数据流的个数和详细信息。
具体的，为了便于实时跟踪用户上网行为，提供了后台telnet查询接口，通过指令查询用户状态、以及用户数据流状态。
用户上网行为跟踪后台查询操作如下：初始化可进行操作的命令，绑定telnet服务器端口2345，建立阻塞；等待命令行输入命令，执行相应的操作；在一种具体的实施例中，输入命令“term show IP”后会根据指定IP地址从流链表中获取流的数据信息，显示在后台。
具体的，对于认证的用户，被镜像的流量都会被解析到，起到了跟踪分析用户行为的目的。
基于上网行为分析检测技术的用户跟踪系统，用于实施任意一项的实施例中的用户跟踪方法，如图5所示，包括，
数据包处理模块1，用于获取数据包并存入内存池；
报文解析模块2，连接数据包处理模块1，用于解析旁路镜像的用户上网数据的报文，报文解析模块2内设有用于比对分析用户数据的特征库；
数据传输模块11，连接报文解析模块2，用于接收和发送报文解析模块2的数据；
数据库6，通过一数据收集模块5连接数据传输模块11，用于存储数据传输模块11的数据；
具体地，本发明提供的数据包处理模块1即DPDK，还包括ODP，较优的，ODP为一开源的数据面模块，提供对数据流处理的抽象框架，可以运行在DPDK上实现性能加速，也可以运行在Linux协议栈上，对报文解析模块2提供平台独立性、自动硬件加速和CPU扩展等特性；
具体的，报文解析模块2负责深度解析镜用户上网流量，分析用户应用程序虚拟身份，http日志，终端特征，URL访问记录，流量统计等信息，并通过数据传输客户端3发送出去；
具体的，数据传输模块11包括：
数据传输客户端3，用于提供设备无关化的数据传输客户端3功能，对应用程序提供统一的数据定义和API接口，屏蔽具体的通信细节，数据传输客户端3包括：
客户端数据视图32，提供数据的统一规范和定义；
数据传输接口31，提供统一的通用API接口发送数据；
设备管理客户端33，运行于网关或者LAC等信息收集端，和设备管理服务端43进行连接保活，校验，接受配置等。
数据传输服务端4，用于提供设备无关化的通信服务端功能，对应用程序提供统一的数据定义和API接口，屏蔽具体的通信细节，数据传输服务端4包括，
服务端数据视图42，用于提供统一规范和定义；
数据接受接口41，提供统一的通用API接口接受数据；
设备管理服务端43，运行于审计服务器，管理客户端连接，应用程序不可见。
具体的，用户跟踪系统还包括，
第三方对接模块7，连接数据库6，用于对接外部监管系统，较优的，第三方对接模块7提供满足通信规范的与第三方设备的对接能力。
数据收集模块5，用于收集所有数据传输客户端3发来的数据，并存入数据库6，数据库6用于对收集的数据进行存储，分为内存数据库和磁盘数据库，内存数据库提供性能较高的数据存储，主要存储实时，存储频繁，不需要进行长期保持，设备重启可以丢失的数据，例如实时统计，磁盘数据库提供长期的数据备份，主要存储非实时，存储不频繁，需要进行长期保持，设备重启不能丢失的数据，例如用户访问记录；
网站服务器8，用于提供网站服务；
信息收集模块9，由网关/LAC设备上原模块实现，通过数据传输适配层传输收集的数据。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。
Claims (10)
1.基于上网行为分析检测技术的用户跟踪方法，其特征在于，包括，
步骤S1，搭建旁路镜像环境，抓取旁路镜像的用户上网数据的报文并以数据包形式存储于一内存池中，并对所述数据包并进行逐层解析，至链路层解析完毕后将所述数据包保存至无锁队列；
步骤S2，获取所述无锁队列的数据包并处理，进行网络层和传输层数据解析，将解析出的数据作为用户数据保存至用户链表；
步骤S3，将所述用户数据与一特征库中的特征信息比对，基于比对结果对所述用户数据分类，并识别出所述用户数据所对应的应用程序或网站。
2.根据权利要求1所述的用户跟踪方法，其特征在于，步骤S1包括，
步骤S11，分别接收所述旁路镜像的上行流数据和下行流数据；
步骤S12，所述旁路镜像的所述报文经数据包处理存于预分配的所述内存池中；
步骤S13，以线程方式获取所述数据包并进行七层模型的逐层解析，当链路层数据解析完毕后，将所述数据包保存至所述无锁队列。
3.根据权利要求1所述的用户跟踪方法，其特征在于，步骤S2包括，
步骤S21，获取所述无锁队列的所述数据包，进行网络层解析，获得用户地址与端口号，并将所述用户地址与所述端口号作为所述用户数据保存至所述用户链表。
4.根据权利要求3所述的用户跟踪方法，其特征在于，步骤S21包括，
获取所述无锁队列的所述数据包并进行解析，检测所述用户链表，确认用户是否存在，若不存在则添加所述用户数据。
5.根据权利要求3所述的用户跟踪方法，其特征在于，步骤S2还包括，
步骤S22，对所述用户数据进行传输层解析，获得传输控制协议/用户数据报协议提供的数据流；
步骤S23，将所述数据流按照相对应的所述用户地址存入所述用户链表。
6.根据权利要求5所述的用户跟踪方法，其特征在于，步骤S23包括，搜寻所述用户链表中是否存在于所述数据流相对应的所述用户地址，若不存在，则分配数据流存储空间，将所述数据流存入所述用户链表；否则，不分配所述数据流存储空间，按照相对应的所述用户地址存入所述用户链表。
7.根据权利要求5所述的用户跟踪方法，其特征在于，步骤S3包括，
步骤S31，设定计时器，获取所述用户数据；
步骤S32，将所述用户数据中的所述端口号与所述特征库中的所述特征信息比对，确定所述用户数据对应的应用类型，并进一步解析得到应用程序的账号或网站的定位符。
8.根据权利要求1所述的用户跟踪方法，其特征在于，还包括，
步骤S4，建立跟踪后台，查询并显示任一所述用户地址所对应的所述数据流。
9.基于上网行为分析检测技术的用户跟踪系统，用于实施权利要求1-8中任意一项所述的用户跟踪方法，其特征在于，包括，
数据包处理模块，用于获取所述数据包并存入所述内存池；
报文解析模块，连接所述数据包处理模块，用于解析所述旁路镜像的用户上网数据的报文，所述报文解析模块内设有用于比对所述用户数据的所述特征库；
数据传输模块，连接所述报文解析模块，用于接收和发送所述报文解析模块的数据；
数据库，通过一数据收集模块连接所述数据传输模块，用于存储所述数据传输模块的数据。
10.根据权利要求9所述的用户跟踪系统，其特征在于，还包括，
网站服务器，连接所述数据库，用于提供网络服务；
第三方对接模块，连接所述数据库，用于对接外部监管系统；
信息收集模块，连接所述数据传输模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211177850.XA CN115941525A (zh) | 2022-09-22 | 2022-09-22 | 基于上网行为分析技术的用户跟踪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211177850.XA CN115941525A (zh) | 2022-09-22 | 2022-09-22 | 基于上网行为分析技术的用户跟踪方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115941525A true CN115941525A (zh) | 2023-04-07 |
Family
ID=86651399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211177850.XA Pending CN115941525A (zh) | 2022-09-22 | 2022-09-22 | 基于上网行为分析技术的用户跟踪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115941525A (zh) |
-
2022
- 2022-09-22 CN CN202211177850.XA patent/CN115941525A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| USRE49126E1 (en) | Real-time adaptive processing of network data packets for analysis | |
| EP3855692A1 (en) | Network security monitoring method, network security monitoring device, and system | |
| Wang et al. | A smart home gateway platform for data collection and awareness | |
| US8838820B2 (en) | Method for embedding meta-commands in normal network packets | |
| US10326848B2 (en) | Method for modeling user behavior in IP networks | |
| US20190075049A1 (en) | Determining Direction of Network Sessions | |
| US10332005B1 (en) | System and method for extracting signatures from controlled execution of applications and using them on traffic traces | |
| US9426046B2 (en) | Web page download time analysis | |
| CN108900374B (zh) | 一种应用于dpi设备的数据处理方法和装置 | |
| CN105376335B (zh) | 一种采集数据上传方法和装置 | |
| US20110320870A1 (en) | Collecting network-level packets into a data structure in response to an abnormal condition | |
| US9686173B1 (en) | Unsupervised methodology to unveil content delivery network structures | |
| WO2020052110A1 (zh) | 业务质量监控方法、装置及系统 | |
| CN107786992B (zh) | 一种检测移动通信网络质量的方法和装置 | |
| CN112350854B (zh) | 一种流量故障定位方法、装置、设备及存储介质 | |
| CN112532614A (zh) | 一种用于电网终端的安全监测方法和系统 | |
| CN105553770B (zh) | 一种数据采集控制方法和装置 | |
| US10977252B2 (en) | Monitoring network traffic to determine similar content | |
| CN106789413B (zh) | 一种检测代理上网的方法和装置 | |
| EP3641222A1 (en) | Method, apparatus and system for monitoring data traffic | |
| US10419351B1 (en) | System and method for extracting signatures from controlled execution of applications and application codes retrieved from an application source | |
| CN109361546B (zh) | 一种基于视联网的程序预警方法和装置 | |
| CN109429296B (zh) | 用于终端与上网信息关联的方法、装置及存储介质 | |
| CN115941525A (zh) | 基于上网行为分析技术的用户跟踪方法及系统 | |
| US11477069B2 (en) | Inserting replay events in network production flows |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |