CN108023767A - 上网行为追踪方法、装置及服务器 - Google Patents

上网行为追踪方法、装置及服务器 Download PDF

Info

Publication number
CN108023767A
CN108023767A CN201711224352.5A CN201711224352A CN108023767A CN 108023767 A CN108023767 A CN 108023767A CN 201711224352 A CN201711224352 A CN 201711224352A CN 108023767 A CN108023767 A CN 108023767A
Authority
CN
China
Prior art keywords
network packet
http protocol
data
internet
address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711224352.5A
Other languages
English (en)
Inventor
周俊
黄勇
陈航
黄赞赞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Silent Information Technology Co Ltd
Original Assignee
Sichuan Silent Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Silent Information Technology Co Ltd filed Critical Sichuan Silent Information Technology Co Ltd
Priority to CN201711224352.5A priority Critical patent/CN108023767A/zh
Publication of CN108023767A publication Critical patent/CN108023767A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/955Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例提供上网行为追踪方法、装置及服务器,涉及计算机应用领域。上网行为追踪方法包括获取网络数据包;解析所述网络数据包,并过滤得到HTTP协议网络数据包;解析所述HTTP协议网络数据包,并对所述HTTP协议网络数据包进行流还原,得到HTTP协议网络数据流;依据所述HTTP协议网络数据流,获取地址数据;依据所述地址数据获取上网标记;将所述上网标记和所述地址数据进行关联,并获取所述上网标记的URL地址访问记录。本发明实施例的上网行为追踪方法及装置能够快速获取网络数据包,具有高效分析上网行为,关联数据精准,能够依据关联的数据来追踪上网用户的行为。

Description

上网行为追踪方法、装置及服务器
技术领域
本发明涉及计算机应用领域,具体而言,涉及一种上网行为追踪方法、装置及服务器。
背景技术
伴随着网络技术的发展,各种网站及应用层出不穷。同时,网络规模急剧膨胀,用户在网络上也越来越多,对区域网络中上网行为追踪及识别,成为了一项重要而繁琐的工作。目前,业内通常采用的上网行为追踪方法是通过专用的硬件设备完成高速网络的数据捕获,存入关系数据库中,再使用传统的数据统计分析对数据库中的数据进行关联匹配,进行上网行为的追踪。此上网行为追踪方法,数据关联差,不利于快速上网行为追踪。
发明内容
有鉴于此,本发明实施例的目的在于提供一种上网行为追踪方法、装置及服务器,以改善上述问题。
本发明实施例提供的一种上网行为追踪方法,应用于服务器,包括:获取网络数据包;解析所述网络数据包,并过滤得到HTTP协议网络数据包;解析所述HTTP协议网络数据包,并对所述HTTP协议网络数据包进行流还原,得到HTTP协议网络数据流;依据所述HTTP协议网络数据流,获取地址数据;依据所述地址数据获取上网标记;将所述上网标记和所述地址数据进行关联,并获取所述上网标记的URL地址访问记录。
优选的,所述获取网络数据包的步骤包括:从网络的通信信道上采集网络数据包,并将采集到的所述网络数据包写入预设的多个缓冲区中的至少一个缓冲区。
优选的,所述解析所述网络数据包,并过滤得到HTTP协议网络数据包的步骤包括:解析所述网络数据包,获取所述网络数据包对应的数据链路层、网络层、传输层、应用层数据;通过对协议头快速匹配,查找TCP协议;对TCP协议的应用层数据的关键字进行匹配,过滤得到HTTP协议网络数据包。
优选的,所述解析所述HTTP协议网络数据包,并对所述HTTP协议网络数据包进行流还原,得到HTTP协议网络数据流的步骤包括:建立四元组,所述四元组为源IP、目的IP、源端口、目的端口组流;依据HTTP协议流还原规则,通过匹配所述HTTP协议网络数据包的上行GET数据包或POST数据包,并匹配所述HTTP协议网络数据包的四元组的数据,还原上行和下行数据流,得到所述HTTP协议网络数据流。
优选的,所述地址数据包括MAC地址,所述上网标记为上网账号,所述上网行为追踪方法还包括:依据预存储的MAC地址与上网账号的关系,获取所述MAC地址对应的上网账号;将所述上网账号与所述MAC地址、IP地址和虚拟帐号进行关联,还将所述虚拟帐号与所述MAC地址和IP地址进行关联;获取所述上网账号的URL地址访问记录,并以所述上网账号为中心,网状关联所述URL地址访问记录,追踪所述上网账号的上网轨迹。
本发明实施例还提供一种上网行为追踪装置,应用于服务器,所述上网行为追踪装置包括:捕获模块,用于获取网络数据包;过滤模块,用于解析所述网络数据包,并过滤得到HTTP协议网络数据包;还原模块,用于解析所述HTTP协议网络数据包,并对所述HTTP协议网络数据包进行流还原,得到HTTP协议网络数据流;地址获取模块,用于依据所述HTTP协议网络数据流,获取地址数据;标记获取模块,依据所述地址数据获取上网标记;关联分析模块,用于将所述上网标记和所述地址数据进行关联,并获取所述上网标记的URL地址访问记录。
优选的,所述捕获模块还用于:从网络的通信信道上采集网络数据包,并将采集到的所述网络数据包写入预设的多个缓冲区中的至少一个缓冲区。
优选的,所述还原模块还用于:建立四元组,所述四元组为源IP、目的IP、源端口、目的端口组流;依据HTTP协议流还原规则,通过匹配所述HTTP协议网络数据包的上行GET数据包或POST数据包,并匹配所述HTTP协议网络数据包的四元组的数据,还原上行和下行数据流,得到所述HTTP协议网络数据流。
优选的,所述地址数据包括MAC地址,所述上网标记为上网账号,所述标记获取模块还用于:依据预存储的MAC地址与上网账号的关系,获取所述MAC地址对应的上网账号;所述关联分析模块还用于:将所述上网账号与所述MAC地址、IP地址和虚拟帐号进行关联,还将所述虚拟帐号与所述MAC地址和IP地址进行关联;获取所述上网账号的URL地址访问记录,并以所述上网账号为中心,网状关联所述URL地址访问记录,追踪所述上网账号的上网轨迹。
一种服务器,包括:一个或多个处理器;存储器,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上所述的区域网络上网行为追踪方法。
与现有技术相比,本发明实施例提供的上网行为追踪方法、装置及服务器,该方法包括获取网络数据包;解析所述网络数据包,并过滤得到HTTP协议网络数据包;解析所述HTTP协议网络数据包,并对所述HTTP协议网络数据包进行流还原,得到HTTP协议网络数据流;依据所述HTTP协议网络数据流,获取地址数据;依据所述地址数据获取上网标记;将所述上网标记和所述地址数据进行关联,并获取所述上网标记的URL地址访问记录。本发明实施例的上网行为追踪方法及装置能够快速获取网络数据包,具有高效分析上网行为,关联数据精准,能够依据关联的数据来追踪上网用户的行为。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的上网行为追踪方法的流程图。
图2为本发明实施例提供的上网行为追踪方法中HTTP数据流解析和绑定上网帐号的示意图。
图3为本发明实施例提供的服务器的结构示意图。
图4为本发明实施例提供的上网行为追踪装置的功能模块示意图。
图标:10-服务器;101-处理器;102-存储器;103-总线;104-通信接口;200-上网行为追踪装置;201-捕获模块;202-过滤模块;203-还原模块;204-地址获取模块;205-标记获取模块;206-关联分析模块。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
请参考图1和图2,本发明实施例提供的上网行为追踪方法,应用于服务器,用于对用户的网上上网行为进行追踪、分析。需要提到的是,本发明所述的方法不以图1及以下所示的具体顺序为限制。下面将对图1所示的具体流程及步骤进行详细阐述,所述上网行为追踪方法包括:
步骤S101,获取网络数据包。
具体的,可以采用横向扩张采集缓冲区技术,在内存中开设多个缓冲区用于进行数据包存储,以避免因瞬时流量过大导致数据丢包。然后通过零拷贝技术,从网络(如以太网)的通信信道上采集网络数据,并将采集到的网络数据写入经过预设算法计算得到的所述多个缓冲区中的至少一个缓冲区。
该种网络数据包捕获方法的好处是:从网卡上采集到的数据包能够及时写入缓冲区中,而不会因为写缓存太慢使得新的数据包覆盖掉没有及时写入缓冲区的数据,导致丢失网络数据包的情况。传统Linux环境下常用的数据包捕获开发包Libpcap采集方法中,由于只存在一个数据缓冲区,当网络数据流量较大时,若内核空间中的数据包没有及时写入缓冲区,会被新的数据包覆盖,导致严重的数据包丢失的情况发生。因此,横向扩张采集缓冲区的方法相对于传统的数据采集方法,能够有效提高数据采集效率,适用于高速网络(如万兆以太网)环境下的数据采集。
步骤S102,解析所述网络数据包,并过滤得到HTTP协议网络数据包。
对所述网络数据包快速解析,获取所述网络数据包对应的数据链路层、网络层、传输层、应用层数据,通过对协议头快速匹配,查找TCP协议,对TCP协议的应用层数据的关键字进行匹配,过滤得到HTTP协议网络数据包。
步骤S103,解析所述HTTP协议网络数据包,并对所述HTTP协议网络数据包进行流还原,得到HTTP协议网络数据流。
依据HTTP协议流还原规则,通过上行GET数据包或POST数据包,匹配HTTP数据流中第一个数据包。解析该数据包,获取其四元组属性,即源IP、目的IP、源端口、目的端口;对四元组及数据包存入缓存区,以哈希表、队列存储,但不限于这两种存储方式。
还可以的是,设定超时时间,在超时时间内,对HTTP协议网络数据包进行初步解析,获取其四元组属性,通过哈希快速查找记录的数据头数据,匹配成功将数据追加到对应缓存中。超时时间到,将匹配到的数据流写入文件,并删除对应的缓存。
步骤S104,依据所述HTTP协议网络数据流,获取地址数据。
解析HTTP协议网络数据流,对HTTP协议头解析,通过快速字符串匹配算法,但不限于字符串匹配,快速获取上网行为的数据,如MAC地址、IP地址、端口、访问时间、URL地址、Host地址、Referer、Cookie和User Agent等。其中,所述上网行为的数据包括地址数据,所述地址数据可以是MAC地址、IP地址等。
可以的是,获取到URL地址后,将URL地址与预存的黑白名单数据库进行快速匹配,判断该URL地址是否为黑白名单数据库中预存的URL地址。
步骤S105,依据所述地址数据获取上网标记。
具体的,所述地址数据可以是MAC地址,依据上网帐号知识库,如预存储的MAC地址与上网账号的关系,获取所述MAC地址对应的上网账号,获取的上网账号即为上网标记。在其他具体实施方式中,若预存储的MAC地址与上网账号的关系中没有所述地址数据中的MAC地址,则可以以此MAC地址为上网标记,容易理解的是,还可以以IP地址为上网标记。所述上网帐号知识库中不但可以包括MAC地址与上网账号的关系,还可以包括IP地址与上网账号的关系等。
步骤S106,将所述上网标记和所述地址数据进行关联,并获取所述上网标记的URL地址访问记录。
本实施例中,所述上网标记为上网账号,建立分布式数据库高速缓存机制,应用大数据搜索技术对上网帐号建立数据模型,将所述上网账号与所述MAC地址、IP地址和虚拟帐号进行关联,还将所述虚拟帐号与所述MAC地址和IP地址进行关联。
从区域网络的数据库中找出该上网账号的URL地址访问记录,并以所述上网账号为中心,网状关联所述URL地址访问记录,追踪所述上网账号的上网轨迹。通过对上网账号建立的模型,可以通过搜索MAC地址、IP地址和虚拟帐号查找URL地址访问记录,可以更好的追溯其上网行为踪迹,实现上网行为的追踪。以实现通过不同的上网账号及其关联模型,获取对应的URL地址的访问记录,实现上网追踪。
需要提到的是,所述上网账号是用来进入一些网址的一串符号,可以帮助用户连通互联网,用户名一般可以为电话号码,密码可以由运营公司制定。所述虚拟账号可以是如支付宝、腾讯QQ、网易邮箱等的登录账号。
请参考图3,是本发明实施例提供的服务器的结构示意图。该服务器10可以是计算机或其他任意具有数据处理能力的计算设备,包括处理器101,存储器102,总线103和通信接口104,所述处理器101、通信接口104和存储器102通过总线103连接;处理器101用于执行存储器102中存储的可执行模块,例如计算机程序。
其中,存储器102可能包含高速随机存取存储器(RAM:Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接。
总线104可以是ISA总线、PCI总线或EISA总线等。图3中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器102用于存储程序,如图4所示的上网行为追踪装置200。该上网行为追踪装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器102中或固化在所述服务器10的操作系统(operating system,OS)中的软件功能模块。所述处理器101在接收到执行指令后,执行所述程序以实现本发明实施例揭示的上网行为追踪方法。
处理器101可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
请参考图4,是本发明实施例提供的上网行为追踪装置200的功能模块示意图。所述上网行为追踪装置200包括捕获模块201、过滤模块202、还原模块203、地址获取模块204、标记获取模块205以及关联分析模块206。
所述捕获模块201,用于获取网络数据包。
可以采用横向扩张采集缓冲区技术,在内存中开设多个缓冲区用于进行数据包存储,以避免因瞬时流量过大导致数据丢包。然后通过零拷贝技术,从网络(如以太网)的通信信道上采集网络数据,并将采集到的网络数据写入经过预设算法计算得到的所述多个缓冲区中的至少一个缓冲区。
本发明实施例中,所述捕获模块201可以执行步骤S101。
所述过滤模块202,解析所述网络数据包,并过滤得到HTTP协议网络数据包。
对所述网络数据包快速解析,获取所述网络数据包对应的数据链路层、网络层、传输层、应用层数据,通过对协议头快速匹配,查找TCP协议,对TCP协议的应用层数据的关键字进行匹配,过滤得到HTTP协议网络数据包。
本发明实施例中,所述过滤模块202可以执行步骤S102。
还原模块203,用于解析所述HTTP协议网络数据包,并对所述HTTP协议网络数据包进行流还原,得到HTTP协议网络数据流。
本发明实施例中,所述还原模块203可以执行步骤S103。
地址获取模块204,用于依据所述HTTP协议网络数据流,获取地址数据。
解析HTTP协议网络数据流,对HTTP协议头解析,通过快速字符串匹配算法,但不限于字符串匹配,快速获取上网行为的数据,如MAC地址、IP地址、端口、访问时间、URL地址、Host地址、Referer、Cookie和User Agent等。其中,所述上网行为的数据包括地址数据,所述地址数据可以是MAC地址、IP地址等
本发明实施例中,所述地址获取模块204可以执行步骤S104。
标记获取模块205,用于依据所述地址数据获取上网标记。
所述上网标记可以是上网账号、MAC地址、IP地址等。本发明实施例中,所述标记获取模块205可以执行步骤S105。
关联分析模块206,用于将所述上网标记和所述地址数据进行关联,并获取所述上网标记的URL地址访问记录。
从区域网络的数据库中找出该上网账号的URL地址访问记录,并以所述上网账号为中心,网状关联所述URL地址访问记录,追踪所述上网账号的上网轨迹。通过对上网账号建立的模型,可以通过搜索MAC地址、IP地址和虚拟帐号查找URL地址访问记录,可以更好的追溯其上网行为踪迹,实现上网行为的追踪。
本发明实施例中,所述关联分析模块206可以执行步骤S106。
综上所述,本发明实施例提供一种上网行为追踪方法、装置及服务器,该方法包括获取网络数据包;解析所述网络数据包,并过滤得到HTTP协议网络数据包;解析所述HTTP协议网络数据包,并对所述HTTP协议网络数据包进行流还原,得到HTTP协议网络数据流;依据所述HTTP协议网络数据流,获取地址数据;依据所述地址数据获取上网标记;将所述上网标记和所述地址数据进行关联,并获取所述上网标记的URL地址访问记录。本发明实施例的上网行为追踪方法及装置能够快速获取网络数据包,具有高效分析上网行为,关联数据精准,能够依据关联的数据来追踪上网用户的行为。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种上网行为追踪方法,应用于服务器,其特征在于,包括:
获取网络数据包;
解析所述网络数据包,并过滤得到HTTP协议网络数据包;
解析所述HTTP协议网络数据包,并对所述HTTP协议网络数据包进行流还原,得到HTTP协议网络数据流;
依据所述HTTP协议网络数据流,获取地址数据;
依据所述地址数据获取上网标记;
将所述上网标记和所述地址数据进行关联,并获取所述上网标记的URL地址访问记录。
2.根据权利要求1所述的上网行为追踪方法,其特征在于,所述获取网络数据包的步骤包括:
从网络的通信信道上采集网络数据包,并将采集到的所述网络数据包写入预设的多个缓冲区中的至少一个缓冲区。
3.根据权利要求1所述的上网行为追踪方法,其特征在于,所述解析所述网络数据包,并过滤得到HTTP协议网络数据包的步骤包括:
解析所述网络数据包,获取所述网络数据包对应的数据链路层、网络层、传输层、应用层数据;
通过对协议头快速匹配,查找TCP协议;
对TCP协议的应用层数据的关键字进行匹配,过滤得到HTTP协议网络数据包。
4.根据权利要求1所述的上网行为追踪方法,其特征在于,所述解析所述HTTP协议网络数据包,并对所述HTTP协议网络数据包进行流还原,得到HTTP协议网络数据流的步骤包括:
建立四元组,所述四元组为源IP、目的IP、源端口、目的端口组流;
依据HTTP协议流还原规则,通过匹配所述HTTP协议网络数据包的上行GET数据包或POST数据包,并匹配所述HTTP协议网络数据包的四元组的数据,还原上行和下行数据流,得到所述HTTP协议网络数据流。
5.根据权利要求1所述的上网行为追踪方法,其特征在于,所述地址数据包括MAC地址,所述上网标记为上网账号,所述上网行为追踪方法还包括:
依据预存储的MAC地址与上网账号的关系,获取所述MAC地址对应的上网账号;
将所述上网账号与所述MAC地址、IP地址和虚拟帐号进行关联,还将所述虚拟帐号与所述MAC地址和IP地址进行关联;
获取所述上网账号的URL地址访问记录,并以所述上网账号为中心,网状关联所述URL地址访问记录,追踪所述上网账号的上网轨迹。
6.一种上网行为追踪装置,应用于服务器,其特征在于,所述上网行为追踪装置包括:
捕获模块,用于获取网络数据包;
过滤模块,用于解析所述网络数据包,并过滤得到HTTP协议网络数据包;
还原模块,用于解析所述HTTP协议网络数据包,并对所述HTTP协议网络数据包进行流还原,得到HTTP协议网络数据流;
地址获取模块,用于依据所述HTTP协议网络数据流,获取地址数据;
标记获取模块,依据所述地址数据获取上网标记;
关联分析模块,用于将所述上网标记和所述地址数据进行关联,并获取所述上网标记的URL地址访问记录。
7.根据权利要求6所述的上网行为追踪装置,其特征在于,所述捕获模块还用于:
从网络的通信信道上采集网络数据包,并将采集到的所述网络数据包写入预设的多个缓冲区中的至少一个缓冲区。
8.根据权利要求6所述的上网行为追踪装置,其特征在于,所述还原模块还用于:
建立四元组,所述四元组为源IP、目的IP、源端口、目的端口组流;
依据HTTP协议流还原规则,通过匹配所述HTTP协议网络数据包的上行GET数据包或POST数据包,并匹配所述HTTP协议网络数据包的四元组的数据,还原上行和下行数据流,得到所述HTTP协议网络数据流。
9.根据权利要求6所述的上网行为追踪装置,其特征在于,所述地址数据包括MAC地址,所述上网标记为上网账号,所述标记获取模块还用于:依据预存储的MAC地址与上网账号的关系,获取所述MAC地址对应的上网账号;
所述关联分析模块还用于:将所述上网账号与所述MAC地址、IP地址和虚拟帐号进行关联,还将所述虚拟帐号与所述MAC地址和IP地址进行关联;获取所述上网账号的URL地址访问记录,并以所述上网账号为中心,网状关联所述URL地址访问记录,追踪所述上网账号的上网轨迹。
10.一种服务器,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
CN201711224352.5A 2017-11-29 2017-11-29 上网行为追踪方法、装置及服务器 Pending CN108023767A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711224352.5A CN108023767A (zh) 2017-11-29 2017-11-29 上网行为追踪方法、装置及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711224352.5A CN108023767A (zh) 2017-11-29 2017-11-29 上网行为追踪方法、装置及服务器

Publications (1)

Publication Number Publication Date
CN108023767A true CN108023767A (zh) 2018-05-11

Family

ID=62077583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711224352.5A Pending CN108023767A (zh) 2017-11-29 2017-11-29 上网行为追踪方法、装置及服务器

Country Status (1)

Country Link
CN (1) CN108023767A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109714448A (zh) * 2018-12-26 2019-05-03 深圳创维数字技术有限公司 Pon终端的上网信息统计方法及装置
CN109726181A (zh) * 2018-12-28 2019-05-07 北京天融信网络安全技术有限公司 一种数据处理方法及数据处理装置
CN110971605A (zh) * 2019-12-05 2020-04-07 福建天晴在线互动科技有限公司 一种通过捕获数据包获取盗版游戏服务器信息的方法
CN111818003A (zh) * 2019-04-12 2020-10-23 中国移动通信集团福建有限公司 一种上网记录的用户账号识别方法及装置
CN111917835A (zh) * 2020-07-13 2020-11-10 北京天空卫士网络安全技术有限公司 一种监控网络数据的系统、方法和装置
CN114513403A (zh) * 2021-12-31 2022-05-17 深圳触海科技有限公司 一种网络地址跳转行为标记和追踪故障信息的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101909079A (zh) * 2010-07-15 2010-12-08 北京迈朗世讯科技有限公司 一种骨干网链路中用户上网行为数据采集方法和系统
US20110314092A1 (en) * 2010-06-16 2011-12-22 Lunt Eric M Unified collection and distribution of data
CN103780690A (zh) * 2014-01-20 2014-05-07 北京集奥聚合科技有限公司 用户数据的安全共享方法和系统
CN105634860A (zh) * 2015-12-21 2016-06-01 中国电子科技集团公司第十五研究所 一种上网行为轨迹还原的方法和装置
CN106161098A (zh) * 2016-07-21 2016-11-23 四川无声信息技术有限公司 一种网络行为检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110314092A1 (en) * 2010-06-16 2011-12-22 Lunt Eric M Unified collection and distribution of data
CN101909079A (zh) * 2010-07-15 2010-12-08 北京迈朗世讯科技有限公司 一种骨干网链路中用户上网行为数据采集方法和系统
CN103780690A (zh) * 2014-01-20 2014-05-07 北京集奥聚合科技有限公司 用户数据的安全共享方法和系统
CN105634860A (zh) * 2015-12-21 2016-06-01 中国电子科技集团公司第十五研究所 一种上网行为轨迹还原的方法和装置
CN106161098A (zh) * 2016-07-21 2016-11-23 四川无声信息技术有限公司 一种网络行为检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
沈文君: ""支持IPv6的网络行为分析系统的研究与实现"", 《中国优秀硕士学位论文全文数据库(电子期刊)》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109714448A (zh) * 2018-12-26 2019-05-03 深圳创维数字技术有限公司 Pon终端的上网信息统计方法及装置
CN109726181A (zh) * 2018-12-28 2019-05-07 北京天融信网络安全技术有限公司 一种数据处理方法及数据处理装置
CN111818003A (zh) * 2019-04-12 2020-10-23 中国移动通信集团福建有限公司 一种上网记录的用户账号识别方法及装置
CN110971605A (zh) * 2019-12-05 2020-04-07 福建天晴在线互动科技有限公司 一种通过捕获数据包获取盗版游戏服务器信息的方法
CN110971605B (zh) * 2019-12-05 2022-03-08 福建天晴在线互动科技有限公司 一种通过捕获数据包获取盗版游戏服务器信息的方法
CN111917835A (zh) * 2020-07-13 2020-11-10 北京天空卫士网络安全技术有限公司 一种监控网络数据的系统、方法和装置
CN114513403A (zh) * 2021-12-31 2022-05-17 深圳触海科技有限公司 一种网络地址跳转行为标记和追踪故障信息的方法

Similar Documents

Publication Publication Date Title
CN108023767A (zh) 上网行为追踪方法、装置及服务器
CN104022920B (zh) 一种lte网络流量识别系统及方法
CN105357054B (zh) 网站流量分析方法、装置和电子设备
JP5160556B2 (ja) 分散型コンピュータネットワークに基づくログファイル分析方法およびシステム
US8935390B2 (en) Method and system for efficient and exhaustive URL categorization
US20110125748A1 (en) Method and Apparatus for Real Time Identification and Recording of Artifacts
CN106656577B (zh) 一种app及浏览器的用户行为统计方法及智能路由器
CN109275045B (zh) 基于dfi的移动端加密视频广告流量识别方法
WO2020228527A1 (zh) 数据流的分类方法和报文转发设备
CN106230809B (zh) 一种基于url的移动互联网舆情监测方法及系统
CN106330584A (zh) 一种业务流的识别方法及识别装置
CN109905873B (zh) 一种基于特征标识信息的网络账号关联方法
CN106789242A (zh) 一种基于手机客户端软件动态特征库的识别应用智能分析引擎
CN106972985A (zh) 加速dpi设备数据处理与转发的方法和dpi设备
WO2017080166A1 (zh) 防盗链方法及系统
CN103260190A (zh) 基于演进分组系统网路的安全审计系统及其方法
CN106559498A (zh) 风控数据收集平台及其收集方法
CN106789954A (zh) 一种基于多cpu的ddos攻击识别的方法和装置
CN105516016B (zh) 一种使用Tilera多核加速卡基于流的数据包过滤系统及数据包过滤方法
CN109873793A (zh) 一种基于样本流量分析的暗网发现、溯源方法及系统
CN113722416A (zh) 一种数据清洗方法、装置、设备及可读存储介质
CN106454882A (zh) 一种获取用户话单xDR的方法和装置
CN107301192A (zh) 一种终端识别方法和识别服务器
CN111131072B (zh) 一种无埋点数据采集方法、装置及存储介质
CN106161403A (zh) 应用程序复原方法、装置以及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180511