CN112714078A - 网络流量的识别方法、装置、存储介质及服务器 - Google Patents
网络流量的识别方法、装置、存储介质及服务器 Download PDFInfo
- Publication number
- CN112714078A CN112714078A CN201911015761.3A CN201911015761A CN112714078A CN 112714078 A CN112714078 A CN 112714078A CN 201911015761 A CN201911015761 A CN 201911015761A CN 112714078 A CN112714078 A CN 112714078A
- Authority
- CN
- China
- Prior art keywords
- address
- target
- mapping table
- terminal
- data item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013507 mapping Methods 0.000 claims abstract description 110
- 230000004044 response Effects 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 244000097202 Rathbunia alamosensis Species 0.000 description 2
- 235000009776 Rathbunia alamosensis Nutrition 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2483—Traffic characterised by specific attributes, e.g. priority or QoS involving identification of individual flows
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/09—Mapping addresses
- H04L61/10—Mapping addresses of different types
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/45—Network directories; Name-to-address mapping
- H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
- H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请实施例公开了一种网络流量的识别方法、装置、存储介质及服务器，属于互联网技术领域。所述方法包括：获取目标终端发送的服务请求报文，服务请求报文中的源IP地址为目标终端的IP地址，目的IP地址为目标CDN节点的IP地址；获取预先创建的映射表，映射表中的数据项包括终端的IP地址、CDN节点的IP地址和源站标识；在映射表中查找目标数据项，目标数据项中终端的IP地址与目标终端的IP地址相同，且目标数据项中CDN节点的IP地址与目标CDN节点的IP地址相同；当映射表中存在目标数据项时，将目标终端本次的网络流量识别为源站的网络流量。本申请实施例可以根据终端向CDN网络发送的服务请求报文识别网络流量。
Description
技术领域
本申请实施例涉及互联网技术领域，特别涉及一种网络流量的识别方法、装置、存储介质及服务器。
背景技术
网络流量是网络上传输的数据量。由于网络流量的大小对网络架构的设计具有重要意义，所以，需要在用户进行网络访问时进行网络流量的识别。
相关技术中，终端获取到网址后，向DNS(Domain Name System，域名系统)系统发送携带有该网址的域名解析请求报文，DNS系统重定向至CDN(Content Delivery Network，内容分发网络)网络，CDN网络将最佳的CDN节点的IP(Internet Protocol，互联网协议)地址发送给DNS系统，DNS系统将携带有该IP地址的DNS响应报文发送给终端，终端向CDN网络发送服务请求报文，该服务请求报文中携带有该IP地址。
由于终端向CDN网络发送的服务请求报文中只携带有CDN节点的IP地址，而一个CDN节点中可以部署不同源站的多项服务，所以，无法根据服务请求报文来确定终端所请求的服务的源站，也就无法识别网络流量。
发明内容
本申请实施例提供了一种网络流量的识别方法、装置、存储介质及服务器，用于解决无法根据终端向CDN网络发送的服务请求报文识别网络流量的问题。所述技术方案如下：
一方面，提供了一种网络流量的识别方法，所述方法包括：获取目标终端发送的服务请求报文，所述服务请求报文中的源互联网协议IP地址为所述目标终端的IP地址，目的IP地址为目标内容分发网络CDN节点的IP地址；获取预先创建的映射表，所述映射表中的每个数据项包括终端的IP地址、CDN节点的IP地址和源站标识，所述源站标识用于指示提供所述终端所请求的服务的源站，所述CDN节点用于将从所述源站获取的所述服务提供给所述终端；在所述映射表中查找目标数据项，所述目标数据项中终端的IP地址与所述目标终端的IP地址相同，且所述目标数据项中CDN节点的IP地址与所述目标CDN节点的IP地址相同；当所述映射表中存在所述目标数据项时，将所述目标终端本次的网络流量识别为所述源站的网络流量。
一方面，提供了一种网络流量的识别装置，所述装置包括：获取模块，用于获取目标终端发送的服务请求报文，所述服务请求报文中的源互联网协议IP地址为所述目标终端的IP地址，目的IP地址为目标内容分发网络CDN节点的IP地址；所述获取模块，还用于获取预先创建的映射表，所述映射表中的每个数据项包括终端的IP地址、CDN节点的IP地址和源站标识，所述源站标识用于指示提供所述终端所请求的服务的源站，所述CDN节点用于将从所述源站获取的所述服务提供给所述终端；查找模块，用于在所述映射表中查找目标数据项，所述目标数据项中终端的IP地址与所述目标终端的IP地址相同，且所述目标数据项中CDN节点的IP地址与所述目标CDN节点的IP地址相同；识别模块，用于在所述映射表中存在所述目标数据项时，将所述目标终端本次的网络流量识别为所述源站的网络流量。
一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上所述的网络流量的识别方法。
一方面，提供了一种服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的网络流量的识别方法。
本申请实施例提供的技术方案的有益效果至少包括：
由于映射表中的每个数据项包括终端的IP地址、CDN节点的IP地址和源站标识，所以，当获取到目标终端发送的服务请求报文时，可以从该服务请求报文中获取目标终端的IP地址和目标CDN节点的IP地址，再从映射表中查找目标数据项，使得目标数据项中终端的IP地址与目标终端的IP地址相同，目标数据项中CDN节点的IP地址与目标CDN节点的IP地址相同，这样，就可以从目标数据项中获取源站标识，将目标终端本次的网络流量作为该源站标识所指示的源站的网络流量，从而能够根据服务请求报文识别网络流量。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据部分示例性实施例示出的一种网络系统的结构示意图；
图2是本申请一个实施例提供的网络流量的识别方法的方法流程图；
图3是本申请另一实施例提供的网络流量的识别方法的方法流程图；
图4是本申请另一实施例提供的创建映射表的流程示意图；
图5是本申请另一实施例提供的映射表匹配的流程示意图；
图6是本申请另一实施例提供的网络流量的识别方法的方法流程图；
图7是本申请另一实施例提供的删除映射表的流程示意图；
图8是本申请再一实施例提供的网络流量的识别装置的结构框图；
图9是本申请再一实施例提供的网络流量的识别装置的结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图1，其示出了本申请实施例提供的一种网络系统的结构示意图。该网络系统可以包括终端110、本地域名服务器(Local Dns Server)120、运营商服务器130、域名服务器(Name Server)140、源站150和CDN网络160。其中，终端110与本地域名服务器120相连，本地域名服务器120与运营商服务器130相连，运营商服务器130分别与域名服务器140和CDN网络160相连，CDN网络160中的CDN节点与源站150相连。需要说明的是，上述相连是指以任意适用的连接方式进行的电性连接。
终端110是安装有浏览器或其他内置有浏览器组件的应用程序的设备，可以通过浏览器或浏览器组件访问网络。当终端110需要获取网络中的源站150提供的服务时，可以获取源站150的网址，该网址为源站150的目标域名，需要将该目标域名转换为源站150的目标IP地址后进行访问。比如，终端110想要获取爱奇艺图片服务，则在获取到pic.iqiyipic.com的目标域名后，需要将该目标域名转换为目标IP地址。
网络系统中的本地域名服务器120和域名服务器140是用于将域名转换为IP地址的设备。其中，本地域名服务器120中缓存有终端110之前获取的服务的域名与IP地址之间的第一对应关系，域名服务器140中存储有所有域名和IP地址之间的第二对应关系。终端110可以先将携带有目标域名的域名解析请求报文发送给本地域名服务器120，本地域名服务器120在第一对应关系中查找是否存在与该目标域名对应的IP地址，若存在与该目标域名对应的IP地址，则本地域名服务器120将该IP地址作为目标IP地址，生成携带有该目标IP地址的DNS响应报文发送给终端110，终端再向源站150发送携带有该目标IP地址的服务请求报文，以向源站150请求该服务；若不存在与该目标域名对应的IP地址，则本地域名服务器120将该域名解析请求报文发送给运营商服务器130，运营商服务器130将该域名解析请求报文发送给域名服务器140，域名服务器140在第二对应关系中查找与该目标域名对应的IP地址，将该IP地址作为目标IP地址，生成携带有该目标IP地址的DNS响应报文发送给运营商服务器130，运营商服务器130将该DNS响应报文发送给本地域名服务器120，本地域名服务器120将该DNS响应报文发送给终端110，终端再向源站150发送携带有该目标IP地址的服务请求报文，以向源站150请求该服务。
CDN网络160是构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。
当网络系统中包括CDN网络160时，域名服务器140可以通过重定向机制，将CDN网络160中的CDN域名解析服务器的IP地址发送给运营商服务器130，运营商服务器130将该IP地址发送给本地域名服务器120，本地域名服务器120通过运营商服务器130将目标域名发送给CDN域名解析服务器，CDN域名解析服务器选择能够提供该服务的CDN节点，将这些CDN节点的IP地址作为目标IP地址列表，生成携带有目标域名、CNAME和目标IP地址列表的DNS响应报文发送给运营商服务器130，运营商服务器130将DNS响应报文发送给本地域名服务器120，本地域名服务器120将DNS响应报文反馈给终端110。终端110从目标IP地址列表中选择一个目标IP地址，再向运营商服务器130发送携带有该目标IP地址的服务请求报文，运营商服务器130将该服务请求报文发送给CDN节点，从而从CDN节点中获取服务。当该CDN节点中缓存有源站150中的服务时，可以直接向终端110提供该服务；当该CDN节点中未缓存源站150中的服务时，可以向源站150获取该服务，并向终端提供该服务。
其中，上述服务器可以是一台服务器或多台服务器组成的服务器集群或云计算中心。
简单来说，终端获取基于CDN网络的服务的流程如下：
1、终端发送访问源站的域名的域名解析请求报文，向本地域名服务器请求对该域名进行解析。
2、本地域名服务器将该请求报文发到网站的域名服务器。
3、域名服务器通过DNS重定向机制重定向到CDN网络。
4、CDN网络生成携带有最佳的CDN节点的IP地址的DNS响应报文，并将该DNS响应报文发送给本地域名服务器，由本地域名服务器将该IP地址转发给终端。
5、终端向该IP地址所指示的CDN节点发送服务请求报文，以通过服务请求报文获取服务。
在实际的网络抓包中，通过CDN节点获取服务的大量服务请求报文中的Host字段是IP地址，不包含域名，而同一个CDN节点上部署了不同的服务，虽然不同终端访问的是同一个IP地址，但该同一个IP地址可能对应不同的业务，从而给流量识别带来了困难。比如，一个CDN节点可以提供爱奇艺图片服务和新浪视频服务，然而服务请求报文中只携带有该CDN节点的IP地址，所以，无法确定终端实际获取的是爱奇艺图片服务还是新浪视频服务，也就无法进行网络流量的识别。
本实施例中，可以将目标域名通过重定向机制重定向到CDN域名解析服务器，从而使CDN域名解析服务器反馈的DNS响应报文中携带目的域名的CNAME(Canonical NAME foran alias，规范名字)和最终提供服务的CDN节点的IP地址，这样，终端发送的服务请求报文中可以携带目标域名和IP地址，从而可以将目标域名与IP地址进行关联，实现网络流量的识别。
请参考图2，其示出了本申请一个实施例提供的网络流量的识别方法的方法流程图，该网络流量的识别方法可以应用于运营商服务器130中。该网络流量的识别方法，可以包括：
步骤201，获取目标终端发送的服务请求报文，该服务请求报文中的源IP地址为目标终端的IP地址，目的IP地址为目标CDN节点的IP地址。
本实施例中，目标终端可以通过上文中所述的对域名的重定向和解析的步骤获取到目标CDN节点的IP地址，生成源IP地址为目标终端的IP地址，目的地址为目的CDN节点的IP地址的服务请求报文，并将该服务请求报文发送给运营商服务器，运营商服务器接收到该服务请求报文，该服务请求报文用于向CDN节点请求由源站提供的服务。
步骤202，获取预先创建的映射表，该映射表中的每个数据项包括终端的IP地址、CDN节点的IP地址和源站标识，该源站标识用于指示提供终端所请求的服务的源站，该CDN节点用于将从源站获取的服务提供给终端。
映射表中可以包括多个数据项，每个数据项中至少包括终端的IP地址、CDN节点的IP地址和源站标识，还可以包括其他信息，本实施例不作限定。
源站标识用于指示源站。比如，目标终端本次所请求的是爱奇艺图片服务，则源站标识可以是iqiyipic。
由于运营商服务器可以通过不同的CDN节点为多个终端提供不同源站的服务，所以，映射表中的终端可以包括目标终端，还可以包括其他终端；CDN节点可以包括目标CDN节点，还可以包括其他CDN节点；源站标识可以包括提供目标终端本次所请求的服务的源站的源站标识，还可以包括提供其他终端所请求的服务的源站的源站标识。
映射表可以是运营商服务器从其他设备中获取到的，也可以是运营商服务器预先创建的，下文将对映射表的创建流程进行说明，此处不作赘述。
步骤203，在映射表中查找目标数据项，该目标数据项中终端的IP地址与目标终端的IP地址相同，且该目标数据项中CDN节点的IP地址与目标CDN节点的IP地址相同。
在一种实施方式中，对于映射表中的每个数据项，将该数据项中终端的IP地址与目标终端的IP地址比较，并将该数据项中CDN节点的IP地址与目标CDN节点的IP地址比较，当该数据项中终端的IP地址与目标终端的IP地址相同且CDN节点的IP地址与目标CDN节点的IP地址相同时，确定该数据项是目标数据项，停止查找流程；当该数据项中终端的IP地址与目标终端的IP地址不同和/或CDN节点的IP地址与目标CDN节点的IP地址不同时，确定该数据项不是目标数据项，继续查找下一个数据项，直至查找到目标数据项后停止查找流程，或者，直至查完所有数据项后确定未查找到目标数据项，停止查找流程。或者，
在一种实施方式中，先在映射表中查找包含的终端的IP地址与目标终端的IP地址相同的数据项，再从这些数据项中查找包含的CDN节点的IP地址与目标CDN节点的IP地址相同的数据项；或者，先在映射表中查找包含的CDN节点的IP地址与目标CDN节点的IP地址相同的数据项，再从这些数据项中查找包含的终端的IP地址与目标终端的IP地址相同的数据项。当存在满足上述条件的数据项时，将该数据项确定为目标数据项，停止查找流程；当不存在满足上述条件的数据项时，确定未查找到目标数据项，停止查找流程。
步骤204，当映射表中存在目标数据项时，将目标终端本次的网络流量识别为源站的网络流量。
当映射表中存在目标数据项时，可以从该目标数据项中读取源站标识，确定该源站标识所指示的源站，并将本次的网络流量识别为该源站的网络流量。比如，目标数据项中的源站标识为iqiyipic，则可以确定终端本次访问的是爱奇艺图片服务，从而将本次的网络流量识别为爱奇艺的网络流量。
综上所述，本申请实施例提供的网络流量的识别方法，由于映射表中的每个数据项包括终端的IP地址、CDN节点的IP地址和源站标识，所以，当获取到目标终端发送的服务请求报文时，可以从该服务请求报文中获取目标终端的IP地址和目标CDN节点的IP地址，再从映射表中查找目标数据项，使得目标数据项中终端的IP地址与目标终端的IP地址相同，目标数据项中CDN节点的IP地址与目标CDN节点的IP地址相同，这样，就可以从目标数据项中获取源站标识，将目标终端本次的网络流量作为该源站标识所指示的源站的网络流量，从而能够根据服务请求报文识别网络流量。
请参考图3，其示出了本申请另一实施例提供的网络流量的识别方法的方法流程图，该网络流量的识别方法可以应用于运营商服务器130中。该网络流量的识别方法，可以包括：
步骤301，获取DNS响应报文，该DNS响应报文中包括目标域名和IP地址列表，该目标域名是从目标终端发送的域名解析请求报文中获取到的，且目标域名是提供目标终端所请求的服务的源站的域名，IP地址列表中的每个IP地址为目标域名通过CNAME所重定向至的CDN节点的IP地址。
本实施例中，运营商服务器可以通过上文中所述的对域名的重定向和解析的步骤获取到DNS响应报文。
为了便于理解，下面以一个示例对NDS响应文本进行说明。假设目标域名为pic.iqiyipic.com，且通过CNAME:pic8.iqiyipic.com.download.ks-cdn.com重定向到k121.gslb.ksyuncdn.com(金山CDN)，则一种可能的DNS响应报文的内容可以如下所示：
ˇQueries
>pic8.iqiyipic.com：type A，class IN
ˇAnswers
>pic8.iqiyipic.com：type CNAME，class IN，cnamepic8.iqiyipic.com.download.ks-cdn.com
>pic8.iqiyipic.com.download.ks-cdn.com：type CNAME，class IN，cnamek121.gslb.ksyuncdn.com
>k121.gslb.ksyuncdn.com：type A，class IN，Addr180.101.74.1
>k121.gslb.ksyuncdn.com：type A，class IN，Addr180.101.74.2
>k121.gslb.ksyuncdn.com：type A，class IN，Addr180.97.176.220
>k121.gslb.ksyuncdn.com：type A，class IN，Addr180.97.176.149
>k121.gslb.ksyuncdn.com：type A，class IN，Addr58.220.38.193
>k121.gslb.ksyuncdn.com：type A，class IN，Addr180.97.176.218
>k121.gslb.ksyuncdn.com：type A，class IN，Addr180.97.176.219
>k121.gslb.ksyuncdn.com：type A，class IN，Addr180.97.176.217
>k121.gslb.ksyuncdn.com：type A，class IN，Addr180.101.74.3
运营商服务器可以提取DNS响应报文中Answers字段中type A对应的IP地址，得到IP地址列表，上述9个IP地址即可组成IP地址列表。
需要说明的是，上述DNS响应报文中的type A是指IP地址为IPv4(InternetProtocol version 4)，当然，上述IP地址也可以是IPv6，此时type A可以是其他数值，比如type AA，本实施例不作限定。
在获取到DNS响应报文后，先进行字符串匹配，即判断DNS响应报文中Queries字段中的目标域名是否符合预定正则表达式，若符合再执行步骤302；若不符合则结束流程。
以预定正则表达式为*.iqiyipic.com为例，则可以从Queries字段中读取目标域名为pic8.iqiyipic.com，符合*.iqiyipic.com的正则表达式，则确定执行步骤302。
步骤302，从目标域名中提取源站标识。
仍然以目标域名为pic8.iqiyipic.com为例，则提取的源站标识为iqiyipic。
步骤303，将IP地址列表中的每个IP地址分别与源站标识和目标终端的IP地址组成一个数据项。
运营商服务器可以依次从IP地址列表中读取一个IP地址，并将该IP地址和目标终端的IP地址、源站标识组成一个数据项；再读取下一个IP地址，将该IP地址和目标终端的IP地址、源站标识组成一个数据项，直至读取完IP地址列表中的所有IP地址后停止。
仍然以上文中的DNS响应报文为例，假设目标终端的IP地址为192.168.1.21，则可以将192.168.1.21、180.101.74.1和iqiyipic组成一个数据项；将192.168.1.21、180.101.74.2和iqiyipic组成一个数据项；将192.168.1.21、180.97.176.220和iqiyipic组成一个数据项，依此类推。
步骤304，获取目标域名和IP地址列表的TTL，获取映射表的创建时刻，将TTL和创建时刻添加到每个数据项中。
TTL是目标域名和IP地址列表之间的对应关系有效的时间。
创建时刻也可以理解为时间戳，即TimeStamps。
假设TTL为67，创建时刻为1566807286，则可以在每个数据项中增加67和1566807286的内容。
步骤305，将所有的数据项组成映射表。
仍然以上述数据进行举例，则请参考下表一所示的映射表。
表一
| UserAddr | NetAddr | ProtocolName | TTL | TimeStamps |
| 192.168.1.21 | 180.101.74.1 | iqiyipic | 67 | 1566807286 |
| 192.168.1.21 | 180.101.74.2 | iqiyipic | 67 | 1566807286 |
| 192.168.1.21 | 180.97.176.220 | iqiyipic | 67 | 1566807286 |
| 192.168.1.21 | 180.97.176.149 | iqiyipic | 67 | 1566807286 |
| 192.168.1.21 | 58.220.38.193 | iqiyipic | 67 | 1566807286 |
| 192.168.1.21 | 180.97.176.218 | iqiyipic | 67 | 1566807286 |
| 192.168.1.21 | 180.97.176.219 | iqiyipic | 67 | 1566807286 |
| 192.168.1.21 | 180.97.176.217 | iqiyipic | 67 | 1566807286 |
| 192.168.1.21 | 180.101.74.3 | iqiyipic | 67 | 1566807286 |
步骤306，获取目标终端发送的服务请求报文，该服务请求报文中的源IP地址为目标终端的IP地址，目的IP地址为目标CDN节点的IP地址。
本实施例中，目标终端可以通过DNS响应报文获取到目标CDN节点的IP地址，生成源IP地址为目标终端的IP地址，目的地址为目的CDN节点的IP地址的服务请求报文，并将该服务请求报文发送给运营商服务器，运营商服务器接收到该服务请求报文，该服务请求报文用于向CDN节点请求由源站提供的服务。
步骤307，获取预先创建的映射表，该映射表中的每个数据项包括终端的IP地址、CDN节点的IP地址和源站标识，该源站标识用于指示提供终端所请求的服务的源站，该CDN节点用于将从源站获取的服务提供给终端。
映射表的内容和创建流程详见上文中的描述，此处不作赘述。
需要说明的是，上文中仅以为目标终端创建目标域名为pic.iqiyipic.com的映射表进行举例说明，在实际实现时，由于运营商服务器可以通过不同的CDN节点为多个终端提供不同源站的服务，所以，映射表中的终端可以包括目标终端，还可以包括其他终端；CDN节点可以包括目标CDN节点，还可以包括其他CDN节点；源站标识可以包括提供目标终端本次所请求的服务的源站的源站标识，还可以包括提供其他终端所请求的服务的源站的源站标识。
步骤308，在映射表中查找目标数据项，该目标数据项中终端的IP地址与目标终端的IP地址相同，且该目标数据项中CDN节点的IP地址与目标CDN节点的IP地址相同。
在一种实施方式中，对于映射表中的每个数据项，将该数据项中终端的IP地址与目标终端的IP地址比较，并将该数据项中CDN节点的IP地址与目标CDN节点的IP地址比较，当该数据项中终端的IP地址与目标终端的IP地址相同且CDN节点的IP地址与目标CDN节点的IP地址相同时，确定该数据项是目标数据项，停止查找流程；当该数据项中终端的IP地址与目标终端的IP地址不同和/或CDN节点的IP地址与目标CDN节点的IP地址不同时，确定该数据项不是目标数据项，继续查找下一个数据项，直至查找到目标数据项后停止查找流程，或者，直至查完所有数据项后确定未查找到目标数据项，停止查找流程。或者，
在一种实施方式中，先在映射表中查找包含的终端的IP地址与目标终端的IP地址相同的数据项，再从这些数据项中查找包含的CDN节点的IP地址与目标CDN节点的IP地址相同的数据项；或者，先在映射表中查找包含的CDN节点的IP地址与目标CDN节点的IP地址相同的数据项，再从这些数据项中查找包含的终端的IP地址与目标终端的IP地址相同的数据项。当存在满足上述条件的数据项时，将该数据项确定为目标数据项，停止查找流程；当不存在满足上述条件的数据项时，确定未查找到目标数据项，停止查找流程。
步骤309，当映射表中存在目标数据项时，将目标终端本次的网络流量识别为源站的网络流量。
当映射表中存在目标数据项时，可以从该目标数据项中读取源站标识，确定该源站标识所指示的源站，并将本次的网络流量识别为该源站的网络流量。比如，目标数据项中的源站标识为iqiyipic，则可以确定终端本次访问的是爱奇艺图片服务，从而将本次的网络流量识别为爱奇艺的网络流量。
综上所述，本申请实施例提供的网络流量的识别方法，由于映射表中的每个数据项包括终端的IP地址、CDN节点的IP地址和源站标识，所以，当获取到目标终端发送的服务请求报文时，可以从该服务请求报文中获取目标终端的IP地址和目标CDN节点的IP地址，再从映射表中查找目标数据项，使得目标数据项中终端的IP地址与目标终端的IP地址相同，目标数据项中CDN节点的IP地址与目标CDN节点的IP地址相同，这样，就可以从目标数据项中获取源站标识，将目标终端本次的网络流量作为该源站标识所指示的源站的网络流量，从而能够根据服务请求报文识别网络流量。
请参考图4，其示出了创建映射表的流程示意图。
步骤401：运营商服务器接收到DNS响应报文；
步骤402：运营商服务器判断域名匹配是否成功；
即，通过正则表达式来匹配目标域名。
步骤403：如果匹配成功，则运营商服务器提取目标域名和type A对应的IP地址列表；
步骤404：运营商服务器创建映射表(也可以成为二元组过滤器)。
请参考图5，其示出了映射表匹配的流程示意图。
步骤501：运营商服务器接收到服务请求报文；
步骤502：运营商服务器提取服务请求报文中的源IP地址和目的IP地址；
步骤503：运营商服务器判断源IP地址和目的IP地址是否与映射表匹配；
步骤504：运营商服务器返回对应的识别结果。
需要说明的是，当映射表的创建时长超过TTL时，由于目标域名与IP地址列表的对应关系已经失效，所以，该映射表也就失效了，运营商服务器还可以对失效的映射表进行清除，以节省存储空间。请参考图6，在一个实施例中，在创建完映射表之后，运营商服务器还可以执行以下步骤：
步骤601，当映射表中还包括TTL和映射表的创建时刻时，读取服务请求报文的获取时刻。
本实施例中，服务请求报文可以是任意的服务请求报文，即服务请求报文所请求的服务对应的源站与映射表中源站标识所指示的源站可以相同，也可以不同。
假设目标终端在获取爱奇艺图片服务时创建了映射表，后续，目标终端想要获取新浪视频服务，则运营商服务器可以在接收到请求新浪视频服务的服务请求报文时触发删除上述映射表；或者，后续，目标终端想要获取爱奇艺图片服务，则运营商服务器可以在接收到请求爱奇艺图片服务的服务请求报文时触发删除上述映射表。
步骤602，将获取时刻减去创建时刻，得到映射表的创建时长。
其中，创建时长为从创建映射表到接收到该服务报文的时长，也可以称为映射表的老化时长。
步骤603，当创建时长小于TTL时，触发执行在映射表中查找目标数据项的步骤。
步骤604，当创建时长大于或等于TTL时，删除映射表。
请参考图7，其示出了删除映射表的流程示意图。
步骤701：运营商服务器接收到任意的服务请求报文，遍历映射表；
步骤702：运营商服务器判断映射表的创建时间是否大于或关于TTL；
步骤703：如果映射表的创建时间是否大于或等于TTL，则运营商服务器删除映射表。
请参考图8，其示出了本申请一个实施例提供的网络流量的识别装置的结构框图，该网络流量的识别装置可以应用于运营商服务器130中。该网络流量的识别装置，可以包括：
获取模块810，用于获取目标终端发送的服务请求报文，服务请求报文中的源IP地址为目标终端的IP地址，目的IP地址为目标CDN节点的IP地址；
获取模块810，还用于获取预先创建的映射表，映射表中的每个数据项包括终端的IP地址、CDN节点的IP地址和源站标识，源站标识用于指示提供终端所请求的服务的源站，CDN节点用于将从源站获取的服务提供给终端；
查找模块820，用于在映射表中查找目标数据项，目标数据项中终端的IP地址与目标终端的IP地址相同，且目标数据项中CDN节点的IP地址与目标CDN节点的IP地址相同；
识别模块830，用于在映射表中存在目标数据项时，将目标终端本次的网络流量识别为源站的网络流量。
在一个实施方式中，获取模块810，还用于在获取预先创建的映射表之前，获取域名系统DNS响应报文，DNS响应报文中包括目标域名和IP地址列表，目标域名是从目标终端发送的域名解析请求报文中获取到的，且目标域名是提供目标终端所请求的服务的源站的域名，IP地址列表中的每个IP地址为目标域名通过规范名字CNAME所重定向至的CDN节点的IP地址；
请参考图9，该装置还包括：提取模块840，用于从目标域名中提取源站标识；
生成模块850，用于将IP地址列表中的每个IP地址分别与源站标识和目标终端的IP地址组成一个数据项；将所有的数据项组成映射表。
在一个实施方式中，生成模块850，还用于在将所有的数据项组成映射表之前，获取目标域名和IP地址列表的TTL；获取映射表的创建时刻；将TTL和创建时刻添加到每个数据项中。
在一个实施方式中，该装置还包括：
读取模块860，用于在映射表中还包括TTL和映射表的创建时刻时，读取服务请求报文的获取时刻；
计算模块870，用于将获取时刻减去创建时刻，得到映射表的创建时长；
触发模块880，用于在创建时长小于TTL时，触发执行在映射表中查找目标数据项的步骤；
删除模块890，用于在创建时长大于或等于TTL时，删除映射表。
综上所述，本申请实施例提供的网络流量的识别装置，由于映射表中的每个数据项包括终端的IP地址、CDN节点的IP地址和源站标识，所以，当获取到目标终端发送的服务请求报文时，可以从该服务请求报文中获取目标终端的IP地址和目标CDN节点的IP地址，再从映射表中查找目标数据项，使得目标数据项中终端的IP地址与目标终端的IP地址相同，目标数据项中CDN节点的IP地址与目标CDN节点的IP地址相同，这样，就可以从目标数据项中获取源站标识，将目标终端本次的网络流量作为该源站标识所指示的源站的网络流量，从而能够根据服务请求报文识别网络流量。
本申请一个实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上所述的网络流量的识别方法。
本申请一个实施例提供了一种服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的网络流量的识别方法。
需要说明的是：上述实施例提供的网络流量的识别装置在进行网络流量的识别时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将网络流量的识别装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的网络流量的识别装置与网络流量的识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请实施例的保护范围之内。
Claims (10)
1.一种网络流量的识别方法，其特征在于，所述方法包括：
获取目标终端发送的服务请求报文，所述服务请求报文中的源互联网协议IP地址为所述目标终端的IP地址，目的IP地址为目标内容分发网络CDN节点的IP地址；
获取预先创建的映射表，所述映射表中的每个数据项包括终端的IP地址、CDN节点的IP地址和源站标识，所述源站标识用于指示提供所述终端所请求的服务的源站，所述CDN节点用于将从所述源站获取的所述服务提供给所述终端；
在所述映射表中查找目标数据项，所述目标数据项中终端的IP地址与所述目标终端的IP地址相同，且所述目标数据项中CDN节点的IP地址与所述目标CDN节点的IP地址相同；
当所述映射表中存在所述目标数据项时，将所述目标终端本次的网络流量识别为所述源站的网络流量。
2.根据权利要求1所述的方法，其特征在于，在所述获取预先创建的映射表之前，所述方法还包括：
获取域名系统DNS响应报文，所述DNS响应报文中包括目标域名和IP地址列表，所述目标域名是从所述目标终端发送的域名解析请求报文中获取到的，且所述目标域名是提供所述目标终端所请求的服务的源站的域名，所述IP地址列表中的每个IP地址为所述目标域名通过规范名字CNAME所重定向至的CDN节点的IP地址；
从所述目标域名中提取所述源站标识；
将所述IP地址列表中的每个IP地址分别与所述源站标识和所述目标终端的IP地址组成一个数据项；
将所有的数据项组成所述映射表。
3.根据权利要求2所述的方法，其特征在于，在所述将所有的数据项组成所述映射表之前，所述方法还包括：
获取所述目标域名和所述IP地址列表的剩余生存时间TTL；
获取所述映射表的创建时刻；
将所述TTL和所述创建时刻添加到每个数据项中。
4.根据权利要求1至3中任一项所述的方法，其特征在于，在所述在所述映射表中查找目标数据项之前，所述方法还包括：
当所述映射表中还包括TTL和所述映射表的创建时刻时，读取所述服务请求报文的获取时刻；
将所述获取时刻减去所述创建时刻，得到所述映射表的创建时长；
当所述创建时长小于所述TTL时，触发执行所述在所述映射表中查找目标数据项的步骤。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
当所述创建时长大于或等于所述TTL时，删除所述映射表。
6.一种网络流量的识别装置，其特征在于，所述装置包括：
获取模块，用于获取目标终端发送的服务请求报文，所述服务请求报文中的源互联网协议IP地址为所述目标终端的IP地址，目的IP地址为目标内容分发网络CDN节点的IP地址；
所述获取模块，还用于获取预先创建的映射表，所述映射表中的每个数据项包括终端的IP地址、CDN节点的IP地址和源站标识，所述源站标识用于指示提供所述终端所请求的服务的源站，所述CDN节点用于将从所述源站获取的所述服务提供给所述终端；
查找模块，用于在所述映射表中查找目标数据项，所述目标数据项中终端的IP地址与所述目标终端的IP地址相同，且所述目标数据项中CDN节点的IP地址与所述目标CDN节点的IP地址相同；
识别模块，用于在所述映射表中存在所述目标数据项时，将所述目标终端本次的网络流量识别为所述源站的网络流量。
7.根据权利要求6所述的装置，其特征在于，
所述获取模块，还用于在所述获取预先创建的映射表之前，获取域名系统DNS响应报文，所述DNS响应报文中包括目标域名和IP地址列表，所述目标域名是从所述目标终端发送的域名解析请求报文中获取到的，且所述目标域名是提供所述目标终端所请求的服务的源站的域名，所述IP地址列表中的每个IP地址为所述目标域名通过规范名字CNAME所重定向至的CDN节点的IP地址；
所述装置还包括：
提取模块，用于从所述目标域名中提取所述源站标识；
生成模块，用于将所述IP地址列表中的每个IP地址分别与所述源站标识和所述目标终端的IP地址组成一个数据项；将所有的数据项组成所述映射表。
8.根据权利要求6或7所述的装置，其特征在于，所述装置还包括：
读取模块，用于在所述映射表中还包括TTL和所述映射表的创建时刻时，读取所述服务请求报文的获取时刻；
计算模块，用于将所述获取时刻减去所述创建时刻，得到所述映射表的创建时长；
触发模块，用于在所述创建时长小于所述TTL时，触发执行所述在所述映射表中查找目标数据项的步骤。
9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至5任一所述的网络流量的识别方法。
10.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1至5任一所述的网络流量的识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911015761.3A CN112714078A (zh) | 2019-10-24 | 2019-10-24 | 网络流量的识别方法、装置、存储介质及服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911015761.3A CN112714078A (zh) | 2019-10-24 | 2019-10-24 | 网络流量的识别方法、装置、存储介质及服务器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112714078A true CN112714078A (zh) | 2021-04-27 |
Family
ID=75541320
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911015761.3A Withdrawn CN112714078A (zh) | 2019-10-24 | 2019-10-24 | 网络流量的识别方法、装置、存储介质及服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112714078A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113905010A (zh) * | 2021-09-03 | 2022-01-07 | 中航航空电子有限公司 | 一种消息调度方法、装置、计算机设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102710504A (zh) * | 2012-05-16 | 2012-10-03 | 华为技术有限公司 | 应用识别方法和装置 |
| CN104639391A (zh) * | 2015-01-04 | 2015-05-20 | 中国联合网络通信集团有限公司 | 一种生成网络流量记录的方法及相应的流量检测设备 |
| CN106452940A (zh) * | 2016-08-22 | 2017-02-22 | 中国联合网络通信有限公司重庆市分公司 | 一种互联网业务流量归属的识别方法和装置 |
| CN108848049A (zh) * | 2018-04-18 | 2018-11-20 | 山石网科通信技术有限公司 | 域名解析系统的代理方法及装置、存储介质和处理器 |
| US20190199635A1 (en) * | 2017-07-12 | 2019-06-27 | Wangsu Science & Technology Co., Ltd. | Method and system for redirecting service application traffic |
-
2019
- 2019-10-24 CN CN201911015761.3A patent/CN112714078A/zh not_active Withdrawn
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102710504A (zh) * | 2012-05-16 | 2012-10-03 | 华为技术有限公司 | 应用识别方法和装置 |
| CN104639391A (zh) * | 2015-01-04 | 2015-05-20 | 中国联合网络通信集团有限公司 | 一种生成网络流量记录的方法及相应的流量检测设备 |
| CN106452940A (zh) * | 2016-08-22 | 2017-02-22 | 中国联合网络通信有限公司重庆市分公司 | 一种互联网业务流量归属的识别方法和装置 |
| US20190199635A1 (en) * | 2017-07-12 | 2019-06-27 | Wangsu Science & Technology Co., Ltd. | Method and system for redirecting service application traffic |
| CN108848049A (zh) * | 2018-04-18 | 2018-11-20 | 山石网科通信技术有限公司 | 域名解析系统的代理方法及装置、存储介质和处理器 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113905010A (zh) * | 2021-09-03 | 2022-01-07 | 中航航空电子有限公司 | 一种消息调度方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109729183B (zh) | 请求处理方法、装置、设备及存储介质 | |
| CN109067936B (zh) | 一种域名解析的方法及装置 | |
| CN108494755B (zh) | 一种传输应用程序编程接口api请求的方法及装置 | |
| RU2642833C2 (ru) | Способ и устройство для обеспечения медиаресурса | |
| CN111885216B (zh) | Dns查询方法、装置、设备和存储介质 | |
| CN109218457B (zh) | 网络数据处理方法、装置和系统 | |
| CN109873855B (zh) | 一种基于区块链网络的资源获取方法和系统 | |
| CN108093026B (zh) | 多租户请求的处理方法及装置 | |
| CN112513830A (zh) | 内容分发网络中的回源方法及相关装置 | |
| CN108429739B (zh) | 一种识别蜜罐的方法、系统及终端设备 | |
| CN112788126A (zh) | 资源下载方法、装置、服务器和存储介质 | |
| CN107070988A (zh) | 报文处理方法及装置 | |
| CN114205330A (zh) | 域名解析方法、域名解析装置、服务器以及存储介质 | |
| CN110674427B (zh) | 响应网页访问请求的方法、装置、设备及存储介质 | |
| US11206302B2 (en) | Method and device for feeding back a resource file | |
| CN112714078A (zh) | 网络流量的识别方法、装置、存储介质及服务器 | |
| CN113315852A (zh) | 一种域名解析的方法、装置及系统 | |
| CN114338630B (zh) | 域名访问方法、装置、电子设备、存储介质及程序产品 | |
| US8281000B1 (en) | Variable-length nonce generation | |
| US10333966B2 (en) | Quarantining an internet protocol address | |
| CN114785733A (zh) | 一种实现跨vpc网络流量转发中会话溯源的方法 | |
| CN103685367A (zh) | 离线下载系统和方法 | |
| CN109688204B (zh) | 基于ndn网络的文件下载方法、节点、终端 | |
| CN111935329A (zh) | 域名解析方法和装置 | |
| CN114422477B (zh) | 基于边缘云架构的域名解析方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210427 |
|
| WW01 | Invention patent application withdrawn after publication |