CN106034124B - 一种流量统计方法和装置 - Google Patents
一种流量统计方法和装置 Download PDFInfo
- Publication number
- CN106034124B CN106034124B CN201510116991.4A CN201510116991A CN106034124B CN 106034124 B CN106034124 B CN 106034124B CN 201510116991 A CN201510116991 A CN 201510116991A CN 106034124 B CN106034124 B CN 106034124B
- Authority
- CN
- China
- Prior art keywords
- address
- ldns
- user side
- network node
- page
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007619 statistical method Methods 0.000 title claims abstract description 7
- 238000000034 method Methods 0.000 claims description 17
- KXLUWEYBZBGJRZ-POEOZHCLSA-N Canin Chemical compound O([C@H]12)[C@]1([C@](CC[C@H]1C(=C)C(=O)O[C@@H]11)(C)O)[C@@H]1[C@@]1(C)[C@@H]2O1 KXLUWEYBZBGJRZ-POEOZHCLSA-N 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 4
- 238000012896 Statistical algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例公开了一种流量统计方法和装置，应用于CDN中，在页面进行埋点操作，使得当获取用户端使用LDNS地址向所述页面发起第一访问请求时，向所述用户端返回第一网络地址，使得所述用户端向所述第一网络地址发送第二访问请求；以此获取所述用户端地址和所述LDNS地址的对应关系集合以及所述用户端地址所使用的所有LDNS地址的权重；将所述对应关系集合以及所述权重作为统计流量的因子，以LDNS地址为基准，统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上所产生的流量，从而可以有效消除使用与自身用户端地址归属不同接入网络的LDNS地址访问的用户端对统计流量造成的不准确的影响。
Description
技术领域
本发明涉及数据处理领域，特别是涉及一种流量统计方法和装置。
背景技术
内容分发网络(Content Delivery Network，CDN)的主要作用是可以将资源站提供的内容缓存到CDN服务器中。当用户端企图访问该内容时，将使用本地域名系统(LocalDomain Name System，LDNS)地址而不是自身的用户端地址发起访问请求，CDN系统可以通过解析所述用户端发起的访问请求，获取所述访问请求中所使用的LDNS地址，并根据解析结果向所述用户端返回可以相对较快访问到该内容的CDN网络节点的CDN地址，使得所述用户端可以根据返回的所述CDN地址访问所述CDN网络节点，由此实现在CDN下对所述访问的调度。
在调度过程中，CDN系统需要统计调度的流量。由于访问请求中一般只包含LDNS地址，故CDN系统是以LDNS地址作为统计流量的基准。例如可以统计出单位时间内调度到网络节点1的流量中有多少来自LDNS地址A所属的接入网络，调度到网络节点2的流量中有多少来自LDNS地址B所属的接入网络等。
但是有些情况下，用户端发送的访问请求中使用的LDNS地址和用户端自身的用户端地址并不属于同一个接入网络，例如用户端自身的用户端地址A属于天津的一个接入网络，而该客户端发送的访问请求中所使用的LDNS地址B属于北京的一个接入网络的情况。由于CDN系统是以LDNS地址作为统计流量的基准，由此导致在统计流量时，CDN系统会将原本属于天津一个接入网络的流量错误的统计到LDNS地址B所在的北京接入网络的流量中，使得流量统计结果中属于各个接入网络的流量和实际产生流量中属于各个接入网络的流量相比具有较大偏差。
发明内容
为了解决上述技术问题，本发明提供了一种流量统计方法和装置，通过获取用户端地址和LDNS地址的对应关系集合以及所述用户端地址所使用的所有LDNS地址的权重并作为流量统计的因子，从而消除使用与自身用户端地址归属不同接入网络的LDNS地址访问的用户端对统计流量造成的不准确的影响。
本发明实施例公开了如下技术方案：
一种流量统计方法，应用于CDN中，所述方法包括：
在页面进行埋点操作，所述埋点操作使得当获取用户端使用LDNS地址向所述页面发起第一访问请求时，向所述用户端返回第一网络地址，使得所述用户端向所述第一网络地址发送第二访问请求，所述第二访问请求中包括所述用户端自身的用户端地址和所使用的LDNS地址；
通过统计访问所述第一网络地址的所述第二访问请求，获取所述用户端地址和所述LDNS地址的对应关系集合以及所述用户端地址所使用的所有LDNS地址的权重；
对所述用户端的访问请求进行调度，所述调度具体为根据所述第一访问请求中的所述LDNS地址向所述用户端返回保存所述页面的CDN网络节点的CDN地址，以使得所述用户端使用用户端地址访问所述CDN网络节点；
将所述对应关系集合以及所述权重作为统计流量的因子，以LDNS地址为基准，统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上所产生的流量。
优选的，所述统计通过调度访问所述页面的访问请求到各个网络节点所产生的流量，具体包括：
统计所述各个网络节点上来自所述用户端地址的流量；
获取CDN网络节点的集合、访问CDN网络节点所使用的cname所配置的LDNS地址集合和各个别名值所配置的LDNS地址与CDN网络节点的对应关系；
根据所述各个网络节点上来自所述用户端地址的流量、所述CDN网络节点的集合、所述访问CDN网络节点所使用的cname所配置的LDNS地址集合和所述各个cname所配置的LDNS地址与CDN网络节点的对应关系，将所述对应关系集合以及所述权重作为统计流量的因子，以LDNS地址为基准，统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上所产生的流量。
优选的，所述统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上所产生的流量，具体包括：
其中，
BWt(Can,Ni,LDNSx)为t时刻所有通过LDNSx的解析访问CDN网络节点Ni获取Can的内容所产生的流量带宽；
IPe为所述用户端自身的用户端地址；
Can为所述页面的地址；
Ni为CDN网络节点的IP地址；
LDNSx为LDNS地址为x的LDNS；
为所有通过使用LDNSx获取CDN网络节点Ni解析结果的用户端地址集合；
BWt(Can,IPe,Ni,LDNSx)为t时刻IPe通过LDNSx的解析访问Ni获取Can的内容所产生的流量带宽；
为LDNSx占IPe所使用的所有LDNS地址的权重；
为针对使用LDNSx的所述第一访问请求调度到Ni的权重；
BWt(Can,IPe,Ni)为IPe在Ni获取Can内容的流量带宽。
优选的，还包括：
将所述对应关系集合以及所述权重作为统计流量的因子，以LDNS地址为基准，统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上，所使用的cname分别产生的流量。
优选的，所述统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上，所使用的cname分别所产生的流量，具体包括：
其中，
BWt(Csp,Ni,LDNSx)为t时刻所有通过LDNSx的解析访问Ni获取Can的内容中，使用cname为Csp所产生的带宽流量；
Csp为所使用的cname；
为被调度到Ni上的访问所述页面的访问请求，其中使用cname为Csp的权重。
一种流量统计装置，应用于CDN中，所述装置包括：
埋点单元，用于在页面进行埋点操作，所述埋点操作使得当获取用户端使用LDNS地址向所述页面发起第一访问请求时，向所述用户端返回第一网络地址，使得所述用户端向所述第一网络地址发送第二访问请求，所述第二访问请求中包括所述用户端自身的用户端地址和所使用的LDNS地址；
获取单元，用于通过统计访问所述第一网络地址的所述第二访问请求，获取所述用户端地址和所述LDNS地址的对应关系集合以及所述用户端地址所使用的所有LDNS地址的权重；
调度单元，用于对所述用户端的访问请求进行调度，所述调度具体为根据所述第一访问请求中的所述LDNS地址向所述用户端返回保存所述页面的CDN网络节点的CDN地址，以使得所述用户端使用用户端地址访问所述CDN网络节点；
统计单元，用于将所述对应关系集合以及所述权重作为统计流量的因子，以LDNS地址为基准，统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上所产生的流量。
优选的，所述统计单元，具体包括：
第一统计子单元，用于统计所述各个网络节点上来自所述用户端地址的流量；
获取子单元，用于获取CDN网络节点的集合、访问CDN网络节点所使用的cname所配置的LDNS地址集合和各个别名值所配置的LDNS地址与CDN网络节点的对应关系；
第二统计子单元，用于根据所述各个网络节点上来自所述用户端地址的流量、所述CDN网络节点的集合、所述访问CDN网络节点所使用的cname所配置的LDNS地址集合和所述各个cname所配置的LDNS地址与CDN网络节点的对应关系，将所述对应关系集合以及所述权重作为统计流量的因子，以LDNS地址为基准，统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上所产生的流量。
优选的，所述第二统计子单元统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上所产生的流量，具体包括：
其中，
BWt(Can,Ni,LDNSx)为t时刻所有通过LDNSx的解析访问CDN网络节点Ni获取Can的内容所产生的流量带宽；
IPe为所述用户端自身的用户端地址；
Can为所述页面的地址；
Ni为CDN网络节点的IP地址；
LDNSx为LDNS地址为x的LDNS；
为所有通过使用LDNSx获取CDN网络节点Ni解析结果的用户端地址集合；
BWt(Can,IPe,Ni,LDNSx)为t时刻IPe通过LDNSx的解析访问Ni获取Can的内容所产生的流量带宽；
为LDNSx占IPe所使用的所有LDNS地址的权重；
为针对使用LDNSx的所述第一访问请求调度到Ni的权重；
BWt(Can,IPe,Ni)为IPe在Ni获取Can内容的流量带宽。
优选的，所述统计单元还包括第三统计子单元：
所述第三统计子单元，用于将所述对应关系集合以及所述权重作为统计流量的因子，以LDNS地址为基准，统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上，所使用的cname分别产生的流量。
优选的，所述第三统计子单元统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上，所使用的cname分别所产生的流量，具体包括：
其中，
BWt(Csp,Ni,LDNSx)为t时刻所有通过LDNSx的解析访问Ni获取Can的内容中，使用cname为Csp所产生的带宽流量；
Csp为所使用的cname；
为被调度到Ni上的访问所述页面的访问请求，其中使用cname为Csp的权重。
由上述技术方案可以看出，通过在网络页面上进行埋点操作，使得用户端在试图访问该页面时会根据所述埋点操作访问第一网络地址，并在访问所述第一网络地址的第二访问请求中留下所使用的LDNS地址和自身用户端地址，由此使得系统可以通过统计所述第二访问请求获取所述用户端地址和所述LDNS地址的对应关系集合以及所述用户端地址所使用的所有LDNS地址的权重，并以此作为统计流量的因子，从而可以有效消除使用与自身用户端地址归属不同接入网络的LDNS地址访问的用户端对统计流量造成的不准确的影响。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种流量统计方法的方法流程图；
图2为本发明实施例提供的一种流量统计装置的装置结构图；
图3为本发明实施例提供的一种流量统计装置的装置结构图；
图4为本发明实施例提供的一种流量统计装置的装置结构图。
具体实施方式
现有技术的CDN中的用户端在访问网络资源时，其中有一定比例的用户端在访问过程中所使用的LDNS地址或者说LDNS的IP地址与用户端自身的用户端地址或者说用户端IP地址不属于同一个接入网络，例如用户端自身的用户端地址A属于天津的一个接入网络，而该客户端发送的访问请求中所使用的LDNS地址B属于北京的一个接入网络的情况。这种情况会导致在CDN系统在通过LDNS地址统计调度的流量时，会将原本属于天津一个接入网络的流量错误的统计到LDNS地址B所在的北京接入网络的流量中，使得流量统计结果中属于各个接入网络的流量和实际产生流量中属于各个接入网络的流量相比具有较大偏差。使得目前的流量统计结果只能算是一种粗略的估算，具有的参考价值不高。
为此，本发明实施例提供了一种流量统计方法和装置，通过在网络页面上进行埋点操作，使得用户端在试图访问该页面时会根据所述埋点操作访问第一网络地址，并在访问所述第一网络地址的第二访问请求中留下所使用的LDNS地址和自身用户端地址，由此使得系统可以通过统计所述第二访问请求获取所述用户端地址和所述LDNS地址的对应关系集合以及所述用户端地址所使用的所有LDNS地址的权重，并以此作为统计流量的因子，从而可以有效消除使用与自身用户端地址归属不同接入网络的LDNS地址访问的用户端对统计流量造成的不准确的影响。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
图1为本发明实施例提供的一种流量统计方法的方法流程图，应用于CDN中，所述方法包括：
S101：在页面进行埋点操作，所述埋点操作使得当获取用户端使用LDNS地址向所述页面发起第一访问请求时，向所述用户端返回第一网络地址，使得所述用户端向所述第一网络地址发送第二访问请求，所述第二访问请求中包括所述用户端自身的用户端地址和所使用的LDNS地址。
举例说明，所述埋点操作可以理解为埋点页面浏览量(page view，PV)，即在网站的页面中嵌入Script脚本，当在被用户端的浏览器访问到的时候，该script脚本会根据自身内容执行相应的操作。在本发明实施例中，在页面中嵌入的所述script脚本可以理解为让所述用户端的浏览器访问具有特定域名的所述第一网络地址，所述第一网络地址可以理解为统一资源定位器(Uniform Resoure Locator，URL)，由此可以通过分析用户端在访问具有所述第一网络地址的服务器时留下的日志来获取所述用户端所使用的LDNS地址和所述用户端的用户端地址对应关系集合以及用户端地址所使用的所有LDNS地址的权重。
所述LDNS地址的一种常见形式可以是LDNS IP；所述用户端地址的一种常见形式可以是用户端IP。
S102：通过统计访问所述第一网络地址的所述第二访问请求，获取所述用户端地址和所述LDNS地址的对应关系集合以及所述用户端地址所使用的所有LDNS地址的权重。
举例说明，所述用户端地址可以与多个LDNS地址建立对应关系。所述用户端地址所使用的所有LDNS地址的权重可以理解为，若所述用户端访问所述第一网络地址10次，其中3次使用LDNS1,6次使用LDNS2,1次使用LDNS3，那么所述用户端地址所使用的所有LDNS地址的权重分别LDNS1为3/10，LDNS2为6/10，LDNS3为1/10。
S103：对所述用户端的访问请求进行调度，所述调度具体为根据所述第一访问请求中的所述LDNS地址向所述用户端返回保存所述页面的CDN网络节点的CDN地址，以使得所述用户端使用用户端地址访问所述CDN网络节点。
举例说明，所述CDN地址可以理解为加速地址，所述用户端可以通过访问所述CDN地址达到相对快速访问到所述页面内容的效果。
S104：将所述对应关系集合以及所述权重作为统计流量的因子，以LDNS地址为基准，统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上所产生的流量。
举例说明，通过步骤S102可以确定所述用户端所使用的至少一个LDNS地址和所述用户端使用所述至少一个LDNS地址的权重，由此可以更加精确的统计出所述用户端所产生的流量。
可以看出，通过在网络页面上进行埋点操作，使得用户端在试图访问该页面时会根据所述埋点操作访问第一网络地址，并在访问所述第一网络地址的第二访问请求中留下所使用的LDNS地址和自身用户端地址，由此使得系统可以通过统计所述第二访问请求获取所述用户端地址和所述LDNS地址的对应关系集合以及所述用户端地址所使用的所有LDNS地址的权重，并以此作为统计流量的因子，从而可以有效消除使用与自身用户端地址归属不同接入网络的LDNS地址访问的用户端对统计流量造成的不准确的影响。
实施例二
本实施例将在实施例一的基础上，对如何利用所述对应关系集合以及所述权重来进行流量统计。
在进行流量统计时，除了需要所述对应关系集合以及所述权重，还需要获取统计出的所述各个网络节点上来自所述用户端地址的流量；
获取CDN网络节点的集合、访问CDN网络节点所使用的cname所配置的LDNS地址集合和各个别名值所配置的LDNS地址与CDN网络节点的对应关系；
根据所述各个网络节点上来自所述用户端地址的流量、所述CDN网络节点的集合、所述访问CDN网络节点所使用的cname所配置的LDNS地址集合和所述各个cname所配置的LDNS地址与CDN网络节点的对应关系，将所述对应关系集合以及所述权重作为统计流量的因子，以LDNS地址为基准，统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上所产生的流量。
举例说明，所述cname可以理解为CDN地址中设置的cname值。所述CDN地址为所述用户端访问所述页面的加速地址，若所述页面的地址为abc.com，所述CDN地址可以为abc.cdn.com，所述cname值可以为cdn.com。需要注意的是，所述页面的地址也可以叫做访问频道，所述cname值也可以叫做调度频道。
可选的，本发明实施例提供了一种统计用户端在特定网络节点上所产生的流量的方式，所述统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上所产生的流量，具体包括：
其中，
BWt(Can,Ni,LDNSx)为t时刻所有通过LDNSx的解析访问CDN网络节点Ni获取访问频道Can的内容所产生的带宽流量；
IPe为所述用户端自身的用户端地址；
Can为所述页面的地址，或者可以叫做访问频道n(域名)，用户端请求的被CDN加速的域名，例如www.taobao.com；
Ni为CDN网络节点的IP地址；
LDNSx为LDNS地址为x的LDNS；
为所有通过LDNSx来获取CDN网络节点Ni解析结果的用户端地址集合；
BWt(Can,IPe,Ni,LDNSx)为t时刻IPe通过LDNSx的解析访问Ni获取访问频道Can的内容所产生的流量带宽；
为LDNSx占IPe所使用的所有LDNS地址的权重；(因为IPe一般会通过多个LDNS获取Ni的解析)
为在CDN的调度策略中配置的针对LDNSx的解析请求返回Ni解析结果的权重(因为LDNSx针对特定域名Can对应的调度域名的解析，可以返回不同的节点解析结果)
BWt(Can,IPe,Ni)为IPe在CDN网络节点Ni获取Can内容的流量带宽，一般通过节点日志计算得出。
本发明实施例中，除了可以统计调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上所产生的流量，还可以进一步统计在调度到的各个网络节点上，所使用的cname分别产生的流量。使得统计流量的精度进一步提高。
可选的，将所述对应关系集合以及所述权重作为统计流量的因子，以LDNS地址为基准，统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上，所使用的cname分别产生的流量。
为此，本发明实施例还提供了一种优选的统计算法，所述统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上，所使用的cname分别所产生的流量，具体包括：
其中，
BWt(Csp,Ni,LDNSx)为t时刻所有通过LDNSx的解析访问Ni获取Can的内容中，使用cname为Csp所产生的带宽流量；
Csp为所使用的cname；
为被调度到Ni上的访问所述页面的访问请求，其中使用cname为Csp的权重。
在上述统计流量的基础上，还可以通过统计所有用户端访问CDN中页面所产生的流量情况，进一步统计通过调度所有用户端访问各个页面的访问请求，在调度到的各个网络节点上，所使用的cname分别所产生的流量。具体的计算方式可以为：
其中，
BWt(Csp,Ni)为t时刻所有通过为cname为Csp配置的所有LDNS集合的解析访问Ni所产生的带宽流量；
为被调度到Ni上的LDNS地址，其中使用cname为Csp的权重。
由上述实施例可以看出，通过在网络页面上进行埋点操作，使得用户端在试图访问该页面时会根据所述埋点操作访问第一网络地址，并在访问所述第一网络地址的第二访问请求中留下所使用的LDNS地址和自身用户端地址，由此使得系统可以通过统计所述第二访问请求获取所述用户端地址和所述LDNS地址的对应关系集合以及所述用户端地址所使用的所有LDNS地址的权重，并以此作为统计流量的因子，从而可以有效消除使用与自身用户端地址归属不同接入网络的LDNS地址访问的用户端对统计流量造成的不准确的影响。
实施例三
图2为本发明实施例提供的一种流量统计装置的装置结构图，应用于CDN中，所述装置包括：
埋点单元201，用于在页面进行埋点操作，所述埋点操作使得当获取用户端使用LDNS地址向所述页面发起第一访问请求时，向所述用户端返回第一网络地址，使得所述用户端向所述第一网络地址发送第二访问请求，所述第二访问请求中包括所述用户端自身的用户端地址和所使用的LDNS地址。
举例说明，所述埋点操作可以理解为埋点PV。在本发明实施例中，在页面中嵌入的所述script脚本可以理解为让所述用户端的浏览器访问具有特定域名的所述第一网络地址，所述第一网络地址可以理解为URL，由此可以通过分析用户端在访问具有所述第一网络地址的服务器时留下的日志来获取所述用户端所使用的LDNS地址和所述用户端的用户端地址对应关系集合以及用户端地址所使用的所有LDNS地址的权重。
所述LDNS地址的一种常见形式可以是LDNS IP；所述用户端地址的一种常见形式可以是用户端IP。
获取单元202，用于通过统计访问所述第一网络地址的所述第二访问请求，获取所述用户端地址和所述LDNS地址的对应关系集合以及所述用户端地址所使用的所有LDNS地址的权重。
举例说明，所述用户端地址可以与多个LDNS地址建立对应关系。所述用户端地址所使用的所有LDNS地址的权重可以理解为，若所述用户端访问所述第一网络地址10次，其中3次使用LDNS1,6次使用LDNS2,1次使用LDNS3，那么所述用户端地址所使用的所有LDNS地址的权重分别LDNS1为3/10，LDNS2为6/10，LDNS3为1/10。
调度单元203，用于对所述用户端的访问请求进行调度，所述调度具体为根据所述第一访问请求中的所述LDNS地址向所述用户端返回保存所述页面的CDN网络节点的CDN地址，以使得所述用户端使用用户端地址访问所述CDN网络节点。
举例说明，所述CDN地址可以理解为加速地址，所述用户端可以通过访问所述CDN地址达到相对快速访问到所述页面内容的效果。
统计单元204，用于将所述对应关系集合以及所述权重作为统计流量的因子，以LDNS地址为基准，统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上所产生的流量。
举例说明，通过所述获取单元202可以确定所述用户端所使用的至少一个LDNS地址和所述用户端使用所述至少一个LDNS地址的权重，由此可以更加精确的统计出所述用户端所产生的流量。
可以看出，通过在网络页面上进行埋点操作，使得用户端在试图访问该页面时会根据所述埋点操作访问第一网络地址，并在访问所述第一网络地址的第二访问请求中留下所使用的LDNS地址和自身用户端地址，由此使得系统可以通过统计所述第二访问请求获取所述用户端地址和所述LDNS地址的对应关系集合以及所述用户端地址所使用的所有LDNS地址的权重，并以此作为统计流量的因子，从而可以有效消除使用与自身用户端地址归属不同接入网络的LDNS地址访问的用户端对统计流量造成的不准确的影响。
实施例四
在图2所对应实施例的基础上，图3为本发明实施例提供的一种流量统计装置的装置结构图，所述统计单元204具体包括：
第一统计子单元301，用于统计所述各个网络节点上来自所述用户端地址的流量。
获取子单元302，用于获取CDN网络节点的集合、访问CDN网络节点所使用的cname所配置的LDNS地址集合和各个别名值所配置的LDNS地址与CDN网络节点的对应关系。
第二统计子单元303，用于根据所述各个网络节点上来自所述用户端地址的流量、所述CDN网络节点的集合、所述访问CDN网络节点所使用的cname所配置的LDNS地址集合和所述各个别名值所配置的LDNS地址与CDN网络节点的对应关系，将所述对应关系集合以及所述权重作为统计流量的因子，以LDNS地址为基准，统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上所产生的流量。
举例说明，所述cname可以理解为CDN地址中设置的cname值。所述CDN地址为所述用户端访问所述页面的加速地址，若所述页面的地址为abc.com，所述CDN地址可以为abc.cdn.com，所述cname值可以为cdn.com。需要注意的是，所述页面的地址也可以叫做访问频道，所述cname值也可以叫做调度频道。
可选的，本发明实施例提供了一种所述第二统计子单元303统计用户端在特定网络节点上所产生的流量的方式，所述统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上所产生的流量，具体包括：
其中，
BWt(Can,Ni,LDNSx)为t时刻所有通过LDNSx的解析访问CDN网络节点Ni获取访问频道Can的内容所产生的带宽流量；
IPe为所述用户端自身的用户端地址；
Can为所述页面的地址，或者可以叫做访问频道n(域名)，用户端请求的被CDN加速的域名，例如www.taobao.com；
Ni为CDN网络节点的IP地址；
LDNSx为LDNS地址为x的LDNS；
为所有通过LDNSx来获取CDN网络节点Ni解析结果的用户端地址集合；
BWt(Can,IPe,Ni,LDNSx)为t时刻IPe通过LDNSx的解析访问Ni获取访问频道Can的内容所产生的流量带宽；
为LDNSx占IPe所使用的所有LDNS地址的权重；(因为IPe一般会通过多个LDNS获取Ni的解析)
为在CDN的调度策略中配置的针对LDNSx的解析请求返回Ni解析结果的权重(因为LDNSx针对特定域名Can对应的调度域名的解析，可以返回不同的节点解析结果)
BWt(Can,IPe,Ni)为IPe在CDN网络节点Ni获取Can内容的流量带宽，一般通过节点日志计算得出。
本发明实施例中，除了可以统计调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上所产生的流量，还可以进一步统计在调度到的各个网络节点上，所使用的cname分别产生的流量。使得统计流量的精度进一步提高。
可选的，在图3所对应实施例的基础上，图4为本发明实施例提供的一种流量统计装置的装置结构图，所述统计单元204还包括第三统计子单元304：
所述第三统计子单元304，用于将所述对应关系集合以及所述权重作为统计流量的因子，以LDNS地址为基准，统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上，所使用的cname分别产生的流量。
为此，本发明实施例还提供了一种优选的所述第三统计子单元304的统计算法，所述第三统计子单元统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上，所使用的cname分别所产生的流量，具体包括：
其中，
BWt(Csp,Ni,LDNSx)为t时刻所有通过LDNSx的解析访问Ni获取Can的内容中，使用cname为Csp所产生的带宽流量；
Csp为所使用的cname；
为被调度到Ni上的访问所述页面的访问请求，其中使用cname为Csp的权重。
在上述统计流量的基础上，还可以通过统计所有用户端访问CDN中页面所产生的流量情况，进一步统计通过调度所有用户端访问各个页面的访问请求，在调度到的各个网络节点上，所使用的cname分别所产生的流量。具体的计算方式可以为：
其中，
BWt(Csp,Ni)为t时刻所有通过为cname为Csp配置的所有LDNS集合的解析访问Ni所产生的带宽流量；
为被调度到Ni上的LDNS地址，其中使用cname为Csp的权重。
由上述实施例可以看出，通过在网络页面上进行埋点操作，使得用户端在试图访问该页面时会根据所述埋点操作访问第一网络地址，并在访问所述第一网络地址的第二访问请求中留下所使用的LDNS地址和自身用户端地址，由此使得系统可以通过统计所述第二访问请求获取所述用户端地址和所述LDNS地址的对应关系集合以及所述用户端地址所使用的所有LDNS地址的权重，并以此作为统计流量的因子，从而可以有效消除使用与自身用户端地址归属不同接入网络的LDNS地址访问的用户端对统计流量造成的不准确的影响。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如媒体网关等网络通信设备)执行本发明各个实施例或者实施例的某些部分所述的方法。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅是本发明的优选实施方式，并非用于限定本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种流量统计方法，其特征在于，应用于内容分发网络CDN中，所述方法包括：
在页面进行埋点操作，所述埋点操作使得当获取用户端使用本地域名系统LDNS地址向所述页面发起第一访问请求时，向所述用户端返回第一网络地址，使得所述用户端向所述第一网络地址发送第二访问请求，所述第二访问请求中包括所述用户端自身的用户端地址和所使用的LDNS地址；
通过统计访问所述第一网络地址的所述第二访问请求，获取所述用户端地址和所述LDNS地址的对应关系集合以及所述用户端地址所使用的所有LDNS地址的权重；
对所述用户端的访问请求进行调度，所述调度具体为根据所述第一访问请求中的所述LDNS地址向所述用户端返回保存所述页面的CDN网络节点的CDN地址，以使得所述用户端使用用户端地址访问所述CDN网络节点；
将所述对应关系集合以及所述权重作为统计流量的因子，以LDNS地址为基准，统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上所产生的流量。
2.根据权利要求1所述的方法，其特征在于，所述统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上所产生的流量，具体包括：
统计所述各个网络节点上来自所述用户端地址的流量；
获取CDN网络节点的集合、访问CDN网络节点所使用的别名值cname所配置的LDNS地址集合和各个别名值所配置的LDNS地址与CDN网络节点的对应关系；
根据所述各个网络节点上来自所述用户端地址的流量、所述CDN网络节点的集合、所述访问CDN网络节点所使用的cname所配置的LDNS地址集合和所述各个cname所配置的LDNS地址与CDN网络节点的对应关系，将所述对应关系集合以及所述权重作为统计流量的因子，以LDNS地址为基准，统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上所产生的流量。
3.根据权利要求2所述的方法，其特征在于，所述统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上所产生的流量，具体包括：
其中，
BWt(Can,Ni,LDNSx)为t时刻所有通过LDNSx的解析访问CDN网络节点Ni获取Can的内容所产生的流量带宽；
IPe为所述用户端自身的用户端地址；
Can为所述页面的地址；
Ni为CDN网络节点的IP地址；
LDNSx为LDNS地址为x的LDNS；
为所有通过使用LDNSx获取CDN网络节点Ni解析结果的用户端地址集合；
BWt(Can,IPe,Ni,LDNSx)为t时刻IPe通过LDNSx的解析访问Ni获取Can的内容所产生的流量带宽；
为LDNSx占IPe所使用的所有LDNS地址的权重；
为针对使用LDNSx的所述第一访问请求调度到Ni的权重；
BWt(Can,IPe,Ni)为IPe在Ni获取Can内容的流量带宽。
4.根据权利要求2所述的方法，其特征在于，还包括：
将所述对应关系集合以及所述权重作为统计流量的因子，以LDNS地址为基准，统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上，所使用的cname分别产生的流量。
5.根据权利要求4所述的方法，其特征在于，所述统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上，所使用的cname分别所产生的流量，具体包括：
其中，
BWt(Csp,Ni,LDNSx)为t时刻所有通过LDNSx的解析访问Ni获取Can的内容中，使用cname为Csp所产生的带宽流量；
Csp为所使用的cname；
为被调度到Ni上的访问所述页面的访问请求，其中使用cname为Csp的权重。
6.一种流量统计装置，其特征在于，应用于内容分发网络CDN中，所述装置包括：
埋点单元，用于在页面进行埋点操作，所述埋点操作使得当获取用户端使用本地域名系统LDNS地址向所述页面发起第一访问请求时，向所述用户端返回第一网络地址，使得所述用户端向所述第一网络地址发送第二访问请求，所述第二访问请求中包括所述用户端自身的用户端地址和所使用的LDNS地址；
获取单元，用于通过统计访问所述第一网络地址的所述第二访问请求，获取所述用户端地址和所述LDNS地址的对应关系集合以及所述用户端地址所使用的所有LDNS地址的权重；
调度单元，用于对所述用户端的访问请求进行调度，所述调度具体为根据所述第一访问请求中的所述LDNS地址向所述用户端返回保存所述页面的CDN网络节点的CDN地址，以使得所述用户端使用用户端地址访问所述CDN网络节点；
统计单元，用于将所述对应关系集合以及所述权重作为统计流量的因子，以LDNS地址为基准，统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上所产生的流量。
7.根据权利要求6所述的装置，其特征在于，所述统计单元，具体包括：
第一统计子单元，用于统计所述各个网络节点上来自所述用户端地址的流量；
获取子单元，用于获取CDN网络节点的集合、访问CDN网络节点所使用的别名值cname所配置的LDNS地址集合和各个别名值所配置的LDNS地址与CDN网络节点的对应关系；
第二统计子单元，用于根据所述各个网络节点上来自所述用户端地址的流量、所述CDN网络节点的集合、所述访问CDN网络节点所使用的cname所配置的LDNS地址集合和所述各个cname所配置的LDNS地址与CDN网络节点的对应关系，将所述对应关系集合以及所述权重作为统计流量的因子，以LDNS地址为基准，统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上所产生的流量。
8.根据权利要求7所述的装置，其特征在于，所述第二统计子单元统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上所产生的流量，具体包括：
其中，
BWt(Can,Ni,LDNSx)为t时刻所有通过LDNSx的解析访问CDN网络节点Ni获取Can的内容所产生的流量带宽；
IPe为所述用户端自身的用户端地址；
Can为所述页面的地址；
Ni为CDN网络节点的IP地址；
LDNSx为LDNS地址为x的LDNS；
为所有通过使用LDNSx获取CDN网络节点Ni解析结果的用户端地址集合；
BWt(Can,IPe,Ni,LDNSx)为t时刻IPe通过LDNSx的解析访问Ni获取Can的内容所产生的流量带宽；
为LDNSx占IPe所使用的所有LDNS地址的权重；
为针对使用LDNSx的所述第一访问请求调度到Ni的权重；
BWt(Can,IPe,Ni)为IPe在Ni获取Can内容的流量带宽。
9.根据权利要求7所述的装置，其特征在于，所述统计单元还包括第三统计子单元：
所述第三统计子单元，用于将所述对应关系集合以及所述权重作为统计流量的因子，以LDNS地址为基准，统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上，所使用的cname分别产生的流量。
10.根据权利要求9所述的装置，其特征在于，所述第三统计子单元统计通过调度所述用户端访问所述页面的访问请求，在调度到的各个网络节点上，所使用的cname分别所产生的流量，具体包括：
其中，
BWt(Csp,Ni,LDNSx)为t时刻所有通过LDNSx的解析访问Ni获取Can的内容中，使用cname为Csp所产生的带宽流量；
Csp为所使用的cname；
为被调度到Ni上的访问所述页面的访问请求，其中使用cname为Csp的权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510116991.4A CN106034124B (zh) | 2015-03-17 | 2015-03-17 | 一种流量统计方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510116991.4A CN106034124B (zh) | 2015-03-17 | 2015-03-17 | 一种流量统计方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106034124A CN106034124A (zh) | 2016-10-19 |
| CN106034124B true CN106034124B (zh) | 2019-08-23 |
Family
ID=57150992
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510116991.4A Active CN106034124B (zh) | 2015-03-17 | 2015-03-17 | 一种流量统计方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106034124B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108345597A (zh) * | 2017-01-22 | 2018-07-31 | 阿里巴巴集团控股有限公司 | 生成图形码、页面信息访问处理方法及装置 |
| CN110661681B (zh) * | 2019-09-12 | 2021-06-04 | 北京市天元网络技术股份有限公司 | 埋点设计方法和设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8316085B2 (en) * | 2008-08-13 | 2012-11-20 | Sk Planet Co., Ltd. | Contents delivery system and method using object redirection, and GSLB switch thereof |
| CN101984624A (zh) * | 2010-11-03 | 2011-03-09 | 蓝汛网络科技（北京）有限公司 | 一种分配网络流量的方法及装置 |
| CN102999535A (zh) * | 2011-09-19 | 2013-03-27 | 阿里巴巴集团控股有限公司 | 信息显示方法和信息获取方法、客户端和服务器 |
| CN103678321B (zh) * | 2012-09-03 | 2017-11-24 | 阿里巴巴集团控股有限公司 | 页面元素确定方法及设备、用户行为路径确定方法及装置 |
| CN103684870A (zh) * | 2013-12-25 | 2014-03-26 | 乐视网信息技术（北京）股份有限公司 | 一种获取cdn带宽流量的方法和系统 |
-
2015
- 2015-03-17 CN CN201510116991.4A patent/CN106034124B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN106034124A (zh) | 2016-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108881448B (zh) | Api请求的处理方法及装置 | |
| CN107395683B (zh) | 一种回源路径的选择方法及服务器 | |
| US9578040B2 (en) | Packet receiving method, deep packet inspection device and system | |
| CN107624233B (zh) | 一种vpn传输隧道调度方法、装置以及vpn客户端服务器 | |
| US20200145328A1 (en) | Providing differentiated service to traffic flows obscured by content distribution systems | |
| WO2017107780A1 (zh) | 一种识别计费欺诈的非法代理的方法、设备及系统 | |
| CN105337966A (zh) | 针对网络攻击的处理方法和装置 | |
| CN109040243B (zh) | 一种报文处理方法及装置 | |
| US11095674B2 (en) | DDoS attack detection method and device | |
| US9042863B2 (en) | Service classification of web traffic | |
| US11089128B2 (en) | Content node selection using network performance profiles | |
| CN107347015B (zh) | 一种内容分发网络的识别方法、装置及系统 | |
| CN112954089B (zh) | 一种解析数据的方法、装置、设备以及存储介质 | |
| US20160142432A1 (en) | Resource classification using resource requests | |
| CN109257451A (zh) | 对应关系解析方法及设备 | |
| CN104320488A (zh) | 代理服务器系统及代理服务方法 | |
| US10122864B2 (en) | Correspondences establishment between mobile user and network accounts | |
| CN114640504B (zh) | Cc攻击防护方法、装置、设备和存储介质 | |
| CN106713456B (zh) | 网络带宽统计方法及装置 | |
| CN104202418B (zh) | 为内容提供商推荐商业的内容分发网络的方法和系统 | |
| CN106034124B (zh) | 一种流量统计方法和装置 | |
| US20140317289A1 (en) | Dynamically affinitizing users to a version of a website | |
| CN109413022B (zh) | 一种基于用户行为检测http flood攻击的方法和装置 | |
| US10397082B2 (en) | Internet infrastructure measurement method and system adapted to session volume | |
| CN108270755B (zh) | 一种域名级的自适应抗ddos攻击的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |