CN112152866A - 浏览类xdr数据的合成方法、装置、设备及存储介质 - Google Patents

浏览类xdr数据的合成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112152866A
CN112152866A CN201910566751.2A CN201910566751A CN112152866A CN 112152866 A CN112152866 A CN 112152866A CN 201910566751 A CN201910566751 A CN 201910566751A CN 112152866 A CN112152866 A CN 112152866A
Authority
CN
China
Prior art keywords
field
xdr data
browsing
xdr
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910566751.2A
Other languages
English (en)
Other versions
CN112152866B (zh
Inventor
王业亮
周刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Henan Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Henan Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Henan Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201910566751.2A priority Critical patent/CN112152866B/zh
Publication of CN112152866A publication Critical patent/CN112152866A/zh
Application granted granted Critical
Publication of CN112152866B publication Critical patent/CN112152866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/02Capturing of monitoring data
    • H04L43/028Capturing of monitoring data by filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/02Capturing of monitoring data
    • H04L43/026Capturing of monitoring data using flow identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/06Generation of reports
    • H04L43/062Generation of reports related to network traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/08Testing, supervising or monitoring using real traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供一种浏览类XDR数据的合成方法、装置、设备及存储介质,该方法包括:获取用户浏览页面生成的XDR数据,确定XDR数据对应的超文本传输协议表单中的国际移动用户识别码、来源链接字段、网页地址字段、重定向链接字段以及访问域名字段;基于来源链接字段和/或访问域名字段,生成对应的精简主机字段和公司名称字段;基于国际移动用户识别码与五元组字段配置对应的合并逻辑,五元组字段包含来源链接字段、网页地址字段、重定向链接字段、精简主机字段以及公司名称字段中的一个或多个;对满足上述合并逻辑的XDR数据进行合并操作。根据本发明实施例的技术方案,能够避免浏览类XDR数据合并率低的问题,同时提升了浏览类XDR数据的合并准确率。

Description

浏览类XDR数据的合成方法、装置、设备及存储介质
技术领域
本发明涉及计算机技术领域,尤其涉及一种浏览类XDR数据的合成方法、浏览类XDR数据的合成装置、浏览类XDR数据的合成设备以及计算机可读存储介质。
背景技术
随着4G的快速发展,信令数据量随着流量增长持续上升,大数据的应用也进入快速发展期。用户在上网时浏览页面会产生很多浏览类XDR(External DataRepresentation,外部数据表示)数据,其中一些具有相关性,可以进行合并。合成后的浏览类XDR数据可以更好的反映网络质量。
在现有的一种技术方案中,基于来源链接Referer来合并浏览类XDR数据,其中,可以合并的判断条件包括:IMSI(International Mobile Subscriber IdentificationNumber,国际移动用户识别码)相同,用户使用的是浏览器或浏览器类应用程序;浏览类XDR数据的Referer与网页地址URL和/或访问域名HOST相同;相邻2个浏览类XDR数据之间的时间间隔小于2秒。然而,在这种技术方案中,没有考虑非浏览器的应用程序业务产生的XDR数据,导致浏览类XDR数据的合并率较低。
发明内容
本发明实施例的目的是提供一种浏览类XDR数据的合成方法、浏览类XDR数据的合成装置、浏览类XDR数据的合成设备以及计算机可读存储介质,以避免浏览类XDR数据合并率低的问题。
为解决上述技术问题,本发明实施例是这样实现的:
第一方面,本发明实施例提供了一种浏览类XDR数据的合成方法,该方法包括:获取用户浏览页面生成的XDR数据,确定XDR数据对应的超文本传输协议表单中的国际移动用户识别码、来源链接字段、网页地址字段、重定向链接字段以及访问域名字段;基于来源链接字段和/或访问域名字段,生成对应的精简主机字段和公司名称字段;基于国际移动用户识别码与五元组字段配置对应的合并逻辑,五元组字段包含来源链接字段、网页地址字段、重定向链接字段、精简主机字段以及公司名称字段中的一个或多个;对满足上述合并逻辑的XDR数据进行合并操作。
第二方面,本发明实施例提供了一种浏览类XDR数据的合成装置,该装置包括:XDR数据获取模块,用于获取用户浏览页面生成的XDR数据,确定XDR数据对应的超文本传输协议表单中的国际移动用户识别码、来源链接字段、网页地址字段、重定向链接字段以及访问域名字段;字段生成模块,用于基于来源链接字段和/或访问域名字段,生成对应的精简主机字段和公司名称字段;合并逻辑配置模块,用于基于国际移动用户识别码与五元组字段配置对应的合并逻辑,五元组字段包含来源链接字段、网页地址字段、重定向链接字段、精简主机字段以及公司名称字段中的一个或多个;XDR数据合并模块,用于对满足上述合并逻辑的XDR数据进行合并操作。
第三方面,本发明实施例提供了一种浏览类XDR数据的合成设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,此计算机程序被处理器执行时实现如上述第一方面所述的浏览类XDR数据的合成方法的步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现如上述第一方面所述的浏览类XDR数据的合成方法的步骤。
根据本发明实施例的技术方案,一方面,获取用户浏览页面生成的XDR数据,确定XDR数据对应的超文本传输协议表单中的国际移动用户识别码、来源链接字段、网页地址字段、重定向链接字段以及访问域名字段,能够确定用于判断XDR数据是否可以合并的字段信息;另一方面,基于来源链接字段和/或访问域名字段,生成对应的精简主机字段和公司名称字段,能够生成用于配置合并逻辑的新字段;再一方面,基于国际移动用户识别码与五元组字段配置对应的合并逻辑,五元组字段包含来源链接字段、网页地址字段、重定向链接字段、精简主机字段以及公司名称字段中的一个或多个,能够配置判断XDR数据是否可以合并的合并逻辑;又一方面,对满足上述合并逻辑的XDR数据进行合并操作,能够合并具备相关性的浏览类XDR数据,且提高浏览类XDR数据的合并率与合并准确率,从而更好的反映网络质量和用户感知。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据本发明的一些实施例提供的浏览类XDR数据的合成方法的流程示意图;
图2示出了根据本发明的一些实施例提供的对满足合并逻辑的所述XDR数据进行合并操作的流程示意图;
图3示出了根据本发明的一些实施例提供的对所确定的XDR数据进行过滤的流程示意图;
图4示出了根据本发明的一些实施例提供的浏览类XDR数据的合成装置的示意框图;以及
图5示出了根据本发明的一些实施例提供的浏览类XDR数据的合成设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
图1示出了根据本发明的一些实施例提供的浏览类XDR数据的合成方法的流程示意图。参照图1所示,该浏览类XDR数据的合成方法包括步骤S110、步骤S120、步骤S130、步骤S140,可以应用于服务器端。下面对图1的示例实施例中的浏览类XDR数据的合成方法进行详细的说明。
参照图1所示,在步骤S110中,获取用户浏览页面生成的XDR数据,确定XDR数据对应的超文本传输协议表单中的国际移动用户识别码、来源链接字段、网页地址字段、重定向链接字段以及访问域名字段。
在示例实施例中,外部数据表示(External Data Representation,XDR)数据是经过处理后的结构化数据,XDR数据对应的超文本传输协议(HyperTextTransfer Protocol,HTTP)表单中包括大量字段以及与各字段对应的字段值,其中,国际移动用户识别码(International Mobile Subscriber Identity,ISIM)是在公众陆地移动电话网中用于唯一识别移动用户的一个号码,来源链接字段即“refer_url”字段,网页地址字段即“url”字段,重定向链接字段即“location”字段,访问域名字段即“host”字段。
在示例实施例中,用户在上网浏览页面时,获得与当前页面对应的页面元素,即页面包含的信息,而XDR数据为获得的页面元素的主要成分,该XDR数据包括且不限于互联网协议地址IP信息、传输控制协议/用户数据报协议流TCP/UDP开始结束时间、用户的上下行流量、访问的网页地址、来源链接、访问域名、业务完成标识、超文本传输协议/无线应用协议HTTP/WAP2.0层的响应码。这些信息存储于XDR数据对应的HTTP表单中的字段中。
接下来,在步骤S120中,基于来源链接字段和/或访问域名字段,生成对应的精简主机字段和公司名称字段。
在示例实施例中,对HTTP表单中的“refer_url”字段进行过滤,若该字段包含一级域名,选取该字段中一级域名前两个点后的部分作为精简主机字段,即“host_smart”字段,“refer_url”字段存储的是上一个页面的地址即来源链接地址。例如,“refer_url”字段中有“com”,取“com”的前两个点后的所有字段,当“refer_url”字段对应的字段值为“sport.sina.com.cn”时,可得到“host_smart”字段对应的字段值为“sina.com.cn”。
在示例实施例中,若“refer_url”字段不包含一级域名,“host”字段包含一级域名,选取“host”字段中一级域名前两个点后的部分作为精简主机“host_smart”字段。例如,“host”字段中有“com”,取“com”的前两个点后的所有字段,当“host”字段对应的字段值为“sport.sina.com.cn”时,可得到“host_smart”字段对应的字段值为“sina.com.cn”。
在示例实施例中,若“refer_url”字段与“host”字段均不包含一级域名,但包含“cn”或“hk”等国家代码顶级域名,选取“refer_url”字段或“host”字段中国家代码顶级域名前倒数第二个点后的部分作为精简主机“host_smart”字段,且若“refer_url”字段包含国家代码顶级域名,优先从“refer_url”字段选取。
在示例实施例中,若“refer_url”字段与“host”字段均不包含一级域名和“cn”或“hk”等国家代码顶级域名,选取“refer_url”字段或“host”字段中倒数第二个点后的部分作为精简主机“host_smart”字段,且若“refer_url”字段包含国家代码顶级域名,优先从“refer_url”字段选取。
在示例实施例中,如果还有不属于上述4中情况的其他形式的“refer_url”字段和“host”字段,在创建的精简主机“host_smart”字段中填充“host”字段的全部内容。
进一步地,在示例实施例中,网站内链中,不同级别的页面的域名可能相同也可能不同,而精简主机“host_smart”字段可区分网站内链中域名相同的不同级别的页面,基于精简主机“host_smart”字段设置的合并逻辑可解决网站内链中不同级别的网页域名相同带来的XDR数据难以合并的问题。
在示例实施例中,基于上述“host_smart”字段,通过域名批量反查的方式确定公司名称字段,即“company_name”字段。例如,“host_smart”字段为“weixin.com”和“qq.com”,则通过域名批量反查可将“company_name”字段填充为“腾讯科技(深圳)有限公司”。
需要注意的是,在示例实施例中,“host_smart”字段与“company_name”字段仅仅是精简主机字段和公司名称字段对应的名称的示例,精简主机字段和公司名称字段也可以起其他名字,本发明对此不做特殊限定。
继续参照图1所示,在步骤S130中,基于国际移动用户识别码与五元组字段配置对应的合并逻辑,五元组字段包含来源链接字段、网页地址字段、重定向链接字段、精简主机字段以及公司名称字段中的一个或多个。
在示例实施例中,五元组字段包括“refer_url”字段、“url”字段、“location”字段、“host_smart”字段以及“company_name”字段。若“url”字段不包含域名,应添加域名,“refer_url”字段同理。基于国际移动用户识别码与五元组字段配置对应的合并逻辑,以下合并逻辑(1)-(7)项按顺序优先级,序号越高,优先级越低。
(1)A.imsi+A.url=B.imsi+B.refer_url;
(2)A.imsi+A.refer_url=B.imsi+B.url;
(3)A.imsi+A.location=B.imsi+B.url;
(4)A.imsi+A.url=B.imsi+B.location;
(5)A.imsi+A.refer_url=B.imsi+B.refer_url;
(6)A.imsi+A.host_smart=B.imsi+B.host_smart;
(7)A.imsi+A.company_name=B.imsi+B.company_name。
需要注意的是,在示例实施例中,上述7个合并逻辑中,imsi即国际移动用户识别码,imsi相同意味着进行浏览网页操作并产生该XDR数据的终端是相同的。在对比两条XDR数据并判断其是否可以合并时,A代表参与比较的第一条XDR数据,B代表参与比较的第二条XDR数据,二者有先后顺序,不可互换,因此合并逻辑(1)与合并逻辑(2)形式相似,却是不同的合并逻辑,不可省略掉其中一条,合并逻辑(3)与合并逻辑(4)同理。
最后,在步骤S140中,对满足上述合并逻辑的XDR数据进行合并操作。
在示例实施例中,满足步骤S130中的逻辑(1)-(7)中任意一项,且关联参数不为空即可参与合并。在进行XDR数据的合并之前,要先对XDR数据进行过滤,根据HTTP表单中的特征字段将视频XDR数据、应用下载XDR数据过滤掉,再根据预设的时延条件过滤掉异常XDR数据,只留下期待合并的浏览类XDR数据。浏览类XDR数据的合并操作是基于预设的合成原则。该合成原则在下述图2对应的步骤S230中详细阐述。
根据图1的示例实施例中的浏览类XDR数据的合成方法,一方面,获取用户浏览页面生成的XDR数据,确定XDR数据对应的超文本传输协议表单中的国际移动用户识别码、来源链接字段、网页地址字段、重定向链接字段以及访问域名字段,能够确定用于判断XDR数据是否可以合并的字段信息;另一方面,基于来源链接字段和/或访问域名字段,生成对应的精简主机字段和公司名称字段,能够生成用于配置合并逻辑的新字段;再一方面,基于国际移动用户识别码与五元组字段配置对应的合并逻辑,五元组字段包含来源链接字段、网页地址字段、重定向链接字段、精简主机字段以及公司名称字段中的一个或多个,能够配置判断XDR数据是否可以合并的合并逻辑;又一方面,对满足上述合并逻辑的XDR数据进行合并操作,能够合并具备相关性的浏览类XDR数据,且提高浏览类XDR数据的合并率与合并准确率,从而更好的反映网络质量和用户感知。
图2示出了根据本发明的一些实施例提供的对满足合并逻辑的XDR数据进行合并操作的流程示意图。
参照图2所示,在步骤S210中,确定满足合并逻辑的XDR数据,对所确定的XDR数据进行过滤。
在示例实施例中,将上网浏览页面获取的多条XDR数据进行比较。根据步骤S130中所述的7个合并逻辑,将多条XDR数据中的每两条XDR数据分别进行比较,找出符合合并逻辑(1)-(7)的XDR数据。将上述所有可以参与合并的XDR数据进行过滤,根据HTTP表单中的特征字段过滤掉视频XDR数据、应用下载XDR数据,根据预设时延条件过滤掉异常XDR数据。
接下来,在步骤S220中,基于过滤的结果,确定浏览类XDR数据。
在示例实施例中,在步骤S210中过滤掉视频XDR数据、应用下载XDR数据以及异常XDR数据后,只留下期待合成的浏览类XDR数据。
最后,在步骤S230中,基于合并逻辑对浏览类XDR数据进行合并操作。
在示例实施例中,基于预定合成原则对浏览类XDR数据进行合并操作,该预定合成原则包括:合并后的浏览类XDR数据的开始时间取参与合并的浏览类XDR数据中最早的开始时间,结束时间取参与合并的浏览类XDR数据中最晚的结束时间;合并后的浏览类XDR数据的上下行流量取参与合并的浏览类XDR数据的上下行流量之和;合并后的浏览类XDR数据的响应时间和响应码取参与合并的浏览类XDR数据中开始时间最早的浏览类XDR数据的响应时间和响应码;合并后的浏览类XDR数据的五元组字段取参与合并的浏览类XDR数据中开始时间最早的浏览类XDR数据的五元组字段;合并后的浏览类XDR数据的输出表中的字段,和输入表中的字段相比,结尾处增加了三个字段:合成的XDR事物条数(xdr_num),成功的XDR条数(xdr_succ)和失败的XDR条数(xdr_fail);合并后的浏览类XDR数据的输出表中的“app_type”字段和“app_sub_type”字段,取合并前的浏览类XDR数据中出现次数最多的“app_type”字段值和“app_sub_type”字段值。
需要注意的是,在示例实施例中,上述预定合成原则中,当取开始时间最早的浏览类XDR数据时,如果开始时间一样,取序号最靠前的浏览类XDR数据;失败的XDR条数是指HTTP/WAP2.0层的响应码异常,即业务访问失败导致的合成失败的浏览类XDR数据的条数。
图3示出了根据本发明的一些实施例提供的对所确定的XDR数据进行过滤的流程示意图。
参照图3所示,在步骤S310中,基于XDR数据对应的超文本传输协议表单,确定XDR数据中的视频数据以及应用下载数据。
在示例实施例中,在获取的XDR数据对应的HTTP表单中,“repetition”字段值为1的XDR数据为视频XDR数据。“content_type”字段值为“application/vnd.android.package-archive”、“application/octet-stream”或包含“vedio/”的内容时,对应的XDR数据也是视频XDR数据。
另外,在示例实施例中,在获取的XDR数据对应的HTTP表单中,“url”字段以“.XXX”为结尾或者“url”字段中在“?”前以“.XXX”为结尾的XDR数据为应用下载XDR数据。
接下来,在步骤S320中,对XDR中的视频数据以及应用下载数据进行过滤。
在示例实施例中,参照步骤S310中的HTTP表单中的字段值来设置过滤条件,将步骤S310中获得的视频XDR数据和应用下载XDR数据过滤掉,剩下浏览类XDR数据。
最后,在步骤S330中,基于预设的时延条件,过滤掉XDR数据中的异常XDR数据。
在示例实施例中,异常XDR数据可以是时延过长的XDR数据,也可以是其他异常问题,本发明并不做特殊限制。预先设置过滤条件,例如时延的时长,采用语句“last_ack_off>60s”,预设的时延时长是根据需要可变更的。在过滤完异常XDR数据后,得到的是最终可用来进行合并的浏览类XDR数据。
图4示出了根据本发明的一些实施例提供的浏览类XDR数据的合成装置的示意框图。参照图4所示,该浏览类XDR数据的合成装置400包括:XDR数据获取模块410、字段生成模块420、合并逻辑配置模块430及XDR数据合并模块440。XDR数据获取模块410用于获取用户浏览页面生成的XDR数据,确定XDR数据对应的超文本传输协议表单中的国际移动用户识别码、来源链接字段、网页地址字段、重定向链接字段以及访问域名字段;字段生成模块420用于基于来源链接字段和/或访问域名字段,生成对应的精简主机字段和公司名称字段;合并逻辑配置模块430用于基于国际移动用户识别码与五元组字段配置对应的合并逻辑,五元组字段包含来源链接字段、网页地址字段、重定向链接字段、精简主机字段以及公司名称字段中的一个或多个;XDR数据合并模块440用于对满足上述合并逻辑的XDR数据进行合并操作。
在本发明的一些实施例中,基于上述方案,该字段生成模块,包括:来源链接生成单元,用于若所述来源链接字段包含一级域名,选取所述来源链接字段中一级域名前两个点后的部分作为精简主机字段;访问域名生成单元,用于若所述来源链接字段不包含一级域名,所述访问域名字段包含一级域名,选取所述访问域名字段中一级域名前两个点后的部分作为精简主机字段;其他生成单元,用于若所述来源链接字段与所述访问域名字段均不包含一级域名,选取来源链接字段或访问域名字段中倒数第二个点后的部分作为精简主机字段。
在本发明的一些实施例中,基于上述方案,字段生成模块,包括:公司名称生成单元,用于基于所述精简主机字段,通过域名批量反查的方式确定公司名称字段。
在本发明的一些实施例中,基于上述方案,XDR数据合并模块,包括:XDR数据过滤单元,用于确定满足所述合并逻辑的XDR数据,对所确定的所述XDR数据进行过滤;浏览类XDR数据确定单元,用于基于过滤的结果,确定浏览类XDR数据;数据合并单元,用于基于所述合并逻辑对所述浏览类XDR数据进行合并操作。
在本发明的一些实施例中,基于上述方案,该XDR数据过滤单元,包括:其他数据确定单元,用于基于所述XDR数据对应的超文本传输协议表单,确定所述XDR数据中的视频数据以及应用下载数据;其他数据过滤单元,用于对所述XDR数据中的所述视频数据以及所述应用下载数据进行过滤。
在本发明的一些实施例中,基于上述方案,该XDR数据过滤单元,还包括:异常数据过滤单元,用于基于预设的时延条件,过滤掉所述XDR数据中的异常XDR数据。
在本发明的一些实施例中,基于上述方案,数据合并单元,包括:合并原则预设单元,用于基于预定合成原则对所述浏览类XDR数据进行合并操作,所述预定合成原则包括下述的一种或多种:合并后的浏览类XDR数据的开始时间取参与合并的所述浏览类XDR数据中最早的开始时间,结束时间取参与合并的所述浏览类XDR数据中最晚的结束时间;合并后的浏览类XDR数据的上下行流量取参与合并的所述浏览类XDR数据的上下行流量之和;合并后的浏览类XDR数据的响应时间和响应码取参与合并的所述浏览类XDR数据中开始时间最早的浏览类XDR数据的响应时间和响应码;合并后的浏览类XDR数据的五元组字段取参与合并的所述浏览类XDR数据中开始时间最早的浏览类XDR数据的五元组字段。
进一步地,本申请实施例还提供了一种浏览类XDR数据的合成设备,图5示出了根据本发明的一些实施例提供的浏览类XDR数据的合成设备的结构示意图,如图5所示,该设备包括存储器501、处理器502、总线503和通信接口504。存储器501、处理器502和通信接口504通过总线503进行通信,通信接口504可以包括输入输出接口,输入输出接口包括但不限于键盘、鼠标、显示器、麦克风、扩音器等。
图5中,存储器501上存储有可在处理器502上运行的计算机程序,程序被处理器502执行时实现以下流程:获取用户浏览页面生成的XDR数据,确定XDR数据对应的超文本传输协议表单中的国际移动用户识别码、来源链接字段、网页地址字段、重定向链接字段以及访问域名字段;基于来源链接字段和/或访问域名字段,生成对应的精简主机字段和公司名称字段;基于国际移动用户识别码与五元组字段配置对应的合并逻辑,五元组字段包含来源链接字段、网页地址字段、重定向链接字段、精简主机字段以及公司名称字段中的一个或多个;对满足上述合并逻辑的XDR数据进行合并操作。
可选地,该计算机程序被处理器502执行时,基于来源链接字段及访问域名字段,生成对应的精简主机字段,包括:若来源链接字段包含一级域名,选取来源链接字段中一级域名前两个点后的部分作为精简主机字段;若来源链接字段不包含一级域名,访问域名字段包含一级域名,选取访问域名字段中一级域名前两个点后的部分作为精简主机字段;若来源链接字段与访问域名字段均不包含一级域名,选取来源链接字段或访问域名字段中倒数第二个点后的部分作为精简主机字段。
可选地,该计算机程序被处理器502执行时,生成公司名称字段,包括:基于精简主机字段,通过域名批量反查的方式确定公司名称字段。
可选地,该计算机程序被处理器502执行时,对满足合并逻辑的XDR数据进行合并操作,包括:确定满足合并逻辑的XDR数据,对所确定的XDR数据进行过滤;基于过滤的结果,确定浏览类XDR数据;基于合并逻辑对浏览类XDR数据进行合并操作。
可选地,该计算机程序被处理器502执行时,对所确定的所述XDR数据进行过滤,包括:基于XDR数据对应的超文本传输协议表单,确定XDR数据中的视频数据以及应用下载数据;对XDR数据中的视频数据以及应用下载数据进行过滤。
可选地,该计算机程序被处理器502执行时,对所确定的XDR数据进行过滤,包括:基于预设的时延条件,过滤掉XDR数据中的异常XDR数据。
可选地,该计算机程序被处理器502执行时,对所述浏览类XDR数据进行合并操作,包括:基于预定合成原则对浏览类XDR数据进行合并操作,预定合成原则包括下述的一种或多种:合并后的浏览类XDR数据的开始时间取参与合并的浏览类XDR数据中最早的开始时间,结束时间取参与合并的浏览类XDR数据中最晚的结束时间;合并后的浏览类XDR数据的上下行流量取参与合并的浏览类XDR数据的上下行流量之和;合并后的浏览类XDR数据的响应时间和响应码取参与合并的浏览类XDR数据中开始时间最早的浏览类XDR数据的响应时间和响应码;合并后的浏览类XDR数据的五元组字段取参与合并的浏览类XDR数据中开始时间最早的浏览类XDR数据的五元组字段。
本发明实施例,一方面,获取用户浏览页面生成的XDR数据,确定XDR数据对应的超文本传输协议表单中的国际移动用户识别码、来源链接字段、网页地址字段、重定向链接字段以及访问域名字段,能够确定用于判断XDR数据是否可以合并的字段信息;另一方面,基于来源链接字段和/或访问域名字段,生成对应的精简主机字段和公司名称字段,能够生成用于配置合并逻辑的新字段;再一方面,基于国际移动用户识别码与五元组字段配置对应的合并逻辑,五元组字段包含来源链接字段、网页地址字段、重定向链接字段、精简主机字段以及公司名称字段中的一个或多个,能够配置判断XDR数据是否可以合并的合并逻辑;又一方面,对满足上述合并逻辑的XDR数据进行合并操作,能够合并具备相关性的浏览类XDR数据,且提高浏览类XDR数据的合并率与合并准确率,从而更好的反映网络质量和用户感知。
本申请实施例提供的浏览类XDR数据的合成设备能够实现前述方法实施例中的各个过程,并达到相同的功能和效果,这里不再重复。
进一步地,本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述浏览类XDR数据的合成方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,该计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(RandomAccess Memory,简称RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明上述实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。

Claims (10)

1.一种浏览类外部数据表示XDR数据的合成方法,其特征在于,包括:
获取用户浏览页面生成的XDR数据,确定所述XDR数据对应的超文本传输协议表单中的国际移动用户识别码、来源链接字段、网页地址字段、重定向链接字段以及访问域名字段;
基于所述来源链接字段和/或所述访问域名字段,生成对应的精简主机字段和公司名称字段;
基于所述国际移动用户识别码与五元组字段配置对应的合并逻辑,所述五元组字段包含所述来源链接字段、所述网页地址字段、所述重定向链接字段、所述精简主机字段以及所述公司名称字段中的一个或多个;
对满足所述合并逻辑的所述XDR数据进行合并操作。
2.根据权利要求1所述的方法,其特征在于,所述基于所述来源链接字段及所述访问域名字段,生成对应的精简主机字段,包括:
若所述来源链接字段包含一级域名,选取所述来源链接字段中一级域名前两个点后的部分作为精简主机字段;
若所述来源链接字段不包含一级域名,所述访问域名字段包含一级域名,选取所述访问域名字段中一级域名前两个点后的部分作为精简主机字段;
若所述来源链接字段与所述访问域名字段均不包含一级域名,选取所述来源链接字段或所述访问域名字段中倒数第二个点后的部分作为精简主机字段。
3.根据权利要求2所述的方法,其特征在于,生成公司名称字段,包括:
基于所述精简主机字段,通过域名批量反查的方式确定公司名称字段。
4.根据权利要求1所述的方法,其特征在于,所述对满足所述合并逻辑的所述XDR数据进行合并操作,包括:
确定满足所述合并逻辑的XDR数据,对所确定的所述XDR数据进行过滤;
基于过滤的结果,确定浏览类XDR数据;
基于所述合并逻辑对所述浏览类XDR数据进行合并操作。
5.根据权利要求4所述的方法,其特征在于,所述对所确定的所述XDR数据进行过滤,包括:
基于所述XDR数据对应的超文本传输协议表单,确定所述XDR数据中的视频数据以及应用下载数据;
对所述XDR数据中的所述视频数据以及所述应用下载数据进行过滤。
6.根据权利要求4所述的方法,其特征在于,所述对所确定的所述XDR数据进行过滤,包括:
基于预设的时延条件,过滤掉所述XDR数据中的异常XDR数据。
7.根据权利要求4所述的方法,其特征在于,对所述浏览类XDR数据进行合并操作,包括:
基于预定合成原则对所述浏览类XDR数据进行合并操作,所述预定合成原则包括下述的一种或多种:
合并后的浏览类XDR数据的开始时间取参与合并的所述浏览类XDR数据中最早的开始时间,结束时间取参与合并的所述浏览类XDR数据中最晚的结束时间;
合并后的浏览类XDR数据的上下行流量取参与合并的所述浏览类XDR数据的上下行流量之和;
合并后的浏览类XDR数据的响应时间和响应码取参与合并的所述浏览类XDR数据中开始时间最早的浏览类XDR数据的响应时间和响应码;
合并后的浏览类XDR数据的五元组字段取参与合并的所述浏览类XDR数据中开始时间最早的浏览类XDR数据的五元组字段。
8.一种浏览类XDR数据的合成装置,其特征在于,包括:
XDR数据获取模块,用于获取用户浏览页面生成的XDR数据,确定所述XDR数据对应的超文本传输协议表单中的国际移动用户识别码、来源链接字段、网页地址字段、重定向链接字段以及访问域名字段;
字段生成模块,用于基于所述来源链接字段和/或所述访问域名字段,生成对应的精简主机字段和公司名称字段;
合并逻辑配置模块,用于基于所述国际移动用户识别码与五元组字段配置对应的合并逻辑,所述五元组字段包含所述来源链接字段、所述网页地址字段、所述重定向链接字段、所述精简主机字段以及所述公司名称字段中的一个或多个;
XDR数据合并模块,用于对满足所述合并逻辑的所述XDR数据进行合并操作。
9.一种浏览类XDR数据的合成设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的浏览类XDR数据的合成方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的浏览类XDR数据的合成方法。
CN201910566751.2A 2019-06-27 2019-06-27 浏览类xdr数据的合成方法、装置、设备及存储介质 Active CN112152866B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910566751.2A CN112152866B (zh) 2019-06-27 2019-06-27 浏览类xdr数据的合成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910566751.2A CN112152866B (zh) 2019-06-27 2019-06-27 浏览类xdr数据的合成方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112152866A true CN112152866A (zh) 2020-12-29
CN112152866B CN112152866B (zh) 2022-06-17

Family

ID=73868673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910566751.2A Active CN112152866B (zh) 2019-06-27 2019-06-27 浏览类xdr数据的合成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112152866B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080184102A1 (en) * 2007-01-30 2008-07-31 Oracle International Corp Browser extension for web form capture
CN104022920A (zh) * 2014-06-26 2014-09-03 重庆重邮汇测通信技术有限公司 一种lte网络流量识别系统及方法
WO2016177141A1 (zh) * 2015-08-07 2016-11-10 中兴通讯股份有限公司 一种获取用户话单xDR的方法和装置
CN108173781A (zh) * 2017-12-20 2018-06-15 广东宜通世纪科技股份有限公司 Https流量识别方法、装置、终端设备及存储介质
CN108737407A (zh) * 2018-05-11 2018-11-02 北京奇安信科技有限公司 一种劫持网络流量的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080184102A1 (en) * 2007-01-30 2008-07-31 Oracle International Corp Browser extension for web form capture
CN104022920A (zh) * 2014-06-26 2014-09-03 重庆重邮汇测通信技术有限公司 一种lte网络流量识别系统及方法
WO2016177141A1 (zh) * 2015-08-07 2016-11-10 中兴通讯股份有限公司 一种获取用户话单xDR的方法和装置
CN108173781A (zh) * 2017-12-20 2018-06-15 广东宜通世纪科技股份有限公司 Https流量识别方法、装置、终端设备及存储介质
CN108737407A (zh) * 2018-05-11 2018-11-02 北京奇安信科技有限公司 一种劫持网络流量的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李宝磊等: "TD-LTE信令数据准确性核查方法", 《电信工程技术与标准化》 *
罗耀满,钟其柱,梅艳: "非法博彩对网络质量影响分析", 《电信快报》 *

Also Published As

Publication number Publication date
CN112152866B (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN109308255B (zh) 一种用于a/b测试实验的方法和装置
CN110830564B (zh) Cdn调度方法、装置、系统及计算机可读存储介质
EP2456246A1 (en) Network selection method based on multi-link and apparatus thereof
EP3518109A1 (en) Method and apparatus for realizing communication between web page and native application, and electronic device
WO2018001078A1 (zh) 一种url匹配方法、装置及存储介质
CN113366815B (zh) 网络资源请求方法、装置、电子设备以及存储介质
CN110688598A (zh) 业务参数采集方法、装置、计算机设备和存储介质
CN111478935B (zh) 资源访问方法、网间连接装置、系统和装置
CN112565406B (zh) 一种灰度发布方法、灰度发布系统及电子设备
CN109688205A (zh) 网页资源的拦截方法及装置
JP2005327154A (ja) Htmlファイル処理方法及びプログラム
CN110708360A (zh) 一种信息处理方法、系统和电子设备
US9785721B2 (en) System and method for programmatically creating resource locators
CN111224831A (zh) 用于生成话单的方法和系统
CN102769625A (zh) 客户端Cookie信息获取方法和装置
CN103248627A (zh) 实现访问网站资源的方法、正向代理服务器和系统
CN112152866B (zh) 浏览类xdr数据的合成方法、装置、设备及存储介质
CN105635821B (zh) 一种视频过滤方法及装置
CN104317819A (zh) 基于浏览器页面间跨域通信的方法和系统
CN114422576B (zh) 一种会话清理方法、装置、计算机设备和可读存储介质
CN106933860B (zh) 恶意统一资源定位符识别方法和装置
CN106815247B (zh) 统一资源定位符获取方法及装置
CN110958160B (zh) 网站检测方法、装置、系统以及计算机可读存储介质
CN110944037B (zh) 客户端缓存更改配置的方法、计算机设备和存储介质
CN114500484A (zh) 页面渲染方法、装置、电子设备及可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant