CN104168163A - 一种智能网络线路质量检测及数据分析方法 - Google Patents
一种智能网络线路质量检测及数据分析方法 Download PDFInfo
- Publication number
- CN104168163A CN104168163A CN201410427213.2A CN201410427213A CN104168163A CN 104168163 A CN104168163 A CN 104168163A CN 201410427213 A CN201410427213 A CN 201410427213A CN 104168163 A CN104168163 A CN 104168163A
- Authority
- CN
- China
- Prior art keywords
- metadata
- data
- test
- analysis
- operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种智能网络线路质量检测及数据分析方法，所述方法包括元数据的收集以及元数据的挖掘分析两方面步骤，所述元数据的收集是利用获取的网络线路质量检测的测试地址，测试并收集元数据；所述元数据的挖掘分析是先根据相应IP地址对测试的元数据进行分析，并将元数据及得到的归属地、运营商存入二次分析库中，之后并发多个数据分析引擎，将测试的元数据进行多维度统计分析，并生成最终对比分析报告。本发明的优点是：可以及时了解本地区的网络质量数据以及与其他地区、其他运营商之间的对比数据，为运维部门进行升级改造提供可靠的、有针对性的数据。
Description
技术领域
本发明涉及一种智能网络线路质量检测及数据分析方法。
背景技术
近年来，互联网业务的发展突飞猛进，宽带客户数及客户上网时长也随着网络规模的扩大而不断增加，因此对网络线路质量的要求也越来越高，这就要求网络运维人员需要及时地了解本地区的网络质量数据以及与其他地区、其他运营商之间的对比数据，才能有针对性的对网络线路进行升级改造。以往主要是通过客户的反应或者对一些网络端口故障的监测及数据收集来了解某地区的网络质量，运维人员再针对客户的反应及收集的数据对该地区的网络质量进行判断，最终制定出升级方案，以往做法的缺点是：没有对网络质量数据进行主动收集，制定策略时针对性比较差，实时性也比较差；没有与其他运营商的网络质量进行及时对比分析，这样运维人员难以及时发现自身网络质量存在的缺陷。
发明内容
本发明要解决的技术问题，在于提供一种智能网络线路质量检测及数据分析方法，通过及时地了解本地区的网络质量数据以及与其他地区、其他运营商之间的对比数据，进而有效制定出升级方案，为客户提供更好的服务。
本发明是这样实现的：一种智能网络线路质量检测及数据分析方法，包括如下步骤：
元数据的收集：
步骤11、通过客户端插件获取网络线路质量检测所需各大洲或地区网站的测试地址；
步骤12、依次访问获取的测试地址进行数据测试，并将测试的元数据保存到中心数据库；
元数据的挖掘分析：
步骤21、从中心数据库取出本次测试的元数据，并根据相应IP地址对测试的元数据进行分析，得到元数据对应的归属地、运营商；
步骤22、将测试的元数据及得到的归属地、运营商作为网络质量分析数据存入二次分析库中；
步骤23、并发多个数据分析引擎，并结合得到的归属地、运营商，对从各大洲或地区测试的元数据进行统计分析，并生成最终对比分析报告。
进一步的，所述步骤21具体包括如下步骤：
步骤211、从中心数据库取出本次从各大洲或地区测试的元数据，并获取用户的接入IP；
步骤222、从运营商的路由IP表中查找获取的接入IP，如果有查找到，则设置该接入IP对应的运营商，如果没有查找到，则标记不存在运营商；
步骤223、查找元数据中连接到测试地址的第一跳路由IP，即第一跳IP，并判断第一跳IP是否为公网IP，如果是，则设置该元数据的公网IP，如果不是，则获取下一跳IP继续进行判断，若连续三次取得的IP都不是公网IP，则设置该元数据的公网IP为空；最后从对应运营商的路由IP表中查找有公网IP的元数据，并设置其归属地。
进一步的，所述元数据包括平均网络延迟时间、平均下载速率、经过路由的跳转时间、平均丢包率以及连接到测试地址的每一跳路由IP。
进一步的，所述客户端插件在用户上网访问网站的环境下，将通过数据收集引擎自动连接数据中心，并从数据中心获取各大洲或地区网站的测试地址。
本发明具有如下优点：能够及时了解本地区的网络质量数据以及与其他地区、其他运营商之间的对比数据，为网络运维人员制定升级方案提供可靠依据，且针对性强，实时性好。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明方法中元数据挖掘分析一较佳实施例的流程图。
具体实施方式
请参照图1所示，一种智能网络线路质量检测及数据分析方法的较佳实施例，包括如下步骤：
元数据的收集：
步骤11、通过客户端插件从数据中心获取网络线路质量检测所需的各大洲或地区的测试地址，本实施的各大洲或地区包括指定的世界八个地区(中国、亚洲、欧洲、南美洲、港澳台、非洲、大洋洲及北美洲)；其中客户端插件在用户上网访问网站的环境下，将通过数据收集引擎自动连接数据中心，并从数据中心获取各大洲或地区网站的测试地址。
步骤12、依次访问获取的各大洲或地区网站的测试地址，并测算出每个大洲或地区的平均网络延迟时间、平均下载速率、经过路由的跳转时间、平均丢包率及连接到测试地址的每一跳路由IP等元数据，之后将测试的元数据提交给中心数据库进行存储，供分析时取用；同时数据中心的服务平台也将记录下用户的接入IP，并与元数据一同存储起来；
元数据的挖掘分析：
步骤21、从中心数据库取出本次测试的元数据，并根据相应IP地址对测试的元数据进行分析，得到元数据对应的归属地、运营商；该步骤详细为以下步骤:
步骤211、从中心数据库中取出本次从各大洲或地区测试的元数据，并获取用户的接入IP；
步骤222、从运营商(这里以电信运营商为例)的路由IP表中查找获取的接入IP，如果有查找到，则设置该接入IP为电信运营商，如果在电信运营商中查找不到，则在其他运营商的路由IP表继续进行查找，并设置该接入IP对应的运营商，如果其他运营商的路由IP表也查找不到，则设置该接入IP为99(这里用99表示查找不到运营商)；
步骤223、查找元数据中连接到测试地址的第一跳路由IP，即第一跳IP，并判断第一跳IP是否为公网IP，如果是，则设置该元数据的公网IP，如果不是，则获取下一跳IP继续进行判断，若连续三次取得的IP都不是公网IP(即三次都是内网IP)，则设置该元数的公网IP为空，并结束对该元数据的挖掘分析；最后从电信运营商(或者其他运营商)的路由IP表中查找有公网IP的元数据并设置其归属地，其中，归属地可以根据需要做较详细的区域划分。
步骤22、将从各大洲或地区测试的元数据及对应的归属地、运营商作为网络质量分析数据存入二次分析库中；当然，还包括对测试的日期、时间等信息的记录和存储，以方便统计分析时对数据的区分。
步骤23、并发多个数据分析引擎，并结合得到的归属地、运营商，对从各大洲或地区测试的元数据进行多维度的统计分析，并生成最终对比分析报告。具体可以按照日期、运营商、测试区域、归属省份、归属地市等维度对元数据中的平均网络延迟时间或者平均下载速率或者其他数据进行统计分析，生成的最终对比分析报告可通过表格、图形等形式展现，如表1展示的就是具体实施过程中生成的各运营商平均下载速率对比分析表。
表1各运营商平均下载速率对比分析表
| 地区 | 电信 | 联通 | 移动 | 铁通 | 中国教育 |
| 中国 | 646.53 | 460.48 | 604.24 | 442.52 | 473.84 |
| 亚洲 | 75.73 | 89.71 | 74.04 | 46.03 | 51.18 |
| 欧洲 | 26.79 | 27.17 | 33.35 | 23.9 | 21.01 |
| 南美洲 | 36.51 | 32.08 | 10.65 | 25.94 | 29.13 |
| 港澳台 | 102.75 | 99.56 | 80.46 | 59.78 | 67.81 |
| 非洲 | 17 | 11.56 | 17.74 | 11.4 | 11.43 |
| 大洋洲 | 20.77 | 15.44 | 17.77 | 18.83 | 16.63 |
| 北美洲 | 28.45 | 29.61 | 27.39 | 17.04 | 19.52 |
通过生成的最终对比分析报告，网络运维人员就可以有效且及时地发现自身与其他运营商之间以及管辖的各个地区之间的网络线路质量数据的差别，从而可以对一些网络线路质量较差的地区作出相应有针对性的升级调整方案，为客户带来更好的服务。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。
Claims (4)
1.一种智能网络线路质量检测及数据分析方法，其特征在于：包括如下步骤：
元数据的收集：
步骤11、通过客户端插件获取网络线路质量检测所需各大洲或地区网站的测试地址；
步骤12、依次访问获取的测试地址进行数据测试，并将测试的元数据保存到中心数据库；
元数据的挖掘分析：
步骤21、从中心数据库取出本次测试的元数据，并根据相应IP地址对测试的元数据进行分析，得到元数据对应的归属地、运营商；
步骤22、将测试的元数据及得到的归属地、运营商作为网络质量分析数据存入二次分析库中；
步骤23、并发多个数据分析引擎，并结合得到的归属地、运营商，对从各大洲或地区测试的元数据进行统计分析，并生成最终对比分析报告。
2.根据权利要求1所述的一种智能网络线路质量检测及数据分析方法，其特征在于：所述步骤21具体包括如下步骤：
步骤211、从中心数据库取出本次从各大洲或地区测试的元数据，并获取用户的接入IP；
步骤222、从运营商的路由IP表中查找获取的接入IP，如果有查找到，则设置该接入IP对应的运营商，如果没有查找到，则标记不存在运营商；
步骤223、查找元数据中连接到测试地址的第一跳路由IP，即第一跳IP，并判断第一跳IP是否为公网IP，如果是，则设置该元数据的公网IP，如果不是，则获取下一跳IP继续进行判断，若连续三次取得的IP都不是公网IP，则设置该元数据的公网IP为空；最后从对应运营商的路由IP表中查找有公网IP的元数据，并设置其归属地。
3.根据权利要求1或2所述的一种智能网络线路质量检测及数据分析方法，其特征在于：所述元数据包括平均网络延迟时间、平均下载速率、经过路由的跳转时间、平均丢包率以及连接到测试地址的每一跳路由IP。
4.根据权利要求1所述的一种智能网络线路质量检测及数据分析方法，其特征在于：所述客户端插件在用户上网访问网站的环境下，将通过数据收集引擎自动连接数据中心，并从数据中心获取各大洲或地区网站的测试地址。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410427213.2A CN104168163A (zh) | 2014-08-27 | 2014-08-27 | 一种智能网络线路质量检测及数据分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410427213.2A CN104168163A (zh) | 2014-08-27 | 2014-08-27 | 一种智能网络线路质量检测及数据分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104168163A true CN104168163A (zh) | 2014-11-26 |
Family
ID=51911810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410427213.2A Pending CN104168163A (zh) | 2014-08-27 | 2014-08-27 | 一种智能网络线路质量检测及数据分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104168163A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111181798A (zh) * | 2019-08-28 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 网络时延测量方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102480715A (zh) * | 2010-11-30 | 2012-05-30 | 上海博路信息技术有限公司 | 一种im业务自动识别归属地的方法 |
| CN102752170A (zh) * | 2012-06-29 | 2012-10-24 | 福建富士通信息软件有限公司 | 一种网络速度测试方法 |
| CN103051498A (zh) * | 2012-12-29 | 2013-04-17 | 电信科学技术第一研究所 | 网速测试方法及系统 |
| CN103207901A (zh) * | 2013-03-21 | 2013-07-17 | 百度在线网络技术（北京）有限公司 | 一种基于搜索引擎获取ip地址归属地的方法和装置 |
-
2014
- 2014-08-27 CN CN201410427213.2A patent/CN104168163A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102480715A (zh) * | 2010-11-30 | 2012-05-30 | 上海博路信息技术有限公司 | 一种im业务自动识别归属地的方法 |
| CN102752170A (zh) * | 2012-06-29 | 2012-10-24 | 福建富士通信息软件有限公司 | 一种网络速度测试方法 |
| CN103051498A (zh) * | 2012-12-29 | 2013-04-17 | 电信科学技术第一研究所 | 网速测试方法及系统 |
| CN103207901A (zh) * | 2013-03-21 | 2013-07-17 | 百度在线网络技术（北京）有限公司 | 一种基于搜索引擎获取ip地址归属地的方法和装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111181798A (zh) * | 2019-08-28 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 网络时延测量方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10664872B2 (en) | Systems and methods for generating network intelligence through real-time analytics | |
| CN107995266A (zh) | 埋点数据处理方法、装置、计算机设备和存储介质 | |
| CN108712426B (zh) | 基于用户行为埋点的爬虫识别方法及系统 | |
| EP2402899A1 (en) | Methods and apparatus to obtain anonymous audience measurement data from network server data for particular demographic and usage profiles | |
| RU2015116752A (ru) | Способ и система обеспечения клиентскому устройству автоматического обновления ip-адреса, соответствующего доменному имени | |
| CN108234207B (zh) | 一种基于内容分发网络cdn的故障定位方法和装置 | |
| CN104488231A (zh) | 利用按照需求的装置的实时网络监视和订户标识 | |
| US20110078163A1 (en) | Method and system for network fault management | |
| ATE477693T1 (de) | Verkehrsüberwachungssystem für ein mobilfunknetz zur verkehrsanalyse mit einem hierarchischen ansatz | |
| CN105930363A (zh) | 一种基于html5网页的用户行为分析方法及装置 | |
| US11877028B2 (en) | Methods and apparatus to identify media presentations by analyzing network traffic | |
| CN107018001B (zh) | 一种应用故障定位方法及装置 | |
| CN106341373B (zh) | 用于检测和阻止恶意点击广告链接的方法和装置 | |
| CN103324696B (zh) | 一种数据日志收集与统计分析系统和方法 | |
| US20150188879A1 (en) | Apparatus for grouping servers, a method for grouping servers and a recording medium | |
| CN103581278A (zh) | 适用于无线客户端的用户行为分析方法 | |
| US20180336248A1 (en) | Distributed in-memory-based complex data processing system and method | |
| KR102492049B1 (ko) | 워터마크 및 서명을 사용한 미디어 식별 | |
| GB2569678A (en) | Automation of SQL tuning method and system using statistic SQL pattern analysis | |
| CN104915864A (zh) | 对投放信息的投放效果进行评测的方法及装置 | |
| CN103036746B (zh) | 基于网络中间点的网页响应时间被动测量方法及系统 | |
| CN105740361B (zh) | 全量数据完整度的检测方法及装置 | |
| CN104735041A (zh) | 离线资源获取方法及装置 | |
| CN104168163A (zh) | 一种智能网络线路质量检测及数据分析方法 | |
| US20160099855A1 (en) | Hybrid content delivery system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20141126 |