CN114285763A - 数据采集方法、装置和计算机可读存储介质 - Google Patents

数据采集方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN114285763A
CN114285763A CN202111425911.5A CN202111425911A CN114285763A CN 114285763 A CN114285763 A CN 114285763A CN 202111425911 A CN202111425911 A CN 202111425911A CN 114285763 A CN114285763 A CN 114285763A
Authority
CN
China
Prior art keywords
network quality
quality data
request information
network
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111425911.5A
Other languages
English (en)
Other versions
CN114285763B (zh
Inventor
翟颖奇
朱晓雨
杨雨苍
丁海
李洁
张沛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202111425911.5A priority Critical patent/CN114285763B/zh
Publication of CN114285763A publication Critical patent/CN114285763A/zh
Application granted granted Critical
Publication of CN114285763B publication Critical patent/CN114285763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供了一种数据采集方法、装置和计算机可读存储介质,涉及信息技术领域,实现了网络质量数据的全面采集,有利于提高网络质量分析的准确性。该方法包括:管理节点基于预设对应关系,确定第一请求信息,该第一请求信息携带网络质量数据的采集地址,上述预设对应关系用于表示多个不同业务和多个不同网络质量数据的对应关系,该多个不同业务包括目标业务;管理节点向网关发送第一请求信息,网关基于第一请求信息,向采集地址对应的网络节点发送第二请求信息;网络节点向网关发送网络质量数据;网关对来自网络节点的网络质量数据进行清洗和汇总,获得清洗和汇总后的网络质量数据;网关向上述管理节点发送上述清洗和汇总后的网络质量数据。

Description

数据采集方法、装置和计算机可读存储介质
技术领域
本申请涉及信息技术领域,尤其涉及一种数据采集方法、装置和计算机可读存储介质。
背景技术
用户在进行上网访问网页、打游戏、看视频等业务活动时,是通过家庭网关与外部的网络服务进行交互实现的,在该过程中可能经过多个网络节点,直至到达最终的服务提供商,每一环节出现网络故障或者拥堵都会造成用户体验较差。为了能够更准确的分析网络质差、原因定位,就需要采集足够全面和准确的网络质量数据。
但是,目前网络质量数据的采集方法无法进行网络数据的全面采集,导致网络质量数据有限,进而网络质量分析、改善等结果,存在的不全面、不科学的问题。
发明内容
本申请提供一种数据采集方法、装置和计算机可读存储介质,实现了网络质量数据的高效全面的采集,有利于提高网络质量分析的准确性。
第一方面,提供了一种数据采集方法,包括:网关接收来自管理节点的第一请求信息,上述第一请求信息用于请求获取目标业务对应的网络质量数据,上述第一请求信息携带上述网络质量数据的采集地址;上述网关基于上述第一请求信息,向上述采集地址对应的网络节点发送第二请求信息,上述第二请求信息用于请求获取上述网络节点的网络质量数据;上述网关接收来自上述网络节点的网络质量数据;上述网关对上述来自网络节点的网络质量数据进行清洗和汇总,获得清洗和汇总后的网络质量数据;上述网关向上述管理节点发送上述清洗和汇总后的网络质量数据。
在本申请中,网关接收来自管理节点的网络质量数据采集的信息,该信息为管理节点根据多个不同业务和多个不同网络质量数据的对应关系(即上述预设对应关系)确定的。换句话说,网管理节点除了向网关发送采集网络质量数据的指令之外,还向网关发送了其需要的目标网络质量数据和采集该目标网络数据的地址,避免了网关对网络质量数据的盲目采集,降低了后续对采集到的网络质量数据清理和汇总的压力,实现了网络质量数据的全面及高效的采集,进而有利于提高后续网络质量分析的准确性。此外,本申请在网关侧进行网络质量数据的清洗和汇总,避免了现有技术中管理节点需要进行大量网络质量数据的清洗和汇总,进一步提高了网络质量数据的采集效率。
结合第一方面,在第一方面的某些实现方式中,上述网关对上述网络质量数据进行清洗和汇总,获得清洗和汇总后的网络质量数据,包括:上述网关从来自上述网络节点的网络质量数据中过滤出上述目标业务对应的网络质量数据,并进行汇总,获得上述清洗和汇总后的网络质量数据。
结合第一方面,在第一方面的某些实现方式中,上述第二请求信息包括下列至少一个:网页请求信息、文件下载请求信息、网络连接请求信息、远程终端协议连接请求信息或视频请求信息。
第二方面,提供了又一数据采集方法,包括:管理节点基于预设对应关系,确定第一请求信息,上述第一请求信息用于请求获取目标业务对应的网络质量数据,上述第一请求信息携带上述网络质量数据的采集地址,上述预设对应关系用于表示多个不同业务和多个不同网络质量数据的对应关系,上述多个不同业务包括上述目标业务;上述管理节点向网关发送上述第一请求信息;上述管理节点接收来自上述网关的清洗和汇总后的网络质量数据。
在本申请中,管理节点根据多个不同业务和多个不同网络质量数据的对应关系(即上述预设对应关系)确定第一请求信息,并将该第一请求信息发送至网关。网关可以基于第一请求信息获得管理节点需要的目标网络质量数据和采集该目标网络数据的地址,避免了网关对网络质量数据的盲目采集,降低了后续对采集到的网络质量数据清理和汇总的压力,实现了网络质量数据的全面及高效的采集,进而有利于提高后续网络质量分析的准确性。此外,本申请在网关侧进行网络质量数据的清洗和汇总,避免了现有技术中管理节点需要进行大量网络质量数据的清洗和汇总,进一步提高网络质量数据的采集效率。
结合第二方面,在第二方面的某些实现方式中,在上述管理节点接收来自上述网关的清洗和汇总后的网络质量数据之后,上述方法还包括:上述管理节点向数据存储设备发送上述清洗和汇总后的网络质量数据;上述数据存储设备接收上述清洗和汇总后的网络质量数据,并存储该清洗和汇总后的网络质量数据。
第三方面,提供了一种数据采集装置,包括:收发模块和处理模块,其中,收发模块用于:接收来自管理节点的第一请求信息,上述第一请求信息用于请求获取目标业务对应的网络质量数据,上述第一请求信息携带上述网络质量数据的采集地址;基于上述第一请求信息,向上述采集地址对应的网络节点发送第二请求信息,上述第二请求信息用于请求获取上述网络节点的网络质量数据;以及,接收来自上述网络节点的网络质量数据;处理模块用于:对上述来自网络节点的网络质量数据进行清洗和汇总,获得清洗和汇总后的网络质量数据;上述收发模块用于:向上述管理节点发送上述清洗和汇总后的网络质量数据。
结合第三方面,在第三方面的某些实现方式中,上述处理模块用于:上述网关从来自上述网络节点的网络质量数据中过滤出上述目标业务对应的网络质量数据,并进行汇总,获得上述清洗和汇总后的网络质量数据。
结合第三方面,在第三方面的某些实现方式中,上述第二请求信息包括下列至少一个:网页请求信息、文件下载请求信息、网络连接请求信息、远程终端协议连接请求信息或视频请求信息。
第四方面,提供了一种数据采集装置,包括:处理模块和收发模块,其中,处理模块用于:基于预设对应关系,确定第一请求信息,上述第一请求信息用于请求获取目标业务对应的网络质量数据,上述第一请求信息携带上述网络质量数据的采集地址,上述预设对应关系用于表示多个不同业务和多个不同网络质量数据的对应关系,上述多个不同业务包括上述目标业务;收发模块用于:向网关发送上述第一请求信息;以及,接收来自上述网关的清洗和汇总后的网络质量数据。
结合第四方面,在第四方面的某些实现方式中,上述收发模块用于:向数据存储设备发送上述清洗和汇总后的网络质量数据;上述处理模块用于:接收上述清洗和汇总后的网络质量数据,并存储上述清洗和汇总后的网络质量数据。
第五方面,提供了一种处理器,包括:输入电路、输出电路和处理电路。处理电路用于通过输入电路接收信号,并通过输出电路发射信号,使得处理器执行上述第一方面或第二方面中任一种可能实现方式中的方法。
在具体实现过程中,上述处理器可以为芯片,输入电路可以为输入管脚,输出电路可以为输出管脚,处理电路可以为晶体管、门电路、触发器和各种逻辑电路等。输入电路所接收的输入的信号可以是由例如但不限于接收器接收并输入的,输出电路所输出的信号可以是例如但不限于输出给发射器并由发射器发射的,且输入电路和输出电路可以是同一电路,该电路在不同的时刻分别用作输入电路和输出电路。本申请对处理器及各种电路的具体实现方式不做限定。
第六方面,提供了一种处理装置,包括处理器和存储器。该处理器用于读取存储器中存储的指令,并可通过接收器接收信号,通过发射器发射信号,以执行上述第一方面或第二方面中任一种可能实现方式中的方法。
可选地,处理器为一个或多个,存储器为一个或多个。
可选地,存储器可以与处理器集成在一起,或者存储器与处理器分离设置。
在具体实现过程中,存储器可以为非瞬时性(non-transitory)存储器,例如只读存储器(read only memory,ROM),其可以与处理器集成在同一块芯片上,也可以分别设置在不同的芯片上,本申请对存储器的类型以及存储器与处理器的设置方式不做限定。
上述第六方面中的处理装置可以是一个芯片,该处理器可以通过硬件来实现也可以通过软件来实现,当通过硬件实现时,该处理器可以是逻辑电路、集成电路等;当通过软件来实现时,该处理器可以是一个通用处理器,通过读取存储器中存储的软件代码来实现,该存储器可以集成在处理器中,可以位于该处理器之外,独立存在。
第七方面,提供了一种计算机程序产品,计算机程序产品包括:计算机程序(也可以称为代码,或指令),当计算机程序被运行时,使得计算机执行上述第一方面或第二方面中任一种可能实现方式中的方法。
第八方面,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序(也可以称为代码,或指令)当其在计算机上运行时,使得计算机执行上述第一方面或第二方面中任一种可能实现方式中的方法。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的应用场景的示意图;
图2是本申请实施例提供的数据采集方法的示意性流程图;
图3是本申请实施例提供的另一应用场景的示意图;
图4是本申请实施例提供的又一数据采集方法的示意性流程图;
图5是本申请实施例提供的数据采集装置的示意图;
图6是本申请实施例提供的又一数据采集装置的示意图;
图7是本申请实施例提供的又一数据采集装置的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在根据本实施例的启示下做出的所有其他实施例,都属于本申请保护的范围。
在上述场景中,用户可以通过网关与外部的网络服务进行交互,实现上网访问网页、打游戏、看视频等业务活动。在上述交互的过程中,经过其他网络节点,如光缆终端设备(optical line terminal,OLT)、全称宽带远程接入服务器(broadband remote accessserver,BRAS)、核心网、骨干网或互联网数据中心(internet data center,IDC)等。其中,OLT用于连接光纤干线的终端设备,BRAS用于各种宽带接入方式的宽带网络用户的接入、认证、计费、控制和管理,核心网用于将获得的呼叫请求或数据请求,接续到不同的网络上,CR用于数据分组选路和转发,骨干网用于连接多个区域或地区的高速网络,每个骨干网中至少有一个和其他骨干网进行互联互通的连接点,IDC用于存储数据。若在上述交互的过程中任意节点出现网络故障或者拥堵都会造成用户体验感差的问题,为提高用户体验就需要基于足够全面和准确的网络质量数据,准确分析和评估网络质差、原因定位。
在一种实现方式中,可以通过采集网络设备的端口数据,实现对网络质量数据的采集。但是,端口数据包含的实际占用带宽、实际使用流量等数据无法直接和业务相联系,不利于后续的网络质量分析。
在另一种实现方式中,可以在用户的历史访问数据中进行采集,获得与业务相关联的网络质量数据。但是,该种采集方法受制于用户的历史访问数据的局限,无法全面的进行网络数据的采集,导致后续的网络质量分析、改善等结果存在的不全面、不科学的问题。
有鉴于此,本申请提供了一种数据采集方法、装置和计算机可读存储介质,网关接收来自管理节点的网络质量数据采集的信息,该信息为管理节点根据多个不同业务和多个不同网络质量数据的对应关系确定的。换句话说,管理节点除了向网关发送采集网络质量数据的指令之外,还向网关发送了其需要的目标网络质量数据和采集该目标网络数据的地址,避免了网关对网络质量数据的盲目采集,降低了对采集到的网络质量数据清理和汇总的压力,实现了网络质量数据的全面及高效的采集,进而有利于提高后续网络质量分析的准确性。此外,本申请在网关侧进行网络质量数据的清洗和汇总,避免了现有技术中管理节点需要进行大量网络质量数据的清洗和汇总,进一步提高网络质量数据的采集效率。
图1为本申请提供的应用场景100的示意图。如图1所示,该应用场景100可以包括网关、管理节点(也可以称为网络管理平台)和其他网络节点。其中,管理节点可以通过其他网络节点向网关发送采集网络质量数据的信息,该网关可以为一个或多个。当网关收到采集网络质量数据的信息后,可以基于该采集网络质量数据的消息,采集网络质量数据,并通过上述其他网络节点将采集到的网络质量数据发送至管理节点,以供管理节点基于该网络质量数据评估网络质量。
应理解,上述其他网络节点可以包括OLT、BRAS、核心网、核心路由器(corerouter,CR)、骨干网或互联网数据中心(internet data center,IDC)等。
应理解,上述网关可以为一个或多个,本申请对此不做限定。
在介绍本申请实施例提供的一种数据采集方法、装置和计算机可读存储介质之前,先做出以下几点说明。
第一,在下文示出的实施例中,各术语及英文缩略语,如监听事件等,均为方便描述而给出的示例性举例,不应对本申请构成任何限定。本申请并不排除在已有或未来的协议中定义其它能够实现相同或相似功能的术语的可能。
第二,在下文示出的实施例中第一、第二以及各种数字编号仅为描述方便进行的区分,并不用来限制本申请实施例的范围。
第三,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a、b和c中的至少一项(个),可以表示:a,或b,或c,或a和b,或a和c,或b和c,或a、b和c,其中a,b,c可以是单个,也可以是多个。
为了使本申请的目的、技术方案更加清楚直观,下面将结合附图及实施例,对本申请提供的数据采集方法、装置和计算机可读存储介质进行详细说明。应理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图2是本申请实施例提供的数据采集方法200的示意性流程图。该方法200可以应用于上述图1所示的应用场景100,除此之外还可以应用于其他场景,本申请实施例对此不做限定。如图2所示,该方法200可以包括下列步骤:
S201、管理节点基于预设对应关系,确定第一请求信息,该第一请求信息用于请求获取目标业务对应的网络质量数据,该第一请求信息携带上述网络质量数据的采集地址,上述预设对应关系用于表示多个不同业务和多个不同网络质量数据的对应关系,上述多个不同业务包括上述目标业务。
应理解,上述预设对应关系可以是相关运维人员通过历史网络质量评估所使用的网络质量数据和网络质量评估结果确定的。
表一示出了上述多个不同业务和多个不同网络质量数据的对应关系,即上述预设对应关系。
表一
Figure BDA0003378439530000071
Figure BDA0003378439530000081
应理解,表一示出的业务和对应的网络质量数据仅仅为示例性地,在实操过程中还可以包括其他业务和其对应的网络质量数据,本申请对此不做限定。
S202、管理节点向网关发送上述第一请求信息。对应地,网关接收来自管理节点的第一请求信息。
应理解,网关可以根据该第一信息获得上述目标业务对应的网络质量数据(即管理节点后续用于网络质量评估所需的网络质量数据)和采集该网络质量数据的地址。
可选地,本申请以一个网关为例对数据采集方法进行描述,上述网关还可以为多个,本申请多次不做限定。
S203、网关基于上述第一请求信息,向上述采集地址对应的网络节点发送第二请求信息,该第二请求信息用于请求获取上述网络节点的网络质量数据。对应地,网络节点接收来自网关的第二请求信息。
可选地,上述第二请求信息可以包括网页请求信息、文件下载请求信息、网络连接请求信息、远程终端协议连接请求信息或视频请求信息中的至少一个。
应理解,上述示出的多个请求消息仅仅为示例性地,在实际采集过程中,还可以根据管理节点的需求,发送其他不同的请求消息,本申请对此不作限定。
S204、网络节点向网关发送网络质量数据。对应地,网关接收来自网络节点的网络质量数据。
S205、网关对上述来自网络节点的网络质量数据进行清洗和汇总,获得清洗和汇总后的网络质量数据。
在一种可能的实现方式中,网关可以从来自上述网络节点的网络质量数据中过滤出上述目标业务对应的网络质量数据,并进行汇总,获得上述清洗和汇总后的网络质量数据。换句话说,网关可以在上述网络质量数据中筛选出上述目标业务对应的网络质量数据,即管理节点所需的网络质量数据。
S206、网关向上述管理节点发送上述清洗和汇总后的网络质量数据。对应地,管理节点接收来自网关的上述清洗和汇总后的网络质量数据。
可选地,管理节点在收到上述清洗和汇总后的网络质量数据之后,可以基于该网络质量数据进行网络质量的评价,也可以将上述清洗和汇总后的网络质量数据进行存储,以备后续使用。
应理解,管理节点可以将上述清洗和汇总后的网络质量数据存储至本地,或者也可以存储在其之外的其他数据存储设备中,本申请对此不做限定。
在本申请实施例中,网关接收来自管理节点的网络质量数据采集的信息,该信息为管理节点根据多个不同业务和多个不同网络质量数据的对应关系(即上述预设对应关系)确定的。换句话说,管理节点除了向网关发送采集网络质量数据的指令之外,还向网关发送了其需要的目标网络质量数据和采集该目标网络数据的地址,避免了网关对网络质量数据的盲目采集,降低了后续对采集到的网络质量数据清理和汇总的压力,实现了网络质量数据的全面及高效的采集,进而有利于提高后续网络质量分析的准确性。此外,本申请在网关侧进行网络质量数据的清洗和汇总,避免了现有技术中管理节点需要进行大量网络质量数据的清洗和汇总,进一步提高网络质量数据的采集效率。
图3示出了本申请实施例提供的又一应用场景300。如图3所示,该场景300除包括上述应用场景100中的网关和管理节点之外,还可以包括用于存储上述清洗和汇总后的网络质量数据的数据存储设备。此外,上述网关中还可以包括主动拨测插件和网络数据采集插件,该主动拨测插件可以用于向上述网络质量数据的采集地址对应的网络节点发送上述第二请求信息,获得来自网络节点的网络质量数据,并将获得的网络质量数据发送至网络数据采集插件。上述网络数据采集插件可以清洗和汇总上述来获得的网络质量数据,并将清洗和汇总后的上述网络质量数据发送至管理节点。
下面结合上述图3,以目标业务为游戏业务,游戏业务对应的网络质量数据为网络时延数据为例,对上述方法200进行进一步的描述。图4为本申请提供的又一数据采集方法400的示意性流程图,如图4所示,该方法400包括下列步骤:
S401、管理节点基于预设对应关系,确定第一请求信息,该第一请求信息用于请求获取游戏业务对应的网络时延数据,该第一请求信息携带上述网络时延数据的采集地址。
S402、管理节点向网关中的主动拨测插件发送上述第一请求信息。对应地,网关中的主动拨测插件接收来自管理节点的第一请求信息。
S403、网关中主动拨测插件可以基于上述第一请求信息,向上述采集地址对应的网络节点发送网络连接的请求信息,该网络连接的请求信息用于请求获取上述网络节点的网络质量数据。对应地,网络节点接收来自网关中主动拨测插件的第二请求信息。
S404、网络节点向网关中的主动拨测插件发送网络质量数据。对应地,网关中的主动拨测插件接收来自网络节点的网络质量数据。
应理解,该网络质量数据中包括游戏业务的网络时延数据。
S405、网关中的主动拨测插件向网关中网络数据采集插件的发送网络质量数据。对应地,网关中网络数据采集插件接收来自网关中的主动拨测插件的网络质量数据。
S406、网关中网络数据采集插件可以基于第一请求信息中游戏业务对应的网络质量数据,对获得的网络质量数据进行清洗和汇总,获得游戏业务对应的网络时延数据。
S407、网关中网络数据采集插件向上述管理节点发送上述网络时延数据。对应地,管理节点接收来自网关中网络数据采集插件的上述网络时延数据。
S408、管理节点向数据存储设备发送上述网络时延数据。对应地,数据存储设备接收来自管理节点的网络时延数据。
可选地,管理节点还可以基于采集到的游戏业务的网络时延数据,进行与业务相关联的网络质量的评估,或者将游戏业务的网络时延数据存储至本地。
S409、数据存储设备存储上述网络时延数据。
应理解,上述实施例仅以游戏业务对应的一种网络质量数据(网络时延数据)为例,对本申请提供的数据采集方法进行了描述,在实操过程中上述获取的网络质量数据还可以根据管理节点的需求为多种,本申请对此不做限定。
应理解,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
为了实现上述本申请实施例提供的方法中的各功能,网关可以包括硬件结构和/或软件模块,以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行,取决于技术方案的特定应用和设计约束条件。
上文中结合图1至图4,详细描述了本申请实施例提供的数据采集方法,下面将结合附图5至图7,详细描述本申请实施例提供的数据采集装置。
图5示出了本申请实施例提供的数据采集装置500,包括:收发模块501和处理模块502。
其中,收发模块501用于:接收来自管理节点的第一请求信息,上述第一请求信息用于请求获取目标业务对应的网络质量数据,上述第一请求信息携带上述网络质量数据的采集地址;基于上述第一请求信息,向上述采集地址对应的网络节点发送第二请求信息,上述第二请求信息用于请求获取上述网络节点的网络质量数据;以及,接收来自上述网络节点的网络质量数据;处理模块502用于:对上述来自网络节点的网络质量数据进行清洗和汇总,获得清洗和汇总后的网络质量数据;上述收发模块501用于:向上述管理节点发送上述清洗和汇总后的网络质量数据。
可选地,该处理模块502用于:从来自上述网络节点的网络质量数据中过滤出上述目标业务对应的网络质量数据,并进行汇总,获得上述清洗和汇总后的网络质量数据。
可选地,上述第二请求信息包括下列至少一个:网页请求信息、文件下载请求信息、网络连接请求信息、远程终端协议连接请求信息或视频请求信息。
应理解,这里的装置500以功能模块的形式体现。这里的术语“模块”可以指应用特有集成电路(application specific integrated circuit,ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。在一个可选例子中,本领域技术人员可以理解,装置500可以具体为上述实施例中的网关,或者,上述实施例中网关的功能可以集成在装置500中,装置500可以用于执行上述方法实施例中与网关对应的各个流程和/或步骤,为避免重复,在此不再赘述。上述装置500具有实现上述方法中网关执行的相应步骤的功能;上述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
在本申请的实施例,图5中的装置500也可以是芯片或者芯片系统,例如:片上系统(system on chip,SoC)。
图6示出了本申请实施例提供的数据采集装置600,包括:处理模块601和收发模块602。
其中,处理模块601用于:基于预设对应关系,确定第一请求信息,上述第一请求信息用于请求获取目标业务对应的网络质量数据,上述第一请求信息携带上述网络质量数据的采集地址,上述预设对应关系用于表示多个不同业务和多个不同网络质量数据的对应关系,上述多个不同业务包括上述目标业务;收发模块602用于:向网关发送上述第一请求信息;以及,接收来自上述网关的清洗和汇总后的网络质量数据。
可选地,该收发模块602用于:向数据存储设备发送上述清洗和汇总后的网络质量数据;该处理模块601用于:接收上述清洗和汇总后的网络质量数据,并存储上述清洗和汇总后的网络质量数据。
应理解,这里的装置600以功能模块的形式体现。这里的术语“模块”可以指应用特有集成电路(application specific integrated circuit,ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。在一个可选例子中,本领域技术人员可以理解,装置600可以具体为上述实施例中的管理节点,或者,上述实施例中管理节点的功能可以集成在装置600中,装置600可以用于执行上述方法实施例中与管理节点对应的各个流程和/或步骤,为避免重复,在此不再赘述。上述装置600具有实现上述方法中管理节点执行的相应步骤的功能;上述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
在本申请的实施例,图6中的装置600也可以是芯片或者芯片系统,例如:片上系统(system on chip,SoC)。
图7示出了本申请实施例提供的另一数据采集装置700。该装置700包括:处理器701、存储器702、通信接口703以及总线704。其中,存储器702用于存储指令,该处理器701用于执行该存储器702存储的指令。处理器701、存储器702和通信接口703通过总线704实现彼此之间的通信连接。
在一种实现方式中,装置700可以具体为上述实施例中的网关,其中,处理器701用于:接收来自管理节点的第一请求信息,上述第一请求信息用于请求获取目标业务对应的网络质量数据,上述第一请求信息携带上述网络质量数据的采集地址;基于上述第一请求信息,向上述采集地址对应的网络节点发送第二请求信息,上述第二请求信息用于请求获取上述网络节点的网络质量数据;接收来自上述网络节点的网络质量数据;对上述来自网络节点的网络质量数据进行清洗和汇总,获得清洗和汇总后的网络质量数据;以及,向上述管理节点发送上述清洗和汇总后的网络质量数据。
可选地,该处理器701用于:从来自上述网络节点的网络质量数据中过滤出上述目标业务对应的网络质量数据,并进行汇总,获得上述清洗和汇总后的网络质量数据。
可选地,上述第二请求信息包括下列至少一个:网页请求信息、文件下载请求信息、网络连接请求信息、远程终端协议连接请求信息或视频请求信息。
在另一种实现方式中,装置700可以具体为上述实施例中的管理节点,其中,处理器701用于:基于预设对应关系,确定第一请求信息,上述第一请求信息用于请求获取目标业务对应的网络质量数据,上述第一请求信息携带上述网络质量数据的采集地址,上述预设对应关系用于表示多个不同业务和多个不同网络质量数据的对应关系,上述多个不同业务包括上述目标业务;向网关发送上述第一请求信息;以及,接收来自上述网关的清洗和汇总后的网络质量数据。
可选地,上述第二请求信息包括下列至少一个:网页请求信息、文件下载请求信息、网络连接请求信息、远程终端协议连接请求信息或视频请求信息。
可选地,该处理器701用于:向数据存储设备发送上述清洗和汇总后的网络质量数据;以及,接收上述清洗和汇总后的网络质量数据,并存储上述清洗和汇总后的网络质量数据。
应理解,装置700可以具体为上述实施例中的网关或管理节点,或者,上述实施例中网关或管理节点的功能可以集成在装置700中,装置700可以用于执行上述方法实施例中与网关或管理节点对应的各个步骤和/或流程。
可选地,该存储器702可以包括只读存储器和随机存取存储器,并向处理器701提供指令和数据。存储器702的一部分还可以包括非易失性随机存取存储器。例如,存储器702还可以存储设备类型的信息。该处理器701可以用于执行存储器中存储的指令,并且该处理器执行该指令时,该处理器701可以执行上述方法实施例中与网关或管理节点对应的各个步骤和/或流程。
应理解,在本申请实施例中,该处理器可以是中央处理单元(Central ProcessingUnit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器执行存储器中的指令,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种数据采集方法,其特征在于,包括:
网关接收来自管理节点的第一请求信息,所述第一请求信息用于请求获取目标业务对应的网络质量数据,所述第一请求信息携带所述网络质量数据的采集地址;
所述网关基于所述第一请求信息,向所述采集地址对应的网络节点发送第二请求信息,所述第二请求信息用于请求获取所述网络节点的网络质量数据;
所述网关接收来自所述网络节点的网络质量数据;
所述网关对所述来自所述网络节点的网络质量数据进行清洗和汇总,获得清洗和汇总后的网络质量数据;
所述网关向所述管理节点发送所述清洗和汇总后的网络质量数据。
2.根据权利要求1所述的方法,其特征在于,所述网关对所述网络质量数据进行清洗和汇总,获得清洗和汇总后的网络质量数据,包括:
所述网关从来自所述网络节点的网络质量数据中过滤出所述目标业务对应的网络质量数据,并进行汇总,获得所述清洗和汇总后的网络质量数据。
3.根据权利要求1或2所述的方法,其特征在于,所述第二请求信息包括下列至少一个:
网页请求信息、文件下载请求信息、网络连接请求信息、远程终端协议连接请求信息或视频请求信息。
4.一种数据采集方法,其特征在于,包括:
管理节点基于预设对应关系,确定第一请求信息,所述第一请求信息用于请求获取目标业务对应的网络质量数据,所述第一请求信息携带所述网络质量数据的采集地址,所述预设对应关系用于表示多个不同业务和多个不同网络质量数据的对应关系,所述多个不同业务包括所述目标业务;
所述管理节点向网关发送所述第一请求信息;
所述管理节点接收来自所述网关的清洗和汇总后的网络质量数据。
5.根据权利要求4所述的方法,其特征在于,在所述管理节点接收来自所述网关的清洗和汇总后的网络质量数据之后,所述方法还包括:
所述管理节点向数据存储设备发送所述清洗和汇总后的网络质量数据;
所述数据存储设备接收所述清洗和汇总后的网络质量数据,并存储所述清洗和汇总后的网络质量数据。
6.一种数据采集装置,其特征在于,包括:
收发模块,用于接收来自管理节点的第一请求信息,所述第一请求信息用于请求获取目标业务对应的网络质量数据,所述第一请求信息携带所述网络质量数据的采集地址;基于所述第一请求信息,向所述采集地址对应的网络节点发送第二请求信息,所述第二请求信息用于请求获取所述网络节点的网络质量数据;以及,接收来自所述网络节点的网络质量数据;
处理模块,用于对所述来自网络节点的网络质量数据进行清洗和汇总,获得清洗和汇总后的网络质量数据;
所述收发模块还用于:向所述管理节点发送所述清洗和汇总后的网络质量数据。
7.根据权利要求6所述的装置,其特征在于,所述处理模块用于:
从来自所述网络节点的网络质量数据中过滤出所述目标业务对应的网络质量数据,并进行汇总,获得所述清洗和汇总后的网络质量数据。
8.根据权利要求6或7所述的装置,其特征在于,所述第二请求信息包括下列至少一个:
网页请求信息、文件下载请求信息、网络连接请求信息、远程终端协议连接请求信息或视频请求信息。
9.一种数据采集装置,其特征在于,包括:
处理模块,用于基于预设对应关系,确定第一请求信息,所述第一请求信息用于请求获取目标业务对应的网络质量数据,所述第一请求信息携带所述网络质量数据的采集地址,所述预设对应关系用于表示多个不同业务和多个不同网络质量数据的对应关系,所述多个不同业务包括所述目标业务;
收发模块,用于向网关发送所述第一请求信息;以及,接收来自所述网关的清洗和汇总后的网络质量数据。
10.根据权利要求9所述的装置,其特征在于,所述收发模块用于:向数据存储设备发送所述清洗和汇总后的网络质量数据;
所述处理模块用于:
接收所述清洗和汇总后的网络质量数据,并存储所述清洗和汇总后的网络质量数据。
11.一种数据采集装置,其特征在于,包括:处理器,所述处理器和存储器耦合,所述存储器用于存储计算机程序,当所述处理器调用所述计算机程序时,使得所述装置执行如权利要求1至3中任一项或者如权利要求4至6中任一项所述的数据采集方法。
12.一种计算机可读存储介质,其特征在于,用于存储计算机程序,所述计算机程序包括用于实现如权利要求1至3中任一项所述的数据采集方法的指令,或者执行如权利要求4至6中任一项所述的数据采集方法的指令。
CN202111425911.5A 2021-11-26 2021-11-26 数据采集方法、装置和计算机可读存储介质 Active CN114285763B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111425911.5A CN114285763B (zh) 2021-11-26 2021-11-26 数据采集方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111425911.5A CN114285763B (zh) 2021-11-26 2021-11-26 数据采集方法、装置和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN114285763A true CN114285763A (zh) 2022-04-05
CN114285763B CN114285763B (zh) 2023-05-30

Family

ID=80870071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111425911.5A Active CN114285763B (zh) 2021-11-26 2021-11-26 数据采集方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114285763B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102664938A (zh) * 2012-04-12 2012-09-12 北京蓝汛通信技术有限责任公司 一种资源下载控制方法及装置
US20140233380A1 (en) * 2011-10-27 2014-08-21 Lg Electronics Inc. Method and apparatus for managing quality of service of uplink in wireless communication system
CN104767629A (zh) * 2014-01-06 2015-07-08 腾讯科技(深圳)有限公司 分配服务节点的方法、装置及系统
CN106533722A (zh) * 2015-09-11 2017-03-22 北京国双科技有限公司 网络监测方法和装置
CN106657035A (zh) * 2016-12-06 2017-05-10 北京东土军悦科技有限公司 一种网络报文传输方法及装置
CN108270689A (zh) * 2018-01-10 2018-07-10 中国人民解放军战略支援部队信息工程大学 一种实现业务连接的方法及装置
CN108512712A (zh) * 2017-02-27 2018-09-07 中国移动通信有限公司研究院 一种业务及网络质量数据的可视化处理方法及装置
CN109617780A (zh) * 2019-01-29 2019-04-12 新华三技术有限公司 接入网络的方法、装置、终端设备及机器可读存储介质
CN110392379A (zh) * 2018-04-20 2019-10-29 中国移动通信集团设计院有限公司 一种网络问题的定位方法、装置、电子设备及存储介质
CN110809054A (zh) * 2019-11-11 2020-02-18 腾讯科技(深圳)有限公司 数据传输方法、装置、设备和存储介质
CN112491719A (zh) * 2020-10-26 2021-03-12 网宿科技股份有限公司 网络节点的选择方法、设备及存储介质
CN113595891A (zh) * 2021-08-18 2021-11-02 北京金山云网络技术有限公司 数据通信方法、装置和电子设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140233380A1 (en) * 2011-10-27 2014-08-21 Lg Electronics Inc. Method and apparatus for managing quality of service of uplink in wireless communication system
CN102664938A (zh) * 2012-04-12 2012-09-12 北京蓝汛通信技术有限责任公司 一种资源下载控制方法及装置
CN104767629A (zh) * 2014-01-06 2015-07-08 腾讯科技(深圳)有限公司 分配服务节点的方法、装置及系统
CN106533722A (zh) * 2015-09-11 2017-03-22 北京国双科技有限公司 网络监测方法和装置
CN106657035A (zh) * 2016-12-06 2017-05-10 北京东土军悦科技有限公司 一种网络报文传输方法及装置
CN108512712A (zh) * 2017-02-27 2018-09-07 中国移动通信有限公司研究院 一种业务及网络质量数据的可视化处理方法及装置
CN108270689A (zh) * 2018-01-10 2018-07-10 中国人民解放军战略支援部队信息工程大学 一种实现业务连接的方法及装置
CN110392379A (zh) * 2018-04-20 2019-10-29 中国移动通信集团设计院有限公司 一种网络问题的定位方法、装置、电子设备及存储介质
CN109617780A (zh) * 2019-01-29 2019-04-12 新华三技术有限公司 接入网络的方法、装置、终端设备及机器可读存储介质
CN110809054A (zh) * 2019-11-11 2020-02-18 腾讯科技(深圳)有限公司 数据传输方法、装置、设备和存储介质
CN112491719A (zh) * 2020-10-26 2021-03-12 网宿科技股份有限公司 网络节点的选择方法、设备及存储介质
CN113595891A (zh) * 2021-08-18 2021-11-02 北京金山云网络技术有限公司 数据通信方法、装置和电子设备

Also Published As

Publication number Publication date
CN114285763B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
US9853867B2 (en) Method and apparatus to determine network quality
US9531620B2 (en) Control plane packet traffic statistics
CN109039819B (zh) 时延统计方法、装置、系统及存储介质
US11856426B2 (en) Network analytics
CN107800554B (zh) 数据采集方法、装置和系统
CN110932933B (zh) 网络状况监测方法、计算设备及计算机存储介质
CN111654321B (zh) 卫星网络的管理方法、装置及电子设备
CN111585815B (zh) 一种端口数据采集方法及装置
CN115277510B (zh) 自动识别网络会话中设备、设备接口、设备路径的方法
CN112491719A (zh) 网络节点的选择方法、设备及存储介质
CN117424638B (zh) 基于星地融合的网络切片管理方法、装置及存储介质
CN104378223A (zh) 链路性能测试方法、装置、逻辑处理器以及网络处理器
EP4167530A1 (en) Network monitoring method, electronic device and storage medium
CN109587520B (zh) 一种定位视频业务故障的方法和设备
CN1860734A (zh) 网络吞吐量测定的方法和装置
CN114285763B (zh) 数据采集方法、装置和计算机可读存储介质
CN108024222B (zh) 流量话单生成方法和装置
CN114710801B (zh) 网络性能的测评参数的处理方法、装置、存储介质及设备
CN114189480B (zh) 一种流量采样方法、装置、电子设备及介质
CN112333756B (zh) 区域网络质量监测方法、系统、电子设备和存储介质
CN110047268B (zh) 抄表方法及装置
CN115514663B (zh) 一种拨测方法、系统、装置、电子设备及存储介质
EP4181429A2 (en) Systems and methods for collecting information regarding optical connections in a fiber distribution hub of a passive optical network
KR100664833B1 (ko) IP-xDSL 장비 가입자 수용 포트 관리 시스템 및 그방법
CN106792511B (zh) 基于移动通信信令采集的wifi指纹数据获取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant