CN114430383A - 探测节点筛选方法、装置、电子设备和存储介质 - Google Patents

探测节点筛选方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN114430383A
CN114430383A CN202210112598.8A CN202210112598A CN114430383A CN 114430383 A CN114430383 A CN 114430383A CN 202210112598 A CN202210112598 A CN 202210112598A CN 114430383 A CN114430383 A CN 114430383A
Authority
CN
China
Prior art keywords
detection
node
target
task
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210112598.8A
Other languages
English (en)
Other versions
CN114430383B (zh
Inventor
符气康
赵一甲
匡汉钦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210112598.8A priority Critical patent/CN114430383B/zh
Publication of CN114430383A publication Critical patent/CN114430383A/zh
Application granted granted Critical
Publication of CN114430383B publication Critical patent/CN114430383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本公开提供了探测节点筛选方法、装置、电子设备和存储介质,涉及数据处理领域,具体为互联网技术和服务器技术领域。具体实现方案为:向目标探测节点分配并发送探测任务;获取所述目标探测节点的任务执行结果;汇聚多个目标探测节点的任务执行结果,对所述多个目标探测节点进行筛选,确定可靠的目标探测节点。本公开实施例可以提高探测节点的可靠性,从而提高探测结果的准确率。

Description

探测节点筛选方法、装置、电子设备和存储介质
技术领域
本公开涉及数据处理领域,具体为互联网技术和服务器技术领域,尤其涉及探测节点筛选方法、装置、电子设备和存储介质。
背景技术
拨测是一种探测网络链路质量的手段。拨测系统通过各个探测端上的客户端程序,模拟各个地区的用户到探测目标(各个服务接入点)的链路状况和服务状态,得到可靠性检测结果,以使服务系统据此为真实用户提供最佳的接入点或做服务的故障诊断。
对于各种不同的探测端载体,因其自身软件环境和硬件配置的差异,以及所在网络环境的差异,其对网络探测目标的探测结果也有差异。
发明内容
本公开提供了一种探测节点筛选方法、装置、电子设备和存储介质。
根据本公开的一方面,提供了一种探测节点筛选方法,包括:
向目标探测节点分配并发送探测任务;
获取目标探测节点的任务执行结果;
汇聚多个目标探测节点的任务执行结果,对多个目标探测节点进行筛选,确定可靠的目标探测节点。
根据本公开的一方面,提供了一种探测节点筛选装置,包括:
探测任务分发模块,用于向目标探测节点分配并发送探测任务;
任务执行结果获取模块,用于获取目标探测节点的任务执行结果;
探测节点筛选模块,用于汇聚多个目标探测节点的任务执行结果,对多个目标探测节点进行筛选,确定可靠的目标探测节点。
根据本公开的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与至少一个处理器通信连接的存储器;其中,
存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本公开任一实施例的探测节点筛选方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行本公开任一实施例的探测节点筛选方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现本公开任一实施例的探测节点筛选方法。
本公开实施例可以提高探测节点的可靠性,从而提高探测结果的准确率。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开实施例提供的一种探测节点筛选方法的示意图;
图2是根据本公开实施例提供的一种探测节点筛选方法的示意图;
图3是根据本公开实施例提供的一种探测节点筛选方法的示意图;
图4是根据本公开实施例提供的一种探测节点筛选方法的示意图;
图5是根据本公开实施例提供的一种探测节点的自检可靠性方法的示意图;
图6是根据本公开实施例提供的一种探测任务分配方法的示意图;
图7是根据本公开实施例提供的一种探测节点可靠性检测方法的示意图;
图8是根据本公开实施例提供的一种探测节点筛选装置的示意图;
图9是用来实现本公开实施例的探测节点筛选方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1是根据本公开实施例公开的一种探测节点筛选方法的流程图,本实施例可以适用于拨测系统筛选可靠的探测节点执行探测任务的情况。本实施例方法可以由探测节点筛选装置来执行,该装置可采用软件和/或硬件的方式实现,并具体配置于具有一定数据运算能力的电子设备中,该电子设备可以是服务器设备,具体是拨测系统。
S101,向目标探测节点分配并发送探测任务。
在本公开实施例中,拨测系统向探测节点发送探测任务,探测节点执行探测任务,以获取探测节点到待探测设备之间的链路状态信息和各待探测设备的性能信息等。
目标探测节点用于执行探测任务,以及筛选出可靠的目标探测节点继续执行探测任务,筛选出不可靠的目标探测节点停止执行探测任务等。探测节点可以配置的电子设备可以包括:移动设备(手机、平板电脑和车载系统等)、个人电脑、IDC机房服务器、家庭网络接入设备(无线路由、Modem)和网络电视机顶盒等。探测任务用于指示探测节点向待探测设备,进行质量和故障检测等,具体是对网络质量、页面性能、端口性能、文件传输和音视频体验等场景进行周期性监控,模拟各个地区的用户到目标地址的服务器的链路状况和服务状态。其中,待探测设备可以是目标地址的服务器。
实际上,由于探测节点配置于不同的硬件设备上,以及运行于不同的运行环境(包括软件运行环境和网络环境等)中,导致探测节点适宜执行的探测任务以及对应的探测结果存在差异。需要对探测节点进行筛选,以确保探测节点提供的探测结果的准确性,避免对待探测设备进行误报和漏报,其中,待探测设备可以是探测任务指定的目标地址的服务器,例如,包括探测的服务器和与该服务器之间的链路等。误报是指探测目标是正常的但是探测节点提供的探测结果认为其不正常。漏报是指探测目标是不正常的但是探测节点提供的探测结果认为其正常。
其中,拨测系统可以针对不同待探测设备进行探测,不同待探测设备对应不同探测任务。同时,不同的目标探测节点适配与不同的探测任务匹配,例如,不同的目标探测节点针对不同的待探测设备具有不同准确性的探测性能,以及针对不同的待探测设备具有不同的可使用资源。从而,可以配置或确定目标探测节点与各待探测设备的探测任务之间的对应关系,可以针对不同目标探测节点分配不同或相同的至少一个探测任务。根据目标探测节点分配的探测任务,向目标探测节点发送分配的探测任务。
S102,获取目标探测节点的任务执行结果。
目标探测节点的任务执行结果用于检测目标探测节点的可靠性,目标探测节点的任务执行结果可以是指该目标探测节点针对至少一个探测任务的执行结果的统计信息,其中,执行结果可以包括探测成功结果或探测失败的结果。
例如,任务执行结果可以包括下述至少一项:探测成功结果的数量、探测失败结果的数量、探测成功率(如探测成功结果占总数的比值)和探测失败率(如探测失败结果占总数的比值)等。
又如,任务执行结果可以按照不同的统计参数(维度)进行统计分类,示例性的,可以根据探测任务的类型或探测任务对应的待探测设备进行分类。相应的任务执行结果可以包括下述至少一项:待探测设备A的探测失败率、待探测设备B的探测失败率和待探测设备C的探测失败率等。或者,任务执行结果可以包括下述至少一项:类型a探测任务的探测失败结果的数量、类型b探测任务的探测失败结果的数量和类型c探测任务的探测失败结果的数量等。
此外执行结果还可以是其他内容,例如,任务响应速度或任务响应时间等,并且,任务执行结果还可以限定是指定时间段内的执行结果,或者是周期性的执行结果,对此不做具体限定。
S103,汇聚多个目标探测节点的任务执行结果,对多个目标探测节点进行筛选,确定可靠的目标探测节点。
汇聚多个目标探测节点的任务执行结果,用于对多个目标探测节点进行可靠性检测,从而筛选出可靠的目标探测节点。对目标探测节点进行筛选,实际是对目标探测节点进行可靠性检测,筛选得到可靠的目标探测节点。可靠的目标探测节点是指其执行探测任务得到的探测结果是可靠的目标探测节点。
可以根据任务执行结果的具体内容,对目标探测节点进行筛选。示例性的,任务执行结果为探测失败率,将探测失败率大于等于节点失败率阈值的目标探测节点,确定为不可靠的目标探测节点,并剔除,将探测失败率小于节点失败率阈值的目标探测节点,确定为可靠的目标探测节点,并保留。其中,节点失败率阈值可以是指定的常数,还可以是多个目标探测节点的失败率均值。又如,任务执行结果为任务响应速度,将任务响应速度小于速度阈值的目标探测节点,确定为不可靠的目标探测节点,并剔除,将任务响应速度大于等于速度阈值的目标探测节点,确定为可靠的目标探测节点,并保留。此外筛选方式还可以是其他方式,对此不做具体限定。
现有技术中,探测结果的可靠性依托于探测节点自身的稳定性,通过选择高成本的探测节点,保证探测结果的可靠性,但成本高会造成探测节点的数量会受到很大的限制,若减少探测节点的数量,当出现单个探测端的故障时,其探测结果对整体结果的占比也会增加,会严重影响拨测结果的准确性。并且,当探测节点发生机器故障和本地网络抖动的问题时,需要人工干预诊断和更换设备,增加了运维成本。
根据本公开的技术方案,通过向目标探测节点分配并发送探测任务,并获取目标探测节点的任务执行结果,可以实时采集目标探测节点执行的多个探测任务的任务执行结果,并汇聚多个目标探测节点的任务执行结果,获取多个目标探测节点的探测任务的执行情况,从而对目标探测节点进行筛选,确定可靠的目标探测节点,可以实现探测节点的可靠性检测,同时可以在目标探测节点在执行至少一个探测任务的过程中实时检测目标探测节点的可靠性,可以提高探测节点的可靠性检测的实时性,以便定位不可靠的探测节点,进行更换,降低运维成本,同时提高探测结果的准确性。
图2是根据本公开实施例公开的另一种探测节点筛选方法的流程图,基于上述技术方案进一步优化与扩展,并可以与上述各个可选实施方式进行结合。对多个目标探测节点进行筛选,具体化为:对多个目标探测节点的任务执行结果进行统计;根据至少一个统计类型的统计结果和各目标探测节点的任务执行结果,确定各目标探测节点的探测可靠性结果;根据多个目标探测节点的探测可靠性结果,对多个目标探测节点进行筛选。
S201,向目标探测节点分配并发送探测任务。
S202,获取目标探测节点的任务执行结果。
S203,汇聚多个目标探测节点的任务执行结果,对多个目标探测节点的任务执行结果进行统计。
对多个目标探测节点的任务执行结果进行统计,可以从至少一个统计参数进行统计。示例性的,统计参数可以包括探测任务的类型、待探测设备或者目标探测节点的属性信息等,例如,目标探测节点的属性信息包括节点系统类型或节点所属区域等。
在一个具体的例子中,对多个目标探测节点的任务执行结果进行统计,包括:对多个目标探测节点按照区域分类;对划分的区域包括的目标探测节点的执行结果进行统计,确定区域的统计结果。其中,按照区域分类是指,按照目标探测节点的地理位置所属的区域进行分类。区域可以是行政区划,还可以是网络地址,例如,网际协议地址(InternetProtocol,IP)。示例性的,可以按照IP段进行分类,例如,按照IPV4的C段地址进行分类。示例性的,可以按照行政区划进行分类,行政区划可以包括:省、市、区和县等,此外,还可以自定义区域的范围,对此不具体限定。其中,区域的统计结果包括位于同一区域的目标探测节点的任务执行结果的统计结果,也即,相当于是将任务执行结果按照区域进行分类。实际上,探测任务的目标是获取客户端与服务器的链路状态,而该链路状态通常与提供客户端网络服务的网络服务提供方息息相关,而网络服务提供方通常是按照区域划分,由此,处于同一区域的目标探测节点的网络环境基本相同,可以用于对比。示例性的,区域的统计结果包括:XX区域的统计结果、YY区域的统计结果和ZZ区域的统计结果。
此外,还可以进一步对区域的统计结果进一步按照网络服务提供方的类型进行划分。网络服务提供方可以是网络运营商。针对不同区域,网络环境存在差异,以及针对同一区域的不同网络服务提供方,网络环境存在差异。从而,XX区域的统计结果可以包括:XX区域的第一网络服务提供方的统计结果、XX区域的第二网络服务提供方的统计结果或XX区域的第三网络服务提供方的统计结果。
S204,根据至少一个统计类型的统计结果和各目标探测节点的任务执行结果,确定各目标探测节点的探测可靠性结果。
统计类型可以是指,任务执行结果的类型,更具体的,统计类型为目标探测节点的类型,将同一统计类型的目标探测节点的任务执行结果,确定为该统计类型的统计结果。统计类型的统计结果包括该统计类型的任务执行结果。
统计类型可以根据探测任务的类型、待探测设备或者目标探测节点的属性信息等统计参数确定。统计类型可以是统计参数的具体内容。例如,统计参数为区域,统计类型包括:XX区域、YY区域和ZZ区域等。相应的,统计类型的统计结果包括XX区域的统计结果、YY区域的统计结果和ZZ区域的统计结果。统计类型的统计结果用于结合目标探测节点的任务执行结果,对目标探测节点进行可靠性检测,具体用于确定该统计类型下的任务执行结果的平均状态,从而对上传该任务执行结果的目标探测节点可靠性检测。
探测可靠性结果用于评估目标探测节点的可靠性。探测可靠性结果可以是指根据目标探测节点的探测任务执行情况,对目标探测节点的可靠性的检测结果。
根据至少一个统计类型的统计结果和各目标探测节点的任务执行结果,确定各目标探测节点的探测可靠性结果,可以是:针对每个目标探测节点,获取该目标探测节点所属的统计类型的统计结果与该目标探测节点的任务执行结果之间的差异;在该目标探测节点的任务执行结果满足节点不可靠条件,且差异满足差异不可靠条件的情况下,确定该目标探测节点的探测可靠性结果为不可靠结果。在该目标探测节点的任务执行结果不满足节点不可靠条件,或差异不满足差异不可靠条件的情况下,确定该目标探测节点的探测可靠性结果为可靠结果。示例性的,统计类型为区域。该目标探测节点所属的统计类型的统计结果与该目标探测节点的任务执行结果之间的差异可以是,该目标探测节点所属区域的统计结果的均值与该目标探测节点的任务执行结果之间的差异。节点不可靠条件用于根据一个目标探测节点的任务执行结果检测该目标探测节点是否可靠。差异不可靠条件用于根据目标探测节点的任务执行结果与相似的多个目标探测节点的任务执行结果的均值的差异,检测该目标探测节点是否可靠。
可选的,任务执行结果包括探测失败信息;根据至少一个统计类型的统计结果和各目标探测节点的任务执行结果,确定目标探测节点的探测可靠性结果,包括:根据统计结果,确定目标探测节点所属统计类型的类型探测失败信息;根据目标探测节点的节点探测失败信息和所属统计类型的类型探测失败信息,确定目标探测节点的探测可靠性结果。
探测失败信息用于确定目标探测节点的探测失败的事件。探测失败信息可以是指目标探测节点向多个探测任务指定的目标地址的服务器进行访问,得到的访问结果为访问失败结果的统计数值,示例性的,探测失败信息包括探测失败率,即指定时间段内,目标探测节点执行探测任务,得到的访问失败结果的数量与访问结果的总数(也即执行探测任务的总数)之间的比值。
类型探测失败信息用于确定与目标探测节点同类的目标探测节点的探测失败的平均事件。类型探测失败信息可以是指目标探测节点所属的统计类型的至少一个目标探测节点,得到的访问结果为访问失败结果的平均统计数值。示例性的,类型探测失败信息包括平均探测失败率,即指定时间段内,统计类型的多个目标探测节点的探测失败率的均值。
具体的,可以根据目标探测节点的节点探测失败信息是否满足节点不可靠条件,以及目标探测节点的节点探测失败信息与所属统计类型的类型探测失败信息之间的差异,是否满足差异不可靠条件,检测目标探测节点的探测可靠性结果。
示例性的,在目标探测节点的节点探测失败信息大于等于X%,且差异大于等于预设差值阈值的情况下,确定该目标探测节点的探测可靠性结果为不可靠结果。在目标探测节点的节点探测失败信息小于X%,或差异小于预设差值阈值的情况下,确定该目标探测节点的探测可靠性结果为可靠结果。例如,X可以是30或50,差值阈值为100,具体可以根据需要进行设定,对此不具体限定。
通过将任务执行结果确定为探测失败信息,并根据同一统计类型的类型探测失败信息,和各目标探测节点的节点探测失败信息,可以以同类的类型探测失败信息为基准,筛选出失败太多的目标探测节点,从而,确定不可靠的目标探测节点,提高可靠性检测准确率。
S205,根据多个目标探测节点的探测可靠性结果,对多个目标探测节点进行筛选,确定可靠的目标探测节点。
探测可靠性结果包括不可靠结果和可靠结果。对多个目标探测节点进行筛选可以是,将不可靠结果的目标探测节点剔除,保留可靠结果的目标探测节点,重新获取新的探测节点加入目标探测节点。
可选的,探测节点筛选方法,还包括:根据至少一个探测任务对应的待探测设备,对各统计类型的统计结果进行划分,确定各待探测设备在各统计类型下的统计结果;根据各待探测设备在各统计类型下的统计结果,确定各统计类型的探测可靠性结果,并更新各统计类型的目标探测节点的探测可靠性结果。
待探测设备可以是指探测任务指定的目标地址的服务器。根据待探测设备对统计类型的统计结果进行划分,实际上是将统计类型的统计结果,按照待探测设备进行进一步细分,在每个统计类型中,得到每个待探测设备的统计结果。统计类型的探测可靠性结果,用于确定属于统计类型的目标探测节点的探测可靠性结果。示例性的,将统计类型的探测可靠性结果,作为属于统计类型的目标探测节点的探测可靠性结果。
根据各待探测设备在各统计类型下的统计结果,确定各统计类型的探测可靠性结果,可以是根据各待探测设备在各统计类型下的统计结果,确定每个待探测设备的统计结果在不同统计类型的分布信息,并根据分布信息,更新各统计类型的目标探测节点的探测可靠性结果。例如,待探测设备在不同统计类型下的统计结果包括该待探测设备在不同统计类型的访问失败结果。在访问失败结果集中分布在某个统计类型的情况下,将该统计类型的目标探测节点的探测可靠性结果确定为不可靠结果。其中,访问失败结果集中分布在某个统计类型,可以是指某个统计类型的访问失败结果的数量远高于其他统计类型的访问失败结果,其中远高于可以是指前者是后者的数倍,或者前者是后者的总和等等。
实际上,针对一个待探测设备,相同的访问结果集中分布在某一个统计类型中,表明该统计类型的目标探测节点为该访问结果对应的探测可靠性结果。
例如,针对一个待探测设备,某一统计类型的目标探测节点经常访问失败,表明该统计类型的目标探测节点均不可靠。具体的,当某个待探测设备的访问失败结果集中在某个统计类型中,表明该统计类型的目标探测节点的探测可靠性结果为访问失败结果对应的不可靠结果。示例性的,统计类型为区域。当某个待探测设备的访问失败结果集中在某个区域中,表明该区域的目标探测节点的探测可靠性结果为访问失败结果对应的不可靠结果。从而,可以根据统计结果的分布,更新各统计类型的目标探测节点的探测可靠性结果。
此外,访问结果还可以是访问成功结果,探测可靠性结果的确定可以是,当某个待探测设备的访问成功结果集中在某个统计类型中,表明该统计类型的目标探测节点的探测可靠性结果为访问成功结果对应的不可靠结果。还有其他情况,对此不具体限定。
通过将统计类型的统计结果进一步根据待探测设备进行细分,并根据待探测设备在不同统计类型下的统计结果,确定各统计类型的探测可靠性结果,并确定属于统计类型的目标探测节点的探测可靠性结果,可以从待探测设备的维度,对一类的目标探测节点进行可靠性检测,增加可靠性检测的维度,丰富可靠性的检测场景,提高可靠性的检测准确率,同时可以降低待探测设备的不同引起的可靠性检测误差,进一步提高可靠性的检测准确率。
根据本公开的技术方案,通过对多个目标探测节点的任务执行结果进行统计,可以对任务执行结果进行分类,得到多个统计类型的统计结果,并根据不同统计类型的统计结果,和每个目标探测节点的任务执行结果,筛选出每个统计类型下的相对不可靠的目标探测节点,增加评估可靠性的维度,提高可靠性检测的准确率。
图3是根据本公开实施例公开的另一种探测节点筛选方法的流程图,基于上述技术方案进一步优化与扩展,并可以与上述各个可选实施方式进行结合。向目标探测节点分配并发送探测任务,具体化为:根据各目标探测节点的属性信息,确定探测任务对应的目标探测节点;向探测任务对应的目标探测节点发送探测任务。
S301,根据各目标探测节点的属性信息,确定探测任务对应的目标探测节点。
目标探测节点的属性信息用于检测该目标探测节点是否可执行探测任务。属性信息可以包括下述至少一项:负载状态、剩余可使用资源、节点系统类型、节点所属区域和节点所属区域服务提供方等。探测任务对应的目标探测节点可以是指可执行该探测任务的目标探测节点。示例性的,可以根据目标探测节点的负载状态,选择非满负载的目标探测节点,确定为探测任务对应的目标探测节点。又如,可以选择剩余可使用资源多的目标探测节点,确定为探测任务对应的目标探测节点。又如,可以选择已分配该探测任务的数量少的节点系统类型的目标探测节点,确定为探测任务对应的目标探测节点。又如,可以选择已分配该探测任务的数量少的节点所属区域或区域服务提供方的目标探测节点,确定为探测任务对应的目标探测节点。通常,探测任务的分配是均衡分配到不同节点所属区域、区域服务提供方或节点系统类型,相应的,已分配该探测任务的数量少的所属区域、区域服务提供方或节点系统类型,是指已分配该探测任务的目标探测节点的数量少的所属区域、区域服务提供方或节点系统类型。
其中,可以基于下述至少一项方式等,确定探测任务对应的目标探测节点:获取负载状态为存在空闲负载状态的空闲探测节点,确定为探测任务对应的目标探测节点;目标探测节点按照区域分类,从各区域中均衡获取数量相同或相近的目标探测节点,确定为探测任务对应的目标探测节点;和按照探测任务对应的剩余可使用资源进行排序;根据排序结果选择剩余可使用资源尽可能多的目标探测节点,确定为探测任务对应的目标探测节点。
可选的,根据各目标探测节点的属性信息,确定探测任务对应的目标探测节点,包括:在目标探测节点中,选择负载状态为存在空闲负载状态的空闲探测节点,并按照区域进行分类;在同一区域的空闲探测节点中,按照探测任务对应的剩余可使用资源进行排序;根据各区域的排序结果,选择与探测任务指定数量匹配的空闲探测节点,确定为探测任务对应的目标探测节点。
空闲探测节点是指可负载探测任务的目标探测节点,存在空闲负载状态是指负载未满的负载状态。本公开实施例中,可以基于任务反馈机制,获取目标探测节点针对至少一个探测任务的执行情况,从而检测目标探测节点的负载状态。可以根据目标探测节点中探测任务的执行率,检测目标探测节点的负载状态,从而从中选择存在空闲负载状态的目标探测节点,确定为空闲探测节点。其中,执行率可以是实际执行量与目标执行量的比值,针对一个目标探测节点,实际执行量为已经执行的探测任务的数量,目标执行量为已接收的需要执行的探测任务的数量,具体包括还未执行的探测任务的数量和已经执行的探测任务的数量。在执行率满足满负载条件的情况下,确定目标探测节点的负载状态为满负载状态;在执行率不满足满负载条件的情况下,确定目标探测节点的负载状态为存在空闲负载状态。满负载条件用于检测执行率是否小于预设第一执行率阈值,在执行率小于第一执行率阈值的情况下,确定执行率满足满负载条件;在执行率大于等于第一执行率阈值的情况下,确定执行率不满足满负载条件。第一执行率阈值,可以根据实验和需要进行设定。此外,还可以设置第二执行率阈值,小于第一执行率阈值,可以根据待检测的目标探测节点所属区域确定,不同区域对应的第二执行率阈值不同。在执行率小于第二执行率阈值的情况下,可以将目标探测节点中未执行的至少一个探测任务移除以提高该目标探测节点的执行率。
将空闲探测节点按照所属区域进行分类。还可以进一步按照区域的不同服务提供方进行分类,对此,不做具体限定。实际上,不同的探测节点因其自身软硬件条件和自身网络环境的差异,针对各类探测任务的探测能力也有差异,另外不同地区不同省份运营商的探测节点数量也不同,为避免探测节点上单机任务过于集中和探测任务过于集中在某地域,给探测节点下发探测任务时要尽量做到均匀打散。从而,将空闲探测节点按照统计类型进行分类,根据区域分配探测任务,可以使得探测任务均衡分布在不同区域的空闲探测节点中。
剩余可使用资源用于空闲探测节点执行待分配的探测任务。其中,不同探测任务可以对应不同资源,也即对应不同剩余可使用资源。其中,资源可以包括至少一项:上下行带宽、中央处理器(Central Processing Unit,CPU)计算能力和磁盘输入输出(InputOutput,IO)性能等。不同探测任务消耗的资源的类型不同,可以根据探测任务对应的剩余可使用资源进行排序,以得到各空闲探测节点针对该探测任务消耗的资源的剩余量。根据排序结果,从剩余量最多的空闲探测节点分配该探测任务。例如,排序结果为从大到小排列剩余可使用资源的排列结果,从首个空闲探测节点开始分配该探测任务;排序结果为从小到大排列剩余可使用资源的排列结果,从尾个空闲探测节点开始分配该探测任务。实际上,不同的探测任务对资源消耗是不同的。在执行某探测类任务的情况下,判断消耗资源的类型,然后以空闲探测节点上该类资源的空闲情况排序优先选用该类资源空闲的探测节点进行执行该探测任务。通常评估探测节点能做该类型的探测任务X个和记录探测节点上该类型的探测任务已经有Y个,那么排序时按照X减去Y得到的差值从高到低排序。相应的,剩余可使用资源还可以是空闲探测节点可执行的同一(类)探测任务的数量,即最大能执行的该(类)探测任务的数量与已经执行的该(类)探测任务的数量。其中,在同一个区域中,进行排序,从而每个区域对应有一个排序结果,不同区域对应的排序结果不同。
在确定探测任务与目标探测节点之间的对应关系的过程中,并非是确定探测任务对应的目标探测节点。通常探测任务中会指定执行任务的节点数量。探测任务指定数量可以是指执行的探测任务的目标探测节点的数量。根据各区域的排序结果,选择与探测任务指定数量匹配的空闲探测节点,确定为探测任务对应的目标探测节点,具体是,按照探测任务指定数量,均衡的在每个区域选择基本相同数量的空闲探测节点,确定为目标探测节点,同时,在每个区域中,根据该区域的排序结果,优先选择剩余可使用资源高的空闲探测节点,实现同时实现区域打散和资源合理分配。
具体的,通过将空闲探测节点按照区域进行分类,并按照探测任务指定数量,在不同区域中分别选择均衡数量的空闲探测节点,实现在一个探测任务需要多个探测节点进行探测的情况下,尽量选择不同区域的空闲探测节点。其中,区域可以是行政区划或IP段。
同时,通过获取探测任务对应的剩余可使用资源,并根据每个区域的剩余可使用资源的排序结果,选择该区域的空闲探测节点,实现按照探测类型打散执行该探测任务的目标探测节点。并且,根据排序结果可以优先选择资源充足的空闲探测节点,提高资源的利用率。
通过选择负荷未满的空闲探测节点,并且按区域打散空闲探测节点,同一区域内再按探测任务的剩余可使用资源排序打散空闲探测节点,可以实现同一个探测任务分散在不同区域的目标探测节点上,同一类型探测任务分散在不同的目标探测节点上,各个目标探测节点上任务量不超过其执行能力且各类型任务相对均匀,可以减轻区域性故障时对探测结果带来影响,也避免探测节点上因为某类资源竞争影响探测结果,从而达到提升探测准确性的效果。
S302,向探测任务对应的目标探测节点发送探测任务。
建立探测任务与目标探测节点之间的对应关系,不同探测任务可以对应不同或相同的目标探测节点。按照对应关系,将探测任务发送至对应的目标探测节点中。
S303,获取目标探测节点的任务执行结果。
S304,汇聚多个目标探测节点的任务执行结果,对多个目标探测节点进行筛选,确定可靠的目标探测节点。
可选的,探测节点筛选方法,还包括:针对每个目标探测节点,将目标探测节点的任务执行结果按照探测任务类型进行分类,并统计目标探测节点针对各探测任务类型对应的探测失败信息;根据各目标探测节点针对各探测任务类型对应的探测失败信息,更新探测任务对应的目标探测节点。
任务执行结果包括探测失败信息。将目标探测节的任务执行结果按照不同的探测任务类型进行分类,得到目标探测节点执行每个探测任务类型对应的探测失败信息,该探测失败信息用于检测目标探测节点是否适合执行该探测任务类型的探测任务。需要说明的是,此时已经确定该目标探测节点与探测任务存在对应关系,拨测系统将对应的探测任务下发到目标探测节点以执行,在目标探测节点执行对应的探测任务的过程中,针对每个探测任务类型的探测任务,根据统计的探测任务类型的探测失败信息满足类型探测异常条件的情况下,确定目标探测节点不支持该探测任务类型的探测任务,需要剔除目标探测节点与该探测任务类型的全部探测任务之间的对应关系,该探测任务类型的全部探测任务与目标探测节点不存在对应关系,拨测系统不会向该目标探测节点发送该探测任务类型的任一探测任务。示例性的,探测失败信息为探测失败率,类型探测异常条件用于检测该探测任务类型的探测失败率是否小于类型失败率阈值。在探测任务类型的探测失败率大于类型失败率阈值的情况下,确定探测任务类型的探测失败信息满足类型探测异常条件。或者,探测失败信息为探测成功率,类型探测异常条件用于检测该探测任务类型的探测成功率是否小于类型成功率阈值。在探测任务类型的探测成功率小于类型成功率阈值的情况下,确定探测任务类型的探测失败信息满足类型探测异常条件。
实际上,在某个目标探测节点的某种探测方法出现超过X%的异常样本,确定该目标探测节点不支持这种探测方法,也即不支持执行该探测方法代表的探测任务类型对应的探测任务,从而给该目标探测节点下发探测任务时避免该类探测任务。
更新探测任务对应的目标探测节点可以是:在探测任务所属的探测任务类型的探测失败信息满足类型探测异常条件的情况下,剔除该探测任务类型的探测任务与目标探测节点之间的对应关系;在探测任务所属的探测任务类型的探测失败信息不满足类型探测异常条件的情况下,对该探测任务类型的探测任务与目标探测节点之间的对应关系不调整。
通过将任务执行结果按照探测任务类型分类,并根据探测任务类型对应的任务执行结果包括的探测失败信息,对探测任务与目标探测节点之间的对应关系进行更新,可以将目标探测节点不支持的探测任务解除对应关系,并避免向目标探测节点下发不支持的探测任务,提高探测任务的执行准确率,从而提高探测准确率。
根据本公开的技术方案,通过根据目标探测节点的属性信息,确定探测任务对应的目标探测节点,并向该对应的目标探测节点,发送探测任务,可以根据节点的属性,确定可执行且匹配的探测任务,降低节点执行探测任务的干扰,可以减少节点的任务执行结果的干扰,提高探测可靠性结果的准确性,从而,提高可靠性检测的准确率。
图4是根据本公开实施例公开的另一种探测节点筛选方法的流程图,基于上述技术方案进一步优化与扩展,并可以与上述各个可选实施方式进行结合。向目标探测节点分配并发送探测任务,具体化为:根据各目标探测节点的属性信息,确定探测任务对应的目标探测节点;向探测任务对应的目标探测节点发送探测任务。
S401,获取备选探测节点发送的可靠性自检结果。
可靠性自检结果为备选探测节点自己检测是否可靠的结果。可靠性自检结果用于在备选探测节点中筛选出目标探测节点,以分发探测任务。其中,可靠性自检结果是根据周期性访问自检地址获取的检测结果,确定的可靠性的检测结果。在可靠性的检测结果为不可靠结果的情况下,可以将该备选探测节点永久性或暂时性确定为非目标探测节点。在可靠性的检测结果为可靠结果的情况下,可以将该备选探测节点确定为目标探测节点。暂时性确定是指,可以在n秒之后再次检测,并在之后的可靠性的检测结果为可靠结果的情况下,将该备选探测节点确定为目标探测节点;在可靠性的检测结果为不可靠结果的情况下,继续等待n秒重复检测。
可选的,可以通过至少一个自检方式确定的结果,确定可靠性自检结果;自检方式和探测节点执行的探测任务类型确定。
自检方式与探测方法对应,相应的,自检方式与探测节点执行的探测任务所属的探测任务类型对应。示例性的,自检方式可以包括HTTP(HyperText Transfer Protocol,超文本传输协议)自检方式、HTTPS(Secure Hypertext Transfer Protocol,安全超文本传输协议)自检方式、PING(Packet Internet Groper,因特网包探索器)(基于ICMP(InternetControl Message Protocol,因特网控制报文协议))自检方式和DIG(Domain InformationGroper,域名信息探索器)自检方式。通常,一个备选探测节点可执行的探测任务的探测任务类型,都要对应选择自检方式进行检测,其他不需要执行的探测任务的探测任务类型,可选的选择对应的自检方式进行检测。也即选择的自检方式,至少包括备选探测节点可执行的探测任务的探测任务类型,对应的自检方式。
HTTP自检方式包括:1、备选探测节点基于HTTP访问N个自检地址,在M(0<M<=N)个访问成功的情况下,确定检测通过,否则检测不通过;2、备选探测节点基于HTTP访问自检地址,平均连接时间小于O毫秒的情况下,确定检测通过,否则检测不通过;3、备选探测节点基于HTTP访问自检地址,平均下载速度大于P字节/秒的情况下,确定检测通过,否则检测不通过;4、备选探测节点基于HTTP访问自检地址,平均总访问时间小于Q毫秒的情况下,确定检测通过,否则检测不通过。
HTTPS自检方式和HTTP自检方式相同。
PING自检方式包括:备选探测节点基于PING访问N个自检地址,丢包次数少于R(0<=R<=S)且平均往返时延小于T毫秒的情况下,确定检测通过,否则检测不通过。
DIG自检方式包括:备选探测节点基于DIG访问自检地址,查询DNS(Domain NameSystem,域名系统)的NS(Name Server,域名服务器)记录、A记录(主机名(或域名)对应的IP地址记录)和解析时间等,DNS查询成功且查询时间低于L毫秒的情况下,确定检测通过,否则检测不通过。
上述至少一个自检方式中,可以根据需要和备选探测节点执行的探测任务类型进行选择,选择的全部自检方式的结果为检测通过,确定可靠性自检结果为可靠结果,任一选择的自检方式的结果为检测不通过,确定可靠性自检结果为不可靠结果。
此外,对于用作检测的自检地址,定期根据当时互联网变化而更新,确保自检地址是可用的。
通过配置多种自检方式,可以适配不同应用场景,以及适配不同类型的探测任务,提高可靠性的自检效率,兼顾可靠性的自检准确率。
S402,根据备选探测节点发送的可靠性自检结果,检测备选探测节点是否为目标探测节点。
可靠性自检结果包括可靠结果和不可靠结果,在备选探测节点的可靠性自检结果为可靠结果的情况下,确定该备选探测节点为目标探测节点。在备选探测节点的可靠性自检结果为不可靠结果的情况下,确定该备选探测节点不是目标探测节点。
S403,向目标探测节点分配并发送探测任务。
S404,获取目标探测节点的任务执行结果。
S405,汇聚多个目标探测节点的任务执行结果,对多个目标探测节点进行筛选,确定可靠的目标探测节点。
根据本公开的技术方案,通过获取备选探测节点的可靠性自检结果,并对备选探测节点进行筛选,得到目标探测节点,实现对探测节点的初步筛选,并在后续探测任务执行的过程中进一步进行可靠性检测,实现两步可靠性检测,提高可靠性检测的准确率,同时,经过粗筛和细筛,可以逐步缩小可靠的探测节点的筛选范围,提高可靠性检测效率和精度。
图5-图7是根据本公开实施例公开的一种探测节点筛选方法的场景图。探测节点筛选方法可以包括:
拨测系统获取多个备选探测节点发送的可靠性自检结果,在多个备选探测节点中筛选目标探测节点。在备选探测节点的可靠性自检结果为可靠结果的情况下,确定该备选探测节点为目标探测节点。在备选探测节点的可靠性自检结果为不可靠结果的情况下,确定该备选探测节点不是目标探测节点。
其中,在每个备选探测节点中,可以选择至少一个自检方式,并获取选择的自检方式的结果,在选择的自检方式的结果均为检测通过的情况下,确定可靠性自检结果为可靠结果;任一选择的自检方式的结果为检测不通过,确定可靠性自检结果为不可靠结果。
如图5所示,在备选探测节点中的自检流程可以包括:
S501,是否采用HTTP自检方式,如果是则执行S502,否则执行S506。
S502,访问成功的结果的数量否满足,如果是则执行S503,否则执行S519。
例如,访问N个自检地址,在M(0<M<=N)个访问成功的情况下,确定满足,否则确定不满足。
S503,连接时间是否满足,如果是则执行S504,否则执行S519。
例如,访问N个自检地址,在平均连接时间小于O毫秒的情况下,确定满足,否则确定不满足。
S504,下载速度是否满足,如果是则执行S505,否则执行S519。
例如,访问N个自检地址,在平均下载速度大于P字节/秒的情况下,确定满足,否则确定不满足。
S505,总访问时间是否满足,如果是则执行S505,否则执行S519。
例如,访问N个自检地址,在平均总访问时间小于Q毫秒的情况下,确定满足,否则确定不满足。
S506,是否采用HTTPS自检方式,如果是则执行S507,否则执行S511。
S507,访问成功的结果的数量否满足,如果是则执行S508,否则执行S519。
S508,连接时间是否满足,如果是则执行S509,否则执行S519。
S509,下载速度是否满足,如果是则执行S510,否则执行S519。
S510,总访问时间是否满足,如果是则执行S511,否则执行S519。
S511,是否采用PING自检方式,如果是则执行S512,否则执行S514。
S512,丢包次数是否满足,如果是则执行S513,否则执行S519。
例如,访问N个自检地址,在丢包次数少于R(0<=R<=S)的情况下,确定满足,否则确定不满足。
S513,往返时延是否满足,如果是则执行S514,否则执行S519。
例如,访问N个自检地址,在平均往返时延小于T毫秒的情况下,确定满足,否则确定不满足。
S514,是否采用DIG自检方式,如果是则执行S515,否则执行S519。
S515,DNS是否查询成功,且查询时间是否满足,如果是则执行S516,否则执行S519。
例如,在查询DNS成功,且查询时间低于L毫秒的情况下,确定满足,否则确定不满足。
S516,A记录是否满足,如果是则执行S517,否则执行S519。
例如,在查询A记录成功的情况下,确定满足,否则确定不满足。
S517,DNS解析时间是否满足,如果是则执行S518,否则执行S519。
例如,在DNS解析时间低于毫秒的情况下,确定满足,否则确定不满足。
S518,确定可靠性自检结果为可靠结果。
S519,确定可靠性自检结果为不可靠结果。
拨测系统筛选得到目标探测节点,针对每个探测任务,拨测系统在多个目标探测节点中,选择负载状态为存在空闲负载状态的空闲探测节点,并按照区域进行分类;在同一区域的空闲探测节点中,按照该探测任务对应的剩余可使用资源进行排序;根据各区域的排序结果,选择与该探测任务指定数量匹配的空闲探测节点,确定为该探测任务对应的目标探测节点。并向对应的每个目标探测任务下发该探测任务。
具体的,如图6所示,拨测系统确定一个探测任务对应的目标探测节点的流程为:
S601,挑选探测任务未满负载的空闲探测节点。
可以根据目标探测节点中多个探测任务的执行率,检测目标探测节点的负载状态,从而从中选择存在空闲负载状态的目标探测节点,确定为空闲探测节点。
S602,按照区域分类空闲探测节点。
S603,同一区域的空闲探测节点按照某个探测任务类型对应的剩余可使用资源进行排序,资源高排在前,资源低排在后。
在同一区域中,排序结果为从大到小排列剩余可使用资源的排列结果。
S604,逐个区域选取出排在第一的空闲探测节点,取够数量为止。
取够的数量为探测任务中的指定数量。
S605,探测任务指定数量的空闲探测节点是否取够,如果是,则执行S606;否则执行S604。
S606,向选中的空闲探测节点下发探测任务。
选中的空闲探测节点确定为该探测任务对应的目标探测节点。
拨测系统针对每个探测任务,分别向对应的各目标探测节点发送该探测任务。在多个目标探测节点分别执行多个探测任务的过程中,拨测系统收集汇聚各目标探测节点的任务执行结果。任务执行结果包括测失败信息。
根据目标探测节点的节点探测失败信息是否满足节点不可靠条件,以及目标探测节点的节点探测失败信息与所属统计类型的类型探测失败信息之间的差异,是否满足差异不可靠条件,检测目标探测节点的探测可靠性结果。具体的,目标探测节点的节点探测失败信息包括的探测失败率大于等于X%(或者探测成功率小于等于1-X%),且差异大于等于预设差值阈值的情况下,确定该目标探测节点的探测可靠性结果为不可靠结果。目标探测节点的节点探测失败信息包括的探测失败率小于X%(或者探测成功率大于1-X%),或差异小于预设差值阈值的情况下,确定该目标探测节点的探测可靠性结果为可靠结果。
拨测系统在可靠的目标探测节点中,按照探测任务类型进行分类,根据各可靠的目标探测节点针对各探测任务类型对应的探测失败信息,更新各探测任务对应的目标探测节点。具体的,在统计的探测任务类型的探测失败信息满足类型探测异常条件的情况下,确定目标探测节点不支持该探测任务类型的探测任务,需要剔除目标探测节点与该探测任务类型的全部探测任务之间的对应关系,确定该探测任务类型的全部探测任务与目标探测节点不存在对应关系,拨测系统不会向该目标探测节点发送该探测任务类型的任一探测任务。示例性的,探测失败信息为探测失败率,类型探测异常条件用于检测该探测任务类型的探测失败率是否小于类型失败率阈值。在探测任务类型的探测失败率大于类型失败率阈值的情况下,确定探测任务类型的探测失败信息满足类型探测异常条件。或者,探测失败信息为探测成功率,类型探测异常条件用于检测该探测任务类型的探测成功率是否小于类型成功率阈值。
此外,拨测系统按照统计类型对任务执行结果进行分类,得到至少一个统计类型的统计结果,并根据不同待探测设备对各统计类型的统计结果进行分类。针对每个待探测设备在一个统计类型的统计结果,更新该统计类型的目标探测节点的探测可靠性结果。具体的,待探测设备在不同统计类型下的统计结果包括该待探测设备在不同统计类型的访问失败结果。在访问失败结果集中分布在某个统计类型的情况下,将该统计类型的目标探测节点的探测可靠性结果确定为不可靠结果。或者,待探测设备在不同统计类型下的统计结果包括该待探测设备在不同统计类型的设备探测成功率。在某个统计类型的设备探测成功率低于预设设备成功率阈值的情况下,将该统计类型的目标探测节点的探测可靠性结果确定为不可靠结果。
具体的,如图7所示,拨测系统根据汇聚的目标探测节点的任务执行结果筛选目标探测节点的流程为:
S701,收集任务执行结果。
S702,汇总统计全部任务执行结果。
S703,是否存在目标探测节点成功率偏低,如果是,执行S704;否则执行S705。
目标探测节点的节点探测失败信息包括的探测成功率小于等于节点成功率阈值,且差异大于等于预设差值阈值的情况下,确定该目标探测节点的探测可靠性结果为不可靠结果。目标探测节点的节点探测失败信息包括的探测成功率大于节点成功率阈值,或差异小于预设差值阈值的情况下,确定该目标探测节点的探测可靠性结果为可靠结果。
S704,标记不可靠的目标探测节点。
S705,是否存在目标探测节点针对某个探测任务类型的成功率偏低,如果是,执行S706;否则执行S707。
探测失败信息为探测成功率,在探测任务类型的探测成功率小于类型成功率阈值的情况下,确定目标探测节点不支持该探测任务类型的探测任务,该探测任务类型的全部探测任务与目标探测节点不存在对应关系,需要剔除目标探测节点与该探测任务类型的全部探测任务之间的对应关系,拨测系统不会向该目标探测节点发送该探测任务类型的任一探测任务。
S706,标记目标探测节点不支持该探测任务类型的探测任务。
S707,是否存在某个待探测设备在某个区域的成功率偏低,如果是,执行S708;否则执行S709。
待探测设备在不同统计类型下的统计结果包括该待探测设备在不同统计类型的设备探测成功率。在某个统计类型的设备探测成功率低于预设设备成功率阈值的情况下,表明该待探测设备的访问失败结果集中分布在某个统计类型,例如某个区域,将该统计类型的目标探测节点的探测可靠性结果确定为不可靠结果。
S708,标记该区域的目标探测节点不可靠。
S709,统计不可靠信息。
本公开实施例可以提高探测节点的探测质量,确保接入拨测系统的探测节点可靠,提高了拨测系统的探测准确性;随时动态判断探测节点是否可用,自动发现和剔除有问题的探测节点避免过多人工干预,降低了运维成本。
根据本公开的实施例,图8是本公开实施例中的探测节点筛选装置的结构图,本公开实施例适用于拨测系统筛选可靠的探测节点执行探测任务的情况。该装置采用软件和/或硬件实现,并具体配置于具备一定数据运算能力的电子设备中。
如图8所示的一种探测节点筛选装置800,包括:探测任务分发模块801、任务执行结果获取模块802和探测节点筛选模块803;其中,
探测任务分发模块801,用于向目标探测节点分配并发送探测任务;
任务执行结果获取模块802,用于获取目标探测节点的任务执行结果;
探测节点筛选模块803,用于汇聚多个目标探测节点的任务执行结果,对多个目标探测节点进行筛选,确定可靠的目标探测节点。
根据本公开的技术方案,通过向目标探测节点分配并发送探测任务,并获取目标探测节点的任务执行结果,可以实时采集目标探测节点执行的多个探测任务的任务执行结果,并汇聚多个目标探测节点的任务执行结果,获取多个目标探测节点的探测任务的执行情况,从而对目标探测节点进行筛选,确定可靠的目标探测节点,可以实现探测节点的可靠性检测,同时可以在目标探测节点在执行至少一个探测任务的过程中实时检测目标探测节点的可靠性,可以提高探测节点的可靠性检测的实时性,以便定位不可靠的探测节点,进行更换,降低运维成本,同时提高探测结果的准确性。
进一步的,探测节点筛选模块803,包括:任务执行结果统计单元,用于对多个目标探测节点的任务执行结果进行统计;探测可靠性检测单元,用于根据至少一个统计类型的统计结果和各目标探测节点的任务执行结果,确定各目标探测节点的探测可靠性结果;可靠节点筛选单元,用于根据多个目标探测节点的探测可靠性结果,对多个目标探测节点进行筛选。
进一步的,任务执行结果包括探测失败信息;探测可靠性检测单元,包括:类型失败统计子单元,用于根据统计结果,确定目标探测节点所属统计类型的类型探测失败信息;探测可靠性结果确定子单元,用于根据目标探测节点的节点探测失败信息和所属统计类型的类型探测失败信息,确定目标探测节点的探测可靠性结果。
进一步的,探测节点筛选装置,还包括:任务对应设备统计模块,用于根据至少一个探测任务对应的待探测设备,对各统计类型的统计结果进行划分,确定各待探测设备在各统计类型下的统计结果;区域可靠性检测模块,用于根据各待探测设备在各统计类型下的统计结果,确定各统计类型的探测可靠性结果,并更新各统计类型的目标探测节点的探测可靠性结果。
进一步的,探测任务分发模块801,包括:目标探测节点确定单元,用于根据各目标探测节点的属性信息,确定探测任务对应的目标探测节点;探测任务发送单元,用于向探测任务对应的目标探测节点发送探测任务。
进一步的,目标探测节点确定单元,包括:空闲探测节点确定子单元,用于在目标探测节点中,选择负载状态为存在空闲负载状态的空闲探测节点,并按照区域进行分类;空闲区域分类子单元,用于在同一区域的空闲探测节点中,按照探测任务对应的剩余可使用资源进行排序;剩余资源排序子单元,用于在同一区域的空闲探测节点中,按照探测任务对应的剩余可使用资源进行排序;任务节点筛选子单元,用于根据各区域的排序结果,选择与探测任务指定数量匹配的空闲探测节点,确定为探测任务对应的目标探测节点。
进一步的,探测节点筛选装置,还包括:任务执行结果检测模块,用于针对每个目标探测节点,将目标探测节点的任务执行结果按照探测任务类型进行分类,并统计目标探测节点针对各探测任务类型对应的探测失败信息;目标探测节点更新模块,用于根据各目标探测节点针对各探测任务类型对应的探测失败信息,更新探测任务对应的目标探测节点。
进一步的,探测节点筛选装置,还包括:自检结果获取模块,用于获取备选探测节点发送的可靠性自检结果;目标节点筛选模块,用于根据备选探测节点发送的可靠性自检结果,检测备选探测节点是否为目标探测节点。
上述探测节点筛选装置可执行本公开任意实施例所提供的探测节点筛选方法,具备执行探测节点筛选方法相应的功能模块和有益效果。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性区域图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示,设备900包括计算单元901,其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序,来执行各种适当的动作和处理。在RAM 903中,还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905,包括:输入单元906,例如键盘、鼠标等;输出单元907,例如各种类型的显示器、扬声器等;存储单元908,例如磁盘、光盘等;以及通信单元909,例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理,例如探测节点筛选方法。例如,在一些实施例中,探测节点筛选方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元908。在一些实施例中,计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时,可以执行上文描述的探测节点筛选方法的一个或多个步骤。备选地,在其他实施例中,计算单元901可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行探测节点筛选方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或区域图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (19)

1.一种探测节点筛选方法,包括:
向目标探测节点分配并发送探测任务;
获取所述目标探测节点的任务执行结果;
汇聚多个目标探测节点的任务执行结果,对所述多个目标探测节点进行筛选,确定可靠的目标探测节点。
2.根据权利要求1所述的方法,其中,所述对所述多个目标探测节点进行筛选,包括:
对所述多个目标探测节点的任务执行结果进行统计;
根据至少一个统计类型的统计结果和各所述目标探测节点的任务执行结果,确定各所述目标探测节点的探测可靠性结果;
根据所述多个目标探测节点的探测可靠性结果,对所述多个目标探测节点进行筛选。
3.根据权利要求2所述的方法,其中,所述任务执行结果包括探测失败信息;
所述根据至少一个统计类型的统计结果和各所述目标探测节点的任务执行结果,确定所述目标探测节点的探测可靠性结果,包括:
根据所述统计结果,确定所述目标探测节点所属统计类型的类型探测失败信息;
根据所述目标探测节点的节点探测失败信息和所属统计类型的类型探测失败信息,确定所述目标探测节点的探测可靠性结果。
4.根据权利要求2所述的方法,还包括:
根据至少一个探测任务对应的待探测设备,对各所述统计类型的统计结果进行划分,确定各所述待探测设备在各所述统计类型下的统计结果;
根据各所述待探测设备在各所述统计类型下的统计结果,确定各所述统计类型的探测可靠性结果,并更新各所述统计类型的目标探测节点的探测可靠性结果。
5.根据权利要求1所述的方法,其中,所述向目标探测节点分配并发送探测任务,包括:
根据各所述目标探测节点的属性信息,确定所述探测任务对应的目标探测节点;
向所述探测任务对应的目标探测节点发送所述探测任务。
6.根据权利要求5所述的方法,其中,所述根据各所述目标探测节点的属性信息,确定所述探测任务对应的目标探测节点,包括:
在所述目标探测节点中,选择负载状态为存在空闲负载状态的空闲探测节点,并按照区域进行分类;
在同一区域的空闲探测节点中,按照所述探测任务对应的剩余可使用资源进行排序;
根据各所述区域的排序结果,选择与所述探测任务指定数量匹配的空闲探测节点,确定为所述探测任务对应的目标探测节点。
7.根据权利要求5所述的方法,还包括:
针对每个所述目标探测节点,将所述目标探测节点的任务执行结果按照探测任务类型进行分类,并统计所述目标探测节点针对各所述探测任务类型对应的探测失败信息;
根据各所述目标探测节点针对各所述探测任务类型对应的探测失败信息,更新所述探测任务对应的目标探测节点。
8.根据权利要求1所述的方法,还包括:
获取备选探测节点发送的可靠性自检结果;
根据所述备选探测节点发送的可靠性自检结果,检测所述备选探测节点是否为目标探测节点。
9.一种探测节点筛选装置,包括:
探测任务分发模块,用于向目标探测节点分配并发送探测任务;
任务执行结果获取模块,用于获取所述目标探测节点的任务执行结果;
探测节点筛选模块,用于汇聚多个目标探测节点的任务执行结果,对所述多个目标探测节点进行筛选,确定可靠的目标探测节点。
10.根据权利要求9所述的装置,其中,所述探测节点筛选模块,包括:
任务执行结果统计单元,用于对所述多个目标探测节点的任务执行结果进行统计;
探测可靠性检测单元,用于根据至少一个统计类型的统计结果和各所述目标探测节点的任务执行结果,确定各所述目标探测节点的探测可靠性结果;
可靠节点筛选单元,用于根据所述多个目标探测节点的探测可靠性结果,对所述多个目标探测节点进行筛选。
11.根据权利要求10所述的装置,其中,所述任务执行结果包括探测失败信息;
所述探测可靠性检测单元,包括:
类型失败统计子单元,用于根据所述统计结果,确定所述目标探测节点所属统计类型的类型探测失败信息;
探测可靠性结果确定子单元,用于根据所述目标探测节点的节点探测失败信息和所属统计类型的类型探测失败信息,确定所述目标探测节点的探测可靠性结果。
12.根据权利要求10所述的装置,还包括:
任务对应设备统计模块,用于根据至少一个探测任务对应的待探测设备,对各所述统计类型的统计结果进行划分,确定各所述待探测设备在各所述统计类型下的统计结果;
区域可靠性检测模块,用于根据各所述待探测设备在各所述统计类型下的统计结果,确定各所述统计类型的探测可靠性结果,并更新各所述统计类型的目标探测节点的探测可靠性结果。
13.根据权利要求9所述的装置,其中,所述探测任务分发模块,包括:
目标探测节点确定单元,用于根据各所述目标探测节点的属性信息,确定所述探测任务对应的目标探测节点;
探测任务发送单元,用于向所述探测任务对应的目标探测节点发送所述探测任务。
14.根据权利要求13所述的装置,其中,所述目标探测节点确定单元,包括:
空闲探测节点确定子单元,用于在所述目标探测节点中,选择负载状态为存在空闲负载状态的空闲探测节点,并按照区域进行分类;
空闲区域分类子单元,用于在同一区域的空闲探测节点中,按照所述探测任务对应的剩余可使用资源进行排序;
剩余资源排序子单元,用于在同一区域的空闲探测节点中,按照所述探测任务对应的剩余可使用资源进行排序;
任务节点筛选子单元,用于根据各所述区域的排序结果,选择与所述探测任务指定数量匹配的空闲探测节点,确定为所述探测任务对应的目标探测节点。
15.根据权利要求13所述的装置,还包括:
任务执行结果检测模块,用于针对每个所述目标探测节点,将所述目标探测节点的任务执行结果按照探测任务类型进行分类,并统计所述目标探测节点针对各所述探测任务类型对应的探测失败信息;
目标探测节点更新模块,用于根据各所述目标探测节点针对各所述探测任务类型对应的探测失败信息,更新所述探测任务对应的目标探测节点。
16.根据权利要求9所述的装置,还包括:
自检结果获取模块,用于获取备选探测节点发送的可靠性自检结果;
目标节点筛选模块,用于根据所述备选探测节点发送的可靠性自检结果,检测所述备选探测节点是否为目标探测节点。
17.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8中任一项所述的探测节点筛选方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的探测节点筛选方法。
19.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的探测节点筛选方法。
CN202210112598.8A 2022-01-29 2022-01-29 探测节点筛选方法、装置、电子设备和存储介质 Active CN114430383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210112598.8A CN114430383B (zh) 2022-01-29 2022-01-29 探测节点筛选方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210112598.8A CN114430383B (zh) 2022-01-29 2022-01-29 探测节点筛选方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN114430383A true CN114430383A (zh) 2022-05-03
CN114430383B CN114430383B (zh) 2024-06-07

Family

ID=81313296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210112598.8A Active CN114430383B (zh) 2022-01-29 2022-01-29 探测节点筛选方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN114430383B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114978945A (zh) * 2022-05-13 2022-08-30 北京有竹居网络技术有限公司 网络拨测方法、装置、系统、电子设备及存储介质
CN115314340A (zh) * 2022-08-05 2022-11-08 科东(广州)软件科技有限公司 一种数据包的筛选方法、装置、电子设备和存储介质
WO2024179028A1 (zh) * 2023-02-28 2024-09-06 华为云计算技术有限公司 基于云技术的探测方法及云管理平台

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018090977A1 (zh) * 2016-11-17 2018-05-24 贵州白山云科技有限公司 一种设备切换的方法以及设备切换装置
CN109936486A (zh) * 2019-01-02 2019-06-25 平安科技(深圳)有限公司 基于区块链的自动拨测方法、装置、设备和存储介质
WO2020019519A1 (zh) * 2018-07-27 2020-01-30 平安科技(深圳)有限公司 任务分配方法及装置
CN111193636A (zh) * 2019-10-21 2020-05-22 腾讯科技(深圳)有限公司 测试单机可用性的方法及装置
CN112261133A (zh) * 2020-10-21 2021-01-22 平安科技(深圳)有限公司 Cdn节点控制方法、装置、服务器及存储介质
CN113438106A (zh) * 2021-06-22 2021-09-24 北京百度网讯科技有限公司 内容分发网络处理方法、装置及电子设备
CN113542076A (zh) * 2020-11-02 2021-10-22 深圳市九九互动科技有限公司 链路探测方法、装置、计算机设备和存储介质
CN113726607A (zh) * 2021-08-30 2021-11-30 北京百度网讯科技有限公司 一种网络探测方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018090977A1 (zh) * 2016-11-17 2018-05-24 贵州白山云科技有限公司 一种设备切换的方法以及设备切换装置
WO2020019519A1 (zh) * 2018-07-27 2020-01-30 平安科技(深圳)有限公司 任务分配方法及装置
CN109936486A (zh) * 2019-01-02 2019-06-25 平安科技(深圳)有限公司 基于区块链的自动拨测方法、装置、设备和存储介质
CN111193636A (zh) * 2019-10-21 2020-05-22 腾讯科技(深圳)有限公司 测试单机可用性的方法及装置
CN112261133A (zh) * 2020-10-21 2021-01-22 平安科技(深圳)有限公司 Cdn节点控制方法、装置、服务器及存储介质
CN113542076A (zh) * 2020-11-02 2021-10-22 深圳市九九互动科技有限公司 链路探测方法、装置、计算机设备和存储介质
CN113438106A (zh) * 2021-06-22 2021-09-24 北京百度网讯科技有限公司 内容分发网络处理方法、装置及电子设备
CN113726607A (zh) * 2021-08-30 2021-11-30 北京百度网讯科技有限公司 一种网络探测方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SEBASTIAN NOVAK;等: "Implementation of a sub-system for DIAL verification within HbbTV test environment", 《 2017 25TH TELECOMMUNICATION FORUM (TELFOR)》, 18 January 2018 (2018-01-18) *
张子樵;席晨;柳祝辉;: "一种基于DNS调度优化的域名拨测系统", 信息通信, no. 08, 15 August 2017 (2017-08-15) *
陈闻宇;肖中南;徐彦之;: "基于主动测量的CN权威镜像选址效果评估", 科技导报, no. 12, 28 June 2015 (2015-06-28) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114978945A (zh) * 2022-05-13 2022-08-30 北京有竹居网络技术有限公司 网络拨测方法、装置、系统、电子设备及存储介质
CN114978945B (zh) * 2022-05-13 2024-05-28 北京有竹居网络技术有限公司 基于边缘节点的网络拨测方法、服务器集群及相关设备
CN115314340A (zh) * 2022-08-05 2022-11-08 科东(广州)软件科技有限公司 一种数据包的筛选方法、装置、电子设备和存储介质
CN115314340B (zh) * 2022-08-05 2023-07-11 科东(广州)软件科技有限公司 一种数据包的筛选方法、装置、电子设备和存储介质
WO2024179028A1 (zh) * 2023-02-28 2024-09-06 华为云计算技术有限公司 基于云技术的探测方法及云管理平台

Also Published As

Publication number Publication date
CN114430383B (zh) 2024-06-07

Similar Documents

Publication Publication Date Title
CN111181801B (zh) 节点集群测试方法、装置、电子设备及存储介质
CN114430383B (zh) 探测节点筛选方法、装置、电子设备和存储介质
US20230385141A1 (en) Multi-factor cloud service storage device error prediction
US20180287876A1 (en) Discovering application topologies
WO2019133763A1 (en) System and method of application discovery
US20140215077A1 (en) Methods and systems for detecting, locating and remediating a congested resource or flow in a virtual infrastructure
CN111258971A (zh) 一种基于访问日志的应用状态监控报警系统及方法
CN111181799A (zh) 一种网络流量监控方法及设备
US10020982B2 (en) Failure isolation method and management server for failure isolation
Xu et al. Lightweight and adaptive service api performance monitoring in highly dynamic cloud environment
CN107707612B (zh) 一种负载均衡集群的资源利用率的评估方法及装置
CN104869155A (zh) 数据审计方法及装置
CN108574627B (zh) 一种sdn网络多控制域协同管理方法和系统
CN110944061A (zh) 内容分发网络调度方法、装置、计算机设备及存储介质
WO2023207689A1 (zh) 一种变更风险评估方法、设备及存储介质
CN108390793A (zh) 一种分析系统稳定性的方法及装置
CN108234227A (zh) 网络节点设备的时延测量方法、装置及网络节点设备
CN110943887B (zh) 探针调度方法、装置、设备和存储介质
WO2015182629A1 (ja) 監視システム、監視装置及び監視プログラム
CN106302421A (zh) 一种信息拦截处理方法以及装置
CN114885014A (zh) 一种外场设备状态的监测方法、装置、设备及介质
CN115686381B (zh) 存储集群运行状态的预测方法及装置
CN102546652B (zh) 一种服务器负载平衡系统及方法
CN108512698B (zh) 一种网络容灾方法、装置及电子设备
CN111885159B (zh) 数据采集方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant