CN114501496B - 一种网络服务质量评估方法、装置及服务器 - Google Patents

一种网络服务质量评估方法、装置及服务器 Download PDF

Info

Publication number
CN114501496B
CN114501496B CN202210020939.9A CN202210020939A CN114501496B CN 114501496 B CN114501496 B CN 114501496B CN 202210020939 A CN202210020939 A CN 202210020939A CN 114501496 B CN114501496 B CN 114501496B
Authority
CN
China
Prior art keywords
network
information
rate
quality
congestion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210020939.9A
Other languages
English (en)
Other versions
CN114501496A (zh
Inventor
李雪
刘珍慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Youke Yunlian Technology Co ltd
Original Assignee
Shenzhen Youke Yunlian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Youke Yunlian Technology Co ltd filed Critical Shenzhen Youke Yunlian Technology Co ltd
Priority to CN202210020939.9A priority Critical patent/CN114501496B/zh
Publication of CN114501496A publication Critical patent/CN114501496A/zh
Application granted granted Critical
Publication of CN114501496B publication Critical patent/CN114501496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/02Arrangements for optimising operational condition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/08Testing, supervising or monitoring using real traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请适用于通信技术领域,提供了一种网络服务质量评估方法、装置及服务器,所述方法包括:获取区域内的运营商网络的网络信息;根据所述网络信息,确定所述运营商网络的网络服务质量。通过上述方法,可以准确地评估一个区域内的运营商网络的网络服务质量。

Description

一种网络服务质量评估方法、装置及服务器
技术领域
本申请属于通信技术领域,尤其涉及一种网络服务质量评估方法、装置及服务器。
背景技术
一些终端设备,例如随身个人热点(MobileWIFI,MIFI),可通过云卡(CloudSIM)与移动通信网络建立连接。目前,云卡通常是由服务器根据终端测量的瞬时信号(比如信号强度)分配。然而,终端设备不能上报当前位置所有运营商的网络信号信息,且信号强度也不能完全代表运营商的网络服务质量,通过此种方式分配云卡可能会导致终端设备连接到网络服务质量较差的运营商网络,给用户带来不好的用网体验。
因此,如何评估一个区域内的运营商网络的网络服务质量成为目前云卡服务商亟待解决的问题。
发明内容
有鉴于此,本申请提供了一种网络服务质量评估方法、网络服务质量评估装置及服务器,可以准确地评估一个区域内的运营商网络的网络服务质量。
第一方面,本申请提供了一种网络服务质量评估方法,包括:
获取区域内的运营商网络的网络信息;
根据上述网络信息,确定上述运营商网络的网络服务质量。
本申请方案中,服务器通过区域内运营商网络的网络信息(可以包括信号强度、信号质量、速率信息以及拥塞信息中的一种或多种信息),能够评估该运营商网络在该区域的网络服务质量,从而,服务器可以根据用户对运营商网络的网络服务质量的需求,从各个运营商网络中选择满足用户需求的目标运营商网络。这样,服务器将对应目标运营商网络的云卡分配给终端,终端通过分配到的云卡可以连接满足用户需求的目标运营商网络,从而给终端的用户带来了更好的用网体验。
第二方面,本申请提供了一种网络服务质量评估装置,包括:
信息获取单元,用于获取区域内的运营商网络的网络信息;
质量确定单元,用于根据上述网络信息,确定上述运营商网络的网络服务质量。
第三方面,本申请提供了一种服务器,包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序,上述处理器执行上述计算机程序时实现如上述第一方面所提供的方法的步骤。
可以理解的是,上述第二方面至第三方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的网络服务质量评估方法的应用环境示意图;
图2是本申请实施例提供的网络服务质量评估方法的流程示意图;
图3是本申请实施例提供的网络服务质量评估装置的结构框图;
图4是本申请实施例提供的服务器的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
在说明本申请实施例提供的网络服务质量评估方法之前,为方便理解,下面结合图1对本申请实施例提供的网络服务质量评估方法的应用环境及本申请实施例中涉及的相关概念进行说明。
云卡是一种放置在服务器端的载卡设备中的用户身份识别(SubscriberIdentity Module,SIM)卡,服务器与载卡设备可以通过串口或网口等接口通信,服务器通过载卡设备读取云卡信息,并将云卡信息发送至终端设备。终端设备根据云卡信息注册运营商的网络,进而实现终端设备的无线通讯。其中,云卡信息包括但不限于:集成电路卡识别码(Integrate circuit card identity,ICCID)、国际移动用户识别码(InternationalMobile Subscriber Identity,IMSI)以及运营商的一些信息等。
载卡设备可以是集中设置SIM卡的读写设备,例如SIM卡库(SIMBANK)。
服务器根据终端设备请求,为终端设备分配云卡,或者依据终端设备上报的网络位置和情况推送云卡到终端设备。在一些实施例中,载卡设备可以是单独的设备,也可以是服务器的一部分。
目前,云卡通常是由服务器根据终端测量的瞬时信号(比如信号强度)分配给终端设备,例如随身个人热点(MIFI)。然而,终端设备不能上报当前位置所有运营商的网络信号信息,且信号强度也不能完全代表运营商的网络服务质量。通过此种方式分配云卡可能会导致终端设备连接到网络服务质量较差的运营商网络,给用户带来不好的用网体验。
由于不同的运营商在同一区域内的网络基础设施的建设情况有所不同,导致同一区域内的各个运营商网络的网络服务质量不同。
为了给待分配云卡的终端提供网络服务质量较高的运营商网络,本申请实施例中服务器在分配云卡时可以获取该终端所在区域内的运营商网络的网络服务质量,该网络服务质量是分配云卡之前根据运营商网络的网络信息确定的。
图1是本申请实施例提供的网络服务质量评估方法的应用环境的示意图。该应用环境包括终端110和服务器120。
其中,终端110和服务器120可以通过移动通信网络连接,以实现终端110和服务器120相互通信。终端110包括但不限于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmentedreality,AR)/虚拟现实(virtualreality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personaldigital assistant,PDA)、随身个人热点(MIFI)等终端设备上,本申请实施例对终端的具体类型不作任何限制。
服务器120包括但不限于可以提供云卡服务的独立服务器、服务器集群、分布式服务器和云端服务器。在一些实施例中,上述云卡服务包括但不限于云卡分配服务。在另一些实施例中,上述云卡服务还包括但不限于终端接入服务、云卡数据分析、云卡计费系统及云卡数据库等。在实现本申请实施例时,云卡服务可以结合具体情况在一个或多个服务器上部署,本申请不做具体限定。
图2示出了本申请实施例提供的一种网络服务质量评估方法的流程图,该网络服务质量评估方法执行主体为服务器,例如该服务器可以是图1中的服务器120,详述如下:
步骤201,获取区域内的运营商网络的网络信息。
其中,网络信息可以包括信号强度、信号质量、速率信息以及拥塞信息中的一种或多种信息。需要说明的是,服务器所获取的网络信息为历史信息,即终端在历史时间上报至服务器的网络信息。
步骤202,根据网络信息,确定运营商网络的网络服务质量。
在本申请实施例中,上述网络信息中包含的各种信息是评估该运营商网络的网络服务质量的因素,基于网络信息可以评价该运营商网络在该区域的网络服务质量的高低,从而,服务器可以根据运营商网络的网络服务质量分配云卡。
在一些实施例中,考虑到信号强度和信号质量是评估网络服务质量的因素,因此网络信息可以包括信号信息,该信号信息用于指示网络的信号强度和/或信号质量。此时,服务器根据区域内的运营商网络的信号强度和/或信号质量,可以确定运营商网络的网络服务质量。
需要说明的是,信号质量好,可以理解为信号强度大且无干扰。
可选地,在获取区域内的运营商网络的网络信息时,服务器可以获取至少一个第一终端在第一预设时间段内的信号强度样本和/或信号质量样本。
其中,第一终端是区域内连接运营商网络的终端。第一预设时间段可以是待评估时间点之前的时间段,待评估时间点指需要评估网络服务质量的时间点。由于运营商网络的信号强度是会随时间变化的,因此,为了使获取的运营商网络的信号强度更接近运营商网络在待评估时间点的信号强度,本申请的一些实施例中,第一预设时间段可以是待评估时间点的前三天或者前一周。
为了保证可靠性,所获取的信号强度样本和/或所获取的信号质量样本,其数量均需大于或等于第一预设数量,第一预设数量可以根据实际情况进行调整,例如可以为1000。
相应的,上述步骤202可以具体包括:
针对每个信号强度样本和/或信号质量样本,获取信号强度样本和/或信号质量样本对应的信号制式,以及信号制式下的至少两个预设的信号强度区间和/或信号质量区间,其中,至少两个预设的信号强度区间和/或信号质量区间分别对应预设的第一分值;
根据信号强度样本和/或信号质量样本所属的目标信号强度区间和/或目标信号质量区间,确定信号强度样本和/或信号质量样本对应的第一分值;
计算各个信号强度样本和/或信号质量样本对应的第一分值的平均值,得到运营商网络的信号信息评分。
需要说明的是,不同的信号强度样本可以是不同第一终端在第一预设时间段内不同或同一目标时间点的实际信号强度,或者是同一第一终端在第一预设时间段内不同目标时间点的实际信号强度。同样的,不同的信号质量样本可以是不同第一终端在第一预设时间段内不同或同一目标时间点的实际信号质量,或者可以是同一第一终端在第一预设时间段内不同目标时间点的实际信号质量。此处不作限定,只需信号强度样本和/或信号质量样本的数量达到预设数量即可。
针对每个信号强度样本和/或每个信号质量样本,服务器可以获取该信号强度样本和/或该信号质量样本对应的信号制式,以及信号制式下的至少两个预设的信号强度区间和/或信号质量区间。
其中,信号制式可以包括第五代移动通信技术(5th Generation MobileCommunication Technology,5G)信号、第四代移动通信技术(4th Generation MobileCommunication Technology,4G)信号、第三代移动通信技术(3th Generation MobileCommunication Technology,3G)信号以及第二代移动通信技术(2th Generation MobileCommunication Technology,2G)信号。
例如,某一信号强度样本是第一终端1的实际信号强度,该第一终端1连接的为5G网络,则该信号强度样本对应的信号制式为5G信号。示例性地,每个信号制式下划分有至少两个信号区间,如下表1,其中5G信号下的信号强度区间包括:大于-85、-85~-95、-95~-105、小于-105。
获取信号强度样本对应的信号制式,以及该信号制式下的至少两个信号强度区间后,服务器可以从该至少两个信号强度区间中确定该信号强度样本所属的目标信号强度区间,该目标信号强度区间对应的第一分值即作为该信号强度样本对应的第一分值。在本申请的实施方式中,区间对应信号强度越高,其对应的第一分值越大。
最后,基于第一分值,即可计算出运营商网络的信号信息评分。
具体的,在一些实施方式中,服务器可以计算各个信号强度样本对应的第一分值的平均值,将该平均值作为运营商网络的信号信息评分。或者,也可以统计属于每个信号强度区间的信号强度样本数量与信号强度样本总数量的样本数占比,将各个信号强度区间对应的第一分值与各个信号强度区间的样本数占比相乘后求和,得到该运营商网络的信号信息评分。以上计算运营商网络的信号信息评分的两种方式最终结果相同,本申请实施例中选择一种方式即可,此处不做限定。
举例来说,假设信号强度区间与预设的第一分值的对应关系如下表1。存在连接运营商网络1的三个第一终端,分别为第一终端1、第一终端2及第一终端3。第一终端1接收的是5G信号,5G信号强度为-75,对应第一分值为100;第一终端2接收的是4G信号,4G信号强度为-88,对应第一分值为85;第一终端3接收的是3G信号,3G信号强度为-98,对应第一分值为40。那么,可以计算运营商网络1的信号信息评分为(100+85+40)/3=75。
需要说明的是,在实际应用时,如果评估的是5G网络服务质量,需要考虑5G、4G、3G、2G四个制式的信号,因为终端在5G网络服务质量不佳时,可能回落到4G或3G网络;如果评估的是4G网络服务质量,则只需考虑4G、3G、2G三个制式的信号。其中,2G信号的第一分值可以固定为0,即当第一终端连接的是2G网络时,其信号强度样本对应的第一分值就为0。
表1
同样的,服务器可以利用信号质量样本,确定信号质量样本对应的第一分值,然后计算各个信号质量样本对应的第一分值的平均值,得到运营商网络的信号信息评分。其中,与上述根据信号强度样本确定运营商网络的信号信息评分的方式类似,区别仅在于将上述实施例中的信号强度样本替换为信号质量样本,因此根据信号质量样本确定运营商网络的信号信息评分的方式具体可参考上述实施例,此处不再赘述。
除了信号强度和/或信号质量以外,上述网络信息还可以包括速率信息和拥塞信息。需要说明的是,下文中的速率信息和拥塞信息同样可以是同一终端在不同时间点的实际传输速率、实际拥塞情况,也可以是不同终端在不同或同一时间点的实际传输速率、实际拥塞情况,只需要传输速率、拥塞情况的样本数达到一定的门限值即可。
可选的,服务器可以获取至少一个第二终端分别在第二预设时间段内的速率样本。
其中,速率样本可以用于指示网络的传输速率,可以具体指上行速率、下行速率或上下行总速率,对此本申请不进行限制。速率样本可以具体包含传输速率以及产生传输速率的起止时刻,为了保证可靠性,速率样本的数量需大于或等于第二预设数量,例如第二预设数量可以为1000。第二终端是区域内连接运营商网络的终端。
相应的,服务器可以从速率样本中,分别确定至少一个第二终端分别在每个第一时间切片中的有效速率样本,并根据有效速率样本,确定运营商网络的速率信息评分。
其中,有效速率样本是指速率样本对应的起和/或止时间在第一时间切片内的速率样本。
在本申请的实施方式中,某个第二终端可能有0个、1个或者连续多个速率样本对应的起和/或止时间在第一时间切片内。在一些实施例中,服务器可以直接以这些速率样本作为有效速率样本。在另一些实施例中,服务器也可以校验样本在第一时间切片内的连续性和完整性,即如果所有速率样本在时间上连续,且第一个样本的开始时间到最后一个样本的结束时间,完整地包含了第一时间切片,则可以保留这些速率样本作为有效速率样本,反之,则将该第二终端在该第一时间切片内的所有速率样本剔除。
得到有效速率样本之后,服务器可以通过以下步骤确定运营商网络的速率信息评分:
根据每个第二终端在每个第一时间切片内的有效速率样本的速率,计算每个第二终端在每个第一时间切片内的速率平均值;
将同一第一时间切片内所有第二终端的最大速率平均值作为运营商在对应的第一时间切片的最终速率;
根据超过预设的速率评分规则中各速率阈值的最终速率的数量,确定速率信息评分。
如下表2,假设第一时间切片的时长为1min,在第一个第一时间切片(即第1分钟),第二终端1的速率平均值为1Mbps,第二终端2的速率平均值为2Mbps,第二终端3的速率平均值为无数据。则服务器可以将最大速率平均值2Mbps作为第一个第一时间切片的最终速率。
表2
接下来,服务器可以获取速率评分规则,每个速率评分规则记录了预设的至少两个速率阈值,以及各个速率阈值对应的第二分值。
示例性地,可参见下表3,速率阈值100Mbps对应的第二分值为100,表中的速率阈值为下限值,如表中速率阈值100Mbps即表示大于100Mbps。
表3
针对每个速率阈值,可以确定超过它的最终速率的数量,如果数量大于预设的数量阈值,则将该速率阈值确定为候选速率阈值。对于速率阈值的大小设定,由于不同国家或地区的网络状况不同,可以按照国家或者地区设置不同的规则。比如当需要评估网络服务质量的区域是国内城区速率阈值就要设置大一点,而一些网络不佳的地方,就要设置小一点的速率阈值。
将所有候选速率阈值中的最大值确定为目标速率阈值。目标速率阈值对应的第二分值即作为运营商网络的速率信息评分。
若在所有候选速率阈值中未确定出候选速率阈值,则可以将运营商网络的速率信息评分确定为默认值,或者确定运营商网络的速率信息评分不存在。
例如,所有最终速率中,有1个大于速率阈值100Mbps,3个大于速率阈值80Mbps,5个大于速率阈值50Mbps,而预设的数量阈值为2。此种情况下,则可以将速率阈值80Mbps和速率阈值50Mbps确定为候选速率阈值。最后,可以将所有候选速率阈值中的最大值确定为目标速率阈值,比如速率阈值80Mbps和速率阈值50Mbps中可以确定速率阈值80Mbps为目标速率阈值。该目标速率阈值对应的第二分值90即为运营商网络的速率信息评分。
需要说明的是,服务器还可以延长第一时间切片的时间长度,进而减少速率抖动的影响。
以表2继续进行说明,将第一时间切片的时间长度延长为3分钟,则服务器可以根据第1分钟的最终速率、第2分钟的最终速率和第3分钟的最终速率,计算平均值作为第一个第一时间切片对应的最终速率。同理,可以根据第4分钟的最终速率、第5分钟的最终速率和第6分钟的最终速率,计算平均值作为第二个第一时间切片对应的最终速率,以此类推。例如第一个第一时间切片对应的最终速率为(2Mbps+9Mbps+9Mbps)/3=6.66Mbps。
在一些实施例中,服务器可以针对目标时间段进行网络服务质量的评估,目标时间段可以是第二预设时间段中的部分或全部时间段,目标时间段可以根据实际情况进行选择,例如需要分析晚间网络忙碌时间段时,可以分别取过去7天中每天的20点至23点的数据;需要分析全天的综合表现时,可以分别取过去7天的所有数据。相应的,前述第一时间切片是对目标时间段进行划分得到的时间片。
可选地,为了确保速率信息评分可以真实反映运营商网络的服务质量,本申请实施例提供的网络服务质量评估方法还包括:
在一些实施例中,如果运营商网络的速率信息评分低于预设的速率信息评分下限值,则说明区域内连接该运营商网络的终端用户可能都在做小流量业务,为了校正速率信息评分的准确性,可以获取测速信息,该测速信息是通过区域内连接该运营商网络的其他终端,在历史时间点对能够达到的最大传输速率进行测试获得的,即测速信息用于指示其他终端在历史时间点能够达到的最大传输速率。其中,历史时间点与待评估时间点的间隔时长小于预设的间隔时长阈值。如果成功获取到了测速信息,则服务器可以根据测速信息,重新确定该运营商网络的速率信息评分,比如将其他终端在历史时间点能够达到的最大传输速率所对应的第二分值作为重新确定的该运营商网络的速率信息评分。基于此,服务器可以根据信号信息评分和重新确定的速率信息评分,计算得到该运营商网络的网络服务质量。
在另一些实施方式中,运营商网络的网络信息还可以包括拥塞信息,该拥塞信息用于指示网络发生网络拥塞的情况。
相应的,服务器可以根据运营商网络的拥塞信息,确定运营商网络的拥塞比例,并根据拥塞比例,计算得到运营商网络的网络服务质量。
其中,拥塞比例可以指该运营商网络在第三预设时间段内发生网络拥塞的时长与预设时间段的总时长的比例。
具体的,服务器可以获取至少一个第三终端分别在第三预设时间段内的拥塞样本。
其中,第三终端是区域内连接运营商网络的终端。需要说明的是,前文提及的第一终端、第二终端、第三终端可以是同一终端,也可以是不同的终端,此处不作限定,并且,为了保证可靠性,拥塞样本的数量需大于或等于第三预设数量,例如第三预设数量可以为1000。
第三预设时间段可以是待评估时间点之前的时间段,待评估时间点指需要评估网络服务质量的时间点(如当前时间点)。可选地,第三预设时间段的总时长可以是1小时、半小时或2小时,此处不做限定,比如,预设时间段可以是待评估时间点的前一个小时,也可以是过去多天(如3天)中每天的同一小时。
基于拥塞样本,服务器可以从拥塞样本中,分别确定至少一个第三终端分别在每个第二时间切片中的有效拥塞样本,并根据有效拥塞样本,确定运营商网络的拥塞比例。
其中,拥塞样本可以包含拥塞信息以及产生拥塞信息的起止时刻。有效拥塞样本是指拥塞样本对应的起和/或止时间在第二时间切片内的拥塞样本。
接着,服务器可以通过以下方式确定拥塞比例:
根据每个第三终端在每个第二时间切片内的所有有效拥塞样本,计算所有第三终端在每个第二时间切片内的拥塞次数总和,以及每个第二时间切片内的最大拥塞次数;
将拥塞次数总和与同一第二时间切片的最大拥塞次数的比值与预设的比值阈值进行比较,并将比值大于比值阈值的第二时间切片标记为拥塞切片;
计算拥塞切片的个数与第二时间切片的总个数之间的比值,得到拥塞比例。
举例进行说明,第二时间切片为10点09分至10点10分,第三终端A上报了一个拥塞样本,拥塞样本中记录了从10点08分40秒至10点09分30秒处于网络拥塞状态,则第三终端A在第二时间切片内连续处于网络拥塞状态的时长为30s。第三终端B上报了三个拥塞样本,拥塞样本中记录了10点09分00秒至10点09分20秒处于网络拥塞状态,10点09分21秒至10点09分45秒不处于网络拥塞状态,10点09分46秒至10点10分37秒处于网络拥塞状态,则第三终端B在第二时间切片内连续处于网络拥塞状态的时长分别是21s和15s。
对于任一第三终端,比如目标第三终端,该目标第三终端在同一第二时间切片内发生网络拥塞的次数等于目标第三终端在同一第二时间切片内连续处于网络拥塞状态的时长除以预设的拥塞时长阈值。一些实施方式中,还可以进一步向下取整,将得到的整数值作为该目标第三终端在同一第二时间切片内发生网络拥塞的次数。
例如,如果拥塞时长阈值为15s,目标第三终端在第二时间切片1内连续拥塞了30s,则目标第三终端在第二时间切片1内发生网络拥塞的次数计数2次;连续拥塞25s计数1次,连续35s计数2次。
然后,基于每个第三终端在第二时间切片内发生网络拥塞的次数,可以计算所有第三终端在每个第二时间切片内的拥塞次数总和。
例如,所有第三终端包括第三终端1、第三终端2和第三终端3,第三终端1在第二时间切片1内发生网络拥塞的次数为3次,第三终端2在第二时间切片1内发生网络拥塞的次数为4次,第三终端3在第二时间切片1内发生网络拥塞的次数为2次,则各个第三终端在第二时间切片1发生网络拥塞的拥塞次数总和为3+4+2=9次。
接下来,可以计算同一第二时间切片内,各个第三终端发生的拥塞次数总和与最大拥塞次数的比值。
其中,最大拥塞次数等于同一第二时间切片的时间长度除以拥塞时长阈值后再乘以第三终端的总数量。比如,假设第二时间切片的时长为1min,拥塞时长阈值为15s,表示如果第三终端在1min内有连续15s处于网络拥塞状态,就做一次拥塞计数,则单个第三终端在单个第二时间切片的最大拥塞次数为60s/15s=4,那么,假设第二时间切片1对应有5个第三终端,则最大拥塞次数为4×5=20。假设5个第三终端在第二时间切片1内的拥塞次数总和是8次,预设的比例阈值是0.3,则所有第三终端的拥塞次数总和与最大拥塞次数的比值为8/20=0.4,该比值0.4大于预设的比例阈值0.3,则将第二时间切片1记作拥塞第二时间切片。通过此方式确定出所有拥塞第二时间切片后,服务器可以将拥塞第二时间切片的个数与第二时间切片的总个数之比,确定为运营商网络1的拥塞比例。
通过前述方式,服务器可以确定信号信息评分、速率信息评分和拥塞比例中的一种或多种,实际应用中,为了保证确定出的网络服务质量具有较高的可靠性,服务器可以同时确定信号信息评分、速率信息评分和拥塞比例,此时,可以进一步综合三者度量网络服务质量。
具体的,服务器可以根据速率信息评分,查询与速率信息评分对应的权重。
其中,速率信息评分对应的权重与速率信息评分成正比。
当速率信息评分大于预设的速率信息评分门限值时,服务器可以通过以下公式计算运营商网络的网络服务质量:Level=s1*w+s2*(1-w);
其中,Level表示运营商网络的网络服务质量,s1表示速率信息评分,s2表示信号信息评分,w表示与速率信息评分对应的权重。
当速率信息评分不大于预设的速率信息评分门限值时,通过以下公式计算运营商网络的网络服务质量:Level=[s1*w+s2*(1-w)]*(1-r);
其中,r表示拥塞比例。
在一些实施例中,当速率信息评分很高时,其他因素自然也是极佳的,因此无需额外考量;当速率信息评分中等或较差时,信号好的运营商优于信号差的,拥塞比例低的运营商优于拥塞比例高的。考虑到如果一个运营商网络的速率信息评分很高时,其发生网络拥塞的次数必然很少,因此,可以设置一个速率信息评分的门限值,当运营商网络的速率信息评分大于该门限值时,不考虑拥塞比例,采用上述公式Level=[s1*w+s2*(1-w)]计算运营商网络的网络服务质量,当运营商网络的速率信息评分小于该门限值时,则应考虑拥塞比例,采用上述公式Level=[s1*w+s2*(1-w)]*(1-r)计算运营商网络的网络服务质量。
由上可见,本申请方案中,服务器通过区域内运营商网络的网络信息(可以包括信号强度、信号质量、速率信息以及拥塞信息中的一种或多种信息),能够评估该运营商网络在该区域的网络服务质量,从而,服务器可以根据用户对运营商网络的网络服务质量的需求,从各个运营商网络中选择满足用户需求的目标运营商网络。这样,服务器将对应目标运营商网络的云卡分配给终端,终端通过分配到的云卡可以连接满足用户需求的目标运营商网络,从而给终端的用户带来了更好的用网体验。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。图3示出了本申请实施例提供的一种网络服务质量评估装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
该网络服务质量评估装置300包括:
信息获取单元301,用于获取区域内的运营商网络的网络信息;
质量确定单元302,用于根据上述网络信息,确定上述运营商网络的网络服务质量。
可选地,上述网络信息还包括信号信息,上述信号信息用于指示网络的信号强度或信号质量。
可选地,上述质量确定单元302可以具体用于:根据所述运营商网络的信号信息,确定所述运营商网络的信号信息评分;根据所述信号信息评分,计算得到所述运营商网络的网络服务质量。
可选地,上述信息获取单元301可以具体用于:获取至少一个第一终端在第一预设时间段内的信号强度样本和/或信号质量样本,所述信号强度样本和所述信号质量样本的数量均大于或等于第一预设数量;其中,所述第一终端是所述区域内连接所述运营商网络的终端。
可选地,上述质量确定单元302可以具体用于:针对每个信号强度样本和/或信号质量样本,获取所述信号强度样本和/或信号质量样本对应的信号制式,以及所述信号制式下的至少两个预设的信号强度区间和/或信号质量区间,其中,所述至少两个预设的信号强度区间和/或信号质量区间分别对应预设的第一分值;根据所述信号强度样本和/或所述信号质量样本所属的目标信号强度区间和/或目标信号质量区间,确定所述信号强度样本和/或所述信号质量样本对应的第一分值;计算各个所述信号强度样本和/或所述信号质量样本对应的第一分值的平均值,得到所述运营商网络的信号信息评分。
可选地,上述网络信息还包括运营商网络的速率信息。
可选地,上述质量确定单元302可以具体用于:根据所述运营商网络的速率信息,确定所述运营商网络的速率信息评分;根据所述速率信息评分,计算得到所述运营商网络的网络服务质量。
可选地,上述信息获取单元301可以具体用于:获取至少一个第二终端分别在第二预设时间段内的速率样本,所述速率样本的数量大于或等于第二预设数量,所述速率样本包含传输速率以及产生所述传输速率的起止时刻;其中,所述第二终端是所述区域内连接所述运营商网络的终端。
可选地,上述质量确定单元302可以具体用于:从所述速率样本中,分别确定至少一个所述第二终端分别在每个所述第一时间切片中的有效速率样本;所述有效速率样本是指所述速率样本对应的起和/或止时间在所述第一时间切片内的速率样本;根据所述有效速率样本,确定所述运营商网络的速率信息评分。
可选地,上述质量确定单元302可以具体用于:根据每个所述第二终端在每个所述第一时间切片内的所述有效速率样本的速率,计算每个所述第二终端在每个所述第一时间切片内的速率平均值;将同一所述第一时间切片内所有所述第二终端的最大速率平均值作为所述运营商在对应的所述第一时间切片的最终速率;根据超过预设的速率评分规则中各速率阈值的所述最终速率的数量,确定所述速率信息评分。
可选地,上述网络信息还包括拥塞信息,所述拥塞信息用于指示网络发生网络拥塞的情况。
可选地,上述质量确定单元302可以具体用于:根据所述运营商网络的拥塞信息,确定所述运营商网络的拥塞比例;根据所述拥塞比例,计算得到所述运营商网络的网络服务质量。
可选地,上述信息获取单元301可以具体用于:获取至少一个第三终端分别在第三预设时间段内的拥塞样本,所述拥塞样本的数量大于或等于第三预设数量,所述拥塞样本包含拥塞信息以及产生所述拥塞信息的起止时刻;其中,所述第三终端是所述区域内连接所述运营商网络的终端。
可选地,上述质量确定单元302可以具体用于:从所述拥塞样本中,分别确定至少一个所述第三终端分别在每个所述第二时间切片中的有效拥塞样本;所述有效拥塞样本是指拥塞样本对应的起和/或止时间在所述第二时间切片内的拥塞样本;根据所述有效拥塞样本,确定所述运营商网络的拥塞比例。
可选地,上述质量确定单元302可以具体用于:根据每个所述第三终端在每个所述第二时间切片内的所有所述有效拥塞样本,计算所有所述第三终端在每个所述第二时间切片内的拥塞次数总和,以及每个所述第二时间切片内的最大拥塞次数;将所述拥塞次数总和和同一所述第二时间切片的所述最大拥塞次数的比值与预设的比值阈值进行比较,并将比值大于所述比值阈值的所述第二时间切片标记为拥塞切片;计算所述拥塞切片的个数与所述第二时间切片的总个数之间的比值,得到所述拥塞比例。
可选地,上述质量确定单元302可以具体用于:根据所述网络信息,分别确定信号信息评分、速率信息评分和拥塞比例;根据所述速率信息评分,查询与所述速率信息评分对应的权重,其中,速率信息评分对应的权重与速率信息评分成正比;当所述速率信息评分大于预设的速率信息评分门限值时,通过以下公式计算所述运营商网络的网络服务质量:Level=s1*w+s2*(1-w);其中,Level表示所述运营商网络的网络服务质量,s1表示所述速率信息评分,s2表示所述信号信息评分,w表示与所述速率信息评分对应的权重;当所述速率信息评分不大于所述速率信息评分门限值时,通过以下公式计算所述运营商网络的网络服务质量:Level=[s1*w+s2*(1-w)]*(1-r);其中,r表示所述拥塞比例。
需要说明的是,为描述的方便和简洁,上述网络服务质量评估装置300的具体工作过程,可以参考前述网络服务质量评估方法的对应过程,在此不再赘述。
图4为本申请一实施例提供的服务器的结构示意图。如图4所示,该实施例的服务器4包括:至少一个处理器40(图4中仅示出一个)、存储器41以及存储在上述存储器41中并可在上述至少一个处理器40上运行的计算机程序42,上述处理器40执行上述计算机程序42时实现本申请实施例提供的网络服务质量评估方法的步骤。
本领域技术人员可以理解,图4仅仅是服务器4的举例,并不构成对服务器4的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括网络通信模块43、输入输出设备、网络接入设备等。
所称处理器40可以是中央处理单元(Central Processing Unit,CPU)。
上述存储器41在一些实施例中可以是上述服务器4的内部存储单元,例如服务器4的硬盘或内存。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (17)

1.一种网络服务质量评估方法,其特征在于,包括:
获取区域内的运营商网络的网络信息;
根据所述网络信息,确定所述运营商网络的网络服务质量,所述网络服务质量用于分配云卡;
所述根据所述网络信息,确定所述运营商网络的网络服务质量,包括:根据所述网络信息,分别确定信号信息评分、速率信息评分和拥塞比例;
根据所述速率信息评分,查询与所述速率信息评分对应的权重,其中,速率信息评分对应的权重与速率信息评分成正比;
当所述速率信息评分大于预设的速率信息评分门限值时,通过以下公式计算所述运营商网络的网络服务质量:Level=s1*w+s2*(1-w);其中,Level表示所述运营商网络的网络服务质量,s1表示所述速率信息评分,s2表示所述信号信息评分,w表示与所述速率信息评分对应的权重;
当所述速率信息评分不大于所述速率信息评分门限值时,通过以下公式计算所述运营商网络的网络服务质量:Level=[s1*w+s2*(1-w)]*(1-r);其中,r表示所述拥塞比例。
2.根据权利要求1所述的网络服务质量评估方法,其特征在于,所述网络信息包括信号信息,所述信号信息用于指示网络的信号强度和/或信号质量。
3.根据权利要求2所述的网络服务质量评估方法,其特征在于,所述根据所述网络信息,确定所述运营商网络的网络服务质量,包括:
根据所述运营商网络的信号信息,确定所述运营商网络的信号信息评分;
根据所述信号信息评分,计算得到所述运营商网络的网络服务质量。
4.根据权利要求3所述的网络服务质量评估方法,其特征在于,所述获取区域内的运营商网络的网络信息,包括:
获取至少一个第一终端在第一预设时间段内的信号强度样本和/或信号质量样本,所述信号强度样本和所述信号质量样本的数量均大于或等于第一预设数量;
其中,所述第一终端是所述区域内连接所述运营商网络的终端。
5.根据权利要求4所述的网络服务质量评估方法,其特征在于,所述根据所述运营商网络的信号信息,确定所述运营商网络的信号信息评分,包括:
针对每个信号强度样本和/或信号质量样本,获取所述信号强度样本和/或信号质量样本对应的信号制式,以及所述信号制式下的至少两个预设的信号强度区间和/或信号质量区间,其中,所述至少两个预设的信号强度区间和/或信号质量区间分别对应预设的第一分值;
根据所述信号强度样本和/或所述信号质量样本所属的目标信号强度区间和/或目标信号质量区间,确定所述信号强度样本和/或所述信号质量样本对应的第一分值;
计算各个所述信号强度样本和/或所述信号质量样本对应的第一分值的平均值,得到所述运营商网络的信号信息评分。
6.根据权利要求1所述的网络服务质量评估方法,其特征在于,所述网络信息包括所述运营商网络的速率信息,所述速率信息用于指示网络的实际传输速率。
7.根据权利要求6所述的网络服务质量评估方法,其特征在于,所述根据所述网络信息,确定所述运营商网络的网络服务质量,包括:
根据所述运营商网络的速率信息,确定所述运营商网络的速率信息评分;
根据所述速率信息评分,计算得到所述运营商网络的网络服务质量。
8.根据权利要求7所述的网络服务质量评估方法,其特征在于,所述获取区域内的运营商网络的网络信息,包括:
获取至少一个第二终端分别在第二预设时间段内的速率样本,所述速率样本的数量大于或等于第二预设数量,所述速率样本包含传输速率以及产生所述传输速率的起止时刻;
其中,所述第二终端是所述区域内连接所述运营商网络的终端。
9.根据权利要求8所述的网络服务质量评估方法,其特征在于,所述第二预设时间段包含多个第一时间切片;
所述根据所述运营商网络的速率信息,确定所述运营商网络的速率信息评分,包括:
从所述速率样本中,分别确定至少一个所述第二终端分别在每个所述第一时间切片中的有效速率样本;所述有效速率样本是指所述速率样本对应的起和/或止时间在所述第一时间切片内的速率样本;
根据所述有效速率样本,确定所述运营商网络的速率信息评分。
10.根据权利要求9所述的网络服务质量评估方法,其特征在于,所述根据所述有效速率样本,确定所述运营商网络的速率信息评分,包括:
根据每个所述第二终端在每个所述第一时间切片内的所述有效速率样本的速率,计算每个所述第二终端在每个所述第一时间切片内的速率平均值;
将同一所述第一时间切片内所有所述第二终端的最大速率平均值作为所述运营商网络在对应的所述第一时间切片的最终速率;
根据超过预设的速率评分规则中各速率阈值的所述最终速率的数量,确定所述速率信息评分。
11.根据权利要求1所述的网络服务质量评估方法,其特征在于,所述网络信息包括拥塞信息,所述拥塞信息用于指示网络发生网络拥塞的情况。
12.根据权利要求11所述的网络服务质量评估方法,其特征在于,所述根据所述网络信息,确定所述运营商网络的网络服务质量,包括:
根据所述运营商网络的拥塞信息,确定所述运营商网络的拥塞比例;
根据所述拥塞比例,计算得到所述运营商网络的网络服务质量。
13.根据权利要求12所述的网络服务质量评估方法,其特征在于,所述获取区域内的运营商网络的网络信息,包括:
获取至少一个第三终端分别在第三预设时间段内的拥塞样本,所述拥塞样本的数量大于或等于第三预设数量,所述拥塞样本包含拥塞信息以及产生所述拥塞信息的起止时刻;
其中,所述第三终端是所述区域内连接所述运营商网络的终端。
14.根据权利要求13所述的网络服务质量评估方法,其特征在于,所述第三预设时间段包含多个第二时间切片;所述根据所述运营商网络的拥塞信息,确定所述运营商网络的拥塞比例,包括:
从所述拥塞样本中,分别确定至少一个所述第三终端分别在每个所述第二时间切片中的有效拥塞样本;所述有效拥塞样本是指拥塞样本对应的起和/或止时间在所述第二时间切片内的拥塞样本;
根据所述有效拥塞样本,确定所述运营商网络的拥塞比例。
15.根据权利要求14所述的网络服务质量评估方法,其特征在于,所述根据所述有效拥塞样本,确定所述运营商网络的拥塞比例,包括:
根据每个所述第三终端在每个所述第二时间切片内的所有所述有效拥塞样本,计算所有所述第三终端在每个所述第二时间切片内的拥塞次数总和,以及每个所述第二时间切片内的最大拥塞次数;
将所述拥塞次数总和和同一所述第二时间切片的所述最大拥塞次数的比值与预设的比值阈值进行比较,并将比值大于所述比值阈值的所述第二时间切片标记为拥塞切片;
计算所述拥塞切片的个数与所述第二时间切片的总个数之间的比值,得到所述拥塞比例。
16.一种网络服务质量评估装置,其特征在于,包括:
信息获取单元,用于获取区域内的运营商网络的网络信息;
质量确定单元,用于根据所述网络信息,确定所述运营商网络的网络服务质量,所述网络服务质量用于分配云卡;
所述质量确定单元用于:根据所述网络信息,分别确定信号信息评分、速率信息评分和拥塞比例;根据所述速率信息评分,查询与所述速率信息评分对应的权重,其中,速率信息评分对应的权重与速率信息评分成正比;当所述速率信息评分大于预设的速率信息评分门限值时,通过以下公式计算所述运营商网络的网络服务质量:Level=s1*w+s2*(1-w);其中,Level表示所述运营商网络的网络服务质量,s1表示所述速率信息评分,s2表示所述信号信息评分,w表示与所述速率信息评分对应的权重;当所述速率信息评分不大于所述速率信息评分门限值时,通过以下公式计算所述运营商网络的网络服务质量:Level=[s1*w+s2*(1-w)]*(1-r);其中,r表示所述拥塞比例。
17.一种服务器,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至15任一项所述的评估方法的步骤。
CN202210020939.9A 2022-01-10 2022-01-10 一种网络服务质量评估方法、装置及服务器 Active CN114501496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210020939.9A CN114501496B (zh) 2022-01-10 2022-01-10 一种网络服务质量评估方法、装置及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210020939.9A CN114501496B (zh) 2022-01-10 2022-01-10 一种网络服务质量评估方法、装置及服务器

Publications (2)

Publication Number Publication Date
CN114501496A CN114501496A (zh) 2022-05-13
CN114501496B true CN114501496B (zh) 2024-04-12

Family

ID=81509898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210020939.9A Active CN114501496B (zh) 2022-01-10 2022-01-10 一种网络服务质量评估方法、装置及服务器

Country Status (1)

Country Link
CN (1) CN114501496B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002859B (zh) * 2022-06-28 2023-10-03 亿航智能设备(广州)有限公司 一种飞行器的运营商网络切换方法、设备及存储介质
CN115297044B (zh) * 2022-06-29 2024-02-06 深圳市图麟科技有限公司 一种便于路由器调试信号的测试方法及其设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017022912A1 (ko) * 2015-08-04 2017-02-09 연세대학교 산학협력단 무선 통신 네트워크의 혼잡 상황을 제어하는 방법 및 장치
CN106792945A (zh) * 2017-01-09 2017-05-31 北京小米移动软件有限公司 漫游运营商选取方法及装置
CN109511107A (zh) * 2018-11-26 2019-03-22 广州鲁邦通物联网科技有限公司 一种移动网络智能漫游选择方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3120605B1 (en) * 2014-03-17 2020-01-08 Telefonaktiebolaget LM Ericsson (publ) Congestion level configuration for radio access network congestion handling

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017022912A1 (ko) * 2015-08-04 2017-02-09 연세대학교 산학협력단 무선 통신 네트워크의 혼잡 상황을 제어하는 방법 및 장치
CN106792945A (zh) * 2017-01-09 2017-05-31 北京小米移动软件有限公司 漫游运营商选取方法及装置
CN109511107A (zh) * 2018-11-26 2019-03-22 广州鲁邦通物联网科技有限公司 一种移动网络智能漫游选择方法

Also Published As

Publication number Publication date
CN114501496A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN114501496B (zh) 一种网络服务质量评估方法、装置及服务器
CN109996258B (zh) 无线网络利用率评估方法、装置、计算设备及存储介质
CN109391950B (zh) 终端分布的预测方法、装置、设备及介质
CN111327450A (zh) 一种质差原因的确定方法、装置、设备及介质
CN101330709B (zh) 一种确定数据业务服务质量的方法和装置
CN104244317A (zh) 确定室内话务状态、室内话务量的方法和设备
EP3905572A1 (en) Coverage level indication information reporting method and device, and user equipment
CN108093427A (zh) 一种VoLTE业务质量评估方法及系统
CN111866847B (zh) 移动通信网络数据分析方法、设备及计算机存储介质
WO2022183729A1 (zh) 用户感知评估方法、装置、终端及存储介质
CN103648128B (zh) 一种确定系统间切换门限的方法及装置
CN109068335B (zh) 一种网络覆盖参数设置的方法和装置
CN113810941B (zh) Prb利用率的计算方法及装置
US6721909B2 (en) High dynamic range error rate monitor
CN114710801A (zh) 网络性能的测评参数的处理方法、装置、存储介质及设备
CN108243039B (zh) 交通干线网络综合分析方法及装置
CN101208875A (zh) 用于确定通信系统中呼叫质量的设备及方法
CN111132193B (zh) 一种小区评估方法和装置
CN114745289A (zh) 网络性能数据的预测方法、装置、存储介质及设备
CN114268961A (zh) 模型训练方法、共享基站的调参方法、装置和设备
CN108632846B (zh) 语音容量的评估方法及装置
CN111026622B (zh) 测试被测系统最大服务请求量的方法及装置
CN111935769B (zh) 质差小区识别方法、装置和设备
CN112312448B (zh) 一种rrc连接数的评估方法和装置
CN104754636A (zh) 一种小区负荷状态的检测方法及通信设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant