CN112350881A - 测试交换机性能的方法和装置 - Google Patents
测试交换机性能的方法和装置 Download PDFInfo
- Publication number
- CN112350881A CN112350881A CN201910734446.XA CN201910734446A CN112350881A CN 112350881 A CN112350881 A CN 112350881A CN 201910734446 A CN201910734446 A CN 201910734446A CN 112350881 A CN112350881 A CN 112350881A
- Authority
- CN
- China
- Prior art keywords
- switch
- tested
- test
- testing
- route
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 326
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012795 verification Methods 0.000 claims abstract description 87
- 230000008859 change Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000010998 test method Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/50—Testing arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了测试交换机性能的方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:向待测试交换机和测试设备下发配置,并根据配置,控制待测试交换机与测试设备建立邻居关系,以形成网络模型;根据待测试交换机的路由规格参数,控制测试设备利用网络模型对待测试交换机的路由学习规格进行验证;在路由学习规格验证通过的情况下,采用多线程方式对待测试交换机的路由学习速率进行至少一次测试,获得路由学习速率测试数据。该实施方式能够远程控制待测试交换机和测试设备建立邻居关系,接着对待测试交换机进行学习规格验证,并采用多线程的技术手段获取路由学习速率测试数据,提高了测试数据的精度,减小测试误差。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种测试交换机性能的方法和装置。
背景技术
交换机(switch)是一种在通信系统中完成信息交换功能的设备,互联网公司以及各大运营商在采购交换机设备时,会对该交换机设备的性能规格参数进行验证。目前,采用人工与测试仪结合的方法对交换机的性能规格进行测试,通过测试仪的界面显示得到测试数据,但是这样得到的测试数据受限于测试仪的精度,由于现有测试仪的精度以秒为单位,那么采用测试仪得到的测试数据的单位也是以秒为单位的。
可见,对于以微秒为单位的性能,比如说路由学习速率(即,交换机学习到一定数目路由的最快速率),采用现有测试方法得到的路由学习速率测试数据存在精度不足的缺陷。因此,在实现本发明过程中,发明人发现现有技术中至少存在如下问题:采用测试仪得到的测试数据精度不足;人工测试效率比较低。
发明内容
有鉴于此,本发明实施例提供一种测试交换机性能的方法和装置,能够远程控制待测试交换机和测试设备,获取路由学习速率测试数据,提高了测试数据的精度,减小测试误差。
为实现上述目的,根据本发明实施例的第一方面,提供了一种测试交换机性能的方法。
本发明实施例的一种测试交换机性能的方法,包括:向待测试交换机和测试设备下发配置,并根据所述配置,控制所述待测试交换机与所述测试设备建立邻居关系,以形成网络模型;根据所述待测试交换机的路由规格参数,控制所述测试设备利用所述网络模型对所述待测试交换机的路由学习规格进行验证;在路由学习规格验证通过的情况下,采用多线程方式对所述待测试交换机的路由学习速率进行至少一次测试,获得路由学习速率测试数据。
可选地,所述向待测试交换机和测试设备下发配置,并根据所述配置,控制所述待测试交换机与所述测试设备建立邻居关系,包括:设置所述待测试交换机的第一交换机端口和第二交换机端口为网络连接地址端口;向所述待测试交换机和所述测试设备下发外部边界网关协议配置;根据所述外部边界网关协议配置,控制所述第一交换机端口与所述测试设备的第一测试端口建立外部边界网关协议邻居,并控制所述第二交换机端口与所述测试设备的第二测试端口建立外部边界网关协议邻居。
可选地,在向所述待测试交换机和所述测试设备下发外部边界网关协议配置之后,所述方法还包括:向所述待测试交换机发送验证配置信息请求,并接收所述待测试交换机返回的配置信息;采用正则表达式,判断所述待测试交换机返回的配置信息与预期配置信息是否相同,若相同,则确认验证通过,并控制所述待测试交换机与所述测试设备建立邻居关系;其中,所述待测试交换机返回的配置信息为所述待测试交换机采用show/display命令获取到的配置信息。
可选地,所述根据所述待测试交换机的路由规格参数,控制所述测试设备利用所述网络模型对所述待测试交换机的路由学习规格进行验证,包括:获取所述待测试交换机的路由规格参数,并控制所述测试设备建立基于所述网络模型的验证流,所述验证流的路由规格是根据所述待测试交换机的路由规格参数确定的;控制所述测试设备将所述验证流从所述第二交换机端口打向所述第一交换机端口,或者控制所述测试设备将所述验证流从所述第一交换机端口打向所述第二交换机端口;判断所述待测试交换机是否可以正确转发所述验证流,若是,则确认所述待测试交换机的路由学习规格验证通过,并撤销所述待测试交换机学习到的路由。
可选地,在根据预设测试次数,采用多线程方式对所述待测试交换机的路由学习速率进行测试之前,所述方法还包括:在预设时间内,判断所述验证流的收包速率是否为零,若是,则确认已经撤销所述待测试交换机学习到的路由,并对所述待测试交换机的路由学习速率进行测试。
可选地,所述采用多线程方式对所述待测试交换机的路由学习速率进行至少一次测试,获得路由学习速率测试数据,包括:针对所述至少一次测试中的每次测试,利用第一线程控制所述测试设备建立基于所述网络模型的测试流,利用第二线程监督所述测试流的变化,并根据变化结果确定路由学习时间;根据所述路由学习时间和所述待测试交换机的路由规格参数,计算得到路由学习速率测试子数据;计算所述至少一次测试得到的路由学习速率测试子数据的平均值,得到所述路由学习速率测试数据。
为实现上述目的,根据本发明实施例的第二方面,提供了一种测试交换机性能的装置。
本发明实施例的一种测试交换机性能的装置,包括:配置模块,用于向待测试交换机和测试设备下发配置,并根据所述配置,控制所述待测试交换机与所述测试设备建立邻居关系,以形成网络模型;验证模块,用于根据所述待测试交换机的路由规格参数,控制所述测试设备利用所述网络模型对所述待测试交换机的路由学习规格进行验证;测试模块,用于在路由学习规格验证通过的情况下,采用多线程方式对所述待测试交换机的路由学习速率进行至少一次测试,获得路由学习速率测试数据。
可选地,所述配置模块还用于:设置所述待测试交换机的第一交换机端口和第二交换机端口为网络连接地址端口;向所述待测试交换机和所述测试设备下发外部边界网关协议配置;根据所述外部边界网关协议配置,控制所述第一交换机端口与所述测试设备的第一测试端口建立外部边界网关协议邻居,并控制所述第二交换机端口与所述测试设备的第二测试端口建立外部边界网关协议邻居。
可选地,所述配置模块还用于:向所述待测试交换机发送验证配置信息请求,并接收所述待测试交换机返回的配置信息;采用正则表达式,判断所述待测试交换机返回的配置信息与预期配置信息是否相同,若相同,则确认验证通过,并控制所述待测试交换机与所述测试设备建立邻居关系;其中,所述待测试交换机返回的配置信息为所述待测试交换机采用show/display命令获取到的配置信息。
可选地,所述验证模块还用于:获取所述待测试交换机的路由规格参数,并控制所述测试设备建立基于所述网络模型的验证流,所述验证流的路由规格是根据所述待测试交换机的路由规格参数确定的;控制所述测试设备将所述验证流从所述第二交换机端口打向所述第一交换机端口,或者控制所述测试设备将所述验证流从所述第一交换机端口打向所述第二交换机端口;判断所述待测试交换机是否可以正确转发所述验证流,若是,则确认所述待测试交换机的路由学习规格验证通过,并撤销所述待测试交换机学习到的路由。
可选地,所述验证模块还用于:在预设时间内,判断所述验证流的收包速率是否为零,若是,则确认已经撤销所述待测试交换机学习到的路由,并对所述待测试交换机的路由学习速率进行测试。
可选地,所述测试模块还用于:针对所述至少一次测试中的每次测试,利用第一线程控制所述测试设备建立基于所述网络模型的测试流,利用第二线程监督所述测试流的变化,并根据变化结果确定路由学习时间;根据所述路由学习时间和所述待测试交换机的路由规格参数,计算得到路由学习速率测试子数据;计算所述至少一次测试得到的路由学习速率测试子数据的平均值,得到所述路由学习速率测试数据。
为实现上述目的,根据本发明实施例的第三方面,提供了一种电子设备。
本发明实施例的一种电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现本发明实施例的测试交换机性能的方法。
为实现上述目的,根据本发明实施例的第四方面,提供了一种计算机可读介质。
本发明实施例的一种计算机可读介质,其上存储有计算机程序,程序被处理器执行时实现本发明实施例的测试交换机性能的方法。
上述发明中的一个实施例具有如下优点或有益效果:能够远程控制待测试交换机和测试设备,建立待测试交换机和测试设备之间的网络模型,这样可以利用建立的网络模型对待测试交换机的性能进行测试,所以克服了现有技术中需要人工进行测试的技术问题,并且可以先通过建立的网络模型对待测试交换机的路由学习规格验证,还采用多线程的方式对路由学习速率进行多次测试,得到测试数据,所以克服了采用测试设备得到的数据精确度不足的技术问题,提高了测试数据的精度,减小测试误差。此外,本发明实施例中在向待测试交换机下发配置之后,还利用正则表达式对下发的配置信息进行验证,从而可以保证测试数据的准确性。还有,本发明实施例中对交换机的路由学习速率进行测试的时候,首先要保证交换机可以学习到相应规格的路由,然后撤销待测试交换机学习到的路由,这样的目的在于使待测试交换机学习到的路由清空,从而可以测试路由学习速率。而且,本发明实施例中采用多线程方式测试路由学习速率,从而可以远程控制交换机和测试仪,获取高精度的测试数据,将测试数据从秒级提升到了微秒级,有效减小测试误差。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明实施例的测试交换机性能的方法的主要步骤的示意图;
图2是根据本发明实施例的测试交换机性能的方法的主要流程的示意图;
图3是根据本发明实施例的测试交换机性能的装置的主要模块的示意图;
图4是本发明实施例可以应用于其中的示例性系统架构图;
图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的测试交换机性能的方法的主要步骤的示意图。作为本发明的一个可参考实施例,如图1所示,本发明实施例的测试交换机性能的方法的主要步骤可以包括:
步骤S101:向待测试交换机和测试设备下发配置,并根据配置,控制待测试交换机与测试设备建立邻居关系,以形成网络模型;
步骤S102:根据待测试交换机的路由规格参数,控制测试设备利用网络模型对待测试交换机的路由学习规格进行验证;
步骤S103:在路由学习规格验证通过的情况下,采用多线程方式对待测试交换机的路由学习速率进行至少一次测试,获得路由学习速率测试数据。
从步骤S101至步骤S103可以看出,本发明实施例的测试交换机性能的方法中,首先远程控制待测试交换机和测试设备,向待测试交换机和测试设备下发配置信息,然后会根据配置信息,建立待测试交换机和测试设备之间的邻居关系,这样就可以形成待测试交换机与测试设备之间的网络模型。在建立网络模型之后,就可以控制测试设备通过网络模型对待测试交换机的路由学习规格进行验证。本发明实施例中的对待测试交换机的路由学习规格进行验证就是测试交换机的是否可以学习到相应规格的路由,此处的相应规格的路由可以通过待测试交换机的路由规格参数获取,并且交换机路由规格参数以被测设备的最高参数为准,比如说交换机的路由规格是8k,那么就是测试交换机是否可以学到8k规格的路由,如果交换机可以学到8k规格的路由,则认为交换机的路由学习规格验证通过。在本发明实施例中,只有确保交换机的路由学习规划验证通过,才可以继续测试该交换机的路由学习速率。因此,在步骤S103中,在确保路由学习规格验证通过的情况下,可以采用多线程方式对待测试交换机的路由学习速率进行至少一次测试,此处的至少一次测试可以得到多次测量值,然后对这些测量值进行均值或者其他计算,得到最终的测试数据,这样做可以在保证测试数据精度的情况下,提高测试数据的准确性。
从上述描述中可以看出,远程控制待测试交换机与测试设备,建立它们之间的邻居关系以形成网络模型,是确保本技术方案的前提基础。作为本发明实施例的又一个可参考实施例,向待测试交换机和测试设备下发配置,并根据配置,控制待测试交换机与测试设备建立邻居关系,可以包括:
步骤S1011:设置待测试交换机的第一交换机端口和第二交换机端口为网络连接地址端口;
步骤S1012:向待测试交换机和测试设备下发外部边界网关协议配置;
步骤S1013:根据外部边界网关协议配置,控制第一交换机端口与测试设备的第一测试端口建立外部边界网关协议邻居,并控制第二交换机端口与测试设备的第二测试端口建立外部边界网关协议邻居。
本发明实施例中在建立待测试交换机与测试设备之间的邻居关系时,首先需要向待测试交换机和测试设备下发配置,其中向待测试交换机下发的配置可以包括网络端口配置和连接关系配置。网络端口配置可以包括:配置待测试交换机的第一交换机端口和第二交换机端口为网络连接地址端口,也就是与测试设备连接的端口,并且为这两个端口配置网络连接地址。此处需要注意的是,本发明实施例中的测试时需要用到的端口为第一交换机端口和第二交换机端口,不涉及到其他端口。同时,本发明实施例中的连接关系配置可以为EBGP连接,EBGP全称为External Border Gateway Protocol,也就是外部边界网关协议,可以用于在不同的自治系统间交换路由信息,具体解释为EBGP用于在自治网络中网关主机(每个主机有自己的路由)之间交换路由信息的协议,它使管理员能够在已知的路由策略上配置路由加权,可以更方便地使用无级内部域名路由,它是一种在网络中可以容纳更多地址的机制。
具体地,向待测试交换机下发的连接关系配置为:设置待测试交换机的第一交换机端口与测试设备的第一测试端口建立邻居关系,设置待测试交换机的第二交换机端口与测试设备的第二测试端口建立邻居关系;相应地,向测试设备下发的连接关系配置为:设置测试设备的第一测试端口与待测试交换机的第一交换机端口建立邻居关系,设置测试设备的第二测试端口与待测试交换机的第二交换机端口建立邻居关系。此外,此步骤的配置下发可以但不仅限于通过脚本语言python的paramiko模块或者ansible模块实现。
因此,本发明实施例在步骤S1013中,可以根据下发的EBGP配置,控制第一交换机端口与测试设备的第一测试端口建立EBGP邻居,并控制第二交换机端口与测试设备的第二测试端口建立EBGP邻居,这样就可以形成待测试交换机与测试设备之间的网络模型,然后测试设备可以将一定数量的路由加入到该网络模型中,例如某品牌的测试设备可以利用restful API接口实现将一定数量的路由加入到网络模型中,以通告给待测试交换机,使得待测试交换机可以通过该网络模型学习到路由,从而可以测试该交换机的路由性能。需要注意的是,由于本技术方案是对交换机的性能进行测试,因此此处的一定数量的路由取决于待测试交换机的路由规格参数,比如待测试交换机的路由规格是8k,那么可以从测试设备的第一测试端口灌入8k路由(如,从160.1.1.1开始,步长为1,数量为8k)。
还需要注意的是,本发明实施例中在向待测试交换机和测试设备下发外部边界网关协议配置之后,还需要对下发的配置进行验证,从而可以确保配置信息的准确性,达到提高测试数据精度的目的,具体实现为:向待测试交换机发送验证配置信息请求,并接收待测试交换机返回的配置信息;采用正则表达式,判断待测试交换机返回的配置信息与预期配置信息是否相同,若相同,则确认验证通过,并控制待测试交换机与测试设备建立邻居关系;其中,待测试交换机返回的配置信息为待测试交换机采用show/display命令获取到的配置信息。此外,本发明实施例中向交换机下发的配置信息包括端口配置和连接关系配置,由于端口配置错误会直接导致连接关系的错误,因此需要验证向交换机下发的配置信息是否正确。本发明实施例中,验证交换机的配置是否正确下发,可以向待测试交换机发送请求,请求获取待测试交换机的配置信息,然后待测试交换机在接收到请求之后,通过show/display命令获取到配置信息,然后将该配置信息返回,接着采用正则表达式匹配的方式,验证返回的配置信息是否与预期配置信息相同,如果相同,则确认验证通过,可以控制待测试交换机与测试设备建立邻居关系。
上文描述中详细介绍了建立待测试交换机与测试设备之间的邻居关系,形成网络模型的具体实现方法,接下来分析利用形成的网络模型对待测试交换机的性能进行测试。本技术方案中,对待测试交换机的性能进行验证主要包括两个部分:测试交换机的路由学习规格以及测试交换机的路由学习速率。其中,作为本发明的再一个可参考实施例,根据待测试交换机的路由规格参数,控制测试设备利用网络模型对待测试交换机的路由学习规格进行验证,可以包括:
步骤S1021:获取待测试交换机的路由规格参数,并控制测试设备建立基于网络模型的验证流,验证流的路由规格是根据待测试交换机的路由规格参数确定的;
步骤S1022:控制测试设备将验证流从第二交换机端口打向第一交换机端口,或者控制测试设备将验证流从第一交换机端口打向第二交换机端口;
步骤S1023:判断待测试交换机是否可以正确转发验证流,若是,则确认待测试交换机的路由学习规格验证通过,并撤销待测试交换机学习到的路由。
本发明实施例,在测试交换机的路由学习规格时,控制测试设备建立基于网络模型的验证流,具体操作为可以控制验证流从测试设备的第二测试端口流出,从测试设备的第一测试端口流入,此种情形下,从待测试交换机看,验证流是从第二交换机端口打向第一交换机端口的。当然,本发明实施例中也可以控制验证流从测试设备的第一测试端口流出,从测试设备的第二测试端口流入,此种情形下,从待测试交换机看,验证流是从第一交换机端口打向第二交换机端口的。然后,验证是否所有的验证流均可以被待测试交换机正确转发,当全部验证流可以正确转发时,证明待测试交换机的性能满足待测试交换机的路由规格参数,这是因为本发明实施例中验证流的数量与待测试交换机的路由规格参数相同,也就是上文提到的实例,比如待测试交换机的路由规格是8k,那么可以从测试设备的第一测试端口灌入8k路由(如,从160.1.1.1开始,步长为1,数量为8k)。
还需要注意的是,本发明实施例中如果待测试交换机的路由学习规格验证通过,则可以继续对交换机的路由学习速率进行测试,否则直接确认交换机的路由学习规划验证不通过。还有,本发明实施例中,在对待测试交换机的路由学习规格验证通过的情况下,需要撤销待测试交换机学习到的路由,这样做的目的在于使待测试交换机学习到的路由清空,从而可以测试路由学习速率。
在待测试交换机的路由学习规格验证通过的情况下,说明待测试交换机可以学习到相应规格的路由,因此可以对待测试交换机的路由学习速率进行测试。需要注意的是,在测试路由学习速率之前,需要保证待测试交换机已经情况学习到的路由,因此,在根据预设测试次数,采用多线程方式对待测试交换机的路由学习速率进行测试之前,本发明实施例的测试交换机性能的方法还可以包括:在预设时间内,判断验证流的收包速率是否为零,若是,则确认已经撤销待测试交换机学习到的路由,并对待测试交换机的路由学习速率进行测试。
接下来就可以对待测试交换机的路由学习速率进行测试,作为本发明的又一个可参考实施例,采用多线程方式对待测试交换机的路由学习速率进行至少一次测试,获得路由学习速率测试数据,可以包括:
步骤S1031:针对至少一次测试中的每次测试,利用第一线程控制测试设备建立基于网络模型的测试流,利用第二线程监督测试流的变化,并根据变化结果确定路由学习时间;
步骤S1032:根据路由学习时间和待测试交换机的路由规格参数,计算得到路由学习速率测试子数据;
步骤S1033:计算至少一次测试得到的路由学习速率测试子数据的平均值,得到路由学习速率测试数据。
为了方便理解,接下来提供一个实例,将对交换机已学习到的路由是否情况与具体的测试路由学习速率的过程结合一起描述。首先,设置一个计时器,在计时器有效时间内循环判断验证流收包速率是否为0,如果为0,则说明待测试交换机已经情况学习到的路由,即可以测试交换机的路由学车速率了。接着,建立两个线程,第一线程可以用于向待测试交换机通告路由;第二线程可以用于始终监控待测试交换机路由学习的变化,粒度更细,这样能够在第一时间获取到测试流的变化,获取路由学习时间,且时间单位以微秒为单位。路由学习速率可以采用路由规格除以路由学习时间的方式获得,从而可以获取到更精准的数据。此种监控方式不仅适用于路由学习速率,还包括MAC学习速率(即,交换机根据收到的数据包的源MAC地址更新地址表的最快速率,其中MAC为Media Access Control或者MediumAccess Control地址,意译为媒体访问控制,或称为物理地址、硬件地址,用来定义网络设备的位置)以及ARP学习速率(即,交换机通过收到的ARP请求更新ARP表的最快速率,其中ARP为Address Resolution Protocol),是根据IP地址获取物理地址的一个TCP/IP协议)等。需要注意的是,本发明实施例中为了提高测试数据的准确性,需要进行至少一次测量,然后可以去掉一个最大值,去掉一个最小值,求均值,当然也可以根据实际情况对多次测试得到的数据进行其他处理,对此不作限定。另外,在获取到测试数据之后,需要撤销向交换机下发的所有配置。
图2是根据本发明实施例的测试交换机性能的方法的主要流程的示意图。如图2所示,本发明实施例的测试交换机性能的方法的主要流程可以包括:
步骤S201:设置待测试交换机的第一交换机端口和第二交换机端口为网络连接地址端口;
步骤S202:向待测试交换机和测试设备下发外部边界网关协议配置;
步骤S203:向待测试交换机发送验证配置信息请求,并接收待测试交换机返回的配置信息;
步骤S204:采用正则表达式,判断待测试交换机返回的配置信息与预期配置信息是否相同,若相同,则执行步骤S205,若不相同,则执行步骤S212,其中,待测试交换机返回的配置信息可以为待测试交换机采用show/display命令获取到的配置信息;
步骤S205:根据外部边界网关协议配置,控制第一交换机端口与测试设备的第一测试端口建立外部边界网关协议邻居,并控制第二交换机端口与测试设备的第二测试端口建立外部边界网关协议邻居,以形成网络模型;
步骤S206:获取待测试交换机的路由规格参数,并控制测试设备建立基于网络模型的验证流,验证流的路由规格是根据待测试交换机的路由规格参数确定的;
步骤S207:控制测试设备将验证流从第二交换机端口打向第一交换机端口,或者控制测试设备将验证流从第一交换机端口打向第二交换机端口;
步骤S208:判断待测试交换机是否可以正确转发验证流,若是,则执行步骤S209,否则,执行步骤S212;
步骤S209:确认待测试交换机的路由学习规格验证通过,并撤销待测试交换机学习到的路由;
步骤S210:在预设时间内,判断验证流的收包速率是否为零,若是,则执行步骤S211,否则,执行步骤S212;
步骤S211:确认已经撤销待测试交换机学习到的路由,并对待测试交换机的路由学习速率进行至少一次测试,得到路由学习速率测试数据;
步骤S212:确认对待测试交换机的性能测试失败。
其中,步骤S211可以包括:步骤S2111:针对至少一次测试中的每次测试,利用第一线程控制测试设备建立基于网络模型的测试流,利用第二线程监督测试流的变化,并根据变化结果确定路由学习时间;
步骤S2112:根据路由学习时间和待测试交换机的路由规格参数,计算得到路由学习速率测试子数据;
步骤S2113:计算至少一次测试得到的路由学习速率测试子数据的平均值,得到路由学习速率测试数据。
根据本发明实施例的测试交换机性能的技术方案,能够远程控制待测试交换机和测试设备,建立待测试交换机和测试设备之间的网络模型,这样可以利用建立的网络模型对待测试交换机的性能进行测试,所以克服了现有技术中需要人工进行测试的技术问题,并且可以先通过建立的网络模型对待测试交换机的路由学习规格验证,还采用多线程的方式对路由学习速率进行多次测试,得到测试数据,所以克服了采用测试设备得到的数据精确度不足的技术问题,提高了测试数据的精度,减小测试误差。此外,本发明实施例中在向待测试交换机下发配置之后,还利用正则表达式对下发的配置信息进行验证,从而可以保证测试数据的准确性。还有,本发明实施例中对交换机的路由学习速率进行测试的时候,首先要保证交换机可以学习到相应规格的路由,然后撤销待测试交换机学习到的路由,这样的目的在于使待测试交换机学习到的路由清空,从而可以测试路由学习速率。而且,本发明实施例中采用多线程方式测试路由学习速率,从而可以远程控制交换机和测试仪,获取高精度的测试数据,将测试数据从秒级提升到了微秒级,有效减小测试误差。
图3是根据本发明实施例的测试交换机性能的装置的主要模块的示意图。如图3所示,本发明实施例的测试交换机性能的装置300主要包括以下模块:配置模块301、验证模块302和测试模块303。
其中,配置模块301可用于向待测试交换机和测试设备下发配置,并根据配置,控制待测试交换机与测试设备建立邻居关系,以形成网络模型;验证模块302可用于根据待测试交换机的路由规格参数,控制测试设备利用网络模型对待测试交换机的路由学习规格进行验证;测试模块303可用于在路由学习规格验证通过的情况下,采用多线程方式对待测试交换机的路由学习速率进行至少一次测试,获得路由学习速率测试数据。
本发明实施例中,配置模块301还可用于:设置待测试交换机的第一交换机端口和第二交换机端口为网络连接地址端口;向待测试交换机和测试设备下发外部边界网关协议配置;根据外部边界网关协议配置,控制第一交换机端口与测试设备的第一测试端口建立外部边界网关协议邻居,并控制第二交换机端口与测试设备的第二测试端口建立外部边界网关协议邻居。
本发明实施例中,配置模块301还可用于:向待测试交换机发送验证配置信息请求,并接收待测试交换机返回的配置信息;采用正则表达式,判断待测试交换机返回的配置信息与预期配置信息是否相同,若相同,则确认验证通过,并控制待测试交换机与测试设备建立邻居关系;其中,待测试交换机返回的配置信息为待测试交换机采用show/displa5命令获取到的配置信息。
本发明实施例中,验证模块302还可用于:获取待测试交换机的路由规格参数,并控制测试设备建立基于网络模型的验证流,验证流的路由规格是根据待测试交换机的路由规格参数确定的;控制测试设备将验证流从第二交换机端口打向第一交换机端口,或者控制测试设备将验证流从第一交换机端口打向第二交换机端口;判断待测试交换机是否可以正确转发验证流,若是,则确认待测试交换机的路由学习规格验证通过,并撤销待测试交换机学习到的路由。
本发明实施例中,验证模块302还可用于:在预设时间内,判断验证流的收包速率是否为零,若是,则确认已经撤销待测试交换机学习到的路由,并对待测试交换机的路由学习速率进行测试。
本发明实施例中,测试模块303还可用于:针对至少一次测试中的每次测试,利用第一线程控制测试设备建立基于网络模型的测试流,利用第二线程监督测试流的变化,并根据变化结果确定路由学习时间;根据路由学习时间和待测试交换机的路由规格参数,计算得到路由学习速率测试子数据;计算至少一次测试得到的路由学习速率测试子数据的平均值,得到路由学习速率测试数据。
从以上描述可以看出,本发明实施例的测试交换机性能的装置,能够远程控制待测试交换机和测试设备,建立待测试交换机和测试设备之间的网络模型,这样可以利用建立的网络模型对待测试交换机的性能进行测试,所以克服了现有技术中需要人工进行测试的技术问题,并且可以先通过建立的网络模型对待测试交换机的路由学习规格验证,还采用多线程的方式对路由学习速率进行多次测试,得到测试数据,所以克服了采用测试设备得到的数据精确度不足的技术问题,提高了测试数据的精度,减小测试误差。此外,本发明实施例中在向待测试交换机下发配置之后,还利用正则表达式对下发的配置信息进行验证,从而可以保证测试数据的准确性。还有,本发明实施例中对交换机的路由学习速率进行测试的时候,首先要保证交换机可以学习到相应规格的路由,然后撤销待测试交换机学习到的路由,这样的目的在于使待测试交换机学习到的路由清空,从而可以测试路由学习速率。而且,本发明实施例中采用多线程方式测试路由学习速率,从而可以远程控制交换机和测试仪,获取高精度的测试数据,将测试数据从秒级提升到了微秒级,有效减小测试误差。
图4示出了可以应用本发明实施例的测试交换机性能的方法或测试交换机性能的装置的示例性系统架构400。
如图4所示,系统架构400可以包括终端设备401、402、403,网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备401、402、403通过网络404与服务器405交互,以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器405可以是提供各种服务的服务器,例如对用户利用终端设备401、402、403所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理,并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是,本发明实施例所提供的测试交换机性能的方法一般由服务器405执行,相应地,测试交换机性能的装置一般设置于服务器405中。
应该理解,图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图5,其示出了适于用来实现本发明实施例的终端设备的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,计算机系统500包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括配置模块、验证模块和测试模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,配置模块还可以被描述为“向待测试交换机和测试设备下发配置,并根据配置,控制待测试交换机与测试设备建立邻居关系,以形成网络模型的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:向待测试交换机和测试设备下发配置,并根据配置,控制待测试交换机与测试设备建立邻居关系,以形成网络模型;根据待测试交换机的路由规格参数,控制测试设备利用网络模型对待测试交换机的路由学习规格进行验证;在路由学习规格验证通过的情况下,采用多线程方式对待测试交换机的路由学习速率进行至少一次测试,获得路由学习速率测试数据。
根据本发明实施例的技术方案,能够远程控制待测试交换机和测试设备,建立待测试交换机和测试设备之间的网络模型,这样可以利用建立的网络模型对待测试交换机的性能进行测试,所以克服了现有技术中需要人工进行测试的技术问题,并且可以先通过建立的网络模型对待测试交换机的路由学习规格验证,还采用多线程的方式对路由学习速率进行多次测试,得到测试数据,所以克服了采用测试设备得到的数据精确度不足的技术问题,提高了测试数据的精度,减小测试误差。此外,本发明实施例中在向待测试交换机下发配置之后,还利用正则表达式对下发的配置信息进行验证,从而可以保证测试数据的准确性。还有,本发明实施例中对交换机的路由学习速率进行测试的时候,首先要保证交换机可以学习到相应规格的路由,然后撤销待测试交换机学习到的路由,这样的目的在于使待测试交换机学习到的路由清空,从而可以测试路由学习速率。而且,本发明实施例中采用多线程方式测试路由学习速率,从而可以远程控制交换机和测试仪,获取高精度的测试数据,将测试数据从秒级提升到了微秒级,有效减小测试误差。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (9)
1.一种测试交换机性能的方法,其特征在于,包括:
向待测试交换机和测试设备下发配置,并根据所述配置,控制所述待测试交换机与所述测试设备建立邻居关系,以形成网络模型;
根据所述待测试交换机的路由规格参数,控制所述测试设备利用所述网络模型对所述待测试交换机的路由学习规格进行验证;
在路由学习规格验证通过的情况下,采用多线程方式对所述待测试交换机的路由学习速率进行至少一次测试,获得路由学习速率测试数据。
2.根据权利要求1所述的方法,其特征在于,所述向待测试交换机和测试设备下发配置,并根据所述配置,控制所述待测试交换机与所述测试设备建立邻居关系,包括:
设置所述待测试交换机的第一交换机端口和第二交换机端口为网络连接地址端口;
向所述待测试交换机和所述测试设备下发外部边界网关协议配置;
根据所述外部边界网关协议配置,控制所述第一交换机端口与所述测试设备的第一测试端口建立外部边界网关协议邻居,并控制所述第二交换机端口与所述测试设备的第二测试端口建立外部边界网关协议邻居。
3.根据权利要求2所述的方法,其特征在于,在向所述待测试交换机和所述测试设备下发外部边界网关协议配置之后,所述方法还包括:
向所述待测试交换机发送验证配置信息请求,并接收所述待测试交换机返回的配置信息;
采用正则表达式,判断所述待测试交换机返回的配置信息与预期配置信息是否相同,若相同,则确认验证通过,并控制所述待测试交换机与所述测试设备建立邻居关系;其中,
所述待测试交换机返回的配置信息为所述待测试交换机采用show/display命令获取到的配置信息。
4.根据权利要求2所述的方法,其特征在于,所述根据所述待测试交换机的路由规格参数,控制所述测试设备利用所述网络模型对所述待测试交换机的路由学习规格进行验证,包括:
获取所述待测试交换机的路由规格参数,并控制所述测试设备建立基于所述网络模型的验证流,所述验证流的路由规格是根据所述待测试交换机的路由规格参数确定的;
控制所述测试设备将所述验证流从所述第二交换机端口打向所述第一交换机端口,或者控制所述测试设备将所述验证流从所述第一交换机端口打向所述第二交换机端口;
判断所述待测试交换机是否可以正确转发所述验证流,若是,则确认所述待测试交换机的路由学习规格验证通过,并撤销所述待测试交换机学习到的路由。
5.根据权利要求4所述的方法,其特征在于,在根据预设测试次数,采用多线程方式对所述待测试交换机的路由学习速率进行测试之前,所述方法还包括:在预设时间内,判断所述验证流的收包速率是否为零,若是,则确认已经撤销所述待测试交换机学习到的路由,并对所述待测试交换机的路由学习速率进行测试。
6.根据权利要求1所述的方法,其特征在于,所述采用多线程方式对所述待测试交换机的路由学习速率进行至少一次测试,获得路由学习速率测试数据,包括:
针对所述至少一次测试中的每次测试,利用第一线程控制所述测试设备建立基于所述网络模型的测试流,利用第二线程监督所述测试流的变化,并根据变化结果确定路由学习时间;
根据所述路由学习时间和所述待测试交换机的路由规格参数,计算得到路由学习速率测试子数据;
计算所述至少一次测试得到的路由学习速率测试子数据的平均值,得到所述路由学习速率测试数据。
7.一种测试交换机性能的装置,其特征在于,包括:
配置模块,用于向待测试交换机和测试设备下发配置,并根据所述配置,控制所述待测试交换机与所述测试设备建立邻居关系,以形成网络模型;
验证模块,用于根据所述待测试交换机的路由规格参数,控制所述测试设备利用所述网络模型对所述待测试交换机的路由学习规格进行验证;
测试模块,用于在路由学习规格验证通过的情况下,采用多线程方式对所述待测试交换机的路由学习速率进行至少一次测试,获得路由学习速率测试数据。
8.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
9.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910734446.XA CN112350881B (zh) | 2019-08-09 | 2019-08-09 | 测试交换机性能的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910734446.XA CN112350881B (zh) | 2019-08-09 | 2019-08-09 | 测试交换机性能的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112350881A true CN112350881A (zh) | 2021-02-09 |
CN112350881B CN112350881B (zh) | 2023-04-07 |
Family
ID=74367705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910734446.XA Active CN112350881B (zh) | 2019-08-09 | 2019-08-09 | 测试交换机性能的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112350881B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104270282A (zh) * | 2014-09-11 | 2015-01-07 | 浙江宇视科技有限公司 | 一种ip网络端到端测试方法和装置 |
CN105703968A (zh) * | 2014-11-28 | 2016-06-22 | 迈普通信技术股份有限公司 | 一种路由容量测试方法、测试装置和测试系统 |
CN106941450A (zh) * | 2016-01-05 | 2017-07-11 | 中兴通讯股份有限公司 | 一种路由同步方法、设备及通信系统 |
CN107547378A (zh) * | 2017-09-28 | 2018-01-05 | 新华三技术有限公司 | 一种vpn路由学习方法和装置 |
-
2019
- 2019-08-09 CN CN201910734446.XA patent/CN112350881B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104270282A (zh) * | 2014-09-11 | 2015-01-07 | 浙江宇视科技有限公司 | 一种ip网络端到端测试方法和装置 |
CN105703968A (zh) * | 2014-11-28 | 2016-06-22 | 迈普通信技术股份有限公司 | 一种路由容量测试方法、测试装置和测试系统 |
CN106941450A (zh) * | 2016-01-05 | 2017-07-11 | 中兴通讯股份有限公司 | 一种路由同步方法、设备及通信系统 |
CN107547378A (zh) * | 2017-09-28 | 2018-01-05 | 新华三技术有限公司 | 一种vpn路由学习方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112350881B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11652665B2 (en) | Intelligent multi-channel VPN orchestration | |
US10333784B2 (en) | Cloud system order and configuration using customized templates | |
CN111104675A (zh) | 系统安全漏洞的检测方法和装置 | |
CN109729040B (zh) | 协议的选择的方法、设备以及计算机可读介质 | |
US20140359693A1 (en) | Coordinated network security management | |
US20170126650A1 (en) | Detecting Social Login Security Flaws Using Database Query Features | |
CN110737891A (zh) | 一种主机入侵检测方法和装置 | |
US20160378631A1 (en) | Validating power paths to it equipment | |
US10594550B2 (en) | Dynamic product installation based on user feedback | |
CN110545230B (zh) | 用于转发vxlan报文的方法和装置 | |
US10129204B2 (en) | Network client ID from external management host via management network | |
US11956639B2 (en) | Internet of things device provisioning | |
US20130007094A1 (en) | Client server communication system | |
CN112350881B (zh) | 测试交换机性能的方法和装置 | |
CN108810130B (zh) | 一种分配请求规划的方法和装置 | |
CN110245065B (zh) | 自动化测试的方法和装置 | |
CN110247847B (zh) | 节点之间回源选路的方法和装置 | |
CN112948138A (zh) | 一种处理消息的方法和装置 | |
CN114430364B (zh) | 信息展示方法、装置、电子设备和计算机可读介质 | |
CN113726885B (zh) | 一种流量配额的调整方法和装置 | |
CN111510358A (zh) | 用于配置从设备的方法、设备和计算机程序产品 | |
US11662927B2 (en) | Redirecting access requests between access engines of respective disk management devices | |
US20170180242A1 (en) | Adaptive software defined networking controller | |
CN111950232B (zh) | 一种自动切换号段的方法和装置 | |
US20180365138A1 (en) | Cloud-based testing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |