CN109150646B - 链路状态检测系统、方法和装置 - Google Patents

链路状态检测系统、方法和装置 Download PDF

Info

Publication number
CN109150646B
CN109150646B CN201710508988.6A CN201710508988A CN109150646B CN 109150646 B CN109150646 B CN 109150646B CN 201710508988 A CN201710508988 A CN 201710508988A CN 109150646 B CN109150646 B CN 109150646B
Authority
CN
China
Prior art keywords
link
controller
detected
detection packet
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710508988.6A
Other languages
English (en)
Other versions
CN109150646A (zh
Inventor
丁雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Cloud Computing Technologies Co Ltd
Original Assignee
Huawei Cloud Computing Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Cloud Computing Technologies Co Ltd filed Critical Huawei Cloud Computing Technologies Co Ltd
Priority to CN201710508988.6A priority Critical patent/CN109150646B/zh
Publication of CN109150646A publication Critical patent/CN109150646A/zh
Application granted granted Critical
Publication of CN109150646B publication Critical patent/CN109150646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种链路状态检测系统。该系统的控制器指示待检测链路的至少一台交换机将检测包在该待检测链路中传输N个来回;指示该待检测链路的链路首交换机将在该待检测链路中传输了N个来回的该检测包发送至该控制器;发送该检测包至该链路首交换机并记录发送该检测包的时间;记录接收该链路首交换机返回的该检测包的时间;计算接收该检测包的时间和发送该检测包的时间之差,并根据该时间差判断该待检测链路的链路状态。该系统提升了链路状态检测的精度。

Description

链路状态检测系统、方法和装置
技术领域
本申请涉及计算机技术领域,尤其涉及运用在软件定义网络(英文全称:softwaredefined network,缩写:SDN)中的链路状态检测系统、方法和装置。
背景技术
为对网络中待检测链路的状态进行评价,通常的方法是计算一个检测包在待检测链路中传输所需的时长,所需的时长越短,则待检测链路越健康。随着网络规模的增大,待检测链路的链路首交换机和链路末交换机往往归属不同控制器管辖,这就导致在待检测链路的头部发出检测包的控制器和在待检测链路的尾部接收检测包的控制器不相同。为了精确计算检测包在待检测链路中传输所需的时长,需要对这两个控制器的时钟进行同步。这不仅加大了系统复杂度,而且现有的时钟同步技术精度有限,导致对待检测链路的状态的评价不够准确。
发明内容
本申请提供了一种链路状态检测系统,以提升链路状态检测的精度。
本申请的第一方面提供了一种链路状态检测系统,该系统包括第一控制器、第二控制器和待检测链路,该第一控制器管理包括该待检测链路的链路首交换机在内的至少一台交换机,该第二控制器管理包括该待检测链路的链路末交换机在内的至少一台交换机。
该第一控制器,用于指示被其管理的至少一台交换机将检测包在该待检测链路中传输N个来回,N为大于0的整数;指示该链路首交换机将在该待检测链路中传输了N个来回的该检测包发送至该第一控制器;发送该检测包至该链路首交换机;记录发送该检测包的时间;记录接收该链路首交换机发送的该检测包的时间;计算接收该检测包的时间和发送该检测包的时间之差。该第二控制器,用于指示被其管理的至少一台交换机将该检测包在该待检测链路中传输N个来回。该待检测链路的交换机,用于按照该第一控制器或该第二控制器的指示处理该检测包。
该系统无须同步第一控制器和第二控制器的时钟,实现简单且对待检测链路的状态检测精度高。
结合第一方面,在第一方面的第一种实现方式中,该第一控制器和该第二控制器对该待检测链路的交换机的指示通过流表实现。
结合第一方面或第一方面的第一种实现方式,在第一方面的第二种实现方式中,该链路首交换机包括计数模块。
该第一控制器,用于指示该链路首交换机将在该待检测链路中传输了N个来回的该检测包发送至该第一控制器包括:该第一控制器,用于发送N和该检测包的标签至该链路首交换机;该链路首交换机,用于通过该检测包的标签识别该检测包,通过该计数模块在每次该检测包经过该链路首交换机时计数,将在该待检测链路中传输了N个来回的该检测包发送至该第一控制器。
通过对交换机的计数模块的利用,降低了控制器对交换机所发的指令的复杂度,降低了控制器和交换机之间的通信负担。
本申请的第二方面提供了一种链路状态检测系统,该系统包括第一控制器、第二控制器和待检测链路,该第一控制器管理包括该待检测链路的链路首交换机在内的至少一台交换机,该第二控制器管理包括该待检测链路的链路末交换机在内的至少一台交换机。
该第一控制器,用于指示被其管理的至少一台交换机将检测包在该待检测链路中传输N个来回,N为大于0的整数;指示该链路首交换机第一次接收到检测包后,将该检测包发送至该第一控制器;指示该链路首交换机将在该待检测链路中传输了N个来回的该检测包发送至该第一控制器;发送该检测包至该链路首交换机;记录第一次接收该链路首交换机发送的该检测包的时间;记录后续接收该链路首交换机发送的该检测包的时间;计算后续接收该检测包的时间和第一次接收该检测包的时间之差。该第二控制器,用于指示被其管理的至少一台交换机将检测包在该待检测链路中传输N个来回。该待检测链路的交换机,用于按照该第一控制器或该第二控制器的指示处理该检测包。
该系统无须同步第一控制器和第二控制器的时钟,实现简单且对待检测链路的状态检测精度高。
结合第二方面,在第二方面的第一种实现方式中,该第一控制器和该第二控制器对该待检测链路的交换机的指示通过流表实现。
结合第二方面或第二方面的第一种实现方式,在第二方面的第二种实现方式中,该链路首交换机包括计数模块。
该第一控制器,用于指示该链路首交换机将在该待检测链路中传输了N个来回的该检测包发送至该第一控制器包括:该第一控制器,用于发送N和该检测包的标签至该链路首交换机;该链路首交换机,用于通过该检测包的标签识别该检测包,通过该计数模块在每次该检测包经过该链路首交换机时计数,将在该待检测链路中传输了N个来回的该检测包发送至该第一控制器。
通过对交换机的计数模块的利用,降低了控制器对交换机所发的指令的复杂度,降低了控制器和交换机之间的通信负担。
本申请的第三方面提供了一种链路状态检测方法,运用于包括第一控制器、第二控制器和待检测链路的系统,该第一控制器管理包括该待检测链路的链路首交换机在内的至少一台交换机,该第二控制器管理包括该待检测链路的链路末交换机在内的至少一台交换机。
该方法包括:该第一控制器指示被其管理的至少一台交换机将检测包在该待检测链路中传输N个来回,N为大于0的整数;该第二控制器指示被其管理的至少一台交换机将该检测包在该待检测链路中传输N个来回;该第一控制器指示该链路首交换机将在该待检测链路中传输了N个来回的该检测包发送至该第一控制器;该第一控制器发送该检测包至该链路首交换机;该第一控制器记录发送该检测包的时间;该链路首交换机将在该待检测链路中传输了N个来回的该检测包发送至该第一控制器;该第一控制器记录接收该链路首交换机发送的该检测包的时间;该第一控制器计算接收该检测包的时间和发送该检测包的时间之差。
该方法无须同步第一控制器和第二控制器的时钟,实现简单且对待检测链路的状态检测精度高。
结合第三方面,在第三方面的第一种实现方式中,该第一控制器对该待检测链路的交换机的指示通过流表实现;该第二控制器对该待检测链路的交换机的指示通过流表实现。
结合第三方面或第三方面的第一种实现方式,在第三方面的第二种实现方式中,该链路首交换机包括计数模块。
该第一控制器指示该链路首交换机将在该待检测链路中传输了N个来回的该检测包发送至该第一控制器包括:该第一控制器发送N和该检测包的标签至该链路首交换机;该链路首交换机将在该待检测链路中传输了N个来回的该检测包发送至该第一控制器;该链路首交换机通过该检测包的标签识别该检测包,通过该计数模块在每次该检测包经过该链路首交换机时计数,将在该待检测链路中传输了N个来回的该检测包发送至该第一控制器。
通过对交换机的计数模块的利用,降低了控制器对交换机所发的指令的复杂度,降低了控制器和交换机之间的通信负担。
本申请的第四方面提供了一种链路状态检测方法,运用于包括第一控制器、第二控制器和待检测链路的系统,该第一控制器管理包括该待检测链路的链路首交换机在内的至少一台交换机,该第二控制器管理包括该待检测链路的链路末交换机在内的至少一台交换机。
该方法包括:该第一控制器指示被其管理的至少一台交换机将检测包在该待检测链路中传输N个来回,N为大于0的整数;该第二控制器指示被其管理的至少一台交换机将该检测包在该待检测链路中传输N个来回;该第一控制器指示该链路首交换机第一次接收到检测包后,将该检测包发送至该第一控制器;该第一控制器指示该链路首交换机将在该待检测链路中传输了N个来回的该检测包发送至该第一控制器;该第一控制器发送该检测包至该链路首交换机;该链路首交换机将该检测包发送至该第一控制器;该第一控制器记录第一次接收该链路首交换机发送的该检测包的时间;该链路首交换机将在该待检测链路中传输了N个来回的该检测包发送至该第一控制器;该第一控制器记录接收该链路首交换机发送的在该待检测链路中传输了N个来回的该检测包的时间;该第一控制器计算接收在该待检测链路中传输了N个来回的该检测包的时间和第一次接收该检测包的时间之差。
该方法无须同步第一控制器和第二控制器的时钟,实现简单且对待检测链路的状态检测精度高。
结合第四方面,在第四方面的第一种实现方式中,该第一控制器对该待检测链路的交换机的指示通过流表实现;该第二控制器对该待检测链路的交换机的指示通过流表实现。
结合第四方面或第四方面的第一种实现方式,在第四方面的第二种实现方式中,该链路首交换机包括计数模块。
该第一控制器指示该链路首交换机将在该待检测链路中传输了N个来回的该检测包发送至该第一控制器包括:该第一控制器发送N和该检测包的标签至该链路首交换机;该链路首交换机将在该待检测链路中传输了N个来回的该检测包发送至该第一控制器;该链路首交换机通过该检测包的标签识别该检测包,通过该计数模块在每次该检测包经过该链路首交换机时计数,将在该待检测链路中传输了N个来回的该检测包发送至该第一控制器。
通过对交换机的计数模块的利用,降低了控制器对交换机所发的指令的复杂度,降低了控制器和交换机之间的通信负担。
本申请的第五方面提供了一种控制器,该控制器包括处理器、存储器,该处理器与该存储器建立通信连接。该处理器用于读取该存储器中的程序执行前述第三方面或第三方面的任一种实现方式中控制器侧执行的步骤,包括:指示被该控制器管理的待检测链路的至少一台交换机将检测包在该待检测链路中传输N个来回,N为大于0的整数;指示该待检测链路的链路首交换机将在该待检测链路中传输了N个来回的该检测包发送至该控制器;发送该检测包至该链路首交换机;记录发送该检测包的时间;记录接收该链路首交换机发送的该检测包的时间;计算接收该检测包的时间和发送该检测包的时间之差。
结合第五方面,在第五方面的第一种实现方式中,该链路首交换机包括计数模块。该指示该待检测链路的链路首交换机将在该待检测链路中传输了N个来回的该检测包发送至该控制器包括:发送N和该检测包的标签至该链路首交换机,以使得该链路首交换机通过该检测包的标签识别该检测包,通过该计数模块在每次该检测包经过该链路首交换机时计数,将在该待检测链路中传输了N个来回的该检测包发送至该控制器。
结合第五方面或第五方面的第一种实现方式,在第五方面的第二种实现方式中,该控制器对该待检测链路的链路首交换机的指示通过流表实现。
本申请的第六方面提供了一种控制器,该控制器包括处理器、存储器,该处理器与该存储器建立通信连接。该处理器用于读取该存储器中的程序执行前述第四方面或第四方面的任一种实现方式中控制器侧执行的步骤,包括:指示被该控制器管理的待检测链路的至少一台交换机将检测包在该待检测链路中传输N个来回,N为大于0的整数;指示该待检测链路的链路首交换机第一次接收到检测包后,将该检测包发送至该控制器;指示该链路首交换机将在该待检测链路中传输了N个来回的该检测包发送至该控制器;发送该检测包至该链路首交换机;记录第一次接收该链路首交换机发送的该检测包的时间;记录接收该链路首交换机发送的在该待检测链路中传输了N个来回的该检测包的时间;计算接收在该待检测链路中传输了N个来回的该检测包的时间和第一次接收该检测包的时间之差。
结合第六方面,在第六方面的第一种实现方式中,该链路首交换机包括计数模块。该指示该待检测链路的链路首交换机将在该待检测链路中传输了N个来回的该检测包发送至该控制器包括:发送N和该检测包的标签至该链路首交换机,以使得该链路首交换机通过该检测包的标签识别该检测包,通过该计数模块在每次该检测包经过该链路首交换机时计数,将在该待检测链路中传输了N个来回的该检测包发送至该控制器。
结合第六方面或第六方面的第一种实现方式,在第六方面的第二种实现方式中,该控制器对该待检测链路的链路首交换机的指示通过流表实现。
本申请的第七方面提供了一种存储介质,该存储介质中存储了程序代码,该程序代码被控制器运行时,该控制器执行前述第三方面或第三方面的任一种实现方式中控制器侧执行的步骤,包括:指示被该控制器管理的待检测链路的至少一台交换机将检测包在该待检测链路中传输N个来回,N为大于0的整数;指示该待检测链路的链路首交换机将在该待检测链路中传输了N个来回的该检测包发送至该控制器;发送该检测包至该链路首交换机;记录发送该检测包的时间;记录接收该链路首交换机发送的该检测包的时间;计算接收该检测包的时间和发送该检测包的时间之差。
该存储介质可以为非易失性存储介质,包括但不限于快闪存储器(英文:flashmemory),硬盘(英文:hard disk drive,缩写:HDD)或固态硬盘(英文:solid state drive,缩写:SSD)。
本申请的第八方面提供了一种存储介质,该存储介质中存储了程序代码,该程序代码被控制器运行时,该控制器执行前述第四方面或第四方面的任一种实现方式中控制器侧执行的步骤,包括:指示被该控制器管理的待检测链路的至少一台交换机将检测包在该待检测链路中传输N个来回,N为大于0的整数;指示该待检测链路的链路首交换机第一次接收到检测包后,将该检测包发送至该控制器;指示该链路首交换机将在该待检测链路中传输了N个来回的该检测包发送至该控制器;发送该检测包至该链路首交换机;记录第一次接收该链路首交换机发送的该检测包的时间;记录接收该链路首交换机发送的在该待检测链路中传输了N个来回的该检测包的时间;计算接收在该待检测链路中传输了N个来回的该检测包的时间和第一次接收该检测包的时间之差。
该存储介质可以为非易失性存储介质,包括但不限于快闪存储器、HDD或SSD。
本申请的第九方面提供了一种控制装置,包括:通信模块和处理模块。
该通信模块,用于指示被该控制装置管理的待检测链路的至少一台交换机将检测包在该待检测链路中传输N个来回,N为大于0的整数;指示该待检测链路的链路首交换机将在该待检测链路中传输了N个来回的该检测包发送至该控制装置;发送该检测包至该链路首交换机;以及接收该链路首交换机发送的该检测包。
该处理模块,用于记录发送该检测包的时间;记录接收该链路首交换机发送的该检测包的时间;以及计算接收该检测包的时间和发送该检测包的时间之差。
结合第九方面,在第九方面的第一种实现方式中,该链路首交换机包括计数模块。
该通信模块,用于发送N和该检测包的标签至该链路首交换机;以使得该链路首交换机通过该检测包的标签识别该检测包,通过该计数模块在每次该检测包经过该链路首交换机时计数,将在该待检测链路中传输了N个来回的该检测包发送至该控制器。
本申请的第十方面提供了一种控制装置,包括:通信模块和处理模块。
该通信模块,用于指示被该控制装置管理的待检测链路的至少一台交换机将检测包在该待检测链路中传输N个来回,N为大于0的整数;指示该待检测链路的链路首交换机第一次接收到检测包后,将该检测包发送至该控制装置;指示该链路首交换机将在该待检测链路中传输了N个来回的该检测包发送至该控制装置;发送该检测包至该链路首交换机;以及接收该链路首交换机发送的该检测包。
该处理模块,用于记录第一次接收该链路首交换机发送的该检测包的时间;记录接收该链路首交换机发送的在该待检测链路中传输了N个来回的该检测包的时间;计算接收在该待检测链路中传输了N个来回的该检测包的时间和第一次接收该检测包的时间之差。
结合第十方面,在第十方面的第一种实现方式中,该链路首交换机包括计数模块。
该通信模块,用于发送N和该检测包的标签至该链路首交换机;以使得该链路首交换机通过该检测包的标签识别该检测包,通过该计数模块在每次该检测包经过该链路首交换机时计数,将在该待检测链路中传输了N个来回的该检测包发送至该控制器。
本申请第十一方面提供了一种计算机程序产品,该计算机程序产品包括程序代码,当该计算机程序产品被控制器执行时,该控制器执行前述第三方面或第三方面的任一实现方式提供的链路状态检测方法。该计算机程序产品可以为一个软件安装包,在需要使用前述第三方面或第三方面的任一实现方式提供的链路状态检测方法的情况下,可以下载该计算机程序产品至该控制器并在该控制器上运行该计算机程序产品。
本申请第十二方面提供了一种计算机程序产品,该计算机程序产品包括程序代码,当该计算机程序产品被控制器执行时,该控制器执行前述第四方面或第四方面的任一实现方式提供的链路状态检测方法。该计算机程序产品可以为一个软件安装包,在需要使用前述第四方面或第四方面的任一实现方式提供的链路状态检测方法的情况下,可以下载该计算机程序产品至该控制器并在该控制器上运行该计算机程序产品。
附图说明
图1为本申请实施例提供的链路检测系统的结构示意图;
图2为本申请实施例提供的链路检测系统的结构示意图;
图3为本申请实施例提供的控制器发往链路首交换机的流表的示意图;
图4为本申请实施例提供的控制器发往链路首交换机的流表的示意图;
图5为本申请实施例提供的控制器发往链路首交换机的流表的示意图;
图6为本申请实施例提供的控制器发往链路首交换机的流表的示意图;
图7为本申请实施例提供的控制器的结构示意图;
图8为本申请实施例提供的控制装置的结构示意图;
图9为本申请实施例提供的控制装置的结构示意图。
具体实施方式
下面结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
本申请中采用术语第一、第二等来区分各个对象,例如第一交换机、第二交换机等,但各个“第一”、“第二”之间不具有逻辑或时序上的依赖关系。
贯穿本说明书,流表用于在SDN中控制数据流,也可以称为SDN流表。流表由控制器生成并由控制器发送至交换机。交换机接收到数据包后,根据该数据包对应的流表处理数据包。常用的流表包括符合openflow协议的流表。
贯穿本说明书,交换机指运行了虚拟交换机(英文全称:virtual switch)的计算设备或能够按照流表处理数据包的硬件交换机,例如支持openflow协议的硬件交换机。常见的虚拟交换机包括Open vSwitch,缩写为OVS,OVS为一个开源项目提供的虚拟交换机。
贯穿本说明书,控制器也称之为SDN控制器,其为SDN网络的控制核心,主要用于生成流表并将流表发送至交换机,以通过流表控制交换机。控制器常通过运行于计算设备上的软件实现。控制器可以为分布式的,参考图1的链路检测系统200,控制器201、控制器202、控制器203分别管理SDN网络中的一部分交换机。这3个控制器构成链路检测系统200的控制器集群。
贯穿本说明书,链路由两个或两个以上的交换机构成。链路状态检测中,链路中首次发出检测包的称之为链路首交换机,链路末尾的交换机称之为链路末交换机。在链路中传输检测包一个来回指示:将该检测包沿着该链路从链路首交换机发送至链路末交换机,再将该检测包沿着该链路从链路末交换机发送至链路首交换机。
贯穿本说明书,链路状态指代交换机之间的通信通道的可用情况或健康情况,例如是否可以通信、链路繁忙程度等。
本申请实施例所应用的链路检测系统
如图1所示,L指代leaf交换机也称之为边缘交换机,S指代spine交换机,也称之为汇聚交换机。链路检测系统200中的控制器集群通过控制器201、控制器202和控制器203分布式的实现。控制器201、控制器202和控制器203分别管理一部分交换机。常见的,控制器201、控制器202、控制器203可以运行于不同的计算设备上。
图1中的虚线表示控制通道,用于控制器与交换机的传输控制指令,例如流表。图1中的实线表示数据通道,用于传输数据包。
该链路检测系统常通过SDN的方式实现。图1仅为示例性的链路检测系统的组网方式,实际的组网方式可以灵活变化,例如可以采用leaf+spine两层组网之外的其他组网方式。控制器201、控制器202和控制器203也可以集中式的运行于一台计算设备上。
为了检测不同交换机之间的链路,例如交换机L-1与交换机L-6之间的链路,常见的控制器201发送检测包至L-1并记录发送时间T1,然后该检测包通过S-2、S-5、L-8传输至控制器203,控制器203接收该检测包并记录接收时间T2。控制器201或控制器203对比T1和T2之差,即可获得该检测包在该链路中的传输时间,该传输时间可用于评价该链路的状态。
以上流程要求控制器201和控制器203的时钟完全同步,否则计算得出的传输时间不够准确,导致链路状态的检测的精度不高。但实现多个控制器之间的时钟同步较为复杂,而且精度不高。
为了解决该问题,本发明提出的链路状态检测系统中,由控制链路首交换机的控制器发出检测包至该链路首交换机。该链路首交换机通过该待检测链路将该检测包发送至链路末交换机。该链路末交换机接收到该检测包后,通过该待检测链路将检测包发送回该链路首交换机,该链路首交换机将返回的检测包发送至控制该链路首交换机的控制器。则控制该链路首交换机的控制器通过计算发出该检测包和接收该检测包的时间差,可以获取该检测包在该待检测链路中的传输时间。在该系统中,即使待检测链路中的交换机由多个控制器控制,由于计算时间差的是同一台控制器,因此不需要多个控制器之间的时钟同步,提升了链路状态检测的精度。
如图2所示,以检测L-1至L-8的链路状态为例,介绍本申请提出的链路状态检测方法。
步骤1.1,控制器201确定待检测链路L-1、S-2、S-5、L-8。
步骤1.2,控制器201分别对L-1、S-2下发流表。
其中,控制器201对L-1下发的流表指示L-1将检测包发送至S-2,并指示L-1将从S-2接收的检测包发送回控制器201。
控制器201对S-2下发的流表指示S-2将检测包发送至S-5,并指示S-2将从S-5接收的检测包发送至L-1。
可选的,步骤1.2中,控制器201对L-1下发流表除了指示L-1在接收到检测包后将检测包发送至S-2,该流表还可以指示L-1在第一次接收到检测包后将检测包发送至控制器201。
步骤1.3,控制器203分别对S-5、L-8下发流表。
其中,控制器203对S-5下发的流表指示S-5将检测包发送至L-8,并指示S-5将从L-8接收的检测包发送给S-2。
控制器203对L-8下发的流表指示L-8将收到的检测包返回给S-5。
步骤1.2和步骤1.3执行的顺序可以变化。步骤1.2和步骤1.3可以并行执行。采用分布式控制器的场景下,由控制器201确定待检测链路后,通知控制203执行步骤1.3。
控制器201和控制器203在确定了待检测链路,也即确认了后续发出的检测包将在链路检测系统中在该待检测链路中来回传输,依此生成发送至该待检测链路中交换机的流表。
步骤1.4,控制器201发送检测包至L-1,记录发送时间T1.1。
步骤1.5,控制器201发送检测包至L-1。
步骤1.6,该链路中的各个交换机按照步骤1.2和步骤1.3中下发的流表处理该检测包,该检测包按照L-1→S-2→S-5→L-8→S-5→S-2→L-1的顺序返回至L-1。
如果步骤1.2中控制器201还指示L-1在第一次接收到检测包后将检测包发送至控制器201,步骤1.6中L-1除了将该检测包发送至S-2外,还将该检测包发送至该控制器201。控制器201记录第一次接收L-1发送回的该检测包的时间T1.2。
步骤1.7,L-1按照步骤1.2中下发的流表将该从S-2返回的检测包发送至控制器201,控制器201记录接收时间T2.0。
步骤1.8,控制器201计算T2.0与T1.1之差,获取该检测包在该链路中传输一个来回所需的传输时间,根据该传输时间检测该待检测链路的状态。
一般该传输时间越短,说明该待检测链路的状态越为健康,相应的该传输时间越长,说明该待检测链路的状态越不健康。控制器201可以设置有预设的阈值,当该传输时间超过该阈值时,控制器201发出报警,提示该待检测链路故障。
如果步骤1.2中控制器201还指示L-1在第一次接收到检测包后将检测包发送至控制器201,则步骤1.7中,控制器记录的T2.0为第二次接收L-1发送回该检测包的时间。且步骤1.8中,控制器计算T2.0与T1.2之差。
由于T2.0与T1.1之差不仅包括该检测包在该链路中的传输时间,还包括了将该检测包从控制器201发送至L-1所需的时间,导致该传输时间不够精确。而T2.0与T1.2之差不包括将该检测包从控制器201发送至L-1的时间,使得计算出的传输时间更为精确,对该链路状态的检测更为准确。
该检测包在该链路中传输一个来回的过程具有一定的偶然性,因此,在以上链路状态检测方法的基础上,可以检测该检测包在该链路中传输N个来回所需的传输时间,将该传输时间除以N获取传输一个来回所需的平均传输时间,该平均传输时间可以更精确的体现该链路的状态。N为大于1的整数。
因此,在步骤1.2中,控制器201对L-1发送的流表具体可以如图3所示。其中,检测包中设置有计数器,该计数器的初始值可以为1。该计数器可以设置在检测包的vlan ID、MPLS、src MAC,dst MAC等字段中。
L-1根据接收到的数据包中携带的检测包标签判断该数据包为检测包,并根据该检测包的计数器的值判断执行流表1至流表N+1的哪一条。
L-1第一次接收到该检测包时,执行图3中的流表1,设置该检测包的计数器的值为2,将该检测包发送至S-2。该检测包第一次被S-2发送回L-1时,L-1执行流表2,设置该检测包的计数器的值为3,将该检测包发送至S-2。以此类推,流表1至流表N依次被L-1执行。L-1第N+1次接收到该检测包时,由于该检测包的计数器的值为N+1,因此L-1执行流表N+1,将该检测包发送至控制器201,控制器201记录收到该检测包的时间T2.0。
如果步骤1.2中控制器201还指示L-1在第一次接收到检测包后将检测包发送至控制器201,则在步骤1.2中,控制器201对L-1发送的流表具体可以如图4所示。L-1第一次接收到该检测包时,执行图4中的流表1,设置该检测包的计数器的值为2,将该检测包发送至S-2并将该检测包发送至控制器201,控制器201记录接收到该检测包的时间T1.2。L-1执行流表N+1,将该检测包发送至控制器201,控制器201记录收到该检测包的时间T2.0。
以上链路状态检测方法,发出检测包的控制器和接收在待检测链路中传输了至少一个来回的检测包的控制器相同。因此,虽然待检测链路中的交换机受控于多个控制器,该链路状态检测方法无须这多个控制器同步时钟,降低了链路检测系统的复杂度,提升了链路状态检测的精度。
如果待检测链路的首交换机包括计数模块,且该计数模块能够支持对数据包进行计数并对达到计数要求的数据包进行处理,因此控制器201可以不用发送N+1个流表至待检测链路的首交换机。
如图5所示,控制器201发送指示信息和流表至L-1。
该指示信息指示:L-1的计数模块对包括了检测包标签的数据包进行计数,每次接收到包括了检测包标签的数据包,即检测包,计数模块的计数器的值加1;当计数模块的计数器的值达到N+1时,将该检测包发送至控制器201,并丢弃该检测包,以免L-1根据流表再次该检测包发送至S-2,造成该检测包在待检测链路中无限循环拥堵待检测链路。其中,该计数器的初始值为0。
如果待检测链路的链路首交换机包括计数模块则控制器可以生成并发送更少的流表至链路首交换机,进一步提升了链路检测系统的工作效率。
如果待检测链路的链路首交换机包括计数模块且步骤1.2中控制器201还指示L-1在第一次接收到检测包后将检测包发送至控制器201,控制器201发送指示信息和流表如图6所示。
图6与图5的主要区别在于,第一次接收到检测包后上送该检测包至控制器201,以便控制器201获取上述T1.2。采用本方案不仅通过使用交换机的计数模块提升了链路检测系统的工作效率,还提升了该链路状态检测的准确度。
图7提供了一种控制器400,控制器400可以运用于上述链路检测系统中。
控制器400包括总线402、处理器404、存储器408和通信接口406。处理器404、存储器408和通信接口406之间通过总线402通信。
其中,处理器404可以为中央处理器(英文:central processing unit,缩写:CPU)。存储器408可以包括易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random access memory,缩写:RAM)。存储器408还可以包括非易失性存储器(英文:non-volatile memory),例如只读存储器(英文:read-only memory,缩写:ROM),快闪存储器,HDD或SSD。控制器400通过通信接口406与被控制器400管理的交换机通信,例如发送流表至交换机,从交换机接收数据包或发送数据包至交换机。
存储器408中存储有程序,处理器404执行该程序以执行上述链路状态检测方法中控制器侧执行的动作。
采用了该控制器400的链路检测系统中,发出检测包的控制器和接收在待检测链路中传输了至少一个来回的检测包的控制器相同。因此,虽然待检测链路中的交换机受控于多个不同的控制器,但无须这多个控制器同步时钟,降低了链路检测系统的复杂度,提升了链路状态检测的精度。
本申请中的交换机可以包括总线、处理器、存储器和通信接口。该处理器、该存储器和该通信接口之间通过该总线通信。
其中,该处理器可以为CPU。该存储器可以包括易失性存储器,例如RAM。该存储器还可以包括非易失性存储器,例如ROM,快闪存储器,HDD或SSD。
控制器发送至该交换机的流表存储于该存储器。该交换机接收到检测包后,根据该存储器中存储的程序和控制器发送的流表处理该检测包,例如发送至待检测链路中的下一跳交换机或发送给检测包至该控制器。
图8提供了一种控制装置600,包括:通信模块602和处理模块604。控制器201可以通过控制装置600实现。其中,通信模块602用于与交换机通信,包括收发流表、收发检测包等。处理模块604用于生成流表,记录收发检测包的时间,计算收发检测包的时间差等。
控制装置600可以通过专用集成电路(英文:application-specific integratedcircuit,缩写:ASIC)实现,或可编程逻辑器件(英文:programmable logic device,缩写:PLD)实现。上述PLD可以是复杂可编程逻辑器件(英文:complex programmable logicdevice,缩写:CPLD),现场可编程门阵列(英文:Field-Programmable Gate Array,缩写:FPGA),通用阵列逻辑(英文:generic array logic,缩写:GAL)或以上器件的任意组合。该控制装置600用于实现前述链路状态检测方法。
通信模块602,用于指示被控制装置600管理的待检测链路的至少一台交换机将检测包在待检测链路中传输N个来回,N为大于0的整数;指示该待检测链路的链路首交换机L-1将在该待检测链路中传输了N个来回的该检测包发送至控制装置600;发送该检测包至链路首交换机L-1;以及接收链路首交换机L-1发送回的该检测包。
处理模块,用于记录发送该检测包的时间T1.1;记录接收链路首交换机L-1发送回的该检测包的时间T2.0;以及计算T2.0和T1.1之差。
采用了控制装置600的链路检测系统中,发出检测包的控制器和接收在待检测链路中传输了至少一个来回的检测包的控制器相同。因此,虽然待检测链路中的交换机受控于多个不同的控制器,但无须这多个控制器同步时钟,降低了链路检测系统的复杂度,提升了链路状态检测的精度。
图9提供了一种控制装置800,包括:通信模块802和处理模块804。控制器201可以通过控制装置800实现。其中,通信模块802用于与交换机通信,包括收发流表、收发检测包等。处理模块804用于生成流表,记录第一次和后续接收检测包的时间,计算两次接收检测包的时间差等。
控制装置800可以通过ASIC实现,或PLD实现。上述PLD可以是CPLD,FPGA,GAL或以上器件的任意组合。该控制装置800用于实现前述链路状态检测方法。
通信模块802,用于指示被控制装置800管理的待检测链路的至少一台交换机将检测包在待检测链路中传输N个来回,N为大于0的整数;指示该待检测链路的链路首交换机L-1第一次接收到检测包后,将该检测包发送至控制装置800;指示链路首交换机L-1将在该待检测链路中传输了N个来回的该检测包发送至控制装置800;发送该检测包至链路首交换机L-1;以及接收链路首交换机L-1发送的该检测包。
处理模块804,用于记录第一次接收链路首交换机L-1发送的该检测包的时间T1.2;记录接收链路首交换机L-1发送的在该待检测链路中传输了N个来回的该检测包的时间T2.0;计算T2.0和T1.2之差。
采用了控制装置800的链路检测系统中,发出检测包的控制器和接收在待检测链路中传输了至少一个来回的检测包的控制器相同。因此,虽然待检测链路中的交换机受控于多个不同的控制器,但无须这多个控制器同步时钟,降低了链路检测系统的复杂度,提升了链路状态检测的精度。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
结合本申请公开内容所描述的方法可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于RAM、快闪存储器、只读存储器(英文:read only memory,缩写:ROM)、可擦除可编程只读存储器(英文:erasableprogrammable read only memory,缩写:EPROM)、电可擦可编程只读存储器(英文:electrically erasable programmable read only memory,缩写:EEPROM)、硬盘、光盘或者本领域熟知的任何其它形式的存储介质中。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本申请所描述的功能可以用硬件或软件来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上该的具体实施方式,对本申请的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上该仅为本申请的具体实施方式而已,并不用于限定本申请的保护范围,凡在本申请的技术方案的基础之上,所做的任何修改、改进等,均应包括在本申请的保护范围之内。

Claims (10)

1.一种链路状态检测系统,其特征在于,包括第一控制器、第二控制器和待检测链路,所述第一控制器管理包括所述待检测链路的链路首交换机在内的至少一台交换机,所述第二控制器管理包括所述待检测链路的链路末交换机在内的至少一台交换机;
所述第一控制器,用于指示被其管理的至少一台交换机将检测包在所述待检测链路中传输N个来回,N为大于0的整数;指示所述链路首交换机第一次接收到检测包后,将所述检测包发送至所述第一控制器;指示所述链路首交换机将在所述待检测链路中传输了N个来回的所述检测包发送至所述第一控制器;发送所述检测包至所述链路首交换机;记录第一次接收所述链路首交换机发送的所述检测包的时间;记录后续接收所述链路首交换机发送的所述检测包的时间;计算后续接收所述检测包的时间和第一次接收所述检测包的时间之差,所述时间之差为所述检测包在所述待检测链路中的传输时间;
所述第二控制器,用于指示被其管理的至少一台交换机将检测包在所述待检测链路中传输N个来回;
所述待检测链路的交换机,用于按照所述第一控制器或所述第二控制器的指示处理所述检测包。
2.如权利要求1所述的系统,其特征在于,所述第一控制器和所述第二控制器对所述待检测链路的交换机的指示通过流表实现。
3.如权利要求1所述的系统,其特征在于,所述链路首交换机包括计数模块;
所述第一控制器,用于指示所述链路首交换机将在所述待检测链路中传输了N个来回的所述检测包发送至所述第一控制器包括:
所述第一控制器,用于发送N和所述检测包的标签至所述链路首交换机;
所述链路首交换机,用于通过所述检测包的标签识别所述检测包,通过所述计数模块在每次所述检测包经过所述链路首交换机时计数,将在所述待检测链路中传输了N个来回的所述检测包发送至所述第一控制器。
4.一种链路状态检测方法,其特征在于,运用于包括第一控制器、第二控制器和待检测链路的系统,所述第一控制器管理包括所述待检测链路的链路首交换机在内的至少一台交换机,所述第二控制器管理包括所述待检测链路的链路末交换机在内的至少一台交换机;所述方法包括:
所述第一控制器指示被其管理的至少一台交换机将检测包在所述待检测链路中传输N个来回,N为大于0的整数;
所述第二控制器指示被其管理的至少一台交换机将所述检测包在所述待检测链路中传输N个来回;
所述第一控制器指示所述链路首交换机第一次接收到检测包后,将所述检测包发送至所述第一控制器;
所述第一控制器指示所述链路首交换机将在所述待检测链路中传输了N个来回的所述检测包发送至所述第一控制器;
所述第一控制器发送所述检测包至所述链路首交换机;
所述链路首交换机将所述检测包发送至所述第一控制器;
所述第一控制器记录第一次接收所述链路首交换机发送的所述检测包的时间;
所述链路首交换机将在所述待检测链路中传输了N个来回的所述检测包发送至所述第一控制器;
所述第一控制器记录接收所述链路首交换机发送的在所述待检测链路中传输了N个来回的所述检测包的时间;
所述第一控制器计算接收在所述待检测链路中传输了N个来回的所述检测包的时间和第一次接收所述检测包的时间之差,所述时间之差为所述检测包在所述待检测链路中的传输时间。
5.如权利要求4所述的方法,其特征在于,所述第一控制器对所述待检测链路的交换机的指示通过流表实现;
所述第二控制器对所述待检测链路的交换机的指示通过流表实现。
6.如权利要求4所述的方法,其特征在于,所述链路首交换机包括计数模块;
所述第一控制器指示所述链路首交换机将在所述待检测链路中传输了N个来回的所述检测包发送至所述第一控制器包括:
所述第一控制器发送N和所述检测包的标签至所述链路首交换机;
所述链路首交换机将在所述待检测链路中传输了N个来回的所述检测包发送至所述第一控制器;
所述链路首交换机通过所述检测包的标签识别所述检测包,通过所述计数模块在每次所述检测包经过所述链路首交换机时计数,将在所述待检测链路中传输了N个来回的所述检测包发送至所述第一控制器。
7.一种控制器,其特征在于,所述控制器包括处理器、存储器,所述处理器与所述存储器建立通信连接;
所述处理器用于读取所述存储器中的程序执行如下步骤:
指示被所述控制器管理的待检测链路的至少一台交换机将检测包在所述待检测链路中传输N个来回,N为大于0的整数;
指示所述待检测链路的链路首交换机第一次接收到检测包后,将所述检测包发送至所述控制器;
指示所述链路首交换机将在所述待检测链路中传输了N个来回的所述检测包发送至所述控制器;
发送所述检测包至所述链路首交换机;
记录第一次接收所述链路首交换机发送的所述检测包的时间;
记录接收所述链路首交换机发送的在所述待检测链路中传输了N个来回的所述检测包的时间;
计算接收在所述待检测链路中传输了N个来回的所述检测包的时间和第一次接收所述检测包的时间之差,所述时间之差为所述检测包在所述待检测链路中的传输时间。
8.如权利要求7所述的控制器,其特征在于,所述链路首交换机包括计数模块;
所述指示所述待检测链路的链路首交换机将在所述待检测链路中传输了N个来回的所述检测包发送至所述控制器包括:
发送N和所述检测包的标签至所述链路首交换机,以使得所述链路首交换机通过所述检测包的标签识别所述检测包,通过所述计数模块在每次所述检测包经过所述链路首交换机时计数,将在所述待检测链路中传输了N个来回的所述检测包发送至所述控制器。
9.一种存储介质,所述存储介质中存储了程序代码,该程序代码被控制器运行时,所述控制器执行以下方法:
指示被所述控制器管理的待检测链路的至少一台交换机将检测包在所述待检测链路中传输N个来回,N为大于0的整数;
指示所述待检测链路的链路首交换机第一次接收到检测包后,将所述检测包发送至所述控制器;
指示所述链路首交换机将在所述待检测链路中传输了N个来回的所述检测包发送至所述控制器;
发送所述检测包至所述链路首交换机;
记录第一次接收所述链路首交换机发送的所述检测包的时间;
记录接收所述链路首交换机发送的在所述待检测链路中传输了N个来回的所述检测包的时间;
计算接收在所述待检测链路中传输了N个来回的所述检测包的时间和第一次接收所述检测包的时间之差,所述时间之差为所述检测包在所述待检测链路中的传输时间。
10.一种控制装置,其特征在于,包括:通信模块和处理模块;
所述通信模块,用于指示被所述控制装置管理的待检测链路的至少一台交换机将检测包在所述待检测链路中传输N个来回,N为大于0的整数;指示所述待检测链路的链路首交换机第一次接收到检测包后,将所述检测包发送至所述控制装置;指示所述链路首交换机将在所述待检测链路中传输了N个来回的所述检测包发送至所述控制装置;发送所述检测包至所述链路首交换机;以及接收所述链路首交换机发送的所述检测包;
所述处理模块,用于记录第一次接收所述链路首交换机发送的所述检测包的时间;记录接收所述链路首交换机发送的在所述待检测链路中传输了N个来回的所述检测包的时间;以及计算接收在所述待检测链路中传输了N个来回的所述检测包的时间和第一次接收所述检测包的时间之差,所述时间之差为所述检测包在所述待检测链路中的传输时间。
CN201710508988.6A 2017-06-28 2017-06-28 链路状态检测系统、方法和装置 Active CN109150646B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710508988.6A CN109150646B (zh) 2017-06-28 2017-06-28 链路状态检测系统、方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710508988.6A CN109150646B (zh) 2017-06-28 2017-06-28 链路状态检测系统、方法和装置

Publications (2)

Publication Number Publication Date
CN109150646A CN109150646A (zh) 2019-01-04
CN109150646B true CN109150646B (zh) 2022-05-06

Family

ID=64803015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710508988.6A Active CN109150646B (zh) 2017-06-28 2017-06-28 链路状态检测系统、方法和装置

Country Status (1)

Country Link
CN (1) CN109150646B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104486159A (zh) * 2014-12-18 2015-04-01 东南大学 一种基于软件定义网络的交换机间链路时延测量方法
CN104734907A (zh) * 2014-12-19 2015-06-24 中国人民解放军理工大学 一种主动测量OpenFlow网络端到端路径性能的方法及其所采用的系统
CN104852828A (zh) * 2015-04-30 2015-08-19 华为技术有限公司 一种网络时延检测方法,装置及系统
US9258765B1 (en) * 2003-05-08 2016-02-09 Dynamic Mesh Networks, Inc. Chirp networks
CN105812201A (zh) * 2014-12-31 2016-07-27 华为技术有限公司 一种链路状态检测方法、装置和系统
CN105897518A (zh) * 2016-06-30 2016-08-24 电子科技大学 一种全sdn网络的链路性能参数测量方法
CN106230652A (zh) * 2016-07-19 2016-12-14 东北大学 基于OpenFlow协议的SDN网络性能测量方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602005026482D1 (de) * 2004-06-14 2011-04-07 Broadcom Corp Kompensation und Messung der Differentiellen Verzögerung in gebundenen Systemen
CN1819579A (zh) * 2005-12-15 2006-08-16 中国人民解放军国防科学技术大学 开环时间传递方法
CN100534048C (zh) * 2007-04-27 2009-08-26 中控科技集团有限公司 分布式以太网系统及基于该系统的故障检测方法
US9397792B2 (en) * 2013-12-06 2016-07-19 Intel Corporation Efficient link layer retry protocol utilizing implicit acknowledgements
CN106789387B (zh) * 2016-03-16 2020-10-13 新华三技术有限公司 一种用于sdn的链路检测方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9258765B1 (en) * 2003-05-08 2016-02-09 Dynamic Mesh Networks, Inc. Chirp networks
CN104486159A (zh) * 2014-12-18 2015-04-01 东南大学 一种基于软件定义网络的交换机间链路时延测量方法
CN104734907A (zh) * 2014-12-19 2015-06-24 中国人民解放军理工大学 一种主动测量OpenFlow网络端到端路径性能的方法及其所采用的系统
CN105812201A (zh) * 2014-12-31 2016-07-27 华为技术有限公司 一种链路状态检测方法、装置和系统
CN104852828A (zh) * 2015-04-30 2015-08-19 华为技术有限公司 一种网络时延检测方法,装置及系统
CN105897518A (zh) * 2016-06-30 2016-08-24 电子科技大学 一种全sdn网络的链路性能参数测量方法
CN106230652A (zh) * 2016-07-19 2016-12-14 东北大学 基于OpenFlow协议的SDN网络性能测量方法

Also Published As

Publication number Publication date
CN109150646A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
CN107508719B (zh) 测量网络时延的方法、装置及网络节点
US10743269B2 (en) Coordinated timing syncronization and time-aware shaping
EP2129045B1 (en) Master slave communication system and master slave communication method
CN103155488B (zh) 延迟测量系统和延迟测量方法以及延迟测量设备和延迟测量程序
CN111953553B (zh) 一种报文的检测方法、设备及系统
CN106502814B (zh) 一种记录pcie设备错误信息的方法及装置
US9323596B2 (en) Network apparatus and method of monitoring processor
US9705619B2 (en) Apparatus and method for synchronous hardware time stamping
CN104144094A (zh) 用于操作数字总线系统从属节点的方法
CN110858811A (zh) 测量时延的方法和网络设备
CN104094558B (zh) 多线程化分组处理
US20080205287A1 (en) Apparatus and method for controlling the transfer of communication traffic to multiple links of a multi-link system
JP2017168950A (ja) 通信制御装置、通信システム、および、通信制御方法
US20140304450A1 (en) Switching device, packet control method, and data communication system
WO2017203421A1 (en) Time-multiplexed fields for network telemetry
CN109150646B (zh) 链路状态检测系统、方法和装置
CN110784339B (zh) Lacp报文超时的故障检测方法、装置、电子设备
CN111756588B (zh) 通信链路检测方法及相关装置
CN114205263B (zh) 用于Ether CAT网络的通信方法、系统和存储介质
CN103516631A (zh) 通信装置
KR101473144B1 (ko) Can 통신 기반의 반도체 테스트 방법 및 시스템
US10425250B2 (en) Transmission system for controlling control/monitoring targets and transmission station for controlling control/monitoring targets
US20170288994A1 (en) Packet transfer device and method for setting counter
EP4064589A1 (en) Ethernet time synchronization method and apparatus
WO2017166925A1 (zh) 一种自适应时钟恢复方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220216

Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province

Applicant after: Huawei Cloud Computing Technologies Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Applicant before: HUAWEI TECHNOLOGIES Co.,Ltd.

GR01 Patent grant
GR01 Patent grant