CN114546920A - 基于智能网卡的飞腾cpu架构下裸金属服务器数据盘热插拔方法 - Google Patents

基于智能网卡的飞腾cpu架构下裸金属服务器数据盘热插拔方法 Download PDF

Info

Publication number
CN114546920A
CN114546920A CN202210153905.7A CN202210153905A CN114546920A CN 114546920 A CN114546920 A CN 114546920A CN 202210153905 A CN202210153905 A CN 202210153905A CN 114546920 A CN114546920 A CN 114546920A
Authority
CN
China
Prior art keywords
network card
intelligent network
disk
bare metal
nvme
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210153905.7A
Other languages
English (en)
Other versions
CN114546920B (zh
Inventor
褚晓强
张瑾
王军
李亚浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CLP Cloud Digital Intelligence Technology Co Ltd
Original Assignee
CLP Cloud Digital Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CLP Cloud Digital Intelligence Technology Co Ltd filed Critical CLP Cloud Digital Intelligence Technology Co Ltd
Priority to CN202210153905.7A priority Critical patent/CN114546920B/zh
Publication of CN114546920A publication Critical patent/CN114546920A/zh
Application granted granted Critical
Publication of CN114546920B publication Critical patent/CN114546920B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4063—Device-to-bus coupling
    • G06F13/4068—Electrical coupling
    • G06F13/4081—Live connection to bus, e.g. hot-plugging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0026—PCI express
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)

Abstract

本发明属于计算机操作系统和硬件设计技术领域，涉及一种基于智能网卡的飞腾CPU架构下裸金属服务器数据盘热插拔方法。本方法通过引入NVMe驱动，仅占用一个PCIe资源给NVMe的控制设备，数据盘通过Namespace插入到主机内部，数据盘的插入由NVMe驱动完成，不需要额外插入PCIe设备；同时本方法引入了自带操作系统的智能网卡，智能网卡连接远端云盘，然后由智能网卡内的操作系统以及网卡固件将远端云盘映射到NVMe Namespace上并透传给主机使用。本方法无需占用过多的PCIe资源，连接数据盘的数量大大增加，且绕过了飞腾CPU限制，实现了热插拔，极大地提升了使用便利性，改善了用户体验。

Description

基于智能网卡的飞腾CPU架构下裸金属服务器数据盘热插拔 方法
技术领域
本发明属于计算机操作系统和硬件设计技术领域，尤其涉及一种基于智能网卡的飞腾CPU架构下裸金属服务器数据盘热插拔方法及其应用。
背景技术
在云领域裸金属服务器场景下，传统的本地盘裸金属服务器如需进行磁盘扩容通常采用以下两种方案：一种方案是实地插入一块物理磁盘，但该操作复杂繁琐且不方便管理，高昂的操作成本使得通过该方案实现传统本地盘裸金属服务器磁盘扩容的可能性基本为零；另一种方案是通过连接远端云盘的裸金属服务，实现弹性扩容和磁盘热加载，但该方案存在严重缺陷，由于需要通过主机操作系统连接远端云盘，因此该方案的实施完全依赖主机操作系统，但裸金属服务器的主机归用户控制，一旦用户终止连接云盘的进程或者down掉连接远端云盘端口都会导致磁盘出现问题。鉴于此，许多弹性裸金属云厂商引入智能网卡来使裸金属服务器具备弹性扩容、迁移和灾备的云盘能力。
当前，信息技术应用创新产业和国产化已成为信息产业发展的主流，许多企业对国产技术都愈加青睐，作为国产CPU市场的主力，飞腾CPU已成为企业的热门选择，然而，飞腾旗下的多款CPU，如FT2000+、FTs2500等，在公有云裸金属服务器场景下，均无法做到数据盘热插拔，导致每次新增数据盘时裸金属服务器都需要掉电重启，极大地影响了客户体验，也成为了飞腾CPU进入裸金属云服务器的巨大障碍。就目前的情况而言，国产飞腾CPU架构下的裸金属服务器面对着外接云盘和实现数据盘热插拔两座大山，大部分云厂商不支持飞腾CPU架构的裸金属服务器，即使支持也不是基于云盘方案的弹性裸金属，而是本地盘裸金属。因此，为飞腾CPU架构下的裸金属服务器开发一种数据盘热插拔方法将会极大地拓展飞腾CPU的应用领域，为国产CPU的性能提升和市场占有提供强大的助力。
发明内容
为了克服飞腾CPU架构下的裸金属服务器存在的上述性能缺陷，本发明提出了一套解决方案。
通过机制分析，我们发现，弹性裸金属服务器厂商支持云盘时对主机内体现的驱动为virtio-blk，这种驱动linux内核默认即支持，每一块virtio-blk数据盘均会占用一个PCIe资源(参见图1)，在x86场景下，热插一块virtio-blk数据盘等于热插了一块PCIe设备，智能网卡会产生一个中断，该中断由CPU负责响应然后通知linux操作系统内核重新分配PCIe资源，操作系统内即可看到一块新的数据盘，但是，在飞腾CPU架构下CPU对数据盘热插拔中断不会做出任何响应，从而导致PCIe资源无法分配，使得数据盘热插拔不成功。
为了规避飞腾CPU架构下CPU对数据盘热插拔中断无法响应的问题，我们做出了如下设计：因为virtio-blk协议限制为每个PCIe资源对应一块数据盘，我们尝试引入一种每个PCIe资源可以对应插入多块数据盘的驱动类型，最终选择了NVMe。NVMe协议仅占用一个PCIe资源给NVMe的控制设备，实际使用的数据盘则通过Namespace插入到主机内部，整个数据盘的插入主要由NVMe驱动完成(参见图2)，不需要额外插入PCIe设备。而且，独创的智能网卡全模拟引擎，能够将普通的iSCSI和RBD/NBD云盘通过智能网卡的模拟引擎使用NVMe协议透传给主机，从而实现了多种存储类型的兼容。
我们的技术方案包括引入智能网卡，引入的智能网卡上自带有一个操作系统，该操作系统归云厂商控制，用户无法自行控制该智能网卡，连接远端云盘的实际上是该智能网卡，然后智能网卡内的操作系统以及网卡固件将远端云盘映射到NVMe Namespace上透传给主机使用。
在上述设计的基础上，本发明提供了一种基于智能网卡的飞腾CPU架构下裸金属服务器数据盘热插拔方法，本方法通过引入NVMe驱动，仅占用一个PCIe资源给NVMe的控制设备，实际使用的数据盘通过Namespace插入到主机内部，数据盘的插入由NVMe驱动完成，不需要额外插入PCIe设备；同时，本方法引入了智能网卡，引入的智能网卡上自带有一个由云厂商控制的操作系统，该智能网卡连接远端云盘，然后由智能网卡内的操作系统以及网卡固件将远端云盘映射到NVMe Namespace上并透传给主机使用。
进一步地，上述裸金属服务器数据盘热插拔方法包括下述步骤：
步骤一：引入智能网卡，该智能网卡连接远端云盘，所述智能网卡使用SPDK(存储性能开发工具包)接管本设备；
步骤二：在上述智能网卡上对存储协议进行转换，将远端云盘通过NVMeNamespace映射透传给主机使用；
步骤三：主机侧加载对应的驱动和内核模块，此时智能网卡映射的远端云盘即可被主机识别为本地磁盘。
优选地，上述裸金属服务器数据盘热插拔方法中所述智能网卡上设置有模拟引擎，远端云盘通过智能网卡上的模拟引擎使用NVMe协议透传给主机。
进一步地，上述方法中所述远端云盘包括iSCSI和RBD/NBD云盘。
此外，本发明还涉及上述基于智能网卡的飞腾CPU架构下裸金属服务器数据盘热插拔方法在裸金属服务器操作系统及裸金属服务器硬件开发中的应用。
综上，本发明基于智能网卡的飞腾CPU架构下裸金属服务器数据盘热插拔方法具有以下特点：
(1)目前使用的virtio-blk驱动每块数据盘需占用一个PCIe设备，由于CPU可分配的PCIe设备资源存在上限，因此导致连接数据盘的数量受到较大限制，而本方法无需占用过多的PCIe资源，仅需要控制设备插入一个PCIe资源即可，因此连接数据盘的数量可大大增加。
(2)由于飞腾CPU不支持PCIe热插拔，每次插入和卸载数据盘都需要服务器掉电重启，导致用户的使用体验很差，本方法绕过了飞腾CPU限制，通过Namespace插入和卸载数据盘，实现了热插拔，极大地提升了使用便利性，改善了用户体验。
(3)通过NVMe协议将多种远端存储包括iSCSI和RBD/NBD云盘封装起来透传给主机，实现了多种存储类型的兼容，而且，linux内核中默认自带NVMe驱动，无需额外安装agent插件，用户使用更加方便。
附图说明
为了更清楚地说明现有技术和本发明实施例技术方案，下面对现有技术和实施例描述中需要使用的附图作简要介绍。显而易见地，下面描述中的附图仅是本发明中记载的一些实施例，而不是全部实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为virtio-blk驱动模式示意图。
图2为本发明使用的NVMe驱动模式示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例，本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
同时，应理解，本发明的保护范围并不局限于下述特定的具体实施方案；还应当理解，本发明实施例中使用的术语是为了描述特定的具体实施方案，而不是为了限制本发明的保护范围。
实施例1：一种基于智能网卡的飞腾CPU架构下裸金属服务器数据盘热插拔方法(参见图2)，本方法通过引入NVMe驱动，仅占用一个PCIe资源给NVMe的控制设备，实际使用的数据盘通过Namespace插入到主机内部，数据盘的插入由NVMe驱动完成，不需要额外插入PCIe设备；同时，本方法引入了智能网卡，引入的智能网卡上自带有一个由云厂商控制的操作系统，该智能网卡连接远端云盘，然后由智能网卡内的操作系统以及网卡固件将远端云盘映射到NVMe Namespace上并透传给主机使用。
具体而言，本方法包括以下步骤：
步骤一：引入智能网卡，智能网卡上设置有模拟引擎，智能网卡连接远端云盘(iSCSI和RBD/NBD云盘)，该智能网卡使用SPDK(存储性能开发工具包)接管本设备；
步骤二：在上述智能网卡上对存储协议进行转换，远端云盘通过智能网卡上的模拟引擎使用NVMe Namespace映射透传给主机使用；
步骤三：主机侧加载对应的驱动和内核模块，此时智能网卡映射的远端云盘即可被主机识别为本地磁盘。
以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、替换等，均应包含在本发明的权利要求保护范围之内。

Claims (5)

1.一种基于智能网卡的飞腾CPU架构下裸金属服务器数据盘热插拔方法，其特征在于，本方法通过引入NVMe驱动，仅占用一个PCIe资源给NVMe的控制设备，实际使用的数据盘通过Namespace插入到主机内部，数据盘的插入由NVMe驱动完成，不需要额外插入PCIe设备；同时，本方法引入了智能网卡，所述智能网卡上自带有一个由云厂商控制的操作系统，所述智能网卡连接远端云盘，然后由智能网卡内的操作系统以及网卡固件将远端云盘映射到NVMe Namespace上并透传给主机使用。
2.根据权利要求1所述的裸金属服务器数据盘热插拔方法，其特征在于，所述方法包括下述步骤：
步骤一：引入智能网卡，该智能网卡连接远端云盘，所述智能网卡使用SPDK接管本设备；
步骤二：在上述智能网卡上对存储协议进行转换，将远端云盘通过NVMeNamespace映射透传给主机使用；
步骤三：主机侧加载对应的驱动和内核模块，此时智能网卡映射的远端云盘即可被主机识别为本地磁盘。
3.根据权利要求2所述的裸金属服务器数据盘热插拔方法，其特征在于，所述智能网卡上设置有模拟引擎，远端云盘通过所述智能网卡上的模拟引擎使用NVMe协议透传给主机。
4.根据权利要求3所述的裸金属服务器数据盘热插拔方法，其特征在于，所述远端云盘包括iSCSI和RBD/NBD云盘。
5.根据权利要求1-4任一项所述的基于智能网卡的飞腾CPU架构下裸金属服务器数据盘热插拔方法在裸金属服务器操作系统及裸金属服务器硬件开发中的应用。
CN202210153905.7A 2022-02-20 2022-02-20 基于智能网卡的飞腾cpu架构下裸金属服务器数据盘热插拔方法 Active CN114546920B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210153905.7A CN114546920B (zh) 2022-02-20 2022-02-20 基于智能网卡的飞腾cpu架构下裸金属服务器数据盘热插拔方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210153905.7A CN114546920B (zh) 2022-02-20 2022-02-20 基于智能网卡的飞腾cpu架构下裸金属服务器数据盘热插拔方法

Publications (2)

Publication Number Publication Date
CN114546920A true CN114546920A (zh) 2022-05-27
CN114546920B CN114546920B (zh) 2024-02-20

Family

ID=81676300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210153905.7A Active CN114546920B (zh) 2022-02-20 2022-02-20 基于智能网卡的飞腾cpu架构下裸金属服务器数据盘热插拔方法

Country Status (1)

Country Link
CN (1) CN114546920B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118012517A (zh) * 2024-04-10 2024-05-10 麒麟软件有限公司 基于飞腾平台多路服务器的网卡中断配置方法、装置及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1710966A (zh) * 2005-07-08 2005-12-21 北京邮电大学 基于控制和应用分离、具有业务生成能力的智能外设系统
WO2017166997A1 (zh) * 2016-03-30 2017-10-05 中兴通讯股份有限公司 智能网卡侧的异常处理方法和装置
CN207098747U (zh) * 2017-09-11 2018-03-13 深圳市商宇电子科技有限公司 一种可在线热插拔的模块化ups电源系统
CN110445841A (zh) * 2019-07-12 2019-11-12 苏州浪潮智能科技有限公司 一种云物理机挂载云盘的方法、设备以及存储介质
CN111240605A (zh) * 2020-03-16 2020-06-05 山东超越数控电子股份有限公司 云计算环境下裸金属服务器的部署装置及部署方法
CN112202855A (zh) * 2020-09-18 2021-01-08 北京金山云网络技术有限公司 裸金属服务器与弹性块存储的通信装置、智能网卡和系统
CN112256393A (zh) * 2020-10-22 2021-01-22 上海云轴信息科技有限公司 一种裸金属服务器的资源管理方法及设备
US20210064561A1 (en) * 2019-09-03 2021-03-04 Pensando Systems, Inc. Flexible datapath offload chaining
US20210073065A1 (en) * 2019-07-31 2021-03-11 Reliance Jio Infocomm Limited System and method of mapping and diagnostics of data center resources
CN112787913A (zh) * 2021-01-26 2021-05-11 北京百度网讯科技有限公司 智能网卡组件、物理机、云服务系统以及报文发送方法
CN112929183A (zh) * 2021-01-26 2021-06-08 北京百度网讯科技有限公司 智能网卡、报文传输方法、装置、设备及存储介质
CN113630265A (zh) * 2021-06-30 2021-11-09 济南浪潮数据技术有限公司 一种基于智能网卡的虚拟网络冗余备份方法及装置
CN214851260U (zh) * 2021-04-14 2021-11-23 北京百度网讯科技有限公司 智能网卡带外连接系统
CN114024853A (zh) * 2021-10-27 2022-02-08 浪潮电子信息产业股份有限公司 一种裸金属节点的硬件信息收集方法、系统及相关组件
CN114070723A (zh) * 2020-07-31 2022-02-18 中移(苏州)软件技术有限公司 裸金属服务器的虚拟网络配置方法、系统及智能网卡

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1710966A (zh) * 2005-07-08 2005-12-21 北京邮电大学 基于控制和应用分离、具有业务生成能力的智能外设系统
WO2017166997A1 (zh) * 2016-03-30 2017-10-05 中兴通讯股份有限公司 智能网卡侧的异常处理方法和装置
CN207098747U (zh) * 2017-09-11 2018-03-13 深圳市商宇电子科技有限公司 一种可在线热插拔的模块化ups电源系统
CN110445841A (zh) * 2019-07-12 2019-11-12 苏州浪潮智能科技有限公司 一种云物理机挂载云盘的方法、设备以及存储介质
US20210073065A1 (en) * 2019-07-31 2021-03-11 Reliance Jio Infocomm Limited System and method of mapping and diagnostics of data center resources
US20210064561A1 (en) * 2019-09-03 2021-03-04 Pensando Systems, Inc. Flexible datapath offload chaining
CN111240605A (zh) * 2020-03-16 2020-06-05 山东超越数控电子股份有限公司 云计算环境下裸金属服务器的部署装置及部署方法
CN114070723A (zh) * 2020-07-31 2022-02-18 中移(苏州)软件技术有限公司 裸金属服务器的虚拟网络配置方法、系统及智能网卡
CN112202855A (zh) * 2020-09-18 2021-01-08 北京金山云网络技术有限公司 裸金属服务器与弹性块存储的通信装置、智能网卡和系统
CN112256393A (zh) * 2020-10-22 2021-01-22 上海云轴信息科技有限公司 一种裸金属服务器的资源管理方法及设备
CN112929183A (zh) * 2021-01-26 2021-06-08 北京百度网讯科技有限公司 智能网卡、报文传输方法、装置、设备及存储介质
CN112787913A (zh) * 2021-01-26 2021-05-11 北京百度网讯科技有限公司 智能网卡组件、物理机、云服务系统以及报文发送方法
CN214851260U (zh) * 2021-04-14 2021-11-23 北京百度网讯科技有限公司 智能网卡带外连接系统
CN113630265A (zh) * 2021-06-30 2021-11-09 济南浪潮数据技术有限公司 一种基于智能网卡的虚拟网络冗余备份方法及装置
CN114024853A (zh) * 2021-10-27 2022-02-08 浪潮电子信息产业股份有限公司 一种裸金属节点的硬件信息收集方法、系统及相关组件

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘畅等: ""智能网卡应用于云网络加速方案研究"", 《电信工程技术与标准化》, vol. 33, no. 8, pages 76 - 81 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118012517A (zh) * 2024-04-10 2024-05-10 麒麟软件有限公司 基于飞腾平台多路服务器的网卡中断配置方法、装置及存储介质

Also Published As

Publication number Publication date
CN114546920B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
US8898224B2 (en) Migrating active I/O connections with migrating servers and clients
JP4410557B2 (ja) コンピュータ・システム内のテープ装置にアクセスするための方法およびシステム
TWI421698B (zh) 用以促進至少一個客體處理系統之輸入/輸出(i/o)處理之電腦程式產品、方法及系統
US10423332B2 (en) Fibre channel storage array having standby controller with ALUA standby mode for forwarding SCSI commands
US20020168966A1 (en) I/O unit emulation
JP5536878B2 (ja) ファイバ・チャネル・ファブリックへのアクセスの変更
US20050228937A1 (en) System and method for emulating operating system metadata to provide cross-platform access to storage volumes
US20050240932A1 (en) Facilitating access to input/output resources via an I/O partition shared by multiple consumer partitions
CN106933753B (zh) 智能接口卡的控制方法及装置
CN107209681A (zh) 一种存储设备访问方法、装置和系统
JP7116802B2 (ja) マスター・スタンドバイコンテナシステム切替
TW201027354A (en) Dynamic physical and virtual multipath I/O
US20170220506A1 (en) Modular Software Defined Storage Technology
KR20170043993A (ko) 인터페이스 제어 메커니즘을 갖는 전자 시스템 및 그것의 동작 방법
CN109324991A (zh) 一种pcie设备的热插拔装置、方法、介质及系统
WO2020233435A1 (zh) 数据处理方法、装置和系统
CN111857840A (zh) 基本输入输出系统bios启动方法及装置
US9092334B2 (en) Method for shortening enumeration of tightly coupled USB device
CN105739930A (zh) 一种存储架构及其初始化方法和数据存储方法及管理装置
US10229085B2 (en) Fibre channel hardware card port assignment and management method for port names
CN109656675A (zh) 总线设备、计算机设备及实现物理主机云存储的方法
CN111367472A (zh) 虚拟化方法和装置
CN109906438A (zh) 处理i/o请求的方法、存储阵列及主机
CN112015352B (zh) 存储块设备识别装置、系统和存储块设备读写方法
CN116540952B (zh) 磁盘访问方法及装置、存储介质、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: No. N3013, 3rd Floor, R&D Building N, Artificial Intelligence Science and Technology Park, Wuhan Economic and Technological Development Zone, Wuhan City, Hubei Province, 430058

Applicant after: Zhongdian Cloud Computing Technology Co.,Ltd.

Address before: 430058 No. n3013, 3rd floor, R & D building, building n, Artificial Intelligence Science Park, economic and Technological Development Zone, Caidian District, Wuhan City, Hubei Province

Applicant before: CLP cloud Digital Intelligence Technology Co.,Ltd.

Country or region before: China

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant