CN111541738B - 一种通信方法及装置 - Google Patents

一种通信方法及装置 Download PDF

Info

Publication number
CN111541738B
CN111541738B CN202010246299.4A CN202010246299A CN111541738B CN 111541738 B CN111541738 B CN 111541738B CN 202010246299 A CN202010246299 A CN 202010246299A CN 111541738 B CN111541738 B CN 111541738B
Authority
CN
China
Prior art keywords
pod
address
serving
host name
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010246299.4A
Other languages
English (en)
Other versions
CN111541738A (zh
Inventor
吴问天
敖襄桥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing H3C Technologies Co Ltd
Original Assignee
Beijing H3C Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing H3C Technologies Co Ltd filed Critical Beijing H3C Technologies Co Ltd
Priority to CN202010246299.4A priority Critical patent/CN111541738B/zh
Publication of CN111541738A publication Critical patent/CN111541738A/zh
Application granted granted Critical
Publication of CN111541738B publication Critical patent/CN111541738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/50—Address allocation
    • H04L61/5007—Internet protocol [IP] addresses

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供了一种通信方法及装置，该方法包括：获取Kubernetes集群中所有作为参数服务器的Pod和作为工作服务器的Pod的IP地址；将获取到的IP地址中与预先配置的基于RDMA技术的容器网络的IP网段相匹配的IP地址及其对应的主机名的对应关系进行保存；读取用户在Tensorflow分布式训练脚本中输入的所有作为参数服务器的Pod和作为工作服务器的Pod的Pod信息，根据每条Pod信息中的主机名查找对应关系，将查找到的IP地址替换该条Pod信息中的主机名；利用每条替换后的Pod信息进行训练，以实现基于RDMA技术的容器网络中作为参数服务器的Pod和作为工作服务器的Pod之间的通信。

Description

一种通信方法及装置
技术领域
本申请涉及通信技术领域，特别涉及一种通信方法及装置。
背景技术
Kubernetes是一种被普遍使用的基于容器技术的分布式架构领先方案，其解决了大规模集群在使用中的管理难题。在Kubernetes集群中，作为容器的Pod，是Kubernetes集群部署的最小单元，为客户端提供某种服务。
目前，主要是通过自动发现服务(Service)机制实现Kubernetes集群中作为参数服务器(Parameter Server)的Pod与作为工作(Worker)服务器的Pod之间的通信。但是，随着网络环境的复杂化，在Kubernetes集群中部署有基于远程直接内存访问(Remote DirectMemory Access，RDMA)技术的容器网络的场景下，由于支持RDMA技术的网卡并不支持Kubernetes的Service机制，因此，如何解决这种场景下作为参数服务器的Pod与作为工作服务器的Pod之间的通信问题是开发人员面临的难题。
发明内容
本申请提供一种通信方法及装置，可以在Kubernetes集群中部署有基于RDMA技术的容器网络的场景下，实现作为参数服务器的Pod与作为工作服务器的Pod之间的通信。
本申请提供的技术方案如下：
本申请提供一种通信方法，所述方法包括：
获取Kubernetes集群中所有作为参数服务器的Pod和作为工作服务器的Pod的IP地址，其中，每个Pod包括两个处于不同网段的IP地址，且分别为基于Kubernetes集群分配的在普通容器网络和基于RDMA技术的容器网络中的IP地址；
将获取到的IP地址中与预先配置的所述基于RDMA技术的容器网络的IP网段相匹配的IP地址及其对应的主机名的对应关系进行保存；
读取用户在Tensorflow分布式训练脚本中输入的所有作为参数服务器的Pod和作为工作服务器的Pod的Pod信息，并根据每条Pod信息中的主机名查找所述对应关系，将查找到的IP地址替换该条Pod信息中的主机名；
利用每条替换后的Pod信息进行训练，以完成所述基于RDMA技术的容器网络中作为参数服务器的Pod和作为工作服务器的Pod之间的通信。
本申请还提供一种通信装置，所述装置包括：
获取模块，用于获取Kubernetes集群中所有作为参数服务器的Pod和作为工作服务器的Pod的IP地址，其中，每个Pod包括两个处于不同网段的IP地址，且分别为基于Kubernetes集群分配的在普通容器网络和基于RDMA技术的容器网络中；
保存模块，用于将获取到的IP地址中与预先配置的所述基于RDMA技术的容器网络的IP网段相匹配的IP地址及其对应的主机名的对应关系进行保存；
读取模块，用于读取用户在Tensorflow分布式训练脚本中输入的所有作为参数服务器的Pod和作为工作服务器的Pod的Pod信息，并根据每条Pod信息中的主机名查找所述对应关系，将查找到的IP地址替换该条Pod信息中的主机名；
训练模块，用于利用每条替换后的Pod信息进行训练，以完成所述基于RDMA技术的容器网络中作为参数服务器的Pod和作为工作服务器的Pod之间的通信。
由以上技术方案可以看出，在本申请中，在Kubernetes集群中部署有基于RDMA技术的容器网络的场景下，通过获取作为参数服务器的Pod与作为工作服务器的Pod的所有IP地址，并与预先配置的基于RDMA技术的容器网络的IP网段进行匹配，将匹配出的IP地址替换用户在Tensorflow分布式训练脚本中输入的相应Pod信息中的主机名，以完成训练，从而实现这种场景下作为参数服务器的Pod与作为工作服务器的Pod之间的通信。
附图说明
图1为本申请实施例提供的一种通信方法的流程示意图；
图2为本申请实施例提供的一种通信装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种通信方法，如图1所示，该方法可以包括以下步骤：
S11、获取Kubernetes集群中所有作为参数服务器的Pod和作为工作服务器的Pod的IP地址。
在本申请实施例中，对于作为参数服务器的Pod和作为工作服务器的Pod中的任意一个Pod，均包括两个处于不同网段的IP地址，分别为基于Kubernetes集群分配的在普通容器网络和基于RDMA技术的容器网络中的IP地址。
需要说明的是，在本步骤中，可以通过以下方式获取Kubernetes集群中所有作为参数服务器的Pod和作为工作服务器的Pod的IP地址：
获取所有作为参数服务器的Pod和作为工作服务器的Pod的主机名；
根据获取到的每个主机名，获取对应的Pod的IP地址。
S12、将获取到的IP地址中与预先配置的基于RDMA技术的容器网络的IP网段相匹配的IP地址及其对应的主机名的对应关系进行保存。
在本申请实施例中，可以通过以下几种方式保存本步骤中的对应关系：
第一种方式，将获取到的IP地址中与基于RDMA技术的容器网络的IP网段相匹配的IP地址及其对应的主机名的对应关系，保存到创建Kubernetes集群的物理服务器的指定数据库中。
第二种方式，将获取到的IP地址中与基于RDMA技术的容器网络的IP网段相匹配的IP地址及其对应的主机名的对应关系，保存到基于RDMA技术的容器网络中除作为参数服务器的Pod和作为工作服务器的Pod之外的指定Pod的指定数据库中。
第三种方式，将获取到的IP地址中与基于RDMA技术的容器网络的IP网段相匹配的IP地址及其对应的主机名的对应关系，分别保存到对应的Pod中的共享文件夹中，此共享文件夹可供作为参数服务器的Pod与作为工作服务器的Pod共同访问。
当然，还可以采用其他方式保存，在此不再一一列举。
S13、读取用户在Tensorflow分布式训练脚本中输入的所有作为参数服务器的Pod和作为工作服务器的Pod的Pod信息，并根据每条Pod信息中的主机名查找对应关系，将查找到的IP地址替换该条Pod信息中的主机名。
在本步骤中，每条Pod信息通常包括主机名、端口号等信息。
由于支持RDMA技术的网卡不支持Kubernetes的Service机制，所以在基于该网卡创建的基于RDMA技术的容器网络中，作为参数服务器的Pod与作为工作服务器的Pod无法使用在基于RDMA技术的容器网络中的IP地址进行通信。为了解决此问题，本申请可以依据保存的上述对应关系查找到每条Pod信息中的主机名对应的基于RDMA的IP地址，进而完成替换操作，以便执行后续训练操作，最终实现作为参数服务器的Pod和作为工作服务器的Pod之间的通信。
S14、利用每条替换后的Pod信息进行训练，以完成基于RDMA技术的容器网络中作为参数服务器的Pod和作为工作服务器的Pod之间的通信。
需要说明的是，具体的训练过程为现有技术，在此不再详述。
下面结合具体实施例对上述通信方法进行详细说明。
在物理服务器中安装支持RDMA技术的网卡，在该物理服务器上创建Kubernetes集群，并在Kubernetes集群中基于支持RDMA技术的网卡创建容器网络，即，基于RDMA技术的容器网络。
假设Kubernetes集群中创建了2个作为参数服务器的Pod，2个作为工作服务器的Pod，每个Pod中只有一个容器(Container)，每个Pod包括一个基于Kubernetes集群分配的在普通容器网络中的IP地址和一个基于Kubernetes集群分配的在基于RDMA技术的容器网络中的IP地址，每个Pod可以认为是多网卡Pod，这4个Pod均执行Tensorflow分布式训练脚本。
上述通信方法可以包括如下流程：
首先，获取这4个Pod的主机名(hostname)，根据这4个Pod的hostname进一步获取这4个Pod的所有IP地址，并根据基于RDMA技术的容器网络的IP网段去匹配获取到的这4个Pod的所有IP地址，将成功匹配的IP地址(即，基于Kubernetes集群分配的在基于RDMA技术的容器网络中的IP地址)和hostname的对应关系保存到物理服务器的Mongo DB数据库中。
其次，读取用户在Tensorflow分布式训练脚本中输入的这4个Pod的Pod信息；根据这4个Pod的Pod信息中的hostname查找Mongo DB数据库。
最后，将查找到的每个IP地址替换对应Pod信息中的hostname，并使用替换后的Pod信息进行后续训练，以完成基于RDMA技术的容器网络中作为参数服务器的Pod和作为工作服务器的Pod之间的通信。
由以上技术方案可以看出，在本申请中，在Kubernetes集群中部署有基于RDMA技术的容器网络的场景下，通过获取作为参数服务器的Pod与作为工作服务器的Pod的所有IP地址，并与预先配置的基于RDMA技术的容器网络的IP网段进行匹配，将匹配出的IP地址替换用户在Tensorflow分布式训练脚本中输入的相应Pod信息中的主机名，以完成训练，从而实现这种场景下作为参数服务器的Pod与作为工作服务器的Pod之间的通信。
基于同一发明构思，本申请还提供了一种通信装置，如图2所示，该装置包括：
获取模块21，用于获取Kubernetes集群中所有作为参数服务器的Pod和作为工作服务器的Pod的IP地址，其中，每个Pod包括两个处于不同网段的IP地址，且分别为基于Kubernetes集群分配的在普通容器网络和基于RDMA技术的容器网络中的IP地址；
保存模块22，用于将获取到的IP地址中与预先配置的所述基于RDMA技术的容器网络的IP网段相匹配的IP地址及其对应的主机名的对应关系进行保存；
读取模块23，用于读取用户在Tensorflow分布式训练脚本中输入的所有作为参数服务器的Pod和作为工作服务器的Pod的Pod信息，并根据每条Pod信息中的主机名查找所述对应关系，将查找到的IP地址替换该条Pod信息中的主机名；
训练模块24，用于利用每条替换后的Pod信息进行训练，以完成所述基于RDMA技术的容器网络中作为参数服务器的Pod和作为工作服务器的Pod之间的通信。
优选地，上述获取模块21，具体用于通过以下方式获取Kubernetes集群中所有作为参数服务器的Pod和作为工作服务器的Pod的IP地址：
获取所有作为参数服务器的Pod和作为工作服务器的Pod的主机名；
根据获取到的每个主机名，获取对应的Pod的IP地址。
优选地，上述保存模块22，具体用于：
将获取到的IP地址中与所述基于RDMA技术的容器网络的IP网段相匹配的IP地址及其对应的主机名的对应关系，保存到创建所述Kubernetes集群的物理服务器的指定数据库中。
优选地，上述保存模块22，具体用于：
将获取到的IP地址中与所述基于RDMA技术的容器网络的IP网段相匹配的IP地址及其对应的主机名的对应关系，保存到所述容器网络中除作为参数服务器的Pod和作为工作服务器的Pod之外的指定Pod的指定数据库中。
优选地，上述保存模块22，具体用于：
将获取到的IP地址中与所述基于RDMA技术的容器网络的IP网段相匹配的IP地址及其对应的主机名的对应关系，分别保存到对应的Pod中的共享文件夹中
由以上技术方案可以看出，在本申请中，在Kubernetes集群中部署有基于RDMA技术的容器网络的场景下，通过获取作为参数服务器的Pod与作为工作服务器的Pod的所有IP地址，并与预先配置的基于RDMA技术的容器网络的IP网段进行匹配，将匹配出的IP地址替换用户在Tensorflow分布式训练脚本中输入的相应Pod信息中的主机名，以完成训练，从而实现这种场景下作为参数服务器的Pod与作为工作服务器的Pod之间的通信。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种通信方法，其特征在于，所述方法包括：
获取Kubernetes集群中所有作为参数服务器的Pod和作为工作服务器的Pod的IP地址，其中，每个Pod包括两个处于不同网段的IP地址，且分别为基于Kubernetes集群分配的在普通容器网络和基于远程直接内存访问RDMA技术的容器网络中的IP地址；
将获取到的IP地址中与预先配置的所述基于RDMA技术的容器网络的IP网段相匹配的IP地址及其对应的主机名的对应关系进行保存；
读取用户在Tensorflow分布式训练脚本中输入的所有作为参数服务器的Pod和作为工作服务器的Pod的Pod信息，并根据每条Pod信息中的主机名查找所述对应关系，将查找到的IP地址替换该条Pod信息中的主机名；
利用每条替换后的Pod信息进行训练，以完成所述基于RDMA技术的容器网络中作为参数服务器的Pod和作为工作服务器的Pod之间的通信。
2.根据权利要求1所述的方法，其特征在于，通过以下方式获取Kubernetes集群中所有作为参数服务器的Pod和作为工作服务器的Pod的IP地址：
获取所有作为参数服务器的Pod和作为工作服务器的Pod的主机名；
根据获取到的每个主机名，获取对应的Pod的IP地址。
3.根据权利要求1或2所述的方法，其特征在于，将获取到的IP地址中与所述基于RDMA技术的容器网络的IP网段相匹配的IP地址及其对应的主机名的对应关系进行保存，具体包括：
将获取到的IP地址中与所述基于RDMA技术的容器网络的IP网段相匹配的IP地址及其对应的主机名的对应关系，保存到创建所述Kubernetes集群的物理服务器的指定数据库中。
4.根据权利要求1或2所述的方法，其特征在于，将获取到的IP地址中与所述基于RDMA技术的容器网络的IP网段相匹配的IP地址及其对应的主机名的对应关系进行保存，具体包括：
将获取到的IP地址中与所述基于RDMA技术的容器网络的IP网段相匹配的IP地址及其对应的主机名的对应关系，保存到所述基于RDMA技术的容器网络中除作为参数服务器的Pod和作为工作服务器的Pod之外的指定Pod的指定数据库中。
5.根据权利要求1或2所述的方法，其特征在于，将获取到的IP地址中与所述基于RDMA技术的容器网络的IP网段相匹配的IP地址及其对应的主机名的对应关系进行保存，具体包括：
将获取到的IP地址中与所述基于RDMA技术的容器网络的IP网段相匹配的IP地址及其对应的主机名的对应关系，分别保存到对应的Pod中的共享文件夹中。
6.一种通信装置，其特征在于，所述装置包括：
获取模块，用于获取Kubernetes集群中所有作为参数服务器的Pod和作为工作服务器的Pod的IP地址，其中，每个Pod包括两个处于不同网段的IP地址，且分别为基于Kubernetes集群分配的在普通容器网络和基于远程直接内存访问RDMA技术的容器网络中的IP地址；
保存模块，用于将获取到的IP地址中与预先配置的所述基于RDMA技术的容器网络的IP网段相匹配的IP地址及其对应的主机名的对应关系进行保存；
读取模块，用于读取用户在Tensorflow分布式训练脚本中输入的所有作为参数服务器的Pod和作为工作服务器的Pod的Pod信息，并根据每条Pod信息中的主机名查找所述对应关系，将查找到的IP地址替换该条Pod信息中的主机名；
训练模块，用于利用每条替换后的Pod信息进行训练，以完成所述基于RDMA技术的容器网络中作为参数服务器的Pod和作为工作服务器的Pod之间的通信。
7.根据权利要求6所述的装置，其特征在于，所述获取模块，具体用于通过以下方式获取Kubernetes集群中所有作为参数服务器的Pod和作为工作服务器的Pod的IP地址：
获取所有作为参数服务器的Pod和作为工作服务器的Pod的主机名；
根据获取到的每个主机名，获取对应的Pod的IP地址。
8.根据权利要求6或7所述的装置，其特征在于，所述保存模块，具体用于：
将获取到的IP地址中与所述基于RDMA技术的容器网络的IP网段相匹配的IP地址及其对应的主机名的对应关系，保存到创建所述Kubernetes集群的物理服务器的指定数据库中。
9.根据权利要求6或7所述的装置，其特征在于，所述保存模块，具体用于：
将获取到的IP地址中与所述基于RDMA技术的容器网络的IP网段相匹配的IP地址及其对应的主机名的对应关系，保存到所述基于RDMA技术的容器网络中除作为参数服务器的Pod和作为工作服务器的Pod之外的指定Pod的指定数据库中。
10.根据权利要求6或7所述的装置，其特征在于，所述保存模块，具体用于：
将获取到的IP地址中与所述基于RDMA技术的容器网络的IP网段相匹配的IP地址及其对应的主机名的对应关系，分别保存到对应的Pod中的共享文件夹中。
CN202010246299.4A 2020-03-31 2020-03-31 一种通信方法及装置 Active CN111541738B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010246299.4A CN111541738B (zh) 2020-03-31 2020-03-31 一种通信方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010246299.4A CN111541738B (zh) 2020-03-31 2020-03-31 一种通信方法及装置

Publications (2)

Publication Number Publication Date
CN111541738A CN111541738A (zh) 2020-08-14
CN111541738B true CN111541738B (zh) 2022-05-27

Family

ID=71976857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010246299.4A Active CN111541738B (zh) 2020-03-31 2020-03-31 一种通信方法及装置

Country Status (1)

Country Link
CN (1) CN111541738B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114760292B (zh) * 2020-12-25 2023-07-21 广东飞企互联科技股份有限公司 一种面向服务发现与注册的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105897946A (zh) * 2016-04-08 2016-08-24 北京搜狐新媒体信息技术有限公司 一种访问地址的获取方法及系统
CN107113298A (zh) * 2014-12-29 2017-08-29 Nicira股份有限公司 为rdma提供多租赁支持的方法
CN107430585A (zh) * 2016-01-29 2017-12-01 慧与发展有限责任合伙企业 远程直接存储器访问
US10296451B1 (en) * 2018-11-01 2019-05-21 EMC IP Holding Company LLC Content addressable storage system utilizing content-based and address-based mappings
CN110308987A (zh) * 2019-05-17 2019-10-08 北京瀚海星云科技有限公司 一种更新容器云上分布式训练任务连接参数的方法
CN110308986A (zh) * 2019-05-17 2019-10-08 北京瀚海星云科技有限公司 基于优化调度的容器云上分布式训练数据通信的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107113298A (zh) * 2014-12-29 2017-08-29 Nicira股份有限公司 为rdma提供多租赁支持的方法
CN107430585A (zh) * 2016-01-29 2017-12-01 慧与发展有限责任合伙企业 远程直接存储器访问
CN105897946A (zh) * 2016-04-08 2016-08-24 北京搜狐新媒体信息技术有限公司 一种访问地址的获取方法及系统
US10296451B1 (en) * 2018-11-01 2019-05-21 EMC IP Holding Company LLC Content addressable storage system utilizing content-based and address-based mappings
CN110308987A (zh) * 2019-05-17 2019-10-08 北京瀚海星云科技有限公司 一种更新容器云上分布式训练任务连接参数的方法
CN110308986A (zh) * 2019-05-17 2019-10-08 北京瀚海星云科技有限公司 基于优化调度的容器云上分布式训练数据通信的方法

Also Published As

Publication number Publication date
CN111541738A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
US11586673B2 (en) Data writing and reading method and apparatus, and cloud storage system
US9100353B2 (en) Cloud server for managing hostnames and IP addresses, and management method for the cloud server
CN101986665B (zh) Ipv6地址分配方法和系统
CN103049355B (zh) 一种数据库系统恢复方法及设备
CN108694218A (zh) 一种数据写入及读取的方法和装置
US11930051B2 (en) Network service system, computer storage medium for communication, and network service method
CN105095313A (zh) 一种数据访问方法和设备
CN108243079A (zh) 一种基于vpc进行网络访问的方法与设备
CN105978748A (zh) 一种基于哈希节点的终端设备信息统计的方法及装置
CN111541738B (zh) 一种通信方法及装置
CN115314353A (zh) 一种基于kubernetes实现单pod多网卡的装置和方法
CN106101112A (zh) 访问使用动态ip的私有设备的方法、系统及公网服务器
CN110545336B (zh) Ip地址替换方法、装置、计算机设备和存储介质
US6865603B2 (en) Correcting for network address changes
CN112087484A (zh) 快速定位具体服务器的方法及系统
CN115333933A (zh) 一种机房上架的服务器的自动管理方法、介质及设备
JP5332488B2 (ja) 複数の機能エンティティのマップ・ベース通信
CN109525685B (zh) 一种ip地址分配方法及系统
CN107135284B (zh) 企业系统内终端设备的查询方法及系统
CN110958149B (zh) 一种自动聚合及展示OpenStack日志的方法
CN105813061A (zh) 一种多卡终端资源获取方法及多卡终端
CN110944144B (zh) 一种快速配置视讯终端接入视讯系统的方法和系统
CN114124960B (zh) 并行集群文件系统双网部署方法、系统、终端及存储介质
CN114327940A (zh) 系统对接方法、装置、存储介质及计算机设备
CN117221147A (zh) 分级提供切片服务的方法、终端、平台、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant