CN112882999A - 基于分布式缓存亲和性调度的训练加速方法、装置及系统 - Google Patents
基于分布式缓存亲和性调度的训练加速方法、装置及系统 Download PDFInfo
- Publication number
- CN112882999A CN112882999A CN202110132077.4A CN202110132077A CN112882999A CN 112882999 A CN112882999 A CN 112882999A CN 202110132077 A CN202110132077 A CN 202110132077A CN 112882999 A CN112882999 A CN 112882999A
- Authority
- CN
- China
- Prior art keywords
- cache
- gpu
- data
- client
- distributed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了基于分布式缓存亲和性调度的训练加速方法、装置及系统,装置包括多个分布式缓存组件:数据集存储、主进程、工作进程、缓存工作节点、缓存客户端和处理器GPU;其中,数据集存储,用于存储底层数据;主进程,用于读取底层数据的元数据、存存储元数据信息及工作进程信息;工作进程,用于将读取的底层数据加载缓存到GPU中;缓存客户端,用于供用户调用到指定缓存工作节点,并创建缓存文件夹,用于存储GPU中缓存的文件;其中,缓冲工作节点上设置有计算任务名标签;GPU,用于用户使用客户端fuse创建的缓存文件夹进行训练时,直接读取缓存文件夹中的缓存文件。解决了小文件加载慢的问题,并彻底消除数据集加载占用通信带宽问题。
Description
技术领域
本发明书一个或多个实施例涉及分布式机器学习训练技术领域,尤其涉及一种基于分布式缓存亲和性调度的训练加速方法、装置及系统。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述可包括可以探究的概念,但不一定是之前已经想到或者已经探究的概念。因此,除非在此指出,否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术,并且并不因为包括在本部分中就承认是现有技术。
基于参数服务器(PS)的体系架构在当今主流的分布式机器学习(DML)系统中被广泛使用,其有易于部署、弹性的可伸缩性和容错能力等优点,架构中PS为中心参数服务器,收集每次迭代过程中来自工作结点(Worker)的训练参数更新,并在聚合后更新到每个Worker。目前主流的DML平台都是使用BSP参数同步模式。
软件定义网络(Software Defined Network,SDN)将数据的转发与控制进行分离,网络控制面被抽取到一个集中式的控制器(Controller)中,即数据流的接入和路由等相关操作都交由Controller控制,Controller将这些操作以流表的形式下发至交换机,而交换机则只负责数据分组的转发和执行对应的动作即可。
在基于参数服务器的分布式机器学习架构中,模型训练过程的每一轮迭代都需要借助参数服务器同步所有Worker的参数更新,在多个Worker同时向PS上传参数更新时,这种“多对一”的通信模式不可避免出现TCP Incast问题,从而导致往返时延(RoundTripTime,RTT)增加。现有的解决办法是基于参数服务器方式的中心化分布式训练方法,该方法基于CDN中央控制器通过阈值对于RTT(连接往返时间)进行控制,避免参数服务器个别节点参数更新慢问题,该方法不需要压缩和牺牲需更新的部分参数,有利于分布式机器学习模型的快速收敛,加快了分布式机器学习的训练。
但该方法存在如下问题:
(1)RTT的阈值不容易确定,如果过小则无法起到加速效果,如果过大将会丢失大量梯度参数,造成训练失败;
(2)无法解决训练大型模型数据加载通信带宽问题;
(3)无法解决小文件加载慢问题。
有鉴于此,亟需一种新的分布式机器学习训练技术,用于解决存在的上述技术问题。
发明内容
本说明书一个或多个实施例描述了一种基于分布式缓存亲和性调度的训练加速方法、装置及系统,可解决现有技术小文件加载慢、分布式缓存和分布式任务节点亲和性调度及训练大型模型数据加载通信带宽问题。本说明书一个或多个实施例提供的技术方案如下:
第一方面,本发明提供了一种基于分布式缓存亲和性调度的训练加速装置,所述装置包括多个分布式缓存组件:数据集存储、主进程、工作进程缓存工作节点、缓存客户端和处理器GPU;其中,
所述数据集存储,用于存储底层数据;
所述主进程,用于读取底层数据的元数据、存存储元数据信息及工作进程信息;
所述工作进程,用于将读取的底层数据加载缓存到GPU中;
所述缓存客户端,用于供用户调用到指定缓存工作节点,并在该工作节点创建缓存文件夹,用于存储GPU中缓存的文件;其中,缓冲工作节点上设置有计算任务名标签;
所述GPU,用于用户使用缓存客户端创建的缓存文件夹进行训练时,直接读取缓存文件夹中的缓存文件。
在一个示例中,读取的底层数据以块的方式加载缓存到GPU中。
在一个示例中,读取的底层数据加载缓存到固态硬盘SSD中。
在一个示例中,读取底层数据的元数据、存存储元数据信息及工作进程信息,包括缓存使用和未使用的信息。
第二方面,本发明提供了一种基于分布式缓存亲和性调度的训练加速方法,用于如第一方面所述的装置,所述方法包括:
创建分布式缓存,并指定数据集存储存储底层数据;其中,所述分布式缓存组件包括数据集存储、主进程、工作进程、缓存工作节点、缓存客户端和处理器GPU;
主进程读取底层数据的元数据、存存储元数据信息及工作进程信息;
工作进程将读取的底层存储的数据集加载缓存到GPU中;
分布式缓存组件缓存客户端作为客户端供用户调用到指定缓存工作节点,并在该工作节点创建缓存文件夹,用于存储GPU中缓存的文件;其中,缓冲工作节点上设置有计算任务名标签;
用户使用缓存客户端创建的缓存文件进行训练时,GUP直接读取缓存文件夹中的缓存文件。
在一个示例中,分布式缓存组件工作进程将读取的底层存储的数据集以块的方式加载缓存到GPU中。
在一个示例中,读取的底层数据加载缓存到固态硬盘SSD中。
第三方面,本发明提供了一种基于分布式缓存亲和性调度的训练加速系统,该系统包括至少一个处理器和存储器;
所述存储器,用于存储一个或多个程序指令;
所述处理器,用于运行一个或多个程序指令,用以执行如第二方面中一个或多个所述的方法。
第四方面,本发明提供了一种芯片,所述芯片与系统中的存储器耦合,使得所述芯片在运行时调用所述存储器中存储的程序指令,实现如第二方面中一个或多个所述的方法。
第五方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质包括一个或多个程序指令,所述一个或多个程序指令可被如第三方面所述的系统执行,以实现如第二方面中一个或多个所述的方法。
本发明实施例提供的方法具有以下优点:
(1)使用分布式缓存通过块读取解决小文件加载慢问题;
(2)无需通过控制RTT的阈值减少梯度通信带宽,通过分布式缓存的亲和性调度,彻底消除数据集加载占用通信带宽。
附图说明
图1为本发明实施例提供的基于分布式缓存亲和性调度的训练加速装置示意图;
图2为本发明实施例提供的基于分布式缓存亲和性调度的训练加速方法流程示意图;
图3为本发明实施例提供的基于分布式缓存亲和性调度的训练加速系统结构示意图。
其中,1为数据集存储Dataset Storage;2为主进程master;3为工作进程worker;4为缓存工作节点Cache Worker4;5为缓存客户端fuse。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出一个实施例的基于分布式缓存亲和性调度的训练加速装置示意图,如图1所示,该装置包括处理器GPU及多个缓存组件:数据集存储Dataset Storage1、主进程master2、工作进程worker3、缓存工作节点Cache Worker4、缓存客户端fuse5;其中,
所述数据集存储1,用于存储底层数据。
具体的,用户通过应用程序接口API指定数据集地址在数据集存储1中,例如mountpoint:local:///storage/group/user/datasetpath。指定数据集位置后,内部缓存控制器会将该数据地址数据进行缓存。
所述主进程2,用于读取底层数据的元数据、存存储元数据信息及工作进程信息。
在一个示例中,读取底层数据的元数据、存存储元数据信息及工作进程信息,包括缓存使用和未使用的信息。具体的,缓存控制器会控制在未使用缓存数据前,只缓存文件系统元数据信息,在应用第一次使用缓存时对文件进行缓存,在元数据信息被缓存前提下,缓存较快;在应用第二次使用缓存,非常快。这里的缓存使用量和未使用量的意思就是应用第一次缓存大的进度。
所述工作进程3,用于将读取的底层数据加载缓存到GPU中。
具体的,读取的底层数据以块的方式加载缓存到GPU中。
在一个示例中,读取的底层数据也可以加载缓存到固态硬盘SSD中,区别在于缓存速度,CPU比SSD快,但是缓存到CPU对用户服务器有要求。
所述缓存客户端5,用于供用户调用到指定缓存工作节点Cache Worker4,并在该工作节点创建缓存文件夹,用于存储GPU中缓存的文件;其中,缓冲工作节点上设置有计算任务名标签。
具体的,有关亲和度调度:
目前分布式缓存依旧存在两个问题:
(1)当工作进程worker3和计算节点不相同时,依旧需要通过节点的通信带宽传递数据:
(2)第二,worker节点的数目无法确定。
在此,我们通过将计算节点加上计算任务名标签,在创建worker节点时,强制将worker调度到有计算任务名标签的节点上解决问题(1);通过对于缓存数据集大小和worker缓存能力进行计算得到worker数量解决问题(2)。
分布式任务,不知道任务具体在哪个节点,我们这里通过调度到指定节点然后通过fuse组件会帮助在该节点创建缓存文件夹,并将缓存文件写进去,然后在程序中可直接调用即可。
亲和性调度带来的优势是:
可基本消除计算节点GPU加载数据集带来的节点间通信带宽占用问题。
所述GPU,用于用户使用客户端fuse创建的缓存文件夹进行训练时,直接读取缓存文件夹中的缓存文件。
训练和用户调用本地文件无异,在程序中指定数据集地址即可。
本发明采用的分布式缓存存储是统一的存储,通过对缓存权限控制比直接对底层文件系统权限控制方便,其由缓存控制器来实现。
综上,本发明提供的分布式缓存装置带来的优势是:
(1)分布式缓存将底层存储数据以块文件形式存储,可以大大缓解GPU读取小文件缓慢的问题
(2)针对复杂性方面,分布式缓存进行权限控制远小于底层存储权限控制。
与上述实施例装置对应的,本发明还提供了一种基于分布式缓存亲和性调度的训练加速方法,该方法用于上述介绍的装置中,图2为方法流程示意图,如图2所述,该方法具体为:
步骤210,创建分布式缓存,并指定数据集存储存储底层数据;其中,所述分布式缓存组件包括数据集存储Dataset Storage、主进程master、工作进程worker、缓存工作节点Cache Worker、缓存客户端fuse和处理器GPU。
步骤220,主进程master读取底层数据的元数据、存存储元数据信息及工作进程worker信息。
步骤230,工作进程worker将读取的底层存储的数据集加载缓存到GPU中。
在一个示例中,分布式缓存组件工作进程worker将读取的底层存储的数据集以块的方式加载缓存到GPU中。
在另一个示例中,读取的底层数据加载缓存到固态硬盘SSD中。
步骤240,分布式缓存组件缓存客户端fuse作为客户端供用户调用到指定缓存工作节点Cache Worker,并在该工作节点创建缓存文件夹,用于存储GPU中缓存的文件;其中,缓冲工作节点上设置有计算任务名标签。
步骤250,用户使用缓存客户端fuse创建的缓存文件进行训练时,GUP直接读取缓存文件夹中的缓存文件。
本发明实施例提供的方法中,所涉及到的知识点,已在上述装置中做了详细介绍,因此这里不做过多赘述。
与上述实施例相对应的,本发明实施例、还提供了一种基于分布式缓存亲和性调度的训练加速系统,具体如图3所示,该系统包括至少一个处理器310和存储器320;
存储器310,用于存储一个或多个程序指令;
处理器320,用于运行一个或多个程序指令,执行如上述实施例所介绍的基于分布式缓存亲和性调度的训练加速方法中的任一方法步骤。
与上述实施例相对应的,本发明实施例还提供了一种芯片,该芯片与上述系统中的存储器耦合,使得所述芯片在运行时调用所述存储器中存储的程序指令,实现如上述实施例所介绍的基于分布式缓存亲和性调度的训练加速方法。
与上述实施例相对应的,本发明实施例还提供了一种计算机存储介质,该计算机存储介质中包括一个或多个程序,其中,一个或多个程序指令用于被基于分布式缓存亲和性调度的训练加速系统执行如上介绍的基于分布式缓存亲和性调度的训练加速方法。
本申请提供的方案,解决了现有技术存在的问题:
(1)使用分布式缓存通过块读取解决小文件加载慢问题;
(2)无需通过控制RTT的阈值减少梯度通信带宽,通过分布式缓存的亲和性调度,彻底消除数据集加载占用通信带宽。
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.基于分布式缓存亲和性调度的训练加速装置,其特征在于,所述装置包括多个分布式缓存组件:数据集存储、主进程、工作进程、缓存工作节点、缓存客户端和处理器GPU;其中,
所述数据集存储,用于存储底层数据;
所述主进程,用于读取底层数据的元数据、存存储元数据信息及工作信息;
所述工作进程,用于将读取的底层数据加载缓存到GPU中;
所述缓存客户端,用于供用户调用到指定缓存工作节点,并在该工作节点创建缓存文件夹,用于存储GPU中缓存的文件;其中,缓冲工作节点上设置有计算任务名标签;
所述GPU,用于用户使用缓存客户端创建的缓存文件夹进行训练时,直接读取缓存文件夹中的缓存文件。
2.根据权利要求1所述的装置,其特征在于,读取的底层数据以块的方式加载缓存到GPU中。
3.根据权利要求1或2所述的装置,其特征在于,读取的底层数据加载缓存到固态硬盘SSD中。
4.根据权利要求1所述的装置,其特征在于,读取底层数据的元数据、存存储元数据信息及工作进程信息,包括缓存使用和未使用的信息。
5.基于分布式缓存亲和性调度的训练加速方法,用于如权利要求1所述的装置,其特征在于,所述方法包括:
创建分布式缓存,并指定数据集存储存储底层数据;其中,所述分布式缓存组件包括数据集存储、主进程、工作进程、缓存工作节点、缓存客户端和处理器GPU;
主进程读取底层数据的元数据、存存储元数据信息及工作进程信息;
工作进程将读取的底层存储的数据集加载缓存到GPU中;
分布式缓存组件缓存客户端作为客户端供用户调用到指定缓存工作节点,并在该工作节点创建缓存文件夹,用于存储GPU中缓存的文件;其中,缓冲工作节点上设置有计算任务名标签;
用户使用缓存客户端创建的缓存文件进行训练时,GUP直接读取缓存文件夹中的缓存文件。
6.根据权利要求5所述的方法,其特征在于,分布式缓存组件工作进程将读取的底层存储的数据集以块的方式加载缓存到GPU中。
7.根据权利要求5或6所述的方法,其特征在于,读取的底层数据加载缓存到固态硬盘SSD中。
8.基于分布式缓存亲和性调度的训练加速系统,其特征在于,所述系统包括至少一个处理器和存储器;
所述存储器,用于存储一个或多个程序指令;
所述处理器,用于运行一个或多个程序指令,用以执行如权利要求5至7中一个或多个所述的方法。
9.一种芯片,其特征在于,所述芯片与系统中的存储器耦合,使得所述芯片在运行时调用所述存储器中存储的程序指令,实现如权利要求5至7中一个或多个所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括一个或多个程序指令,所述一个或多个程序指令可被如权利要求13所述的系统执行,以实现如权利要求5至7中一个或多个所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110132077.4A CN112882999A (zh) | 2021-01-31 | 2021-01-31 | 基于分布式缓存亲和性调度的训练加速方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110132077.4A CN112882999A (zh) | 2021-01-31 | 2021-01-31 | 基于分布式缓存亲和性调度的训练加速方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112882999A true CN112882999A (zh) | 2021-06-01 |
Family
ID=76052088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110132077.4A Pending CN112882999A (zh) | 2021-01-31 | 2021-01-31 | 基于分布式缓存亲和性调度的训练加速方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112882999A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160067289A (ko) * | 2014-12-03 | 2016-06-14 | 충북대학교 산학협력단 | 분산 파일 시스템에서 소형 파일에 대한 접근성 향상을 위한 캐시 관리 시스템 |
CN108280522A (zh) * | 2018-01-03 | 2018-07-13 | 北京大学 | 一种插件式分布式机器学习计算框架及其数据处理方法 |
CN110427222A (zh) * | 2019-06-24 | 2019-11-08 | 北京达佳互联信息技术有限公司 | 数据加载方法、装置、电子设备及存储介质 |
CN111860835A (zh) * | 2020-07-17 | 2020-10-30 | 苏州浪潮智能科技有限公司 | 一种神经网络模型训练方法和装置 |
-
2021
- 2021-01-31 CN CN202110132077.4A patent/CN112882999A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160067289A (ko) * | 2014-12-03 | 2016-06-14 | 충북대학교 산학협력단 | 분산 파일 시스템에서 소형 파일에 대한 접근성 향상을 위한 캐시 관리 시스템 |
CN108280522A (zh) * | 2018-01-03 | 2018-07-13 | 北京大学 | 一种插件式分布式机器学习计算框架及其数据处理方法 |
CN110427222A (zh) * | 2019-06-24 | 2019-11-08 | 北京达佳互联信息技术有限公司 | 数据加载方法、装置、电子设备及存储介质 |
CN111860835A (zh) * | 2020-07-17 | 2020-10-30 | 苏州浪潮智能科技有限公司 | 一种神经网络模型训练方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10003649B2 (en) | Systems and methods to improve read/write performance in object storage applications | |
CN105607954B (zh) | 一种有状态容器在线迁移的方法和装置 | |
CN106487850B (zh) | 一种云环境下获取镜像的方法、装置和系统 | |
CN110892380A (zh) | 用于流处理的数据处理单元 | |
CN107357896A (zh) | 数据库集群的扩容方法、装置、系统和数据库集群系统 | |
US20160042014A1 (en) | Distributed database in software driven networks | |
KR102181640B1 (ko) | 재구성가능한 분산 처리 | |
JP2015194855A (ja) | 情報処理システム、制御プログラム、及び情報処理システムの制御方法 | |
CN105744001B (zh) | 分布式缓存系统扩容方法、数据访问方法及装置和系统 | |
CN109697120A (zh) | 用于应用迁移的方法、电子设备 | |
CN112463366A (zh) | 面向云原生的微服务自动扩缩容和自动熔断方法及系统 | |
CN110149375A (zh) | 网络存储云手机间的数据共享方法、系统及存储介质 | |
US9509637B1 (en) | Methods and apparatus for virtualizing switch control plane engine | |
CN109510852B (zh) | 灰度发布的方法及装置 | |
CN111416875A (zh) | 一种面向云边协同的服务目录同步方法及系统 | |
CN103885811B (zh) | 虚拟机系统全系统在线迁移的方法、系统与装置 | |
JP2022505720A (ja) | コンテナ化されたリレーショナルデータベースのi/o消費を効果的に減少させる方法 | |
CN104104645A (zh) | 一种跨平台资源管理方法和系统 | |
CN108540405B (zh) | 网络资源迁移方法及装置 | |
CN104866375B (zh) | 一种迁移虚拟机的方法及装置 | |
CN112882999A (zh) | 基于分布式缓存亲和性调度的训练加速方法、装置及系统 | |
US11916998B2 (en) | Multi-cloud edge system | |
CN107295072B (zh) | 一种基于私有云的缓存数据一致性维护方法 | |
CN110119388A (zh) | 文件读写方法、装置、系统、设备及计算机可读存储介质 | |
CN112801665B (zh) | 一种基于服务器中继的跨链交易方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |