CN116016498A - Cdn网元容器配置方法、读写方法、装置、设备及存储介质 - Google Patents
Cdn网元容器配置方法、读写方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116016498A CN116016498A CN202111228686.6A CN202111228686A CN116016498A CN 116016498 A CN116016498 A CN 116016498A CN 202111228686 A CN202111228686 A CN 202111228686A CN 116016498 A CN116016498 A CN 116016498A
- Authority
- CN
- China
- Prior art keywords
- data
- network element
- file system
- distributed file
- cdn network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提出一种CDN网元容器配置方法、读写方法、装置、设备及存储介质,涉及通信技术领域,其中CDN网元容器实例化配置方法包括:初始化配置一个或多个CDN网元容器,根据进程间通信配置信息对进程间通信配置参数进行配置,使得CDN网元容器与宿主机内核平台实现进程间通信,根据分布式文件系统能力信息,建立CDN网元容器与分布式文件系统的数据交互通道,以完成CDN网元容器实例化配置。本申请实施例通过CDN网元容器与宿主机平台进程间通信的方式,使CDN网元容器的存储相关业务在服务过程中,直接从内核态进行操作,减少CDN网元容器服务数据处理流程,从而实现CDN网元容器服务的优化处理,能够有效降低CDN相关业务的时延,提升服务性能。
Description
技术领域
本申请实施例涉及通信技术领域,尤其涉及一种CDN网元容器配置方法、读写方法、装置、设备及存储介质。
背景技术
内容分发网络(virtual Content Delivery Network,CDN)是相关技术中将内容推送到离用户最近的服务节点上,使得用户就近访问内容的一种技术。使用CDN进行内容传输能够极大的提高用户对于内容获取的相应速度,也极大的减少了内容在骨干网络上传输的带宽压力。
随着新生代移动通信技术(如5G,5th Generation Mobile Networks)商用以及4K/8K高清视频、虚拟现实(Virtual Reality,VR)和增强现实(Augmented Reality,AR)等大流量低时延业务的引入,运营商将CDN边缘节点下沉到移动边缘计算平台,从基于物理机的部署模式切换到边缘计算平台虚拟化部署模式,虚拟化后的CDN边缘节点可以释放中央处理器、内存和磁盘大部分资源,与边缘计算实现资源共享。由于相比容器而言虚拟机基于硬件资源的虚拟化技术有较大的性能损耗,因此容器方式通常作为边缘云平台CDN部署的最佳选择。
目前,容器方式部署CDN的存储方式主要采取以下方案:(1)为容器指定特权模式,将特定的主机磁盘挂载到容器上,缓存软件通过容器直写裸磁盘;(2)通过创建数据卷并挂载到对应容器中来实现容器内进程与宿主机文件系统建立关联关系,实现数据的读写。上述两种方案由于在文件读写中需要在用户内存和内核内存互相拷贝,当面对大量文件读写时,严重影响文件读写的性能,因此对于CDN这样的I/O密集型业务来说,已经难以满足当前网络用户需求。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本申请实施例提供一种CDN网元容器配置方法、读写方法、装置、设备及存储介质,能够有效提高CDN网元容器存储性能,降低CDN业务延时。
第一方面,本申请实施例提供一种CDN网元容器实例化配置方法,所述CDN网元容器部署在宿主机上,所述宿主机上安装有宿主机内核平台,所述方法包括:
初始化配置一个或多个CDN网元容器;
获取进程间通信配置信息和分布式文件系统能力信息;
根据所述进程间通信配置信息对进程间通信配置参数进行配置,使得所述CDN网元容器与宿主机内核平台实现进程间通信;
根据所述分布式文件系统能力信息,建立CDN网元容器与分布式文件系统的数据交互通道,以完成所述CDN网元容器实例化配置。
第二方面,本申请实施例提供一种CDN网元容器写数据方法,应用于与宿主机内核平台通信连接的CDN网元容器,所述宿主机内核平台包括分布式文件系统服务端和共享内存,所述CDN网元容器包括分布式文件系统客户端,所述分布式文件系统客户端和所述分布式文件系统服务端均可访问所述共享内存;
所述方法包括:
获取逻辑存储路径;
利用分布式文件系统客户端,将待写数据写入所述共享内存中;
利用分布式文件系统客户端,将所述逻辑存储路径和数据写请求信息通过进程间通信发送至所述分布式文件系统服务端,以使得所述分布式文件系统服务端根据所述数据写请求信息,在所述共享内存中获取所述待写数据进行数据写操作。
第三方面,本申请实施例提供一种CDN网元容器写数据方法,应用于与CDN网元容器通信连接的宿主机内核平台,所述宿主机内核平台包括分布式文件系统服务端和共享内存,所述CDN网元容器包括分布式文件系统客户端,所述分布式文件系统客户端和所述分布式文件系统服务端访问所述共享内存;
所述方法包括:
获取逻辑存储路径和数据写请求信息,所述逻辑存储路径为所述CDN网元容器根据文件存储标识和对应容器路径生成;
所述分布式文件系统服务端根据所述数据写请求信息,从所述共享内存中获取待写数据;
根据所述逻辑存储路径将所述待写数据写入对应磁盘空间。
第四方面,本申请实施例提供一种CDN网元容器读数据方法,应用于CDN网元容器,所述CDN网元容器位于宿主机上,所述宿主机上安装有宿主机内核平台,所述CDN网元容器与所述宿主机内核平台通信连接,所述宿主机内核平台包括分布式文件系统服务端和共享内存,所述CDN网元容器包括分布式文件系统客户端,所述分布式文件系统客户端和所述分布式文件系统服务端访问所述共享内存;
所述方法包括:
获取逻辑存储路径;
将所述逻辑存储路径和数据读请求信息通过进程间通信发送至所述分布式文件系统服务端,以使得所述分布式文件系统服务端根据所述数据读请求信息,在所述共享内存中获取所述待读数据进行数据读操作。
第五方面,本申请实施例提供一种CDN网元容器读数据方法,应用于宿主机,所述CDN网元容器位于宿主机上,所述宿主机上安装有宿主机内核平台,所述CDN网元容器与所述宿主机内核平台通信连接,所述宿主机内核平台包括分布式文件系统服务端和共享内存,所述CDN网元容器包括分布式文件系统客户端,所述分布式文件系统客户端和所述分布式文件系统服务端访问所述共享内存;
所述方法包括:
获取逻辑存储路径和数据读请求信息,所述逻辑存储路径为所述CDN网元容器根据文件存储标识和对应容器路径生成;
所述分布式文件系统服务端根据所述数据读请求信息,利用所述逻辑存储路径获取待读数据的位置标识;
根据所述位置标识将所述待读数据拷贝到所述共享内存,以使得所述分布式文件系统客户端能够利用进程间通信方式从所述共享内存中读取所述待读数据。
第六方面,本申请实施例提供一种CDN网元容器实例化配置装置,所述CDN网元容器部署在宿主机上,所述宿主机上安装有宿主机内核平台,所述宿主机内核平台包括分布式文件系统服务端,所述装置包括:
初始化配置模块,用于初始化配置一个或多个CDN网元容器;
配置信息获取模块,用于获取所述CDN网元容器的配置信息,所述配置信息包括:进程间通信配置信息和分布式文件系统能力信息;
进程间通信配置模块,用于根据所述进程间通信配置信息对进程间通信配置参数进行配置,使得所述CDN网元容器与宿主机内核平台实现进程间通信;
分布式文件系统服务端配置模块,用于根据所述分布式文件系统能力信息进行所述分布式文件系统服务端的配置,以完成所述CDN网元容器实例化配置。
第七方面,本申请实施例提供一种CDN网元容器写数据装置,应用于与CDN网元容器通信连接的宿主机内核平台,所述宿主机内核平台包括分布式文件系统服务端和共享内存,所述CDN网元容器包括分布式文件系统客户端,所述分布式文件系统客户端和所述分布式文件系统服务端访问所述共享内存;
所述装置包括:
第一获取逻辑存储路径模块,用于获取逻辑存储路径和数据写请求信息,所述逻辑存储路径为所述CDN网元容器根据文件存储标识和对应容器路径生成;
获取待写数据模块,用于所述分布式文件系统服务端根据所述数据写请求信息,从所述共享内存中获取待写数据;
写磁盘空间模块,用于根据所述逻辑存储路径将所述待写数据写入对应磁盘空间。
第八方面,本申请实施例提供一种CDN网元容器读数据装置,应用于宿主机,所述CDN网元容器位于宿主机上,所述宿主机上安装有宿主机内核平台,所述CDN网元容器与所述宿主机内核平台通信连接,所述宿主机内核平台包括分布式文件系统服务端和共享内存,所述CDN网元容器包括分布式文件系统客户端,所述分布式文件系统客户端和所述分布式文件系统服务端访问所述共享内存;
所述装置包括:
第二获取逻辑存储路径模块,用于获取逻辑存储路径和数据读请求信息,所述逻辑存储路径为所述CDN网元容器根据文件存储标识和对应容器路径生成;
获取位置标识模块,用于所述分布式文件系统服务端根据所述数据读请求信息,利用所述逻辑存储路径获取待读数据的位置标识;
读取待读数据模块,用于根据所述位置标识将所述待读数据拷贝到所述共享内存,以使得所述分布式文件系统客户端能够利用进程间通信方式从所述共享内存中读取所述待读数据。
第九方面,本申请实施例提供一种计算机设备,包括处理器以及存储器;
所述存储器用于存储程序;
所述处理器用于根据所述程序执行如第一方面至第五方面中任一项所述的待诊图像处理方法。
第十方面,本申请实施例提供一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行第一方面至第五方面中任意一项所述的待诊图像处理方法。
本申请实施例第一方面提供的一种CDN网元容器实例化配置方法,与相关技术相比,通过初始化配置一个或多个CDN网元容器,然后获取进程间通信配置信息和分布式文件系统能力信息,根据进程间通信配置信息对进程间通信配置参数进行配置,使得CDN网元容器与宿主机内核平台实现进程间通信,根据分布式文件系统能力信息,建立CDN网元容器与分布式文件系统的数据交互通道,以完成CDN网元容器实例化配置。本申请实施例通过CDN网元容器与宿主机平台进程间通信的方式,使CDN网元容器的存储相关业务在服务过程中,直接从内核态进行操作,避免相关技术中存储相关业务需要在用户内存和内核内存之间互相拷贝,影响文件读写的性能的问题,通过减少CDN网元容器服务数据处理流程,从而实现CDN网元容器服务的优化处理,能够有效降低CDN相关业务的时延,提升服务性能。
可以理解的是,上述第二方面至第十方面与相关技术相比存在的有益效果与上述第一方面与相关技术相比存在的有益效果相同,可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例的一些实施例,对于本领域普通技术人员来说,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的CDN网元容器存储架构的示意图;
图2是本申请一个实施例提供的CDN网元容器实例化配置方法的流程图;
图3是本申请一个实施例提供的CDN网元容器实例化配置方法的又一流程图;
图4是本申请一个实施例提供的CDN网元容器实例化配置方法的又一流程图;
图5是本申请一个实施例提供的CDN网元容器存储架构的又一示意图
图6是本申请一个实施例提供的CDN网元容器实例化配置方法的又一流程图;
图7是本申请一个实施例提供的CDN网元容器写数据方法的流程图;
图8是本申请一个实施例提供的CDN网元容器写数据方法的又一流程图;
图9是本申请一个实施例提供的CDN网元容器写数据方法的流程图;
图10是本申请一个实施例提供的CDN网元容器写数据方法的又一流程图;
图11是本申请一个实施例提供的CDN网元容器写数据方法的又一流程图;
图12是本申请一个实施例提供的CDN网元容器读数据方法的流程图;
图13是本申请一个实施例提供的CDN网元容器读数据方法的又一流程图;
图14是本申请一个实施例提供的CDN网元容器读数据方法;
图15是本申请一个实施例提供的CDN网元容器读数据方法的又一流程图;
图16是本申请一个实施例提供的CDN网元容器读数据方法的又一流程图;
图17是本申请一个实施例提供的CDN网元容器实例化配置装置的结构框图;
图18是本申请一个实施例提供的CDN网元容器写数据装置的结构框图;
图19是本申请一个实施例提供的CDN网元容器读数据装置的结构框图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请实施例。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请实施例的描述。
需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
还应当理解,在本申请实施例说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请实施例的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
内容分发网络(virtual Content Delivery Network,CDN)是相关技术中将内容推送到离用户最近的服务节点上,使得用户就近访问内容的一种技术。使用CDN进行内容传输能够极大的提高用户对于内容获取的相应速度,也极大的减少了内容在骨干网络上传输的带宽压力。
随着第五代移动通信技术(5th Generation Mobile Networks,5G)商用以及4K/8K高清视频、虚拟现实(Virtual Reality,VR)和增强现实(Augmented Reality,AR)等大流量低时延业务的引入,运营商将CDN边缘节点下沉到移动边缘计算平台,例如与人脸识别和边缘转码等计算型应用共享边缘计算平台底层硬件。从基于物理机的部署模式切换到边缘计算平台虚拟化部署模式,实现CDN的解耦,即应用、云平台和硬件设备三者不存在厂家或技术上绑定关系,扩大CDN的适用范围。
由于云平台可以为业务提供丰富的平台能力,快速地进行业务部署,因此基于边缘云架构的虚拟化内容分发网络(virtual Content Delivery Network,VCDN)方案逐渐成为各大运营商的选择。虚拟化后的CDN边缘节点可以释放中央处理器、内存和磁盘大部分资源,与边缘计算实现资源共享。但是相比容器而言,虚拟机基于硬件资源的虚拟化技术有较大的性能损耗,因此容器方式通常作为边缘云平台CDN部署的最佳选择。
CDN作为在音视频相关业务中提供流服务的节点,同时基于运营商专有的网络用户,以及基于互联网的视频用户越来越多,服务类别的复杂性和任务的规模越来越庞大,由此,会带来任务执行时间过长的问题,极大的影响用户的体验。特别是对于容器化CDN场景下,如果仅仅通过提高CDN节点设备性能会导致CDN成本较高,对于CDN运营商来说难以接受。如何在当前CDN网络中利用有限的设备资源来在系统层面上提升vCDN用户的服务质量成为目前需要解决的问题。
相关技术中,容器方式部署CDN的存储方式主要采取以下方案:(1)为容器指定特权模式,将特定的主机磁盘挂载到容器上,缓存软件通过容器直写裸磁盘;(2)通过创建数据卷并挂载到对应容器中来实现容器内进程与宿主机文件系统建立关联关系,实现数据的读写。上述两种容器存储方案作为当前容器化应用数据持久化的通用存储方案,使用可移植操作系统接口(Portable Operating System Interface of UNIX,POSIX)标准来实现,虽然能够满足许多应用场景下的用户需求,但由于传统的POSIX标准接口方案,在文件读写中需要在用户内存和内核内存互相拷贝,当面对大量文件读写时,严重影响文件读写的性能,因此对于CDN这样的I/O密集型业务来说,已经难以满足当前网络用户量增加及移动终端普及背景下的用户需求。
因此,本申请实施例提供了一种CDN网元容器实例化配置方法,与相关技术相比,通过初始化配置一个或多个CDN网元容器,然后获取进程间通信配置信息和分布式文件系统能力信息,根据进程间通信配置信息对进程间通信配置参数进行配置,使得CDN网元容器与宿主机内核平台实现进程间通信,根据分布式文件系统能力信息,建立CDN网元容器与分布式文件系统的数据交互通道,以完成CDN网元容器实例化配置。本申请实施例通过CDN网元容器与宿主机平台进程间通信的方式,使CDN网元容器的存储相关业务在服务过程中,直接从内核态进行操作,避免相关技术中存储相关业务需要在用户内存和内核内存之间互相拷贝,影响文件读写的性能的问题,通过减少CDN网元容器服务数据处理流程,从而实现CDN网元容器服务的优化处理,能够有效降低CDN相关业务的时延,提升服务性能,例如存储性能或读写性能。
下面结合附图,对本申请实施例作进一步阐述。
图1示出了可以应用本发明实施例的技术方案的示例性CDN网元容器存储架构的示意图。
如图1所示,该实施例中CDN容器存储架构部署在宿主机上,宿主机包括:边缘云平台110、宿主机硬件模块200和宿主机内核平台300。
其中,边缘云平台100是用于提供容器化部署CDN网元的平台,即CDN网元容器部署在边缘云平台100上,边缘云平台100包括:编排组件110和与编排组件110通信连接的容器集合120,编排组件110用于实现CDN网元的容器化部署,容器集合120中包含一个或多个容器,每个容器中还可以包括一个或多个CDN网元容器130,CDN网元容器130中包括分布式文件系统客户端131。
宿主机硬件模块200包括:一个或多个存储器210。在一实施例中,存储器210可以是硬盘,例如机械硬盘(Hard Disk Drive,HDD)和固态硬盘(Solid State Disk,SDD)共同构成,也可以全部由固态硬盘构成。
宿主机内核平台300运行于宿主机中,其包括:磁盘管理模块310、分布式文件系统服务端320和共享内存330,分布式文件系统客户端131和分布式文件系统服务端320均可以进程间通信方式访问共享内存330。
其中,磁盘管理模块310用于整合一个或多个存储器210,例如整合HDD硬盘和SSD硬盘,分布式文件系统服务端320用于提高存储器210的I/O性能,共同实现CDN网元容器存储架构。
在一实施例中,边缘云平台100是以kubernetes作为容器编排系统实现CDN网元的容器化部署方案,容器集合120可以是kubernetes容器系统中的pod单元,CDN网元容器130可以是Server容器。
kubernetes,简称K8s。是一个用于管理云平台中多个主机上的容器化的开源应用,Kubernetes提供了针对容器的应用部署、规划、更新和维护机制。部署容器方式中每个容器之间互相隔离,每个容器有自己的文件系统,容器之间进程不会相互影响,能区分计算资源。Kubernetes是一个开源的容器编排引擎,支持自动化部署、大规模可伸缩、应用容器化管理。在生产环境中部署一个应用程序时,通常要部署该应用的多个实例以便对应用请求进行负载均衡。在Kubernetes中,可以创建多个容器,每个容器里面运行一个应用实例,然后通过内置的负载均衡策略,实现对这一组应用实例的管理、发现、访问。
应该理解,图1中的CDN网元容器和存储器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的CDN网元容器和存储器。
在本发明的一个实施例中,为了实现上述CDN网元容器存储架构,编排组件110可以对CDN网元容器进行实例化配置,例如通过初始化配置一个或多个CDN网元容器,然后获取进程间通信配置信息和分布式文件系统能力信息,根据进程间通信配置信息对进程间通信配置参数进行配置,使得CDN网元容器与宿主机内核平台实现进程间通信,根据分布式文件系统能力信息,建立CDN网元容器与分布式文件系统的数据交互通道,以完成CDN网元容器实例化配置。通过CDN网元容器与宿主机平台进程间通信的方式,使CDN网元容器的存储相关业务在服务过程中,直接从内核态进行操作,避免相关技术中存储相关业务需要在用户内存和内核内存之间互相拷贝,影响文件读写的性能的问题,通过减少CDN网元容器服务数据处理流程,从而实现CDN网元容器的存储性能最大化处理,能够有效降低CDN相关存储业务的时延,提升服务性能。
本申请实施例描述的系统架构以及应用场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域技术人员可知,随着系统架构的演变和新应用场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。本领域技术人员可以理解的是,图1中示出的系统架构并不构成对本申请实施例的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
基于上述系统架构,提出本申请一实施例的CDN网元容器实例化配置方法的各个实施例,在一实施例中,编排组件可以执行该实施例的CDN网元容器实例化配置方法。
如图2所示,图2是本申请一个实施例提供的CDN网元容器实例化配置方法的流程图,包括但不限于有步骤S1110和步骤S1140。
步骤S1110,初始化配置一个或多个CDN网元容器。
在一实施例中,参照图3,初始化配置一个或多个CDN网元容器的过程包括但不限于以下步骤:
步骤S1111,获取一个或多个CDN网元容器的初始化配置信息。
在一实施例中,初始化配置信息包括:基本信息、资源信息和业务信息,其中,基础信息可以是网元信息,资源信息可以是CPU信息或存储需求信息等,业务信息可以是服务类型或IP端口信息等,利用该初始化配置信息实现对CDN网元容器实例化之前的初始化工作。可以理解的是,本申请实施例中初始化配置信息的分类只是一种示意,并不代表对其进行限定,凡是完成CDN网元初始化需要的信息都可以是该初始化配置信息。
步骤S1112,根据初始化配置信息生成资源创建信息。
步骤S1113,根据资源创建信息初始化配置一个或多个CDN网元容器。
在一实施例中,通过边缘云平台中能够与k8s的API server接口通信的接口,向k8s的API server请求生成资源创建信息,然后k8s的API server生成资源创建信息后,根据资源创建信息初始化配置一个或多个CDN网元容器。
在一实施例中,资源创建信息可以是json格式的字符串,下面是资源创建信息的一种示例:
上述仅作示例展示,并非该资源创建信息的全部内容,其具体值以"*"表示。
步骤S1120,获取CDN网元容器的配置信息。
在一实施例中,根据上述资源创建请求获取CDN网元容器的配置信息,该配置信息包括:进程间通信配置信息和分布式文件系统能力信息。例如分布式文件系统能力信息从上述("ifdfs":"1")可以得到。
步骤S1130,根据进程间通信配置信息对进程间通信配置参数进行配置,使得CDN网元容器与宿主机内核平台实现进程间通信。
在一实施例中,由于容器的隔离机制,CDN网元容器是无法直接在宿主机的内核态进行操作,因此需要根据进程间通信配置信息对进程间通信配置参数进行配置,以实现CDN网元容器与宿主机内核平台实现进程间通信。
相关技术中,CDN网元容器由于隔离机制,其与宿主机进行存储相关操作时,多采用POSIX标准接口,网元容器中数据读写需要从宿主机的内核缓冲区,到存储器的用户缓冲区,然后再到CDN的内核socket缓冲区之间根据读写需求进行相互拷贝,当有大量数据交互或者数据较大时,这种存储拷贝流程效率太低,降低CDN网元容器的存储性能。
在一实施例中,进程间通信配置参数为hostIPC参数。步骤S130根据进程间通信配置信息对进程间通信配置参数进行配置,具体包括:将hostIPC参数配置为true。当k8s中hostIPC参数被设置为true时,则CDN网元容器可以与宿主机内核平台在内核态实现进程间通信。进程间通信方式使得CDN网元容器在存储业务服务过程中,在内核态直接进行,数据的发送无需在用户内存(如用户缓冲区)和内核内存(如内核缓冲区和内核socket缓冲区)之间互相拷贝,其中内核socket缓冲区即内核与socket相关的缓冲区。本申请实施例能够在不需要提高CDN网元节点设备性能导致CDN成本较高的情况下,在当前CDN网络中利用有限的设备资源在系统层面上实现了容器化存储的高性能,保证边缘云场景下的CDN业务的高性能服务。
步骤S1140,根据分布式文件系统能力信息建立CDN网元容器与分布式文件系统的数据交互通道,以完成CDN网元容器实例化配置。
在一实施例中,分布式文件系统能力信息为:判断是否支持分布式文件系统,例如使用ifdfs参数来表示,可设定当ifdfs=1时,表示为支持分布式文件系统,可以理解的是,参数表示和参数值均可根据实际需求设定。
若分布式文件系统能力信息获知,该宿主机支持分布式文件系统,则在宿主机内核平台中安装分布式文件系统服务端,在CDN网元容器中安装相应的分布式文件系统客户端,并且在宿主机内核平台中创建共享内存,以建立数据交互通道,以使得分布式文件系统客户端和分布式文件系统服务端均可利用数据交互通道访问共享内存。
在一实施例中,通过进程间通信和共享内存的方式,实现宿主机容器分布式文件系统客户端和分布式文件系统服务端通信,在CDN网元容器存储相关业务服务过程中,数据读写在内核缓存之间执行拷贝操作,直接走内核态操作,不需要在用户内存和内核态内存之间进行切换,也不需要数据在用户内存和内核内存之间相互拷贝,即可实现CDN网元容器性能最大化处理。
在一实施例中,参照图4,步骤S1140包括但不限于有以下步骤:
步骤S1141:为分布式文件系统服务端的存储目录配置对应数据卷。
在一实施例中,如果宿主机支持分布式文件系统,则在宿主机内核平台中安装分布式文件系统服务端,需要进行分布式文件目录编排,为分布式文件系统服务端的存储目录配置对应数据卷,实现容器目录与物理存储之间的映射。
步骤S1142:将数据卷挂载到对应容器路径中,以使得CDN网元容器能够通过容器路径与分布式文件系统服务端对应的数据卷进行数据交互。
在一实施例中,数据卷包括:第一数据卷和第二数据卷,其中,第一数据卷用于存储符合第一性能约束条件的第一类型数据,第二数据卷用于存储不符合第一性能约束条件的第二类型数据。在一实施例中,第一性能约束条件包括但不限于:使用频率小于第一预设使用频率、数据大小小于第一预设数据大小、数据类型为第一预设数据类型或时延要求大于第一预设时延大小等。
在一实施例中,第一类型数据可以是:配置文件、数据文件和日志文件等,该类型数据较小,对时延性能要求不高,主要是配置应用场景等。第二类型数据可以是视频、音频等流媒体数据等,该类型数据的大小较大,对时延性能要求高。
步骤S1142中将数据卷挂载到对应容器路径中,包括但不限于以下步骤:
步骤S1143:将第一数据卷挂载到第一容器路径中,以使得可利用hostpath调用方式对第一数据卷进行调用。
在一实施例中,HostPath调用方式将宿主机上的文件或目录挂载到Pod中的CDN网元容器上,支持以下4种挂载模式:1)DirectoryOrCreate,该模式表示:如果在给定路径上什么都不存在,将根据需要创建空目录,权限设置为0755,与Kubelet有相同的组和属主信息。2)Directory,该模式表示:在给定路径上必须存在目录。3)FileOrCreate,该模式表示:如果在给定路径上什么都不存在,那么将在给定路径根据需要创建空文件,权限设置为0644,具有与Kubelet相同的组和所有权。4)File,该模式表示:在给定路径上必须存在文件。通过相应的挂载配置,可以在Pod运行时,在Pod所在CDN网元容器上的相应路径挂载宿主机的第一数据卷,从而将第一数据卷映射到Pod内部,在CDN网元容器动态挂载第一数据卷。
步骤S1144:将第二数据卷挂载到第二容器路径中,以使得可利用sendfile读写方式对第二数据卷进行读写。
相关技术中,读写方式需要进行socket传输,例如当需要对一个文件进行传输的时候,具体流程细节如下:
1)调用read函数,将文件数据拷贝到内核缓冲区;
2)read函数返回,文件数据从内核缓冲区拷贝到用户缓冲区;
3)write函数调用,将文件数据从用户缓冲区拷贝到内核socket缓冲区;
4)数据从内核socket缓冲区拷贝到用户设备,完成相应的存储业务。
可见在这个过程中发生了四次拷贝操作,分别是硬盘内存->内核内存->用户内存->内核socket缓冲区(内核内存的一种)->用户设备。
在一实施例中,sendfile调用方式为调用sendfile函数实现调用,sendfile函数是一种I/O函数,用于存储相关业务,能够在两个文件描述符之间传递数据,其操作完全在内核中,从而避免了内核缓冲区和用户缓冲区之间的数据拷贝,提高拷贝效率。下面是sendfile函数的一种调用方式:sendfile(int out_fd,int in_fd,off_t*offset,size_tcount),其中,in_fd参数是待读出内容的文件描述符,out_fd参数是待写入内容的文件描述符,offset参数指定从读入文件流的哪个位置开始读,如果为空,则使用读入文件流默认的起始位置,count参数指定文件描述符in_fd和out_fd之间传输的字节数。并且in_fd必须是一个支持类似mmap函数的文件描述符,即必须指向真实的文件,不能是socket和管道,而out_fd必须是一个socket。
上述实施例采用sendfile调用方式,宿主机内核平台调用sendfile(),通过直接存储器访问(Direct Memory Access,DMAP),将硬盘数据拷贝到内核缓冲区,然后数据在内核态被内核直接拷贝到另外一个内核socket缓冲区,直接走内核态操作,在内核中直接完成了从一个内核缓冲区到另一个内核缓冲区的拷贝,不需要数据在用户内存和内核内存之间相互拷贝。并且直接存储器访问把数据从内核缓冲区直接拷贝给用户的协议栈,不需要在用户内存和内核态内存之间进行切换。由于这种调用方式能够提高CDN网元容器的存储性能,因此将第二数据卷中对时延性能要求高的数据利用sendfile读写方式在第二容器路径中对第二数据卷进行读写操作。
在一实施例中,参考图5,为本申请实施例中CDN网元容器存储架构的又一示意图。
图5在图1的基础上,增加了第一数据卷和第二数据卷的相关目录,其中,第一数据卷目录可以是Linux OS目录,第一数据卷用于存储符合第一性能约束条件的第一类型数据,该目录表示将第二数据卷挂载宿主机内核平台的相关容器路径中。第二数据卷的目录可以是DFS目录,第二数据卷用于存储不符合第一性能约束条件的第二类型数据。该目录表示将第二数据卷挂载在宿主机内核平台的分布式文件系统服务端的相关容器路径中。图5中可见,第一数据卷利用hostpath调用方式挂载对应容器路径中,第二数据卷利用sendfile读写方式在第二容器路径中对第二数据卷进行读写操作。
在一实施例中,第一数据卷也可以挂载在宿主机内核平台的分布式文件系统服务端的相关容器路径中,即第一类型数据也采用sendfile调用方式进行读取操作。
参照图6,为本申请一实施例的CDN网元容器实例化配置方法流程图,包括但不限于以下步骤。
步骤S110:初始化配置一个或多个CDN网元容器。
步骤S120:获取CDN网元容器的配置信息,进行进程间通信配置。
该步骤中,通过将hostIPC参数配置为true,实现进程间通信配置,使得CDN网元容器可以与宿主机内核平台在内核态实现进程间通信。
步骤S130:根据分布式文件系统能力信息,判断宿主机是否支持分布式文件系统,例如通过ifdfs参数判断,若支持分布式文件系统,则进入步骤S140,否则进入步骤S160。
步骤S140:进行分布式文件系统服务端的配置,为分布式文件系统服务端的存储目录配置对应数据卷。
步骤S150:将数据卷挂载到对应容器路径中。
该步骤包括将第一数据卷利用hostpath调用方式挂载对应容器路径中,将第二数据卷利用sendfile读写方式在第二容器路径中对第二数据卷进行读写操作,以使得CDN网元容器能够通过容器路径与分布式文件系统服务端对应的数据卷进行数据交互。
步骤S160:完成CDN网元容器实例化配置。
该步骤中,实例化可以根据实际部署情况确定,本申请实施例不做明确限定。
本申请实施例的CDN网元容器实例化配置方法,通过CDN网元容器与宿主机平台进程间通信的方式,使CDN网元容器的存储相关业务在服务过程中,直接从内核态进行操作,避免相关技术中存储相关业务需要在用户内存和内核内存之间互相拷贝,影响文件读写的性能的问题,通过减少CDN网元容器服务数据处理流程,从而实现CDN网元容器的存储性能最大化处理,能够有效降低CDN相关存储业务的时延,提升服务性能。
另外,在一实施例中,还提供一种CDN网元容器写数据方法,参照图1的CDN网元容器存储架构,该方法应用于与宿主机内核平台通信连接的CDN网元容器,宿主机内核平台包括分布式文件系统服务端和共享内存,CDN网元容器包括分布式文件系统客户端,分布式文件系统客户端和分布式文件系统服务端均可访问共享内存。
如图7所示,图7是本申请一个实施例提供的CDN网元容器写数据方法的流程图,包括但不限于有步骤S2110和步骤S2140。
步骤S2110,获取逻辑存储路径。
在一实施例中,参照图8,步骤S2110包括但不限于以下步骤。
步骤S2111,获取文件存储标识。
在一实施例中,可以通过以下两种方式获取文件存储标识。1)根据用户请求信息中的url获取请求业务资源类型,根据预设提取规则从用户请求信息中提取处文件存储标识,预设提取规则可以是提前和运营商等业务参与方协商确定好的。例如可以是预先指定不同业务资源种类对应的提取规则,也可以是相关技术中通用的url资源分类规则,根据不同的业务资源类型,分别获取文件存储标识,在此不对预设提取规则进行限定。2)根据业务特征获取文件存储标识,此处,业务特性可以是提前和运营商等业务参与方协商确定好的。
在一实施例中,文件存储标识可以是预设前缀标识+url路径组成,每个文件存储标识对应一个唯一编码,后续读写过程中,将该文件存储标识作为唯一的资源文件索引。
步骤S2112,根据文件存储标识和对应容器路径生成逻辑存储路径。
在一实施例中,将上述文件存储标识预配置的对应容器挂载目录中容器路径组合为逻辑存储路径。
步骤S2120,利用分布式文件系统客户端,将待写数据写入共享内存中。
在一实施例中,CDN网元容器的分布式文件系统客户端利用进程间通信方式访问共享内存,将待写数据写入共享内存中。
步骤S2130,利用分布式文件系统客户端,将逻辑存储路径和数据写请求信息通过进程间通信发送至分布式文件系统服务端,以使得分布式文件系统服务端根据数据写请求信息,在共享内存中获取待写数据进行数据写操作。
在一实施例中,CDN网元容器的分布式文件系统客户端将上述生成的逻辑存储路径和数据写请求信息通过进程间通信方式发送至宿主机内核平台的分布式文件系统服务端,后续读写时,分布式文件系统服务端可以根据接收到的数据写请求信息,在共享内存中获取分布式文件系统客户端写入的待写数据进行数据写操作。
本申请实施例的CDN网元容器写数据方法,CDN网元容器利用进程间通信方式访问共享内存,将待写数据写入共享内存中,然后将生成的逻辑存储路径和数据写请求信息发送至分布式文件系统服务端,以使得分布式文件系统服务端根据数据写请求信息,在共享内存中获取待写数据进行数据写操作。由于直接从内核态进行操作,减少CDN网元容器服务数据处理流程,实现CDN网元容器的存储性能最大化处理,能够有效降低CDN相关存储业务的时延,提升数据写入效率。
另外,在一实施例中,还提供一种CDN网元容器写数据方法,参照图1的CDN网元容器存储架构,该方法应用于与CDN网元容器通信连接的宿主机内核平台,宿主机内核平台包括分布式文件系统服务端和共享内存,CDN网元容器包括分布式文件系统客户端,分布式文件系统客户端和分布式文件系统服务端均可访问共享内存。
如图9所示,图9是本申请一个实施例提供的CDN网元容器写数据方法的流程图,包括但不限于有步骤S3110和步骤S3130。
步骤S3110,获取逻辑存储路径和数据写请求信息,逻辑存储路径为CDN网元容器根据文件存储标识和对应容器路径生成,逻辑存储路径能够被转换为宿主机上存储器的物理存储路径。
在一实施例中,分布式文件系统服务端接收CDN网元容器的分布式文件系统客户端通过进程间通信方式发送的逻辑存储路径和数据写请求信息。
步骤S3120,分布式文件系统服务端根据数据写请求信息,从共享内存中获取待写数据。
在一实施例中,待写数据是CDN网元容器的分布式文件系统客户端利用进程间通信方式访问共享内存写入的。
步骤S3130,根据逻辑存储路径将待写数据写入对应磁盘空间。
在一实施例中,参照图10,步骤S3130包括但不限于有以下步骤。
步骤S3131,分布式文件系统服务端根据数据写请求信息,将待写数据写入内核缓存中,并生成内存占用标识。
在一实施例中,分布式文件系统服务端的客户端代理模块利用进程间通信方式,从共享内存中获取待写数据,根据数据写请求信息,将待写数据写入内核缓存中,同时生成内存占用标识。例如,将一页待写数据从共享内存中拷贝到内核缓存(可以是预先开辟的内核内存区域,在此不做限定)中,然后在内核缓存中对相关区域进行置脏操作,标识该区域内存空间已经被占用。
步骤S3132,根据逻辑存储路径和内存占用标识,将内核缓存中待写数据写入对应磁盘空间。
在一实施例中,分布式文件系统服务端的后台服务器根据内存占用标识,将上述脏页取处后,根据逻辑存储路径写入对应的文件访问服务器中,即利用进程间通信方式向分布式文件系统客户端返回写入成功信息,并释放共享内存相关页。
在一实施例中,为了提高写入效率,分布式文件系统服务端的文件访问服务器磁盘线程执行异步写入操作,将待写数据异步写入对应磁盘中,这种异步写入操作能够保证一个磁盘并行服务多个用户提高写入效率。
在一实施例中,参考图11,是本申请一个实施例提供的CDN网元容器写数据方法的流程图,包括但不限于以下步骤。
步骤S210,获取逻辑存储路径和数据写请求信息。
其中,逻辑存储路径为CDN网元容器根据文件存储标识和对应容器路径生成,逻辑存储路径能够被转换为宿主机上存储器的物理存储路径。
步骤S220,分布式文件系统服务端判断是否存在逻辑存储路径,如果存在则进入步骤S230,否则进入步骤S250。
步骤S230,分布式文件系统服务端根据数据写请求信息从共享内存中获取待写数据。
步骤S240,根据逻辑存储路径将待写数据写入对应磁盘空间。
步骤S250,若逻辑存储路径不存在,创建逻辑存储路径,创建逻辑存储路径后,进入步骤S230进行写数据操作。
本申请实施例的CDN网元容器写数据方法,分布式文件系统服务端获取到逻辑存储路径和数据写请求信息后,根据数据写请求信息,利用进程间通信方式从共享内存中获取待写数据,然后根据逻辑存储路径将待写数据写入对应磁盘空间。由于直接从内核态进行操作,减少CDN网元容器服务数据处理流程,实现CDN网元容器的存储性能最大化处理,能够有效降低CDN相关存储业务的时延,提升数据写入效率。
另外,在一实施例中,还提供一种CDN网元容器读数据方法,参照图1的CDN网元容器存储架构,该方法应用于与宿主机内核平台通信连接的CDN网元容器,宿主机内核平台包括分布式文件系统服务端和共享内存,CDN网元容器包括分布式文件系统客户端,分布式文件系统客户端和分布式文件系统服务端均可访问共享内存。
如图12所示,图12是本申请一个实施例提供的CDN网元容器读数据方法的流程图,包括但不限于有步骤S4110和步骤S4140。
步骤S4110,获取逻辑存储路径。
在一实施例中,参照图13,步骤S4110包括但不限于以下步骤。
步骤S4111,获取文件存储标识。
在一实施例中,可以通过以下两种方式获取文件存储标识。1)根据用户请求信息中的url获取请求业务资源类型,根据预设提取规则从用户请求信息中提取处文件存储标识,预设提取规则可以是提前和运营商等业务参与方协商确定好的。例如可以是预先指定不同业务资源种类对应的提取规则,也可以是相关技术中通用的url资源分类规则,根据不同的业务资源类型,分别获取文件存储标识,在此不对预设提取规则进行限定。2)根据业务特征获取文件存储标识,此处,业务特性可以是提前和运营商等业务参与方协商确定好的。
在一实施例中,文件存储标识可以是预设前缀标识+url路径组成,每个文件存储标识对应一个唯一编码,后续读写过程中,将该文件存储标识作为唯一的资源文件索引。
步骤S4112,根据文件存储标识和对应容器路径生成逻辑存储路径。
在一实施例中,将上述文件存储标识预配置的对应容器挂载目录中容器路径组合为逻辑存储路径。
步骤S4120,将逻辑存储路径和数据读请求信息通过进程间通信发送至分布式文件系统服务端,以使得分布式文件系统服务端根据数据读请求信息,在共享内存中获取待读数据进行数据读操作。
在一实施例中,CDN网元容器的分布式文件系统客户端将上述生成的逻辑存储路径和数据读请求信息通过进程间通信方式,发送至宿主机内核平台的分布式文件系统服务端,后续读数据时,分布式文件系统服务端可以根据接收到的数据读请求信息,在共享内存中获取待读数据进行数据读操作。
本申请实施例的CDN网元容器读数据方法,CDN网元容器利用进程间通信方式将生成的逻辑存储路径和数据读请求信息发送至分布式文件系统服务端,以使得分布式文件系统服务端根据数据读请求信息,在共享内存中获取待读数据进行数据读操作。由于直接从内核态进行操作,减少CDN网元容器服务数据处理流程,实现CDN网元容器的存储性能最大化处理,能够有效降低CDN相关存储业务的时延,提升数据读取效率。
本申请实施例的CDN网元容器读数据方法,CDN网元容器利用进程间通信方式将生成的逻辑存储路径和数据读请求信息发送至分布式文件系统服务端,以使得分布式文件系统服务端可以根据接收到的数据读请求信息,将待读数据写入共享内存中,进行后续数据读操作。由于直接从内核态进行操作,减少CDN网元容器服务数据处理流程,实现CDN网元容器的存储性能最大化处理,能够有效降低CDN相关存储业务的时延,提升数据写入效率。
另外,在一实施例中,还提供一种CDN网元容器读数据方法,参照图1的CDN网元容器存储架构,该方法应用于与CDN网元容器通信连接的宿主机内核平台,宿主机内核平台包括分布式文件系统服务端和共享内存,CDN网元容器包括分布式文件系统客户端,分布式文件系统客户端和分布式文件系统服务端均可访问共享内存。
如图14所示,图14是本申请一个实施例提供的CDN网元容器读数据方法的流程图,包括但不限于有步骤S5110和步骤S5130。
步骤S5110,获取逻辑存储路径和数据读请求信息,逻辑存储路径为CDN网元容器根据文件存储标识和对应容器路径生成,逻辑存储路径能够被转换为宿主机上存储器的物理存储路径。
在一实施例中,分布式文件系统服务端接收CDN网元容器的分布式文件系统客户端通过进程间通信方式发送的逻辑存储路径和数据读请求信息。
步骤S5120,分布式文件系统服务端根据数据读请求信息,利用逻辑存储路径获取待读数据的位置标识。
在一实施例中,分布式文件系统服务端根据数据读请求信息利用客户端代理模块,访问逻辑存储路径对应的分布式文件系统的文件位置寄存器,从文件位置寄存器中获取位置标识。例如,通过文件位置寄存器获取待读文件的chunkid得到位置标识,其中chunk表示一个文件,chunkId就是给每个文件一个唯一标识id,因此根据待读文件的chunkid可以定位到待读文件的具体存储位置。
步骤S5130,根据位置标识将待读数据拷贝到共享内存,以使得分布式文件系统客户端能够利用进程间通信方式从共享内存中读取待读数据。
在一实施例中,参照图15,步骤S5130包括但不限于有以下步骤。
步骤S5131,根据位置标识获取当前待读数据。
步骤S5132,获取当前待读数据的访问频率值:
1)若访问频率值大于等于预设访问频率,则将待读数据拷贝到共享内存。
在一实施例中,当前待读数据的访问频率值大于等于预设访问频率,则认为该待读数据属于高频访问文件,根据预先设定的访问规则,将高频访问文件存储在共享内存中,因此可以在共享内存中可以直接获取该待读文件。
2)若访问频率值小于预设访问频率,则将待读数据写入内核缓存,并增加访问频率值,然后将待读数据拷贝到共享内存。
在一实施例中,当前待读数据的访问频率值小于预设访问频率,则认为该待读数据属于低频访问文件,根据预先设定的访问规则,分布式文件系统服务端的文件访问服务器会申请一块内核缓存,将该待读数据写入内核缓存中,磁盘线程将该待读数据从内核缓存中拷贝到共享内存中,同时对应的访问频率值增加1,内核缓存中的数据可以按照预设清理规则进行释放。
在一实施例中,分布式文件系统服务端根据逻辑存储路径查找待读数据,如果该文件不存在,则发送错误信息以及对应的错误码,如果该文件存在,则按照上述方式将待读数据写入共享内存中,以便分布式文件系统客户端进行读取。
在一实施例中,参考图16,是本申请一个实施例提供的CDN网元容器读数据方法的流程图,包括但不限于以下步骤。
步骤S310,获取逻辑存储路径和数据读请求信息。
其中,逻辑存储路径为CDN网元容器根据文件存储标识和对应容器路径生成,逻辑存储路径能够被转换为宿主机上存储器的物理存储路径。
步骤S320,分布式文件系统服务端根据数据读请求信息从共享内存中获取待写数据。
步骤S330,分布式文件系统服务端判断待读数据是否是高频访问数据,如果是则进入步骤S340,否则进入步骤S350。
步骤S340,将属于高频访问数据的待读数据拷贝到共享内存。
步骤S350,将待读数据写入内核缓存,并增加访问频率值,然后进入步骤S340,将待读数据拷贝到共享内存。
本申请实施例的CDN网元容器读数据方法,分布式文件系统服务端获取到逻辑存储路径和数据读请求信息后,利用进程间通信方式将待读数据写入共享内存中,使得CDN网元容器的分布式文件系统客户端能够利用进程间通信方式从共享内存中读取待读数据。由于直接从内核态进行操作,减少CDN网元容器服务数据处理流程,实现CDN网元容器的存储性能最大化处理,能够有效降低CDN相关存储业务的时延,提升数据写入效率。
另外,在一实施例中,参照图17,提供一种CDN网元容器实例化配置装置,CDN网元容器部署在宿主机上,宿主机上安装有宿主机内核平台,宿主机内核平台包括分布式文件系统服务端,装置包括:
初始化配置模块410,用于初始化配置一个或多个CDN网元容器;
配置信息获取模块420,用于获取进程间通信配置信息和分布式文件系统能力信息;
进程间通信配置模块430,用于根据分布式文件系统能力信息,建立CDN网元容器与分布式文件系统的数据交互通道,以完成CDN网元容器实例化配置;
分布式文件系统服务端配置模块440,用于根据分布式文件系统能力信息进行分布式文件系统服务端的配置,以完成CDN网元容器实例化配置。
另外,在一实施例中,参照图18,一种CDN网元容器写数据装置,应用于与CDN网元容器通信连接的宿主机内核平台,宿主机内核平台包括分布式文件系统服务端和共享内存,CDN网元容器包括分布式文件系统客户端,分布式文件系统客户端和分布式文件系统服务端访问共享内存;装置包括:
第一获取逻辑存储路径模块510,用于获取逻辑存储路径和数据写请求信息,逻辑存储路径为CDN网元容器根据文件存储标识和对应容器路径生成;
获取待写数据模块520,用于分布式文件系统服务端根据数据写请求信息,从共享内存中获取待写数据;
写磁盘空间模块530,用于根据逻辑存储路径将待写数据写入对应磁盘空间。
另外,在一实施例中,参照图19,一种CDN网元容器读数据装置,应用于宿主机,CDN网元容器位于宿主机上,宿主机上安装有宿主机内核平台,CDN网元容器与宿主机内核平台通信连接,宿主机内核平台包括分布式文件系统服务端和共享内存,CDN网元容器包括分布式文件系统客户端,分布式文件系统客户端和分布式文件系统服务端访问共享内存;
装置包括:
第二获取逻辑存储路径模块610,用于获取逻辑存储路径和数据读请求信息,逻辑存储路径为CDN网元容器根据文件存储标识和对应容器路径生成;
获取位置标识模块620,用于分布式文件系统服务端根据数据读请求信息,利用逻辑存储路径获取待读数据的位置标识;
读取待读数据模块630,用于根据位置标识将待读数据拷贝到共享内存,以使得分布式文件系统客户端能够利用进程间通信方式从共享内存中读取待读数据。
以上所描述的CDN网元容器实例化配置装置、CDN网元容器写数据装置和CDN网元容器读数据装置的实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请实施例方案的目的。
需要说明的是,本申请实施例中的CDN网元容器实例化配置装置,可以执行如图2所示实施例中的CDN网元容器实例化配置方法。即,本申请实施例中的CDN网元容器实例化配置装置和如图2所示实施例中的CDN网元容器实例化配置方法,均属于相同的发明构思,因此这些实施例具有相同的实现原理以及技术效果,此处不再详述。
需要说明的是,本申请实施例中的CDN网元容器写数据装置,可以执行如图9所示实施例中的CDN网元容器写数据方法。即,本申请实施例中的CDN网元容器写数据装置和如图9所示实施例中的CDN网元容器写数据方法,均属于相同的发明构思,因此这些实施例具有相同的实现原理以及技术效果,此处不再详述。
需要说明的是,本申请实施例中的CDN网元容器读数据装置,可以执行如图13所示实施例中的CDN网元容器读数据方法。即,本申请实施例中的CDN网元容器读数据装置和如图13所示实施例中的CDN网元容器读数据方法,均属于相同的发明构思,因此这些实施例具有相同的实现原理以及技术效果,此处不再详述。
另外,本申请实施例的一个实施例还提供了计算机设备,计算机设备包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。
处理器和存储器可以通过总线或者其他方式连接。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现上述实施例的CDN网元容器实例化配置方法、CDN网元容器写数据方法或CDN网元容器读数据方法所需的非暂态软件程序以及指令存储在存储器中,当被处理器执行时,执行上述实施例中的CDN网元容器实例化配置方法、CDN网元容器写数据方法或CDN网元容器读数据方法。
此外,本申请实施例的一个实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个处理器或控制器执行,例如,被上述计算机设备实施例中的一个处理器执行,可使得上述处理器执行上述实施例中的CDN网元容器实例化配置方法、CDN网元容器写数据方法或CDN网元容器读数据方法。
又如,被上述计算机设备实施例中的一个处理器执行,可使得上述处理器执行上述实施例中的CDN网元容器实例化配置方法、CDN网元容器写数据方法或CDN网元容器读数据方法。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
以上是对本申请实施例的较佳实施进行了具体说明,但本申请实施例并不局限于上述实施方式,熟悉本领域的技术人员在不违背本申请实施例精神的前提下还可做出种种的等同变形或替换,这些等同的变形或替换均包含在本申请实施例权利要求所限定的范围内。
Claims (23)
1.一种CDN网元容器实例化配置方法,所述CDN网元容器部署在宿主机上,所述宿主机上安装有宿主机内核平台,所述方法包括:
初始化配置一个或多个CDN网元容器;
获取进程间通信配置信息和分布式文件系统能力信息;
根据所述进程间通信配置信息对进程间通信配置参数进行配置,使得所述CDN网元容器与宿主机内核平台实现进程间通信;
根据所述分布式文件系统能力信息,建立CDN网元容器与分布式文件系统的数据交互通道,以完成所述CDN网元容器实例化配置。
2.根据权利要求1所述的CDN网元容器实例化配置方法,其特征在于,所述进程间通信配置参数为hostIPC参数;
所述根据所述进程间通信配置信息对进程间通信配置参数进行配置,包括:
将所述hostIPC参数配置为true。
3.根据权利要求1所述的CDN网元容器实例化配置方法,其特征在于,所述宿主机内核平台包括分布式文件系统服务端,所述CDN网元容器包括分布式文件系统客户端,所述分布式文件系统服务端和所述分布式文件系统客户端通信连接;
所述根据所述分布式文件系统能力信息,建立CDN网元容器与分布式文件系统服务端的数据交互通道,包括:
根据所述分布式文件系统能力信息,判断所述宿主机内核平台是否支持分布式文件系统;
若支持分布式文件系统,则在所述宿主机内核平台中创建共享内存,以建立所述数据交互通道,以使得所述分布式文件系统客户端和所述分布式文件系统服务端均可利用所述数据交互通道访问所述共享内存。
4.根据权利要求3所述的CDN网元容器实例化配置方法,其特征在于,所述根据所述分布式文件系统能力信息进行所述分布式文件系统服务端的配置,包括:
为所述分布式文件系统服务端的存储目录配置对应数据卷;
将所述数据卷挂载到对应容器路径中,以使得所述CDN网元容器能够通过所述容器路径与所述分布式文件系统服务端对应的数据卷进行数据交互。
5.根据权利要求4所述的CDN网元容器实例化配置方法,其特征在于,所述数据卷包括:第一数据卷和第二数据卷;
所述将所述数据卷挂载到对应容器路径中,包括:
将所述第一数据卷挂载到第一容器路径中,以使得可利用hostpath调用方式对所述第一数据卷进行调用;
将所述第二数据卷挂载到第二容器路径中,以使得可利用sendfile读写方式对所述第二数据卷进行读写。
6.根据权利要求5所述的CDN网元容器实例化配置方法,其特征在于,所述第一数据卷用于存储第一类型数据,所述第二数据卷用于存储第二类型数据;
所述第一类型数据为符合第一性能约束条件的内容数据;
所述第二类型数据为不符合第一性能约束条件的内容数据。
7.根据权利要求1所述的CDN网元容器实例化配置方法,其特征在于,所述初始化配置一个或多个CDN网元容器,包括:
获取所述一个或多个CDN网元容器的初始化配置信息;
根据所述初始化配置信息生成资源创建信息;
根据所述资源创建信息初始化配置一个或多个所述CDN网元容器。
8.一种CDN网元容器写数据方法,应用于与宿主机内核平台通信连接的CDN网元容器,所述宿主机内核平台包括分布式文件系统服务端和共享内存,所述CDN网元容器包括分布式文件系统客户端,所述分布式文件系统客户端和所述分布式文件系统服务端均可访问所述共享内存;
所述方法包括:
获取逻辑存储路径;
利用分布式文件系统客户端,将待写数据写入所述共享内存中;
利用分布式文件系统客户端,将所述逻辑存储路径和数据写请求信息通过进程间通信发送至所述分布式文件系统服务端,以使得所述分布式文件系统服务端根据所述数据写请求信息,在所述共享内存中获取所述待写数据进行数据写操作。
9.根据权利要求8所述的CDN网元容器写数据方法,其特征在于,所述获取逻辑存储路径,包括:
获取文件存储标识;
根据所述文件存储标识和对应容器路径生成所述逻辑存储路径。
10.一种CDN网元容器写数据方法,应用于与CDN网元容器通信连接的宿主机内核平台,所述宿主机内核平台包括分布式文件系统服务端和共享内存,所述CDN网元容器包括分布式文件系统客户端,所述分布式文件系统客户端和所述分布式文件系统服务端访问所述共享内存;
所述方法包括:
获取逻辑存储路径和数据写请求信息,所述逻辑存储路径为所述CDN网元容器根据文件存储标识和对应容器路径生成;
所述分布式文件系统服务端根据所述数据写请求信息,从所述共享内存中获取待写数据;
根据所述逻辑存储路径将所述待写数据写入对应磁盘空间。
11.根据权利要求10所述的CDN网元容器写数据方法,其特征在于,所述根据所述逻辑存储路径将所述待写数据写入对应磁盘空间,包括:
所述分布式文件系统服务端根据所述数据写请求信息,将所述待写数据写入内核缓存中,并生成内存占用标识;
根据所述逻辑存储路径和所述内存占用标识,将所述内核缓存中所述待写数据写入对应磁盘空间。
12.根据权利要求11所述的CDN网元容器写数据方法,其特征在于,所述分布式文件系统服务端根据所述数据写请求信息,将所述待写数据写入内核缓存中,包括:
所述分布式文件系统服务端的客户端代理模块利用进程间通信方式,根据所述数据写请求信息,将所述待写数据写入内核缓存中。
13.根据权利要求10所述的CDN网元容器写数据方法,其特征在于,还包括:若所述逻辑存储路径不存在,创建所述逻辑存储路径。
14.一种CDN网元容器读数据方法,应用于CDN网元容器,所述CDN网元容器位于宿主机上,所述宿主机上安装有宿主机内核平台,所述CDN网元容器与所述宿主机内核平台通信连接,所述宿主机内核平台包括分布式文件系统服务端和共享内存,所述CDN网元容器包括分布式文件系统客户端,所述分布式文件系统客户端和所述分布式文件系统服务端访问所述共享内存;
所述方法包括:
获取逻辑存储路径;
将所述逻辑存储路径和数据读请求信息通过进程间通信发送至所述分布式文件系统服务端,以使得所述分布式文件系统服务端根据所述数据读请求信息,在所述共享内存中获取所述待读数据进行数据读操作。
15.根据权利要求14所述的CDN网元容器写数据方法,其特征在于,所述获取逻辑存储路径,包括:
获取文件存储标识;
根据所述文件存储标识和对应容器路径生成所述逻辑存储路径。
16.一种CDN网元容器读数据方法,应用于宿主机,所述CDN网元容器位于宿主机上,所述宿主机上安装有宿主机内核平台,所述CDN网元容器与所述宿主机内核平台通信连接,所述宿主机内核平台包括分布式文件系统服务端和共享内存,所述CDN网元容器包括分布式文件系统客户端,所述分布式文件系统客户端和所述分布式文件系统服务端访问所述共享内存;
所述方法包括:
获取逻辑存储路径和数据读请求信息,所述逻辑存储路径为所述CDN网元容器根据文件存储标识和对应容器路径生成;
所述分布式文件系统服务端根据所述数据读请求信息,利用所述逻辑存储路径获取待读数据的位置标识;
根据所述位置标识将所述待读数据拷贝到所述共享内存,以使得所述分布式文件系统客户端能够利用进程间通信方式从所述共享内存中读取所述待读数据。
17.根据权利要求16所述的CDN网元容器读数据方法,其特征在于:所述分布式文件系统服务端根据所述数据读请求信息,利用所述逻辑存储路径获取待读数据的位置标识,包括:
所述分布式文件系统服务端根据所述数据读请求信息利用客户端代理模块,访问所述逻辑存储路径对应的所述分布式文件系统的文件位置寄存器;
获取所述位置标识。
18.根据权利要求16所述的CDN网元容器读数据方法,其特征在于:所述根据所述位置标识将所述待读数据拷贝到所述共享内存,还包括:
根据所述位置标识获取当前待读数据;
获取所述当前待读数据的访问频率值:
若访问频率值大于等于预设访问频率,则将所述待读数据拷贝到所述共享内存;
若访问频率值小于所述预设访问频率,则将所述待读数据写入内核缓存,并增加所述访问频率值,然后将所述待读数据拷贝到所述共享内存。
19.一种CDN网元容器实例化配置装置,所述CDN网元容器部署在宿主机上,所述宿主机上安装有宿主机内核平台,所述装置包括:
初始化配置模块,用于初始化配置一个或多个CDN网元容器;
配置信息获取模块,用于获取进程间通信配置信息和分布式文件系统能力信息;
进程间通信配置模块,用于根据所述进程间通信配置信息对进程间通信配置参数进行配置,使得所述CDN网元容器与宿主机内核平台实现进程间通信;
分布式文件系统服务端配置模块,用于根据所述分布式文件系统能力信息,建立CDN网元容器与分布式文件系统的数据交互通道,以完成所述CDN网元容器实例化配置。
20.一种CDN网元容器写数据装置,应用于与CDN网元容器通信连接的宿主机内核平台,所述宿主机内核平台包括分布式文件系统服务端和共享内存,所述CDN网元容器包括分布式文件系统客户端,所述分布式文件系统客户端和所述分布式文件系统服务端访问所述共享内存;
所述装置包括:
第一获取逻辑存储路径模块,用于获取逻辑存储路径和数据写请求信息,所述逻辑存储路径为所述CDN网元容器根据文件存储标识和对应容器路径生成;
获取待写数据模块,用于所述分布式文件系统服务端根据所述数据写请求信息,从所述共享内存中获取待写数据;
写磁盘空间模块,用于根据所述逻辑存储路径将所述待写数据写入对应磁盘空间。
21.一种CDN网元容器读数据装置,应用于宿主机,所述CDN网元容器位于宿主机上,所述宿主机上安装有宿主机内核平台,所述CDN网元容器与所述宿主机内核平台通信连接,所述宿主机内核平台包括分布式文件系统服务端和共享内存,所述CDN网元容器包括分布式文件系统客户端,所述分布式文件系统客户端和所述分布式文件系统服务端访问所述共享内存;
所述装置包括:
第二获取逻辑存储路径模块,用于获取逻辑存储路径和数据读请求信息,所述逻辑存储路径为所述CDN网元容器根据文件存储标识和对应容器路径生成;
获取位置标识模块,用于所述分布式文件系统服务端根据所述数据读请求信息,利用所述逻辑存储路径获取待读数据的位置标识;
读取待读数据模块,用于根据所述位置标识将所述待读数据拷贝到所述共享内存,以使得所述分布式文件系统客户端能够利用进程间通信方式从所述共享内存中读取所述待读数据。
22.一种计算机设备,其特征在于,包括处理器以及存储器;
所述存储器用于存储程序;
所述处理器用于根据所述程序执行如权利要求1至7中任一项所述的方法;或者,权利要求8至9中任一项所述的方法;或者,权利要求10至13中任一项所述的方法;或者,权利要求14至15中任一项所述的方法;或者,权利要求16至18中任一项所述的方法。
23.一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行如权利要求1至7中任一项所述的方法;或者,权利要求8至9中任一项所述的方法;或者,权利要求10至13中任一项所述的方法;或者,权利要求14至15中任一项所述的方法;或者,权利要求16至18中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111228686.6A CN116016498A (zh) | 2021-10-21 | 2021-10-21 | Cdn网元容器配置方法、读写方法、装置、设备及存储介质 |
PCT/CN2022/114284 WO2023065809A1 (zh) | 2021-10-21 | 2022-08-23 | Cdn网元容器配置方法、读写方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111228686.6A CN116016498A (zh) | 2021-10-21 | 2021-10-21 | Cdn网元容器配置方法、读写方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116016498A true CN116016498A (zh) | 2023-04-25 |
Family
ID=86025300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111228686.6A Pending CN116016498A (zh) | 2021-10-21 | 2021-10-21 | Cdn网元容器配置方法、读写方法、装置、设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN116016498A (zh) |
WO (1) | WO2023065809A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116233520A (zh) * | 2023-05-06 | 2023-06-06 | 海马云(天津)信息技术有限公司 | 传递和获取视频数据的方法及装置、服务器设备和存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108304269A (zh) * | 2017-01-13 | 2018-07-20 | 阿里巴巴集团控股有限公司 | 一种数据的发送、接收方法、装置及通信框架 |
CN107135103B (zh) * | 2017-05-08 | 2021-03-19 | 网宿科技股份有限公司 | 在异构资源上构建内容分发网络平台的方法和系统 |
CN107590033B (zh) * | 2017-09-07 | 2021-06-22 | 网宿科技股份有限公司 | 一种创建docker容器的方法、装置和系统 |
CN109525413B (zh) * | 2017-09-20 | 2023-05-30 | 中兴通讯股份有限公司 | Cdn网络功能虚拟化的管理方法、装置及系统 |
US10958713B2 (en) * | 2019-04-30 | 2021-03-23 | Verizon Digital Media Services Inc. | Function manager for an edge compute network |
-
2021
- 2021-10-21 CN CN202111228686.6A patent/CN116016498A/zh active Pending
-
2022
- 2022-08-23 WO PCT/CN2022/114284 patent/WO2023065809A1/zh unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116233520A (zh) * | 2023-05-06 | 2023-06-06 | 海马云(天津)信息技术有限公司 | 传递和获取视频数据的方法及装置、服务器设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2023065809A1 (zh) | 2023-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9588807B2 (en) | Live logical partition migration with stateful offload connections using context extraction and insertion | |
US8830870B2 (en) | Network adapter hardware state migration discovery in a stateful environment | |
US7552298B2 (en) | Method and system for deferred pinning of host memory for stateful network interfaces | |
US8959310B2 (en) | Dynamic network adapter memory resizing and bounding for virtual function translation entry storage | |
US8937940B2 (en) | Optimized virtual function translation entry memory caching | |
US9910687B2 (en) | Data flow affinity for heterogenous virtual machines | |
US11036535B2 (en) | Data storage method and apparatus | |
WO2019100266A1 (zh) | 移动边缘主机服务通知方法和装置 | |
CN109857545B (zh) | 一种数据传输方法及装置 | |
WO2023065809A1 (zh) | Cdn网元容器配置方法、读写方法、装置、设备及存储介质 | |
US20220012110A1 (en) | Networking-related system call interception and modification | |
US20210136428A1 (en) | Providing Files of Variable Sizes Based on Device and Network Conditions | |
CN110471627B (zh) | 一种共享存储的方法、系统及装置 | |
CN116962441A (zh) | 云存储控制方法、装置及云存储系统 | |
Kuenzer et al. | Towards minimalistic, virtualized content caches with minicache | |
CN115242817B (zh) | 数据访问处理方法、装置、设备和存储介质 | |
CN108932149B (zh) | 数据传输方法及装置 | |
WO2023134392A1 (zh) | 云存储设备的数据读取和写入方法及系统 | |
US11892975B1 (en) | Asynchronous consistent snapshots in a distributed system | |
US11966370B1 (en) | Pseudo-local multi-service enabled file systems using a locally-addressable secure compute layer | |
US11971902B1 (en) | Data retrieval latency management system | |
CN113254415B (zh) | 一种分布式文件系统读请求处理方法及装置 | |
CN114900485B (zh) | 访问网络文件存储的方法、电子设备及系统 | |
CN107026852A (zh) | 一种解决大规模视频云应用中的网络性能瓶颈的方法 | |
CN115039088A (zh) | 高效地提供对宿主上下文处的文件内容的客户上下文访问 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |