CN115695049B

CN115695049B - 一种cdn元数据分发方法及装置

Info

Publication number: CN115695049B
Application number: CN202211704439.3A
Authority: CN
Inventors: 孙涛
Original assignee: Jiangsu Yungongchang Information Technology Co ltd
Current assignee: Jiangsu Yungongchang Information Technology Co ltd
Priority date: 2022-12-29
Filing date: 2022-12-29
Publication date: 2023-04-07
Anticipated expiration: 2042-12-29
Also published as: CN115695049A

Abstract

本申请提供的一种CDN元数据分发方法及装置，包括：接收用户配置的CDN元数据；将所述CDN元数据写入到数据中心的一个或者多个主Redis中；根据所述主Redis和所述数据中心对应的CDN中从Redis的关联关系，将所述CDN元数据复制到所述一个或者多个从Redis中；根据所述从Redis和所述CDN对应的接入服务的关联关系，将所述CDN源数据传输到所述接入服务中。本申请技术方案中设置的Redis都是通过部署多主多备，防止中心节点向边缘CDN节点进行数据同步时出现同步异常的情况。

Description

一种CDN元数据分发方法及装置

技术领域

本申请涉及数据分发领域，尤其涉及一种CDN元数据分发方法。本申请还涉及一种CDN元数据分发装置。

背景技术

CDN的全称是Content Delivery Network，即内容分发网络。CDN（边缘节点）的基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输得更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决 Internet网络拥挤的状况，提高用户访问网站的响应速度。

目前，通过CDNI(Content Delivery Networks Interconnection)定义一系列接口 IETF标准，该标准使得上游CDN能够将请求委托给下游CDN(dCDNs)。

CDNI中需要通过配置文件元数据来定义如何访问源、认证规则、传输等内容分发的流程中所需要的内容。而在 Open Caching 中，包含了元数据来定义请求的路由方式以及传输过程中的容量以及缓存容量等信息。在一个内容分发系统中，不同部分之间高效的CDN 元数据交换是实现高效互操作性的关键。

具体的，数据在接入任何系统时，为了方便区分每个数据或者每个用户的功能实际使用情况、每个用户的配置，确保配置在全网进行分发时快速准确不错乱，都需要CDN的元数据进行配合。

例如：固定的域名对应一套配置元数据信息，用户在云端控制台进行更改配置的时候，总是在自身独立域名下更改，不会影响到网内其它用户。在CDN元数据中会定义不同的字段，如HTTPS状态的启用开关，存储源站地址等，使得每一个域名、每一个功能数据具有独立性、唯一性，此项功能技术可以快速解决中心节点到边缘的数据的同步，防止CDN在实际访问中出现异常。

中国专利中，申请号：202111155826.1，名称为：数据同步方法、装置、服务器即存储介质的专利公开了如下方法，包括：接收通信连接的从数据库发送的、包括目标操作日志的日志索引标识的数据同步请求，其中，数据同步请求为从数据库基于第一日志文件中的、对应于目标操作日志的日志索引标识生成，第一日志文件用于写入从数据库执行过的操作日志；从主数据库的第二日志文件中，查找日志索引标识对应的目标操作日志，第二日志文件用于写入主数据库的操作日志；将第二日志文件中的、目标操作日志及对应执行时间在目标操作日志之后的操作日志发送至从数据库，以使从数据库基于所接收到的操作日志进行部分数据同步。

该方法中，在从数据库出现故障重启时，从数据库可以基于从数据库侧的第一日志文件中的日志索引标识生成数据同步请求，以及将数据同步请求向主数据库发送，实现主数据库将主数据库侧的第二日志文件中的、日志索引标识对应的操作日志及对应执行时间在该操作日志之后的操作日志一并向从数据库发送，从而使得从数据库可以基于所接收到的操作日志进行部分数据同步。

在从数据库出现故障重启时，从数据库仅对部分数据进行同步即可，比及对从数据库中的所有数据进行同步，有助于提高数据同步效率。

可见，现有技术中不能直接避免数据同步故障问题，只能是在故障发生后进行补救措施。

发明内容

本发明的目的在于克服现有技术范围内中心节点向边缘CDN节点进行数据同步时出现同步异常的缺陷，提供一种CDN元数据分发方法。本申请还涉及一种CDN元数据分发装置。

本申请提供的一种CDN元数据分发方法，包括：

接收用户配置的CDN元数据；

将所述CDN元数据写入到数据中心的一个或者多个主Redis中；

根据所述主Redis和所述数据中心对应的CDN中从Redis的关联关系，将所述CDN元数据复制到所述一个或者多个从Redis中；

根据所述从Redis和所述CDN对应的接入服务的关联关系，将所述CDN源数据传输到所述接入服务中。

可选的，所述主Redis和从Redis之间的链接经过公网。

可选的，所述主Redis和从Redis之间的链接加TLS双向验证。

可选的，从Redis链接多个所述主Redis。

可选的，所述接入服务连接多个所述从Redis。

本申请还提供一种CDN元数据分发装置，包括：

控制模块，用于接收用户配置的CDN元数据；

写入模块，用于将所述CDN元数据写入到数据中心的一个或者多个主Redis中；

传输模块，用于根据所述主Redis和所述数据中心对应的CDN中从Redis的关联关系，将所述CDN元数据复制到所述一个或者多个从Redis中；

接入模块，用于根据所述从Redis和所述CDN对应的接入服务的关联关系，将所述CDN源数据传输到所述接入服务中。

可选的，所述主Redis和从Redis之间的链接经过公网。

可选的，所述主Redis和从Redis之间的链接加TLS双向验证。

可选的，从Redis链接多个所述主Redis。

可选的，所述接入服务连接多个所述从Redis。

本申请的优点和有益效果：

本申请提供的一种CDN元数据分发方法，包括：接收用户配置的CDN元数据；将所述CDN元数据写入到数据中心的一个或者多个主Redis中；根据所述主Redis和所述数据中心对应的CDN中从Redis的关联关系，将所述CDN元数据复制到所述一个或者多个从Redis中；根据所述从Redis和所述CDN对应的接入服务的关联关系，将所述CDN源数据传输到所述接入服务中。本申请技术方案中设置的Redis都是通过部署多主多备，防止中心节点向边缘CDN节点进行数据同步时出现同步异常的情况。

附图说明

图1是本申请中CDN元数据分发流程示意图。

图2是本申请中CDN元数据分发架构示意图。

图3是本申请中可视化数据第一展示界面示意图。

图4是本申请中可视化数据第二展示界面示意图。

图5是本申请中CDN元数据分发装置示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施。

以下内容均是为了详细说明本申请要保护的技术方案所提供的具体实施过程的示例，但是本申请还可以采用不同于此的描述的其他方式实施，本领域技术人员可以在本申请构思的指引下，采用不同的技术手段实现本申请，因此本申请不受下面具体实施例的限制。

本申请提供的一种CDN元数据分发方法，包括：

接收用户配置的CDN元数据；

将所述CDN元数据写入到数据中心的一个或者多个主Redis中；

本申请技术方案中设置的Redis都是通过部署多主多备，防止中心节点向边缘CDN节点进行数据同步时出现同步异常的情况。

图1是本申请中CDN元数据分发流程示意图。

请参照图1所示，S101接收用户配置的CDN元数据。

CDN（边缘节点）指在靠近用户的网络边缘侧构建的业务平台，提供存储、计算、网络等资源，将部分关键业务应用下沉到接入网络边缘，以减少网络传输和多级转发带来的宽度和时延损耗。目前，边缘计算节点整体处于布局和发展初期。

边缘节点位置介于用户和云中心之间，相比较传统的云中心边缘节点更接近用户（数据源）。

边缘节点相比较云数据中心，具有小型化、分布式和更贴近用户（最后一公里）的特性，海量的数据无需再上传至云端进行处理，实现在网络边缘侧对数据的处理，减少请求响应时间、提升电池续航能力、减少网络带宽同时保证数据的安全性和私密性。

本申请中，互联网数据和中心CDN边缘节点分别部署有主从Redis服务，可通过主从Redis间数据同步，从中心节点将元数据同步到边缘CDN节点。在数据同步的过程中，通过TLS双向加密，确保公网之间数据传递更加安全，并且Redis都是通过部署多主多备，防止中心节点向边缘CDN节点进行数据同步时出现同步异常的情况。

存储元数据以及元数据的分发，是每个CDN厂商实现CDN服务的必要技术方法。元数据的写入对于用户在进行CDN配置阶段，起到非常重要的作用。每个用户的域名都具备唯一性，元数据和域名确保一一对应。用户在控制台进行功能配置时，则是通过元数据同步边缘CDN节点，保持数据的一致性。无论哪种情况，都要确保边缘的用户在请求任意CDN节点上资源时，不会发生因元数据不同步而导致的访问失败问题。此项技术功能的开发，对于CDN来说是非常重要的一个环节。

元数据（MetaData）通常被定义为：关于数据的数据（Metadata），或者描述数据的数据（dataaboutdata），是一种对数据及信息资源的描述性信息。元数据是所有数据中最重要的数据，也是计算机软件的基础。

例如：如体检报告中的“年龄”、“身高”、“体重”、“性格”，就是元数据，因为它们是用来描述具体数据/信息的数据/信息。再例如：图书馆的藏书信息卡；视频网站里的视频描述；网络中的网页地址等等都是元数据。

在本申请中，所述元数据是对所述数据中心存储的数据进行描述的数据或者信息，通过所述源数据可以准确找到所述数据中心存储的数据。因此元数据发生错误，则会导致数据读取失败或者发送故障。

图2是本申请中CDN元数据分发架构示意图。

请参照图2所示，所述架构包括数据中心和边缘节点（CDN），在所述数据中心中设置有控制台和主Redis，在所述边缘节点中设置有从Redis和接入服务。所述数据中心中的主Redis和边缘节点中的从Redis相互连接。

在本申请中，用户通过控制台输入设置元数据，即所述数据中心接收用户配置的CDN元数据。

请参照图1所示，S102将所述CDN元数据写入到数据中心的一个或者多个主Redis中。

请参照图2所示，所述控制台连接有一个或者多个主Redis，所述Redis是一个key-value存储系统，和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)和zset(有序集合)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。

Redis是一个高性能的key-value数据库。redis的出现，很大程度补偿了memcached这类keyvalue存储的不足，在部分场合可以对关系数据库起到很好的补充作用。它提供了Python，Ruby，Erlang，PHP客户端，使用很方便。

在本申请中，所述数据中心设置有多个所述主Redis，每个所述主Redis都与所述控制台向量，并且每个所述主Redis的都是相同权重的。即所述控制台在多个所述主Redis中写入数据是不分先后的，或者随机先后的。

为了进一步提高数据所述元数据写入所述主Redis中时，相同元数据是相同的，需要对写入每个所述元数据中的数据进行查询，该所述查询是基于数据列表进行的。

在本申请中，所述数据列表是独立存储在所述架构之外的数据表，用于记录所述元数据写入到所述主Redis时的顺序和标号。

在本申请中，所述元数据可以在存储前进行序号标记，并基于写入所述主Redis的顺序做写入标记。

具体的，所述存储前进行序号标记的序号可以通过如下表达式确定：

其中，所述T表示序号项，所述i表示需要项个数，所述U表示序号标记。所述i至少等于1。

所述T可以是时间段，例如表示天数，表示小时区间，表示分钟区间等，依次类推。具体的，所述T表示的时间段可以自定义。

基于此，本申请中还设置有写入标记，所述写入标记可以标记为：S=U+D。其中，所述D是所述在i=1是表示的时间段内写入的序号，该序号在每个时间段内都进行重置。

在进行查证时，将所述S-U，若得到所述D则表明查询正确。

本申请中，用户可以通过CDN控制台将元数据同时写入多个数据中心的主Redis中。

请参照图1所示，S103根据所述主Redis和所述数据中心对应的CDN中从Redis的关联关系，将所述CDN元数据复制到所述一个或者多个从Redis中。

所述主Redis和从Redis分别设置在数据中心和边缘节点中，两者相互之间通过公网进行交叉连接，即当所述主Redis，且所述从Redis具有多个，则每个所述主Redis分别连接所述从Redis。其中，所述边缘节点也具有多个，每个边缘节点中都设置有多个所述从Redis。

在本申请中，客户通过CDN控制台将元数据同时写入多个数据中心的主Redis。主Redis通过主从复制协议将新的元数据同步到边缘节点的从Redis。边缘节点的多个从Redis连接到不同的主Redis同步元数据。其中，主Redis和从Redis间的链跟经过公网，需要加TLS双向验证，可以保证公网数据传输的安全性。

安全传输层协议(TLS)用于在两个通信应用程序之间提供保密性和数据完整性。该协议由两层组成:TLS记录协议(TLSRecord)和TLS握手协议(TLSHandshake)。较低的层为TLS记录协议，位于某个可靠的传输协议(例如TCP)上面，与具体的应用无关，所以，一般把TLS协议归为传输层安全协议。

本申请中，所述TLS协议包括两个协议组――TLS记录协议和TLS握手协议――每组具有很多不同格式的信息。

TLS记录协议是一种分层协议。每一层中的信息可能包含长度、描述和内容等字段。记录协议支持信息传输、将数据分段到可处理块、压缩数据、应用MAC、加密以及传输结果等。对接收到的数据进行解密、校验、解压缩、重组等，然后将它们传送到高层客户机。

TLS连接状态指的是TLS记录协议的操作环境。它规定了压缩算法、加密算法和MAC算法。

TLS记录层从高层接收任意大小无空块的连续数据。密钥计算:记录协议通过算法从握手协议提供的安全参数中产生密钥、IV和MAC密钥。TLS握手协议由三个子协议组构成，允许对等双方在记录层的安全参数上达成一致、自我认证、例示协商安全参数、互相报告出错条件。

通过TLS双向加密，确保数据的安全。

请参照图1所示，S104根据所述从Redis和所述CDN对应的接入服务的关联关系，将所述CDN源数据传输到所述接入服务中。

所述边缘节点中，设置有接入服务，所述接入服务是指利用接入服务器和相应的软硬件资源建立业务节点，并利用公用电信基础设施将业务节点与互联网骨干网相连接，为各类用户提供接入互联网的服务。

本申请中，用户端通过所述接入服务接入所述边缘节点，用于请求数据和信息。所述接入服务连接每个所述从Redis，这里所说的从Redis是指所述接入服务对应的边缘节点中的每一个所述从Redis。

当所述元数据被写入所述从Redis，CDN接入服务由从Redis获取元数据信息。

本申请中，主Redis和从Redis间的连接经过公网，通过加TLS双向验证，可以保证公网数据传输的安全性。

边缘节点的多个从Redis消费不同的主Redis，可以保证在某个主Redis故障的时候还能从其它主Redis同步到新的元数据，保证服务高可用。

CDN接入服务同时连接多个从Redis，保证某一个从Redis故障的时候还能获取到元数据。

每个客户，可以在 CDN 服务配置中添加多个加速域名，并针对每个加速域名，进行缓存、访问、回源、HTTPS 等配置，都可以适用本申请的所述方法。

如图3和图4所示，本申请中，所述添加域名或者进行访问控制，可以通过客户端显示设备进行显示和设置。

本申请还提供一种CDN元数据分发装置，该装置包括：控制模块301、写入模块302、传输模块303和接入模块304。

所述控制模块301连接所述写入模块302，所述写入模块302连接所述传输模块303，所述传输模块303连接所述接入模块304。

具体的，所述控制模块301，用于接收用户配置的CDN元数据；

所述写入模块302，用于将所述CDN元数据写入到数据中心的一个或者多个主Redis中；

所述传输模块303，用于根据所述主Redis和所述数据中心对应的CDN中从Redis的关联关系，将所述CDN元数据复制到所述一个或者多个从Redis中；

所述接入模块304，用于根据所述从Redis和所述CDN对应的接入服务的关联关系，将所述CDN源数据传输到所述接入服务中。

图5是本申请中CDN元数据分发装置示意图。

请参照图5所示，控制模块301，用于接收用户配置的CDN元数据。

图2是本申请中CDN元数据分发架构示意图。

请参照图5所示，写入模块302，用于将所述CDN元数据写入到数据中心的一个或者多个主Redis中。

咋进行查证时，将所述S-U，若得到所述D则表明查询正确。

请参照图5所示，传输模块303，用于根据所述主Redis和所述数据中心对应的CDN中从Redis的关联关系，将所述CDN元数据复制到所述一个或者多个从Redis中。

通过TLS双向加密，确保数据的安全。

请参照图5所示，接入模块304，用于根据所述从Redis和所述CDN对应的接入服务的关联关系，将所述CDN源数据传输到所述接入服务中。

本申请是参照根据本申请实施例的方法、装置（系统）、和计算机程序产品的流程图和／或方框图来描述的。

应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims

1.一种CDN元数据分发方法，其特征在于，包括：

接收用户配置的CDN元数据；

将所述CDN元数据写入到数据中心的一个或者多个主Redis中；

根据所述主Redis和所述数据中心对应的CDN中从Redis的关联关系，将所述CDN元数据复制到一个或者多个从Redis中；

根据所述从Redis和所述CDN对应的接入服务的关联关系，将所述CDN源数据传输到所述接入服务中；

其中，将所述CDN元数据写入到数据中心的一个或者多个主Redis中，具体地，所述数据中心设置有多个所述主Redis，每个所述主Redis写入的元数据权重相同，并对写入每个所述元数据中的数据进行查询，该所述查询是基于数据列表进行，所述数据列表是用于记录所述元数据写入到所述主Redis时的顺序和标号，所述元数据在存储前进行序号标记，并基于写入所述主Redis的顺序做写入标记；

所述存储前进行序号标记的序号通过如下表达式确定：

所述T表示序号项，所述i表示需要项个数，所述U表示序号标记；

所述写入标记标记为：S=U+D；其中，所述D是所述在i=1时表示的时间段内写入的序号，该序号在每个时间段内都进行重置；

在进行查证时，将所述S-U，若得到所述D则表明查询正确。

2.根据权利要求1所述CDN元数据分发方法，其特征在于，所述主Redis和从Redis之间的链接经过公网。

3.根据权利要求2所述CDN元数据分发方法，其特征在于，所述主Redis和从Redis之间的链接加TLS双向验证。

4.根据权利要求1所述CDN元数据分发方法，其特征在于，从Redis链接多个所述主Redis。

5.根据权利要求1所述CDN元数据分发方法，其特征在于，所述接入服务连接多个所述从Redis。

6.一种CDN元数据分发装置，其特征在于，包括：

控制模块，用于接收用户配置的CDN元数据；

传输模块，用于根据所述主Redis和所述数据中心对应的CDN中从Redis的关联关系，将所述CDN元数据复制到一个或者多个从Redis中；

接入模块，用于根据所述从Redis和所述CDN对应的接入服务的关联关系，将所述CDN源数据传输到所述接入服务中；

其中，在所述写入模块中，所述数据中心设置有多个所述主Redis，每个所述主Redis写入的元数据权重相同，并对写入每个所述元数据中的数据进行查询，该所述查询是基于数据列表进行，所述数据列表是用于记录所述元数据写入到所述主Redis时的顺序和标号，所述元数据在存储前进行序号标记，并基于写入所述主Redis的顺序做写入标记；

所述存储前进行序号标记的序号通过如下表达式确定：

在进行查证时，将所述S-U，若得到所述D则表明查询正确。

7.根据权利要求6所述CDN元数据分发装置，其特征在于，所述主Redis和从Redis之间的链接经过公网。

8.根据权利要求7所述CDN元数据分发装置，其特征在于，所述主Redis和从Redis之间的链接加TLS双向验证。

9.根据权利要求6所述CDN元数据分发装置，其特征在于，从Redis链接多个所述主Redis。

10.根据权利要求6所述CDN元数据分发装置，其特征在于，所述接入服务连接多个所述从Redis。