CN114500459A

CN114500459A - 一种基于dns协议的数据调度方法、装置及电子设备

Info

Publication number: CN114500459A
Application number: CN202111613776.7A
Authority: CN
Inventors: 陈单江; 曹聪; 吴小英; 王金土
Original assignee: Tianyi Cloud Technology Co Ltd
Current assignee: Tianyi Cloud Technology Co Ltd
Priority date: 2021-12-27
Filing date: 2021-12-27
Publication date: 2022-05-13
Anticipated expiration: 2041-12-27
Also published as: CN114500459B

Abstract

本发明公开了一种基于DNS协议的数据调度方法，该方法包括：获取目标请求文件的请求包、请求包的发送地点和带有冷热标识的哈希地址库，请求包包括：目标请求文件的域名和存储有哈希地址的ECS；从ECS中提取哈希地址，并将哈希地址与哈希地址库进行匹配得到目标请求文件的目标冷热标识；基于域名、目标冷热标识以及哈希地址或发送地点确定目标请求文件的IP进行应答。本发明通过上述方案，在DNS服务器接收到请求后，可以及时有效的确定目标请求文件的IP进行应答，相较于传统的数据调度方式，减少了一次请求过程，不仅节约成本，同时提高了数据调度的效率。

Description

一种基于DNS协议的数据调度方法、装置及电子设备

技术领域

本发明涉及通信技术领域，具体涉及一种基于DNS协议的数据调度方法、装置及电子设备。

背景技术

在CDN业务中，基于成本等因素通常会进行内容调度。文件会区分冷热分别调度到不同的节点上，如冷文件会尽量调度到少数节点上，以提升命中率减少回父回源带宽。业界基于内容的调度通常的做法是使用302调度，客户端第一次http请求获取到的是302的应答(即返回给用户当前最合适节点IP地址而不是请求的目标文件的IP地址)，客户端获取到节点IP后，还需要再进行一次http请求才能到最终的缓存服务器上，这种调度方式存在调度效率低的问题。

发明内容

有鉴于此，本发明实施例提供了一种基于DNS协议的数据调度方法，以解决现有技术中通过302调度实现内容的调度的方式效率低的问题。

为达到上述目的，本发明提供如下技术方案：

本发明实施例提供了一种基于DNS协议的数据调度方法，应用于DNS服务器，包括：

获取目标请求文件的请求包、所述请求包的发送地点和带有冷热标识的哈希地址库，所述请求包包括：所述目标请求文件的域名和存储有哈希地址的ECS；

从所述ECS中提取哈希地址，并将所述哈希地址与所述哈希地址库进行匹配得到所述目标请求文件的目标冷热标识；

基于所述域名、所述目标冷热标识以及所述哈希地址或所述发送地点确定所述目标请求文件的IP进行应答。

可选的，所述基于所述域名、所述目标冷热标识以及所述哈希地址或所述发送地点和确定所述目标请求文件的IP进行应答，包括：

根据所述冷热标识确定所述目标请求文件的文件类型；

若所述目标请求文件的文件类型为热文件，则根据所述域名和所述发送地点筛选所述目标请求文件的IP进行应答；

若所述目标请求文件的文件类型为冷文件，则根据所述域名和所述哈希地址得到所述目标请求文件的IP进行应答。

可选的，所述根据所述域名和所述发送地点筛选所述目标请求文件的IP进行应答，包括：

获取所述域名覆盖下缓存有所述目标请求文件的区域节点；

从区域节点中筛选与所述发送地点距离最近的第一区域节点；

从所述第一区域节点提取所述目标请求文件的IP进行应答。

可选的，所述根据所述域名和所述哈希地址得到所述目标请求文件的IP进行应答，包括：

获取所述域名覆盖下缓存有所述目标请求文件的目标IP；

计算各个目标IP的哈希值并将所述哈希值分布到哈希环上；

根据所述哈希值将各个目标IP映射到哈希环上；

基于所述哈希环对所述哈希地址进行一致性哈希算法的处理，得到所述目标请求文件的IP进行应答。

可选的，所述带有冷热标识的哈希地址库通过如下方式建立：

通过缓存服务器实时获取多个请求文件的IP和每个IP的请求频率；

基于所述每个IP的请求频率计算对应请求文件的冷热程度，并形成冷热标签；

对各个请求文件通过一致性哈希算法进行映射，得到每个请求文件的哈希地址；

建立所述请求文件、所述冷热标签与所述哈希地址之间的对应关系，形成带有冷热标识的哈希地址库。

本发明实施例提供了一种基于DNS协议的数据调度方法，应用于客户端，包括：

获取目标请求文件和所述目标请求文件的域名；

将目标请求文件通过一致性哈希算法进行映射，得到哈希地址；

将所述哈希地址存储至ECS；

基于存储有哈希地址的ECS和所述目标请求文件的域名构建请求包，并将所述请求包通过递归DNS服务器发送至DNS服务器，以使所述DNS服务器基于所述请求包、所述请求包的发送地点和带有冷热标识的哈希地址库，确定所述目标请求文件的IP进行应答。

本发明实施例还提供了一种基于DNS协议的数据调度装置，用于DNS服务器，包括：

第一获取模块，用于获取目标请求文件的请求包、所述请求包的发送地点和带有冷热标识的哈希地址库，所述请求包包括：所述目标请求文件的域名和存储有哈希地址的ECS；

匹配模块，用于从所述ECS中提取哈希地址，并将所述哈希地址与所述哈希地址库进行匹配得到所述目标请求文件的目标冷热标识；

应答模块，用于基于所述域名、所述目标冷热标识以及所述哈希地址或所述发送地点确定所述目标请求文件的IP进行应答。

本发明实施例还提供了一种基于DNS协议的数据调度装置，应用于客户端，包括：

第二获取模块，用于获取目标请求文件和所述目标请求文件的域名；

映射模块，用于将目标请求文件通过一致性哈希算法进行映射，得到哈希地址；

存储模块，用于将所述哈希地址存储至ECS；

构建模块，用于基于存储有哈希地址的ECS和所述目标请求文件的域名构建请求包，并将所述请求包通过递归DNS服务器发送至DNS服务器，以使所述DNS服务器基于所述请求包、所述请求包的发送地点和带有冷热标识的哈希地址库，确定所述目标请求文件的IP进行应答。

本发明实施例还提供了一种电子设备，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明实施例提供的基于DNS协议的数据调度方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行本发明实施例提供的基于DNS协议的数据调度方法。

本发明技术方案，具有如下优点：

本发明提供了一种基于DNS协议的数据调度方法，应用于DNS服务器，通过获取目标请求文件的请求包、请求包的发送地点和带有冷热标识的哈希地址库，请求包包括：目标请求文件的域名和存储有哈希地址的ECS；从ECS中提取哈希地址，并将哈希地址与哈希地址库进行匹配得到目标请求文件的目标冷热标识；基于域名、目标冷热标识以及哈希地址或发送地点确定目标请求文件的IP进行应答。本发明通过上述方案，在DNS服务器接收到请求后，可以及时有效的确定目标请求文件的IP进行应答，相较于传统的数据调度方式，减少了一次请求过程，不仅节约成本，同时提高了数据调度的效率。

本发明还提供了一种基于DNS协议的数据调度方法，应用于客户端，通过获取目标请求文件和目标请求文件的域名；将目标请求文件通过一致性哈希算法进行映射，得到哈希地址；将哈希地址存储至ECS；基于存储有哈希地址的ECS和目标请求文件的域名构建请求包，并将请求包通过递归DNS服务器发送至DNS服务器，以使DNS服务器基于请求包、请求包的发送地点和带有冷热标识的哈希地址库，确定目标请求文件的IP进行应答。本发明的方案可以使客户端通过一次请求即可获得目标请求文件，效率高、速度快，提高了客户的使用体验，解约了数据调度的成本。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中用于DNS服务器的基于DNS协议的数据调度方法的流程图；

图2为本发明实施例中用于客户端的基于DNS协议的数据调度方法的流程图；

图3为本发明实施例中用于DNS服务器的基于DNS协议的数据调度装置的结构示意图；

图4为本发明实施例中用于客户端的基于DNS协议的数据调度装置的结构示意图；

图5为本发明实施例中的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明实施例，提供了一种基于DNS协议的数据调度方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种基于DNS协议的数据调度方法，可用于上述的DNS服务器，如图1所示，该基于DNS协议的数据调度方法包括如下步骤：

步骤S1：获取目标请求文件的请求包、请求包的发送地点和带有冷热标识的哈希地址库，请求包包括：目标请求文件的域名和存储有哈希地址的ECS。

步骤S2：从ECS中提取哈希地址，并将哈希地址与哈希地址库进行匹配得到目标请求文件的目标冷热标识。

步骤S3：基于域名、目标冷热标识以及哈希地址或发送地点确定目标请求文件的IP进行应答。

具体的，DNS服务器收到请求后，会先取出ECS中的哈希地址，去和带有冷热标识的哈希地址库匹配，若能匹配到，便获取到了客户端需要的目标请求文件的IP及其冷热情况。对于热文件，DNS服务器按地域最近原则应答出对应区域节点上目标请求文件的IP，对于冷文件，DNS服务器将域名覆盖下的所有区域节点上目标请求文件的IP汇总到一起，然后再使用ECS中的哈希再次进行一致性哈希确定目标请求文件的IP，应答给递归DNS。

通过上述步骤S1至步骤S3，本发明实施例提供的基于DNS协议的数据调度方法，在DNS服务器接收到请求后，可以及时有效的确定目标请求文件的IP进行应答，相较于传统的数据调度方式，减少了一次请求过程，不仅节约成本，同时提高了数据调度的效率。

具体地，在一实施例中，上述的步骤S3，具体包括如下步骤：

步骤S31：根据冷热标识确定目标请求文件的文件类型。具体的，热文件为访问频率很高的文件，冷文件为访问频率低的文件。

步骤S32：若目标请求文件的文件类型为热文件，则根据域名和发送地点筛选目标请求文件的IP进行应答。具体的，由于热文件的访问频率高，为了节省数据传输资源，会在全国较多的区域节点存储有该热文件的IP，为了使接收到不同区域客户端的访问请求时，能及时响应，避免数据传输资源的浪费。

步骤S33：若目标请求文件的文件类型为冷文件，则根据域名和哈希地址得到目标请求文件的IP进行应答。具体的，冷文件访问频率低，若每个区域节点均存储有冷文件的IP，会造成存储资源的浪费，因此，会在少数区域节点内进行存储，在被请求的时候再进行调用。

具体地，在一实施例中，上述的步骤S32，具体包括如下步骤：

步骤S321：获取域名覆盖下缓存有目标请求文件的区域节点。

步骤S322：从区域节点中筛选与发送地点距离最近的第一区域节点。

步骤S323：从第一区域节点提取目标请求文件的IP进行应答。

具体的，通过获取距离最近的区域节点内目标请求文件的IP进行应答，有效节省数据传输资源，同时提高了响应的效率。

具体地，在一实施例中，上述的步骤S33，具体包括如下步骤：

步骤S331：获取域名覆盖下缓存有目标请求文件的目标IP。

步骤S332：计算各个目标IP的哈希值并将哈希值分布到哈希环上。

步骤S333：根据哈希值将各个目标IP映射到哈希环上。

步骤S334：基于哈希环对哈希地址进行一致性哈希算法的处理，得到目标请求文件的IP进行应答。

具体的，对冷文件的处理方式可以确保全国各地访问同一份冷文件时，都会请求到同一个节点。从而达到减少回父(父节点)回源(源节点)带宽的目的。

具体地，在一实施例中，上述的带有冷热标识的哈希地址库通过如下方式建立：

步骤S41：通过缓存服务器实时获取多个请求文件的IP和每个IP的请求频率。具体的，获取到缓存服务器上报的文件访问次数之后，创建哈希环，将FF02::1～FF02::FFFF:FFFF这些ipv6地址进行关键字哈希，这样每个ip就能确定其在哈希环上的位置。将请求的域名和文件uri通过特定的Hash函数计算出对应的key值，然后散列到Hash环上,然后从数据所在位置沿环顺时针“行走”，遇到的第一个节点就是其应该定位到的IPV6地址。特别要注意当域名存在别名时，需要使用原始域名进行哈希。

步骤S42：基于每个IP的请求频率计算对应请求文件的冷热程度，并形成冷热标签。具体的，根据缓存服务器上报的IP及IP请求次数以及对应的哈希地址，可以得到冷文件及其对应的哈希地址，传递给DNS服务器。其中冷文件可以按单位时间内请求访问次数低于N(可配置)的方式进行统计。

步骤S43：对各个请求文件通过一致性哈希算法进行映射，得到每个请求文件的哈希地址。

步骤S44：建立请求文件、冷热标签与哈希地址之间的对应关系，形成带有冷热标识的哈希地址库。

具体的，通过建立带有冷热标识的哈希地址库，可以使DNS服务器在接收到目标请求文件的请求包后，通过哈希地址获取该目标请求文件的文件类型(冷文件/热文件)，从而根据文件类型选择对应的应答方式。同时，由于哈希地址库内存有对应关系，可以通过哈希地址库获取到目标请求文件的IP，减少了一次回复区域节点后，客户端需要再向区域节点缓存服务器请求目标请求文件的IP的过程。

在另一施例中提供了一种基于DNS协议的数据调度方法，可用于上述的客户端，如图2所示，该基于DNS协议的数据调度方法包括如下步骤：

步骤S01：获取目标请求文件和目标请求文件的域名。

步骤S02：将目标请求文件通过一致性哈希算法进行映射，得到哈希地址。

步骤S03：将哈希地址存储至ECS。

步骤S04：基于存储有哈希地址的ECS和目标请求文件的域名构建请求包，并将请求包通过递归DNS服务器发送至DNS服务器，以使DNS服务器基于请求包、请求包的发送地点和带有冷热标识的哈希地址库，确定目标请求文件的IP进行应答。

具体的，客户端请求一个文件时，首先创建哈希环，将FF02::1～FF02::FFFF:FFFF这些IPV6地址进行关键字哈希，这样每个IP就能确定其在哈希环上的位置，将目标请求文件的域名和文件uri通过特定的Hash函数计算出对应的key值，然后散列到哈希环上，然后从数据所在位置沿环顺时针“行走”，遇到的第一个节点就是其应该定位到的IPV6地址，这个IPV6这里称为哈希地址。客户端发起DNS请求时，基于存储有哈希地址的ECS和目标请求文件的域名构建请求包，并将请求包通过递归DNS服务器发送至DNS服务器。

通过上述步骤S01至步骤S04，本发明实施例提供的基于DNS协议的数据调度方法，使客户端通过一次请求即可获得目标请求文件，效率高、速度快，提高了客户的使用体验，解约了数据调度的成本。

在本实施例中还提供了一种基于DNS协议的数据调度装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本实施例提供一种基于DNS协议的数据调度装置，用于DNS服务器，如图3所示，包括：

第一获取模块101，用于获取目标请求文件的请求包、请求包的发送地点和带有冷热标识的哈希地址库，请求包包括：目标请求文件的域名和存储有哈希地址的ECS，详细内容参见上述方法实施例中步骤S1的相关描述，在此不再进行赘述。

匹配模块102，用于从ECS中提取哈希地址，并将哈希地址与哈希地址库进行匹配得到目标请求文件的目标冷热标识，详细内容参见上述方法实施例中步骤S2的相关描述，在此不再进行赘述。

应答模块103，用于基于域名、目标冷热标识以及哈希地址或发送地点确定目标请求文件的IP进行应答，详细内容参见上述方法实施例中步骤S3的相关描述，在此不再进行赘述。

本实施例提供一种基于DNS协议的数据调度装置，应用于客户端，如图4所示，包括：

第二获取模块201，用于获取目标请求文件和目标请求文件的域名，详细内容参见上述方法实施例中步骤S1的相关描述，在此不再进行赘述。

映射模块202，用于将目标请求文件通过一致性哈希算法进行映射，得到哈希地址，详细内容参见上述方法实施例中步骤S2的相关描述，在此不再进行赘述。

存储模块203，用于将哈希地址存储至ECS，详细内容参见上述方法实施例中步骤S3的相关描述，在此不再进行赘述。

构建模块204，用于基于存储有哈希地址的ECS和目标请求文件的域名构建请求包，并将请求包通过递归DNS服务器发送至DNS服务器，以使DNS服务器基于请求包、请求包的发送地点和带有冷热标识的哈希地址库，确定目标请求文件的IP进行应答，详细内容参见上述方法实施例中步骤S3的相关描述，在此不再进行赘述。

本实施例中的基于DNS协议的数据调度装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。

上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。

根据本发明实施例还提供了一种电子设备，如图5所示，该电子设备可以包括处理器901和存储器902，其中处理器901和存储器902可以通过总线或者其他方式连接，图5中以通过总线连接为例。

处理器901可以为中央处理器(Central Processing Unit，CPU)。处理器901还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明方法实施例中的方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。

存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个模块存储在存储器902中，当被处理器901执行时，执行上述方法实施例中的方法。

上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims

1.一种基于DNS协议的数据调度方法，应用于DNS服务器，其特征在于，所述方法包括：

2.根据权利要求1所述的基于DNS协议的数据调度方法，其特征在于，基于所述域名、所述目标冷热标识以及所述哈希地址或所述发送地点和确定所述目标请求文件的IP进行应答，包括：

根据所述冷热标识确定所述目标请求文件的文件类型；

3.根据权利要求2所述的基于DNS协议的数据调度方法，其特征在于，所述根据所述域名和所述发送地点筛选所述目标请求文件的IP进行应答，包括：

获取所述域名覆盖下缓存有所述目标请求文件的区域节点；

从所述第一区域节点提取所述目标请求文件的IP进行应答。

4.根据权利要求2所述的基于DNS协议的数据调度方法，其特征在于，所述根据所述域名和所述哈希地址得到所述目标请求文件的IP进行应答，包括：

获取所述域名覆盖下缓存有所述目标请求文件的目标IP；

计算各个目标IP的哈希值并将所述哈希值分布到哈希环上；

根据所述哈希值将各个目标IP映射到哈希环上；

5.根据权利要求1所述的基于DNS协议的数据调度方法，其特征在于，所述带有冷热标识的哈希地址库通过如下方式建立：

6.一种基于DNS协议的数据调度方法，应用于客户端，其特征在于：

获取目标请求文件和所述目标请求文件的域名；

将所述哈希地址存储至ECS；

7.一种基于DNS协议的数据调度装置，用于DNS服务器，其特征在于，包括：

8.一种基于DNS协议的数据调度装置，应用于客户端，其特征在于，包括：

存储模块，用于将所述哈希地址存储至ECS；

9.一种电子设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-5或权利要求6中任一项所述的基于DNS协议的数据调度方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-5或权利要求6中任一项所述的基于DNS协议的数据调度方法。