CN114077483A - 数据资源调度方法、服务器、系统及存储介质 - Google Patents

数据资源调度方法、服务器、系统及存储介质 Download PDF

Info

Publication number
CN114077483A
CN114077483A CN202010850907.2A CN202010850907A CN114077483A CN 114077483 A CN114077483 A CN 114077483A CN 202010850907 A CN202010850907 A CN 202010850907A CN 114077483 A CN114077483 A CN 114077483A
Authority
CN
China
Prior art keywords
resource
cache server
data
scheduling
acquisition request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010850907.2A
Other languages
English (en)
Inventor
孙俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN202010850907.2A priority Critical patent/CN114077483A/zh
Publication of CN114077483A publication Critical patent/CN114077483A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例提供一种数据资源调度方法、服务器、系统及存储介质，属于通信技术领域。该方法包括：基于终端发送的资源获取请求，向第一缓存服务器调度所述资源获取请求，以供所述第一缓存服务器基于所述资源获取请求为所述终端提供数据资源；获取所述第一缓存服务器中所述数据资源的资源热度信息；根据所述数据资源对应的资源获取请求和所述资源热度信息，向所述第一缓存服务器调度所述资源获取请求，或者向除所述第一缓存服务器之外的第二缓存服务器调度所述资源获取请求。本发明实施例的技术方案能够有效降低热点资源对单台缓存服务器产生的网络带宽和负载的压力。

Description

数据资源调度方法、服务器、系统及存储介质
技术领域
本发明涉及通信技术领域，尤其涉及一种数据资源调度方法、服务器、系统及存储介质。
背景技术
随着互联网的迅速普及，互联网用户的数量急剧增加，对网站的服务能力要求也越来越高。为了突破网站面临的服务能力的瓶颈，最初的解决办法是提高服务器的硬件配置，后来又出现了多台服务器组成集群进行负载分担的方法，并进一步发展成为内容缓存技术和内容分发技术。然而，目前的内容缓存和内容分发技术，是将数据资源集中缓存在单台缓存服务器中，在该数据资源成为突发的热点资源时，只能通过单台缓存服务器进行数据资源的调用，容易导致单台缓存服务器产生网络带宽和负载的压力，甚至造成网站瘫痪。
发明内容
本发明实施例的主要目的在于提供一种数据资源调度方法、服务器、系统及存储介质，旨在降低突发的热点资源对单台缓存服务器产生网络带宽和负载的压力，满足负载分发带宽需求，提升用户体验。
第一方面，本发明实施例提供一种数据资源调度方法，包括：
基于终端发送的资源获取请求，向第一缓存服务器调度所述资源获取请求，以供所述第一缓存服务器基于所述资源获取请求为所述终端提供数据资源；
获取所述第一缓存服务器中所述数据资源的资源热度信息；
根据所述数据资源对应的资源获取请求和所述资源热度信息，向所述第一缓存服务器调度所述资源获取请求，或者向除所述第一缓存服务器之外的第二缓存服务器调度所述资源获取请求。
第二方面，本发明实施例还提供一种负载均衡服务器，所述负载均衡服务器包括处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，其中所述计算机程序被所述处理器执行时，实现如本发明实施例提供的任一项数据资源调度方法的步骤。
第三方面，本发明实施例还提供一种数据资源调度系统，包括缓存服务器和如本发明实施例提供的负载均衡服务器，所述缓存服务器与所述负载均衡服务器通信连接，所述缓存服务器用于基于所述负载均衡服务器调度的资源获取请求为终端提供数据资源。
第四方面，本发明实施例还提供一种存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如本发明实施例提供的任一项数据资源调度方法的步骤。
本发明实施例提供一种数据资源调度方法、服务器、系统及存储介质，本发明实施例基于终端发送的资源获取请求，向第一缓存服务器调度该资源获取请求，以供第一缓存服务器基于该资源获取请求为终端提供数据资源，然后获取第一缓存服务器中数据资源的资源热度信息，并根据该数据资源对应的资源获取请求和获取的资源热度信息，向第一缓存服务器调度该数据资源对应的资源获取请求，或者向除第一缓存服务器之外的第二缓存服务器调度该数据资源对应的资源获取请求，有效地降低突发的热点资源对单台缓存服务器产生的网络带宽和负载的压力，满足负载分发的带宽需求，提升用户体验。
附图说明
图1为本发明实施例提供的一种数据资源调度方法的步骤流程示意图；
图2为实施本发明实施例提供的数据资源调度方法的一场景示意图；
图3为实施本发明实施例提供的数据资源调度方法的又一场景示意图；
图4为图1中的数据资源调度方法的子步骤流程示意图；
图5为实施本发明实施例提供的数据资源调度方法的另一场景示意图；
图6为本发明实施例提供的一种负载均衡服务器的结构示意框图；
图7为本发明实施例提供的一种数据资源调度系统的结构示意框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
本发明实施例提供一种数据资源调度方法、服务器、系统及存储介质。其中，该数据资源调度方法可应用于负载均衡服务器，其中，负载均衡服务器(load-balancingserver)是进行负载分配的服务器，通过负载均衡服务器，将服务请求分配到实际执行的服务中，从而保证内容分发网络的响应速度。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，图1为本发明实施例提供的一种数据资源调度方法的步骤流程示意图。
如图1所示，该数据资源调度方法包括步骤S101至步骤S103。
步骤S101、基于终端发送的资源获取请求，向第一缓存服务器调度资源获取请求，以供第一缓存服务器基于资源获取请求为终端提供数据资源。
本发明实施例中，用户可以通过终端访问网站，并可以通过终端发出获取网站上某个数据资源的资源获取请求。例如，用户点击播放网站上的一个视频资源，即通过终端发出获取该视频资源的资源获取请求。其中，终端包括手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备，数据资源包括图片资源、音频资源、视频资源、文字资源或者其他可以在计算机设备中展示的内容等，数据资源可以是单个数据资源，也可以是同一类型的多个数据资源，本实施例不做具体限定。
在一实施例中，终端发出的资源获取请求进入到内容分发网络(ContentDelivery Network，CDN)，内容分发系统CDN会通过网际互连协议IP来给用户分配CDN节点。内容分发系统CDN例如包括域名服务器(Domain Name Server，DNS)，域名服务器将IP地址重定向到CDN节点内的负载均衡服务器，再由负载均衡服务器将终端发出的资源获取请求调度到对应的缓存服务器。
在一实施例中，负载均衡服务器基于终端发送的资源获取请求，向第一缓存服务器调度资源获取请求，以供第一缓存服务器基于资源获取请求为终端提供数据资源。其中，第一缓存服务器与终端发送的资源获取请求存在对应关系。
示例性的，负载均衡服务器接收终端发送的资源获取请求，其中，资源获取请求中携带有待获取资源的资源标识；基于预设的哈希调度算法，确定资源标识对应的哈希值；确定与哈希值相配对的第一缓存服务器，并向第一缓存服务器调度资源获取请求。其中，资源标识包括文字、数字、字母和符号中的一种或多种的组合，哈希调度算法例如为源IP哈希(Source IP Hash)算法、目标地址散列调度(Destination Hashing，DH)算法、源地址散列调度(Source Hashing，SH)等。可以理解的是，负载均衡服务器也可以基于其他的调度算法向第一缓存服务器调度资源获取请求，本实施例不做具体限定。通过哈希调度算法和资源标识可以快速且准确地向第一缓存服务器调度资源获取请求。
需要说明的是，通过预设的哈希调度算法和资源标识，可以生成请求源IP的哈希值，并通过这个哈希值来找到正确的真实服务器，即确定与该哈希值相配对的第一缓存服务器，以便负载均衡服务器向第一缓存服务器调度资源获取请求。
需要说明的是，资源标识对应的第一缓存服务器总是相同，在第一缓存服务器缓存有资源标识对应的数据资源的情况下，终端可以直接获取该资源，无需第一缓存服务器再向源站请求回源，因此可以快速地向终端提供数据资源。
在一实施例中，第一缓存服务器接收到负载均衡服务器调度的资源获取请求，并基于接收的资源获取请求为终端提供数据资源。其中，如图2所示，终端10发出资源获取请求，负载均衡服务器20基于该资源获取请求向第一缓存服务器30调度资源获取请求，第一缓存服务器30接收到负载均衡服务器20调度的资源获取请求，第一缓存服务器30中缓存有资源获取请求对应的数据资源，则第一缓存服务器30将该对应的数据资源返还至负载均衡服务器20，负载均衡服务器20再将该对应的数据资源返还至终端10。
或者，如图3所示，终端10发出资源获取请求，负载均衡服务器20基于该资源获取请求向第一缓存服务器30调度资源获取请求，第一缓存服务器30接收到负载均衡服务器20调度的资源获取请求，第一缓存服务器30中并未缓存有资源获取请求对应的数据资源，则第一缓存服务器30向源站40回源，即第一缓存服务器30向源站40发送回源请求，源站40接收到回源请求后将对应的数据资源返还给第一缓存服务器30，第一缓存服务器30再通过负载均衡服务器20将该对应的数据资源返还至终端10。
步骤S102、获取第一缓存服务器中数据资源的资源热度信息。
其中，资源热度信息包括但不限于数据资源是否为热点资源的描述信息、数据资源在预设周期内的获取次数。需要说明的是，预设周期可由用户根据实际情况进行设置，数据资源在预设周期内的获取次数例如为第一缓存服务器在预设周期内接收到的资源获取请求的次数，或者为第一缓存服务器在预设周期内向终端提供数据资源的次数。负载均衡服务器可以通过资源热度信息判断该数据资源是否为热点资源，从而知晓第一缓存服务器的网络带宽和负载的压力。
在一实施例中，负载均衡服务器接收第一缓存服务器发送的数据资源的资源热度信息。其中，负载均衡服务器接收第一缓存服务器发送的数据资源是否为热点资源的描述信息，或者，负载均衡服务器接收第一缓存服务器发送的数据资源在预设周期内的获取次数。通过第一缓存服务器对数据资源进行热点计数，从而判断是否需要利用除第一缓存服务器之外的其他缓存服务器的空闲网络带宽来实现数据资源的动态调度。
示例性的，负载均衡服务器接收第一缓存服务器发送的数据资源是否为热点资源的描述信息，即在第一缓存服务器中判断该数据资源是否为热点资源，第一缓存服务器再将判断结果(数据资源是否为热点资源的描述信息)发送至负载均衡服务器。
示例性的，第一缓存服务器判断该数据资源是否为热点资源的步骤为：获取数据资源在预设周期内的获取次数，当数据资源在预设周期内的获取次数大于或等于预设次数，则判断数据资源为热点资源，当数据资源在预设周期内的获取次数小于预设次数，则判断数据资源不为热点资源。可选的，预设周期为30秒，预设次数为100次，当数据资源在30秒内的获取次数C大于或等于100次，则判断数据资源为热点资源，当数据资源在30秒内的获取次数C小于100次，则判断数据资源不为热点资源。
在一实施例中，负载均衡服务器根据数据资源在预设周期内的请求次数，确定第一缓存服务器中数据资源的资源热度信息。其中，数据资源在预设周期内的请求次数例如为负载均衡服务器在预设周期内调度的(或接收到的)资源获取请求的次数，或者为第一缓存服务器发送的数据资源在预设周期内的获取次数。通过负载均衡服务器对数据资源进行热点计数，从而判断是否需要向除第一缓存服务器之外的其他缓存服务器调度资源获取请求。
步骤S103、根据数据资源对应的资源获取请求和资源热度信息，向第一缓存服务器调度资源获取请求，或者向除第一缓存服务器之外的第二缓存服务器调度资源获取请求。
负载均衡服务器获取数据资源的资源热度信息之后，根据该资源热度信息和再次接收到的该数据资源对应的资源获取请求，确定向第一缓存服务器调度资源获取请求，还是向除第一缓存服务器之外的第二缓存服务器调度资源获取请求，从而有效地利用缓存服务器的空闲网络带宽来实现数据资源的调度，降低突发的热点资源对单台缓存服务器产生的网络带宽和负载的压力。
在一实施例中，如图4所示，步骤S103包括：子步骤S1031至子步骤S1033。
子步骤S1031、根据资源热度信息判断数据资源是否为热点资源。
其中，当资源热度信息包括数据资源是否为热点资源的描述信息，根据描述信息确定数据资源是否为热点资源。需要说明的是，描述信息包括但不限于数据资源为热点资源、数据资源不为热点资源。当描述信息为数据资源为热点资源，负载均衡服务器根据该描述信息可以确定数据资源为热点资源；当描述信息为数据资源不为热点资源，负载均衡服务器根据该描述信息可以确定数据资源不为热点资源。
例如，负载均衡服务器对描述信息进行验证，得到验证结果，当验证结果为通过则确定数据资源为热点资源，当验证结果为不通过则确定数据资源不为热点资源。其中，当描述信息为数据资源为热点资源时，对描述信息进行验证的验证结果为通过，当描述信息为数据资源不为热点资源时，对描述信息进行验证的验证结果为不通过。
其中，当资源热度信息包括数据资源在预设周期内的获取次数，根据获取次数与预设次数阈值确定数据资源是否为热点资源。需要说明的是，数据资源在预设周期内的获取次数例如为负载均衡服务器在预设周期内调度的(或接收到的)资源获取请求的次数，或者为第一缓存服务器发送的数据资源在预设周期内的获取次数。当数据资源在预设周期内的获取次数大于或等于预设次数阈值，则判断数据资源为热点资源，当数据资源在预设周期内的获取次数小于预设次数阈值，则判断数据资源不为热点资源。
子步骤S1032、若判断数据资源不为热点资源，根据数据资源对应的资源获取请求，向第一缓存服务器调度资源获取请求。
若判断数据资源不为热点资源，则表明第一缓存服务器中该数据资源对第一缓存服务器产生的网络带宽和负载的压力不大，在再次接收到终端发送的数据资源对应的资源获取请求时，可以继续向第一缓存服务器调度资源获取请求，不会造成第一缓存服务器中的网络带宽和负载的压力过大。
示例性的，如图2所示，负载均衡服务器20再次接收到终端10发送的数据资源对应的资源获取请求时，负载均衡服务器20向第一缓存服务器30调度该数据资源对应的资源获取请求，第一缓存服务器30中缓存有资源获取请求对应的数据资源，第一缓存服务器30将该对应的数据资源返还至负载均衡服务器20，负载均衡服务器20再将该对应的数据资源返还至终端10。
子步骤S1033、若判断数据资源为热点资源，根据数据资源对应的资源获取请求，向除第一缓存服务器之外的第二缓存服务器调度资源获取请求。
若判断数据资源为热点资源，则表明第一缓存服务器中该数据资源会对第一缓存服务器产生的网络带宽和负载的压力，在再次接收到终端发送的数据资源对应的资源获取请求时，向除第一缓存服务器之外的第二缓存服务器调度资源获取请求，有效地利用空闲的第二缓存服务器的网络带宽来实现数据资源的调度，从而降低突发的热点资源对第一缓存服务器产生的网络带宽和负载的压力。
在一实施例中，若判断数据资源为热点资源，在接收到数据资源对应的资源获取请求时，获取除第一缓存服务器之外的第二缓存服务器的剩余带宽，得到剩余带宽列表；根据剩余带宽列表，向除第一缓存服务器之外的至少一个第二缓存服务器调度资源获取请求。其中，第二缓存服务器可以为一个或者多个，例如第二缓存服务器包括当前CDN节点中除第一缓存服务器之外的其他缓存服务器。例如，通过第二缓存服务器的剩余带宽列表可以确定剩余带宽大于或等于预设剩余带宽的第二缓存服务器，并向大于或等于预设剩余带宽的至少一个第二缓存服务器调度资源获取请求，能够有效降低突发的热点资源对第一缓存服务器产生的网络带宽和负载的压力，满足负载分发的带宽需求，同时提升用户体验。
其中，根据剩余带宽列表向除第一缓存服务器之外的至少一个第二缓存服务器调度资源获取请求的步骤包括：从剩余带宽列表中确定剩余带宽最大的目标剩余带宽；确定目标剩余带宽对应的除第一缓存服务器之外的第二缓存服务器，并向第二缓存服务器调度资源获取请求。利用剩余带宽最大的目标剩余带宽对应的第二缓存服务器来实现数据资源的调度，有效降低突发的热点资源对第一缓存服务器产生的网络带宽和负载的压力，能够满足负载分发的带宽需求，提升用户体验。
在一实施例中，负载均衡服务器向除第一缓存服务器之外的第二缓存服务器调度资源获取请求，使得第二缓存服务器从第一缓存服务器获取数据资源，以使第二缓存服务器能够为终端提供数据资源。其中，需要确定第二缓存服务器中是否存在资源获取请求对应的数据资源。需要说明的是，若第二缓存服务器中存在资源获取请求对应的数据资源，则第二缓存服务器直接通过负载均衡服务器向终端提供资源获取请求对应的数据资源。
示例性的，若第二缓存服务器中不存在资源获取请求对应的数据资源，如图5所示，终端10发出的资源获取请求为与数据资源对应的资源获取请求，则负载均衡服务器20判断资源获取请求对应的数据资源为热点资源，负载均衡服务器20向除第一缓存服务器30之外的第二缓存服务器50调度资源获取请求，使得第二缓存服务器50从第一缓存服务器30获取数据资源，即第二缓存服务器50向第一缓存服务器30发出回源请求，第一缓存服务器30根据接收的回源请求向第二缓存服务器50返回对应的数据资源，以使第二缓存服务器50能够通过负载均衡服务器20为终端10提供对应的数据资源。
需要说明的是，第一缓存服务器30和第二缓存服务器50为当前CDN节点中的缓存服务器，通过当前CDN节点内的热点资源调度，能够有效避免了该数据资源在当前CDN节点内重复回源，且第二缓存服务器50从在当前CDN节点内的第一缓存服务器30回源，在无需从源站回源，有效控制了运营商出网流量，节省网间结算费用，提升了服务下载速率和用户体验，降低突发的热点资源对单台存储服务器造成的网络带宽和负载的压力。
上述实施例提供的数据资源调度方法，基于终端发送的资源获取请求，向第一缓存服务器调度该资源获取请求，以供第一缓存服务器基于该资源获取请求为终端提供数据资源，然后获取第一缓存服务器中数据资源的资源热度信息，并根据该数据资源对应的资源获取请求和获取的资源热度信息，向第一缓存服务器调度该数据资源对应的资源获取请求，或者向除第一缓存服务器之外的第二缓存服务器调度该数据资源对应的资源获取请求，有效地降低突发的热点资源对单台缓存服务器产生的网络带宽和负载的压力，满足负载分发的带宽需求，提升用户体验。
请参阅图6，图6为本发明实施例提供的一种负载均衡服务器的结构示意性框图。其中，负载均衡服务器(load-balancing server)是进行负载分配的服务器，通过负载均衡服务器，将服务请求分配到实际执行的服务中，从而保证内容分发网络的响应速度。
如图6所示，负载均衡服务器200包括处理器201和存储器202，处理器201和存储器202通过总线203连接，该总线比如为I2C(Inter-integrated Circuit)总线。
具体地，处理器201用于提供计算和控制能力，支撑整个负载均衡服务器的运行。处理器201可以是中央处理单元(Central Processing Unit，CPU)，该处理器201还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
具体地，存储器202可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本发明实施例相关的部分结构的框图，并不构成对本发明实施例所应用于其上的负载均衡服务器的限定，具体的负载均衡服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器用于运行存储在存储器中的计算机程序，并在执行所述计算机程序时实现本发明实施例提供的任意一种所述的数据资源调度方法。
在一实施例中，所述处理器用于运行存储在存储器中的计算机程序，并在执行所述计算机程序时实现如下步骤：
基于终端发送的资源获取请求，向第一缓存服务器调度所述资源获取请求，以供所述第一缓存服务器基于所述资源获取请求为所述终端提供数据资源；
获取所述第一缓存服务器中所述数据资源的资源热度信息；
根据所述数据资源对应的资源获取请求和所述资源热度信息，向所述第一缓存服务器调度所述资源获取请求，或者向除所述第一缓存服务器之外的第二缓存服务器调度所述资源获取请求。
在一实施例中，所述处理器在实现所述根据所述数据资源对应的资源获取请求和所述资源热度信息，向所述第一缓存服务器调度所述资源获取请求，或者向除所述第一缓存服务器之外的第二缓存服务器调度所述资源获取请求时，用于实现：
根据所述资源热度信息判断所述数据资源是否为热点资源；
若判断所述数据资源不为热点资源，根据所述数据资源对应的资源获取请求，向所述第一缓存服务器调度所述资源获取请求；
若判断所述数据资源为热点资源，根据所述数据资源对应的资源获取请求，向除所述第一缓存服务器之外的第二缓存服务器调度所述资源获取请求。
在一实施例中，所述处理器在实现所述根据所述资源热度信息判断所述数据资源是否为热点资源时，用于实现：
当所述资源热度信息包括所述数据资源是否为热点资源的描述信息，根据所述描述信息确定所述数据资源是否为热点资源；和/或
当所述资源热度信息包括所述数据资源在预设周期内的获取次数，根据所述获取次数与预设次数阈值确定所述数据资源是否为热点资源。
在一实施例中，所述处理器在实现所述若判断所述数据资源为热点资源，向除所述第一缓存服务器之外的第二缓存服务器调度所述资源获取请求时，用于实现：
若判断所述数据资源为热点资源，在接收到所述数据资源对应的资源获取请求时，获取除所述第一缓存服务器之外的第二缓存服务器的剩余带宽，得到剩余带宽列表；
根据所述剩余带宽列表，向除所述第一缓存服务器之外的至少一个第二缓存服务器调度所述资源获取请求。
在一实施例中，所述处理器在实现所述根据所述剩余带宽列表，向除所述第一缓存服务器之外的至少一个第二缓存服务器调度所述资源获取请求时，用于实现：
从所述剩余带宽列表中确定剩余带宽最大的目标剩余带宽；
确定所述目标剩余带宽对应的除所述第一缓存服务器之外的第二缓存服务器，并向所述第二缓存服务器调度所述资源获取请求。
在一实施例中，所述处理器在实现所述向除所述第一缓存服务器之外的第二缓存服务器调度所述资源获取请求时，用于实现：
向除所述第一缓存服务器之外的第二缓存服务器调度所述资源获取请求，使得所述第二缓存服务器从所述第一缓存服务器获取所述数据资源，以使所述第二缓存服务器能够为所述终端提供所述数据资源。
在一实施例中，所述处理器在实现所述获取所述第一缓存服务器中所述数据资源的资源热度信息时，用于实现：
接收所述第一缓存服务器发送的所述数据资源的资源热度信息；或者
根据所述数据资源在预设周期内的请求次数，确定所述第一缓存服务器中所述数据资源的资源热度信息。
在一实施例中，所述处理器在实现所述基于终端发送的资源获取请求，向第一缓存服务器调度所述资源获取请求时，用于实现：
接收终端发送的资源获取请求，其中，所述资源获取请求中携带有待获取资源的资源标识；
基于预设的哈希调度算法，确定所述资源标识对应的哈希值；
确定与所述哈希值相配对的第一缓存服务器，并向所述第一缓存服务器调度所述资源获取请求。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的负载均衡服务器的具体工作过程，可以参考前述数据资源调度方法实施例中的对应过程，在此不再赘述。
请参照图7，图7为本申请实施例提供的一种数据资源调度系统的示意性框图。
如图7所示，该数据资源调度系统300，包括：缓存服务器301和负载均衡服务器302，所述缓存服务器301与所述负载均衡服务器302通信连接，所述缓存服务器301用于基于所述负载均衡服务器302调度的资源获取请求为终端提供数据资源，其中，缓存服务器301可以为一个或者多个，例如包括第一缓存服务器和至少一个第二缓存服务器，本实施例不作具体限定。所述负载均衡服务器302包括如本发明实施例前述的负载均衡服务器302。
例如，所述负载均衡服务器302，用于：
基于终端发送的资源获取请求，向第一缓存服务器调度所述资源获取请求，以供所述第一缓存服务器基于所述资源获取请求为所述终端提供数据资源；
获取所述第一缓存服务器中所述数据资源的资源热度信息；
根据所述数据资源对应的资源获取请求和所述资源热度信息，向所述第一缓存服务器调度所述资源获取请求，或者向除所述第一缓存服务器之外的第二缓存服务器调度所述资源获取请求。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的数据资源调度系统的具体工作过程，可以参考前述数据资源调度方法实施例中的对应过程，在此不再赘述。
本发明实施例还提供一种存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如本发明实施例提供的任一项数据资源调度的方法的步骤。
其中，所述存储介质可以是前述实施例所述的负载均衡服务器的内部存储单元，例如所述负载均衡服务器的硬盘或内存。所述存储介质也可以是所述负载均衡服务器的外部存储设备，例如所述负载均衡服务器上配备的插接式硬盘，智能存储卡(Smart MediaCard，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
应当理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (11)

1.一种数据资源调度方法，其特征在于，包括：
基于终端发送的资源获取请求，向第一缓存服务器调度所述资源获取请求，以供所述第一缓存服务器基于所述资源获取请求为所述终端提供数据资源；
获取所述第一缓存服务器中所述数据资源的资源热度信息；
根据所述数据资源对应的资源获取请求和所述资源热度信息，向所述第一缓存服务器调度所述资源获取请求，或者向除所述第一缓存服务器之外的第二缓存服务器调度所述资源获取请求。
2.根据权利要求1所述的数据资源调度方法，其特征在于，所述根据所述数据资源对应的资源获取请求和所述资源热度信息，向所述第一缓存服务器调度所述资源获取请求，或者向除所述第一缓存服务器之外的第二缓存服务器调度所述资源获取请求，包括：
根据所述资源热度信息判断所述数据资源是否为热点资源；
若判断所述数据资源不为热点资源，根据所述数据资源对应的资源获取请求，向所述第一缓存服务器调度所述资源获取请求；
若判断所述数据资源为热点资源，根据所述数据资源对应的资源获取请求，向除所述第一缓存服务器之外的第二缓存服务器调度所述资源获取请求。
3.根据权利要求2所述的数据资源调度方法，其特征在于，所述根据所述资源热度信息判断所述数据资源是否为热点资源，包括：
当所述资源热度信息包括所述数据资源是否为热点资源的描述信息，根据所述描述信息确定所述数据资源是否为热点资源；和/或
当所述资源热度信息包括所述数据资源在预设周期内的获取次数，根据所述获取次数与预设次数阈值确定所述数据资源是否为热点资源。
4.根据权利要求2所述的数据资源调度方法，其特征在于，所述若判断所述数据资源为热点资源，向除所述第一缓存服务器之外的第二缓存服务器调度所述资源获取请求，包括：
若判断所述数据资源为热点资源，在接收到所述数据资源对应的资源获取请求时，获取除所述第一缓存服务器之外的第二缓存服务器的剩余带宽，得到剩余带宽列表；
根据所述剩余带宽列表，向除所述第一缓存服务器之外的至少一个第二缓存服务器调度所述资源获取请求。
5.根据权利要求4所述的数据资源调度方法，其特征在于，所述根据所述剩余带宽列表，向除所述第一缓存服务器之外的至少一个第二缓存服务器调度所述资源获取请求，包括：
从所述剩余带宽列表中确定剩余带宽最大的目标剩余带宽；
确定所述目标剩余带宽对应的除所述第一缓存服务器之外的第二缓存服务器，并向所述第二缓存服务器调度所述资源获取请求。
6.根据权利要求1-5任一项所述的数据资源调度方法，其特征在于，所述向除所述第一缓存服务器之外的第二缓存服务器调度所述资源获取请求，包括：
向除所述第一缓存服务器之外的第二缓存服务器调度所述资源获取请求，使得所述第二缓存服务器从所述第一缓存服务器获取所述数据资源，以使所述第二缓存服务器能够为所述终端提供所述数据资源。
7.根据权利要求1-5任一项所述的数据资源调度方法，其特征在于，所述获取所述第一缓存服务器中所述数据资源的资源热度信息，包括：
接收所述第一缓存服务器发送的所述数据资源的资源热度信息；或者
根据所述数据资源在预设周期内的请求次数，确定所述第一缓存服务器中所述数据资源的资源热度信息。
8.根据权利要求1-5任一项所述的数据资源调度方法，其特征在于，所述基于终端发送的资源获取请求，向第一缓存服务器调度所述资源获取请求，包括：
接收终端发送的资源获取请求，其中，所述资源获取请求中携带有待获取资源的资源标识；
基于预设的哈希调度算法，确定所述资源标识对应的哈希值；
确定与所述哈希值相配对的第一缓存服务器，并向所述第一缓存服务器调度所述资源获取请求。
9.一种负载均衡服务器，其特征在于，所述负载均衡服务器包括处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，其中所述计算机程序被所述处理器执行时，实现如权利要求1至8中任一项所述的数据资源调度方法的步骤。
10.一种数据资源调度系统，其特征在于，包括缓存服务器和如权利要求9所述的负载均衡服务器，所述缓存服务器与所述负载均衡服务器通信连接，所述缓存服务器用于基于所述负载均衡服务器调度的资源获取请求为终端提供数据资源。
11.一种存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至8中任一项所述的数据资源调度方法。
CN202010850907.2A 2020-08-21 2020-08-21 数据资源调度方法、服务器、系统及存储介质 Pending CN114077483A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010850907.2A CN114077483A (zh) 2020-08-21 2020-08-21 数据资源调度方法、服务器、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010850907.2A CN114077483A (zh) 2020-08-21 2020-08-21 数据资源调度方法、服务器、系统及存储介质

Publications (1)

Publication Number Publication Date
CN114077483A true CN114077483A (zh) 2022-02-22

Family

ID=80282515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010850907.2A Pending CN114077483A (zh) 2020-08-21 2020-08-21 数据资源调度方法、服务器、系统及存储介质

Country Status (1)

Country Link
CN (1) CN114077483A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114666319A (zh) * 2022-03-02 2022-06-24 北京百度网讯科技有限公司 数据下载方法、装置、电子设备和可读存储介质
CN115190180A (zh) * 2022-06-29 2022-10-14 乐视云计算有限公司 在网络资源请求骤增时的网络资源请求调度方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114666319A (zh) * 2022-03-02 2022-06-24 北京百度网讯科技有限公司 数据下载方法、装置、电子设备和可读存储介质
CN114666319B (zh) * 2022-03-02 2024-03-22 北京百度网讯科技有限公司 数据下载方法、装置、电子设备和可读存储介质
CN115190180A (zh) * 2022-06-29 2022-10-14 乐视云计算有限公司 在网络资源请求骤增时的网络资源请求调度方法和装置

Similar Documents

Publication Publication Date Title
US10601767B2 (en) DNS query processing based on application information
WO2018133306A1 (zh) 内容分发网络中的调度方法和设备
CN110830564B (zh) Cdn调度方法、装置、系统及计算机可读存储介质
CN107491320B (zh) 基于混合模式移动应用的载入方法和装置
CN111614736A (zh) 网络内容资源调度方法、域名调度服务器及电子设备
KR101548144B1 (ko) 사용자 장비에 대한 자산들의 프리-패치를 위한 자원 프로파일의 조정
CN106375471B (zh) 一种边缘节点确定方法及装置
CN110868465A (zh) 一种容器云的负载均衡系统及方法
EP2976887A1 (en) Bandwidth management for over-the-top adaptive streaming
CN110830565B (zh) 资源下载方法、装置、系统、电子设备及存储介质
US20110153833A1 (en) Rate provisioner for web services
CN110620828A (zh) 一种文件推送方法、系统、装置、电子设备及介质
CN114077483A (zh) 数据资源调度方法、服务器、系统及存储介质
CN114153581A (zh) 数据处理方法、装置、计算机设备和存储介质
CN105610869B (zh) 一种流媒体的调度方法及装置
CN108282668B (zh) 一种视频的获取方法及系统
CN110392119B (zh) 一种数据传输方法及基站
CN110099292B (zh) 一种数据中心节点确定方法、装置及电子设备
CN112825524B (zh) 网络服务节点的确定方法、装置和系统
KR101613513B1 (ko) 네트워크 대역폭 및 cpu 이용률을 고려한 가상머신 배치 방법 및 시스템
CN109347967B (zh) 一种获取音视频数据的方法及装置
CN109413117B (zh) 分布式数据计算方法、装置、服务器及计算机存储介质
CN107634854B (zh) 业务数据的处理方法及装置
CN111556109B (zh) 请求处理方法、装置、电子设备和存储介质
CN116961918A (zh) 令牌获取方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination