CN109995854B - 调度方法、装置、电子设备和存储介质 - Google Patents

调度方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN109995854B
CN109995854B CN201910197580.0A CN201910197580A CN109995854B CN 109995854 B CN109995854 B CN 109995854B CN 201910197580 A CN201910197580 A CN 201910197580A CN 109995854 B CN109995854 B CN 109995854B
Authority
CN
China
Prior art keywords
scheduling
buffer area
data
scheduling data
buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910197580.0A
Other languages
English (en)
Other versions
CN109995854A (zh
Inventor
赵益青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wangsu Science and Technology Co Ltd
Original Assignee
Wangsu Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wangsu Science and Technology Co Ltd filed Critical Wangsu Science and Technology Co Ltd
Priority to CN201910197580.0A priority Critical patent/CN109995854B/zh
Publication of CN109995854A publication Critical patent/CN109995854A/zh
Application granted granted Critical
Publication of CN109995854B publication Critical patent/CN109995854B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例涉及负载均衡技术领域，公开了一种调度方法、装置、电子设备和存储介质。该方法包括：将外部数据源中的第一调度数据加载至内存中的第一缓冲区；将第一缓冲区中的第一调度数据转换成预设数据格式后存储在内存的第二缓冲区；根据第二缓冲区中的第一调度数据以及实时获取的第二调度数据得到服务器部署更新信息；将服务器部署更新信息更新至内存的第三缓冲区；将第三缓冲区中的服务器部署更新信息推送至部署平台，并增量同步至外部数据源、第一缓冲区以及第二缓冲区。本发明实施方式能够进一步提高调度效率以及系统的稳定性。

Description

调度方法、装置、电子设备和存储介质
技术领域
本发明涉及负载均衡技术领域，特别涉及一种调度方法、装置、电子设备和存储介质。
背景技术
CDN(Content Delivery Network，内容分发网络)加速服务在对带宽需求较大的场景中扮演着重要角色，随着视频、直播等大流量业务的快速兴起，CDN网络的规模变得十分庞大。由于CDN服务节点部署在世界的各个角落，因此，如何高效地协调好服务节点的负载情况，是保障CDN服务质量的关键。
发明人发现相关技术至少存在以下问题：据统计，CDN调度系统在一个调度周期内，由于参与调度的集群数量庞大，耗时主要集中在数据加载、数据遍历、数据更新等环节，严重影响CDN调度效率。此外，现有系统在处理大数据量时，频繁地从存储介质上读写大量数据，也会影响系统的稳定性。
发明内容
本发明实施方式的目的在于提供一种调度方法、装置、电子设备和存储介质，通过利用牺牲内存的折中方法对调度数据的读取以及更新环节进行优化，以进一步提高调度效率以及系统的稳定性。
为解决上述技术问题，本发明的实施方式提供了一种调度方法，包括：
将外部数据源中的第一调度数据加载至内存中的第一缓冲区；
将所述第一缓冲区中的第一调度数据转换成预设数据格式后存储在所述内存的第二缓冲区；
根据所述第二缓冲区中的第一调度数据以及实时获取的第二调度数据得到服务器部署更新信息；
将所述服务器部署更新信息更新至所述内存的第三缓冲区；
将所述第三缓冲区中的服务器部署更新信息推送至部署平台，并增量同步至所述外部数据源、所述第一缓冲区以及所述第二缓冲区。
本发明的实施方式还提供了一种调度装置，包括：
加载模块，用于将外部数据源中的第一调度数据加载至内存中的第一缓冲区；
数据转换模块，用于将所述第一缓冲区中的第一调度数据转换成预设数据格式后存储在所述内存的第二缓冲区；
计算模块，用于根据所述第二缓冲区中的第一调度数据以及实时获取的第二调度数据得到服务器部署更新信息；
更新模块，用于将所述服务器部署更新信息更新至所述内存的第三缓冲区；
推送模块，用于将所述第三缓冲区中的服务器部署更新信息推送至部署平台；
增量同步模块，用于将所述第三缓冲区中的服务器部署更新信息增量同步至所述外部数据源、所述第一缓冲区以及所述第二缓冲区。
本发明的实施方式还提供了一种电子设备，包括：存储器和处理器，存储器存储计算机程序，处理器运行所述计算机程序：
将外部数据源中的第一调度数据加载至内存中的第一缓冲区；
将所述第一缓冲区中的第一调度数据转换成预设数据格式后存储在所述内存的第二缓冲区；
根据所述第二缓冲区中的第一调度数据以及实时获取的第二调度数据得到服务器部署更新信息；
将所述服务器部署更新信息更新至所述内存的第三缓冲区；
将所述第三缓冲区中的服务器部署更新信息推送至部署平台，并增量同步至所述外部数据源、所述第一缓冲区以及所述第二缓冲区。
本发明的实施方式还提供了一种存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行如前所述的调度方法。
本发明实施方式相对于现有技术而言，采用三级缓存机制，通过加载第一调度数据(即源数据)到内存中的第一缓冲区中，然后将第一缓冲区中的第一调度数据转换成预设数据格式后存放在第二缓冲区，并根据第二缓冲区中的第一调度数据以及实时获取的第二调度数据得到服务器部署更新信息，并在内存中开辟出第三缓冲区存储该服务器部署更新信息，在将第三缓冲区中的服务器部署更新信息推送至部署平台以实现服务器调度的同时，还将第三缓冲区中的服务器部署更新信息增量同步至外部数据源、第一缓冲区以及第二缓冲区，使各级缓存数据保持同步，从而在后续的调度过程可在内存中通过增量数据更新的方式实现CDN调度，有利于提高调度效率以及调度系统的稳定性。
作为一个实施例，所述第一缓冲区中的第一调度数据包括多个数据表，所述预设数据格式为按照各数据表之间的关联属性确定的键值格式。
作为一个实施例，将所述第三缓冲区中的服务器部署更新信息增量同步至所述外部数据源、所述第一缓冲区以及所述第二缓冲区，具体包括：
根据所述键值格式中的键属性将所述第三缓冲区中的服务器部署更新信息增量同步至所述外部数据源、所述第一缓冲区以及所述第二缓冲区。
作为一个实施例，所述将外部数据源中的第一调度数据加载至内存中的第一缓冲区，具体包括：
获取过滤规则；
根据所述过滤规则对外部数据源中的第一调度数据进行过滤，将过滤后的第一调度数据加载至所述第一缓冲区。
作为一个实施例，所述根据所述第二缓冲区中的第一调度数据以及实时获取的第二调度数据得到服务器部署更新信息，具体包括：
根据所述第二缓冲区中的第一调度数据以及实时获取的第二调度数据确定待调度的服务器是否满足预设服务条件，若不满足所述预设服务条件，则对不满足所述预设服务条件的服务器添加更新标记，将带有所述更新标记的服务器信息作为所述服务器部署更新信息。
作为一个实施例，还包括：将外部数据源中的第一调度数据增量同步更新至内存中的缓冲区。
附图说明
图1是根据本发明第一实施方式的调度方法的流程图；
图2是根据本发明第二实施方式的调度方法的流程图；
图3是根据本发明第三实施方式的调度装置的结构示意图；
图4是根据本发明第四实施方式电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本发明而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本发明所要求保护的技术方案。
本发明的第一实施方式涉及一种调度方法，可应用于CDN调度系统，然不限于此。请参阅图1，本实施方式的调度方法包括步骤101至步骤105。
步骤101：将外部数据源中的第一调度数据加载至内存中的第一缓冲区。
第一调度数据用于表示待调度的CDN系统服务器的各项参数指标。第一调度数据例如包括：DNS系统、二级域名、区域、集群、IP地址等信息。经过数据建模后，前述信息可以存储于数据库的各张不同的数据表中，即外部数据源中的第一调度数据包括多个数据表。第一缓冲区中第一调度数据可以理解为外部数据源中的数据在内存中的一份拷贝。外部数据源可以是数据库、或者具有指定格式的文件存储，亦或是数据库与文件存储构成的混合存储方式。
在预设的全量加载情况下，将外部数据源中的调度数据全量加载至内存的第一缓冲区中，之后根据调度情况执行增量加载，增量同步。一般的全量加载情况比如是首次启动、版本更新等。其中，增量加载以及增量同步是指预先记录数据源中的增删改等的增量数据，在需要加载或者同步时，将增量数据加载或同步至目标存储区域。
步骤102：将第一缓冲区中的第一调度数据转换成预设数据格式后存储在内存的第二缓冲区。
其中，第一调度数据是直接从外部数据源中按表格数据形式加载过来的，而表格数据组织形式不便于调度程序的使用，因此，步骤102将第一缓冲区中的第一调度数据转换成预设数据格式后存储在内存的第二缓冲区，这样调度程序可方便地从第二缓冲区调用数据。本实施方式中该预设数据格式可以为按照各数据表之间的关联属性确定的键值(即Key-Value)格式，包括由多个键值格式组合成的数据结构，然不限于此。
其中，在进行键值格式的转换时第一缓冲区中的第一调度数据需要满足一定的条件。具体地，第一调度数据的格式可以类似设计如下：
dns系统信息表：{x,x1,x2,x3,x4}
dnsmap(二级域名)信息表:{y,y1,y2,y3,y4}
view(区域)信息表:{z,z1,z2,z3,z4}
cluster(集群)信息表：{m,n,m1,m2,m3,m4,m5}
ip信息表：{n,n1,n2,n3,n4,n5}
原始覆盖表：{x,y,z,m}
最终覆盖表：{x,y,z,m,n}
其中，上述带数字的字段表示非主键字段，仅为表示方便。
对于上述各表，假设存在数集
Figure BDA0001996306520000051
R表示为目标系统允许的数值范围，存在一种映射f：D→R,存在x∈D，总有唯一确定的一数据行y与之对应，这个数据表的集合我们可以用Rf或(D)表示，即Rf＝(D)＝{y|y＝f(x),x∈D}。按照上述关系设计的第一调度数据中的各数据表，即可使得第一调度数据中的各数据表转换成对应的键值格式。
具体地，通过对第一调度数据中的各个数据表的关键属性、关联属性进行梳理，以主键为索引，将第一调度数据组织成key-value格式，并存储在第二缓冲区，以便调度程序调用。
其中，第一调度数据中最终覆盖数据可以如下表：
Dns系统 二级域名 区域 集群(组) IP地址 其他
51 1000005 69 10001 59.49.42.253 ...
51 1000005 88 10002 115.231.22.80 ...
51 1000006 69 10001 59.49.42.253 ...
51 1000006 88 10004 123.161.57.38 ...
其中，整合后第二缓冲区的数据格式有如下特性；
比如，通过上述的基础数据表，可构建出如下关系：
采用集合列举法表示如下：
根据组m可以查到服务的{(y,z)}集合，
如上述表格所示：集群10001可以查到服务的集合为{(10000005,69)，(10000006,69)}，下文同理；
根据组m可以查到服务的{(x,y,z)}集合；
根据组m可以查到组下的{n}集合；
根据n可以查到服务的{(y,z)}集合；
根据n可以查到服务的{(x,y,z)}集合；
根据(y,z)可以查到覆盖下所有的{(m)}集合；
根据(x,y,z)可以查到覆盖下所有的{(m)}集合；
根据(y,z)可以查到覆盖下所有的{(n)}集合；
根据(x,y,z)可以查到覆盖下所有的{(n)}集合；
等等；
步骤103：根据第二缓冲区中的第一调度数据以及实时获取的第二调度数据得到服务器部署更新信息。
第二调度数据为CDN监控子系统发送过来的的实时动态调度数据，第二调度数据包括：CDN系统服务集群中各个维度的实时带宽、峰值带宽以及健康值等等，但不应以此为限。第二调度数据一般的，先从外部接口获取，然后临时存储在redis的缓存数据库中，调度系统使用时再从缓存数据库中获取。
其中，上述提到的各个维度，可以包括(y,z)粒度,(y)粒度,(m)粒度的实时、峰值带宽等。
其中，比如(y,z)粒度的数据格式可以如下：
实时数据头 二级域名(y) 区域(z) 实时带宽 峰值带宽
RD_DNSMAP_VIEW_EDGE 1000005 69 188 388
RD_DNSMAP_VIEW_EDGE 1000006 88 288 488
RD_DNSMAP_VIEW_EDGE 1000007 99 788 999
上述格式数据，拼装成字符串，存储在redis缓存数据库中，提供给调度系统计算模块使用。
步骤103具体包括：根据第二缓冲区中的第一调度数据以及实时获取的第二调度数据确定待调度的服务器是否满足预设服务条件，若不满足预设服务条件，则对不满足预设服务条件的服务器添加更新标记，将带有更新标记的服务器信息作为服务器部署更新信息的一部分。其中，预设服务条件用于反映服务器的服务能力，例如服务器目前的带宽承载能力、健康指数、故障情况等。若服务器带宽承载能力不足、故障或者服务器健康指数不达标，则可确定该服务器不符合预设服务条件。并将不符合预设服务条件的服务器打上更新标记，然后在CDN服务集群各层级中挑选替换服务节点，然后将带有更新标记的服务器信息及其替换服务节点等的服务器部署更新信息推送给部署平台、并同步更新外部数据源、第一缓冲区和第二缓冲区。
步骤104：将服务器部署更新信息更新至内存的第三缓冲区。
步骤105：将第三缓冲区中的服务器部署更新信息推送至部署平台，并增量同步至外部数据源、第一缓冲区以及第二缓冲区。
例如将第三缓冲区中的服务器部署更新信息推送至CDN部署平台，以便更新CDN加速服务系统。具体地，可以将打上删除标记的CDN服务器从CDN加速服务系统中删除，对打上替换标记的CDN加速服务器进行替换。
在增量同步服务器部署更新信息至外部数据源、第一缓冲区以及第二缓冲区时，可以先将第三缓冲区中的服务器部署更新信息增量同步至外部数据源，再将同步后的外部数据源的第一调度数据增量同步至第一缓冲区，将增量同步后的第一缓冲区的第一调度数据增量同步至第二缓冲区。
在实际应用中，还可以将外部数据源中的第一调度数据增量同步更新至内存中的各缓冲区，从而保证第一、第二缓冲区中的数据与外部数据源中的数据一致。
本实施方式相对于现有技术而言，通过将加载于内存中的第一缓冲区中的第一调度数据转换成键值格式后存放在内存的第二缓冲区，并根据第二缓冲区中键值格式的第一调度数据以及实时获取的第二调度数据得到服务器部署更新信息，并在内存中开辟出第三缓冲区存储该服务器部署更新信息，在将第三缓冲区中的服务器部署更新信息推送至部署平台以实现CDN服务器调度的同时，还将第三缓冲区中的服务器部署更新信息增量同步至外部数据源以及第一缓冲区和第二缓冲区，从而以利用空间换取时间的方式在内存中通过增量数据更新的方式实现调度数据增量加载，避免不必要的大数据量操作，有利于提高调度效率以及调度系统的稳定性。
本发明的第二实施方式涉及一种调度方法，请参阅图2，该方法包括步骤201至步骤206。
步骤201：获取过滤规则。
步骤202：根据过滤规则对外部数据源中的第一调度数据进行过滤，将过滤后的第一调度数据加载至第一缓冲区。
过滤规则例如用于剔除非受控资源，因此使得加载至源加载区中的第一调度数据均为受控资源，避免加载无效数据。
步骤203：将第一缓冲区中的第一调度数据转换成预设数据格式后存储在内存的第二缓冲区。
步骤204：根据第二缓冲区中的第一调度数据以及实时获取的第二调度数据得到服务器部署更新信息。
步骤205：将服务器部署更新信息更新至内存的第三缓冲区。
步骤206：将第三缓冲区中的服务器部署更新信息推送至部署平台，并增量同步至外部数据源、第一缓冲区以及第二缓冲区。
步骤203～步骤206可参考第一实施方式中的步骤102～步骤105，此处不再赘述。
本实施方式相对于现有技术而言，通过将加载于内存中的第一缓冲区中的第一调度数据转换成键值格式后存放在内存的第二缓冲区，并根据第二缓冲区中键值格式的第一调度数据以及实时获取的第二调度数据得到服务器部署更新信息，并在内存中开辟出第三缓冲区存储该服务器部署更新信息，在将第三缓冲区中的服务器部署更新信息推送至部署平台以实现CDN服务器调度的同时，还将第三缓冲区中的服务器部署更新信息增量同步至外部数据源以及第一缓冲区和第二缓冲区，从而以利用空间换取时间的方式在内存中通过增量数据更新的方式实现调度数据增量加载，避免不必要的大数据量操作，有利于提高调度效率以及调度系统的稳定性。并且，在将外部数据源中的第一调度数据加载至内存的第一缓冲区之前，对其进行过滤，从而可避免无效数据的加载。
本发明的第三实施方式涉及一种调度装置，请参阅图3，该调度装置300包括：
加载模块301，用于将外部数据源中的第一调度数据加载至内存中的第一缓冲区；
数据转换模块302，用于将第一缓冲区中的第一调度数据转换成预设数据格式后存储在内存的第二缓冲区；
计算模块303，用于根据第二缓冲区中的第一调度数据以及实时获取的第二调度数据得到服务器部署更新信息；
更新模块304，用于将服务器部署更新信息更新至内存的第三缓冲区；
推送模块305，用于将第三缓冲区中的服务器部署更新信息推送至部署平台，
增量同步模块306，用于将第三缓冲区中的服务器部署更新信息增量同步至外部数据源、第一缓冲区以及第二缓冲区。
加载模块301具体用于获取过滤规则，根据过滤规则对外部数据源中的第一调度数据进行过滤，将过滤后的第一调度数据加载至第一缓冲区。加载模块301还可以用于将外部数据源中的第一调度数据增量同步更新至内存中的缓冲区。
在一个例子中，第一缓冲区中的第一调度数据包括多个数据表，预设数据格式可以为按照各数据表之间的关联属性确定的键值格式。
计算模块303具体用于根据第二缓冲区中的第一调度数据以及实时获取的第二调度数据得到服务器部署更新信息。具体地，计算模块303具体用于：根据第二缓冲区中的第一调度数据以及实时获取的第二调度数据确定待调度的服务器是否满足预设服务条件，若不满足预设服务条件，则对不满足预设服务条件的服务器添加更新标记，将带有更新标记的服务器信息作为服务器部署更新信息。
可选地，增量同步模块306具体用于根据键值格式中的键属性将第三缓冲区中的服务器部署更新信息增量同步至外部数据源、第一缓冲区以及第二缓冲区。
本实施方式的调度装置，通过将加载于内存中的第一缓冲区中的第一调度数据转换成键值格式后存放在内存的第二缓冲区，并根据第二缓冲区中键值格式的第一调度数据以及实时获取的第二调度数据得到服务器部署更新信息，并在内存中开辟出第三缓冲区存储该服务器部署更新信息，在将第三缓冲区中的服务器部署更新信息推送至部署平台以实现CDN服务器调度的同时，还将第三缓冲区中的服务器部署更新信息增量同步至外部数据源以及第一缓冲区和第二缓冲区，从而以利用空间换取时间的方式在内存中通过增量数据更新的方式实现调度数据增量加载，避免不必要的大数据量操作，有利于提高调度效率以及调度系统的稳定性。并且，在将外部数据源中的第一调度数据加载至内存的第一缓冲区之前，对其进行过滤，从而可避免无效数据的加载。
本发明的第四实施方式涉及一种电子设备。本实施方式的电子设备可以是独立的服务器，也可以是服务器群。如图4所示，该电子设备包括：存储器402和处理器401；
其中，所述存储器402存储有可被所述至少一个处理器401执行的指令，所述指令被所述至少一个处理器401执行以实现：将外部数据源中的第一调度数据加载至内存中的第一缓冲区；将所述第一缓冲区中的第一调度数据转换成预设数据格式后存储在所述内存的第二缓冲区；根据所述第二缓冲区中的第一调度数据以及实时获取的第二调度数据得到服务器部署更新信息；将所述服务器部署更新信息更新至所述内存的第三缓冲区；将所述第三缓冲区中的服务器部署更新信息推送至部署平台，并增量同步至所述外部数据源、所述第一缓冲区以及所述第二缓冲区。
一个或多个处理器401以及存储器402，图4中以一个处理器401为例。处理器401、存储器402可以通过总线或者其他方式连接，图4中以通过总线连接为例。存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述调度方法。
存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器402中，当被一个或者多个处理器401执行时，执行上述任意方法实施方式中的调度方法。
上述设备可执行本发明实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本发明实施方式所提供的方法。
本实施方式通过将加载于内存中的第一缓冲区中的第一调度数据转换成键值格式后存放在内存的第二缓冲区，并根据第二缓冲区中键值格式的第一调度数据以及实时获取的第二调度数据得到服务器部署更新信息，并在内存中开辟出第三缓冲区存储该服务器部署更新信息，在将第三缓冲区中的服务器部署更新信息推送至部署平台以实现CDN服务器调度的同时，还将第三缓冲区中的服务器部署更新信息增量同步至外部数据源以及第一缓冲区和第二缓冲区，从而以利用空间换取时间的方式在内存中通过增量数据更新的方式实现调度数据增量加载，避免不必要的大数据量操作，有利于提高调度效率以及调度系统的稳定性。并且，在将外部数据源中的第一调度数据加载至内存的第一缓冲区之前，对其进行过滤，从而可避免无效数据的加载。
本发明的第五实施方式涉及一种非易失性存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行上述部分或全部的方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种调度方法，其特征在于，包括：
将外部数据源中的第一调度数据加载至内存中的第一缓冲区，其中，所述第一调度数据用于表示待调度的CDN系统服务器的各项参数指标；
将所述第一缓冲区中的第一调度数据转换成预设数据格式后存储在所述内存的第二缓冲区；
根据所述第二缓冲区中的第一调度数据以及实时获取的第二调度数据得到服务器部署更新信息，其中，所述第二调度数据为CDN监控子系统发送过来的实时动态调度数据，所述CDN监控子系统用于监控所述CDN系统服务器；
将所述服务器部署更新信息更新至所述内存的第三缓冲区；
将所述第三缓冲区中的服务器部署更新信息推送至部署平台，并增量同步至所述外部数据源、所述第一缓冲区以及所述第二缓冲区。
2.根据权利要求1所述的调度方法，其特征在于，所述第一缓冲区中的第一调度数据包括多个数据表，所述预设数据格式为按照各数据表之间的关联属性确定的键值格式。
3.根据权利要求2所述的调度方法，其特征在于，将所述第三缓冲区中的服务器部署更新信息增量同步至所述外部数据源、所述第一缓冲区以及所述第二缓冲区，具体包括：
根据所述键值格式中的键属性将所述第三缓冲区中的服务器部署更新信息增量同步至所述外部数据源、所述第一缓冲区以及所述第二缓冲区。
4.根据权利要求1所述的调度方法，其特征在于，所述将外部数据源中的第一调度数据加载至内存中的第一缓冲区，具体包括：
获取过滤规则；
根据所述过滤规则对外部数据源中的第一调度数据进行过滤，将过滤后的第一调度数据加载至所述第一缓冲区。
5.根据权利要求1所述的调度方法，其特征在于，所述根据所述第二缓冲区中的第一调度数据以及实时获取的第二调度数据得到服务器部署更新信息，具体包括：
根据所述第二缓冲区中的第一调度数据以及实时获取的第二调度数据确定待调度的服务器是否满足预设服务条件，若不满足所述预设服务条件，则对不满足所述预设服务条件的服务器添加更新标记，将带有所述更新标记的服务器信息作为所述服务器部署更新信息。
6.根据权利要求1至5中任一项所述的调度方法，其特征在于，还包括：
将外部数据源中的第一调度数据增量同步更新至内存中的缓冲区。
7.一种调度装置，其特征在于，包括：
加载模块，用于将外部数据源中的第一调度数据加载至内存中的第一缓冲区，其中，所述第一调度数据用于表示待调度的CDN系统服务器的各项参数指标；
数据转换模块，用于将所述第一缓冲区中的第一调度数据转换成预设数据格式后存储在所述内存的第二缓冲区；
计算模块，用于根据所述第二缓冲区中的第一调度数据以及实时获取的第二调度数据得到服务器部署更新信息，其中，所述第二调度数据为CDN监控子系统发送过来的实时动态调度数据，所述CDN监控子系统用于监控所述CDN系统服务器；
更新模块，用于将所述服务器部署更新信息更新至所述内存的第三缓冲区；
推送模块，用于将所述第三缓冲区中的服务器部署更新信息推送至部署平台；
增量同步模块，用于将所述第三缓冲区中的服务器部署更新信息增量同步至所述外部数据源、所述第一缓冲区以及所述第二缓冲区。
8.一种电子设备，其特征在于，包括：存储器和处理器，存储器存储计算机程序，处理器运行所述计算机程序以实现：
将外部数据源中的第一调度数据加载至内存中的第一缓冲区，其中，所述第一调度数据用于表示待调度的CDN系统服务器的各项参数指标；
将所述第一缓冲区中的第一调度数据转换成预设数据格式后存储在所述内存的第二缓冲区；
根据所述第二缓冲区中的第一调度数据以及实时获取的第二调度数据得到服务器部署更新信息，其中，所述第二调度数据为CDN监控子系统发送过来的实时动态调度数据，所述CDN监控子系统用于监控所述CDN系统服务器；
将所述服务器部署更新信息更新至所述内存的第三缓冲区；
将所述第三缓冲区中的服务器部署更新信息推送至部署平台，并增量同步至所述外部数据源、所述第一缓冲区以及所述第二缓冲区。
9.根据权利要求8所述的电子设备，其特征在于，所述处理器还用于执行如权利要求2至6中任一项所述的调度方法。
10.一种存储介质，其特征在于，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行如权利要求1至6中任一项所述的调度方法。
CN201910197580.0A 2019-03-15 2019-03-15 调度方法、装置、电子设备和存储介质 Expired - Fee Related CN109995854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910197580.0A CN109995854B (zh) 2019-03-15 2019-03-15 调度方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910197580.0A CN109995854B (zh) 2019-03-15 2019-03-15 调度方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN109995854A CN109995854A (zh) 2019-07-09
CN109995854B true CN109995854B (zh) 2022-02-25

Family

ID=67129680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910197580.0A Expired - Fee Related CN109995854B (zh) 2019-03-15 2019-03-15 调度方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN109995854B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111736796A (zh) * 2020-05-15 2020-10-02 深圳市战音科技有限公司 实时流数据处理方法、装置、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104516989A (zh) * 2015-01-26 2015-04-15 北京京东尚科信息技术有限公司 增量数据推送系统和方法
CN107135265A (zh) * 2017-05-17 2017-09-05 郑州云海信息技术有限公司 基于云海os系统的二级存储缓冲区数据管理方法及装置
CN107748752A (zh) * 2017-09-05 2018-03-02 新智云数据服务有限公司 一种数据处理方法及装置
CN109309672A (zh) * 2018-09-17 2019-02-05 南京海兴电网技术有限公司 一种基于Web的空间数据实时推送多任务调度方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180367644A1 (en) * 2017-06-16 2018-12-20 Gary Howard Mckay High availability solution for file sharing involving a client and multiple servers

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104516989A (zh) * 2015-01-26 2015-04-15 北京京东尚科信息技术有限公司 增量数据推送系统和方法
CN107135265A (zh) * 2017-05-17 2017-09-05 郑州云海信息技术有限公司 基于云海os系统的二级存储缓冲区数据管理方法及装置
CN107748752A (zh) * 2017-09-05 2018-03-02 新智云数据服务有限公司 一种数据处理方法及装置
CN109309672A (zh) * 2018-09-17 2019-02-05 南京海兴电网技术有限公司 一种基于Web的空间数据实时推送多任务调度方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"IEEE Draft Standard for local and metropolitan area networks Part 16: Air Interface for Broadband Wireless Access Systems";IEEE;《AIR INTERFACE FOR BROADBAND WIRELESS ACCESS SYSTEMS》;20121231;全文 *
"数据仓库增量数据抽取在保险行业的应用";杨亚刚;《中国优秀硕士学位论文全文数据库信息科技辑》;20111215;I138-933 *

Also Published As

Publication number Publication date
CN109995854A (zh) 2019-07-09

Similar Documents

Publication Publication Date Title
US20160026699A1 (en) Method for Synchronization of UGC Master and Backup and System Thereof, and Computer Storage Medium
WO2017107414A1 (zh) 文件操作方法和装置
EP3575968A1 (en) Method and device for synchronizing active transaction lists
CN106599104A (zh) 一种基于redis集群的海量数据关联方法
CN104967658A (zh) 一种多终端设备上的数据同步方法
CN104601736A (zh) 一种短url服务的实现方法及装置
US20170060922A1 (en) Method and device for data search
WO2016095149A1 (zh) 一种数据压缩存储方法、装置，及分布式文件系统
CN113111038B (zh) 文件存储方法、装置、服务器及存储介质
US10241963B2 (en) Hash-based synchronization of geospatial vector features
US20140244592A1 (en) Systems and methods for data archival
CN109885577A (zh) 数据处理方法、装置、终端及存储介质
US10298656B2 (en) Extending representational state transfer application program interface (REST API) functionality
CN110830580A (zh) 一种存储数据同步方法及装置
CN101727503A (zh) 一种创建磁盘文件系统的方法
CN109995854B (zh) 调度方法、装置、电子设备和存储介质
US11886225B2 (en) Message processing method and apparatus in distributed system
CN112328592A (zh) 数据存储方法、电子设备及计算机可读存储介质
CN104063377A (zh) 信息处理方法和使用其的电子设备
CN111506682B (zh) 地图数据处理方法、数据查询方法、装置、电子设备
CN107786661B (zh) 信息同步方法
CN103312743A (zh) 一种数据同步装置和方法
CN114756385A (zh) 一种深度学习场景下的弹性分布式训练方法
CN107332679B (zh) 一种无中心信息同步方法及装置
CN108958926B (zh) 一种基于达尔文流媒体服务器的虚拟内存池设计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220225