CN108449394A - 一种数据文件的调度方法、调度服务器及存储介质 - Google Patents
一种数据文件的调度方法、调度服务器及存储介质 Download PDFInfo
- Publication number
- CN108449394A CN108449394A CN201810178914.5A CN201810178914A CN108449394A CN 108449394 A CN108449394 A CN 108449394A CN 201810178914 A CN201810178914 A CN 201810178914A CN 108449394 A CN108449394 A CN 108449394A
- Authority
- CN
- China
- Prior art keywords
- service server
- data
- server
- disk space
- business datum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/61—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/101—Server selection for load balancing based on network conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1012—Server selection for load balancing based on compliance of requirements or conditions with available server resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明提供了数据文件的调度方法、调度服务器及存储介质和计算机设备。所述方法包括：采集各个业务服务器的业务数据和运行状态数据，所述业务数据包括语音数据、视频数据以及视频描述数据，所述运行状态数据包括所述各个业务服务器的总磁盘空间、剩余磁盘空间、网络带宽、网络传输速度以及磁盘传输进度信息；根据所述业务数据和运行状态数据，确定每一业务服务器的负载和优先级，根据所述各个业务服务器的负载和优先级进行数据文件的调度。本申请实现了智能调度，减少了人工干预，提高了传输效率；本申请中涉及的所有参数均可以根据实际情况灵活设置，最大程度的满足了不同业务的不同需求。
Description
技术领域
本发明涉及计算机数据处理领域，尤其涉及一种数据文件的调度方法、调度服务器及存储介质和计算机设备。
背景技术
目前，很多政府机关和事业单位的视频文件需要集中上传并存储。例如，每个法院在庭审过程中都必须进行录音录像；但由于每个法院服务器的存储空间大小不一，存储空间满了之后该如何备份和处理的方式和方法上也不统一，一般情况下，法院会采取以省为中心进行集中存储的方案；以省为中心，建设私有云，各个法院的庭审视频都统一集中备份到省院的私有云里，这样存储空间的维护、管理等，都可以集中起来管理，各个法院只需要保留基本的存储空间来保证每日的庭审即可；这种方式看似很好，但问题是全省法院每天产生大量的音视频文件，这么多的音视频文件要如何集中起来，调度的顺序，调度的时机都会是问题。
由于音视频文件大的特点，如果所有法院都集中在晚上的空闲时间段统一往省院云存储中存储，很容易造成网络的拥塞，导致网络上的传输性能急剧下降，传输效率降低，严重时甚至会导致“拥塞崩溃”，造成整个网络瘫痪；如果让所有法院分时间段来传输，受限于每个法院出口网络带宽的大小不同，而云存储的入口网络带宽一般情况下都比较大的现实，如果一个一个法院来传输，则大量闲置的带宽资源会出现浪费，带来的影响有可能导致视频文件无法及时备份，随着时间的推移，堆积下来没有备份的视频文件越来越多，集中存储的使用效果将大打折扣；如果固定让按某几个法院为一组来同时传输，这样增加了不少人工配对的工作量不说，一旦其中某个法院的因素发生了变化，又需要人工来干预重新匹配，增加了复杂度和带来不少麻烦，当没来得及人工干预时，效果不好甚至还有可能带来前面两种方案碰到的问题。
因此，即使采用集中存储的方案，处理不当，要么可能造成“网络拥塞”、“拥塞崩溃”等严重影响法院网络安全的问题，要么因为传输效率低备份不及时，导致没有备份的视频文件越积越多，集中存储的使用效果大大降低。
应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
本发明提出一种数据文件的调度方法、调度服务器及存储介质和计算机设备，以解决现有的文件调度不够智能，且容易出现“网络拥塞”、“拥塞崩溃”的问题。
为了达到上述目的，本发明实施例提供一种数据文件的调度方法，包括：采集各个业务服务器的业务数据和运行状态数据，所述业务数据包括语音数据、视频数据以及视频描述数据，所述运行状态数据包括所述各个业务服务器的总磁盘空间、剩余磁盘空间、网络带宽、网络传输速度以及磁盘传输进度信息；根据所述业务数据和运行状态数据，确定每一业务服务器的负载和优先级，根据所述各个业务服务器的负载和优先级进行数据文件的调度。
为了达到上述目的，本发明实施例还提供一种调度服务器，包括：数据采集模块，用于采集各个业务服务器的业务数据和运行状态数据，所述业务数据包括语音数据、视频数据以及视频描述数据，所述运行状态数据包括所述各个业务服务器的总磁盘空间、剩余磁盘空间、网络带宽、网络传输速度以及磁盘传输进度信息；控制调度模块，用于根据所述业务数据和运行状态数据，确定每一业务服务器的负载和优先级，根据所述各个业务服务器的负载和优先级进行数据文件的调度。
为了达到上述目的，本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明的数据文件的调度方法步骤。
为了达到上述目的，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明的数据文件的调度方法步骤。
本申请提出的数据文件的调度方法、调度服务器以及存储介质和计算机设备，利用管理节点这个大脑的智能调度能力、传输节点的高效传输文件的能力和强大可扩充的存储能力，三者之间高效配合，充分、合理、高效地利用好现有网络资源的情况下，并没有给现有的网络和办公环境带来任何影响。并且，利用自动计算出的优先级对每一服务器的数据传输时间进行排序，实现了智能调度，减少了人工干预，提高了传输效率；本申请中涉及的所有参数均可以根据实际情况灵活设置，最大程度的满足了不同业务的不同需求。
参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。
针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请的数据文件的调度方法的处理流程图；
图2为本申请实施例的步骤S102的处理流程图；
图3示出了本申请的一种调度服务器的结构示意图；
图4为本申请实施例的数据采集模块101的结构示意图；
图5为本申请实施例的控制调度模块102的结构示意图；
图6为本申请另一实施例的调度服务器的结构示意图；
图7为本申请一具体实施例的数据文件的调度系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本领域技术技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
本发明提出的数据文件的调度方法及调度服务器，公开一种智能存储调度的算法和集中存储的方式，旨在解决一些分散部门的数据文件(包括语音文件、视频文件)高效、智能地进行集中存储的问题；以便减少一些部门因为资金、技术、管理等客观原因造成的数据文件无法录制或者发生丢失等问题的发生，以及由每个部门单独维护存储设备所带来的管理成本、可持续性等问题。
数据文件：包括语音数据文件、视频数据文件和其他类型的数据文件。
图1示出了本申请的数据文件的调度方法的处理流程图。如图所示，其包括：
步骤S101，采集各个业务服务器的业务数据和运行状态数据，所述业务数据包括语音数据、视频数据以及视频描述数据，所述运行状态数据包括所述各个业务服务器的总磁盘空间、剩余磁盘空间、网络带宽、网络传输速度以及磁盘传输进度信息；
步骤S102，根据所述业务数据和运行状态数据，确定每一业务服务器的负载和优先级，根据所述各个业务服务器的负载和优先级进行数据文件的调度。
在本申请的一种实施方式中，业务服务器可以理解为政府部门的各个下属部门的服务器，例如，对于法院来说，业务服务器为各个县级或市级法院的服务器，需要将各个地方法院的服务器的业务数据上传至以省为中心的服务器中进行集中存储。数据文件包括语音数据文件、视频数据文件、图片文件、word文件和其他各种类型的数据文件。
在本申请的步骤S101中，采集各个业务服务器的业务数据和运行状态数据，具体包括：
通过对接的方式(HTTP/JSON格式)，从所述各个业务服务器获取业务数据；以及通过简单网络管理协议(SNMP)与所述各个业务服务器通信，获取所述各个业务服务器的运行状态数据。并将业务数据和运行状态数据进行存储。
在本申请的步骤S102中，如图2所示，根据所述业务数据和运行状态数据，确定每一业务服务器的优先级，具体包括以下步骤：
步骤S1021，根据所述业务服务器的磁盘空间和剩余磁盘空间，计算所述业务服务器的空间剩余率；
步骤S1022，对所述剩余磁盘空间进行标准化处理，得到剩余磁盘空间的标准值；
步骤S1023，根据所述业务服务器的运行时间，得到所述业务服务器的故障发生率；
步骤S1024，根据所述业务服务器的空间剩余率及其设定权重、剩余磁盘空间的标准值及其设定权重、故障发生率及其设定权重、网络传输速度及其设定权重，确定每一所述业务服务器的传输优先级指数。
具体实施时，以法院服务器为例，假设有n个法院总共n台视频服务器，分别用C1-Cn表示；每台服务器的总磁盘空间S(Ci)，剩余磁盘空间L(Ci)，空间剩余率R(Ci)；服务器到云存储之间的网络速度W(Ci)；服务器发生故障的概率为M(Ci)，其中：
空间剩余率的计算公式为：R(Ci)＝L(Ci)/S(Ci)*100％；
剩余磁盘空间进行min-max标准化处理后得到剩余磁盘空间的标准值LS(Ci)，公式为：
LS(Ci)＝(L(Ci)-Lmin)/(Lmax-Lmin)；
其中，Lmin为所有L(Ci)的最小值，Lmax为所有L(Ci)的最大值。
服务器的故障率基于服务运行的历史数据计算得出一个初始值，后续每天都需要重新计算一次，计算公式如下：
M(Ci)＝1-服务器运行总小时数/服务器运行总天数*24*100％；
服务器到云存储之间的网络速度进行min-max标准化处理后得到网络速度的标准值WS(Ci)，公式为：
WS(Ci)＝(W(Ci)–Wmin)/(Wmax-Wmin)；
其中，Wmin为所有W(Ci)的最小值，Wmax为所有W(Ci)的最大值。
给上述每个因素赋予不同的权重即可得到每台视频服务器的传输优先级指数PI(Ci)，即：
PI(Ci)＝(1-R(Ci)*W(L))+(1-LS(Ci)*W(L))+(1-M(Ci)*W(M))+(1-WS(Ci)*W(W))；
其中，W(L)为服务器的空间剩余率和剩余磁盘空间的权重，W(M)为服务器故障发生概率的权重，W(W)为网络带宽的权重。
基于PI(Ci)值，就可以按照从大到小的顺序，合理安排每个视频服务器的调度视频传输的顺序。
另外，为了充分利用现有带宽资源，同时又不至于造成网络拥塞等问题，需要根据集中存储服务器的入口带宽BW(in)，正在执行传输任务的所有传输节点的出口带宽BW(Ci)，根据下列公式计算出剩余带宽BW(L)来控制传输任务的数量：
BW(L)＝BW(in)–ΣBW(Ci)；
当BW(L)大于设定的带宽阈值BW(std)时，则可以继续下发传输任务，否则，停止下发传输任务。
其中，对每一业务服务器的数据文件的调度，具体实施时，包括：
获取所述业务服务器的传输速度上限和未传输的视频文件列表；
根据指定的视频文件获取方式读取所述未传输的视频文件，并写入到存储服务器。
其中，视频文件的获取方式包括FTP、HTTP或其他方式。
应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本申请还公开一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的数据文件的调度方法步骤。
本申请还公开一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的数据文件的调度方法步骤。
在介绍了本发明示例性实施方式的方法之后，接下来，参考图3对本发明示例性实施方式的调度服务器进行介绍。该装置的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的术语“模块”和“单元”，可以是实现预定功能的软件和/或硬件。尽管以下实施例所描述的模块较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3示出了本申请的一种调度服务器的结构示意图。如图所示，包括：
数据采集模块101，用于采集各个业务服务器的业务数据和运行状态数据，所述业务数据包括语音数据、视频数据以及视频描述数据，所述运行状态数据包括所述各个业务服务器的总磁盘空间、剩余磁盘空间、网络带宽、网络传输速度以及磁盘传输进度信息；
控制调度模块102，用于根据所述业务数据和运行状态数据，确定每一业务服务器的负载和优先级，根据所述各个业务服务器的负载和优先级进行数据文件的调度。
在本申请的一种实施方式中，如图4所示，所述数据采集模块101用于采集各个业务服务器的业务数据和运行状态数据，其具体包括：
业务数据获取单元1011，用于通过对接的方式，从所述各个业务服务器获取业务数据；
运行状态数据获取单元1012，用于通过简单网络管理协议与所述各个业务服务器通信，获取所述各个业务服务器的运行状态数据。
在本申请的一种实施方式中，如图5所示，所述控制调度模块102包括：
优先级确定单元1021，用于根据所述业务数据和运行状态数据，确定每一业务服务器的优先级，其具体包括：
空间剩余率计算单元10211，用于根据所述业务服务器的磁盘空间和剩余磁盘空间，计算所述业务服务器的空间剩余率；
剩余磁盘空间的标准值计算单元10212，用于对所述剩余磁盘空间进行标准化处理，得到剩余磁盘空间的标准值；
故障发生率计算单元10213，用于根据所述业务服务器的运行时间，得到所述业务服务器的故障发生率；
优先级指数确定单元10214，用于根据所述业务服务器的空间剩余率及其设定权重、剩余磁盘空间的标准值及其设定权重、故障发生率及其设定权重、网络传输速度及其设定权重，确定每一所述业务服务器的传输优先级指数。
在本申请的一种实施方式中，如图5所示，所述控制调度模块102还包括数据文件调度单元1022，用于根据所述各个业务服务器的负载和优先级进行数据文件的调度，其具体包括：
按照所述传输优先级指数从大到小的顺序依次对对应的业务服务器进行数据文件的调度；
其中，对每一业务服务器的数据文件的调度，具体包括：
获取所述业务服务器的传输速度上限和未传输的视频文件列表；
根据指定的视频文件获取方式读取所述未传输的视频文件，并写入到存储服务器。
在本申请的一种实施方式中，如图6所示，本申请的调度服务器还包括：
带宽确定模块103，连接控制调度模块102，用于根据存储服务器的入口带宽和所有业务服务器的出口带宽，得到剩余带宽，当所述剩余带宽大于设定的带宽阈值时，继续下发传输指令，否则停止下发传输指令。
此外，尽管在上文详细描述中提及了调度服务器的若干单元，但是这种划分仅仅并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。同样，上文描述的一个单元的特征和功能也可以进一步划分为由多个单元来具体化。
以下以法院服务器为例，具体说明本发明的数据文件的调度方法。
如图7所示，本具体实施例的方案中包括了管理节点(MNode)、传输节点(Transfer)和集中存储空间(Storage)。各个节点和模块的功能及部署方式描述如下：
1.管理节点(MNode)，相当于前面提及的调度服务器，是整个系统的大脑和指挥调度中心，有两个主要的功能模块：信息采集模块和控制调度模块；其中，信息采集模块一方面通过对接的方式(HTTP/JSON格式)，从各个节点的业务系统获取必要的业务数据、视频服务器数据、视频描述数据等，另一方面通过SNMP与各个视频服务器通信，获取其运行状态数据，并将这些数据存储下来；控制调度模块则读取这些数据，然后计算各个节点的负载、优先级，从而指挥和调度指定的传输节点按照既定要求进行传输，使整个传输过程达到智能、高效、快速、准确传输的目的；管理节点只需要部署1个；
2.传输节点(Transfer)：是整个系统中传输任务的执行者，接收管理节点的指令，采用各个节点支持的方式(如：FTP/HTTP/其他方式)从视频服务器上读取指定位置的视频文件，上传到集中存储空间(Storage)中；在传输的过程中，传输节点还要不断将视频文件传输的进度信息反馈给管理节点；另外，为了防止传输过程中出现突然宕机等异常情况，而导致的重复传输，传输节点必须支持断点续传；传输节点根据需要可以部署1个或者多个，部署多个的目的是负责分担传输节点本身以及网络的压力。一种实施方式中，传输节点可以与各个业务服务器设置在一起。
3.存储空间(Storage)：是集中存放视频文件的地方，可以是磁盘阵列，也可以是私有云，存储空间可以根据需要随时扩充，可以认为是没有容量限制，集中部署在一个地方；
下面以一个省为单位来说明整个系统的调度算法和操作流程：
调度算法描述：
假设有n个法院总共n台视频服务器，分别用C1-Cn表示；每台服务器的总磁盘空间S(Ci)，剩余磁盘空间L(Ci)，空间剩余率R(Ci)；服务器到云存储之间的网络速度W(Ci)；服务器发生故障的概率为M(Ci)，其中：
空间剩余率的计算公式为：R(Ci)＝L(Ci)/S(Ci)*100％；
剩余磁盘空间进行min-max标准化处理后得到剩余磁盘空间的标准值LS(Ci)，公式为：
LS(Ci)＝(L(Ci)-Lmin)/(Lmax-Lmin)；
其中，Lmin为所有L(Ci)的最小值，Lmax为所有L(Ci)的最大值。
服务器的故障率基于服务运行的历史数据计算得出一个初始值，后续每天都需要重新计算一次，计算公式如下：
M(Ci)＝1-服务器运行总小时数/服务器运行总天数*24*100％；
服务器到云存储之间的网络速度进行min-max标准化处理后得到网络速度的标准值WS(Ci)，公式为：
WS(Ci)＝(W(Ci)–Wmin)/(Wmax-Wmin)；
其中，Wmin为所有W(Ci)的最小值，Wmax为所有W(Ci)的最大值。
给上述每个因素赋予不同的权重即可得到每台视频服务器的传输优先级指数PI(Ci)，即：
PI(Ci)＝(1-R(Ci)*W(L))+(1-LS(Ci)*W(L))+(1-M(Ci)*W(M))+(1-WS(Ci)*W(W))；
其中，W(L)为服务器的空间剩余率和剩余磁盘空间的权重，W(M)为服务器故障发生概率的权重，W(W)为网络带宽的权重。
基于PI(Ci)值，就可以按照从大到小的顺序，合理安排每个视频服务器的调度视频传输的顺序。
另外，为了充分利用现有带宽资源，同时又不至于造成网络拥塞等问题，需要根据集中存储服务器的入口带宽BW(in)，正在执行传输任务的所有传输节点的出口带宽BW(Ci)，根据下列公式计算出剩余带宽BW(L)来控制传输任务的数量：
BW(L)＝BW(in)–ΣBW(Ci)；
当BW(L)小于设定的带宽阈值BW(std)时，则可以继续下发传输任务，否则，停止下发传输任务。
操作流程描述如下：
1.首先在管理节点上配置好各种参数，包括：
a)各个法院庭审业务系统的名称、IP地址、端口等信息；
b)传输节点的名称、IP地址、端口等信息，负责传输的法院集合；
c)每个法院传输节点工作的时间段和空闲时间段，以及每个时间段对应的传输速率的上限TR(t,max)，基于此管理节点可以灵活地控制各个传输节点在不同时间段的传输速率，这样设置的好处是：既可以让传输节点在法院的非工作时间段内充分利用法院现有的带宽资源，也可以在不影响法院现有工作的情况下，在法院的工作时间段内，利用较小的带宽来传输文件；
2.管理节点启动数据采集线程，该线程根据设定的频率P1(P1可配置)循环执行下列操作：调用Collect模块依次给各个法院的业务系统发送HTTP+JSON格式的协议，请求查询视频服务器数据、视频文件描述数据和其他业务数，然后根据获取到的所有视频服务器数据，再循环所有视频服务器，依次发送SNMP查询协议来获取该服务器的运行状态、磁盘空间、剩余空间、网络带宽、网络流量等信息，并将上述过程中获取到的所有数据都进行存储；
3.各个业务系统接收到HTTP+JSON查询请求之后，返回对应的查询数据；
4.各个视频服务器接收到SNMP查询协议之后，返回对应的查询数据；
5.当所有法院的上述业务数据和服务器运行数据都至少获取过一遍之后，管理节点的控制调度模块(该模块也作为1个独立的线程运行)就可以开始工作了；
6.控制调度线程根据设定的频率P2(P2可配置)循环执行下列操作：
a)首先计算BW(L)，并比较BW(L)与BW(std)关系，如果BW(L)>BW(std)，则继续下面的步骤，否则根据P2参数休眠指定时间，然后继续本步骤；
b)根据下列规则计算出所有视频服务器Ci的调度优先级PI(Ci)：
i.如果Ci处于离线状态，则PI(Ci)＝-1；
ii.否则根据前面调度算法章节的公式计算出PI(Ci)的值；
c)根据每个Ci的PI(Ci)值从大到小进行排序，然后依次循环每一个Ci：
i.如果PI(Ci)值为-1，则跳过Ci，继续Ci+1；
ii.否则先获取Ci的当前传输速度上限TR(t,max)；
iii.获取Ci对应的传输节点TNodeX；
iv.获取Ci上还未传输的视频文件列表VideoFiles(Ci)；
v.设置变量overLimit为false；
vi.循环VideoFiles(Ci)，执行下列操作：
1.给传输节点TNodeX下发开始传输指令startTransport，并指定传输速度上限TR(t,max)，文件获取方式，文件访问地址等；
2.TNodeX接收到startTransport指令，根据视频文件的获取方式(FTP/HTTP/其他)，调用不同的模块来读取视频文件，并写入存储空间中；
3.传输过程中，TNodeX根据指定频率P3(P3可配置)反馈传输的进度给MNode，MNode随时更新传输任务的对应进度状态；
4.当传输节点完成传输并将状态反馈给MNode时，MNode将对应的视频文件的状态标记为传输完成；
5.计算并判定BW(L)与BW(std)的关系，如果BW(L)>BW(std)，则继续下一文件，否则设置overLimit为true，并且跳出本次循环；
vii.如果overLimit为false，则继续Ci+1，否则，根据P2休眠指定时间，之后，继续下一次循环。
本申请提出了一种数据文件的调度方法、调度服务器以及存储介质和计算机设备，利用管理节点这个大脑的智能调度能力、传输节点的高效传输文件的能力和强大可扩充的存储能力，三者之间高效配合，充分、合理、高效地利用好现有网络资源的情况下，并没有给现有的网络和办公环境带来任何影响。并且，利用自动计算出的优先级对每一服务器的数据传输时间进行排序，实现了智能调度，减少了人工干预，提高了传输效率；本申请中涉及的所有参数均可以根据实际情况灵活设置，最大程度的满足了不同业务的不同需求。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (12)
1.一种数据文件的调度方法，其特征在于，包括：
采集各个业务服务器的业务数据和运行状态数据，所述业务数据包括语音数据、视频数据以及视频描述数据，所述运行状态数据包括所述各个业务服务器的总磁盘空间、剩余磁盘空间、网络带宽、网络传输速度以及磁盘传输进度信息；
根据所述业务数据和运行状态数据，确定每一业务服务器的负载和优先级，根据所述各个业务服务器的负载和优先级进行数据文件的调度。
2.根据权利要求1所述的数据文件的调度方法，其特征在于，所述采集各个业务服务器的业务数据和运行状态数据，具体包括：
通过对接的方式，从所述各个业务服务器获取业务数据；
通过简单网络管理协议与所述各个业务服务器通信，获取所述各个业务服务器的运行状态数据。
3.根据权利要求1所述的数据文件的调度方法，其特征在于，所述根据所述业务数据和运行状态数据，确定每一业务服务器的优先级，具体包括：
根据所述业务服务器的磁盘空间和剩余磁盘空间，计算所述业务服务器的空间剩余率；
对所述剩余磁盘空间进行标准化处理，得到剩余磁盘空间的标准值；
根据所述业务服务器的运行时间，得到所述业务服务器的故障发生率；
根据所述业务服务器的空间剩余率及其设定权重、剩余磁盘空间的标准值及其设定权重、故障发生率及其设定权重、网络传输速度及其设定权重，确定每一所述业务服务器的传输优先级指数。
4.根据权利要求3所述的数据文件的调度方法，其特征在于，所述根据所述各个业务服务器的负载和优先级进行数据文件的调度，具体包括：
按照所述传输优先级指数从大到小的顺序依次对对应的业务服务器进行数据文件的调度；
其中，对每一业务服务器的数据文件的调度，具体包括：
获取所述业务服务器的传输速度上限和未传输的视频文件列表；
根据指定的视频文件获取方式读取所述未传输的视频文件，并写入到存储服务器。
5.根据权利要求1-4任一项所述的数据文件的调度方法，其特征在于，还包括：
根据存储服务器的入口带宽和所有业务服务器的出口带宽，得到剩余带宽，当所述剩余带宽大于设定的带宽阈值时，继续下发传输指令，否则停止下发传输指令。
6.一种调度服务器，其特征在于，包括：
数据采集模块，用于采集各个业务服务器的业务数据和运行状态数据，所述业务数据包括语音数据、视频数据以及视频描述数据，所述运行状态数据包括所述各个业务服务器的总磁盘空间、剩余磁盘空间、网络带宽、网络传输速度以及磁盘传输进度信息；
控制调度模块，用于根据所述业务数据和运行状态数据，确定每一业务服务器的负载和优先级，根据所述各个业务服务器的负载和优先级进行数据文件的调度。
7.根据权利要求6所述的调度服务器，其特征在于，所述数据采集模块用于采集各个业务服务器的业务数据和运行状态数据，其具体包括：
业务数据获取单元，用于通过对接的方式，从所述各个业务服务器获取业务数据；
运行状态数据获取单元，用于通过简单网络管理协议与所述各个业务服务器通信，获取所述各个业务服务器的运行状态数据。
8.根据权利要求6所述的调度服务器，其特征在于，所述控制调度模块包括：
优先级确定单元，用于根据所述业务数据和运行状态数据，确定每一业务服务器的优先级，其具体包括：
空间剩余率计算单元，用于根据所述业务服务器的磁盘空间和剩余磁盘空间，计算所述业务服务器的空间剩余率；
剩余磁盘空间的标准值计算单元，用于对所述剩余磁盘空间进行标准化处理，得到剩余磁盘空间的标准值；
故障发生率计算单元，用于根据所述业务服务器的运行时间，得到所述业务服务器的故障发生率；
优先级指数确定单元，用于根据所述业务服务器的空间剩余率及其设定权重、剩余磁盘空间的标准值及其设定权重、故障发生率及其设定权重、网络传输速度及其设定权重，确定每一所述业务服务器的传输优先级指数。
9.根据权利要求8所述的调度服务器，其特征在于，所述控制调度模块包括数据文件调度单元，用于根据所述各个业务服务器的负载和优先级进行数据文件的调度，其具体包括：
按照所述传输优先级指数从大到小的顺序依次对对应的业务服务器进行数据文件的调度；
其中，对每一业务服务器的数据文件的调度，具体包括：
获取所述业务服务器的传输速度上限和未传输的视频文件列表；
根据指定的视频文件获取方式读取所述未传输的视频文件，并写入到存储服务器。
10.根据权利要求6-9任一项所述的调度服务器，其特征在于，还包括：
带宽确定模块，用于根据存储服务器的入口带宽和所有业务服务器的出口带宽，得到剩余带宽，当所述剩余带宽大于设定的带宽阈值时，继续下发传输指令，否则停止下发传输指令。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5任一项所述的方法步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810178914.5A CN108449394B (zh) | 2018-03-05 | 2018-03-05 | 一种数据文件的调度方法、调度服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810178914.5A CN108449394B (zh) | 2018-03-05 | 2018-03-05 | 一种数据文件的调度方法、调度服务器及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108449394A true CN108449394A (zh) | 2018-08-24 |
| CN108449394B CN108449394B (zh) | 2021-08-13 |
Family
ID=63193300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810178914.5A Active CN108449394B (zh) | 2018-03-05 | 2018-03-05 | 一种数据文件的调度方法、调度服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108449394B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110096548A (zh) * | 2019-03-21 | 2019-08-06 | 深圳壹账通智能科技有限公司 | 数据同步的方法、装置、计算机设备及计算机存储介质 |
| CN110176235A (zh) * | 2019-05-23 | 2019-08-27 | 腾讯科技（深圳）有限公司 | 语音识别文的展示方法、装置、存储介质和计算机设备 |
| CN110417922A (zh) * | 2019-09-11 | 2019-11-05 | 北京搜狐新动力信息技术有限公司 | 一种数据传输方法、装置及系统 |
| CN112260961A (zh) * | 2020-09-23 | 2021-01-22 | 北京金山云网络技术有限公司 | 一种网络流量调度方法、装置、电子设备及存储介质 |
| CN112463378A (zh) * | 2020-11-27 | 2021-03-09 | 北京浪潮数据技术有限公司 | 一种服务器资产扫描方法、系统、电子设备及存储介质 |
| CN112565829A (zh) * | 2020-11-26 | 2021-03-26 | 湖南快乐阳光互动娱乐传媒有限公司 | 网络调度方法、装置、系统及可读存储介质 |
| CN114500514A (zh) * | 2022-02-14 | 2022-05-13 | 京东科技信息技术有限公司 | 文件传输方法及装置、电子设备和计算机可读存储介质 |
| US11416296B2 (en) * | 2019-11-26 | 2022-08-16 | International Business Machines Corporation | Selecting an optimal combination of cloud resources within budget constraints |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855236A (zh) * | 2011-06-27 | 2013-01-02 | 北京东方通科技股份有限公司 | 文件传输系统及文件传输方法 |
| CN104168332A (zh) * | 2014-09-01 | 2014-11-26 | 广东电网公司信息中心 | 高性能计算中负载均衡与节点状态监控方法 |
| WO2015123985A1 (zh) * | 2014-02-24 | 2015-08-27 | 中兴通讯股份有限公司 | 一种调整负载均衡的方法及装置和计算机存储介质 |
| CN105357317A (zh) * | 2015-12-07 | 2016-02-24 | 金蝶软件（中国）有限公司 | 一种基于多客户端轮循排队的数据上传方法及系统 |
| CN106161145A (zh) * | 2016-07-25 | 2016-11-23 | 天脉聚源(北京)传媒科技有限公司 | 一种服务器系统运行状态信息的监控方法和系统 |
| CN106598505A (zh) * | 2016-12-27 | 2017-04-26 | 创新科存储技术有限公司 | 存储设备的管理方法 |
| CN107231260A (zh) * | 2017-06-02 | 2017-10-03 | 国家电网公司 | 电网服务器 |
| CN107302580A (zh) * | 2017-06-30 | 2017-10-27 | 北京金山安全软件有限公司 | 负载均衡方法、装置、负载均衡器及存储介质 |
-
2018
- 2018-03-05 CN CN201810178914.5A patent/CN108449394B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855236A (zh) * | 2011-06-27 | 2013-01-02 | 北京东方通科技股份有限公司 | 文件传输系统及文件传输方法 |
| WO2015123985A1 (zh) * | 2014-02-24 | 2015-08-27 | 中兴通讯股份有限公司 | 一种调整负载均衡的方法及装置和计算机存储介质 |
| CN104168332A (zh) * | 2014-09-01 | 2014-11-26 | 广东电网公司信息中心 | 高性能计算中负载均衡与节点状态监控方法 |
| CN105357317A (zh) * | 2015-12-07 | 2016-02-24 | 金蝶软件（中国）有限公司 | 一种基于多客户端轮循排队的数据上传方法及系统 |
| CN106161145A (zh) * | 2016-07-25 | 2016-11-23 | 天脉聚源(北京)传媒科技有限公司 | 一种服务器系统运行状态信息的监控方法和系统 |
| CN106598505A (zh) * | 2016-12-27 | 2017-04-26 | 创新科存储技术有限公司 | 存储设备的管理方法 |
| CN107231260A (zh) * | 2017-06-02 | 2017-10-03 | 国家电网公司 | 电网服务器 |
| CN107302580A (zh) * | 2017-06-30 | 2017-10-27 | 北京金山安全软件有限公司 | 负载均衡方法、装置、负载均衡器及存储介质 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110096548A (zh) * | 2019-03-21 | 2019-08-06 | 深圳壹账通智能科技有限公司 | 数据同步的方法、装置、计算机设备及计算机存储介质 |
| CN110176235A (zh) * | 2019-05-23 | 2019-08-27 | 腾讯科技（深圳）有限公司 | 语音识别文的展示方法、装置、存储介质和计算机设备 |
| CN110176235B (zh) * | 2019-05-23 | 2022-02-01 | 腾讯科技（深圳）有限公司 | 语音识别文的展示方法、装置、存储介质和计算机设备 |
| CN110417922A (zh) * | 2019-09-11 | 2019-11-05 | 北京搜狐新动力信息技术有限公司 | 一种数据传输方法、装置及系统 |
| US11416296B2 (en) * | 2019-11-26 | 2022-08-16 | International Business Machines Corporation | Selecting an optimal combination of cloud resources within budget constraints |
| CN112260961A (zh) * | 2020-09-23 | 2021-01-22 | 北京金山云网络技术有限公司 | 一种网络流量调度方法、装置、电子设备及存储介质 |
| CN112565829A (zh) * | 2020-11-26 | 2021-03-26 | 湖南快乐阳光互动娱乐传媒有限公司 | 网络调度方法、装置、系统及可读存储介质 |
| CN112565829B (zh) * | 2020-11-26 | 2023-03-17 | 湖南快乐阳光互动娱乐传媒有限公司 | 网络调度方法、装置、系统及可读存储介质 |
| CN112463378A (zh) * | 2020-11-27 | 2021-03-09 | 北京浪潮数据技术有限公司 | 一种服务器资产扫描方法、系统、电子设备及存储介质 |
| CN112463378B (zh) * | 2020-11-27 | 2023-12-22 | 北京浪潮数据技术有限公司 | 一种服务器资产扫描方法、系统、电子设备及存储介质 |
| CN114500514A (zh) * | 2022-02-14 | 2022-05-13 | 京东科技信息技术有限公司 | 文件传输方法及装置、电子设备和计算机可读存储介质 |
| CN114500514B (zh) * | 2022-02-14 | 2023-12-12 | 京东科技信息技术有限公司 | 用于云存储的文件传输方法及装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108449394B (zh) | 2021-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108449394A (zh) | 一种数据文件的调度方法、调度服务器及存储介质 | |
| CN109491790B (zh) | 基于容器的工业物联网边缘计算资源分配方法及系统 | |
| CN103309946B (zh) | 多媒体文件处理方法、装置及系统 | |
| CN103309738B (zh) | 用户作业调度方法及装置 | |
| CN104202264B (zh) | 云化数据中心网络的承载资源分配方法、装置及系统 | |
| CN106162219B (zh) | 视频云存储方法及系统 | |
| CN102469023B (zh) | 基于云计算的调度方法、单元及系统 | |
| CN103279351B (zh) | 一种任务调度的方法及装置 | |
| CN109936604A (zh) | 一种资源调度方法、装置和系统 | |
| CN103053146B (zh) | 数据迁移方法和设备 | |
| CN103782556A (zh) | 虚拟化网络的分配方法、控制器、设备及系统 | |
| CN105242956A (zh) | 虚拟功能服务链部署系统及其部署方法 | |
| CN102143237A (zh) | 一种基于网格的互联网内容分发方法和系统 | |
| CN104243405A (zh) | 一种请求处理方法、装置及系统 | |
| CN101227416A (zh) | 一种通信网络中链路带宽分配方法 | |
| JP5666620B2 (ja) | ネットワークシステム、及びそのサービス品質制御方法 | |
| CN109494876A (zh) | 一种配电网信息系统 | |
| CN106130065B (zh) | 一种分布式光伏集群系统 | |
| CN103905337A (zh) | 一种网络资源的处理装置、方法和系统 | |
| CN115334084A (zh) | 一种基于云计算和互联网的云平台 | |
| CN110442428A (zh) | Docker容器的协调方法 | |
| CN109218086A (zh) | 一种交换网构建方法与系统 | |
| JP6884545B2 (ja) | 通信方法、中央制御装置及び個別制御装置 | |
| CN105208111B (zh) | 一种信息处理的方法及物理机 | |
| KR20150080183A (ko) | 데이터 센터 네트워크의 동적 트래픽 분배 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 100094 5 floor 101, 6 building, No. 3, Fung Xiu Road, Haidian District, Beijing. Applicant after: BEIJING HUAXIA DENTSU TECHNOLOGY Co.,Ltd. Address before: 100094 5 floor 101, 6 building, No. 3, Fung Xiu Road, Haidian District, Beijing. Applicant before: BEIJING CHINASYS TECHNOLOGIES Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |