CN106937092A - 一种分布式计算平台中视频数据迁移方法及装置 - Google Patents

一种分布式计算平台中视频数据迁移方法及装置 Download PDF

Info

Publication number
CN106937092A
CN106937092A CN201710231948.1A CN201710231948A CN106937092A CN 106937092 A CN106937092 A CN 106937092A CN 201710231948 A CN201710231948 A CN 201710231948A CN 106937092 A CN106937092 A CN 106937092A
Authority
CN
China
Prior art keywords
video data
allocated
physical store
store node
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710231948.1A
Other languages
English (en)
Inventor
张海涛
马华东
许彬
唐炳昌
严瑾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201710231948.1A priority Critical patent/CN106937092A/zh
Publication of CN106937092A publication Critical patent/CN106937092A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23103—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion using load balancing strategies, e.g. by placing or distributing content on different disks, different memories or different servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例提供了一种分布式计算平台中视频数据迁移方法及装置，该方法中，预估视频数据集合中的各个待分配视频数据在第一物理存储节点上的运行时间；基于各个运行时间，以及各个物理存储节点的当前负载，预估各个物理存储节点对应的当前待分配视频数据队列；在各个物理存储节点运行对应的当前待分配视频数据队列中的待分配视频数据时，实时监测各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，对所存在的待迁移视频数据进行数据迁移。本发明中，通过对视频数据进行迁移的方式，使得各个当前待分配视频数据队列一直为可使各个物理存储节点负载均衡的队列，减少了集群内部网络资源的消耗。

Description

一种分布式计算平台中视频数据迁移方法及装置
技术领域
本发明涉及视频数据处理技术领域，特别是涉及一种分布式计算平台中视频数据迁移方法及装置。
背景技术
随着科学技术的发展，每天产生的视频数据越来越多，例如：监控视频数据，为了对所产生的大量视频数据进行处理，分布式计算平台应运而生，分布式计算平台运行在分布式集群上，其中，分布式集群一般包括多个物理存储节点和一个管理节点，物理存储节点用于存储视频数据以及处理视频数据，管理节点用于对存储节点进行管理。
现有技术中通过分布式集群进行视频数据放置时，是一个随机放置的过程，例如：将视频数据集合中的视频数据随机分配至分布式集群中的各个物理存储节点中，其中，一个视频数据对应一个物理存储节点。
由于现有技术中通过分布式集群进行视频数据放置时是面向存储视频数据考虑的，即将视频数据存储到各个物理存储节点即可，因此，在视频数据放置之后，产生某个物理存储节点的负载很大，某个物理存储节点的负载很小的情况。当分布式集群需要进行视频数据计算时，管理节点将检测集群中各个物理存储节点的负载情况，将负载较大的物理存储节点上的视频数据迁移到负载较低的物理存储节点上，即在集群内部进行大量的视频数据迁移以使负载均衡，导致集群内部产生大量的网络传输，使得集群内部网络资源消耗较大。
发明内容
本发明实施例的目的在于提供一种分布式计算平台中视频数据迁移方法及装置，以减少集群内部网络资源的消耗。具体技术方案如下：
一种分布式计算平台中视频数据迁移方法，应用于分布式集群中的管理节点，所述分布式集群还包括N个物理存储节点，所述方法包括：
预估视频数据集合中的各个待分配视频数据在第一物理存储节点上的运行时间，其中，所述第一物理存储节点为所述N个物理存储节点中的任意一个物理存储节点；
基于所述各个待分配视频数据在第一物理存储节点上的运行时间，以及所述各个物理存储节点的当前负载，预估所述各个物理存储节点对应的当前待分配视频数据队列，其中，各个当前待分配视频数据队列为可使各个物理存储节点负载均衡的队列；
在各个物理存储节点运行对应的当前待分配视频数据队列中的待分配视频数据时，实时监测各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，对所存在的待迁移视频数据进行数据迁移。
可选的，所述预估视频数据集合中的各个待分配视频数据在第一物理存储节点上的运行时间的步骤，包括：
根据第一物理存储节点上的相对速度因子，计算视频数据集合中的各个待分配视频数据在所述第一物理存储节点上的运行时间，其中，每一物理存储节点设置有一相对速度因子。
可选的，所述基于所述各个待分配视频数据在第一物理存储节点上的运行时间，以及所述各个物理存储节点的当前负载，预估所述各个物理存储节点对应的当前待分配视频数据队列的步骤，包括：
根据所述运行时间的长短，对所述待分配视频数据进行排序，得到所述待分配视频数据的第一排列顺序；
基于所述第一排列顺序确定一第一待分配视频数据，基于各个物理存储节点的当前负载，确定一第二物理存储节点，将所述第一待分配视频数据分配至所述第二物理存储节点对应的当前待分配视频数据队列中，并基于已分配的第一待分配视频数据，预估所述第二物理存储节点的当前负载；
判断所述视频数据集合中的第二待分配视频数据的数量是否为1，其中，所述第二待分配视频数据为未分配到各个物理存储节点对应的当前待分配视频数据队列中的待分配视频数据；
如果是，将所述第二待分配视频数据确定为第一待分配视频数据，基于各个物理存储节点的当前负载，确定一第三物理存储节点，将所述第一待分配视频数据分配至所述第三物理存储节点对应的当前待分配视频数据队列中；
如果否，返回执行基于所述第一排列顺序确定一第一待分配视频数据的步骤。
可选的，所述在各个物理存储节点运行对应的当前待分配视频数据队列中的待分配视频数据时，实时监测各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，对所存在的待迁移视频数据进行数据迁移的步骤，包括：
针对每个当前待分配视频数据队列，判断该当前待分配视频数据队列中待分配视频数据的数量是否大于预设数量；
如果大于，将该当前待分配视频数据队列中的预设数量个待分配视频数据放置到对应的物理存储节点中运行，并根据运行结果确定所对应的物理存储节点上的当前相对速度因子，基于所述当前相对速度因子，计算该当前待分配视频数据队列中除所述预设数量个待分配视频数据以外的待分配视频数据的总运行时间；
基于所计算出的多个总运行时间，判断各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，对所存在的待迁移视频数据进行数据迁移，得到各个物理存储节点对应的目标待分配视频数据队列，将所得到的各个目标待分配视频数据队列作为各个物理存储节点对应的当前待分配视频数据队列，返回执行针对每个当前待分配视频数据队列，判断该当前待分配视频数据队列中待分配视频数据的数量是否大于预设数量的步骤；
如果未大于，将该当前待分配视频数据队列中的所有待分配视频数据放置到对应的物理存储节点中运行。
可选的，所述基于所计算出的多个总运行时间，判断各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据的步骤，包括：
分别确定最大总运行时间对应的第四物理存储节点，和最小总运行时间对应的第五物理存储节点；
确定所述第四物理存储节点对应的当前待分配视频数据队列中的运行时间最小的第三待分配视频数据，预估将所述第三待分配视频数据迁移至所述第五物理存储节点后，所述第三待分配视频数据在所述第五物理存储节点上的第三运行时间；
基于所述最大总运行时间、所述最小总运行时间以及所述第三运行时间，判断所述第三待分配视频数据是否为待迁移视频数据，如果是，确定各个当前待分配视频数据队列中存在待迁移视频数据。
一种分布式计算平台中视频数据迁移装置，应用于分布式集群中的管理节点，所述分布式集群还包括N个物理存储节点，所述装置包括：
运行时间预估模块，用于预估视频数据集合中的各个待分配视频数据在第一物理存储节点上的运行时间，其中，所述第一物理存储节点为所述N个物理存储节点中的任意一个物理存储节点；
当前待分配视频数据队列预估模块，用于基于所述各个待分配视频数据在第一物理存储节点上的运行时间，以及所述各个物理存储节点的当前负载，预估所述各个物理存储节点对应的当前待分配视频数据队列，其中，各个当前待分配视频数据队列为可使各个物理存储节点负载均衡的队列；
迁移模块，用于在各个物理存储节点运行对应的当前待分配视频数据队列中的待分配视频数据时，实时监测各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，对所存在的待迁移视频数据进行数据迁移。
可选的，所述运行时间预估模块，具体用于：
根据第一物理存储节点上的相对速度因子，计算视频数据集合中的各个待分配视频数据在所述第一物理存储节点上的运行时间，其中，每一物理存储节点设置有一相对速度因子。
可选的，所述当前待分配视频数据队列预估模块，包括：
第一排列顺序确定单元，用于根据所述运行时间的长短，对所述待分配视频数据进行排序，得到所述待分配视频数据的第一排列顺序；
当前负载预估单元，用于基于所述第一排列顺序确定一第一待分配视频数据，基于各个物理存储节点的当前负载，确定一第二物理存储节点，将所述第一待分配视频数据分配至所述第二物理存储节点对应的当前待分配视频数据队列中，并基于已分配的第一待分配视频数据，预估所述第二物理存储节点的当前负载；
判断单元，用于判断所述视频数据集合中的第二待分配视频数据的数量是否为1，如果是，触发第一确定单元，如果否，触发第二确定单元，其中，所述第二待分配视频数据为未分配到各个物理存储节点对应的当前待分配视频数据队列中的待分配视频数据；
所述第一确定单元，用于将所述第二待分配视频数据确定为第一待分配视频数据，基于各个物理存储节点的当前负载，确定一第三物理存储节点，将所述第一待分配视频数据分配至所述第三物理存储节点对应的当前待分配视频数据队列中；
所述第二确定单元，用于触发所述当前负载预估单元。
可选的，所述迁移模块，包括：
第二判断单元，用于针对每个当前待分配视频数据队列，判断该当前待分配视频数据队列中待分配视频数据的数量是否大于预设数量，如果大于，触发总运行时间计算单元，如果未大于，触发运行单元；
所述总运行时间计算单元，用于将该当前待分配视频数据队列中的预设数量个待分配视频数据放置到对应的物理存储节点中运行，并根据运行结果确定所对应的物理存储节点上的当前相对速度因子，基于所述当前相对速度因子，计算该当前待分配视频数据队列中除所述预设数量个待分配视频数据以外的待分配视频数据的总运行时间；
第三判断单元，用于基于所计算出的多个总运行时间，判断各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，触发迁移单元；
所述迁移单元，用于对所存在待迁移视频数据进行数据迁移，得到各个物理存储节点对应的目标待分配视频数据队列，将所得到的各个目标待分配视频数据队列作为各个物理存储节点对应的当前待分配视频数据队列，触发第二判断单元；
所述运行单元，用于将该当前待分配视频数据队列中的所有待分配视频数据放置到对应的物理存储节点中运行。
可选的，所述第三判断单元，具体用于：
分别确定最大总运行时间对应的第四物理存储节点，和最小总运行时间对应的第五物理存储节点；
确定所述第四物理存储节点对应的当前待分配视频数据队列中的运行时间最小的第三待分配视频数据，预估将所述第三待分配视频数据迁移至所述第五物理存储节点后，所述第三待分配视频数据在所述第五物理存储节点上的第三运行时间；
基于所述最大总运行时间、所述最小总运行时间以及所述第三运行时间，判断所述第三待分配视频数据是否为待迁移视频数据，如果是，确定各个当前待分配视频数据队列中存在待迁移视频数据。
本发明实施例，可以基于各个待分配视频数据在第一物理存储节点上的运行时间，以及各个物理存储节点的当前负载，预估各个物理存储节点对应的当前待分配视频数据队列，然后在各个物理存储节点运行对应的当前待分配视频数据队列中的待分配视频数据时，实时监测各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，对所存在的待迁移视频数据进行数据迁移。由此，通过预估的方式，得到负载均衡的将要放置到各个物理存储节点上的视频数据的当前待分配视频数据队列，并通过实时监测的方式对各个当前待分配视频数据队列中的视频数据进行迁移，使得各个当前待分配视频数据队列一直为可使各个物理存储节点负载均衡的队列，因此，在将视频数据集合中的各个待分配视频数据放置到对应的物理存储节点运行后，无需再进行数据移动以达到负载均衡，减少了集群内部网络资源的消耗。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的分布式计算平台中视频数据迁移方法的流程示意图；
图2为预估各个物理存储节点对应的当前待分配视频数据队列的流程示意图；
图3为将第一待分配视频数据分配至第二物理存储节点对应的当前待分配视频数据队列中的流程示意图；
图4为对待迁移视频数据进行数据迁移的流程示意图；
图5为确定各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据的流程示意图；
图6为本发明实施例提供的分布式计算平台中视频数据迁移装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有技术问题，本发明实施例提供了一种分布式计算平台中视频数据迁移方法及装置。
下面首先对本发明实施例所提供的一种分布式计算平台中视频数据迁移方法进行介绍。
需要说明的是，本发明实施例所提供的一种分布式计算平台中视频数据迁移方法应用于分布式集群中的管理节点，其中，分布式集群还可以包括N个物理存储节点，物理存储节点用于存储视频数据以及处理视频数据，管理节点用于对物理存储节点进行管理。
如图1所示，本发明实施例提供的一种分布式计算平台中视频数据迁移方法，可以包括：
S101：预估视频数据集合中的各个待分配视频数据在第一物理存储节点上的运行时间。
为了避免在将视频数据集合中的待分配视频数据放置到物理存储节点上后，出现某个物理存储节点的负载很大，某个物理存储节点的负载很小的情况，可以预估视频数据集合中的各个待分配视频数据的大概运行时间。
预估视频数据集合中的各个待分配视频数据的大概运行时间的方式可以为：预估视频数据集合中的各个待分配视频数据在第一物理存储节点上的运行时间，其中，第一物理存储节点可以为N个物理存储节点中的任意一个物理存储节点。
上述预估视频数据集合中的各个待分配视频数据在第一物理存储节点上的运行时间，可以包括：
根据第一物理存储节点上的相对速度因子，计算视频数据集合中的各个待分配视频数据在第一物理存储节点上的运行时间，其中，每一物理存储节点设置有一相对速度因子。
由于各个待分配视频数据的运行时间是预估的，因此，可以将各个待分配视频数据在任意一个物理存储节点上运行的运行时间，作为所预估的各个待分配视频数据的运行时间。
例如：分布式集群中包括物理存储节点A和物理存储节点B，视频数据集合中包括待分配视频数据M和待分配视频数据N，则可以将物理存储节点A作为第一物理存储节点，将待分配视频数据M在物理存储节点A上的运行时间作为所预估的待分配视频数据M的运行时间，将待分配视频数据N在物理存储节点A上的运行时间作为所预估的待分配视频数据N的运行时间。
其中，每个物理存储节点设置相对速度因子的过程可以为：
1、基于视频视频数据，定义两种集合，分别为：分辨率集合与帧率集合，其中，定义集合的过程为：将不同的分辨率定义为分辨率集合R＝{r1,r2,…,rm}，m表示分辨率集合R中共有m种分辨率，rm表示分辨率集合R中的第m种分辨率；将不同的帧率定义为帧率集合F＝{f1,f2,…,fn}，其中n表示帧率集合F中有n种帧率，fn表示帧率集合F中第n种帧率。
将分辨率集合R和帧率集合F的笛卡尔积作为标准视频质量集合Q：
Q＝R×F
例如：R＝{r1,r2}，F＝{f1,f2}，那么Q＝{(r1,f1),(r1,f2),(r2,f1),(r2,f2)}。其中，集合Q中的每一个元素，例如(r1,f1)或者(r1,f2)，表示一个标准视频质量级别QR，一般一个待分配视频数据包含多个子视频数据，一个待分配视频数据中的多个子视频数据的QR相同，为集合Q中的一种。
2、在得到标准视频质量级别后，通过多个待分配视频数据确定各个物理存储节点上的相对速度因子，其中，此处的待分配视频数据为用于确定各个物理存储节点上的相对速度因子的视频数据。
详细的，确定各个物理存储节点上的相对速度因子的过程为：
BLi＝qi·tsi
其中，i为一个待分配视频数据中的第i个子视频数据，k为一个待分配视频数据所包含的子视频数据的总数，BLi为第i个子视频数据的基本长度，qi为第i个子视频数据的标准视频质量级别的权重，tsi为第i个子视频数据的数据长度，为第i个子视频数据的起始时间，第i个子视频数据的终止时间，JBL为一个待分配视频数据的基本长度，vj为第i个子视频数据在物理存储节点j上运行时的运行速度，tj为一个待分配视频数据在物理存储节点j上的运行时间，dpvi,j为通过第i个子视频数据的标准视频质量级别计算出的在物理存储节点j的相对速度因子。
根据上述公式推导出一个待分配视频数据在物理存储节点j上的运行时间为：
根据以下公式计算每个物理存储节点所设置的相对速度因子：
DPVj·TS＝T
DPVj＝(dpv1,j,…,dpvn,j)
TS＝(TS1,…TSh…TSm)
T＝(t1,…th…,tm)T
TSh＝(tsh1,…tshl…tshn)T
其中，DPVj为物理存储节点j上的dpvi,j的集合，TS为所有待分配视频数据起止时间的集合，T为各个待分配视频数据在各个物理存储节点上运行的总时间的转置，TSh为待分配视频数据h的起止时间的转置，th为待分配视频数据h在各个物理存储节点上运行的总时间，tshl(h＝1,…,m；l＝1,…,n,)为待分配视频数据h中标准视频质量权重为l的各个子视频数据的起止时间的总和。
由于DPVj·TS＝T为一非齐次线性方程组，当且仅当r＝(TS)＝r(TS,T)＝z时，该非齐次线性方程组有唯一解，通过管理节点所记录的目标预设数量个待分配视频数据在各个物理存储节点上的运行时间，可以得到一系列的z元一次方程，通过求解这些z元一次方程，得到很多dpvi,j的值，为了保证时间预测模型的稳定性，可以使用最近三次的dpvi,j的值平均值作为物理存储节点j上的相对速度因子。
由此，得到每个物理存储节点设置的相对速度因子。
上述根据第一物理存储点上的相对速度因子，计算视频数据集合中的各个待分配视频数据在第一物理存储节点上的运行时间，可以包括：
根据以下公式计算视频数据集合中的各个待分配视频数据在第一物理存储节点上的运行时间：
其中，tp为一个待分配视频数据在第一物理存储节点上的运行时间，为通过第i个子视频数据的标准视频质量级别计算出的第一物理存储节点上的相对速度因子，tsi为一个待分配视频数据中的第i个子视频数据的起止时间，i为一个待分配视频数据中的第i个子视频数据，p为第一物理存储节点，k为一个待分配视频数据所包含的子视频数据的总数。
由此，建立了时间预测模型，即通过该时间预测模型用于预估视频数据的运行时间。
S102：基于各个待分配视频数据在第一物理存储节点上的运行时间，以及各个物理存储节点的当前负载，预估各个物理存储节点对应的当前待分配视频数据队列。
为了避免在将视频数据集合中的待分配视频数据放置到物理存储节点上后，再进行视频数据迁移以达到负载均衡，在预估出各个待分配视频数据在第一物理存储节点上的运行时间后，可以获得各个物理存储节点的当前负载，以确定各个物理存储节点当前的负载能力，其中，物理存储节点的负载为物理存储节点上已有的视频数据在该物理存储节点上运行所需要的时间。
然后基于各个待分配视频数据在第一物理存储节点上的运行时间，以及各个物理存储节点的当前负载，预估各个物理存储节点对应的当前待分配视频数据队列，且各个当前待分配视频数据队列为可使各个物理存储节点负载均衡的队列，即在未将视频数据集合中的待分配视频数据放置到物理存储节点上之前，预先确定可使各个物理存储节点负载均衡的队列。
参考图2，S102可以包括：
S1021：根据运行时间的长短，对待分配视频数据进行排序，得到待分配视频数据的第一排列顺序。
为了确定各个物理存储节点对应的当前待分配视频数据队列，需要获知各个运行时间的大小关系，因此，可以根据运行时间的长短，对待分配视频数据进行排序，得到待分配视频数据的第一排列顺序。
其中，根据运行时间的长短，对待分配视频数据进行排序的方式有多种，可以为按照运行时间从小到大的顺序排列，也可以按照从小到大的顺序排列。
S1022：基于第一排列顺序确定一第一待分配视频数据，基于各个物理存储节点的当前负载，确定一第二物理存储节点，将第一待分配视频数据分配至第二物理存储节点对应的当前待分配视频数据队列中，并基于已分配的第一待分配视频数据，预估第二物理存储节点的当前负载。
在得到待分配视频数据的第一排列顺序后，基于第一排列顺序确定一第一待分配视频数据，为了确定各个物理存储节点对应的当前待分配视频数据队列，需要基于各个物理存储节点的当前负载，确定一第二物理存储节点，然后将第一待分配视频数据分配至第二物理存储节点对应的当前待分配视频数据队列中。
在将第一待分配视频数据分配至第二物理存储节点对应的当前待分配视频数据队列中后，代表已分配的第一待分配视频数据将要在第二物理存储节点上运行，当已分配的第一待分配视频数据在第二物理存储节点上运行后将导致第二物理存储节点的当前负载的改变，因此，需要基于已分配的第一待分配视频数据，预估第二物理存储节点的当前负载。
上述基于已分配的第一待分配视频数据，预估第二物理存储节点的当前负载，可以为：根据第二物理存储节点上的相对速度因子预估已分配的第一待分配视频数据在第二物理存储节点上的第四运行时间，将所预估的第四运行时间以及第二物理存储节点原有的负载(即在未分配第一待分配视频数据之前的第二物理存储节点的当前负载)之和确定为第二物理存储节点的当前负载。
上述基于第一排列顺序确定一第一待分配视频数据，基于各个物理存储节点的当前负载，确定一第二物理存储节点，将第一待分配视频数据分配至第二物理存储节点对应的当前待分配视频数据队列中，可以为：通过负载均衡的方式进行分配。参见图3，S1022可以包括：
S10221：根据第一排列顺序，确定最长运行时间对应的第一待分配视频数据。
在确定第一排列顺序后，确定最长运行时间对应的第一待分配视频数据。
S10222：根据各个物理存储节点的当前负载的大小，对N个物理存储节点进行排序，得到N个物理存储节点的第二排列顺序，根据第二排列顺序，确定最小负载对应的第二物理存储节点。
为了确定各个物理存储节点对应的当前待分配视频数据队列，需要获知各个物理存储节点的当前负载的大小关系，因此，可以根据各个物理存储节点的当前负载的大小，对N个物理存储节点进行排序，得到N个物理存储节点的第二排列顺序，然后根据第二排列顺序，确定最小负载对应的第二物理存储节点。
其中，根据各个物理存储节点的当前负载的大小，对N个物理存储节点进行排序的方式有多种，可以为按照当前负载从小到大的顺序排列，也可以按照从小到大的顺序排列。
S10223：将第一待分配视频数据分配至第二物理存储节点对应的当前待分配视频数据队列中。
在得到第一待分配视频数据以及第二物理存储节点后，将第一待分配视频数据分配至第二物理存储节点对应的当前待分配视频数据队列中。
为了方便理解，下面通过一具体实施例，对图3所示方法进行详细描述：
例如：假设视频数据集合中包含待分配视频数据1、待分配视频数据2、待分配视频数据3、待分配视频数据4、待分配视频数据5、待分配视频数据6和待分配视频数据7，预估的各个待分配视频数据在第一物理存储节点上的运行时间如下表：
分布式集群包括3个物理存储节点，分别为：物理存储节点A、物理存储节点B和物理存储节点C，假设各个物理存储节点的当前负载如下表所示：
物理存储节点A 物理存储节点B 物理存储节点C
2min 11min 5min
根据运行时间的长短，对待分配视频数据1-7按照运行时间从大到小的顺序进行排序，得到第一排列顺序：第一待分配视频数据4、1、2、3、6、5、7；
根据第一排列顺序，确定最长运行时间对应的第一待分配视频数据4；
根据各个物理存储节点的当前负载的大小，对物理存储节点A、物理存储节点B和物理存储节点C按照当前负载从小到大的顺序进行排列，得到第二排列顺序：物理存储节点A、物理存储节点C、物理存储节点B；
根据第二排列顺序，确定最小负载对应的第二物理存储节点A；
将第一待分配视频数据4分配至第二物理存储节点A对应的当前待分配视频数据队列中如下表所示：
物理存储节点A 物理存储节点B 物理存储节点C
第一待分配视频数据4
S1023：判断视频数据集合中的第二待分配视频数据的数量是否为1，如果是，执行步骤S1024，如果否，返回执行步骤S1022。
在预估出改变后的第二物理存储节点的当前负载后，为了将视频数据集合中的所有待分配视频数据均分配至各个物理存储节点对应的当前待分配视频数据队列中，需要判断视频数据集合中的第二待分配视频数据的数量是否为1，即判断视频数据集合中未分配的待分配视频数据的数量是否为1，并根据判断结果执行后续步骤。
其中，第二待分配视频数据为未分配到各个物理存储节点对应的当前待分配视频数据队列中的待分配视频数据。
S1024：将第二待分配视频数据确定为第一待分配视频数据，基于各个物理存储节点的当前负载，确定一第三物理存储节点，将第一待分配视频数据分配至第三物理存储节点对应的当前待分配视频数据队列中。
在判断第二待分配视频数据的数量为1时，即只存在一个第二待分配视频数据，此时，将该存在的一个第二待分配视频数据确定为第一待分配视频数据，由于第二物理存储节点的当前负载已经改变，因此，基于各个物理存储节点的当前负载，确定一第三物理存储节点，将第一待分配视频数据分配至第三物理存储节点对应的当前待分配视频数据队列中。
在判断第二待分配视频数据的数量不为1时，即存在多个第二待分配视频数据，此时，需要返回执行步骤S1022，以便于将所存在的多个第二待分配视频数据分配到各个物理存储节点对应的当前待分配视频数据队列中。
为了方便理解，下面通过一具体实施例，对图2所示方法进行详细描述：
例如：承接上述例子，已分配第一待分配视频数据4，假设根据第二物理存储A节点上的相对速度因子预估已分配的第一待分配视频数据4在第二物理存储节点A的第四运行时间为5min，则基于所预估的第四运行时间以及第二物理存储节点A原有的负载，预估第二物理存储节点A的当前负载为：
2min+5min＝7min，则各个物理存储节点的当前负载如下表所示：
物理存储节点A 物理存储节点B 物理存储节点C
7min 11min 5min
判断视频数据集合中的第二待分配视频数据的数量是否为1，由于视频数据集合中还存在待分配视频数据1、待分配视频数据2、待分配视频数据3、待分配视频数据5、待分配视频数据6和待分配视频数据7，即第二待分配视频数据的数量为6，因此，根据第一排列顺序，确定最长运行时间对应的第一待分配视频数据1；
根据各个物理存储节点的当前负载的大小，对物理存储节点A、物理存储节点B和物理存储节点C按照当前负载从小到大的顺序进行排列，得到第二排列顺序：物理存储节点C、物理存储节点A、物理存储节点B；
根据第二排列顺序，确定最小负载对应的第二物理存储节点C；
将第一待分配视频数据1分配至第二物理存储节点C对应的当前待分配视频数据队列中，得到各个物理存储节点对应的当前待分配视频数据队列如下表所示：
物理存储节点A 物理存储节点B 物理存储节点C
第一待分配视频数据4 第一待分配视频数据1
由于已分配第一待分配视频数据1，假设根据第二物理存储节点C上的相对速度因子预估已分配的第一待分配视频数据1在第二物理存储节点C上的第四运行时间为3min，则基于所预估的第四运行时间以及第二物理存储节点C原有的负载，预估第二物理存储节点C的当前负载为：5min+3min＝8min，则各个物理存储节点的当前负载如下表所示：
物理存储节点A 物理存储节点B 物理存储节点C
7min 11min 8min
判断视频数据集合中第二待分配视频数据的数量是否为1，由于视频数据集合中还存在待分配视频数据2、待分配视频数据3、待分配视频数据5、待分配视频数据6和待分配视频数据7，即第二待分配视频数据的数量为5，因此，根据第一排列顺序，确定最长运行时间对应的第一待分配视频数据2；
根据各个物理存储节点的当前负载的大小，对物理存储节点A、物理存储节点B和物理存储节点C按照当前负载从小到大的顺序进行排列，得到第二排列顺序：物理存储节点A、物理存储节点C、物理存储节点B；
根据第二排列顺序，确定最小负载对应的第二物理存储节点A；
将第一待分配视频数据2分配至第二物理存储节点A对应的当前待分配视频数据队列中，得到各个物理存储节点对应的当前待分配视频数据队列如下表所示：
物理存储节点A 物理存储节点B 物理存储节点C
第一待分配视频数据4 第一待分配视频数据1
第一待分配视频数据2
如此继续计算直至将视频数据集合中的所有待分配视频数据分配至各个物理存储节点对应的当前待分配视频数据队列中，假设最终得到的各个物理存储节点对应的当前待分配视频数据队列如下表所示：
物理存储节点A 物理存储节点B 物理存储节点C
第一待分配视频数据4 第一待分配视频数据3 第一待分配视频数据1
第一待分配视频数据2 第一待分配视频数据5 第一待分配视频数据6
第一待分配视频数据7
S103：在各个物理存储节点运行对应的当前待分配视频数据队列中的待分配视频数据时，实时监测各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，对所存在的待迁移视频数据进行数据迁移。
在预估出各个物理存储节点对应的当前待分配视频数据队列后，即可将当前待分配视频数据队列中的待分配视频数据放置到对应的物理存储节点中运行。
由于各个物理存储节点在运行对应的当前待分配视频数据队列中的待分配视频数据时，也可能同时在接收其它的视频数据进行运行，或者遇到了故障使得自身的运行能力降低，因此，为了保证各个物理存储节点负载均衡，在各个物理存储节点运行对应的当前待分配视频数据队列中的待分配视频数据时，需要实时监测各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，对所存在的待迁移视频数据进行数据迁移。
参见图4，S103可以包括：
S1031：针对每个当前待分配视频数据队列，判断该当前待分配视频数据队列中待分配视频数据的数量是否大于预设数量，如果大于，执行步骤S1032，如果未大于，执行步骤S1035。
针对每个当前待分配视频数据队列，判断该当前待分配视频数据队列中待分配视频数据的数量是否大于预设数量，如果大于，说明该当前待分配视频数据队列中存在可迁移的视频数据。
S1032：将该当前待分配视频数据队列中的预设数量个待分配视频数据放置到对应的物理存储节点中运行，并根据运行结果确定所对应的物理存储节点上的当前相对速度因子，基于当前相对速度因子，计算该当前待分配视频数据队列中除预设数量个待分配视频数据以外的待分配视频数据的总运行时间。
在当前待分配视频数据队列中待分配视频数据的数量大于预设数量的情况下，将该当前待分配视频数据队列中的预设数量个待分配视频数据放置到对应的物理存储节点中运行。
由于该预设数量个待分配视频数据在对应的物理存储节点上运行后，将导致对应的物理存储节点上的当前相对速度因子的改变，进一步导致了各个当前待分配视频数据队列的总运行时间的改变，因此，需要基于运行结果确定所对应的物理存储节点上的当前相对速度因子，详细的计算当前相对速度因子的方法参见步骤S101，在此不再赘述。
在确定出当前相对速度因子后，基于当前相对速度因子，计算该当前待分配视频数据队列中除预设数量个待分配视频数据以外的待分配视频数据的总运行时间，即每个待分配视频数据队列中未处理的待分配视频数据的运行时间的总和。
S1033：基于所计算出的多个总运行时间，判断各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，执行步骤S1034，如果不存在，不做任何处理。
为了使各个物理存储节点负载均衡，在计算出多个总运行时间之后，需要判断各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，并进行后续步骤。
参见图5，S1033可以包括：
S10331：分别确定最大总运行时间对应的第四物理存储节点，和最小总运行时间对应的第五物理存储节点。
为了使各个物理存储节点负载均衡，需要使分布式集群中物理存储节点对应的最大总运行时间与最小总运行时间之间的目标差值是最小的，因此，分别确定最大总运行时间对应的第四物理存储节点，和最小总运行时间对应的第五物理存储节点。
S10332：确定第四物理存储节点对应的当前待分配视频数据队列中的运行时间最小的第三待分配视频数据，预估将第三待分配视频数据迁移至第五物理存储节点后，第三待分配视频数据在第五物理存储节点上的第三运行时间。
在确定了第四物理存储节点和第五物理存储节点后，确定第四物理存储节点对应的当前待分配视频数据队列中的运行时间最小的第三待分配视频数据，并预估将第三待分配视频数据迁移至第五物理存储节点后，第三待分配视频数据在第五物理存储节点上的第三运行时间，预估第三运行时间的方法参见步骤S101，在此不再赘述。
S10333：基于最大总运行时间、最小总运行时间以及第三运行时间，判断第三待分配视频数据是否为待迁移视频数据，如果是，确定各个当前待分配视频数据队列中存在待迁移视频数据，如果否，不做任何处理。
上述基于最大总运行时间、最小总运行时间以及第三运行时间，判断第三待分配视频数据是否为待迁移视频数据，可以包括：
计算最大总运行时间与最小总运行时间的第一差值；
计算最大总运行时间与第三待分配视频数据在第四物理存储节点上的第五运行时间的第二差值，以及，计算最小总运行时间与第三运行时间之和得到第一结果；
计算第二差值与所述第一结果的第三差值的绝对值；
判断第一差值与第三差值的绝对值之差是否大于预设差值阈值，如果是，确定第三待分配视频数据为待迁移视频数据。
详细的，通过以下公式判断第一差值与第三差值的绝对值之差是否大于预设差值阈值：
y＝ltjmax-ltjmin
y-x＞thrsh
其中，y为第一差值，ltjmax为最大总运行时间，ltjmin为最小总运行时间，x为第三差值，为第五运行时间，为第三运行时间，thrsh为预设差值阈值。
为了使分布式集群中物理存储节点对应的最大总运行时间与最小总运行时间之间的目标差值是最小的，需要预估将第三待分配视频数据迁移至第五物理存储节点之前的目标差值与将第三待分配视频数据迁移至第五物理存储节点之后的目标差值之差是否大于预设差值阈值，如果是，则表明将第三待分配视频数据迁移至第五物理存储节点之后，使得将要放置到各个物理存储节点上运行的待分配视频数据的总运行时间变化较大，因此，可将第三待分配视频数据迁移至第五物理存储节点，确定第三待分配视频数据为待迁移视频数据。
为了方便理解，下面通过一具体实施例，对图5所示方法进行详细描述：
例如：假设预设数量为1，假设所计算出的多个总运行时间如下表所示：
物理存储节点A 物理存储节点B 物理存储节点C
18min 17min 19min
确定最大总运行时间对应的第四物理存储节点为物理存储节点C，和最小总运行时间对应的第五物理存储节点为物理存储节点B；
假设各个物理存储节点对应的当前待分配视频数据队列中的各个待分配视频数据的运行时间如下表所示：
物理存储节点A 物理存储节点B 物理存储节点C
待分配视频数据4，6min 待分配视频数据3，10min 待分配视频数据1，9min
待分配视频数据2，12min 待分配视频数据5，7min 待分配视频数据6，3min
待分配视频数据7，7min
确定第四物理存储节点C对应的当前待分配视频数据队列中的运行时间最小的第三待分配视频数据6，预估将第三待分配视频数据6迁移至第五物理存储节点B后，第三待分配视频数据6在第五物理存储节点B上的第三运行时间；
假设第三运行时间为8min，计算最大总运行时间与最小总运行时间的第一差值为19min-17min＝2min；计算最大总运行时间与第三待分配视频数据6在第四物理存储节点C上的第五运行时间的第二差值为19min-3min＝16min；以及，计算最小总运行时间与第三运行时间之和得到第一结果为17min+8min＝25min；
计算第二差值与所述第一结果的第三差值为16min-25min＝-9min，第三差值的绝对值为9min；
判断第一差值与第三差值的绝对值之差是否大于预设差值阈值，即2min-9min＝-7min；
假设预设差值阈值为5min，由于-7min未大于5min，因此，确定第三待分配视频数据6不为待迁移视频数据。
S1034：对所存在的待迁移视频数据进行数据迁移，得到各个物理存储节点对应的目标待分配视频数据队列，将所得到的各个目标待分配视频数据队列作为各个物理存储节点对应的当前待分配视频数据队列，返回执行步骤S1031。
在确定各个当前待分配视频数据队列中存在待迁移视频数据后，对所存在的待迁移视频数据进行数据迁移，其中，对所存在的待迁移视频数据进行数据迁移可以为：将待迁移视频数据迁移至对应的物理存储节点，即承接步骤S10333在确定第三待分配视频数据为待迁移视频数据后，将第三待分配视频数据迁移至第五物理存储节点。
在对待迁移视频数据迁移进行数据迁移后，得到迁移后的各个物理存储节点对应的目标待分配视频数据队列，并将所得到的各个目标待分配视频数据队列作为各个物理存储节点对应的当前待分配视频数据队列，由于得到了视频数据迁移后的当前待分配视频数据队列，为了保证各个物理存储节点负载均衡，返回执行步骤S1031。
S1035：将该当前待分配视频数据队列中的所有待分配视频数据放置到对应的物理存储节点中运行。
当判断该当前待分配视频数据队列中待分配视频数据的数量未大于预设数量时，说明该当前待分配视频数据队列中不存在可迁移的视频数据，此时，将该当前待分配视频数据队列中的所有待分配视频数据放置到对应的物理存储节点中运行即可。
应用上述实施例，可以基于各个待分配视频数据在第一物理存储节点上的运行时间，以及各个物理存储节点的当前负载，预估各个物理存储节点对应的当前待分配视频数据队列，然后在各个物理存储节点运行对应的当前待分配视频数据队列中的待分配视频数据时，实时监测各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，对所存在的待迁移视频数据进行数据迁移。由此，通过预估的方式，得到负载均衡的将要放置到各个物理存储节点上的视频数据的当前待分配视频数据队列，并通过实时监测的方式对各个当前待分配视频数据队列中的视频数据进行迁移，使得各个当前待分配视频数据队列一直为可使各个物理存储节点负载均衡的队列，因此，在将视频数据集合中的各个待分配视频数据放置到对应的物理存储节点运行后，无需再进行数据移动以达到负载均衡，减少了集群内部网络资源的消耗。
相对于上述方法实施例，如图6所示，本发明实施例还提供了一种分布式计算平台中视频数据迁移装置，应用于分布式集群中的管理节点，所述分布式集群还包括N个物理存储节点，所述装置包括：
运行时间预估模块601，用于预估视频数据集合中的各个待分配视频数据在第一物理存储节点上的运行时间，其中，所述第一物理存储节点为所述N个物理存储节点中的任意一个物理存储节点；
当前待分配视频数据队列预估模块602，用于基于所述各个待分配视频数据在第一物理存储节点上的运行时间，以及所述各个物理存储节点的当前负载，预估所述各个物理存储节点对应的当前待分配视频数据队列，其中，各个当前待分配视频数据队列为可使各个物理存储节点负载均衡的队列；
迁移模块603，用于在各个物理存储节点运行对应的当前待分配视频数据队列中的待分配视频数据时，实时监测各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，对所存在的待迁移视频数据进行数据迁移。
应用上述实施例，可以基于各个待分配视频数据在第一物理存储节点上的运行时间，以及各个物理存储节点的当前负载，预估各个物理存储节点对应的当前待分配视频数据队列，然后在各个物理存储节点运行对应的当前待分配视频数据队列中的待分配视频数据时，实时监测各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，对所存在的待迁移视频数据进行数据迁移。由此，通过预估的方式，得到负载均衡的将要放置到各个物理存储节点上的视频数据的当前待分配视频数据队列，并通过实时监测的方式对各个当前待分配视频数据队列中的视频数据进行迁移，使得各个当前待分配视频数据队列一直为可使各个物理存储节点负载均衡的队列，因此，在将视频数据集合中的各个待分配视频数据放置到对应的物理存储节点运行后，无需再进行数据移动以达到负载均衡，减少了集群内部网络资源的消耗。
在一种实现方式中，所述运行时间预估模块601，可以具体用于：
根据第一物理存储节点上的相对速度因子，计算视频数据集合中的各个待分配视频数据在所述第一物理存储节点上的运行时间，其中，每一物理存储节点设置有一相对速度因子。
在一种实现方式中，所述当前待分配视频数据队列预估模块602，可以包括：
第一排列顺序确定单元，用于根据所述运行时间的长短，对所述待分配视频数据进行排序，得到所述待分配视频数据的第一排列顺序；
当前负载预估单元，用于基于所述第一排列顺序确定一第一待分配视频数据，基于各个物理存储节点的当前负载，确定一第二物理存储节点，将所述第一待分配视频数据分配至所述第二物理存储节点对应的当前待分配视频数据队列中，并基于已分配的第一待分配视频数据，预估所述第二物理存储节点的当前负载；
判断单元，用于判断所述视频数据集合中的第二待分配视频数据的数量是否为1，如果是，触发第一确定单元，如果否，触发第二确定单元，其中，所述第二待分配视频数据为未分配到各个物理存储节点对应的当前待分配视频数据队列中的待分配视频数据；
所述第一确定单元，用于将所述第二待分配视频数据确定为第一待分配视频数据，基于各个物理存储节点的当前负载，确定一第三物理存储节点，将所述第一待分配视频数据分配至所述第三物理存储节点对应的当前待分配视频数据队列中；
所述第二确定单元，用于触发所述当前负载预估单元。
在一种实现方式中，所述迁移模块603，可以包括：
第二判断单元，用于针对每个当前待分配视频数据队列，判断该当前待分配视频数据队列中待分配视频数据的数量是否大于预设数量，如果大于，触发总运行时间计算单元，如果未大于，触发运行单元；
所述总运行时间计算单元，用于将该当前待分配视频数据队列中的预设数量个待分配视频数据放置到对应的物理存储节点中运行，并根据运行结果确定所对应的物理存储节点上的当前相对速度因子，基于所述当前相对速度因子，计算该当前待分配视频数据队列中除所述预设数量个待分配视频数据以外的待分配视频数据的总运行时间；
第三判断单元，用于基于所计算出的多个总运行时间，判断各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，触发迁移单元；
所述迁移单元，用于对所存在待迁移视频数据进行数据迁移，得到各个物理存储节点对应的目标待分配视频数据队列，将所得到的各个目标待分配视频数据队列作为各个物理存储节点对应的当前待分配视频数据队列，触发第二判断单元；
所述运行单元，用于将该当前待分配视频数据队列中的所有待分配视频数据放置到对应的物理存储节点中运行。
在一种实现方式中，所述第三判断单元，可以具体用于：
分别确定最大总运行时间对应的第四物理存储节点，和最小总运行时间对应的第五物理存储节点；
确定所述第四物理存储节点对应的当前待分配视频数据队列中的运行时间最小的第三待分配视频数据，预估将所述第三待分配视频数据迁移至所述第五物理存储节点后，所述第三待分配视频数据在所述第五物理存储节点上的第三运行时间；
基于所述最大总运行时间、所述最小总运行时间以及所述第三运行时间，判断所述第三待分配视频数据是否为待迁移视频数据，如果是，确定各个当前待分配视频数据队列中存在待迁移视频数据。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种分布式计算平台中视频数据迁移方法，其特征在于，应用于分布式集群中的管理节点，所述分布式集群还包括N个物理存储节点，所述方法包括：
预估视频数据集合中的各个待分配视频数据在第一物理存储节点上的运行时间，其中，所述第一物理存储节点为所述N个物理存储节点中的任意一个物理存储节点；
基于所述各个待分配视频数据在第一物理存储节点上的运行时间，以及所述各个物理存储节点的当前负载，预估所述各个物理存储节点对应的当前待分配视频数据队列，其中，各个当前待分配视频数据队列为可使各个物理存储节点负载均衡的队列；
在各个物理存储节点运行对应的当前待分配视频数据队列中的待分配视频数据时，实时监测各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，对所存在的待迁移视频数据进行数据迁移。
2.根据权利要求1所述的方法，其特征在于，所述预估视频数据集合中的各个待分配视频数据在第一物理存储节点上的运行时间的步骤，包括：
根据第一物理存储节点上的相对速度因子，计算视频数据集合中的各个待分配视频数据在所述第一物理存储节点上的运行时间，其中，每一物理存储节点设置有一相对速度因子。
3.根据权利要求2所述的方法，其特征在于，所述基于所述各个待分配视频数据在第一物理存储节点上的运行时间，以及所述各个物理存储节点的当前负载，预估所述各个物理存储节点对应的当前待分配视频数据队列的步骤，包括：
根据所述运行时间的长短，对所述待分配视频数据进行排序，得到所述待分配视频数据的第一排列顺序；
基于所述第一排列顺序确定一第一待分配视频数据，基于各个物理存储节点的当前负载，确定一第二物理存储节点，将所述第一待分配视频数据分配至所述第二物理存储节点对应的当前待分配视频数据队列中，并基于已分配的第一待分配视频数据，预估所述第二物理存储节点的当前负载；
判断所述视频数据集合中的第二待分配视频数据的数量是否为1，其中，所述第二待分配视频数据为未分配到各个物理存储节点对应的当前待分配视频数据队列中的待分配视频数据；
如果是，将所述第二待分配视频数据确定为第一待分配视频数据，基于各个物理存储节点的当前负载，确定一第三物理存储节点，将所述第一待分配视频数据分配至所述第三物理存储节点对应的当前待分配视频数据队列中；
如果否，返回执行基于所述第一排列顺序确定一第一待分配视频数据的步骤。
4.根据权利要求3所述的方法，其特征在于，所述在各个物理存储节点运行对应的当前待分配视频数据队列中的待分配视频数据时，实时监测各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，对所存在的待迁移视频数据进行数据迁移的步骤，包括：
针对每个当前待分配视频数据队列，判断该当前待分配视频数据队列中待分配视频数据的数量是否大于预设数量；
如果大于，将该当前待分配视频数据队列中的预设数量个待分配视频数据放置到对应的物理存储节点中运行，并根据运行结果确定所对应的物理存储节点上的当前相对速度因子，基于所述当前相对速度因子，计算该当前待分配视频数据队列中除所述预设数量个待分配视频数据以外的待分配视频数据的总运行时间；
基于所计算出的多个总运行时间，判断各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，对所存在的待迁移视频数据进行数据迁移，得到各个物理存储节点对应的目标待分配视频数据队列，将所得到的各个目标待分配视频数据队列作为各个物理存储节点对应的当前待分配视频数据队列，返回执行针对每个当前待分配视频数据队列，判断该当前待分配视频数据队列中待分配视频数据的数量是否大于预设数量的步骤；
如果未大于，将该当前待分配视频数据队列中的所有待分配视频数据放置到对应的物理存储节点中运行。
5.根据权利要求4所述的方法，其特征在于，所述基于所计算出的多个总运行时间，判断各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据的步骤，包括：
分别确定最大总运行时间对应的第四物理存储节点，和最小总运行时间对应的第五物理存储节点；
确定所述第四物理存储节点对应的当前待分配视频数据队列中的运行时间最小的第三待分配视频数据，预估将所述第三待分配视频数据迁移至所述第五物理存储节点后，所述第三待分配视频数据在所述第五物理存储节点上的第三运行时间；
基于所述最大总运行时间、所述最小总运行时间以及所述第三运行时间，判断所述第三待分配视频数据是否为待迁移视频数据，如果是，确定各个当前待分配视频数据队列中存在待迁移视频数据。
6.一种分布式计算平台中视频数据迁移装置，其特征在于，应用于分布式集群中的管理节点，所述分布式集群还包括N个物理存储节点，所述装置包括：
运行时间预估模块，用于预估视频数据集合中的各个待分配视频数据在第一物理存储节点上的运行时间，其中，所述第一物理存储节点为所述N个物理存储节点中的任意一个物理存储节点；
当前待分配视频数据队列预估模块，用于基于所述各个待分配视频数据在第一物理存储节点上的运行时间，以及所述各个物理存储节点的当前负载，预估所述各个物理存储节点对应的当前待分配视频数据队列，其中，各个当前待分配视频数据队列为可使各个物理存储节点负载均衡的队列；
迁移模块，用于在各个物理存储节点运行对应的当前待分配视频数据队列中的待分配视频数据时，实时监测各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，对所存在的待迁移视频数据进行数据迁移。
7.根据权利要求6所述的装置，其特征在于，所述运行时间预估模块，具体用于：
根据第一物理存储节点上的相对速度因子，计算视频数据集合中的各个待分配视频数据在所述第一物理存储节点上的运行时间，其中，每一物理存储节点设置有一相对速度因子。
8.根据权利要求7所述的装置，其特征在于，所述当前待分配视频数据队列预估模块，包括：
第一排列顺序确定单元，用于根据所述运行时间的长短，对所述待分配视频数据进行排序，得到所述待分配视频数据的第一排列顺序；
当前负载预估单元，用于基于所述第一排列顺序确定一第一待分配视频数据，基于各个物理存储节点的当前负载，确定一第二物理存储节点，将所述第一待分配视频数据分配至所述第二物理存储节点对应的当前待分配视频数据队列中，并基于已分配的第一待分配视频数据，预估所述第二物理存储节点的当前负载；
判断单元，用于判断所述视频数据集合中的第二待分配视频数据的数量是否为1，如果是，触发第一确定单元，如果否，触发第二确定单元，其中，所述第二待分配视频数据为未分配到各个物理存储节点对应的当前待分配视频数据队列中的待分配视频数据；
所述第一确定单元，用于将所述第二待分配视频数据确定为第一待分配视频数据，基于各个物理存储节点的当前负载，确定一第三物理存储节点，将所述第一待分配视频数据分配至所述第三物理存储节点对应的当前待分配视频数据队列中；
所述第二确定单元，用于触发所述当前负载预估单元。
9.根据权利要求8所述的装置，其特征在于，所述迁移模块，包括：
第二判断单元，用于针对每个当前待分配视频数据队列，判断该当前待分配视频数据队列中待分配视频数据的数量是否大于预设数量，如果大于，触发总运行时间计算单元，如果未大于，触发运行单元；
所述总运行时间计算单元，用于将该当前待分配视频数据队列中的预设数量个待分配视频数据放置到对应的物理存储节点中运行，并根据运行结果确定所对应的物理存储节点上的当前相对速度因子，基于所述当前相对速度因子，计算该当前待分配视频数据队列中除所述预设数量个待分配视频数据以外的待分配视频数据的总运行时间；
第三判断单元，用于基于所计算出的多个总运行时间，判断各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，触发迁移单元；
所述迁移单元，用于对所存在待迁移视频数据进行数据迁移，得到各个物理存储节点对应的目标待分配视频数据队列，将所得到的各个目标待分配视频数据队列作为各个物理存储节点对应的当前待分配视频数据队列，触发第二判断单元；
所述运行单元，用于将该当前待分配视频数据队列中的所有待分配视频数据放置到对应的物理存储节点中运行。
10.根据权利要求9所述的装置，其特征在于，所述第三判断单元，具体用于：
分别确定最大总运行时间对应的第四物理存储节点，和最小总运行时间对应的第五物理存储节点；
确定所述第四物理存储节点对应的当前待分配视频数据队列中的运行时间最小的第三待分配视频数据，预估将所述第三待分配视频数据迁移至所述第五物理存储节点后，所述第三待分配视频数据在所述第五物理存储节点上的第三运行时间；
基于所述最大总运行时间、所述最小总运行时间以及所述第三运行时间，判断所述第三待分配视频数据是否为待迁移视频数据，如果是，确定各个当前待分配视频数据队列中存在待迁移视频数据。
CN201710231948.1A 2017-04-11 2017-04-11 一种分布式计算平台中视频数据迁移方法及装置 Pending CN106937092A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710231948.1A CN106937092A (zh) 2017-04-11 2017-04-11 一种分布式计算平台中视频数据迁移方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710231948.1A CN106937092A (zh) 2017-04-11 2017-04-11 一种分布式计算平台中视频数据迁移方法及装置

Publications (1)

Publication Number Publication Date
CN106937092A true CN106937092A (zh) 2017-07-07

Family

ID=59426304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710231948.1A Pending CN106937092A (zh) 2017-04-11 2017-04-11 一种分布式计算平台中视频数据迁移方法及装置

Country Status (1)

Country Link
CN (1) CN106937092A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844593A (zh) * 2017-11-17 2018-03-27 北京邮电大学 一种分布式计算平台中视频数据分布方法及装置
CN110008199A (zh) * 2019-03-25 2019-07-12 华南理工大学 一种基于访问热度的数据迁移部署方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105187547A (zh) * 2015-09-25 2015-12-23 浪潮(北京)电子信息产业有限公司 一种负载均衡方法与系统
US9264376B2 (en) * 2010-10-18 2016-02-16 International Business Machines Corporation Reallocating resource capacity among resource pools in a cloud computing environment
CN105791431A (zh) * 2016-04-26 2016-07-20 北京邮电大学 一种在线分布式监控视频处理任务调度方法及装置
CN106095572A (zh) * 2016-06-08 2016-11-09 东方网力科技股份有限公司 一种大数据处理的分布式调度系统及方法
CN106095940A (zh) * 2016-06-14 2016-11-09 齐鲁工业大学 一种基于任务负载的数据迁移方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9264376B2 (en) * 2010-10-18 2016-02-16 International Business Machines Corporation Reallocating resource capacity among resource pools in a cloud computing environment
CN105187547A (zh) * 2015-09-25 2015-12-23 浪潮(北京)电子信息产业有限公司 一种负载均衡方法与系统
CN105791431A (zh) * 2016-04-26 2016-07-20 北京邮电大学 一种在线分布式监控视频处理任务调度方法及装置
CN106095572A (zh) * 2016-06-08 2016-11-09 东方网力科技股份有限公司 一种大数据处理的分布式调度系统及方法
CN106095940A (zh) * 2016-06-14 2016-11-09 齐鲁工业大学 一种基于任务负载的数据迁移方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAITAO ZHANG， BIN XU ET AL: "Proactive Data Placement for Surveillance Video Processing in Heterogeneous Cluster", 《2016 IEEE 8TH INTERNATIONAL CONFERENCE ON CLOUD COMPUTING TECHNOLOGY AND SCIENCE》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844593A (zh) * 2017-11-17 2018-03-27 北京邮电大学 一种分布式计算平台中视频数据分布方法及装置
CN107844593B (zh) * 2017-11-17 2021-09-03 北京邮电大学 一种分布式计算平台中视频数据分布方法及装置
CN110008199A (zh) * 2019-03-25 2019-07-12 华南理工大学 一种基于访问热度的数据迁移部署方法

Similar Documents

Publication Publication Date Title
Szorenyi et al. Gossip-based distributed stochastic bandit algorithms
Dereli et al. A hybrid ‘bee (s) algorithm’for solving container loading problems
Olsson An inventory model with unidirectional lateral transshipments
CN112486690B (zh) 一种适用于工业物联网的边缘计算资源分配方法
CN113412494B (zh) 一种确定传输策略的方法及装置
CN106650928A (zh) 一种神经网络的优化方法及装置
CN108121312B (zh) 基于一体化水电管控平台的arv负载均衡系统及方法
CN107958349A (zh) 任务分配方法、装置、计算机设备和存储介质
CN106937092A (zh) 一种分布式计算平台中视频数据迁移方法及装置
Kaliaev Multiagent approach for building distributed adaptive computing system
CN108196957A (zh) 一种云环境下的主机负载预测方法
CN114386570A (zh) 一种基于多分支神经网络模型的异构联邦学习训练方法
CN107704322A (zh) 请求分配方法及装置
CN105335376B (zh) 一种流处理方法、装置及系统
CN117331700B (zh) 一种算力网络资源调度系统及方法
CN109242161A (zh) 基于大数据的配送路线的生成方法及终端设备
CN105138391B (zh) 面向广域分布云系统公平的多任务虚拟机分配方法
KR20210115370A (ko) 공유 ｇｐｕ 클러스터를 위한 분산 딥러닝 작업 스케줄링 방법 및 이를 기록한 컴퓨터 판독 가능 기록매체
CN107026862A (zh) 一种分布式计算平台中视频数据放置方法及装置
CN110830294A (zh) 一种基于分支定界法的边缘计算任务分配方法
Checiu et al. Observability and controllability of autonomic computing systems for composed web services
CN107203545A (zh) 一种数据处理方法及装置
Huang et al. H∞ synchronization and robust H∞ synchronization of coupled neural networks with non-identical nodes
CN114513423B (zh) 一种带宽调节方法、装置、设备及存储介质
CN114298331A (zh) 数据处理方法及装置、设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170707