CN107844593A - 一种分布式计算平台中视频数据分布方法及装置 - Google Patents

一种分布式计算平台中视频数据分布方法及装置 Download PDF

Info

Publication number
CN107844593A
CN107844593A CN201711147816.7A CN201711147816A CN107844593A CN 107844593 A CN107844593 A CN 107844593A CN 201711147816 A CN201711147816 A CN 201711147816A CN 107844593 A CN107844593 A CN 107844593A
Authority
CN
China
Prior art keywords
node
duration
load
video data
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711147816.7A
Other languages
English (en)
Other versions
CN107844593B (zh
Inventor
张海涛
马华东
高阳阳
唐炳昌
徐政钧
耿欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201711147816.7A priority Critical patent/CN107844593B/zh
Publication of CN107844593A publication Critical patent/CN107844593A/zh
Application granted granted Critical
Publication of CN107844593B publication Critical patent/CN107844593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/119—Details of migration of file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例提供了一种分布式计算平台中视频数据分布方法及装置，上述方法包括：在各节点的初始负载不满足预设的均衡条件下，确定将各高负载节点中的每一视频数据块，分别迁移到各低负载节点进行处理所需的时长，得到目标时长集合，根据目标时长集合，如果第一时长与第二时长的时长比值，小于或等于第二目标节点的初始负载与第一目标节点的初始负载的负载比值，将第一时长对应的视频数据块迁移到第一目标节点进行处理，否则，将第二时长对应的视频数据块迁移到第二目标节点进行处理。基于上述处理，能够避免将高负载节点上的视频数据块迁移到视频数据处理能力弱的节点上，进而提高视频任务的处理效率。

Description

一种分布式计算平台中视频数据分布方法及装置
技术领域
本发明涉及数据迁移技术领域，特别是涉及一种分布式计算平台中视频数据分布方法、装置、电子设备及计算机可读存储介质。
背景技术
视频数据存储架构通常包含多个节点。由于各节点存储的视频数据量不同，随着视频数据处理的进行，各节点之间的负载的差异可能会越来越大，进而导致整个视频数据存储架构的负载严重不均衡。
为了解决上述问题，现有技术主要采用HDFS(Hadoop Distributed File System，称为分布式文件系统)作为视频数据的分布式存储方案。HDFS可以在视频数据处理过程中，将视频数据存储架构中负载较高的节点上的视频数据块迁移到负载较低的节点上进行处理，进而实现整个视频数据存储架构的负载均衡。
然而，各节点的视频数据处理能力可能各不相同，上述处理会造成将高负载节点上的视频数据块迁移到视频数据处理能力弱的节点上的情况，导致视频任务的处理效率低。
发明内容
本发明实施例的目的在于提供一种分布式计算平台中视频数据分布方法、装置、电子设备及计算机可读存储介质，可以提高视频任务的处理效率。具体技术方案如下：
第一方面，为了达到上述目的，本发明实施例公开了一种分布式计算平台中视频数据分布方法，上述方法包括：
获取各节点的初始负载，其中，每一节点的初始负载为本次视频数据迁移前，该节点完成视频数据处理所需的时间；
如果所述各节点的初始负载不满足预设的均衡条件，确定将各高负载节点中的每一视频数据块，分别迁移到各低负载节点进行处理所需的时长，得到目标时长集合；其中，所述高负载节点是所述各节点中初始负载大于平均负载的节点，所述低负载节点是所述各节点中初始负载小于所述平均负载的节点，所述平均负载为所述各节点的初始负载的平均值；
判断第一时长与第二时长的时长比值，是否小于或等于第二目标节点的初始负载与第一目标节点的初始负载的负载比值，其中，所述第一时长为所述目标时长集合中的最短时长，所述第一目标节点为所述第一时长对应的低负载节点，所述第二目标节点为所述各节点中初始负载最小的节点，所述第二时长为所述目标时长集合中所述第二目标节点对应的最短时长；
如果所述时长比值小于或等于所述负载比值，将所述第一时长对应的视频数据块迁移到所述第一目标节点进行处理；
如果所述时长比值大于所述负载比值，将所述第二时长对应的视频数据块迁移到所述第二目标节点进行处理。
可选的，所述确定将各高负载节点中的每一视频数据块，分别迁移到各低负载节点进行处理所需的时长，包括：
针对每一低负载节点，分别确定将所述各高负载节点中的每一视频数据块，迁移到该低负载节点所需的迁移时长，以及该低负载节点完成该视频数据块处理所需的处理时长；
将所述迁移时长和该低负载节点的初始负载中的最大值，作为该低负载节点处理该视频数据块的等待时长；
将所述处理时长和所述等待时长的和值，作为将该视频数据块迁移到该低负载节点进行处理所需的时长。
可选的，所述分别确定将所述各高负载节点中的每一视频数据块，迁移到该低负载节点所需的迁移时长，包括：
分别确定从所述各高负载节点读取每一视频数据块所需的第一读取时长、将该视频数据块从所属的高负载节点传输到该低负载节点所需的传输时长、以及将该视频数据块写入该低负载节点所需的写入时长；
将所述第一读取时长、所述传输时长和所述写入时长的和值，作为将该视频数据块从所属的高负载节点，迁移到该低负载节点所需的迁移时长。
可选的，所述确定该低负载节点完成该视频数据块处理所需的处理时长，包括：
确定该低负载节点读取该视频数据块所需的第二读取时长，以及该低负载节点处理该视频数据块对应的视频任务所需的任务时长；
将所述第二读取时长和所述任务时长的和值，作为该低负载节点完成该视频数据块处理所需的处理时长。
可选的，所述确定该低负载节点处理该视频数据块对应的视频任务所需的任务时长，包括：
确定该低负载节点处理单位时长的该视频数据块对应的视频任务所需的平均处理时长；
根据所述平均处理时长和该视频数据块的视频时长，确定该低负载节点处理该视频数据块对应的视频任务所需的任务时长。
第二方面，为达到上述目的，本发明实施例公开了一种分布式计算平台中视频数据分布装置，上述装置包括：
获取模块，用于获取各节点的初始负载，其中，每一节点的初始负载为本次视频数据迁移前，该节点完成视频数据处理所需的时间；
确定模块，用于如果所述各节点的初始负载不满足预设的均衡条件，确定将各高负载节点中的每一视频数据块，分别迁移到各低负载节点进行处理所需的时长，得到目标时长集合；其中，所述高负载节点是所述各节点中初始负载大于平均负载的节点，所述低负载节点是所述各节点中初始负载小于所述平均负载的节点，所述平均负载为所述各节点的初始负载的平均值；
判断模块，用于判断第一时长与第二时长的时长比值，是否小于或等于第二目标节点的初始负载与第一目标节点的初始负载的负载比值，其中，所述第一时长为所述目标时长集合中的最短时长，所述第一目标节点为所述第一时长对应的低负载节点，所述第二目标节点为所述各节点中初始负载最小的节点，所述第二时长为所述目标时长集合中所述第二目标节点对应的最短时长；如果所述时长比值小于或等于所述负载比值，触发第一迁移模块，如果所述时长比值大于所述负载比值，触发第二迁移模块；
所述第一迁移模块，用于将所述第一时长对应的视频数据块迁移到所述第一目标节点进行处理；
所述第二迁移模块，用于将所述第二时长对应的视频数据块迁移到所述第二目标节点进行处理。
可选的，所述确定模块，包括：
第一确定子模块，用于针对每一低负载节点，分别确定将所述各高负载节点中的每一视频数据块，迁移到该低负载节点所需的迁移时长，以及该低负载节点完成该视频数据块处理所需的处理时长；
第二确定子模块，用于将所述迁移时长和该低负载节点的初始负载中的最大值，作为该低负载节点处理该视频数据块的等待时长；
第三确定子模块，用于将所述处理时长和所述等待时长的和值，作为将该视频数据块迁移到该低负载节点进行处理所需的时长。
可选的，所述第一确定子模块，具体用于分别确定从所述各高负载节点读取每一视频数据块所需的第一读取时长、将该视频数据块从所属的高负载节点传输到该低负载节点所需的传输时长、以及将该视频数据块写入该低负载节点所需的写入时长；
将所述第一读取时长、所述传输时长和所述写入时长的和值，作为将该视频数据块从所属的高负载节点，迁移到该低负载节点所需的迁移时长。
可选的，所述第一确定子模块，具体用于确定该低负载节点读取该视频数据块所需的第二读取时长，以及该低负载节点处理该视频数据块对应的视频任务所需的任务时长；
将所述第二读取时长和所述任务时长的和值，作为该低负载节点完成该视频数据块处理所需的处理时长。
可选的，所述第一确定子模块，具体用于确定该低负载节点处理单位时长的该视频数据块对应的视频任务所需的平均处理时长；
根据所述平均处理时长和该视频数据块的视频时长，确定该低负载节点处理该视频数据块对应的视频任务所需的任务时长。
在本发明实施的另一方面，为了达到上述目的，本发明实施例还公开了一种电子设备，所述电子设备包括处理器和存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现如上述第一方面所述的分布式计算平台中视频数据分布方法。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，实现如上述第一方面所述的分布式计算平台中视频数据分布方法。
在本发明实施的又一方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的分布式计算平台中视频数据分布方法。
本发明实施例提供的一种分布式计算平台中视频数据分布方法、装置、电子设备及计算机可读存储介质。上述方法包括：在各节点的初始负载不满足预设的均衡条件下，确定将各高负载节点中的每一视频数据块，分别迁移到各低负载节点进行处理所需的时长，得到目标时长集合，根据目标时长集合，判断第一时长与第二时长的时长比值，是否小于或等于第二目标节点的初始负载与第一目标节点的初始负载的负载比值，如果时长比值小于或等于负载比值，将第一时长对应的视频数据块迁移到第一目标节点进行处理，否则，将第二时长对应的视频数据块迁移到第二目标节点进行处理。基于上述处理，可以综合各节点的当前负载和各节点的视频数据处理能力，进行视频数据的迁移，能够避免将高负载节点上的视频数据块迁移到视频数据处理能力弱的节点上，进而提高视频任务的处理效率。
当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种分布式计算平台中视频数据分布方法的流程图；
图2为本发明实施例提供的一种分布式计算平台中视频数据分布装置的结构图；
图3为本发明实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种分布式计算平台中视频数据分布方法、装置、电子设备及计算机可读存储介质，上述方法通常可以应用于包含多个节点的服务器集群，其中，每个节点可以具有存储视频数据的功能和处理视频数据的功能。服务器集群可以在各节点的初始负载不满足预设的均衡条件下，确定将各高负载节点中的每一视频数据块，分别迁移到各低负载节点进行处理所需的时长，得到目标时长集合。服务器集群可以根据目标时长集合，判断第一时长与第二时长的时长比值，是否小于或等于第二目标节点的初始负载与第一目标节点的初始负载的负载比值，如果时长比值小于或等于负载比值，将第一时长对应的视频数据块迁移到第一目标节点进行处理，否则，将第二时长对应的视频数据块迁移到第二目标节点进行处理。服务器集群可以综合各节点的当前负载和各节点的视频数据处理能力迁移视频数据块，能够避免将高负载节点上的视频数据块迁移到视频数据处理能力弱的节点上，进而提高视频任务的处理效率。
参见图1，图1为本发明实施例提供的一种分布式计算平台中视频数据分布方法的流程图，包括：
S101：获取各节点的初始负载。
其中，每一节点的初始负载可以为本次视频数据迁移前，该节点完成视频数据处理所需的时长。
一种实现方式中，服务器集群的视频数据存储架构可以包含多个节点，每个节点上可以只配置一种存储媒介，例如，SSD(Solid-State Drive，称为固态硬盘)或者HDD(HardDisk Drive，称为硬盘驱动器)，每个节点上也可以配置有上述两种存储媒介。以ρ表示视频存储架构的节点集合，对于节点集合中的每一个节点pi(pi∈ρ)，L(pi)表示节点pi完成该节点的存储媒介(包括SSD上和/或HDD)上所有视频数据处理所需的时长，即节点pi的初始负载。
具体的，表示节点pi的SSD，表示节点pi的HDD，和分别表示节点pi的SSD的平均视频数据读取速率和平均视频数据写入速率，和分别表示节点pi的HDD的平均视频数据读取速率和平均视频数据写速率。
集合R＝{r1，r2，…rm}可以表示所有节点上的视频数据块不同的分辨率，其中，m表示分辨率种类的数目，rm表示集合R中的第m种分辨率；用集合F＝{f1，f2，…fn}可以表示所有节点上的视频数据块不同的帧率，其中，n表示帧率种类的数目，fn表示集合F中的第n种帧率。因此，视频数据的质量Q可以用公式(1)表示。
Q＝R×F (1)
其中，集合Q可以是集合R和集合F的笛卡尔积。示例性的：R＝{r1，r2}，F＝{f1，f2}，则Q＝{(r1，f1)，(r1，f2)，(r2，f1)，(r2，f1)}。集合Q中的每一个元素表示一个标准视频质量级别，可以用QR表示。
可以用集合Z＝{z1，z2，…zq}表示不同的视频任务类型，如视频浓缩、越界检测等视频任务类型。其中，q表示视频任务类型的数目，zq表示集合Z中第q个视频任务类型。结合集合Q和集合Z，服务器集群可以根据公式(2)得到集合S。
S＝Q×Z (2)
其中，集合S可以是集合Q和集合Z的笛卡尔积，集合S中的每一个元素代表一种视频任务处理模型，可以用SVPM表示。示例性的：Q＝{(r1,f1),(r2,f2)}，Z＝{z1,z2}，则S＝{(z1,r1,f1),(z1,r2,f2),(z2,r1,f1),(z2,r2,f2)}。
对于节点pi，表示该节点平均每处理单位时长的视频数据对应的视频任务所需的运算时间的集合，其中，表示节点pi平均处理单位时长的SVPM为sj的视频数据对应的视频任务所需的时长。服务器集群可以预先在节点pi上处理多个SVPM为sj的视频数据块对应的视频任务，针对每个SVPM为sj的视频数据块对应的视频任务，服务器集群可以在该视频任务开始时计时，当节点pi处理完该视频任务时，停止计时，获得节点pi处理该视频任务所需的时长。服务器集群可以获得节点pi处理所有SVPM为sj的视频数据块对应的视频任务所需的时长，然后可以根据SVPM为sj的视频数据块的视频时长，计算
具体的，服务器集群可以根据公式(3)，计算节点pi处理第j个视频数据块对应的视频任务所需的时长。
其中，表示节点pi处理第j个视频数据块对应的视频任务所需的时长，sk表示第j个视频数据块的SVPM，表示节点pi平均处理单位时长的SVPM为sk的视频数据对应的视频任务所需的时长(即平均处理时长)，表示第j个视频数据块的视频时长，其中，和分别表示第j个视频数据块的视频开始时间和结束时间。表示节点pi上第j个视频数据块dbi,j的视频大小。表示节点pi的平均数据读速率。如果视频数据块dbi,j存储在节点pi的SSD中，则为如果视频数据块dbi,j存储在节点pi的HDD中，则为
由上述可以看出，本发明申请可以根据视频数据块所存储在的存储媒介的不同和视频数据块对应的视频任务的不同，计算节点处理视频数据块对应的视频任务所需的时长。基于上述处理，能够得到更全面、更精确的处理数据，进而能够提高视频任务的处理效率。
示例性的，节点pi上共有M个视频数据块，则节点pi处理完M个视频数据块对应的视频任务所需的时长(即初始负载)，可以用公式(4)表示。
其中，L(pi)表示节点pi的初始负载，M表示节点pi上的视频数据块的数目，表示节点pi处理第i个视频数据块对应的视频任务所需的时长。
S102：如果各节点的初始负载不满足预设的均衡条件，确定将各高负载节点中的每一视频数据块，分别迁移到各低负载节点进行处理所需的时长，得到目标时长集合。
其中，高负载节点是各节点中初始负载大于平均负载的节点，低负载节点是各节点中初始负载小于平均负载的节点，平均负载为各节点的初始负载的平均值。
一种实现方式中，服务器集群可以根据公式(5)计算平均负载。
其中，Lavg表示平均负载，|ρ|表示节点集合ρ中节点的数目，L(pi)表示节点pi的初始负载，i表示节点的序号，pi表示第i个节点。
ph表示所有高负载节点，pl表示所有低负载节点。服务器集群可以根据公式(6)判断各节点的初始负载是否预设的均衡条件。
其中，表示ph的平均负载，表示pl的平均负载，thrsh表示预设的阈值。如果公式(6)成立，服务器集群可以确定各节点的初始负载满足预设的均衡条件，此时不需要进行视频数据的迁移，否则，服务器集群确定各节点的初始负载不满足预设的均衡条件。
针对各高负载节点中的每一视频数据块，服务器集群可以从迁移该视频数据块时开始计时，当低负载节点接收到该视频数据块并完成该视频数据块对应是视频任务时，服务器集群可以停止计时，得到目标时长集合。
可选的，服务器集群可以根据低负载节点的初始负载，将视频数据块从高负载节点迁移到低负载节点所需的时长，以及低负载节点完成视频数据块处理所需的时长确定将视频数据块迁移到低负载节点进行处理所需的时长。
具体的，上述处理步骤可以包括：针对每一低负载节点，分别确定将各高负载节点中的每一视频数据块，迁移到该低负载节点所需的迁移时长，以及该低负载节点完成该视频数据块处理所需的处理时长，将迁移时长和该低负载节点的初始负载中的最大值，作为该低负载节点处理该视频数据块的等待时长，将处理时长和等待时长的和值，作为将该视频数据块迁移到该低负载节点进行处理所需的时长。
一种实现方式中，对于所有高负载节点上的视频数据块组成的集合其中，|ph|表示ph中的节点的数目，服务器集群可以分别计算将其中的任意一个视频数据块迁移到节点pj(pj∈pl)进行处理所需的时长Ci,j,k，dbi,k表示节点pi上的第k个视频数据块，服务器集群可以根据公式(7)计算Ci,j,k。
Ci,j,k＝Ei,j,k+Zi,j,k (7)
其中，Ei,j,k表示节点pj处理视频数据块dbi,k对应的视频任务所需的处理时长，具体计算方法可以参考公式(3)，Zi,j,k表示节点pj处理视频数据块dbi,k的等待时长。
只有节点pj的当前剩余的存储空间大小(SSD当前剩余的存储空间大小或HDD当前剩余的存储空间大小)满足视频数据块dbi,k的存储空间需求时，服务器集群才会将视频数据块dbi,k迁移到节点pj进行处理。如果节点pj的SSD和HDD中任一个存储媒介的当前剩余空间大小都不满足视频数据块dbi,k的存储空间需求，服务器集群则可以设置对应的Ei,j,k＝∞，Zi,j,k＝∞。
具体的，服务器集群可以根据公式(8)计算Zi,j,k。
其中，L(pj)表示节点pj的初始负载，表示将视频数据块dbi,k从节点pi迁移到节点pi的迁移时长。
可选的，服务器集群可以根据从高负载节点读取视频数据块所需的时长，将视频数据块从高负载节点传输到低负载节点所需的时长，以及将视频数据块写入低负载节点所需的时长确定上述迁移时长。
具体的，上述处理步骤可以包括：分别确定从各高负载节点读取每一视频数据块所需的第一读取时长、将该视频数据块从所属的高负载节点传输到该低负载节点所需的传输时长、以及将该视频数据块写入该低负载节点所需的写入时长，将第一读取时长、传输时长和写入时长的和值，作为将该视频数据块从所属的高负载节点，迁移到该低负载节点所需的迁移时长。
一种实现方式中，服务器集群可以根据公式(9)计算
其中，表示从节点pi的存储媒介(可以是SSD或者HDD)上读取视频数据块dbi,k的时长(即第一读取时长)，表示通过网络将视频数据块dbi,k从节点pi传输到节点pj的时长(即传输时长)，表示是将视频数据块dbi,k写入到节点pj的存储媒介上的时长(即写入时长)。
具体的，服务器集群可以根据公式(10)计算
其中，表示读取视频数据块dbi,j所需的时长，二进制变量oi,j表示存储媒介类型标识，oi,j为1表示视频数据块dbi,j存储在节点pi的SSD上，oi,j为0表示视频数据块dbi,j存储在节点pi的HDD上，表示视频数据块dbi,j的视频大小。
服务器集群可以根据公式(11)计算
其中，βi,j表示节点pi和节点pj之间的网络传输速率，表示视频数据块dbi,j的视频大小。服务器集群可以利用网络性能测试工具周期性地获取多个网络传输速率，并计算获得的多个网络传输速率的平均值，作为上述公式(11)的βi,j，网络性能测试工具可以是Netperf。
服务器集群可以根据公式(12)计算
其中，表示节点pj的SSD的剩余存储空间大小，表示节点pj的HDD的剩余存储空间大小。根据公式(12)可以看出，如果节点pj的SSD剩余存储空间大小满足视频数据块dbi,j所需的存储空间，服务器集群会将视频数据块dbi,j迁移到节点pj的SSD上，只有节点pj的SSD剩余存储空间大小不能满足视频数据块dbi,j所需的存储空间，且节点pj的HDD剩余存储空间大小满足视频数据块dbi,j所需的存储空间时，服务器集群才会将视频数据块dbi,j迁移到节点pj的HDD上。
服务器集群可以根据公式(13)计算和
其中，和分别表示节点pi的SSD的总存储空间大小和节点pi的HDD的总存储空间大小，表示节点pj的SSD上的第m个视频数据块的大小，表示节点pj的HDD上的第m个视频数据块的大小，表示节点pj的SDD上的视频数据块的数目，表示节点pj的HDD上的视频数据块的数目。
可选的，服务器集群可以将低负载节点读取视频数据块所需的时长和处理视频数据块对应的视频任务的时长的和值，作为上述处理时长，具体的，上述处理步骤可以包括：
确定该低负载节点读取该视频数据块所需的第二读取时长，以及该低负载节点处理该视频数据块对应的视频任务所需的任务时长，将第二读取时长和任务时长的和值，作为该低负载节点完成该视频数据块处理所需的处理时长。
一种实现方式中，服务器集群可以根据公式(10)计算第二读取时长，根据低负载节点处理视频任务所需的平均时长计算上述任务时长。
可选的，服务器集群可以根据视频数据块的视频时长和低负载节点的平均处理时长计算上述任务时长，具体的，上述处理步骤可以包括：
确定该低负载节点处理单位时长的该视频数据块对应的视频任务所需的平均处理时长，根据平均处理时长和该视频数据块的视频时长，确定该低负载节点处理该视频数据块对应的视频任务所需的任务时长。
一种实现方式中，对于视频数据块dbi,j，其SVPM为sj，可以用表示节点pi平均处理单位时长的视频数据块dbi,j对应的视频任务所需的时长(即平均处理时长)，用表示视频数据块dbi,j的视频时长，其中，和分别表示视频数据块dbi,j的视频开始时间和结束时间，可以得出为节点pi处理视频数据块dbi,j对应的视频任务所需的任务时长。
S103：判断第一时长与第二时长的时长比值，是否小于或等于第二目标节点的初始负载与第一目标节点的初始负载的负载比值。如果时长比值小于或等于负载比值，执行S104，否则，执行S105。
其中，第一时长为目标时长集合中的最短时长，第一目标节点为第一时长对应的低负载节点，第二目标节点为各节点中初始负载最小的节点，第二时长为目标时长集合中第二目标节点对应的最短时长。
一种实现方式中，服务器集群可以根据公式(14)计算目标时长集合中的最短时长(即第一时长)。
其中，i表示ph中节点的序号，j表示pl中节点的序号，k表示ph中视频数据块的序号，表示将视频数据块从高负载节点迁移到低负载节点进行处理所需的时长。结合公式(7)和公式(8)可知，服务器集群在确定了第一时长时，也即确定了将视频数据块迁移到低负载节点的SSD或HDD中。
对于初始负载最小的节点服务器集群可以根据公式(15)计算将视频数据块从高负载节点迁移到节点上进行处理所需的最短时长(即第二时长)，表示将视频数据块从高负载节点迁移到低负载节点进行处理所需的时长。服务器集群在确定了第二时长时，也即确定了将视频数据块迁移到低负载节点的SSD或HDD中。
时长比值可以用公式(16)表示，
负载比值可以用公式(17)表示，
S104：将第一时长对应的视频数据块迁移到第一目标节点进行处理。
一种实现方式中，服务器集群可以从节点读取视频数据块然后将视频数据块传输到节点写入节点的存储媒介中。具体的，服务器集群可以根据公式(14)确定将视频数据块写入到节点的SSD或者HDD中。
S105：将第二时长对应的视频数据块迁移到第二目标节点进行处理。
一种实现方式中，服务器集群可以从节点读取视频数据块然后将视频数据块传输到节点写入节点的存储媒介中。具体的，服务器集群可以根据公式(14)确定将视频数据块写入到节点的SSD或者HDD中。
由上述可见，应用本发明的分布式计算平台中视频数据分布方法，服务器集群可以综合各节点的当前负载和各节点的视频数据处理能力迁移视频数据块，能够避免将高负载节点上的视频数据块迁移到视频数据处理能力弱的节点上，进而提高视频任务的处理效率。
服务器集群完成本次视频数据块的迁移后，可以再次判断当前各节点的初始负载是否满足预设的均衡条件，如果满足预设的均衡条件，则不做任何处理，如果不满足预设的均衡条件，则继续按照上述方法迁移视频数据块，直至各节点当前的初始负载满足预设的均衡条件为止。
与方法实施例相对应，参见图2，图2为本发明实施例提供的一种分布式计算平台中视频数据分布装置的结构图，包括：
获取模块201，用于获取各节点的初始负载，其中，每一节点的初始负载为本次视频数据迁移前，该节点完成视频数据处理所需的时间；
确定模块202，用于如果所述各节点的初始负载不满足预设的均衡条件，确定将各高负载节点中的每一视频数据块，分别迁移到各低负载节点进行处理所需的时长，得到目标时长集合；其中，所述高负载节点是所述各节点中初始负载大于平均负载的节点，所述低负载节点是所述各节点中初始负载小于所述平均负载的节点，所述平均负载为所述各节点的初始负载的平均值；
判断模块203，用于判断第一时长与第二时长的时长比值，是否小于或等于第二目标节点的初始负载与第一目标节点的初始负载的负载比值，其中，所述第一时长为所述目标时长集合中的最短时长，所述第一目标节点为所述第一时长对应的低负载节点，所述第二目标节点为所述各节点中初始负载最小的节点，所述第二时长为所述目标时长集合中所述第二目标节点对应的最短时长；如果所述时长比值小于或等于所述负载比值，触发第一迁移模块204，如果所述时长比值大于所述负载比值，触发第二迁移模块205；
所述第一迁移模块204，用于将所述第一时长对应的视频数据块迁移到所述第一目标节点进行处理；
所述第二迁移模块205，用于将所述第二时长对应的视频数据块迁移到所述第二目标节点进行处理。
在本发明实施例中，所述确定模块202，包括：
第一确定子模块，用于针对每一低负载节点，分别确定将所述各高负载节点中的每一视频数据块，迁移到该低负载节点所需的迁移时长，以及该低负载节点完成该视频数据块处理所需的处理时长；
第二确定子模块，用于将所述迁移时长和该低负载节点的初始负载中的最大值，作为该低负载节点处理该视频数据块的等待时长；
第三确定子模块，用于将所述处理时长和所述等待时长的和值，作为将该视频数据块迁移到该低负载节点进行处理所需的时长。
在本发明实施例中，所述第一确定子模块，具体用于分别确定从所述各高负载节点读取每一视频数据块所需的第一读取时长、将该视频数据块从所属的高负载节点传输到该低负载节点所需的传输时长、以及将该视频数据块写入该低负载节点所需的写入时长；
将所述第一读取时长、所述传输时长和所述写入时长的和值，作为将该视频数据块从所属的高负载节点，迁移到该低负载节点所需的迁移时长。
在本发明实施例中，所述第一确定子模块，具体用于确定该低负载节点读取该视频数据块所需的第二读取时长，以及该低负载节点处理该视频数据块对应的视频任务所需的任务时长；
将所述第二读取时长和所述任务时长的和值，作为该低负载节点完成该视频数据块处理所需的处理时长。
在本发明实施例中，所述第一确定子模块，具体用于确定该低负载节点处理单位时长的该视频数据块对应的视频任务所需的平均处理时长；
根据所述平均处理时长和该视频数据块的视频时长，确定该低负载节点处理该视频数据块对应的视频任务所需的任务时长。
本发明实施例还提供了一种电子设备，如图3所示，包括处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信，
存储器303，用于存放计算机程序；
处理器301，用于执行存储器303上所存放的程序时，实现如下步骤：
获取各节点的初始负载，其中，每一节点的初始负载为本次视频数据迁移前，该节点完成视频数据处理所需的时间；
如果所述各节点的初始负载不满足预设的均衡条件，确定将各高负载节点中的每一视频数据块，分别迁移到各低负载节点进行处理所需的时长，得到目标时长集合；其中，所述高负载节点是所述各节点中初始负载大于平均负载的节点，所述低负载节点是所述各节点中初始负载小于所述平均负载的节点，所述平均负载为所述各节点的初始负载的平均值；
判断第一时长与第二时长的时长比值，是否小于或等于第二目标节点的初始负载与第一目标节点的初始负载的负载比值，其中，所述第一时长为所述目标时长集合中的最短时长，所述第一目标节点为所述第一时长对应的低负载节点，所述第二目标节点为所述各节点中初始负载最小的节点，所述第二时长为所述目标时长集合中所述第二目标节点对应的最短时长；
如果所述时长比值小于或等于所述负载比值，将所述第一时长对应的视频数据块迁移到所述第一目标节点进行处理；
如果所述时长比值大于所述负载比值，将所述第二时长对应的视频数据块迁移到所述第二目标节点进行处理。
上述电子设备提到的通信总线304可以是外设部件互连标准(PeripheralComponent Interconnect，简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture，简称EISA)总线等。该通信总线304可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口302用于上述电子设备与其他设备之间的通信。
存储器303可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器303还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器301可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供的电子设备，可以综合各节点的当前负载和各节点的视频数据处理能力，进行视频数据的迁移，能够避免将高负载节点上的视频数据块迁移到视频数据处理能力弱的节点上，进而提高视频任务的处理效率。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行本发明实施例提供的分布式计算平台中视频数据分布方法。
具体的，上述分布式计算平台中视频数据分布方法，包括：
获取各节点的初始负载，其中，每一节点的初始负载为本次视频数据迁移前，该节点完成视频数据处理所需的时间；
如果所述各节点的初始负载不满足预设的均衡条件，确定将各高负载节点中的每一视频数据块，分别迁移到各低负载节点进行处理所需的时长，得到目标时长集合；其中，所述高负载节点是所述各节点中初始负载大于平均负载的节点，所述低负载节点包括所述各节点中初始负载小于所述平均负载的节点，所述平均负载为所述各节点的初始负载的平均值；
判断第一时长与第二时长的时长比值，是否小于或等于第二目标节点的初始负载与第一目标节点的初始负载的负载比值，其中，所述第一时长为所述目标时长集合中的最短时长，所述第一目标节点为所述第一时长对应的低负载节点，所述第二目标节点为所述各节点中初始负载最小的节点，所述第二时长为所述目标时长集合中所述第二目标节点对应的最短时长；
如果所述时长比值小于或等于所述负载比值，将所述第一时长对应的视频数据块迁移到所述第一目标节点进行处理；
如果所述时长比值大于所述负载比值，将所述第二时长对应的视频数据块迁移到所述第二目标节点进行处理。
需要说明的是，上述分布式计算平台中视频数据分布方法的其他实现方式与前述方法实施例部分相同，这里不再赘述。
通过运行本发明实施例提供的计算机可读存储介质中存储的指令，可以综合各节点的当前负载和各节点的视频数据处理能力，进行视频数据的迁移，能够避免将高负载节点上的视频数据块迁移到视频数据处理能力弱的节点上，进而提高视频任务的处理效率。
本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本发明实施例提供的分布式计算平台中视频数据分布方法。
具体的，上述分布式计算平台中视频数据分布方法，包括：
获取各节点的初始负载，其中，每一节点的初始负载为本次视频数据迁移前，该节点完成视频数据处理所需的时间；
如果所述各节点的初始负载不满足预设的均衡条件，确定将各高负载节点中的每一视频数据块，分别迁移到各低负载节点进行处理所需的时长，得到目标时长集合；其中，所述高负载节点是所述各节点中初始负载大于平均负载的节点，所述低负载节点包括所述各节点中初始负载小于所述平均负载的节点，所述平均负载为所述各节点的初始负载的平均值；
判断第一时长与第二时长的时长比值，是否小于或等于第二目标节点的初始负载与第一目标节点的初始负载的负载比值，其中，所述第一时长为所述目标时长集合中的最短时长，所述第一目标节点为所述第一时长对应的低负载节点，所述第二目标节点为所述各节点中初始负载最小的节点，所述第二时长为所述目标时长集合中所述第二目标节点对应的最短时长；
如果所述时长比值小于或等于所述负载比值，将所述第一时长对应的视频数据块迁移到所述第一目标节点进行处理；
如果所述时长比值大于所述负载比值，将所述第二时长对应的视频数据块迁移到所述第二目标节点进行处理。
需要说明的是，上述分布式计算平台中视频数据分布方法的其他实现方式与前述方法实施例部分相同，这里不再赘述。
通过运行本发明实施例提供的计算机程序产品，可以综合各节点的当前负载和各节点的视频数据处理能力，进行视频数据的迁移，能够避免将高负载节点上的视频数据块迁移到视频数据处理能力弱的节点上，进而提高视频任务的处理效率。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。上述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行上述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质、计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种分布式计算平台中视频数据分布方法，其特征在于，所述方法包括：
获取各节点的初始负载，其中，每一节点的初始负载为本次视频数据迁移前，该节点完成视频数据处理所需的时长；
如果所述各节点的初始负载不满足预设的均衡条件，确定将各高负载节点中的每一视频数据块，分别迁移到各低负载节点进行处理所需的时长，得到目标时长集合；其中，所述高负载节点是所述各节点中初始负载大于平均负载的节点，所述低负载节点是所述各节点中初始负载小于所述平均负载的节点，所述平均负载为所述各节点的初始负载的平均值；
判断第一时长与第二时长的时长比值，是否小于或等于第二目标节点的初始负载与第一目标节点的初始负载的负载比值，其中，所述第一时长为所述目标时长集合中的最短时长，所述第一目标节点为所述第一时长对应的低负载节点，所述第二目标节点为所述各节点中初始负载最小的节点，所述第二时长为所述目标时长集合中所述第二目标节点对应的最短时长；
如果所述时长比值小于或等于所述负载比值，将所述第一时长对应的视频数据块迁移到所述第一目标节点进行处理；
如果所述时长比值大于所述负载比值，将所述第二时长对应的视频数据块迁移到所述第二目标节点进行处理。
2.根据权利要求1所述的方法，其特征在于，所述确定将各高负载节点中的每一视频数据块，分别迁移到各低负载节点进行处理所需的时长，包括：
针对每一低负载节点，分别确定将所述各高负载节点中的每一视频数据块，迁移到该低负载节点所需的迁移时长，以及该低负载节点完成该视频数据块处理所需的处理时长；
将所述迁移时长和该低负载节点的初始负载中的最大值，作为该低负载节点处理该视频数据块的等待时长；
将所述处理时长和所述等待时长的和值，作为将该视频数据块迁移到该低负载节点进行处理所需的时长。
3.根据权利要求2所述的方法，其特征在于，所述分别确定将所述各高负载节点中的每一视频数据块，迁移到该低负载节点所需的迁移时长，包括：
分别确定从所述各高负载节点读取每一视频数据块所需的第一读取时长、将该视频数据块从所属的高负载节点传输到该低负载节点所需的传输时长、以及将该视频数据块写入该低负载节点所需的写入时长；
将所述第一读取时长、所述传输时长和所述写入时长的和值，作为将该视频数据块从所属的高负载节点，迁移到该低负载节点所需的迁移时长。
4.根据权利要求2所述的方法，其特征在于，所述确定该低负载节点完成该视频数据块处理所需的处理时长，包括：
确定该低负载节点读取该视频数据块所需的第二读取时长，以及该低负载节点处理该视频数据块对应的视频任务所需的任务时长；
将所述第二读取时长和所述任务时长的和值，作为该低负载节点完成该视频数据块处理所需的处理时长。
5.根据权利要求4所述的方法，其特征在于，所述确定该低负载节点处理该视频数据块对应的视频任务所需的任务时长，包括：
确定该低负载节点处理单位时长的该视频数据块对应的视频任务所需的平均处理时长；
根据所述平均处理时长和该视频数据块的视频时长，确定该低负载节点处理该视频数据块对应的视频任务所需的任务时长。
6.一种分布式计算平台中视频数据分布装置，其特征在于，所述装置包括：
获取模块，用于获取各节点的初始负载，其中，每一节点的初始负载为本次视频数据迁移前，该节点完成视频数据处理所需的时间；
确定模块，用于如果所述各节点的初始负载不满足预设的均衡条件，确定将各高负载节点中的每一视频数据块，分别迁移到各低负载节点进行处理所需的时长，得到目标时长集合；其中，所述高负载节点是所述各节点中初始负载大于平均负载的节点，所述低负载节点是所述各节点中初始负载小于所述平均负载的节点，所述平均负载为所述各节点的初始负载的平均值；
判断模块，用于判断第一时长与第二时长的时长比值，是否小于或等于第二目标节点的初始负载与第一目标节点的初始负载的负载比值，其中，所述第一时长为所述目标时长集合中的最短时长，所述第一目标节点为所述第一时长对应的低负载节点，所述第二目标节点为所述各节点中初始负载最小的节点，所述第二时长为所述目标时长集合中所述第二目标节点对应的最短时长；如果所述时长比值小于或等于所述负载比值，触发第一迁移模块，如果所述时长比值大于所述负载比值，触发第二迁移模块；
所述第一迁移模块，用于将所述第一时长对应的视频数据块迁移到所述第一目标节点进行处理；
所述第二迁移模块，用于将所述第二时长对应的视频数据块迁移到所述第二目标节点进行处理。
7.根据权利要求6所述的装置，其特征在于，所述确定模块，包括：
第一确定子模块，用于针对每一低负载节点，分别确定将所述各高负载节点中的每一视频数据块，迁移到该低负载节点所需的迁移时长，以及该低负载节点完成该视频数据块处理所需的处理时长；
第二确定子模块，用于将所述迁移时长和该低负载节点的初始负载中的最大值，作为该低负载节点处理该视频数据块的等待时长；
第三确定子模块，用于将所述处理时长和所述等待时长的和值，作为将该视频数据块迁移到该低负载节点进行处理所需的时长。
8.根据权利要求7所述的装置，其特征在于，
所述第一确定子模块，具体用于分别确定从所述各高负载节点读取每一视频数据块所需的第一读取时长、将该视频数据块从所属的高负载节点传输到该低负载节点所需的传输时长、以及将该视频数据块写入该低负载节点所需的写入时长；
将所述第一读取时长、所述传输时长和所述写入时长的和值，作为将该视频数据块从所属的高负载节点，迁移到该低负载节点所需的迁移时长。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
CN201711147816.7A 2017-11-17 2017-11-17 一种分布式计算平台中视频数据分布方法及装置 Active CN107844593B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711147816.7A CN107844593B (zh) 2017-11-17 2017-11-17 一种分布式计算平台中视频数据分布方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711147816.7A CN107844593B (zh) 2017-11-17 2017-11-17 一种分布式计算平台中视频数据分布方法及装置

Publications (2)

Publication Number Publication Date
CN107844593A true CN107844593A (zh) 2018-03-27
CN107844593B CN107844593B (zh) 2021-09-03

Family

ID=61678873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711147816.7A Active CN107844593B (zh) 2017-11-17 2017-11-17 一种分布式计算平台中视频数据分布方法及装置

Country Status (1)

Country Link
CN (1) CN107844593B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111061557A (zh) * 2018-10-16 2020-04-24 杭州海康威视数字技术股份有限公司 均衡分布式内存数据库负载的方法和装置
CN112272291A (zh) * 2020-10-28 2021-01-26 重庆紫光华山智安科技有限公司 视频存储方法、装置、管理设备及可读存储介质
CN113672393A (zh) * 2021-08-26 2021-11-19 咪咕文化科技有限公司 一种视频处理方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030212731A1 (en) * 2000-02-17 2003-11-13 Brenner Larry Bert Apparatus and method for periodic load balancing in a multiple run queue system
US20060212873A1 (en) * 2005-03-15 2006-09-21 Takashi Takahisa Method and system for managing load balancing in data processing system
CN103399800A (zh) * 2013-08-07 2013-11-20 山东大学 基于Linux并行计算平台的动态负载均衡方法
CN106534284A (zh) * 2016-10-26 2017-03-22 航天恒星科技有限公司 一种分布式系统中资源负载均衡方法及装置
CN106937092A (zh) * 2017-04-11 2017-07-07 北京邮电大学 一种分布式计算平台中视频数据迁移方法及装置
CN107145307A (zh) * 2017-04-27 2017-09-08 郑州云海信息技术有限公司 一种基于分布式存储的动态元数据优化方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030212731A1 (en) * 2000-02-17 2003-11-13 Brenner Larry Bert Apparatus and method for periodic load balancing in a multiple run queue system
US20060212873A1 (en) * 2005-03-15 2006-09-21 Takashi Takahisa Method and system for managing load balancing in data processing system
CN103399800A (zh) * 2013-08-07 2013-11-20 山东大学 基于Linux并行计算平台的动态负载均衡方法
CN106534284A (zh) * 2016-10-26 2017-03-22 航天恒星科技有限公司 一种分布式系统中资源负载均衡方法及装置
CN106937092A (zh) * 2017-04-11 2017-07-07 北京邮电大学 一种分布式计算平台中视频数据迁移方法及装置
CN107145307A (zh) * 2017-04-27 2017-09-08 郑州云海信息技术有限公司 一种基于分布式存储的动态元数据优化方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YANGYANG GAO ET AL.: "Container Based Video Surveillance Cloud Service with Fine-Grained Resource Provisioning", 《IEEE》 *
刘琨: "云计算负载均衡策略的研究", 《中国博士学位论文全文数据库 信息科技辑》 *
许彬 等: "云计算平台中监控视频摘要任务调度方法研究", 《计算机应用与软件》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111061557A (zh) * 2018-10-16 2020-04-24 杭州海康威视数字技术股份有限公司 均衡分布式内存数据库负载的方法和装置
CN111061557B (zh) * 2018-10-16 2023-04-14 杭州海康威视数字技术股份有限公司 均衡分布式内存数据库负载的方法和装置
CN112272291A (zh) * 2020-10-28 2021-01-26 重庆紫光华山智安科技有限公司 视频存储方法、装置、管理设备及可读存储介质
CN112272291B (zh) * 2020-10-28 2023-05-26 重庆紫光华山智安科技有限公司 视频存储方法、装置、管理设备及可读存储介质
CN113672393A (zh) * 2021-08-26 2021-11-19 咪咕文化科技有限公司 一种视频处理方法、装置及设备

Also Published As

Publication number Publication date
CN107844593B (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN107844593A (zh) 一种分布式计算平台中视频数据分布方法及装置
CN103685256B (zh) 一种虚拟机迁移管理方法、装置及系统
CN108509275B (zh) 一种目录迁移方法和元数据负载均衡方法
CN109522243A (zh) 一种全闪存储中元数据缓存管理方法、装置及存储介质
CN106161110B (zh) 一种网络设备中的数据处理方法及系统
CN102736917B (zh) 管理在异构环境中的对象集合的技术
CN109754359A (zh) 一种应用于卷积神经网络的池化处理的方法及系统
CN107526645A (zh) 一种通信优化方法及系统
WO2020042612A1 (zh) 消息存储、读取方法及装置、服务器、存储介质
CN107656807A (zh) 一种虚拟资源的自动弹性伸缩方法及装置
CN105227601A (zh) 流处理系统中的数据处理方法、装置和系统
US9104567B2 (en) Memory-leak identification
CN110119304A (zh) 一种中断处理方法、装置及服务器
WO2024051270A1 (zh) 任务执行的方法、装置、存储介质及电子设备
CN112383485A (zh) 一种网络拥塞控制方法及装置
CN108228390A (zh) 数据回档方法及装置
CN110784336A (zh) 基于物联网的多设备智能定时延时场景设置方法及系统
US9836491B1 (en) Method and apparatus for hardware-implemented AVL tree updates
CN104866375B (zh) 一种迁移虚拟机的方法及装置
CN107704507A (zh) 数据库处理方法和设备
CN107026897A (zh) 一种数据处理的方法、装置和系统
CN104391735B (zh) 虚拟化一体机集群中虚拟机调度方法及系统
CN117114623A (zh) 一种园区内监控设备的智慧管理方法及系统
CN109525512A (zh) 一种bgp邻居的建立方法及装置
TWI770534B (zh) 自動機器學習系統效能調優方法、裝置、設備及介質

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant