CN105975345B - 一种基于分布式内存的视频帧数据动态均衡存储管理方法 - Google Patents

Abstract

本发明公开了一种基于分布式内存的视频帧数据动态均衡存储管理方法，实现面向视频帧数据的实时分析计算，具体步骤包括：接入视频帧数据，将视频帧数据队列化；设定并开始选择周期T；解析已接收的计算指令，获取分布式节点性能参数和实时信息，并反馈管理节点；创建分布式节点二维表，实现节点优选；遍历分布式节点二维表，选择忙闲状态标识为“1”且内存分配权值最大的节点；定量化视频帧数据，映射到已选节点内存,同时添加工作记录至工作表；当选择周期T结束时，分布式节点重新定量化和反馈内存分配权值和忙闲状态标识并更新二维表；管理节点统计工作表内任务节点；判断视频帧数据存储操作是否结束和分布式节点内存是否满载。

Description

一种基于分布式内存的视频帧数据动态均衡存储管理方法

技术领域

本发明属于计算机科学存储技术领域，特别是涉及一种基于分布式内存的视频帧数据动态均衡存储管理方法。

背景技术

分布式网络存储技术就是将数据分布存储至多台独立的机器，利用多台机器组成分布式系统，解决了集中式存储系统单存储节点的瓶颈问题，提高了系统的可靠性和拓展性。需要说明的是本专利应用于常规的局域网，局域网内计算机的性能配置相同或者差别不大。计算机中所有程序的运行都是在内存中进行的，其作用是用于暂时存放CPU中的运算数据，以及与硬盘等外部存储器交换的数据。计算机运行过程中，CPU会把磁盘内需要运算的数据调到内存中进行存储，由于内存的读写效率远高于磁盘读写效率，因此，将需要计算的数据存储到内存就可以提高计算性能。

更为重要的是，本专利研究的是实时的视频帧数据，面向分析计算模块，通过图像提取有用的特征信息，而且数据量很大，仅仅靠一台或是几台计算机内存存储是不够的；另外，实时的视频帧数据需要快速的被获取，存储在内存中，以便更快地被调用。分布式内存结合了分布式和内存的优点，以网络中的内存为存储介质,并通过分布式存储管理协议实现系统的通信机制，以保证良好的可控性和动态性。在系统运行时，能够随时加入新的机器节点，并使系统的存储能力保持良好的可扩展状态。同时，通过合理的转化存储介质机制，及时处理失效的机器节点及所存储的数据，保证了整个系统的高容错性。专利中数据是帧为单位，数据量庞大，如果多台节点没有配置成负载均衡的集群系统，反而会制约整个分布式节点系统性能的发挥。负载均衡技术是将大量同时到达或是短时间内大量到达的视频帧数据处理后合理的分配给后台各个节点之上的技术。并且当某台分布式节点由于故障而停止运行时，能够停止向该分布式节点存储数据，并寻找新的分布式节点。

分布式数据库的分片策略直接影响系统中数据存储节点的均衡负载。数据的分片策略主要分为水平分片，垂直分片，以及将水平分片和垂直分片相结合的混合分片。

目前，分布式内存数据存储策略最常用的主要有以下三种：

（1）Round-Robin策略。将进入数据库的数据串行化，然后依次轮流分配到各个节点上。对于某些低谓语查询十分有效，但是各节点的负载能力不同，并且查询需要所有节点参与，很大程度上降低了系统性能。该类方法在下列文献中均有论述：A.B.M.RubaiyatIslam Sadat and paola Lecca.On the performances in simulation of paralleldatabases: an overview on the most recent techniques for query optimization.International Workshop on High Performance Computational SystemsBiology.2009. 蒋占军，李成. 分布式无线通信系统中并行Round Robin调度算法研究.新型工业化,2011。

（2）Range范围划分策略。针对某一属性的值域进行划分，每一划分的值域对应一个节点，当到达的数据落入到哪一个划分值域内，数据就存储在相应的节点上。对简单查询有效，且查询不需要所有节点参与，但是各个范围内的数据量很可能不同，容易出现数据倾斜。该类方法在下列文献中有论述：A. Silberschatz, H.F.Korrth. Database SystemsConcepts, 4th ed. McGraw-Hill, 2002.

（3）Hash划分策略。Hash划分是针对数据的一个或者几个属性设计一个Hash函数，所有到达系统的数据根据Hash函数计算出来的值来确定所存储的节点。可以支持简单查询和复杂查询，但在增加节点时数据需重新分配，从而增加了系统冗余。该类方法在下列文献中均有论述：Martin Wolstencrooft, Omer F. Rana and J. Huw Davies. DistributedStorage of High-Volume Environment Simulation Data: Mantle Modelling.Proceedings of the 2006 IEEE/WIC/ACM International Conference on WebIntelligence. 李存琛. 海量数据分布式存储技术的研究和应用. 计算机科学与技术,2012。

发明内容

本发明的目的在于提供一种解决面向视频数据实时分析计算的视频帧数据高速存储管理的难题，针对视频帧数据的特点，提出一种基于分布式内存的视频帧数据动态均衡存储管理方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于分布式内存的视频帧数据动态均衡存储管理方法,包括有以下步骤，

步骤1，接入视频帧数据，将视频帧数据队列化；

步骤2，利用管理节点监测任务并发送计算指令，设定并开始选择周期T；

步骤3，解析已接收的计算指令，获取分布式节点性能参数和实时信息，并根据获取的数据定量化内存分配权值和判断状态，反馈管理节点；

步骤4，基于反馈结果，创建分布式节点二维表，应用于后续节点优选；

步骤5，遍历分布式节点二维表，选择忙闲状态标识为“1”且内存分配权值最大的节点；

步骤6，定量化视频帧数据，映射到已选节点内存,同时创建并添加工作记录至工作表，节点任务结束则自动删除工作表记录；

步骤7，当选择周期T结束时，分布式节点重新定量化和反馈内存分配权值和忙闲状态标识并更新二维表；管理节点统计工作表内任务节点，依据统计节点情况执行负载均衡策略，同时开始下一周期选择存储过程。

步骤8，周期性判断视频帧数据存储操作是否结束和全部分布式节点内存是否满载，若两者均未完成，则继续下一周期，若两者任一完成，则任务结束。

优选的，步骤3中包括以下子步骤：

步骤3.1，接收并解析定量化指令后，分布式节点获取自身性能参数和实时信息；

步骤3.2，性能参数有CPU频率、内存大小，分别用表示；实时状态信息CPU利用率、内存占用率，分别用表示；网络带宽占用率表示；

步骤3.3，根据步骤3.2中网络带宽占用率大小，定性节点忙闲状态；

步骤3.4，各节点将步骤2所得到的结果发送到分布式管理节点。

优选的，步骤5包括以下子步骤：

步骤5.1，遍历分布式节点二维表，选中忙闲状态标识为“1”的节点；

步骤5.2，基于步骤5.1中已选中的节点选出内存分配权值最大的节点，获取其编号即选出节点；

步骤5.3，若存在两个或多个内存分配权值相等，则依据“就近原则”选择，获取节点编号。

优选的，步骤7中包括以下子步骤：

步骤7.1，选择周期T结束，对分布式节点并发处理，重新定量化和反馈内存分配权值和忙闲状态标识并更新二维表内对应数据；

步骤7.2，管理节点统计工作表内任务节点依据统计节点情况执行负载均衡策略。

与现有技术相比，本发明的有益效果是：本发明利用分布式节点实时运行参数和闲忙状态作为考量标准，通过已建立的筛选机制，从而选择最优节点，并将视频帧数据存储到分布式节点内存；通过周期反馈机制，实现分布式节点的监测和均衡负载。

本发明提出的基于分布式内存的视频帧数据动态均衡存储管理方法具有方法简洁、执行效率高的优点，有效地解决在计算机上进行大量视频帧数据实时动态均衡的难题，并以此指导任务的分配，尽量使得节点各尽其能，充分发挥集群系统的优势，保证系统稳定性，提高可靠性和可用性。适用于各种大量媒体流数据，尤其适用于TB级以上数据规模的视频帧的存储管理。

附图说明

图1 本发明的总体流程图；

图2 定量化内存分配权值和判断状态过程；

图3 分布式节点二维表；

图4 节点选择原理；

图5 工作表工作原理；

图6均衡策略选择流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明的基于分布式内存的视频帧数据动态均衡存储管理的关键技术主要是分布式节点选择和均衡策略。节点选择即依据分布式节点内存分配权值和闲忙状态选择最优节点；均衡策略，即通过对分布式节点内存分配权值和闲忙状态周期性评估，实现视频帧数据的均衡负载。本发明实施的实现过程采用计算机实现自动化处理，包括以下步骤，

步骤1，接入视频帧数据，将视频帧数据队列化；视频帧接入时是无序的，以帧为单位，队列形式排列后方便后续存储。

步骤2，利用管理节点监测任务并发送定量化指令，设定并开始选择周期T；管理节点监测到任务，发送指令到分布式节点；在选择存储过程开始状态，需要约定周期T开始。

步骤3，解析已接收的定量化指令，获取分布式节点性能参数和实时信息，并根据获取的数据定量化内存分配权值和判断忙闲状态，反馈到管理节点。如图2所示，具体的步骤如下：

步骤3.1，接收并解析定量化指令后，分布式节点获取自身性能参数和实时信息。

步骤3.2，性能参数有CPU频率、内存大小，分别用表示；实时状态信息CPU利用率、内存占用率，分别用表示；网络带宽占用率表示。基于以上数据，计算CPU剩余量、内存剩余量和节点剩余处理能力F的初始值通过德尔菲法获得，但在实际工作中，可以根据系统运行自适应调整，以达到更好的负载均衡效果。结合本专利研究方向以及具体工作，确认了德尔菲法结果的正确性。

步骤3.3，根据步骤3.2中网络带宽占用率大小，定性节点忙闲状态。在无存储任务状态下即只有少数程序后台运行，根据有关资料以及实践，计算机网络带宽占用率一般不超过10%。因此，对节点忙闲状态如下：若，则分布式节点处于“忙”状态，标识为“0”；若，则分布式节点处于“闲”状态，标识为“1”。此标准不是一成不变的，在执行任务过程中，根据分布式系统运行自适应调整。

步骤3.4，各节点将步骤2所得到结果发送到分布式管理节点。

步骤4，基于反馈结果，创建以分布式节点代号、内存分配权值和忙闲状态标识为记录的二维表，其形式如图3所示，以应用于后续节点优选；

步骤5，遍历分布式节点二维表，选择忙闲状态标识为“1”（闲状态）且内存分配权值最大的节点；如图4所示，具体步骤如下：

步骤5.1，遍历分布式节点二维表，选中忙闲状态标识为“1”的（“闲”状态）节点。

步骤5.2，基于步骤5.1中已选中的节点选出内存分配权值最大的节点，获取其编号即选出节点。

步骤5.3，若存在两个或多个内存分配权值相等，则依据“就近原则”选择，获取节点编号。

步骤6，定量化视频帧数据，存储视频帧数据到已选节点内存,同时创建并添加记录至工作表，节点任务结束则自动删除工作表记录。规定节点每次只能存储500帧视频帧数据；如图5所示，存储任务开始后，分布式管理节点创建工作表并添加此任务记录；节点任务结束后，删除对应的任务记录。

步骤7，当选择周期T结束时，分布式节点重新定量化和反馈内存分配权值和忙闲状态标识并更新二维表；如图6所示，管理节点统计工作表内任务节点，依据统计节点情况执行负载均衡策略，同时开始下一周期选择存储过程。

步骤7.1，选择周期T结束，对分布式节点并发处理，重新定量化和反馈内存分配权值和忙闲状态标识并更新二维表内对应数据；

步骤7.2，管理节点统计工作表内任务节点依据统计节点情况执行负载均衡策略。若统计显示无节点，则全部分布式节点进入下一周期选择存储过程；若统计显示存在节点，则剩余节点进入下一周期选择存储过程；若统计显示全部节点，则视频帧数据队列处于“等待状态”，直到下周期的选择存储过程。

步骤8，周期性判断视频帧数据存储操作是否结束和全部分布式节点内存是否满载。若两者均未完成，则继续下一周期，若两者任一完成，则任务结束。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种基于分布式内存的视频帧数据动态均衡存储管理方法，其特征在于：包括有以下步骤，

步骤1，接入视频帧数据，将视频帧数据队列化；

步骤2，利用管理节点监测任务并发送计算指令，设定并开始选择周期T；

步骤3，解析已接收的计算指令，获取分布式节点性能参数和实时信息，并根据分布式节点性能参数和实时信息中的CPU利用率、内存占用率来定量化内存分配权值，根据实时信息中的网络带宽来判断分布式节点的忙闲状态，并将内存分配权值和分布式节点的忙闲状态反馈至管理节点；

步骤4，基于反馈结果，创建分布式节点二维表，应用于后续节点优选；

步骤5，遍历分布式节点二维表，其中“忙”状态标识为“0”，“闲”状态标识为“1”，选择标识为“1”的且内存分配权值最大的节点；

步骤6，定量化视频帧数据，映射到已选节点内存，同时创建并添加工作记录至工作表，节点任务结束则自动删除工作表记录；

步骤7，当选择周期T结束时，分布式节点重新定量化和反馈内存分配权值，对忙闲状态标识进行重新定量化及反馈，并更新分布式节点二维表；管理节点统计工作表内任务节点，依据统计节点情况执行负载均衡策略，同时开始下一周期选择存储过程；

步骤8，周期性判断视频帧数据存储操作是否结束和全部分布式节点内存是否满载，若两者均未完成，则继续下一周期，若两者任一完成，则任务结束。

2.根据权利要求1所述的一种基于分布式内存的视频帧数据动态均衡存储管理方法，其特征在于：所述步骤3中包括以下子步骤：

步骤3.1，接收并解析计算指令后，分布式节点获取自身性能参数和实时信息；

步骤3.2，性能参数包括CPU频率、内存大小，实时信息包括CPU利用率、内存占用率、网络带宽占用率；

步骤3.3，根据步骤3.2中网络带宽占用率大小，判断节点忙闲状态；

步骤3.4，各节点将步骤3.2所得到的结果发送到分布式管理节点。

3.根据权利要求1所述的一种基于分布式内存的视频帧数据动态均衡存储管理方法，其特征在于：所述步骤5包括以下子步骤：

步骤5.1，遍历分布式节点二维表，选中忙闲状态标识为“1”的节点；

步骤5.2，基于步骤5.1中已选中的节点选出内存分配权值最大的节点，获取其编号即选出节点；

步骤5.3，若存在多个内存分配权值相等的情况，则选择距离步骤5.1中选中的节点最近的一个，获取节点编号。

4.根据权利要求1所述的一种基于分布式内存的视频帧数据动态均衡存储管理方法，其特征在于：所述步骤7中包括以下子步骤：

步骤7.1，选择周期T结束，对分布式节点并发处理，重新定量化和反馈内存分配权值，对忙闲状态标识也进行重新定量化和反馈，并更新分布式节点二维表内对应数据；

步骤7.2，管理节点统计工作表内任务节点依据统计节点情况执行负载均衡策略。