CN106371908A - 基于粒子群算法的图像视频过滤任务分配的优化方法 - Google Patents

Abstract

本发明涉及互联网领域，特别是涉及一种基于粒子群算法的图像视频过滤任务分配的优化方法。该方法包括：根据过滤任务的特性，确定过滤内容的优先级；根据优先级以及图像视频过滤集群系统的特性，实时生成任务分配方案；确定图像视频过滤集群系统的运行状态；根据任务分配方案和运行状态，采用粒子群算法将过滤任务分配给图像视频过滤集群系统；图像视频过滤集群系统对过滤任务进行第一过滤处理，得到第一处理结果；人工检测、筛选第一处理结果，得到第二处理结果；输出第二处理结果。该优化方法通过粒子群算法，将海量过滤任务调度分配给过滤集群系统，有效的解决了现阶段海量在线/离线视频图像当中成人内容无法大规模实时、高效过滤处理的问题。

Description

基于粒子群算法的图像视频过滤任务分配的优化方法

技术领域

本发明涉及互联网领域，特别是涉及一种基于粒子群算法的图像视频过滤任务分配的优化方法。

背景技术

少量在线视频的快速精确处理和大量视频图像的简单处理目前都有相应的解决方案，但是在海量视频的情况下，进行实时在线实时精确处理是一个难题。

现今随着数据规模的急剧增加，应用类型的极大丰富，企业和个人用户信息使用模式的变化已经突破了原有系统平台的局限。越来越多的应用和平台，不论对企业级还是个人级用户都不堪重负。企业应用平台的不断累加，个人用户桌面应用更是五花八门，呈爆炸式增长。传统数据分析处理领域在面临新的重大问题时，需要更多领域数据的融合和协作。在这种巨大潮流的推动下，云计算被推上了计算机科学和应用的舞台，带来信息使用模式的巨大变革。

MapReduce架构正是为处理这种数据密集型的应用而诞生的。在MapReduce架构里面，待处理的数据被自动的分割，从而被集群中不同的节点并行处理；架构本身负责任务的自动并行化和负载均衡；为了提高可用性，每一个被分割的数据块均有3个副本，分别存储在不同的存储器上。在这种架构之下，对数据访问I/O带宽(包括访问磁盘I/O带宽和访问网络I/O带宽)的需求，比对其他任何类型资源的需求都要迫切得多。

智能算法在调度策略中应用越来越多，如基于应用经济模型的优化调度算法，Min-min算法，Max-min启发算法，蚂蚁算法，模拟退火进化算法等。这些算法给调度策略带来了新的活力，但存在的问题是没有较好地处理子任务之间的关系而导致系统负载不均衡。遗传算法近年来也在调度策略中得到了良好的应用，但遗传算法存在早熟收敛问题，局部搜索能力不足，易于陷入局部最优解，算法中遗传算子无方向性等问题，并且遗传算法自身的参数较多，实现复杂，用于调度策略中难以同时满足较高的调度效率，适应计算网格环境动态性和负载均衡等要求，资源调度问题属于离散空间的非数值优化问题，是一类典型的组合优化问题，粒子群优化算法(Particle Swarm Optimization，简称PSO)思想来源于人工生命和演化计算理论，是一种基于群智能(Swarm Intelligence)的进化类算法。目前，在有关粒子群算法的相关文献中，粒子群优化算法已被有效应用于规划问题求解，约束优化问题求解，多目标优化问题求解，离散空间组合优化问题求解等优化问题领域。

发明内容

本发明的目的在于提供一种基于粒子群算法的图像视频过滤任务分配的优化方法，以解决现阶段海量在线/离线视频图像当中成人内容无法大规模实时、高效过滤处理的问题。

本发明提供了一种基于粒子群算法的图像视频过滤任务分配的优化方法，包括：

S1：接收过滤任务，所述过滤任务包括一路以上的图像或视频数据；

S2：根据所述过滤任务的特性，确定所述过滤内容的优先级；

S3：根据所述优先级以及图像视频过滤集群系统的特性，实时生成任务分配方案；

S4：确定所述图像视频过滤集群系统的运行状态；

S5：根据所述任务分配方案和所述运行状态，采用粒子群算法将所述过滤任务分配给图像视频过滤集群系统；

S6：所述图像视频过滤集群系统对所述过滤任务进行第一过滤处理，得到第一处理结果；

S7：人工检测、筛选所述第一处理结果，得到第二处理结果；

S8：输出第二处理结果。

在一些实施例中，优选为，所述S2中过滤任务的特性包括但不局限于：图像或视频的影响度、大小、分辨率以及图像或视频的来源。

在一些实施例中，优选为，所述S3中图像视频过滤集群系统的特性包括但不局限于：暗装图像视频过滤集群系统的机器的CPU占用率，则所述S4中所述运行状态为机器的CPU占用率状态。

在一些实施例中，优选为，所述S5中的粒子群算法为：

产生初始例子群和随机因子，初始化粒子群的规模和任务因子、惯性权重、迭代终止条件；

根据任务处理的预计精度和时间，建立作业执行列表，以及设定适应度函数计算粒子的适应值；

生成调度方案；

根据所述调度方案以及作业执行列表，利用所述适应值，确定个体最优粒子和全局最优粒子；

判断函数值是否满足迭代终止条件，若不满足，生成新的调度方案和新的作业执行列表，并根据新的调度方案和新的作业执行列表，确定新的个体最优粒子和新的全局最优粒子；否则，迭代终止；

生成最优的调度方案。

在一些实施例中，优选为，所述S7为：

人工检测、筛选所述第一处理结果，并根据过滤要求判断是否进行第二过滤处理：若进行，则对第一处理结果进行第二过滤处理，得到第三处理结果，则S8将第三处理结构输出；否则，S8直接将所述第一处理结果输出。

在一些实施例中，优选为，所述基于粒子群算法的图像视频过滤任务分配的优化方法在MapReduce架构内进行。

在一些实施例中，优选为，将S1-S7处理过程中获得的数据缓存中采用主动全分布调度策略与弹性丢弃机制相结合。

在一些实施例中，优选为，所述主动全分布调度策略为将数据缓存至节点本地。

本发明实施例提供的基于粒子群算法的图像视频过滤任务分配的优化方法，与现有技术相比，通过粒子群算法，针对海量过滤任务(在线/离线视频图像当中成人内容)和图像视频过滤集群系统，将海量过滤任务调度分配给过滤集群系统，使过滤任务高效、实时已经更精准的完成。进而有效的解决了现阶段海量在线/离线视频图像当中成人内容无法大规模实时、高效过滤处理的问题。

附图说明

图1为本发明一个实施例中基于粒子群算法的图像视频过滤任务分配的优化方法步骤示意图；

图2为本发明一个实施例中粒子群算法原理示意图；

图3为本发明一个实施例中本地存储优化示意图；

图4为本发明一个实施例中图像视频过滤集群系统设计框图示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对现阶段配海量在线/离线视频图像当中成人内容无法大规模实时、高效过滤处理的问题，本发明提出了一种基于粒子群算法的图像视频过滤任务分配的优化方法。如图1-4所示，包括

S1：接收过滤任务，过滤任务包括一路以上的图像或视频数据；

S2：根据过滤任务的特性，确定过滤内容的优先级；

过滤任务的特性包括但不局限于：图像或视频的影响度、大小、分辨率以及图像或视频的来源。

S3：根据优先级以及图像视频过滤集群系统的特性，实时生成任务分配方案；图像视频过滤集群系统的特性包括但不局限于：暗装图像视频过滤集群系统的机器的CPU占用率或稳定性，则S4中运行状态为机器的CPU占用率状态。

S4：确定图像视频过滤集群系统的运行状态；

S5：根据任务分配方案和运行状态，采用粒子群算法将过滤任务分配给图像视频过滤集群系统；

S6：图像视频过滤集群系统对过滤任务进行第一过滤处理，得到第一处理结果；

S7：人工检测、筛选所述第一处理结果，并根据过滤要求判断是否进行第二过滤处理：若进行，则对第一处理结果进行第二过滤处理，得到第三处理结果，则S8将第三处理结构输出；否则，S8直接将所述第一处理结果输出；

该基于粒子群算法的图像视频过滤任务分配的优化方法基于云系统的图像视频过滤系统集群设计，基于粒子群优化算法的集群调度策略优化，分布式数据库系统优化，高性能计算体系结构下的海量数据处理分析与优化，视频/图像实时过滤处理、人工筛选和输出结果。其中，图像视频过滤系统集群为现有图像视频过滤系统的集成。

粒子群算法为：产生初始例子群和随机因子，初始化粒子群的规模和任务因子、惯性权重、迭代终止条件；根据任务处理的预计精度和时间，建立作业执行列表，以及设定适应度函数计算粒子的适应值；生成调度方案；根据所述调度方案以及作业执行列表，利用所述适应值，确定个体最优粒子和全局最优粒子；判断函数值是否满足迭代终止条件，若不满足，生成新的调度方案和新的作业执行列表，并根据新的调度方案和新的作业执行列表，确定新的个体最优粒子和新的全局最优粒子；否则，迭代终止；生成最优的调度方案。粒子群PSO算法的调度策略效果具有非常明显的优越性，大大缩短了集群系统的处理周期，为实际的生产过程节约了大量的时间和成本。

对集群各节点的平均响应时间和CPU平均利用率进行测试和评价，可得到PSO算法的调度策略的效果评估。基于PSO算法的调度策略使各节点CPU的利用率明显提高，特别是在PSO算法中添加均衡因子以后，各节点CPU利用率更高且均衡。同时各节点平均响应时间均小于FCFS与backfill，总的执行时间也明显降低，更好的平衡了系统高利用率和短作业等待时间之间的矛盾。

该基于粒子群算法的图像视频过滤任务分配的优化方法在MapReduce架构内进行。对MapReduce架构的设计进行改进，使其能够在高性能计算机上高效地运行。为了使MapReduce架构的设计能够最大限度地适应高性能计算机的体系结构，需要对MapReduce架构运行过程中各个不同阶段对各种硬件资源的需求量进行深入细致的分析，然后根据高性能计算机与普通商业机器集群体系结构的不同，对MapReduce架构的设计进行改进，使系统性能最优化。

将S1-S7处理过程中获得的数据缓存中采用主动全分布调度策略与弹性丢弃机制相结合。高性能计算机的专用存储子系统，能够提供的I/O能力受限于存储子系统本身的规模。如果把中间结果与输入数据、输出结果一样，放在集中存储系统中，会大大加重集中存储系统I/O的工作量。在最初的MapReduce架构中，Map任务产生的中间结果也不写入分布式文件系统DFS，而是放在Map任务所在节点的本地文件系统上。因此，可以借鉴这一设计，把中间结果临时性地存放在节点本地，以减轻集中存储系统数据I/O的压力。这时使用分布式文件系统的做法，把中间结果缓存在节点本地，而不写入存储子系统。因为Map操作产生的中间结果，属于对应于特定作业的临时文件，在作业完成之后就会自行删除，所以这种本地缓存的策略不影响MapReduce作业的正确性。而中间结果存储本地化可以大大减轻存储子系统的I/O负担。中间结果本地存储优化如下图所示。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于粒子群算法的图像视频过滤任务分配的优化方法，其特征在于，包括：

S1：接收过滤任务，所述过滤任务包括一路以上的图像或视频数据；

S2：根据所述过滤任务的特性，确定所述过滤内容的优先级；

S3：根据所述优先级以及图像视频过滤集群系统的特性，实时生成任务分配方案；

S4：确定所述图像视频过滤集群系统的运行状态；

S5：根据所述任务分配方案和所述运行状态，采用粒子群算法将所述过滤任务分配给图像视频过滤集群系统；

S6：所述图像视频过滤集群系统对所述过滤任务进行第一过滤处理，得到第一处理结果；

S7：人工检测、筛选所述第一处理结果，得到第二处理结果；

S8：输出第二处理结果。

2.如权利要求1所述基于粒子群算法的图像视频过滤任务分配的优化方法，其特征在于，所述S2中过滤任务的特性包括但不局限于：图像或视频的影响度、大小、分辨率以及图像或视频的来源。

3.如权利要求1所述基于粒子群算法的图像视频过滤任务分配的优化方法，其特征在于，所述S3中图像视频过滤集群系统的特性包括但不局限于：暗装图像视频过滤集群系统的机器的CPU占用率，则所述S4中所述运行状态为机器的CPU占用率状态。

4.如权利要求1所述基于粒子群算法的图像视频过滤任务分配的优化方法，其特征在于，所述S5中的粒子群算法为：

产生初始例子群和随机因子，初始化粒子群的规模和任务因子、惯性权重、迭代终止条件；

根据任务处理的预计精度和时间，建立作业执行列表，以及设定适应度函数计算粒子的适应值；

生成调度方案；

根据所述调度方案以及作业执行列表，利用所述适应值，确定个体最优粒子和全局最优粒子；

判断函数值是否满足迭代终止条件，若不满足，生成新的调度方案和新的作业执行列表，并根据新的调度方案和新的作业执行列表，确定新的个体最优粒子和新的全局最优粒子；否则，迭代终止；

生成最优的调度方案。

5.如权利要求1所述基于粒子群算法的图像视频过滤任务分配的优化方法，其特征在于，所述S7为：

人工检测、筛选所述第一处理结果，并根据过滤要求判断是否进行第二过滤处理：若进行，则对第一处理结果进行第二过滤处理，得到第三处理结果，则S8将第三处理结构输出；否则，S8直接将所述第一处理结果输出。

6.如权利要求1所述基于粒子群算法的图像视频过滤任务分配的优化方法，其特征在于，所述基于粒子群算法的图像视频过滤任务分配的优化方法在MapReduce架构内进行。

7.如权利要求1所述基于粒子群算法的图像视频过滤任务分配的优化方法，其特征在于，将S1-S7处理过程中获得的数据缓存中采用主动全分布调度策略与弹性丢弃机制相结合。

8.如权利要求7所述基于粒子群算法的图像视频过滤任务分配的优化方法，所述主动全分布调度策略为将数据缓存至节点本地。