CN104394353A - 视频浓缩方法及装置 - Google Patents

Abstract

本申请提供一种视频浓缩方法，应用于图像处理设备，该方法包括：以GOP组为单位对待浓缩视频文件进行拆分并对每个GOP组进行编号；按照预设的调度算法将拆分得到的GOP组分发到GPU上预设的多个解码通道进行并行解码；获取GPU解码通道输出的YUV视频帧进行背景建模；基于背景建模的输出结果，并发对GPU解码通道输出的多路YUV视频帧进行前景分析获得对应的分析结果；基于GOP组编号对分析结果进行重组然后浓缩合成。相较于现有技术，本申请视频浓缩技术所花费的时间可以大幅度缩短。

Description

视频浓缩方法及装置

技术领域

本申请涉及视频监控领域，尤其涉及一种视频浓缩方法及装置。 

背景技术

当前视频监控的应用范围越来越广，比如智慧城市以及平安工程这种大型项目。视频监控系统除了能提供实时的实况视频画面以外，还可以通过将视频存储起来提供视频的回放功能。人们可以通过查看回放视频获得诸多有用的信息。以平安工程为例，查看已存储的视频已经逐步成为了公安破案的重要手段。 

案件侦破过程中，时间往往是关键因素。假设一个重要的线索已经存在于长度为一个星期的视频中，若将这一个星期的视频看完则可能要投入很多人力和时间，这对于办案而言无疑是难以接受的。若花费大量的时间来查看视频寻找线索，则有可能导致线索被找到时已经失效或者价值大大降低。如何快速的在冗长的视频中找到线索显的尤为重要。在这一点上，视频浓缩技术可以提供帮助。目前的视频浓缩技术在视频处理上获得较大的发展，比如有着较为成熟背景建模，前景提取以及合成算法，但是视频浓缩技术的问题是浓缩速度还不够快，针对总时长为一个星期的一个或多个视频的浓缩处理，可能要花上几个小时的时间才能完成浓缩处理，这对于公安机关办案而言，几个小时往往会导致线索失效/价值严重降低等致命问题。 

发明内容

有鉴于此，本申请提供一种视频浓缩装置，应用于图像处理设备，该装 置包括： 

GOP拆分单元，用于以GOP组为单位对待浓缩视频文件进行拆分并对每个GOP组进行编号； 

GOP调度单元，用于按照预设的调度算法将拆分得到的GOP组分发到GPU上预设的多个解码通道以使各解码通道进行并行解码； 

背景建模单元，用于获取GPU解码通道输出的YUV视频帧进行背景建模； 

前景提取单元，用于基于背景建模的输出结果，并发对GPU解码通道输出的多路YUV视频帧进行前景分析获得对应的分析结果； 

浓缩执行单元，用于基于GOP组编号对分析结果进行重组然后浓缩合成。 

本申请还提供一种视频浓缩方法，应用于图像处理设备，该方法包括： 

以GOP组为单位对待浓缩视频文件进行拆分并对每个GOP组进行编号； 

按照预设的调度算法将拆分得到的GOP组分发到GPU上预设的多个解码通道以使各解码通道进行并行解码； 

获取GPU解码通道输出的YUV视频帧进行背景建模； 

基于背景建模的输出结果，并发对GPU解码通道输出的多路YUV视频帧进行前景分析获得对应的分析结果； 

基于GOP组编号对分析结果进行重组然后浓缩合成。 

相较于现有技术，本申请采用并发等更为合理处理方式，可以大大提高视频浓缩的速度。 

附图说明

图1是一种典型的视频浓缩处理流程图。 

图2是一种典型的视频浓缩过程中典型的前景处理示意图。 

图3是本申请一种实施方式中视频浓缩装置运行的硬件环境示意图。 

图4是本申请一种实施方式中视频浓缩方法处理流程图。 

图5是本申请一种实施方式中多通道解码过程的示意图。 

图6a是本申请一种实施方式中视频浓缩方法详细处理流程图。 

图6b是本申请一种实施方式中视频浓缩方法与现有技术的对比示意图。 

具体实施方式

请参考图1，视频浓缩技术的处理对象是已经存储的视频文件，一般来说视频文件是压缩格式的，难以直接进行处理，因此浓缩技术通常需要先将待处理的视频进行解码处理。针对解码后的视频，分别进行背景建模以及前景元素提取处理，最后进行视频浓缩合成处理，生成一个浓缩的视频。 

背景建模的过程事实上就是提取出视频画面中基本不会变化的部分作为“画布”，而前景提取是将一些运动的元素(目标)提取出来，浓缩合成的过程则是将一个或者多个前景元素贴在背景画布上。在这个过程中，需要考虑运功轨迹处理以及元素之间防碰撞的问题。 

请参考图2，在一个典型的例子中，假设某天13：00时第一车辆驶入视频画面中A车位，14：00时又有第二车辆驶入视频画面中的B车位。假设两个车辆驶入车位过程是13：00到14：00之间的视频画面中的所有活动，那么视频浓缩的过程可以是这样的：基于同样背景，同时贴上第一车辆和第二车辆驶入车位A和车位B的过程，并在画面上标识出两个车辆(目标)运动的发生时间。这样一来，不同时间的运动被查看视频的人员只需要查看数分钟的视频即可知道上述两个时刻分别有两个车辆驶入AB两个车位。 

仍然以这个例子为基础，假设第一车辆13：00分驶入A车位后13：10分又离开，而第二车辆14：00分驶入A车位后，此时浓缩过程中需要考虑防碰撞问题，也就是目标在视频画面中重合的问题，此时显然不能同时在视频画面中呈现出第一及第二车辆一起驶入车位A的过程，因此需要基于时间和空间双重考虑来进行视频浓缩，避免浓缩过程中目标在画面中发生碰撞。 

请继续参考图1，在视频浓缩过程中，上述四个过程的处理都会消耗很多CPU的计算资源，为了加快视频浓缩的速度，可以采用算法优化的方式，但这种方式的速度提升空间有限；此外还可以考虑使用更多高性能计算机的 方式，但这种方式无疑会带来更多的成文压力。在一种比较优化的设计思路中，可以引入GPU来参与视频浓缩，比如将视频解码的任务放在GPU中实现，利用GPU在解码上性能优势来缩短整个视频浓缩所需要的时长。但这种方式对于速度的提升依然不够显著。 

在一个例子中，本申请提供一种全新的视频浓缩业务处理方案来显著提升视频浓缩处理速度。请参考图3，本申请提供一种计算机设备30，该计算机设备30包括CPU31、内建在CPU芯片中的GPU32(也可以独立的GPU)、内存33、非易失性存储介质34、网络接口部件35以及总线36。基于图3所示的结构，请参考图4，以软件实现为例，本申请提供一种视频浓缩装置，该视频浓缩装置在逻辑上GOP拆分单元、GOP调度单元、背景建模单元、前景提取单元以及浓缩执行单元。该装置在运行过程中执行包括如下步骤的流程： 

步骤401，GOP拆分单元以GOP组为单位对待浓缩视频文件进行拆分并对每个GOP组进行编号； 

步骤402，GOP调度单元按照预设的调度算法将拆分得到的GOP组分发到GPU上预设的多个解码通道，以使各解码通道进行并行解码； 

步骤403，背景建模单元获取GPU解码通道输出的YUV视频帧进行背景建模； 

步骤404，前景提取单元基于背景建模的输出结果，并发对GPU解码通道输出的多路YUV视频帧进行前景分析获得对应的分析结果。 

步骤405，浓缩执行单元基于GOP组编号对分析结果进行重组然后浓缩合成。 

在一个例子中，步骤401可以使用一个或多个独立的第一线程来完成原始视频文件的拆分(即待浓缩视频文件)，这个线程可以使用CPU(也可以是GPU)的计算资源来完成原始视频文件的拆分。请参考图5，在一个例子中，步骤401对原始视频文件进行拆分时，以GOP组为单位进行拆分。 

原始的视频文件可以理解为包括很多已编码的视频帧。一个原始视频文 件可能包括多个按照时间先后顺序排列GOP组。一个GOP组的视频帧可以包括I帧、P帧、B帧三种，其中I是内部编码帧，P是前向预测帧，B是双向内插帧。一般来说，I帧是包括了完整视频画面的编码数据，而P帧和B帧则是记录相对于I帧画面的变化数据。这意味解码过程中，GOP组中的I帧可以独立解码，而P帧和B帧必须参考本GOP组中的I帧进行解码，因此步骤401拆分过程是按照GOP组为单位的，这可以方便后续的解码处理。 

在步骤402中的GPU解码是多通道解码，实现上可以预先向GPU申请多个解码通道作为计算机资源。在实际处理中，每个通道的解码速度未必完全一致，也就是说有可能存在时间上更早的视频帧却被先解码。请继续参考图5的示例，在运行一段时间之后，解码通道1当前正在处理的GOP组编号是1023，解码通道2正在处理的GOP组编号是1017，解码通道3正在处理GOP组编号的则是1032。由于采取了多通道并发处理的方式，不同解码通道同时输出的解码结果可能不是顺序编号的若干GOP组，因此整个解码过程可能是无序的。为了保证后续能够完成视频的重组，步骤401会按照时间先后顺序对每个GOP组进行编号，GOP组编号是后续进行重组处理的依据。 

由于GOP组进行了编号，因此步骤402中用来给每个解码通道分发GOP组的调度算法设计上就比较灵活。在一个例子中，综合考虑负载分担，分发GOP组的调度算法可以是：根据解码通道当前解码进程进行分发，确保每个解码通道上至少有两个GOP组正在等待处理。在实现上，步骤402可以根据GPU解码通道的反馈来不断地给每个解码通道分发GOP组，处理快的通道将会分发到更多的GOP组。在初始的时候，CPU按照顺序分发给GPU解码通道1的GPO组编号是1和2，分发给解码通道2的GOP组编号是3和4，但是如此运行下去一段时间之后，可能会出现如前所述的乱序结果(参见图5)。 

GPU本身最为擅长图像处理，在GPU上设置多个解码通道并发地对分拆出来GOP组进行解码，解码的速度可以有一定幅度提升。GOP组解码之后会形成若干YUV格式的视频帧，在步骤403可以使用一个或者多个独立 的第二线程使用解码后的YUV视频帧进行背景建模。背景建模算法可以采用目前各种已经成熟的算法来实现，比如自适应高斯混合背景建模算法等。在优选的方式中，从多个通道获取的YUV视频帧可能存在乱序，但是对于背景建模而言，视频帧存在一定的乱序对背景建模而言所产生的负面影响非常小，而且乱序的幅度通常比较小。这是因为视频拆分的时候是按照顺序拆分的，然后分发多个解码通道，只不过有的解码通道速度略快，但是总体上，同一个GPU中的多个解码通道的处理能力通常都是大致相当的。因此当前正在处理的GOP组通常不会出现较大幅度的乱序情况，一般不会超过数秒这样的量级。而另一方面，背景建模过程中虽然在持续输出背景帧，但是事实上，大部分应用场景中，背景帧真正的更新时间周期可能长达数分钟，因此轻微的乱序对于背景建模而言并不会产生实质性影响。而且在很多实现过程中，通常不是每一帧都需要参与背景建模的计算，背景建模算法可以采用抽帧的方式获取视频帧进行运算，因此合理规划抽帧间隔的情况下，那种可能存在的轻微乱序对于背景建模的输出结果几乎没有实质影响。 

在完成背景建模之后，可以基于YUV帧以及当前背景建模的输出结果进行前景分析，比如采用帧差算法获得前景目标。以图2为例，其中的汽车可以理解为前景目标，而车位等部分则属于背景画面。从宏观上来看，可以理解为用YUV帧减去背景帧即可得到前景目标，对前景目标进行二值化处理之后可以得到其轮廓，进而确定前景目标在背景中的位置。值得注意的是，如前所述，背景更新时间通常较长，而YUV帧乱序情况通常比较轻微，因此YUV帧与背景帧之间的对应关系通常是准确的，比如说1分钟内的YUV帧可以共用同样的背景帧，因此乱序并不会对前景目标的获取产生实质性影响。 

在前景分析上，本申请与现有技术不同的地方在于，本申请使用多个独立第三线程进行前景分析，这可以大大提升前景分析的效率。假设每个解码通道对接一个独立的第三线程，以图6a以及图6b为例，将会有6个第三线程在进行前景分析。假设第二线程将背景建模的输出结果放在一个共享内存 空间内，那么6个第三线程可以并发地同时使用该共享内存空间内的背景帧作为计算依据，这意味着一个较短的单位时间内，可以同时输出6个前景分析结果，理论上速度提升会接近6倍。现有技术中通常都是一帧一帧地顺序进行前景分析，受限于按照视频帧在时间上顺序进行处理的惯性思维的束缚，这个过程通常会耗时太多。 

在前景目标提取完成后，将每个第三线程输出的前景目标按照GOP组为单位进行重新组合。每个第三线程在持续地输出前景分析结果，而前景分析结果中的前景帧在一个GOP组内部是顺序输出的，因此每个第三线程都会得到多个解码后的GOP组。在步骤405可以按照GOP组的编号对前景目标进行重组，得到顺序的前景目标的帧序列，之前可能存在的乱序将会被消除。然后基于前景目标的帧序列与背景帧进行视频浓缩，从时间和空间上两个维度进行处理，形成最终形成多个浓缩的GOP组，将多个GOP组打包视频文件完成当前处理。 

请参考图6a以及6b中，其介绍了本申请相对于现有技术的速度优势，以及该优势形成的根本原因。相对于现有技术而言，首先，由于本申请采用了GPU多通道并行解码的处理方式，视频解码环节速度会显著提升。其次，本申请将原来一个线程中处理的多个业务分解到多个线程中并行进行处理，比如说背景建模的输出结果可以被多个负责前景提取的第三线程所共享，背景建模与前景提取这两个处理相当于在并行运行着，这会显著节约处理时间。在此基础上，由于前景提取又是多线程并发处理的，因此又进一步加快前景提取的速度，大大地节约了处理时间。虽然本申请相对于现有技术增加了GOP组拆分以及GOP组重组两个过程，但是事实上拆分与重组所消耗的时间相对来说非常少，相对于前述对时间的节省来说，GOP组拆分与重组这种简单的文件处理所消耗的额外时间几乎可以忽略不计。 

由于多通道的前景提取方式速度大大加快，在某些情况下可能对背景建模的速度也有一定的要求。在一个优选的例子中，本申请使用多个第二线程来负责背景建模，不同的第二线程负责视频帧不同部分的背景建模处理，比 如说将同一个视频帧分成上下相等的两部分，一个第二线程负责视频帧上半部分的背景建模处理，另一个第二线程负责视频帧下半部分的背景建模处理。这种处理可以提升背景建模的处理速度，使得其与前景提取等其他处理环节的速度更加匹配。 

请继续参考图6a以及图6b，在另一个优选的例子中，每个解码通道针对解码后的YUV帧进行YUV伸缩处理，这里所说的伸缩一般是指将视频帧的尺寸缩小，比如降低分辨率，将高清标准的视频帧降低为标清甚至更低标准的视频帧，这样的处理可以大大加快后续背景建模与前景分析的速度，因为处理的对象--视频帧的数据量大幅度降低，因此速度可以得到极大的提升，而使用GPU解码通道进行YUV伸缩处理所需要的消耗的额外时间相对于节约的时间而言是非常小的。 

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。 

Claims (14)

1.一种视频浓缩装置，应用于图像处理设备，其特征在于，该装置包括：

GOP拆分单元，用于以GOP组为单位对待浓缩视频文件进行拆分并对每个GOP组进行编号；

GOP调度单元，用于按照预设的调度算法将拆分得到的GOP组分发到GPU上预设的多个解码通道以使各解码通道进行并行解码；

背景建模单元，用于获取GPU解码通道输出的YUV视频帧进行背景建模；

前景提取单元，用于基于背景建模的输出结果，并发对GPU解码通道输出的多路YUV视频帧进行前景分析获得对应的分析结果；

浓缩执行单元，用于基于GOP组编号对分析结果进行重组然后浓缩合成。

2.根据权利要求1所述的装置，其特征在于：

其中所述对待浓缩视频文件进行拆分具体为：使用独立的第一线程对待浓缩视频文件进行拆分。

3.根据权利要求1所述的装置，其特征在于：

其中进行背景建模过程具体为：使用多个独立的第二线程进行背景建模。

4.根据权利要求3所述的装置，其特征在于：

其中不同第二线程在背景建模过程中负责视频帧不同部分的背景建模。

5.根据权利要求1所述的装置，其特征在于：

其中所述并发对GPU解码通道输出的多路YUV视频帧进行前景分析具体为：使用多个独立第三线程并发对GPU解码通道输出的多路YUV视频帧进行前景分析。

6.根据权利要求5所述的装置，其特征在于：

其中GPU解码通道的数量与第三线程的数量相同，每个第三线程负责一个解码通道输出的YUV视频帧的前景分析。

7.根据权利要求1所述的装置，其特征在于：

其中所述解码通道进一步用于对解码后的YUV帧进行伸缩处理。

8.一种视频浓缩方法，应用于图像处理设备，其特征在于，该方法包括：

以GOP组为单位对待浓缩视频文件进行拆分并对每个GOP组进行编号；

按照预设的调度算法将拆分得到的GOP组分发到GPU上预设的多个解码通道以使各解码通道进行并行解码；

获取GPU解码通道输出的YUV视频帧进行背景建模；

基于背景建模的输出结果，并发对GPU解码通道输出的多路YUV视频帧进行前景分析获得对应的分析结果；

基于GOP组编号对分析结果进行重组然后浓缩合成。

9.根据权利要求8所述的方法，其特征在于：

其中所述对待浓缩视频文件进行拆分具体为：使用独立的第一线程对待浓缩视频文件进行拆分。

10.根据权利要求8所述的方法，其特征在于：

其中进行背景建模过程具体为：使用多个独立的第二线程进行背景建模。

11.根据权利要求10所述的方法，其特征在于：

其中不同第二线程在背景建模过程中负责视频帧不同部分的背景建模。

12.根据权利要求9所述的方法，其特征在于：

其中所述并发对GPU解码通道输出的多路YUV视频帧进行前景分析具体为：使用多个独立第三线程并发对GPU解码通道输出的多路YUV视频帧进行前景分析。

13.根据权利要求12所述的方法，其特征在于：

其中GPU解码通道的数量与第三线程的数量相同，每个第三线程负责一个解码通道输出的YUV视频帧的前景分析。

14.根据权利要求1所述的方法，其特征在于：

其中所述解码通道进一步用于对解码后的YUV帧进行伸缩处理。