CN110533696A - 一种视频运动分析方法、装置、设备及存储介质 - Google Patents

Abstract

本公开实施例关于一种视频运动分析方法、装置、设备及存储介质，涉及计算机视觉领域，用以实现降低视频运动分析的成本，并提高视频运动分析的效率。所述视频运动分析的方法，包括：从待分析视频中选取多组相邻帧，选取出的每个视频帧仅存在于一组相邻帧中；基于选取出的每一组相邻帧进行运动分析。

Description

一种视频运动分析方法、装置、设备及存储介质

技术领域

本发明涉及计算机视觉领域，尤其涉及一种视频运动分析方法、装置、设备及存储介质。

背景技术

视频的运动分析就是使用数据描述视频每帧相对于相邻帧变化量的过程，它将数字图像处理领域中对静态图像的分析扩展到动态图像中，从而从动态图像中获得一些关于运动物体以及运动本身的特征，包括运动是否存在、运动方式以及运动物体的识别。

然而对于高清监控视频，大量的图像数据处理必然导致效率低下，所以优化系统以提高处理速度是现在视频运动分析领域亟待解决的问题。

针对上述问题，现有技术中考虑到各处理器的计算特点和计算能力，分析不同处理器间的数据拷贝和通信开销，提出了视频分析系统的CPU-GPU之间的通信优化方案，即使用GPU对视频进行解码和分析，再将分析结果同步到CPU。并且现有技术中使用GPU对视频的运动分析，一般是通过对视频的相邻帧进行分块操作，所以需要大量的搜索、匹配。

综上所述，现有技术中的视频运动分析需要额外的GPU成本，且效率较低。

发明内容

本公开实施例提供一种视频运动分析方法、装置、设备和存储介质，用以实现降低视频运动分析的成本，并提高视频运动分析的效率。

第一方面，本公开实施例提供了一种视频运动分析方法，包括：

从待分析视频中选取多组相邻帧，选取出的每个视频帧仅存在于一组相邻帧中；

基于选取出的每一组相邻帧进行运动分析。

本公开实施例提供的视频运动分析方法，在对待分析视频进行视频运动分析时，通过从待分析视频中选取多组相邻帧，且选取出的每个视频帧仅存在于一组相邻帧中，并基于选取出的每一组相邻帧进行运动分析，与现有技术中的视频运动方法相比，无需在GPU中进行视频运动分析，降低了视频运动分析的成本，且通过从待分析视频中选取多组相邻帧进行运动分析的方式，减少了视频运动分析时所需分析的视频帧数量，从而提高视频运动分析的效率。

在一种可能的实施方式中，从待分析视频中选取多组相邻帧，包括：

以预设帧间隔从待分析视频中选取多组相邻帧。

从待分析视频中选取多组相邻帧，包括：

以固定帧间隔从待分析视频中选取多组相邻帧。

本公开实施例提供的视频运动分析方法，从待分析视频中选取多组相邻帧时，可以以预设帧间隔进行选取，也可以以固定帧间隔选取，换句话说，从待分析视频中选取多组相邻帧时，可以以可变的帧间隔进行选取，也可以以固定的帧间隔进行选取，灵活性较强，而且，在从待分析视频中选取多组相邻帧时，帧间隔越大，进行视频运动分析时所需的计算次数越少，视频运动分析的效率越高。

在一种可能的实施方式中，基于选取出的每一组相邻帧进行运动分析，包括：

针对每一组待分析的相邻帧：

对待分析的相邻帧中的两帧图像分别进行预设比例缩小处理；

基于缩小处理后的两帧图像进行运动分析。

本公开实施例提供的视频运动分析方法，在基于选取出的每一组相邻帧进行运动分析时，针对每一组待分析的相邻帧，首先对待分析的相邻帧中的两帧图像分别进行预设比例缩小处理，然后基于缩小处理后的两帧图像进行运动分析，由于以预设比例缩小处理后，图像变小，因此，在采用分块方式进行运动分析时，若分块尺寸不变，则块的个数减少，从而减少视频运动分析的计算量。

在一种可能的实施方式中，缩小处理后的图像中每个像素点的像素值为以目标像素点为中心预设范围内的多个像素点的像素值的平均值，目标像素点为原图像中与每个像素点对应的像素点。

第二方面，本公开实施例还提供了一种视频运动分析装置，包括：

处理单元，被配置为执行从待分析视频中选取多组相邻帧，选取出的每个视频帧仅存在于一组相邻帧中；

分析单元，被配置为执行基于选取出的每一组相邻帧进行运动分析。

在一种可能的实施方式中，处理单元具体被配置为：

以预设帧间隔从所述待分析视频中选取多组相邻帧。

在一种可能的实施方式中，处理单元具体被配置为：

以固定帧间隔从待分析视频中选取多组相邻帧。

在一种可能的实施方式中，分析单元具体被配置为：

针对每一组待分析的相邻帧：

对待分析的相邻帧中的两帧图像分别进行预设比例缩小处理；

基于缩小处理后的两帧图像进行运动分析。

在一种可能的实施方式中，缩小处理后的图像中每个像素点的像素值为以目标像素点为中心预设范围内的多个像素点的像素值的平均值，目标像素点为原图像中与每个像素点对应的像素点。

第三方面，本公开实施例还提供了一种视频运动分析设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，处理器被配置为执行指令，以实现本公开实施例第一方面提供的视频运动分析方法。

第四方面，本公开实施例还提供了一种计算机程序，当计算机程序由视频运动分析设备的处理器执行时，使得视频运动分析设备能够执行本公开实施例第一方面提供的视频运动分析方法。

第五方面，本公开实施例还提供了一种存储介质，当存储介质中的指令由视频运动分析设备的处理器执行时，使得视频运动分析设备能够执行本公开实施例第一方面提供的视频运动分析方法。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1是本公开实施例中的一种视频运动分析方法的示意流程图；

图2是本公开实施例中的另一种视频运动分析方法的示意流程图；

图3是本公开实施例中的一种计算缩小处理后图像中像素点像素值的原理示意图；

图4是本公开实施例中的另一计算缩小处理后图像中像素点像素值的原理示意图；

图5是本公开实施例提供的视频运动分析装置的结构示意图；

图6是本公开实施例提供的视频运动分析设备的结构示意图。

具体实施方式

以下结合附图对本公开的实施例进行说明，应当理解，此处所描述的实施例仅用于说明和解释本公开，并不用于限定本公开。

鉴于现有技术中对视频运动分析多是在GPU中进行解码分析，再同步至CPU中，该方式需要对视频进行大量的搜索与匹配，这就要求GPU和CPU进行大量同步和通信，降低了效率，而且需要成本较高的GPU资源。基于此本公开实施例中提供了一种视频运动分析方案，用以实现降低视频运动分析的成本，并提高视频运动分析的效率。

本公开实施例提供的视频运动分析方案中，在对视频运动分析进行优化，提高视频运动分析的效率时，可以分为时间域优化和空间域优化两个方面，下面结合附图以及具体实施例，分别从时间域优化和空间域优化对本公开实施例提供的视频运动分析方法进行详细说明。

需要说明的是，实际应用中，本公开实施例在具体实施时，可以单独利用时间域优化对视频运动分析进行优化，以提高视频运动分析的效率，也可以单独利用空间域优化对视频运动分析进行优化，以提高视频运动分析的效率，当然，还可以时间域优化和空间域优化相结合对视频运动分析进行优化，以提高视频运动分析的效率，本公开实施例对此不做限定。

实施例一、时间域优化

如图1所示，利用时间域优化对视频运动分析进行优化时，其可以包括以下步骤：

步骤11，从待分析视频中选取多组相邻帧，选取出的每个视频帧仅存在于一组相邻帧中。

步骤12，基于选取出的每一组相邻帧进行运动分析。

需要说明的是，视频运动分析就是使用数据描述视频每帧相对于前一帧的变化过程，因此需要选取关联性较大的帧进行数据计算，基于此本公开实施例中采取从待分析视频中选取多组相邻帧的方式，对视频进行运动分析前的时间域优化处理。

下面以两种实施方式对本公开实施例中选取多组相邻帧的选取规则分别进行说明。

实施方式一

在一种可能的实施方式中，以预设帧间隔从待分析视频中选取多组相邻帧。

其中，预设帧间隔可以根据实际应用场景进行灵活选择，例如，小于5帧的任意值，其可以是两帧，也可以是三帧。当然，在本发明其它实施例中，预设帧间隔也可以是其它值。

需要说明的是，在从待分析视频中选取多组相邻帧时，每次选取相邻帧的帧间隔可以相同，也可以不同。例如，从待分析视频中选取一组相邻帧，间隔两帧，再选取一组相邻帧，间隔三帧，再选取一组相邻帧。

在一个示例中，假设待分析视频中包含N帧，其帧序号分别为{F₀，F₁，F₂，……F_N}，在从待分析视频中选取多组相邻帧时，先选取{F₀，F₁}作为第一组相邻帧，然后间隔两帧F₂和F₃，选取{F₄，F₅}作为第二组相邻帧，然后间隔三帧F₆、F₇和F₈，再选取{F₉，F₁₀}作为第三组相邻帧，然后间隔四帧F₁₁、F₁₂、F₁₃和F₁₄，再选取{F₁₅，F₁₆}作为第四组相邻帧，然后再间隔两帧选取第五组相邻帧，如此循环，从待分析视频中选取多组相邻帧。

需要说明的是，在具体实施时，不限定于间隔为两帧、三帧、四帧，在保证视频运动分析准确性的情况下，可根据需求自行设置选取多组相邻帧的帧间隔。

实施方式二

在一种可能的实施方式中，以固定帧间隔从待分析视频中选取多组相邻帧。

其中，固定帧间隔可以根据实际应用场景进行灵活选择，例如，小于5帧的任意值，其可以是两帧，也可以是三帧。当然，在本发明其它实施例中，固定帧间隔也可以是其它值。

需要说明的是，本实施方式中，每一组相邻帧与前一组相邻帧之间的间隔是固定的，具体帧数可以预先设置，间隔的帧数越多，选取的相邻帧组数越少，视频运动分析的效率越高。

具体实施时，固定帧间隔以3帧为例，在从待分析视频中选取多组相邻帧时，先选取一组相邻帧，间隔三帧，再选取一组相邻帧，间隔三帧，再选取一组相邻帧。

在一个示例中，假设待分析视频中包含N帧，其帧序号分别为{F₀，F₁，F₂，……F_N}，在从待分析视频中选取多组相邻帧时，先选取{F₀，F₁}作为第一组相邻帧，然后间隔三帧F₂、F₃和F₄，选取{F₅，F₆}作为第二组相邻帧，然后间隔三帧F₇、F₈和F₉，再选取{F₁₀，F₁₁}作为第三组相邻帧，然后间隔三帧F₁₂、F₁₃和F₁₄，再选取{F₁₅，F₁₆}作为第四组相邻帧，然后再间隔三帧选取第五组相邻帧，如此循环，从待分析视频中选取多组相邻帧。

需要说明的是，在对待分析视频进行时间域优化，从待分析视频中选取多组相邻帧时，选取出的第一组相邻帧并不局限于{F₀，F₁}，也可以间隔一定数量帧再做选取，或者根据需求自行设置，本公开实施例对此不做限定。

实施例二、空间域优化

如图2所示，在实施例一中对时间域优化的基础上，利用空间域优化对视频运动分析进行优化时，其可以包括以下步骤：

步骤21，针对每一组待分析的相邻帧，对待分析的相邻帧中的两帧图像分别进行预设比例缩小处理。

具体实施时，对待分析的相邻帧中的两帧图像分别进行预设比例缩小处理时，可以预先给定缩小比例，例如，缩小比例为3；也可以预先给定缩小后图像的尺寸，例如，给定缩小后图像的长度为540，本公开实施例对此不做限定。

具体实施时，缩小处理后的图像中每个像素点的像素值为以目标像素点为中心预设范围内的多个像素点的像素值的平均值，目标像素点为原图像中与每个像素点对应的像素点。

步骤22，基于缩小处理后的两帧图像进行运动分析。

本公开实施例在对待分析视频进行视频运动分析时，从待分析视频中选取多组相邻帧，且选取出的每个视频帧仅存在于一组相邻帧中，既保证了视频运动分析过程中选取的视频帧的关联性较大，又减少了视频运动分析的计算量；同时对选取出的每一组相邻帧的图像进行缩小处理，然后进行视频运动分析，整个视频运动分析过程无需在GPU中进行，降低了视频运动分析的成本，且通过从待分析视频中选取多组相邻帧和对每组相邻帧进行缩小处理后进行运动分析的方式，减少了视频运动分析时所需分析的视频帧数量和计算量，从而提高视频运动分析的效率。

下面结合具体的实施例，对本公开实施例中图像缩小处理后，图像中像素点像素值的计算方法进行详细说明。

具体实施时，假设原图像的高和宽分别为h₀、w₀，经过预设比例缩小处理后的图像高和宽分别为h、w，且高和宽的缩小比例是一致的。

针对缩小处理后的图像中的任一像素点，假设其位置坐标为(i，j)(i∈[0，h-1]，j∈[0，w-1])，则它的像素值可以使用如下公式计算：

r＝w₀/w

r′＝ceil(r)

i′＝ceil(i*r)

j′＝ceil(j*r)

其中，r是原图像与缩小处理后的图像尺寸的比值，即缩小比例；r′是r向上取整后的值，(i′，j′)则是像素点(i，j)在原图像中相对应的像素点的坐标，I(i，j)是缩小处理后像素点(i，j)的像素值，它是原图像中像素点(i′，j′)的邻域中所有像素点的像素值的均值，该邻域大小是r′*r′。如果该邻域中某个像素点的坐标越界(超出原图像I₀的边界)，则使用与该点最近的像素点的像素值代替(例如，使用I₀(h-1，w-1)代替I₀(h，w))。

在一个示例中，假设原图像尺寸为2048×1536，等比例缩小后的图像尺寸为640×480，缩小比例r＝3.2。

需要说明的是，在具体实施时，既可以先确定缩小比例为3.2，得出将原图像高、宽等比例缩小后的图像尺寸为640×480；也可以先确定缩小后的图像宽为480，得出缩小比例为3.2，再计算得出高为640。

以计算缩小处理后的图像中坐标为(4,7)的像素点的像素值为例，后续计算步骤中需要划分一个r′*r′大小的邻域范围，所以r′须为整数，一般选择向上取整，扩大邻域范围，因此，将缩小比例r向上取整为r′＝4。

计算缩小处理后的图像中的坐标(4,7)的像素点在对应在原图像中对应的像素点的坐标为(16,28)。

如图3所示，在原图像中以(16,28)为中心，划分大小为4×4的一个邻域，计算该邻域中16个像素点的像素值的平均值，将该平均值作为缩小处理后的图像中坐标为(4,7)的像素点的像素值。

其中，原图像中以(16,28)为中心，划分大小为4×4的邻域时，(16,28)可以是中间四个像素中的任意一个，且缩小处理后的图像的所有坐标在计算其像素时，应遵循同样的划分原则。具体来说，如图3所示，以(16,28)为中心，划分大小为4×4的邻域时，(16,28)处于中间四个像素中左上角的位置，则在计算缩小处理后的图像中其它像素点的像素值时，该像素点在原图像中对应的像素点在4×4的邻域中所处的位置也应当是中间四个像素中左上角的位置。

具体实施时，如果该邻域的某个点像素坐标越界(超出原图像的边界)，如图4所示，在计算缩小处理后的图像(0,0)坐标点像素时，其在原图像中对应的邻域超出了原图像的边界，则使用与该像素点最近的像素点代替。

具体来说，以计算缩小处理后的图像中坐标为(0,0)的像素点的像素值为例，首先将缩小比例r向上取整为r′＝4，缩小处理后的图像中坐标(0,0)的像素点在原图像中对应的像素点的坐标为(0,0)，在原图像中划分以(0,0)为中心，大小为4×4的一个邻域。

如图4所示，在该邻域中的某些坐标点超出了原图像的边界，则使用与这些坐标点最近坐标点的像素值进行代替，计算该邻域中16个像素点的像素值的平均值，该平均值即为缩小处理后的图像中(0,0)的像素点的像素值。

在一种可能的实施方式中，也可以采用最近邻插值法对待分析相邻帧图像进行处理。

具体实施时，假设原图像的高为h，宽为w，原图像中像素点的坐标为(x,y)，目标图像的高为H，宽为W，目标图像中像素点的坐标为(X,Y)。

那么根据缩放比例有x/X＝w/W，同理，纵向上像素点坐标对应的比值y/Y＝h/H，在对图像进行缩小处理时，图像高和宽的缩小比例应保持一致，所以h/H＝w/W＝r，目标图像中的像素点(X,Y)对应到原图像中像素点的坐标(x,y)＝(rX,rY)。

这里要对rX、rY两个数值进行取整，取整规则按照小数部分四舍五入的方式，如果小数部分小于0.5，则向下取整；否则，向上取整。

例如，对于5×5的256级的灰度图，即高为5个像素，宽也是5个像素，其像素矩阵如下：

在这个像素矩阵中，坐标(x,y)是这样确定的：x从左到右，从零开始，y从上到下，也是从零开始。将这个图像缩小为4×4的图像时，则每个坐标点对应的像素点的灰度值等于其在原图像中对应像素点的灰度值。

举例来说，缩小后图像中坐标为(0,0)的像素点，其在原图像中对应的像素点的坐标为所以缩小后图像中坐标为(0,0)的像素点的灰度值等于原图像中坐标为(0,0)的像素点的灰度值，即234；

缩小后图像中坐标为(1,2)的像素点，其在原图像中对应的像素点的坐标为按照小数部分小于0.5，则向下取整；否则，向上取整的规则，1.25取整为1，2.5取整为3，所以缩小后图像中坐标为(1,2)的像素点的灰度值等于原图像中坐标为(1,3)的像素点的灰度值，即49；

以上述方法，依次计算4×4图像中每个像素点的灰度值，得到如下像素矩阵：

当然，在对待分析的相邻帧中的两帧图像分别进行预设比例缩小处理时，并不局限于本公开实施例介绍的上述两种方法，也可采用其他能够对图像进行缩小处理的插值算法，本公开实施例对此不做限定。

需要说明的是，上述实施例二是在实施例一中对时间域优化的基础上，利用空间域优化对视频运动分析进行优化，本公开实施例中利用空间域优化对视频运动分析进行优化，也可以在现有视频运动分析的基础上进行，此种情况下，空间域优化所针对的两帧图像不是时间域优化中选取出的相邻帧，而是采用现有方式(例如，连续选取的)选取的相邻帧。

如图5所示，本公开实施例还提供了一种视频运动分析装置，包括：

处理单元51，被配置为执行从待分析视频中选取多组相邻帧，选取出的每个视频帧仅存在于一组相邻帧中；

分析单元52，被配置为执行基于选取出的每一组相邻帧进行运动分析。

在一种可能的实施方式中，处理单元51具体被配置为：

以预设帧间隔从所述待分析视频中选取多组相邻帧。

在一种可能的实施方式中，处理单元51具体被配置为：

以固定帧间隔从待分析视频中选取多组相邻帧。

在一种可能的实施方式中，分析单元52具体被配置为：

针对每一组待分析的相邻帧：

对待分析的相邻帧中的两帧图像分别进行预设比例缩小处理；

基于缩小处理后的两帧图像进行运动分析。

在一种可能的实施方式中，缩小处理后的图像中每个像素点的像素值为以目标像素点为中心预设范围内的多个像素点的像素值的平均值，目标像素点为原图像中与每个像素点对应的像素点。

基于上述本发明实施例相同构思，图6是根据示例性实施例示出的视频运动分析设备60的框图。如图6所示，其包括：

处理器601；

用于存储处理器60可执行指令的存储器602；

其中，处理器601被配置为执行指令，以实现本公开实施例中提供的视频运动分析方法。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器602，上述指令可由视频运动分析设备的处理器601执行以完成上述方法。

可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种视频运动分析方法，其特征在于，包括：

从待分析视频中选取多组相邻帧，选取出的每个视频帧仅存在于一组相邻帧中；

基于选取出的每一组相邻帧进行运动分析。

2.根据权利要求1所述的方法，其特征在于，所述从待分析视频中选取多组相邻帧，包括：

以预设帧间隔从所述待分析视频中选取多组相邻帧。

3.根据权利要求1所述的方法，其特征在于，所述从待分析视频中选取多组相邻帧，包括：

以固定帧间隔从所述待分析视频中选取多组相邻帧。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述基于选取出的每一组相邻帧进行运动分析，包括：

针对每一组待分析的相邻帧：

对所述待分析的相邻帧中的两帧图像分别进行预设比例缩小处理；

基于缩小处理后的两帧图像进行运动分析。

5.根据权利要求4所述的方法，其特征在于，缩小处理后的图像中每个像素点的像素值为以目标像素点为中心预设范围内的多个像素点的像素值的平均值，所述目标像素点为原图像中与所述每个像素点对应的像素点。

6.一种视频运动分析装置，其特征在于，包括：

处理单元，被配置为执行从待分析视频中选取多组相邻帧，选取出的每个视频帧仅存在于一组相邻帧中；

分析单元，被配置为执行基于选取出的每一组相邻帧进行运动分析。

7.根据权利要求6所述的装置，其特征在于，所述处理单元具体被配置为：

以预设帧间隔从所述待分析视频中选取多组相邻帧。

8.根据权利要求6所述的装置，其特征在于，所述处理单元具体被配置为：

以固定帧间隔从所述待分析视频中选取多组相邻帧。

9.一种视频运动分析设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至5中任一项所述的视频运动分析方法。

10.一种存储介质，其特征在于，当所述存储介质中的指令由视频运动分析设备的处理器执行时，使得视频运动分析设备能够执行如权利要求1至5中任一项所述的视频运动分析方法。