CN116109957A - 一种运动检测方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请实施例提供一种运动检测方法、装置、存储介质及电子设备，该运动检测方法包括：根据视频序列获取第i图像对；将所述第i图像对包括的两幅图像分别划分为多个图像块；获取各图像块上所有像素点的目标运动权重，得到所述第i图像对的运动掩膜，其中，任一像素点的目标运动权重是通过如下策略获取的：根据所述任一像素点的像素值和所述任一像素点所在的图像块的特征值之间的差异得到所述任一像素点的目标运动权重；重复上述过程得到与多个图像对对应的运动掩膜，并融合所有运动掩膜得到目标运动掩膜。本申请的一些实施例只是通过比较像素值大小来计算运动掩膜,计算速度较快。

Description

一种运动检测方法、装置、存储介质及电子设备

技术领域

本申请涉及基于图像帧进行运动检测的领域，具体而言本申请实施例涉及一种运动 检测方法、装置、存储介质及电子设备。

背景技术

运动检测算法是通过软件算法处理两帧或多帧图像,从而在多帧图像中检测出运动 的物体或运动像素点所在的区域。图像的运动检测算法目前可以分为两大类:传统方法和 深度学习方法。

传统方法是通过寻找特征来区分图像上的运动区域和静止区域。深度学习方法是以 神经网络模型为主的各种深度学习方法。

以上两类方法至少存在如下缺陷：第一，无论是传统方法还是深度学习方法，往往容易受到噪声的影响。第二，同一个场景,不同曝光的情况下不同帧的图像的相同区域 往往亮度有较大差异，这部分会对运动检测产生很大影响。这是由于传统方法中简单基 于亮度差异或局部统计信息的算法很容易将亮度的变化检测为运动。深度学习方法有两 个难点:第一点是标注数据获取困难，且运动标注比较花时间。第二点是深度学习模型 通常比较庞大很难满足对于时间要高的移动终端平台算法。

因此如何提升运动检测方法的技术效果成了亟待解决的技术问题。

发明内容

本申请实施例的目的在于提供一种运动检测方法、装置、存储介质及电子设备，本申请的一些实施例只是通过比较像素值大小来计算运动掩膜,计算速度较快。本申请的 一些实施例使用块匹配的方法,使得方法对于不同帧间的亮度差异不敏感。本申请的一 些实施例还综合考虑不同的块大小以及中值和中心值,使得方法较为鲁棒,有效减少噪 声干扰。

第一方面，本申请的一些实施例提供一种运动检测方法，所述运动检测方法包括：根据视频序列获取第i图像对，其中，所述第i图像对包括第i帧图像和参考图像，所 述参考图像包括与所述第i帧图像相邻的第i+1帧图像或者与所述第i帧图像相邻的后 多帧图像的融合图像，i的取值为大于或等于1的整数；将所述第i图像对包括的两幅 图像分别划分为多个图像块；获取各图像块上所有像素点的目标运动权重，得到所述第 i图像对的运动掩膜，其中，任一像素点的目标运动权重是通过如下策略获取的：根据 所述任一像素点的像素值和所述任一像素点所在的图像块的特征值之间的差异得到所 述任一像素点的目标运动权重；重复上述过程得到与多个图像对对应的运动掩膜，并融 合所有运动掩膜得到目标运动掩膜。

本申请的一些实施例中通过比较各图像块内任一像素点像素值相对于该图像块的 特征值(例如，中心值和/或中值)在相邻两帧或多帧(即融合了多帧图像)中的差异来确定目标权重系数，正是由于本申请的实施例通过比较像素值大小来计算运动掩膜计算速度较快，可以将运动检测方法直接在手机等移动终端上执行。

在一些实施例中，所述获取各图像块上所有像素点的目标运动权重，包括：根据所述差异确认所述任一像素点属于运动像素点，并统计所述任一像素点所在的图像块包括的运动像素点的总数目；根据所述运动像素点的总数目和所述任一像素点所在的图像块的尺寸得到所述任一像素点所在的图像块的块权重系数；根据所述块权重系数得到所述任一像素点的目标权重系数。

本申请的一些实施例通过获取块权重系数来得到运动掩膜可以提升运动检测的准 确性。

在一些实施中，所述特征值包括中值和中心值中的至少一个。

本申请的一些实施例通过选取各图像块的中心值和中值中的至少一个来与任一像 素点比较以获取差异，提升了获取的差异的客观性和准确性。

在本申请的一些实施例中，所述将所述第i图像对包括的两幅图像分别划分为多个 图像块，包括：根据一种尺寸将所述第i图像对包括的两幅图像分别划分为所述多个图像块，其中，所述任一像素点为第一像素点，所述第一像素点被划分在第j个图像块上， j为大于或等于1的整数；所述根据所述差异确认所述任一像素点属于运动像素点，并 统计所述任一像素点所在的图像块包括的运动像素点的总数目，包括：根据所述差异确 认所述第一像素点属于运动像素点，并统计所述第j个图像块包括的运动像素点的总数 目；所述根据所述运动像素点的总数目和所述任一像素点所在的图像块的尺寸得到所述 任一像素点所在的图像块的块权重系数，包括：计算所述第j个图像块包括的运动像素 点的总数目和所述第j个图像块的尺寸的比值，得到所述块权重系数；所述根据所述块 权重系数得到所述任一像素点的目标权重系数，包括：将所述比值作为所述第一像素点 的目标权重系数。

本申请的一些实施例通过一种尺寸来划分相邻两帧视频图像或者相邻多帧视频图 像(即第二图像融合了多帧图像)之后通过块内的像素值与图像块的特征值比较来获取运动掩膜，这样一方面提升了数据处理的速度(通过比较像素值与中值在不同帧间测差异)，另一方面可以有效避免仅根据两帧之间的亮度差异来进行运动检测时准确度较差 的技术问题。

在一些实施例中，所述将所述第i图像对包括的两幅图像分别划分为多个图像块，包括：根据N种尺寸的各尺寸分别将所述第i图像对包括的两幅图像进行分块，得到所 述多个图像块，其中，N为大于1的整数，所述任一像素点为第二像素点，所述第二像 素点被划分在N种目标图像块上，每一种目标图像块是采用一种尺寸对所述两幅图像进 行划分得到的；所述根据所述差异确认所述任一像素点属于运动像素点，并统计所述任 一像素点所在的图像块包括的运动像素点的总数目，包括：根据所述差异确认所述第二 像素点属于运动像素点，并统计所述N种目标图像块中各图像块包括的运动像素点的总 数目；所述根据所述运动像素点的总数目和所述任一像素点所在的图像块的尺寸得到所 述任一像素点所在的图像块的块权重系数，包括：根据所述N种目标图像块中各图像块 包括的运动像素点的总数目和所述N种目标图像块的尺寸求解各种目标图像块的块权 重系数，得到N个块权重系数；所述根据所述块权重系数得到所述任一像素点的目标权 重系数，包括：根据所述N个块权重系数和所述N种目标图像块中每种目标图像块的 尺寸确定所述第二像素点的目标权重系数。

本申请的一些实施例将第一图像和第二图像划分多尺度(即每个尺度对应得到一组 的多个图像块)，既可以避免噪声干扰，也充分考虑到了不同大小范围(不同尺寸的图像块覆盖不同范围)的物体的运动对运动检测的影响，使得本申请的运动检测方法较为鲁 棒且可以有效减少噪声干扰，进而显著提升了运动掩膜上运动权重系数的准确性。

在一些实施例中，所述根据所述N个块权重系数和所述N种目标图像块中每种图像块的尺寸确定所述第二像素点的目标权重系数，包括：将所述N个块权重系数加权平 均得到所述任一像素点的目标运动权重，其中，尺寸越大的图像块的加权系数也越大。

在一些实施例中，若采用Q、W和E三种不同尺寸分别对所述两幅图像分块，则坐 标为r和c的任一像素点被划分在大小分别为Q*Q、W*W和E*E三种目标图像块上， 对应三个块权重系数；其中，所述任一像素点的目标权重系数的计算公式如下：

其中，Weight_Q，(r，c)、Weight_w，(r，c)和Weight_E，(r，c)表征所述任一像素点对应的三个块权 重系数。

本申请的一些实施例提供一种根据三个块权重系数得到像素点的目标运动权重的 计算公式，使得目标运动权重可以被量化比较。

在一些实施例中，所述根据所述差异确认所述任一像素点属于运动像素点，包括：在所述第i帧图像上，获取所述任一像素点所在的任一图像块的特征值得到第i特征值， 并计算所述任一像素点的像素值与所述第i特征值的差异得到第i差异，其中，所述第 i特征值包括第i中值和/或第i中心值；在所述参考图像上，获取所述任一图像块的特 征值得到第i+1特征值，并计算所述任一像素点的像素值与所述第i+1特征值的差异得 到第i+1差异，其中，所述第i+1特征值包括第i+1中值和/或第i+1中心值；通过所述 第i差异和所述第i+1差异确认所述任一像素点在所述两幅图像上的变化趋势不一致时， 则确认所述任一像素点为运动像素点。

本申请的一些实施例通过在两幅图像上确定任一像素点所在的同一图像块的差异 之间的关系来判断该任一像素点是否属于运动像素点，进而确定该同一图像块的块权重 系数。

在本申请的一些实施例中，所述差异采用差值或者比值表征。

本申请的一些实施例提供过差值或者比值来量化所述差异值，提升了差异值的客观 性和可比较性。

在本申请的一些实施例中，所述第i差异是通过计算所述任一像素点的像素值与所 述第i特征值的差得到的第i差值；所述第i+1差异是通过计算所述任一像素点的像素值与所述第i+1特征值的差得到的第i+1差值；其中，所述通过所述第i差异和所述第 i+1差异确认所述任一像素点在所述两幅图像上的变化趋势不一致时，则确认所述任一 像素点为运动像素点，包括：若所述第i差值与所述第i+1差值的正负特性相反，则确 认所述任一像素点为运动像素点。

本申请的一些实施例通过计算各像素点在不同图像(即第i图像对包括的第i帧图像和参考图像)上与中值和/或中心值的差值的符号是否相同来确定该像素点是否可以被统计为运动像素点，提升了各图像块运动像素点数目估值速度并提升了整个图像上运行检测的准确性。

在本申请的一些实施例中，所述第i差异是通过计算所述任一像素点的像素值与所 述第i特征值的比得到的第i比值；所述第i+1差异是通过计算所述任一像素点的像素值与所述第i+1特征值的比得到的第i+1比值；其中，所述通过所述第i差异和所述第 i+1差异确认所述任一像素点在所述两幅图像上的变化趋势不一致时，则确认所述任一 像素点为运动像素点，包括：若所述第i比值与所述第i+1比值之差的绝对值小于设定 阈值时，则确认所述任一像素点为运动像素点。

本申请的一些实施例通过比值来量化所述差异，进而根据两幅图像上同一图像块的 比值之间的差值是否超过设定阈值来估计变化趋势是否一致并确定该像素点是否可以被统计为运动像素点，提升了各图像块运动像素点数目估值速度并提升了整个图像上运行检测的准确性。

在一些实施例中，所述块权重系数是通过块中值权重系数和块中心值权重系数中的 至少一个确定的，其中，所述块中值权重系数是通过确定所述任一像素点的像素值和所述任一像素点所在图像块的中值之间的差异得到的，所述块中心值权重系数是通过确定所述任一像素点的像素值和所述任一像素点所在图像块的中心值之间的差异得到的。

本申请的一些实施例根据图像块的块中值权重系数和块中心值权重系数中的至少 一个来确定图像块的块权重系数，使得本申请的运动检测方法较为鲁棒且可以有效减少 噪声干扰。

在一些实施例中，所述块中值权重系数的计算公式为：

Weight_Median，k＝m*count1/Q*Q

或者，

块中心值权重系数的计算公式为：

Weight_Middle，k＝m*count2/Q*Q

其中，k表征第k图像块，count1用于表征根据所述第k图像块的中值确定的所述第k图像块上运动像素点的总数目，count2用于表征根据所述第k图像块的中心值确定 的所述第k图像块上运动像素点的总数目，Q*Q表征第k图像块包括的像素总数目，m 表征归一化参数，k的取值为大于或等于1且k的取值为小于或等于根据尺寸Q划分图 像得到的多个图像块的总数目。

本申请的一些实施例采用上述公式得到块中值权重系数和块中心值权重系数公式 中需要乘以参数m(例如，m可以等于255)是将权重系数归一化到[0，m]范围内，方 便后续的操作。

在本申请的一些实施例所述块权重系数是块中值权重系数和块中心值权重系数的 均值。

本申请的一些实施例通过中值和中心值分别得到块中值权重系数和块中心值权重 系数，进而根据块中值权重系数和块中心值权重系数来共同确定块权重系数，使得方法较为鲁棒，有效减少噪声干扰。

在一些实施例中，在所述融合所有运动掩膜得到目标运动掩膜之后，所述方法还包 括：根据所述目标运动掩膜获取二值掩膜，其中，所述二值掩膜采用第一数值表征运动像素点，并采用第二数值表征静止像素点。

本申请的一些实施例通过二值掩膜可以直接输出各像素点是否属于运动像素点的 检测结果。

本申请的一些实施例通过对第i图像对进行导引滤波的预处理操作来排除噪声和细 小纹理的扭曲对后续运动检测过程的影响。

在一些实施例中，所述将所述第i图像对包括的各图像分别划分为多个图像块，包括：通过一种尺寸遍历所述第i图像对中的各图像得到所述多个图像块；或者通过多种 尺寸中的每种尺寸逐一遍历所述第i图像对中的各图像得到所述多个图像块。

本申请的一些实施例提供一种根据各尺寸对图像对进行分块的方法。

第二方面，本申请的一些实施例提供一种计算机可读存储介质，其上存储有计算机 程序，所述程序被处理器执行时可实现上述第一方面任意实施例所述的方法。

第三方面，本申请的一些实施例提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程 序时可实现上述第一方面任意实施例所述的方法。

第四方面，本申请的一些实施例提供一种计算机程序产品，所述计算机程序产品包 括计算机程序，所述计算机程序被处理器执行时实现如第一方面任意实施例所述的运动 检测方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用 的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下， 还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的运动检测系统的组成示意图；

图2为本申请实施例提供的任意组图像对的包括的第二图像的示意图图；

图3为本申请实施例提供的运动检测方法的流程图之一；

图4为本申请实施例提供的运动检测方法的流程图之二；

图5为本申请实施例提供的采用同一种尺寸遍历图像对该图像进行分块的过程示意 图；

图6为本申请实施例提供的运动检测装置的组成框图；

图7为本申请实施例提供的电子设备的组成示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申 请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重 要性。

请参看图1，图1为本申请一些实施例提供的运动检测系统100的组成示意图。

图1提供的运动检测系统100包括用于拍摄多帧图像的手机10，以及用于根据多帧图像进行运动检测的服务器20。

图1的手机10连续拍摄了一段视频，该视频序列多帧图像，具体地，在本申请的 一些实施例中手机10拍摄了N帧图像，即图1的第一帧图像101、第二帧图像102、第 三帧图像103、第四帧图像104，……，直至第N帧图像，这些图像既可以是基于不同 的曝光参数也可以是基于相同曝光拍摄得到的。由于本申请的一些实施采用两两检测法 进行运动像素点检测，因此在本申请的一些实施例中手机10(或者由服务器20来执行 该过程)还需要将这N帧图像分成多个图像对。例如，在图1中，对N帧图像两两分 组，其中，第一图像对包括第一帧图像101以及第二帧图像102，第二图像对包括第二 帧图像102以及第三帧图像103，第三图像对包括第三帧图像103以及第四帧图像104， 以此类推，可以将N帧图像划分为N-1个图像对，之后基于各个图像对分别进行运动像 素点检测得到与各个图像对分别对应的运动掩膜，最后再根据与N-1个图像对对应的 N-1个运动掩膜得到目标运动掩膜。

需要说明的是，在本申请的一些实施例中各个图像对包括的图像可以不同于图1。也就是说，在本申请的一些实施例中两两检测所基于的一个图像对也可以不是图1中前 后相邻的两帧图像，而是由前一帧图像和该前一帧图像相邻的后多帧图像的融合图像组 成的一个图像对。如图2所示，对图1的N帧图像进行分对，其中，图2的第一图像对 包括第一帧图像101和融合图像112，且融合图像是通过融合第一帧图像101之后的三 帧图像(即第二帧图像102、第三帧图像103以及第四帧图像104)的像素点的值得到 的。可以理解的是，依据图2示出的第一图像对可知第二图像对包括第二帧图像102以 及融合(例如，平均融合)该第二帧图像102之后的三帧图像得到的融合图像(作为各 个图像对包括的第二图像的一个具体示例)。

在本申请的一些实施例中，图1的手机10直接将采集的多帧图像发送至服务器20，之后由服务器20根据多帧图像进行运动检测，最后服务器20向该手机10反馈得到的 目标运动掩膜。在本申请的一些实施例中，图1的手机10直接将采集的多帧图像划分 为多个图像对，并将划分得到的多个图像对发送至服务器20，之后由服务器20根据这 些图像对进行运动检测。

需要说明的是，图1中由服务器20执行的运动检测方法也可以由手机10执行。也就是说，在本申请的一些实施例中，在手机10或者其它的移动终端中集成了微处理器， 该微处理器可以根据多帧图像进行运动检测。图1的手机10属于移动终端的一种，例 如，在本申请的一些实施例中手机10也可以为PAD等移动设备。

下面结合图3示例性阐述由手机10或者服务器20执行的运动检测方法。

如图3所述，本申请的一些实施例提供一种运动检测方法，该运动检测方法包括：S101，根据视频序列获取第i图像对，其中，所述第i图像对包括第i帧图像和参考图 像，所述参考图像包括与所述第i帧图像相邻的第i-1帧图像或者与所述第i帧图像相邻 的前多帧图像的融合图像，i的取值为大于或等于2的整数。S102，将所述第i图像对 包括的两幅图像分别划分为多个图像块；S203，获取各图像块上所有像素点的目标运动 权重，得到所述第i图像对的运动掩膜，其中，任一像素点的目标运动权重是通过如下 策略获取的：根据所述任一像素点的像素值和所述任一像素点所在的图像块的特征值之 间的差异得到所述任一像素点的目标运动权重；S204，重复上述过程得到与多个图像对 分别对应的运动掩膜，并融合所有运动掩膜(即与所述视频序列对应的所有运动掩膜) 得到目标运动掩膜。

需要说明的是，在本申请的一些实施例中，至少为了排除噪声和细小纹理的扭曲对 运动检测的影响，在执行S102之前还需要对S101输入的第i图像对进行导向滤波，这 样还可以使得图像的边缘被较好的保留下来和噪声混叠在一起的细节被丢弃。在本申请 的一些实施例中，为了直接输出各像素点是否属于运动像素点的结果还需要将目标运动 掩膜转换为二值掩膜，也就是说，在执行S104之后还需要根据经验值或者中值(即目 标运动掩膜的全局中值)将目标运动掩膜转化为二值掩膜。例如，在本申请的一些实施 例中采用像素值255表征对应的像素点属于运动像素点，采用0表征对应的像素点属于 静止像素点；在本申请的另一些实施例中，也可以采用0和1两个数值分别表征各像素 点是否属于运动像素点。需要说明的是，在本申请的一些实施例中，目标运动掩膜上各 像素点的取值范围可以是[0,255]范围内的任意整数值。在本申请的一些实施例中，目标 运动掩膜上各像素点的像素值可以是位于[0,1]范围内的小数，其值代表了该像素点的运 动置信度(换句话说有多大的可能性是运动的)。可以理解的是，目标运动掩膜属于非二 值,可以通过和设定阈值比较来转化为二值掩膜(例如，阈值是目标运动掩膜的全局中 值)。

下面，示例性阐述上述各步骤。

在本申请的一些实施例中，S101获取的第i图像对可以是从拍摄的多帧图像中选取 的相邻两帧图像，也就是说，在这些实施例中，第i图像对包括的第i帧图像和第i+1 帧图像。

在本申请的另一些实施例中，S101涉及的第i图像对包括从拍摄得到的多帧图像中 任意选取的一帧图像(即第i帧图像)以及位于该帧图像之后的多帧图像的融合图像。例如，在本申请的一些实施例中，第i图像对包括的第r帧图像，且包括通过融合第r+1 帧图像和第r+2帧图像这两帧图像得到的融合图像。在本申请的一些实施例中，融合图 像的获取过程示例性包括：直接平均融合或者加权融合。以加权融合方式为例，在采用 加权融合方式融合图像时像素点的值距离128越近则权重越高，假设两幅图像同一位置 的像素点的值分别记为A和B，则其权重分别为w1＝e^(abs(A-128)),w2＝e^(abs(B- 128))，归一化则为A像素点权重是w1/(w1+w2),B像素点权重是w2/(w1+w2)，多 帧图像融合以此类推，其中，abs表示取绝对值操作。需要说明的是，本申请的实施例 并不限定具体融合多少帧图像来得到各图像对中的参考图像。

也就是说，本申请的一些实施例的第i图像对包括的两幅图像为相邻的两帧图像，本申请的另一些实施例中第i图像对包括的两幅图像为一帧图像和与该帧图像相邻的多帧图像的融合图像。

在执行S102之前，在本申请的一些实施例中还包括对第i图像对进行导向滤波的过程。导向滤波(Guided Fliter)显式地利用参考图像guidance image计算输出图像， 其中导引图像guidance image可以是输入图像本身或者其它图像。在本申请的一些实 施例中，第i图像对包括的两幅图像分别为第一图像和第二图像，针对第一图像的引导 滤波可以将第一图像本身作为导引图像，针对第二图像的引导滤波可以将第二图像本申 请作为导引图像，但是本申请的实施例并不限定必须以图像自身作为导引图像。

在本申请的一些实施例中，在将所述第i图像对包括的两幅图像分别划分为多个图 像块之前，所述运动检测方法还包括：从所述视频序列中获取原始第i帧图像和原始第i+1帧图像；对所述原始第i帧图像进行导向滤波获取所述第i帧图像，并对所述原始第 i+1帧图像进行导向滤波获取所述第i+1帧图像。例如，根据原始第i帧图像自身对所述 原始第i帧图像进行导向滤波获取所述第i帧图像，根据原始第i+1帧图像对所述原始 第i+1帧图像进行导向滤波获取所述第i+1帧图像。

在本申请的一些实施例中，在将所述第i图像对包括的两幅图像分别划分为多个图 像块之前，所述运动检测方法还包括：从所述视频序列中获取原始第i帧图像和所述原始第i帧图像的后多帧原始图像；获取所述原始第i帧图像的后多帧原始图像的原始融 合图像；对所述原始第i帧图像进行导向滤波获取所述第i帧图像，并对所述原始融合 图像进行导向滤波获取所述融合图像。例如，根据原始第i帧图像自身对所述原始第i 帧图像进行导向滤波获取所述第i帧图像，根据原始融合图像自身对所述原始融合图像 进行导向滤波获取所述融合图像。

也就是说，在本申请的一些实施例中，在所述S102之前，运动检测方法还包括： 对S101获取的第i图像对包括的第i帧图像和参考图像分别进行导向滤波，之后再分别 对导向滤波后的两幅图像执行S102以及之后的步骤。

在本申请的一些实施例中，S102包括：根据一种尺寸将所述第i图像对包括的两幅图像分别划分为多个图像块。

例如，在本申请的一些实施例中，S102包括：通过一种尺寸遍历所述第i图像对中的各图像得到所述的多个图像块。

例如，在本申请的另一些实施例中，S102包括：根据多种尺寸(例如，N种尺寸) 的各尺寸分别将所述第i图像对包括的各图像进行分块，得到所述多个图像块，其中， 所述多个图像块按照不同的划分尺寸被分为多组。例如，在本申请的一些实施例中，S102 可以通过多种尺寸中的每种尺寸逐一遍历第i图像对中的各图像得到多组图像块集合， 其中，同组的多个图像块是根据同一尺寸对所述各图像进行分块得到的，不同组的多个 图像块是根据不同尺寸对所述各图像进行分块得到的。

需要说明的是，当S102是采用多种尺寸逐一对图像进行分块得到的多组图像块集合(每个集合至少包括两幅图像)时，则在本申请的一些实施例中S103包括：至少根 据运动像素点的数目获取每组包括的多个图像块中各图像块的块权重系数，得到与任一 像素点对应的多个块权重系数，其中，与所述任一像素点对应的块权重系数的总个数与 所述多组的数目(即多组图像块集合的组数)相同；根据与所述任一像素点对应的多个 块权重系数得到所述任一像素点的目标运动权重；根据所述目标运动权重得到第i图像 对的运动掩膜。例如，在本申请的一些实施例中，S103所述的根据与所述任一像素点 对应的多个块权重系数得到所述任一像素点的目标运动权重，包括：根据所述多个块权 重系数和所述任一像素点所在的多个尺寸的图像块中各尺寸图像块的像素总数目，得到 所述目标运动权重。

可以理解的是，采用同一种尺寸遍历图像对该图像进行分块，得到的各图像块的大 小并不一定相同(具体可以参考图5)。

为了得到任一像素点的目标权重系数，在本申请的一些实施例中需要首选获取该任 一像素点所在的图像块的块权重系数。例如，在本申请的一些实施例中，S103所述的 获取各图像块上所有像素点的目标运动权重示例性包括：根据所述差异确认所述任一像 素点属于运动像素点，并统计所述任一像素点所在的图像块包括的运动像素点的总数 目；根据所述运动像素点的总数目和所述任一像素点所在的图像块的尺寸得到所述任一 像素点所在的图像块的块权重系数；根据所述块权重系数得到所述任一像素点的目标权 重系数。

需要说明的是，在本申请的一些实施例中，S103涉及的图像块的特征值是该图像块的中值。在本申请的另一些实施例中，S103涉及的图像块的特征值是该图像块的中 心值。在本申请的又一些实施例中，S103涉及的图像块的特征值是该图像块的均值。 也就是说，S103涉及的图像块的特征值从根据该图像块获取的一个像素参考值，该像 素参考值用于表征该图像块的像素值特征，在一些示例中，该像素参考值是位于该图像 块的中心位置处的像素点的像素值(即图像块的中心值)，在一些示例中，该像素参考 值是该图像块中所有像素点的像素值的中值(即将所有像素点的像素值按照大小排序并 将该排序的中心位置处的像素值作为像素参考值)，在一些实施例中，该像素参考值是 该图像块中所有像素点的像素值的平均值，本申请的实施例并不限定像素参考值的具体 类型。

下面结合以一种尺寸对两幅图像进行分块和已多种尺寸对两幅图像进行分块时本 申请的一些实施例的运动检测方法的实现过程。

当S102仅采用一种尺寸对两幅图像进行分块时，本申请一些实施例的运动检测方法包括：S102包括：根据一种尺寸将所述第i图像对包括的两幅图像分别划分为所述多 个图像块，其中，所述任一像素点为第一像素点，所述第一像素点被划分在第j个图像 块上，j为大于或等于1的整数。相应的S103涉及的根据所述差异确认所述任一像素点 属于运动像素点并统计所述任一像素点所在的图像块包括的运动像素点的总数目的过 程包括：根据所述差异确认所述第一像素点属于运动像素点，并统计所述第j个图像块 包括的运动像素点的总数目。S103涉及的根据所述运动像素点的总数目和所述任一像 素点所在的图像块的尺寸得到所述任一像素点所在的图像块的块权重系数的过程包括： 计算所述第j个图像块包括的运动像素点的总数目和所述第j个图像块的尺寸的比值， 得到所述块权重系数。S103涉及的根据所述块权重系数得到所述任一像素点的目标权 重系数的过程包括：将所述比值作为所述第一像素点的目标权重系数。

当采用多种大小不同的尺寸分别对两幅图像进行分块时，有些像素点会同时位于大 小不同的多图像块上，通过多种大小不同的图像块来得到各像素点的目标运动权重可以 有效克服某些图像块存在的较大的噪声干扰。也就是说，在本申请的一些实施例中，S102 包括：根据N种尺寸的各尺寸分别将所述第i图像对包括的两幅图像进行分块，得到所述多个图像块，其中，N为大于1的整数，所述任一像素点为第二像素点，所述第二像 素点被划分在N种目标图像块上，每一种目标图像块是采用一种尺寸对所述两幅图像进 行划分得到的。相应的，S103涉及的根据所述差异确认所述任一像素点属于运动像素 点并统计所述任一像素点所在的图像块包括的运动像素点的总数目的过程示例性包括： 根据所述差异确认所述第二像素点属于运动像素点，并统计所述N种目标图像块中各图 像块包括的运动像素点的总数目。S103涉及的根据所述运动像素点的总数目和所述任 一像素点所在的图像块的尺寸得到所述任一像素点所在的图像块的块权重系数的过程 示例性包括：根据所述N种目标图像块中各图像块包括的运动像素点的总数目和所述N 种目标图像块的尺寸求解各种目标图像块的块权重系数，得到N个块权重系数。S103 涉及的根据所述块权重系数得到所述任一像素点的目标权重系数的过程包括：根据所述 N个块权重系数和所述N种目标图像块中每种图像块的尺寸确定所述第二像素点的目 标权重系数。

在本申请的一些实施例中当一个像素点在通过N种大小不同尺寸划分图像得到的N种目标图像块上时，该像素点也对应了N个块权重系数，因此可以基于这N个块权 重系数综合求解该像素点的目标运动权重。例如，在本申请的一些实施例中，S103涉 及的根据所述N个块权重系数和所述N种目标图像块中每种图像块的尺寸确定所述第 二像素点的目标权重系数的过程示例性包括：将N个块权重系数加权平均得到所述任一 像素点的目标运动权重，其中，尺寸越大的图像块的加权系数也越大。也就是说，为N 个块权重系数的每一个块权重系数分配一个加权系数值，且该加权系数值的大小与获取 该块权重系数的图像块的大小成正比，之后再求解N个块权重系与各自的加权系数值的 乘机的和，再求解该和与N个块权重系数对应的N种目标图像块的尺寸之和的比值， 即得到了N个块权重系数加权平均值，也就得到了该像素点的目标运动权重。需要说明 的是，在本申请的一些实施例中，可以根据具体的应用场景来调整加权系数的值的大小， 例如，可以将N个加权系数值设置为同样大小。

也就是说，本申请的一些实施例将各图像对中的图像分块(一个图像对包括相邻两 帧图像或者一帧图像和该帧图像相邻的多帧图像的融合图像)，通过比较各图像块内任一像素点像素值相对于该图像块的特征值(例如，中心值和/或中值)的差异在相邻两帧 或多帧(即融合了多帧图像)的变化趋势是否一致进而初步判断各像素点是否属于运动 像素点，根据初步判断获得的运动像素点的数目获取各图像块的块权重系数，再根据同 一个像素点在各种图像块(即采用一种尺寸对图像分块得到该像素点所在的一种图像 块)上的多个块权重系数得到该像素点的目标权重系数。

为了提升运动检测结果的准确性，在本申请的一些实施例中，为了融合N个块权重系数得到目标运动权重，为尺寸越大的图像块的设置加权系数也越大。例如，在本申请 的一些实施例中，若采用Q、W和E三种不同尺寸分别对所述两幅图像分块，则坐标为 r和c的任一像素点被划分在大小分别为Q*Q、W*W和E*E三种目标图像块上，对应 三个块权重系数；其中，所述任一像素点的目标权重系数的计算公式如下：

其中，Weight_Q，(r，c)、Weight_W，(r，c)和Weight_E，(r，c)表征所述任一像素点对应的三个块权 重系数。可以理解的是，针对尺寸为Q*Q的图像块对应的加权系数为Q*Q，针对尺寸 为W*W的图像块对应的加权系数设置为W*W，针对尺寸为E*E的图像块对应的加权 系数设置为E*E，因此可以看出尺寸越大则对应块权重系数的加权系数也越大。

需要说明的是，图像块越大则更能充分考虑到尺度较大的运动(比如说大面积纯色 运动，小尺度面对大面积纯色运动这一情况时容易误判)。在对图像划分图像块时设置不 同的尺度可以考虑到不同尺度的运动，大尺度的图像块给予较大权重可以减少小尺度误 判的影响(大尺度考虑的像素点更多，更不容易误判)。

为了根据S103涉及的差异更准确的初步确定各像素点的运动情况进而获取各图像 块的块权重系数，在本申请的一些实施例中，S103涉及的根据所述差异确认所述任一像素点属于运动像素点的过程示例性包括：在第i图像对包括的第i帧图像上，获取所 述任一像素点所在的任一图像块的特征值得到第i特征值，并计算该任一像素点的像素 值与该第i特征值的差异得到第i差异，其中，该第i特征值包括第i中值和/或第i中心 值；在第i图像对包括的参考图像上，获取该任一图像块的特征值得到第i+1特征值， 并计算该任一像素点的像素值与该第i+1特征值的差异得到第i+1差异，其中，该第i+1 特征值包括第i+1中值和/或第i+1中心值；以及，通过该第i差异和该第i+1差异确认 所述任一像素点在所述两幅图像(即第i帧图像和参考图像)上的变化趋势不一致时， 则确认该任一像素点为运动像素点。

需要说明的是，S103涉及的像素点的像素值与该像素点所在图像块的特征值的差异可以采用差值、比值等方式进行表征。也就是说，为了更好的量化S103涉及的差异， 在本申请的一些实施例中，S103涉及的差异是通过所述任一像素点的像素值与所述任 一像素点所在的任一图像块的中值和/或中心值的差值表征的。在本申请的另一些实施例 中，S103涉及的差异是通过所述任一像素点的像素值与所述任一像素点所在的任一图 像块的中值和/或所述中心值的比值表征的。

下面示例性阐述采用差值和比值来表征差异时，具体如何初步确定任一像素点是否 属于运动像素点的过程。

当采用差值表征差异时，在本申请的一些实施例中，S103涉及的第i差异是通过计算该任一像素点的像素值与所述第i特征值的差得到的第i差值；S103涉及的第i+1差 异是通过计算该任一像素点的像素值与所述第i+1特征值的差得到的第i+1差值。相应 的S103涉及的通过所述第i差异和所述第i+1差异确认所述任一像素点在所述两幅图像 上的变化趋势不一致时则确认所述任一像素点为运动像素点的过程示例性包括：若该第 i差值与该第i+1差值的正负特性相反，则确认该任一像素点为运动像素点。

当采用比值表征差异时，在本申请的一些实施例中，S103涉及的第i差异是通过计算所述任一像素点的像素值与所述第i特征值的比得到的第i比值；S103涉及的第i+1 差异是通过计算所述任一像素点的像素值与所述第i+1特征值的比得到的第i+1比值。 相应的S103涉及的通过所述第i差异和所述第i+1差异确认所述任一像素点在所述两幅 图像上的变化趋势不一致时则确认所述任一像素点为运动像素点的过程示例性包括：若 该第i比值与该第i+1比值之差的绝对值小于设定阈值时，则确认所述任一像素点为运 动像素点。需要说明的是，在本申请的一些实施例也可以通过求解第i比值与该第i+1 比值的比值来初步确定该任一像素点是否属于运动像素点。可以理解的是，在本申请的 一些实施例中通过这种方式只是初步的判断任一像素点是否属于运动像素点，之后根据 这个判决结果来统计图像块上运动像素点的数据进而确定图像块的块权重系数，最后是 根据各像素点的目标运动权重来表征各像素点属于运动像素的概率的。

在本申请的一些实施例中，S103根据差异确定各图像块上运动像素点的数目的过程示例性包括：若所述差异符合同一个变化趋势则确认所述任一像素点是静止的，否则 确认所述任一像素点是运动的。需要说明的是，将各像素点的像素值与中值和中心值直 接比较确定是否属于运动像素点的结果只是该像素点是否属于运动像素点的初步判决 结果。这是由于基于图像的运动检测只是检测运动，因此噪声、光照变化、摩尔纹等都 会对运动检测造成干扰,运动掩膜或者通过差异确定某个像素点是否属于运动像素点是 一个概率值。不过可以理解的是，本申请的实施例通过图3的方法即确定图像块上运动 像素点数目、块权重系数后再确定目标运动掩膜可以有效提升运动检测准确性。

例如，为了通过差值衡量在不同图像上各像素点的变化趋势是否一致，在本申请的 一些实施例中，S103涉及的至少根据运动像素点的数目获取多个图像块中各图像块的块权重系数的处理过程包括：获取第k图像块的第k中值和/或第k中心值，其中，所述 第k图像块属于所述多个图像块中的任意一个图像块，k的取值大于或者等于1且k的 取值小于或等于所述多个图像块的总数目；根据所述第k图像块包括的各像素点与所述 第k中值和/或所述第k中心值的差值的正负确定所述第k图像块包括的运动像素点的数 目；根据所述第k图像块包括的运动像素点的数目和所述第k图像块包括的像素点总数 目得到所述第k图像块的块权重系数。例如，在本申请的一些实施例中，S103所述根 据所述第k图像块包括的各像素点与所述第k中值和/或所述第k中心值的差值的正负确 定所述第k图像块包括的运动像素点的数目，包括：通过统计在所述不同图像上所述差 值的正负号相反的所有像素点，得到所述运动像素点的数目。

例如，为了通过比值衡量在不同图像上各像素点的变化趋势是否一致，在本申请的 一些实施例中，S103所述的至少根据运动像素点的数目获取多个图像块中各图像块的块权重系数，包括：获取第k图像块的第k中值和/或第k中心值，其中，所述第k图像 块属于所述多个第j图像块中的任意一个图像块，k的取值为大于或者等于1且k的取 值小于或等于所述多个第j图像块的总数目；根据所述第k图像块包括的各像素点与所 述第k中值和/或所述第k中心值的比值确定所述第k图像块包括的运动像素点的数目； 根据所述第k图像块包括的运动像素点的数目和所述第k图像块包括的像素点总数目得 到所述第k图像块的块权重系数。例如，在本申请的一些实施例中，S103根据所述第k 图像块包括的各像素点与所述第k中值和/或所述第k中心值的比值确定所述第k图像块 包括的运动像素点的数目，包括：通过统计在所述不同图像上所述比值之差的绝对值大 于或等于设定阈值的所有像素点，得到所述运动像素点的数目。

需要说明的是，在根据比值或者差值获取图像块的块权重系数时，在一些本申请的 一些实施例中，S103所述根据所述第k图像块包括的运动像素点的数目和所述第k图 像块包括的像素点总数目得到所述第k图像块的块权重系数，包括：计算所述第k图像 块包括的运动像素点的数目和所述第k图像块包括的像素点总数目的比值得到所述第k 图像块的块权重系数。

为了提升数据处理速度，在本申请的一些实施例中，S103包括：至少根据运动像素点的数目获取多个图像块中各图像块的块权重系数；根据所述块权重系数得到所述第 i图像对的运动掩膜。

需要说明的是，当采用一种尺寸划分图像对中的各图像，则求解得到了各图像块的 块权重系数即得到了各像素点的一个权重系数，之后第i图像对的运动掩膜就是与各像素点分别对应的该块权重系数。在本申请的另一些实施例中，采用多个分块尺寸逐次划 分图像得到多组图像块集合(每一组图像集合包括根据一种尺寸对第一图像和第二图像 进行划分得到的图像块)时，求解得到与一个像素点对应的块权重系数也是多个，此时 需要根据与一个像素点对应的多个块权重系数得到该像素点的目标运动权重，进而根据 综合权重系数得到第i图像对的运动掩膜。

为了进一步提升获取的块权重系数的准确性，在本申请的一些实施例中提供了一种 量化块权重系数的方法，即根据运动像素点数目和图像块的大小来确定块权重系数。例如，在本申请的一些实施例中S103至少根据运动像素点的数目获取多个图像块中各图 像块的块权重系数的过程包括：根据所述运动像素点的数目和所述多个图像块中各图像 块的尺寸得到所述块权重系数。

在本申请的一些实施例中，S103涉及的各图像块的块权重系数是通过块中值权重系数和块中心值权重系数中的至少一个确定的，其中，所述块中值权重系数是通过确定 所述任一像素点的像素值和所述任一像素点所在图像块的中值之间的差异得到的，所述 块中心值权重系数是通过确定所述任一像素点的像素值和所述任一像素点所在图像块 的中心值之间的差异得到的。

可以理解的是，为了尽可能消除某些图像块上中值或中心值附近噪音较大导致的仅 根据中值或中心值来统计各图像块上运动像素点数目的准确性较差的技术问题，在本申 请的一些实施例中S103涉及的各图像块的块权重系数是通过块中值权重系数和块中心值权重系数两个系数共同确定的。也就是说，本申请一些实施例的块权重系数既与该图 像块的块中值权重系数有关也与该图像块的块中心值权重系数有关。例如，在一些实施 例中块权重系数等于块中值权重系数和该图像块的块中心值权重系数的加权平均，例如 等于两者的均值。

为了量化根据各图像块的运动像素点的数目得到块中值权重系数或者块中心值权 重系数，在本申请的一些实施例中，块中值权重系数的计算公式为：

Weight_Median，k＝m*count1/Q*Q

或者，

块中心值权重系数的计算公式为：

Weight_Middle，k＝m*count2/Q*Q

其中，k表征第k图像块，count1用于表征根据所述第k图像块的中值确定的所述第k图像块上运动像素点的总数目，count2用于表征根据所述第k图像块的中心值确定 的所述第k图像块上运动像素点的总数目，Q*Q表征第k图像块包括的像素总数目，m 表征归一化参数，k的取值为大于或等于1且k的取值为小于或等于根据尺寸Q划分图 像得到的多个图像块的总数目。

在本申请的一些实施例中，S104涉及的目标运动掩膜用于表征各像素点属于运动像素点的最终概率，相应的此时S104涉及的目标运动掩膜中任一像素点的目标运动权 重系数可以表示为如下公式：

其中，M_i，(r，c)为所述第i图像对对应的运动掩膜，n为图像对的总数目，r和c表示所述任一像素点的坐标。

为了直接获取视频帧序列的运动检测结果，在本申请的一些实施例中，在S104之后，该运动检测方法还包括：根据所述目标运动掩膜获取二值掩膜，其中，所述二值掩 膜采用第一数值表征运动像素点，并采用第二数值表征静止像素点。

需要说明的是，在本申请的一些实施例中，所述根据所述目标运动掩膜获取二值掩 膜，包括：根据所述目标运动掩膜的中值或中心值获取所述二值掩膜。也就是说，本申请的实施例是根据目标运动掩膜的中值获取二值掩膜(即用目标运动掩膜上各像素点的像素值与该中值比较，大于则采用第一数值表征，小于或等于则采用第二数值表征)。 在本申请的另一些实施例中，也可以根据经验值获取二值掩膜(即用目标运动掩膜上各 像素点的像素值与经验值比较，大于则采用第一数值表征，小于或等于则采用第二数值 表征)。

需要说明的是，在本申请的一些实施例中，S102得到的多个图像块中的第一图像块包括奇数个像素点时，则第一图像块的中心值为位于所述第一图像块上中心位置处的像素点的像素值；或者S102得到的多个图像块中的第二图像块包括偶数个像素点时， 则所述第二图像块的中心值是通过位于所述第二图像块上中心区域的多个像素点的像 素值确定的。例如，划分得到的各图像块的大小为4*4，则此时可以把该图像块上中心 位置的2*2个像素值取均值作为该大小为4*4的图像块的中心值。例如，划分得到各图 像块的大小为3*3，则将位于该3*3的图像块的中心位置处的像素值作为该图像块的中 心值。在本申请的一些实施例中，各图像块的中值的获取方式包括，将任一图像块上各 像素点的像素值进行从大到小或者从小到大的排序，将该排序得到的队列的中间位置处 的像素值作为中值，如果中间位置有两个像素值时，可以求解这两个像素值的均值作为 中值。

下面以相邻两帧图像作为一个图像对示例性阐述本申请一些实施例提供的运动检 测方法。

在本申请的一些实施例中，服务器20或者手机10通过如下过程对多帧图像进行运动检测(即得到目标运动掩膜)：服务器20对输入的两两相邻视频帧图像(即作为一个 图像对)进行运动检测得到多个运动掩膜，之后综合多个运动掩膜得到目标运动掩膜。 其中，一个运动掩膜是通过对两张图像进行运动检测(例如，对相邻两帧图像进行运动 检测)得到的，该过程包括：计算各图像块的中值和中心值，在对应位置的同一个图像 块，计算该图像块内各像素点的像素值和该图像块的中值/中心值之间的差异，如果在不 同图像上差异符合同一个趋势(例如，在不同图像上的差值符号相同或者在不同图像上 的比值的差值小于设定阈值)，则认为该像素点是静止的，否则该像素点是运动的，据 此可确定该图像块中所有运动像素点的数目进而得到一个运动掩膜。

也就是说，在本申请的一些实施例中，由服务器20或者手机10执行的运动检测过程包括：

用户输入n帧连续的图像{L₁，L₂，……L_n}，可以两两分组为{L₁，L₂}{L₂，L₃}……{L_n-1，L_n}共 n-1个图像对，对每个图像对进行运动检测，这里以第i图像对举例。

第一步：对于第i图像对{L_i，L_i+1}，针对第i帧图像L_i以该第i帧图像L_i为引导图进行 导向滤波，针对第i+1帧图像L_i+1以该第i+1帧图像L_i+1为引导图进行导向滤波。

需要说明的是，在本申请的一些实施例中也可以采用其它图像作为第i帧图像或者 第i+1帧图像的引导图。在本申请的一些实施例中，也可以不对第i图像对进行导引滤波而是直接对第i图像执行第二步操作。

第二步，设置多个尺寸(例如，三个不同的尺寸为Q，W，E，)。可以理解的是，通过设置三种不同的划分尺寸可以对第i图像对进行三次划分进而得到三组图像块集合。

在本申请的一些实施例中，W＝2*Q-1，E＝2*W-1，Q，W，E都为奇数，这样可以 保证采用这些尺寸对图像进行划分得到的各图像块均包括奇数个像素点，之后可以直接 将各图像块的中心值确定为位于该图像块中心位置处的像素点的像素值。

需要说明的是，本申请的实施例并不限定设置的尺寸对应的边长必须是奇数，当根 据设置尺寸得到的图像块包括偶数个像素时，则确定该像素块的中心值时可以采用位于 中心区域的多个像素值的最大值或者平均值作为该图像块的中心值。

第三步，分别按照不同尺寸对第i图像对中的两幅图像分块，得到与各种尺寸分别对应的图像块集合。也就是说，根据第一尺寸Q对第i帧图像进行分块得到多个第一图 像块，根据该第一尺寸Q对第i+1帧图像进行分块也得到多个第一图像块，可以理解的 是，第一图像块的大小最大为第一尺寸Q所限定区域内的像素点的总数目。根据第二尺 寸W(是不同于第一尺寸的另一个尺寸)对第i帧图像进行分块得到多个第二图像块， 根据该第二尺寸W对第i+1帧图像进行分块也得到多个第二图像块，可以理解的是，第 二图像块的大小最大为第二尺寸所限定区域内的像素点的总数目。根据第三尺寸E(是 不同于第一尺寸和第二尺寸的另一个尺寸)对第i帧图像进行分块得到多个第三图像块， 根据该第三尺寸E对第i+1帧图像进行分块也得到多个第三图像块，可以理解的是，第 三图像块的大小最大为第三尺寸E所限定区域内的像素点的总数目。

计算分块得到的各第一图像块、各第二图像块等所有图像块的中值和中心值。

下面以一个具体的图像块为例进一步阐述该第三步骤的进一步处理。

根据不同帧间(即各个图像对包括的第i帧图像和第i+1帧图像属于不同帧)某一个图像块内任一像素点的像素值和该图像块的中值/中心值的大小关系是否一致来决定该像素点是否为运动像素点，之后再根据该图像块包括的运动像素点的总数目得到目标运动掩膜。由于本申请的一些实施例综合考虑多种块尺寸、中值以及中心值对运动判断 的影响，因此得到的目标掩膜更能准确的反应各像素点是否属于运动像素点。

可以理解的是，通过执行第三步骤可以得到与各个图像对分别对应的运动掩膜M_i。

第四步，将多个运动掩膜{M₁，M₂，……M_n-1}结合起来得到最终的运动掩膜M。

可以理解的是，由于本申请的一些实施例只是通过比较像素值大小(即比较各图像 块上各像素点的像素值与中值和/或中心值的大小)来计算运动掩膜，因此计算速度较快。 由于在本申请的一些实施例中使用块匹配(即根据同一图像块在第一图像的比较结果和 第二图像的比较结果进行融合)的方法，使得本申请一些实施例的方法对于不同帧间的亮度差异不敏感。由于本申请的一些实施例，在获取各个图像对的运动掩膜时综合考虑 不同的图像块大小以及各图像块的中值和中心值，使得本申请的一些实施例的方法更为 鲁棒有效减少噪声干扰。

下面结合图4以两帧相邻帧为一个图像对，并以三种尺寸对各个图像对包括的图像 进行分块，示例性阐述本申请一些实施例的由手机执行的运动检测方法。

S201，输入n帧图像{L₁，L₂，……L_n}，该多帧图像{L₁，L₂，……L_n}是用户通过手机连续不 同曝光的多帧图像，其中，n为大于2的自然数。

S202，分成n-1个图像对{L₁，L₂}，{L₂，L₃}……{L_n-1，L_n}。

也就是说对S101输入的n帧图像进行两两分组为{L₁，L₂}，{L₂，L₃}……{L_n-1，L_n}共n-1个 图像对。

S203，提前设置好三个不同的块边长Q，W，E，，这些块边长分别用于对各个图像对包 括的每一幅图像进行分块。

为了快速确定划分得到各图像块的中心值(即保证划分得到的图像块包括奇数个像 素点这样就可以把位于中心位置处的像素点的像素值直接作为这个图像块的中心值)，Q，W，E，尺寸关系满足：W＝2*Q-1，E＝2*W-1，Q，W，E都为奇数。

下面以第i图像对{L_iL_i+1}举例如何计算第i图像对的运动掩膜M_i。

S204，对输入第i图像对{L_i，L_i+1}，对第i帧图像L_i以该第i帧图像L_i为引导图做导向 滤波，对第i+1帧图像L_i+1以该第i+1帧图像L_i+1为引导图做导向滤波，得到导向滤波后的第i图像对表征为{L_in，L_ref}。这样做可以使得图像的边缘被较好的保留下来和噪声混叠在一起的细节被丢弃，且这样做有助于排除噪声和细小纹理的扭曲对运动检测的影响。

下面以示例性阐述如何根据各图像块的中值和中心值确定块权重系数的过程。

S211，从(0，0)点开始对于导向滤波处理后的图像对{L_in，L_ref}，按照边长Q的正 方形来对第i图像对中的第i帧图像和第i+1帧图像分别进行分块，得到多个图像块。 对于划分得到的图像块Pj，可以分别在第一导向图Lin和第二导向图Lref上计算该图像 块Pj的中值MIDin和中值MIDref。对于图像块Pj，分别在第一导向图Lin和第二导向 图Lref上计算块内任一像素点和中值MIDin和中值MIDref的差异。需要说明的是，j 下标，只是为了方便表述处于第几个图像块，其中，j∈[0，X]，X代表划分出的块的 个数，X的具体值决定于尺度和图片大小。

S212，在两帧相同位置的图像块上统计差值的乘积为负数的像素点的个数(即统计 初步确定的运动像素点的数目)，个数除以该图像块Pj包括的像素总个数，作为图像块Pj的中值权重(即得到了块中值权重系数)。

S213，对方块中心值仿照方块的中值进行S211以及S212两个步骤，得到与图像块Pj对应的块中心值权重。之后，根据方块中心值权重(即块中心值权重系数)和方块中 值权重(即块中值权重系数)得到方块的权重(即得到了与图像块Pj对应的块权重系 数)。例如，计算块中值权重系数和块中心值权重系数的均值作为图像块Pj的块权重系 数。

也就是说，以尺寸为Q举例，根据尺寸Q可以将{L_in，L_ref}分割为多个边长为Q的方块， 用划分得到的第一个图像块举例子说明上述S211-S213的处理过程。

1)在第一导向图L_in的第一个图像块P_in，1上，可以计算到该图像块的中值Median_in，1以 及中心值Middle_in，1。

2)在第二导向图L_ref的第一个图像块P_ref，1上，可以计算到该图像块的中值Median_ref，1及中心值Middle_ref，1。

可以理解的是，第一个图像块P_in，1和P_ref，1的在被划分图像上的位置相同且大小相同， 只是P_in，1是从第一导向图上的(0.0)点开始划分得到的第一个图像块，而P_ref，1是从第二 导向图上的(0.0)点开始划分得到的第一个图像块。

3)在第一图像块P_in，1上，计算每一个像素点q与该图像块的中值Median_in，1的差异Diff0_in，q，1以及该像素点与该图像块的中心值Middle_in，1的差异Diff1_in，n，1。

4)在第一图像块P_ref，1上，计算每一个像素点q与该图像块的中值Median_ref，1的差异 Diff0_ref，q，1以及该像素点与该块的中心值Middle_ref，1的差异Diff1_ref，q，1。

5)块中值权重系数的获取过程如下。

将第一运动像素点计数参数count1初始化为0。若Diff0_in，q，1*Diff0_ref，q，1＜0，则认为 该像素点可能为运动像素点则第一运动像素点计数参数的值进行自增操作，即计数count1+＝1若Diff0_in，q，1*Diff0_ref，q，1≥0，则认为该像素点静止。

设方块(即第一个图像块)内点的数量为Q*Q，则整个图像块的块中值权重系数可以表示为Weight_Median，1＝255*count1/Q*Q，即第一个图像块的块中值权重系数为Weight_Median，1＝255*count/Q*Q。

6)块中心值权重系数的获取过程如下。

将第二运动像素点计数参数count2初始化为0。若Diff1_in，q，1*Diff1_ref，q，1＜0，则认为 该像素点可能为运动像素点因此第二运动像素点计数参数的值进行自增操作，即第二运 动像素点计数值count2+＝1。若Diff1_in，q，1*Diff1_ref，q，1≥0，则认为该像素点为静止。

设方块内(即第一个图像块)点的数量为Q*Q，则整个块的中心值权重可以表示为Weight_Middle，1＝255*count2/Q*Q，即第一个块的中心值权重为 Weight_Middle，1＝255*count/Q*Q。

7)结合第一个图像块的块中值权重系数与块中心值权重系数的结果，得到该第一个图像块的第一权重系数，具体过程如下。

在本申请的一些实施例中，尺度为Q的第一个图像块的第一权重系数用公式表征为：Weight_Q，1＝(Weiggt_Midde，1+Weight_Midsan，1)/2，也就是说，第一图像块对应的方块内的 任意像素点(r，c)的在尺度Q下的第一权重系数为Weight_Q，(r，c)＝Weight_Q，1。

通过上述S211-S213得到了多个图像块中各图像块的第一权重系数。可以理解的是， 图4还示出了S221-S223以得到第二组的多个图像块中各图像块的第二权重系数，图4还示出了S231-S233以得到第三组的多个图像块中各图像块的第三权重系数。为避免重复，在此不对S221、S222、S223、S231、S232以及S233做展开说明。

经过执行上述所有步骤得到了三个权重系数(即第一权重系数、第二权重系数和第 三权重系数)，之后再执行S205。

尺度为W时，各图像块的块权重系数的计算方式和尺度为Q时的计算方式相同。 对于每一个像素点，都会存在三个尺度的权重即Weight_Q，(r，c)，Weight_W，(r，c)，Weight_E，(r，c)。三个权重加权平均(尺度越大，权重越大)得到该像素点最终的运动权重Weight_(r，c)(即得到综合权重系数)。整张图的运动权重都可以得到，即通过{L_i，L_i+1}得到运动掩膜M_i。

S205，每一个像素点对应三个方块权重(即三个权重系数，这是由于每个像素点分别会在三个划分尺寸不同的图像块上，每个图像块对应一个权重系数)，根据这三个权 重系数得到相应像素点的综合权重系数。例如，将三个权重系数加权(尺寸越大，权值 越高)得到综合权重系数。

例如，在本申请的一些实施例中第一个块的任意像素点(r，c)的综合权重系数的计算公式为：

其中，公式中各参数的具体含义可以参考上文描述。

将综合权重系数作为第i图像对对应的运动掩膜上的各个像素点的像素值，得到与 第i图像对对应的掩膜。

S206，中值滤波去除异常点，即对得到与第i图像对对应的运动掩膜上的像素值进行中值滤波去除异常点。

S207，对n-1个运动权重图(即与各个图像对对应的运动掩膜)合并，形成一个运动权重图，对于整个权重图求全局中值，以全局中值作为阈值，大于该全局中值的像素 点所在的区域属于存在运动的区域。

也就是说，在本申请的一些实施例中可以从n-1个图像对得到共n-1个运动掩膜，之后再对这n-1个运动掩膜取并集得到最终的运动掩膜(即得到目标运动掩膜)。设与 第i图像对对应的第i个运动掩膜处于位置(r，c)的权重为Mi，(r，c))，则目标运动掩膜在位 置(r，c)的目标权重系数为：

将整张图的权重归一化到[0，255]的范围。

求目标运动掩膜的全局中值，之后遍历目标运动掩膜对应的运动权重图，如果在该 目标运动掩膜上某位置的目标权重系数大于全局中值，则将该位置的权重值255，否则置为0，即将目标运动掩膜转化成了二值图像，在该二值图像上像素值为255的像素点 为最终检测得到的运动像素点，像素值为0的像素点为最终检测跌倒的静止像素点。

需要说明的是，采用一种尺寸对图像进行分块得到的各图像块的大小并不一定相同。下面以设定尺寸的图像块遍历图像的过程示意对图像进行分块的过程。

如图5所述，设第i图像对中第一图像的初始点为(0，0)，且第一图像的图片高为height， 图片宽为width，方块边长为Q。第一个图像块的四顶点坐标为{(0，0)，(0，Q-1)，(Q-1，0)，(Q-1，Q-1)}，如图5所示。紧挨着第一个块的右边方块即第二 图像块的顶点坐标为{(0，Q)，(0，2Q-1)，(Q-1，Q)，(Q-1，2Q-1)}，图5未示出四个顶点的坐 标。第一个块下方的方块即第三图像块的顶点坐标为 {(Q，0)，(Q，Q-1)，(2Q-1，0)，(2Q-1，Q-1)}，图5示出了两个顶点的坐标。在第一图像的右 边界、下边界以及右下角，如图5的第四个图像块，划分得到的图像块不必保证为正方 形不超界即可。按照这种方式可以遍历完所有图像块，得到与第一图像对应的多个图像 块，之后就需要计算每个图像块的运动像素点的数目，结合上述描述可知在确定各图像 块的像素点数目的时候还需要结合根据该Q尺寸对第二图像划分得到的各图像块，通过 对比同一图像块在第一图像上和第二图像上各像素点与对应图像块的中值或中心值的 差异来确定该同一图像块上的运动像素点的总数目。

可以理解的是，即时采用同样的尺寸对图像进行分块得到的各图像块的大小未必相 同，位于图像右上角、右下角或者左下角的图像块的尺寸可能小于其他图像块的尺寸。在本申请的一些实施例中也可以从右上角开始对图像进行分块，但是针对各个图像对的划分策略必须相同，以能够实现运动掩膜的结合操作。

请参考图6，图6示出了本申请实施例提供的运动检测装置，应理解，该装置与上述图3或图4方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置的具 体功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。装置包括至少一 个能以软件或固件的形式存储于存储器中或固化在装置的操作系统中的软件功能模块， 该运动检测装置包括：图像对获取模块201、图像块划分模块202、图像对运动掩膜获 取模块203以及目标运动掩膜获取模块204。

图6的图像对获取模块201被配置为根被配置为从视频序列中获取第i图像对，其中，所述第i图像对包括第i帧图像参考图像，所述参考图像包括与所述第i帧图像相 邻的第i+1帧图像或者与所述第i帧图像相邻的后多帧图像的融合图像，i的取值为大于 或等于1的整数。

图6的图像块划分模块202被配置为将所述第i图像对包括的两幅图像分别划分为多个图像块。

图6的图像对运动掩膜获取模块203被配置为获取各图像块上所有像素点的目标运 动权重，得到所述第i图像对的运动掩膜，其中，任一像素点的目标运动权重是通过如下策略获取的：根据所述任一像素点的像素值和所述任一像素点所在的图像块的特征值之间的差异得到所述任一像素点的目标运动权重。

图6的目标运动掩膜获取模块204被配置为融合多个运动掩膜得到目标运动掩膜。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的 具体工作过程，可以参考前述运动检测方法中的对应过程，在此不再过多赘述。

本申请的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述 程序被处理器执行时可实现上述任意实施例所述的方法。

如图7所示，本申请的一些实施例提供一种电子设备500，该电子设备500包括存储器510、处理器520以及存储在存储器510上并可在处理器520上运行的计算机程序， 其中，处理器520通过总线530读取程序并执行所述程序时可实现上述任意实施例所述 的方法。

处理器520可以处理数字信号，可以包括各种计算结构。例如复杂指令集计算机结构、结构精简指令集计算机结构或者一种实行多种指令集组合的结构。在一些示例中， 处理器520可以是微处理器。

存储器510可以用于存储由处理器520执行的指令或指令执行过程中相关的数据。这些指令和/或数据可以包括代码，用于实现本申请实施例描述的一个或多个模块的一些功能或者全部功能。本公开实施例的处理器520可以用于执行存储器510中的指令以实 现图3中所示的方法。存储器510包括动态随机存取存储器、静态随机存取存储器、闪 存、光存储器或其它本领域技术人员所熟知的存储器。

本申请的一些实施例提供一种计算机程序产品，所述计算机程序产品包括计算机程 序，所述计算机程序被处理器执行时实现上述实施例所述的运动检测方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和 框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系 架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段 或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻 辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功 能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并 行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是， 框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规 定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的 组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分， 也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存 储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以 是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部 分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可 以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域 的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似 的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则 在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应 涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围 为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体 或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存 在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括 那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物 品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要 素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (15)

1.一种运动检测方法，其特征在于，所述运动检测方法包括：

根据视频序列获取第i图像对，其中，所述第i图像对包括第i帧图像和参考图像，所述参考图像包括与所述第i帧图像相邻的第i+1帧图像或者与所述第i帧图像相邻的后多帧图像的融合图像，i的取值为大于或等于1的整数；

将所述第i图像对包括的两幅图像分别划分为多个图像块；

获取各图像块上所有像素点的目标运动权重，得到所述第i图像对的运动掩膜，其中，通过任一像素点的像素值和所述任一像素点所在的图像块的特征值之间的差异得到所述任一像素点的目标运动权重；

重复上述过程得到与多个图像对分别对应的运动掩膜，并融合所有运动掩膜得到目标运动掩膜。

2.如权利要求1所述的运动检测方法，其特征在于，所述获取各图像块上所有像素点的目标运动权重，包括：

根据所述差异确认所述任一像素点属于运动像素点，并统计所述任一像素点所在的图像块包括的运动像素点的总数目；

根据所述运动像素点的总数目和所述任一像素点所在的图像块的尺寸得到所述任一像素点所在的图像块的块权重系数；

根据所述块权重系数得到所述任一像素点的目标权重系数。

3.如权利要求1-2任一项所述的运动检测方法，其特征在于，所述特征值包括中值和中心值中的至少一个，或者，所述差异采用差值或者比值表征。

4.如权利要求1-3任一项所述的运动检测方法，其特征在于，

所述将所述第i图像对包括的两幅图像分别划分为多个图像块，包括：

根据一种尺寸将所述第i图像对包括的两幅图像分别划分为所述多个图像块，其中，所述任一像素点为第一像素点，所述第一像素点被划分在第j个图像块上，j为大于或等于1的整数；

所述根据所述差异确认所述任一像素点属于运动像素点，并统计所述任一像素点所在的图像块包括的运动像素点的总数目，包括：

根据所述差异确认所述第一像素点属于运动像素点，并统计所述第j个图像块包括的运动像素点的总数目；

所述根据所述运动像素点的总数目和所述任一像素点所在的图像块的尺寸得到所述任一像素点所在的图像块的块权重系数，包括：

计算所述第j个图像块包括的运动像素点的总数目和所述第j个图像块的尺寸的比值，得到所述块权重系数；

所述根据所述块权重系数得到所述任一像素点的目标权重系数，包括：

将所述比值作为所述第一像素点的目标权重系数。

5.如权利要求2所述的运动检测方法，其特征在于，

所述将所述第i图像对包括的两幅图像分别划分为多个图像块，包括：

根据N种尺寸的各尺寸分别将所述第i图像对包括的两幅图像进行分块，得到所述多个图像块，其中，N为大于1的整数，所述任一像素点为第二像素点，所述第二像素点被划分在N种目标图像块上，每一种目标图像块都是采用一种尺寸对所述两幅图像进行划分得到的；

所述根据所述差异确认所述任一像素点属于运动像素点，并统计所述任一像素点所在的图像块包括的运动像素点的总数目，包括：

根据所述差异确认所述第二像素点属于运动像素点，并统计所述N种目标图像块中各图像块包括的运动像素点的总数目；

所述根据所述运动像素点的总数目和所述任一像素点所在的图像块的尺寸得到所述任一像素点所在的图像块的块权重系数，包括：

根据所述N种目标图像块中各图像块包括的运动像素点的总数目和所述N种目标图像块的尺寸求解各种目标图像块的块权重系数，得到N个块权重系数；

所述根据所述块权重系数得到所述任一像素点的目标权重系数，包括：

根据所述N个块权重系数和所述N种目标图像块中每种目标图像块的尺寸确定所述第二像素点的目标权重系数。

6.如权利要求5所述的运动检测方法，其特征在于，所述根据所述N个块权重系数和所述N种目标图像块中每种目标图像块的尺寸确定所述第二像素点的目标权重系数，包括：将所述N个块权重系数加权平均得到所述任一像素点的目标运动权重，其中，尺寸越大的图像块的加权系数也越大。

7.如权利要求6所述的运动检测方法，其特征在于，若采用Q、W和E种不同尺寸分别对所述两幅图像分块，则坐标为r和c的任一像素点被划分在大小分别为Q*Q、W*W和E*E三种目标图像块上，对应三个块权重系数；

其中，所述任一像素点的目标权重系数的计算公式如下：

其中，Weight_Q，(r，c)、Weight_W，(r，c)和Weight_E，(r，c)表征所述任一像素点对应的三个块权重系数。

8.如权利要求2-3任一项所述的运动检测方法，其特征在于，

所述根据所述差异确认所述任一像素点属于运动像素点，包括：

在所述第i帧图像上，获取所述任一像素点所在的任一图像块的特征值得到第i特征值，并计算所述任一像素点的像素值与所述第i特征值的差异得到第i差异，其中，所述第i特征值包括第i中值和/或第i中心值；

在所述参考图像上，获取所述任一图像块的特征值得到第i+1特征值，并计算所述任一像素点的像素值与所述第i+1特征值的差异得到第i+1差异，其中，所述第i+1特征值包括第i+1中值和/或第i+1中心值；

通过所述第i差异和所述第i+1差异确认所述任一像素点在所述两幅图像上的变化趋势不一致时，则确认所述任一像素点为运动像素点。

9.如权利要求8所述的运动检测方法，其特征在于，

所述第i差异是通过计算所述任一像素点的像素值与所述第i特征值的差得到的第i差值；

所述第i+1差异是通过计算所述任一像素点的像素值与所述第i+1特征值的差得到的第i+1差值；其中，

所述通过所述第i差异和所述第i+1差异确认所述任一像素点在所述两幅图像上的变化趋势不一致时，则确认所述任一像素点为运动像素点，包括：若所述第i差值与所述第i+1差值的正负特性相反，则确认所述任一像素点为运动像素点。

10.如权利要求8所述的运动检测方法，其特征在于，

所述第i差异是通过计算所述任一像素点的像素值与所述第i特征值的比得到的第i比值；

所述第i+1差异是通过计算所述任一像素点的像素值与所述第i+1特征值的比得到的第i+1比值；其中，

所述通过所述第i差异和所述第i+1差异确认所述任一像素点在所述两幅图像上的变化趋势不一致时，则确认所述任一像素点为运动像素点，包括：若所述第i比值与所述第i+1比值之差的绝对值小于设定阈值时，则确认所述任一像素点为运动像素点。

11.如权利要求2-10任一项所述的运动检测方法，其特征在于，

所述块权重系数是通过块中值权重系数和块中心值权重系数中的至少一个确定的，其中，所述块中值权重系数是通过确定所述任一像素点的像素值和所述任一像素点所在图像块的中值之间的差异得到的，所述块中心值权重系数是通过确定所述任一像素点的像素值和所述任一像素点所在图像块的中心值之间的差异得到的。

12.如权利要求11所述的运动检测方法，其特征在于，采用尺寸Q划分所述两幅图像；其中，

所述块中值权重系数的计算公式为：

Weight_Median，k＝m*count1/Q*Q

或者，

块中心值权重系数的计算公式为：

Weight_Middle，k＝m*count2/Q*Q

其中，k表征第k图像块，count1用于表征根据所述第k图像块的中值确定的所述第k图像块上运动像素点的总数目，count2用于表征根据所述第k图像块的中心值确定的所述第k图像块上运动像素点的总数目，Q*Q表征第k图像块包括的像素总数目，m表征归一化参数，k的取值为大于或等于1且k的取值为小于或等于根据尺寸Q划分图像得到的多个图像块的总数目。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时可实现权利要求1-12中任意一项权利要求所述的方法。

14.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现权利要求1-12中任意一项权利要求所述的方法。

15.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1-12中任意一项所述的运动检测方法。

Images