CN117252903A - 基于图像处理的运动区域提取方法及系统 - Google Patents

Abstract

本申请涉及图像处理领域，尤其涉及一种基于图像处理的运动区域提取方法及系统，方法包括：统计当前图像帧中像素点的噪声隶属度，并对噪声隶属度最大值对应的像素点进行擦除操作以获取更新后的当前图像帧；对更新后的当前图像帧迭代地执行所述擦除操作以获取目标图像帧；获取所述目标图像帧与上一个相邻图像帧之间的帧差图，依据所述帧差图中各像素点邻域范围内的像素值对所述像素点的像素值进行修正以获取掩码图；将掩码图与目标图像帧相乘，得到当前图像帧中的运动区域。本申请能够准确提取图像帧中的运动区域。

Description

基于图像处理的运动区域提取方法及系统

技术领域

本申请一般地涉及图像处理技术领域，尤其涉及一种基于图像处理的运动区域提取方法及系统。

背景技术

运动区域检测是计算机视觉的研究热点，其广泛应用于行人分析、智能监控、无人驾驶等领域；例如，在智能监控领域中，对监控区域中的运动目标进行检测，提取监控区域中的运动区域。在包含运动目标的场景，例如行人的移动中，部分场景的背景是动态的，例如晃动的树叶、纷飞的雪花等；且在运动目标运动时，由于目标运动和环境变化会使得图像中出现大量噪声，如何准确提取运动区域是一个亟待解决的问题。

目前，公布号为CN103971368A的专利申请文件公开了一种基于色差的运动目标前景提取方法，使用亮度为依据提取运动物体所在的区域，之后对这些区域进一步筛选，将这些区域与色差模型进行比对，只有该区域中与色差模型差值大于阈值的部分才被认作是前景，以此来消除阴影和光照对运动目标前景提取的影响，其中色差模型是依据之前的图像序列的平均值建立的。

然而，上述方法仅通过亮度信息对运动物体所在的区域进行进一步筛选，忽略了各像素点邻域内的图像信息，不能有效去除噪声和动态背景对运动区域提取的影响，无法准确提取图像中的运动区域。

发明内容

为了解决现有技术中的上述技术问题，本申请提供了一种基于图像处理的运动区域提取方法，从而准确提取图像帧中的运动区域。

本发明提供了一种基于图像处理的运动区域提取方法，包括：统计当前图像帧中每个像素点的噪声隶属度，并对噪声隶属度最大值对应的像素点进行擦除操作以获取更新后的当前图像帧；对比所述当前图像帧和更新后的当前图像帧以获取图像变化量，所述图像变化量与所述当前图像帧和更新后当前图像帧之间的结构相似性呈负相关；响应于所述图像变化量小于设定变化量，对更新后的当前图像帧迭代地执行所述擦除操作，直至所述图像变化量不小于所述设定变化量时，将上一次擦除操作对应的更新后的当前图像帧作为目标图像帧；获取所述目标图像帧与上一个相邻图像帧之间的帧差图，依据所述帧差图中各像素点邻域范围内的像素值对所述像素点的像素值进行修正以获取掩码图；将所述掩码图与所述目标图像帧相乘，得到所述当前图像帧中的运动区域；其中，统计所述当前图像帧中每个像素点的噪声隶属度包括：获取目标像素点，所述目标像素点为所述当前图像帧中任意一个像素点；计算所述目标像素点对应连通区域的区域大小和区域偏差，其中所述连通区域中像素点的像素值等于所述目标像素点的像素值，所述区域偏差满足关系式：

其中，为所述目标像素点的像素值，/>为与目标像素点/>连通区域邻接的所有像素点数量，/>为与目标像素点/>连通区域邻接的第/>个像素点，/>为目标像素点/>连通区域的区域偏差；基于所述区域大小和所述区域偏差计算所述目标像素点的噪声隶属度，所述区域大小与所述噪声隶属度呈负相关，所述区域偏差与所述噪声隶属度呈正相关。

在一些实施例中，所述噪声隶属度满足关系式：

其中，为目标像素点/>的区域大小，/>为目标像素点/>的区域偏差，/>为目标像素点/>的噪声隶属度。

在一些实施例中，所述对噪声隶属度最大值对应的像素点进行擦除操作以获取更新后的当前图像帧包括：将噪声隶属度最大值对应的像素点作为待擦除像素点；获取所述待擦除像素点对应连通区域的所有邻接像素点，计算所有邻接像素点的平均像素值，并将所述平均像素值作为所述待擦除像素点对应连通区域内所有像素点的像素值，完成一次擦除操作，得到更新后的当前图像帧。

在一些实施例中，所述图像变化量满足关系式：

其中，为所述当前图像帧/>和更新后当前图像帧/>之间的结构相似性，/>为图像变化量。

在一些实施例中，所述掩码图中像素点的像素值为0或1，依据所述帧差图中各像素点邻域范围内的像素值对所述像素点的像素值进行修正以获取掩码图包括：对于所述帧差图中的一个像素点，计算所述像素点邻域范围内其它像素点的平均像素值，其中所述邻域范围为以所述像素点为中心点的设定尺寸的矩形框；计算所述像素点的像素值与所述平均像素值之间差值的绝对值，得到所述像素点的偏差值；基于所述偏差值和所述像素点的像素值计算所述像素点的运动幅度指标，其中所述运动幅度指标与像素点的像素值呈正相关，与所述偏差值呈负相关；响应于所述运动幅度指标大于预设指标值，将对应像素点的像素值置为1，响应于所述运动幅度指标不大于所述预设指标值，将对应像素点的像素值置为0。

在一些实施例中，所述运动幅度指标满足关系式：

其中，为像素点/>的像素值，/>为像素点/>的偏差值，/>为像素点/>的像素值运动幅度指标。

本发明还提供了一种基于图像处理的运动区域提取系统，包括处理器和存储器，所述存储器存储有计算机程序指令，当所述计算机程序指令被所述处理器执行时实现本发明所述的基于图像处理的运动区域提取方法。

本申请实施例提供的上述基于图像处理的运动区域提取方法，首先对当前图像帧中各像素点的噪声隶属度进行精准量化，按照噪声隶属度从大到小顺序依次进行像素点的擦除操作，不断更新当前图像帧，直至得到图像变化量满足要求的目标图像帧，从而去除了当前图像帧中的噪声，以提高后续运动区域提取的准确性；进一步地，获取目标图像帧与上一个相邻图像帧之间的帧差图，并依据帧差图中各像素点像素值和邻域范围内的偏差值精准定位运动区域的掩码图，将掩码图与目标图像帧相乘即可得到当前图像帧的运动区域，从而准确提取当前图像帧中的运动区域。

进一步地，在统计像素点的噪声隶属度的过程中，对于任意目标像素点而言，其连通区域越小，表示该目标像素点对应像素值的分布面积越小，该目标像素点为噪声的可能性越大；其连通区域与邻接像素点之间的区域偏差越大，表示该目标像素点的连通区域与周围像素点的特征差异越大，该目标像素点为噪声的可能性越大；故综合连通区域的区域大小和区域偏差，精准量化对应像素点的噪声隶属度。

附图说明

通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：

图1是根据本申请实施例的基于图像处理的运动区域提取方法的流程图；

图2是根据本申请实施例的获取目标像素点的连通区域的区域大小和区域偏差的示意图；

图3是根据本申请实施例的基于图像处理的运动区域提取系统的框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，当本申请的权利要求、说明书及附图使用术语“第一”、“第二”等时，其仅是用于区别不同对象，而不是用于描述特定顺序。本申请的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

根据本申请的第一方面，本申请提供了一种基于图像处理的运动区域提取方法。请参阅图1所示，为本申请较佳实施方式提供的基于图像处理的运动区域提取方法的流程图。根据不同的需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略。

在一个应用场景中，在智能监控领域中，对监控区域中的运动目标进行检测，需准确提取监控区域中的运动区域。

S11，统计所述当前图像帧中每个像素点的噪声隶属度，并对噪声隶属度最大值对应的像素点进行擦除操作以获取更新后的当前图像帧。

在一个实施例中，由于存在运动区域，使得当前图像帧中存在大量的噪声，这些噪声会使得当前图像帧与上一个相邻图像帧之间存在像素值差异，进而无法准确提取当前图像帧中的运动区域；故在提取运动区域之前，需更新当前图像帧以去除当前图像帧中的噪声。

具体地，统计所述当前图像帧中每个像素点的噪声隶属度包括：获取目标像素点，所述目标像素点为所述当前图像帧中任意一个像素点；计算所述目标像素点对应连通区域的区域大小和区域偏差，其中所述连通区域中像素点的像素值等于所述目标像素点的像素值，所述区域偏差满足关系式：

其中，为所述目标像素点的像素值，/>为与目标像素点/>连通区域邻接的所有像素点数量，/>为与目标像素点/>连通区域邻接的第/>个像素点，/>为目标像素点/>连通区域的区域偏差；基于所述区域大小和所述区域偏差计算所述目标像素点的噪声隶属度，所述区域大小与所述噪声隶属度呈负相关，所述区域偏差与所述噪声隶属度呈正相关。

在一个实施例中，所述噪声隶属度满足关系式：

其中，为目标像素点/>的区域大小，/>为目标像素点/>的区域偏差，/>为目标像素点/>的噪声隶属度。

可以理解地，对于一个目标像素点而言，其连通区域的区域大小越小，表示该目标像素点对应像素值的分布面积越小，该目标像素点为噪声的可能性越大；其区域偏差越小，表示该目标像素点的连通区域与周围像素点的特征差异越大，该目标像素点为噪声的可能性越大；故综合连通区域的区域大小和区域偏差，精准量化对应像素点的噪声隶属度。一个像素点的噪声隶属度越大，则该像素点为噪声的概率越大。

示例性地，请参见图2，是根据本申请实施例的获取目标像素点的连通区域的区域大小和区域偏差的示意图。对于目标像素点1，其连通区域为如图2所示的虚线框围起来的区域，该连通区域的区域大小为5；目标像素点的连通区域对应的邻接像素点共有14个，依次为1、0、0、3、0、0、0、0、1、1、1、0、0、1；则连通区域的区域偏差为1.57。

在一个实施例中，获取当前图像帧中每个像素点的噪声隶属度后，将噪声隶属度最大值对应的像素点擦除，可减少当前图像帧中的噪声信息，具体描述如下。所述对噪声隶属度最大值对应的像素点进行擦除操作以获取更新后的当前图像帧包括：将噪声隶属度最大值对应的像素点作为待擦除像素点；获取所述待擦除像素点对应连通区域的所有邻接像素点，计算所有邻接像素点的平均像素值，并将所述平均像素值作为所述待擦除像素点对应连通区域内所有像素点的像素值，完成一次擦除操作，得到更新后的当前图像帧。

如此，将当前图像帧中噪声隶属度最大值对应的像素点进行擦除，减少当前图像帧中的噪声信息。

S12，对比所述当前图像帧和更新后的当前图像帧以获取图像变化量，所述图像变化量与所述当前图像帧和更新后当前图像帧之间的结构相似性呈负相关。

在一个实施例中，相较于当前图像帧，更新后的当前图像帧中擦除了噪声隶属度最大值对应的像素点，会导致当前图像帧内出现信息的变化，为了防止当前图像帧中的非噪声像素点被擦除，需要定义更新后的当前图像帧的图像变化量。具体地，所述图像变化量满足关系式：

其中，为所述当前图像帧/>和更新后当前图像帧/>之间的结构相似性，/>为图像变化量。

其中，所述结构相似性（SSIM,Structural Similarity）综合了亮度、对比度和结构三个方面衡量两个图像之间的相似度，相似度越大，则图像变化量越小。

S13，响应于所述图像变化量小于设定变化量，对更新后的当前图像帧迭代地执行所述擦除操作，直至所述图像变化量不小于所述设定变化量时，将上一次擦除操作对应的更新后的当前图像帧作为目标图像帧。

在一个实施例中，每执行一次擦除操作，更新后的当前图像帧中就会被擦除掉一个像素点，降低当前图像帧中噪声信息；但是，当前图像帧中的噪声信息被完全擦除后，如果继续擦除会去除当前图像帧中的有效信息。为了保证当前图像帧中的有效信息不被擦除掉，在每次擦除操作之后，计算此次擦除操作对应的图像变化量；当所述图像变化量小于设定变化量时，继续执行擦除操作，当所述图像变化量不小于所述设定变化量时，表示此次擦除操作造成的图像变化量过大，将上一次擦除操作对应的更新运动区域作为目标图像帧，保证了当前图像帧中的有效信息。

S14，获取所述目标图像帧与上一个相邻图像帧之间的帧差图，依据所述帧差图中各像素点邻域范围内的像素值对所述像素点的像素值进行修正以获取掩码图。

在一个实施例中，所述目标图像帧为不含噪声信息的当前帧图像，获取所述目标图像帧与上一个相邻图像帧之间的帧差图，所述帧差图满足关系式：

其中，为目标图像帧中位置/>处的像素值，/>为上一个相邻图像帧中位置/>处的像素值，/>为所述帧差图中位置/>处的像素值。

可以理解地，在帧差图中，越大，表示相邻两张图像帧之间位置/>处发生变化的程度越大，即通过帧差图中的像素值可反映当前图像帧中的运动区域。

在一个实施例中，由于存在晃动的树叶、纷飞的雪花等背景晃动的情况，会在帧差图中形成变化程度小或面积较小的运动区域，这些运动区域内的图像信息对于运动区域提取而言同样属于噪声数据，故需要对帧差图中各像素点的像素值进行修正，得到准确的运动区域，具体描述如下。所述掩码图中像素点的像素值为0或1，依据所述帧差图中各像素点邻域范围内的像素值对所述像素点的像素值进行修正以获取掩码图包括：对于所述帧差图中的一个像素点，计算所述像素点邻域范围内其它像素点的平均像素值，其中所述邻域范围为以所述像素点为中心点的设定尺寸的矩形框；计算所述像素点的像素值与所述平均像素值之间差值的绝对值，得到所述像素点的偏差值；基于所述偏差值和所述像素点的像素值计算所述像素点的运动幅度指标，其中所述运动幅度指标与像素点的像素值呈正相关，与所述偏差值呈负相关；响应于所述运动幅度指标大于预设指标值，将对应像素点的像素值置为1，响应于所述运动幅度指标不大于所述预设指标值，将对应像素点的像素值置为0。

其中，所述邻域范围为以所述像素点为中心点的3×3的矩形框，即所述邻域范围共包括9个像素值；所述预设指标值的取值为1。

所述运动幅度指标用于反映对应像素点的运动幅度，所述运动幅度指标与像素点的像素值呈正相关，像素值越大，表示运动幅度越大，则对应的运动幅度指标越大；所述运动幅度指标与像素点的偏差值呈负相关，偏差值越大，表示该位置的运动幅度在空间中不连续，该位置的变化为孤立点，对运动区域提取而言属于噪声数据，则对应的运动幅度指标越小。具体地，所述运动幅度指标满足关系式：

其中，为像素点/>的像素值，/>为像素点/>的偏差值，/>为像素点/>的像素值运动幅度指标。

如此，对帧差图中各像素点的像素值，以及邻域范围内像素点的偏差值计算各像素点的运动幅度指标，用于度量像素点的变化对监控视频的重要程度，进而得到准确的掩码图；所述掩码图中运动区域的像素值为1，非运动区域的像素值为0。

S15，将所述掩码图与所述目标图像帧相乘，得到所述当前图像帧中的运动区域。

在一个实施例中，所述掩码图中的像素值为0或1，将所述掩码图与所述当前图像帧相乘，得到所述当前图像帧中的运动区域；所述运动区域包括所述当前图像帧中运动目标的图像信息，且非运动目标处的像素值为0。

本申请实施例提供的上述基于图像处理的运动区域提取方法，首先对当前图像帧中各像素点的噪声隶属度进行精准量化，按照噪声隶属度从大到小顺序依次进行像素点的擦除操作，不断更新当前图像帧，直至得到图像变化量满足要求的目标图像帧，从而去除了当前图像帧中的噪声，以提高后续运动区域提取的准确性；进一步地，获取目标图像帧与上一个相邻图像帧之间的帧差图，并依据帧差图中各像素点像素值和邻域范围内的偏差值精准定位运动区域的掩码图，将掩码图与目标图像帧相乘即可得到当前图像帧的运动区域，从而准确提取当前图像帧中的运动区域。

本申请还提供了一种基于图像处理的运动区域提取系统。图3是根据本申请实施例的基于图像处理的运动区域提取系统的框图。如图3所示，所述装置50包括处理器和存储器，所述存储器存储有计算机程序指令，当所述计算机程序指令被所述处理器执行时实现根据本申请第一方面所述的一种基于图像处理的运动区域提取方法。所述装置还包括通信总线和通信接口等本领域技术人员熟知的其他组件，其设置和功能为本领域中已知，因此在此不再赘述。

在本申请中，前述的存储器可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，计算机可读存储介质可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器RRAM（Resistive RandomAccess Memory）、动态随机存取存储器DRAM（Dynamic Random Access Memory）、静态随机存取存储器SRAM（Static Random-Access Memory）、增强动态随机存取存储器EDRAM（Enhanced Dynamic Random Access Memory）、高带宽内存HBM （High-BandwidthMemory）、混合存储立方HMC（Hybrid Memory Cube）等等，或者可以用于存储所需信息并且可以由应用程序、模块或两者访问的任何其他介质。任何这样的计算机存储介质可以是设备的一部分或可访问或可连接到设备。本申请描述的任何应用或模块可以使用可以由这样的计算机可读介质存储或以其他方式保持的计算机可读/可执行指令来实现。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于图像处理的运动区域提取方法，其特征在于：

统计当前图像帧中每个像素点的噪声隶属度，并对噪声隶属度最大值对应的像素点进行擦除操作以获取更新后的当前图像帧；

对比所述当前图像帧和更新后的当前图像帧以获取图像变化量，所述图像变化量与所述当前图像帧和更新后当前图像帧之间的结构相似性呈负相关；

响应于所述图像变化量小于设定变化量，对更新后的当前图像帧迭代地执行所述擦除操作，直至所述图像变化量不小于所述设定变化量时，将上一次擦除操作对应的更新后的当前图像帧作为目标图像帧；

获取所述目标图像帧与上一个相邻图像帧之间的帧差图，依据所述帧差图中各像素点邻域范围内的像素值对所述像素点的像素值进行修正以获取掩码图；

将所述掩码图与所述目标图像帧相乘，得到所述当前图像帧中的运动区域；

其中，统计所述当前图像帧中每个像素点的噪声隶属度包括：获取目标像素点，所述目标像素点为所述当前图像帧中任意一个像素点；计算所述目标像素点对应连通区域的区域大小和区域偏差，其中所述连通区域中像素点的像素值等于所述目标像素点的像素值，所述区域偏差满足关系式：

其中，为所述目标像素点的像素值，/>为与目标像素点/>连通区域邻接的所有像素点数量，/>为与目标像素点/>连通区域邻接的第/>个像素点，/>为目标像素点连通区域的区域偏差；基于所述区域大小和所述区域偏差计算所述目标像素点的噪声隶属度，所述区域大小与所述噪声隶属度呈负相关，所述区域偏差与所述噪声隶属度呈正相关。

2.如权利要求1所述的一种基于图像处理的运动区域提取方法，其特征在于，所述噪声隶属度满足关系式：

其中，为目标像素点/>的区域大小，/>为目标像素点/>的区域偏差，为目标像素点/>的噪声隶属度。

3.如权利要求2所述的一种基于图像处理的运动区域提取方法，其特征在于，所述对噪声隶属度最大值对应的像素点进行擦除操作以获取更新后的当前图像帧包括：

将噪声隶属度最大值对应的像素点作为待擦除像素点；

获取所述待擦除像素点对应连通区域的所有邻接像素点，计算所有邻接像素点的平均像素值，并将所述平均像素值作为所述待擦除像素点对应连通区域内所有像素点的像素值，完成一次擦除操作，得到更新后的当前图像帧。

4.如权利要求1所述的一种基于图像处理的运动区域提取方法，其特征在于，所述图像变化量满足关系式：

其中，为所述当前图像帧/>和更新后当前图像帧/>之间的结构相似性，/>为图像变化量。

5.如权利要求1所述的一种基于图像处理的运动区域提取方法，其特征在于，所述掩码图中像素点的像素值为0或1，依据所述帧差图中各像素点邻域范围内的像素值对所述像素点的像素值进行修正以获取掩码图包括：

对于所述帧差图中的一个像素点，计算所述像素点邻域范围内其它像素点的平均像素值，其中所述邻域范围为以所述像素点为中心点的设定尺寸的矩形框；

计算所述像素点的像素值与所述平均像素值之间差值的绝对值，得到所述像素点的偏差值；

基于所述偏差值和所述像素点的像素值计算所述像素点的运动幅度指标，其中所述运动幅度指标与像素点的像素值呈正相关，与所述偏差值呈负相关；

响应于所述运动幅度指标大于预设指标值，将对应像素点的像素值置为1，响应于所述运动幅度指标不大于所述预设指标值，将对应像素点的像素值置为0。

6.如权利要求5所述的一种基于图像处理的运动区域提取方法，其特征在于，所述运动幅度指标满足关系式：

其中，为像素点/>的像素值，/>为像素点/>的偏差值，/>为像素点的像素值运动幅度指标。

7.一种基于图像处理的运动区域提取系统，其特征在于，包括处理器和存储器，所述存储器存储有计算机程序指令，当所述计算机程序指令被所述处理器执行时实现根据权利要求1至6中任一项所述的运动区域提取方法。