CN107248167B

CN107248167B - 一种运动目标阴影检测方法、装置及计算机可读存储介质

Info

Publication number: CN107248167B
Application number: CN201710312345.4A
Authority: CN
Inventors: 赵勇; 向函; 符祖峰; 谢锋; 陈胜红
Original assignee: Shenzhen Heju Information Technology Co ltd
Current assignee: Shenzhen Heju Information Technology Co.,Ltd.
Priority date: 2017-05-05
Filing date: 2017-05-05
Publication date: 2020-09-01
Anticipated expiration: 2037-05-05
Also published as: CN107248167A

Abstract

本发明实施例提供了一种运动目标阴影检测方法，该方法包括：确定待检测图像区域的前景区域和背景区域的相位；确定所述前景区域的相位与背景区域的相位的差值；根据所述前景区域和背景区域的相位的差值判断待检测图像区域是否为阴影。不同于现有技术中的阴影检测算法，本发明实施例提供了一种全新的基于相位信息的运动目标的阴影检测方法，为阴影检测提供了一种新的思路，该方法简单、便捷且可靠性高，能够为后续的目标检测打下了坚实的基础。本发明实施例还提供了一种运动目标阴影检测装置及计算机可读存储介质。

Description

一种运动目标阴影检测方法、装置及计算机可读存储介质

技术领域

本发明涉及图像处理技术领域，具体涉及一种运动目标阴影检测方法、装置及计算机可读存储介质。

背景技术

在智能视频监控(IVS，Intelligent Video Surveillance)中，运动目标通常都会有阴影伴随，因此，在对运动目标进行检测时，容易出现检测目标轮廓变形、重叠、粘连等等问题，导致跟踪目标中缺乏稳定的、单独的轮廓形状，从而导致跟踪的失败，因此，运动目标的阴影检测并加以去除是智能视频监控中一个非常重要的研究课题。

在背景模型建立以后，目标检测是通过将当前帧图像减去背景图像而得到目标。但是，由于运动目标的阴影也跟踪运动目标一起运动，因此，运动目标的阴影也会被当做目标一起检测出来。而对运动目标进行阴影检测即是为了将阴影与运动目标分离，从而使目标形状更加完整，以便更好、更稳定的跟踪目标。本发明所说的阴影检测，主要针对运动目标在运动过程中所产生的跟随运动目标一块运动的阴影，是区别于目标在静态下的阴影的，本发明并不检测静态的阴影，因为它不影响运动目标的检测。

目前主流的阴影检测类方法主要有基于颜色(Chromacity)的方法、基于物理(Physical)属性的方法、基于几何(Geometry)的方法和基于纹理(Textures)的方法。

基于Chromacity的方法通常假设阴影区域比对应的背景区域暗，但是保持色度不变。例如，绿色区域被阴影覆盖后变成深绿，但是颜色仍然会是绿色。基于这种假设的模型需要在某种颜色空间中较好地区分出亮度和色度，比如HSV，YUV，c1c2c3，或者将它们进行组合。此类方法一般比较容易实现，而且时间消耗少，但是对噪声敏感，对强阴影效果差。

基于Geometry的方法需要关于光源、物体形状和地面的先验知识来对阴影的方向、大小和形状进行预测。大多数此类方法认为每一个连通区域包含目标和阴影，但是，实际情况却并非如此。

基于Textures的方法利用的是阴影纹理保持一致性的特性，此类的方法采用的策略包括：一是检测候选阴影，可能包含有目标在内，这是一个粗糙的结果；二是对候选阴影在像素级别上或区域级别上进行分类，前景或者阴影。

基于Chromacity、Physical、Geometry和Textures的四类方法是目前较有代表性的阴影检测算法，这四类方法都有其各自的优势，在特定的场景下有比较好的检测效果。

这其中基于Chromacity和基于Textures的算法效果比较突出，很多阴影检测算法都是基于二者的结合，具有代表性的方法是基于大区域纹理的算法。这种方式的阴影检测流程示意图如图1所示。参照图1，首先对背景进行建模，得到左上方两个示意的当前帧和背景帧，当前帧减掉背景帧以后，得到前景帧，前景帧包含了候选目标区域及阴影区域(含真正的运动目标，以及运动目标相应的阴影)；然后应用Chromacity得到候选的阴影区域(参照图1中的①)，然后分别用HSV阴影检测算子(参照图1中的②)、ILTP(一种改进的局部二进制纹理特征)算子(参照图1中的③)以及Gradient(梯度模)阴影检测算子(参照图1中的④)来计算出候选区域的前景的HSV差异、ILTP局部二进制特征差异以及Gradient差异；之后，通过计算结果来综合决定候选区域是否是阴影(参照图1中的⑤)；最后，通过后期处理来得到阴影并分离出目标和阴影(参照图1中的⑥)。

近年来，还有用深度学习来检测阴影的方法被提出，这种方法的主要原理为：用图像分割方法对前景图像进行分割，得到很多分片(Patch)区域，用分割出来分片区域来训练卷积神经网(CNN)，用训练处的卷积神经网来对分割出来的区域进行机器学习，以判断他们是否是目标还是阴影。

作为运动目标检测中的一项重要研究，需要更多的阴影检测方法被提出。

发明内容

为了解决现技术存在的问题，本发明实施例期望提供一种运动目标阴影检测方法、装置及计算机可读存储介质。

根据第一方面，一种实施例中提供了一种运动目标阴影检测方法，包括：

确定待检测图像区域的前景区域和背景区域的相位；

确定所述前景区域的相位与背景区域的相位的差值；

根据所述前景区域和背景区域的相位的差值判断待检测图像区域是否为阴影。

上述方案中，所述确定待检测图像区域的前景区域和背景区域的相位，包括：

对该待检测图像区域的前景区域和背景区域分别进行二维的傅里叶变换，根据傅里叶变换结果确定前景区域和背景区域的相位。

上述方案中，所述待检测图像区域的前景区域和背景区域通过以下方法确定：

确定出涵盖待检测图像区域的最小矩形边框，并用所述最小矩形边框框出待检测图像区域；

确定所述最小矩形边框所包含的图像的前景区域，该前景区域即为待检测图像区域的前景区域；同时，确定所述最小矩形边框所包含的图像的背景区域，该背景区域即为待检测图像区域的背景区域。

上述方案中，所述根据所述前景区域和背景区域的相位的差值判断待检测图像区域是否为阴影，包括：

当前景区域及背景区域的相位的差值小于预设阈值时，确定所述待检测图像区域为阴影；反之，则确定所述待检测图像区域为前景。

上述方案中，对所述前景区域TO做二维傅里叶变换的结果为：

对所述背景区域TB做二维傅里叶变换的结果为：

其中，

上述方案中，所述前景区域TO的相位和背景区域TB的相位的差值通过下式确定：

根据第二方面，一种实施例中提供了一种运动目标阴影检测装置，包括：第一确定模块、第二确定模块及判断模块；其中，

所述第一确定模块，用于确定待检测图像区域的前景区域和背景区域的相位；

所述第二确定模块，用于确定所述前景区域的相位与背景区域的相位的差值；

所述判断模块，用于根据所述前景区域和背景区域的相位的差值判断待检测图像区域是否为阴影。

上述方案中，所述第一确定模块，包括：

傅里叶变换单元，用于对所述待检测图像区域的前景区域和背景区域分别进行二维的傅里叶变换；

相位确定单元，用于根据傅里叶变换结果确定前景区域和背景区域的相位。

上述方案中，所述装置还包括：第三确定模块，用于通过以下方法确定所述待检测图像区域的前景区域和背景区域：

上述方案中，所述判断模块，包括：

判断单元，用于判断所述前景区域及背景区域的相位的差值是否小于预设阈值；

确定单元，用于当所述判断单元的判断结果为是时，确定所述待检测图像区域为阴影；当所述判断单元的判断结果为否时，确定所述待检测图像区域为前景。

上述方案中，所述傅里叶变换单元对所述前景区域TO做二维傅里叶变换的结果为：

所述傅里叶变换单元对所述背景区域TB做二维傅里叶变换的结果为：

其中，

上述方案中，所述第二确定模块，用于通过下式确定前景区域TO的相位和背景区域TB的相位的差值：

根据第三方面，一种实施例中提供了一种计算机可读存储介质，该计算机可读存储介质包括程序，所述程序用于被处理器执行以实现如上述第一方面所述的方法。

与现有技术相比，本发明实施例至少具备以下优点：

根据本发明实施例提供的运动目标阴影检测方法，通过对待检测图像区域的前景区域和背景区域的相位的差值进行判断来确定待检测图像区域是否为阴影。可见，不同于现有技术中的阴影检测算法，本发明实施例提供了一种全新的基于相位信息的运动目标阴影检测方法，为阴影检测提供了一种新的思路，该方法简单、便捷且可靠性高，能够为后续的目标检测打下了坚实的基础。

附图说明

图1是现有技术中阴影检测方法在一种实施方式中的处理流程图；

图2是两幅示例性图像Lena和Flowers；

图3是对图2中两幅示例性图像Lena和Flowers进行傅里叶变换、交换其相位谱后进行反变换得到的结果；

图4是本发明运动目标阴影检测方法在一种实施方式中的流程图；

图5是本发明运动目标阴影检测装置在一种实施方式中的基本结构图；

图6是本发明运动目标阴影检测装置中的第一确定模块在一种实施方式中的基本结构图；

图7是本发明运动目标阴影检测装置在第二种实施方式中的基本结构图；

图8是本发明运动目标阴影检测装置中的判断模块在一种实施方式中的流程图；

图9是本发明应用示例中提供的一幅源图片的当前帧；

图10是本发明应用示例中提供的一幅源图片的背景帧；

图11是本发明应用示例中提供的一幅源图片的前景帧；

图12是本发明应用示例中对图11所示的前景帧进行分割的示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

本申请的发明构思为：在研究过程中，我们发现：图像的相位信息是决定图像是否相像的一个非常重要的信息。也就是，如果两幅图像的相频响应相同，则不管其幅频响应是否相同，这两幅图像都能够看出来是同一幅图像，反之，则无法分辨出两幅图像是否为同一幅图像。因此，对于两幅图像来说，如果其傅里叶变换后的相频响应相同，而幅频响应不同，则可以看出是同一图像；但是，如果两幅图像傅里叶变换后的幅频响应相同，但相频响应不同，则完全看不出来是同一幅图像。针对这一结论的实验验证如下：

图2是两幅图像Lena(左)和Flower(右)。图3为对这两幅图像分别做傅里叶变化，并交换其相位谱，然后作反变换得到的结果，从图3中可以看出，具有Lenna的相位谱的第二幅图像是与Lenna相像的，而具有flowers的相位谱的第一幅图像是与flowers相像的；而第一幅图像虽然与Lenna的幅度谱相同，但由于其相位谱不同，也无法看出是同一幅图像，同理，第二幅图像虽然与Flowers的幅度谱相同，但由于其相位谱不同，也无法看出是同一幅图像。因此，相位信息才是决定图像看起来是否相像的决定因素。

基于此，本发明提出了一种基于相位信息来对运动目标进行阴影检测的方法。

实施例一

参照图4，示出了本发明一种运动目标阴影检测方法的步骤流程图，具体可以包括：

步骤401、确定待检测图像区域的前景区域和背景区域的相位；

本发明实施例的目的在于判断一个待检测图像区域的前景区域是否属于背景，从而确定待检测图像区域是否为阴影。因此，首先假设该待检测图像区域已经确定出来，之后，对该待检测图像区域的前景区域和背景区域进行二维的傅里叶变换，根据傅里叶变换结果确定前景区域和背景区域的相位。

所述待检测图像区域是对源图像的当前帧减去背景帧后得到的前景帧进行图像分割后得到的待检测图像区域，通常可以将前景帧分割为多个待检测图像区域。针对每一个待检测图像区域可以确定其属于阴影还是前景。

所述待检测图像区域的前景区域和背景区域通过以下方法确定：

实际实现中，假设待检测图像区域为S，找到一个可以涵盖S的最小矩形边框T，确定T之上的前景区域TO和T之上的背景区域TB，分别对TO和TB作两维的傅立叶变换，即：

其中，ω1为横向基本频率，ω2为纵向基本频率；k、l是离散频域的横向和纵向的标号，k＝0，1，2.....N-1；l＝0，1，2......M-1；(k，l)表示横向基本频率ω1、纵向基本频率ω2的第k，l次谐波。

具体的，

然后，根据上面傅里叶变化的结果确定TO和TB的相位。

具体的，所述确定出涵盖待检测图像区域的最小矩形边框，包括：

确定出组成待检测图像区域的像素点中的最小横坐标X_min、最大横坐标X_max、最小纵坐标Y_min及最大纵坐标Y_max；

则顶点为(X_min，Y_min)、(X_min，Y_max)、(X_max，Y_min)、(X_max，Y_max)的矩形边框即为涵盖待检测图像区域的最小矩形边框。

其中，X_min＝argmin_x{(x,y)∈S}；

Y_min＝argmin_y{(x,y)∈S}；

X_max＝argmax_x{(x,y)∈S}；

Y_max＝argmax_y{(x,y)∈S}。

步骤402、确定所述前景区域的相位与背景区域的相位的差值；

步骤401中，对该待检测图像区域的前景区域和背景区域进行二维的傅里叶变化，即可得到前景区域和背景区域的相位；之后，确定出所述前景区域的相位与背景区域的相位的差值。

具体的，前景区域TO的相位和背景区域TB的相位的差值通过下式确定：

其中，W(k，l)是对前景区域TO及背景区域TB在不同频率(k，l)上的相位进行的加权的结果。

通过以上方式，将前景区域TO与背景区域TB的相位的加权误差的平方和作为TO和TB的相位的差值，通过对该差值进行分析即可判断出待检测图像区域是否为阴影。

步骤403、根据所述前景区域和背景区域的相位的差值判断待检测图像区域是否为阴影。

具体的，当前景区域TO及背景区域TB的相位的差值小于预设阈值ε时，即可确定所述待检测图像区域为阴影；反之，则确定所述待检测图像区域为前景(即为要检测的目标)。

即，当

时，确定待检测图像区域为阴影。

具体的，在实际应用中，ε的取值可以根据实际需要进行确定。比如，通过大量的实验数据来确定；或者，根据M、N、W的取值以及阴影检测结果的应用场景来综合确定。

综上，本发明实施例一提供的运动目标阴影检测方法，通过对待检测图像区域的前景区域和背景区域的相位的差值进行判断来确定待检测图像区域是否为阴影。可见，不同于现有技术中的阴影检测算法，本发明实施例一提供了一种全新的基于相位信息的运动目标阴影检测方法，为阴影检测提供了一种新的思路，该方法简单、便捷且可靠性高，能够为后续的目标检测打下了坚实的基础。

实施例二

参照图5，示出了本发明一种运动目标阴影检测装置实施例的结构框图，所述装置包括：第一确定模块51、第二确定模块52及判断模块53；其中，

所述第一确定模块51，用于确定待检测图像区域的前景区域和背景区域的相位；

所述第二确定模块52，用于确定所述前景区域的相位与背景区域的相位的差值；

所述判断模块53，用于根据所述前景区域和背景区域的相位的差值判断待检测图像区域是否为阴影。

参照图6，所述第一确定模块51，包括：

傅里叶变换单元5101，用于对所述待检测图像区域的前景区域和背景区域分别进行二维的傅里叶变换；

相位确定单元5102，用于根据傅里叶变换结果确定前景区域和背景区域的相位。

在本发明的一种可选实施方式中，参照图7，所述装置还包括：第三确定模块54，用于通过以下方法确定所述待检测图像区域的前景区域和背景区域：

参照图8，所述判断模块53，包括：

判断单元5301，用于判断所述前景区域及背景区域的相位的差值是否小于预设阈值；

确定单元5302，用于当所述判断单元5301的判断结果为是时，确定所述待检测图像区域为阴影；当所述判断单元5301的判断结果为否时，确定所述待检测图像区域不为阴影。

上述方案中，所述傅里叶变换单元5101对所述前景区域TO做二维傅里叶变换的结果为：

所述傅里叶变换单元5101对所述背景区域TB做二维傅里叶变换的结果为：

其中，

上述方案中，所述第二确定模块52，用于通过下式确定前景区域TO的相位和背景区域TB的相位的差值：

因此，当判断单元5301确定

时(ε即为预设阈值)，所述确定单元5302确定待检测图像区域为阴影；反之，则确定所述待检测图像区域为前景(即为要检测的目标)。

在具体实施过程中，上述第一确定模块51、第二确定模块52、判断模块53及第三确定模块54均可以由具备数据处理能力的设备内的中央处理器(CPU，Central ProcessingUnit)、微处理器(MPU，Micro Processing Unit)、数字信号处理器(DSP，Digital SignalProcessor)或可编程逻辑阵列(FPGA，Field－Programmable Gate Array)来实现。

实施例三

本发明实施例三提供了一种计算机可读存储介质，所述计算机可读存储介质包括程序，所述程序用于被处理器执行以实现如实施例一所述的方法。

应用示例

下面通过一个具体应用示例对本发明实施例提供的运动目标阴影检测方法做以下详细介绍。

步骤1、对源图片背景进行建模，得到图9所示的当前帧和图10所示的背景帧；

步骤2、用当前帧减去背景帧之后得到图11所示的前景帧；

具体的，所述前景帧可以通过在当前帧中减去背景帧，再经过二值化后得到；

具体的二值化方法为将得到的图像的像素点与高斯分布的方差2.5σ的比较，根据比较结果对像素点进行二值化；即当|Pa(x，y)-Pb(x，y)|>2.5σ(x，y)时，当前像素点设置为白色，否则，设置为黑色；其中Pa(x，y)、Pb(x，y)分别是当前像素(x，y)的像素值，σ(x，y)是像素(x，y)上的高斯模型的标准方差。

步骤3、将前景帧分割成多个待检测图像区域；

具体的，可以将图11所示的前景帧按照传统的分割方法分割成多个待检测图像区域，比如，如图12所示，将前景帧分割成4个待检测图像区域，这4个待检测图像区域分别为A1、A2、A3及A4框起来的图像区域。为方便起见，将这些待检测图像区域分别命名为A1、A2、A3及A4。

步骤4、分别确定A1、A2、A3及A4的前景图像和背景图像的相位；

步骤5，分别将A1、A2、A3及A4的前景图像和背景图像的相位的差值与预设阈值进行比较，根据比较结果分别确定A1、A2、A3及A4是否为阴影。

具体的，当待检测图像区域的前景图像和背景图像的相位误差的平方和小于预设阈值时，确定该待检测图像区域为阴影；反之，确定该待检测图像区域为前景，即为要检测的运动目标。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。