CN110321808A - 遗留物与盗移物检测方法、设备和存储介质 - Google Patents

Abstract

本申请公开了遗留物与盗移物检测方法、设备和存储介质。该方法包括：获取场景图像，采用训练后的网络提取场景图像的特征；获取场景图像所对应的背景图像的特征，根据场景图像的特征和背景图像的特征计算背景图像和场景图像的特征差异度；判断出特征差异度高于对比阈值，则确定场景图像为遗留或盗移图像。本申请遗留物与盗移物检测方法简单方便，降低遗留物或盗移物检测的计算复杂度，可以实时对场景图像进行检测，可以不需要提取出前景物体，减少运算量，提高运算效率。

Description

遗留物与盗移物检测方法、设备和存储介质

技术领域

本申请涉及图像分析技术领域，特别是涉及遗留物与盗移物检测方法、设备和存储介质。

背景技术

随着计算机视觉及深度学习技术的快速发展，智能视频监控技术在安防领域中的应用日益增长。遗留和盗移检测是视频监控技术中的重要分支，涉及计算机视觉、模式识别、智能监控等各个学科，且与人们的日常工作、生活息息相关。

目前，遗留和盗移检测的过程一般是：建立背景模型，并采取一定的策略进行更新，根据当前图像与背景图像的差异求出前景物体，并统计前景物体出现的时间，超过一定的阈值即认为出现了遗留物或物体被盗移，计算复杂度较高，无法进行实时应用。

发明内容

本申请提供遗留物与盗移物检测方法、设备和存储介质，以解决现有技术中计算复杂度较高，无法实时应用的问题。

为解决上述技术问题，本申请提供一种遗留物与盗移物检测方法，该方法包括：获取场景图像，采用训练后的网络提取场景图像的特征；获取场景图像所对应的背景图像的特征，根据场景图像的特征和背景图像的特征计算背景图像和场景图像的特征差异度；判断出特征差异度高于对比阈值，则确定场景图像为遗留或盗移图像。

为解决上述技术问题，本申请提供一种遗留物与盗移物检测设备，包括处理器和存储器，存储器中存储有计算机程序，处理器用于执行计算机程序以实现上述遗留物与盗移物检测方法的步骤。

为解决上述技术问题，本申请提供一种存储介质，其中存储有计算机程序，计算机程序被处理器执行时实现上述遗留物与盗移物检测方法的步骤。

本申请遗留物与盗移物检测方法获取到场景图像和背景图像的特征，然后通过背景图像的特征和场景图像的特征就可以计算出两幅图像的特征差异度，然后将两幅图像的特征差异度与对比阈值比较，就可以判断场景图像是否为遗留或盗移图像，简单方便，降低遗留物或盗移物检测的计算复杂度，可以实时对场景图像进行检测，可以不需要提取出前景物体，减少运算量，提高运算效率。

附图说明

为了更清楚地说明本申请实施方式中的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请遗留物与盗移物检测方法一实施方式的流程示意图；

图2是本申请遗留物与盗移物检测方法另一实施方式的流程示意图；

图3是本申请遗留物与盗移物检测方法又一实施方式的流程示意图；

图4是本申请遗留物与盗移物检测方法又一实施方式的流程示意图；

图5是本申请遗留物与盗移物检测设备一实施方式的结构示意图；

图6是本申请存储介质一实施方式的结构示意图。

具体实施方式

为使本领域的技术人员更好地理解本申请的技术方案，下面结合附图和具体实施方式对本申请所提供的一种遗留物与盗移物检测方法、设备和存储介质做进一步详细描述。

具体请参阅图1，图1是本申请遗留物与盗移物检测方法一实施方式的流程示意图，本实施方式遗留物与盗移物检测方法包括以下步骤。

S101：获取场景图像，采用训练后的网络提取场景图像的特征。

其中，视频图像可以通过摄像设备(如摄像头等)获取。可以实时或每隔预设时间段获取被拍摄的场景的图像(即场景图像)。采用训练后的网络提取到的特征能够完全反映整个图像的性质，可以方便比对两幅图像，降低误判率，还可以减少运算过程(例如可以减少确认前景物体的步骤)，减少运算时间，提高运算效率。采用训练后的网络提取到图像的特征可以是描述图像或图像区域所对应的景物的表面性质的特征，例如图像的颜色特征、纹理特征。采用训练后的网络提取到图像的特征或者可以是描述图像的轮廓特征或描述整个形状区域的特征，例如形状特征。采用训练后的网络提取到图像的特征或者可以是描述图像中分割出来的多个目标之间的相互的空间位置或相对方向关系的特征，例如空间关系特征。

S102：获取场景图像所对应的背景图像的特征，根据场景图像的特征和背景图像的特征计算背景图像和场景图像的特征差异度。

其中，被拍摄的场景对应有一个或多个背景图像。一个或多个背景图像可以是按特定的规则随时更新的。被拍摄的场景对应有用于放置背景图像的背景库。从背景库可以获取到当前的一幅或多幅背景图像。场景图像所对应的背景图像是被拍摄的场景中当前的一个或多个背景图像。获取到的场景图像所对应的背景图像的特征，可以是获取到的一个或多个背景图像各自所对应的特征。获取到的场景图像所对应的背景图像的特征：可以是在S102之前提取到的；或者可以是在S101之前提取到的；或者可以是响应于获取场景图像所对应的背景图像的特征的指令，通过训练后的网络提取得到的。可以计算出场景图像的特征和每幅背景图像的特征之间的欧式距离、曼哈顿距离、马氏距离、余弦距离或汉明距离等，以作为每幅背景图像和场景图像的特征差异度。用特征差异度就可以简单直观的判断出场景图像与每幅背景图像的差异。

S103：判断出特征差异度高于对比阈值，则确定场景图像为遗留或盗移图像。

其中，以对比阈值作为衡量场景图像是否是遗留或盗移图像的标准。若背景图像和场景图像的特征差异度高于对比阈值，可以确定场景图像是遗留或盗移图像；若背景图像和场景图像的特征差异度低于或等于对比阈值，可以确定场景图像不是遗留或盗移图像。

在此实施方式中，获取到场景图像和背景图像的特征，然后通过背景图像的特征和场景图像的特征就可以计算出两幅图像的特征差异度，然后将两幅图像的特征差异度与对比阈值比较，就可以直观地判断场景图像是否为遗留或盗移图像，简单方便，降低遗留物或盗移物检测的计算复杂度，可以实时对场景图像进行检测，可以不需要提取出前景物体，减少运算量，提高运算效率。

具体请参阅图2，图2是本申请遗留物与盗移物检测方法另一实施方式的流程示意图，本实施方式遗留物与盗移物检测方法包括以下步骤。

S201：采用训练后的网络提取背景图像的特征。

在对图像(可以是背景图像、场景图像)进行各种处理(即提取图像的特征、计算第一阈值、计算第二阈值等)之前，可以对图像进行光照归一化预处理，用来增加训练后的网络对光照的适应性。光照归一化预处理可以是对图像各像素点的每种特征值分别减去相应特征值的均值，并除以一定数值，以得到归一化预处理后的图像。具体的计算公式可以如下所示：

I′(x,y)_n表示光照归一化预处理后的图像的像素点的特征值；I(x,y)_n表示未经光照归一化预处理的图像的像素点的特征值；mean[I(x,y)_n]表示未经光照归一化预处理的图像所有像素点的特征值的平均值。

在其中一个应用场景中，若以图像各像素点的R、G、B通道值作为图像各像素点的多种特征值，相应地，在判断场景图像是否为遗留或盗移图像的过程中均以图像各像素点的R、G、B通道值作为图像各像素点的多种特征值。n可以分别为R、G、B，可以用上述公式分别计算出光照归一化预处理后的图像各像素点的R、G、B通道值。K为一定数值(可以为128)。

在另一个应用场景中，若以图像各像素点的灰度值作为图像各像素点的特征值，相应地，在判断场景图像是否为遗留或盗移图像的过程中均以图像各像素点的灰度值作为图像各像素点的特征值。n可以取任意值，可以用上述公式计算出光照归一化预处理后的图像各像素点的灰度值。

另外，在此实施方式中，以图像各像素点的R、G、B通道值作为图像各像素点的多种特征值。

S202：在背景图像上进行多次随机模拟生成前景物体，以得到多个模拟图像；计算每个模拟图像与背景图像的特征差异度；计算所有模拟图像与背景图像的特征差异度的平均值，以得到第一阈值。

其中，背景图像可以是被拍摄场景中所有背景图像(即包括已被更新的背景图像或当前的背景图像)中的任意一个背景图像。一个被拍摄场景可以统一使用一个第一阈值：即可以只进行一次第一阈值的运算，例如可以通过该拍摄的场景的第一个背景图像计算出第一阈值；或者每隔一时间段就进行一次第一阈值的运算，以新的第一阈值替换之前的第一阈值。在通过场景图像与背景图像判断场景图像是否是遗留或盗移图像过程中：可以用判断过程中有效的第一阈值计算出对比阈值。

在其他实施方式中，每一个背景图像都可以有一个第一阈值。在通过场景图像与背景图像判断场景图像是否是遗留或盗移图像过程中：可以用该背景图像的第一阈值计算出对比阈值。

在背景图像上进行多次随机模拟生成前景物体，以得到多个模拟图像的步骤，可以包括：随机确定背景图像上生成前景物体的变化区域；随机生成随机数值；将背景图像上变化区域的所有像素点的特征值增加或减少随机数值以生成模拟图像。

生成的前景物体的变化区域在背景图像的面积占比可以为1/4、1/3、1/2。随机生成随机数值的步骤可以包括：计算背景图像上变化区域处所有像素点的特征值的平均值；随机生成在特征值的平均值一定范围内[可以是(特征值的平均值-第一固定值)和(特征值的平均值+第一固定值)的范围内]的随机数值。

进一步地，生成变化区域的公式可如下所示：

randx＝random(X)，randy＝random(Y)。

生成随机数值的公式可如下所示：

randR＝random(meanR),randG＝random(meanG),randB＝random(meanB)。

将背景图像上变化区域的所有像素点的特征值增加或减少随机数值的公式可以如下所示：

I_模拟(x,y)_{R,x∈randx,y∈randy}＝I(x,y)_R-randR

I_模拟(x,y)_{G,x∈randx,y∈randy}＝I(x,y)_G-randG

I_模拟(x,y)_{B,x∈randx,y∈randy}＝I(x,y)B-randB。

计算所有模拟图像与背景图像的特征差异度的平均值的公式可如下所示：

其中，Evu₁为第一阈值，I_模拟(x,y),I(x,y)为模拟图像和背景图像的特征差异度，n为模拟图像的数目。

第一阈值可以度量背景图像对物体遗留或盗移的特征的变化程度，不同背景图像对前景物体出现变化的明显程度不同，纹理复杂的背景图像相对于纹理简单的背景图像对前景物体的变化较小，通过第一阈值计算出对比阈值，可以根据背景图像对物体遗留或盗移的特征的变化程度计算出合理的对比阈值，可以对不同的场景都可以使用对比特征差异度和对比阈值的方法，判断场景图像是否是遗留或盗移图像，简单方便，降低误判率和漏检率。

S203：获取场景图像，采用训练后的网络提取场景图像的特征。

可如上述S101，在此不做赘述。

S204：获取场景图像所对应的背景图像的特征，根据场景图像的特征和背景图像的特征计算背景图像和场景图像的特征差异度。

其中，计算任意两幅图像(可以是背景图像、场景图像、模拟图像等图像中的两幅图像；或者可以是分块图像、对应的子块图像、对应的子块模拟图像等图像中的两幅图像)的特征差异度包括：对两幅图像的特征分别进行二范数归一化处理，然后计算出经二范数归一化处理后的两幅图像的特征的欧式距离、余弦距离、曼哈顿距离等。

进一步地，对两幅图像的特征分别进行二范数归一化处理的计算公式如下所示：

e_1i、e_2i是训练后的网络对两幅图像分别提取出的特征；E_1i、E_2i是经二范数归一化处理后两幅图像的特征。

计算出经二范数归一化处理后的两幅图像的特征的欧式距离的公式如下所示：

S205：计算场景图像上每个像素点的特征值与背景图像上对应像素点的特征值的差值；根据差值确定场景图像相对于背景图像变化明显的像素区域，计算场景图像中变化明显的像素区域与背景图像中对应的区域的差异程度，以得到第二阈值。

其中，根据差值确定场景图像相对于背景图像变化明显的像素区域的步骤，可以包括：计算所有差值的平均值；以场景图像的像素点的集合作为场景图像相对于背景图像变化明显的区域。其中，像素点集合中像素点的特征值的差值大于一定倍数的所有差值的平均值。

进一步地，计算场景图像中变化明显的像素区域与背景图像中对应的区域的差异程度，包括：计算所述场景图像中所述像素区域每个像素点与所述背景图像中对应像素点的特征值的差值的平均值，以作为第二阈值。

在本实施方式中，将图像的R、G、B通道值作为图像的多种特征值时，计算场景图像的变化明显的区域每个像素点与背景图像中对应像素点的特征值的差值的平均值的步骤可以包括：

先计算场景图像中变化明显的区域每个像素点与背景图像对应像素点的特征值的差值的平均值，具体公式如下所示：

Evu_2,n＝mean_n[abs(I₁-I₂)>ratio×mean(abs(I₁-I₂))]；

其中，abs(I₁-I₂)为场景图像上每个像素点的特征值与背景图像上对应像素点的特征值的差值；

然后计算特征值的差值的平均值的平均值，具体公式如下所示：

第二阈值可以衡量前景物体相对于背景图像的变化明显程度，即衡量遗留物或被盗移的物体与背景图像的相似程度，因为出现的前景物体形状、颜色各异，这样可以通过第二阈值适应性的根据前景物体与背景图像的相似情况来调节对比阈值，可以降低误判率和漏检率。

S206：通过第一阈值和第二阈值计算出对比阈值。

其中，第一阈值和第一占比的乘积，加上第二阈值和第二占比的乘积，可以得到对比阈值，公式如下所示：

Evu＝ratio₁×Evu₁+ratio₂×Evu₂；

其中，Evu₁是第一阈值，ratio₁是第一占比，Evu₂是第二阈值，ratio₂是第二占比，第二占比可在0.15-0.25范围内，第二占比可为0.2，Evu是对比阈值。

另外，在通过第一阈值和第二阈值计算出对比阈值之前，可以进行如下操作：

在第一阈值大于或等于第一预设值时，将第一预设值作为第一阈值，具体公式如下所示：

其中，第一预设值可以在0.30-0.45范围内，第一预设值可为0.4；

在第二阈值大于或等于第二预设值时，将第二预设值作为第二阈值，具体公式如下所示：

其中，第二预设值可以在0.75-1.2范围内，第一预设值可为1；

在第二阈值大于或等于第三预设值时，将第四预设值作为第一占比；反之则将第五预设值作为第一占比，具体公式如下所示：

其中，第三预设值可以在0.075-0.15范围内，第三预设值可为0.1，第四预设值可以在0.25-0.4范围内，第四预设值可为0.3，第五预设值可以在2.5-3.7范围内，第五预设值可为3。

其中，第四预设值小于第五预设值。

S207：判断出特征差异度高于对比阈值，则确定场景图像为遗留或盗移图像。

在其他实施方式中，S202可以在S201、S204、S205或S206之前执行；S205可以在S204之前执行；S205或者可以在S203中采用训练后的网络提取场景图像的特征步骤之前执行。

在此实施方式中，第一阈值可以度量背景图像对物体遗留或盗移的特征的变化程度，第二阈值可以衡量前景物体相对于背景图像的变化明显程度，这样通过第一阈值和第二阈值计算出对比阈值，对比阈值可以综合根据背景图像对物体遗留或盗移的特征的变化程度和前景物体相对于背景图像的变化明显程度计算出一个适合的对比阈值，这样作为衡量场景图像是否为遗留或盗移图像的标准的对比阈值能够更加适应不同的场景图像和不同的前景物体，降低误判率和漏检率。

具体请参阅图3，图3是本申请遗留物与盗移物检测方法又一实施方式的流程示意图，本实施方式遗留物与盗移物检测方法包括以下步骤。

S301：获取训练样本集。

其中，可以直接以不同场景下的背景图像和各个场景中存在前景物体的图像组成训练样本集。或者可以先获取图像库(图像库中包含不同场景下的背景图像和各个场景中存在前景物体的图像)；其次对图像库中的图像进行增广处理，获得图像的至少一个增广图像，增广图像构成训练样本集。增广处理包括以下至少一种：特征点偏移处理、随机距离变换处理、遮挡处理、随机亮度变换处理、数据缺失处理以及高斯模糊处理。增广处理包括随机光照变化处理(即随机亮度变换处理)，既可以增加训练样本数，又可以使训练后的网络能够适应光照变化的情况，区分光照和前景物体。进一步地，随机光照变化的比例可以为0.2，即随机对图像的亮度进行0.8到1.2倍的变换处理。

S302：采用训练样本集训练网络，从而得到针对遗留物或盗移物检测的训练后的网络。

其中，网络可为AlexNet、SqueezeNet或GoogleNet。计算和提取图像特征的网络为SqueezeNet，可以保证计算和提取图像特征的网络模型较小，可以降低运算量，可以节约提取图像的特征所消耗的时间。在采用训练样本集训练网络时，使用AM-softmax损失作为损失函数，可以使得不同图像的特征之间的距离放大化，可以使得训练后的网络能灵敏得检测出与背景图像较相似或面积占比较小的物体，采用AM-softmax损失作为损失函数，可以减小类内方差，增大类间距离(以不同的场景作为不同的类别)。基于SqueezeNet+AM-softmax损失训练网络，可以使训练后的网络能够区分不同场景的背景图像及场景和场景中存在物体的情况，且各种场景的特征之间距离较远，设置图像的特征为512维。经过训练收敛后得到用来提取图像的特征的网络模型。

AM-softmax损失定义为：

其中，m为引入的margin距离，可以保证最大类内距离小于最小类间距离，并保证不同类之间特征的距离；s是一个超参数，根据分类数进行取值。AM-softmax损失将各类特征分布在一个超球体上，对各类进行聚类，采用hard margin使各类间隔一定的角度。采用AM-softmax损失对网络进行训练，网络可以很快得以收敛，并能鲁棒得检测出与背景图像高度相似以及面积占比较小的物体。m可以为0.35，s可以为30。

S303：获取背景图像及其相关的数据。

其中，采集被拍摄场景的初始帧作为被拍摄场景的第一张背景图像。采用训练后的网络提取初始帧的特征。

背景图像的数量可为一个或多个。可选的，背景图像的数量可为4个、5个或6个。背景图像可以按照特定的规则进行更新，这样可以将光照和环境的缓慢变化更新进背景图像中，避免将光照变化后的图像误检为遗留或盗移图像。

满足下述条件的至少一种时，更新背景图像及其相关的数据；场景图像和背景图像的特征差异度小于或等于对比阈值(即场景图像未被判定为遗留或盗移图像)；场景图像和背景图像的特征差异度位于第六预设值和第七预设值之间(其中，第六预设值可以为0.02、0.03或0.04，第七预设值可以为0.23、0.25或0.27)；第二阈值位于第八预设值和第九预设值之间(其中，第八预设值可以为0.06、0.075或0.09，第九预设值可以为0.35、0.4或0.45)。进一步地，当上述条件全部满足时，可以将光照和环境的变化更新进背景图像中，并且可以避免将带有前景物体的图像更新进背景图像中，避免出现因为背景图像误更新后导致误检率和漏检率增加。另外，满足的条件有场景图像和背景图像的特征差异度高于第六预设值，这样可以避免不必要的更新导致计算量的增加。

在背景图像的数量小于数目阈值时，并且满足上述条件的至少一种时(即场景图像和背景图像的特征差异度小于或等于对比阈值；场景图像和背景图像的特征差异度位于第六预设值和第七预设值之间；第二阈值位于第八预设值和第九预设值之间)，可以将满足条件的场景图像及场景图像相关的数据(可以是满足条件的场景图像的特征)作为背景图像及其相关的数据保存。其中，背景图像及其相关的数据可以保存至背景库。

进一步地，更新背景图像及其相关的数据的步骤，可以包括：确定一个或多个背景图像中与场景图像的特征差异度最高的背景图像为需要更新的背景图像；将需要更新的背景图像与场景图像进行加权处理，以得到新的背景图像，将需要更新的背景图像替换成新的背景图像。更新背景图像及其相关的数据的步骤，还可以包括：将需要更新的背景图像的特征与场景图像的特征进行加权处理，以得到新的背景图像的特征，将需要更新的背景图像的特征替换成新的背景图像的特征。而且，场景图像的加权系数和场景图像的特征的加权系数是一样的，可以为0.7、0.8、0.85；相应地，背景图像的加权系数和背景图像的特征的加权系数是一样的，相应地可以为0.3、0.2、0.15。

S304：在背景图像上进行多次随机模拟生成前景物体，以得到多个模拟图像；计算每个模拟图像与背景图像的特征差异度；计算所有模拟图像与背景图像的特征差异度的平均值，以得到第一阈值。

可如上述S202，在此不做赘述。

S305：获取场景图像，采用训练后的网络提取场景图像的特征。

可如上述S203，在此不做赘述。

S306：获取场景图像所对应的背景图像的特征，根据场景图像的特征和背景图像的特征计算背景图像和场景图像的特征差异度。

可如上述S204，在此不做赘述。

S307：计算场景图像上每个像素点的特征值与背景图像上对应像素点的特征值的差值；根据差值确定场景图像相对于背景图像变化明显的像素区域，计算场景图像中像素区域与背景图像中对应的区域的差异程度，以得到第二阈值。

可如上述S205，在此不做赘述。

S308：通过第一阈值和第二阈值计算出对比阈值。

可如上述S206，在此不做赘述。

S309：判断出场景图像与每个背景图像的特征差异度高于对比阈值，统计满足第一预设条件的背景图像的数目，背景图像与场景图像的特征差异度比对比阈值高时满足第一预设条件。

S310：满足第一预设条件的背景图像的数目与背景图像的总数的比值是否超过预定比值时，若是，则判定场景图像为遗留或盗移图像。

其中，计算出满足第一预设条件的背景图像(即与场景图像的特征差异度比对比阈值高的背景图像)的数目与背景图像的总数的比值，然后判断比值是否超出预定比值。若比值超过预定比值，就可以判定场景图像是遗留或盗移图像。若比值小于或等于预定比值，就可以判定场景图像不是遗留或盗移图像。

S311：累计判定为遗留或盗移图像的场景图像的数目。

其中，可以累计判定为遗留或盗移图像的场景图像的连续数目以计算出判定为遗留或盗移图像的场景图像的数目。

另外，判定为遗留或盗移图像的场景图像的数目的方法还可以通过如下方式累计。

每判断出场景图像为遗留或盗移图像：

在累计的数目小于或等于第一数量阈值时，将累计的数目加一；

在累计的数目大于第一数量阈值时，累计的数目设置为阈值加一。

每判断出场景图像不是遗留或盗移图像(即背景图像为一个时，每判断出特征差异度小于或等于对比阈值；背景图像为多个时，每判断出比值大于预设比值)：

在累计的数目大于或等于第二数量阈值时，将累计的数目减一；

在累计的数目小于第二数量阈值时，累计的数目设置为0。

S312：当累计的数目超过第一数值，判断场景中存在遗留物或盗移物。

其中，累计的数目超过第一数值，就可以判断出场景中存在遗留物或盗移物。此时，可以通过各种报警方式(例如响铃)报警，以提醒用户。

在此实施方式中，采用特定的规则更新背景图像，可以将光照的缓慢变化更新进背景图像中；并采用多个背景图像，采用比值与对比阈值进行比较判断场景图像是否是遗留或盗移图像，可以防止在有一个遗留或盗移图像被误更新到背景图像时后续检测的误检率增加。

具体请参阅图4，图4是本申请遗留物与盗移物检测方法又一实施方式的流程示意图，本实施方式遗留物与盗移物检测方法包括以下步骤。

S401：将场景图像按相同的大小均匀分块，以得到多个分块图像。

其中，在将场景图像进行分块之前，可以先获取灵敏度参数(灵敏度参数可以是用户自行设置的，或者可以是系统预设的)，根据获取到的灵敏度参数确定将场景图像分块的数量。设置灵敏度参数，对需检测出面积占比不同物体的场景进行调节。当灵敏度较高时，如物体遗留场景需检测出面积占比1/80～1/100的物体，则可划分为4*4即16块区域。当需检测出的面积占比较大，如物体盗移场景，则可划分为2*2即4块区域即可，同时可降低计算量，提高计算速度。

S402：对每个分块图像进行处理，以得到每个分块图像与背景图像上与每个分块图像相对应的区域的特征差异度。

在此之前，可以将背景图像按相同的大小均匀分块(将场景图像分块的数目和将背景图像分块的数量是相同的)，得到子块图像；然后采用训练好的网络提取出每块子块图像的特征。然后计算出每个分块图像与背景图像上与每个分块图像相对应的区域的特征差异度(可以是每个分块图像的特征与背景图像上与每个分块图像相对应的每个子块图像的特征的欧式距离、余弦距离或汉明距离等等)。提取将图像分块后的每个子图像的特征，可以将图像一次输入到训练后的网络，对每个子图像进行同时提取特征，接着得到每个子图像的特征，这样可以节省运算的时间。

S403：在场景图像中存在至少一个满足第二预设条件的分块图像时，场景图像被判定为遗留或盗移图像；其中，分块图像与背景图像中对应区域的特征差异度大于分块图像对应的对比阈值时满足第二预设条件。

在此之前，可以先计算出对比阈值。计算对比阈值时按照对应区域分别计算对应区域的对比阈值。计算对比阈值的方法包括：计算出背景图像上每个子块图像的第一阈值；计算出第二阈值；然后通过第一阈值和第二阈值计算出对比阈值。

背景图像上子块图像的第一阈值的计算方法包括：在背景图像的子块图像上进行多次随机模拟生成前景物体，以得到多个子块模拟图像；计算子块模拟图像与背景图像上对应的子块图像的特征差异度；计算所有子块模拟图像与子块图像的特征差异度的平均值，以得到第一阈值。

计算第二阈值的方法包括：计算分块图像上每个像素点的特征值与对应的子块图像上对应像素点的特征值的差值；根据差值确定分块图像相对于子块图像变化明显的像素区域，计算分块图像中像素区域与子块图像中对应的区域的差异程度，以得到第二阈值。计算第二阈值时可以对整块图像计算像素点的特征值的差值，然后输出每个分块图像上所有像素点的特征值的差值，这样可以大幅降低计算时间，提高计算效率，保证实时计算。

各块同步独立计算，判断各小块的物体遗留与盗移情况。任一块出现异常(即场景图像中只要有一块分块图像与背景图像中所对应的区域的特征差异值高于该分块图像的对比阈值)，就认为出现了物品遗留和盗移。

在此实施方式中，通过分块计算的方式判断场景图像是否是遗留或盗移图像，可以检测出面积占比比较小的物体，设置灵敏度参数，可以根据不同的需求检测出相应面积占比的遗留物或盗移物。

上述遗留物与盗移物检测方法一般由遗留物与盗移物检测设备实现，因而本申请还提出一种遗留物与盗移物检测设备。请参阅图5，图5是本申请遗留物与盗移物检测设备一实施方式的结构示意图。本实施方式遗留物与盗移物检测设备10包括处理器12和存储器11；存储器11中存储有计算机程序，处理器12用于执行计算机程序以实现如上述遗留物与盗移物检测方法中的步骤。

上述遗留物与盗移物检测方法的逻辑过程以计算机程序呈现，在计算机程序方面，若其作为独立的软件产品销售或使用时，其可存储在存储介质中，因而本申请提出一种存储介质。请参阅图6，图6是本申请存储介质一实施方式的结构示意图，本实施方式存储介质20中存储有计算机程序21，计算机程序21被处理器执行时实现上述遗留物与盗移物检测方法。

该存储介质20具体可以为U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储计算机程序的介质，或者也可以为存储有该计算机程序的服务器，该服务器可将存储的计算机程序发送给其他设备运行，或者也可以自运行该存储的计算机程序。该存储介质20从物理实体上来看，可以为多个实体的组合，例如多个服务器、服务器加存储器、或存储器加移动硬盘等多种组合方式。

以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (17)

1.一种遗留物与盗移物检测方法，其特征在于，所述方法包括：

获取场景图像，采用训练后的网络提取所述场景图像的特征；

获取所述场景图像所对应的背景图像的特征，根据所述场景图像的特征和所述背景图像的特征计算所述背景图像和所述场景图像的特征差异度；

判断出所述特征差异度高于对比阈值，则确定所述场景图像为遗留或盗移图像。

2.根据权利要求1所述的方法，其特征在于，在所述判断所述特征差异度高于对比阈值之前，包括：

在所述背景图像上进行多次随机模拟生成前景物体，以得到多个模拟图像；计算每个所述模拟图像与所述背景图像的特征差异度；计算所有所述模拟图像与所述背景图像的特征差异度的平均值，以得到第一阈值；

计算所述场景图像上每个像素点的特征值与所述背景图像中对应像素点的特征值的差值；根据所述差值确定所述场景图像相对于所述背景图像变化明显的像素区域，计算所述场景图像中所述像素区域与所述背景图像中对应区域的差异程度，以得到第二阈值；

通过所述第一阈值和所述第二阈值计算出所述对比阈值。

3.根据权利要求2所述的方法，其特征在于，所述在所述背景图像上进行多次随机模拟生成前景物体，以得到多个模拟图像，包括：

随机确定所述背景图像上生成所述前景物体的变化区域；

计算所述背景图像上所述变化区域处所有像素点的特征值的平均值；

随机生成在所述特征值的平均值一定范围内的随机数值；

将所述背景图像上所述变化区域的所有像素点的特征值增加或减少所述随机数值，以生成所述模拟图像。

4.根据权利要求2所述的方法，其特征在于，确定所述场景图像相对于所述背景图像变化明显的像素区域，包括：

计算所有差值的平均值；以所述场景图像的像素点的集合作为所述场景图像相对于所述背景图像变化明显的区域，所述像素点集合中像素点的所述特征值的差值大于一定倍数的所述所有差值的平均值；

计算所述场景图像中所述像素区域与所述背景图像中对应的区域的差异程度，包括：计算所述场景图像中所述像素区域每个像素点与所述背景图像中对应像素点的特征值的差值的平均值，以作为所述第二阈值。

5.根据权利要求2所述的方法，其特征在于，通过所述第一阈值和所述第二阈值计算出对比阈值，包括：

所述第一阈值和第一占比的乘积，加上所述第二阈值和第二占比的乘积，以得到对比阈值。

6.根据权利要求5所述的方法，其特征在于，在所述第一阈值和第一占比的乘积，加上所述第二阈值和第二占比的乘积，以得到对比阈值之前，包括：

在所述第一阈值大于或等于第一预设值时，将第一预设值作为第一阈值；

在所述第二阈值大于或等于第二预设值时，将第二预设值作为第二阈值；

在所述第二阈值大于或等于第三预设值时，将第四预设值作为第一占比；反之则将第五预设值作为第一占比；

其中，第四预设值小于第五预设值。

7.根据权利要求1所述的方法，其特征在于，在采用训练后的网络提取场景图像的特征步骤之前，包括：

获取训练样本集；采用所述训练样本集训练网络，从而得到针对遗留物或盗移物检测的所述训练后的网络；

其中，在采用所述训练样本集训练网络时，使用AM-softmax作为损失函数；所述网络为AlexNet、SqueezeNet或GoogleNet。

8.根据权利要求7所述的方法，其特征在于，获取训练样本集步骤包括：

获取图像库，所述图像库中包含不同场景下的背景图像和各个场景中存在前景物体的图像；

对所述图像库中的图像进行增广处理，获得所述图像的至少一个增广图像，所述增广图像构成所述训练样本集；

其中，所述增广处理包括以下至少一种：特征点偏移处理、随机距离变换处理、遮挡处理、随机亮度变换处理、数据缺失处理以及高斯模糊处理。

9.根据权利要求1所述的方法，其特征在于，所述背景图像设置有多个；所述判断特征差异度高于对比阈值，确定所述场景图像为遗留或盗移图像，包括：

判断出所述场景图像与每个所述背景图像的所述特征差异度高于所述对比阈值，统计满足第一预设条件的所述背景图像的数目，所述背景图像与所述场景图像的所述特征差异度比所述对比阈值高时满足所述第一预设条件；

满足第一预设条件的所述背景图像的数目与所述背景图像的总数的比值是否超过预定比值时，若是，则判定所述场景图像为遗留或盗移图像。

10.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

累计判定为遗留或盗移图像的场景图像的数目；当累计的数目超过第一数值，判断场景中存在遗留物或盗移物；

其中：所述累计判定为遗留图像的场景图像的数目的步骤，包括：

每判断出所述场景图像为遗留或盗移图像；

在累计的数目小于或等于第一数量阈值时，将累计的数目加一；

在累计的数目大于第一数量阈值时，累计的数目设置为阈值加一；

每判断出所述场景图像不是遗留或盗移图像，即每判断出所述特征差异度小于或等于对比阈值；

在累计的数目大于或等于第二数量阈值时，将累计的数目减一；

在累计的数目小于第二数量阈值时，累计的数目为0。

11.根据权利要求2所述的方法，其特征在于，所述方法进一步，包括：

满足下述条件的至少一种时，更新所述背景图像及其相关的数据；

所述场景图像和所述背景图像的所述特征差异度小于或等于所述对比阈值；

所述场景图像和所述背景图像的所述特征差异度位于第六预设值和第七预设值之间；

所述第二阈值位于第八预设值和第九预设值之间。

12.根据权利要求1所述的方法，其特征在于，所述更新背景图像及其相关的数据的步骤，包括：

确定所述背景图像中与所述场景图像的所述特征差异度最高的所述背景图像为需要更新的背景图像；

将所述需要更新的背景图像与所述场景图像进行加权处理，以得到新的背景图像，将所述需要更新的背景图像替换成所述新的背景图像；

将所述需要更新的背景图像的特征与所述场景图像的特征进行加权处理，以得到所述新的背景图像的特征，将所述需要更新的背景图像的特征替换成所述新的背景图像的特征。

13.根据权利要求1所述的方法，其特征在于，

所述获取场景图像步骤后，包括：将所述场景图像按相同的大小均匀分块，以得到多个分块图像；

对每个分块图像进行处理，以得到所述每个分块图像与所述背景图像所对应的区域的特征差异度；

判断特征差异度高于对比阈值，确定所述场景图像为遗留或盗移图像，包括：在所述场景图像中存在至少一个满足第二预设条件的分块图像时，所述场景图像被判定为遗留或盗移图像；其中，所述分块图像与所述背景图像中对应区域的特征差异度大于所述分块图像对应的所述对比阈值时满足所述第二预设条件。

14.根据权利要求1所述的方法，其特征在于，

将场景图像按相同的大小均匀分块，以得到多个分块图像之前，包括：

获取灵敏度参数，根据获取的所述灵敏度参数确定将所述场景图像分块的数量。

15.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

两幅图像的特征差异度的计算方式包括：

对两幅图像的特征分别进行二范数归一化；

计算出两幅图像的经二范数归一化处理的特征的欧式距离。

16.一种遗留物与盗移物检测设备，其特征在于，所述设备包括存储器和处理器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如权利要求1-15中任一项所述方法的步骤。

17.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被执行时实现如权利要求1-15中任一项所述方法的步骤。