CN115810111A - 一种抗环境干扰能力强的背景差分方法、系统及存储介质 - Google Patents
一种抗环境干扰能力强的背景差分方法、系统及存储介质 Download PDFInfo
- Publication number
- CN115810111A CN115810111A CN202211647846.5A CN202211647846A CN115810111A CN 115810111 A CN115810111 A CN 115810111A CN 202211647846 A CN202211647846 A CN 202211647846A CN 115810111 A CN115810111 A CN 115810111A
- Authority
- CN
- China
- Prior art keywords
- sample
- background
- feature
- distance
- bottom layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000007613 environmental effect Effects 0.000 title claims abstract description 26
- 238000000605 extraction Methods 0.000 claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 25
- 230000008859 change Effects 0.000 claims abstract description 13
- 238000010586 diagram Methods 0.000 claims description 91
- 239000013598 vector Substances 0.000 claims description 90
- 238000004364 calculation method Methods 0.000 claims description 27
- 238000007781 pre-processing Methods 0.000 claims description 22
- 230000011218 segmentation Effects 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000005286 illumination Methods 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 238000011049 filling Methods 0.000 claims description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000011410 subtraction method Methods 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 claims 2
- 238000005457 optimization Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 41
- 238000001514 detection method Methods 0.000 description 12
- 230000009466 transformation Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000002372 labelling Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000009545 invasion Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005498 polishing Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种抗环境干扰能力强的背景差分方法，包括基于全卷积网络训练底层特征提取模型并设计对应的损失函数优化模型，还设计了标签生成方式以节约人工成本，本发明可基于任意数据集训练模型并可应用于任意场景，还增加了数据增强方式以改善模型训练效果。相对于传统背景差分法，本发明具有较好的鲁棒性，且不易受到外在环境变化的影响，抗环境干扰能力强，能够较好地获取前景目标和背景目标。
Description
技术领域
本发明属于图像算法和深度学习技术领域，具体涉及一种抗环境干扰能力强的背景差分方法、系统及存储介质。
背景技术
路面抛洒物检测，由于实际抛洒物的类别无穷多，如果使用有监督学习方式(目标检测等)，数据获取和数据标注的工作巨大，且仍然无法涵盖全部类别。因此，背景差分方法常用于此类场景，基于固定位置安装的摄像机，持续不断的监控某一区域，可定位到新闯入的物体，再通过二级类别分析，进一步甄别此物体是否为抛洒物。
背景提取是在视频图像序列中提取出背景，背景就是场景中静止不动的景物。因为摄像机不动，因此图像中的每个像素点都有一个对应的背景值，在一段时间内，这个背景值是比较固定的。背景提取的目标就是根据视频图像序列，找出图像中每一点的背景值。背景提取有很多算法，例如针对静止摄像机的背景差分法、帧间差分法、高斯混合模型背景差分法、ViBe背景提取算法以及它的改进算法ViBe+，还有针对运动摄像机的光流法等。上述几种方法的底层逻辑是直接对像素进行差分，例如对两张图进行简单前处理后，直接进行像素相减获取差分图，在对差分图进行阈值分割获取前景目标。但是直接对像素进行差分具有鲁邦性差等缺点，光照变换、相机抖动、阴影侵入等环境干扰对最终的前景分割结果有较大的影响。
传统的背景差分法用于检测视频图像中的运动目标，其基本原理就是将图像序列中的当前帧和已经确定好或实时获取的背景参考模型(背景图像)做减法。计算出与背景图像像素差异超过一定阀值的区域作为运动区域，从而来确定运动物体位置、轮廓、大小等特征。传统背景差分流程：首先，对原始图进行滤波/去噪等传统处理；然后，对两张图片进行减法计算，得到差分图；最后，对“差分图”进而阈值分割，计算得到有新物体闯入的图像区域。
但是，传统的背景差分方法存在局限性，其抗环境干扰能力较弱，例如光照变换、抖动、阴影变换等会造成像素值发生变换，相机抖动会造成路面物体的像素坐标发生轻度错位，传统的“像素级”背景差分方法应对上述问题时，容易产生误检。另外，当新闯入的物体，色彩、亮度与背景面比较相近时，传统像素级差分的阈值配置比较困难：像素分割阈值设置太高，此类新闯入物不易被完全区分；如果像素分割阈值设置得太低，容易将过多的噪声分割为前景。总之，传统的背景差分方法抗环境干扰能力较弱，影响了背景差分方法的使用。
发明内容
本发明的目的在于克服现有技术之缺陷，本发明提供了一种抗环境干扰能力强的背景差分方法、系统及存储介质，通过底层特征提取模型提取样本图片的特征向量图，对样本特征向量图进行特征距离计算获取特征距离图，对特征距离图进而阈值分割计算得到新物体闯入的图像区域。相对于传统背景差分法，本发明具有较好的鲁棒性，且不易受到外在环境变化的影响，抗环境干扰能力强，能够较好地获取前景目标和背景目标。本发明能够广泛地应用于交通监控、异常检测、智慧小区、工业检测等领域。
为解决上述技术问题，本发明采用了以下技术方案：
一种抗环境干扰能力强的背景差分方法，包括：
S1)获取样本图片数据并进行预处理，所述预处理包括生成标签和标签图；
S2)根据样本图片数据，基于全卷积网络训练底层特征提取模型；
S3)基于底层特征提取模型，提取样本图片的背景特征向量图和前景特征向量图并进行特征距离计算以得到特征距离图；
S4)根据特征距离图和标签图设计损失函数，对特征距离图和标签图中的各单元格逐个进行损失计算，并基于反向传播算法，对底层特征提取模型的所有权重参数进行反复迭代，生成优化后的底层特征提取模型；
S5)获取样本图片数据并输入到优化后的底层特征提取模型中进行特征提取，得到背景特征向量图和前景特征向量图，再对背景特征向量图和前景特征向量图进行特征距离计算以得到特征距离图，对特征距离图进行阈值分割以获取前景目标和背景目标。
进一步地，获取的样本图片数据为二元组数据集，所述二元组数据集为[第一样本，第二样本]，对二元组数据集中的第一样本和第二样本进行预处理。
进一步地，所述标签具体包括：0、1、－1，其中，第一样本和第二样本的不同像素单元格的标签为0，第一样本和第二样本的相同像素单元格的标签为1，第一样本和第二样本中不参与反向传播训练的像素单元格的标签为-1。
进一步地，当两个样本图片的所有像素单元格均不同时，则每个单元格的标签均为0；当两个样本图片的所有像素单元格完全相同时，保持第一样本图片不变，对第二样本图片进行图像合成。
进一步地，所述图像合成具体包括：将其他图片的像素粘贴到第二样本中，其中，第二样本中未被粘贴的像素干扰的单元格的标签为1；粘贴的像素/单元格总像素>0.5的单元格的标签为0；其余单元格的标签为-1。
进一步地，所述预处理还包括数据增强，具体包括：
当两个样本图片的所有像素单元格均不同时，采用的增强方式不包括对两个样本图片的同一相对区域进行相同灰度值填充和基于相同前景图进行贴图，其他方式均可行；
当两个样本图片的所有像素单元格完全相同时，采用的增强方式包括一定程度的光照变化、少量颜色畸变、若干像素的抖动变化、轻度mixup，模拟阴影，模拟水痕。
进一步地，基于场景的复杂度和对模型推理的性能要求来选定底层特征提取模型的深度、宽度以及输出层特征向量图的单个向量长度。
进一步地，所述损失函数为：
其中，dis代表特征距离值；loss1为相似区块的损失函数；loss2为不相似区块的损失函数；y表示标签值，e表示自然常数。
本发明还公开了一种抗环境干扰能力强的背景差分系统，包括：
预处理模块，用于获取样本图片数据并进行预处理，所述预处理包括生成标签和标签图；
模型训练模块，根据样本图片数据，基于全卷积网络训练底层特征提取模型；基于底层特征提取模型，提取样本图片的背景特征向量图和前景特征向量图并进行特征距离计算以得到特征距离图；根据特征距离图和标签图设计损失函数，对特征距离图和标签图中的各单元格逐个进行损失计算，并基于反向传播算法，对底层特征提取模型的所有权重参数进行反复迭代，生成优化后的底层特征提取模型；
模型应用模块，获取样本图片数据并输入到优化后的底层特征提取模型中进行特征提取，得到背景特征向量图和前景特征向量图，再对背景特征向量图和前景特征向量图进行特征距离计算以得到特征距离图，对特征距离图进行阈值分割以获取前景目标和背景目标。
本发明还公开了一种计算机存储介质，用于存储实现如权上述任一所述方法步骤的计算机程序。
本发明的工作思路是：本发明提供了一种抗环境干扰能力强的背景差分方法，首先获取样本图片数据并进行预处理，所述预处理包括生成标签和标签图；其次训练模型，具体包括：根据样本图片数据，基于全卷积网络训练底层特征提取模型；基于底层特征提取模型，提取样本图片的背景特征向量图和前景特征向量图并进行特征距离计算以得到特征距离图；根据特征距离图和标签图设计损失函数，对特征距离图和标签图中的各单元格逐个进行损失计算，并基于反向传播算法，对底层特征提取模型的所有权重参数进行反复迭代，生成优化后的底层特征提取模型；最后应用模型，获取样本图片数据并输入到优化后的底层特征提取模型中进行特征提取，得到背景特征向量图和前景特征向量图，再对背景特征向量图和前景特征向量图进行特征距离计算以得到特征距离图，对特征距离图进行阈值分割以获取前景目标和背景目标。
与现有技术相比，本发明的有益效果是：本发明方法是一种基于全卷积网络进行背景差分的方法，设计了背景差分的全卷积网络模型及对应的损失函数；基于任意数据集，均可训练此方法中模型，且可以用于任意场景，如能够广泛地应用于交通监控、异常检测、智慧小区、工业检测等领域；且数据无需人工标注，直接使用设计的标签生成方法，节约了人力成本；还设计了数据增强方式，改善了模型训练的效果；本发明还可以引入基于卷积网络的帧间差分法，对单高斯算法、混合高斯算法、光流法等进行改造；本发明还可以将基于卷积网络的帧间差分法与传统像素层面的帧差法联合使用。相对于传统背景差分法，本发明具有较好的鲁棒性，且不易受到外在环境变化的影响，抗环境干扰能力强，能够较好地获取前景目标和背景目标。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种抗环境干扰能力强的背景差分方法的流程图。
图2是本发明实施例提供的一种抗环境干扰能力强的背景差分方法的模型训练监督示意图。
图3是本发明实施例提供的一种抗环境干扰能力强的背景差分方法的两个前景和背景均不同的样本图的标签生成示意图。
图4是本发明实施例提供的一种抗环境干扰能力强的背景差分方法的两个前景不同、背景相同的样本图的标签生成示意图。
图5是本发明实施例提供的一种抗环境干扰能力强的背景差分方法的标签为1的损失函数示意图。
图6是本发明实施例提供的一种抗环境干扰能力强的背景差分方法的标签为0的损失函数示意图。
图7是本发明实施例提供的一种抗环境干扰能力强的背景差分方法的两个前景不同、背景相同的样本图；
图8是本发明实施例提供的一种抗环境干扰能力强的背景差分方法的底层特征提取模型提取的图7中两个样本图的特征向量图。
图9是通过本发明实施例提供的一种抗环境干扰能力强的背景差分方法计算图8中特征向量图得到的特征距离图。
图10是图9的局部放大图。
图11是图9的最终阈值分割效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1
参见图1至图10，本发明公开了一种抗环境干扰能力强的背景差分方法，包括：
S1)获取样本图片数据并进行预处理，所述预处理包括生成标签和标签图；获取的样本图片数据为二元组数据集，所述二元组数据集为[第一样本，第二样本]，对二元组数据集中的第一样本和第二样本进行预处理；所述标签具体包括：0、1、－1，其中，第一样本和第二样本的不同像素单元格的标签为0，第一样本和第二样本的相同像素单元格的标签为1，第一样本和第二样本中不参与反向传播训练的像素单元格的标签为-1。如图2所示。像素单元格含义为：一幅图像可以划分为多个正方形像素单元格，每个单元格的尺寸可以为2X2，4X4，8X8.....等，由所设计的底层特征提取模型的下采样倍率决定。
当两个样本图片的所有像素单元格均不同时，则每个单元格的标签均为0，如图3所示；当两个样本图片的所有像素单元格完全相同时，即两个样本图片可使用一张图复制两次，保持第一样本图片不变，对第二样本图片进行图像合成，这样操作可以使两个样本图片既有相同的像素区域，也有不同的像素区域，如图4所示。所述图像合成具体包括：将其他图片的像素粘贴到第二样本中，即以第二样本图片为背景，使用其他的图像进行贴图，进而改变第二样本上某些区域的像素信息，其中，第二样本中未被粘贴的像素干扰的单元格的标签为1；粘贴的像素/单元格总像素>0.5的单元格的标签为0；其余单元格的标签为-1。当两个样本图片的前景像素单元格不同、背景像素单元格相同或者前景像素单元格相同、背景像素单元格不同时，不同像素单元格的标签为0，相同像素单元格的标签为1，不参与反向传播训练的像素单元格的标签为-1。其中，边缘区域的单元格标签为-1，因为会存在几个像素的平移变化，边缘像素或许已经移除了图幅，所以不参与损失回传。
所述预处理还包括数据增强，具体包括：
当两个样本图片的所有像素单元格均不同时，采用的增强方式不包括对两个样本图片的同一相对区域进行相同灰度值填充和基于相同前景图进行贴图，其他方式均可行；因为对两个样本图片的同一相对区域进行相同灰度值填充和基于相同前景图进行贴图的增强方式可能造成原本在两个样本中不相同的像素单元格变成相同的像素单元格，会造成与标签不对应的情况。
当两个样本图片的所有像素单元格完全相同或者两个样本图片的前景像素单元格不同、背景像素单元格相同或者前景像素单元格相同、背景像素单元格不同时，采用的增强方式包括一定程度的光照变化、少量颜色畸变、若干像素的抖动变化(依据抗抖动要求选定)、轻度mixup，模拟阴影，模拟水痕等。
本发明可基于任意数据集训练此方法中的模型，例如，使用imagenet数据集、coco数据集、voc数据集均可以训练本方法中的底层特征提取模型，并且只需要使用原始图片，不必使用标签。本方法中的模型所需要的标签由代码自动生成，节约了人工标注环节，有利于提高工作效率，降低人工成本。
S2)根据样本图片，基于卷积网络训练底层特征提模型；具体包括：输入尺度(batch,h,w,c),输出尺度(batch,h/d,w/d,feature_len)；其中，batch代表图片的张数；h代表原始图像的高度，w代表原始图像的宽度，c表示图片通道数(彩色图的c为3/灰度图的c为1)；d代表输出层相对于输入层的缩放尺度，d同时也代表模型的下采样倍率，或者d代表每条特征向量对应的像素区块的边长，d可自定义设计，取值通常为2,4,8,16...等；feature_len代表每一条特征向量的长度，可为32，64，128，256...等。另外，基于场景的复杂度和对模型推理的性能要求来选定底层特征提取模型的深度、宽度以及输出层特征向量图的单个向量长度。
该模型主要功能是提取样本图片的特征向量图，特征向量图中的每个特征向量主要是表达原始图片中每个单元格的底层特征。例如，训练时输入[图片1，图片2，标签图]，标签图中的每个单元格记录了图片1和图片2对应的像素区域是否为相似像素块，图片1和图片2分别经过底层特征模型提取特征，得到特征向量图1和特征向量图2；对特征向量图1和特征向量图2逐个单元格进行特征距离计算(如使用归一化的欧式距离)，得到距离图。距离图中，每个单元格的值用于表示图1和图2中对应位置的像素块的距离。距离图的宽高等于标签图的宽高，且其单元格一一对应。
本发明中的底层特征提取模型只需要训练一次即可应用于任意场景，不需要针对每个特定场景进行专门训练。例如，应用于交通路面辅助检测异常闯入物体；应用于智慧园区辅助检测高空抛物；应用于工业领域检测传送带上的前景物品，当传送带打光效果差且传统图像算法无法分割出前景时，本方法尤其重要。
在对底层特征提取模型进行训练的时候，会考虑光照变换、相机轻微抖动(即轻度移位)等环境变换的影响，使底层特征提取模型提取的特征免于受上述环境问题的干扰。
S3)基于底层特征提取模型，提取样本图片的背景特征向量图和前景特征向量图并进行特征距离计算以得到特征距离图；具体包括：利用底层特征提取模型分别对背景像素和前景像素进行前向推理，获取背景特征向量图和前景特征向量图。基于背景特征向量图和前景特征向量图进行特征距离计算以得到特征距离图，当前使用的是归一化的欧式距离，也可以使用余弦距离进行特征距离计算。
S4)根据特征距离图和标签图设计损失函数，对特征距离图和标签图中的各单元格逐个进行损失计算，并基于反向传播算法，对底层特征提取模型的所有权重参数进行反复迭代，生成优化后的底层特征提取模型。本发明还提出了一种新的损失函数，由于本发明提出的底层特征提取模型是一种新的模型，现有的损失函数无法直接使用，因此需要设计一个新的损失函数进行配套使用。新损失函数的功能在于：
a)距离图中某个单元格对应图1和图2中对应位置的像素块为相似像素块，损失函数的监督方式为使该距离值越小越好；
b)距离图中某个单元格对应图1和图2中对应位置的像素块为不相似像素块，损失函数的监督方式为使该距离值越大越好；
c)为了防止过拟合，本损失函数的设计引入了标签平滑的思想，相似像素块的距离小于或等于0.15时，损失函数就等于0，也就是不再监督；不相似像素块的距离大于等于0.85时，损失函数就等于0，也就是不再监督。相似像素块的距离0.15和不相似像素块的距离0.85，这两个参数也可以根据需要进行修改。
所述损失函数为：
其中，dis代表特征距离值；loss1为相似区块的损失函数，如图5所示标签为1的损失函数图，相似区块表示对应的两张输入图片中对应的两个相似像素区块；loss2为不相似区块的损失函数，如图6所示标签为0的损失函数图；y表示标签值，e表示自然常数。
S5)获取样本图片数据并输入到优化后的底层特征提取模型中进行特征提取，得到背景特征向量图和前景特征向量图，再对背景特征向量图和前景特征向量图进行特征距离计算以得到特征距离图，对特征距离图进行阈值分割以获取前景目标和背景目标。如图7至图10所示为本发明实施例提供的一种抗环境干扰能力强的背景差分方法的模型应用工作流程，首先输入两个前景不同、背景相同的样本图，如图7所示；其次基于底层特征提取模型提取的图7中两个样本图的特征向量图，如图8所示；再次通过特征距离计算得到图8中特征向量图的特征距离图，如图9所示，为了更清晰地说明本方案，将特征距离图与原始图合并显示，实际特征距离为0.0-1.5之间的浮点数，为了绘制方便，将距离映射到0-9的整数表示；图10是图9的局部放大图，最后将图9中的特征距离图进行阈值分割得到最终阈值分割效果图，如图11所示，对图9中的特征距离图进行阈值分割可获取前景、背景的二值图，为了显示得更清晰，将分割的二值图与原始图合并显示。
本发明提出了一种基于卷积网络进行背景差分的方案，该卷积网络主要用于对输入的样本图片进行底层特征提取，提取的特征向量图可用于进行背景差分。本发明提出的背景差分流程为：首先，通过底层特征提取模型分别对输入的样本图片提取特征向量图；然后，对特征向量图进行特征距离计算(本发明使用欧氏距离)，获取特征距离图；最后，对特征距离图进行阈值分割，计算得到前景目标。基于卷积网络模型提取的特征向量可以过滤掉光照变换、阴影、轻微抖动等外在环境的影响，使前景目标的分离工作更加稳定，降低了误检率和漏检率。
本发明提出的一种新的背景差分方法，可以有效应对抖动、阴影侵入、光照变换等外在环境干扰，与传统的直接对两张图的像素值进行距离的方式不同，本发明设计了一种底层特征提取模型用于提取样本图片的特征向量图。特征向量图中的每个单元格为一个特征向量，用于表达样本图片中对应像素区块的特征。像素区块的尺度大小可以自行设计，区块为正方形，像素区块的边长用d表示，可以为2，4，8，16...等。例如，假设原始图像的尺度为(w，h，c),w表示图片宽度,h表示图片高度，c表示图片通道数(彩色图的c为3/灰度图的c为1)；经过底层特征提取模型的提取后，得到的特征向量图的尺度为(w/d，h/d，feature_len),feature_len代表每条特征向量的长度。
当前单高斯模型、混合高斯模型等背景建模方法中，将底层差分方式使用的像素级的背景差分替换为本发明所提出的基于底层特征提取模型的背景差分，能够提升性能。
实施例2
本发明还公开了一种抗环境干扰能力强的背景差分系统，包括：
预处理模块，用于获取样本图片数据并进行预处理，所述预处理包括生成标签和标签图；获取的样本图片数据为二元组数据集，所述二元组数据集为[第一样本，第二样本]，对二元组数据集中的第一样本和第二样本进行预处理；所述标签具体包括：0、1、－1，其中，第一样本和第二样本的不同像素单元格为0，第一样本和第二样本的相同像素单元格为1，第一样本和第二样本中不参与反向传播训练的像素单元格为-1。如图2所示。像素单元格含义为：一幅图像可以划分为多个正方形像素单元格，每个单元格的尺寸可以为2X2，4X4，8X8.....等，由所设计的底层特征提取模型的下采样倍率决定。
当两个样本图片的所有像素单元格均不同时，则每个单元格的标签均为0，如图3所示；当两个样本图片的所有像素单元格完全相同时，即两个样本图片可使用一张图复制两次，保持第一样本图片不变，对第二样本图片进行图像合成，这样操作可以使两个样本图片既有相同的像素区域，也有不同的像素区域，如图4所示。所述图像合成具体包括：将其他图片的像素粘贴到第二样本中，即以第二样本图片为背景，使用其他的图像进行贴图，进而改变第二样本上某些区域的像素信息，其中，第二样本中未被粘贴的像素干扰的单元格的标签为1；粘贴的像素/单元格总像素>0.5的单元格的标签为0；其余单元格的标签为-1。当两个样本图片的前景像素单元格不同、背景像素单元格相同或者前景像素单元格相同、背景像素单元格不同时，不同像素单元格的标签为0，相同像素单元格的标签为1，不参与反向传播训练的像素单元格的标签为-1。其中，边缘区域的单元格标签为-1，因为会存在几个像素的平移变化，边缘像素或许已经移除了图幅，所以不参与损失回传。
所述预处理还包括数据增强，具体包括：
当两个样本图片的所有像素单元格均不同时，采用的增强方式不包括对两个样本图片的同一相对区域进行相同灰度值填充和基于相同前景图进行贴图，其他方式均可行；因为对两个样本图片的同一相对区域进行相同灰度值填充和基于相同前景图进行贴图的增强方式可能造成原本在两个样本中不相同的像素单元格变成相同的像素单元格，会造成与标签不对应的情况。
当两个样本图片的所有像素单元格完全相同或者两个样本图片的前景像素单元格不同、背景像素单元格相同或者前景像素单元格相同、背景像素单元格不同时，采用的增强方式包括一定程度的光照变化、少量颜色畸变、若干像素的抖动变化(依据抗抖动要求选定)、轻度mixup，模拟阴影，模拟水痕等。
本发明可基于任意数据集训练此方法中的模型，例如，使用imagenet数据集、coco数据集、voc数据集均可以训练本方法中的底层特征提取模型，并且只需要使用原始图片，不必使用标签。本方法中的模型所需要的标签由代码自动生成，节约了人工标注环节，有利于提高工作效率，降低人工成本。
模型训练模块，根据样本图片数据，基于全卷积网络训练底层特征提取模型；具体包括：输入尺度(batch,h,w,c),输出尺度(batch,h/d,w/d,feature_len)；其中，batch代表图片的张数；h代表原始图像的高度，w代表原始图像的宽度，c表示图片通道数(彩色图的c为3/灰度图的c为1)；d代表输出层相对于输入层的缩放尺度，d同时也代表模型的下采样倍率，或者d代表每条特征向量对应的像素区块的边长，d可自定义设计，取值通常为2,4,8,16...等；feature_len代表每一条特征向量的长度，可为32，64，128，256...等。另外，基于场景的复杂度和对模型推理的性能要求来选定底层特征提取模型的深度、宽度以及输出层特征向量图的单个向量长度。
该模型主要功能是提取样本图片的特征向量图，特征向量图中的每个特征向量主要是表达原始图片中每个单元格的底层特征。例如，训练时输入[图片1，图片2，标签图]，标签图中的每个单元格记录了图片1和图片2对应的像素区域是否为相似像素块，图片1和图片2分别经过底层特征模型提取特征，得到特征向量图1和特征向量图2；对特征向量图1和特征向量图2逐个单元格进行特征距离计算(如使用归一化的欧式距离)，得到距离图。距离图中，每个单元格的值用于表示图1和图2中对应位置的像素块的距离。距离图的宽高等于标签图的宽高，且其单元格一一对应。
本发明中的底层特征提取模型只需要训练一次即可应用于任意场景，不需要针对每个特定场景进行专门训练。例如，应用于交通路面辅助检测异常闯入物体；应用于智慧园区辅助检测高空抛物；应用于工业领域检测传送带上的前景物品，当传送带打光效果差且传统图像算法无法分割出前景时，本方法尤其重要。
在对底层特征提取模型进行训练的时候，会考虑光照变换、相机轻微抖动(即轻度移位)等环境变换的影响，使底层特征提取模型提取的特征免于受上述环境问题的干扰。
基于底层特征提取模型，提取样本图片的背景特征向量图和前景特征向量图并进行特征距离计算以得到特征距离图；具体包括：利用底层特征提取模型分别对背景像素和前景像素进行前向推理，获取背景特征向量图和前景特征向量图。基于背景特征向量图和前景特征向量图进行特征距离计算以得到特征距离图，当前使用的是归一化的欧式距离，也可以使用余弦距离进行特征距离计算。
根据特征距离图和标签图设计损失函数，对特征距离图和标签图中的各单元格逐个进行损失计算，并基于反向传播算法，对底层特征提取模型的所有权重参数进行反复迭代，生成优化后的底层特征提取模型。本发明还提出了一种新的损失函数，由于本发明提出的底层特征提取模型是一种新的模型，现有的损失函数无法直接使用，因此需要设计一个新的损失函数进行配套使用。新损失函数的功能在于：
a)距离图中某个单元格对应图1和图2中对应位置的像素块为相似像素块，损失函数的监督方式为使该距离值越小越好；
b)距离图中某个单元格对应图1和图2中对应位置的像素块为不相似像素块，损失函数的监督方式为使该距离值越大越好；
c)为了防止过拟合，本损失函数的设计引入了标签平滑的思想，相似像素块的距离小于或等于0.15时，损失函数就等于0，也就是不再监督；不相似像素块的距离大于等于0.85时，损失函数就等于0，也就是不再监督。相似像素块的距离0.15和不相似像素块的距离0.85，这两个参数也可以根据需要进行修改。
所述损失函数为：
其中，dis代表特征距离值；loss1为相似区块的损失函数，如图5所示标签为1的损失函数图，相似区块表示对应的两张输入图片中对应的两个相似像素区块；loss2为不相似区块的损失函数，如图6所示标签为0的损失函数图；y表示标签值，e表示自然常数。
模型应用模块，获取样本图片数据并输入到优化后的底层特征提取模型中进行特征提取，得到背景特征向量图和前景特征向量图，再对背景特征向量图和前景特征向量图进行特征距离计算以得到特征距离图，对特征距离图进行阈值分割以获取前景目标和背景目标。如图7至图10所示为本发明实施例提供的一种抗环境干扰能力强的背景差分方法的模型应用工作流程，首先输入两个前景不同、背景相同的样本图，如图7所示；其次基于底层特征提取模型提取的图7中两个样本图的特征向量图，如图8所示；再次通过特征距离计算得到图8中特征向量图的特征距离图，如图9所示，为了更清晰地说明本方案，将特征距离图与原始图合并显示，实际特征距离为0.0-1.5之间的浮点数，为了绘制方便，将距离映射到0-9的整数表示；图10是图9的局部放大图，最后将图9中的特征距离图进行阈值分割得到最终阈值分割效果图，如图11所示，对图9中的特征距离图进行阈值分割可获取前景、背景的二值图，为了显示得更清晰，将分割的二值图与原始图合并显示。
实施例3
本发明还公开了一种计算机存储介质，用于存储实现如权上述任一所述方法步骤的计算机程序。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种抗环境干扰能力强的背景差分方法，其特征在于，包括：
S1)获取样本图片数据并进行预处理，所述预处理包括生成标签和标签图；
S2)根据样本图片数据，基于全卷积网络训练底层特征提取模型；
S3)基于底层特征提取模型，提取样本图片的背景特征向量图和前景特征向量图并进行特征距离计算以得到特征距离图；
S4)根据特征距离图和标签图设计损失函数，对特征距离图和标签图中的各单元格逐个进行损失计算，并基于反向传播算法，对底层特征提取模型的所有权重参数进行反复迭代，生成优化后的底层特征提取模型；
S5)获取样本图片数据并输入到优化后的底层特征提取模型中进行特征提取，得到背景特征向量图和前景特征向量图，再对背景特征向量图和前景特征向量图进行特征距离计算以得到特征距离图，对特征距离图进行阈值分割以获取前景目标和背景目标。
2.如权利要求1所述的一种抗环境干扰能力强的背景差分方法，其特征在于，获取的样本图片数据为二元组数据集，所述二元组数据集为[第一样本，第二样本]，对二元组数据集中的第一样本和第二样本进行预处理。
3.如权利要求2所述的一种抗环境干扰能力强的背景差分方法，其特征在于，所述标签具体包括：0、1、－1，其中，第一样本和第二样本的不同像素单元格的标签为0，第一样本和第二样本的相同像素单元格的标签为1，第一样本和第二样本中不参与反向传播训练的像素单元格的标签为-1。
4.如权利要求3所述的一种抗环境干扰能力强的背景差分方法，其特征在于，当两个样本图片的所有像素单元格均不同时，则每个单元格的标签均为0；当两个样本图片的所有像素单元格完全相同时，保持第一样本图片不变，对第二样本图片进行图像合成。
5.如权利要求4所述的一种抗环境干扰能力强的背景差分方法，其特征在于，所述图像合成具体包括：将其他图片的像素粘贴到第二样本的图片中，其中，第二样本中未被粘贴的像素干扰的单元格的标签为1；粘贴的像素/单元格总像素>0.5的单元格的标签为0；其余单元格的标签为-1。
6.如权利要求2所述的一种抗环境干扰能力强的背景差分方法，其特征在于，所述预处理还包括数据增强，具体包括：
当两个样本图片的所有像素单元格均不同时，采用的增强方式不包括对两个样本图片的同一相对区域进行相同灰度值填充和基于相同前景图进行贴图，其他方式均可行；
当两个样本图片的所有像素单元格完全相同时，采用的增强方式包括一定程度的光照变化、少量颜色畸变、若干像素的抖动变化、轻度mixup，模拟阴影，模拟水痕。
7.如权利要求1所述的一种抗环境干扰能力强的背景差分方法，其特征在于，基于场景的复杂度和对模型推理的性能要求来选定底层特征提取模型的深度、宽度以及输出层特征向量图的单个向量长度。
8.如权利要求1所述的一种抗环境干扰能力强的背景差分方法，其特征在于，所述损失函数为：
其中，dis代表特征距离值；loss1为相似区块的损失函数；loss2为不相似区块的损失函数；y表示标签值，e表示自然常数。
9.一种抗环境干扰能力强的背景差分系统，其特征在于，包括：
预处理模块，用于获取样本图片数据并进行预处理，所述预处理包括生成标签和标签图；
模型训练模块，根据样本图片数据，基于全卷积网络训练底层特征提取模型；基于底层特征提取模型，提取样本图片的背景特征向量图和前景特征向量图并进行特征距离计算以得到特征距离图；根据特征距离图和标签图设计损失函数，对特征距离图和标签图中的各单元格逐个进行损失计算，并基于反向传播算法，对底层特征提取模型的所有权重参数进行反复迭代，生成优化后的底层特征提取模型；
模型应用模块，获取样本图片数据并输入到优化后的底层特征提取模型中进行特征提取，得到背景特征向量图和前景特征向量图，再对背景特征向量图和前景特征向量图进行特征距离计算以得到特征距离图，对特征距离图进行阈值分割以获取前景目标和背景目标。
10.一种计算机存储介质，其特征在于，用于存储实现如权利要求1-8任一所述方法步骤的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211647846.5A CN115810111B (zh) | 2022-12-21 | 2022-12-21 | 一种抗环境干扰能力强的背景差分方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211647846.5A CN115810111B (zh) | 2022-12-21 | 2022-12-21 | 一种抗环境干扰能力强的背景差分方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115810111A true CN115810111A (zh) | 2023-03-17 |
| CN115810111B CN115810111B (zh) | 2024-10-01 |
Family
ID=85486363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211647846.5A Active CN115810111B (zh) | 2022-12-21 | 2022-12-21 | 一种抗环境干扰能力强的背景差分方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115810111B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101017573A (zh) * | 2007-02-09 | 2007-08-15 | 南京大学 | 一种基于视频监控的运动目标检测与识别方法 |
| US20200020108A1 (en) * | 2018-07-13 | 2020-01-16 | Adobe Inc. | Automatic Trimap Generation and Image Segmentation |
| CN111046971A (zh) * | 2019-12-24 | 2020-04-21 | 上海眼控科技股份有限公司 | 图像识别方法、装置、设备及计算机可读存储介质 |
| WO2021085784A1 (ko) * | 2019-10-31 | 2021-05-06 | 재단법인대구경북과학기술원 | 객체 검출 모델의 학습 방법 및 객체 검출 모델이 실행되는 객체 검출 장치 |
-
2022
- 2022-12-21 CN CN202211647846.5A patent/CN115810111B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101017573A (zh) * | 2007-02-09 | 2007-08-15 | 南京大学 | 一种基于视频监控的运动目标检测与识别方法 |
| US20200020108A1 (en) * | 2018-07-13 | 2020-01-16 | Adobe Inc. | Automatic Trimap Generation and Image Segmentation |
| WO2021085784A1 (ko) * | 2019-10-31 | 2021-05-06 | 재단법인대구경북과학기술원 | 객체 검출 모델의 학습 방법 및 객체 검출 모델이 실행되는 객체 검출 장치 |
| CN111046971A (zh) * | 2019-12-24 | 2020-04-21 | 上海眼控科技股份有限公司 | 图像识别方法、装置、设备及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| ABDOLLAHI, A 等: ""VNet: An End-to-End Fully Convolutional Neural Network for Road Extraction From High-Resolution Remote Sensing Data"", 《IEEE ACCESS》, 30 October 2020 (2020-10-30), pages 179424 - 179436 * |
| WOO, MYUNG-WOO 等: ""Feature Variance Loss: A Loss Function for Semantic Segmentation using Feature Space Distance"", 《2022 IEEE INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS-ASIA 》, 28 November 2022 (2022-11-28), pages 1 - 3 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115810111B (zh) | 2024-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | FSAD-Net: feedback spatial attention dehazing network | |
| Geng et al. | Using deep learning in infrared images to enable human gesture recognition for autonomous vehicles | |
| CN114943876A (zh) | 一种多级语义融合的云和云影检测方法、设备及存储介质 | |
| CN110751075A (zh) | 一种基于实例分割的遥感影像养殖塘检测方法 | |
| Ju et al. | BDPK: Bayesian dehazing using prior knowledge | |
| CN112508079B (zh) | 海洋锋面的精细化识别方法、系统、设备、终端及应用 | |
| CN111275696A (zh) | 一种医学图像处理的方法、图像处理的方法及装置 | |
| CN106683119A (zh) | 基于航拍视频图像的运动车辆检测方法 | |
| CN112287941B (zh) | 一种基于自动字符区域感知的车牌识别方法 | |
| CN108764244B (zh) | 基于卷积神经网络和条件随机场的潜在目标区域检测方法 | |
| Patil et al. | End-to-end recurrent generative adversarial network for traffic and surveillance applications | |
| CN111814696A (zh) | 一种基于改进YOLOv3的视频船舶目标检测方法 | |
| CN114943888B (zh) | 基于多尺度信息融合的海面小目标检测方法 | |
| CN115661932A (zh) | 一种垂钓行为检测方法 | |
| CN115700737A (zh) | 一种基于视频监控的溢油检测方法 | |
| Zhao et al. | Dual Graph Reasoning Network for Oil Leakage Segmentation in Substation Equipment | |
| Kim et al. | A modified single image dehazing method for autonomous driving vision system | |
| CN115953312A (zh) | 一种基于单幅图像的联合去雾检测方法、装置及存储介质 | |
| CN115810111B (zh) | 一种抗环境干扰能力强的背景差分方法、系统及存储介质 | |
| CN115761438A (zh) | 一种基于深度估计的显著性目标检测方法 | |
| Wang et al. | Research on traditional and deep learning strategies based on optical flow estimation-a review | |
| Roy et al. | A ground truth annotated video dataset for moving object detection in degraded atmospheric outdoor scenes | |
| CN113192018A (zh) | 基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法 | |
| CN111667499A (zh) | 一种交通信号灯的图像分割方法、装置、设备及存储介质 | |
| CN113284135B (zh) | 基于全局与局部上下文信息的sar舰船检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |