CN111062415B

CN111062415B - 基于对比差异的目标对象图像提取方法、系统及存储介质

Info

Publication number: CN111062415B
Application number: CN201911100738.4A
Authority: CN
Inventors: 闫闯; 周立强; 彭康; 赵晓婷; 邹绍昕; 万阳鑫; 郭旭
Original assignee: Central South University; Tongling Nonferrous Metals Group Co Ltd
Current assignee: Central South University; Tongling Nonferrous Metals Group Co Ltd
Priority date: 2019-11-12
Filing date: 2019-11-12
Publication date: 2022-10-04
Anticipated expiration: 2039-11-12
Also published as: CN111062415A

Abstract

本发明涉及图像识别技术领域，公开了一种基于对比差异的目标对象图像提取方法、系统及存储介质，以减少对样本照片的需求，提高图像识别的效率；该方法包括获取目标对象进入指定区域前的第一照片样张和目标对象进入指定区域后的第二照片样张；计算第一照片样张和第二照片样张的差分图像，对差分图像进行预处理以初步提取目标对象在第二照片样张中的位置区域；根据预设的约束条件确定位置区域中的所有疑似干扰区域，并计算第一照片样张和第二照片样张在各疑似干扰区域的相似度；删除相似度超过预设范围的疑似干扰区域以优化目标对象的位置区域上述的基于对比差异的目标对象图像提取方法，可以减少对样本照片的需求，提高图像识别的效率。

Description

基于对比差异的目标对象图像提取方法、系统及存储介质

技术领域

本发明涉及图像识别技术领域，尤其涉及一种基于对比差异的目标对象图像提取方法、系统及存储介质。

背景技术

图像识别是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。现阶段图像识别技术一般分为人脸识别与商品识别，人脸识别主要运用在安全检查、身份核验与移动支付中；商品识别主要运用在商品流通过程中，特别是无人货架、智能零售柜等无人零售领域。在进行图像识别时，对于同一类别，几何尺寸不一的对象，如矩形，有时需要对随机进入半封闭空间的该类对象进行识别和准确定位，以便控制机器人或其它设备对其进行相关工作。由于半封闭空间受天气和环境产生的阴影、水渍等影响很大，目前普遍认为采用深度学习的方法进行目标检测，但这需要大量的样本，对于新开发的采用基于深度学习的目标检测方法系统极为不利。

因此，如何减少对样本照片的需求，提高图像识别的效率成为一个急需解决的问题。

发明内容

本发明目的在于提供一种基于对比差异的目标对象图像提取方法、系统及存储介质以减少对样本照片的需求，提高图像识别的效率。

为实现上述目的，本发明提供了基于对比差异的目标对象图像提取方法，包括以下步骤：

S1:获取目标对象进入指定区域前的第一照片样张和目标对象进入指定区域后的第二照片样张；

S2:计算所述第一照片样张和所述第二照片样张的差分图像，对所述差分图像进行预处理以初步提取目标对象在所述第二照片样张中的位置区域；

S3:根据预设的约束条件确定所述位置区域中的所有疑似干扰区域，并计算所述第一照片样张和第二照片样张在各所述疑似干扰区域的相似度；

S4:删除相似度超过预设范围的疑似干扰区域以优化所述目标对象的位置区域

优选地，所述S2具体包括以下步骤：

将所述第一照片样张对应的像素值与所述第二照片样张的像素值相减得到差分图像；

对所述差分图像进行二值化处理，若得到的像素值变化小于或等于预先设定的阈值，将该像素值对应的区域视为背景；若像素值变化大于预先设定的阈值，将该像素值对应的区域视为前景，将该前景初步视为目标对象的位置区域。

优选地，所述S3具体包括以下步骤：

根据目标对象的实际形状、用于拍摄所述第二照片样张的镜头的焦距及物体到镜头的距离计算目标对象的实际像素作为约束条件，并根据所述约束条件判断出第二照片样张中的疑似干扰区域的大小；

采用滑动窗将所述第一照片样张和所述第二照片样张的疑似干扰区域进行分块处理；

比对所述第一照片样张和所述第二照片样张对应块的亮度、对比度和结构得到相似度；

根据所述相似度和所述约束条件对所述位置区域进行去干扰处理以优化所述目标对象的位置区域。

优选地，所述去干扰处理包括去除所述第二照片样张中的阴影和水渍。

作为一个总地发明构思，本发明还提供一种基于对比差异的目标对象图像提取系统，包括：

第一单元，用于获取目标对象进入指定区域前的第一照片样张和目标对象进入指定区域后的第二照片样张；

第二单元，用于计算所述第一照片样张和所述第二照片样张的差分图像，对所述差分图像进行预处理以初步提取目标对象在所述第二照片样张中的位置区域；

第三单元，用于根据预设的约束条件确定所述初步位置区域中的所有疑似干扰区域，并计算所述第一照片样张和第二照片样张在各所述疑似干扰区域的相似度；

第四单元，用于删除相似度超过预设范围的疑似干扰区域以优化所述目标对象的位置区域。

作为一个总地发明构思，本发明还提供一种计算机存储介质，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

本发明具有以下有益效果：

本发明提供的一种基于对比差异的目标对象图像提取方法，包括获取目标对象进入指定区域前的第一照片样张和目标对象进入指定区域后的第二照片样张；计算第一照片样张和第二照片样张的差分图像，对差分图像进行预处理以初步提取目标对象在第二照片样张中的位置区域；根据预设的约束条件确定所述位置区域中的所有疑似干扰区域，并计算所述第一照片样张和第二照片样张在各所述疑似干扰区域的相似度；删除相似度超过预设范围的疑似干扰区域以优化所述目标对象的位置区域；该方法可以减少对样本照片的需求，提高图像识别的效率。

下面将参照附图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明优选实施例的基于对比差异的目标对象图像提取方法流程图；

图2是本发明优选实施例的差分图像示意图；

图3是本发明优选实施例中的二值化处理后的图像示意图；

图4是本发明优选实施例的相似度对比图；

图5是本发明优选实施例的得到的提取的目标对象位置区域示意图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

实施例1

如图1所示，本实施例提供一种基于对比差异的目标对象图像提取方法，包括以下步骤：

S2:计算第一照片样张和第二照片样张的差分图像，对差分图像进行预处理以初步提取目标对象在第二照片样张中的位置区域；

S3:根据预设的约束条件确定位置区域中的所有疑似干扰区域，并计算第一照片样张和第二照片样张在各疑似干扰区域的相似度；

S4:删除相似度超过预设范围的疑似干扰区域以优化目标对象的位置区域上述的基于对比差异的目标对象图像提取方法，可以减少对样本照片的需求，提高图像识别的效率。

需要说明的是，在实际应用中，首先在指定区域安装拍摄装置。该拍摄装置为相机或者其他能采集图片信息的器件。在选取相机的安装位置时，需要注意以能获取到完整的角度全面的图片信息为注意事项进行安装。

在上述步骤的基础上，本发明的基于对比差异的目标对象图像提取方法，还可按照以下步骤进行优化：

采用相机拍摄指定区域，得到目标对象进入指定区域前的第一照片样张，待目标对象进入指定区域后，再拍摄得到第二照片样张。

将第一照片样张对应的像素值与第二照片样张的像素值相减得到差分图像如图2所示。

如图3所示，对差分图像进行二值化处理，若得到的像素值变化小于或等于预先设定的阈值，将该像素值对应的区域视为背景；需要说明的是，目标对象进入指定区域后，对拍摄的照片的像素会产生一定的影响，因此，若像素值变化大于预先设定的阈值，则可以判定该种像素的变化由目标对象进入指定区域引起，可以将该像素值对应的区域视为前景，将该前景视为目标对象的位置区域。由于照片拍摄的时间间隔较短，用目标对象进入指定区域前的区域图作为目标对象进入指定区域后的区域图的背景模型可以减少计算量。

进一步地，由于目标对象自身阴影、水渍等影响，上述位置区域可能存在干扰区域，需进一步处理。具体地，包括以下步骤：

采用滑动窗将第一照片样张和第二照片样张进行分块处理。采用分块处理可以使后续地比对得到地结果更加准确。

本实施例中，以水平方向为X方向，垂直于X方向为Y方向，用滑动窗将第一照片样张在X方向上分为H块，在Y方向上分为W块，并同时将第二照片样张在X方向上对应分为H块，在Y方向上对应分为W块，采用高斯核加权计算每一窗口的均值、方差以及协方差，权值w_ij满足∑i∑jw_ij＝1(i<H,j<W)，其中，ij分别代表x方向及y方向分块处理后某块的坐标位置，若x方向分为H块，y方向分为W块，则i<H；j<W。

然后根据上述的均值、方差以及协方差比对第一照片样张和第二照片样张对应块的亮度、对比度和结构，最后取平均值作为两图像的结构相似度。删除相似度高于预设阈值的区域。

值得说明的是，在实际情况中，需要通过已知信息对帧差法结果的图像区域进行尺寸约束，降低不利因素影响。本实施例通过采集目标对象在实际场景中的尺寸，通过平行成像的相似原理，计算出目标对象在图像中的实际像素尺寸，该尺寸可作为尺寸的约束条件。将实际像素尺寸及帧差法计算得到的预测尺寸进行对比，两者比值超过一定阈值则说明在该方向出现了尺寸干扰，该种干扰会对本实施例中基于帧差法的计算结果产生影响，因此，本实施例中根据目标对象的实际形状和用于拍摄第二照片样张的镜头的焦距计算目标对象的实际像素作为约束条件。并根据相似度和约束条件对位置区域进行去干扰处理以提取目标对象的实际位置区域。通过相似度和约束条件可以去除拍摄过程中的干扰，提高识别精度。

具体地，首先根据实际布置的一些传感器，测量出目标对象在实际场景的长宽高，然后根据镜头的安装高度和焦距，计算出该目标对象在第二照片样张中的实际像素尺寸(该像素尺寸是指物体在图片中的长和宽)，然后以该计算出的实际像素尺寸(长和宽)作为约束条件，然后根据约束条件和基于对比差异的目标对象图像提取方法得到的像素尺寸进行对比。若实际像素尺寸小于提取方法得到的像素尺寸，就说明有干扰，此时，通过提取方法得到的像素尺寸减去实际像素尺寸可得到干扰区域的范围(图4是物体的长度方向的实际像素尺寸远小于预测像素尺寸，所以在长度方向构造了两个相似度比较区域，判断干扰是出现在车头还是出现在车尾)，将相似度高的区域删除，即可去除干扰。

本实施例中，由于对象阴影及水渍等具有单边性，即阴影和水渍等干扰只会出现在对象的一侧，则通过上述判断方法判断干扰的方向，由于阴影区域及水渍区域与原背景的相似度高于对象与原背景的相似度，通过对两者的相似度进行量化，将相似度高的矩形区域予以消除，如图4所示，根据图4可知，在对比区域1处二者相似度较高，在对比区域2处，二者相似度较低，则删除对比区域1。得到的区域即是对象的位置区域。如图5所示。

实施例2

与上述方法实施例相对应地，本实施例一种基于对比差异的目标对象图像提取系统，包括：

第二单元，用于计算第一照片样张和第二照片样张的差分图像，对差分图像进行预处理以初步提取目标对象在第二照片样张中的位置区域；

第三单元，用于根据预设的约束条件确定初步位置区域中的所有疑似干扰区域，并计算第一照片样张和第二照片样张在各疑似干扰区域的相似度；

第四单元，用于删除相似度超过预设范围的疑似干扰区域以优化目标对象的位置区域。

实施例3

本实施例提供一种计算机存储介质，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于对比差异的目标对象图像提取方法，其特征在于，包括以下步骤：

S4:删除相似度超过预设范围的疑似干扰区域以优化所述目标对象的位置区域；

所述S3具体包括以下步骤：

根据所述相似度和所述约束条件对所述位置区域进行去干扰处理以优化所述目标对象的位置区域；

所述去干扰处理包括去除所述第二照片样张中的阴影和水渍；

所述去除所述第二照片样张中的阴影和水渍，包括：

确定所述阴影和水渍在第二照片样张中的干扰方向，基于所述干扰方向、阴影及水渍区与原背景的相似度、以及目标对象与原背景的相似度去除所述阴影和水渍。

2.根据权利要求1所述的基于对比差异的目标对象图像提取方法，其特征在于，所述S2具体包括以下步骤：

3.一种基于对比差异的目标对象图像提取系统，其特征在于，包括：

第三单元，用于根据预设的约束条件确定所述位置区域中的所有疑似干扰区域，并计算所述第一照片样张和第二照片样张在各所述疑似干扰区域的相似度；

第四单元，用于删除相似度超过预设范围的疑似干扰区域以优化所述目标对象的位置区域；

所述第三单元还用于：

所述去除所述第二照片样张中的阴影和水渍，包括：

4.一种计算机存储介质，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至2任一所述方法的步骤。