CN113436215A - 前景目标的检测方法和装置、存储介质、电子装置 - Google Patents
前景目标的检测方法和装置、存储介质、电子装置 Download PDFInfo
- Publication number
- CN113436215A CN113436215A CN202110727107.6A CN202110727107A CN113436215A CN 113436215 A CN113436215 A CN 113436215A CN 202110727107 A CN202110727107 A CN 202110727107A CN 113436215 A CN113436215 A CN 113436215A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- background
- transformation matrix
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000009466 transformation Effects 0.000 claims abstract description 68
- 239000011159 matrix material Substances 0.000 claims abstract description 61
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 238000003708 edge detection Methods 0.000 claims abstract description 17
- 238000001914 filtration Methods 0.000 claims description 24
- 230000015654 memory Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 10
- 238000005286 illumination Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种前景目标的检测方法和装置、存储介质、电子装置。其中，该方法包括：获取对目标对象进行拍摄得到的目标图像和目标对象的拍摄背景的第一背景图像，目标对象为目标图像中待检测的前景目标；通过在目标图像与第一背景图像之间进行局部特征匹配，确定目标图像与第一背景图像之间的变换矩阵，变换矩阵用于表示目标图像与第一背景图像中相同局部特征之间的空间位置关系；基于变换矩阵确定目标图像与目标对象的拍摄背景之间的差分图像；通过在差分图像中进行边缘检测，将目标图像中的目标对象标识出来。本申请解决了相关技术中提取前景目标的准确度较低的技术问题。
Description
技术领域
本申请涉及图像处理领域，具体而言，涉及一种前景目标的检测方法和装置、存储介质、电子装置。
背景技术
在相关技术中，前景目标的提取在众多领域(如图像处理技术领域、机器视觉领域)中有着重要的应用价值。目前对于前景目标提取，常常采用基于灰度相关的图像匹配算法和基于变换域信息的图像匹配算法实现。
基于灰度相关的图像匹配技术是图像匹配技术最早使用的技术之一，其匹配性能的好坏主要由相似性度量和搜索策略的选择决定，经典的相似度量函数有：互相关匹配算法、序贯相似检测算法(SSDA)以及投影匹配算法等。
常用的基于变换域信息的图像匹配算法主要有：基于傅里叶变换的相位的图像匹配算法、基于对数极坐标变换的图像匹配算法、基于小波变换的图像匹配算法。
由于光照存在不均匀和不稳定的特性，使得以上方法无法适用于复杂环境下前景目标的提取，造成前景目标提取的准确度较低。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种前景目标的检测方法和装置、存储介质、电子装置，以至少解决相关技术中提取前景目标的准确度较低的技术问题。
根据本申请实施例的一个方面，提供了一种前景目标的检测方法，包括：获取对目标对象进行拍摄得到的目标图像和目标对象的拍摄背景的第一背景图像，其中，目标对象为目标图像中待检测的前景目标；通过在目标图像与第一背景图像之间进行局部特征匹配，确定目标图像与第一背景图像之间的变换矩阵，其中，变换矩阵用于表示目标图像与第一背景图像中相同局部特征之间的空间位置关系；基于变换矩阵确定目标图像与目标对象的拍摄背景之间的差分图像；通过在差分图像中进行边缘检测，将目标图像中的目标对象标识出来。
根据本申请实施例的另一方面，还提供了一种前景目标的检测装置，包括：获取单元，用于获取对目标对象进行拍摄得到的目标图像和目标对象的拍摄背景的第一背景图像，其中，目标对象为目标图像中待检测的前景目标；第一确定单元，用于通过在目标图像与第一背景图像之间进行局部特征匹配，确定目标图像与第一背景图像之间的变换矩阵，其中，变换矩阵用于表示目标图像与第一背景图像中相同局部特征之间的空间位置关系；第二确定单元，用于基于变换矩阵确定目标图像与目标对象的拍摄背景之间的差分图像；标识单元，用于通过在差分图像中进行边缘检测，将目标图像中的目标对象标识出来。
根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的方法。
根据本申请实施例的另一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器通过计算机程序执行上述的方法。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方法中任一实施例的步骤。
在本申请实施例中，在目标对象的识别过程中，使用了局部特征，由于局部特征具有更好的稳定性，在图像发生变化的情况下依然能稳定存在，不会因为视角的改变、光照的变化、噪音的干扰而消失，从而可以克服以上干扰带来的影响，可以解决相关技术中提取前景目标的准确度较低的技术问题，进而达到提高前景目标识别准确度的技术效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的前景目标的检测方法的硬件环境的示意图；
图2是根据本申请实施例的一种可选的前景目标的检测方法的流程图；
图3是根据本申请实施例的一种可选的前景目标的检测方案的示意图；
图4是根据本申请实施例的一种可选的关键点的检测方案的示意图；
图5是根据本申请实施例的一种可选的前景的识别结果的示意图；
图6是根据本申请实施例的一种可选的前景目标的检测方案的示意图；
图7是根据本申请实施例的一种可选的前景目标的检测装置的示意图；以及，
图8是根据本申请实施例的一种终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一方面，提供了一种前景目标的检测方法的方法实施例。
可选地，在本实施例中，上述前景目标的检测方法可以应用于如图1所示的由终端101和服务器103所构成的硬件环境中(该环境也可只包括服务器103或终端101)。以同时包括终端101和服务器103为例，如图1所示，服务器103通过网络与终端101进行连接，可用于为终端或终端上安装的客户端提供服务(如前景目标提取服务等)，可在服务器上或独立于服务器设置数据库105，用于为服务器103提供数据存储服务，上述网络包括但不限于：广域网、城域网或局域网，终端101并不限定于PC、手机、平板电脑等。
本申请实施例的前景目标的检测方法可以由服务器103来执行，也可以由终端101来执行，还可以是由服务器103和终端101共同执行。其中，终端101执行本申请实施例的前景目标的检测方法也可以是由安装在其上的客户端来执行。
以在服务器103来执行本申请的方法为例，图2是根据本申请实施例的一种可选的前景目标的检测方法的流程图，如图2所示，该方法可以包括以下步骤：
步骤S202，获取对目标对象进行拍摄得到的目标图像和目标对象的拍摄背景的第一背景图像，目标对象为目标图像中待检测的前景目标。
拍摄目标图像和第一背景图像的拍摄位置不同，此处的位置不同包括坐标位置不同和拍摄角度不同中的至少一种。目标对象为需要识别的前景目标，如为人、动物等。
步骤S204，通过在目标图像与第一背景图像之间进行局部特征匹配，确定目标图像与第一背景图像之间的变换矩阵，变换矩阵用于表示目标图像与第一背景图像中相同局部特征之间的空间位置关系，换言之，利用该变换矩阵可以将二者转换为拍摄位置相同的图像。
步骤S206，基于变换矩阵确定目标图像与目标对象的拍摄背景之间的差分图像，即相当于初步的目标对象识别。差分图像就是将相同场景的图像相减所构成的图像，从而能够得到场景随时间的变换。
步骤S208，通过在差分图像中进行边缘检测，将目标图像中的目标对象标识出来，相当于实现更为精细的目标对象识别。
通过上述步骤，在目标对象的识别过程中，使用了局部特征，由于局部特征具有更好的稳定性，在图像发生变化的情况下依然能稳定存在，不会因为视角的改变、光照的变化、噪音的干扰而消失，从而可以克服以上干扰带来的影响，可以解决相关技术中提取前景目标的准确度较低的技术问题，进而达到提高前景目标识别准确度的技术效果。下文结合图3对本方案进行示意性说明：
步骤S1，在存在目标对象的时候采集目标图像，在没有目标对象的时候采集第一背景图像。
步骤S2，通过在目标图像与第一背景图像之间进行局部特征匹配，确定目标图像与第一背景图像之间的变换矩阵，该方法主要通过提取图像的局部特征来进行匹配，其局部特征主要包括点特征和线特征。变换矩阵用于将目标图像与第一背景图像转换为在相同拍摄位置得到的图像。
利用SIFT算法(全称为Scale-invariant feature transform，即尺度不变特征变换，可在图像中检测出关键点，是一种局部特征描述子)进行图像的特征提取和特征匹配，针对彩色图像颜色信息丢失的情况，设计利用颜色不变量模型构建彩色SIFT描述子，与SIFT算法对比图像特征提取效果，最终得到目标图像和背景图像间的匹配对集合，然后采用RANSAC算法(为Random Sample Consensus的缩写，它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法，用于计算机视觉中，如在立体视觉领域中同时解决一对相机的匹配点问题及基本矩阵的计算)剔除错误匹配，估算图像间的变换矩阵(即前述基本矩阵)。
上述的SIFT算法也可以用CSIFT算法(全称为Color Scale-invariant featuretransform，即彩色尺度特征不变变换)替换。
步骤S3，基于变换矩阵确定目标图像与目标对象的拍摄背景之间的差分图像。可以通过步骤S31-步骤S32实现：
步骤S31，利用变换矩阵对第一背景图像进行变换(例如直接与变换矩阵相乘进行变换)，得到第二背景图像，第二背景图像和目标图像中的相同局部特征在同一参考坐标系中的位置相同。
此处的变换可以包括以下三个维度中的至少之一：按照变换矩阵中的旋转元素对第一背景图像进行旋转(若之前第一背景图像和目标图像所在的坐标系不一致，此处相当于将二者所在坐标系的坐标轴调整为相互平行)，旋转后的第一背景图像和目标图像中的相同局部特征在参考坐标系中平行，此处的局部特征可以是线性、平面的特征，还可以是曲面的特征(此时的平行可以是特征点的切面平行)；
按照变换矩阵中的平移元素对第一背景图像进行平移(若之前第一背景图像和目标图像所在的坐标系不一致，此处相当于将二者所在坐标系的坐标原点调整为重合)，平移后的第一背景图像和目标图像中的中心点在参考坐标系中重合；
按照变换矩阵中的缩放元素对第一背景图像进行缩放(若之前第一背景图像和目标图像所在的坐标系不一致，此处相当于将二者所在坐标系的单位长度代表的图像点数量调整为相同)，缩放后的第一背景图像和目标图像中的相同局部特征在参考坐标系中的尺寸大小相同。
步骤S32，对目标图像和第二背景图像进行差分处理，即将二者相同位置的像素点的像素值相减，得到目标图像与拍摄背景之间的差分图像。
步骤S4，通过在差分图像中进行边缘检测，将目标图像中的目标对象标识出来。可以通过步骤S41-步骤S44实现：
步骤S41，对差分图像中的所有点执行滤波操作，得到滤波后的差分图像，滤波操作用于消除差分图像中的噪点。
在步骤S41的方案，对差分图像中的所有点执行滤波操作，得到滤波后的差分图像，包括按照如下步骤S411-步骤S415对其中的每个点进行滤波处理：
步骤S411，确定差分图像中的第一目标点，第一目标点为未进行滤波处理的点。
步骤S412，确定差分图像中第一目标点m0的多个相邻点，多个相邻点包括差分图像中位置与第一目标点相邻的每个点，如与第一目标点相邻的八个点，这八个点的像素值依次为m1至m8。
步骤S413，获取第一目标点的原始值和多个相邻点的原始值的像素值和(即
第一目标点和多个相邻点的像素点个数9。
步骤S414，将像素值和除以像素点个数，得到像素值平均值，即
/9。
步骤S415，将第一目标点的像素值由原始值更新为像素值平均值。
步骤S42，对滤波后的差分图像进行二值化处理，得到二值化后的差分图像。
在步骤S42的方案，对滤波后的差分图像进行二值化处理，得到二值化后的差分图像，包括按照如下步骤S421-步骤S423对其中的每个点进行二值化处理：
步骤S421，确定滤波后的差分图像中的第二目标点，第二目标点为未进行二值化处理的点。
步骤S422，在第二目标点的当前像素值大于目标阈值(目标阈值为根据实际需要设定的，如取所有像素点的像素值的平均值)的情况下，将第二目标点的像素值从当前像素值更新为第一数值(如为1)。
步骤S423，在第二目标点的当前像素值不大于目标阈值的情况下，将第二目标点的像素值从当前像素值更新为第二数值(如为0)，第二数值小于第一数值。
步骤S43，在二值化后的差分图像中进行边缘检测，以确定目标对象在差分图像中的位置。
步骤S44，根据目标对象在差分图像中的位置，在目标图像中将目标对象标识出来。
即先确定用于表示目标对象的边缘纹理在差分图像中的目标位置；然后在目标图像中的目标位置标识出目标对象。
在上述方案中，可利用SIFT算法进行图像的特征提取和特征匹配，针对彩色图像颜色信息丢失的情况，设计利用颜色不变量模型构建彩色SIFT描述子，与SIFT算法对比图像特征提取效果，最终得到目标图像和背景图像间的匹配对集合。然后采用RANSAC算法剔除错误匹配，估算图像间的变换矩阵，利用重采样实现目标图像和发生旋转、平移、缩放等变换的背景图像的配准。对配准后的图像利用背景差分法实现目标的粗提取，构建基于阈值的Sobel算子(即索贝尔算子，是计算机视觉领域的一种重要处理方法，主要用于获得数字图像的一阶梯度，常见的应用和物理意义是边缘检测，索贝尔算子是把图像中每个像素的上下左右四领域的灰度值加权差，在边缘处达到极值从而检测边缘)提取目标边缘轮廓，弥补Sobel算子不能区分前景和背景的缺点，利用数学形态学方法实现背景噪声的消除，最终得到精确提取的目标边缘轮廓。
作为一种可选的实施例，下文结合具体实施方式对本方案进行示意性说明：
步骤1，如图3所示，提取目标图片和前景图片(前景图片即第一背景图像或者原图像，二者可以统称为实验图像)的图像特征并将特征进行匹配。
如图4所示，图像的局部特征具有良好的稳定性，能在图像发生变化的情况下稳定存在，使用SIFT算法进行两幅图片的特征提取，然后利用特征向量的欧氏距离作为相似性判定标准进行两幅图像的特征匹配。为了排除图像中无匹配关系的特征点，可用最近邻距离除以次近邻距离与某个阈值比较的方法判别是否接受该对匹配点，如果小于该阈值则认为是正确的匹配点，否则舍弃。
步骤2，使用RANSAC算法估算两幅图像的最佳变换矩阵，根据变换矩阵对两幅图像进行空间变换，将变换后的两幅图片进行差分：基于SIFT算法的图像特征匹配可能会存在一些错误的匹配对，使用RANSAC算法，任意选取四组匹配对作为局内点估算变换矩阵，计算出每组匹配对的投影误差，误差小于阈值的为满足该变换矩阵的局内点，否则为局外点，迭代1000次，选取适应局内点个数最多的变换矩阵作为最佳变换矩阵，将此变换矩阵下的局外点剔除。然后根据变换矩阵，使用重采样和双线性插值法对两幅图像进行空间变换，实现目标图像和发生旋转、平移、缩放等变换的背景图像的配准，使两幅图片处于同一坐标系下。最后将两幅图片进行差分得到差分图片。
例如，要得到一个直线模型(即上述变换矩阵所描述的模型)，需要两个点唯一确定一个直线方程，所以第一步随机选择两个点；通过这两个点，可以计算出这两个点所表示的模型方程y＝ax+b(其中，x和y分别表示变换前和变换后的值，a和b为待确定的参数)；将所有的数据点套到这个模型中计算误差；找到所有满足误差阈值的点；然后重复以上过程，直到达到一定迭代次数后，选出那个被支持的最多的模型，作为问题的解。
步骤3，使用图像滤波去除噪点并使用大津法进行全局二值化：差分结果仍然可能存在一些噪点，使得二值化的结果存在较大的误差，所以在对图像进行二值化前，先对图像进行滤波处理。常用的图像滤波方法主要有均值滤波法，中值滤波和维纳滤波，尝试三种滤波方式后发现，均值滤波和中值滤波的效果好于维纳滤波，但中值滤波有时会造成图像中小细节的丢失，所以最后选用均值滤波对差分结果进行处理。最后使用大津法，设定一个阈值并将差分图片中像素值大于阈值部分置为1，小于阈值部分置为0，实现差分图像的二值化。
步骤4，利用Sobel算子实现边缘检测：首先利用边缘算子得到一幅图像中能反映灰度变化的边缘点集，然后在这个边缘点集合中剔除噪声点并填补边缘间断点，得到完整边缘轮廓，并在目标图片上进行展示，最终实现前景目标检测，一种可选的实现效果如图5所示，实际图5的A和B中，靠近石头的两个动物的边缘被用红色标识出来了(提交的文件中用的是灰度图，可能无法准确看出)。
如图6所示，在本申请的技术方案中，将目标图片和背景图片进行差分，提取出前景目标。在实际应用中，针对同一背景拍摄的多幅图像会因为拍摄设备的位置、焦距以及光照等条件的不同，存在光照差异、尺度变化和旋转缩放，无法通过直接差分提取前景目标。可以通过匹配目标图片和背景图片的图像特征，计算目标图片和背景图片间的变换矩阵，根据变换矩阵将目标图片和背景图片做空间变换，使目标图片和背景图片处于同一坐标系下，消除两幅图片尺度变化、旋转缩放等空间差异。再将两幅图片进行差分，然后对差分结果进行二值化，消除两幅图片的光照差异。最后对差分结果进行边缘检测，将前景目标在目标图片中标识出来。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
根据本申请实施例的另一个方面，还提供了一种用于实施上述前景目标的检测方法的前景目标的检测装置。图7是根据本申请实施例的一种可选的前景目标的检测装置的示意图，如图7所示，该装置可以包括：
获取单元71，用于获取对目标对象进行拍摄得到的目标图像和所述目标对象的拍摄背景的第一背景图像，其中，所述目标对象为所述目标图像中待检测的前景目标；
第一确定单元73，用于通过在所述目标图像与所述第一背景图像之间进行局部特征匹配，确定所述目标图像与所述第一背景图像之间的变换矩阵，其中，所述变换矩阵用于表示所述目标图像与所述第一背景图像中相同局部特征之间的空间位置关系；
第二确定单元75，用于基于所述变换矩阵确定所述目标图像与所述目标对象的拍摄背景之间的差分图像；
标识单元77，用于通过在所述差分图像中进行边缘检测，将所述目标图像中的所述目标对象标识出来。
需要说明的是，该实施例中的获取单元71可以用于执行本申请实施例中的步骤S202，该实施例中的第一确定单元73可以用于执行本申请实施例中的步骤S204，该实施例中的第二确定单元75可以用于执行本申请实施例中的步骤S206，该实施例中的标识单元77可以用于执行本申请实施例中的步骤S208。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现。
通过上述模块，在目标对象的识别过程中，使用了局部特征，由于局部特征具有更好的稳定性，在图像发生变化的情况下依然能稳定存在，不会因为视角的改变、光照的变化、噪音的干扰而消失，从而可以克服以上干扰带来的影响，可以解决相关技术中提取前景目标的准确度较低的技术问题，进而达到提高前景目标识别准确度的技术效果。
可选地，第二确定单元还用于：利用所述变换矩阵对所述第一背景图像进行变换，得到第二背景图像，其中，所述第二背景图像和所述目标图像中的相同局部特征在同一参考坐标系中的位置相同；对所述目标图像和所述第二背景图像进行差分处理，得到所述目标图像与所述拍摄背景之间的差分图像。
可选地，第二确定单元还用于执行以下至少之一：按照所述变换矩阵中的旋转元素对所述第一背景图像进行旋转，其中，旋转后的所述第一背景图像和所述目标图像中的相同局部特征在所述参考坐标系中平行；按照所述变换矩阵中的平移元素对所述第一背景图像进行平移，其中，平移后的所述第一背景图像和所述目标图像中的中心点在所述参考坐标系中重合；按照所述变换矩阵中的缩放元素对所述第一背景图像进行缩放，其中，缩放后的所述第一背景图像和所述目标图像中的相同局部特征在所述参考坐标系中的尺寸大小相同。
可选地，标识单元还用于：对所述差分图像中的所有点执行滤波操作，得到滤波后的所述差分图像，其中，所述滤波操作用于消除所述差分图像中的噪点；对滤波后的所述差分图像进行二值化处理，得到二值化后的所述差分图像；在二值化后的所述差分图像中进行边缘检测，以确定所述目标对象在所述差分图像中的位置；根据所述目标对象在所述差分图像中的位置，在所述目标图像中将所述目标对象标识出来。
可选地，标识单元还用于：确定所述差分图像中的第一目标点，其中，所述第一目标点为未进行滤波处理的点；确定所述差分图像中所述第一目标点的多个相邻点，其中，所述多个相邻点包括所述差分图像中位置与所述第一目标点相邻的每个点；获取所述第一目标点的原始值和所述多个相邻点的原始值的像素值和、所述第一目标点和所述多个相邻点的像素点个数；将所述像素值和除以所述像素点个数，得到像素值平均值；将所述第一目标点的像素值由原始值更新为所述像素值平均值。
可选地，标识单元还用于：确定滤波后的所述差分图像中的第二目标点，其中，所述第二目标点为未进行二值化处理的点；在所述第二目标点的当前像素值大于目标阈值的情况下，将所述第二目标点的像素值从当前像素值更新为第一数值；在所述第二目标点的当前像素值不大于目标阈值的情况下，将所述第二目标点的像素值从当前像素值更新为第二数值，其中，所述第二数值小于所述第一数值。
可选地，标识单元还用于：确定用于表示所述目标对象的边缘纹理在所述差分图像中的目标位置；在所述目标图像中的目标位置标识出所述目标对象。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
根据本申请实施例的另一个方面，还提供了一种用于实施上述前景目标的检测方法的服务器或终端。
图8是根据本申请实施例的一种终端的结构框图，如图8所示，该终端可以包括：一个或多个(图8中仅示出一个)处理器801、存储器803、以及传输装置805，如图8所示，该终端还可以包括输入输出设备807。
其中，存储器803可用于存储软件程序以及模块，如本申请实施例中的前景目标的检测方法和装置对应的程序指令/模块，处理器801通过运行存储在存储器803内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的前景目标的检测方法。存储器803可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器803可进一步包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置805用于经由一个网络接收或者发送数据，还可以用于处理器与存储器之间的数据传输。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置805包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置805为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
其中，具体地，存储器803用于存储应用程序。
处理器801可以通过传输装置805调用存储器803存储的应用程序，以执行下述步骤：
获取对目标对象进行拍摄得到的目标图像和所述目标对象的拍摄背景的第一背景图像，其中，所述目标对象为所述目标图像中待检测的前景目标；
通过在所述目标图像与所述第一背景图像之间进行局部特征匹配，确定所述目标图像与所述第一背景图像之间的变换矩阵，其中，所述变换矩阵用于表示所述目标图像与所述第一背景图像中相同局部特征之间的空间位置关系；
基于所述变换矩阵确定所述目标图像与所述目标对象的拍摄背景之间的差分图像；
通过在所述差分图像中进行边缘检测，将所述目标图像中的所述目标对象标识出来。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本领域普通技术人员可以理解，图8所示的结构仅为示意，终端可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile InternetDevices，MID)、PAD等终端设备。图8其并不对上述电子装置的结构造成限定。例如，终端还可包括比图8中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图8所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
本申请的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行前景目标的检测方法的程序代码。
可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
获取对目标对象进行拍摄得到的目标图像和所述目标对象的拍摄背景的第一背景图像，其中，所述目标对象为所述目标图像中待检测的前景目标；
通过在所述目标图像与所述第一背景图像之间进行局部特征匹配，确定所述目标图像与所述第一背景图像之间的变换矩阵，其中，所述变换矩阵用于表示所述目标图像与所述第一背景图像中相同局部特征之间的空间位置关系；
基于所述变换矩阵确定所述目标图像与所述目标对象的拍摄背景之间的差分图像；
通过在所述差分图像中进行边缘检测，将所述目标图像中的所述目标对象标识出来。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种前景目标的检测方法，其特征在于，包括：
获取对目标对象进行拍摄得到的目标图像和所述目标对象的拍摄背景的第一背景图像，其中，所述目标对象为所述目标图像中待检测的前景目标；
通过在所述目标图像与所述第一背景图像之间进行局部特征匹配，确定所述目标图像与所述第一背景图像之间的变换矩阵，其中，所述变换矩阵用于表示所述目标图像与所述第一背景图像中相同局部特征之间的空间位置关系；
基于所述变换矩阵确定所述目标图像与所述目标对象的拍摄背景之间的差分图像；
通过在所述差分图像中进行边缘检测，将所述目标图像中的所述目标对象标识出来。
2.根据权利要求1所述的方法，其特征在于，基于所述变换矩阵确定所述目标图像与所述目标对象的拍摄背景之间的差分图像，包括：
利用所述变换矩阵对所述第一背景图像进行变换，得到第二背景图像，其中，所述第二背景图像和所述目标图像中的相同局部特征在同一参考坐标系中的位置相同；
对所述目标图像和所述第二背景图像进行差分处理，得到所述目标图像与所述拍摄背景之间的差分图像。
3.根据权利要求2所述的方法，其特征在于，利用所述变换矩阵对所述第一背景图像进行变换，包括以下至少之一：
按照所述变换矩阵中的旋转元素对所述第一背景图像进行旋转，其中，旋转后的所述第一背景图像和所述目标图像中的相同局部特征在所述参考坐标系中平行；
按照所述变换矩阵中的平移元素对所述第一背景图像进行平移，其中，平移后的所述第一背景图像和所述目标图像中的中心点在所述参考坐标系中重合；
按照所述变换矩阵中的缩放元素对所述第一背景图像进行缩放，其中，缩放后的所述第一背景图像和所述目标图像中的相同局部特征在所述参考坐标系中的尺寸大小相同。
4.根据权利要求1所述的方法，其特征在于，通过在所述差分图像中进行边缘检测，将所述目标图像中的所述目标对象标识出来，包括：
对所述差分图像中的所有点执行滤波操作，得到滤波后的所述差分图像，其中，所述滤波操作用于消除所述差分图像中的噪点；
对滤波后的所述差分图像进行二值化处理，得到二值化后的所述差分图像；
在二值化后的所述差分图像中进行边缘检测，以确定所述目标对象在所述差分图像中的位置；
根据所述目标对象在所述差分图像中的位置，在所述目标图像中将所述目标对象标识出来。
5.根据权利要求4所述的方法，其特征在于，对所述差分图像中的所有点执行滤波操作，得到滤波后的所述差分图像，包括：
确定所述差分图像中的第一目标点，其中，所述第一目标点为未进行滤波处理的点；
确定所述差分图像中所述第一目标点的多个相邻点，其中，所述多个相邻点包括所述差分图像中位置与所述第一目标点相邻的每个点；
确定所述第一目标点的原始值和所述多个相邻点的原始值的像素值和，并确定所述第一目标点和所述多个相邻点的像素点个数；
将所述像素值和除以所述像素点个数，得到像素值平均值；
将所述第一目标点的像素值由原始值更新为所述像素值平均值。
6.根据权利要求4所述的方法，其特征在于，对滤波后的所述差分图像进行二值化处理，得到二值化后的所述差分图像，包括：
确定滤波后的所述差分图像中的第二目标点，其中，所述第二目标点为未进行二值化处理的点；
在所述第二目标点的当前像素值大于目标阈值的情况下，将所述第二目标点的像素值从当前像素值更新为第一数值；
在所述第二目标点的当前像素值不大于目标阈值的情况下，将所述第二目标点的像素值从当前像素值更新为第二数值，其中，所述第二数值小于所述第一数值。
7.根据权利要求4所述的方法，其特征在于，根据所述目标对象在所述差分图像中的位置，在所述目标图像中将所述目标对象标识出来，包括：
确定用于表示所述目标对象的边缘纹理在所述差分图像中的目标位置；
在所述目标图像中的目标位置标识出所述目标对象。
8.一种前景目标的检测装置，其特征在于，包括：
获取单元，用于获取对目标对象进行拍摄得到的目标图像和所述目标对象的拍摄背景的第一背景图像，其中，所述目标对象为所述目标图像中待检测的前景目标；
第一确定单元，用于通过在所述目标图像与所述第一背景图像之间进行局部特征匹配，确定所述目标图像与所述第一背景图像之间的变换矩阵，其中，所述变换矩阵用于表示所述目标图像与所述第一背景图像中相同局部特征之间的空间位置关系；
第二确定单元，用于基于所述变换矩阵确定所述目标图像与所述目标对象的拍摄背景之间的差分图像；
标识单元，用于通过在所述差分图像中进行边缘检测，将所述目标图像中的所述目标对象标识出来。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7任一项中所述的方法。
10.一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器通过所述计算机程序执行上述权利要求1至7任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110727107.6A CN113436215A (zh) | 2021-06-29 | 2021-06-29 | 前景目标的检测方法和装置、存储介质、电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110727107.6A CN113436215A (zh) | 2021-06-29 | 2021-06-29 | 前景目标的检测方法和装置、存储介质、电子装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113436215A true CN113436215A (zh) | 2021-09-24 |
Family
ID=77757726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110727107.6A Pending CN113436215A (zh) | 2021-06-29 | 2021-06-29 | 前景目标的检测方法和装置、存储介质、电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113436215A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114004735A (zh) * | 2021-10-21 | 2022-02-01 | 苏州科技大学 | 一种突显图像差异的背景处理方法 |
| CN114170258A (zh) * | 2021-12-10 | 2022-03-11 | 深圳市赛禾医疗技术有限公司 | 图像分割方法、装置、电子设备及存储介质 |
| CN115294162A (zh) * | 2022-10-09 | 2022-11-04 | 腾讯科技（深圳）有限公司 | 目标识别方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106203342A (zh) * | 2016-07-01 | 2016-12-07 | 广东技术师范学院 | 基于多角度局部特征匹配的目标识别方法 |
| CN106845346A (zh) * | 2016-12-16 | 2017-06-13 | 北京无线电计量测试研究所 | 一种用于机场跑道异物检测的图像检测方法 |
| CN108109163A (zh) * | 2017-12-18 | 2018-06-01 | 中国科学院长春光学精密机械与物理研究所 | 一种航拍视频的运动目标检测方法 |
| CN110782477A (zh) * | 2019-10-10 | 2020-02-11 | 重庆第二师范学院 | 基于序列图像的运动目标快速检测方法、计算机视觉系统 |
-
2021
- 2021-06-29 CN CN202110727107.6A patent/CN113436215A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106203342A (zh) * | 2016-07-01 | 2016-12-07 | 广东技术师范学院 | 基于多角度局部特征匹配的目标识别方法 |
| CN106845346A (zh) * | 2016-12-16 | 2017-06-13 | 北京无线电计量测试研究所 | 一种用于机场跑道异物检测的图像检测方法 |
| CN108109163A (zh) * | 2017-12-18 | 2018-06-01 | 中国科学院长春光学精密机械与物理研究所 | 一种航拍视频的运动目标检测方法 |
| CN110782477A (zh) * | 2019-10-10 | 2020-02-11 | 重庆第二师范学院 | 基于序列图像的运动目标快速检测方法、计算机视觉系统 |
Non-Patent Citations (2)
| Title |
|---|
| 中国航空学会信息融合分会: "第六届中国信息融合大会论文集 上", 30 November 2014, pages: 286 * |
| 何万涛 等: "《机器学习 基于OpenCV和Python的智能图像处理》", 31 August 2020, 哈尔滨工业大学出版社, pages: 125 - 126 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114004735A (zh) * | 2021-10-21 | 2022-02-01 | 苏州科技大学 | 一种突显图像差异的背景处理方法 |
| CN114170258A (zh) * | 2021-12-10 | 2022-03-11 | 深圳市赛禾医疗技术有限公司 | 图像分割方法、装置、电子设备及存储介质 |
| CN115294162A (zh) * | 2022-10-09 | 2022-11-04 | 腾讯科技（深圳）有限公司 | 目标识别方法、装置、设备及存储介质 |
| CN115294162B (zh) * | 2022-10-09 | 2022-12-06 | 腾讯科技（深圳）有限公司 | 目标识别方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113436215A (zh) | 前景目标的检测方法和装置、存储介质、电子装置 | |
| KR101722803B1 (ko) | 이미지들의 시퀀스에서 물체들의 실시간 표현들의 하이브리드 추적을 위한 방법, 컴퓨터 프로그램 및 디바이스 | |
| Wang et al. | MSLD: A robust descriptor for line matching | |
| CN108830907B (zh) | 基于单目系统的投影标定方法及系统 | |
| CN110807110B (zh) | 结合局部和全局特征的图片搜索方法、装置及电子设备 | |
| CN104992400B (zh) | 多光谱图像配准方法和装置 | |
| CN110827189B (zh) | 一种数字图像或视频的水印去除方法及系统 | |
| CN109064504A (zh) | 图像处理方法、装置和计算机存储介质 | |
| CN107680112B (zh) | 图像配准方法 | |
| CN112802081B (zh) | 一种深度检测方法、装置、电子设备及存储介质 | |
| CN111784675A (zh) | 物品纹理信息处理的方法、装置、存储介质及电子设备 | |
| WO2015035462A1 (en) | Point feature based 2d-3d registration | |
| CN114187333A (zh) | 一种图像对齐方法、图像对齐装置及终端设备 | |
| WO2014092550A2 (en) | Method for camera motion estimation with presence of moving object | |
| CN108961164A (zh) | 基于几何不变量的图像配准拼接方法和装置及计算机设备 | |
| CN113516597B (zh) | 图像校正方法、装置和服务器 | |
| CN113313627B (zh) | 一种指纹图像重构方法、指纹图像特征提取方法及装置 | |
| CN111062927A (zh) | 一种无人机图像质量检测的方法、系统及设备 | |
| CN111127529B (zh) | 图像配准方法及装置、存储介质、电子装置 | |
| CN117496560A (zh) | 一种基于多维向量的指纹纹线识别方法及装置 | |
| JP4990960B2 (ja) | 物体識別装置、物体識別方法、および物体識別プログラム | |
| CN113569713A (zh) | 视频图像的条纹检测方法及装置、计算机可读存储介质 | |
| CN110287943B (zh) | 图像的对象识别方法、装置、电子设备及存储介质 | |
| CN111126436A (zh) | 视觉匹配方法及装置 | |
| CN115018886B (zh) | 运动轨迹识别方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |