CN109299720A - 一种基于轮廓片段空间关系的目标识别方法 - Google Patents
一种基于轮廓片段空间关系的目标识别方法 Download PDFInfo
- Publication number
- CN109299720A CN109299720A CN201810766954.1A CN201810766954A CN109299720A CN 109299720 A CN109299720 A CN 109299720A CN 201810766954 A CN201810766954 A CN 201810766954A CN 109299720 A CN109299720 A CN 109299720A
- Authority
- CN
- China
- Prior art keywords
- image
- point
- profile
- spatial relationship
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000005259 measurement Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims description 23
- 239000000284 extract Substances 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012217 deletion Methods 0.000 claims description 6
- 230000037430 deletion Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012804 iterative process Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 238000011946 reduction process Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000003628 erosive effect Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 claims 4
- 230000000903 blocking effect Effects 0.000 abstract description 3
- 230000002093 peripheral effect Effects 0.000 abstract description 2
- 230000009466 transformation Effects 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
一种基于轮廓片段空间关系的目标识别方法，步骤如下：（1）建立多类目标图像的数据库；（2）提取目标外围轮廓，并生成轮廓点集；（3）根据轮廓点集的上下文形状特征，描述两个轮廓的形状，并根据两个形状的相似性度量结果得到目标粗匹配结果；（4）分别根据完整图像的骨架和离散图像的轮廓质心构建库内图像和待识别遮挡图像的空间关系；（5）建立空间关系特征参数的约束标准，并根据约束标准进行相似性度量；在复杂遮挡情况下，在目标识别的过程中为识别提供更多的特征信息。在目标遭到遮挡的情况下，往往目标会被分成几个部分，外部轮廓不再存在完整性，在这种情况下，考虑到不同轮廓片段之间的空间关系，增加遮挡目标的识别率。
Description
技术领域
本发明涉及机器视觉与目标检测技术领域，更具体的是涉及一种基于图像轮廓片段空间关系特征的目标识别方法。
背景技术
目标识别一直是计算机视觉发展的重要研究方向。而在目标识别领域中，识别遮挡下的目标一直是目标识别领域内的难点和热点。通常情况下，都希望识别特征能对待识别目标的环境问题具有良好的适应性，从而能够更加有效地从场景图像中识别出目标实例。而在遮挡的情况下，目标无论是轮廓还是特征点都遭到了不同程度上的破坏，给识别造成了一定的难题。
轮廓形状具有非常重要和稳定的视觉特征，能够反映重要的特征信息。而得到更多的轮廓特征描述的有效信息无疑可以进一步提高目标的识别率。最近几年来提出了很多基于目标轮廓形状的目标识别方法，这些方法大多包含两个主要步骤：提取目标轮廓并对该目标轮廓进行描述，对目标轮廓和目标数据库轮廓进行相似性度量。而对目标轮廓的描述决定了该轮廓的特征信息数量，有效的特征信息越多，对目标的识别的帮助越大。
目标轮廓描述最具代表性的方法是2001年由Belongie等提出的形状上下文(Shape Context)描述方法，该方法通过轮廓上的某个点与其余轮廓点构成的线段向量集来表征该点的空间位置分布，并采用对数极坐标系对该向量集进行离散化，获得统计直方图作为轮廓点的特征描述子；Bartolini等提出一种基于傅里叶变换的描述子，该描述子以傅里叶系数的相位作为形状的描述信息；Peter等使用最大似然小波密度估计来进行图像和形状的表示。2014年Xinggang Wang等人提出一种基于轮廓片段集形状鲁棒性分类，该方法首先使用离散曲线演化方法(DCE)使每个形状的外轮廓分解为凸轮廓片段，然后用上下文特征对每一段轮廓特征进行描述并且使用局部约束线性编码(LLC)的方法把它们编成形状码，最后利用空间金字塔匹配(SPM)的形状识别。
在遮挡目标检测的过程中，可获得的目标的特征信息总是越多越好的，特征信息越多，遮挡目标识别率就会越高。本发明的目的是在目标识别过程中增加有助于目标识别的有效特征信息，在现有轮廓描述或者轮廓片段描述的基础之上，进一步考虑被识别目标轮廓片段的空间位置关系，提出基于轮廓片段空间关系的目标识别算法，该方法能够提高遮挡情况下用轮廓片段进行目标识别的识别率。
发明内容
发明目的：
针对复杂遮挡情况下的目标识别问题，提出一种基于轮廓片段空间关系的目标识别方法。该方法在传统基于形状目标识别的基础上，增加了目标轮廓片段空间关系这一有效信息，根据被识别目标轮廓片段的空间位置关系，制定空间关系参数约束标准，筛选满足空间关系约束标准的目标库图像为最后识别结果。该方法在传统基于形状目标识别的基础上，增加了目标轮廓片段空间关系这一有效信息，可以有效的提高遮挡目标的形状检索率和识别率。
技术方案
为解决上述技术问题，本发明的技术方案如下：
一种基于轮廓片段空间关系的目标识别方法，步骤如下：
(1)建立多类目标图像的数据库；
(2)采用外围轮廓提取算法，提取目标外围轮廓，并生成轮廓点集；
(3)根据轮廓点集的上下文形状特征，描述两个轮廓的形状，并根据两个形状的相似性度量结果得到目标粗匹配结果；
(4)分别根据完整图像的骨架和离散图像的轮廓质心构建库内图像和待识别遮挡图像的空间关系；
(5)建立空间关系特征参数的约束标准，并根据约束标准进行相似性度量；
在一种优选的技术方案中，步骤(2)的轮廓提取算法中，包含以下步骤：
(2.1)图像从三通道转化为单通道图像；
(2.2)对图像进行阈值化降噪处理；
(2.3)采用Canny微分算子对图像进行边缘的提取；
(2.4)采用图像形态学运算膨胀细小边缘并填充空洞，形成完整的外围轮廓；
(2.5)再一次采用Canny微分算子进行外围轮廓的准确提取。
阈值化处理图像可以最大限度的进行图像的降噪处理；图像形态学处理可以填补目标内部细小轮廓所带来的冗余空洞，两次利用Canny微分算子进行边缘轮廓的提取，最终得到图像的最外围轮廓。
在一种优选的技术方案中，步骤(3)中，具体包括以下步骤：
(3.1)图像的二值化：对于一幅二值图像，黑点表示字符，白点表示空白，这样就可以用黑点集合来表示一幅图像。轮廓点集表示为一个集合的形式：P＝{p1,p2,...,pn},pi∈R2；
(3.2)图像形状的描述：对于形状轮廓上的任意一点pi，为了让上下文的算子对pi和其相邻的像素特征点更为敏感，在这里把轮廓点集用放在极坐标系(r,θ)中。在对数极坐标系中，以pi为对数极坐标原点(0,0)。建立坐标系后，形状轮廓上的n-1个点就会落到对数极坐标系中。然后就可以计算这些点与坐标原点之间的距离。为了得到形状轮廓点之间的相对关系，将对数极坐标进行离散化，将对数极坐标进行离散化，对形状轮廓在距离和方向上划分为M个区，每个区域的面积相等，可减少图像旋转变换的影响，对于轮廓上的其他n-1个点，统计每个区域里面落入的点个数，并以形状直方图表示。点p的特征信息就由60个统计得到的形状直方图表示。这样对于一个形状来说，它是用n个轮廓点来表示的，这样一个形状就可以用n×M的矩阵A来表示，如下式所示。
其中an,M表示以第n个轮廓点为极坐标系原点时，落在第M个区域的轮廓点数。
(3)两个图像形状的相似性度量：对于两个形状A，B，需要计算两个形状描述矩阵每个样本点之间差别，在得到每个样本点的差别后，可以得到一个形状代价矩阵，采用匈牙利算法形状代价矩阵求解一个最优解使得这个匹配代价最小，最后用一个非矢量的数值来表示两个形状的上下文距离，该距离越小，代表两个形状的相似性越高。用上述上下文距离考量两个轮廓形状的相似性，得出形状粗匹配的待选目标集合。
在一种优选的技术方案中，步骤(4)中，包括图像：
(4.1)轮廓片段的质心求取：图像的质心是图像的第0和第1阶矩，首先需要得到轮廓上所有的点的集合，然后遍历轮廓上所有的点，求出轮廓片段的矩，进而计算出轮廓片段的质心像素坐标。
(4.2)图像骨架的提取：图像经过二值化后，提取图像的最外围轮廓，开始进行迭代腐蚀，直到迭代过程中没有像素点被腐蚀。剩余的像素点即为图像的骨架。
(4.3)空间关系的构建：分别以两幅图像的中心点为坐标系原点建立空间直角坐标系，轮廓片段图像以轮廓片段的质心像素坐标为关键点，库内模板图像以图像骨架的结合点为关键点，以上述点之间的空间矢量关系来描述图像轮廓的空间关系特征。
在一种优选的技术方案中，步骤(4.1)轮廓片段的质心求取中，对于一副连续的平面的图像来说，质心则由图像的矩决定。定义一副连续的图像f(x,y)≥0，p+q阶几何矩mpq和中心距μpq定义为：
对一幅M×N的离散图像f(i,j)≥0的p+q阶几何矩mpq和中心距μpq定义为：
其中，(ic,jc)为质心坐标。而且该坐标和几何矩有如下关系：ic＝m10/m00、jc＝m01/m00。即图像的质心就是图像第0和1阶矩。对于一幅存在遮挡的图像轮廓，只需要遍历图像上所有的轮廓点，进而就可求出各个片段的轮廓质心。
在一种优选的技术方案中，步骤(4.2)的轮廓骨架提取中，包括以下步骤：
(4.2.1)输入图像的二值化；
(4.2.2)遍历图像得到外部轮廓；
(4.2.3)对图像最外围轮廓上的点进行检测，依次检测这些轮廓点的8像素邻域，是否只含有3连通像素，如果有，把此点从轮廓点删除，并在目标图像中腐蚀掉对应点；
(4.2.4)分别依次检测轮廓点的8像素领域是否只含有3 or 4 or 5 or 6 or 7连通像素，如果有，把此点从轮廓点删除，并在目标图像中腐蚀掉对应点。如果迭代过程中没有像素点被腐蚀，停止迭代。
(4.2.5)再次检测轮廓点的8像素邻域是否只含有2or3 or 4 or 5 or 6 or 7连通像素，如果有，腐蚀掉该点。得到最终单像素宽度的骨架。
在一种优选的技术方案中，步骤(4.3)的空间关系构建中，分为以下部分：
(4.3.1)对于遮挡的轮廓片段来说，轮廓空间关系的参考点是轮廓片段的质心。以图像的像素中心点建立平面直角坐标系，中心像素点为原点(0,0)，轮廓片段的质心像素坐标就落在了该坐标系的不同象限内，通过计算质心像素点坐标与原点之间的矢量空间关系，得到图像的空间关系特征参数。
(4.3.2)对于库内模板图像来说，因为图像轮廓是连通的，所以图像质心无法作为参考点来进行空间关系的建立，因此选用图像骨架的结合点作为空间关系的参考点。图像骨架的结合点定义为：若一个骨架点存在三个或更多的相邻点，则称其为骨架接合点(combine points)。骨架结合点的位置基本上代表了图像几个重要轮廓片段的位置，可以准确的描述出目标不同部位基于整体的空间关系，同样以图像的像素中心点建立平面直角坐标系，计算结合点像素坐标与原点之间的矢量空间关系，得到图像的空间关系特征参数。
在一种优选的技术方案中，步骤(5)中，采用一种计算准则来约束空间关系特征参数。其内容如下：
(5.1)从坐标系的第一象限开始，计算两图像同一象限空间关键点的空间关系参数；
(5.2)空间距离参数Dis定义为空间关键点相对于图像中心的欧氏距离与图像大小的比值；方位角参数The定义为空间关键点相对于图像中心连线斜率的反正切值。
(5.3)利用上述两个参数，对目标图像和模板图像进行空间关系参数的相似性度量。根据上述计算的参数，根据以下规则计算相似性：1、两张图像的关键点所代表的轮廓片段或者轮廓区域保持在同一象限；2、同一象限的目标图像轮廓片段和模板图像轮廓区域的空间距离参数Dis的差值须满足预设定阈值；3、同一象限的目标图像轮廓片段和模板图像轮廓区域的方位角参数The的差值的余弦值需满足预设定阈值。
优点效果
本发明有以下良好的效果：在复杂遮挡情况下，本发明考虑遮挡轮廓片段的空间关系特征，在目标识别的过程中为识别提供更多的特征信息。在目标遭到遮挡的情况下，往往目标会被分成几个部分，外部轮廓不再存在完整性，在这种情况下，考虑到不同轮廓片段之间的空间关系，可以把分散的轮廓片段全部利用起来，增加遮挡目标的识别率。
附图说明
图1是本发明识别的步骤图；
图2是空间关系建立的流程图；
图3是上下文特征相似性度量的流程图；
图4是轮廓片段质心提取示意图；
图5是骨架提取过程示意图；
图6是空间关系建立示意图；
具体实施方式
以下将结合附图和具体实施方式，对本发明作进一步的详细说明。
实施例1
一种基于轮廓片段空间关系的目标识别方法，如图1和图2所示，包括以下步骤：
(1)图像的预处理及轮廓提取：对待测目标图像和若干模板图像进行预处理并用轮廓提取算法提取各自的外围轮廓。所述的待测目标为不确定物体图像，模板图像为确定物体图像。
(2)基于上下文的图像轮廓粗匹配：提取待测目标的外部轮廓，在外部轮廓上选取N个特征点，提取N个特征点的上下文特征，与若干模板图像的上下文特征进行匹配，得出相似性较高的一部分待选目标。
(3)对待测目标图像进行轮廓片段质心的提取，建立空间关系；对从步骤(2)筛选出的模板图像提取骨架，找到骨架结合点，分别建立空间关系。
(4)根据步骤(3)中建立的坐标系，求取各个参考点与图像像素中心的空间关系特征参数。该参数包括两点之间的斜率值、方位角和欧氏距离。
(5)根据空间关系特征参数进行模板图像和待测图像的两两匹配，满足预设阈值条件的即为该类的图像。
其中步骤(1)包括如下步骤1.1～1.5：
(1.1)图像从三通道转化为单通道图像；
(1.2)对图像进行阈值化降噪处理；
(1.3)采用Canny微分算子对图像进行边缘的提取；
(1.4)采用图像形态学运算膨胀细小边缘并填充空洞，形成完整的外围轮廓；
(1.5)再一次采用Canny微分算子进行外围轮廓的准确提取。
其中步骤(2)包括如下步骤2.1～2.3
(2.1)在图像外部轮廓上提取N个有效特征点；
(2.2)对选取轮廓上的点用上下文的特征进行描述；
(2.3)对待测物体图像和模板图像的上下文特征进行相似性度量；
其中步骤(3)包括如下步骤3.1～3.3：
(3.1)对待测物体图像进行轮廓片段质心提取；
(3.2)对模板图像进行图像骨架和骨架关键点提取；
(3.3)分别根据(3.1)和(3.2)中的关键点对两图像建立坐标系；
步骤(2.1)中轮廓特征点的提取是进行的等间隔取样，选取一定数目的轮廓点。包括如下步骤：图像轮廓提取的完整轮廓点集P＝{p1,p2...pn},pi∈R2，选取轮廓点的数目为m,用总轮廓点数N除以所需要的点的数量m，可以得到轮廓的取样距离N/m，选取轮廓点的起点可以是随机的。由此可以得出取样点m的数量越大，描述出来的形状也就更准确。
如图3所示，步骤(2.2)中上下文的特征描述匹配包括以下步骤：
对于形状轮廓上的任意一点pi，为了让上下文的算子对pi和其相邻的像素特征点更为敏感，在这里把轮廓点集用放在极坐标系(r,θ)中。在对数极坐标系中，以pi为对数极坐标原点(0,0)。建立坐标系后，形状轮廓上的n-1个点就会落到对数极坐标系中。然后就可以计算这些点与坐标原点之间的距离。为了得到形状轮廓点之间的相对关系，将对数极坐标进行离散化，对形状轮廓在距离和方向上划分为60个区，即在方向上平均划分为12个区，在半径上则由内到外划分为5个半径区。每个区域的面积相等，可减少图像旋转变换的影响，对于轮廓上的其他n-1个点，统计每个区域里面落入的点个数，并以形状直方图表示。
hik＝#{pj≠pi&pj∈bin(k)},i≠j
其中k为区域的序号(1<k<60)，#为统计p点落在k区的点个数的统计运算符。点p的特征信息就由60个统计得到的形状直方图表示。这样对于一个形状来说，它是用n个轮廓点来表示的，这样一个形状就可以用n×60的矩阵A来表示
其中an,M表示以第n个轮廓点为极坐标系原点时，落在第M个区域的轮廓点数；
在两个形状的相似性度量中，通过计算两个形状点集合之间的匹配代价值cost值来进行匹配，对于两个形状A和B中的两个点pj和qj点之间的代价cost值可以通过计算它们的形状直方图的代价来得到。我们通过分别计算样本中所有相对应点之间的cost值，对轮廓点进行逐点匹配，从而最终完成两个形状之间的匹配。
如图4所示步骤(3.1)中的轮廓片段质心提取是对一幅图像上所有的分散的轮廓片段提取，包括以下步骤：遍历图像中所有的轮廓点，计算轮廓矩：
其中，(ic,jc)为质心坐标。而且该坐标和几何矩有如下关系：ic＝m10/m00、jc＝m01/m00。即图像的质心就是图像第0和1阶矩。对于一幅存在遮挡的图像轮廓，只需要遍历图像上所有的轮廓点，进而就可求出各个片段的轮廓质心。
如图5所示步骤(3.2)中的图像骨架提取是对一幅图像提取一条单像素宽度的“骨架”，包括以下步骤：
输入图像的二值化；
遍历图像得到外部轮廓；
对图像最外围轮廓上的点进行检测，依次检测这些轮廓点的8像素邻域，是否只含有3连通像素，如果有，把此点从轮廓点删除，并在目标图像中腐蚀掉对应点；
分别依次检测轮廓点的8像素领域是否只含有3 or 4 or 5 or 6 or 7连通像素，如果有，把此点从轮廓点删除，并在目标图像中腐蚀掉对应点。如果迭代过程中没有像素点被腐蚀，停止迭代。
检测轮廓点的8像素领域是否只含有2or3 or 4 or 5 or 6 or 7连通像素，如果有，腐蚀掉该点。得到最终单像素宽度的骨架。
如图6所示步骤3.3中对两幅图像分别建立坐标系。
步骤(4)中根据空间关系参数对图像进行空间特征参数计算包括以下步骤：
采用一种计算准则来约束空间关系特征参数。其内容如下：
从坐标系的第一象限开始匹配，计算两图像同一象限的空间关系参数；
定义Dis为空间距离参数，具体表示为空间关键点相对于图像中心的欧氏距离与图像大小的比值；定义The为方位角参数，具体表示为空间关键点相对于图像中心连线斜率的反正切值。
其中(x1,y1)，(x2,y2)分别为空间关键点和图像中心点的像素坐标，row为图像的行长度，col为图像的列长度，θ为图像中心点与空间关键点的连线的角度。
步骤(5)中根据空间关系特征参数进行模板图像和待测图像的两两匹配，空间关系参数约束条件设定包括以下步骤：
利用步骤(4)上述两个参数，对目标图像和模板图像进行空间关系参数的相似性度量。根据上述计算的参数，根据以下规则计算相似性：
1)两张图像的关键点所代表的轮廓片段或者轮廓区域保持在同一象限；
2)同一象限的目标图像轮廓片段和模板图像轮廓区域的空间距离参数Dis的差值须满足预设定阈值；
3)同一象限的目标图像轮廓片段和模板图像轮廓区域的方位角参数The的差值的余弦值需满足预设定阈值。
当两图像的空间位置关系参数满足上述所有条件的时候，可以认定两幅图像为同一类别。
Claims (10)
1.一种基于轮廓片段空间关系的目标识别方法，其特征在于：所述方法包括下列步骤：
(1)图像的预处理及轮廓提取：建立多类目标图像的数据库，对待测目标图像和若干模板图像进行预处理并用轮廓提取算法提取各自的外围轮廓，并生成轮廓点集；
(2)基于上下文的图像轮廓粗匹配：提取待测目标的外部轮廓，在外部轮廓上选取N个特征点，提取N个特征点的上下文特征，与若干模板图像的上下文特征进行匹配，得出相似性较高的一部分待选目标；
(3)对待测目标图像进行轮廓片段质心的提取，建立空间关系；对从步骤(2)筛选出的模板图像提取骨架，找到骨架结合点，分别建立空间关系；
(4)根据步骤(3)中建立的坐标系，求取各个参考点与图像像素中心的空间关系特征参数；该参数包括两点之间的斜率值、方位角和欧氏距离；
(5)根据(4)中求取的空间关系特征参数进行模板图像和待测图像的匹配，满足预设阈值条件的即为该类的图像，建立空间关系特征参数的约束准则，并根据约束标准进行相似性度量。
2.根据权利要求书1中所述的一种基于轮廓片段空间关系的目标识别方法，其特征在于：步骤(1)中的外围轮廓提取算法具体包括以下步骤：
(1.1)图像从三通道转化为单通道图像；
(1.2)对图像进行阈值化降噪处理；
(1.3)采用Canny微分算子对图像进行边缘的提取；
(1.4)采用图像形态学运算膨胀细小边缘并填充空洞，形成完整的外围轮廓；
(1.5)再一次采用Canny微分算子进行外围轮廓的准确提取。
3.根据权利要求书1中所述的一种基于轮廓片段空间关系的目标识别方法，其特征在于：其中步骤(2)中根据轮廓点集的上下文形状特征，描述两个轮廓的形状，并根据两个形状特征的相似性得到目标粗匹配结果；
包括如下步骤2.1～2.3
(2.1)在图像外部轮廓上提取N个有效特征点；
(2.2)对选取轮廓上的点用上下文的特征进行描述；
(2.3)对待测物体图像和模板图像的上下文特征进行相似性度量。
4.根据权利要求书3所述的一种基于轮廓片段空间关系的目标识别方法，其特征在于：步骤(2.1)中轮廓特征点的提取是进行的等间隔取样，选取一定数目的轮廓点，轮廓点集的上下文特征描述形状包括：
轮廓点集表示为一个集合的形式：P＝{p1,p2,...,pn},pi∈R2，选取轮廓点的数目为m,用总轮廓点数N除以所需要的点的数量m，能够得到轮廓的取样距离N/m，对于形状轮廓上的任意一点pi，为了让上下文的算子对pi和其相邻的像素特征点更为敏感，用极坐标系(r,θ)来表示轮廓点集；在对数极坐标系中，以pi为对数极坐标原点(0,0)；建立坐标系后，形状轮廓上的n-1个点就会落到对数极坐标系中；然后就能够计算这些点与坐标原点之间的距离；为了得到形状轮廓点之间的相对关系，将对数极坐标进行离散化，对形状轮廓在距离和方向上划分为M个区，每个区域的面积相等，对于轮廓上的其他n-1个点，统计每个区域里面落入的点个数，并以形状直方图表示；点p的特征信息就由M个统计得到的形状直方图表示；这样对于一个形状来说，它用n个轮廓点表示，一个形状就能够用n×M的形状直方图矩阵A来表示；
形状直方图表示：
hi(k)＝#{pj≠pi&pj∈bin(k)},i≠j；
其中#为统计p点落在第k个区域的点个数的统计运算符；bin(k)表示第k个区域；
矩阵A如下式所示；
其中an,M表示以第n个轮廓点为极坐标系原点时，落在第M个区域的轮廓点数。
5.根据权利要求书1中所述的一种基于轮廓片段空间关系的目标识别方法，其特征在于：步骤3中分别根据完整图像的骨架和离散图像的轮廓质心构建库内图像和待识别遮挡图像的空间关系；空间关系构建包括：
(3.1)轮廓片段的质心求取：图像的质心是图像的第0和第1阶矩，首先需要得到轮廓上所有的点的集合，然后遍历轮廓上所有的点，求出轮廓片段的矩，进而计算出轮廓片段的质心像素坐标；
(3.2)图像骨架的提取：图像经过二值化后，提取图像的最外围轮廓，开始进行迭代腐蚀，直到迭代过程中没有像素点被腐蚀；剩余的像素点即为图像的骨架；
(3.3)空间关系的构建：分别以两幅图像的中心点为坐标系原点建立空间直角坐标系，轮廓片段图像以轮廓片段的质心像素坐标为关键点，库内模板图像以图像骨架的结合点为关键点，以上述点之间的空间矢量关系来描述图像轮廓的空间关系特征。
6.根据权利要求书5中所述的一种基于轮廓片段空间关系的目标识别方法，其特征在于：步骤(3.1)轮廓片段的质心求取中，对于一副连续的平面的图像来说，质心则由图像的矩决定；定义一副连续的图像f(x,y)≥0，图像的零阶矩为：
一阶矩为：
同理可得图像p+q阶几何矩mpq和中心距μpq定义为：
其中f(x,y)为点(x,y)的灰度值，(x,y)为图像某一点的像素坐标，(x′,y′)是图像的中心点坐标，即x′,y′是该点的坐标值；p和q是图像点(x,y)坐标值和坐标差值(x-x′)，(y-y′)的幂次；dx，dy是微分符号，表示变量x，y的增量；p+q的值为当前求取矩的阶数；x'和y'是图像中心点；
由连续图像的公式可以得到一幅M×N的离散图像f(i,j)>0的p+q阶几何矩mpq和中心距μpq公式：
其中，f(i,j)为图像上一点(i,j)的灰度值，(ic,jc)为图像的质心坐标；中心距μpq反映的即是图像灰度相对于其灰度质心的分布情况；在本式中，p和q是图像点(i,j)坐标值和坐标差值(j-jc)，(i-ic)的幂次；p+q的值为当前求取矩的阶数；
坐标(ic,jc)和几何矩有如下关系：ic＝m10/m00、jc＝m01/m00；即图像的质心就是图像第0和1阶矩；对于一幅存在遮挡的图像轮廓，只需要遍历图像上所有的轮廓点，进而就能求出各个片段的轮廓质心。
7.根据权利要求书5中所述的一种基于轮廓片段空间关系的目标识别方法，其特征在于：步骤(3.2)的轮廓骨架提取中，包括以下步骤：
(3.2.1)输入图像的二值化；
(3.2.2)遍历图像得到外部轮廓；
(3.2.3)对图像最外围轮廓上的点进行检测，依次检测这些轮廓点的8像素邻域，是否只含有3连通像素，如果有，把此点从轮廓点删除，并在目标图像中腐蚀掉对应点；
(3.2.4)分别依次检测轮廓点的8像素领域是否只含有3 or 4 or 5 or 6 or 7连通像素，如果有，把此点从轮廓点删除，并在目标图像中腐蚀掉对应点；如果迭代过程中没有像素点被腐蚀，停止迭代；
(3.2.5)检测轮廓点的8像素邻域是否只含有2 or 3 or 4 or 5 or 6 or 7连通像素，如果有，腐蚀掉该点；得到最终单像素宽度的骨架。
8.根据权利要求书5中所述的一种基于轮廓片段空间关系的目标识别方法，其特征在于：步骤(3.3)的空间关系构建中，分为以下部分：
(3.3.1)对于遮挡的轮廓片段来说，轮廓空间关系的参考点是轮廓片段的质心；以图像的像素中心点建立平面直角坐标系，中心像素点为原点(0,0)，轮廓片段的质心像素坐标就落在了该坐标系的不同象限内，通过计算质心像素点坐标与原点之间的矢量空间关系，得到图像的空间关系特征参数；
(3.3.2)对于库内模板图像来说，因为图像轮廓是连通的，所以图像质心无法作为参考点来进行空间关系的建立，因此选用图像骨架的结合点作为空间关系的参考点；图像骨架的结合点定义为：若一个骨架点存在三个或更多的相邻点，则称其为骨架接合点(combinepoints)；骨架结合点的位置基本上代表了图像几个重要轮廓片段的位置，能够准确的描述出目标不同部位基于整体的空间关系，同样以图像的像素中心点建立平面直角坐标系，计算结合点像素坐标与原点之间的矢量空间关系，得到图像的空间关系特征参数。
9.根据权利要求书1中所述的一种基于轮廓片段空间关系的目标识别方法，其特征在于：步骤(4)中根据空间关系参数对图像进行空间特征参数求取计算包括以下步骤：
采用一种计算准则来约束空间关系特征参数；其内容如下：
从坐标系的第一象限开始匹配，计算两图像同一象限的空间关系参数；
定义Dis为空间距离参数，具体表示为空间关键点相对于图像中心的欧氏距离与图像大小的比值；定义The为方位角参数，具体表示为空间关键点相对于图像中心连线斜率的反正切值；
其中(x1,y1)，(x2,y2)分别为空间关键点和图像中心点的像素坐标，row为图像的行长度，col为图像的列长度，θ为图像中心点与空间关键点的连线的角度。
10.根据权利要求书1中所述的一种基于轮廓片段空间关系的目标识别方法，其特征在于：步骤(5)的空间特征参数约束中，空间特征参数表征为一个矢量，该矢量特征能够分为距离标量特征和方向标量特征；其中，距离标量特征为空间关键点相对于图像中心的欧氏距离与图像大小的比值，方向标量特征空间为关键点相对于图像中心连线斜率的反正切值；只有两个空间位置特征都符合约束条件的阈值时，才能判断为两个图像为同一类别；
步骤(5)中，采用一种计算准则来约束空间关系特征参数；其内容如下：
(5.1)从坐标系的第一象限开始匹配，计算两图像同一象限的空间关系参数；
(5.2)空间距离参数Dis定义为空间关键点相对于图像中心的欧氏距离与图像大小的比值；方位角参数The定义为空间关键点相对于图像中心连线斜率的反正切值；
(5.3)利用上述两个参数，对目标图像和模板图像进行空间关系参数的相似性度量；根据上述计算的参数，根据以下规则计算相似性：1、两张图像的关键点所代表的轮廓片段或者轮廓区域保持在同一象限；2、同一象限的目标图像轮廓片段和模板图像轮廓区域的空间距离参数Dis的差值须满足预设定阈值；3、同一象限的目标图像轮廓片段和模板图像轮廓区域的方位角参数The的差值的余弦值需满足预设定阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810766954.1A CN109299720B (zh) | 2018-07-13 | 2018-07-13 | 一种基于轮廓片段空间关系的目标识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810766954.1A CN109299720B (zh) | 2018-07-13 | 2018-07-13 | 一种基于轮廓片段空间关系的目标识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109299720A true CN109299720A (zh) | 2019-02-01 |
| CN109299720B CN109299720B (zh) | 2022-02-22 |
Family
ID=65172166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810766954.1A Active CN109299720B (zh) | 2018-07-13 | 2018-07-13 | 一种基于轮廓片段空间关系的目标识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109299720B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751679A (zh) * | 2019-10-23 | 2020-02-04 | 湖南大学 | 一种高效且稳健的人体图像与三维人体模型匹配技术 |
| CN110942107A (zh) * | 2019-12-16 | 2020-03-31 | 上海大学 | 基于零件工程图像的复合磨削加工特征自动识别方法 |
| CN111000176A (zh) * | 2019-12-20 | 2020-04-14 | 长江师范学院 | 一种用于腌制加工后榨菜头的去皮扒筋装置 |
| CN111070284A (zh) * | 2019-12-20 | 2020-04-28 | 长江师范学院 | 一种用于片状榨菜片的皮筋切割方法 |
| CN111161293A (zh) * | 2019-11-25 | 2020-05-15 | 新绎健康科技有限公司 | 基于直角坐标空间确定gdv能量图像的轮廓的方法及系统 |
| CN111612776A (zh) * | 2020-05-22 | 2020-09-01 | 福州数据技术研究院有限公司 | 一种基于图像边缘识别的病理大体标本大小自动测量方法 |
| CN112100845A (zh) * | 2020-09-14 | 2020-12-18 | 西北工业大学 | 一种碳/碳复合材料孔隙的轮廓匹配及空间结构表征方法 |
| WO2020259129A1 (zh) * | 2019-06-27 | 2020-12-30 | 北京迈格威科技有限公司 | 图像处理的方法、装置、设备及计算机可读存储介质 |
| CN112418043A (zh) * | 2020-11-16 | 2021-02-26 | 安徽农业大学 | 玉米杂草遮挡确定方法、装置、机器人、设备及存储介质 |
| CN112541471A (zh) * | 2020-12-21 | 2021-03-23 | 杭州电子科技大学 | 一种基于多特征融合的遮挡目标识别方法 |
| CN113033592A (zh) * | 2019-12-25 | 2021-06-25 | 山东理工大学 | 基于斜率差分布的形状匹配与物体识别方法 |
| CN113327284A (zh) * | 2021-05-27 | 2021-08-31 | 北京百度网讯科技有限公司 | 图像识别方法、装置、电子设备和存储介质 |
| CN114943752A (zh) * | 2022-05-31 | 2022-08-26 | 河南埃尔森智能科技有限公司 | 一种基于曲率特征描述的自适应轮廓模板识别配准方法 |
| CN115063578A (zh) * | 2022-08-18 | 2022-09-16 | 杭州长川科技股份有限公司 | 芯片图像中目标对象检测与定位方法、装置及存储介质 |
| CN115909321A (zh) * | 2023-03-08 | 2023-04-04 | 成都睿瞳科技有限责任公司 | 一种用于电梯轿厢的识别方法、系统和存储介质 |
| CN113723425B (zh) * | 2021-07-16 | 2023-06-20 | 深圳大学 | 一种飞机型号识别方法、装置、存储介质及设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105023014A (zh) * | 2015-08-21 | 2015-11-04 | 马鞍山市安工大工业技术研究院有限公司 | 一种无人机巡检输电线路图像内的杆塔目标提取方法 |
| US20150324644A1 (en) * | 2013-09-27 | 2015-11-12 | At&T Mobility Ii Llc | Method and apparatus for image collection and analysis |
| CN106651882A (zh) * | 2016-12-29 | 2017-05-10 | 广东工业大学 | 一种基于机器视觉的燕窝杂质识别与检测方法及装置 |
| CN106774208A (zh) * | 2016-12-23 | 2017-05-31 | 西安交通大学 | 群视觉机器协同装配方法及模型系统 |
| CA2956627A1 (en) * | 2016-01-29 | 2017-07-29 | Thomson Reuters Global Resources Unlimited Company | System and engine for seeded clustering of news events |
| CN107563411A (zh) * | 2017-08-07 | 2018-01-09 | 西安电子科技大学 | 基于深度学习的在线sar目标检测方法 |
-
2018
- 2018-07-13 CN CN201810766954.1A patent/CN109299720B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150324644A1 (en) * | 2013-09-27 | 2015-11-12 | At&T Mobility Ii Llc | Method and apparatus for image collection and analysis |
| CN105023014A (zh) * | 2015-08-21 | 2015-11-04 | 马鞍山市安工大工业技术研究院有限公司 | 一种无人机巡检输电线路图像内的杆塔目标提取方法 |
| CA2956627A1 (en) * | 2016-01-29 | 2017-07-29 | Thomson Reuters Global Resources Unlimited Company | System and engine for seeded clustering of news events |
| CN106774208A (zh) * | 2016-12-23 | 2017-05-31 | 西安交通大学 | 群视觉机器协同装配方法及模型系统 |
| CN106651882A (zh) * | 2016-12-29 | 2017-05-10 | 广东工业大学 | 一种基于机器视觉的燕窝杂质识别与检测方法及装置 |
| CN107563411A (zh) * | 2017-08-07 | 2018-01-09 | 西安电子科技大学 | 基于深度学习的在线sar目标检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| MING-KUEI HU 等: "Visual Pattern Recognition by Moment Invariants", 《IRE TRANSACTIONS ON INFORMATION THEORY》 * |
| SERGE BELONGIE 等: "Shape Matching and Object", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| 史思琦: "基于轮廓特征多层描述和评价的部分遮挡目标匹配", 《光学精密工程》 * |
| 杨亚飞 等: "一种基于多尺度轮廓点空间关系特征的形状匹配方法", 《自动化学报》 * |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020259129A1 (zh) * | 2019-06-27 | 2020-12-30 | 北京迈格威科技有限公司 | 图像处理的方法、装置、设备及计算机可读存储介质 |
| CN110751679A (zh) * | 2019-10-23 | 2020-02-04 | 湖南大学 | 一种高效且稳健的人体图像与三维人体模型匹配技术 |
| CN111161293B (zh) * | 2019-11-25 | 2023-03-21 | 新绎健康科技有限公司 | 基于直角坐标空间确定gdv能量图像的轮廓的方法及系统 |
| CN111161293A (zh) * | 2019-11-25 | 2020-05-15 | 新绎健康科技有限公司 | 基于直角坐标空间确定gdv能量图像的轮廓的方法及系统 |
| CN110942107A (zh) * | 2019-12-16 | 2020-03-31 | 上海大学 | 基于零件工程图像的复合磨削加工特征自动识别方法 |
| CN110942107B (zh) * | 2019-12-16 | 2023-05-19 | 上海大学 | 基于零件工程图像的复合磨削加工特征自动识别方法 |
| CN111070284A (zh) * | 2019-12-20 | 2020-04-28 | 长江师范学院 | 一种用于片状榨菜片的皮筋切割方法 |
| CN111000176B (zh) * | 2019-12-20 | 2022-08-23 | 长江师范学院 | 一种用于腌制加工后榨菜头的去皮扒筋装置 |
| CN111070284B (zh) * | 2019-12-20 | 2021-05-18 | 长江师范学院 | 一种用于片状榨菜片的皮筋切割方法 |
| CN111000176A (zh) * | 2019-12-20 | 2020-04-14 | 长江师范学院 | 一种用于腌制加工后榨菜头的去皮扒筋装置 |
| CN113033592A (zh) * | 2019-12-25 | 2021-06-25 | 山东理工大学 | 基于斜率差分布的形状匹配与物体识别方法 |
| CN111612776A (zh) * | 2020-05-22 | 2020-09-01 | 福州数据技术研究院有限公司 | 一种基于图像边缘识别的病理大体标本大小自动测量方法 |
| CN112100845A (zh) * | 2020-09-14 | 2020-12-18 | 西北工业大学 | 一种碳/碳复合材料孔隙的轮廓匹配及空间结构表征方法 |
| CN112100845B (zh) * | 2020-09-14 | 2022-03-11 | 西北工业大学 | 一种碳/碳复合材料孔隙的轮廓匹配及空间结构表征方法 |
| CN112418043B (zh) * | 2020-11-16 | 2022-10-28 | 安徽农业大学 | 玉米杂草遮挡确定方法、装置、机器人、设备及存储介质 |
| CN112418043A (zh) * | 2020-11-16 | 2021-02-26 | 安徽农业大学 | 玉米杂草遮挡确定方法、装置、机器人、设备及存储介质 |
| CN112541471A (zh) * | 2020-12-21 | 2021-03-23 | 杭州电子科技大学 | 一种基于多特征融合的遮挡目标识别方法 |
| CN112541471B (zh) * | 2020-12-21 | 2024-02-20 | 杭州电子科技大学 | 一种基于多特征融合的遮挡目标识别方法 |
| CN113327284B (zh) * | 2021-05-27 | 2022-08-26 | 北京百度网讯科技有限公司 | 图像识别方法、装置、电子设备和存储介质 |
| CN113327284A (zh) * | 2021-05-27 | 2021-08-31 | 北京百度网讯科技有限公司 | 图像识别方法、装置、电子设备和存储介质 |
| CN113723425B (zh) * | 2021-07-16 | 2023-06-20 | 深圳大学 | 一种飞机型号识别方法、装置、存储介质及设备 |
| CN114943752A (zh) * | 2022-05-31 | 2022-08-26 | 河南埃尔森智能科技有限公司 | 一种基于曲率特征描述的自适应轮廓模板识别配准方法 |
| CN114943752B (zh) * | 2022-05-31 | 2024-03-29 | 河南埃尔森智能科技有限公司 | 一种基于曲率特征描述的自适应轮廓模板识别配准方法 |
| CN115063578A (zh) * | 2022-08-18 | 2022-09-16 | 杭州长川科技股份有限公司 | 芯片图像中目标对象检测与定位方法、装置及存储介质 |
| CN115063578B (zh) * | 2022-08-18 | 2023-01-10 | 杭州长川科技股份有限公司 | 芯片图像中目标对象检测与定位方法、装置及存储介质 |
| CN115909321A (zh) * | 2023-03-08 | 2023-04-04 | 成都睿瞳科技有限责任公司 | 一种用于电梯轿厢的识别方法、系统和存储介质 |
| CN115909321B (zh) * | 2023-03-08 | 2023-05-12 | 成都睿瞳科技有限责任公司 | 一种用于电梯轿厢的识别方法、系统和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109299720B (zh) | 2022-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109299720A (zh) | 一种基于轮廓片段空间关系的目标识别方法 | |
| Lei et al. | Landslide inventory mapping from bitemporal images using deep convolutional neural networks | |
| Brandtberg et al. | Automated delineation of individual tree crowns in high spatial resolution aerial images by multiple-scale analysis | |
| Sirmacek et al. | Urban-area and building detection using SIFT keypoints and graph theory | |
| CN104778701B (zh) | 一种基于rgb-d传感器的局部图像描述方法 | |
| CN107145829B (zh) | 一种融合纹理特征和尺度不变特征的掌静脉识别方法 | |
| CN110472479B (zh) | 一种基于surf特征点提取和局部lbp编码的指静脉识别方法 | |
| Li et al. | Change detection based on Gabor wavelet features for very high resolution remote sensing images | |
| CN110443128B (zh) | 一种基于surf特征点精确匹配的指静脉识别方法 | |
| CN101847163B (zh) | 一种多特征融合的外观设计专利图像检索方法 | |
| CN107358260B (zh) | 一种基于表面波cnn的多光谱图像分类方法 | |
| CN110414533A (zh) | 一种改进orb的特征提取与匹配方法 | |
| CN107967482A (zh) | 图标识别方法及装置 | |
| CN102176208B (zh) | 基于三维空时特征的鲁棒视频指纹方法 | |
| CN106251332B (zh) | 基于边缘特征的sar图像机场目标检测方法 | |
| CN104217221A (zh) | 基于纹理特征的书画作品检测方法 | |
| Lei et al. | End-to-end change detection using a symmetric fully convolutional network for landslide mapping | |
| CN110738216A (zh) | 基于改进surf算法的药品识别方法 | |
| CN109978848A (zh) | 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法 | |
| CN103984920A (zh) | 一种基于稀疏表示与多特征点的三维人脸识别方法 | |
| CN110889840A (zh) | 面向地物目标的高分6号遥感卫星数据的有效性检测方法 | |
| CN103971377A (zh) | 基于先验形状水平集分割的建筑物提取方法 | |
| CN105631860B (zh) | 基于局部排序方向直方图描述子的图像同名点提取方法 | |
| CN104268550A (zh) | 特征提取方法及装置 | |
| Li et al. | DDR-Unet: A High Accuracy and Efficient Ore Image Segmentation Method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231208 Address after: No. 861-16, Shangshengou Village, Hunnan District, Shenyang City, Liaoning Province, 110167 (Building E16, Shenyang International Software Park) Patentee after: Liaoning Hongtu Chuangzhan surveying and Mapping Survey Co.,Ltd. Address before: 110000 No.6 Nanping Middle Road, Hunnan New District, Shenyang City, Liaoning Province Patentee before: SHENYANG LIGONG University |
|
| TR01 | Transfer of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Target Recognition Method Based on Spatial Relations of Contour Fragments Granted publication date: 20220222 Pledgee: Shenyang Science and Technology Venture Capital Co.,Ltd. Pledgor: Liaoning Hongtu Chuangzhan surveying and Mapping Survey Co.,Ltd. Registration number: Y2024210000047 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |