CN108665477B - 一种实时目标匹配定位中的适配区域自适应选取方法 - Google Patents
一种实时目标匹配定位中的适配区域自适应选取方法 Download PDFInfo
- Publication number
- CN108665477B CN108665477B CN201810341181.2A CN201810341181A CN108665477B CN 108665477 B CN108665477 B CN 108665477B CN 201810341181 A CN201810341181 A CN 201810341181A CN 108665477 B CN108665477 B CN 108665477B
- Authority
- CN
- China
- Prior art keywords
- sub
- subblock
- potential function
- subblocks
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 22
- 238000010187 selection method Methods 0.000 title claims abstract description 12
- 238000012216 screening Methods 0.000 claims abstract description 42
- 230000006978 adaptation Effects 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims abstract description 7
- 230000004927 fusion Effects 0.000 claims description 11
- 239000000126 substance Substances 0.000 claims description 5
- 230000005764 inhibitory process Effects 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 5
- 230000001629 suppression Effects 0.000 abstract description 4
- 238000007781 pre-processing Methods 0.000 abstract description 3
- 238000012163 sequencing technique Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- QNRATNLHPGXHMA-XZHTYLCXSA-N (r)-(6-ethoxyquinolin-4-yl)-[(2s,4s,5r)-5-ethyl-1-azabicyclo[2.2.2]octan-2-yl]methanol;hydrochloride Chemical compound Cl.C([C@H]([C@H](C1)CC)C2)CN1[C@@H]2[C@H](O)C1=CC=NC2=CC=C(OCC)C=C21 QNRATNLHPGXHMA-XZHTYLCXSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种实时目标匹配定位中的适配区域自适应选取方法，属于计算机图像识别技术领域。本发明包括：对实时图像进行预处理与阈值分割；利用地标、目标空间位置关系构建势函数；利用局部区域稳定性指标和局部区域强度指标，在在空间位置势函数的约束下进行第一层筛选；对得到的候选匹配区域进行非极大值抑制，去掉重叠较多的区域；然后进行相关面特征指标筛选并排序；最后通过势函数迭代策略选取最优的适配区域。本发明在目标匹配识别定位过程可匹配区域数量不足的情况下，自适应地、实时地选取信息量丰富、稳定可靠、且无重复模式的适配区域。
Description
技术领域
本发明属于计算机图像识别技术领域，更具体地，涉及一种实时目标匹配定位中的适配区域自适应选取方法。
背景技术
目标匹配定位技术是计算机视觉领域中的一项关键技术，在飞行器导航、视频监控、图像搜索等领域都有着重要的研究和应用价值。基于图像匹配的目标匹配定位技术是指在成像平台上利用获得的实时图像数据和平台姿态信息，与预存的参考图像数据进行匹配，完成对目标的匹配定位。随着信息化技术的飞速发展，目标检测识别技术在飞行器导航等领域中发挥着越来越重要的作用。
在实际应用中，由于许多因素影响，包括成像平台与目标距离过远、气候时相变化、光照变化、成像噪声和畸变、目标被云层、烟雾等遮掩等，导致目标区域适配性较差，进而影响匹配识别的可靠性和精度。
针对上述问题，研究人员提出了基于多子区的目标识别定位方法，将多个子区的识别结果进行融合识别，得到最终目标位置，较好的解决了目标适配性低的情况，且可靠性较高。目前的多子区目标识别定位方法依赖于视场内的地标，虽然通过自动切换等策略可以保证视场内地标数量，但当视场出现剧烈变化，如大幅度偏移，或者与目标过近时，视场内可供切换地标数量不足，导致融合识别的正确率和精度下降，甚至丢失目标。
目前现有技术中采用多特征融合的方式进行自动适配区域选择，选取准则采用边缘密度、平均边缘强度及边缘方向离散度三种特征组成综合适配特征指标，但是没有对适配区域的独特性与唯一性进行分析。现有技术中还有利用USAN几何特征进行模板选取，计算量大，实时性不足，且没有考虑匹配区域的唯一性与独特性。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于动态多子区的目标实时检测识别方法，在于基于空间位置关系和局部信息量、结构强度适配性指标以及相关面特征指标来自适应选取满足算法要求的匹配区域，由此解决目标匹配识别定位过程中匹配区域数量不足的技术问题。
为实现上述目的，本发明提供了一种基于动态多子区的目标实时检测识别方法，所述
(1)对待处理图像进行降噪及阈值分割处理，在待处理图像中划分出前景和背景，再将待处理图像划分为多个子块；
(2)根据已有地标和目标信息的空间位置信息构建空间位置势函数；
(3)先利用空间位置势函数对子块进行筛选，再利用子块结构信息和子块结构强度对剩余子块进行筛选；
(4)对筛选后剩余子块进行非极大值抑制，筛除重复区域较多的子块；
(5)以筛选后剩余子块中心为中心，以设定大小构建匹配区域，子块在匹配区域中遍历匹配得到子块相关面，通过相关面主次峰值比和相关峰陡峭程度对相关面对应子块进行筛选；所述设定大小为子块大小的2-4倍，优选子块的3倍大小；
(6)对筛选后剩余子块的相关面主次峰值比、相关面相关峰陡峭程度和空间位置势函数进行加权融合得到适配指标，根据适配指标在剩余子块中逐个迭代选取适配区域并更新空间位置势函数。
进一步地，所述步骤(1)中将将待处理图像划分为多个子块具体为：
(11)确定子块的大小：
其中，[Smin，Smax]为地标大小范围；R表示当前图像的分辨率为R米/像素；地标大小范围中Smin和Smax的取值范围为[100，500]，[Smin，Smax]的优选取值为[100，200]；
(12)确定划分子块的步长：
(13)按子块的大小和步长在待处理图像中滑动选取子块。
进一步地，所述步骤(2)具体包括：
(21)根据已有地标之间的空间位置约束关系构建第一势函数：
其中，已有地标中心位置为(x1，y1)，(x2，y2)…(xn，yn)，k∈[1，n]，(i，j)表示图中位置，σ表示地标大小；
(22)根据目标与已有地标之间的空间位置约束关系构建第二势函数：
其中，(xt，yt)表示目标中心位置；
(23)融合第一势函数和第二势函数得到空间位置势函数：
进一步地，所述步骤(3)中利用空间位置势函数对子块进行筛选具体为：
(31)计算子块Pk中心位置(i，j)对应的空间位置势函数Wsk(i，j)，若WSk(i，j)＜0，则从子块集中删除子块子块Pk；
(32)对子块集中所有子块重复步骤(31)，得到筛选后子块集。
进一步地，所述利用子块结构信息和子块结构强度对剩余子块进行筛选具体为；
(33)计算子块集中所有子块的子块结构信息Esh：
其中，Sfore表示子块区域内被标记为前景的面积，Stotal表示子块区域总面积；
(34)计算子块结构强度Ear；
其中，
Sconnect表示子块区域中连通区域面积，th1表示连通区域阈值；th1的取值范围为[0.02，0.1]，优选取值为0.04；
(35)若Esh∈[1/3，2/3]不成立，则删除该子块；若Ear＞th2不成立，则删除该子块；其中th2为结构强度阈值；th2的取值范围为[0.2，0.5]，优选取值为0.2。
进一步地，所述步骤(4)具体为：
(41)将剩余子块按照Ear从低到高进行排序，将Ear最高的子块从剩余子块中剔除，置入已计算子块集中，计算Ear最高的子块与其余所有子块的重叠面积，保留重叠面积小于重叠阈值th3的子块，将大于阈值的子块筛除；th3的取值范围为[0.1，0.5]，优选取值为0.2；
(42)若剩余子块数为0，则结束步骤(4)，否则返回步骤(41)。
进一步地，通过相关面主次峰值比对相关面对应子块进行筛选具体为：
(51)计算主次峰值比：
其中，Vsub表示次高峰；Vmax表示最高峰；
(52)若Msub＜MTh1不成立，则剔除该相关面对应的子块，其中MTh1表示主次峰阈值；主次峰阈值取值范围为[0.5，0.8]，优选取值为0.7。
进一步地，通过相关面相关峰陡峭程度对相关面对应子块进行筛选具体为：
(53)以相关面中最高峰P0＝Pmax为起点开始，寻找P0的八邻域中最大值点
更新起点
计算距离dis＝norm(P1，Pmax)，若dis＜radius，则令i＝1，进入步骤(54)；否则进入步骤(56)；其中，radius表示距离阈值；距离阈值的取值范围为[7,10]，优选取值为9；
(54)从Pi开始，寻找Pi八邻域中点
满足条件
且
且
为满足前条件中最大值点；计算
更新
进入步骤(55)；否则进入步骤(56)；
(55)更新i＝1+i，重复步骤(54)；
(56)计算相关面相关峰陡峭程度：
其中，
表示点Pi的值，
其中，deacy表示陡峭参数；陡峭参数的取值范围为[0.1，0.3]，优选取值0.2；
(57)若Mpc＜MTh2不成立，则剔除该相关面对应的子块，其中MTh2表示相关峰陡峭程度阈值；相关峰陡峭程度阈值取值范围为[0.2，0.8]，优选取值0.7。
进一步地，所述步骤(6)具体包括：
(61)将相关面主次峰值比和相关面相关峰陡峭程度进行加权融合：
MT＝1-(Msub+0.5*Mpc)
继续和空间位置势函数进行加权融合：
MS＝WS(i，j)×MT；
(62)计算剩余子块的适配指标MS，选取MS最大的子块Tk做为新的适配区域，从剩余子块中删除Tk；
(63)将子块Tk加入到已有地标中并执行步骤(2)，得到子块Tk的空间位置势函数Wnew，更新空间位置势函数WS＝WS+Wt+Wnew；
(64)统计新的适配区域数量是否达到设定需求，若达到则步骤(6)完成，否则返回步骤(61)。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下技术特征及有益效果：
(1)本发明方法采用了自适应匹配区域选取方法，当预设的子区在连续的某一帧图像上数量不足时，可以采用多层次适配特征指标在图像中设定新的子区，由此可以使匹配识别方法适应视场大幅变化，低空无可用子区等情况，提高匹配识别方法的适用范围及可靠性；
(2)本发明方法采用了空间位置势函数来对适配区域的位置进行约束，在第一层筛选时引入空间位置势函数来减少候选区域数量，获得了更好的实时性，在最后确定适配区域时通过空间位置势函数迭代更新来选取新的适配区域；
(3)本发明方法采用了改进的局部结构信息量和局部结构强度两种指标来描述局部区域的信息量和稳定性，在基于灰度的匹配算法中效果明显；
(4)本发明方法采用了相关面主次峰比和改进的最高峰锐度两种相关面特征指标来描述局部区域的独特性和唯一性，其中最高峰锐度指标经过改进后，更能稳定反映最高峰的陡峭程度。
附图说明
图1是本发明实施例的整体流程图；
图2是本发明实施例中地标空间位置势函数示意图；
图3是本发明实施例中目标空间位置势函数示意图；
图4是本发明实施例中综合空间位置势函数示意图；
图5是本发明实施例中局部区域结构信息量指标筛选数据图；
图6是本发明实施例中局部区域结构信息量指标筛选后数据图；
图7是本发明实施例中非极大值抑制筛选后剩余子区示意图；
图8是本发明实施例经过局部区域结构信息量指标筛选和非极大值抑制筛选后的相关面示意图；
图9是四种最高峰陡峭度指标对比示意图；
图10是本发明实施例中根据适配指标在剩余子块中逐个迭代选取适配区域并更新空间位置势函数的过程示意图；
图11是本发明实施例中的三种测试场景；
图12是本发明实施例中当只有1个适配区域时再选取两个新适配区域的效果图；
图13是本发明实施例中没有适配区域时再选取三个新适配区域的效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本发明方法包括以下步骤：
(1)对待处理图像进行降噪及阈值分割处理，在待处理图像中划分出前景和背景，再将待处理图像划分为多个子块；
(11)为了抑制成像噪声及过细纹理干扰，对实时图像进行高斯滤波操作，平滑掉噪声和过细纹理。在计算结构强度时，需要使用阈值分割后的图像；对实时图像进行Ostu自适应阈值分割；
(12)图像分块大小Size决定了选取模板的大小，图像分块的步长Step则决定了子块选取的密集程度。理想情况时逐像素选取子块，并对不同大小的子块进行适配区域分析，计算量巨大。实际应用中地面场景的尺度是不断变化的，过小的地标所含信息量不足，定位能力差，过大的地标则难以满足实时性要求，且容易出视场。根据算法实时性要求及当前图像分辨率设定分块大小，算法在跟踪状态能允许的模板大小范围为[Smin，Smax]，当前实时图像分辨率为R米/像素，根据实际中匹配算法要求，则：
(2)根据已有地标和目标信息的空间位置信息构建空间位置势函数；
(21)根据多子区之间空间位置约束关系构建势函数，设当前可用子区在实时图中位置坐标为(x1，y1)，(x2，y2)…(xn，yn)。根据对当前可用的子区分别建立势函数，以子区位置为中心，如图2越靠近地标，则势函数值越低，通过这种方式来约束子区与子区之间的距离：
其中，k从1到n取值，(i，j)为实时图中像素位置。由于二维高斯函数在离中心3σ距离外可以忽略不计，因此σ取值即为地标大小St；
(22)根据目标与子区的空间位置约束关系构建势函数，算法中要求地标尽可能靠近目标，以抑制间接定位所带来的误差，同样选择高斯二维函数作为势函数，以目标所在位置为中心，如图3所示越靠近目标，则势函数越高，相当于鼓励地标靠近目标。定义如下：
(23)构建综合空间位置势函数，将两类空间位置约束势函数按如下公式进行融合：
其中，n为当前地标数目，融合后势函数如图4所示；
(3)先利用空间位置势函数对子块进行筛选，再利用子块结构信息和子块结构强度对剩余子块进行筛选；
(31)子区空间位置势函数筛选，设当前计算的子区为Pk，若Pk中心坐标(i，j)对应的WS(i，j)＜0，则表明此子块距离当前地标过近，不应该被选为新的地标，跳过对下一个子区进行筛选；
(32)基于灰度匹配算法，定义了一种局部区域结构信息量指标Esh，定义如下：
其中，Sfore表示局部区域内被标记为前景的面积，Stotal表示局部区域总面积；Esh过高或过低，局部区域内信息量都会不足，建议阈值范围[1/3，2/3]；实施例中具体数据由图5所示，通过Esh指标可以将整幅图像中具有较大灰度反差的区域选取出来；
Esh在某种程度上能够反映适配区域信息量的丰富程度，但是无法反映标记为前景的像素的分布，若前景分布较为分散，则表明此结构不够稳定，如图5中的1号区域，其前景分布较散，容易受噪声干扰，稳定性不足。
(33)在结构信息量指标的基础上，定义了一个新的指标来描述前景像素的结构强度Ear，在局部区域的前景中，寻找面积大于某一阈值的连通区域，统计这类连通区域的总面积与全图总面积的比值，比值越大，则认为这类图像中结构强度越高，定义如下：
Ear＞th2
其中，th1为连通区域面积阈值，通常设为0.04，th2为Ear阈值，根据大量实验，通常设为0.2；
在通过Esh指标筛选的局部区域内，如图6所示，这部分区域前景较为分散，结构强度较低，使用Ear进行筛选，可有效的筛选出结构强度不高的局部区域；
(4)对筛选后剩余子块进行非极大值抑制，筛除重复区域较多的子块；第一层筛选后得到的适配子块中彼此间存在很大重叠区域，为了避免对同一个区域进行重复计算，进行非极大值抑制(Non-Maximum Suppression，NMS)，算法流程如下：
(41)将剩余子块按照Ear从低到高进行排序，将Ear最高的子块从剩余子块中剔除，置入已计算子块集中，计算Ear最高的子块与其余所有子块的重叠面积，保留重叠面积小0.2的子块，将大于阈值的子块筛除；
(42)若剩余子块数为0，则结束步骤(4)，否则返回步骤(41)；非极大值抑制筛选后剩余子区如图7所示；
(5)经过上述流程所筛选的候选适配区域已经具有较强的结构强度，并且去除了同一位置多余的结构强度低的子块，其相关面如图8所示。但是，第一层筛选只考虑了子块自身的信息量和结构强度，并没有考虑到子块在实时图像中的独特性和唯一性，通过分析相关面特征指标可以进行筛选。
对于每一个候选子区，在实时图像中截取3倍大小的区域作为待匹配图像，将候选子区在待匹配图像上遍历匹配，得到相关面，并计算相关面特征指标，包括：
(51)计算主次峰值比
其中，Vmax，Vsub分别表示相关面最高峰、次高峰峰值，Msub表征了匹配区域的唯一性，其值在[0，1]之间，Msub越小表示重复模式越少，地标越独特；
(52)相关峰陡峭程度评价指标：Mpc，其计算方法如下所示：
以最高峰P0＝Pmax为起点开始计算，寻找P0八邻域中最大值点
则认为
为P0最可能漂移的点。更新起点:
计算距离:dis＝norm(P1，Pmax)；
令i＝1，当dis＜radius，进行迭代搜索：
从Pi开始，寻找Pi八邻域中最大值点
认为
为Pi最可能漂移的位置，其中为了防止重复和折回，
需满足如下条件：
其中，
为三点之间的夹角，用来保证寻找趋势是远离最高峰；更新Pi，计算dis，若dis＞radius则停止计算；
其中n为搜寻次数，Li为引入的一个惩罚项，离相关峰越远，则影响越低。Mpc取值在[0，1]之间，Mpc越小，表明相关峰越陡峭，越不容易出现漂移现象。radius取值一般设为9，deacy取0.2；
目前常用的用于描述最高峰陡峭程度的指标有有以下几种：
(a)最高峰八邻域比Mngb：
其中Vngb表示最高峰中以最大值为中心的邻域范围内8个位置中最大值；
(b)最高峰环形尖锐度Msharp：
其中Vc和Vl分别表示以最高峰中圆形区域内的相关值均值和环形区域内的相关值均值；
(c)最高峰直径锐度ML4：
Vmax_bear＝max{V0，V45，V90，V135}
其中，V0，V45，V90，V135表示以最高峰值为中心，取0度，45度，90度，135度直径上的相关面均值；
将图8的刀刃型相关面以最高峰为中心进行360度旋转，计算上述4个相关面最高峰陡峭程度分析指标，结果如图9所示。在类似发生旋转时，Mngb和ML4随旋转角度呈周期性波动，这是因为两者的邻域相关值采样空间也随之周期性变化。而Msharp的邻域相关值采样空间在旋转时虽然一直保持不变，但是以损失了采样准确性为代价的。Mpc的邻域相关值一直沿着预定的准则进行采样，基本保持不变；
由此可见，Mpc较之前提出的最高峰锐度指标更稳定，更能反映相关面最高峰真实陡峭程度情况；
(53)在完成Msub和Mpc的计算后，根据下式进行筛选：
由于最终适配区域选取是通过排序获得，因此设置阈值较为宽松。根据大量实验分析，阈值设定如下：Th1＝0.7，Th2＝0.7；
(6)对筛选后剩余子块的相关面主次峰值比、相关面相关峰陡峭程度和空间位置势函数进行加权融合得到适配指标，根据适配指标在剩余子块中逐个迭代选取适配区域并更新空间位置势函数；
在完成分层筛选工作后，根据当前地标需求数量选取足够多的地标。在第一层筛选时，已经考虑到已有地标的空间位置约束关系，对于新选取的地标也需要考虑彼此间的空间位置约束关系，因此每选出一个地标，空间位置势函数就需要进行迭代更新；
(61)通过加权的方式计算子块的匹配性能指标，考虑到重复模式对目标识别算法的正确率影响更大，进行如下加权：
MT＝1-(Msub+0.5*Mpc)
继续和空间位置势函数进行加权融合：
MS＝WS(i，j)×MT；
(62)计算剩余子块的适配指标MS，选取MS最大的子块Tk做为新的适配区域，从剩余子块中删除Tk；
(63)将子块Tk加入到已有地标中并执行步骤(2)，得到子块Tk的空间位置势函数Wnew，更新空间位置势函数WS＝WS+Wt+Wnew；
(64)统计新的适配区域数量是否达到设定需求，若达到则步骤(6)完成，否则返回步骤(61)；
迭代过程如图10所示：图像a-d为位置空间势函数随迭代过程变化的示意图；
为了验证本文所提的地标实时选取性能，对不同场景进行实验，并测试了其运算时间。其中，场景包括城市道路、机场、湖泊场景，如图11所示：
当视场内可用地标数量少于要求数量时，实验假设视场内只有一个地标，此时需要选取2个新的地标，选取结果如图12所示。
当视场内无可用地标时，按照地标实时选取策略选取地标，选取地标数目定位3个；选取结果如图13所示。
可以看出，对于机场跑道场景，选出的地标均为显著性强、局部范围内无重复模式的区域。对于城市道路，受地标大小限制，选出了左上方的操场以及右上方的局部建筑区域，而左下方的菱形对称建筑，存在重复模式，没有选取。对于湖泊水面场景，选出的地也是显著性强，局部范围内无重复模式的区域。
以1004*1004实时图像为例，每个场景分两种情况，分别测试若干次并取平均计算时间，其中地标大小为150*150，搜索步长为地标大小的1/8：
由表1可见，地标实时选取的时间主要用于图像预处理阶段与第二层相关面特征筛选阶段，图像预处理阶段需要对实时图进行滤波及阈值分割，而相关面特征筛选阶段需要进行多次的匹配；
表1
由于实际中地标实时选取只在地标数量不足的时候进行一次，由于姿态的渐变性，可以在通过预测的方式提前进行地标实时选取，以保障整体算法的实时性。
以上内容本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种实时目标匹配定位中的适配区域自适应选取方法，其特征在于，所述方法包括：
(1)对待处理图像进行降噪及阈值分割处理，在待处理图像中划分出前景和背景，再将待处理图像划分为多个子块；
(2)根据已有地标和目标信息的空间位置信息构建空间位置势函数；
(3)先利用空间位置势函数对子块进行筛选，再利用子块结构信息和子块结构强度对剩余子块进行筛选；所述利用子块结构信息和子块结构强度对剩余子块进行筛选具体为；
(33)计算子块集中所有子块的子块结构信息Esh：
其中，Sfore表示子块区域内被标记为前景的面积，Stotal表示子块区域总面积；
(34)计算子块结构强度Ear；
其中，
Sconnect表示子块区域中连通区域面积，th1表示连通区域阈值；
(35)若Esh∈[1/3，2/3]不成立，则删除该子块；若Ear＞th2不成立，则删除该子块；其中th2为结构强度阈值；
(4)对筛选后剩余子块进行非极大值抑制，筛除重复区域较多的子块；
(5)以筛选后剩余子块中心为中心，以设定大小构建匹配区域，子块在匹配区域中遍历匹配得到子块相关面，通过相关面主次峰值比和相关峰陡峭程度对相关面对应子块进行筛选；
(6)对筛选后剩余子块的相关面主次峰值比、相关面相关峰陡峭程度和空间位置势函数进行加权融合得到适配指标，根据适配指标在剩余子块中逐个迭代选取适配区域并更新空间位置势函数。
2.根据权利要求1所述的一种实时目标匹配定位中的适配区域自适应选取方法，其特征在于，所述步骤(1)中将待处理图像划分为多个子块具体为：
(11)确定子块的大小：
其中，[Smin，Smax]为地标大小范围；R表示当前图像的分辨率为R米/像素；
(12)确定划分子块的步长：
(13)按子块的大小和步长在待处理图像中滑动选取子块。
3.根据权利要求1或2所述的一种实时目标匹配定位中的适配区域自适应选取方法，其特征在于，所述步骤(2)具体包括：
(21)根据已有地标之间的空间位置约束关系构建第一势函数：
其中，已有地标中心位置为(x1，y1)，(x2，y2)…(xn，yn)，k∈[1，n]，(i，j)表示图中位置，σ表示地标大小；
(22)根据目标与已有地标之间的空间位置约束关系构建第二势函数：
其中，(xt，yt)表示目标中心位置；
(23)融合第一势函数和第二势函数得到空间位置势函数：
4.根据权利要求3所述的一种实时目标匹配定位中的适配区域自适应选取方法，其特征在于，所述步骤(3)中利用空间位置势函数对子块进行筛选具体为：
(31)计算子块Pk中心位置(i，j)对应的空间位置势函数WSk(i，j)，若WSk(i，j)＜0，则从子块集中删除子块Pk；
(32)对子块集中所有子块重复步骤(31)，得到筛选后子块集。
5.根据权利要求1所述的一种实时目标匹配定位中的适配区域自适应选取方法，其特征在于，所述步骤(4)具体为：
(41)将剩余子块按照Ear从低到高进行排序，将Ear最高的子块从剩余子块中剔除，置入已计算子块集中，计算Ear最高的子块与其余所有子块的重叠面积，保留重叠面积小于重叠阈值th3的子块，将大于阈值的子块筛除；
(42)若剩余子块数为0，则结束步骤(4)，否则返回步骤(41)。
6.根据权利要求1所述的一种实时目标匹配定位中的适配区域自适应选取方法，其特征在于，通过相关面主次峰值比对相关面对应子块进行筛选具体为：
(51)计算主次峰值比：
其中，Vsub表示次高峰；Vmax表示最高峰；
(52)若Msub＜MTh1不成立，则剔除该相关面对应的子块，其中MTh1表示主次峰阈值。
7.根据权利要求6所述的一种实时目标匹配定位中的适配区域自适应选取方法，其特征在于，通过相关面相关峰陡峭程度对相关面对应子块进行筛选具体为：
(53)以相关面中最高峰P0＝Pmax为起点开始，寻找P0的八邻域中最大值点
更新起点
计算距离dis＝norm(P1，Pmax)，若dis＜radius，则令i＝1，进入步骤(54)；否则进入步骤(56)；其中，radius表示距离阈值；
(54)从Pi开始，寻找Pi八邻域中点Pi ngb，Pi ngb满足条件Pi ngb≠Pi-1且angle(Pmax，Pi，Pi ngb)≥90°，且Pi ngb为满足前条件中最大值点；计算dis＝norm(Pi，Pi ngb)，更新Pi＝Pi ngb，进入步骤(55)；否则进入步骤(56)；
(55)更新i＝1+i，重复步骤(54)；
(56)计算相关面相关峰陡峭程度：
其中，
表示点Pi的值，
其中，deacy表示陡峭参数；
(57)若Mpc＜MTh2不成立，则剔除该相关面对应的子块，其中MTh2表示相关峰陡峭程度阈值。
8.根据权利要求7所述的一种实时目标匹配定位中的适配区域自适应选取方法，其特征在于，所述步骤(6)具体包括：
(61)将相关面主次峰值比和相关面相关峰陡峭程度进行加权融合：
MT＝1-(Msub+0.5*Mpc)
继续和空间位置势函数进行加权融合：
MS＝WS(i，j)×MT；
(62)计算剩余子块的适配指标MS，选取MS最大的子块Tk做为新的适配区域，从剩余子块中删除Tk；
(63)将子块Tk加入到已有地标中并执行步骤(2)，得到子块Tk的空间位置势函数Wnew，更新空间位置势函数WS＝WS+Wt+Wnew；
(64)统计新的适配区域数量是否达到设定需求，若达到则步骤(6)完成，否则返回步骤(61)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810341181.2A CN108665477B (zh) | 2018-04-17 | 2018-04-17 | 一种实时目标匹配定位中的适配区域自适应选取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810341181.2A CN108665477B (zh) | 2018-04-17 | 2018-04-17 | 一种实时目标匹配定位中的适配区域自适应选取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108665477A CN108665477A (zh) | 2018-10-16 |
| CN108665477B true CN108665477B (zh) | 2021-07-27 |
Family
ID=63783593
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810341181.2A Expired - Fee Related CN108665477B (zh) | 2018-04-17 | 2018-04-17 | 一种实时目标匹配定位中的适配区域自适应选取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108665477B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109489663B (zh) * | 2018-10-19 | 2020-01-03 | 北京三快在线科技有限公司 | 一种定位方法及装置、移动设备和计算机可读存储介质 |
| CN114509070B (zh) * | 2022-02-16 | 2024-03-15 | 中国电子科技集团公司第五十四研究所 | 一种无人机导航定位方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100463002C (zh) * | 2006-12-07 | 2009-02-18 | 北京航空航天大学 | 基于像素跳跃的图像匹配方法 |
| US8515134B2 (en) * | 2009-12-11 | 2013-08-20 | Nxp B.V. | System and method for motion estimation using image depth information |
-
2018
- 2018-04-17 CN CN201810341181.2A patent/CN108665477B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN108665477A (zh) | 2018-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hou et al. | Shape-adaptive selection and measurement for oriented object detection | |
| CN106022381B (zh) | 基于车载激光扫描点云的路灯杆自动提取方法 | |
| CN107085708B (zh) | 基于多尺度分割和融合的高分辨率遥感图像变化检测方法 | |
| CN108229342B (zh) | 一种海面舰船目标自动检测方法 | |
| CN108305260B (zh) | 一种图像中角点的检测方法、装置及设备 | |
| GB2532948A (en) | Objection recognition in a 3D scene | |
| KR20020062557A (ko) | 영역 분할된 영상의 영역 특징치 정합에 기초한객체추출장치 및 그 방법 | |
| CN110569751B (zh) | 一种高分遥感影像建筑物提取方法 | |
| CN111862133B (zh) | 封闭空间的区域分割方法、装置和可移动设备 | |
| CN107622239B (zh) | 一种层次化局部结构约束的遥感图像指定建筑区检测方法 | |
| CN110910341A (zh) | 一种输电线路锈蚀区缺陷检测方法及装置 | |
| CN110956078B (zh) | 一种电力线检测方法及装置 | |
| CN112396612B (zh) | 一种矢量信息辅助的遥感影像道路信息自动提取方法 | |
| CN108665477B (zh) | 一种实时目标匹配定位中的适配区域自适应选取方法 | |
| CN109492647A (zh) | 一种电网机器人障碍物识别方法 | |
| CN112381062A (zh) | 一种基于卷积神经网络的目标检测方法及装置 | |
| CN115690081A (zh) | 一种树木计数方法、系统、存储介质、计算机设备及终端 | |
| Oh et al. | TRAVEL: Traversable ground and above-ground object segmentation using graph representation of 3D LiDAR scans | |
| CN111091071A (zh) | 基于探地雷达双曲波拟合的地下目标检测方法及系统 | |
| CN113239733A (zh) | 一种多车道车道线检测方法 | |
| Zhou et al. | Stratified Object‐Oriented Image Classification Based on Remote Sensing Image Scene Division | |
| CN115841633A (zh) | 一种电力塔和电力线关联矫正的电力塔和电力线检测方法 | |
| KR102366364B1 (ko) | 기하학적 패턴 매칭 방법 및 이러한 방법을 수행하는 장치 | |
| CN115019163A (zh) | 基于多源大数据的城市要素识别方法 | |
| JP5531643B2 (ja) | 通路検出方法、装置、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210727 |