CN107945209B - 基于逆向结构匹配跟踪的序列图像目标点的精确自动标定方法 - Google Patents
基于逆向结构匹配跟踪的序列图像目标点的精确自动标定方法 Download PDFInfo
- Publication number
- CN107945209B CN107945209B CN201711230792.1A CN201711230792A CN107945209B CN 107945209 B CN107945209 B CN 107945209B CN 201711230792 A CN201711230792 A CN 201711230792A CN 107945209 B CN107945209 B CN 107945209B
- Authority
- CN
- China
- Prior art keywords
- calibration
- point
- target point
- image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于逆向结构匹配跟踪的序列图像目标点的精确自动标定方法,包括以下步骤:步骤1:粗标定;在图像序列最后一帧人工标定的基础上,通过提取图像中目标点周围的特征角点,采用从后至前的逆向方式,对特征点集进行匹配,根据得到的仿射变换参数,实现对目标点的粗标定;步骤2:利用目标标定点与提取特征点的结构角约束关系矩阵,在粗标定的基础上通过爬山法的搜索策略实现对目标点的精确标定,并通过有效的结构角约束关系矩阵的更新策略,实现长时间的精确标定。本发明提供的标定方法能够有效的适应适应低矮目标、隐蔽目标以及目标遭受遮挡等情况,具有较高的可靠性。
Description
技术领域
本发明属于飞行器视觉导航与成像制导仿真技术领域,具体涉及一种基于逆向结构匹配跟踪的序列图像目标点的精确自动标定方法。
背景技术
自动目标识别算法(ATR)与目标鲁棒跟踪算法(TRT)是飞行器视觉导航与前视成像制导中的关键技术之一,要设计有效实用的ATR与TRT算法必须通过大量的仿真识别与跟踪实验验证,通过机载飞行实验采集典型目标的实时图像序列进行算法仿真是评估ATR与TRT算法研究与改进的重要途径。对于直接与典型打击目标联系的前视成像制导模式,由于获取的实时图内的场景在不断的变化,待识别与跟踪的目标在实时图的精确位置(目标点)就无法得知,也就无法对ATR与TRT算法的性能进行全面有效的评估。因此,在测试和评估ATR与TRT算法过程中,目标点的精确标定方法是必不可少的途径和手段。
传统的算法评估过程中,由于很难准确标定出实时图序列中目标点的位置,算法的性能只能靠人工逐帧统计,受主观因素影响较大,且对于成千上万帧图像,工作量异常繁重,仿真效率低下。实际中经常采用基于景像匹配的正向跟踪算法进行目标点的定位,即利用典型的模板匹配方法,从飞行器距离目标由远及近进行目标匹配跟踪,从而对目标点进行自动标定。但是,飞行器距离目标越远,目标在图像中的分辨率越低,因此传统的这种由远及近正向跟踪的标定方法就存在标定精度差的缺点,另外这种标定方法还无法适应低矮目标、隐蔽目标以及目标遭受遮挡等情况,标定的结果很难保证准确性、可靠性以及ATR和TRT算法参数的可对比性。因此,有必要研究一种能够高精度和高可靠性的实现图像序列目标点标定的方法。
发明内容
为了克服传统的基于景像匹配的正向跟踪目标点标定方法存在的精度差、可靠性低、环境适应能力差等缺点,本发明提供一种基于逆向结构匹配跟踪的目标点的精确自动标定方法,该方法在逆向跟踪的基础上,利用目标点与图像中特征角点的结构约束关系,采取“先粗标定再精标定”的两步标定方法:首先通过两帧图像特征角点集的匹配,根据仿射变换实现目标点的粗标定;然后在粗标定的基础上,根据目标点与特征角点的结构约束关系,实现目标的精标定。本发明提出的两步标定法,可以大大提高图像序列中目标点的标定精度。
本发明采用如下的技术方案来实现:
基于逆向结构匹配跟踪的序列图像目标点的精确自动标定方法,包括以下步骤:
步骤1:粗标定;
在图像序列最后一帧人工标定的基础上,通过提取图像中目标点周围的特征角点,采用从后至前的逆向方式,对特征点集进行匹配,根据得到的仿射变换参数,实现对目标点的粗标定;
步骤2:精标定;
利用目标标定点与提取特征点的结构角约束关系矩阵,在粗标定的基础上通过爬山法的搜索策略实现对目标点的精确标定,并通过有效的结构角约束关系矩阵的更新策略,实现长时间的精确标定。
本发明进一步的改进在于,步骤1的具体实现步骤如下:
步骤1.1:人工标定出图像序列最后一帧图像的目标点;
步骤1.2:在当前帧标定目标点的周围利用SIFT算法进行特征角点的提取;
步骤1.3:对前一帧的整幅图像利用SIFT算法进行特征角点的提取;
步骤1.4:进行特征点集的匹配,并利用RANSAC算法剔除错误匹配的特征点对,得到仿射变换矩阵;
步骤1.5:利用仿射变换矩阵,对前一帧图像的目标点进行粗标定。
本发明进一步的改进在于,步骤1.1中,在图像序列的最后一帧人工标定出目标点位置x,然后通过逆向的方式依次往前对图像帧进行自动标定;
本发明进一步的改进在于,在于,步骤2的具体实现步骤如下:
步骤2.1:根据当前帧的标定点和特征角点位置,计算结构角约束关系矩阵;
步骤2.2:计算与结构角约束关系矩阵所对应的结构角权重矩阵Wt;
步骤2.3:根据粗标定位置,利用爬山法对目标点进行精标定;
步骤2.4:利用序贯滤波的方式对结构角约束关系矩阵和结构角权重矩阵进行更新。
步骤2.2中,定义结构角所对应的权重为:
评估函数达到极值时候的位置就确定为精标定的目标点:
步骤2.4中,利用序贯滤波的方式对结构角约束关系矩阵和权重矩阵进行更新,目标点xt-1对应的结构角约束关系矩阵和权重矩阵为Ct-1和Wt-1,更新策略为:
其中,α和β为权衡因子。
本发明具有以下有益的技术效果:
本发明针对前视成像制导飞行器采集的仿真图像序列的目标点的标定问题,设计了一种基于逆向结构匹配跟踪的“先粗标定再精标定”的两步标定方法。在逆向跟踪原理的基础上,标定过程采用了结构角约束关系矩阵,利用图像中的特征角点和目标点的结构关系加权约束,实现了对图像序列中目标点的精确标定。相比传统的基于景象匹配的正向跟踪目标点标定方法,本发明在具有较高的标定精度和稳定性,尤其解决了传统标定方法不能有效的适应低矮目标、隐蔽目标和目标受到遮挡等情况,具有更好的适用性。
附图说明
图1是本发明的总体流程示意图。
图2是本发明实施过程中需要计算的结构角示意图。
图3是爬山法的原理图。
图4是红外图像序列1的基准位置示意图。
图5是传统标定方法对红外图像序列1的标定位置示意图。
图6是本发明对红外图像序列1的标定位置示意图。
图7是红外图像序列2的基准位置示意图。
图8是传统标定方法对红外图像序列2的标定位置示意图。
图9是本发明对红外图像序列2的标定位置示意图。
具体实施方式
以下结合附图和仿真对本发明做出进一步的说明。
如图1所示,本发明提供的基于逆向结构匹配跟踪的序列图像目标点的精确自动标定方法,包括以下步骤:
步骤1:粗标定。在图像序列最后一帧人工标定的基础上,通过提取图像中目标点周围的特征角点,与真正的飞行器目标跟踪方法相反,采用从后至前的逆向方式,对特征点集进行匹配,根据得到的仿射变换参数,实现对目标点的粗标定。具体有可分如下5个步骤:
步骤1.1:人工标定出图像序列最后一帧图像的目标点。在图像序列的最后一帧人工标定出目标点位置x,然后通过逆向的方式依次往前对图像帧进行自动标定;
步骤1.2:在当前帧标定目标点的周围利用SIFT算法进行特征角点的提取。在当前t时刻图像帧标定的目标点xt周围的一定区域内利用SIFT算法(《International Journalof Computer Vision》杂志2004年第60期《Distinctive image features from scale-invariant keypoints》)提取图像的特征点集{Pt i,i=1,2,...,Mt},为了保证精标定过程中的标定精度,应对提取的特征点集进行筛选,使得筛选后的特征点集的分布尽量分散;
步骤1.4:进行特征点集的匹配,并利用RANSAC算法剔除错误匹配的特征点对,得到仿射变换矩阵。对t-1时刻的特征点集与t时刻的特征点集进行匹配,匹配的点集对分别为和匹配的点集对和实现随机抽样一致性算(RANSAC)法(《Communications of the ACM》杂志1981年第24期《Randomsample consensus:a paradigm for model fitting with applications to imageanalysis and automated cartography》),剔除其中错误的匹配点对,得到仿射变换矩阵以及对应的点集对和
步骤2:精标定。由仿射变换得到的粗标定位置会随着时间的累积不断发生漂移,利用目标标定点与提取特征点的结构角约束关系矩阵,在粗标定的基础上通过爬山法的搜索策略实现对目标点的精确标定,并通过有效的结构角约束关系矩阵的更新策略,实现长时间的精确标定。如图2和图3所示,具体实现步骤如下:
步骤2.1:根据当前帧的标定点和特征角点位置,计算结构角约束关系矩阵Ct。根据t时刻的标定点位置xt以及匹配的特征点集对于图像中任一特征点与任一特征点计算矢量与矢量之间的夹角这样就构成了N×N维的结构角约束关系矩阵Ct:
步骤2.2:计算与结构角约束关系矩阵所对应的结构角权重矩阵Wt。在结构角中,两个特征角点的距离越近,那么计算的结构角可能产生的误差就越大,为了提高结构匹配的精度,那么赋予这个角的权重应该越小,定义结构角所对应的权重为:
步骤2.3:根据粗标定位置,利用爬山法对目标点进行精标定。爬山法是一种最简单的启发式搜索算法,它采用定义的评估函数来估计目标状态和当前状态的“距离”,将当前搜索节点周围最陡的上升方向作为下一个搜索节点,以此类推,直到爬到“山顶”,即达到评估函数的极值。根据t-1时刻的匹配点集从粗标定点xt′-1开始爬山,计算周围每个位置所对应的结构角约束关系矩阵评估函数选用两个结构角约束关系矩阵的欧式距离:
评估函数达到极值时候的位置就确定为精标定的目标点:
步骤2.4:利用序贯滤波的方式对结构角约束关系矩阵和结构角权重矩阵进行更新。为了提高标定的精确性以及防止目标点标定的漂移,利用序贯滤波的方式对结构角约束关系矩阵和权重矩阵进行更新,目标点xt-1对应的结构角约束关系矩阵和权重矩阵为Ct-1和Wt-1,更新策略为:
其中,α和β为权衡因子。
本发明的效果通过以下仿真进一步说明:
1.仿真条件
为了验证本发明的有效性,对飞行器由远及近的接近目标的两组红外图像序列进行仿真测试,需要标定的目标为场景中的建筑物。实验环境为Intel(R)Core(TM)CPU3.10GHz/8GB内存/MATLAB 2011。在仿真实验中,SIFT算法采用的原始参数,角结构中采用的权重参数为σ=0.1,权衡因子α=0.99和β=0.99。
2.仿真实验
将本发明与传统的基于景象匹配的正向跟踪目标点标定方法进行性能对比。景象匹配算法采用经典的互相关算法。图4至图6给出了在红外图像序列1的基准位置示,传统标定方法对红外图像序列1的标定位置以及本发明对红外图像序列1的标定位置,图7至图9给出了在红外图像序列1的基准位置示,传统标定方法对红外图像序列2的标定位置以及本发明对红外图像序列1的标定位置。从图可以看出,随着时间的累积,传统标定方法的标定误差越来越大,由于本发明利用逆向的方式,采用结构约束,使得标定位置始终保持在极小的误差范围内。
Claims (1)
1.基于逆向结构匹配跟踪的序列图像目标点的精确自动标定方法,其特征在于,包括以下步骤:
步骤1:粗标定;
在图像序列最后一帧人工标定的基础上,通过提取图像中目标点周围的特征角点,采用从后至前的逆向方式,对特征点集进行匹配,根据得到的仿射变换参数,实现对目标点的粗标定;具体实现步骤如下:
步骤1.1,在图像序列的最后一帧人工标定出目标点位置x,然后通过逆向的方式依次往前对图像帧进行自动标定;
步骤2:精标定;
利用目标标定点与提取特征点的结构角矩阵,在粗标定的基础上通过爬山法的搜索策略实现对目标点的精确标定,并通过有效的结构角矩阵的更新策略,实现长时间的精确标定;具体实现步骤如下:
步骤2.2,定义结构角所对应的权重为:
评估函数达到极值时候的位置就确定为精标定的目标点:
步骤2.4,利用序贯滤波的方式对结构角矩阵和权重矩阵进行更新,目标点xt-1对应的结构角矩阵和权重矩阵为Ct-1和Wt-1,更新策略为:
其中,α和β为权衡因子。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711230792.1A CN107945209B (zh) | 2017-11-29 | 2017-11-29 | 基于逆向结构匹配跟踪的序列图像目标点的精确自动标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711230792.1A CN107945209B (zh) | 2017-11-29 | 2017-11-29 | 基于逆向结构匹配跟踪的序列图像目标点的精确自动标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107945209A CN107945209A (zh) | 2018-04-20 |
CN107945209B true CN107945209B (zh) | 2021-03-05 |
Family
ID=61946845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711230792.1A Active CN107945209B (zh) | 2017-11-29 | 2017-11-29 | 基于逆向结构匹配跟踪的序列图像目标点的精确自动标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107945209B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108717715B (zh) * | 2018-06-11 | 2022-05-31 | 华南理工大学 | 一种用于弧焊机器人的线结构光视觉系统自动标定方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101315700A (zh) * | 2008-01-14 | 2008-12-03 | 深圳市蓝韵实业有限公司 | 一种多序列图像快速自动定位的方法 |
CN102306307A (zh) * | 2011-07-11 | 2012-01-04 | 宁波大学 | 一种彩色显微图像序列中固点噪声的定位方法 |
CN103150549A (zh) * | 2013-02-05 | 2013-06-12 | 长安大学 | 一种基于烟雾早期运动特征的公路隧道火灾检测方法 |
JP2016085675A (ja) * | 2014-10-28 | 2016-05-19 | セコム株式会社 | 移動物体追跡装置 |
CN106683119A (zh) * | 2017-01-09 | 2017-05-17 | 河北工业大学 | 基于航拍视频图像的运动车辆检测方法 |
-
2017
- 2017-11-29 CN CN201711230792.1A patent/CN107945209B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101315700A (zh) * | 2008-01-14 | 2008-12-03 | 深圳市蓝韵实业有限公司 | 一种多序列图像快速自动定位的方法 |
CN102306307A (zh) * | 2011-07-11 | 2012-01-04 | 宁波大学 | 一种彩色显微图像序列中固点噪声的定位方法 |
CN103150549A (zh) * | 2013-02-05 | 2013-06-12 | 长安大学 | 一种基于烟雾早期运动特征的公路隧道火灾检测方法 |
JP2016085675A (ja) * | 2014-10-28 | 2016-05-19 | セコム株式会社 | 移動物体追跡装置 |
CN106683119A (zh) * | 2017-01-09 | 2017-05-17 | 河北工业大学 | 基于航拍视频图像的运动车辆检测方法 |
Non-Patent Citations (1)
Title |
---|
基于SURF特征的航空序列图像位置估计算法;乔奎贤 等;《计算机工程与应用》;20130715;第49卷(第14期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN107945209A (zh) | 2018-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104484648B (zh) | 基于轮廓识别的机器人可变视角障碍物检测方法 | |
JP5487298B2 (ja) | 3次元画像生成 | |
CN106548462B (zh) | 基于薄板样条插值的非线性sar图像几何校正方法 | |
CN106886748B (zh) | 一种基于tld的适用于无人机的变尺度目标跟踪方法 | |
CN106338733B (zh) | 基于蛙眼视觉特性的前视声呐目标跟踪方法 | |
CN110047108B (zh) | 无人机位姿确定方法、装置、计算机设备及存储介质 | |
US20070237359A1 (en) | Method and apparatus for adaptive mean shift tracking | |
CN104599286B (zh) | 一种基于光流的特征跟踪方法及装置 | |
CN110796691B (zh) | 一种基于形状上下文和hog特征的异源图像配准方法 | |
CN111383252B (zh) | 多相机目标追踪方法、系统、装置及存储介质 | |
CN110827321B (zh) | 一种基于三维信息的多相机协同的主动目标跟踪方法 | |
US11741615B2 (en) | Map segmentation method and device, motion estimation method, and device terminal | |
CN104268880A (zh) | 基于特征和区域匹配相结合的深度信息获取方法 | |
CN107845096B (zh) | 基于图像的行星三维信息测定方法 | |
Tjahjadi et al. | Precise wide baseline stereo image matching for compact digital cameras | |
CN105488541A (zh) | 增强现实系统中基于机器学习的自然特征点识别方法 | |
US11475595B2 (en) | Extrinsic calibration of multi-camera system | |
CN113643365A (zh) | 一种相机位姿估计方法、装置、设备以及可读存储介质 | |
WO2018076211A1 (zh) | 基于几何误差优化的图像中二次曲线拟合方法 | |
CN112652003A (zh) | 一种基于ransac测度优化的三维点云配准方法 | |
CN114399528A (zh) | 基于二维图像的三维空间运动目标跟踪方法及相关装置 | |
CN107945209B (zh) | 基于逆向结构匹配跟踪的序列图像目标点的精确自动标定方法 | |
CN110211189A (zh) | ToF相机深度误差建模校正方法及装置 | |
Sodhi et al. | Robust plant phenotyping via model-based optimization | |
CN111899284B (zh) | 一种基于参数化esm网络的平面目标跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |