CN110503679A - 一种红外基准图制备与评价方法 - Google Patents
一种红外基准图制备与评价方法 Download PDFInfo
- Publication number
- CN110503679A CN110503679A CN201910809659.4A CN201910809659A CN110503679A CN 110503679 A CN110503679 A CN 110503679A CN 201910809659 A CN201910809659 A CN 201910809659A CN 110503679 A CN110503679 A CN 110503679A
- Authority
- CN
- China
- Prior art keywords
- image
- matching
- reference map
- infrared
- preparation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002360 preparation method Methods 0.000 title claims description 46
- 238000011156 evaluation Methods 0.000 title claims description 34
- 238000000034 method Methods 0.000 claims abstract description 62
- 230000009466 transformation Effects 0.000 claims abstract description 30
- 238000004458 analytical method Methods 0.000 claims abstract description 15
- 238000003384 imaging method Methods 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 238000004088 simulation Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 11
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 claims description 7
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 claims description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 238000002474 experimental method Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 101150064138 MAP1 gene Proteins 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 239000000729 antidote Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 9
- 238000007781 pre-processing Methods 0.000 abstract description 2
- 238000012795 verification Methods 0.000 abstract 1
- 238000011160 research Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000004020 conductor Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000005622 photoelectricity Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种红外基准图制备与评价方法，包括步骤：S1采用NSCT算法与参考点矫正去除红外探测器采集图像过程中引入的噪声干扰，得到矫正处理后的图像；S2、制备用于目标识别的基准图以及用于导航制导的基准图，制备目标识别的基准图时先对模板图像进行预处理，然后根据成像系统参数和飞行参数进行映射变换，制备用于导航制导的基准图时需要对整幅图像进行可识别性分析，对基准图的匹配性能高低进行分类，然后根据分析结果区分匹配区和非匹配区。优点在于：通过NSCT算法去噪以及参考点畸变矫正后，能较快找到符合要求的红外基准图，并根据需求对基准图进行变换，经过仿真验证，利用该方法制备的基准图作为匹配模板具有较好地识别效果。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种红外基准图制备与评价方法。
背景技术
红外探测器凭借其全天候、全时段的成像能力，以及其较远的探测距离，得到了国内外的广泛关注。基于红外探测器的目标识别及导航制导技术，能够发挥红外探测器的优势，克服实现复杂环境的影响，是国内外研究的热点，在军事及民用方面都具有极大的应有价值。红外基准图制备是目标识别及导航制导技术的基础，同时也是关键技术之一，目前国内外的研究工作主要围绕光学匹配制导及红外自动目标识别，并且在匹配区选定准则及基准图生成与评价方面取得了一定的研究成果。
在匹配制导方面，匹配区的选取是任务规划系统的重要组成部分之一，为制导、导航任务的执行提供了核心基础，因此任务系统的鲁棒性和可靠性的决定因素之一来源于匹配区的有效性。
目前，国内已有不少的学者对此展开了相应的研究工作：中国惯性技术学报,2008,16(5):599-603公开了一种快速匹配区选取方法，该方法以定位精度和匹配概率为验证指标，并且以匹配区内的特征信息、稳定性及重复模式为参数指标。电光与控制,2007,14(5):82-85公开了一种基于图像边缘密度与自匹配系数的异源图像匹配区的选取方法。半导体光电,2010,31(4):644-647,651公开了一种更有效的匹配区选取方法。
基准图制备的任务就是结合飞行器的使用要求和其它约束条件，生成可用于飞行器实时匹配或识别的基准信息，并对其性能进行评价。在各类应用需求的牵引下，立足现有可利用的目标或场景信，在地形匹配、景像匹配方面取得了许多实用性的研究成果，对于红外基准图的生成与评价具有重要参考意义。弹箭与制导学报,2005,25(3):362-365公开了基于匹配仿真试验的基准图有效性评价方法。武汉大学学报(信息科学版),2001,26(3):261-265公开了一种导航基准图适配性评价方法，该方法以捕获位置分布估计为基础，解决了基准图的适配性评价问题。这些研究都为本发明的研究提供了重要的理论参考和借鉴。
相似专利方面，申请号为CN201510784714.0的专利公开了一种图像匹配系统的景象匹配区域选择与基准图优化方法，该方法利用异源图像边缘特征相似性，建立内相关与外相关评价指标，从而优化基准图制备。申请号为CN201210313150.9的专利公开了将基准地图变换成与实时图相同视角的图像的装置。
申请号为CN201210313150.9的专利公开了基于序列图像和基准图匹配的飞行器全参数导航方法。申请号为CN201611181807.5的专利公开了一种异源图像匹配系统的基准图质量评价方法，该方法分析了异源图像的共同特征，能保证输出高质量的基准图。
上述参考文献公开了多种有助于基准图制备的方法，但在实践中均会出现匹配效果较差的问题。
发明内容
本发明的目的是为了解决现有技术制作的基准图匹配效果差的问题，而提出的一种红外基准图制备方法及评价方法。
为了实现上述目的，本发明采用了如下技术方案：一种红外基准图制备方法，包括以下步骤：
S1、采用NSCT算法去除红外探测器采集图像过程中引入的噪声干扰，参考点矫正方法进行畸变矫正，得到处理后的图像；
NSCT算法由NSP(Non-subsampled Pyramid)和NSDFB(Non-subsampledDirectional Filter Bank)两部分构成；其中，NSP为去掉下采样的图像分解滤波器，完成图像的多层分解，并从分解结果系数中筛选奇异点；NSDFB为图像合成滤波器，将NSP筛选的奇异点进行合成，并分析其方向；使得处理后的图像视觉特征和信息更加完整、方向选择性更强；
S2、制备用于目标识别的基准图和用于导航制导的基准图：
建立三个坐标系：世界坐标系(Xw,Yw,Zw)、摄像机坐标系(Xc,Yc,Zc)以及图像坐标系(u，v)，其中图像坐标系是一个二维坐标系，与相机坐标系平行，仅反映图像中各像素之间的位置关系，设P为3D空间中的一点，在摄像机坐标系下的坐标为(xw,yw,zw)，其通过光心投影到像平面上，此时会在虚像平面上交于一点PI，对应坐标是(x,y,f)，映射到图像坐标系上的坐标为(u，v)，
设fx是焦距在X方向上的分量，fy是焦距在Y方向的分量,由此就能够得到相机的内参数矩阵此矩阵中的参数是由相机的结构决定的，可以通过外部标定的方式获得,(xc,yc,zc)和(xw,yw,zw)分别表示摄像机坐标系和世界坐标系中点P的坐标，RWC表示两个坐标系之间的转动量，twc＝(tx,ty,tz)T表示两个坐标系之间的平移量,定义成像系统的外参数矩阵为有六个自由度，可得到成像系统模型的最终描述：
红外探测器安装位姿是固定不变，由此可通过一个平移加一个旋转的形式建立探测器与飞行器之间的坐标变换关系，此变换关系视为定值,因此，当已知飞行器位姿参数的情况下，可以根据式①建立基准图和实时图之间的变换关系，将基准图做相应的映射变化，使其能更好的匹配实时图，保证匹配的鲁棒性；
选取独立像元素、边缘密度、自匹配系数为评价指标，分别从一维相关性与二维相关性对红外图像的匹配性能进行分析，综合考查图像在信息量、稳定性以及区域唯一性等方面的性质；
独立像元素是能够反映图像信息量的一个分类指标，其从统计学的角度出发，反映的信息比较真实；边缘密度表征的是图像的稳定性，边缘密度越大其对应的特征信息越丰富，相应的匹配基准点越多，越能够获得较好的匹配性能；图像X的自匹配系数SEL则定义为图像X中所有子图的自匹配系数Sel(u0,v0)的均值；图像自匹配系数越大，表明该图像越容易出现误匹配，那么该图像就不适合选作基准图；
对于目标识别来说，基准图制备的重点在于图像的增强与特征的选取，而对于导航制导来说，基准图制备的核心环节是匹配区的选取；在得到可识别性特征参数较好的匹配区后，根据基准图的大小、数量以及格式等要求，即可确定基准图的目标选取区域，然后根据飞行器的飞行参数对目标基准图进行映射变换就能得到用于导航匹配的基准图；基准图制备完成后，采用相关的匹配算法，通过匹配的准确性即可对生成基准图的好坏进行有效的仿真评估。
在上述的红外基准图制备方法中，基于NSTC算法的红外基准图像去噪方法为：首先对输入的红外图像进行灰度变换，将红外图像转换成灰度图像；然后通过NSP滤波器进行系数分解，得到高频子带系数和低频子带系数，对高频子带系数进行收缩阈值处理，对低频子带系数进行中值滤波处理；最后，通过NSDFB合成处理后的高频子带系数和低频子带系数，得到不含噪声的红外图像。
在上述的红外基准图制备方法中，在视觉传感器采集图像的过程中，由于环境、传感器镜头、噪声等的干扰，使得采集后的图像与实际图像并非完全一致产生图像畸变，常见的图像畸变类有图像径向失真、仿射变换以及因视角变化引起的投影变换；
参考点校正需要选取参考点，过程复杂，但是其精度较高，适用于精度要求较高的系统；
数字图像中的像素坐标都是以整数的形式定义的，但我们通过校正模型映射的校正后图像上的坐标可能会对应到非整的情况，将最近邻插值就是将点处的灰度值赋给转换后的最近整数点；最近邻插值是比较简单的像素插值方法，但其精度不高；在精度要求比较高的情况下，我们可以考虑双线性内插法以及二维B样条函数插值法。
在上述的红外基准图制备方法中，基准图的制备根据任务层次可以分为用于目标识别的基准图以及用于导航制导的基准图，用于目标识别的基准图制备相对比较简单，对模板图像进行预处理，然后把根据成像系统参数和飞行参数进行映射变换即可得到；用于导航制导的基准图，制备过程相对比较复杂，需要对整幅图像进行可识别性特征分析，对基准图不同区域的匹配性能高低进行分类，然后根据分析结果区分匹配区和非匹配区。
在上述的红外基准图制备方法中，采用下述方法进行匹配算法及性能评估；
本发明在实验室条件下，通过匹配仿真的方法，对基准图的匹配性能进行检验；通过建立逼真的仿真环境、大幅提高仿真的次数等方法确保匹配仿真结果可信、可靠；
针对基准图任务层次的不同，发明中分别采用基于灰度和基于特征两种不同类型的匹配算法对基准图制备的性能进行评估；
其中，基于灰度的匹配算法采用归一化积相关算法：
归一化积相关算法对于图像X和图像Y(大小均为n×n)计算归一化积相关系数RNProd，0≤RNProd≤1；当RNProd＝1时，说明两图像信息完全一致；通过RNProd值的大小，便可以判断X图像和Y图像的相似程度；
基于特征的匹配算法采用匹配能力，具有平移、旋转、仿射变换、视角变换和光照变换的SIFT匹配算法：
SIFT是建立在尺度空间上的一种局部特征匹配方法，能够提取图像的稳定特征，当SIFT算法中待检测特征点与(标记为×号)周围的26个像素进行比较，取极大值或极小值时，即为局部极值；这些局部极值点需要通过多项式函数拟合提高精度中，而其中一些稳定性和匹配性较差的边缘点，需要设置一定的阈值和采用Hessian矩阵移除；
为了添加特征点的旋转不变性，在得到较好的局部极值点后，为其计算方向；在一般情况下，一个SIFT特征点的特征向量采用其周围的4个种子进行描述，每个种子点具有八个方向的维度，因此SIFT特征描述子是一个具有32维度的特征向量；当对特征点的匹配稳定性要求较高时，可以将其增加到128维。
一种红外基准图评价方法，选取两个基准图：
基准图1，选自评价指标较好的匹配区部分；
基准图2，选自评价指标较差的非匹配区部分；
列出两个基准图的独立像元素、边缘密度以及图像的自匹配系数并进行对比；
选取基准图3：在不同高度、飞行器姿态角下的制备结果，其任务层次为目标识别，大小为100×100；
选取基准图3图像序列中的四幅图像作为实时图进行匹配实验得出匹配结果。
与现有的技术相比，本发明的优点在于：
公开了一种红外基准图制备方法，通过NSCT算法去噪和畸变矫正后，能较快找到符合要求的红外基准图，并根据需求对基准图进行变换。经过仿真验证，利用该方法制备的基准图作匹配模板识别效果较好。
附图说明
图1为本发明中NSCT算法结构组成示意图；
图2为本发明中去噪算法流程图；
图3为本发明中去噪效果图；
图4为本发明中最近邻插值法原理示意图；
图5为本发明中内含式基准图示意图；
图6为本发明中成像系统模型图；
图7为本发明中基准图制备示意图；
图8为本发明中SIFT算法框架组成示意图；
图9为本发明中导航区分类指标评价结果图；
图10为本发明中基准图1和基准图2的选取结果图；
图11为本发明中基准图3的选取结果图；
图12为本发明中图像序列中四幅实时图；
图13为本发明中基准图1的匹配结果图；
图14为本发明中基准图2的匹配结果图；
图15为本发明中基准图3(a)的匹配结果；
图16为本发明中基准图3(e)的匹配结果；
图17为本发明中基准图3(g)的匹配结果。
具体实施方式
以下实施例仅处于说明性目的，而不是想要限制本发明的范围。
实施例
参照图1-4，一种红外基准图制备方法，包括以下步骤：
S1、采用NSCT算法去除红外探测器采集图像过程中引入的噪声干扰，参考点矫正方法进行畸变矫正，得到处理后的图像；红外图像预处理是基准图制备的前期必备工作；本方法采用NSCT算法(Nonsubsampled contourlet transform)(如图1)，该算法最突出的优点就是能够有效地滤除图像中的噪声，同时还能以最大程度保留图像的文理细节。
如图1所示，NSCT算法由NSP(Non-subsampled Pyramid)和NSDFB(Non-subsampledDirectional Filter Bank)两部分构成；其中，NSP为去掉下采样的图像分解滤波器，完成图像的多层分解，并从分解结果系数中筛选奇异点；NSDFB为图像合成滤波器，将NSP筛选的奇异点进行合成，并分析其方向；使得处理后的图像视觉特征和信息更加完整、方向选择性更强；
S2、制备用于目标识别的基准图和用于导航制导的基准图：
用于目标识别或导航制导的基准图是指机载视觉传感器采集的实时图像视场包含预先存储的基准图地标，也就是我们常说的“大实时图，小基准图”，如图5所示。
这种内含式基准图是否有效的关键在于选作基准图的区域特征是否易于匹配、是否唯一。所以基准图制备分析的重点在于典型场景地物特征的分析，即对典型地物特征的可识别性分析。
对于红外目标识别和导航制导任务而言，基准图制备要解决的问题主要有两个：一是从飞行器位置及姿态参数计算成像模型，建立基准图与实时图之间的转换关系；二是基准图与实时图匹配特征参数选取问题，也就是对典型地物特征的可识别性分析问题。针对第一个问题，本发明通过采用摄像机的成像原理以及安装参数进行分析研究，结合飞行器的飞行参数，建立基准图与实时图之间的对应关系。针对第二个问题，本发明采用有效的可识别性分类指标，如边缘密度、独立像元素以及自匹配系数，对模板图像进行特征分析，区分匹配区和非匹配区。
视觉成像系统的模型如图6所示：型中涉及到三个坐标系：世界坐标系(Xw,Yw,Zw)、摄像机坐标系(Xc,Yc,Zc)以及图像坐标系(u，v)，其中图像坐标系是一个二维坐标系，与相机坐标系平行，仅反映图像中各像素之间的位置关系。设P为3D空间中的一点，在摄像机坐标系下的坐标为(xw,yw,zw)，其通过光心投影到像平面上，此时会在虚像平面上交于一点PI，对应坐标是(x,y,f)，映射到图像坐标系上的坐标为(u，v)，
设fx是焦距在X方向上的分量，fy是焦距在Y方向的分量,由此就能够得到相机的内参数矩阵此矩阵中的参数是由相机的结构决定的，可以通过外部标定的方式获得,(xc,yc,zc)和(xw,yw,zw)分别表示摄像机坐标系和世界坐标系中点P的坐标，RWC表示两个坐标系之间的转动量，twc＝(tx,ty,tz)T表示两个坐标系之间的平移量,定义成像系统的外参数矩阵为有六个自由度，可得到成像系统模型的最终描述：
红外探测器安装位姿是固定不变，由此可通过一个平移加一个旋转的形式建立探测器与飞行器之间的坐标变换关系，此变换关系视为定值,因此，当已知飞行器位姿参数的情况下，可以根据式①建立基准图和实时图之间的变换关系，将基准图做相应的映射变化，使其能更好的匹配实时图，保证匹配的鲁棒性；
选取独立像元素、边缘密度、自匹配系数为评价指标，分别从一维相关性与二维相关性对红外图像的匹配性能进行分析，综合考查图像在信息量、稳定性以及区域唯一性等方面的性质；
独立像元素是能够反映图像信息量的一个分类指标，其从统计学的角度出发，反映的信息比较真实；边缘密度表征的是图像的稳定性，边缘密度越大其对应的特征信息越丰富，相应的匹配基准点越多，越能够获得较好的匹配性能；图像X的自匹配系数SEL则定义为图像X中所有子图的自匹配系数Sel(u0,v0)的均值；图像自匹配系数越大，表明该图像越容易出现误匹配，那么该图像就不适合选作基准图；
对于目标识别来说，基准图制备的重点在于图像的增强与特征的选取，而对于导航制导来说，基准图制备的核心环节是匹配区的选取；在得到可识别性特征参数较好的匹配区后，根据基准图的大小、数量以及格式等要求，即可确定基准图的目标选取区域，然后根据飞行器的飞行参数对目标基准图进行映射变换就能得到用于导航匹配的基准图；基准图制备完成后，采用相关的匹配算法，通过匹配的准确性即可对生成基准图的好坏进行有效的仿真评估。
基于NSTC算法的红外基准图像算法流程如图2，去噪方法为：首先对输入的红外图像进行灰度变换，将红外图像转换成灰度图像；然后通过NSP滤波器进行系数分解，得到高频子带系数和低频子带系数，对高频子带系数进行收缩阈值处理，对低频子带系数进行中值滤波处理；最后，通过NSDFB合成处理后的高频子带系数和低频子带系数，得到不含噪声的红外图像。去噪效果如图3所示，图中第一列(a)为原始图像，第二列(b)为添加噪声后的图像，第三列(c)为去噪后的图像。实验结果来看，NSCT算法的去噪效果较好，不但保留了原始图像的细节信息，还有效的去除了噪声的干扰。
在视觉传感器采集图像的过程中，由于环境、传感器镜头、噪声等的干扰，使得采集后的图像与实际图像并非完全一致产生图像畸变，常见的图像畸变类有图像径向失真、仿射变换以及因视角变化引起的投影变换；
针对上述几种不同的图像畸变，现有的图像畸变校正方法总体可以分成参考点校正、系统校正以及其两者的结合体三种类型。其中，系统校正方法简单，易于实现，但是存在精度不高的缺陷；参考点校正需要选取参考点，过程复杂，但是其精度较高，适用于精度要求较高的系统；
数字图像中的像素坐标都是以整数的形式定义的，但我们通过校正模型映射的校正后图像上的坐标可能会对应到非整的情况，在这种情况下，其对应的像素值是没有定义的，需要我们通过一定的方式赋予其像素值，这个过程就是像素值恢复，也称为灰度插值。
目前，比较典型的方法就是最近邻插值，如图4所示。从图4中可以大体的看出，最近邻插值就是将点处的灰度值赋给转换后的最近整数点。最近邻插值是比较简单的像素插值方法，但其精度不高。在精度要求比较高的情况下，我们可以考虑双线性内插法以及二维B样条函数插值法。
基准图的制备根据任务层次可以分为用于目标识别的基准图以及用于导航制导的基准图，用于目标识别的基准图制备相对比较简单，对模板图像进行预处理，然后把根据成像系统参数和飞行参数进行映射变换即可得到；用于导航制导的基准图，制备过程相对比较复杂，需要对整幅图像进行可识别性特征分析，对基准图不同区域的匹配性能高低进行分类，然后根据分析结果区分匹配区和非匹配区；如图7所示(第一列为目标识别任务基准图，第二列为导航制导任务基准图)。图7中S1，S2，S3，三块红色区域代表经过可识别性特征分析得到的匹配区，其他的区域为非匹配区，在非匹配区中特征参数不达标，容易出现误匹配，不适合作为基准图。
5、根据权利要求1所述的一种红外基准图制备方法，其特征在于，采用下述方法进行匹配算法及性能评估；
检验基准图的匹配性能，最有效的方法是进行挂载飞行实验，但是这种方法会耗费大量的人力、物力、财力。所以，本发明在实验室条件下，通过匹配仿真的方法，对基准图的匹配性能进行检验；通过建立逼真的仿真环境、大幅提高仿真的次数等方法确保匹配仿真结果可信、可靠；
针对基准图任务层次的不同，发明中分别采用基于灰度和基于特征两种不同类型的匹配算法对基准图制备的性能进行评估；其中，基于灰度的匹配算法采用目前工程实际中应用最广泛、得到普遍认可的归一化积相关算法；基于特征的匹配算法采用匹配能力，具有平移、旋转、仿射变换、视角变换和光照变换的SIFT匹配算法。
归一化积相关算法对于图像X和图像Y(大小均为n×n)计算归一化积相关系数RNProd，0≤RNProd≤1；当RNProd＝1时，说明两图像信息完全一致；通过RNProd值的大小，便可以判断X图像和Y图像的相似程度；
SIFT是建立在尺度空间上的一种局部特征匹配方法，能够提取图像的稳定特征，当SIFT算法中待检测特征点与(标记为×号)周围的26个像素进行比较，取极大值或极小值时，即为局部极值；这些局部极值点需要通过多项式函数拟合提高精度中，而其中一些稳定性和匹配性较差的边缘点，需要设置一定的阈值和采用Hessian矩阵移除；
为了添加特征点的旋转不变性，在得到较好的局部极值点后，为其计算方向；在一般情况下，一个SIFT特征点的特征向量采用其周围的4个种子进行描述，每个种子点具有八个方向的维度，因此SIFT特征描述子是一个具有32维度的特征向量；当对特征点的匹配稳定性要求较高时，可以将其增加到128维。
一种红外基准图评价方法，方法如下：
信息量、稳定性以及区域唯一性是选取基准图的关键因素，独立像元素、边缘密度以及图像的自匹配系数是导航区选取的重要指标参数，以此为基础对模板图像的可识别性特征分析结果如图9所示。图中从左到右依次为待选取的基准图模板、边缘密度提取结构、特征提取结果以及匹配区选择结果，第四幅图像的红色部分为匹配区，此区域内边缘密度较大，特征比较多，具有较大的信息量、稳定性和唯一性较好。
为充分验证说明上述匹配区选取的有效性，实验分别选取了两个基准图：基准图1，选自评价指标较好的匹配区部分；基准图2，选自评价指标较差的非匹配区部分。两个基准图选取结果如图10、11所示，其对应的评价指标参数如表1所示。由评价结果可以预测基准图1具有较好的匹配性，基准图2具有较差的匹配性。
表1基准图评价指标参数
基准图3是在不同高度、飞行器姿态角下的制备结果，其任务层次为目标识别，大小为，其具体参数如表2所示。
表2基准图3中对应的飞行器位置和姿态参数
为充分验证实验中根据评价指标参数所得出的结论，选取了图像序列中的四幅图像(如图12所示)作为实时图进行了匹配实验，实验结果如图13和图14所示。从实验结果可以知道，对于基准图1，无论是模板匹配，还是SIFT特征匹配，匹配的结果都比较准确；而对于基准图2，模板匹配只有两次成功，匹配概率只有50％，特征匹配一次都没成功，匹配概率为0，其原因是提取的特征过少。由此实验结果可以充分说明参考评价指标参数选取的基准图具有较好的匹配性、稳定性和唯一性，是比较理性的基准图。
图15、16、17为基准图3的匹配结果，基准图选择为飞行器高度1000、姿态角都为0的情况下的基准图，实时图为不同时段的实时采集图像。从匹配结果看，制备的基准图能够较好完成匹配，具有较好的匹配性、稳定性和唯一性。
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种红外基准图制备方法，其特征在于，包括以下步骤：
S1、采用NSCT算法去除红外探测器采集图像过程中引入的噪声干扰，参考点矫正方法进行畸变矫正，得到处理后的图像；
NSCT算法由NSP(Non-subsampled Pyramid)和NSDFB(Non-subsampled DirectionalFilter Bank)两部分构成；其中，NSP为去掉下采样的图像分解滤波器，完成图像的多层分解，并从分解结果系数中筛选奇异点；NSDFB为图像合成滤波器，将NSP筛选的奇异点进行合成，并分析其方向；使得处理后的图像视觉特征和信息更加完整、方向选择性更强；
S2、制备用于目标识别的基准图和用于导航制导的基准图：
建立三个坐标系：世界坐标系(Xw,Yw,Zw)、摄像机坐标系(Xc,Yc,Zc)以及图像坐标系(u，v)，其中图像坐标系是一个二维坐标系，与相机坐标系平行，仅反映图像中各像素之间的位置关系；设P为3D空间中的一点，在摄像机坐标系下的坐标为(xw,yw,zw)，其通过光心投影到像平面上，此时会在虚像平面上交于一点PI，对应坐标是(x,y,f)，映射到图像坐标系上的坐标为(u，v)；
设fx是焦距在X方向上的分量，fy是焦距在Y方向的分量,由此就能够得到相机的内参数矩阵此矩阵中的参数是由相机的结构决定的，可以通过外部标定的方式获得,(xc,yc,zc)和(xw,yw,zw)分别表示摄像机坐标系和世界坐标系中点P的坐标，RWC表示两个坐标系之间的转动量，twc＝(tx,ty,tz)T表示两个坐标系之间的平移量,定义成像系统的外参数矩阵为有六个自由度，可得到成像系统模型的最终描述：
红外探测器安装位姿是固定不变，由此可通过一个平移加一个旋转的形式建立探测器与飞行器之间的坐标变换关系，此变换关系视为定值,因此，当已知飞行器位姿参数的情况下，可以根据式①建立基准图和实时图之间的变换关系，将基准图做相应的映射变化，使其能更好的匹配实时图，保证匹配的鲁棒性；
选取独立像元素、边缘密度、自匹配系数为评价指标，分别从一维相关性与二维相关性对红外图像的匹配性能进行分析，综合考查图像在信息量、稳定性以及区域唯一性等方面的性质；
独立像元素是能够反映图像信息量的一个分类指标，其从统计学的角度出发，反映的信息比较真实；边缘密度表征的是图像的稳定性，边缘密度越大其对应的特征信息越丰富，相应的匹配基准点越多，越能够获得较好的匹配性能；图像X的自匹配系数SEL则定义为图像X中所有子图的自匹配系数Sel(u0,v0)的均值；图像自匹配系数越大，表明该图像越容易出现误匹配，那么该图像就不适合选作基准图；
对于目标识别来说，基准图制备的重点在于图像的增强与特征的选取，而对于导航制导来说，基准图制备的核心环节是匹配区的选取；在得到可识别性特征参数较好的匹配区后，根据基准图的大小、数量以及格式等要求，即可确定基准图的目标选取区域，然后根据飞行器的飞行参数对目标基准图进行映射变换就能得到用于导航匹配的基准图；基准图制备完成后，采用相关的匹配算法，通过匹配的准确性即可对生成基准图的好坏进行有效的仿真评估。
2.根据权利要求1所述的一种红外基准图制备方法，其特征在于，基于NSTC算法的红外基准图像去噪方法为：首先对输入的红外图像进行灰度变换，将红外图像转换成灰度图像；然后通过NSP滤波器进行系数分解，得到高频子带系数和低频子带系数，对高频子带系数进行收缩阈值处理，对低频子带系数进行中值滤波处理；最后，通过NSDFB合成处理后的高频子带系数和低频子带系数，得到不含噪声的红外图像。
3.根据权利要求1所述的一种红外基准图制备方法，其特征在于，在视觉传感器采集图像的过程中，由于环境、传感器镜头、噪声等的干扰，使得采集后的图像与实际图像并非完全一致产生图像畸变，常见的图像畸变类有图像径向失真、仿射变换以及因视角变化引起的投影变换；
参考点校正需要选取参考点，过程复杂，但是其精度较高，适用于精度要求较高的系统；
数字图像中的像素坐标都是以整数的形式定义的，但我们通过校正模型映射的校正后图像上的坐标可能会对应到非整的情况，将最近邻插值就是将点处的灰度值赋给转换后的最近整数点；最近邻插值是比较简单的像素插值方法，但其精度不高；在精度要求比较高的情况下，我们可以考虑双线性内插法以及二维B样条函数插值法。
4.根据权利要求1所述的一种红外基准图制备方法，其特征在于，基准图的制备根据任务层次可以分为用于目标识别的基准图以及用于导航制导的基准图，用于目标识别的基准图制备相对比较简单，对模板图像进行预处理，然后把根据成像系统参数和飞行参数进行映射变换即可得到；用于导航制导的基准图，制备过程相对比较复杂，需要对整幅图像进行可识别性特征分析，对基准图不同区域的匹配性能高低进行分类，然后根据分析结果区分匹配区和非匹配区。
5.根据权利要求1所述的一种红外基准图制备方法，其特征在于，采用下述方法进行匹配算法及性能评估；
本发明在实验室条件下，通过匹配仿真的方法，对基准图的匹配性能进行检验；通过建立逼真的仿真环境、大幅提高仿真的次数等方法确保匹配仿真结果可信、可靠；
针对基准图任务层次的不同，发明中分别采用基于灰度和基于特征两种不同类型的匹配算法对基准图制备的性能进行评估；
其中，基于灰度的匹配算法采用归一化积相关算法：
归一化积相关算法对于图像X和图像Y(大小均为n×n)计算归一化积相关系数RNProd，0≤RNProd≤1；当RNProd＝1时，说明两图像信息完全一致；通过RNProd值的大小，便可以判断X图像和Y图像的相似程度；
基于特征的匹配算法采用匹配能力，具有平移、旋转、仿射变换、视角变换和光照变换的SIFT匹配算法：
SIFT是建立在尺度空间上的一种局部特征匹配方法，能够提取图像的稳定特征，当SIFT算法中待检测特征点与(标记为×号)周围的26个像素进行比较，取极大值或极小值时，即为局部极值；这些局部极值点需要通过多项式函数拟合提高精度中，而其中一些稳定性和匹配性较差的边缘点，需要设置一定的阈值和采用Hessian矩阵移除；
为了添加特征点的旋转不变性，在得到较好的局部极值点后，为其计算方向；在一般情况下，一个SIFT特征点的特征向量采用其周围的4个种子进行描述，每个种子点具有八个方向的维度，因此SIFT特征描述子是一个具有32维度的特征向量；当对特征点的匹配稳定性要求较高时，可以将其增加到128维。
6.一种红外基准图评价方法，其特征在于，
选取两个基准图：
基准图1，选自评价指标较好的匹配区部分；
基准图2，选自评价指标较差的非匹配区部分；
列出两个基准图的独立像元素、边缘密度以及图像的自匹配系数并进行对比；
选取基准图3：在不同高度、飞行器姿态角下的制备结果，其任务层次为目标识别，大小为100×100；
选取基准图3图像序列中的四幅图像作为实时图进行匹配实验得出匹配结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910809659.4A CN110503679A (zh) | 2019-08-29 | 2019-08-29 | 一种红外基准图制备与评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910809659.4A CN110503679A (zh) | 2019-08-29 | 2019-08-29 | 一种红外基准图制备与评价方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110503679A true CN110503679A (zh) | 2019-11-26 |
Family
ID=68590436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910809659.4A Pending CN110503679A (zh) | 2019-08-29 | 2019-08-29 | 一种红外基准图制备与评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110503679A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111006673A (zh) * | 2020-01-03 | 2020-04-14 | 中仿智能科技（上海）股份有限公司 | 一种模拟飞行器基于路标和景象匹配视觉导航系统 |
| CN111046960A (zh) * | 2019-12-17 | 2020-04-21 | 湖北航天技术研究院总体设计所 | 一种异源图像分区匹配的方法 |
| CN111256696A (zh) * | 2020-02-24 | 2020-06-09 | 武汉大学 | 多特征多层次景象匹配的飞行器自主导航方法 |
| CN111612007A (zh) * | 2020-05-19 | 2020-09-01 | 黑龙江工业学院 | 一种基于图像采集和修正的英语二级盲文转换系统 |
| CN111667426A (zh) * | 2020-06-04 | 2020-09-15 | 四川轻化工大学 | 一种基于频域变分的医学图像增强方法 |
| CN113344002A (zh) * | 2021-07-29 | 2021-09-03 | 北京图知天下科技有限责任公司 | 一种目标坐标去重方法、系统、电子设备及可读存储介质 |
| CN113920065A (zh) * | 2021-09-18 | 2022-01-11 | 天津大学 | 用于工业现场的视觉检测系统成像质量评价方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5275354A (en) * | 1992-07-13 | 1994-01-04 | Loral Vought Systems Corporation | Guidance and targeting system |
| CN101509782A (zh) * | 2009-03-09 | 2009-08-19 | 华中科技大学 | 一种小型地标捕获定位方法 |
| CN103093193A (zh) * | 2012-12-28 | 2013-05-08 | 中国航天时代电子公司 | 一种空地图像制导武器目标识别方法 |
| CN106709501A (zh) * | 2015-11-16 | 2017-05-24 | 中国科学院沈阳自动化研究所 | 一种图像匹配系统的景象匹配区域选择与基准图优化方法 |
| CN108205645A (zh) * | 2016-12-20 | 2018-06-26 | 中国科学院沈阳自动化研究所 | 一种异源图像匹配系统的基准图质量评价方法 |
| CN110009583A (zh) * | 2019-03-28 | 2019-07-12 | 上海交通大学 | 基于灰度均衡和nsct分解的红外图像预处理方法 |
-
2019
- 2019-08-29 CN CN201910809659.4A patent/CN110503679A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5275354A (en) * | 1992-07-13 | 1994-01-04 | Loral Vought Systems Corporation | Guidance and targeting system |
| CN101509782A (zh) * | 2009-03-09 | 2009-08-19 | 华中科技大学 | 一种小型地标捕获定位方法 |
| CN103093193A (zh) * | 2012-12-28 | 2013-05-08 | 中国航天时代电子公司 | 一种空地图像制导武器目标识别方法 |
| CN106709501A (zh) * | 2015-11-16 | 2017-05-24 | 中国科学院沈阳自动化研究所 | 一种图像匹配系统的景象匹配区域选择与基准图优化方法 |
| CN108205645A (zh) * | 2016-12-20 | 2018-06-26 | 中国科学院沈阳自动化研究所 | 一种异源图像匹配系统的基准图质量评价方法 |
| CN110009583A (zh) * | 2019-03-28 | 2019-07-12 | 上海交通大学 | 基于灰度均衡和nsct分解的红外图像预处理方法 |
Non-Patent Citations (7)
| Title |
|---|
| XIAOLIN GONG 等: "A Modified Nonlinear Two-Filter Smoothing for High-Precision Airborne Integrated GPS and Inertial Navigation", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》 * |
| 熊斌 等: "基于三维模型的前视红外目标匹配识别方法", 《激光与红外》 * |
| 纪华: "仿射不变特征提取及其在景象匹配中的应用", 《中国博士学位论文全文数据库 信息科技辑》 * |
| 苏娟 等: "一种基于边缘匹配的前视红外目标识别算法", 《兵工学报》 * |
| 范静涛 等: "《沉浸式投影系统设计技术》", 30 June 2015, 北京：国防工业出版社 * |
| 郑刚 等: "前视红外视觉导航定点修正导航区选取方法", 《吉林大学学报(信息科学版)》 * |
| 齐乃新 等: "基于改进邻域收缩法的非下采样Contourlet变换域红外图像去噪", 《科学技术与工程》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111046960A (zh) * | 2019-12-17 | 2020-04-21 | 湖北航天技术研究院总体设计所 | 一种异源图像分区匹配的方法 |
| CN111046960B (zh) * | 2019-12-17 | 2023-04-07 | 湖北航天技术研究院总体设计所 | 一种异源图像分区匹配的方法 |
| CN111006673A (zh) * | 2020-01-03 | 2020-04-14 | 中仿智能科技（上海）股份有限公司 | 一种模拟飞行器基于路标和景象匹配视觉导航系统 |
| CN111256696A (zh) * | 2020-02-24 | 2020-06-09 | 武汉大学 | 多特征多层次景象匹配的飞行器自主导航方法 |
| CN111256696B (zh) * | 2020-02-24 | 2021-11-26 | 武汉大学 | 多特征多层次景象匹配的飞行器自主导航方法 |
| CN111612007A (zh) * | 2020-05-19 | 2020-09-01 | 黑龙江工业学院 | 一种基于图像采集和修正的英语二级盲文转换系统 |
| CN111667426A (zh) * | 2020-06-04 | 2020-09-15 | 四川轻化工大学 | 一种基于频域变分的医学图像增强方法 |
| CN111667426B (zh) * | 2020-06-04 | 2023-10-13 | 四川轻化工大学 | 一种基于频域变分的医学图像增强方法 |
| CN113344002A (zh) * | 2021-07-29 | 2021-09-03 | 北京图知天下科技有限责任公司 | 一种目标坐标去重方法、系统、电子设备及可读存储介质 |
| CN113344002B (zh) * | 2021-07-29 | 2022-02-01 | 北京图知天下科技有限责任公司 | 一种目标坐标去重方法、系统、电子设备及可读存储介质 |
| CN113920065A (zh) * | 2021-09-18 | 2022-01-11 | 天津大学 | 用于工业现场的视觉检测系统成像质量评价方法 |
| CN113920065B (zh) * | 2021-09-18 | 2023-04-28 | 天津大学 | 用于工业现场的视觉检测系统成像质量评价方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110503679A (zh) | 一种红外基准图制备与评价方法 | |
| Zhang et al. | CAD-Net: A context-aware detection network for objects in remote sensing imagery | |
| Merkle et al. | Exploring the potential of conditional adversarial networks for optical and SAR image matching | |
| CN109615611B (zh) | 一种基于巡检影像的绝缘子自爆缺陷检测方法 | |
| CN103914847B (zh) | 基于相位一致性和sift的sar图像配准方法 | |
| CN108604301B (zh) | 用于大rgb-d扫描的可缩放自动全局配准的基于关键点的点对特征 | |
| Liu et al. | Automated vehicle extraction and speed determination from QuickBird satellite images | |
| CN105957054B (zh) | 一种图像变化检测方法 | |
| CN106651942A (zh) | 基于特征点的三维旋转运动检测与旋转轴定位方法 | |
| Hong et al. | A robust technique for precise registration of radar and optical satellite images | |
| JP2011513881A (ja) | ターゲットに関する雲状３ｄデータ点群の複数のフレームを記録する方法。 | |
| CN104599258A (zh) | 一种基于各向异性特征描述符的图像拼接方法 | |
| CN114004977B (zh) | 一种基于深度学习的航拍数据目标定位方法及系统 | |
| CN110232387A (zh) | 一种基于kaze-hog算法的异源图像匹配方法 | |
| CN106250898B (zh) | 一种基于尺度预测的图像局部区域特征提取方法 | |
| CN112907520A (zh) | 基于端到端深度学习方法的单株树冠检测方法 | |
| CN108447092B (zh) | 视觉定位标识物的方法及装置 | |
| CN114897705A (zh) | 一种基于特征优化的无人机遥感图像拼接方法 | |
| CN114694043A (zh) | 复杂场景下机载多光谱多域优选特征的地面伤员识别方法、装置及介质 | |
| CN110060199A (zh) | 一种基于彩色和深度信息的植株图像快速拼接方法 | |
| CN109711420A (zh) | 基于人类视觉注意机制的多仿射目标的检测与识别方法 | |
| Koizumi et al. | Development of attitude sensor using deep learning | |
| CN115880371A (zh) | 一种红外视角下反光靶标中心定位方法 | |
| CN108509906B (zh) | 无人机航拍路基线光点捕捉双阈值Radon识别方法 | |
| Tang et al. | UAV Visual Localization Technology Based on Heterogenous Remote Sensing Image Matching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20191126 |
|
| WD01 | Invention patent application deemed withdrawn after publication |