CN103632338A - 一种基于匹配曲线特征的图像配准评估法 - Google Patents
一种基于匹配曲线特征的图像配准评估法 Download PDFInfo
- Publication number
- CN103632338A CN103632338A CN201310645358.5A CN201310645358A CN103632338A CN 103632338 A CN103632338 A CN 103632338A CN 201310645358 A CN201310645358 A CN 201310645358A CN 103632338 A CN103632338 A CN 103632338A
- Authority
- CN
- China
- Prior art keywords
- registration
- peak
- curve
- image
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
对配准结果的定量评估,是图像配准领域的一个重要内容。许多学者提出以像素物理坐标RMSE、MSE或者像素灰度的CC、NMI等来评估配准结果,但这些方法通常用来对单模态或者回顾性多模态图像的配准进行评估,而真实的多模态图像配准由于没有准确的衡量标准,很难给出定量的评估结果。通过对图像匹配曲线的研究,本发明提出一种新的配准评估方法——匹配曲线特征评估法,以匹配曲线的峰度、峰偏、峰值以及峰值间均方根误差(RMSE)为定量评估指标,基于峰偏和峰值间RMSE给出定量评估结果。该发明不仅能够从曲线的光滑度、尖锐度等特性直观描述配准性能,并能由曲线的特征指标定量评估配准效果,对于亚像素级配准,给出的评估结果比较准确。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种基于匹配曲线特征的图像配准评估方法。
背景技术
图像配准是图像分析领域里一个重要环节。图像配准计算一般包含5个方面内容:图像预处理、配准测度、优化算法(或者匹配算法)、图像插值以及配准结果评估。已有的研究表明,配准测度通常都可以用来定量评估配准效果。对单模态图像一般采用灰度的均方根误差(RMSE)、均方误差(MSE)、峰值信噪比(PSNR)、相关系数(CC)、结构相似度(SSIM)等;而多模态图像一般采用互信息(MI或者NMI)评估配准精度,如果是回顾性图像配准实验则采用基于图像像素物理坐标的RMSE,既适用于单模态,也适用于多模态图像的配准精度评估。
上述评估方法都有其局限性,只有互信息、物理坐标的RMSE或者MSE适用于回顾性多模态图像配准评估;对于真实的多模态图像配准,由于没有准确的衡量标准,很难给出定量的评估结果。
发明内容
针对上述问题,本发明提出一种新的配准评估方法——匹配曲线特征评估法(Matching Curve feature evaluation,MCfe),以匹配曲线的峰度(kurtosis)、峰偏(peak deviation,即全局最大值出现的位置与最优位置的偏差)、峰值(maximum,即全局最大值)以及峰值间的均方根误差(RMSE)等特征为定量指标,并给出综合评估结果。由于本发明采用修正的结构相似度函数(Modified Structural Similarity ,MSSIM)为配准测度,使MCfe算法既适用于单模态图像,也适用于多模态图像配准评估。具体步骤为:
第一步:对图像进行配准,得到配准参数;
第二步:以得到的配准参数对原始浮动图像做空间变换,使其与参考图像配准;
第三步:以修正的结构相似度函数MSSIM为测度,给出配准后的浮动图像与原始参考图像的匹配曲线,MSSIM度量值由下式得到:
其中为了保证曲线光滑采用样条插值法,平移以“像素”为单位,旋转角以“度”为单位,平移步长为0.2 像素,旋转步长为0.2 °,缩放步长为0.005;
第四步:计算匹配曲线的峰度、峰偏、峰值以及峰值间RMSE,具体定义和计算公式如下:
1)峰度(kurtosis)
峰度是用来衡量分布的集中程度或分布曲线的尖峭程度的统计量,它是和正态分布相比较的,直观看来,峰度能够反映上凸函数曲线峰值附近的尖锐度以及尾部的厚度,其定义为:
2)峰偏(peak deviation)
不同于统计学的偏度(Skewness),峰偏指全局最大值(即峰值)出现的位置与最优位置的偏差,平移、旋转曲线的最优位置为0位置,缩放曲线的最优位置为1位置,图像完全对齐时,全局最大值将处于最优位置,反之,偏离最优位置,偏离度由峰偏表示,峰偏理想值为0:
3)峰值(maximum)
4)峰值间均方根误差(Root Mean Square Error,RMSE)
峰值间RMSE反映了各曲线峰值的一致程度,因而也反映图像之间的对齐度,即配准精度,图像完全对齐时,峰值间RMSE理想值为0:
N为配准变换的自由度,说明一点,这里的maxinum_RMSE实际上相当于标准误差;
第五步:给出定量评估结果,依次为:
1)计算匹配曲线平均加权峰偏
2)给出定量评估结果
由匹配曲线平均加权峰偏和全局最大值的相对误差得到评估指标:
其中
则配准误差定量评估值为
(9)
当评估指标evaluation_index < 1时,匹配曲线定量评估值evaluation_RMSE能够比较准确反映图像真实的配准误差,此时配准误差通常小于2像素;当evaluation_index < 1并且evaluation_RMSE < 1时,图像配准精度一般达到了亚像素级。
MCfe评估算法采用的配准测度可以是MSSIM,还可以推广为其它凸或者凹配准测度,比如相似性测度有相关系数(CC)、归一化互相关(NCC)、结构相似度(SSIM)、互信息(MI)以及归一化互信息(NMI)等等,相异性测度(既距离测度)有灰度的距离测度SSD、SAD、RC,迭代最近点算法(ICP)里的欧氏距离,倒角距离,Hausdorff 距离以及信息论中的汉明距离等。
有益效果
本发明提出的MCfe评估算法不仅能够从曲线的光滑度、尖锐度等形态特性直观描述配准性能,并能由曲线的峰度、峰偏、峰值、峰值间RMSE给出定量评估结果,是一种通用的配准评估算法,既适用于单模态图像,也适用于多模态图像配准评估。
尤其是真实的多模态图像配准,由于没有准确的衡量标准,传统的配准方法很难给出准确的评估结果;而MCfe评估算法能够比较准确地评判是否达到亚像素级配准,同时当配准精度达到亚像素级时,能够给出比较准确的定量评估结果。
附图说明
图1为下载的多源遥感图像,其中图1(g)和(h)大小为150*150像素,其余图像大小均为128*128像素。
图2为4组图像的配准结果图,以(0.5*原始参考图像+0.5*配准后浮动图像)融合图像表示。
图3中表1为单模态图像仿真实验的评估结果表。
图4中表2为真实的多模态图像评估结果表。
具体实施方式
下面结合附图和实施例进一步说明本发明的方法步骤:
第一步:读入图像,作为原始参考图像(附图1),然后沿方向向左水平移动30个像素,方向向下垂直移动20 个像素,旋转(-15)度(设顺时针旋转为正方向),整体放大1.25倍,空间变换后的图像作为浮动图像;
第二步:采用Fourier-Mellin变换算法进行快速的粗配准,得到粗配准参数,然后以MSSIM为测度,采用Brent一维搜索算法及改进的Powell多维方向优化算法进行精确配准,获得精配准参数;
第三步:以粗配准参数对原始浮动图像做空间变换,然后给出配准后的浮动图像与原始参考图像的匹配曲线,其中采用样条插值法,平移步长为0.2 像素,旋转步长为0.2 °,缩放步长为0.005;
第四步:基于MCfe算法计算峰度、峰偏、峰值、峰值间RMSE,给出粗配准定量评估结果如图3中表1所示;
第五步:以精配准参数对原始浮动图像做空间变换,重复上述第三步、第四步,给出精配准定量评估结果如图3中表1所示;
第六步:为了验证MCfe评估方法的有效性,任意设定几组配准参数,重复上述第三步、第四步,给出定量评估结果如图3中表1所示;
第七步:读入多模态两幅图像如图1所示,分别作为参考图像和浮动图像,重复上述第二步到第五步,给出真实的多模态图像配准效果如图2所示和定量评估结果如图4中表2所示。
Claims (3)
1.一种新的图像配准评估方法——匹配曲线特征评估法(Matching Curve feature evaluation,MCfe),其特征在于:提出以匹配曲线的峰度、峰偏、峰值以及各曲线峰值间均方根误差(RMSE)作为定量评估指标,同时给出各个评估指标的具体定义,最后根据峰偏和峰值间RMSE给出定量评估结果,具体步骤为:
第一步:对图像进行配准,得到配准参数;
第二步:以得到的配准参数对原始浮动图像做空间变换,使其与参考图像配准;
第三步:以修正的结构相似度函数MSSIM为测度,给出配准后的浮动图像与原始参考图像的匹配曲线,MSSIM度量值由下式得到:
(1)
其中为了保证曲线光滑采用样条插值法,平移以“像素”为单位,旋转角以“度”为单位,平移步长为0.2 像素,旋转步长为0.2 °,缩放步长为0.005;
第四步:计算匹配曲线的峰度、峰偏、峰值以及峰值间RMSE,具体定义和计算公式如下:
1)峰度(kurtosis)
峰度是用来衡量分布的集中程度或分布曲线的尖峭程度的统计量,它是和正态分布相比较的,直观看来,峰度能够反映上凸函数曲线峰值附近的尖锐度以及尾部的厚度,其定义为:
2)峰偏(peak deviation)
不同于统计学的偏度(Skewness),峰偏指全局最大值(即峰值)出现的位置与最优位置的偏差,平移、旋转曲线的最优位置为0位置,缩放曲线的最优位置为1位置,图像完全对齐时,全局最大值将处于最优位置,反之,偏离最优位置,偏离度由峰偏表示,峰偏理想值为0:
3)峰值(maximum)
4)峰值间均方根误差(Root Mean Square Error,RMSE)
峰值间RMSE反映了各曲线峰值的一致程度,因而也反映图像之间的对齐度,即配准精度,图像完全对齐时,峰值间RMSE理想值为0:
N为配准变换的自由度,说明一点,这里的maxinum_RMSE实际上相当于标准误差;
第五步:给出定量评估结果,依次为:
1)计算匹配曲线平均加权峰偏
2)给出定量评估结果
由匹配曲线平均加权峰偏和全局最大值的相对误差得到评估指标:
其中
则配准误差定量评估值为
2.如权利要求1 所述的匹配曲线特征评估方法,其特征在于:其中第三步配准测度可以是MSSIM,还可以推广为其它凸或者凹配准测度,比如相似性测度有相关系数(CC)、归一化互相关(NCC)、结构相似度(SSIM)、互信息(MI)以及归一化互信息(NMI)等等,相异性测度(既距离测度)有灰度的距离测度SSD、SAD、RC,迭代最近点算法(iterative closest point,ICP)里的欧氏距离(Euclidean distance),倒角距离(chamfer distance),Hausdorff 距离以及信息论中的汉明距离(Hamming distance)等。
3.如权利要求1 所述的匹配曲线特征评估方法,其特征在于:配准变换可以是方向平移、方向平移、绕轴旋转、一致尺度缩放等4个自由度的仿射变换(N=4),还可以推广为任意多自由度的仿射变换、投影变换以及非线性变换等。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310645358.5A CN103632338B (zh) | 2013-12-05 | 2013-12-05 | 一种基于匹配曲线特征的图像配准评估法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310645358.5A CN103632338B (zh) | 2013-12-05 | 2013-12-05 | 一种基于匹配曲线特征的图像配准评估法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103632338A true CN103632338A (zh) | 2014-03-12 |
CN103632338B CN103632338B (zh) | 2016-08-31 |
Family
ID=50213356
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310645358.5A Expired - Fee Related CN103632338B (zh) | 2013-12-05 | 2013-12-05 | 一种基于匹配曲线特征的图像配准评估法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103632338B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104091319A (zh) * | 2014-06-26 | 2014-10-08 | 重庆科技学院 | 基于蒙特卡洛算法构建能量函数的碎纸图片拼接方法 |
CN105678734A (zh) * | 2014-11-21 | 2016-06-15 | 中国科学院沈阳自动化研究所 | 一种图像匹配系统的异源测试图像标定方法 |
CN106548448A (zh) * | 2016-03-29 | 2017-03-29 | 深圳Tcl新技术有限公司 | 图像处理方法及装置 |
CN106780572A (zh) * | 2016-12-12 | 2017-05-31 | 首都医科大学附属北京安贞医院 | 基于迭代最近点的自动电解剖图与ct图像配准方法和装置 |
CN107240128A (zh) * | 2017-05-09 | 2017-10-10 | 北京理工大学 | 一种基于轮廓特征的x线片和彩色照片配准方法 |
CN109146768A (zh) * | 2017-01-03 | 2019-01-04 | 成都科创知识产权研究所 | 图像变换方法、系统及应用 |
CN113034553A (zh) * | 2019-12-09 | 2021-06-25 | Oppo广东移动通信有限公司 | 图像配准算法的评估方法、终端及存储介质 |
WO2022141531A1 (zh) * | 2020-12-31 | 2022-07-07 | 西安大医集团股份有限公司 | 图像配准评估方法、装置、电子设备及可读存储介质 |
US11538176B2 (en) | 2015-12-15 | 2022-12-27 | Koninklijke Philips N.V. | Image processing systems and methods |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010091494A1 (en) * | 2009-02-11 | 2010-08-19 | Ecole De Technologie Superieure | Method and system for determining structural similarity between images |
CN102509114A (zh) * | 2011-11-22 | 2012-06-20 | 李京娜 | 基于改进的结构相似度的图像配准方法 |
-
2013
- 2013-12-05 CN CN201310645358.5A patent/CN103632338B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010091494A1 (en) * | 2009-02-11 | 2010-08-19 | Ecole De Technologie Superieure | Method and system for determining structural similarity between images |
CN102509114A (zh) * | 2011-11-22 | 2012-06-20 | 李京娜 | 基于改进的结构相似度的图像配准方法 |
Non-Patent Citations (4)
Title |
---|
BARBARA ZITOVA 等: ""Image registration methods:a survey"", 《IMAGE AND VISION COMPUTING》 * |
ZHOU WANG 等: ""Image quality assessment:from error visibility to structural similarity"", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
李京娜 等: ""基于修正的结构相似度为测度的三维脑图像配准"", 《中国医学影像学杂志》 * |
李京娜 等: ""基于改进后的结构相似度的三维图像配准"", 《光电工程》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104091319A (zh) * | 2014-06-26 | 2014-10-08 | 重庆科技学院 | 基于蒙特卡洛算法构建能量函数的碎纸图片拼接方法 |
CN105678734A (zh) * | 2014-11-21 | 2016-06-15 | 中国科学院沈阳自动化研究所 | 一种图像匹配系统的异源测试图像标定方法 |
CN105678734B (zh) * | 2014-11-21 | 2018-09-25 | 中国科学院沈阳自动化研究所 | 一种图像匹配系统的异源测试图像标定方法 |
US11538176B2 (en) | 2015-12-15 | 2022-12-27 | Koninklijke Philips N.V. | Image processing systems and methods |
CN106548448A (zh) * | 2016-03-29 | 2017-03-29 | 深圳Tcl新技术有限公司 | 图像处理方法及装置 |
CN106780572A (zh) * | 2016-12-12 | 2017-05-31 | 首都医科大学附属北京安贞医院 | 基于迭代最近点的自动电解剖图与ct图像配准方法和装置 |
CN109146768A (zh) * | 2017-01-03 | 2019-01-04 | 成都科创知识产权研究所 | 图像变换方法、系统及应用 |
CN107240128A (zh) * | 2017-05-09 | 2017-10-10 | 北京理工大学 | 一种基于轮廓特征的x线片和彩色照片配准方法 |
CN107240128B (zh) * | 2017-05-09 | 2020-09-11 | 北京理工大学 | 一种基于轮廓特征的x线片和彩色照片配准方法 |
CN113034553A (zh) * | 2019-12-09 | 2021-06-25 | Oppo广东移动通信有限公司 | 图像配准算法的评估方法、终端及存储介质 |
WO2022141531A1 (zh) * | 2020-12-31 | 2022-07-07 | 西安大医集团股份有限公司 | 图像配准评估方法、装置、电子设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN103632338B (zh) | 2016-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103632338A (zh) | 一种基于匹配曲线特征的图像配准评估法 | |
US10008005B2 (en) | Measurement system and method for measuring multi-dimensions | |
CN111784778B (zh) | 基于线性求解非线性优化的双目相机外参标定方法和系统 | |
CN101315698B (zh) | 基于直线特征图像配准中的特征匹配方法 | |
CN109685855B (zh) | 一种道路云监控平台下的摄像机标定优化方法 | |
CN105354841B (zh) | 一种快速遥感影像匹配方法及系统 | |
CN102622747B (zh) | 一种用于视觉测量的摄像机参数优化方法 | |
JP4900204B2 (ja) | 物体認識方法 | |
CN103438826B (zh) | 激光与视觉相结合的钢板的三维测量系统及方法 | |
WO2020168685A1 (zh) | 一种三维扫描视点规划方法、装置及计算机可读存储介质 | |
CN102750697A (zh) | 一种参数标定方法及装置 | |
CN109341668B (zh) | 基于折射投影模型和光束追踪法的多相机测量方法 | |
CN103177444A (zh) | 一种sar图像自动配准方法 | |
CN103854283A (zh) | 一种基于在线学习的移动增强现实跟踪注册方法 | |
CN103106661B (zh) | 空间二条相交直线线性求解抛物折反射摄像机内参数 | |
CN102521816A (zh) | 一种云数据中心机房实时宽场景监控合成方法 | |
Hu et al. | Efficient and automatic plane detection approach for 3-D rock mass point clouds | |
CN106991705B (zh) | 一种基于p3p算法的位置参数估计方法 | |
CN107492120B (zh) | 点云配准方法 | |
CN110675440B (zh) | 三维深度数据的置信度评估方法、装置和计算机设备 | |
CN110132284A (zh) | 一种基于深度信息的全局定位方法 | |
CN103714550A (zh) | 一种基于匹配曲线特征评估的图像配准自动优化算法 | |
WO2021114026A1 (zh) | 一种基于局部参考坐标系的3d形状匹配方法及装置 | |
CN100492396C (zh) | 一种面向摄像整纬器的织物纹理图像识别方法 | |
CN116309026A (zh) | 一种基于统计局部特征描述与匹配的点云配准方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160831 Termination date: 20161205 |