CN103871063B - 一种基于点集匹配的图像配准方法 - Google Patents
一种基于点集匹配的图像配准方法 Download PDFInfo
- Publication number
- CN103871063B CN103871063B CN201410102814.6A CN201410102814A CN103871063B CN 103871063 B CN103871063 B CN 103871063B CN 201410102814 A CN201410102814 A CN 201410102814A CN 103871063 B CN103871063 B CN 103871063B
- Authority
- CN
- China
- Prior art keywords
- point set
- feature point
- image
- reference picture
- floating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000007667 floating Methods 0.000 claims abstract description 44
- 230000009466 transformation Effects 0.000 claims abstract description 16
- 238000000844 transformation Methods 0.000 claims abstract description 7
- 238000010276 construction Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 150000001875 compounds Chemical class 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 abstract description 4
- 210000003746 feather Anatomy 0.000 abstract 1
- 239000011159 matrix material Substances 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 238000013519 translation Methods 0.000 description 4
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于点集匹配的图像配准方法，通过对浮动图像和参考图像进行特征点提取，得到浮动图像特征点集和参考图像特征点集，采用了一种构造中间变换的方法，使得待匹配的二个点集之间的旋转角度小于90度。本发明通过构造由12个四元数表征的空间映射信息的集合，对于浮动图像特征点集作用这12个初始变换会得到12个中间图像特征点集，构造的这12个中间特征点集中至少会存在一个点集与参考图像特征点集的绕轴旋转角度小于等于90度。本发明可以解决任意角度的旋转点集配准，从而实现图像刚性配准。本发明在医学图像配准领域有重要的应用价值。
Description
技术领域
本发明属于图像配准技术领域，具体涉及一种基于点集匹配的图像配准的方法，应用于医学图像配准领域。
背景技术
图像配准是医学图像处理和分析的一个关键问题，它可以帮助人们进行三维重建、图像融合、图像分割以及病理分析，在医学图像领域有重要的应用价值。
图像配准一般可以分为二种，基于图像灰度信息的配准(Wells etal.1996.Multi-modal volume registration by maximization of mutualinformation)和基于图像特征的配准(Wu et al.2007.Learning best features anddeformation statistics for hierarchical registration of MR brain images)。基于图像特征配准的方法有四个主要步骤：一是对于图像进行特征提取，二是对于图像特征进行匹配，三是构造映射函数，四是对图像进行映射变换。基于图像特征配准的方法，可以不需要为特征点进行属性构造，仅仅保留特征点的位置信息，这将节省大量的时间，现有的点集匹配方法包括最近点迭代算法(Besl et al.1992.Method for registration of3-Dshapes)和高斯混合模型点集匹配方法(Jian et al.2011.Robust point setregistration using gaussian mixture models)等，但是现有的点集匹配方法都无法解决点集旋转大于90度的问题。
发明内容
(一)要解决的技术问题
本发明所要解决的技术问题是现有的图像配准方法对较大角度旋转的三维图像的配准效果不佳的问题。
(二)技术方案
(三)有益效果
本发明通过构造由12个四元数表征的空间映射信息的集合，对于用NSIFT方法从浮动图像中提取的浮动图像特征点集作用这12个初始变换会得到12个中间图像特征点集，构造的这12个中间特征点集中至少会存在一个点集与用NSIFT方法从参考图像中提取的特征点集的绕轴旋转角度小于等于90度。然后利用高斯混合模型点集匹配方法对于这12个中间图像点集分别与参考图像点集进行匹配，并求出几何变换。然后从这12个几何变换中挑选出最优的空间映射使得浮动图像经此映射变换后得到的配准图像与参考图像的差异最小。解决了现有的图像配准方法对较大角度旋转的三维图像的配准效果不佳的问题。
附图说明
图1示意了分别采用ICP、GMM和本发明的方法对于浮动图像与参考图像旋转角度为10°到180°的配准误差。
图2示意了分别采用ICP、GMM和本发明的方法对于浮动图像与参考图像旋转角度为60°时的配准直观视觉结果，(a)是参考图像切片，(b)是浮动图像切片，(c)是参考图像切片和浮动图像切片的棋盘差异图像，(d)～(f)分别表示用ICP、GMM、和本发明的方法得到的配准图像的切片，(g)～(i)分别表示用ICP、GMM和本发明的方法得到的配准图像的切片与参考图像切片的棋盘差异图像。
图3示意了分别采用ICP、GMM和本发明的方法对于浮动图像与参考图像旋转角度为90°时的配准直观视觉结果，(a)是参考图像切片，(b)是浮动图像切片，(c)是参考图像切片和浮动图像切片的棋盘差异图像，(d)～(f)分别表示用ICP、GMM和本发明的方法得到的配准图像的切片，(g)～(i)分别表示用ICP、GMM和本发明的方法得到的配准图像的切片与参考图像切片的棋盘差异图像。
图4示意了分别采用ICP、GMM和本发明的方法对于浮动图像与参考图像旋转角度为120°时的配准直观视觉结果，(a)是参考图像切片，(b)是浮动图像切片，(c)是参考图像切片和浮动图像切片的棋盘差异图像，(d)～(f)分别表示用ICP、GMM和本发明的方法得到的配准图像的切片，(g)～(i)分别表示用ICP、GMM和本发明的方法得到的配准图像的切片与参考图像切片的棋盘差异图像。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
本发明可在具有可编程能力的GPU硬件平台上实现。在一个实施例中，在NVIDIAGTX480显卡上通过CUDA接口实现。在实施该实施例之前，首先实现NSIFT在高斯差分空间对于特征点的提取，以及根据现有技术实现一个基本的高斯混合模型点集匹配方法。
步骤S1：对于浮动图像和参考图像进行特征点的提取，浮动图像和参考图像就可以表示为浮动图像特征点集和参考图像特征点集。
利用GPU加速(CUDA)根据文献(Cheung et al.2007.Scale invariant featuretransform for n-dimensional images)中的方法构造高斯差分金字塔对浮动图像和参考图像快速检测关键点，在获取关键点时，我们仅保留其位置信息，而不对关键点进行描述子构造这一步。得到浮动图像特征点集参考图像特征点集
步骤S2：构造中间图像特征点集，根据构造的12个四元数表征的空间映射信息的集合，对于浮动点集分别作用这12个空间映射，我们可以得到12个中间图像特征点集。
假定四元数q1，q2….q12分别代表上述集合Ω的第一个到第12个元素，四元数和旋转矩阵满足一下关系式：
q＝(r1，r2，r3，r4)T的空间旋转信息可以用旋转矩阵R表示为：
可以求出q1，q2……q12所对应的旋转矩阵R1，R2……R12。对浮动点集分别作用这12个旋转矩阵，我们得到12个中间图像的特征点集为
步骤S3：利用高斯混合模型点集匹配方法对于这12个中间图像点集分别与参考图像点集进行匹配。求出几何变换。这12个几何变换分别与步骤2所对应的空间映射进行复合运算，得到从浮动图像特征点集到参考图像特征点集的最终空间映射12个。
因为在P1，P2……P12这12个点集中至少存在着一个点集，它与参考图像特征点集之间的绕轴旋转角度小于或等于90度，而高斯混合点集匹配方法能完美解决旋转角度小于90的点集匹配方法。对这P1，P2……P12与F分别利用高斯混合模型点集匹配方法算出几何变换分别为RPF1，t1；RPF2，t2，……RPF12，t12(RPF1；RPF2，……RPF12是旋转矩阵，t1；t2，……t12是平移向量)。
这12个几何变换分别与步骤2所对应的空间映射进行复合运算，得到的最终的12个空间映射为：RPF1R1，t1；RPF2R2，t2，……RPF12R12，t12(RPF1R1；RPF2R2，……RPF12R12是复合后旋转矩阵，t1；t2，……t12是平移向量)。
步骤S4我们对浮动图像用以RPF1R1为旋转矩阵，t1为平移向量进行几何变换得到配准图像registration1，以RPF2R2为旋转矩阵，t2为平移向量进行几何变换得到配准图像registration2……以RPF12R12为旋转矩阵，t12为平移向量进行几何变换得到配准图像registration12。然后在这12幅配准图像registration1，registration2……registration12中挑选与参考图像最相近的图片。
至此，我们就完成了图像配准。
图1示意了ICP，GMM，和本发明的方法对于浮动图像与参考图像旋转角度为10°到180°的配准误差(当误差较大时，认为没有完成配准，不记录此次误差)。
从图1中可以看出，当旋转角度大于60度时，ICP的配准方法会失效。当旋转角度大于90度时，GMM的配准方法会失效，本发明的方法在任意旋转角度都能对图像做很好的配准。
图2示意了ICP，GMM，和本发明的方法对于浮动图像与参考图像旋转角度为60°时的配准直观视觉结果，(a)是参考图像切片，(b)是浮动图像切片，(c)是参考图像切片和浮动图像切片的棋盘差异图像，(d)-(f)分别表示用ICP，GMM，和本发明的方法得到的配准图像的切片，(g)-(i)分别表示用ICP，GMM，和本发明的方法得到的配准图像的切片与参考图像切片的棋盘差异图像。
从图2中可以看出，当旋转角度为60度的时候，ICP，GMM，和本发明的方法都很很好的对图像进行配准。
图3示意了ICP，GMM，和本发明的方法对于浮动图像与参考图像旋转角度为90°时的配准直观视觉结果，(a)是参考图像切片，(b)是浮动图像切片，(c)是参考图像切片和浮动图像切片的棋盘差异图像，(d)-(f)分别表示用ICP，GMM，和本发明的方法得到的配准图像的切片，(g)-(i)分别表示用ICP，GMM，和本发明的方法得到的配准图像的切片与参考图像切片的棋盘差异图像。
从图3中可以看出，当旋转角度为90度的时候，ICP的方法无法对图像进行有效的配准，而GMM和本发明的方法均能对图像进行配准。
图4示意了ICP，GMM，和本发明的方法对于浮动图像与参考图像旋转角度为120°时的配准直观视觉结果，(a)是参考图像切片，(b)是浮动图像切片，(c)是参考图像切片和浮动图像切片的棋盘差异图像，(d)-(f)分别表示用ICP，GMM，和本发明的方法得到的配准图像的切片，(g)-(i)分别表示用ICP，GMM，和本发明的方法得到的配准图像的切片与参考图像切片的棋盘差异图像。
从图4中可以看出，当旋转角度为120度的时候，ICP和GMM的方法无法对图像进行有效的配准，仅有本发明的方法能够对图像进行配准。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于点集匹配的图像配准方法，用于将浮动图像与参考图像进行配准以得到配准图像，其特征在于，包括如下步骤：
步骤S1：对于所述浮动图像和所述参考图像进行特征点的提取，使该浮动图像和参考图像表示为浮动图像特征点集和参考图像特征点集；
步骤S2：构造12个四元数表征的空间映射信息的集合：
绕轴旋转α角度用四元数表示为：ωx,ωy,ωz表示轴坐标；
对于所述浮动图像特征点集分别作用这12个空间映射，得到12个中间图像特征点集，该12个中间图像特征点集中至少存在一个点集与所述参考图像的特征点集的绕轴旋转角度小于等于90度；
步骤S3：对于每个中间图像特征点集，与所述参考图像特征点集进行匹配，得到12个几何变换，该12个几何变换分别与步骤S2对应的空间映射作用后，求得所述浮动图像特征点集到参考图像特征点集的12个最终空间映射信息；
步骤S4：将所述12个最终空间映射信息分别作用于所述浮动图像，比较其与参考图像的像素点位置误差，挑选最小的误差所对应的最终空间映射为满足图像配准要求的最优解。
2.根据权利要求1所述的基于点集匹配的图像配准方法，其特征在于，在步骤S1中利用GPU加速的NSIFT方法提取特征点，并且保存位置信息构造特征点集。
3.根据权利要求1所述的基于点集匹配的图像配准方法，其特征在于，在步骤S2中，
根据该12个四元数分别按对应轴和旋转角度对浮动图像特征点集进行空间旋转，得到12个中间图像特征点集，并且这12个中间图像特征点集中至少会存在一个点集与参考图像特征点集的绕轴旋转角度小于等于90度。
4.根据权利要求1所述的基于点集匹配的图像配准方法，其特征在于，在步骤S3利用高斯混合模型点集匹配方法对于这12个中间图像特征点集分别与参考图像的特征点集进行匹配，并求出几何变换；该12个几何变换分别与步骤S2所对应的空间映射进行复合运算，得到从浮动图像特征点集到参考图像特征点集的最终12个空间映射。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410102814.6A CN103871063B (zh) | 2014-03-19 | 2014-03-19 | 一种基于点集匹配的图像配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410102814.6A CN103871063B (zh) | 2014-03-19 | 2014-03-19 | 一种基于点集匹配的图像配准方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103871063A CN103871063A (zh) | 2014-06-18 |
| CN103871063B true CN103871063B (zh) | 2017-04-19 |
Family
ID=50909568
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410102814.6A Active CN103871063B (zh) | 2014-03-19 | 2014-03-19 | 一种基于点集匹配的图像配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103871063B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11538176B2 (en) * | 2015-12-15 | 2022-12-27 | Koninklijke Philips N.V. | Image processing systems and methods |
| CN109902763B (zh) * | 2019-03-19 | 2020-05-15 | 北京字节跳动网络技术有限公司 | 用于生成特征图的方法和装置 |
| CN110059651B (zh) * | 2019-04-24 | 2021-07-02 | 北京计算机技术及应用研究所 | 一种相机实时跟踪注册方法 |
| CN113034559B (zh) * | 2021-04-02 | 2022-06-17 | 宁波智能装备研究院有限公司 | 一种含局部连接性约束的ic芯片点集配准方法 |
| CN113409372B (zh) * | 2021-06-25 | 2023-03-24 | 浙江商汤科技开发有限公司 | 图像配准方法及相关装置、设备和存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567995A (zh) * | 2012-01-04 | 2012-07-11 | 朱经纬 | 图像配准方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002324236A (ja) * | 2001-04-25 | 2002-11-08 | Hitachi Ltd | 帳票識別方法及び帳票登録方法 |
-
2014
- 2014-03-19 CN CN201410102814.6A patent/CN103871063B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567995A (zh) * | 2012-01-04 | 2012-07-11 | 朱经纬 | 图像配准方法 |
Non-Patent Citations (2)
| Title |
|---|
| A Speed-up and Robust Image Registration Algorithm Based on FAST;Jichao Jiao等;《Proceedings of 2011 IEEE International Conference on Computer Science and Automation Engineering》;20110610;第160-164页 * |
| 基于控制点图像配准方法的研究;刘振颖等;《中国医学装备》;20110315;第8卷(第3期);第6-9页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103871063A (zh) | 2014-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103871063B (zh) | 一种基于点集匹配的图像配准方法 | |
| CN111242174B (zh) | 一种基于影像组学的肝癌图像特征提取与病理分类方法 | |
| Tang et al. | An augmentation strategy for medical image processing based on statistical shape model and 3D thin plate spline for deep learning | |
| CN107194872B (zh) | 基于内容感知深度学习网络的遥感图像超分辨率重建方法 | |
| CN104599258B (zh) | 一种基于各向异性特征描述符的图像拼接方法 | |
| CN104167003B (zh) | 一种遥感影像的快速配准方法 | |
| CN100430690C (zh) | 利用单数码相机自由拍摄进行物体三维测量的方法 | |
| CN107909585A (zh) | 一种血管内超声影像的血管中内膜分割方法 | |
| CN103325143A (zh) | 基于模型匹配的标记点自动注册方法 | |
| CN106023187B (zh) | 一种基于sift特征和角度相对距离的图像配准方法 | |
| CN103886611A (zh) | 一种适合于航空摄影飞行质量自动检查的影像匹配方法 | |
| CN112102385B (zh) | 一种基于深度学习的多模态肝脏磁共振影像配准系统 | |
| CN113570627B (zh) | 深度学习分割网络的训练方法及医学图像分割方法 | |
| CN107330928B (zh) | 基于改进形状上下文的图像特征匹配方法 | |
| CN104240212B (zh) | 基于目标特征的isar图像融合方法 | |
| CN104168820B (zh) | 图像处理装置及方法 | |
| CN102324045B (zh) | 基于Radon变换和极谐波变换的不变矩目标识别方法 | |
| CN111968135B (zh) | 一种基于全卷积网络的三维腹部ct图像多器官配准方法 | |
| Liu et al. | Rotation-invariant siamese network for low-altitude remote-sensing image registration | |
| Ge et al. | Unsupervised histological image registration using structural feature guided convolutional neural network | |
| CN107610121A (zh) | 一种肝脏统计形状模型初始位姿设定方法 | |
| Yao et al. | Registrating oblique SAR images based on complementary integrated filtering and multilevel matching | |
| CN110070626B (zh) | 一种基于多视角分类的三维物体检索方法 | |
| CN112102327A (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
| Yang et al. | Pairwise Matching of Stone Tools Based on Flake-Surface Contour Points and Normals. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |