CN110458874A - 一种图像非刚性配准方法和系统 - Google Patents
一种图像非刚性配准方法和系统 Download PDFInfo
- Publication number
- CN110458874A CN110458874A CN201910643785.7A CN201910643785A CN110458874A CN 110458874 A CN110458874 A CN 110458874A CN 201910643785 A CN201910643785 A CN 201910643785A CN 110458874 A CN110458874 A CN 110458874A
- Authority
- CN
- China
- Prior art keywords
- image
- registration
- subject
- rigid
- deformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Abstract
本发明公开了一种图像非刚性配准方法和系统,属于图像配准领域。包括:根据待配准图像M0和标准图像F0的相似特征分布,将两图像分为若干个区域;对不同区域进行不同的灰度变换,使得相邻区域的平均灰度有明显差别,得到新的待配准图像M2和标准图像F1;对图像M2和F1进行基于互信息的三维非刚性配准,得到配准后的图像M3和配准变形参数P0。本发明采用区域性的灰度变换,使得相邻区域平均灰度有明显差别,为非刚性配准引入语义信息,能提供同模态信息,使非刚性配准易于优化到正确的配准方向上,能提供复杂的形变方向信息,使非刚性配准朝向复杂的形变方向进行优化;以主轴为依据划分区域,引入了骨架结构,防止在残缺图像情形下错配,提高配准精度。
Description
技术领域
本发明属于图像配准技术领域,更具体地,涉及一种图像非刚性配准方法和系统。
背景技术
在日常生活与工业生产中,经常需要综合多个图像的信息得到更全面的信息,如拍摄全景图像,需要将多幅图像进行空间位置的匹配再融合成为一副更大的图像,这里面关键的步骤之一,就是多个图像匹配相似特征信息,再变形处理达到可以在同一坐标系下匹配空间位置,这种技术统称为图像配准技术。在医学图像分析领域中,为了能够得到足够的医学信息,往往需要将多种医学图像反映的不同种类信息进行融合以便于分析和诊断,例如,综合MRI图像和CT图像同时查看软组织和骨骼受损情况,由于被拍摄者在两次拍摄时候会有身体位置和姿态的偏移,MRI图像和CT图像也需要进行配准才能匹配起来对比查看软组织和骨骼受损情况。广义来说,图像配准技术是指寻找一个最优的几何变换,使得来自不同时间或不同条件下的两幅或多幅图像在相同的空间位置处可以匹配的技术,其目的在于实现不同图像所反映信息之间的融合与比较。按变换关系,配准可以分为刚性配准与非刚性配准。刚性配准指只考虑整体的平移、旋转、放缩(广义上还可以包含仿射、投射变换)的变换关系比较简单、整体一致的配准;非刚性配准是指考虑不同的局部变换关系、在各处综合了复杂的刚性变换的配准方法,更为复杂。
医学图像相较于其他常规图像而言,其本身包含的信息量大,而且不同医学图像所反映的信息类别一般存在着较大差异,使用经典的SIFT特征点配准或者互信息配准两大类方法都有一定难度,使用范围很受限。基于SIFT特征点配准方法需要大量的特征点,一般为自动检测的角点,这在较为模糊、结构上角形结构很少的医学图像上很难获取;基于互信息的配准方法是主要是通过比较待配准的两幅图像的纹理特征来匹配空间位置来进行配准,图像的纹理是底层视觉信息,例如大象皮肤具有密集的三角形网格纹理,象牙具有平滑的纹理,就有可能将两个大象的皮肤匹配皮肤,象牙匹配象牙。然而基于互信息的配准方法没有很好利用高级的视觉信息,这就对于复杂形变、纹理特征不明显的图像难以进行精确配准。除此之外,医学组织程序依赖于复杂的成像仪器和苛刻的成像条件,很多时候难以完全保证,进一步造成成像组织的缺失、扭曲、噪声和模糊,进一步加剧配准的难度。例如,在小鼠脑的荧光显微成像过程中,由于不同鼠脑在样品制备过程会产生不同程度的形变和缺失,成像前的固定过程也难以保证规范放置造成了姿态不统一,成像后得到的三维图像中自发荧光难以反映清晰的鼠脑纹理特征,然而后续进行不同鼠脑成像图像的比较和综合需要进行精确地配准,目前的配准技术使用条件很受限或者效果难以达到要求。
现有技术中,研究方向包括新的配准流程设计和配准测度与优化,本质上是研究如何充分利用图像本身的纹理信息。配准过程中待配准图像依靠纹理特征的匹配程度以迭代的方式不断变形以逐渐匹配标准图像,对于纹理信息不足或跨模态的图像,纹理信息的匹配极难判断准确,导致配准结果错误;对于变形复杂或者变形程度大的图像,自发地迭代配准往往只能大致匹配图像外轮廓形状,难以自发形成复杂变形来精确匹配图像的细节位置;由于基于互信息的配准方法倾向于先匹配图像总体轮廓,对于成像样本有残缺的情形,也会倾向于将残缺部分去匹配标准图像的完整部分,从而导致严重的失配。例如,专利CN106097347A公开了一种多模态医学图像配准与可视化方法,对图像进行去噪预处理;比较原始图像和标准图像得到标注点集,基于标注点集进行刚性粗配准;基于互信息的三维非刚性精配准。该方法的粗配准过程采用基于点集的刚性配准方法,只是大致的全局位置和角度的对齐,无法保证图像的局部配准精度,后续也缺乏对于精细结构的配准,对于无清晰纹理信息、形变大或者成像组织不完整的图像不适用。专利CN103020976A公开了一种改进了互信息测度算法的配准方法,基于模糊熵概念分级压缩图像灰度信息,减少互信息计算量,改良了互信息测度,提高了配准的鲁棒性。该方法优化了配准过程的评价方法,但还是依赖于待配准图像的纹理信息的一致性,对于模态差异大、纹理不清晰的图像没有很好的配准效果。
综上所述,目前三维医学图像非刚性配准技术的配准效果严重受图像纹理信息和组织变形大小、完整度、姿态等影响,缺乏有效的全局配准效果的干预手段,鲁棒性较低,对于图像模态差异大、图像纹理清晰度低、各向异性形变程度大或者组织不完整的图像不适用;另外传统配准方法缺乏对于精细结构的配准高效率的优化手段。
发明内容
针对现有技术的缺陷,本发明的目的在于解决现有技术由于图像模态差异大、各向异性形变程度大或者组织不完整的导致图像非刚性配准方法精度低的技术问题。
为实现上述目的,第一方面,本发明实施例提供了一种图像非刚性配准方法,该方法包括以下步骤:
S1.根据待配准图像M0和标准图像F0的相似特征分布,将两图像分为若干个区域;
S2.对不同区域进行不同的灰度变换,使得相邻区域的平均灰度有明显差别,得到新的待配准图像M2和标准图像F1;
S3.对图像M2和F1进行基于互信息的三维非刚性配准,得到配准后的图像M3和配准变形参数P0。
具体地,步骤S1具体如下:
对于M0和F0为三维图像的情形,分别对待配准图像M0、图像F0采用三个互相垂直的中轴曲面、若干近似垂直于i方向坐标轴的平滑曲面及语义区域上述三种中的至少一种进行划分,i可为X,Y,Z中一个方向;
对于M1和F0为二维图像的情形,只需要采用两个互相垂直的中轴曲线及语义区域上述两种中的至少一种进行划分。
具体地,待配准图像和标准图像是三维图像,在区域划分之前,将待配准图像M0和标准图像F0从i方向对应分段,并拉伸图像M0,使得拉伸后的图像M1和图像F0在i方向各段对齐,i可为X,Y,Z中一个方向。
具体地,在步骤S1之前,对所述待配准图像M0进行检测轮廓,将检测到的轮廓内外的任一侧进行像素线性变换。
具体地,所述图像非刚性配准方法还包括以下步骤:
S4.采用配准变形参数P0对图像M0进行变形,得到图像M3;
S5.标注图像M3和F0冠状面中有相似特征且位置未对齐的点,得到标注点集;
S6.根据标注点集,将M3和F0进行薄板样条标注点配准,得到配准后的图像M4和精配准的变形参数P1。
具体地,所述图像非刚性配准方法还包括以下步骤:
S4.采用配准变形参数P0对图像M0进行变形,得到图像M3;
S5.标注图像M3和F0冠状面中相似有相似特征且位置未对齐的点,得到标注点集;
S6.将这些标注点还原到图像M1,将M1和F0进行薄板样条配准,并以P0作为精配准变形参数初始值,得到精配准后的图像M4’和精配准的变形参数P1’。
具体地,步骤S5中,叠加图像M3和F0后,采用箭头标注图像M3和F0有相似特征且位置未对齐的点。
第二方面,本发明实施例提供了一种图像非刚性配准系统,该系统包括:
区域划分模块,用于根据待配准图像M0和标准图像F0的相似特征分布,将两图像分为若干个区域;
灰度变换模块,用于对不同区域进行不同的灰度变换,使得相邻区域的平均灰度有明显差别,得到新的待配准图像M2和标准图像F1;
粗配准模块,用于对图像M2和F1进行基于互信息的三维非刚性配准,得到配准后的图像M3和配准变形参数P0。
具体地,所述图像非刚性配准系统还包括:
变形模块,用于采用配准变形参数P0对图像M0进行变形,得到图像M3;
标注模块,用于标注图像M3和F0冠状面中有相似特征且位置未对齐的点,得到标注点集;
精配准模块,用于根据标注点集,将M3和F0进行薄板样条标注点配准,得到配准后的图像M4和精配准的变形参数P1。
或者,
变形模块,用于采用配准变形参数P0对图像M0进行变形,得到图像M3;
标注模块,用于标注图像M3和F0冠状面中相似有相似特征且位置未对齐的点,得到标注点集;
精配准模块,用于将这些标注点还原到图像M1,将M1和F0进行薄板样条配准,并以P0作为精配准变形参数初始值,得到精配准后的图像M4’和精配准的变形参数P1’。
第三方面,本发明实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述第一方面所述的图像非刚性配准方法。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,具有以下有益效果:
1.本发明采用区域性的灰度变换,使得相邻区域的平均灰度有明显差别,为非刚性配准在图像本身信息之外,引入了语义信息,当待配准图像与参考图像相比模态差异大时(例如,图像成像质量差、图像严重不清晰、成像原理不同等),加入的语义信息能够提供类似于同模态的信息,使非刚性配准易于优化到正确的配准方向上,达到高精度配准效果。
2.本发明采用区域性的灰度变换,使得相邻区域的平均灰度有明显差别,为非刚性配准在图像本身信息之外,引入了语义信息,当待配准图像与参考图像相比各向异性形变的程度大时,加入的语义信息能够提供复杂的形变方向信息,可以使非刚性配准朝向复杂的形变方向进行优化,而不会陷入局部的简单形变优化方向,达到高精度配准效果。
3.本发明以主轴为依据划分区域,进行区域性的灰度变换,使得相邻区域的平均灰度有明显差别,为非刚性配准在图像本身信息之外,引入了骨架结构信息,当待配准图像与参考图像相比组织图像完整度低时,能够在非刚性配准中通过约束骨架分布,防止残缺组织区域发生错误形变,防止在残缺图像情形下错配。
附图说明
图1为本发明实施例提供的一种图像非刚性配准方法流程图;
图2(a)为本发明实施例1提供的对小鼠脑荧光成像三维图像进行基于互信息的非刚性配准前后图像对比图;
图2(b)为本发明实施例1提供的对小鼠脑荧光成像三维图像进行基于本发明方法配准前后图像对比图;
图3(a)为本发明实施例1提供的对人脑MRI三维图像进行基于互信息的非刚性配准前后图像对比图;
图3(b)为本发明实施例1提供的对人脑MRI三维图像进行基于本发明方法配准前后图像对比图;
图4(a)为本发明实施例2提供的对广角镜头图像进行基于互信息的非刚性配准前后图像对比图;
图4(b)为本发明实施例2提供的对广角镜头图像进行基于本发明方法配准前后图像对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,一种图像非刚性配准方法,该方法包括以下步骤:
S1.根据待配准图像M0和标准图像F0的相似特征分布,将两图像分为若干个区域;
S2.对不同区域进行不同的灰度变换,使得相邻区域的平均灰度有明显差别,得到新的待配准图像M2和标准图像F1;
S3.对图像M2和F1进行基于互信息的三维非刚性配准,得到配准后的图像M3和配准变形参数P0。
步骤S1.根据待配准图像M0和标准图像F0的相似特征分布,将两图像分为若干个区域。
例如,对于医学组织图像而言,具有相似特征分布的区域可以是组织的相同亚区,或者是,具有对称结构的图像的一侧,或者,是组织的外轮廓。例如,对于广角畸变的二维图像,具有相似特征分布的区域可以是同一条道路,或者是,相同的建筑物等景观。
对于M0和F0为三维图像的情形,分别对待配准图像M0、图像F0采用三个近似垂直的中轴曲面、若干近似垂直于i方向坐标轴的平滑曲面及基于语义区域进行划分,i可为X,Y,Z中一个方向。
语义区域是某些语义性质的区域,比如,组织的亚区。
对于M1和F0为二维图像的情形,将其视为三维图像的退化,只需要采用两个近似垂直的中轴曲线及语义区域进行划分。
优选地,如果待配准图像和标准图像是三维的,在区域划分之前,将待配准图像M0和标准图像F0从i方向对应分段,并拉伸图像M0,使得拉伸后的图像M1和图像F0在i方向各段对齐,i可为X,Y,Z中一个方向,优选为Z方向,即顶视图方向。在区域划分之前,待配准图像和标准图像其中一个维度已经对齐良好,便于做近似垂直于i方向坐标轴的平滑曲面进行划分,还能够提高三维配准的精确度。
具体地,i方向为Z方向时,导入三维体数据,比对待配准的三维医学图像M0体数据(大小为Xm*Ym*Zm)与标准三维医学图像F0体数据(大小为Xf*Yf*Zf),确定实际的体数据起始层Sm、终止层Tm与参考图像的起始层Sf、终止层Tf,来申请内存创建预设矩阵(指一定大小的初始矩阵),其大小为Xm*Ym*Z0,其中,Z0=Zf*(Tm-Sm+1)/(Tf-Sf+1)。起始层是指体数据实际可清晰辨识的开始部分,终止层是指体数据实际可清晰辨识的结束部分。从预设矩阵中对应于三维图像S0层的位置开始逐一读取体数据,其中,S0=Z0*Sm/Zm。读取完所有Zm层图像后,对整个预设矩阵进行XY方向的线性重采样,矩阵大小调整为Xf*Yf*Z0,获得经过XY线性重采样后的三维图像。将标准图像中存在重要特征的特定层数与体数据对应特征的层数进行Z向分段重采样,获得大小为Xf*Yf*Zf的三维图像,并且使得特征层的层数完全对应。具体地,创建一个最终矩阵,将两个特征面之间的数据视为体数据,对每段进行Z向重采样并传值给最终矩阵对应块。
优选地,对所述待配准图像M0进行检测轮廓,将检测到的轮廓内外的任一侧进行像素线性变换,使得轮廓处对比度增强,可以大幅增强轮廓处待配准图像和标准图像的互信息,从而提高轮廓处配准精度。
通过划分轮廓的方式,去除获得的体数据图像中除组织外的无效区域,同时将轮廓内的图像增加一定强度,获得具有强轮廓对比度的三维图像,以增强配准时的互信息。具体地,对所述待配准三维医学图像M0进行检测轮廓,将检测到的轮廓内的像素增加一固定值,轮廓外的像素直接置零之后,提取轮廓。从而使得轮廓内外对比度加强,优选程度为灰度值相差大于30,从而使得轮廓处的配准效果更好。
步骤S2.对不同区域进行不同的灰度变换,使得相邻区域的平均灰度有明显差别,得到新的待配准图像M2和标准图像F1。
对划分的所有区域进行间隔的灰度翻转变换,使得相邻区域的平均灰度有明显差别,例如对于八位图像,灰度差大于40。
原像素值为I,灰度变换后为Iconst-k*I,Iconst是一个固定值,例如,对于8位灰度图,Iconst可以设置为255、254等,对于16位灰度图,Iconst可以设置为65535、65533等;k为一个固定系数,一般为1。
步骤S3.对图像M2和F1进行基于互信息的三维非刚性配准,得到配准后的图像M3和配准变形参数P0。
互信息计算公式为:
M3(M2,F1)=H(M2)+H(F1)-H(M2,F1)
其中,H()表示熵,利用图像互信息将浮动图M2配准变换为浮动图M3(以下简称M3)。由于分块灰度变换图形成的灰度变换面具有很强的灰度跳变特征,可以为粗配准过程提供足够的特征信息以便于同时对局部形态与全局姿态进行调整,因此可以使用非刚体变换的方法替代刚体变换,加快处理速度;而处于分割面之外的其他区域的互信息评价则不受影响。
对图像M2和F1进行基于互信息的三维非刚性配准,得到配准后的图像M3和配准变形参数P0,实际上是粗配准。该方法还包括对获得的粗配准结果进行标记点约束,实现进一步的精配准,利用添加的标记点集对粗配准产生的结果进行调整,以提高图像的配准精度。
优选地,所述图像非刚性配准方法还包括以下步骤:
步骤S4.采用配准变形参数P0对图像M0进行变形,得到图像M3;
步骤S5.标注图像M3和F0冠状面中相似且位置未对齐的点,得到标注点集;
步骤S6.根据标注点集,将M3和F0进行薄板样条标注点配准,得到配准后的图像M4和精配准的变形参数P1。
优选地,所述图像非刚性配准方法还包括以下步骤:
步骤S4.采用配准变形参数P0对图像M0进行变形,得到图像M3;
步骤S5.标注图像M3和F0冠状面中相似且位置未对齐的点,得到标注点集;
步骤S6.将这些标注点还原到图像M1,将M1和F0进行薄板样条配准,并以P0作为精配准变形参数初始值,得到精配准后的图像M4’和精配准的变形参数P1’。
标志点集MK1反映了M1与标准图像上相应部位的映射关系,通过形变参数P0(即由配准过程中形成的配准前体数据与配准后体数据的坐标转换关系)可进行坐标转换还原成M0与标准图谱上的映射点MK0。利用得到的标志点集产生点集约束文件,形变参数P0作为配准参数初始化值,采用互信息与点集欧氏距离和作为评价函数,再次进行配准,可得到优化了配准精度的浮动图2与形变参数P1’,可在配准结果与标志点对显示单元中方便地检查配准优化情况。
每一次配准后都可以进一步添加标记点以进行配准约束,不断对上一次的配准结果进行迭代优化,使图像进行进一步的精配准,提高配准精度。由于两步串行的变形操作变为一步变形操作,从而使得变形计算量降低一半,加速配准速度。
为防止未对齐的点对已对齐的点产生的影响,破坏原本配准良好的区域,如外轮廓。本发明优选固定部分区域外轮廓,具体地,先制作一个固定图像全层外轮廓点集数据,通过记录固定的层数数据,判断外轮廓点集数据哪些层需要保留,加入这些层的点集到添加的标记点集中。
由于此时M3和F0结构基本接近,采用箭头标注,可加快标准速度和标准点的准确性,简化了标注工作量。具体地,步骤S5中,叠加图像M3和F0后,采用箭头标注图像M3和F0相似且位置未对齐的点。
每次配准后自动保存配准结果图像,并在可视化单元进行二维预览。可视化单元用于查看配准效果与进行添加标记点的可视化。
得到精配准的变形参数后,可以对大尺寸的待配准图像进行变形,使其与标注图像大致匹配,进一步用于图像分割分析等工作。
如图2所示,一种图像非刚性配准系统,该系统包括:
区域划分模块,用于根据待配准图像M0和标准图像F0的相似特征分布,将两图像分为若干个区域;
灰度变换模块,用于对不同区域进行不同的灰度变换,使得相邻区域的平均灰度有明显差别,得到新的待配准图像M2和标准图像F1;
粗配准模块,用于对图像M2和F1进行基于互信息的三维非刚性配准,得到配准后的图像M3和配准变形参数P0。
优选地,所述图像非刚性配准系统还包括:
变形模块,用于采用配准变形参数P0对图像M0进行变形,得到图像M3;
标注模块,用于标注图像M3和F0冠状面中相似且位置未对齐的点,得到标注点集;
精配准模块,用于根据标注点集,将M3和F0进行薄板样条标注点配准,得到配准后的图像M4和精配准的变形参数P1。
实施例1
本实施例结合脑部生物医学图像,包括小鼠脑荧光成像三维图像与人脑MRI三维图像,说明本发明的三维医学图像非刚性配准方法。
图像预处理与轮廓提取:待配准图像和标准图像都进行如下操作,对获得的三维脑图像进行图像预处理,通过滤波增强图像脑区纹理的对比度;提取全脑外轮廓,将轮廓内图像灰度增加40,并将外轮廓外图像置零,得到预处理完的图像。区域划分与灰度变换:待配准图像和标准图像都进行如下操作,对得到预处理完的图像进行区域划分,主要根据全脑的中轴和亚区进行划分。具体步骤为:绘制其在XY面、YZ面和XZ面的特征线,利用标记的特征面进行轴面拟合,得到XY面、YZ面与XZ面的中轴曲面。将全脑分割为大脑皮层、中脑、丘脑和小脑等亚区。根据三个中轴曲面和脑亚区对待配准三维图像进行区域划分,并对不同区域进行灰度变换操作,使相邻区域的图像平均灰度相差都大于40,获得三维图像对应的分块灰度变换图。粗配准:利用生成的灰度变换图像采用基于图像互信息的配准方法对获得的图像进行粗配准,
点集约束配准:通过对粗配准完的结果图像和标准图像的叠加图像上添加标记点,对待配准图像和标准图像的有相似特征但为完全对齐的位置进行标记,标记完成后保存标记点坐标文件,利用标记点和待配准图像进行点集约束配准,获得最终配准后图像和配准变换参数。
如图2(a)所示,从左到右依次为待配准图像(神经荧光图像)和标准图像(白色线框图)的叠加图像与配准后图像和标准图像的叠加图像,其中,待配准图像为小鼠脑荧光成像图像,标准图像为Allen脑研究所成熟小鼠脑图谱,虚线框处表示未良好配准区域,可见许多组织亚区没有良好配准。
如图2(b)所示,从左到右依次为待配准图像和标准图像的叠加图像与配准后图像和标准图像的叠加图像,虚线框处表示图2(a)未良好配准区域的图像通过本方法已良好配准,可见达到了很高的配准精度。
如图3(a)所示,从左到右依次为标准图像、待配准图像及配准完的图像,其中,待配准图像为剥离了头骨的变形MRI图像,标准图像为完整的未变形MRI图像,虚线框处表示未良好配准区域,可见许多组织亚区没有良好配准。
如图3(b)所示,从左到右依次为标准图像、待配准图像及配准完的图像,虚线框处表示图3(a)未良好配准区域的图像通过本方法已良好配准,可见达到了很高的配准精度。
实施例2
本实施例结合广角镜头图像的畸变矫正,说明本发明的二维生活图像非刚性配准方法。广角镜头具有很大的视场角,可以用于拍摄室外大角度的景色,但由于光学误差与视场角正相关,广角镜头一般会产生很大的畸变,拍摄的图像有“鱼眼”效果,原本呈直线分布的远处楼房等景色会产生弯曲而失真。广角镜头畸变一般可采用拍摄特制的棋盘图像进行矫正,但是棋盘图像大小有限,不能覆盖整个视场角,且难以获取,本实施例利用本发明的非刚性配准方法,利用另一幅优化了畸变的广角镜头图像,以配准的形式对有畸变的广角镜头图像进行矫正。
作为二维图像配准,其可认为是三维图像配准的特例或者退化,类似于前文三维图像配准的步骤,但是舍去了额外的一维的部分处理。主要流程如下:
曲线标记:在待配准图像和标准图像上根据相似的特征,分别从似平行与X轴和Y轴绘制若干匹配的曲线,使得曲线可以贯穿图像大部分景物,充分地将畸变信息编码进待配准图像和标准图像。
区域划分和灰度变换:通过标记的多条曲线,将待配准图像和标准图像划分为若干个区域,通过对不同区域进行不同的线性灰度变换,使得相邻区域的平均灰度都相差40以上,得到编码了畸变信息的新待配准图像和新标准图像。
非刚性配准:对新待配准图像和新标准图像进行基于互信息的非刚性配准,进行畸变矫正。
如图4(a)所示,从左到右依次为标准图像、畸变的待配准图像及配准完的图像,虚线框处表示未良好配准区域,可见右上角区域没有良好配准。
如图4(b)所示,从左到右依次为进行了区域性的灰度变换的标准图像、进行了区域性的灰度变换的待配准图像及配准完的图像,对待配准图像右上角吊桥链锁间区域进行了灰度变换,虚线框处表示图4(a)未良好配准区域的图像通过本方法已良好配准,可见右上角部分配准精度大幅提升。
以上,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种图像非刚性配准方法,其特征在于,该方法包括以下步骤:
S1.根据待配准图像M0和标准图像F0的相似特征分布,将两图像分为若干个区域;
S2.对不同区域进行不同的灰度变换,使得相邻区域的平均灰度有明显差别,得到新的待配准图像M2和标准图像F1;
S3.对图像M2和F1进行基于互信息的三维非刚性配准,得到配准后的图像M3和配准变形参数P0。
2.如权利要求1所述的方法,其特征在于,步骤S1具体如下:
对于M0和F0为三维图像的情形,分别对待配准图像M0、图像F0采用三个互相垂直的中轴曲面、若干近似垂直于i方向坐标轴的平滑曲面及语义区域上述三种中的至少一种进行划分,i可为X,Y,Z中一个方向;
对于M1和F0为二维图像的情形,只需要采用两个互相垂直的中轴曲线及语义区域上述两种中的至少一种进行划分。
3.如权利要求1所述的方法,其特征在于,待配准图像和标准图像是三维图像,在区域划分之前,将待配准图像M0和标准图像F0从i方向对应分段,并拉伸图像M0,使得拉伸后的图像M1和图像F0在i方向各段对齐,i可为X,Y,Z中一个方向。
4.如权利要求1所述的方法,其特征在于,在步骤S1之前,对所述待配准图像M0进行检测轮廓,将检测到的轮廓内外的任一侧进行像素线性变换。
5.如权利要求1所述的方法,其特征在于,所述图像非刚性配准方法还包括以下步骤:
S4.采用配准变形参数P0对图像M0进行变形,得到图像M3;
S5.标注图像M3和F0冠状面中有相似特征且位置未对齐的点,得到标注点集;
S6.根据标注点集,将M3和F0进行薄板样条标注点配准,得到配准后的图像M4和精配准的变形参数P1。
6.如权利要求1所述的方法,其特征在于,所述图像非刚性配准方法还包括以下步骤:
S4.采用配准变形参数P0对图像M0进行变形,得到图像M3;
S5.标注图像M3和F0冠状面中相似有相似特征且位置未对齐的点,得到标注点集;
S6.将这些标注点还原到图像M1,将M1和F0进行薄板样条配准,并以P0作为精配准变形参数初始值,得到精配准后的图像M4’和精配准的变形参数P1’。
7.如权利要求5或6所述的方法,其特征在于,步骤S5中,叠加图像M3和F0后,采用箭头标注图像M3和F0有相似特征且位置未对齐的点。
8.一种图像非刚性配准系统,其特征在于,该系统包括:
区域划分模块,用于根据待配准图像M0和标准图像F0的相似特征分布,将两图像分为若干个区域;
灰度变换模块,用于对不同区域进行不同的灰度变换,使得相邻区域的平均灰度有明显差别,得到新的待配准图像M2和标准图像F1;
粗配准模块,用于对图像M2和F1进行基于互信息的三维非刚性配准,得到配准后的图像M3和配准变形参数P0。
9.如权利要求8所述的系统,其特征在于,所述图像非刚性配准系统还包括:
变形模块,用于采用配准变形参数P0对图像M0进行变形,得到图像M3;
标注模块,用于标注图像M3和F0冠状面中有相似特征且位置未对齐的点,得到标注点集;
精配准模块,用于根据标注点集,将M3和F0进行薄板样条标注点配准,得到配准后的图像M4和精配准的变形参数P1。
或者,
变形模块,用于采用配准变形参数P0对图像M0进行变形,得到图像M3;
标注模块,用于标注图像M3和F0冠状面中相似有相似特征且位置未对齐的点,得到标注点集;
精配准模块,用于将这些标注点还原到图像M1,将M1和F0进行薄板样条配准,并以P0作为精配准变形参数初始值,得到精配准后的图像M4’和精配准的变形参数P1’。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的图像非刚性配准方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910643785.7A CN110458874B (zh) | 2019-07-17 | 2019-07-17 | 一种图像非刚性配准方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910643785.7A CN110458874B (zh) | 2019-07-17 | 2019-07-17 | 一种图像非刚性配准方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110458874A true CN110458874A (zh) | 2019-11-15 |
CN110458874B CN110458874B (zh) | 2023-03-28 |
Family
ID=68481339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910643785.7A Active CN110458874B (zh) | 2019-07-17 | 2019-07-17 | 一种图像非刚性配准方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110458874B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111122162A (zh) * | 2019-12-25 | 2020-05-08 | 杭州电子科技大学 | 基于欧氏距离多尺度模糊样本熵的工业系统故障检测方法 |
CN112465881A (zh) * | 2020-11-11 | 2021-03-09 | 常州码库数据科技有限公司 | 一种改进的鲁棒性点配准方法及系统 |
CN112465883A (zh) * | 2020-11-23 | 2021-03-09 | 山东科技大学 | 一种高精度曲面非均匀图像配准方法 |
CN113393506A (zh) * | 2021-06-25 | 2021-09-14 | 浙江商汤科技开发有限公司 | 图像配准方法及相关装置、设备 |
CN113902780A (zh) * | 2021-08-31 | 2022-01-07 | 数坤(北京)网络科技有限公司 | 一种影像配准方法、装置、设备和可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140153797A1 (en) * | 2012-12-04 | 2014-06-05 | Toshiba Medical Systems Corporation | Image registration device and method, image segmentation device and method and medical image apparatus |
CN107610162A (zh) * | 2017-08-04 | 2018-01-19 | 浙江工业大学 | 一种基于互信息与图像分割的三维多模态医学图像自动配准方法 |
-
2019
- 2019-07-17 CN CN201910643785.7A patent/CN110458874B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140153797A1 (en) * | 2012-12-04 | 2014-06-05 | Toshiba Medical Systems Corporation | Image registration device and method, image segmentation device and method and medical image apparatus |
CN107610162A (zh) * | 2017-08-04 | 2018-01-19 | 浙江工业大学 | 一种基于互信息与图像分割的三维多模态医学图像自动配准方法 |
Non-Patent Citations (1)
Title |
---|
王丽芳等: "基于多通道稀疏编码的非刚性多模态医学图像配准", 《计算机应用》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111122162A (zh) * | 2019-12-25 | 2020-05-08 | 杭州电子科技大学 | 基于欧氏距离多尺度模糊样本熵的工业系统故障检测方法 |
CN112465881A (zh) * | 2020-11-11 | 2021-03-09 | 常州码库数据科技有限公司 | 一种改进的鲁棒性点配准方法及系统 |
CN112465883A (zh) * | 2020-11-23 | 2021-03-09 | 山东科技大学 | 一种高精度曲面非均匀图像配准方法 |
CN112465883B (zh) * | 2020-11-23 | 2022-03-29 | 山东科技大学 | 一种高精度曲面非均匀图像配准方法 |
CN113393506A (zh) * | 2021-06-25 | 2021-09-14 | 浙江商汤科技开发有限公司 | 图像配准方法及相关装置、设备 |
CN113902780A (zh) * | 2021-08-31 | 2022-01-07 | 数坤(北京)网络科技有限公司 | 一种影像配准方法、装置、设备和可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110458874B (zh) | 2023-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110458874A (zh) | 一种图像非刚性配准方法和系统 | |
CN102722890B (zh) | 基于光流场模型的非刚性心脏图像分级配准方法 | |
Toriwaki et al. | Fundamentals of three-dimensional digital image processing | |
Cohen et al. | Discovering and exploiting 3d symmetries in structure from motion | |
Gülch | Results of test on image matching of ISPRS WG III/4 | |
Tian et al. | Medical image processing and analysis | |
CN108921939A (zh) | 一种基于图片的三维场景重建方法 | |
Kurazume et al. | 3D reconstruction of a femoral shape using a parametric model and two 2D fluoroscopic images | |
Gan et al. | Multi-dimensional mutual information based robust image registration using maximum distance-gradient-magnitude | |
Gu et al. | Matching 3d shapes using 2d conformal representations | |
CN101996415B (zh) | 眼球的三维建模方法 | |
Liu et al. | Extract feature curves on noisy triangular meshes | |
CN106023094A (zh) | 基于图像的骨组织微观结构修复系统及其修复方法 | |
CN111105476B (zh) | 一种基于Marching Cubes的CT图像三维重建方法 | |
Berar et al. | 3D statistical facial reconstruction | |
Cao et al. | Registration of medical images using an interpolated closest point transform: method and validation | |
CN108830804A (zh) | 基于线扩展函数标准差的虚实融合模糊一致性处理方法 | |
Zhang et al. | Non-rigid registration of mural images and laser scanning data based on the optimization of the edges of interest | |
Eskildsen et al. | Evaluation of five algorithms for mapping brain cortical surfaces | |
Rezk-Salama et al. | Non-linear registration of pre-and intraoperative volume data based on piecewise linear transformations | |
KR102007316B1 (ko) | 외장 의안의 3차원 영상 생성 장치 및 방법 | |
Bibliowicz et al. | High-precision surface reconstruction of human bones from point-sampled data | |
Zhang et al. | Performance analysis of active shape reconstruction of fractured, incomplete skulls | |
Schüle et al. | Differentiable Rendering for Endoscopic Scene Reconstruction | |
Barazzetti et al. | Automatic image-based 3D modeling for medical applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |