CN106204511A - 一种二维图像与ct、mr图像的三维融合方法 - Google Patents

Abstract

本发明公开了一种二维图像与CT或MR图像三维融合方法，该方法利用CT或MRI结构影像的三维几何结构信息，结合多角度二维图像进行人体三维目标图像重构，进而实现目标图像与MR图像的三维多模态融合。本发明提供的三维医学影像融合技术，解决了二维图像的三维复杂结构定位，提供更为精准的病灶定位；另外，与CT、MR影像的三维融合，实现多模态影像系统构建，为临床疾病诊断提供更丰富的资料信息，提升诊断效能。

Description

一种二维图像与CT、MR图像的三维融合方法

技术领域：

本发明涉及一种二维图像与传统医学图像计算机断层成像(ComputedTomography,CT)、磁共振图像(Magnetic Resonance Imaging,MRI)三维融合方法，属于数字医学影像工程技术领域。

背景技术：

精确的人体三维体表信息如位置、尺寸、颜色与温度等，可为疾病诊断与治疗的实施与评估提供有价值的参考信息，比如外科整形手术，肿瘤及炎症诊断等。然而，传统成像技术，如可见光、红外热图等，其仅能提供二维平片式图像，缺少三维解剖结构信息，给医生进行更加准确的病灶解剖定位带来困难。有研究提出一种基于标记点的磁共振成像(Magnetic Resonance Imaging，MRI)与红外热图的配准、融合算法，并实现了人体腿部三维表面热图的重构。虽然该方法初步实现红外热图三维定位，但基于标记点的配准、融合方法在解决人体复杂结构应用方面尚显不足，亟需更具实用性与鲁棒性的三维融合方法实现。

当前，基于多模态医学数据融合的诊疗技术已成为未来精准医学发展的趋势。然而，可见光与红外热图等二维成像方式一直是其与传统计算机断层成像(ComputedTomography,CT)、MRI等进行融合的瓶颈。若能与传统结构医学影像如CT、MRI等的融合，可为疾病诊断过程提供更为量化准确的解剖信息。另外，还可在传统CT、MRI影像诊断基础上，引入更为丰富的面部表情、肌肉状态及温度等量化信息，为临床医生提供更为有效的参考信息。

综上，面向三维多模态诊疗技术的临床需求，二维图像与CT、MR图像三维融合方法是医学影像学领域亟待解决的重要技术问题。

发明内容：

为解决上述技术问题，本发明目的在于提供一种二维图像与CT、MR图像的三维融合方法，该方法利用CT或MRI结构影像的三维几何结构信息，结合多角度二维图像进行人体三维影像重构，进而实现可见光、温度二维图像与CT、MR图像的三维多模态融合。

为达到上述目的，本发明采用如下技术方案来实现：

一种二维图像与CT、MR图像的三维融合方法，包括以下步骤：

步骤1，相同体位状态下，采集待重建部位或对象的多角度二维图像与CT或MR图像；

步骤2，将获取的CT或MR图像进行三维几何结构体重构；

步骤3，对三维几何体依据小孔成像原理进行虚拟成像，计算获得与二维图像同采集角度的二维平面投影图像；

步骤4，实现同采集角度二维投影图像与二维热图像的配准；

步骤5，建立二维图像与三维几何体的坐标关联，通过三维坐标索引实现二维图像与CT、MR图像三维融合。

本发明进一步的改进在于，步骤3中二维平面投影成像包括：

步骤3.1，依据二维图像正视图体位，对三维几何体进行角度校正；

步骤3.2，依据二维图像采集角度，对校正后的三维几何体进行旋转，与二维图像采集角度一致；

步骤3.3，计算三维几何体各采集角度的二维平面投影。

本发明进一步的改进在于，所述步骤3.1中三维几何体角度校正包括：

步骤3.1.1，对三维几何体沿z轴旋转进行校正；

设[x,y,z]^T为三维几何体原始坐标，采用式(1)实现沿z轴旋转θ角度进行校正后的坐标[x’,y’,z’]^T计算：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\\ 1\end{array}\right]=\left[\begin{array}{cccc}cos\mathrm{\θ}& -sin\mathrm{\θ}& 0& 0\\ sin\mathrm{\θ}& \cos \mathrm{\θ}& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\·\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]---\left(6\right)$

步骤3.1.2，采用式(2)实现[x’,y’,z’]^T沿x轴旋转θ角度进行校正后的坐标[x”,y”,z”]^T计算：

$\left[\begin{array}{c}{x}^{\′\′}\\ y^{\′\′}\\ z^{\′\′}\\ 1\end{array}\right]=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& cos\mathrm{\θ}& -\sin \mathrm{\θ}& 0\\ 0& sin\mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 0& 1\end{array}\right]\·\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\\ 1\end{array}\right]---\left(7\right)$

步骤3.1.3，采用式(3)实现[x”,y”,z”]^T沿y轴旋转θ角度进行校正后的坐标[x”’,y”’,z”’]^T计算：

$\left[\begin{array}{c}{x}^{\′\′\′}\\ y^{\′\′\′}\\ z^{\′\′\′}\\ 1\end{array}\right]=\left[\begin{array}{cccc}cos\mathrm{\θ}& 0& sin\mathrm{\θ}& 0\\ 0& 1& 0& 0\\ -\sin \mathrm{\θ}& 0& cos\mathrm{\θ}& 0\\ 0& 0& 0& 1\end{array}\right]\·\left[\begin{array}{c}{x}^{\′\′}\\ y^{\′\′}\\ z^{\′\′}\\ 1\end{array}\right]---\left(8\right).$

本发明进一步的改进在于，所述步骤3.2三维几何体角度校正中，采用式(2)对校正后的三维几何体进行旋转，与二维图像采集保持同角度。

本发明进一步的改进在于，所述步骤3.3的具体实现方法如下：

将三维几何体坐标原物理坐标[X,Y,Z]^T投影至xOy平面，变换为对应坐标[x,y]^T的二维投影图像，采用式(4)进行坐标变换：

$\left[\begin{array}{c}x\\ y\end{array}\right]=\frac{f}{Z}\left[\begin{array}{c}X\\ Y\end{array}\right]---\left(9\right)$

其中，f为目标图像采集焦距。

本发明进一步的改进在于，步骤4包括如下实现步骤：

步骤4.1，对待配准二维图像采用先膨胀后腐蚀的方法进行二值化；

步骤4.2，对二值化投影图像与目标图像进行配准。

本发明进一步的改进在于，所述步骤4.2图像配准方法包括：

步骤4.2.1，采用式(5)对二值化目标图像ρ₀与CT或MR投影图像ρ₁进行归一化，使得两幅图像具有同样的质量和：

ρ_k＝ρ_k/∫_Ωρ_k(x)dx k＝0,1 (10)

步骤4.2.2，对归一化图像存在像素0值的区域进行累加极小数值ε，保证图像像素值均为正值；

步骤4.2.3，采用最优传输理论方法进行上述预处理后的图像配准。

本发明进一步的改进在于，所述步骤4.2.3最优传输理论的配准方法中，采用数值迭代的方法计算变换函数将二值化图像坐标ξ＝(ξ,η)变换至投影图像坐标x＝(x,y)，包括：

步骤(1)，初始化坐标变换函数Ψⁿ,n＝0；

步骤(2)，计算与

步骤(3)，计算坐标变换后的投影图像分布并计算求解准则参量

步骤(4)，更新坐标变换函数Ψⁿ⁺¹＝Ψⁿ+Δt·Fⁿ，Δt为计算时间分辨率；

步骤(5)，如果小于预设残差，则停止迭代计算过程；否则n＝n+1同时跳到步骤(2)继续计算，直至满足预设残差或迭代次数。

本发明进一步的改进在于，步骤5的具体实现步骤包括：

步骤5.1，将配准后的目标图像进行三维坐标索引，建立三维坐标与目标图像像素索引表，实现三维目标图像显示；

步骤5.2，对三维目标图像进行插值及平滑滤波后处理；

步骤5.3，实现三维目标图像与CT、MR图像融合。

本发明进一步的改进在于，所述步骤5.1中，将配准后的目标图像进行坐标反变换，至原始图像坐标系统，采用最近邻域插值方式检索对应原始坐标的目标图像像素值。

与现有技术相比，本发明具有如下的有益效果：

(1)二维图像的三维复杂结构定位，提供更为精准的病灶定位；

对于红外热图及可见光等二维图像，其每一像素点或灰度值只对应二维平面坐标位置(x,y)，无法准确定位其三维物理坐标(x,y,z)，给临床精准定位带来困难。本发明专利提供的三维融合方法，借助三维CT或MRI成像几何特征，进行二维投影平片虚拟成像；进而通过对同投射角度二维目标图像与投影图像进行配准，反向追踪其三维物理坐标位置(x,y,z)，实现准确定位。

(2)与CT、MR影像的三维融合，实现多模态影像系统构建，为临床疾病诊断提供更丰富的资料信息，提升诊断效能。

目前，多模态影像已成为影像学发展的必然趋势。红外热成像等二维图像与传统CT、MRI影像的融合将大大提升诊疗实践的效率。比如，红外热成像与MRI的三维融合能够为典型内分泌疾病甲状腺冷热结节的辨识及精准定位提供极有价值的诊断信息。

另外，本发明提供的三维融合方法具有良好的适用性，能够适用于异机系统(二维成像与三维CT、MRI成像分别成像)，更能在整机系统(二维成像设备集成入三维CT、MRI系统)体现优势。通过设计可自动控制的具有多角度偏转与拍摄功能的二维成像系统，并将其集成于CT、MRI医学影像设备中，构建集成式多模态模态医学影像系统。进而，通过本发明提供的三维融合方法即可实现多模态影像诊断，二维体表生理信息与体内CT、MRI信息进行联合诊断，所提供的综合性信息可提升疾病诊断的实效性。

附图说明：

图1待重建部位的不同角度目标图像采集示意图。

图2三维CT或MRI几何体不同角度二维投影图计算。

图3以人脸左侧为实施例的二维图像与投影图像配准实现。

图4集合目标图像与CT或MR图像的三维多模态融合实现。

具体实施方式：

以下结合附图和实施例对本发明做出进一步的说明。

实施例1：

以下实施例，将以三视角(左侧面、正面与右侧面)的二维红外热图与MR图像三维融合为例，对本发明的技术方案进行详细说明。

(1)如图1所示，对重建部位1，进行三视角二维红外热图采集，分别获得左侧面2、正面3与右侧面4三幅红外热图像。

(2)如图2所示，基于重建部位的MR图像，重构三维几何结构体1；对三维几何体1依据小孔成像原理进行虚拟成像，计算获得与二维红外热图同采集角度的二维平面投影图像2。

(4)如图3所示，以人脸部左侧面图像为实施例进行说明，对采集的二维红外热图1与投影图像2进行二值化，获得对应二值化图像3与4；对二值化图像3与4进行配准，获得配准坐标变形图像5；基于坐标变形图像5与原始红外图像1坐标变换关系，检索变换后坐标的温度检索值，获得配准后红外图像6。

(5)如图4所示，参照步骤4完成人脸部正面与右侧面图像配准，获得配准后的正面红外热图1与右侧面红外热图2。

(6)如图4所示，基于获得的左侧面1、正面2与右侧面3红外热图，并回顾检索原始三维MR几何体坐标，实现三维多模态影像融合4。

实施例2：

区别于实施例1，本实施例中还可采集更多视角的二维图像，如以待重建体为中心360°范围，每个30°采集一幅目标图像，共12幅图像。对应三维CT或MR几何体也应获得12个视角的二维投影图像。

实施例3：

区别于实施例1，本实施例中所述MR图像可完全采用CT图像进行替代。

实施例4：

区别于实施例1，本实施例中所述二维红外图像还可是二维可见光图像。

Claims (10)

1.一种二维图像与CT、MR图像的三维融合方法，其特征在于，包括以下步骤：

步骤1，相同体位状态下，采集待重建部位或对象的多角度二维图像与CT或MR图像；

步骤2，将获取的CT或MR图像进行三维几何结构体重构；

步骤3，对三维几何体依据小孔成像原理进行虚拟成像，计算获得与二维图像同采集角度的二维平面投影图像；

步骤4，实现同采集角度二维投影图像与二维热图像的配准；

步骤5，建立二维图像与三维几何体的坐标关联，通过三维坐标索引实现二维图像与CT、MR图像三维融合。

2.根据权利要求1所述的一种二维图像与CT、MR图像的三维融合方法，其特征在于，步骤3中二维平面投影成像包括：

步骤3.1，依据二维图像正视图体位，对三维几何体进行角度校正；

步骤3.2，依据二维图像采集角度，对校正后的三维几何体进行旋转，与二维图像采集角度一致；

步骤3.3，计算三维几何体各采集角度的二维平面投影。

3.根据权利要求2所述的一种二维图像与CT、MR图像的三维融合方法，其特征在于，所述步骤3.1中三维几何体角度校正包括：

步骤3.1.1，对三维几何体沿z轴旋转进行校正；

设[x,y,z]^T为三维几何体原始坐标，采用式(1)实现沿z轴旋转θ角度进行校正后的坐标[x’,y’,z’]^T计算：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\\ 1\end{array}\right]=\left[\begin{array}{cccc}cos\mathrm{\θ}& -sin\mathrm{\θ}& 0& 0\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\·\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]---\left(1\right)$

步骤3.1.2，采用式(2)实现[x’,y’,z’]^T沿x轴旋转θ角度进行校正后的坐标[x”,y”,z”]^T计算：

$\left[\begin{array}{c}{x}^{\′\′}\\ y^{\′\′}\\ z^{\′\′}\\ 1\end{array}\right]=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& cos\mathrm{\θ}& -\sin \mathrm{\θ}& 0\\ 0& sin\mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 0& 1\end{array}\right]\·\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\\ 1\end{array}\right]---\left(2\right)$

步骤3.1.3，采用式(3)实现[x”,y”,z”]^T沿y轴旋转θ角度进行校正后的坐标[x”’,y”’,z”’]^T计算：

$\left[\begin{array}{c}{x}^{\′\′\′}\\ y^{\′\′\′}\\ z^{\′\′\′}\\ 1\end{array}\right]=\left[\begin{array}{cccc}cos\mathrm{\θ}& 0& sin\mathrm{\θ}& 0\\ 0& 1& 0& 0\\ -\sin \mathrm{\θ}& 0& cos\mathrm{\θ}& 0\\ 0& 0& 0& 1\end{array}\right]\·\left[\begin{array}{c}{x}^{\′\′}\\ y^{\′\′}\\ z^{\′\′}\\ 1\end{array}\right]---\left(3\right).$

4.根据权利要求3所述的一种二维图像与CT、MR图像的三维融合方法，其特征在于，所述步骤3.2三维几何体角度校正中，采用式(2)对校正后的三维几何体进行旋转，与二维图像采集保持同角度。

5.根据权利要求4所述的一种二维图像与CT、MR图像的三维融合方法，其特征在于，所述步骤3.3的具体实现方法如下：

将三维几何体坐标原物理坐标[X,Y,Z]^T投影至xOy平面，变换为对应坐标[x,y]^T的二维投影图像，采用式(4)进行坐标变换：

$\left[\begin{array}{c}x\\ y\end{array}\right]=\frac{f}{Z}\left[\begin{array}{c}X\\ Y\end{array}\right]---\left(4\right)$

其中，f为目标图像采集焦距。

6.根据权利要求1所述的一种二维图像与CT、MR图像的三维融合方法，其特征在于，步骤4包括如下实现步骤：

步骤4.1，对待配准二维图像采用先膨胀后腐蚀的方法进行二值化；

步骤4.2，对二值化投影图像与目标图像进行配准。

7.根据权利要求6所述的一种二维图像与CT、MR图像的三维融合方法，其特征在于，所述步骤4.2图像配准方法包括：

步骤4.2.1，采用式(5)对二值化目标图像ρ₀与CT或MR投影图像ρ₁进行归一化，使得两幅图像具有同样的质量和：

ρ_k＝ρ_k/∫_Ωρ_k(x)dx k＝0,1 (5)

步骤4.2.2，对归一化图像存在像素0值的区域进行累加极小数值ε，保证图像像素值均为正值；

步骤4.2.3，采用最优传输理论方法进行上述预处理后的图像配准。

8.根据权利要求7所述的一种二维图像与CT、MR图像的三维融合方法，其特征在于，所述步骤4.2.3最优传输理论的配准方法中，采用数值迭代的方法计算变换函数将二值化图像坐标ξ＝(ξ,η)变换至投影图像坐标x＝(x,y)，包括：

步骤(1)，初始化坐标变换函数Ψⁿ,n＝0；

步骤(2)，计算与

步骤(3)，计算坐标变换后的投影图像分布并计算求解准则参量

步骤(4)，更新坐标变换函数Ψⁿ⁺¹＝Ψⁿ+Δt·Fⁿ，Δt为计算时间分辨率；

步骤(5)，如果小于预设残差，则停止迭代计算过程；否则n＝n+1同时跳到步骤(2)继续计算，直至满足预设残差或迭代次数。

9.根据权利要求1所述的一种二维图像与CT、MR图像的三维融合方法，其特征在于，步骤5的具体实现步骤包括：

步骤5.1，将配准后的目标图像进行三维坐标索引，建立三维坐标与目标图像像素索引表，实现三维目标图像显示；

步骤5.2，对三维目标图像进行插值及平滑滤波后处理；

步骤5.3，实现三维目标图像与CT、MR图像融合。

10.根据权利要求9所述的一种二维图像与CT、MR图像的三维融合方法，其特征在于，所述步骤5.1中，将配准后的目标图像进行坐标反变换，至原始图像坐标系统，采用最近邻域插值方式检索对应原始坐标的目标图像像素值。