发明内容
为了解决现有技术中存在的上述问题,本发明提供了一种心血管IVOCT与IVUS自动配准方法与装置。本发明要解决的技术问题通过以下技术方案实现:
本发明实施例提供了一种IVOCT与IVUS自动配准方法。包括:
(a)在相同血管段,通过光学相干断层扫描系统获取IVOCT图像、通过血管内超声系统获得IVUS图像、通过血管造影系统获取第一DSA图像和第二DSA图像;
(b)将所述IVOCT图像与所述第一DSA图像进行配准;
(c)将所述IVUS图像与所述第二DSA图像进行配准;
(d)将所述第一DSA图像与所述第二DSA图像进行配准以完成所述IVOCT图像和所述IVUS图像的配准。
在本发明的一个实施例中,步骤(d)之后还包括:融合所述IVOCT图像和所述IVUS图像。
在本发明的一个实施例中,步骤(b)包括:
(b1)对所述第一DSA图像进行二值化处理,得到第一二值图;
(b2)在所述第一二值图中,利用形态学方法,形成完整的第一主血管;
(b3)在所述第一主血管中确定所述IVOCT图像的第一探针标记点的位置;
(b4)根据所述第一探针标记点的位置确定进行IVOCT区域的所述第一DSA图像的第二主血管的血管中心线。
在本发明的一个实施例中,步骤(c)包括:
(c1)对所述第二DSA图像进行二值化处理,得到第二二值图;
(c2)在所述第二二值图中,利用形态学方法,形成完整的第三主血管;
(c3)在所述第三主血管中确定所述IVUS图像的第二探针标记点的位置;
(c4)根据所述第二探针标记点的位置确定进行IVUS区域的所述第二DSA图像的第四主血管的血管中心线。
在本发明的一个实施例中,步骤(d)包括:
(d1)将所述第一DSA图像的所述第一主血管的血管中心线投影于所述第二DSA图像的所述第三主血管的血管中心线上;
(d2)通过平移和旋转,使得所述第二主血管的血管中心线和所述第四主血管的血管中心线的损失函数最小。
(d3)将所述第二主血管的血管中心线和所述第四主血管的的血管中心线进行重叠,获得重合部分。
(d4)将所述重合部分进行帧配准,使所述IVOCT图像与所述IVUS图像的帧值相同;
(d5)将帧配准后的所述重合部分进行轮廓提取与轮廓配准。
在本发明的一个实施例中,步骤(d4)包括:
对所述IVOCT图像进行减帧处理,使所述IVOCT图像与所述IVUS图像帧值相同。
在本发明的一个实施例中,步骤(d4)包括:
对所述IVUS图像进行插值增帧处理,使所述IVOCT图像与所述IVUS图像帧值相同。
在本发明的一个实施例中,对所述IVUS图像进行插值增帧处理,包括:
采用插值法对所述IVUS图像进行插值增帧处理。
本发明的另一个实施例提供了一种IVOCT与IVUS自动配准装置,包括数字信号处理单元及存储单元,所述存储单元用于存储处理指令,所述处理指令被所述数字信号处理单元执行时实现如权利要求1-8任一项方法中的步骤。
与现有技术相比,本发明的有益效果:
1.本发明的方法可以使用户快速清楚的观察到同一部分血管在不同成像手段下的形态,从而使用户更好地做出临床判断;
2.本发明的方法操作简单,易于实现。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述,但本发明的实施方式不限于此。
实施例一
请参见图1,图1为本发明实施例提供的一种IVOCT与IVUS自动配准方法的流程示意图。该IVOCT与IVUS自动配准方法,包括:
(a)在相同血管段,通过光学相干断层扫描系统获取IVOCT图像、通过血管内超声系统获得IVUS图像、通过血管造影系统获取第一DSA图像和第二DSA图像;
(b)将所述IVOCT图像与所述第一DSA图像进行配准;
(c)将所述IVUS图像与所述第二DSA图像进行配准;
(d)将所述第一DSA图像与所述第二DSA图像进行配准以完成所述IVOCT图像和所述IVUS图像的配准。
本发明实施例通过将同一血管段的IVOCT图像和IVUS图像分别与同一血管段的DSA图像进行配准,实现IVOCT图像和IVUS图像的配准,从而得到了一个更清晰、更准确的图像,使用户能够更好的进行判断。
实施例二
请参见图2,图2为本发明实施例提供的另一种IVOCT与IVUS自动配准方法的流程示意图。本实施例在上述实施例的基础上,重点对IVOCT与IVUS的自动配准方法的详细流程进行进一步描述。具体地,
一种IVOCT与IVUS自动配准方法,通过以下步骤来实现:
S10.在相同血管段,通过光学相干断层扫描系统获取IVOCT图像、通过血管内超声系统获得IVUS图像、通过血管造影系统获取第一DSA图像和第二DSA图像。
S11.将所述IVOCT图像与所述第一DSA图像进行配准。请参见图3,图3为本发明实施例提供的一种IVOCT与IVUS自动配准方法的与IVOCT图像配准后的DSA图像,图中,100为第一主血管,101为第二主血管。
S111.对所述第一DSA图像进行二值化处理,得到第一二值图;分别利用最大类间方差法以及Hessians矩阵处理对所述第一DSA图像进行处理,利用最大类间方差法,根据灰度特性,区分出前景和后景,前景部分指的是所述第一DSA图像的第一主血管,后景为其他图像区域。最终结果以所述第一二值图表现出来。通过二值图,可以得到所述第一DSA图像的所述第一主血管的坐标,即可以得到所述第一主血管的具体区域;
进一步地,对所述第一DSA图像进行二值化处理前,利用拉普拉斯高算法对所述血管造影系统获取的第一DSA图像进行处理,该算法对图像中的边缘部分进行增强,以使后续对主血管的检测更加准确。
S112.在所述第一二值图中,利用形态学方法,形成完整的第一主血管。
优选地,利用形态学方法中的膨胀处理、腐蚀处理和骨架处理对所述第一主血管进行进一步处理。
S113.在所述第一主血管中确定所述IVOCT图像的第一探针标记点的位置。
根据IVOCT成像时显现的不透明标记带,对所述第一DSA图像中的所述第一主血管区域附近的50个像素点以及所述第一主血管区域进行LoG响应判断,具有较高LoG响应且距离主血管区域最近的像素点则被识别为第一探针标记点。此时,可以在所述第一DSA图像中观察到两个探针标记点;在本发明中,将距离图像上边缘更近的探针标记点记为第一远端标记点,另一个则记为第一近端标记点。
S114.根据所述第一探针标记点的位置确定进行IVOCT区域的所述第一DSA图像的第二主血管的血管中心线。因为进行DSA是对心脏的整段血管进行造影,但是IVOCT只是对整段血管中的一部分进行血管成像,把IVOCT成像的那段血管在冠脉造影图像中表示出来,称为进行IVOCT区域的DSA图像。
请参见图4,图4为本发明实施例提供的一种IVOCT与IVUS自动配准方法的血管中心线的计算原理示意图,图中,102为主血管,103为矢向量,104为中点,105为主血管的血管中心线;通过DP算法得到第一主血管的轮廓,依据所述第一主血管轮廓的曲率可以确定所述第一主血管的矢向量,通过矢向量与所述第一主血管轮廓之间相交的线段,得到该线段的中心点,将所述中心点相连,得到所述第一主血管的血管中心线。
根据距离变换算法计算出第二主血管的起始位置,具体地,由于检测得到的是所述第一探针标记点的位置,但是所述第一近端探针标记点距离所述第二血管的第一起始点仍有一定的距离,假设为第一近端标记点与第一起始点之间的距离为m,所述m为已知数值。根据实际血管大小与所述第一DSA图像之间的比例尺1:n,根据m和n推算出所述第二主血管的起始位置x=m×n+x0,x0为检测到的第一近端探针标记点的位置,所述第一远端标记点为所述第二主血管的终点。根据所述第二主血管的起始位置确定所述第二主血管的血管中心线,完成所述IVOCT图像与所述第一DSA图像的配准。
S12.将所述IVUS图像与所述第二DSA图像进行配准。
S121.对所述第二DSA图像进行二值化处理,得到第二二值图;请参见图5,图5为本发明实施例提供的一种IVOCT与IVUS自动配准方法的与IVUS图像配准后的DSA图像,图中,106为第三主血管,107为第四主血管。分别利用最大类间方差法以及Hessians矩阵处理对所述第二DSA图像进行处理,利用最大类间方差法,根据灰度特性,区分出前景和后景,前景部分指的是所述第二DSA图像的第三主血管,后景为其他图像区域。最终结果以所述第二二值图表现出来,通过二值图,可以得到所述第二DSA图像的所述第三主血管的坐标,即可以得到所述第三主血管的具体区域。
进一步地,对所述第二DSA图像进行二值化处理前,利用拉普拉斯高算法对血管造影机系统获取的第二DSA图像进行处理,该算法对图像中的边缘部分进行增强,以使后续对主血管的检测更加准确。
S122.在所述第二二值图中,利用形态学方法,形成完整的第三主血管。
优选地,利用形态学方法中的膨胀处理、腐蚀处理和骨架处理对所述第三主血管进行进一步处理。
S123.在所述第三主血管中确定所述IVUS图像的第二探针标记点的位置。
根据IVUS成像时的显现的不透明标记带,对所述第二DSA图像中的所述第三主血管区域附近的50个像素点以及所述第三主血管区域进行LoG响应判断,具有较高LoG响应且距离主血管区域最近的像素点则被识别为第二探针标记点。此时,可以在所述第二DSA图像中观察到两个探针标记点;在本发明中,将距离图像上边缘更近的探针标记点记为第二远端标记点,另一个则记为第二近端标记点。
S124.根据所述第二探针标记点的位置确定进行IVUS区域的所述第二DSA图像的第四主血管的血管中心线。因为进行DSA是对心脏的整段血管进行造影,但是IVUS只是对整段血管中的一部分进行血管成像,把IVUS成像的那段血管在冠脉造影图像中表示出来,称为进行IVUS区域的DSA图像。
请再次参见图4,通过DP算法得到第三主血管的轮廓,依据所述第三主血管轮廓的曲率可以确定所述第三主血管的矢向量,通过矢向量与所述第三主血管轮廓之间相交的线段,得到该线段的中心点,将所述中心点相连,得到所述第三主血管的血管中心线。
根据距离变换算法计算出第四主血管的起始位置,具体地,由于检测得到的是所述第二探针标记点的位置,但是所述第一近端探针标记点距离所述第四血管的第二起始点仍有一定的距离,假设为第二近端标记点与第二起始点之间的距离为x,所述x为已知数值。根据实际血管大小与所述第一DSA图像之间的比例尺1:y,可根据x和y推算出所述第四主血管的起始位置l=x×y+l0,l0为检测到的第二近端探针标记点的位置,所述第二远端标记点为所述第四主血管的终点。根据所述第四主血管的起始位置确定所述第四主血管的血管中心线,完成所述IVUS图像与所述第二DSA图像的配准。
S13.请同时参见图6a、图6b,图6a为本发明实施例提供的一种IVOCT与IVUS自动配准方法的IVOCT图像与IVUS图像的在配准后的DSA图像上的位置示意图,图中,101为第二主血管,107为第四主血管;图6b为本发明实施例提供的一种IVOCT与IVUS自动配准方法的IVOCT图像与IVUS图像的重合部分示意图,图中,108为重合部分。将所述第一DSA图像与所述第二DSA图像进行配准以完成所述IVOCT图像和所述IVUS图像的配准。
S131.将所述第一DSA图像的所述第一血管的血管中心线投影于所述第二DSA图像的所述第三血管的血管中心线上。
S132.通过平移和旋转,使得所述第二血管的血管中心线和所述第四血管的血管中心线损失函数F=(lo-lI)2最小,l0为第二主血管的血管中心线,lI为第四主血管的血管中心线。
S133.将所述第二主血管的血管中心线和所述第四主血管的的血管中心线进行重叠,获得所述第二主血管的血管中心线和所述第四主血管的血管中心线的重合部分。
S134.请参见图7,图7为本发明实施例提供的一种IVOCT与IVUS自动配准方法的IVOCT图像与IVUS图像帧配准后的示意图。图7的左边部分图像为IVOCT图像,右边部分为IVUS图像。将所述第二主血管的血管中心线和所述第四主血管的的血管中心线的重合部分进行帧配准,使所述IVOCT图像与所述IVUS图像的帧值相同;
进一步地,对所述IVOCT图像进行减帧处理,使所述IVOCT图像与所述IVUS图像帧值相同。
进一步地,还可以对所述IVUS图像进行插值增帧处理,使所述IVOCT图像与所述IVUS图像帧值相同。
进一步地,对所述IVUS图像进行插值增帧处理包括采用插值法对所述IVUS图像进行插值增帧处理。例如,可以采用二次样条插值法对所述IVUS图像进行插值增帧处理。具体实施方式如下:
若要在IVUS图像的第a帧和第b帧中增加一帧,已知第a帧和第b帧的IVUS图像,即已知a、b帧中所有像素点的像素值,a、b帧中像素点个数相同,假设a(x,y),b(x,y)分别为a、b帧中坐标为(x,y)的像素点的像素值,则所增加的帧中对应坐标(x,y)的像素点的像素值
据此,可以得到所有增加的帧中所有像素点的像素值,从而得到一帧新的图像,达到增帧的效果。
还可以通过另一种实施方式对基于前后多帧的像素值对IVUS图像进行增帧处理,具体实施方法如下:
若要在第a帧和第b帧中增加一帧,可以基于[a-n,b+n]帧的图像,对增加的图像帧中的像素值进行计算。n代表对增帧位置前后所需考虑的帧数,即若n=2,在计算所增加帧的像素值需要对第a-2帧,第a-1帧,第a帧,第b帧,第b+1帧,第b+2帧进行考虑。所增加的帧的每个像素点的像素值为
N表示[a-n,b+n]帧的总帧数,V
i(x,y)表示[a-n,b+n]帧中第i帧(x,y)像素点的像素值。α
i表示权重,每个图像帧对于增加的帧的影响不同,需要设置权重以获得较为准确的像素值,所有权重和
例如,当n=1时,对应的权重分别为0.1,0.4,0.4,0.1,分别对应于第a-1帧,第a帧,第b帧,第b+1帧。
S135.将帧配准后的所述重合部分进行轮廓提取与轮廓配准。
优选地,所述轮廓提取的方法为DP算法。
通过DP算法对所述IVOCT图像与所述IVUS在极坐标下进行轮廓提取。
具体方法如下:
首先进行笛卡尔坐标到极坐标的转换
其中,ρ表示为深度,θ为角度,M、N分别为转化后的极坐标的横纵轴像素个数。
DP算法大致可概述为:从极坐标的第一列到第N列寻找一条路径使得损失最小。因为边缘是连续性的,第θ列的路径总是来自于第θ-1列,所以损失函数为:
C(ρ,θ)是从第1列到点(ρ,θ)的损失和,f(ρ,θ)是每点的能量函数,ρ*∈[ρ-m,ρ+m],m是查找范围。至此,轮廓的检测可被转化为寻找全局最小的损失和,通过最小损失和推算回路径。
是平均像素值,ρ
u∈[ρ-w,ρ),ρ
d∈(ρ,ρ+w],w是滑窗长度。
获得IVOCT图像与IVUS图像的轮廓后,通过比较轮廓周长S=Lo/LI,Lo为IVOCT图像下轮廓周长,LI为IVUS图像下轮廓周长,对IVUS周长进行S倍放大。通过比较对应轮廓的距离差C=(Po-PI)2,Po为OCT图像血管轮廓,PI为IVUS图像血管轮廓,平移IVUS轮廓,以使C值最小。
进一步地,所述IVOCT图像与所述IVUS图像轮廓配准的方法为平移、旋转以及尺寸变化。
S14.请参见图8,图8为本发明实施例提供的一种IVOCT与IVUS自动配准方法的IVOCT图像与IVUS图像融合后的示意图。融合所述IVOCT图像和所述IVUS图像。具体包括:
分别提取所述IVOCT图像和所述IVUS图像的优势区域,再将两个区域融合,以使医生更好的进行临床判断,所述成像优势区域满足IVOCT成像清楚且IVUS图像成像范围宽的条件。请同时参见图9和图10,图9为本发明实施例提供的一种IVOCT与IVUS自动配准方法的IVOCT图像的成像优势区域示意图,图中,109为IVOCT图像的血管壁,110为IVOCT图像的成像优势区域,111为IVOCT成像可达到的最大深度。图10为本发明实施例提供的一种IVOCT与IVUS自动配准方法的IVUS图像的成像优势区域示意图,图中,112为IVUS图像的血管壁,113为IVUS图像的成像优势区域,114为IVUS成像可达到的最大深度。所述IVOCT图像可以清楚的观察到所述IVOCT图像的血管壁沿直径方向外侧2mm区域的组织结构;所述IVUS图像较清楚的观察到所述IVUS图像的血管壁沿直径方向外侧15mm区域的组织结构。例如,可以提取所述IVOCT图像中所述IVOCT图像的血管壁沿直径方向外侧0~2mm的区域,提取所述IVUS图像中所述IVUS图像的血管壁沿直径方向外侧2-15mm的区域进行融合,使融合后的图像更能清楚的表现血管的状态,以使医生更好的进行临床判断。通过本发明实施例,可以达到以下有益效果:
1.本发明实施例的方法将IVOCT图像与IVUS图像分别与DSA图像进行配准,从而实现了IVOCT图像与IVUS图像成像优势区域的配准。
2.本发明实施例的方法可以使用户能够快速清楚的观察到同一血管在不同成像手段下的形态,从而可以帮助用户更好的做出临床判断。
3.本发明实施例的方法主操作简单,易于实现。
实施例三
请参见图11,图11为本发明实施例提供的一种IVOCT与IVUS自动配准装置的模块结构示意图。本实施例在上述实施例的基础上,重点对IVOCT与IVUS的自动配准装置进行描述。
一种IVOCT与IVUS自动配准装置,包括数字信号处理单元及存储单元,所述存储单元用于存储处理指令,所述处理指令被所述数字信号处理单元执行时实现如上述任一实施例中的方法。
进一步地,所述装置包括探测模块1、信号处理模块2、血管造影机3、第一数据采集模块4、第二数据采集模块5、数据分析模块6以及显示模块7,其中,所述探测模块1、所述信号处理模块2、所述第一数据采集模块4、所述数据分析模块6以及所述显示模块7依次串接,所述血管造影机3与所述第二数据采集模块5依次串接于所述数据分析模块6的输入端;其中,
所述探测模块1用于采集血管信号;
所述信号处理模块2包括声信号处理模块21和光信号处理模块22,所述声信号处理模块21用于对所述血管信号进行处理得到IVUS图像,所述光信号处理模块22用于对所述血管信号进行处理得到IVOCT图像;
所述血管造影机3用于得到第一DSA图像和第二DSA图像;
所述第一数据采集模块4用于收集所述声信号处理模块得到的所述IVOCT图像和所述光信号处理模块得到的所述IVUS图像;
所述第二数据采集模块5用于收集所述血管造影机3得到的所述第一DSA图像和所述第二DSA图像;
所述数据分析模块6用于进行所述IVOCT图像、所述IVUS图像和所述DSA图像的处理,以使图像达到需要的结果。
进一步地,数据分析模块6包括依次串接的图像配准模块61、轮廓检测模块62、图像帧配准模块63、图像融合模块64,其中,
所述图像配准模块61用于将所述IVOCT图像与所述第一DSA图像进行配准,将所述IVUS图像与所述第二DSA图像进行配准;
所述轮廓检测模块62用于所述IVOCT图像与所述IVUS图像的轮廓提取与配准;
所述图像帧配准模块63用于将所述IVOCT图像与所述IVUS图像进行帧配准;
所述图像融合模块64用于将所述IVOCT图像与所述IVUS图像进行图像融合。
首先通过所述探测模块1采集需要取样的血管信号,分别通过所述声信号处理模块21对所述血管信号进行处理得到IVUS图像,通过所述光信号处理模块22对所述血管信号进行处理得到IVOCT图像,随后所述第一数据采集模块4分别收集所述IVUS图像得到多帧所述IVUS图像,收集所述IVOCT图像得到多帧IVOCT图像;同时,所述血管造影机3获取第一DSA图像和第二DSA图像,随后通过所述第二数据采集模块5收集所述第一DSA图像和所述第二DSA图像得到多帧所述第一DSA图像和多帧所述第二DSA图像;通过所述数据模块6处理得到的多帧所述IVOCT图像、多帧所述IVUS图像、多帧所述第一DSA图像和多帧所述第二DSA图像,完成所述IVOCT图像与所述IVUS图像的配准,最后通过所述显示模块7将配准后的结果呈现出来。请参见图12,图12为本发明实施例提供的一种IVOCT与IVUS自动配准方法的显示于装置的结果示意图,图中,115为IVOCT图像,116为IVUS图像,117为IVOCT图像与IVUS图像融合后的图像,118为纵向L-轴示意图,119为配准线。当拖动所述配准线时,所述IVOCT图像、所述IVUS图像、所述融合后的图像均显示其在所述配准线位置的图像。
本发明实施例,通过这种模块结构,实现了IVOCT图像与IVUS图像的配准,得到更具优势的图像,使用户能够更好的进行临床判断。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。