CN115530973A - 一种消融可视化方法及系统 - Google Patents

Abstract

本发明提供一种消融可视化方法及系统，包括手术前对手术目标位置进行建模，获取目标位置的三维模型；对所述目标位置的三维模型进行多个方向投影，获得多个投影图像；对所述多个投影图像进行血管提取，获得多个投影血管图像；手术中获取手术目标位置的第一二维超声图像，对所述第一二维超声图像进行血管提取，获得第一超声血管图像；将所述第一超声血管图像与所述多个投影血管图像对比，获取与所述第一超声血管图像相似度最大的第一投影血管图像；根据所述第一二维超声图像及所述第一投影图像确定显示图像，将所述显示图像显示于消融设备显示器。通过上述方案解决了医生在进行消融手术时查看的图像不清晰的技术问题。

Description

一种消融可视化方法及系统

技术领域

本发明涉及医学数据处理领域，具体而言涉及一种消融可视化方法及系统。

背景技术

消融是指通过物理或化学手段使肿瘤组织失活，利用射频消融技术治疗恶性肿瘤时通常是将不同形状的消融电极针插入到患者恶性肿瘤组织中，利用射频发生仪产生的交变电流使得组织内导电离子和极化分子沿射频电流方向做高速运动产生焦耳热，热能随时间增加逐渐向外传导给肿瘤细胞，利用肿瘤细胞对高温的承受能力较差的特点，完成对肿瘤细胞的原位灭活。

由于CT等三维图像实时性较差，并且具有辐射，因此目前消融手术的主要流程是在手术前通过医学影像设备对患者进行二维或三维扫描，通过获得的扫描图像对患者体内的恶性肿瘤进行精准定位，医生确定消融的具体位置。在术中通过超声实时获取消融部分的可视化图像，医生在超声仪器的指导下将消融针刺入病灶部位，通过超声视频图像观查手术过程。然而，超声图像分辨率低、视野小，并且容易受到人体内肺气、肋骨等影响，遮挡目标位置，导致超声图像不够清楚并且可读性较差。

发明内容

为了解决上述背景技术中的问题，本发明提供一种消融可视化方法及系统。

在本发明的一个方面，提供一种消融可视化方法，包括如下步骤：手术前对手术目标位置进行建模，获取目标位置的三维模型；对所述目标位置的三维模型进行多个方向投影，获得多个投影图像；对所述多个投影图像进行血管提取，获得多个投影血管图像；手术中获取手术目标位置的第一二维超声图像，对所述第一二维超声图像进行血管提取，获得第一超声血管图像；将所述第一超声血管图像与所述多个投影血管图像对比，获取与所述第一超声血管图像相似度最大的第一投影血管图像；根据所述第一投影血管图像获取第一投影图像；根据所述第一二维超声图像及所述第一投影图像确定显示图像，将所述显示图像显示于消融设备显示器。

进一步地，在对所述目标位置的三维模型进行多个方向投影，获得多个投影图像时，以第一步长修改投影角度，获得每个投影角度的投影图像。

进一步地，在对所述目标位置的三维模型进行多个方向投影，获得多个投影图像时，仅在超声探头移动的角度范围内进行多个方向投影。

进一步地，所述对所述多个投影图像进行血管提取，获得多个投影血管图像在手术前进行。

进一步地，所述将所述第一超声血管图像与所述多个投影血管图像对比，获取与所述第一超声血管图像相似度最大的第一投影血管图像具体包括：对所述第一超声血管图像与所述多个投影血管图像求取拐角点；对所述第一超声血管图像与所述多个投影血管图像计算每个拐角点的角度，并对拐角点坐标和拐角角度进行记录；根据所述第一超声血管图像与所述多个投影血管图像拐角点坐标和角度生成第一超声血管图像拐角点矩阵和多个投影血管图像拐角点矩阵；所述拐角点矩阵元素位置与图像像素点对应，拐角点坐标对应处的元素为所述拐角角度数量，其余位置以0填充；以第一超声血管图像的拐角点矩阵为移动窗口，在每一个投影血管图像拐角点矩阵中移动匹配，计算欧氏距离，当欧氏距离小于第一阈值时，将移动窗口以及当前被遍历的窗口从左上至右下依次对每一对拐角点对应的拐角角度求欧氏距离，并将所有的角度欧氏距离相加得到所述第一超声血管图像与每一个投影血管图像的拐角角度距离，拐角角度距离最小的投影血管图像为与第一超声血管图像相似度最大的第一投影血管图像。

在另一种实施方式中，本发明还公开了一种消融可视化系统，包括如下模块：建模模块，用于手术前对手术目标位置进行建模，获取目标位置的三维模型；投影模块，用于对所述目标位置的三维模型进行多个方向投影，获得多个投影图像；提取模块，用于对所述多个投影图像进行血管提取，获得多个投影血管图像；第二提取模块，用于手术中获取手术目标位置的第一二维超声图像，对所述第一二维超声图像进行血管提取，获得第一超声血管图像；对比模块，用于将所述第一超声血管图像与所述多个投影血管图像对比，获取与所述第一超声血管图像相似度最大的第一投影血管图像；获取模块，用于根据所述第一投影血管图像获取第一投影图像；显示模块，用于根据所述第一二维超声图像及所述第一投影图像确定显示图像，将所述显示图像显示于消融设备显示器。

进一步地，在对所述目标位置的三维模型进行多个方向投影，获得多个投影图像时，以第一步长修改投影角度，获得每个投影角度的投影图像。

进一步地，在对所述目标位置的三维模型进行多个方向投影，获得多个投影图像时，仅在超声探头移动的角度范围内进行多个方向投影。

进一步地，所述对所述多个投影图像进行血管提取，获得多个投影血管图像在手术前进行。

进一步地，将所述第一超声血管图像与所述多个投影血管图像对比，获取与所述第一超声血管图像相似度最大的第一投影血管图像具体包括：对所述第一超声血管图像与所述多个投影血管图像求取拐角点；对所述第一超声血管图像与所述多个投影血管图像计算每个拐角点的角度，并对拐角点坐标和拐角角度进行记录；根据所述第一超声血管图像与所述多个投影血管图像拐角点坐标和角度生成第一超声血管图像拐角点矩阵和多个投影血管图像拐角点矩阵；所述拐角点矩阵元素位置与图像像素点对应，拐角点坐标对应处的元素为所述拐角角度数量，其余位置以0填充；以第一超声血管图像的拐角点矩阵为移动窗口，在每一个投影血管图像拐角点矩阵中移动匹配，计算欧氏距离，当欧氏距离小于第一阈值时，将移动窗口以及当前被遍历的窗口从左上至右下依次对每一对拐角点对应的拐角角度求欧氏距离，并将所有的角度欧氏距离相加得到所述第一超声血管图像与每一个投影血管图像的拐角角度距离，拐角角度距离最小的投影血管图像为与第一超声血管图像相似度最大的第一投影血管图像。

本发明通过上述技术方案，将通过CT、MIR等构建的高清三维图像映射至实时的超声消融手术中，提高了消融手术的图像清晰度。并且本发明提供的方法中匹配速度快，实时性高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1 本发明方法示意图；

图2 投影示意图；

图3 投影图像血管提取示意图；

图4 超声图像血管提取示意图；

图5 拐角示意图；

图6 第二拐角示意图。

具体实施方式

下面，结合附图以及具体实施方式，对发明做出优选的描述。

本实施例通过如下步骤解决上述问题:

在一个实施例中，参考图1，本发明提供一种消融可视化方法，包括如下步骤：

手术前对手术目标位置进行建模，获取目标位置的三维模型。

本发明所述术前是指在实施消融手术之前；目标位置可以是人体的一个器官对应的部位，如目前消融手术应用比较多的器官有甲状腺、肝等，手术过程中需要通过颈部、腹部刺入消融针，因此目标位置可以是包括了目标器官的颈部、腹部等位置。

对手术目标位置进行三维建模可以使用现有技术中的任意方法，如CT扫描三维重建、MRI三维重建、DBVE数字建模技术等，通过现有的三维建模软件得到相应的三维数字图像，以供后续的步骤使用。

对所述目标位置的三维模型进行多个方向投影，获得多个投影图像。

超声诊断的原理是通过超声探头发出超声波，通过人体组织不同部位的不同的反射强度进行二维图像建模，因此超声波动图像的本质是，接收超声波的人体组织在超声探头发射超声波方向的投影。

本发明基于清晰的三维图像对二维超声图像进行修复，因此需要获得与超声类似的图像。基于此原理，首先对三维模型进行多个方向投影，如图2所示，为三维图像的投影示例。根据超声图像原理可知，当超声的方向与投影方向相同时，超声图像与投影图像获得的图像内容相同（由于成像原理不同，图像不完全相同，但均是从同一角度看同一物体）。投影操作属于三维处理中的常规操作，现有技术中有众多方法，如openCV中即提供了多种投影函数，具体使用哪种投影方法本发明不做进一步限定。

为了减少后继实时处理的时间，需要进行多个方向的投影，即修改投影方向，事先多次改变投影方向得到多个投影图像。

进一步地，以第一步长修改投影角度，获得每个投影角度的投影图像。很显然地，当步长越小时，获得的投影越多，后续中进行匹配时，匹配成功的图像与超声图像的相似度越高。

进一步地，为了减少匹配量，仅在超声探头移动的角度范围内进行多个方向投影，获得多个投影图像。以甲状腺为例，医生仅会在颈部有甲状腺病变的一侧的小范围内移动超声探头，产生的超声图像也在该小范围内，因此只需要在该小范围角度内匹配三维图像即可。

对所述多个三维投影图像进行血管提取，获得多个投影血管图像。

由于三维建模的原理与超声成像的原理有所不同，超声图像受到的干扰较多，如体内的气体、液体分布会严重成像效果，超声图像可能存在较多不规则阴影。在进行人工解读时，医生可以轻易区分这些阴影，但如果进行计算机匹配则会产生较大的误差。

由于血管有规则走向，当血管被阴影遮挡时可以通过线性补偿、插值等手段对血管进行补全。并且在器官中血管是三维分布的，从各个角度查看血管的分布均不相同，也就是前文中的多个投影图像中的血管分布均不相同。因此可以通过血管的匹配来进行图像的匹配，由于去掉了其它内容，仅进行血管匹配还可以大大提高匹配速度。

基于上述原理，为了方便进行后续的血管匹配操作，本发对所述多个三维投影图像进行血管提取。对器官图像进行血管提取现有技术中有较多的方法，如孙国栋等提出的基于颈动脉超声血管的特征提取算法，王力等提出的DSA图像肝脏肿瘤血管的提取等。本发明可采用现有技术中的任意血管提取方法，通过血管提取后图像中仅保留血管的二维走向，如图3所示，为一仅保留血管走向的二维图像。另外，部分现有技术的血管提取算法中还提供了血管补全的方法，当有血管被遮挡时，可选择带有补全功能的算法。

进一步的，获得多个投影血管图像的步骤可以在手术前进行，以提高后续步骤的处理速度。

手术中获取手术目标位置的第一二维超声图像，对所述第一超声二维图像进行血管提取，获得第一超声血管图像。

在进行消融手术时，由于超声图像实时性较好，因此在手术中通常是以超声进行实时导航，在进行实时超声时，实时获取二维超声图像。如前述的原理，采用血管匹配可以提高匹配准确度，并且可以加快匹配速度。因此采用如前述提取血管的方法类似，对二维超声图像进行血管提取，获得血管图像。进一步地，为了方便提取血管，在进行血管提取前对二维超声图像进行边缘增强。

由于超声视野有相对CT小，因此，如图4所示，通过对超声图像进行血管提取后其得到的血管图像可能较小。

将所述第一超声血管图像与所述多个投影血管图像对比，获取与所述第一超声血管图像相似度最大的第一投影血管图像。

在手术实施期间，获得到超声血管图像后立即与多个投影血管图像对比，超声血管图像与投影血管图相似时表明超声的角度和三维投影的角度相同，此时超声成像的内容和相应的三维投影的成像内容相同（就是从相同的角度看相同的器官）。在多个投影血管图像中与超声血管图像相似度越高说明角度对应得越好，选取其中相似度最大的第一投影血管图像即为从超声角度看过去的图像。

进一步地，由于在手术过程中，医生为了看到不同角度的图像会不断地调整超声探头的角度，因此实时获取的超声图像也在随时变化，为了能够实时显示变化的图像，在本发明的方案中对超声血管图像与投影血管图像对比的效率要求非常高，必须在极短的时间内完成对比，找到与所述第一超声血管图像相似度最大的第一投影血管图像。为此本发明进一步对对比算法进行优化。

首先对所述第一超声血管图像与所述多个投影血管图像求取拐角点，示例性地，如图4中圆圈所示的为拐点（图中未标注出全部的拐角点）；拐角点可以采用现有技术中的任意方法进行求解；示例性地，可使用openCV中的goodFeaturesToTrack，goodFeaturesToTrack采用窗口函数进行检测，效率非常地高。

在求得拐角点后对所述第一超声血管图像与所述多个投影血管图像计算每个拐角点的角度，并对拐角点坐标和拐角角度进行记录。由于拐角点都是弯折点，通过拐角点及其附近的像素计算拐角点的角度，也就是拐角点为顶点，血管为边的角度，如图5所示，1号拐点处只有两个角度60度与300度，2号拐点处分成了三个角，分别为130 120 110，则记录三个角度，如此类似地，对所有的拐点都记录全部的角度。

根据所述第一超声血管图像与所述多个投影血管图像拐角点坐标和角度生成第一超声血管图像拐角点矩阵和多个投影血管图像拐角点矩阵；所述拐角点矩阵元素位置与图像像素点对应，拐角点坐标对应处的元素为所述拐角角度数量，其余位置以0填充。示例性，在矩阵（20，40）处为2，在矩阵（40，55）处为3，其它无拐角点的位置以0填充。进一步示例地，为了简化描述，以如表2所示的矩阵表示投影血管图像的拐角矩阵，其中非0处表示了相应的坐标点处为拐角，并填入拐角角度的数量。

表2

如表3所示，为第一超声血管图像的拐角矩阵。

需求说明的是，表2及表3均是为了描述方便，对元素数量进行了简化，在实际情况中，元素的数据远远大于表中所示。

以第一超声血管图像的拐角点矩阵为移动窗口，在每一个投影血管图像拐角点矩阵中移动匹配，计算欧氏距离，当欧氏距离小于第一阈值时，将移动窗口以及当前被遍历的窗口从左上至右下依次对每一对拐角点对应的多个角度求角度欧氏距离，并将所有的角度欧氏距离相加得到所述第一超声血管图像与每一个投影血管图像拐角角度距离，拐角角度距离最小的投影血管图像为第一超声血管图像相似度最大的第一投影血管图像。

示例性地，表3为超声血管图像的拐角点矩阵、表2为投影血管图像拐角点矩阵，以表2为窗口，在表3中遍历，表2每移动一次均计算一次欧氏距离，当表3移动到表2的第2行第2列时欧氏距离为0，其小于预设距离值。则表示此时超声血管图像与投影血管图像较接近，需要进一步进行判断。

假设表2中第1行第1列的元素对应的拐角角度为（60，300），第3行第3列的元素对应的拐角角度为（130，120，110）；表3中第2行第2列的元素对应的拐角角度为（60，300），第4行第4列的元素对应的拐角角度为（134，118，108），则将（60，300）与（60，300）求欧式距离，将（130，120，110）与（134，118，108）求欧氏距离，并将求得的欧式距离相加得到拐角角度距离。

由于超声血管图像与投影血管图像是从不同角度对同一器官进行观察，相同的血管的交叉点在不同的观察角度中的角度是不同一，本发明通过此原理进行血管相似度的对比，上述计算过程均采用简单的窗函数以及张线性计算，每一个对比过程均可以毫秒级别完成，因此可以极大的提高匹配的实时性。

根据所述第一投影血管图像获取第一投影图像。

在前述步骤中，投影血管图像是根据投影图像，因此每一个投影血管图像对应一个投影图像，在进行血管提取时进行对应地记录，则可根据所述第一投影血管图像获取第一投影图像。

根据所述第一二维超声图像及所述第一投影图像确定显示图像，将所述显示图像显示于消融设备显示器。

第一投影图像是根据三维建模获取的，因此其清晰度高，分辨率高，并且与实时的二维超声图像是同一角度的，也就是第一投影图像是使用超声设备看到的图像的高清版；为了显示消融步骤，进一步地，根据所述第一二维超声图像提取出消融针的图像，并将所述消融针叠加至所述第一投影得到显示图像，将所述显示图像显示于消融设备显示器，此时即可得到实时的，高清的消融可视化图像。

在另一种实施中，本发明还提供一种消融可视化系统，包括如下模块：

建模模块，用于手术前对手术目标位置进行建模，获取目标位置的三维模型；

投影模块，用于对所述目标位置的三维模型进行多个方向投影，获得多个投影图像；

提取模块，用于对所述多个投影图像进行血管提取，获得多个投影血管图像；

第二提取模块，用于手术中获取手术目标位置的第一二维超声图像，对所述第一二维超声图像进行血管提取，获得第一超声血管图像；

对比模块，用于将所述第一超声血管图像与所述多个投影血管图像对比，获取与所述第一超声血管图像相似度最大的第一投影血管图像；

获取模块，用于根据所述第一投影血管图像获取第一投影图像；

显示模块，用于根据所述第一二维超声图像及所述第一投影图像确定显示图像，将所述显示图像显示于消融设备显示器。

需要说明的是上述消融可视化系统的详细实现原理以及进一步的改进措施都与前述的消融可视化方法相同，本实施例中不再进行详细描述，本领域技术人员可以根据现有技术消融可视化方法在消融可视化系统中进行具体实现。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

本发明未特别明确的部分模块结构，以现有技术记载的内容为准。本发明在前述背景技术部分以及具体实施例部分提及的现有技术可作为本发明的一部分，用于理解部分技术特征或者参数的含义。本发明的保护范围以权利要求实际记载的内容为准。

Claims (10)

1.一种消融可视化方法，其特征在于所述方法包括如下步骤：

手术前对手术目标位置进行建模，获取目标位置的三维模型；

对所述目标位置的三维模型进行多个方向投影，获得多个投影图像；

对所述多个投影图像进行血管提取，获得多个投影血管图像；

手术中获取手术目标位置的第一二维超声图像，对所述第一二维超声图像进行血管提取，获得第一超声血管图像；

将所述第一超声血管图像与所述多个投影血管图像对比，获取与所述第一超声血管图像相似度最大的第一投影血管图像；

根据所述第一投影血管图像获取第一投影图像；

根据所述第一二维超声图像及所述第一投影图像确定显示图像，将所述显示图像显示于消融设备显示器。

2.根据权利要求1所述的一种消融可视化方法，其特征在于：在对所述目标位置的三维模型进行多个方向投影，获得多个投影图像时，以第一步长修改投影角度，获得每个投影角度的投影图像。

3.根据权利要求1所述的一种消融可视化方法，其特征在于：在对所述目标位置的三维模型进行多个方向投影，获得多个投影图像时，仅在超声探头移动的角度范围内进行多个方向投影。

4.根据权利要求1所述的一种消融可视化方法，其特征在于：所述对所述多个投影图像进行血管提取，获得多个投影血管图像在手术前进行。

5.根据权利要求1所述的一种消融可视化方法，其特征在于所述将所述第一超声血管图像与所述多个投影血管图像对比，获取与所述第一超声血管图像相似度最大的第一投影血管图像具体包括：

对所述第一超声血管图像与所述多个投影血管图像求取拐角点；

对所述第一超声血管图像与所述多个投影血管图像计算每个拐角点的角度，并对拐角点坐标和拐角角度进行记录；

根据所述第一超声血管图像与所述多个投影血管图像拐角点坐标和角度生成第一超声血管图像拐角点矩阵和多个投影血管图像拐角点矩阵；所述拐角点矩阵元素位置与图像像素点对应，拐角点坐标对应处的元素为所述拐角角度数量，其余位置以0填充；

以第一超声血管图像的拐角点矩阵为移动窗口，在每一个投影血管图像拐角点矩阵中移动匹配，计算欧氏距离，当欧氏距离小于第一阈值时，将移动窗口以及当前被遍历的窗口从左上至右下依次对每一对拐角点对应的拐角角度求欧氏距离，并将所有的角度欧氏距离相加得到所述第一超声血管图像与每一个投影血管图像的拐角角度距离，拐角角度距离最小的投影血管图像为与第一超声血管图像相似度最大的第一投影血管图像。

6.一种消融可视化系统，其特征在于所述系统包括如下模块：

建模模块，用于手术前对手术目标位置进行建模，获取目标位置的三维模型；

投影模块，用于对所述目标位置的三维模型进行多个方向投影，获得多个投影图像；

提取模块，用于对所述多个投影图像进行血管提取，获得多个投影血管图像；

第二提取模块，用于手术中获取手术目标位置的第一二维超声图像，对所述第一二维超声图像进行血管提取，获得第一超声血管图像；

对比模块，用于将所述第一超声血管图像与所述多个投影血管图像对比，获取与所述第一超声血管图像相似度最大的第一投影血管图像；

获取模块，用于根据所述第一投影血管图像获取第一投影图像；

显示模块，用于根据所述第一二维超声图像及所述第一投影图像确定显示图像，将所述显示图像显示于消融设备显示器。

7.根据权利要求6所述的一种消融可视化系统，其特征在于：在对所述目标位置的三维模型进行多个方向投影，获得多个投影图像时，以第一步长修改投影角度，获得每个投影角度的投影图像。

8.根据权利要求6所述的一种消融可视化系统，其特征在于：在对所述目标位置的三维模型进行多个方向投影，获得多个投影图像时，仅在超声探头移动的角度范围内进行多个方向投影。

9.根据权利要求6所述的一种消融可视化系统，其特征在于：所述对所述多个投影图像进行血管提取，获得多个投影血管图像在手术前进行。

10.根据权利要求6所述的一种消融可视化系统，其特征在于所述将所述第一超声血管图像与所述多个投影血管图像对比，获取与所述第一超声血管图像相似度最大的第一投影血管图像具体包括：

对所述第一超声血管图像与所述多个投影血管图像求取拐角点；

对所述第一超声血管图像与所述多个投影血管图像计算每个拐角点的角度，并对拐角点坐标和拐角角度进行记录；

根据所述第一超声血管图像与所述多个投影血管图像拐角点坐标和角度生成第一超声血管图像拐角点矩阵和多个投影血管图像拐角点矩阵；所述拐角点矩阵元素位置与图像像素点对应，拐角点坐标对应处的元素为所述拐角角度数量，其余位置以0填充；

以第一超声血管图像的拐角点矩阵为移动窗口，在每一个投影血管图像拐角点矩阵中移动匹配，计算欧氏距离，当欧氏距离小于第一阈值时，将移动窗口以及当前被遍历的窗口从左上至右下依次对每一对拐角点对应的拐角角度求欧氏距离，并将所有的角度欧氏距离相加得到所述第一超声血管图像与每一个投影血管图像的拐角角度距离，拐角角度距离最小的投影血管图像为与第一超声血管图像相似度最大的第一投影血管图像。

Images