CN110123453B - 一种基于无标记增强现实的手术导航系统 - Google Patents

Abstract

本发明提供一种基于无标记增强现实的手术导航系统，包括肿瘤未显露之前和肿瘤未显露之后两个过程；肿瘤未显露之前，包括步骤S1：基于数字图像处理技术，对手术场景进行预处理，提取病灶区域；步骤S2：基于特征检测方法，识别手术场景中的病灶区域，并与步骤S1得到的病灶区域进行匹配，得到二者对应性关系；步骤S3：利用软件将患者的CT数据进行三维重建，获取患者的肿瘤三维模型；步骤S4：将步骤S3得到的三维模型投射在患者病灶区域；肿瘤显露之后，包括步骤H1：选定暴露出的肿瘤；步骤H2：对选定的肿瘤进行跟踪，并实时判断跟踪结果是否正确。本发明利用在二维的医学影像与病灶位置之间建立一条纽带，大大提高手术成功率，给手术的安全提供了极大的保证。

Description

一种基于无标记增强现实的手术导航系统

技术领域

本发明涉及图像处理、计算机视觉、三维重建技术领域，具体而言，尤其涉及一种基于无标记增强现实的手术导航系统。

背景技术

经过半个世纪的发展，各种医学成像手段层出不穷并得到临床医用，如X射线断层成像(X-CT)、磁共振成像(MRI)、正电子发射断层成像(PET)等，上述成像手段为医疗诊断提供了丰富的诊疗信息，也使得基于图像计算机辅助外科术成为可能。

计算机辅助外科手术(CAS:Computer aided(or assisted)surgery)也称为CIS(Computer integrated surgery)，是一个比较广义的概念，是指计算机直接参与的各种外科手术方法，它包含诊断法、远程外科手术和增强现实等。而基于图像的外科手术导航技术(IGS：Image guided surgery)是利用各种医学图像信息来策划外科手术导航，最大可能地为外科医生提供病灶信息。

增强现实技术是一种新技术，是将计算机产生的虚拟图形融合到使用者所看到的真实世界景象中。使用者可以从计算机描绘的虚拟模型中获取额外的信息，从而增强与真实环境的交互。基于图像的外科手术导航是增强现实应用的理想领域，通过增强现实技术为医生的视觉系统进行增强，获得肉眼无法看到的病灶内部信息。

手术导航系统可将许多种类的医学影像设备提供的生理信息有效结合，可以帮助医生术前规划，大大提高手术成功率，进而给手术的安全提供了极大的保证。手术导航系统通过光学图像采集系统对人体相关部位扫描取得具体数据，然后根据数据建立模型。现有的视觉手术导航大多是基于有标记增强现实技术，需要人为的在病灶区域进行人工标记，该方法会对患者造成二次创伤，也极大地限制了医生的操作空间。

发明内容

根据上述提出的传统外科手术医生只能观察病灶的成像胶片来确定病灶在身体的大概位置，利用经验进行手术，极易导致手术创口大、患者恢复时间长等技术问题，而提供一种基于无标记增强现实的手术导航系统。本发明主要利用在二维的医学影像与病灶位置之间建立一条纽带。大大提高手术成功率，进而给手术的安全提供了极大的保证；

本发明采用的技术手段如下：

一种基于无标记增强现实的手术导航系统，包括肿瘤未显露之前和肿瘤未显露之后两个过程；

肿瘤未显露之前，包括如下步骤：

步骤S1：基于数字图像处理技术方法，对手术场景进行预处理，提取感兴趣区域(ROI)，即病灶区域；

步骤S2：基于特征检测的方法，识别手术场景中的病灶区域，并与步骤S1得到的病灶区域进行匹配，得到二者的对应性关系；

步骤S3：利用软件将患者的CT数据进行三维重建，获取患者的肿瘤三维模型；

步骤S4：将步骤S3得到的肿瘤三维模型投射在患者病灶区域；

肿瘤显露之后，包括如下步骤：

步骤H1：选定暴露出的肿瘤；

步骤H2：对选定的肿瘤进行跟踪，并实时判断跟踪结果是否正确。

进一步地，所述步骤S1中的具体过程如下：

步骤S11：对所述手术场景进行灰度处理，得到灰度图像；

步骤S12：选取适合本发明的阈值，将得到的灰度图像进行二值化处理；

步骤S13：对得到的二值化图像进行处理，将二值图像中的闭合区域进行填充，计算每个闭合区域的面积，根据面积找到病灶区域。

进一步地，所述步骤S2中的具体过程如下：

步骤S21：对步骤S1中找到的病灶区域进行特征检测，得到一组特征点P1；

步骤S22：对手术场景用同样的特征检测方法进行特征检测，得到一组特征点P2；

步骤S23：对两组特征点进行匹配，得到对应关系，同时要剔除误匹配特征点。

进一步地，所述步骤S3中的具体过程如下：

步骤S31：基于CT影像，选择合适的阈值，将患者正常组织器官与肿瘤分离；

步骤S32：将分离出来的肿瘤的CT数据进行三维重建，得到患者肿瘤三维模型。

进一步地，所述步骤S4中的具体过程如下：

步骤S41：根据患者CT数据，得出肿瘤位于病灶区域的准确位置；

步骤S42：将步骤S3得到的肿瘤三维模型载入加载器；

步骤S43：根据步骤S2得到的对应性关系，将载入器中的模型投射在病灶区域。

较现有技术相比，本发明具有以下优点：

1、本发明提供的基于无标记增强现实的手术导航系统，在二维的医学影像与病灶位置之间建立一条纽带。大大提高手术成功率，进而给手术的安全提供了极大的保证。

2、应用本发明提供的基于无标记增强现实的手术导航系统，医生可以在手术之前，根据患病部位的三维图像确定完善的手术计划；在手术过程中，可以由病灶的实际位置确定刀口的大小，使刀口达到最小的程度，根据系统中建立的位置精确的三维立体模型，从而能够避免伤及到周围附近的其他重要的组织血管以及神经，对肿瘤的跟踪，也可以在手术过程中进行实时监控，判断手术是否达到预期目标，从而降低手术风险以及难度，提高手术成功率，减少手术时间。

3、本发明提供的基于无标记增强现实的手术导航系统，有效地避免了传统外科手术医生只能观察病灶的成像胶片来确定病灶在身体的大概位置，利用经验进行手术，极易导致手术创口大、患者恢复时间长等问题。

基于上述理由本发明可在图像处理、计算机视觉、三维重建等领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于无标记增强现实的手术导航系统流程图。

图2为本发明实施例医生视觉下手术场景图像。

图3为本发明实施例进行灰度处理后，得到的灰度图像。

图4为本发明实施例进行二值化处理后得到的二值化图像。

图5为本发明实施例经过计算封闭区域面积得到的二值化病灶图像。

图6为本发明实施例得到的最终病灶区域图像。

图7为本发明实施例病灶区域的特征检测结果图。

图8为本发明实施例医生视觉下手术场景特征检测结果图。

图9为本发明实施例两组特征点匹配结果图。

图10为本发明实施例提供的基于患者CT数据进行三维重建后所获得肿瘤三维模型图。

图11为本发明实施例提供的将肿瘤投射在患者病灶区域的效果图。

图12为本发明实施例提供的肿瘤跟踪效果图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当清楚，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员己知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任向具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

如图1所示，本发明提供了一种基于无标记增强现实的手术导航系统，包括肿瘤未显露之前和肿瘤显露之后两个过程；

肿瘤未显露之前，包括如下步骤：

步骤S1、基于数字图像处理技术方法，对手术场景进行预处理，提取感兴趣区域(ROI)，即病灶区域；具体过程如下：

步骤S11、对医生视觉下的如图2所示的手术场景进行灰度处理，得到如图3所示的灰度图像；

本实施例所用的手术影像数据均来自于同一家医院，该手术为椎管内肿物切除手术。

步骤S12、病灶区域为脊椎下硬膜囊，为减少其他组织器官对目标区域检测的影响，选取适合本发明的阈值，过滤掉其他组织器官，并最大程度地保存病灶区域，将步骤S11得到的灰度图像进行二值化处理，得到如图4所示的二值化图片；

步骤S13、对得到的二值化图像进行处理，进一步过滤掉非病灶区域，将二值图像中的闭合区域进行填充，计算每个闭合区域的面积，根据病灶区域的特点，找到对应的病灶区域，此时仍为二值图像，如图5所示，通过病灶区域的二值图像找到原医生视觉下的病灶区域，如图6所示；

步骤S2、基于特征检测的方法，识别手术场景中的病灶区域，并与步骤S1得到的病灶区域进行匹配，得到二者的对应性关系；具体过程如下：

步骤S21、对步骤S1中找到的病灶区域进行特征检测，如图7所示，得到一组特征点P1；

步骤S22、对医生视觉下的手术场景用同样的特征检测方法进行病灶区域检测，如图8所示，得到一组特征点P2；

步骤S23、因为步骤S22中检测的是全景下的手术场景，为了检测到病灶区域，需要对两组特征点进行匹配，匹配成功的特征点对就代表找到了病灶区域，再根据匹配的特征点对得到对应关系，同时要注意剔除误匹配特征点，结果如图9所示。

步骤S3、利用软件将患者的CT数据进行三维重建，获取患者的肿瘤三维模型；具体过程如下：

步骤S31、利用软件读取患者的CT数据，因为CT数据包含了患者局部的组织器官以及肿瘤的所有成像，所以要选择合适的阈值，将患者正常组织器官与肿瘤分离；

步骤S32、将步骤S31分离出来的只包含肿瘤的CT数据进行三维重建，得到患者肿瘤三维模型，如图10所示。

本实施例所采集的CT数据与手术影像数据来自于同一患者。

步骤S4、将步骤S3得到的肿瘤三维模型投射在患者病灶区域，具体过程如下：

步骤S41、通过查看患者CT数据以及患者局部的三维重建结果，根据重建出来的肿瘤与组织器官的空间关系，得出肿瘤位于病灶区域的准确位置；

步骤S42、不同的3D文件类型，有不同的载入方法，根据本实施例的肿瘤模型类型，将步骤S3得到的肿瘤三维模型载入加载器；

步骤S43、根据步骤S2得到的对应性关系，即以步骤S41所得到的位置信息为目标点，以步骤S2得到的对应性关系为映射，将载入器中的模型投射在病灶区域,医生所看到的效果如图11所示。

本实例所设计的以上步骤为医生剥离黄韧带之后，针对显露出来硬膜囊的场景进行操作，此时医生肉眼无法看到肿瘤在应囊膜下的真实位置，本发明截至此步骤为医生提供了肉眼无法看到病灶信息。

肿瘤显露之后，医生切开硬膜囊之后，将剥离、显露出来的肿瘤进行跟踪，包括如下步骤：

步骤H1：选定暴露出的肿瘤；

步骤H2：对选定的肿瘤进行跟踪，并实时判断跟踪结果是否正确,医生所看到的效果如图12所示；

本实例所设计的以上步骤为医生切开硬膜囊之后，针对肿瘤显露出来的场景进行操作，实时跟踪肿瘤，为医生切割肿瘤提供帮助。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种基于无标记增强现实的手术导航系统，其特征在于，包括肿瘤未显露之前和肿瘤显露之后两个过程；

肿瘤未显露之前，包括如下步骤：

步骤S1：基于数字图像处理技术方法，对手术场景进行预处理，提取感兴趣区域ROI，即病灶区域；

步骤S2：基于特征检测的方法，识别手术场景中的病灶区域，并与步骤S1得到的病灶区域进行匹配，得到二者的对应性关系；

步骤S3：利用软件将患者的CT数据进行三维重建，获取患者的肿瘤三维模型；

步骤S4：将步骤S3得到的肿瘤三维模型投射在患者病灶区域；

步骤S4中的具体过程如下：

步骤S41：通过查看患者CT数据以及患者局部的三维重建结果，根据重建出来的肿瘤与组织器官的空间关系，得出肿瘤位于病灶区域的准确位置；

步骤S42：将步骤S3得到的肿瘤三维模型载入加载器；

步骤S43：根据步骤S2得到的对应性关系，即以步骤S41所得到的位置信息为目标点，以步骤S2得到的对应性关系为映射，将载入器中的模型投射在病灶区域；

肿瘤显露之后，包括如下步骤：

步骤H1：选定暴露出的肿瘤；

步骤H2：对选定的肿瘤进行跟踪，并实时判断跟踪结果是否正确。

2.根据权利要求1所述的基于无标记增强现实的手术导航系统，其特征在于，所述步骤S1中的具体过程如下：

步骤S11：对所述手术场景进行灰度处理，得到灰度图像；

步骤S12：选取适合本发明的阈值，将得到的灰度图像进行二值化处理；

步骤S13：对得到的二值化图像进行处理，将二值图像中的闭合区域进行填充，计算每个闭合区域的面积，根据面积找到病灶区域。

3.根据权利要求1所述的基于无标记增强现实的手术导航系统，其特征在于，所述步骤S2中的具体过程如下：

步骤S21：对步骤S1中找到的病灶区域进行特征检测，得到一组特征点P1；

步骤S22：对手术场景用同样的特征检测方法进行特征检测，得到一组特征点P2；

步骤S23：对两组特征点进行匹配，得到对应关系，同时要剔除误匹配特征点。

4.根据权利要求1所述的基于无标记增强现实的手术导航系统，其特征在于，所述步骤S3中的具体过程如下：

步骤S31：基于CT影像，选择合适的阈值，将患者正常组织器官与肿瘤分离；

步骤S32：将分离出来的肿瘤的CT数据进行三维重建，得到患者肿瘤三维模型。

Images