CN109758231A

CN109758231A - 基于混合现实的胸腔内手术导航方法及系统

Info

Publication number: CN109758231A
Application number: CN201910165439.2A
Authority: CN
Inventors: 钟文昭
Original assignee: Individual
Current assignee: Individual
Priority date: 2019-03-05
Filing date: 2019-03-05
Publication date: 2019-05-17

Abstract

本发明公开了一种基于混合现实的胸腔内手术导航方法及系统，其中，该方法包括如下步骤：获取表征患者胸腔信息的CT数据进行三维建模，得到模型重建数据；基于模型重建数据在相应的三维模型上设置模拟定位针，得到术中模型数据；模拟定位针，用于在所述三维模型中经由胸廓表面对肺部病灶区域进行定位；根据术中模型数据，由显像装置生成表征患者胸腔的混合现实图像，并使得混合图像与当前患者的实际胸腔叠合；在混合现实图像中显示模拟定位针，以引导术者经由患者皮肤对所述病灶区域的操作。本发明的实施，能够提高术中定位的准确性，提升术者的操作效率和患者的舒适度，并减少辐射，能降低医疗运转成本。

Description

基于混合现实的胸腔内手术导航方法及系统

技术领域

本发明涉及医疗器械技术领域，具体而言，本发明涉及一种基于混合现实的胸腔内手术导航方法及系统。

背景技术

随着医疗器械技术的发展、人们体检意识的增强以及影像检测技术的进步，尤其是高分辨率CT的日益普及，肺部小结节的检出率逐年升高。然而，如何对病灶区域，例如肺部小结节进行精准定位，依旧是每个胸外科医生重点关注的问题。

基于大量的临床研究，针对早期肺癌可根据结节大小和GGO/实性比例进行个体化范围切除。通常而言，对早期外周型磨玻璃样（实性成分占比＜0.25）为主小结节(＜2 cm），单纯采取亚肺叶切除（包括肺段和楔形）均可达到肿瘤生物学层面“完整切除”，同时保留更多正常肺组织，利于患者的术后恢复及改善日后的生活质量。然而，外科切除SPSN的最大难点在于术中定位。由于 SPSN 在肺表面是术者难以看见或者触摸到，导致术中通过指触碰病灶定位或者通过器械滑行定位病灶的成功率仅为 30%。因此对于SPSN的术中精准定位是手术成功的关键因素之一。

在过去几十年里，胸外科医生们发展出多种辅助定位技术。其中最为经典的是 CT引导下美蓝染色定位或定位钩（hookwire）定位，具有相当高的定位成功率；但依然存在着诸多难以解决的问题，例如：美蓝染色剂易扩散、定位钩易脱钩、医疗资源的高成本耗费、以及额外的 CT 辐射等。

发明内容

本发明的目的在于针对以上存在的至少一方面不足，提供一种于混合现实的胸腔内手术导航方法及系统，能够提高术中定位的准确性，提升术者的操作效率。

为了实现上述目的，本发明采取如下若干方面的技术方案：

第一方面，本发明实施例中提供了一种基于胸腔内手术导航方法，包括如下步骤：

获取表征患者胸腹腔信息的CT数据进行三维建模，得到模型重建数据；

基于所述模型重建数据在相应的三维模型上设置模拟定位针，得到术中模型数据；所述模拟定位针，用于在所述三维模型中经由胸廓表面对病灶区域进行定位；

根据所述术中模型数据，由显像装置生成所述表征患者胸腔的混合现实图像，并使得所述混合图像与当前所述患者的胸腔叠合；

在所述混合现实图像中显示所述模拟定位针，以引导术者经由所述患者皮肤对所述病灶区域的操作。

进一步地，该基于胸腔内手术导航方法还包括如下前置步骤：在所述患者体表的骨性标志上附着金属标记物后，扫描所述患者胸腹腔，得到包含所述金属标记物信息的CT数据；

所述混合图像与当前所述患者的胸腔叠合，包括：根据金属标记物的相对位置，将所述混合现实图像与当前所述患者的胸腔基于进行骨性标志叠合，和/或将所述混合现实图像中的胸廓表面与所述患者当前的皮肤轮廓叠合。

优选地，所述基于所述模型重建数据在相应的三维模型上设置模拟定位针，包括在所述三维模型的胸廓表面上设置进针定位点、方向和深度。

优选地，所述病灶区域包括肺部结节；所述经由所述患者皮肤对所述病灶区域的操作，包括：经皮肺穿刺，和/或楔形切除所述病灶。

优选地，所述在所述混合现实图像中显示所述模拟定位针，还包括显示测量出的进针定位点与所述肺部结节的距离。

进一步地，所述得到术中模型数据后，还包括如下步骤：

将所述术中模型数据向云端服务器上传，并共享到至少一个所述显像装置。

优选地，所述显像装置为MR眼镜，其通过全息投影生成所述表征患者胸腔的混合现实图像。

可选地，所述在所述混合现实图像中显示所述模拟定位针，包括显示根据所述进针定位点、方向和深度生成的进针路径。

可选地对所述CT数据进行三维建模，得到模型重建数据，包括：

通过Mimics软件提取所述CT数据中扫描层的边界轮廓线并叠加实现三维建模和有限元建模仿真，得到所述患者胸腔的模型重建数据。

第二方面，本发明实施例中提供了一种基于混合现实的胸腔内手术导航系统，包括：

扫描模块，用于在患者体表的骨性标志上附着金属标记物后，扫描所述患者胸腔，得到包含所述金属标记物信息的CT数据；

重建模块，用于获取表征患者胸腔信息的CT数据进行三维建模，得到模型重建数据；

编辑模块，用于基于所述模型重建数据在相应的三维模型上设置模拟定位针，得到术中模型数据；所述模拟定位针，用于在所述三维模型中经由胸廓表面对病灶区域进行定位；

投影模块，用于根据所述术中模型数据，由显像装置生成所述表征患者胸腔的混合现实图像，并根据金属标记物的相对位置，将所述混合现实图像与当前所述患者的胸腔基于进行骨性标志叠合，和/或将所述混合现实图像中的胸廓表面与所述患者当前的皮肤轮廓叠合；在所述混合现实图像中显示所述模拟定位针，以引导术者经由所述患者皮肤对所述病灶区域的操作。

与现有技术相比较，本发明提供的技术方案至少具有如下优点：

本发明的实施例中提出了一种基于混合现实的胸腔内手术导航方法及系统，其中，基于混合现实的胸腔内手术导航方法充分利用混合现实技术提供的特性，首先获取表征患者胸腔信息的CT数据进行三维建模，得到模型重建数据；从而能够基于模型重建数据在相应的三维模型上设置模拟定位针，得到术中模型数据，以用于在术中立体呈现；而模拟定位针，则用于在所述三维模型中经由胸廓表面对病灶区域进行定位；根据所述术中模型数据，由显像装置生成所述表征患者胸腔的混合现实图像，并使得所述混合图像与当前所述患者的胸腔叠合；进而，在所述混合现实图像中显示所述模拟定位针，以引导术者经由所述患者皮肤对所述病灶区域的操作。本发明的技术方案能够提高术中定位的准确性，提升术者的操作效率和患者的舒适度，并减少辐射，能降低医疗运转成本。具体包括但不限于：

1、极大减少CT辐射：传统的CT引导下穿刺至少需再次接受2~3次的CT辐射，而本发明利用混合现实技术，可将患者的首次CT进行三维重建；

2、提高工作效率，减少医疗器械负担：而传统CT引导下穿刺定位，需要占用CT机的工作时间；而本发明基于混合现实进行导航，只需术前约10分钟进行三维重建，术中只需5、6分钟的定位时间，效率极高；

3、提高患者的舒适度：传统的而CT定位则需要患者在局麻情况下进行穿刺定位，有的会引起患者疼痛、胸闷等不适；而本发明基于混合现实进行导航，定位只需要在术中患者麻醉后进行操作，患者为无痛体验。

然而，书不尽言，本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得更加简明易懂，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明中基于胸腔内手术导航方法一个实施例的流程示意图；

图2为本发明中基于胸腔内手术导航方法另一实施例的流程示意图；

图3为本发明中一个实施例的将混合图像与当前所述患者的胸腔叠合过程示意图；

图4为本发明中一个实施例的将混合图像与当前所述患者的胸腔叠合示意图；

图5为本发明中基于胸腔内手术导航装置的一个实施例的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如S10、S11等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

本领域普通技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在该特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本领域普通技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语），具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本领域普通技术人员可以理解，这里所使用的 “混合现实”（mixed reality,MR），是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。通过传感器，全系光学和处理器技术结合成相关的显像装置，例如MR眼镜，可以为用户提供叠加增强全息数字内容到实时空间的能力，能够适用于越来越多的现实交互场景。

为了实现数据传输，显像装置既可以包括无线信号接收器的设备，又可包括接收和发射信号的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射信号的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；

本技术领域技术人员可以理解，这里所使用的云端服务器，可以为远端网络设备，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云。在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。本发明的实施例中，远端网络设备、终端设备与WNS服务器之间可通过任何通信方式实现通信，包括但不限于，基于3GPP、LTE、WIMAX的移动通信、基于TCP/IP、UDP、WIFI协议的计算机网络通信以及基于蓝牙、红外传输标准的近距无线传输方式。

本发明是为了医疗器械的发展而提出的基于混合现实的术中导航技术解决方案，理论上与操作系统无必然关联。本发明期望利用其技术方案在云端实现对硬件设备的接入控制，尤其是对其上报的数据实施有效管理，使得搭载mimics 3D软件或其数据的计算机、平板电脑、MR眼镜和NAS存储服务器之类的硬件设备的数据访问、上传或共享，能够基于更为安全和高效的网络环境而进行。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明的一种基于胸腔内手术导航方法，包括如下步骤S11-S14：

步骤S11，获取表征患者胸腔信息的CT数据进行三维建模，得到模型重建数据。

获取对患者进行胸腹腔CT扫描得到的CT数据，将其导入相关的三维重建软件，以mimics 3D软件为例，其支持多种格式的数据，如CT、MRI等影像学数据，通过Mimics 3D软件提取所述CT数据中扫描层的边界轮廓线并叠加实现三维建模和有限元建模仿真，能够得到所述患者胸腔的模型重建数据。例如，在一种实施例中，使用pulmonary模块，能够构建支气管的模型，而后调用segment lungs即可将左右肺部建好并分好肺叶，从而实现三维模型的重建，得到模型重建数据。

上述用于模型重建的CT数据可以为预先存储的历史数据，如根据患者ID相应保存的电子病历数据；也可以是患者在术前进行CT扫描获取的数据，为了提高后续基于模型重建数据生成的混合图像与所述患者的胸腹腔叠合的准确性，在本发明的一些实施例中，请参阅图2，还可以包括前置步骤S10，在所述患者体表的骨性标志上附着金属标记物a后，扫描所述患者胸腔，得到包含所述金属标记物信息b的CT数据。可以理解的是，术者或技术人员可以根据实际情况将金属标记物a优选为金属圆环或其他形状，以便于观察校准。

步骤S12，基于所述模型重建数据在相应的三维模型上设置模拟定位针，得到术中模型数据；所述模拟定位针，用于在所述三维模型中经由胸腹廓表面对病灶区域进行定位。

在前述患者的三维重建模型上，可以基于所述模型重建数据通过上述三维重建软件设置模拟定位针，得到术中模型数据，具体可包括在所述三维模型的胸腹廓表面上设置进针定位点、方向和深度，用于在所述三维模型中经由胸廓表面对病灶区域进行定位。作为本发明的一种实施例，上述病灶区域包括了肺部结节，术者在实际操作中能够根据上述模拟定位针使定位针从皮肤进针，达到肺部病灶附近后，通过定位针打染料进行染色定位。

步骤S13，根据所述术中模型数据，由显像装置生成所述表征患者胸腔的混合现实图像，并使得所述混合图像与当前所述患者的胸腔叠合。

由上述重建和设置过程得到术中模型数据后，为了同步数据以实现术中导航，可将所述术中模型数据向云端服务器上传，并共享到至少一个所述显像装置302。具体而言，请参阅图3和图4，所述显像装置302为MR眼镜，由术者301佩戴，其通过全息投影生成所述表征患者201胸腔的混合现实图像M。由于根据术中模型数据能够投影出具有患者201胸腔形状和轮廓特征的虚拟图像，如混合现实图像M，因此该数据能够表征患者201胸腔信息，该混合现实图像M能够表征患者201的胸腔。为了在术中使混合现实图像M与当前患者201的胸腔叠合，可以采用以下至少一种方式，其一，步骤S131，根据金属标记物a的相对位置，将所述混合现实图像M与当前患者201的胸腔基于进行骨性标志进行叠合，叠合后，显示于混合现实图像M中的金属标记物信息b的位置与当前金属标记物a的位置重合；其二，将所述混合现实图像中的胸廓表面与所述患者当前的皮肤轮廓叠合。

所述混合图像与当前所述患者的胸腔叠合后，显像装置302实时地获取周围的环境信息，利用空间感知定位技术（SLAM，即时定位与地图构建）将表征患者胸腔的混合现实图像M固定在当前患者201的胸腔上的相应位置，使两者保持叠合，而不受佩戴显像装置302的术者301移动或转动的影响，增强了投影稳定性，便于术者301在术中的灵活操作。

步骤S14，在所述混合现实图像中显示所述模拟定位针，以引导术者经由所述患者皮肤对所述病灶区域的操作。

通过显像装置302在其全息投影生成所述表征患者201胸腔的混合现实图像M中显示模拟定位针，以引导术者301经由所述患者201皮肤对所述病灶区域的操作，具体包括经皮肺穿刺，或楔形切除所述病灶。

为了提高上述引导的精确度，显像装置302还可以进一步显示根据模拟定位针的进针定位点、方向和深度生成的进针路径。抑或，为了不破坏肺部结节，要使进针定位点避开肺部结节，故还可测量出的进针定位点与所述肺部结节的距离，并在混合现实图像M中显示。

通过对本发明的基于混合现实的胸腔内手术导航方法的揭示可以知晓，本发明的实施，能够提高术中定位的准确性，提升术者的操作效率和患者的舒适度。不仅能够极大地减少辐射，并且能降低医疗运转成本，减少医疗时间、空间的耗损，促进临床实践的技术改革与发展。

依据模块化设计思维，本发明在上述基于混合现实的胸腔内手术导航方法的基础上，进一步提出一种基于混合现实的胸腔内手术导航系统。

请参阅图5，本发明的一种基于混合现实的胸腔内手术导航系统，包括：扫描模块40、重建模块41、编辑模块42、投影模块43，其中各模块的功能介绍如下：

扫描模块40，用于在患者体表的骨性标志上附着金属标记物后，扫描所述患者胸腔，得到包含所述金属标记物信息的CT数据；

重建模块41，用于获取表征患者胸腔信息的CT数据进行三维建模，得到模型重建数据；

编辑模块42，用于基于所述模型重建数据在相应的三维模型上设置模拟定位针，得到术中模型数据；所述模拟定位针，用于在所述三维模型中经由胸廓表面对病灶区域进行定位；

投影模块43，用于根据所述术中模型数据，由显像装置生成所述表征患者胸腔的混合现实图像，并根据金属标记物的相对位置，将所述混合现实图像与当前所述患者的胸腔基于进行骨性标志叠合，和/或将所述混合现实图像中的胸廓表面与所述患者当前的皮肤轮廓叠合；在所述混合现实图像中显示所述模拟定位针，以引导术者经由所述患者皮肤对所述病灶区域的操作。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

通过对本发明的基于混合现实的胸腔内手术导航系统的揭示可以知晓，本发明的实施，能够提高术中定位的准确性，提升术者的操作效率和患者的舒适度。不仅能够极大地减少辐射，并且能降低医疗运转成本，减少医疗时间、空间的耗损，促进临床实践的技术改革与发展。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和 / 或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本领域普通技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上对本发明所提供的基于混合现实的胸腔内手术导航方法及系统进行了详细介绍，对于本领域的一般技术人员，在不脱离本发明原理的前提下，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种基于混合现实的胸腔内手术导航方法，其特征在于，包括如下步骤：

根据所述术中模型数据，由显像装置生成所述表征患者胸腔的混合现实图像，并使得所述混合图像与当前所述患者的实际胸腔叠合；

在所述混合现实图像中显示所述模拟定位针，以引导术者经由所述患者皮肤对所述肺部病灶区域的操作。

2.根据权利要求1所述的基于混合现实的胸腔内手术导航方法，其特征在于，还包括如下前置步骤：在所述患者体表的骨性标志上附着金属标记物后，扫描所述患者胸腔，得到包含所述金属标记物信息的CT数据；

3.根据权利要求2所述的基于混合现实的胸腔内手术导航方法，其特征在于，所述基于所述模型重建数据在相应的三维模型上设置模拟定位针，包括在所述三维模型的胸廓表面上设置进针定位点、方向和深度。

4.根据权利要求3所述的基于混合现实的胸腔内手术导航方法，其特征在于，所述病灶区域包括肺部结节；所述经由所述患者皮肤对所述病灶区域的操作，包括：经皮肺穿刺，和/或楔形切除所述病灶。

5.根据权利要求4所述的基于混合现实的胸腔内手术导航方法，其特征在于，所述在所述混合现实图像中显示所述模拟定位针，还包括显示测量出的进针定位点与所述肺部结节的距离。

6.根据权利要求2所述的基于混合现实的胸腔内手术导航方法，其特征在于，所述得到术中模型数据后，还包括如下步骤：

7.根据权利要求2或6所述的基于混合现实的胸腔内手术导航方法，其特征在于，所述显像装置为MR眼镜，其通过全息投影生成所述表征患者胸腔的混合现实图像。

8.根据权利要求3所述的基于混合现实的胸腔内手术导航方法，其特征在于，所述在所述混合现实图像中显示所述模拟定位针，包括显示根据所述进针定位点、方向和深度生成的进针路径。

9.根据权利要求2所述的基于混合现实的胸腔内手术导航方法，其特征在于，对所述CT数据进行三维建模，得到模型重建数据，包括：

10.一种基于混合现实的胸腔内手术导航系统，其特征在于，包括：

投影模块，用于根据所述术中模型数据，由显像装置生成所述表征患者胸腔的混合现实图像，并根据金属标记物的相对位置，将所述混合现实图像与当前所述患者的胸腔基于进行骨性标志叠合，和/或将所述混合现实图像中的胸腹廓表面与所述患者当前的皮肤轮廓叠合；在所述混合现实图像中显示所述模拟定位针，以引导术者经由所述患者皮肤对所述病灶区域的操作。