CN109124764B - 手术引导装置以及手术系统 - Google Patents

Abstract

本申请涉及一种手术引导装置及手术系统，应用于根据术前图像和实时超声图像通过手术装置对目标对象进行手术，术前图像为手术前扫描的医学影像，实时超声图像为手术时超声波探头获取的超声影像，手术引导装置包括：第一传感器，用于获取超声波探头的位置和角度数据；处理器，与第一传感器通信连接，用于根据位置和角度数据将术前图像转化为至少包括与实时超声图像的视野相同的超声风格图像；显示设备，与处理器通信连接，用于显示超声风格图像，或显示超声风格图像以及实时超声图像。上述手术引导装置，通过在超声波探头上设置传感器，将术前图像转化为与实时超声图像视野相同的超声风格图像，方便医生对应术前和术中图像，实现精确的手术引导。

Description

手术引导装置以及手术系统

技术领域

本发明涉及医疗器械领域，特别是涉及一种手术引导装置以及手术系统。

背景技术

在进行穿刺手术或消融手术时，医生需要对手术目标的进行定位以及在手术过程中保持手术路径。一般会利用病人术前的医学影像观察病灶位置，并粗略规划进针位置和手术路径，随后在术中根据记忆操作超声探头，找到目标病灶，并在超声图像的引导下进行手术。

传统的术前图像是CT图像、MR图像或重建的三维图像等，但由于手术中的超声图像是二维图像，且与CT图像和MR图像的差别较大，容易造成术前图像和术中图像中的信息无法对应，对医生的记忆和经验技术依赖较大，无法做出精确的手术引导。

发明内容

基于此，有必要针对上述技术问题，提供一种手术引导装置以及手术系统，可以方便医生快速对应术前图像和术中超声图像，实现精确的手术引导。

一种手术引导装置，应用于根据术前图像和实时超声图像通过手术装置对目标对象进行手术，所述术前图像为所述目标对象进行手术前扫描的医学影像，所述实时超声图像为所述目标对象进行手术时超声波探头获取的超声影像，所述手术引导装置包括：

第一传感器，用于获取所述超声波探头的位置和角度数据；

处理器，与所述第一传感器通信连接，用于根据所述位置和角度数据将所述术前图像转化为至少包括与所述实时超声图像的视野相同的超声风格图像；

显示设备，与所述处理器通信连接，用于显示所述超声风格图像，或显示所述超声风格图像以及所述实时超声图像。

上述手术引导装置，通过在超声波探头上设置传感器，将目标对象的术前图像转化为与术中实时超声图像的视野相同的超声风格图像，方便医生快速对应术前图像和术中图像，以实现精确的手术引导。

在其中一个实施例中，所述处理器包括：

实时视野模块，用于根据所述位置和角度数据计算所述超声波探头的实时超声视野，并将所述术前图像重建为至少包括所述实时超声视野的超声视野图像；

超声风格模块，用于将所述超声视野图像转化为超声风格图像。

在其中一个实施例中，所述处理器还包括：

路径规划模块，用于基于所述术前图像经重建而成的三维图像，计算所述手术装置的规划路径。

在其中一个实施例中，所述手术引导装置还包括：

第二传感器，设置在所述手术装置上，与所述处理器通信连接，用于获取所述手术装置的实时位置。

在其中一个实施例中，所述手术引导装置中存储有一个预设的阈值，所述处理器还包括：

偏差警告模块，用于计算所述实时位置与所述规划路径的距离，当所述距离大于预设阈值时，发出警告。

在其中一个实施例中，所述偏差警告模块还用于当所述手术装置的实时位置处于预设的危险区域时，发出警告；

其中，所述预设的危险区域包括所述目标对象的血管、神经以及重要器官中的至少一种所处位置的预设范围内。

在其中一个实施例中，所述显示设备还用于显示所述术前图像、所述三维图像、所述规划路径以及所述实时位置中的至少一种；

其中，所述规划路径以及所述实时位置显示在所述超声风格图像和/或所述三维图像的相应位置上。

在其中一个实施例中，所述术前图像包括计算机断层扫描图像、X射线图像、磁共振图像、正电子发射断层扫描图像以及多模态融合图像中的至少一种；

所述手术装置包括穿刺针或消融针中的至少一种。

一种手术系统，包括上述手术引导装置，以及

手术装置，用于对所述目标对象进行手术；

超声波探头，用于获取所述目标对象进行手术时的实时超声图像。

上述手术系统，通过在超声波探头上设置传感器，将目标对象的术前图像转化为与术中实时超声图像的视野相同的超声风格图像，方便医生快速对应术前图像和术中图像，以实现精确的手术引导。

在其中一个实施例中，所述手术系统还包括：

医学影像装置，包括计算机断层扫描设备、X射线设备、磁共振设备、正电子发射断层扫描设备以及多模态成像设备中的至少一种，用于对所述目标对象进行拍摄以获取所述术前图像。

附图说明

图1为一个实施例中手术引导装置的结构示意图；

图2为一个实施例中处理器的结构示意图；

图3为另一个实施例中处理器的结构示意图；

图4为一个实施例中显示装置的界面示意图；

图5为一个实施例中手术系统的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中手术引导装置的结构示意图，如图1所示，一种手术引导装置100，应用于根据术前图像和实时超声图像对目标对象进行手术，术前图像为目标对象进行手术前扫描的医学影像，实时超声图像为目标对象进行手术时超声波探头获取的超声影像，手术引导装置100包括：第一传感器120，设置在超声波探头上，至少用于获取超声波探头的位置和角度数据；处理器140，与第一传感器120通信连接，用于根据位置和角度数据将术前图像转化为与实时超声图像的视野实质相同的超声风格图像；显示设备160，与处理器通信连接，用于显示超声风格图像，或显示超声风格图像以及实时超声图像。

具体地，术前图像包括计算机断层扫描(Computed Tomography，简称CT)图像、X射线图像、磁共振(Magnetic Resonance，简称MR)图像、正电子发射断层扫描(PositronEmission Computed Tomography，简称PET)图像以及多模态融合图像中的至少一种；手术装置包括穿刺针或消融针中的至少一种。在对目标对象进行例如穿刺手术或消融手术前，通过例如CT设备或者MR设备等不同于超声的其他扫描成像模态设备获取对应模态的扫描图像数据，如果该扫描图像数据为2D图像数据，可以经由重建获得3D图像，并根据该3D图像确定目标对象的手术部位，在进行手术时，通过超声波探头获取实时的超声图像，并操控手术装置对手术部位进行手术，该手术装置的具体种类可以根据实际手术情况确定，一般可以为穿刺针或消融针。

手术引导装置的第一传感器120设置在超声波探头上，第一传感器120可以设置在探头本体上，也可以设置在控制探头移动的机械臂上，第一传感器120可以通过有线或者无线的方式与处理器140通信连接，角度传感单元或速度传感单元等，较优地，该第一传感器120包括位移传感单元、角度传感单元和速度传感单元。通过第一传感器120测得的数据可以获取超声波探头的实时位置以及运动路径等信息。可以理解的是，超声波探头的具体种类和型号可以根据实际需求确定，第一传感器120还可以通过其他方式读取超声波探头的自身参数，例如型号和/或具体成像参数，成像参数包括成像范围等，从而可以准确地获取各种不同的超声波探头的位置、角度和/或速度数据。

进一步地，第一传感器120可以探测超声波探头的位置、角度和/或速度数据，并将超声波探头的位置、角度和/或速度数据实时传送给处理器140，处理器根据超声波探头的自身参数，并结合上述位置、角度和/或速度数据计算得到超声波探头实时的视野范围，从而对术前的医学影像进行处理，基于术前图像，得到与超声波探头的实时视野范围实质相同的视野范围的图像，在一个具体的实施例中，如术前图像是CT三维重建图像，同时，实时超声波探头在位置A和角度α获得实时超声图像，根据位置A和角度α，处理器可以计算得到对应于CT三维重建图像的视角B。具体可以基于超声波探头放入位置A和角度α，计算平面表达式，得到一平面穿过位置A，且法向量垂直于α。在该平面所在的位置使用插值算法，从CT三维图像中重建出二维的视角图像B。

上述视角B具体指的是：在视角B下，该CT三维重建图像的截面图像信息与实时超声图像信息是对应的。因为实时超声图像信息是2D的，所以对应的视角B的图像信息也可以是2D的。然而，本领域普通技术人员可以理解，对应的视角B的图像信息也可以是3D的(例如，可以是CT三维重建图像的一部分)，并且在3D图像中可以包括与实时超声图像信息视野实质相同的截面。其中，基于CT三维重建图像获得视角B的截面图像可以例如通过插值的方式计算得到。

而将术前图像的图像风格转化为类似超声成像的视觉风格则是通过学习模块来实现的。学习模块的基本模型可以是风格迁移模型，该风格迁移模型可以基于卷积神经网络，经过大量训练数据的学习，每一组训练数据包括其他扫描成像模态的图像、超声扫描图像。其中，其他扫描成像模态的图像用于提供内容特征，内容特征可以包括图像中的解剖结构以及之间的相互关系，例如图像中器官组织的形状、大小、所在位置等。超声扫描图像用于提供风格特征，风格特征具体可以包括超声图像的灰度范围、纹理等。而训练中间生成的超声风格图像为结合其他扫描成像模态的图像的内容特征以及超声扫描图像的风格特征生成的转化图像。

将训练数据输入神经网络，结合其中三种图像计算损失函数，从而反向迭代更新神经网络的参数。在损失函数达到预设的收敛条件后，将神经网络的参数进行保存以得到风格迁移模型。该风格迁移模型训练完善后，在该模型的输入端可以输入不同于超声的其他成像扫描模态的图像，风格迁移模型则会输出与输入图像的内容特征差异在预定阈值内的超声风格图像。可以理解的是，在该风格迁移模型中，其他成像扫描模态可以包括但不限于CT、MR、XR、PET或者多模态图像，其中多模态图像具体可以包括CT-MR、PET-MR等。关于上述风格迁移模型的具体内容，可以参考Leon A.Gatys等人于2015年9月发表的《A NeuralAlgorithm of Artistic Style》的文献，这些文献可以以引证的方式包括在本申请中。

进一步地，除了将术前图像转化为与实时超声图像的视野实质相同的超声风格图像，处理器140还可以将与实时超声图像的视野实质相同的其他成像扫描模态的图像和实时超声图像进行融合以得到融合图像，并且将融合图像在显示设备160上显示供手术时参考。关于多模态图像之间的融合，属于现有技术范畴，本领域的技术人员通过阅读本说明书结合公知常识应该知悉如何进行图像融合。处理器140可以将超声风格图像、实时超声图像和/或融合图像在显示设备160上进行显示。医生可以在显示设备160上直观地对应观看上述图像，可以方便迅速地对手术部位进行定位，并实时监控手术路径，以实现精确的手术引导。

上述手术引导装置100，通过在超声波探头上设置传感器，将目标对象的术前图像转化为与术中实时超声图像的视野相同的超声风格图像，方便医生快速对应术前图像和术中图像，以实现精确的手术引导。

图2为一个实施例中处理器140的结构示意图，如图2所示，在一个实施例中，上述处理器140包括：实时视野模块142，用于根据位置和角度数据计算超声波探头的实时超声视野，并将术前图像重建为实时超声视野的超声视野图像；超声风格模块144，用于将超声视野图像转化为超声风格图像。

具体地，处理器140可以包括实时视野模块142以及超声风格模块144，实时视野模块142接收第一传感器120探测到的位置和角度数据后，根据位置和角度数据计算超声波探头的实时位置，并结合超声波探头的成像范围，计算出超声波探头在该位置的视野范围。在计算得到超声波探头的视野范围后，通过插值算法重建术前图像，将术前图像重建为视野范围与超声波探头的实时视野范围相同的超声视野图像，并将重建后的超声视野图像发送给超声风格模块144，超声风格模块144利用例如卷积神经网络等风格迁移算法将超声视野图像的图像风格由原本的CT或MR成像的风格转化为超声成像风格，以得到超声风格图像。转化后的超声风格图像的视野范围与超声波探头的实时视野范围相同，图像风格与超声成像相同，所以该超声风格图像可以直接清楚地与超声波探头获取的实时超声图像相对应，医生可以在超声风格图像和实时超声图像上对比观察手术部位，便于精确的手术引导。

图3为另一个实施例中处理器的结构示意图，在一个实施例中，如图3所示，基于图2中所示结构及相关技术内容的基础上，本实施例的处理器240还包括：路径规划模块246，用于基于术前图像经重建而成的三维图像，计算手术装置的规划路径。

具体地，除了上述的实时视野模块242和超声风格模块244，处理器240还可以包括路径规划模块246，路径规划模块246可以根据术前影像对目标对象的手术部位和周围的身体部分进行三维建模，然后根据手术部位在三维模型中的位置规划手术装置的路径，规划路径应该远离手术部位以外的人体主要器官、神经以及血管等，尽量避免对目标对象造成意外伤害。规划路径可以由处理器自动进行计算，也可以由医生手动在三维模型上设置路径，还可以是半自动由医生和处理器共同完成规划，处理器240再据此规划路径计算手术装置的路径数据等。路径规划模块246重建的手术部位的三维模型以及规划手术路径也可以在显示设备上进行显示，以方便医生在手术中进行观察。

在一个实施例中，上述手术引导装置还包括：第二传感器，设置在手术装置上，与处理器通信连接，用于获取手术装置的实时位置。

具体地，手术引导装置中还可以设置第二传感器，第二传感器设置在手术装置上，第二传感器可以通过有线或者无线的方式与处理器通信连接，第二传感器中具体也可以包括位移传感单元、角度传感单元以及速度传感单元等，第二传感器将探测到的位置、角度以及速度数据等发送给处理器，处理器经过计算得到手术装置实时的焦点位置，以便于对手术装置的位置和手术路径进行监控。上述手术装置一般可以是穿刺针或消融针等装置，第二传感器探测的是穿刺针或消融针的实时焦点位置，即穿刺针或消融针的针尖位置。可以理解的是，第二传感器也可以获取手术装置的型号或参数等，以便于精确计算例如不同长度或直径的穿刺针或消融针的焦点位置。获得手术装置的实时位置后，也可以在显示设备上进行显示，随着手术装置位置的实时更新，数个位置点间的连线即是一段时间内手术装置的实际手术路径。

在一个实施例中，手术引导装置中存储有一个预设的阈值，处理器240还包括：偏差警告模块248，用于计算实时位置与规划路径的距离，当距离大于预设阈值时，发出警告。

具体地，在处理器248中还可以包括偏差警告模块248，在通过第二传感器的监测数据计算得到手术装置的实时位置后，偏差警告模块248计算手术装置的实时位置与规划路径之间的距离，并比较此距离与预设阈值的大小，该阈值为预先存储在手术引导装置的存储设备中的路径偏差最大值，在此阈值范围内的偏差可以认为并不会造成手术失败或对目标对象的身体造成意外损害。所以若实时位置与规划路径之间的距离接近或大于此预设阈值时，说明手术装置的路径发生了较大的偏差，此时偏差警告模块248向医生发出警告，以提醒医生对偏离的手术路径进行矫正。

进一步地，偏差警告模块248的警告可以通过显示设备进行提示，也可以通过例如扬声器向医生发送语音警告等方式提醒医生。另外，除了显示警告，如果手术装置是由自动机械臂等装置控制进行手术操作的，在实时位置与规划路径之间的距离大于预设阈值时，偏差控制模块248也可以对机械臂进行制动，使手术装置停止进行手术，以便于医生对手术路径进行校正，或者也可以自动对手术路径进行调整，使手术装置恢复到规划路径上。

在一个实施例中，偏差警告模块248还用于当手术装置的实时位置处于预设的危险区域时，发出警告；其中，预设的危险区域包括目标对象的血管、神经以及重要器官中的至少一种所处位置的预设范围内。

具体地，手术引导装置中还可以存储有手术部位附近的危险区域数据，危险区域可以是人体的重要器官、神经或者血管等部位，如果手术装置进入该区域，可能会对目标对象的身体造成严重伤害，所以在探测到手术装置的实时位置位于危险区域时，偏差警告模块248在显示设备上向医生发出警告，提醒医生手术装置进入危险区域。可以理解的是，也可以通过扬声器发送语音警告等方式进行警告，或者在手术装置的实时位置进入危险区域时偏差控制模块248自动控制手术装置停止手术，以便更好地保障目标对象的人身安全。

图4为一个实施例中显示设备260的界面示意图，在一个实施例中，显示设备260还用于显示术前图像、三维图像、规划路径以及实时焦点位置中的至少一种；其中，规划路径以及实时焦点位置显示在超声风格图像和/或三维图像的相应位置上。

具体地，在显示设备260可以是LED显示屏或OLED显示屏等显示设备，在显示设备260的显示面板上，可以划分为261～265五个区域，其中区域261可以用于显示手术中超声波探头获取的实时超声图像，区域262可以用于显示处理器转化的超声风格图像，区域263可以用于显示目标对象在术前拍摄的术前图像，区域264可以用于根据术前图像重建的穿刺区域的三维图像，区域265可以显示工具栏等便于医生进行放大缩小、调整视角以及显示模式转换等操作。区域262内的超声风格图像的视野跟随区域261内的实时超声图像保持一致，以方便医生对比观看。

进一步地，在区域262的超声风格图像以及区域264的三维图像中，可以将通过第二传感器获取的手术装置的实时位置以及路径规划模块248计算的规划路径显示在相应位置上，还可以将四个图像显示中将上述危险区域进行特殊标注，或者将实时位置与规划路径的距离也进行实时显示和更新，使医生可以更直观地了解手术的各类位置信息，从而实现精确方便的手术引导。

图5为一个实施例中手术系统500的结构示意图，如图5所示，一种手术系统500，包括上述手术引导装置100，以及手术装置520，用于对目标对象进行手术；超声波探头540，用于获取目标对象进行手术时的实时超声图像。

具体地，手术系统500包括手术装置520、超声波探头540以及手术引导装置100。超声波探头540获取手术中的实时超声图像，手术引导装置100通过设置在超声波探头540上的第一传感器获取超声波探头的位置和角度数据，并根据该位置和角度数据将目标对象的术前图像转化为与实时超声图像的视野相同的超声风格图像，显示设备将超声风格图像以及实时超声图像显示给医生，医生通过对比观察超声风格图像以及实时超声图像对手术部位进行定位、保持或调整手术路径，控制手术装置520对手术部位进行手术。手术装置520的具体种类可以根据实际手术需求确定，一般可以是穿刺针或消融针等装置。

上述手术系统500，通过在超声波探头上设置传感器，将目标对象的术前图像转化为与术中实时超声图像的视野实质相同的超声风格图像，方便医生快速对应术前图像和术中图像，以实现精确的手术引导。此处所谓的实质相同可以指超声风格图像与术中实时超声图像的视野是相同的或者略大于或者略小于实时超声图像的视野的。

在一个实施例中，上述手术系统500还包括：医学影像装置560，该医学影像装置560可以包括计算机断层扫描设备、X射线设备、磁共振设备、正电子发射断层扫描设备以及多模态成像设备中的至少一种，用于对目标对象进行拍摄以获取术前图像。

具体地，在手术系统500中，还可以设置有医学影像装置560，医学影像装置560可以是CT设备、X射线设备、MR设备、PET设备以及多模态成像设备等，可以对手术部位进行拍摄以获取目标对象的术前图像，医学影像装置560与手术引导装置100通过有线或无线的方式通信连接，医学影像装置560拍摄完目标对象的术前图像后将术前图像发送给手术引导装置100，手术引导装置100将术前图像转化为与术中实时超声图像的视野实质相同的超声风格图像后显示给医生，医生通过对比观看此超声风格图像与实时超声图像对手术部位进行定位、保持或调整手术路径，从而实现精确方便的手术引导。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种手术引导装置，其特征在于，应用于根据术前图像和实时超声图像通过手术装置对目标对象进行手术，所述术前图像为所述目标对象进行手术前扫描的医学影像，所述实时超声图像为所述目标对象进行手术时超声波探头获取的超声影像，所述手术引导装置包括：

第一传感器，用于获取所述超声波探头的位置和角度数据；

处理器，与所述第一传感器通信连接，用于根据所述位置和角度数据将所述术前图像转化为至少包括与所述实时超声图像的视野相同的超声风格图像；

显示设备，与所述处理器通信连接，用于显示所述超声风格图像，或显示所述超声风格图像以及所述实时超声图像。

2.根据权利要求1所述的手术引导装置，其特征在于，所述处理器包括：

实时视野模块，用于根据所述位置和角度数据计算所述超声波探头的实时超声视野，并将所述术前图像重建为至少包括所述实时超声视野的超声视野图像；

超声风格模块，用于将所述超声视野图像转化为超声风格图像。

3.根据权利要求2所述的手术引导装置，其特征在于，所述处理器还包括：

路径规划模块，用于基于所述术前图像经重建而成的三维图像，计算所述手术装置的规划路径。

4.根据权利要求3所述的手术引导装置，其特征在于，所述手术引导装置还包括：

第二传感器，设置在所述手术装置上，与所述处理器通信连接，用于获取所述手术装置的实时位置。

5.根据权利要求4所述的手术引导装置，其特征在于，所述手术引导装置中存储有一个预设的阈值，所述处理器还包括：

偏差警告模块，用于计算所述实时位置与所述规划路径的距离，当所述距离大于预设阈值时，发出警告。

6.根据权利要求5中所述的手术引导装置，其特征在于，所述偏差警告模块还用于当所述手术装置的实时位置处于预设的危险区域时，发出警告；

其中，所述预设的危险区域包括所述目标对象的血管、神经以及重要器官中的至少一种所处位置的预设范围内。

7.根据权利要求4中所述的手术引导装置，其特征在于，所述显示设备还用于显示所述术前图像、所述三维图像、所述规划路径以及所述实时位置中的至少一种；

其中，所述规划路径以及所述实时位置显示在所述超声风格图像和/或所述三维图像的相应位置上。

8.根据权利要求1至7中任意一项所述的手术引导装置，其特征在于，所述术前图像包括计算机断层扫描图像、X射线图像、磁共振图像、正电子发射断层扫描图像以及多模态融合图像中的至少一种；

所述手术装置包括穿刺针或消融针中的至少一种。

9.一种手术系统，其特征在于，包括上述权利要求1至8中任意一项所述的手术引导装置，以及

手术装置，用于对所述目标对象进行手术；

超声波探头，用于获取所述目标对象进行手术时的实时超声图像。

10.根据权利要求9所述的手术系统，其特征在于，还包括：

医学影像装置，包括计算机断层扫描设备、X射线设备、磁共振设备、正电子发射断层扫描设备以及多模态成像设备中的至少一种，用于对所述目标对象进行拍摄以获取所述术前图像。

Images