CN116370077A - 超声内镜探头的导航方法、装置、计算机设备和存储介质 - Google Patents

超声内镜探头的导航方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN116370077A
CN116370077A CN202310241558.8A CN202310241558A CN116370077A CN 116370077 A CN116370077 A CN 116370077A CN 202310241558 A CN202310241558 A CN 202310241558A CN 116370077 A CN116370077 A CN 116370077A
Authority
CN
China
Prior art keywords
model
dimensional
ultrasonic endoscope
endoscope probe
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310241558.8A
Other languages
English (en)
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wimi Robotics Co ltd
Original Assignee
Shenzhen Wimi Robotics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Wimi Robotics Co ltd filed Critical Shenzhen Wimi Robotics Co ltd
Priority to CN202310241558.8A priority Critical patent/CN116370077A/zh
Publication of CN116370077A publication Critical patent/CN116370077A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/303—Surgical robots specifically adapted for manipulations within body lumens, e.g. within lumen of gut, spine, or blood vessels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本申请涉及一种超声内镜探头方法、装置、计算机设备和存储介质。所述方法包括：构建目标对象的三维静态模型，并确定三维静态模型中的病灶区域，三维静态模型是基于目标对象术前的核磁共振图像构建的；实时获取术中超声内镜探头的位姿，基于超声内镜探头的位姿，构建超声内镜探头的动态模型；将动态模型与三维静态模型进行融合，得到三维融合模型；基于超声内镜探头在三维融合模型中的位姿以及与病灶区域在三维融合模型中的位置，对超声内镜探头进行导航。采用本方法能够提高手术效率。

Description

超声内镜探头的导航方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种超声内镜探头的导航方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
超声内镜(Endoscopic Ultrasound，EUS)可以实时观察磁共振胰胆管造影(Magnetic Resonance Cholangiopancreatography，MRCP)手术中的组织和器械位置，引导手术的进行；现有技术中，医生需要依靠经验不断对超声内镜的超声探头进行伸缩、旋转的调整，以获得组织和器械的精准位置信息；然而医生凭借肉眼观察及经验判断器械与病灶的相对位置关系，此过程对医生的经验要求较高，且不方便手术的进行，从而降低了手术的效率。
发明内容
基于此，有必要针对上述技术问题，提供一种超声内镜探头的导航方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种超声内镜探头的导航方法。所述方法包括：
构建目标对象的三维静态模型，并确定三维静态模型中的病灶区域，三维静态模型是基于目标对象术前的核磁共振图像构建的；
实时获取术中超声内镜探头的位姿，基于超声内镜探头的位姿，构建超声内镜探头的动态模型；
将动态模型与三维静态模型进行融合，得到三维融合模型；
基于超声内镜探头在三维融合模型中的位姿以及与病灶区域在三维融合模型中的位置，对超声内镜探头进行导航。
在其中一个实施例中，所述方法还包括：
通过增强现实显示模块，显示三维静态模型、动态模型和三维融合模型；
根据语音控制模块，控制三维静态模型、动态模型和三维融合模型进行变换。
在其中一个实施例中，构建目标对象的三维静态模型，包括：
在目标对象的多个参考点位置处配置相应的标记设备；
在配置有标记设备的情况下，获取核磁共振图像；
对核磁共振图像进行图像分割，得到分割后的核磁共振图像；
基于分割后的核磁共振图像进行三维重建，得到三维静态模型。
在其中一个实施例中，超声内镜探头包含电磁定位辅助传感器；实时获取术中的超声内镜探头的位姿，包括：
在术中，将多个参考点位置处配置相应的定位设备；
实时获取电磁定位辅助传感器的电信号和定位设备的电信号；
对电磁定位辅助传感器的电信号和定位设备的电信号进行信号处理，得到实时的数字信号；
通过数字信号处理器对数字信号进行处理，实时获取术中的超声内镜探头的位姿。
在其中一个实施例中，将动态模型与三维静态模型进行融合，得到三维融合模型，包括：
基于标记设备，确定多个参考点位置在三维静态模型坐标系中的坐标；
基于定位设备，确定多个参考点位置在动态模型坐标系中的坐标；
基于多个参考点位置分别在三维静态模型坐标系和动态模型坐标系中的坐标，确定三维静态模型坐标系和动态模型坐标系之间的转换矩阵；
基于转换矩阵，将动态模型投影至三维静态模型中，得到三维融合模型。
在其中一个实施例中，基于超声内镜探头在三维融合模型中的位姿以及与病灶区域在三维融合模型中的位置，对超声内镜探头进行导航，包括：
将超声内镜探头在三维融合模型中的位姿作为当前位姿；
根据病灶区域在三维融合模型中的位置，确定超声内镜探头的目标位姿；
计算超声内镜探头从当前姿态转换至目标位姿的转换路径，根据转换路径，控制超声内镜探头进行移动。
第二方面，本申请还提供了一种超声内镜探头的导航装置。所述装置包括：
构建模块，用于构建目标对象的三维静态模型，并确定三维静态模型中的病灶区域，三维静态模型是基于目标对象术前的核磁共振图像构建的；
获取模块，用于实时获取术中超声内镜探头的位姿，基于超声内镜探头的位姿，构建超声内镜探头的动态模型；
融合模块，用于将动态模型与三维静态模型进行融合，得到三维融合模型；
导航模块，用于基于超声内镜探头在三维融合模型中的位姿以及与病灶区域在三维融合模型中的位置，对超声内镜探头进行导航。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
构建目标对象的三维静态模型，并确定三维静态模型中的病灶区域，三维静态模型是基于目标对象术前的核磁共振图像构建的；
实时获取术中超声内镜探头的位姿，基于超声内镜探头的位姿，构建超声内镜探头的动态模型；
将动态模型与三维静态模型进行融合，得到三维融合模型；
基于超声内镜探头在三维融合模型中的位姿以及与病灶区域在三维融合模型中的位置，对超声内镜探头进行导航。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
构建目标对象的三维静态模型，并确定三维静态模型中的病灶区域，三维静态模型是基于目标对象术前的核磁共振图像构建的；
实时获取术中超声内镜探头的位姿，基于超声内镜探头的位姿，构建超声内镜探头的动态模型；
将动态模型与三维静态模型进行融合，得到三维融合模型；
基于超声内镜探头在三维融合模型中的位姿以及与病灶区域在三维融合模型中的位置，对超声内镜探头进行导航。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
构建目标对象的三维静态模型，并确定三维静态模型中的病灶区域，三维静态模型是基于目标对象术前的核磁共振图像构建的；
实时获取术中超声内镜探头的位姿，基于超声内镜探头的位姿，构建超声内镜探头的动态模型；
将动态模型与三维静态模型进行融合，得到三维融合模型；
基于超声内镜探头在三维融合模型中的位姿以及与病灶区域在三维融合模型中的位置，对超声内镜探头进行导航。
上述超声内镜探头的导航方法、装置、计算机设备、存储介质和计算机程序产品，通过构建目标对象的三维静态模型，并确定三维静态模型中的病灶区域，三维静态模型是基于目标对象术前的核磁共振图像构建的；实时获取术中超声内镜探头的位姿，基于超声内镜探头的位姿，构建超声内镜探头的动态模型；将动态模型与三维静态模型进行融合，得到三维融合模型；基于超声内镜探头在三维融合模型中的位姿以及与病灶区域在三维融合模型中的位置，对超声内镜探头进行导航。可以提高手术效率。
附图说明
图1为一个实施例中超声内镜探头的导航方法的流程示意图；
图2为一个实施例中核磁共振图像的示意图；
图3为一个实施例中三维静态模型的示意图；
图4为一个实施例中超声内镜探头在目标对象中位姿的示意图；
图5为一个实施例中动态模型的示意图；
图6为一个实施例中三维融合模型的示意图；
图7为一个实施例中的增强现实显示设备的结构示意图；
图8为一个实施例中增强现实显示设备的显示示意图；
图9为一个实施例中对核磁共振图像进行处理后的效果示意图；
图10为一个实施例中超声内镜探头的结构示意图；
图11为一个实施例中电磁感应定位系统的示意图；
图12为一个实施例中磁感应定位系统中信号的传输示意图；
图13为一个实施例中超声内镜探头的导航方法的流程示意图；
图14为一个实施例中超声内镜探头的导航装置的结构框图；
图15为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种超声内镜探头的导航方法，本实施例以该方法应用于包含消化道手术机器人的终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
101、构建目标对象的三维静态模型，并确定三维静态模型中的病灶区域，三维静态模型是基于目标对象术前的核磁共振图像构建的；
102、实时获取术中超声内镜探头的位姿，基于超声内镜探头的位姿，构建超声内镜探头的动态模型；
103、将动态模型与三维静态模型进行融合，得到三维融合模型；
104、基于超声内镜探头在三维融合模型中的位姿以及与病灶区域在三维融合模型中的位置，对超声内镜探头进行导航。
其中，目标对象可以是人类或者动物的组织或器官；比如，目标对象可以是人类的胰胆管组织。位姿指的是位置和姿态。
通过对目标对象术前的核磁共振图像进行分析处理，可以得到目标对象的病灶区域，并将病灶区域在三维静态模型中进行显示。具体地，可以将病灶区域与三维静态模型中其他区域通过不同颜色进行展示。
本发明实施例以目标对象为人类的胰胆管组织为例，在术前，医生使用磁共振胰胆管造影(Magnetic Resonance Cholangiopancreatography，MRCP)技术对患者的胆管、胰管进行检查，得到胰胆管组织的核磁共振图像，并通过对胰胆管组织的核磁共振图像进行图像分析以及三维重建，得到胰胆管组织的三维静态模型。图2为MRCP技术获得的核磁共振图像的示意图；图3为基于人类的胰胆管组织术前的核磁共振图像构建的三维静态模型的示意图。
超声内镜探头指的是超声内镜(Endoscopic Ultrasound，EUS)的超声探头。超声内镜用于实时观察手术中的组织/器官和手术器械的位置，引导手术的进行。比如，超声内镜用于实时观察内镜逆行胰胆管造影(Endoscopic RetrogradeCholangiopancreatography，ERCP)手术中的胰胆管和手术器械的位置。图4为超声内镜探头在目标对象中位姿的示意图。在一个示例中，超声内镜探头的动态模型如图5所示。
将图3中的三维静态模型与图4中的动态模型进行融合后，得到如图6所示的三维融合模型。
此外，基于超声内镜探头的位姿以及基于超声内镜探头的探查范围，可以确定超声内镜探头的成像范围。
具体地，将动态模型与三维静态模型进行融合，得到三维融合模型；由于超声内镜探头的动态模型是根据超声内镜探头的移动而变化的。因此三维融合模型中的超声内镜探头也移动变化的。本实施例中，三维融合模型同时包含目标对象的三维静态模型和超声内镜探头的动态模型，也就是说三维融合模型同时也展示了目标对象的病灶区域。
超声内镜探头可以将超声内镜探头的位姿和成像范围在三维融合模型中实时展示，便于确定超声内镜探头和目标对象的病灶区域的相对位置。根据超声内镜探头和目标对象的病灶区域的相对位置，可以引导超声内镜探头移动。
本发明实施例提供的方法，通过对目标对象的病灶区域进行检测和识别，并将病灶区域展示在三维静态模型中，便于进行术前的介入手术的路径规划。此外，将术中的超声内镜探头的动态模型和包含病灶区域的三维静态模型同时展示在三维融合模型中，能够全面地反映手术中的情况，可以降低对医生手术经验的要求，从而提高手术的普适性。
结合上述实施例的内容，在一个实施例中，所述方法还包括：
通过增强显示模块，显示所述三维静态模块、所述动态模型和所述三维融合模型；根据语音控制模块，控制所述三维静态模型、所述动态模型和所述三维模型的变换，完成包括但不限于超声探头导航、定位、路径显示等功能。
增强现实显示设备包括增强现实(Augmented Reality，AR)显示模块和语音控制模块。
AR显示模块用于展示三维静态模型和三维融合模型中病灶区域所在位置、动态模型和三维融合模型中超声内镜探头的超声成像所覆盖的组织/器官范围、手术器械的位置、超声内镜探头的角度和位置等不同内容。增强现实(Augmented Reality，AR)显示设备可以对上述内容以不同颜色进行标识并显示。
语音控制模块用于通过语音控制AR显示模块对三维静态模型、所述动态模型和所述三维融合模型中的不同的内容进行显示，完成各个模型的视野调整、导航控制等功能。图7为增强现实显示设备的结构示意图，包括：增强现实显示模块、语音控制模块和增强现实计算模块。语音信号通过语音控制模块进行收录，经过增强现实计算模块进行计算及转换，将语音信号中的提示内容显示在增强现实显示模块之中。
其中，语音控制模块包括了语音识别模块与信号传输模块，语音控制模块用于医生或其他人的语音控制信息进行识别及传输；增强现实计算模块由电源和处理器构成，对语音控制模块输出的控制信号进行计算并识别；增强现实显示模块由显示屏和镜片组成，能够对三维静态模型、动态模型和三维融合模型进行增强现实显示。
在通常的模式下，医生或其他手术操作者只能观察到超声内镜的成像，并根据超声内镜的成像确定病灶的位置。图8为增强现实显示设备的显示示意图，通过佩戴AR眼镜的操作者可以同时观察手术室中的其他物体1、显示器2上的超声图像3，以及通过透明屏幕现实的三维融合模型4。在通常的模式下，医生或其他手术操作者只能观察到超声内镜的成像1，并根据超声内镜的成像确定病灶的位置。
具体地，增强现实显示模块可以从两种视角对三维静态模型、动态模型和三维融合模型进行展示，分别为第一视角与第三视角；其中，通过第三视角可以观察到三维静态模型、动态模型和三维融合模型的全局信息，第一视角可以提供动态模型和三维融合模型中超声内镜探头的成像视角，便于医生对目标对象的状态进行跟踪判断。
本发明实施例提供的方法，通过增强现实显示设备，能够确定病灶区域所在位置，并未EUS探头的移动提供指引，减少对医生年资的依赖，有利于在EUS辅助下，使ERCP手术下沉到基层医疗机构。此外，通过增强现实显示设备，可以使EUS探头在视觉引导下进行移动，可以提高EUS探头的定位准确度，避免了数字减影血管造影(Digital SubtractionAngiography,DSA)检查，从而减少了对患者的辐射量。
结合上述实施例的内容，在一个实施例中，构建目标对象的三维静态模型，包括：
在目标对象的多个参考点位置处配置相应的标记设备；
在配置有标记设备的情况下，获取核磁共振图像；
对核磁共振图像进行图像分割，得到分割后的核磁共振图像；
基于分割后的核磁共振图像进行三维重建，得到三维静态模型。
其中，参考点位置是在体表上。比如，目标对象为患者的胰脏器官，则参考点位置为患者相应的体表。标记设备能够在核磁共振成像中呈现出高密度信号，且标记设备中心的孔不显影，形成了标定中心点，该标记中心点在三维静态模型坐标系中的坐标即为参考点位置在三维静态模型坐标系中的坐标。
在对目标对象进行核磁共振检查之前，需要在每一个参考点位置上配置一个对术前成像方式敏感的标记设备。
具体地，在配置有标记设备的情况下，获取所目标对象的核磁共振图像；然后通过语义分割算法，对核磁共振图像中的组织/器官和病灶区域进行多标签语义分割，得到分割后的核磁共振图像，分割后的核磁共振图像包括但不限于各个组织/器官和病灶的形态、位置信息，对分割后的核磁共振图像中的病灶和组织进行定量分析，实现对包括但不限于胆管、胰管的自动测量，以及对病灶的检测和定位的功能。另外，在得到分割后的核磁共振图像之后，还需要将分割后的核磁共振图像输入到病灶分析算法中进行精细的分割和判定，以对病灶的种类和形态进行细致分析，得到病灶的细分结果。病灶分析算法可以选用合适的多标签算法，包括但不限于nnU-Net(no new net)网络；一旦病灶的种类被确认，它们将被不同颜色进行标记并显示在三维静态模型中用以提示。此外，在得到分割后的核磁共振图像之后，需要通过终端中的胆胰道测量装置，对分割后的核磁共振图像进行中心线提取、狭窄分析操作，最终生成目标对象的检查报告。根据分割后的核磁共振图像、目标对象的检查报告以及病灶的细分结果，进行三维重建，得到目标对象的三维静态模型。
对于语义分割算法的类型，本发明实施例对其不做具体限定，包括但不限于3D-UNet网络和UNet网络等神经网络。3D-UNet网络和UNet形状近似于U型，左侧为编码器，底部为高阶特征，右侧为解码器。各层之间依靠跳跃连接进行联系，将灰度、边缘等低阶特征于高阶的语义信息融合起来进行学习。此外，解码器会逐步将特征图上采样至与输入图像大小一致，以确保空间信息得到更好地留存，使分割结果更为精确。
在一个示例中，对核磁共振图像进行图像分割，得到分割后的核磁共振图像，包括：针对MR图像中的待识别、分割的组织和病灶目标，本发明实施例为其配置了一个基于深度学习的多标签分割算法模型，执行针对该MRMR图像的分割任务。分割算法模型由图像特征提取模块和分类器模块组成，可使用包括但不限于主流的2D分割网络UNet、SegNet、DeepLab和3D分割网络VNet、3D UNet等，损失函数可使用包括但不限于交叉熵损失函数、多标签Dice损失函数等。针对性地采集大量训练数据对初始的多标签分割算法模型进行训练。训练完成后的多标签分割算法模型可以被应用于MR图像的识别和分割中，自动生成多标签的分割结果。
此外，由于基于MRCP检测得到的MR图像的成像时间比较长，由于血管、心脏的搏动或呼吸等周期性运动而产生运动伪影，这类伪影的特征是具有连续性，规则的间隔地出现在相位编码轴方向上，这些具有规则间隔伪影的形状常与原运动结构相似，且随着与原结构之间距离的增大，伪影逐渐减弱。因此，基于MRCP检测得到的MR图像中会有较多的伪影；所以，在对MR图像进行图像分割之前，还需要对MR图像进行运动伪影抑制处理。基于此，可以采用多个MR图像，使其满足重复周期与运动周期的乘积是呼吸周期的整数倍，这样就可以使得相邻的伪影在视野外，得到更清晰的图像。
图9为一个示例中，对MR图像进行运动伪影抑制处理后的效果示意图，其中，图9(a)为未进行运动伪影抑制处理的MR图像示意图，图9(b)为进行运动伪影抑制处理之后的MR图像示意图。
以目标对象为胰胆管为例，在获取到磁共振胰胆管造影(Magnetic ResonanceCholangiopancreatography，MRCP)检查后的核磁共振(Magnetic Resonance，MR)图像后，选用合适的语义分割算法对MR图像中的组织进行多标签语义分割任务，得到分割后的MR图像，分割后的MR图像包含有胆道、胰管、病灶的形态和位置信息，并根据分割后的MR图像构建胰胆管的三维静态模型。
本发明实施例提供的方法，通过对核磁共振图像进行伪影抑制处理，可以提高核磁共振图像的清晰度，从而提高分割核磁共振图像的准确度。
结合上述实施例的内容，在一个实施例中，超声内镜探头包含电磁定位辅助传感器；实时获取术中的超声内镜探头的位姿，包括：
在术中，将多个参考点位置处配置相应的定位设备；实时获取电磁定位辅助传感器的电信号和定位设备的电信号；对电磁定位辅助传感器的电信号和定位设备的电信号进行信号处理，得到实时的数字信号；通过数字信号处理器对数字信号进行处理，实时获取术中的超声内镜探头的位姿。
可以在每一个参考点位置上放置一个定位设备，也可以直接将术前配置的对术前成像方式敏感的标记设备，直接替换为对术中定位系统敏感的定位设备。定位设备的材质是对电磁敏感的材料，通过定位设备能够在实时获得相应参考点位置在动态模型坐标系中的坐标。在超声内镜探头的顶端装配若干个电磁定位辅助传感器，从而获取超声内镜探头在动态模型中的实时位置。
此外，在完成超声内镜探头和参考点位置的配置之后，还需要在术前将电磁发射装置和电磁接收器放置在患者周围，在超声内镜探头进入到体内后开启磁场，进行电磁实时定位。
超声内镜包括内镜器械、导管、超声探头和超声电子内镜系统，其中，超声探头中包括电磁定位模块和超声发生装置。超声内镜探头的示意图如图10所示，包括光源/充气通道1、手术器械通道2、超声探头3和电磁定位辅助传感器4。超声内镜经过导管内的传输线，连接到超声电子内镜系统的主机中进行处理分析，形成超声成像。超声成像的范围是一个截面，医生通过对超声探头进行伸缩、旋转的调整，以获得组织/器官和手术器械的精准位置信息。
本发明实施例中，主要通过电磁感应定位系统实时获取术中的超声内镜探头的位姿。如图11所示，电磁感应定位系统包括电磁发射装置和电磁接收器以及电磁定位辅助传感器，电磁发射装置和电磁接收器可以集成在一个设备内。
具体地，将电磁定位辅助传感器放置在超声内镜探头的顶端，电磁定位辅助传感器具有感应电磁并发射信号的功能，电磁定位辅助传感器实时感应电磁信号，相应的产生电信号；然后将电信号传输至功放电路，通过功放电路对电信号进行放大处理后，得到放大的电信号。然后功放电路将放大的电信号传输给电磁发射装置；当电磁发射装置接收放大的电信号后，通过空间电磁场向电磁接收器传输磁场信号；电磁接收器接受到磁场信号后，先通过放大电路对接收到的磁场信号进行放大，再经滤波电路对磁场信号进行去干扰，然后通过信号发生电路将相应的信号送入相敏检波模块，得到相应的模拟信号。再通过模数转换模块的模数电路将模拟信号转换成数字信号给数字处理芯片(Digital SignalProcessing，DSP)，DSP数字处理芯片将处理后的数字信号传输给终端，终端根据磁场耦合关系对数字信号进行计算处理，就能得到超声内镜探头的6个自由度，并根据超声内镜探头的6个自由度，确定术中的超声内镜探头的位姿。这样就可以实现利用电磁感应，实时获取超声内镜探头的位姿信息。图12为电磁感应定位系统中信号的传输示意图。
以目标对象为十二指肠为例，在一个示例中，根据超声内镜探头的6个自由度，确定术中的超声内镜探头的位姿，包括：电磁定位辅助传感器被安置在十二指肠镜的顶端，在超声内镜探头下方。通过单个6自由度(degree of freedom，DOF)电磁定位辅助传感器，电磁接收器可以直接获得6自由度值；若使用5自由度的传感器，则需要同时使用多个电磁定位辅助传感器，通过计算每个电磁定位辅助的5DOF值进行汇总比较，得到整个电磁定位辅助传感器的6DOF值。安装好电磁定位辅助传感器后，根据电磁定位辅助传感器的位置，计算确定超声内镜探头所处的位置，然后对电磁感应定位系统进行标定。在术中，电磁接收器接收到磁场信号后，通过信号转换电路将其转换为数字信号，数字信号包含有旋转矩阵、欧拉角和四元数。电磁定位辅助传感器的数量依据其线圈数量和所需要的自由度数量而定，可使用单轴传感器和双轴传感器。根据四元数，计算得到超声内镜探头的位姿和旋转角度如公式(1)所示：
四元数可以表示为：q＝qw+qxi+qyj+qzk，其中i，j，k分别为四元数的三个虚部，qw、qx、qy、qz分别为四元数q的四个系数。已知电磁定位辅助传感器的旋转轴n＝[nx,ny,nz]进行了角度为θ的旋转，则四元数形式为：
Figure BDA0004125340590000111
相应地，根据四元数，计算得到超声内镜探头的位姿和旋转角度包括：
Figure BDA0004125340590000112
其中，q表示四元数。θ为电磁定位辅助传感器的旋转轴的旋转角度，n＝[nx,ny,nz]T表示超声内镜探头的位姿。
本发明实施例提供的方法，通过电磁感应定位系统，可以实时将超声内镜探头的位姿相应的信号传输给终端处理，以使得终端可以根据相应的位姿信息，确定术中的超声内镜探头的位姿，从而提高确定超声内镜探头的位姿的准确度。
结合上述实施例的内容，在一个实施例中，将动态模型与三维静态模型进行融合，得到三维融合模型，包括：
基于标记设备，确定多个参考点位置在三维静态模型坐标系中的坐标；基于定位设备，确定多个参考点位置在动态模型坐标系中的坐标；基于多个参考点位置分别在三维静态模型坐标系和动态模型坐标系中的坐标，确定三维静态模型坐标系和动态模型坐标系之间的转换矩阵；基于转换矩阵，将动态模型投影至三维静态模型中，得到三维融合模型。
受到身体起伏的影响，超声内镜探头的动态模型是一个三维动态模型，定位设备所在位置的坐标随着身体起伏的变化而变化。
具体地，在根据电磁感应定位系统得到超声内镜探头的动态模型后，需要根据三维静态模型中的参考点位置的坐标与动态模型中相应的参考点位置的坐标，实现三维静态模型所在的三维静态模型坐标系与动态模型所在的动态模型坐标系的配准，从而确定三维静态模型坐标系和动态模型坐标系之间的转换矩阵。进而根据转换矩阵，将超声内镜探头的位姿和相应的成像参数，计算出超声内镜探头在三维融合模型中的位姿和成像范围，并在三维融合模型中实时展示出超声探头成像覆盖的范围。
在一个实施例中，基于转换矩阵，将动态模型投影至三维静态模型中，得到三维融合模型，包括：从动态模型坐标系向三维静态模型坐标系的旋转过程中，动态模型坐标系分别绕Z轴的旋转角度为θ、绕Y轴的旋转角度为β、绕X轴的旋转角度为α，则转换矩阵M可以表示为：
Figure BDA0004125340590000121
公式(2)中，RZ(θ)、RY(β)、RX(α)分别表示动态模型坐标系分别绕Z轴的旋转角度为θ、绕Y轴的旋转角度为β、绕X轴的旋转角度为α。
相应地，将动态模型投影至三维静态模型中，动态模型中的坐标点(Xw,Yw,Zw)转换为三维融合模型中的坐标(Xc,Yc,Zc)可以根据公式(3)得到：
Figure BDA0004125340590000122
公式(3)中，M为三维静态模型坐标系和动态模型坐标系之间的转换矩阵。
本发明实施例提供的方法，通过三维静态模型坐标系和动态模型坐标系之间的转换矩阵，可以将超声内镜探头实时的位姿和成像范围，在三维融合模型中实时展示，从而便于确定超声内镜探头与病灶区域之间的相对位置，提高操作超声内镜探头在术中移动的准确度，从而提高手术的安全性。
结合上述实施例的内容，在一个实施例中，基于超声内镜探头在三维融合模型中的位姿以及与病灶区域在三维融合模型中的位置，对超声内镜探头进行导航，包括：
将超声内镜探头在三维融合模型中的位姿作为当前位姿；根据病灶区域在三维融合模型中的位置，确定超声内镜探头的目标位姿；计算超声内镜探头从当前姿态转换至目标位姿的转换路径，根据转换路径，控制超声内镜探头进行移动。
具体地，根据超声内镜探头的位姿和病灶所在位置，可以确定超声内镜探头与病灶之间的相对位置，从而根据相对位置计算出超声内镜探头观察病灶所需要的目标角度和目标位姿，根据超声内镜探头的当前角度、当前位姿、目标角度和目标位姿，对超声内镜探头的移动路径做出规划，确定超声内镜探头的推进距离以及旋转角度。
值得一提的是，增强现实显示设备还包括传输模块和图像处理模块。当语音控制模块接收到医生发出语音信号后，对语音信号进行识别，形成可执行命令并通过传输模块发送到图像处理模块中，计算超声内镜探头所需要的目标位姿并进行回传。增强现实显示模块对三维融合模型中的相应的组织/器官进行增强现实，并且根据合适的成像角度(如结石的最大切面)计算出超声内镜探头所需要的位姿信息，对三维融合模型中的超声内镜探头进行生成渲染，以提示超声内镜探头所需要的目标位姿。
图12为一个完整的ERCP手术中超声内镜探头增强显示的流程图。在超声内镜探头进入到十二指肠降部后，启动电磁感应定位系统，电磁定位辅助传感器接收到信号后开始发送给电磁接收器，在计算目标位姿后传输到图像处理模块。图像处理模块可以是一台计算机，也可以是具有图像处理能力的其他设备。图像处理模块利用术前的三维静态模型以及超声内镜探头的动态模型，对两个模型进行融合，形成三维融合模型。该三维融合模型通过增强现实显示模块进行显示。
本发明实施例提供的方法，通过增强现实显示设备，可以确定超声内镜探头与病灶之间的距离，可以提高手术过程中路径规划的效率，为手术器械的放置位置提供了精准、可视化的视觉引导；从而提高手术效率。
结合上述实施例的内容，在一个实施例中，如图13所示，一种超声内镜探头的导航方法，包括：
1301、构建目标对象的三维静态模型，并确定三维静态模型中的病灶区域，三维静态模型是基于目标对象术前的核磁共振图像构建的；
1302、实时获取术中超声内镜探头的位姿，基于超声内镜探头的位姿，构建超声内镜探头的动态模型；
1303、将动态模型与三维静态模型进行融合，得到三维融合模型；
1304、将超声内镜探头在三维融合模型中的位姿作为当前位姿；根据病灶区域在三维融合模型中的位置，确定超声内镜探头的目标位姿；计算超声内镜探头从当前姿态转换至目标位姿的转换路径，根据转换路径，控制超声内镜探头进行移动；
1305、通过增强现实显示模块，显示三维静态模型、动态模型和三维融合模型；
1306、根据语音控制模块，控制三维静态模型、动态模型和三维融合模型进行变换。
本发明实施例提供的方法，通过三维融合模型，将超声内镜探头的位姿及成像范围在三维融合模型中实时展示，便于确定超声内镜探头和病灶之间的相对位置，从而提高医生对超声内镜探头控制的准确性，缩短手术时间，进而提高手术效率。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的超声内镜探头的导航方法的超声内镜探头的导航装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个超声内镜探头的导航装置实施例中的具体限定可以参见上文中对于超声内镜探头的导航方法的限定，在此不再赘述。
在一个实施例中，如图14所示，提供了一种超声内镜探头的导航装置，包括：构建模块1401、获取模块1402、融合模块1403和导航模块1404，其中：
构建模块1401，用于构建目标对象的三维静态模型，并确定三维静态模型中的病灶区域，三维静态模型是基于目标对象术前的核磁共振图像构建的；
获取模块1402，用于实时获取术中超声内镜探头的位姿，基于超声内镜探头的位姿，构建超声内镜探头的动态模型；
融合模块1403，用于将动态模型与三维静态模型进行融合，得到三维融合模型；
导航模块1404，用于基于超声内镜探头在三维融合模型中的位姿以及与病灶区域在三维融合模型中的位置，对超声内镜探头进行导航。
在一个实施例中，所述装置还包括：增强现实显示模块，用于通过增强现实显示模块，显示三维静态模型、动态模型和三维融合模型；语音控制模块，用于根据语音控制模块，控制三维静态模型、动态模型和三维融合模型进行变换。
在一个实施例中，构建模块1401，包括：第一配置子模块，用于在目标对象的多个参考点位置处配置相应的标记设备；第一获取子模块，用于在配置有标记设备的情况下，获取核磁共振图像；分割子模块，用于对核磁共振图像进行图像分割，得到分割后的核磁共振图像；重建子模块，用于基于分割后的核磁共振图像进行三维重建，得到三维静态模型。
在一个实施例中，获取模块1402，包括：
第二配置子模块，用于在术中，将多个参考点位置处配置相应的定位设备；
第二获取子模块，用于实时获取电磁定位辅助传感器的电信号和定位设备的电信号；
第一处理子模块，用于对电磁定位辅助传感器的电信号和定位设备的电信号进行信号处理，得到实时的数字信号；
第二处理子模块，用于通过数字信号处理器对数字信号进行处理，实时获取术中的超声内镜探头的位姿。
在一个实施例中，融合模块1403，包括：
第一确定子模块，用于基于标记设备，确定多个参考点位置在三维静态模型坐标系中的坐标；
第二确定子模块，用于基于定位设备，确定多个参考点位置在动态模型坐标系中的坐标；
第三确定子模块，用于基于多个参考点位置分别在三维静态模型坐标系和动态模型坐标系中的坐标，确定三维静态模型坐标系和动态模型坐标系之间的转换矩阵；
投影子模块，用于基于转换矩阵，将动态模型投影至三维静态模型中，得到三维融合模型。
在一个实施例中，导航模块1404，包括：
第四确定子模块，用于将超声内镜探头在三维融合模型中的位姿作为当前位姿；根据病灶区域在三维融合模型中的位置，确定超声内镜探头的目标位姿；
计算子模块，用于计算超声内镜探头从当前姿态转换至目标位姿的转换路径，根据转换路径，控制超声内镜探头进行移动。
上述超声内镜探头装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图15所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种超声内镜探头的导航方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图15中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种超声内镜探头的导航方法，其特征在于，所述方法包括：
构建目标对象的三维静态模型，并确定所述三维静态模型中的病灶区域，所述三维静态模型是基于所述目标对象术前的核磁共振图像构建的；
实时获取术中超声内镜探头的位姿，基于所述超声内镜探头的位姿，构建所述超声内镜探头的动态模型；
将所述动态模型与所述三维静态模型进行融合，得到三维融合模型；
基于所述超声内镜探头在所述三维融合模型中的位姿以及与所述病灶区域在所述三维融合模型中的位置，对所述超声内镜探头进行导航。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过增强现实显示模块，显示所述三维静态模型、所述动态模型和所述三维融合模型；
根据语音控制模块，控制所述三维静态模型、所述动态模型和所述三维融合模型进行变换。
3.根据权利要求1所述的方法，其特征在于，所述构建目标对象的三维静态模型，包括：
在所述目标对象的多个参考点位置处配置相应的标记设备；
在配置有标记设备的情况下，获取所述核磁共振图像；
对所述核磁共振图像进行图像分割，得到分割后的核磁共振图像；
基于分割后的核磁共振图像进行三维重建，得到所述三维静态模型。
4.根据权利要求3所述的方法，其特征在于，所述超声内镜探头包含电磁定位辅助传感器；所述实时获取术中的超声内镜探头的位姿，包括：
在术中，将所述多个参考点位置处配置相应的定位设备；
实时获取所述电磁定位辅助传感器的电信号和所述定位设备的电信号；
对所述电磁定位辅助传感器的电信号和所述定位设备的电信号进行信号处理，得到实时的数字信号；
通过数字信号处理器对所述数字信号进行处理，实时获取术中的超声内镜探头的位姿。
5.根据权利要求4所述的方法，其特征在于，所述将所述动态模型与所述三维静态模型进行融合，得到三维融合模型，包括：
基于所述标记设备，确定所述多个参考点位置在三维静态模型坐标系中的坐标；
基于所述定位设备，确定所述多个参考点位置在动态模型坐标系中的坐标；
基于所述多个参考点位置分别在所述三维静态模型坐标系和所述动态模型坐标系中的坐标，确定所述三维静态模型坐标系和所述动态模型坐标系之间的转换矩阵；
基于所述转换矩阵，将所述动态模型投影至所述三维静态模型中，得到所述三维融合模型。
6.根据权利要求1所述的方法，其特征在于，所述基于所述超声内镜探头在所述三维融合模型中的位姿以及与所述病灶区域在所述三维融合模型中的位置，对所述超声内镜探头进行导航，包括：
将所述超声内镜探头在所述三维融合模型中的位姿作为当前位姿；
根据所述病灶区域在所述三维融合模型中的位置，确定所述超声内镜探头的目标位姿；
计算所述超声内镜探头从所述当前姿态转换至所述目标位姿的转换路径，根据所述转换路径，控制所述超声内镜探头进行移动。
7.一种超声内镜探头的导航装置，其特征在于，所述装置包括：
构建模块，用于构建目标对象的三维静态模型，并确定所述三维静态模型中的病灶区域，所述三维静态模型是基于所述目标对象术前的核磁共振图像构建的；
获取模块，用于实时获取术中超声内镜探头的位姿，基于所述超声内镜探头的位姿，构建所述超声内镜探头的动态模型；
融合模块，用于将所述动态模型与所述三维静态模型进行融合，得到三维融合模型；
导航模块，用于基于所述超声内镜探头在所述三维融合模型中的位姿以及与所述病灶区域在所述三维融合模型中的位置，对所述超声内镜探头进行导航。
8.根据权利要求7所述的装置，其特征在于，所述构建模块，包括：
第一配置子模块，用于在所述目标对象的多个参考点位置处配置相应的标记设备；
第一获取子模块，用于在配置有标记设备的情况下，获取所述核磁共振图像；
分割子模块，用于对所述核磁共振图像进行图像分割，得到分割后的核磁共振图像；
重建子模块，用于基于分割后的核磁共振图像进行三维重建，得到所述三维静态模型。
9.根据权利要求8所述的装置，其特征在于，所述获取模块，包括：
第二配置子模块，用于在术中，将所述多个参考点位置处配置相应的定位设备；
第二获取子模块，用于实时获取所述电磁定位辅助传感器的电信号和所述定位设备的电信号；
第一处理子模块，用于对所述电磁定位辅助传感器的电信号和所述定位设备的电信号进行信号处理，得到实时的数字信号；
第二处理子模块，用于通过数字信号处理器对所述数字信号进行处理，实时获取术中的所述超声内镜探头的位姿。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202310241558.8A 2023-03-01 2023-03-01 超声内镜探头的导航方法、装置、计算机设备和存储介质 Pending CN116370077A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310241558.8A CN116370077A (zh) 2023-03-01 2023-03-01 超声内镜探头的导航方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310241558.8A CN116370077A (zh) 2023-03-01 2023-03-01 超声内镜探头的导航方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN116370077A true CN116370077A (zh) 2023-07-04

Family

ID=86979823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310241558.8A Pending CN116370077A (zh) 2023-03-01 2023-03-01 超声内镜探头的导航方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN116370077A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116650022A (zh) * 2023-08-01 2023-08-29 湖南科迈森医疗科技有限公司 超声与内窥镜图像融合辅助定位子宫病灶的方法及系统
CN117179680A (zh) * 2023-09-11 2023-12-08 首都医科大学宣武医院 内镜导航系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116650022A (zh) * 2023-08-01 2023-08-29 湖南科迈森医疗科技有限公司 超声与内窥镜图像融合辅助定位子宫病灶的方法及系统
CN116650022B (zh) * 2023-08-01 2023-11-24 湖南科迈森医疗科技有限公司 超声与内窥镜图像融合辅助定位子宫病灶的方法及系统
CN117179680A (zh) * 2023-09-11 2023-12-08 首都医科大学宣武医院 内镜导航系统

Similar Documents

Publication Publication Date Title
US20220015727A1 (en) Surgical devices and methods of use thereof
US11759261B2 (en) Augmented reality pre-registration
Mountney et al. Three-dimensional tissue deformation recovery and tracking
CN107106241B (zh) 用于对外科器械进行导航的系统
CN103619278B (zh) 用于内窥镜手术期间的引导注射的系统
Salcudean et al. Robot-assisted medical imaging: A review
US11026747B2 (en) Endoscopic view of invasive procedures in narrow passages
CN114145846B (zh) 基于增强现实辅助的手术导航方法及系统
JP6085598B2 (ja) 画像ガイドインターベンションのための術中画像補正
CN116370077A (zh) 超声内镜探头的导航方法、装置、计算机设备和存储介质
CN107205691A (zh) 手术装置及其使用方法
CN110432986B (zh) 用于从ct数据构建虚拟径向超声图像的系统和方法
JP2011502687A (ja) ３ｄ造影超音波を使用する介入ナビゲーション
EP2637593A1 (en) Visualization of anatomical data by augmented reality
JP2005169116A (ja) 融合画像表示方法
CN108472089A (zh) 电磁传感器跟踪系统的运动框可视化
JP6706576B2 (ja) 最小侵襲性のインターベンションのための形状センスされるロボット超音波
Najmaei et al. Image‐guided techniques in renal and hepatic interventions
Ramadani et al. A survey of catheter tracking concepts and methodologies
US10507064B1 (en) Microscope tracking based on video analysis
EP3110335B1 (en) Zone visualization for ultrasound-guided procedures
WO2022028718A1 (en) Real time augmentation
US20230215059A1 (en) Three-dimensional model reconstruction
CA2995176C (en) Microscope tracking based on position and image data
Perrotta Development and validation of an in-vitro tracking system for estimating the 3D position of a steerable needle for neurosurgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination