CN116580820B - 基于多模态医学图像的经会阴前列腺穿刺智能麻醉系统 - Google Patents

基于多模态医学图像的经会阴前列腺穿刺智能麻醉系统 Download PDF

Info

Publication number
CN116580820B
CN116580820B CN202310857773.0A CN202310857773A CN116580820B CN 116580820 B CN116580820 B CN 116580820B CN 202310857773 A CN202310857773 A CN 202310857773A CN 116580820 B CN116580820 B CN 116580820B
Authority
CN
China
Prior art keywords
prostate
image
coordinate system
ultrasonic
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310857773.0A
Other languages
English (en)
Other versions
CN116580820A (zh
Inventor
王杉杉
杨小为
吴梦麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kaben Shenzhen Medical Equipment Co ltd
Original Assignee
Kaben Shenzhen Medical Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kaben Shenzhen Medical Equipment Co ltd filed Critical Kaben Shenzhen Medical Equipment Co ltd
Priority to CN202310857773.0A priority Critical patent/CN116580820B/zh
Publication of CN116580820A publication Critical patent/CN116580820A/zh
Application granted granted Critical
Publication of CN116580820B publication Critical patent/CN116580820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/17—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered via infusion or injection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Robotics (AREA)
  • Artificial Intelligence (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medicinal Chemistry (AREA)
  • Urology & Nephrology (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供一种基于多模态医学图像的经会阴前列腺穿刺智能麻醉系统，该系统包括坐标系定义模块，MRI序列图像标注及3D重建模块，超声数据提取模块，配准模块以及麻醉规划模块，该系统通过多模态医学图像配准将术前核磁坐标系中的影像和目标麻醉区域变换到实时的电磁坐标系下，实现了核磁影像中的目标麻醉和超声影像的全面融合，用于医疗教学或者手术引导，帮助实现经会阴前列腺活检麻醉区域的精准定位。

Description

基于多模态医学图像的经会阴前列腺穿刺智能麻醉系统
技术领域
本发明涉及图像处理领域，尤其涉及一种基于多模态医学图像配准的超声经会阴前列腺活检穿刺智能麻醉系统。
背景技术
目前，医生通过前列腺特异抗原PSA的检查，对于PSA异常的病人进行多参数磁共振的检查以及安排活检穿刺，有效的在早期筛查出是否是前列腺癌症，并及时制定治疗计划。
所以，如何高效的完成活检穿刺，提高活检结果阳性率，成为了医学界不断追求的目标，前列腺活检穿刺检查主要分为两大类：
第一类是已经采用了很多年的经直肠穿刺方法，该方法对麻醉的要求不高，操作简便，但是缺点是直肠细菌会比较容易进入血液，导致发烧以及感染病症，甚至有败血病的可能，经统计，该方法的感染率高达5-7%；
第二类是近年采用较多的经会阴穿刺方法，该方法相对更安全，经过统计，感染率相比经直肠穿刺降低至0.075%，一般短时间可以痊愈，然而该方法对麻醉要求高，不仅要准确的找到麻醉区域，还需要选择对应长度的麻醉针进行精准的麻醉，如果麻醉效果不好，病人在穿刺过程中会感到十分痛苦，甚至导致没有办法顺利完成手术；也正是由于这方面的原因，导致这个安全有效的术式大面积的推行收到一定阻力
多参数磁共振影像（mpMRI）由于其对软组织的卓越显影效果，被用来作为前列腺穿刺术前必须获取的影像，在核磁影像上可以相对准确的找到疑似病灶的区域，同时也可以准确的找到前列腺周围的神经麻醉区，超声影像具有实时高的特性，通常被用来作为穿刺的首选设备，但是由于其影像分辨率不高，往往直接在超声影像上找到精准的目标麻醉区域相对难度较高。
因此，亟需一种将磁共振中的麻醉区域实时准确投影到实时超声影像中的系统。
发明内容
本发明的目的是针对目前直接在超声影像上找到精准的目标麻醉区域难度较高的问题，提出一种基于多模态医学图像的经会阴前列腺穿刺智能麻醉系统，该系统操作简单，使用超声影像融合术前多参数磁共振的影像，能够将麻醉区域以及会阴区域准确的融合到实时性高的超声影像中，同时智能的推荐麻醉工具，实现精准的术前麻醉方案，有效的降低了经会阴穿刺的难度，降低病人的感染率。
本发明的技术方案是：
本发明提供一种基于多模态医学图像的经会阴前列腺穿刺智能麻醉系统，该系统包括：
坐标系定义模块：基于电磁场发射器形成的超声成像平面定义电磁坐标系CSe，基于MRI序列图像拍摄核磁设备定义核磁设备坐标系Csm，基于电磁传感器定义坐标系CSs，所述电磁传感器绑定在超声探头上；基于电磁传感器在电磁坐标系CSe中的位姿获取电磁传感器在CSs中任意位置的变换矩阵TMse；
MRI序列图像标注及3D重建模块：接收人体前列腺MRI序列图像，标注麻醉区域MRI-VMa以及前列腺外轮廓区域MRI-VMp；基于MRI序列图像的位置信息，重建3D麻醉区域以及3D前列腺外轮廓区域；
超声数据提取模块：接收人体前列腺超声数据，提取超声数据中覆盖前列腺肩部到尾部的图像集合，基于每帧超声图像的空间位置信息，获取超声影像下电磁坐标系Cse中的前列腺外轮廓区域US-VMp；
配准模块：采用ICP点云配准算法对核磁设备坐标系Csm中的前列腺外轮廓区域MRI-VMp体数据以及超声影像下电磁坐标系Cse中的前列腺外轮廓区域US-VMp体数据进行配准，得到两者之间的空间变换矩阵TMme；
麻醉规划模块：接收超声探头获取的当前超声图像，基于空间变换矩阵TMme在电磁坐标系中得到映射的麻醉区域EMTS-Vma，与当前超声图像融合得到超声影像下的麻醉区域。
进一步地，标注具体为：采用预先训练好的前列腺分割深度学习模型对MRI序列图像进行分割，标注分割后的麻醉区域VMa以及前列腺外周带轮廓区域VMp。
进一步地，前列腺分割深度学习模型的建立具体为：
提取前列腺MRI序列图像的横断面和矢状面图像；
对横断面和矢状面图像进行麻醉区域和前列腺外周带轮廓区域的标注分割；
将标注分割后的前列腺MRI图像作为样本输入人工神经网络模型进行训练，获取前列腺分割深度学习模型。
进一步地，变换矩阵TMse具体为：
其中：R为3x3矩阵，T为3x1向量，R，T表示电磁传感器在电磁坐标系CSe中的位姿。
进一步地，前列腺外轮廓区域US-VMp的获取具体为：
提取超声数据中覆盖前列腺的肩部到尾部的图像集合，帧数记为N；
提取包含前列腺器官的影像，分割出前列腺外轮廓区域，得到超声影像中的前列腺外轮廓区域US-VMp，外轮廓中各点在电磁坐标系Cse中的坐标PCe采用下述公式获取：
；
其中，i表示帧编号，（u，v）表示轮廓点在超声2d图像下的像素坐标，TMsei表示表示第i帧图像对应的电磁传感器在CSs中任意位置的变换矩阵，TMts表示超声成像平面顶点与电磁传感器相对位置的变换矩阵。
进一步地，配准具体为：
将超声影像中前列腺外轮廓区域US-VMp中各点在电磁坐标系Cse中的坐标作为第一组三维点云；将3D前列腺外轮廓区域MRI-VMp对应的三维点云作为第二组三维点云；
分别对两组点云进行处理；
使用ICP点云配准算法对处理后的三维点云进行配准，得到核磁设备坐标系CSm到电磁坐标系Cse的空间变换矩阵TMme。
进一步地，麻醉规划模块执行以下步骤：
基于空间变换矩阵TMme将核磁设备坐标系Csm下的麻醉区域MRI-VMa变换到当前超声影像下的电磁坐标系中，得到映射的麻醉区域EMTS-Vma；
获取当前超声影像的平面位置与麻醉区域EMTS-Vma体数据相切产生的切片，得到带有麻醉区域轮廓的切片Sa；
将当前超声图像和带有麻醉区域轮廓的切片Sa融合叠加，得到当前超声影像和麻醉区域的融合图像，在超声影像下显示麻醉区域。
进一步地，该系统还包括穿刺规划模块，执行以下步骤：
提取超声数据中电磁坐标系Cse下的会阴点云数据，拟合出会阴所处的平面位置PP；作为穿刺针进入体内的起始平面位置，该平面的法向量与超声探头进入人体的方向一致；
计算当前超声图像下映射的麻醉区域EMTS-Vma中心点到穿刺起始平面PP的距离，根据麻醉区域到穿刺起始平面的距离，推荐适配长度麻醉针。
进一步地，拟合出会阴所处的平面位置PP包括：
提取会阴处的超声数据序列，获取一系列超声成像平面上的坐标点PPi(x，y，z，1)；其中，i表示坐标点的编号，x，y，z分别表示超声成像平面的坐标值，采用下述公式获取每个点在电磁传感器坐标系CSs内的真实坐标PPsi；
PPsi = TMse × TMts × PPi
其中：TMts表示超声成像平面顶点与电磁传感器相对位置的变换矩阵；
根据每个点的真实坐标PPsi，采用基于离散点的svd方法拟合会阴所处的平面位置PP作为穿刺起始平面；
ax+by+cz+d=0。
进一步地，计算映射的麻醉区域EMTS-Vma的中心点到穿刺起始平面PP的距离采用下述公式：
d=|axm+ bym+ czm+ d |/（a2+b2+c2）
其中，（xm、ym、zm）为超声成像平面的电磁坐标系CSe中麻醉区域的中心点，a、b、c、d为PP的平面参数。
本发明的有益效果：
本发明的系统通过多模态医学图像配准将术前核磁坐标系中的影像和目标麻醉区域变换到实时的电磁坐标系下，实现了核磁影像中的目标麻醉和超声影像的全面融合，用于医疗教学或者手术引导，帮助实现经会阴前列腺活检麻醉区域的精准定位。
本发明通过对目标区域和进针起始位置的距离计算和分析，实现麻醉针型号的智能推荐，使麻醉工作进展更加顺利，高效，对于经会阴前列腺活检术式起到有效的推广作用。
本发明的其它特征和优点将在随后具体实施方式部分予以详细说明。
附图说明
通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。
图1为本发明系统实现的框架流程图；
图2示出了根据本发明的一个实施例的前列腺外周以及麻醉区域标注示意图；
图3示出了根据本发明的一个实施例的前列腺外周以及麻醉区与三维重建示意图；
图4示出了根据本发明的一个实施例的麻醉导航过程中不同坐标系的示意图；
图5示出了根据本发明的一个实施例的穿刺起始平面示意图；
图6示出了根据本发明的一个实施例的超声影像以及核磁影像下的前列腺外周点云配准示意图；
图7示出了根据本发明的一个实施例的基于融合的麻醉区导航示意图。
实施方式
下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。
实施例一：
一种基于多模态医学图像的经会阴前列腺穿刺智能麻醉系统，该系统包括：
坐标系定义模块：基于电磁场发射器形成的超声成像平面定义电磁坐标系CSe，基于MRI序列图像拍摄核磁设备定义核磁设备坐标系Csm，基于电磁传感器定义坐标系CSs，所述电磁传感器绑定在超声探头上；基于电磁传感器在电磁坐标系CSe中的位姿获取电磁传感器在CSs中任意位置的变换矩阵Tmse；如图4所示，说明了MRI是术前影像，需要通过配准计算US坐标系中的探头位置，实现有效的手术导航；
变换矩阵TMse具体为：
其中：R为3x3矩阵，T为3x1向量，R，T表示电磁传感器在电磁坐标系CSe中的位姿；
MRI序列图像标注及3D重建模块：接收人体前列腺MRI序列图像，标注麻醉区域MRI-VMa以及前列腺外轮廓区域MRI-VMp；基于MRI序列图像的位置信息，重建3D麻醉区域以及3D前列腺外轮廓区域；
超声数据提取模块：接收人体前列腺超声数据，提取超声数据中覆盖前列腺肩部到尾部的图像集合，基于每帧超声图像的空间位置信息，获取超声影像下电磁坐标系Cse中的前列腺外轮廓区域US-VMp；
配准模块：采用ICP点云配准算法对核磁设备坐标系Csm中的前列腺外轮廓区域MRI-VMp体数据以及超声影像下电磁坐标系Cse中的前列腺外轮廓区域US-VMp体数据进行配准，得到两者之间的空间变换矩阵TMme；
麻醉规划模块：接收超声探头获取的当前超声图像，基于空间变换矩阵TMme在电磁坐标系中得到映射的麻醉区域EMTS-Vma，与当前超声图像融合得到超声影像下的麻醉区域。
在本实施例中，通过多模态医学图像配准将术前核磁坐标系中的影像和目标麻醉区域变换到实时的电磁坐标系下，实现了核磁影像中的目标麻醉和超声影像的全面融合，用于医疗教学或者手术引导，帮助实现经会阴前列腺活检麻醉区域的精准定位。
实施例二：
本发明中，MRI序列图像标注及3D重建模块的标注步骤具体为：采用预先训练好的前列腺分割深度学习模型对MRI序列图像进行分割，标注分割后的麻醉区域VMa以及前列腺外周带轮廓区域VMp；如图2所示，根据导入的核磁影像，对其中的包含前列腺外周带区域和麻醉区域的影像进行标注，得到外周带轮廓区域和麻醉区域；如图3所示，对图2中所有的图像进行正确的标注后，可以完成对应的核磁外周带轮廓区域和麻醉区域的三维重建，中间区域为前列腺外周，两边的区域为前列腺周围的麻醉区域。
其中，前列腺分割深度学习模型的建立具体为：
提取前列腺MRI序列图像的横断面和矢状面图像；
对横断面和矢状面图像进行麻醉区域和前列腺外周带轮廓区域的标注分割；
将标注分割后的前列腺MRI图像作为样本输入人工神经网络模型进行训练，获取前列腺分割深度学习模型。
在本实施例中，基于深度学习模型对前列腺进行分割标注，有效地提高了分割识别的准确率。
实施例三：
在本发明中，超声数据提取模块中前列腺外轮廓区域US-VMp的获取具体为：
提取超声数据中覆盖前列腺的肩部到尾部的图像集合，帧数记为N；
提取包含前列腺器官的影像，分割出前列腺外轮廓区域，得到超声影像中的前列腺外轮廓区域US-VMp，外轮廓中各点在电磁坐标系Cse中的坐标PCe采用下述公式获取：
其中，i表示帧编号，（u，v）表示轮廓点在超声2d图像下的像素坐标，TMsei表示表示第i帧图像对应的电磁传感器在CSs中任意位置的变换矩阵，TMts表示超声成像平面顶点与电磁传感器相对位置的变换矩阵。
在本实施例中，在采集到的N帧影像中，找出包含前列腺器官的影像，分割勾勒出前列腺外轮廓区域，得到超声影像中的前列腺外轮廓区域US-VMp，外轮廓中每一个点在电磁坐标系Cse中的坐标通过公式变换获取，如图6中第一张点云所示，代表超声前列腺外轮廓区域每一个点在Cse坐标系中的位置。
实施例四：
在本发明中，配准模块将超声影像中前列腺外轮廓区域US-VMp中各点在电磁坐标系Cse中的坐标作为第一组三维点云；将3D前列腺外轮廓区域MRI-VMp对应的三维点云作为第二组三维点云；
分别对两组点云进行处理，包括：对两组点云进行三角网格化并平滑，恢复成点云，下采样减少三维点云的数量，得到下采样后的两组三维点云；
使用ICP点云配准算法对处理后的三维点云进行配准，得到核磁设备坐标系CSm到电磁坐标系Cse的空间变换矩阵TMme。
在本实施例中，使用ICP算法完成对两组点云的配准，可以得到核磁坐标系到电磁坐标系的变换矩阵TMme，可以看到核磁中的前列腺点云经过TMme变换后得到图6配准后示意图中所示的点云，和超声对应的点云的位置和方位基本一致。
实施例五：
在本发明中，麻醉规划模块执行以下步骤：
基于空间变换矩阵TMme将核磁设备坐标系Csm下的麻醉区域MRI-VMa变换到当前超声影像下的电磁坐标系中，得到映射的麻醉区域EMTS-Vma；
获取当前超声影像的平面位置与麻醉区域EMTS-Vma体数据相切产生的切片，得到带有麻醉区域轮廓的切片Sa；
将当前超声图像和带有麻醉区域轮廓的切片Sa融合叠加，得到当前超声影像和麻醉区域的融合图像，在超声影像下显示麻醉区域。
在本实施例中，如图7所示，基于变换矩阵将麻醉区域也变换到超声所在的坐标系中，完成了麻醉区域和超声2d影像的融合，在核磁中标注的麻醉区域投影到超声影像中，实现了超声影像和核磁影像的融合，融合结果可以用于医疗教学或者手术引导，帮助实现经会阴前列腺活检麻醉区域的精准定位。
实施例六：
该系统还包括穿刺规划模块，执行以下步骤：
提取超声数据中电磁坐标系Cse下的会阴点云数据，获取一系列超声成像平面上的坐标点PPi(x，y，z，1)；其中，i表示坐标点的编号，x，y，z分别表示超声成像平面的坐标值，采用下述公式获取每个点在电磁传感器坐标系CSs内的真实坐标PPsi；
PPsi = TMse × TMts × PPi
其中：TMts表示超声成像平面顶点与电磁传感器相对位置的变换矩阵；
根据每个点的真实坐标PPsi，采用基于离散点的svd方法拟合会阴所处的平面位置PP作为穿刺起始平面，该平面的法向量与超声探头进入人体的方向一致；
ax+by+cz+d=0。
计算当前超声图像下映射的麻醉区域EMTS-Vma中心点到穿刺起始平面PP的距离；
d=|axm+ bym+ czm+ d |/（a2+b2+c2）
其中，（xm、ym、zm）为超声成像平面的电磁坐标系CSe中麻醉区域的中心点，a、b、c、d为PP的平面参数。
根据麻醉区域到穿刺起始平面的距离，推荐适配长度麻醉针。
在本实施例中，如图7所示，计算超声坐标系中的麻醉区域到拟合出的穿刺起始平面PP的距离d，根据不同的距离推荐不同长度的麻醉针，图7中示意距离达到一定数值，推荐使用更长的麻醉针，实现经会阴前列腺活检穿刺智能麻醉方案规划；使麻醉工作进展更加顺利，高效，对于经会阴前列腺活检术式起到有效的推广作用。
本发明的系统应用方法如下：
S1、基于电磁场发射器形成的超声成像平面定义电磁坐标系CSe，基于MRI序列图像拍摄核磁设备定义核磁设备坐标系Csm，基于电磁传感器定义坐标系CSs，所述电磁传感器绑定在超声探头上；基于电磁传感器在电磁坐标系CSe中的位姿获取电磁传感器在CSs中任意位置的变换矩阵TMse；
S2、接收人体前列腺MRI序列图像，采用预先训练好的前列腺分割深度学习模型对MRI序列图像进行分割，标注麻醉区域MRI-VMa以及前列腺外轮廓区域MRI-VMp；基于MRI序列图像的位置信息，重建3D麻醉区域以及3D前列腺外轮廓区域；
S3、接收人体前列腺超声数据，提取超声数据中覆盖前列腺的肩部到尾部的图像集合，帧数记为N；
提取包含前列腺器官的影像，分割出前列腺外轮廓区域，得到超声影像中的前列腺外轮廓区域US-VMp，记录外轮廓中各点在电磁坐标系Cse中的坐标PCe；
S4、将超声影像中前列腺外轮廓区域US-VMp中各点在电磁坐标系Cse中的坐标作为第一组三维点云；将3D前列腺外轮廓区域MRI-VMp对应的三维点云作为第二组三维点云；
分别对两组点云进行处理；
使用ICP点云配准算法对处理后的三维点云进行配准，得到核磁设备坐标系CSm到电磁坐标系Cse的空间变换矩阵TMme。
S5、接收超声探头获取的当前超声图像，基于空间变换矩阵TMme将核磁设备坐标系Csm下的麻醉区域MRI-VMa变换到当前超声影像下的电磁坐标系中，得到映射的麻醉区域EMTS-Vma；
获取当前超声影像的平面位置与麻醉区域EMTS-Vma体数据相切产生的切片，得到带有麻醉区域轮廓的切片Sa；
将当前超声图像和带有麻醉区域轮廓的切片Sa融合叠加，得到当前超声影像和麻醉区域的融合图像，在超声影像下显示麻醉区域；
S6、提取超声数据中电磁坐标系Cse下的会阴点云数据PPi，采用下述公式获取每个点在电磁传感器坐标系CSs内的真实坐标PPsi；
PPsi = TMse × TMts × PPi
其中：TMts表示超声成像平面顶点与电磁传感器相对位置的变换矩阵；
根据每个点的真实坐标PPsi，采用基于离散点的svd方法拟合会阴所处的平面位置PP作为穿刺起始平面；
计算当前超声图像下映射的麻醉区域EMTS-Vma中心点到穿刺起始平面PP的距离d；根据麻醉区域到穿刺起始平面的距离，推荐适配长度麻醉针；
本发明的系统应用时，实现了核磁影像中的目标麻醉和超声影像的全面融合，用于医疗教学或者手术引导，帮助实现经会阴前列腺活检麻醉区域的精准定位；通过对目标区域和进针起始位置的距离计算和分析，实现麻醉针型号的智能推荐，使麻醉工作进展更加顺利，高效，对于经会阴前列腺活检术式起到有效的推广作用。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。

Claims (7)

1.一种基于多模态医学图像的经会阴前列腺穿刺智能麻醉系统，其特征在于该系统包括：
坐标系定义模块：基于电磁场发射器形成的超声成像平面定义电磁坐标系CSe，基于MRI序列图像拍摄核磁设备定义核磁设备坐标系Csm，基于电磁传感器定义坐标系CSs，所述电磁传感器绑定在超声探头上；基于电磁传感器在电磁坐标系CSe中的位姿获取电磁传感器在CSs中任意位置的变换矩阵TMse；
MRI序列图像标注及3D重建模块：接收人体前列腺MRI序列图像，标注麻醉区域MRI-VMa以及前列腺外轮廓区域MRI-VMp；基于MRI序列图像的位置信息，重建3D麻醉区域以及3D前列腺外轮廓区域；
超声数据提取模块：接收人体前列腺超声数据，提取超声数据中覆盖前列腺肩部到尾部的图像集合，基于每帧超声图像的空间位置信息，获取超声影像下电磁坐标系Cse中的前列腺外轮廓区域US-VMp；
配准模块：采用ICP点云配准算法对核磁设备坐标系Csm中的前列腺外轮廓区域MRI-VMp体数据以及超声影像下电磁坐标系Cse中的前列腺外轮廓区域US-VMp体数据进行配准，得到两者之间的空间变换矩阵TMme；
麻醉规划模块：接收超声探头获取的当前超声图像，基于空间变换矩阵TMme在电磁坐标系中得到映射的麻醉区域EMTS-Vma，与当前超声图像融合得到超声影像下的麻醉区域；
变换矩阵TMse具体为：
其中：R为3x3矩阵，T为3x1向量，R，T表示电磁传感器在电磁坐标系CSe中的位姿；
前列腺外轮廓区域US-VMp的获取具体为：
提取超声数据中覆盖前列腺的肩部到尾部的图像集合，帧数记为N；
提取包含前列腺器官的影像，分割出前列腺外轮廓区域，得到超声影像中的前列腺外轮廓区域US-VMp，外轮廓中各点在电磁坐标系Cse中的坐标PCe采用下述公式获取：
；
其中，i表示帧编号，（u，v）表示轮廓点在超声2d图像下的像素坐标，TMsei表示第i帧图像对应的电磁传感器在CSs中任意位置的变换矩阵，TMts表示超声成像平面顶点与电磁传感器相对位置的变换矩阵；
配准具体为：
将超声影像中前列腺外轮廓区域US-VMp中各点在电磁坐标系Cse中的坐标作为第一组三维点云；将3D前列腺外轮廓区域MRI-VMp对应的三维点云作为第二组三维点云；
分别对两组点云进行处理；
使用ICP点云配准算法对处理后的三维点云进行配准，得到核磁设备坐标系CSm到电磁坐标系Cse的空间变换矩阵TMme。
2.根据权利要求1所述的基于多模态医学图像的经会阴前列腺穿刺智能麻醉系统，其特征在于标注具体为：采用预先训练好的前列腺分割深度学习模型对MRI序列图像进行分割，标注分割后的麻醉区域VMa以及前列腺外周带轮廓区域VMp。
3.根据权利要求2所述的基于多模态医学图像的经会阴前列腺穿刺智能麻醉系统，其特征在于前列腺分割深度学习模型的建立具体为：
提取前列腺MRI序列图像的横断面和矢状面图像；
对横断面和矢状面图像进行麻醉区域和前列腺外周带轮廓区域的标注分割；
将标注分割后的前列腺MRI图像作为样本输入人工神经网络模型进行训练，获取前列腺分割深度学习模型。
4.根据权利要求1所述的基于多模态医学图像的经会阴前列腺穿刺智能麻醉系统，其特征在于麻醉规划模块执行以下步骤：
基于空间变换矩阵TMme将核磁设备坐标系Csm下的麻醉区域MRI-VMa变换到当前超声影像下的电磁坐标系中，得到映射的麻醉区域EMTS-Vma；
获取当前超声影像的平面位置与麻醉区域EMTS-Vma体数据相切产生的切片，得到带有麻醉区域轮廓的切片Sa；
将当前超声图像和带有麻醉区域轮廓的切片Sa融合叠加，得到当前超声影像和麻醉区域的融合图像，在超声影像下显示麻醉区域。
5.根据权利要求1所述的基于多模态医学图像的经会阴前列腺穿刺智能麻醉系统，其特征在于该系统还包括穿刺规划模块，执行以下步骤：
提取超声数据中电磁坐标系Cse下的会阴点云数据，拟合出会阴所处的平面位置PP；作为穿刺针进入体内的起始平面位置，该平面的法向量与超声探头进入人体的方向一致；
计算当前超声图像下映射的麻醉区域EMTS-Vma中心点到穿刺起始平面PP的距离，根据麻醉区域到穿刺起始平面的距离，推荐适配长度麻醉针。
6.根据权利要求5所述的基于多模态医学图像的经会阴前列腺穿刺智能麻醉系统，其特征在于拟合出会阴所处的平面位置PP包括：
提取会阴处的超声数据序列，获取一系列超声成像平面上的坐标点PPi(x，y，z，1)；其中，i表示坐标点的编号，x，y，z分别表示超声成像平面的坐标值，采用下述公式获取每个点在电磁传感器坐标系CSs内的真实坐标PPsi；
PPsi = TMse × TMts × PPi
其中：TMts表示超声成像平面顶点与电磁传感器相对位置的变换矩阵；
根据每个点的真实坐标PPsi，采用基于离散点的svd方法拟合会阴所处的平面位置PP作为穿刺起始平面；
ax+by+cz+d=0。
7.根据权利要求6所述的基于多模态医学图像的经会阴前列腺穿刺智能麻醉系统，其特征在于：计算映射的麻醉区域EMTS-Vma的中心点到穿刺起始平面PP的距离采用下述公式：
d=|axm+ bym + czm+ d |/（a2+b2+c2）
其中，（xm、ym、zm）为超声成像平面的电磁坐标系CSe中麻醉区域的中心点，a、b、c、d为PP的平面参数。
CN202310857773.0A 2023-07-13 2023-07-13 基于多模态医学图像的经会阴前列腺穿刺智能麻醉系统 Active CN116580820B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310857773.0A CN116580820B (zh) 2023-07-13 2023-07-13 基于多模态医学图像的经会阴前列腺穿刺智能麻醉系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310857773.0A CN116580820B (zh) 2023-07-13 2023-07-13 基于多模态医学图像的经会阴前列腺穿刺智能麻醉系统

Publications (2)

Publication Number Publication Date
CN116580820A CN116580820A (zh) 2023-08-11
CN116580820B true CN116580820B (zh) 2023-12-22

Family

ID=87536382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310857773.0A Active CN116580820B (zh) 2023-07-13 2023-07-13 基于多模态医学图像的经会阴前列腺穿刺智能麻醉系统

Country Status (1)

Country Link
CN (1) CN116580820B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108577940A (zh) * 2018-02-11 2018-09-28 苏州融准医疗科技有限公司 一种基于多模态医学图像信息的靶向穿刺引导系统及方法
CN111340861A (zh) * 2020-02-03 2020-06-26 大连理工大学 一种前列腺核磁超声图像配准融合方法
CN114119549A (zh) * 2021-11-26 2022-03-01 卡本(深圳)医疗器械有限公司 一种多模态医学图像三维点云配准优化方法
CN115294124A (zh) * 2022-10-08 2022-11-04 卡本(深圳)医疗器械有限公司 基于多模态医学图像配准的超声穿刺引导规划系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101681504A (zh) * 2006-11-27 2010-03-24 皇家飞利浦电子股份有限公司 用于将实时超声图像与预先获取的医学图像进行融合的系统和方法
US10957010B2 (en) * 2019-08-07 2021-03-23 General Electric Company Deformable registration for multimodal images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108577940A (zh) * 2018-02-11 2018-09-28 苏州融准医疗科技有限公司 一种基于多模态医学图像信息的靶向穿刺引导系统及方法
CN111340861A (zh) * 2020-02-03 2020-06-26 大连理工大学 一种前列腺核磁超声图像配准融合方法
CN114119549A (zh) * 2021-11-26 2022-03-01 卡本(深圳)医疗器械有限公司 一种多模态医学图像三维点云配准优化方法
CN115294124A (zh) * 2022-10-08 2022-11-04 卡本(深圳)医疗器械有限公司 基于多模态医学图像配准的超声穿刺引导规划系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于核磁-超声融合的前列腺靶向穿刺系统;倪东等;深圳大学学报(理工版);第33卷(第02期);第111-118页 *

Also Published As

Publication number Publication date
CN116580820A (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN112155729B (zh) 手术穿刺路径智能自动化规划方法及系统和医疗系统
JP6161004B2 (ja) 画像データ処理装置および経頭蓋磁気刺激装置
CN111161326B (zh) 用于可变形图像配准的无监督深度学习的系统和方法
US8425418B2 (en) Method of ultrasonic imaging and biopsy of the prostate
ES2550455T3 (es) Método y aparato para corregir un error en el registro conjunto de sistemas de coordenadas usados para representar objetos visualizados durante la estimulación guiada del cerebro
US10881353B2 (en) Machine-guided imaging techniques
Boctor et al. A novel closed form solution for ultrasound calibration
CN110464459A (zh) 基于ct-mri融合的介入计划导航系统及其导航方法
WO2017211087A1 (zh) 一种内窥镜手术导航方法和系统
Zhang et al. Multi‐needle localization with attention U‐net in US‐guided HDR prostate brachytherapy
CN107133637B (zh) 一种手术导航图像自动注册设备以及方法
CN110993065B (zh) 一种基于图像引导的脑肿瘤锁孔手术路径规划方法
JP6644795B2 (ja) 解剖学的オブジェクトをセグメント化する超音波画像装置及び方法
Li et al. Image-guided navigation of a robotic ultrasound probe for autonomous spinal sonography using a shadow-aware dual-agent framework
EP4349265A1 (en) Ultrasonic puncture guidance planning system based on multi-modal medical image registration
WO2023066072A1 (zh) 导管定位方法、介入手术系统、电子设备和存储介质
EP3110335B1 (en) Zone visualization for ultrasound-guided procedures
CN113425411A (zh) 一种病变定位导航的方法和装置
EP3292835B1 (en) Ent image registration
CN113994380A (zh) 基于深度学习的消融区域确定方法
CN116580820B (zh) 基于多模态医学图像的经会阴前列腺穿刺智能麻醉系统
CN115116113A (zh) 一种光学导航方法
CN112089438B (zh) 基于二维超声图像的四维重建方法及装置
WO2007137179A2 (en) Improved system and method for 3-d biopsy
CN115375621A (zh) 一种肝肿瘤消融路径规划方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant