CN113274129A - 一种基于虚拟现实的心胸外科手术辅助控制系统 - Google Patents

一种基于虚拟现实的心胸外科手术辅助控制系统 Download PDF

Info

Publication number
CN113274129A
CN113274129A CN202110511798.6A CN202110511798A CN113274129A CN 113274129 A CN113274129 A CN 113274129A CN 202110511798 A CN202110511798 A CN 202110511798A CN 113274129 A CN113274129 A CN 113274129A
Authority
CN
China
Prior art keywords
module
image
focus
dimensional
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110511798.6A
Other languages
English (en)
Inventor
杜杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Second Affiliated Hospital and Yuying Childrens Hospital of Wenzhou Medical University
Original Assignee
Second Affiliated Hospital and Yuying Childrens Hospital of Wenzhou Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Affiliated Hospital and Yuying Childrens Hospital of Wenzhou Medical University filed Critical Second Affiliated Hospital and Yuying Childrens Hospital of Wenzhou Medical University
Priority to CN202110511798.6A priority Critical patent/CN113274129A/zh
Publication of CN113274129A publication Critical patent/CN113274129A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Cardiology (AREA)
  • Computer Graphics (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Gynecology & Obstetrics (AREA)
  • Image Processing (AREA)

Abstract

本发明属于医学技术领域，公开了一种基于虚拟现实的心胸外科手术辅助控制系统，基于虚拟现实的心胸外科手术辅助控制系统包括：信息采集模块、传感模块、图像采集模块、中央控制模块、图像处理模块、三维模型构建模块、病灶信息提取模块、三维病灶模型构建模块、手术规划模块、定位模块、导航模块、手术监控模块、预警模块以及显示模块。本发明利用影像数据进行心胸模型构建，具有更高空间分辨率，更精确丰富的结构信息。本发明在手术前，基于虚拟现实设备重建特异性病灶模型，使医生可以深入病灶内部，以任意角度观察细微病变，做出三维手术规划，相较于传统的通过二维切面的规划方式更加直观、立体、准确、全面。

Description

一种基于虚拟现实的心胸外科手术辅助控制系统
技术领域
本发明属于医学技术领域，尤其涉及一种基于虚拟现实的心胸外科手术辅助控制系统。
背景技术
目前：临床手术是现代医疗的重要诊疗手段，目前复杂外科手术的实施方案，主要依赖于核磁共振、计算机断层扫描等三维医学影像来制定。但临床手术开刀之后，由于存在血液漫流和器官遮挡等生理因素，医生的手术视野比较有限，手术中所见景象往往血肉模糊，加之术中病灶常常发生形态变化，脉管结构存在复杂畸变，往往难以直观辨认。手术室配备的医疗影像设备使用复杂，往往需要配备专门的医护人员来操作仪器，使用不便，医生很难将术中所见血肉模糊的景象与术前影像学图像关联起来，造成了注意力的分散，这种信息不对称的情形导致解剖结构辨识困难，影响术中决策。
近年来，为了解决复杂胸外科手术难以有效开展的问题，结合虚拟现实和增强现实技术的最新发展，主要通过术前术中信息，建立无畸变三维立体图像，捕捉术中视野或手术动作，对术中每一阶段的生理状况进行逐一检测和融合，反馈给医生作为指导。
然而现有技术还没有针对心胸外科的手术辅助技术，同时现有的手术辅助技术无法实时进行手术监控。
通过上述分析，现有技术存在的问题及缺陷为：现有技术还没有针对心胸外科的手术辅助技术，同时现有的手术辅助技术无法实时进行手术监控。
发明内容
针对现有技术存在的问题，本发明提供了一种基于虚拟现实的心胸外科手术辅助控制系统。
本发明是这样实现的，一种基于虚拟现实的心胸外科手术辅助控制系统，所述基于虚拟现实的心胸外科手术辅助控制系统包括：
信息采集模块、传感模块、图像采集模块、中央控制模块、图像处理模块、三维模型构建模块、病灶信息提取模块、三维病灶模型构建模块、手术规划模块、定位模块、导航模块、手术监控模块、预警模块以及显示模块；
信息采集模块，与中央控制模块连接，用于利用扫描设备或其他输入设备采集患者的相应诊疗信息以及检测影像；
图像处理模块，与中央控制模块连接，用于对采集的相应视频图像进行处理；
所述对采集的相应视频图像进行处理包括：
用尺寸为
Figure BDA0003060568690000021
的块状将采集的尺寸为M×N的图像X转换成基于补丁表示的补丁图像Y，其尺寸为MN×P；
对图像X进行分块，每个图像子块记为Xm,n，其尺寸大小为
Figure BDA0003060568690000022
针对每个图像子块Xm,n，将给定的尺寸为
Figure BDA0003060568690000023
块状完全覆盖该图像子块，满足关系式
Figure BDA0003060568690000024
再将基于补丁的图像Y内中心像素落入此搜索窗口内的所有补丁构成的含噪图像补丁矩阵记为Zm,n，然后利用下式将每列元素减去其均值；
Figure BDA0003060568690000025
其中，
Figure BDA0003060568690000026
进行信噪分离，提取含噪数据的信号子空间的维度；将每个含噪图像补丁在对应的信号子空间上投影重建，利用图像补丁对准和重叠平均方法，得到消除噪声的纯净图像；
三维模型构建模块，与中央控制模块连接，用于基于采集的相应影像信息构建虚拟胸腔及心脏模型；
病灶信息提取模块，与中央控制模块连接，用于基于采集的相应信息进行病灶信息的提取；
三维病灶模型构建模块，与中央控制模块连接，用于基于提取的病灶信息获取病灶特征点并将其添加在构建的三维胸腔及心脏模型上，得到三维心胸病灶模型；
手术规划模块，与中央控制模块连接，用于基于采集的相应信息以及构建的三维心胸病灶模型确定手术规划；也可用于利用输入设备进行手术方案的输入；
定位模块，与中央控制模块连接，用于基于采集的相应信息以及图像结合病灶模型定位病灶位置；并在三维病灶模型中进行病灶位置的标注；
导航模块，与中央控制模块连接，用于基于病灶位置以及传感器采集的手术工具位置信息进行手术导航；
手术监控模块，与中央控制模块连接，用于基于采集的现场视频图像确定手术过程是否符合预先确定或输入的手术规划。
进一步，所述基于虚拟现实的心胸外科手术辅助控制系统还包括：
传感模块，与中央控制模块连接，用于利用位于医疗器具上的传感节点采集手术工具的位置以及姿态信息；
图像采集模块，与中央控制模块连接，用于利用摄像设备采集手术过程相应图像；
中央控制模块，与信息采集模块、传感模块、图像采集模块、图像处理模块、三维模型构建模块、病灶信息提取模块、三维病灶模型构建模块、手术规划模块、定位模块、导航模块、手术监控模块、预警模块以及显示模块；用于利用单片机或控制器控制各个模块正常工作；
预警模块，与中央控制模块连接，用于当手术工具偏离位置或手术过程偏离规划时进行预警；
显示模块，与中央控制模块连接，用于利用显示设备显示构建的病灶模型、定位的病灶位置以及导航路线、预警信息。
进一步，所述基于采集的相应影像信息构建虚拟胸腔及心脏模型包括：
(1)获取采集影像信息中心脏超声图像数据集，对数据集进行特征点重标定处理，并分离心脏各个部位的数据集，针对每个数据集进行去除超声斑纹噪声处理；
(2)对相应的图像数据进行图像分割和边缘轮廓特征提取；
(3)采用PTAM算法进行心脏各部位的三维建模，并将构建的单个心脏部位模型进行合成处理，构建完整的心脏三维模型。
进一步，所述图像分割包括：
1)将多个样本图像与待分割图像进行非线性配准，得到多个样本图像的配准系数；
2)基于配准系数变换样本图像的心脏的二值图，将变换后的二值图叠加，得到心脏的先验分布；
3)基于马尔科夫链蒙特卡洛进行所述心脏的先验分布的空间采样，得到精密采样点；
4)根据所述精密采样点从所述待分割图像中提取得到对应的子区域；对子区域内像素进行分类，输出子区域的分割结果；
5)在待分割图像空间中，将子区域分割结果进行叠加，得到待分割图像中心脏的似然函数；
6)设置该子区域在待分割图像空间中的示性函数，叠加示性函数，获得先验分布；
7)结合所述待分割图像中心脏的先验分布和所述似然函数，得到心脏的后验分布，二值化所述后验分布得到最终分割结果。
进一步，所述提取含噪数据的信号子空间的维度包括：
对构造矩阵提取信号子空间维度来选取K个特征向量，即：
K＝max({1≤p≤P|λp≥αp})
其中，K表示截取的信号子空间维度；λ＝Λ,λp和αp分别表示数据矩阵和人造随机数据矩阵的奇异值。
进一步，所述采用PTAM算法进行心脏各部位的三维建模包括：
首先，对图像特征点进行检测；
其次，图像特征追踪Track模型：
Figure BDA0003060568690000051
其中，F(x)为加权目标函数，ξ为Track模型描述向量，e为投影误差；
再者，优化的集束调整算法：
Figure BDA0003060568690000052
其中，eij为在第i个与第j个关键帧间匹配特征点的投影误差，pi为所生成的三维特征点坐标；
然后，建立关键帧的图像特征点匹配关系，三维空间模型构建的Map过程：
Figure BDA0003060568690000053
其中，c为块搜索区域大小，I1与I1为待匹配块，M1，M分别为I1与I的像素均值；通过选取极线方向上与匹配点所对应块区域具有最小D值的特征点作为最佳匹配点，并通过三角测量原理建立三维空间模型。
进一步，所述在三维病灶模型中进行病灶位置的标注包括：
(1)获取采集的影像信息中心脏以及胸腔的横断面图和冠状面图；
(2)将所述冠状面图输入训练好的第一卷积神经网络中，将所述横断面图输入训练好的第二卷积神经网络中，获得所述冠状面图和横断面图上肺叶关键点的位置；
(3)根据所述心胸关键点的位置建立第一三维坐标系，以确定病灶在第一三维坐标系中的位置，在已有的三维心胸模型中标注关键点，建立第二三维坐标系；
(4)将病灶在第一三维坐标系中的位置映射到第二三维坐标系，以在三维心胸模型中确定所述病灶的位置，并进行标注。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明利用影像数据进行心胸模型构建，具有更高空间分辨率，更精确丰富的结构信息。本发明在手术前，基于虚拟现实设备重建特异性病灶模型，使医生可以深入病灶内部，以任意角度观察细微病变，做出三维手术规划，相较于传统的通过二维切面的规划方式更加直观、立体、准确、全面。
本发明在手术中，基于增强现实设备获得的空间标记点，快速实现虚拟病灶模型与真实病灶位置的配准融合，并直接投影呈现于眼前真实空间，避免了注视显示屏带来的注意力分散。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于虚拟现实的心胸外科手术辅助控制系统结构示意图；
图中：1、信息采集模块；2、传感模块；3、图像采集模块；4、中央控制模块；5、图像处理模块；6、三维模型构建模块；7、病灶信息提取模块；8、三维病灶模型构建模块；9、手术规划模块；10、定位模块；11、导航模块；12、手术监控模块；13、预警模块；14、显示模块。
图2是本发明实施例提供的基于虚拟现实的心胸外科手术辅助控制方法流程图。
图3是本发明实施例提供的基于采集的相应影像信息构建虚拟胸腔及心脏模型的方法流程图。
图4是本发明实施例提供的图像分割的方法流程图。
图5是本发明实施例提供的在三维病灶模型中进行病灶位置的标注的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于虚拟现实的心胸外科手术辅助控制系统，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于虚拟现实的心胸外科手术辅助控制系统包括：
信息采集模块1，与中央控制模块4连接，用于利用扫描设备或其他输入设备采集患者的相应诊疗信息以及检测影像；
传感模块2，与中央控制模块4连接，用于利用位于医疗器具上的传感节点采集手术工具的位置以及姿态信息；
图像采集模块3，与中央控制模块4连接，用于利用摄像设备采集手术过程相应图像；
中央控制模块4，与信息采集模块1、传感模块2、图像采集模块3、图像处理模块5、三维模型构建模块6、病灶信息提取模块7、三维病灶模型构建模块8、手术规划模块9、定位模块10、导航模块11、手术监控模块12、预警模块13以及显示模块14；用于利用单片机或控制器控制各个模块正常工作；
图像处理模块5，与中央控制模块4连接，用于对采集的相应视频图像进行处理；
三维模型构建模块6，与中央控制模块4连接，用于基于采集的相应影像信息构建虚拟胸腔及心脏模型；
病灶信息提取模块7，与中央控制模块4连接，用于基于采集的相应信息进行病灶信息的提取；
三维病灶模型构建模块8，与中央控制模块4连接，用于基于提取的病灶信息获取病灶特征点并将其添加在构建的三维胸腔及心脏模型上，得到三维心胸病灶模型；
手术规划模块9，与中央控制模块4连接，用于基于采集的相应信息以及构建的三维心胸病灶模型确定手术规划；也可用于利用输入设备进行手术方案的输入；
定位模块10，与中央控制模块4连接，用于基于采集的相应信息以及图像结合病灶模型定位病灶位置；并在三维病灶模型中进行病灶位置的标注；
导航模块11，与中央控制模块4连接，用于基于病灶位置以及传感器采集的手术工具位置信息进行手术导航；
手术监控模块12，与中央控制模块4连接，用于基于采集的现场视频图像确定手术过程是否符合预先确定或输入的手术规划；
预警模块13，与中央控制模块4连接，用于当手术工具偏离位置或手术过程偏离规划时进行预警；
显示模块14，与中央控制模块4连接，用于利用显示设备显示构建的病灶模型、定位的病灶位置以及导航路线、预警信息。
如图2所示，本发明实施例提供的基于虚拟现实的心胸外科手术辅助控制方法包括：
S101，通过信息采集模块利用扫描设备或其他输入设备采集患者的相应诊疗信息以及检测影像；通过传感模块利用位于医疗器具上的传感节点采集手术工具的位置以及姿态信息；
S102，通过图像采集模块利用摄像设备采集手术过程相应图像；通过中央控制模块利用单片机或控制器控制图像处理模块对采集的相应视频图像进行处理；
S103，通过三维模型构建模块基于采集的相应影像信息构建虚拟胸腔及心脏模型；通过病灶信息提取模块基于采集的相应信息进行病灶信息的提取；
S104，通过三维病灶模型构建模块基于提取的病灶信息获取病灶特征点并将其添加在构建的三维胸腔及心脏模型上，得到三维心胸病灶模型；通过手术规划模块基于采集的相应信息以及构建的三维心胸病灶模型确定手术规划；也可用于利用输入设备进行手术方案的输入；
S105，通过定位模块基于采集的相应信息以及图像结合病灶模型定位病灶位置；并在三维病灶模型中进行病灶位置的标注；通过导航模块基于病灶位置以及传感器采集的手术工具位置信息进行手术导航；
S106，通过手术监控模块基于采集的现场视频图像确定手术过程是否符合预先确定或输入的手术规划；通过预警模块当手术工具偏离位置或手术过程偏离规划时进行预警；通过显示模块利用显示设备显示构建的病灶模型、定位的病灶位置以及导航路线、预警信息。
本发明实施例提供的对采集的相应视频图像进行处理包括：
用尺寸为
Figure BDA0003060568690000091
的块状将采集的尺寸为M×N的图像X转换成基于补丁表示的补丁图像Y，其尺寸为MN×P；
对图像X进行分块，每个图像子块记为Xm,n，其尺寸大小为
Figure BDA0003060568690000092
针对每个图像子块Xm,n，将给定的尺寸为
Figure BDA0003060568690000093
块状完全覆盖该图像子块，满足关系式
Figure BDA0003060568690000094
再将基于补丁的图像Y内中心像素落入此搜索窗口内的所有补丁构成的含噪图像补丁矩阵记为Zm,n，然后利用下式将每列元素减去其均值；
Figure BDA0003060568690000101
其中，
Figure BDA0003060568690000102
进行信噪分离，提取含噪数据的信号子空间的维度；将每个含噪图像补丁在对应的信号子空间上投影重建，利用图像补丁对准和重叠平均方法，得到消除噪声的纯净图像。
如图3所示，本发明实施例提供的基于采集的相应影像信息构建虚拟胸腔及心脏模型包括：
S201，获取采集影像信息中心脏超声图像数据集，对数据集进行特征点重标定处理，并分离心脏各个部位的数据集，针对每个数据集进行去除超声斑纹噪声处理；
S202，对相应的图像数据进行图像分割和边缘轮廓特征提取；
S203，采用PTAM算法进行心脏各部位的三维建模，并将构建的单个心脏部位模型进行合成处理，构建完整的心脏三维模型。
如图4所示，本发明实施例提供的图像分割包括：
S301，将多个样本图像与待分割图像进行非线性配准，得到多个样本图像的配准系数；基于配准系数变换样本图像的心脏的二值图，将变换后的二值图叠加，得到心脏的先验分布；基于马尔科夫链蒙特卡洛进行所述心脏的先验分布的空间采样，得到精密采样点；
S302，根据所述精密采样点从所述待分割图像中提取得到对应的子区域；对子区域内像素进行分类，输出子区域的分割结果；在待分割图像空间中，将子区域分割结果进行叠加，得到待分割图像中心脏的似然函数；
S303，设置该子区域在待分割图像空间中的示性函数，叠加示性函数，获得先验分布；结合所述待分割图像中心脏的先验分布和所述似然函数，得到心脏的后验分布，二值化所述后验分布得到最终分割结果。
本发明实施例提供的提取含噪数据的信号子空间的维度包括：
对构造矩阵提取信号子空间维度来选取K个特征向量，即：
K＝max({1≤p≤P|λp≥αp})
其中，K表示截取的信号子空间维度；λ＝Λ,λp和αp分别表示数据矩阵和人造随机数据矩阵的奇异值。
本发明实施例提供的采用PTAM算法进行心脏各部位的三维建模包括：
首先，对图像特征点进行检测；
其次，图像特征追踪Track模型：
Figure BDA0003060568690000111
其中，F(x)为加权目标函数，ξ为Track模型描述向量，e为投影误差；
再者，优化的集束调整算法：
Figure BDA0003060568690000112
其中，eij为在第i个与第j个关键帧间匹配特征点的投影误差，pi为所生成的三维特征点坐标；
然后，建立关键帧的图像特征点匹配关系，三维空间模型构建的Map过程：
Figure BDA0003060568690000113
其中，c为块搜索区域大小，I1与I1为待匹配块，M1，M分别为I1与I的像素均值；通过选取极线方向上与匹配点所对应块区域具有最小D值的特征点作为最佳匹配点，并通过三角测量原理建立三维空间模型。
如图5所示，本发明实施例提供的在三维病灶模型中进行病灶位置的标注包括：
S401，获取采集的影像信息中心脏以及胸腔的横断面图和冠状面图；
S402，将所述冠状面图输入训练好的第一卷积神经网络中，将所述横断面图输入训练好的第二卷积神经网络中，获得所述冠状面图和横断面图上肺叶关键点的位置；
S403，根据所述心胸关键点的位置建立第一三维坐标系，以确定病灶在第一三维坐标系中的位置，在已有的三维心胸模型中标注关键点，建立第二三维坐标系；
S404，将病灶在第一三维坐标系中的位置映射到第二三维坐标系，以在三维心胸模型中确定所述病灶的位置，并进行标注。
以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于虚拟现实的心胸外科手术辅助控制系统，其特征在于，所述基于虚拟现实的心胸外科手术辅助控制系统包括：
信息采集模块、传感模块、图像采集模块、中央控制模块、图像处理模块、三维模型构建模块、病灶信息提取模块、三维病灶模型构建模块、手术规划模块、定位模块、导航模块、手术监控模块、预警模块以及显示模块；
信息采集模块，与中央控制模块连接，用于利用扫描设备或其他输入设备采集患者的相应诊疗信息以及检测影像；
图像处理模块，与中央控制模块连接，用于对采集的相应视频图像进行处理；
所述对采集的相应视频图像进行处理包括：
用尺寸为
Figure FDA0003060568680000011
的块状将采集的尺寸为M×N的图像X转换成基于补丁表示的补丁图像Y，其尺寸为MN×P；
对图像X进行分块，每个图像子块记为Xm,n，其尺寸大小为
Figure FDA0003060568680000012
针对每个图像子块Xm,n，将给定的尺寸为
Figure FDA0003060568680000013
块状完全覆盖该图像子块，满足关系式
Figure FDA0003060568680000014
再将基于补丁的图像Y内中心像素落入此搜索窗口内的所有补丁构成的含噪图像补丁矩阵记为Zm,n，然后利用下式将每列元素减去其均值；
Figure FDA0003060568680000015
其中，
Figure FDA0003060568680000016
进行信噪分离，提取含噪数据的信号子空间的维度；将每个含噪图像补丁在对应的信号子空间上投影重建，利用图像补丁对准和重叠平均方法，得到消除噪声的纯净图像；
三维模型构建模块，与中央控制模块连接，用于基于采集的相应影像信息构建虚拟胸腔及心脏模型；
病灶信息提取模块，与中央控制模块连接，用于基于采集的相应信息进行病灶信息的提取；
三维病灶模型构建模块，与中央控制模块连接，用于基于提取的病灶信息获取病灶特征点并将其添加在构建的三维胸腔及心脏模型上，得到三维心胸病灶模型；
手术规划模块，与中央控制模块连接，用于基于采集的相应信息以及构建的三维心胸病灶模型确定手术规划；也可用于利用输入设备进行手术方案的输入；
定位模块，与中央控制模块连接，用于基于采集的相应信息以及图像结合病灶模型定位病灶位置；并在三维病灶模型中进行病灶位置的标注；
导航模块，与中央控制模块连接，用于基于病灶位置以及传感器采集的手术工具位置信息进行手术导航；
手术监控模块，与中央控制模块连接，用于基于采集的现场视频图像确定手术过程是否符合预先确定或输入的手术规划。
2.如权利要求1所述基于虚拟现实的心胸外科手术辅助控制系统，其特征在于，所述基于虚拟现实的心胸外科手术辅助控制系统还包括：
传感模块，与中央控制模块连接，用于利用位于医疗器具上的传感节点采集手术工具的位置以及姿态信息；
图像采集模块，与中央控制模块连接，用于利用摄像设备采集手术过程相应图像；
中央控制模块，与信息采集模块、传感模块、图像采集模块、图像处理模块、三维模型构建模块、病灶信息提取模块、三维病灶模型构建模块、手术规划模块、定位模块、导航模块、手术监控模块、预警模块以及显示模块；用于利用单片机或控制器控制各个模块正常工作；
预警模块，与中央控制模块连接，用于当手术工具偏离位置或手术过程偏离规划时进行预警；
显示模块，与中央控制模块连接，用于利用显示设备显示构建的病灶模型、定位的病灶位置以及导航路线、预警信息。
3.如权利要求1所述基于虚拟现实的心胸外科手术辅助控制系统，其特征在于，所述基于采集的相应影像信息构建虚拟胸腔及心脏模型包括：
(1)获取采集影像信息中心脏超声图像数据集，对数据集进行特征点重标定处理，并分离心脏各个部位的数据集，针对每个数据集进行去除超声斑纹噪声处理；
(2)对相应的图像数据进行图像分割和边缘轮廓特征提取；
(3)采用PTAM算法进行心脏各部位的三维建模，并将构建的单个心脏部位模型进行合成处理，构建完整的心脏三维模型。
4.如权利要求3所述基于虚拟现实的心胸外科手术辅助控制系统，其特征在于，所述图像分割包括：
1)将多个样本图像与待分割图像进行非线性配准，得到多个样本图像的配准系数；
2)基于配准系数变换样本图像的心脏的二值图，将变换后的二值图叠加，得到心脏的先验分布；
3)基于马尔科夫链蒙特卡洛进行所述心脏的先验分布的空间采样，得到精密采样点；
4)根据所述精密采样点从所述待分割图像中提取得到对应的子区域；对子区域内像素进行分类，输出子区域的分割结果；
5)在待分割图像空间中，将子区域分割结果进行叠加，得到待分割图像中心脏的似然函数；
6)设置该子区域在待分割图像空间中的示性函数，叠加示性函数，获得先验分布；
7)结合所述待分割图像中心脏的先验分布和所述似然函数，得到心脏的后验分布，二值化所述后验分布得到最终分割结果。
5.如权利要求4所述基于虚拟现实的心胸外科手术辅助控制系统，其特征在于，所述提取含噪数据的信号子空间的维度包括：
对构造矩阵提取信号子空间维度来选取K个特征向量，即：
K＝max({1≤p≤P|λp≥αp})
其中，K表示截取的信号子空间维度；λ＝Λ,λp和αp分别表示数据矩阵和人造随机数据矩阵的奇异值。
6.如权利要求1所述基于虚拟现实的心胸外科手术辅助控制系统，其特征在于，所述采用PTAM算法进行心脏各部位的三维建模包括：
首先，对图像特征点进行检测；
其次，图像特征追踪Track模型：
Figure FDA0003060568680000041
其中，F(x)为加权目标函数，ξ为Track模型描述向量，e为投影误差；
再者，优化的集束调整算法：
Figure FDA0003060568680000042
其中，eij为在第i个与第j个关键帧间匹配特征点的投影误差，pi为所生成的三维特征点坐标；
然后，建立关键帧的图像特征点匹配关系，三维空间模型构建的Map过程：
Figure FDA0003060568680000043
其中，c为块搜索区域大小，I1与I1为待匹配块，M1，M分别为I1与I的像素均值；通过选取极线方向上与匹配点所对应块区域具有最小D值的特征点作为最佳匹配点，并通过三角测量原理建立三维空间模型。
7.如权利要求1所述基于虚拟现实的心胸外科手术辅助控制系统，其特征在于，所述在三维病灶模型中进行病灶位置的标注包括：
(1)获取采集的影像信息中心脏以及胸腔的横断面图和冠状面图；
(2)将所述冠状面图输入训练好的第一卷积神经网络中，将所述横断面图输入训练好的第二卷积神经网络中，获得所述冠状面图和横断面图上肺叶关键点的位置；
(3)根据所述心胸关键点的位置建立第一三维坐标系，以确定病灶在第一三维坐标系中的位置，在已有的三维心胸模型中标注关键点，建立第二三维坐标系；
(4)将病灶在第一三维坐标系中的位置映射到第二三维坐标系，以在三维心胸模型中确定所述病灶的位置，并进行标注。
8.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求1-7任意一项所述基于虚拟现实的心胸外科手术辅助控制系统。
9.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以应用如权利要求1-7任意一项所述基于虚拟现实的心胸外科手术辅助控制系统。
10.一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机应用如权利要求1-7任意一项所述基于虚拟现实的心胸外科手术辅助控制系统。
CN202110511798.6A 2021-05-11 2021-05-11 一种基于虚拟现实的心胸外科手术辅助控制系统 Pending CN113274129A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110511798.6A CN113274129A (zh) 2021-05-11 2021-05-11 一种基于虚拟现实的心胸外科手术辅助控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110511798.6A CN113274129A (zh) 2021-05-11 2021-05-11 一种基于虚拟现实的心胸外科手术辅助控制系统

Publications (1)

Publication Number Publication Date
CN113274129A true CN113274129A (zh) 2021-08-20

Family

ID=77278606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110511798.6A Pending CN113274129A (zh) 2021-05-11 2021-05-11 一种基于虚拟现实的心胸外科手术辅助控制系统

Country Status (1)

Country Link
CN (1) CN113274129A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113729941A (zh) * 2021-09-23 2021-12-03 上海卓昕医疗科技有限公司 基于vr的手术辅助定位系统及其控制方法
CN114642502A (zh) * 2022-02-21 2022-06-21 北京工业大学 斜视手术方案的辅助设计方法及装置
CN115624383A (zh) * 2022-12-21 2023-01-20 湖南医科医工科技有限公司 一种手术部位三维建模系统
WO2023072144A1 (zh) * 2021-10-26 2023-05-04 暨南大学 心脏模型的模拟手术指导方法、装置、设备和存储介质
CN116759052A (zh) * 2023-06-20 2023-09-15 华平祥晟(上海)医疗科技有限公司 一种基于大数据的图像存储管理系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116873A (zh) * 2013-03-20 2013-05-22 中国科学院深圳先进技术研究院 图像降噪方法
CN106901834A (zh) * 2016-12-29 2017-06-30 陕西联邦义齿有限公司 微创心脏外科手术的术前规划及手术虚拟现实模拟方法
CN107296650A (zh) * 2017-06-01 2017-10-27 西安电子科技大学 基于虚拟现实和增强现实的智能手术辅助系统
CN107808377A (zh) * 2017-10-31 2018-03-16 北京青燕祥云科技有限公司 一种肺叶中病灶的定位方法及装置
CN109730768A (zh) * 2019-01-10 2019-05-10 黄德荣 一种基于虚拟现实的心胸外科手术辅助控制系统及方法
CN110807829A (zh) * 2019-11-05 2020-02-18 张东海 一种基于超声成像构建三维心脏模型的方法
CN110874843A (zh) * 2019-10-28 2020-03-10 深圳大学 一种器官图像分割方法和装置
CN111340937A (zh) * 2020-02-17 2020-06-26 四川大学华西医院 一种脑肿瘤医学影像三维重建显示交互方法及系统
CN111419398A (zh) * 2020-04-22 2020-07-17 蚌埠医学院第一附属医院（蚌埠医学院附属肿瘤医院） 一种基于虚拟现实的胸外科手术辅助控制系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116873A (zh) * 2013-03-20 2013-05-22 中国科学院深圳先进技术研究院 图像降噪方法
CN106901834A (zh) * 2016-12-29 2017-06-30 陕西联邦义齿有限公司 微创心脏外科手术的术前规划及手术虚拟现实模拟方法
CN107296650A (zh) * 2017-06-01 2017-10-27 西安电子科技大学 基于虚拟现实和增强现实的智能手术辅助系统
CN107808377A (zh) * 2017-10-31 2018-03-16 北京青燕祥云科技有限公司 一种肺叶中病灶的定位方法及装置
CN109730768A (zh) * 2019-01-10 2019-05-10 黄德荣 一种基于虚拟现实的心胸外科手术辅助控制系统及方法
CN110874843A (zh) * 2019-10-28 2020-03-10 深圳大学 一种器官图像分割方法和装置
CN110807829A (zh) * 2019-11-05 2020-02-18 张东海 一种基于超声成像构建三维心脏模型的方法
CN111340937A (zh) * 2020-02-17 2020-06-26 四川大学华西医院 一种脑肿瘤医学影像三维重建显示交互方法及系统
CN111419398A (zh) * 2020-04-22 2020-07-17 蚌埠医学院第一附属医院（蚌埠医学院附属肿瘤医院） 一种基于虚拟现实的胸外科手术辅助控制系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113729941A (zh) * 2021-09-23 2021-12-03 上海卓昕医疗科技有限公司 基于vr的手术辅助定位系统及其控制方法
CN113729941B (zh) * 2021-09-23 2024-01-30 上海卓昕医疗科技有限公司 基于vr的手术辅助定位系统及其控制方法
WO2023072144A1 (zh) * 2021-10-26 2023-05-04 暨南大学 心脏模型的模拟手术指导方法、装置、设备和存储介质
CN114642502A (zh) * 2022-02-21 2022-06-21 北京工业大学 斜视手术方案的辅助设计方法及装置
CN114642502B (zh) * 2022-02-21 2023-07-14 北京工业大学 斜视手术方案的辅助设计方法及装置
CN115624383A (zh) * 2022-12-21 2023-01-20 湖南医科医工科技有限公司 一种手术部位三维建模系统
CN116759052A (zh) * 2023-06-20 2023-09-15 华平祥晟(上海)医疗科技有限公司 一种基于大数据的图像存储管理系统及方法
CN116759052B (zh) * 2023-06-20 2024-04-05 华平祥晟(上海)医疗科技有限公司 一种基于大数据的图像存储管理系统及方法

Similar Documents

Publication Publication Date Title
CN113274129A (zh) 一种基于虚拟现实的心胸外科手术辅助控制系统
US11931141B2 (en) Hybrid registration method
US9687204B2 (en) Method and system for registration of ultrasound and physiological models to X-ray fluoroscopic images
CN110033465B (zh) 一种应用于双目内窥镜医学图像的实时三维重建方法
US9155470B2 (en) Method and system for model based fusion on pre-operative computed tomography and intra-operative fluoroscopy using transesophageal echocardiography
JP6509906B2 (ja) 医療機器の作動方法
CN107374729A (zh) 基于ar技术的手术导航系统及方法
CN104736085A (zh) 确定医疗器械在分支解剖结构中的位置
JPH09508994A (ja) 像形成装置及び方法
KR20120111871A (ko) 3차원적 모델을 이용한 신체 장기의 영상 생성 방법 및 장치
CN114119549A (zh) 一种多模态医学图像三维点云配准优化方法
US11847730B2 (en) Orientation detection in fluoroscopic images
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
Patias Medical imaging challenges photogrammetry
CN111445575A (zh) 威利斯环的图像重建方法、装置、电子设备、存储介质
Speidel et al. Recognition of risk situations based on endoscopic instrument tracking and knowledge based situation modeling
CN117958970A (zh) 一种基于ct与激光口扫的口腔手术实时导航方法
CN108804861B (zh) 一种具有真实力反馈的脊柱微创手术培训系统及方法
KR20160057024A (ko) 마커리스 ３차원 객체추적 장치 및 그 방법
CN113143459A (zh) 腹腔镜增强现实手术导航方法、装置及电子设备
CN116485850A (zh) 基于深度学习的手术导航影像的实时非刚性配准方法及系统
CN114283179A (zh) 基于超声图像的骨折远近端空间位姿实时获取与配准系统
Giannarou et al. Tissue deformation recovery with gaussian mixture model based structure from motion
CN111743628A (zh) 一种基于计算机视觉的自动穿刺机械臂路径规划的方法
Jin et al. 3D surface reconstruction and registration for image guided medialization laryngoplasty

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210820

RJ01 Rejection of invention patent application after publication