CN112331311B - 一种腹腔镜手术中视频与术前模型融合显示的方法及装置 - Google Patents
一种腹腔镜手术中视频与术前模型融合显示的方法及装置 Download PDFInfo
- Publication number
- CN112331311B CN112331311B CN202011228395.2A CN202011228395A CN112331311B CN 112331311 B CN112331311 B CN 112331311B CN 202011228395 A CN202011228395 A CN 202011228395A CN 112331311 B CN112331311 B CN 112331311B
- Authority
- CN
- China
- Prior art keywords
- organ
- preoperative
- video
- image
- point set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002357 laparoscopic surgery Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000004927 fusion Effects 0.000 title abstract description 7
- 210000000056 organ Anatomy 0.000 claims abstract description 152
- 238000003062 neural network model Methods 0.000 claims abstract description 49
- 239000011159 matrix material Substances 0.000 claims abstract description 35
- 230000009466 transformation Effects 0.000 claims abstract description 25
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 24
- 238000012360 testing method Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 7
- 238000002790 cross-validation Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 13
- 210000004185 liver Anatomy 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 210000000683 abdominal cavity Anatomy 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000002324 minimally invasive surgery Methods 0.000 description 2
- 238000012752 Hepatectomy Methods 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
Abstract
本发明公开了一种腹腔镜手术中视频与术前模型融合显示的方法及装置，该方法包括获取腹腔镜手术中视频，确定出器官的腹腔镜增强图像，将所述器官的腹腔镜增强图像输入到训练好的神经网络模型中，得到器官的边缘点集，将器官的边缘点集与所述器官的边缘点集信息库中的边缘点进行匹配，得到变换矩阵，根据变换矩阵，将器官的边缘点集对应的术前三维模型映射到腹腔镜手术中视频中进行显示。将通过神经网络模型提取的手术中器官的当前轮廓与手术前生成的边缘点集信息库中的轮廓逐一比对，找到相似度最大的轮廓，实现边缘点匹配得到变换矩阵，从而根据变换矩阵将三维模型附着到当前腹腔镜视频中进行显示，提高术前重建数据与术中视频图像的匹配精度。
Description
技术领域
本发明涉及医疗技术领域，尤其涉及一种腹腔镜手术中视频与术前模型融合显示的方法及装置。
背景技术
在过去的几十年里，微创手术(Minimally Invasive Surgery，MIS)因为具有切口小、痛苦小、恢复快、疤痕小等优点已经逐渐变得比开放手术更受欢迎，但因其视野小、操作空间小等特点，对外科医生的经验性提出了更大的挑战。基于增强现实技术(AugmentedReality，AR)的手术导航系统能够使医生同时对真实环境中的术中手术目标和术前病人影像序列中提取的三维模型进行观察，满足了医生对真实环境进行细致观察和通过术前知识引导手术的需求，该技术已经或多或少的成功引入微创手术的各个学科。
目前原发性肝癌的治疗方法仍以外科手术为主，然而最近几年腹腔镜肝切除手术的数量迅速增长。腹腔镜肝切除术属于微创手术的一种，手术中腹腔图像通过光纤传导并显示在专用显示屏上，医生通过显示屏上所显示的患病器官不同角度图像，操控手术器械进行手术。
腹腔镜手术的适应症虽然越来越广泛，接受程度也越来越高，快速成为当前手术的发展趋势，但是由于其特殊的手术方式，存在若干问题：1、其视野狭小，深度感知信息丢失，导致判断手术器械与器官相对深度关系困难。2、借助器械的间接手术操作使医生得不到直观的表面触感及力学反馈，对于用力判断以及组织力学特性难以判断，不能通过触觉感知肿瘤位置。近几年发展迅速的增强现实技术可以将基于术前医学影像重建的模型数据与术中腹腔镜视频图像进行融合显示，帮助医生更加精准度完成腹腔镜手术，有效解决上述列举问题。
但是目前的腹腔镜增强现实导航技术在进行腹腔镜图像特征提取时，主要是提取腹腔镜视野中可见的少量人工标定或通过视觉SLAM的方式重建视频中的稀疏点云，但是在具体实现过程中都无法准确的提取到特征，因此亟需解决腹腔镜图像的特征提取的问题。
发明内容
本发明实施例提供一种腹腔镜手术中视频与术前模型融合显示的方法及装置，用以提高器官的边缘轮廓的提取精度和边缘点的匹配精度，以帮助医生更加精准完成腹腔镜手术。
第一方面，本发明实施例提供一种腹腔镜手术中视频与术前模型融合显示的方法，包括：
获取腹腔镜手术中视频，确定出器官的腹腔镜增强图像；
将所述器官的腹腔镜增强图像输入到训练好的神经网络模型中，得到所述器官的边缘点集；所述训练好的神经网络模型是使用标注有器官边缘轮廓的腹腔镜视频图像对预设的神经网络模型进行训练学习得到的；
将所述器官的边缘点集与所述器官的边缘点集信息库中的边缘点进行匹配，得到变换矩阵；所述器官的边缘点集信息库是根据所述器官的术前三维影像得到的；
根据所述变换矩阵，将所述器官的边缘点集对应的术前三维模型映射到腹腔镜手术中视频中进行显示。
上述技术方案中，将通过神经网络模型提取的手术中器官的当前轮廓与手术前生成的边缘点集信息库中的轮廓进行逐一比对，找到相似度最大的轮廓，实现边缘点匹配得到变换矩阵，从而根据变换矩阵将三维模型附着到当前腹腔镜视频中进行显示，可以提高术前重建数据与术中视频图像的匹配精度，帮助医生更加精准完成腹腔镜手术，缩短手术干预时间，降低并发症的风险。同时可以减少医生在手术中的认知负荷，提高医生的注意力和效率。
可选的，所述获取腹腔镜手术中视频，确定出器官的腹腔镜增强图像，包括：
获取腹腔镜手术中的视频；
提取所述腹腔镜手术中的视频中所述器官的关键图像帧；
对所述关键图像帧进行图像增强处理，得到所述器官的腹腔镜增强图像。
可选的，所述根据所述器官的术前三维影像得到所述器官的边缘点集信息库，包括：
获取所述器官的术前三维影像；
分割所述器官的术前三维影像进行重建，得到所述器官的术前三维模型；
提取所述器官的术前三维模型，得到所述器官的边缘点集信息库。
可选的，所述提取所述器官的术前三维模型，得到所述器官的边缘点集信息库，包括：
按照预设变化幅度、圆的参数角度条件和旋转角度条件对所述术前三维模型进行变化，得到每次变化的旋转矩阵；
根据每次变化的旋转矩阵计算三维点云的投影像素；
对所述投影像素进行二值化处理，提取投影轮廓，得到所述器官的边缘点集信息库。
可选的，所述使用标注有器官边缘轮廓的腹腔镜视频图像对预设的神经网络模型进行训练学习得到所述训练好的神经网络模型，包括：
获取标注有器官边缘轮廓的腹腔镜视频图像；
将所述标注有器官边缘轮廓的腹腔镜视频图像分为训练集和测试集；
根据所述测试集和所述训练集使用K折交叉验证法对预设的神经网络模型进行训练，直到所述预设的神经网络模型收敛，得到所述训练好的神经网络模型。
第二方面，本发明实施例提供一种腹腔镜手术中视频与术前模型融合显示的装置，包括：
获取单元，用于获取腹腔镜手术中视频，确定出器官的腹腔镜增强图像；
处理单元，用于将所述器官的腹腔镜增强图像输入到训练好的神经网络模型中，得到所述器官的边缘点集；所述训练好的神经网络模型是使用标注有器官边缘轮廓的腹腔镜视频图像对预设的神经网络模型进行训练学习得到的；将所述器官的边缘点集与所述器官的边缘点集信息库中的边缘点进行匹配，得到变换矩阵；所述器官的边缘点集信息库是根据所述器官的术前三维影像得到的；根据所述变换矩阵，将所述器官的边缘点集对应的术前三维模型映射到腹腔镜手术中视频中进行显示。
可选的，所述获取单元具体用于：
获取腹腔镜手术中的视频；
提取所述腹腔镜手术中的视频中所述器官的关键图像帧；
对所述关键图像帧进行图像增强处理，得到所述器官的腹腔镜增强图像。
可选的，所述处理单元具体用于：
获取所述器官的术前三维影像；
分割所述器官的术前三维影像进行重建，得到所述器官的术前三维模型；
提取所述器官的术前三维模型，得到所述器官的边缘点集信息库。
可选的，所述处理单元具体用于：
按照预设变化幅度、圆的参数角度条件和旋转角度条件对所述术前三维模型进行变化，得到每次变化的旋转矩阵；
根据每次变化的旋转矩阵计算三维点云的投影像素；
对所述投影像素进行二值化处理，提取投影轮廓，得到所述器官的边缘点集信息库。
可选的，所述处理单元具体用于：
获取标注有器官边缘轮廓的腹腔镜视频图像；
将所述标注有器官边缘轮廓的腹腔镜视频图像分为训练集和测试集；
根据所述测试集和所述训练集使用K折交叉验证法对预设的神经网络模型进行训练，直到所述预设的神经网络模型收敛，得到所述训练好的神经网络模型。
第三方面，本发明实施例还提供一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述腹腔镜手术中视频与术前模型融合显示的方法。
第四方面，本发明实施例还提供一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述腹腔镜手术中视频与术前模型融合显示的方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种系统架构的示意图；
图2为本发明实施例提供的一种腹腔镜手术中视频与术前模型融合显示的方法的流程示意图；
图3为本发明实施例提供的一种图像增强的示意图；
图4为本发明实施例提供的一种术中器官边缘提取的示意图；
图5为本发明实施例提供的一种器官术前三维模型的示意图；
图6为本发明实施例提供的一种器官边缘轮廓的示意图；
图7为本发明实施例提供的一种腹腔镜手术中视频与术前模型融合显示的示意图；
图8为本发明实施例提供的一种腹腔镜手术中视频与术前模型融合显示的装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种系统架构。如图1所示，该系统架构可以为服务器100，该服务器100可以包括处理器110、通信接口120和存储器130。
其中，通信接口120用于与终端设备进行通信，收发该终端设备传输的信息，实现通信。
处理器110是服务器100的控制中心，利用各种接口和线路连接整个服务器100的各个部分，通过运行或执行存储在存储器130内的软件程序/或模块，以及调用存储在存储器130内的数据，执行服务器100的各种功能和处理数据。可选地，处理器110可以包括一个或多个处理单元。
存储器130可用于存储软件程序以及模块，处理器110通过运行存储在存储器130的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器130可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据业务处理所创建的数据等。此外，存储器130可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
需要说明的是，上述图1所示的结构仅是一种示例，本发明实施例对此不做限定。
基于上述描述，图2详细的示出了本发明实施例提供的一种腹腔镜手术中视频与术前模型融合显示的方法的流程，该流程可以由腹腔镜手术中视频与术前模型融合显示的方法的装置执行，该装置可以为上述服务器或位于上述服务器内。为了便于描述，在本发明实施例中，器官会以肝脏为例进行描述，但是本发明实施例也适用于其他器官。
如图2所示，该流程具体包括：
步骤201，获取腹腔镜手术中视频，确定出器官的腹腔镜增强图像。
在本发明实施例中，可以获取当前腹腔镜手术中的视频，然后提取腹腔镜手术中的视频中器官的关键图像帧，最后对关键图像帧进行图像增强处理，得到器官的腹腔镜增强图像。
由于腹腔镜视频图像具有光照差、光照不均、存在高光反射、视野中颜色相近、不同结构边界不清的特点，因此可以通过图像预处理流程对图像进行增强，具体可以对关键帧图像经过下述步骤处理：a.使用5*5高斯核去噪；b.采用BIMEF(Bio-Inspired Multi-Exposure Fusion，仿生多曝光融合)算法进行图像亮度和对比度增强；c.色彩图到灰度图转换，选择Rec709标准，给红色部分较少的权重，以此增加红色区域对比度；d.去高光，去除上高强度的失真像素。其中图像增强前后的对比可以如图3所示，图3中的左图为增强前的图像，右图为增强后的图像。
步骤202，将所述器官的腹腔镜增强图像输入到训练好的神经网络模型中，得到所述器官的边缘点集。
在本发明实施例中，该训练好的神经网络模型是使用标注有器官边缘轮廓的腹腔镜视频图像对预设的神经网络模型进行训练学习得到的，具体可以包括：获取标注有器官边缘轮廓的腹腔镜视频图像。将所述标注有器官边缘轮廓的腹腔镜视频图像分为训练集和测试集。根据所述测试集和所述训练集使用K折交叉验证法对预设的神经网络模型进行训练，直到所述预设的神经网络模型收敛，得到所述训练好的神经网络模型。
也就是说，为了更加精准的提取肝脏边缘，针对现有技术中腹腔镜图像中实现肝脏边缘提取方法准确度不够，难以满足临床应用需求的问题，本发明实施例提供了一种采用深度学习模型全自动实现腹腔镜视图下肝脏边缘精准提取的方法，因此，需要先训练神经网络模型，具体包括：a.数据集准备：基于腹腔镜视频图像，获取符合要求的图像帧，并基于所获得的图像进行人工标注，获取相应图像的标注轮廓；b.模型训练：将经过上一步骤增强后的图像和a中得到的标注图像，输入至深度神经网络模型中，然后将所得样本数据分成训练集和测试集，其中训练集用于神经网络模型的训练，测试集用于神经网络模型性能测试。为了提升模型性能的稳定性，选择K折交叉验证方法，进行模型的训练；推荐使用目前效果最好的分割模型U-net深度神经网络，但不局限于该网络模型。并且为了增加所得模型的泛化性，在训练过程中对训练数据进行了数据增强，包括对数据进行一定范围内的角度旋转，灰度拉升变化以及翻转操作。
将上述腹腔镜增强图像输入到上述训练好的神经网络模型之后，就可以提取当前视野下的器官的边缘点集，其中提取的边缘轮廓可以如图4所示，图4中左图为腹腔镜增强图像，右图为输入到神经网络模型之后提取的边缘轮廓。
步骤203，将所述器官的边缘点集与所述器官的边缘点集信息库中的边缘点进行匹配，得到变换矩阵。
上述边缘点集信息库是根据所述器官的术前三维影像得到的，因此，需要先获取所述器官的术前三维影像，然后分割所述器官的术前三维影像进行重建，得到所述器官的术前三维模型。最后提取所述器官的术前三维模型的轮廓线，得到所述器官的边缘点集信息库。其中，提取轮廓线时，可以按照预设变化幅度、圆的参数角度条件和旋转角度条件对所述术前三维模型进行变化，得到每次变化的旋转矩阵，根据每次变化的旋转矩阵计算三维点云的投影像素。对所述投影像素进行二值化处理，提取投影轮廓，得到所述器官的边缘点集信息库。上述术前三维影像可以为患者的CT影像。
例如，患者在术前做CT扫描，通过人工智能全卷积神经网络，可以自动分割CT扫描序列中的器官/组织，重建结果如图5所示。
为了降低复杂度，需要获取腹腔镜器械进入腹腔后的镜头偏移角度，三维模型初始角度与同步。由于腹腔镜视野下的肝脏视角为正面观，因此不需要全视角的投影轮廓。具体步骤如下：
a.假设圆的参数角度为alpa(0<＝alpa<＝180)，旋转角度为theta(0<＝theta<＝90，270<＝theta<＝360)，theta和alpa的变化幅度是1度，每次变化就会获得一个旋转矩阵；b.根据旋转矩阵，计算三维点云的投影像素；c.投影像素二值化；d.提取投影轮廓；e.循环执行前a-d步，直到alpa和theta不满足条件跳出，建立有效投影轮廓点集信息库，也就是边缘点集信息库。如图6所示，图6中左图为肝脏的术前三维模型，右图为肝脏边缘轮廓。
得到边缘点集信息库之后，就可以将术中提取的肝脏边缘点集与术前边缘库中的点集进行逐一匹配，找到相似度最高的轮廓。通过点集中边缘点的匹配可以寻找它们之间的对应关系的一个变换函数，通过变换可以将三维模型点集正确映射到当前视野中。
步骤204，根据所述变换矩阵，将所述器官的边缘点集对应的术前三维模型映射到腹腔镜手术中视频中进行显示。
根据变换矩阵，将术前三维模型融合到当前腹腔镜视频上显示，最终效果如图7所示。
在本发明实施例中，获取腹腔镜手术中视频，确定出器官的腹腔镜增强图像；将所述器官的腹腔镜增强图像输入到训练好的神经网络模型中，得到器官的边缘点集；训练好的神经网络模型是使用标注有器官边缘轮廓的腹腔镜视频图像对预设的神经网络模型进行训练学习得到的；将器官的边缘点集与所述器官的边缘点集信息库中的边缘点进行匹配，得到变换矩阵；器官的边缘点集信息库是根据所述器官的术前三维影像得到的；根据所述变换矩阵，将所述器官的边缘点集对应的术前三维模型映射到腹腔镜手术中视频中进行显示。将通过神经网络模型提取的手术中器官的当前轮廓与手术前生成的边缘点集信息库中的轮廓进行逐一比对，找到相似度最大的轮廓，实现边缘点匹配得到变换矩阵，从而根据变换矩阵将三维模型附着到当前腹腔镜视频中进行显示，可以提高术前重建数据与术中视频图像的匹配精度，帮助医生更加精准完成腹腔镜手术，缩短手术干预时间，降低并发症的风险。同时可以减少医生在手术中的认知负荷，提高医生的注意力和效率。
基于相同的技术构思，图8示例性的示出了本发明实施例提供的一种腹腔镜手术中视频与术前模型融合显示的装置的结构，该装置可以执行腹腔镜手术中器官图像显示的流程。
如图8所示，该装置具体包括：
获取单元801，用于获取腹腔镜手术中视频，确定出器官的腹腔镜增强图像；
处理单元802，用于将所述器官的腹腔镜增强图像输入到训练好的神经网络模型中，得到所述器官的边缘点集；所述训练好的神经网络模型是使用标注有器官边缘轮廓的腹腔镜视频图像对预设的神经网络模型进行训练学习得到的；将所述器官的边缘点集与所述器官的边缘点集信息库中的边缘点进行匹配，得到变换矩阵；所述器官的边缘点集信息库是根据所述器官的术前三维影像得到的；根据所述变换矩阵，将所述器官的边缘点集对应的术前三维模型映射到腹腔镜手术中视频中进行显示。
可选的，所述获取单元801具体用于：
获取腹腔镜手术中的视频；
提取所述腹腔镜手术中的视频中所述器官的关键图像帧；
对所述关键图像帧进行图像增强处理，得到所述器官的腹腔镜增强图像。
可选的，所述处理单元802具体用于：
获取所述器官的术前三维影像；
分割所述器官的术前三维影像进行重建，得到所述器官的术前三维模型；
提取所述器官的术前三维模型，得到所述器官的边缘点集信息库。
可选的，所述处理单元802具体用于：
按照预设变化幅度、圆的参数角度条件和旋转角度条件对所述术前三维模型进行变化，得到每次变化的旋转矩阵；
根据每次变化的旋转矩阵计算三维点云的投影像素；
对所述投影像素进行二值化处理，提取投影轮廓，得到所述器官的边缘点集信息库。
可选的，所述处理单元802具体用于：
获取标注有器官边缘轮廓的腹腔镜视频图像；
将所述标注有器官边缘轮廓的腹腔镜视频图像分为训练集和测试集；
根据所述测试集和所述训练集使用K折交叉验证法对预设的神经网络模型进行训练，直到所述预设的神经网络模型收敛，得到所述训练好的神经网络模型。
基于相同的技术构思，本发明实施例还提供了一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用存储器中存储的程序指令，按照获得的程序执行上述腹腔镜手术中器官图像显示的方法。
基于相同的技术构思，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行计算机可读指令时，使得计算机执行上述腹腔镜手术中器官图像显示的方法。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种腹腔镜手术中视频与术前模型融合显示的方法，其特征在于，包括：
获取腹腔镜手术中视频，确定出器官的腹腔镜增强图像；
将所述器官的腹腔镜增强图像输入到训练好的神经网络模型中，得到所述器官的边缘点集；所述训练好的神经网络模型是使用标注有器官边缘轮廓的腹腔镜视频图像对预设的神经网络模型进行训练学习得到的；
将所述器官的边缘点集与所述器官的边缘点集信息库中的边缘点进行匹配，得到变换矩阵；所述器官的边缘点集信息库是根据所述器官的术前三维影像得到的；
根据所述变换矩阵，将所述器官的边缘点集对应的术前三维模型映射到腹腔镜手术中视频中进行显示；
所述器官的边缘点集信息库是通过如下方式得到的：
获取所述器官的术前三维影像；
分割所述器官的术前三维影像进行重建，得到所述器官的术前三维模型；
提取所述器官的术前三维模型的轮廓线，得到所述器官的边缘点集信息库。
2.如权利要求1所述的方法，其特征在于，所述获取腹腔镜手术中视频，确定出器官的腹腔镜增强图像，包括：
获取腹腔镜手术中的视频；
提取所述腹腔镜手术中的视频中所述器官的关键图像帧；
对所述关键图像帧进行图像增强处理，得到所述器官的腹腔镜增强图像。
3.如权利要求1所述的方法，其特征在于，所述提取所述器官的术前三维模型的轮廓线，得到所述器官的边缘点集信息库，包括：
按照预设变化幅度、圆的参数角度条件和旋转角度条件对所述术前三维模型进行变化，得到每次变化的旋转矩阵；
根据每次变化的旋转矩阵计算三维点云的投影像素；
对所述投影像素进行二值化处理，提取投影轮廓，得到所述器官的边缘点集信息库。
4.如权利要求1至3任一项所述的方法，其特征在于，所述使用标注有器官边缘轮廓的腹腔镜视频图像对预设的神经网络模型进行训练学习得到所述训练好的神经网络模型，包括：
获取标注有器官边缘轮廓的腹腔镜视频图像；
将所述标注有器官边缘轮廓的腹腔镜视频图像分为训练集和测试集；
根据所述测试集和所述训练集使用K折交叉验证法对预设的神经网络模型进行训练，直到所述预设的神经网络模型收敛，得到所述训练好的神经网络模型。
5.一种腹腔镜手术中视频与术前模型融合显示的装置，其特征在于，包括：
获取单元，用于获取腹腔镜手术中视频，确定出器官的腹腔镜增强图像；
处理单元，用于将所述器官的腹腔镜增强图像输入到训练好的神经网络模型中，得到所述器官的边缘点集；所述训练好的神经网络模型是使用标注有器官边缘轮廓的腹腔镜视频图像对预设的神经网络模型进行训练学习得到的；将所述器官的边缘点集与所述器官的边缘点集信息库中的边缘点进行匹配，得到变换矩阵；所述器官的边缘点集信息库是根据所述器官的术前三维影像得到的；根据所述变换矩阵，将所述器官的边缘点集对应的术前三维模型映射到腹腔镜手术中视频中进行显示；
所述处理单元具体用于：
获取所述器官的术前三维影像；
分割所述器官的术前三维影像进行重建，得到所述器官的术前三维模型；
提取所述器官的术前三维模型，得到所述器官的边缘点集信息库。
6.如权利要求5所述的装置，其特征在于，所述获取单元具体用于：
获取腹腔镜手术中的视频；
提取所述腹腔镜手术中的视频中所述器官的关键图像帧；
对所述关键图像帧进行图像增强处理，得到所述器官的腹腔镜增强图像。
7.一种计算设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至4任一项所述的方法。
8.一种计算机可读非易失性存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如权利要求1至4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011228395.2A CN112331311B (zh) | 2020-11-06 | 2020-11-06 | 一种腹腔镜手术中视频与术前模型融合显示的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011228395.2A CN112331311B (zh) | 2020-11-06 | 2020-11-06 | 一种腹腔镜手术中视频与术前模型融合显示的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112331311A CN112331311A (zh) | 2021-02-05 |
| CN112331311B true CN112331311B (zh) | 2022-06-03 |
Family
ID=74316769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011228395.2A Active CN112331311B (zh) | 2020-11-06 | 2020-11-06 | 一种腹腔镜手术中视频与术前模型融合显示的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112331311B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113902983B (zh) * | 2021-12-06 | 2022-03-25 | 南方医科大学南方医院 | 基于目标检测模型的腹腔镜手术组织器官识别方法及装置 |
| CN116681717B (zh) * | 2023-08-04 | 2023-11-28 | 经智信息科技(山东)有限公司 | 一种ct图像的分割处理方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102999902A (zh) * | 2012-11-13 | 2013-03-27 | 上海交通大学医学院附属瑞金医院 | 基于ct配准结果的光学导航定位系统及其导航方法 |
| CN107667380A (zh) * | 2015-06-05 | 2018-02-06 | 西门子公司 | 用于内窥镜和腹腔镜导航的同时场景解析和模型融合的方法和系统 |
| CN108836479A (zh) * | 2018-05-16 | 2018-11-20 | 山东大学 | 一种医学图像配准方法和手术导航系统 |
| CN109350239A (zh) * | 2018-08-29 | 2019-02-19 | 合肥德易电子有限公司 | 具有目标定位功能的智能一体化机器人腔镜系统 |
| CN109934841A (zh) * | 2019-03-27 | 2019-06-25 | 上海宽带技术及应用工程研究中心 | 肝部轮廓的检测方法、系统、存储介质、终端及显示系统 |
| CN110751681A (zh) * | 2019-10-18 | 2020-02-04 | 西南科技大学 | 一种增强现实的配准方法、装置、设备及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8078255B2 (en) * | 2006-03-29 | 2011-12-13 | University Of Georgia Research Foundation, Inc. | Virtual surgical systems and methods |
| CN102436584B (zh) * | 2011-11-04 | 2013-09-25 | 西安电子科技大学 | 基于字典学习的胃部ct图像感兴趣区域检测系统 |
| CN110522516B (zh) * | 2019-09-23 | 2021-02-02 | 杭州师范大学 | 一种用于手术导航的多层次交互可视化方法 |
-
2020
- 2020-11-06 CN CN202011228395.2A patent/CN112331311B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102999902A (zh) * | 2012-11-13 | 2013-03-27 | 上海交通大学医学院附属瑞金医院 | 基于ct配准结果的光学导航定位系统及其导航方法 |
| CN107667380A (zh) * | 2015-06-05 | 2018-02-06 | 西门子公司 | 用于内窥镜和腹腔镜导航的同时场景解析和模型融合的方法和系统 |
| CN108836479A (zh) * | 2018-05-16 | 2018-11-20 | 山东大学 | 一种医学图像配准方法和手术导航系统 |
| CN109350239A (zh) * | 2018-08-29 | 2019-02-19 | 合肥德易电子有限公司 | 具有目标定位功能的智能一体化机器人腔镜系统 |
| CN109934841A (zh) * | 2019-03-27 | 2019-06-25 | 上海宽带技术及应用工程研究中心 | 肝部轮廓的检测方法、系统、存储介质、终端及显示系统 |
| CN110751681A (zh) * | 2019-10-18 | 2020-02-04 | 西南科技大学 | 一种增强现实的配准方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112331311A (zh) | 2021-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9646423B1 (en) | Systems and methods for providing augmented reality in minimally invasive surgery | |
| CN110010249B (zh) | 基于视频叠加的增强现实手术导航方法、系统及电子设备 | |
| US20180174311A1 (en) | Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation | |
| CN111772792A (zh) | 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质 | |
| US10022199B2 (en) | Registration correction based on shift detection in image data | |
| KR20210051141A (ko) | 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램 | |
| EP3289562A1 (en) | Method and system for semantic segmentation in laparoscopic and endoscopic 2d/2.5d image data | |
| CN112331311B (zh) | 一种腹腔镜手术中视频与术前模型融合显示的方法及装置 | |
| US9830737B2 (en) | Virtual endoscopic image generation device, method, and medium containing program | |
| US9808145B2 (en) | Virtual endoscopic image generation device, method, and medium containing program | |
| KR102433473B1 (ko) | 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램 | |
| CN112734776A (zh) | 一种微创手术器械定位方法和系统 | |
| CN113197665A (zh) | 一种基于虚拟现实的微创外科手术模拟方法、系统 | |
| US20190019433A1 (en) | Method and system for a preoperative surgical intervention simulation | |
| KR101988531B1 (ko) | 증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법 | |
| EP4135615A1 (en) | Systems and methods for enhancing medical images | |
| WO2021081771A1 (zh) | 基于vrds ai医学影像的心脏冠脉的分析方法和相关装置 | |
| CN114334096A (zh) | 基于医学影像的术中辅助显示方法、装置及存储介质 | |
| CN114723893A (zh) | 一种基于医疗影像的器官组织空间关系渲染方法及系统 | |
| CN111127443B (zh) | 一种基于ptam的内腔图像特征点检测方法 | |
| US20220296303A1 (en) | Systems and methods for registering imaging data from different imaging modalities based on subsurface image scanning | |
| Shrestha et al. | A novel enhanced energy function using augmented reality for a bowel: modified region and weighted factor | |
| Inácio et al. | Augmented Reality in Surgery: A New Approach to Enhance the Surgeon's Experience | |
| Sadda | Methods For The Visualization Of Placental Vasculature In Fetoscopic Surgery | |
| Cotin et al. | Augmented Reality for Computer-Guided Interventions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |