CN116421311A - 基于术前术中三维网格融合的术中危险区域生成系统 - Google Patents

基于术前术中三维网格融合的术中危险区域生成系统 Download PDF

Info

Publication number
CN116421311A
CN116421311A CN202310419472.XA CN202310419472A CN116421311A CN 116421311 A CN116421311 A CN 116421311A CN 202310419472 A CN202310419472 A CN 202310419472A CN 116421311 A CN116421311 A CN 116421311A
Authority
CN
China
Prior art keywords
preoperative
dimensional grid
grid model
intraoperative
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310419472.XA
Other languages
English (en)
Inventor
李霄剑
郑杰禹
杨善林
莫杭杰
李玲
欧阳波
唐华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202310419472.XA priority Critical patent/CN116421311A/zh
Publication of CN116421311A publication Critical patent/CN116421311A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于术前术中三维网格融合的术中危险区域生成系统，涉及微创手术技术领域。本发明结合深度估计和多模配准融合算法，可以让医生根据自己的需要灵活选择特定的人体组织，并设置危险距离，获取危险区域并实时显示给医生，提高手术的精准度和安全性。由于该方法在实际操作前，根据需要提示手术操作的危险区域，可以帮助医生提前规划手术路径，大大提高了手术效率。此外，引入的基于双目内窥镜的在线自监督学习深度估计方法，其所使用的双目深度估计网络具有快速过学习的能力，能够利用自监督信息不断适应新场景，进而确保术中三维网格模型的精度。

Description

基于术前术中三维网格融合的术中危险区域生成系统
技术领域
本发明涉及微创手术技术领域，具体涉及一种基于术前术中三维网格融合的术中危险区域生成系统。
背景技术
相比于传统开放性手术，微创手术(如内腔镜手术)具有创口小、流血少、恢复速度快等优点，逐渐被广泛采用。
设置术中危险区域是保障手术安全的重要措施。例如，中国专利CN115624382A公开了一种肾盂镜的钬激光位置预警系统、方法、装置及介质，其将危险区域定义为钬激光距离肾盂镜的镜头的距离，通过设置辅助标尺图标及警报，避免钬激光距离肾盂镜的镜头太近或太远，可以避免钬激光对镜头或人体造成损伤，进一步提高手术的安全性。
然而，基于器械、组织之间位置关系的危险区域标识主要针对医生的操作行为，这类技术无法在医生操作前进行标识，提前规划手术路径。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于术前术中三维网格融合的术中危险区域生成系统，解决了无法在医生操作前进行标识，提前规划手术路径的技术问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
一种基于术前术中三维网格融合的术中危险区域生成系统，其特征在于，包括：
配准模块，用于将术前三维网格模型和术中三维网格模型进行配准，获取所述术前三维网格模型配准后的所有顶点坐标；
其中，所述术前三维网格模型带有组织语义信息；
根据指定的双目内窥镜图像帧的深度值，获取所述术中三维网格模型；
接收模块，用于接收医生在配准后的术前三维网格模型的感兴趣区域上标注的待规避区域，以及设置的危险距离；
生成模块，用于根据所述待规避区域对应的三维网格模型，结合所述危险距离，生成并显示术中危险区域对应的三维网格模型。
优选的，所述配准模块包括：
第一建模单元，用于获取带有组织语义信息的术前三维网格模型；
第二建模单元，用于根据指定的双目内窥镜图像帧的深度值，获取术中三维网格模型；
特征提取单元，用于根据所述术前三维网格模型和术中三维网格模型，分别获取对应的多层级特征；
重叠预测单元，用于根据所述多层级特征，获取所述术前三维网格模型和术中三维网格模型的重叠区域，并获取所述术前三维网格模型处于重叠区域内顶点的位姿变换关系；
全局融合单元，用于根据所述术前三维网格模型处于重叠区域内顶点的坐标和位姿变换关系、以及非重叠区域内顶点的坐标，获取所述术前三维网格模型配准后的所有顶点坐标；
信息显示单元，用于根据所述术前三维网格模型配准后的所有顶点坐标，在所述术中三维网格模型中显示术前三维网格模型的内部组织信息。
优选的，所述特征提取单元采用切比雪夫谱图卷积提取所述术前三维网格模型和术中三维网格模型的多层级特征：
Figure BDA0004186220210000021
Figure BDA0004186220210000022
其中，定义术前三维网格模型Mpre＝(Vpre,Epre)，Vpre表示术前三维网格模型的顶点的空间坐标，Epre表示术前三维网格模型的顶点之间的边；术中三维网格模型Min＝(Vin,Ein)，Vin表示术前三维网格模型的顶点的空间坐标，Ein表示术中三维网格模型的顶点之间的边；
Figure BDA0004186220210000031
和/>
Figure BDA0004186220210000032
分别表示术前组织模型的第n+1层和第n层的下采样尺度特征，初始化/>
Figure BDA0004186220210000033
为Vpre；/>
Figure BDA0004186220210000034
和/>
Figure BDA0004186220210000035
分别表示术中组织模型的第n+1层和第n层特征，初始化/>
Figure BDA0004186220210000036
为Vin；
Figure BDA0004186220210000037
分别由各自顶点与其B环邻域计算出的b阶切比雪夫多项式，/>
Figure BDA0004186220210000038
分别是由边Ein,Epre计算的缩放拉普拉斯矩阵，/>
Figure BDA0004186220210000039
是神经网络的学习参数；
和/或所述重叠预测单元具体用于：
采用注意力机制获取所述术前三维网格模型和术中三维网格模型的重叠区域，包括：
Figure BDA00041862202100000310
Figure BDA00041862202100000311
其中，Opre表示术前三维网格模型Mpre重叠区域的掩码；Oin表示术中三维网格模型Min重叠区域的掩码；cross和self分别表示self-attention和cross-attention操作；
Figure BDA00041862202100000312
和/>
Figure BDA00041862202100000313
分别表示术前三维网格模型和术中三维网格模型的顶点的第m级下采样尺度特征；
根据掩码Opre和Oin，获取各自处于重叠区域内的顶点
Figure BDA00041862202100000314
及其特征
Figure BDA00041862202100000315
并使用多层感知机MLP计算术前三维网格模型Mpre中的顶点/>
Figure BDA00041862202100000316
的对应点：
Figure BDA00041862202100000317
其中，
Figure BDA00041862202100000318
是术中三维网格模型Min中的顶点，对应于术前三维网格模型Mpre中的顶点/>
Figure BDA00041862202100000319
Figure BDA00041862202100000320
表示余弦相似度计算，/>
Figure BDA00041862202100000321
表示对术中三维网格模型处于重叠区域内的顶点进行位置编码操作；
采用最近邻搜索KNN建立顶点
Figure BDA0004186220210000041
的局部邻域，采用奇异值分解SVD求解旋转矩阵，公式如下：
Figure BDA0004186220210000042
其中，
Figure BDA0004186220210000043
表示顶点/>
Figure BDA0004186220210000044
的旋转矩阵；/>
Figure BDA0004186220210000045
表示使用KNN算法构建属于顶点
Figure BDA0004186220210000046
的一个局部邻域；/>
Figure BDA0004186220210000047
是术前三维网格模型的顶点/>
Figure BDA0004186220210000048
的邻域点，/>
Figure BDA0004186220210000049
是对应于邻域点/>
Figure BDA00041862202100000410
的术中三维网格模型的顶点；
采用旋转矩阵
Figure BDA00041862202100000411
改变点云坐标得到/>
Figure BDA00041862202100000412
采用MLP预测顶点/>
Figure BDA00041862202100000413
的位移向量，公式如下：
Figure BDA00041862202100000414
其中，
Figure BDA00041862202100000415
表术前三维网格模型处于重叠区域的顶点的位移向量，并与旋转矩阵
Figure BDA00041862202100000416
构成所述位姿变换关系；
和/或所述全局融合单元具体用于：
采用MLP回归术前三维网格模型的所有顶点的旋转矩阵和位移向量：
Figure BDA00041862202100000417
其中，Rpre,tpre分别表示术前三维网格模型的所有顶点的旋转矩阵和位移向量；
Figure BDA00041862202100000418
表示根据处于重叠区域内的顶点/>
Figure BDA00041862202100000419
与术前三维网格模型的所有顶点vpre的距离计算的权重；
Figure BDA00041862202100000420
其中，
Figure BDA00041862202100000421
表示所述术前三维网格模型配准后的所有顶点坐标。
优选的，在所述术中危险区域生成系统的训练阶段，基于真实数据生成训练集：
根据指定的双目内窥镜图像帧与术前三维网格模型之间的特征点对，基于特征点采用非刚性算法配准术前三维网格模型和术中三维网格模型，对于任一特征点有：
Figure BDA00041862202100000422
其中，Non_rigid_ICP表示非刚性配准算法ICP，
Figure BDA00041862202100000423
表示术前三维网格模型的第a个用于非刚性配准的特征点，/>
Figure BDA00041862202100000424
对应/>
Figure BDA0004186220210000051
的术中三维网格模型的特征点，TG为术前三维网格模型的整体转移矩阵，Tl,a是属于特征点vpre,a的局部形变转移矩阵；
采用四元素插值求得术前三维网格模型中所有顶点的局部形变转移矩阵Tl，通过变换关系求得术前三维网格模型中的顶点vpre配准后的坐标标签
Figure BDA0004186220210000052
优选的，在所述术中危险区域生成系统的训练阶段，构建如下有监督损失函数：
Figure BDA0004186220210000053
其中，Losss表示训练阶段的有监督损失函数；
βs、γs分别表示有监督损失项系数；
N1表示术前三维网格模型Mpre的顶点个数；
Figure BDA0004186220210000054
表示基于人工标注数据集的l2真值损失，/>
Figure BDA0004186220210000055
表示术前三维网格模型配准后的所有顶点坐标；
Ic+Ic+IIIc表示柯西格林不变量，用于约束体内组织形变的程度，Ic约束表面两点间弧线距离长度不变，IIc约束组织表面积不变，IIIc约束组织体积不变。
优选的，所述配准模块还包括：
精度微调单元，用于引入无监督损失微调网络，辅助所述全局融合单元获取所述术前三维网格模型配准后的所有顶点坐标；
和/或所述无监督损失微调网络在应用过程中，构建如下无监督损失函数：
Figure BDA0004186220210000056
其中，Lossu表示无监督损失函数；
βu,γu分别表示无监督损失项系数，
Figure BDA0004186220210000061
和/>
Figure BDA0004186220210000062
均为无监督训练时术前三维网格模型配准后的顶点坐标，/>
Figure BDA0004186220210000063
表示在术中三维网格模型中距离配准后术前三维网格模型的顶点/>
Figure BDA0004186220210000064
的最近点，/>
Figure BDA0004186220210000065
Figure BDA0004186220210000066
表示顶点/>
Figure BDA0004186220210000067
和/>
Figure BDA0004186220210000068
的欧式距离，
Figure BDA0004186220210000069
表示在配准后的术前三维网格模型中距离术中三维网格模型的顶点/>
Figure BDA00041862202100000610
的最近点，/>
Figure BDA00041862202100000611
表示顶点vin,和顶点/>
Figure BDA00041862202100000612
的欧式距离；
N1表示术前三维网格模型Mpre的顶点个数，N2表示术中三维网格模型Min的顶点个数；
Figure BDA00041862202100000613
表示无监督训练时的柯西格林不变量，/>
Figure BDA00041862202100000614
约束表面两点间弧线距离长度不变，/>
Figure BDA00041862202100000615
约束组织表面积不变，/>
Figure BDA00041862202100000616
约束组织体积不变。
优选的，所述生成模块包括：
估计单元，用于根据所述待规避区域对应的三维网格模型的表面顶点，采用等法线估计方法获取每个表面顶点的法向量并归一化；
扩张单元，根据各个所述表面顶点的空间坐标及其归一化的法向量，结合所述危险距离，扩张获取所述危险区域对应的组织网络模型的表面顶点；
vdanger＝evade×Normalevade+evade
其中，vdanger表示危险区域对应的组织网络模型的表面顶点；devade表示危险距离；Normalevade表示待规避区域对应的三维网格模型的表面顶点vevade对应的归一化的法向量；
连接单元，根据所述术前三维网格模型的各个表面顶点之间的连接关系，连接所述危险区域对应的组织网络模型的各个表面顶点，生成并显示所述术中危险区域对应的三维网格模型。
优选的，所述第二建模单元采用基于双目内窥镜的在线自监督学习深度估计方法，获取所述指定的双目内窥镜图像帧的深度值；所述在线自监督学习深度估计方法所使用的双目深度估计网络具有快速过学习的能力，能够利用自监督信息不断适应新场景；
在实时重建模式下，所述第二建模单元具体用于对连续影像视频帧进行过拟合，获取指定的双目内窥镜图像帧的深度值，包括：
提取子单元，用于获取双目内窥镜影像，采用当前双目深度估计网络的编码器网络提取当前帧图像的多尺度特征；
融合子单元，用于采用当前双目深度估计网络的解码器网络，对多尺度特征进行融合，获取当前帧图像中每个像素点的视差；
转化子单元，用于根据相机内外参数，将视差转化为深度并作为当前帧图像的结果输出；
第一估计子单元，用于在不引入外部真值的条件下，利用自监督损失更新当前双目深度估计网络的参数，用于下一帧图像的深度估计。
优选的，在精准测量模式下，所述第二建模单元具体用于对关键影像视频帧进行过拟合，包括：
第二估计子单元，在不引入外部真值的条件下，根据指定的双目内窥镜图像帧的上一帧图像在实时重建模式中获取的双目深度估计网络，利用该指定的双目内窥镜图像帧对应的自监督损失更新前述双目深度估计网络的参数直至收敛，并将收敛后的双目深度估计网络用于对所述指定的双目内窥镜图像帧的精准深度估计，获取所述指定的双目内窥镜图像帧的深度值。
(三)有益效果
本发明提供了一种基于术前术中三维网格融合的术中危险区域生成系统。与现有技术相比，具备以下有益效果：
本发明结合深度估计和多模配准融合算法，可以让医生根据自己的需要灵活选择特定的人体组织，并设置危险距离，获取危险区域并实时显示给医生，提高手术的精准度和安全性。由于该方法在实际操作前，根据需要提示手术操作的危险区域，可以帮助医生提前规划手术路径，大大提高了手术效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于术前术中三维网格融合的术中危险区域生成系统的结构框图；
图2为本发明实施例提供的一种基于双目内窥镜的在线自监督学习深度估计方法的技术框架示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种基于术前术中三维网格融合的术中危险区域生成系统，解决了无法在医生操作前进行标识，提前规划手术路径的技术问题。
本申请实施例中的技术方案为解决上述技术问题，总体思路如下：
本发明实施例主要应用但不局限于手术内窥镜场景例如腹腔镜手术场景。具体的，所提供的基于术前术中三维网格融合的术中危险区域生成系统包括配准模块、接收模块和生成模块。其中：
配准模块，用于将术前三维网格模型和术中三维网格模型进行配准，获取所述术前三维网格模型配准后的所有顶点坐标；接收模块，用于接收医生在配准后的术前三维网格模型的感兴趣区域上标注的待规避区域，以及设置的危险距离；生成模块，用于根据所述待规避区域对应的三维网格模型，结合所述危险距离，生成并显示术中危险区域对应的三维网格模型。
通过在术中重建和多模融合的基础上，根据医生的操作需要，通过待规避区域对应的三维网格模型的表面顶点的法向量，膨胀待规避区域的组织边界，生成目标的术中危险区域，辅助医生进行手术操作，有效提高手术安全性。
此外，可以根据指定的双目内窥镜图像帧的深度值，获取术中三维网格模型。具体可以采用基于双目内窥镜的在线自监督学习深度估计方法，获取所述指定的双目内窥镜图像帧的深度值；所述在线自监督学习深度估计方法所使用的双目深度估计网络具有快速过学习的能力，能够利用自监督信息不断适应新场景。并且在线自监督学习深度估计方法还提供实时重建模式和精准测量模式两种模式，用于确定指定的双目内窥镜图像帧的深度值。
双模式切换的深度估计，既可以提供术中解剖结构的实时点云，辅助医生直观理解术中三维结构，还可以基于单帧过拟合实现医生指定的双目内窥镜图像帧的高精度重构，为后续处理提供基础，使得在应用中兼顾速度与精度。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例：
如图1所示，本发明实施例提供的一种基于术前术中三维网格融合的术中危险区域生成系统，包括：
配准模块，用于将术前三维网格模型和术中三维网格模型进行配准，获取所述术前三维网格模型配准后的所有顶点坐标；
其中，所述术前三维网格模型带有组织语义信息；
根据指定的双目内窥镜图像帧的深度值，获取所述术中三维网格模型；
接收模块，用于接收医生在配准后的术前三维网格模型的感兴趣区域上标注的待规避区域，以及设置的危险距离；
生成模块，用于根据所述待规避区域对应的三维网格模型，结合所述危险距离，生成并显示术中危险区域对应的三维网格模型。
本发明实施例结合深度估计和多模配准融合算法，可以让医生根据自己的需要灵活选择特定的人体组织，并设置危险距离，获取危险区域并实时显示给医生，提高手术的精准度和安全性。由于该方法在实际操作前，根据需要提示手术操作的危险区域，可以帮助医生提前规划手术路径，大大提高了手术效率。
接下来将详细介绍上述技术方案的各个组成模块：
对于配准模块，其用于将术前三维网格模型和术中三维网格模型进行配准，获取所述术前三维网格模型配准后的所有顶点坐标；其中，所述术前三维网格模型带有组织语义信息；根据指定的双目内窥镜图像帧的深度值，获取所述术中三维网格模型。
所述配准模块包括第一建模单元、第二建模单元、特征提取单元、重叠预测单元、全局融合单元和精度微调单元。具体的：
对于第一建模单元，其用于获取带有组织语义信息的术前三维网格模型。
示例性的，本单元采用3D Slicer等软件重建CT/MRI组织，获得三维网格模型，然后使用DeepLab等深度学习算法或手动分割划分血管、肝脏等组织，最终形成带有组织语义信息的术前三维网格模型Mpre＝(Vpre,Epre)，其中Vpre表示模型的顶点空间坐标，Epre表示顶点之间的边。
对于第二建模单元，用于根据指定的双目内窥镜图像帧的深度值，获取术中三维网格模型。
示例性的，本单元采用一种基于双目内窥镜的在线自监督学习深度估计(具体参见后文)估计像素点的深度值D；并通过针孔相机模型计算像素点在相机坐标系下的空间坐标，其公式为
Figure BDA0004186220210000111
Figure BDA0004186220210000112
z＝D
其中，D为像素点的深度估计值；x、y、z分别表示相机坐标系下的x坐标、y坐标、z坐标；
cx,cy,fx,fy为双目内窥镜中左目或者右目内窥镜与相机内参矩阵
Figure BDA0004186220210000113
中对应的参数，将图片转换成点云Vin＝{vin,a|a＝1,2,…N1}，其中vin,a表示第a个像素点的空间坐标；
最后使用Delaunay三角剖分生成点云Vin的邻接边Ein，最终形成术中三维网格模型Min＝(Vin,Ein)。
对于特征提取单元，其用于根据所述术前三维网格模型和术中三维网格模型，分别获取对应的多层级特征。
具体的，所述特征提取单元采用切比雪夫谱图卷积提取所述术前三维网格模型和术中三维网格模型的多层级特征：
Figure BDA0004186220210000114
Figure BDA0004186220210000115
其中，定义术前三维网格模型Mpre＝(Vpre,Epre)，Vpre表示术前三维网格模型的顶点的空间坐标，Epre表示术前三维网格模型的顶点之间的边；术中三维网格模型Min＝(Vin,Ein)，Vin表示术前三维网格模型的顶点的空间坐标，Ein表示术中三维网格模型的顶点之间的边；
Figure BDA0004186220210000116
和/>
Figure BDA0004186220210000117
分别表示术前组织模型的第n+1层和第n层的下采样尺度特征，初始化/>
Figure BDA0004186220210000118
为Vpre；/>
Figure BDA0004186220210000119
和/>
Figure BDA00041862202100001110
分别表示术中组织模型的第n+1层和第n层特征，初始化/>
Figure BDA00041862202100001111
为Vin；
Figure BDA0004186220210000121
分别由各自顶点与其B环邻域计算出的b阶切比雪夫多项式，/>
Figure BDA0004186220210000122
分别是由边Ein,Epre计算的缩放拉普拉斯矩阵，/>
Figure BDA0004186220210000123
是神经网络的学习参数。
对于重叠预测单元，其用于根据所述多层级特征，获取所述术前三维网格模型和术中三维网格模型的重叠区域，并获取所述术前三维网格模型处于重叠区域内顶点的位姿变换关系。
具体的，所述重叠预测单元用于：
采用注意力机制获取所述术前三维网格模型和术中三维网格模型的重叠区域，包括：
Figure BDA0004186220210000124
Figure BDA0004186220210000125
其中，Opre表示术前三维网格模型Mpre重叠区域的掩码；Oin表示术中三维网格模型Min重叠区域的掩码；cross和self分别表示self-attention和cross-attention操作；
Figure BDA0004186220210000126
和/>
Figure BDA0004186220210000127
分别表示术前三维网格模型和术中三维网格模型的顶点的第m级下采样尺度特征；
根据掩码Opre和Oin，获取各自处于重叠区域内的顶点
Figure BDA0004186220210000128
及其特征
Figure BDA0004186220210000129
并使用多层感知机MLP计算术前三维网格模型Mpre中的顶点/>
Figure BDA00041862202100001210
的对应点：
Figure BDA00041862202100001211
其中，
Figure BDA00041862202100001212
是术中三维网格模型Min中的顶点，对应于术前三维网格模型Mpre中的顶点/>
Figure BDA00041862202100001213
Figure BDA00041862202100001214
表示余弦相似度计算，/>
Figure BDA00041862202100001215
表示对术中三维网格模型处于重叠区域内的顶点进行位置编码操作；
采用最近邻搜索KNN建立顶点
Figure BDA00041862202100001216
的局部邻域，采用奇异值分解SVD求解旋转矩阵，公式如下：
Figure BDA00041862202100001217
其中，
Figure BDA0004186220210000131
表示顶点/>
Figure BDA0004186220210000132
的旋转矩阵；/>
Figure BDA0004186220210000133
表示使用KNN算法构建属于顶点
Figure BDA0004186220210000134
的一个局部邻域；/>
Figure BDA0004186220210000135
是术前三维网格模型的顶点/>
Figure BDA0004186220210000136
的邻域点，/>
Figure BDA0004186220210000137
是对应于邻域点/>
Figure BDA0004186220210000138
的术中三维网格模型的顶点；
采用旋转矩阵
Figure BDA0004186220210000139
改变点云坐标得到/>
Figure BDA00041862202100001310
采用MLP预测顶点/>
Figure BDA00041862202100001311
的位移向量，公式如下：
Figure BDA00041862202100001312
其中，
Figure BDA00041862202100001313
表术前三维网格模型处于重叠区域的顶点的位移向量。
对于全局融合单元，其用于根据所述术前三维网格模型处于重叠区域内顶点的坐标和位姿变换关系、以及非重叠区域内顶点的坐标，获取所述术前三维网格模型配准后的所有顶点坐标。
具体的，所述全局融合单元用于：
采用MLP回归术前三维网格模型的所有顶点的旋转矩阵和位移向量：
Figure BDA00041862202100001314
其中，Rpre,tpre分别表示术前三维网格模型的所有顶点的旋转矩阵和位移向量；
Figure BDA00041862202100001315
表示根据处于重叠区域内的顶点/>
Figure BDA00041862202100001316
与术前三维网格模型的所有顶点vpre的距离计算的权重(其中，所有顶点包括处于重叠区域的顶点以及非重叠区域的顶点)；
Figure BDA00041862202100001317
其中，
Figure BDA00041862202100001318
表示所述术前三维网格模型配准后的所有顶点坐标。
据此，可以明确本发明实施例提出基于网格数据的多模融合网络，通过重叠预测单元预测重叠区域和其位移场，并结合柯西格林不变量约束术前三维网格模型的非刚性形变，使得多模融合后的模型更加合理，减少多模融合的错误。
对于信息显示单元，其用于根据所述术前三维网格模型配准后的所有顶点坐标，在所述术中三维网格模型中显示术前三维网格模型的内部组织信息。
示例性的，本单元中可以采用VR眼镜将配准后的两个三维模型统一显示在一个坐标系中，也可以根据相机成像基本原理将配准后的术前三维网格模型叠加到腔镜影像中，这两种可选的显示手段都能实现向医生呈现组织内部信息，辅助医生做出临床决策，减少手术风险的同时提高手术效率。
对于精度微调单元，其用于引入无监督损失微调网络，辅助所述全局融合单元获取所述术前三维网格模型配准后的所有顶点坐标。
之所以引入精度微调单元，是因为本发明实施例考虑到对指定的双目内窥镜图像帧进行配准的时候，由于腔镜灯光和病患个体性差异，重建的术中三维网格模型与数据集相比也存在差异，这些差异可能会导致配准精度的下降，使用无监督损失微调网络可以提高配准的精度。
则所述无监督损失微调网络在应用过程中，需构建如下无监督损失函数：
Figure BDA0004186220210000141
其中，Lossu表示无监督损失函数；
βu,γu分别表示无监督损失项系数，
Figure BDA0004186220210000142
和/>
Figure BDA0004186220210000143
均为无监督训练时术前三维网格模型配准后的顶点坐标，/>
Figure BDA0004186220210000144
表示在术中三维网格模型中距离配准后术前三维网格模型的顶点/>
Figure BDA0004186220210000145
的最近点，/>
Figure BDA0004186220210000146
Figure BDA0004186220210000147
表示顶点/>
Figure BDA0004186220210000148
和/>
Figure BDA0004186220210000149
的欧式距离，
Figure BDA00041862202100001410
表示在配准后的术前三维网格模型中距离术中三维网格模型的顶点/>
Figure BDA00041862202100001411
的最近点，/>
Figure BDA00041862202100001412
表示顶点vin,和顶点/>
Figure BDA00041862202100001413
的欧式距离；
N1表示术前三维网格模型Mpre的顶点个数，N2表示术中三维网格模型Min的顶点个数；
Figure BDA00041862202100001414
表示无监督训练时的柯西格林不变量，/>
Figure BDA00041862202100001415
约束表面两点间弧线距离长度不变，/>
Figure BDA0004186220210000151
约束组织表面积不变，/>
Figure BDA0004186220210000152
约束组织体积不变。
本发明实施例构建以双向最近邻为损失函数的无监督微调机制，实现指定的双目内窥镜图像帧下，术前组合网格模型和术中三维网格模型的精准融合。
需要注意的是，相比于现有技术中生物力学模型构建的虚拟配准数据集，本发明实施例针对体内柔性动态环境的特性，使用真实腔镜影像和医学检验数据构建数据集，该数据集训练的网络配准的精度更高。
具体的，在所述配准模块的训练阶段，基于真实数据生成训练集，包括：
根据指定的双目内窥镜图像帧与术前三维网格模型之间的特征点对，基于特征点采用非刚性算法配准术前三维网格模型和术中三维网格模型，对于任一特征点有：
Figure BDA0004186220210000153
其中，Non_rigid_ICP表示非刚性配准算法ICP，
Figure BDA0004186220210000154
表示术前三维网格模型的第a个用于非刚性配准的特征点，/>
Figure BDA0004186220210000155
对应/>
Figure BDA0004186220210000156
的术中三维网格模型的特征点，TG为术前三维网格模型的整体转移矩阵，Tl,a是属于特征点vpre,a的局部形变转移矩阵；
采用四元素插值求得术前三维网格模型中所有顶点的局部形变转移矩阵Tl，通过变换关系求得术前三维网格模型中的顶点vpre配准后的坐标标签
Figure BDA0004186220210000157
相应的，在所述配准模块的训练阶段，需构建如下有监督损失函数：
Figure BDA0004186220210000158
其中，Losss表示训练阶段的有监督损失函数；
βs、γs分别表示有监督损失项系数；
N1表示术前三维网格模型Mpre的顶点个数；
Figure BDA0004186220210000161
表示基于人工标注数据集的l2真值损失，/>
Figure BDA0004186220210000162
表示术前三维网格模型配准后的所有顶点坐标；
Ic+IIc+IIIc表示柯西格林不变量，用于约束体内组织形变的程度，Ic约束表面两点间弧线距离长度不变，IIc约束组织表面积不变，IIIc约束组织体积不变。
对于接收模块，其用于接收医生在配准后的术前三维网格模型的感兴趣区域上标注的待规避区域，以及设置的危险距离。
由于所述术前三维网格模型带有组织语义信息，例如对于组织中不同的区域(血管、肿瘤等)，使用不同的颜色(蓝色、绿色等)予以区分显示，则配准后的术前三维网格模型也带有组织语义信息。
在前述限定下，所述待规避区域可以是指医生通过选择不同的颜色，确认待规避区域对应的三维网格模型Mevade＝(Vevade,Eevade)。其中，Vevade表示待规避区域对应的三维网格模型的表面顶点的空间坐标，且Vevade为
Figure BDA0004186220210000163
构成集合的子集；Eevade表示待规避区域对应的三维网格模型的表面顶点之间的连接关系，且Eevade为Epre的子集。
定义危险距离devade∈R。
对于生成模块，其用于根据所述待规避区域对应的三维网格模型，结合所述危险距离，生成并显示术中危险区域对应的三维网格模型。
所述生成模块包括：
估计单元，用于根据所述待规避区域对应的三维网格模型Mevade的表面顶点vevade，采用等法线估计方法获取每个表面顶点vevade的归一化的法向量Normalevade∈R3；
扩张单元，根据各个所述表面顶点的空间坐标及其归一化的法向量，结合所述危险距离，扩张获取所述危险区域对应的组织网络模型的表面顶点vdanger；
vdanger＝devade×Normalevade+vevade
连接单元，根据所述术前三维网格模型的各个表面顶点之间的连接关系(具体根据Epre的子集Eevade)，连接所述危险区域对应的组织网络模型的各个表面顶点，生成并显示所述术中危险区域对应的三维网格模型Mdanger＝(Vdanger,Eevade)。
示例性的，采用VR眼镜将所述术中危险区域以三维形式显示，也可以根据相机成像基本原理将危险区域叠加到双目内窥镜影像显示给医生。
不难理解的是，本发明实施例生成的危险区域至少可以在如下几个方面提示辅助医生操作的效果：
(1)、传统双目内窥镜手术场景下，在医生进行手术操作的时候，如果器械位移进入到设置的危险区域，系统向医生发出文字或声音提示，提醒医生谨慎操作。
(2)、手术机器人辅助的双目内窥镜场景下，在器械接近危险区域边缘的时候，系统也可以向医生施加一个远离危险区域的力，提醒医生将要进入危险区域，医生可以通过施加更多力的方式将手术器械移动到危险区域内进行操作。
此外，除了上述内容中提及可能影响融合精度的因素以外，通过所述第二建模单元如何获取所述指定的双目内窥镜图像帧的深度值也是关键因素之一，因为这直接影响了术中三维网格模型的精度。
基于此，所述第二建模单元采用基于双目内窥镜的在线自监督学习深度估计方法，获取所述指定的双目内窥镜图像帧的深度值；所述在线自监督学习深度估计方法所使用的双目深度估计网络具有快速过学习的能力，能够利用自监督信息不断适应新场景；
在实时重建模式下，所述第二建模单元具体用于对连续影像视频帧进行过拟合，获取指定的双目内窥镜图像帧的深度值，包括：
提取子单元，用于获取双目内窥镜影像，采用当前双目深度估计网络的编码器网络提取当前帧图像的多尺度特征；
融合子单元，用于采用当前双目深度估计网络的解码器网络，对多尺度特征进行融合，获取当前帧图像中每个像素点的视差；
转化子单元，用于根据相机内外参数，将视差转化为深度并作为当前帧图像的结果输出；
第一估计子单元，用于在不引入外部真值的条件下，利用自监督损失更新当前双目深度估计网络的参数，用于下一帧图像的深度估计。
该种深度估计方案利用连续帧的相似性，将一对双目图像上的过拟合思想扩展到时间序列上的过拟合，通过在线学习不断更新模型参数，能在各种双目内窥镜手术环境下得到高精度的组织深度。
所述双目深度估计网络的预训练阶段抛弃了传统的训练模式，采用元学习的思路，让网络学习某一张图像去预测另外一张图像的深度，从而计算损失进行网络更新，可有效促进网络对新场景的泛化性和提升对低纹理复杂光照的鲁棒性，同时大幅减少了后续过拟合所需时间。
如图2中b部分所示，通过元学习方式训练获取所述双目深度估计网络对应的初始模型参数，具体包括：
S100、随机选取偶数对双目图像{e1,e2,…,e2K}，并平均切分为支持集
Figure BDA0004186220210000181
和查询集
Figure BDA0004186220210000182
Figure BDA0004186220210000183
和/>
Figure BDA0004186220210000184
中的图像随机配对形成K个任务/>
Figure BDA0004186220210000185
S200、内循环训练：根据
Figure BDA0004186220210000186
中的支持集图像计算损失进行一次参数更新；
Figure BDA0004186220210000187
其中，
Figure BDA0004186220210000188
表示内循环更新后的网络参数；/>
Figure BDA0004186220210000189
表示求导，α为内循环的学习率，/>
Figure BDA00041862202100001810
为第k个任务的支持集图像，/>
Figure BDA00041862202100001811
是根据模型初始参数φm计算出的损失；f表示双目深度估计网络；
S300、外循环训练：根据
Figure BDA00041862202100001812
中的查询集图像，利用更新后的模型计算元学习损失，直接更新模型初始参数φm为φm+1；
Figure BDA00041862202100001813
其中，β为外循环的学习率；
Figure BDA0004186220210000191
是第k个任务的查询集图像，/>
Figure BDA0004186220210000192
为元学习损失。
以下是对于所述第二建模单元包括的各个子单元的详细说明：
对于提取子单元，如图2中a部分所示，其获取双目内窥镜影像，采用当前双目深度估计网络的编码器网络提取当前帧图像的多尺度特征。
示例性的，本子单元中双目深度估计网络的编码器采用ResNet18网络，用于对当前帧图像(左目和右目)分别提取5个尺度的特征图。
对于融合子单元，如图2中a部分所示，其采用当前双目深度估计网络的解码器网络，对多尺度特征进行融合，获取当前帧图像中每个像素点的视差；具体包括：
采用所述解码器网络将粗尺度特征图经过卷积块和上采样，与细尺度特征图拼接，再次经过卷积块进行特征融合，其中结合反射填充层(reflection padding)、卷积层、非线性激活子单元ELU构建所述卷积块；
根据网络分辨率最高的输出直接计算视差：
d＝k·((conv(Y))-H)
其中，d表示像素点的视差估计值；k为预先设定的最大视差范围，Y是分辨率最高的输出；TH表示与双目内窥镜的类型有关的参数，当内窥镜图像存在负视差时取0.5，当内窥镜图像均为正视差时取0；conv是卷积层；sigmoid进行范围归一化。
对于转化子单元，其根据相机内外参数，将视差转化为深度并作为当前帧图像的结果输出
本子单元中将视差转化为深度是指：
Figure BDA0004186220210000193
其中，cx1、
Figure BDA0004186220210000194
分别为双目内窥镜中左目和右目内窥镜与相机内参矩阵/>
Figure BDA0004186220210000201
中对应的参数；如果fx取左目相机对应内参/>
Figure BDA0004186220210000202
时，则d取左目像素点的视差估计值，此时D为左目像素点深度估计值；如果fx取右目相机对应内参/>
Figure BDA0004186220210000203
则d取右目像素点的视差估计值，此时D为右目像素点深度估计值；b为基线长度，即双目相机外参。
对于第一估计单元，如图2中b部分所示，其在不引入外部真值的条件下，利用自监督损失更新当前双目深度估计网络的参数，用于下一帧图像的深度估计。
不难理解的是，本发明实施例中所提及的“外部真值”即为标签(或者称为“监督信息”)，此乃本领域内公知表述。
本子单元中，如图2中b部分所示，所述自监督损失表示为：
Figure BDA0004186220210000204
其中，Lself表示自监督损失；α1、α2、α3、α4均为超参数，l对应左图，r对应右图。
因为双目观察到的是同一个场景，所以左右深度图上对应像素点，变换到同一坐标系下的值应该相等，引入
Figure BDA0004186220210000205
和/>
Figure BDA0004186220210000206
(1)
Figure BDA0004186220210000207
表示左图的几何一致性损失：
Figure BDA0004186220210000208
其中，P1表示第一有效像素点集合(即右目有效像素点)；
Figure BDA0004186220210000209
表示有效像素点p由右目深度图，经过相机位姿变换后获得的左目深度，Dl′(p)表示有效像素点p利用预测的右图视差DisR，在左目深度图上采样获得的左目深度。
(2)
Figure BDA00041862202100002010
表示右图的几何一致性损失：
Figure BDA00041862202100002011
其中，P2表示第二有效像素点集合(即左目有效像素点)；
Figure BDA00041862202100002012
表示有效像素点p由左目深度图，经过相机位姿变换后获得的右目深度，D′r(p)表示有效像素点p利用预测的左图视差DisL，在右目深度图上采样获得的右目深度。
通过训练损失中加入几何一致性约束实现，保证网络对于硬件的泛用性，实现自主适应手术内窥镜等非常规双目图像。
假设内窥镜手术中亮度恒定和空间平滑，利用左右目图片间的重投影可以实现另一目的重构，同时增加了结构相似度损失，对两幅图像的亮度、对比度和结构进行了归一化和比较，引入
Figure BDA0004186220210000211
和/>
Figure BDA0004186220210000212
(3)
Figure BDA0004186220210000213
表示左图的光度损失：/>
Figure BDA0004186220210000214
其中，IL(p)表示左图，I′L(p)表示利用右图与预测的左图视差DisL(p)生成的左目内窥镜重构图像，λi和λs为平衡参数，SSIMLL′(p)表示IL(p)与I′L(p)的图像结构相似度；
(4)
Figure BDA0004186220210000215
表示右图的光度损失：
Figure BDA0004186220210000216
其中，IR(p)表示右图，I′R(p)表示利用左图与预测的右图视差DisR(p)生成的右目内窥镜重构图像，SSIMRR′(p)表示IR(p)与I′R(p)的图像结构相似度。
在低纹理和单一颜色的组织区域，采用平滑先验辅助推理并且对深度进行正则化，引入
Figure BDA0004186220210000217
和/>
Figure BDA0004186220210000218
(5)
Figure BDA0004186220210000219
表示左图的平滑损失：
Figure BDA00041862202100002110
其中，
Figure BDA00041862202100002111
表示归一化的左目深度图，/>
Figure BDA00041862202100002112
和/>
Figure BDA00041862202100002113
表示沿着图像水平与垂直方向的一阶导数；
(6)
Figure BDA00041862202100002114
表示右图的平滑损失：
Figure BDA0004186220210000221
其中，
Figure BDA0004186220210000222
表示归一化的右目深度图，/>
Figure BDA0004186220210000223
和/>
Figure BDA0004186220210000224
表示沿着图像水平与垂直方向的一阶导数。
特别的，所述第一有效像素点集合P1和第二有效像素点集合P2的获取过程如下：
定义当前双目深度估计网络预测的左目视差值为
Figure BDA0004186220210000225
右目视差值为/>
Figure BDA0004186220210000226
则左目和右目交叉验证掩码的公式化表达如下：
Figure BDA0004186220210000227
Figure BDA0004186220210000228
其中，
Figure BDA0004186220210000229
分别用于判断左右目图像中(,j)位置的像素是否在立体匹配范围内；i取值范围为[1,W]间所有整数；j取值范围为[1,H]间所有整数；W表示图像宽度，H表示图像高度；/>
令c取L或R，当
Figure BDA00041862202100002210
时，表示当前计算方法下(,j)位置的像素在立体匹配范围内，否则不在立体匹配范围内；
利用相机模型、双目位姿变换与预测深度进行投影，获取基于3d点的有效区域掩码
Figure BDA00041862202100002211
Figure BDA00041862202100002212
取0或1，当/>
Figure BDA00041862202100002213
时，表示当前计算方法下(,j)位置的像素在立体匹配范围内，否则不在立体匹配范围内；
获取最终的有效区域掩码
Figure BDA00041862202100002214
Figure BDA00041862202100002215
若像素点p满足
Figure BDA00041862202100002216
当c取R则获取第一有效像素点集合P1，当c取L则获取第二有效像素点集合P2。
在校正后的立体图像中，由于视角偏移引起的额外区域，无法找到匹配的像素。然而，本发明实施例考虑到体内组织的低纹理和光照不均匀会导致局部特征更加不明显，这些无效区域内的像素往往会在邻近区域中找到相似的像素。因此如上文所言，本发明实施例提出了基于交叉验证双目有效区域识别算法，排除了无效区域像素的自监督损失对网络学习的误导，提升了深度估计的精度。
此外，为避免在纯纹理或低光照场景的深度估计鲁棒性不足，还引入
Figure BDA0004186220210000231
(7)
Figure BDA0004186220210000232
表示稀疏光流损失：
Figure BDA0004186220210000233
其中，DisL(p)表示预测的左目视差图，OFL(p)表示左目稀疏视差图，DisR(p)表示预测的右目视差图，OFR(p)表示右目稀疏视差图；P3表示左目稀疏视差图OFL(p)中的第三有效像素集合；P4表示右目稀疏视差图OFR(p)中的第四有效像素集合；γ1和γ2为平衡参数，均为非负数且不同时取0。
特别的，所述第三有效像素点集合P3和第四有效像素点集合P4的获取过程如下：
利用LK(Lucas-Kanade)光流求解算法，在行列方向每隔n个像素计算稀疏光流(Δx,Δy)，其中Δx表示像素点水平方向的偏移量，Δy表示像素点垂直方向的偏移量；
当求解左图到右图的光流时，仅当
Figure BDA0004186220210000234
且Δx>thd1，保留该像素位置的视差为Δx，其中KT与thd1为相应的预设阈值，不满足上述条件或不计算稀疏光流位置的视差置0，以获取最终的稀疏视差图OFL()，OFL(p)≠0的像素点构成第三有效像素点集合P3；
当求解右图到左图的光流时，仅当
Figure BDA0004186220210000235
且Δx<thd2，保留该像素位置的视差为Δx，其中thd2为相应的预设阈值，不满足上述条件或不计算稀疏光流位置的视差置0，以获取最终的稀疏视差图OFR()，OFR(p)≠0的像素点构成第四有效像素点集合P4。
正如上文所言本发明实施例引入传统Lucas-Kanade光流推导双目图像之间的稀疏视差，给予网络合理的学习方向，提高快速学习能力并降低陷入局部最优的概率。
特别强调的是，除了实时重建模式以外，本发明实施例中所述第二建模单元采用的在线自监督学习深度估计方法还设置了精准测量模式。如图2中b部分所示，在精准测量模式下，所述第二建模单元具体用于对关键影像视频帧进行过拟合，包括：
第二估计子单元，在不引入外部真值的条件下，根据指定的双目内窥镜图像帧的上一帧图像在实时重建模式中获取的双目深度估计网络，利用该指定的双目内窥镜图像帧对应的自监督损失更新前述双目深度估计网络的参数直至收敛，并将收敛后的双目深度估计网络用于对所述指定的双目内窥镜图像帧的精准深度估计，获取所述指定的双目内窥镜图像帧的深度值。
值得注意的是，精准测量模式下的深度估计网络、自监督损失函数、有效区域掩码计算、元学习预训练方式等技术细节均与实时重建模式中拓展的技术细节保持一致，此处不再赘述。
综上所述，与现有技术相比，具备以下有益效果：
1、通过在术中重建和多模融合的基础上，根据医生的操作需要，通过待规避区域对应的三维网格模型的表面顶点的法向量，膨胀待规避区域的组织边界，生成目标的术中危险区域，辅助医生进行手术操作，有效提高手术安全性。
2、由于该方法在实际操作前，根据需要提示手术操作的危险区域，可以帮助医生提前规划手术路径，大大提高了手术效率。
3、本发明实施例介绍了一种基于双目内窥镜的在线自监督学习深度估计方法，其有益效果至少包括：
3.1切换的深度估计，既可以提供术中解剖结构的实时点云，辅助医生直观理解术中三维结构，还可以基于单帧过拟合实现医生手选关键帧的高精度重构，为后续测量提供基础，使得在应用中兼顾速度与精度。
3.2利用连续帧的相似性，将一对双目图像上的过拟合思想扩展到时间序列上的过拟合，通过在线学习不断更新模型参数，能在各种双目内窥镜手术环境下得到高精度的组织深度。
3.3、网络模型的预训练阶段抛弃了传统的训练模式，采用元学习的思路，让网络学习某一张图像去预测另外一张图像的深度，从而计算损失进行网络更新，可有效促进网络对新场景的泛化性和提升对低纹理复杂光照的鲁棒性，同时大幅减少了后续过拟合所需时间。
3.4、通过训练损失中加入几何一致性约束实现，保证网络对于硬件的泛用性，实现自主适应手术内窥镜等非常规双目图像。
3.5、将每一帧双目图像的深度估计作为独立的任务，实时过拟合得到适用于当前帧的高精度模型；且通过在线学习能快速学习新场景从而获得高精度深度估计结果。
3.6、基于交叉验证双目有效区域识别算法，排除了无效区域像素的自监督损失对网络学习的误导，提升了深度估计的精度。
3.7、引入传统Lucas-Kanade光流推导双目图像之间的稀疏视差，给予网络合理的学习方向，提高快速学习能力并降低陷入局部最优的概率。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于术前术中三维网格融合的术中危险区域生成系统，其特征在于，包括：
配准模块，用于将术前三维网格模型和术中三维网格模型进行配准，获取所述术前三维网格模型配准后的所有顶点坐标；
其中，所述术前三维网格模型带有组织语义信息；
根据指定的双目内窥镜图像帧的深度值，获取所述术中三维网格模型；
接收模块，用于接收医生在配准后的术前三维网格模型的感兴趣区域上标注的待规避区域，以及设置的危险距离；
生成模块，用于根据所述待规避区域对应的三维网格模型，结合所述危险距离，生成并显示术中危险区域对应的三维网格模型。
2.如权利要求1所述的术中危险区域生成系统，其特征在于，所述配准模块包括：
第一建模单元，用于获取带有组织语义信息的术前三维网格模型；
第二建模单元，用于根据指定的双目内窥镜图像帧的深度值，获取术中三维网格模型；
特征提取单元，用于根据所述术前三维网格模型和术中三维网格模型，分别获取对应的多层级特征；
重叠预测单元，用于根据所述多层级特征，获取所述术前三维网格模型和术中三维网格模型的重叠区域，并获取所述术前三维网格模型处于重叠区域内顶点的位姿变换关系；
全局融合单元，用于根据所述术前三维网格模型处于重叠区域内顶点的坐标和位姿变换关系、以及非重叠区域内顶点的坐标，获取所述术前三维网格模型配准后的所有顶点坐标；
信息显示单元，用于根据所述术前三维网格模型配准后的所有顶点坐标，在所述术中三维网格模型中显示术前三维网格模型的内部组织信息。
3.如权利要求2所述的术中危险区域生成系统，其特征在于，
所述特征提取单元采用切比雪夫谱图卷积提取所述术前三维网格模型和术中三维网格模型的多层级特征：
Figure FDA0004186220190000021
Figure FDA0004186220190000022
其中，定义术前三维网格模型Mpre＝(Vpre,Epre)，Vpre表示术前三维网格模型的顶点的空间坐标，Epre表示术前三维网格模型的顶点之间的边；术中三维网格模型Min＝(Vin,Ein)，Vin表示术前三维网格模型的顶点的空间坐标，Ein表示术中三维网格模型的顶点之间的边；
Figure FDA0004186220190000023
和/>
Figure FDA0004186220190000024
分别表示术前组织模型的第n+1层和第n层的下采样尺度特征，初始化
Figure FDA0004186220190000025
为Vpre；/>
Figure FDA0004186220190000026
和/>
Figure FDA0004186220190000027
分别表示术中组织模型的第n+1层和第n层特征，初始化/>
Figure FDA0004186220190000028
为Vin；
Figure FDA0004186220190000029
分别由各自顶点与其B环邻域计算出的b阶切比雪夫多项式，/>
Figure FDA00041862201900000210
分别是由边Ein,Epre计算的缩放拉普拉斯矩阵，/>
Figure FDA00041862201900000211
是神经网络的学习参数；
和/或所述重叠预测单元具体用于：
采用注意力机制获取所述术前三维网格模型和术中三维网格模型的重叠区域，包括：
Figure FDA00041862201900000212
Figure FDA00041862201900000213
其中，Opre表示术前三维网格模型Mpre重叠区域的掩码；Oin表示术中三维网格模型Min重叠区域的掩码；cross和self分别表示self-attention和cross-attention操作；
Figure FDA00041862201900000214
和
Figure FDA00041862201900000215
分别表示术前三维网格模型和术中三维网格模型的顶点的第m级下采样尺度特征；
根据掩码Opre和Oin，获取各自处于重叠区域内的顶点
Figure FDA00041862201900000216
及其特征/>
Figure FDA00041862201900000217
并使用多层感知机MLP计算术前三维网格模型Mpre中的顶点/>
Figure FDA00041862201900000218
的对应点：
Figure FDA0004186220190000031
其中，
Figure FDA0004186220190000032
是术中三维网格模型Min中的顶点，对应于术前三维网格模型Mpre中的顶点
Figure FDA0004186220190000033
Figure FDA0004186220190000034
表示余弦相似度计算，/>
Figure FDA0004186220190000035
表示对术中三维网格模型处于重叠区域内的顶点进行位置编码操作；
采用最近邻搜索KNN建立顶点
Figure FDA0004186220190000036
的局部邻域，采用奇异值分解SVD求解旋转矩阵，公式如下：
Figure FDA0004186220190000037
其中，
Figure FDA0004186220190000038
表示顶点/>
Figure FDA0004186220190000039
的旋转矩阵；/>
Figure FDA00041862201900000310
表示使用KNN算法构建属于顶点/>
Figure FDA00041862201900000311
的一个局部邻域；/>
Figure FDA00041862201900000312
是术前三维网格模型的顶点/>
Figure FDA00041862201900000313
的邻域点，/>
Figure FDA00041862201900000314
是对应于邻域点
Figure FDA00041862201900000315
的术中三维网格模型的顶点；
采用旋转矩阵
Figure FDA00041862201900000316
改变点云坐标得到/>
Figure FDA00041862201900000317
采用MLP预测顶点/>
Figure FDA00041862201900000318
的位移向量，公式如下：
Figure FDA00041862201900000319
其中，
Figure FDA00041862201900000320
表术前三维网格模型处于重叠区域的顶点的位移向量，并与旋转矩阵/>
Figure FDA00041862201900000321
构成所述位姿变换关系；
和/或所述全局融合单元具体用于：
采用MLP回归术前三维网格模型的所有顶点的旋转矩阵和位移向量：
Figure FDA00041862201900000322
其中，Rpre,tpre分别表示术前三维网格模型的所有顶点的旋转矩阵和位移向量；
Figure FDA00041862201900000323
表示根据处于重叠区域内的顶点/>
Figure FDA00041862201900000324
与术前三维网格模型的所有顶点vpre的距离计算的权重；
Figure FDA00041862201900000325
其中，
Figure FDA00041862201900000326
表示所述术前三维网格模型配准后的所有顶点坐标。
4.如权利要求1所述的术中危险区域生成系统，其特征在于，在所述术中危险区域生成系统的训练阶段，基于真实数据生成训练集：
根据指定的双目内窥镜图像帧与术前三维网格模型之间的特征点对，基于特征点采用非刚性算法配准术前三维网格模型和术中三维网格模型，对于任一特征点有：
Figure FDA0004186220190000041
其中，Non_rigid_ICP表示非刚性配准算法ICP，
Figure FDA0004186220190000042
表示术前三维网格模型的第a个用于非刚性配准的特征点，/>
Figure FDA0004186220190000043
对应/>
Figure FDA0004186220190000044
的术中三维网格模型的特征点，TG为术前三维网格模型的整体转移矩阵，Tl,a是属于特征点vpre,a的局部形变转移矩阵；
采用四元素插值求得术前三维网格模型中所有顶点的局部形变转移矩阵Tl，通过变换关系求得术前三维网格模型中的顶点vpre配准后的坐标标签
Figure FDA0004186220190000045
5.如权利要求4所述的术中危险区域生成系统，其特征在于，在所述术中危险区域生成系统的训练阶段，构建如下有监督损失函数：
Figure FDA0004186220190000046
其中，Losss表示训练阶段的有监督损失函数；
βs、γs分别表示有监督损失项系数；
N1表示术前三维网格模型Mpre的顶点个数；
表示基于人工标注数据集的l2真值损失，/>
Figure FDA0004186220190000048
表示术前三维网格模型配准后的所有顶点坐标；
Ic+Ic+IIIc表示柯西格林不变量，用于约束体内组织形变的程度，Ic约束表面两点间弧线距离长度不变，IIc约束组织表面积不变，IIIc约束组织体积不变。
6.如权利要求1所述的术中危险区域生成系统，其特征在于，所述配准模块还包括：
精度微调单元，用于引入无监督损失微调网络，辅助所述全局融合单元获取所述术前三维网格模型配准后的所有顶点坐标；
和/或所述无监督损失微调网络在应用过程中，构建如下无监督损失函数：
Figure FDA0004186220190000051
其中，Lossu表示无监督损失函数；
βu,γu分别表示无监督损失项系数，
Figure FDA0004186220190000052
和/>
Figure FDA0004186220190000053
均为无监督训练时术前三维网格模型配准后的顶点坐标，/>
Figure FDA0004186220190000054
表示在术中三维网格模型中距离配准后术前三维网格模型的顶点/>
Figure FDA0004186220190000055
的最近点，/>
Figure FDA0004186220190000056
Figure FDA0004186220190000057
表示顶点/>
Figure FDA0004186220190000058
和/>
Figure FDA0004186220190000059
的欧式距离，/>
Figure FDA00041862201900000510
表示在配准后的术前三维网格模型中距离术中三维网格模型的顶点/>
Figure FDA00041862201900000511
的最近点，
Figure FDA00041862201900000512
表示顶点vin,和顶点/>
Figure FDA00041862201900000513
的欧式距离；
N1表示术前三维网格模型Mpre的顶点个数，N2表示术中三维网格模型Min的顶点个数；
Figure FDA00041862201900000514
表示无监督训练时的柯西格林不变量，/>
Figure FDA00041862201900000515
约束表面两点间弧线距离长度不变，/>
Figure FDA00041862201900000516
约束组织表面积不变，/>
Figure FDA00041862201900000517
约束组织体积不变。
7.如权利要求1～6任一项所述的术中危险区域生成系统，其特征在于，所述生成模块包括：
估计单元，用于根据所述待规避区域对应的三维网格模型的表面顶点，采用等法线估计方法获取每个表面顶点的法向量并归一化；
扩张单元，根据各个所述表面顶点的空间坐标及其归一化的法向量，结合所述危险距离，扩张获取所述危险区域对应的组织网络模型的表面顶点；
vdanger＝evade×Normalevade+evade
其中，vdanger表示危险区域对应的组织网络模型的表面顶点；devade表示危险距离；Normalevade表示待规避区域对应的三维网格模型的表面顶点vevade对应的归一化的法向量；
连接单元，根据所述术前三维网格模型的各个表面顶点之间的连接关系，连接所述危险区域对应的组织网络模型的各个表面顶点，生成并显示所述术中危险区域对应的三维网格模型。
8.如权利要求2所述的术中危险区域生成系统，其特征在于，
所述第二建模单元采用基于双目内窥镜的在线自监督学习深度估计方法，获取所述指定的双目内窥镜图像帧的深度值；所述在线自监督学习深度估计方法所使用的双目深度估计网络具有快速过学习的能力，能够利用自监督信息不断适应新场景；
在实时重建模式下，所述第二建模单元具体用于对连续影像视频帧进行过拟合，获取指定的双目内窥镜图像帧的深度值，包括：
提取子单元，用于获取双目内窥镜影像，采用当前双目深度估计网络的编码器网络提取当前帧图像的多尺度特征；
融合子单元，用于采用当前双目深度估计网络的解码器网络，对多尺度特征进行融合，获取当前帧图像中每个像素点的视差；
转化子单元，用于根据相机内外参数，将视差转化为深度并作为当前帧图像的结果输出；
第一估计子单元，用于在不引入外部真值的条件下，利用自监督损失更新当前双目深度估计网络的参数，用于下一帧图像的深度估计。
9.如权利要求8所述的术中危险区域生成系统，其特征在于，
在精准测量模式下，所述第二建模单元具体用于对关键影像视频帧进行过拟合，包括：
第二估计子单元，在不引入外部真值的条件下，根据指定的双目内窥镜图像帧的上一帧图像在实时重建模式中获取的双目深度估计网络，利用该指定的双目内窥镜图像帧对应的自监督损失更新前述双目深度估计网络的参数直至收敛，并将收敛后的双目深度估计网络用于对所述指定的双目内窥镜图像帧的精准深度估计，获取所述指定的双目内窥镜图像帧的深度值。
CN202310419472.XA 2023-04-14 2023-04-14 基于术前术中三维网格融合的术中危险区域生成系统 Pending CN116421311A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310419472.XA CN116421311A (zh) 2023-04-14 2023-04-14 基于术前术中三维网格融合的术中危险区域生成系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310419472.XA CN116421311A (zh) 2023-04-14 2023-04-14 基于术前术中三维网格融合的术中危险区域生成系统

Publications (1)

Publication Number Publication Date
CN116421311A true CN116421311A (zh) 2023-07-14

Family

ID=87090550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310419472.XA Pending CN116421311A (zh) 2023-04-14 2023-04-14 基于术前术中三维网格融合的术中危险区域生成系统

Country Status (1)

Country Link
CN (1) CN116421311A (zh)

Similar Documents

Publication Publication Date Title
US10733745B2 (en) Methods, systems, and computer readable media for deriving a three-dimensional (3D) textured surface from endoscopic video
JP5153620B2 (ja) 連続的にガイドされる内視鏡と関係する画像を重ね合わせるためのシステム
CN110010249B (zh) 基于视频叠加的增强现实手术导航方法、系统及电子设备
Lin et al. Video‐based 3D reconstruction, laparoscope localization and deformation recovery for abdominal minimally invasive surgery: a survey
JP5675227B2 (ja) 内視鏡画像処理装置および作動方法、並びに、プログラム
JP7127785B2 (ja) 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
Stoyanov et al. Dense 3D depth recovery for soft tissue deformation during robotically assisted laparoscopic surgery
WO2016195698A1 (en) Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation
JP6290723B2 (ja) 手術支援装置および手術支援システム
WO2010081094A2 (en) A system for registration and information overlay on deformable surfaces from video data
CN108090954A (zh) 基于图像特征的腹腔环境地图重建与腹腔镜定位的方法
Su et al. Comparison of 3d surgical tool segmentation procedures with robot kinematics prior
Turan et al. A fully dense and globally consistent 3d map reconstruction approach for gi tract to enhance therapeutic relevance of the endoscopic capsule robot
CN116993805A (zh) 面向手术规划辅助的术中剩余器官体积估计系统
Chen et al. FRSR: Framework for real-time scene reconstruction in robot-assisted minimally invasive surgery
WO2017180097A1 (en) Deformable registration of intra and preoperative inputs using generative mixture models and biomechanical deformation
CN115619790B (zh) 一种基于双目定位的混合透视方法、系统及设备
Zhou et al. Synthesis of stereoscopic views from monocular endoscopic videos
CN116421311A (zh) 基于术前术中三维网格融合的术中危险区域生成系统
CN115953377A (zh) 消化道超声内窥镜图像融合方法和系统
CN116485851A (zh) 面向腹腔镜手术导航的三维网格模型配准融合系统
CN115105202A (zh) 一种用于腔镜手术中的病灶确认方法及系统
CN114092643A (zh) 一种基于混合现实与3dgan的软组织自适应形变方法
Huang et al. Enhanced u-net tool segmentation using hybrid coordinate representations of endoscopic images
Mathew et al. SoftEnNet: Symbiotic Monocular Depth Estimation and Lumen Segmentation for Colonoscopy Endorobots

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination