CN116942317A - 一种手术导航定位系统 - Google Patents
一种手术导航定位系统 Download PDFInfo
- Publication number
- CN116942317A CN116942317A CN202311223549.2A CN202311223549A CN116942317A CN 116942317 A CN116942317 A CN 116942317A CN 202311223549 A CN202311223549 A CN 202311223549A CN 116942317 A CN116942317 A CN 116942317A
- Authority
- CN
- China
- Prior art keywords
- module
- image
- data
- matrix
- follows
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 125
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000007781 pre-processing Methods 0.000 claims abstract description 25
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 81
- 230000008569 process Effects 0.000 claims description 62
- 238000004364 calculation method Methods 0.000 claims description 57
- 230000009466 transformation Effects 0.000 claims description 38
- 238000005070 sampling Methods 0.000 claims description 24
- 230000009467 reduction Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 13
- 238000012952 Resampling Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 208000006440 Open Bite Diseases 0.000 claims description 5
- 239000003054 catalyst Substances 0.000 claims description 3
- 239000000835 fiber Substances 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 230000008439 repair process Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Robotics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种手术导航定位系统，系统包括数据采集模块、数据预处理模块、模型重建模块、坐标配准模块、信息还原模块和定位跟踪模块；本方案采集患者原始图像、患者CT图像和实时视频数据，通过引导图滤波去噪算法进行数据预处理，优化配准，通过光线投射算法来实现模型重建，采用对抗训练方法来实现遮挡图像的信息还原。本发明涉及手术导航技术领域，具体为一种手术导航定位系统，提高了手术导航定位的精度、准确性和安全性。
Description
技术领域
本发明涉及手术导航技术领域，具体为一种手术导航定位系统。
背景技术
手术导航定位系统是一种借助计算机辅助实现手术定位、规划和执行的技术，其目的是提高手术的精度、准确性和安全性。现有的手术导航定位系统存在图像配准过程中常容易受到图像噪声的干扰，存在去噪过程中容易丢失图像细节，从而使配准的准确度甚至后续的数据处理工作受到负面影响的问题；存在对复杂形状的三维建模过程中容易出现失准现象，建模的精确程度不足的问题；并且在实时导航过程中，存在因仪器遮挡等原因出现导航定位信息丢失，遮挡部位的图像信息无法实时获取的问题。
发明内容
为解决上述问题，本发明提供了一种手术导航定位系统，针对图像配准的准确性不足，三维建模精确程度不足和实时导航定位信息丢失的技术问题，本发明提供了一种手术导航定位系统来优化配准、建模和信息还原的过程，提高手术导航定位的精度、准确性和安全性；针对现有的图像配准过程容易在去噪过程中容易受到图像噪声干扰和容易丢失图像细节的技术问题，本发明采用去噪算法进行数据预处理，可以保留细节的同时去除噪声，提高了配准的准确度；针对现有的对复杂形状三维建模过程中容易出现失准现象，建模的精确程度不足的技术问题，本发明采用算法进行三维体绘制，提高了建模的精度；针对现有的实时导航定位过程中的信息丢失现象，本发明采用一种基于对抗训练的信息还原算法，还原术中因遮挡而丢失的图像信息，提高了手术导航的安全性。
本发明采取的技术方案如下：本发明提供的一种手术导航定位系统，包括数据采集模块、数据预处理模块、模型重建模块、坐标配准模块、信息还原模块和定位跟踪模块，所述数据采集模块采集患者原始图像和患者CT图像和实时视频数据，并将患者原始图像和患者CT图像发送至数据预处理模块，将所述实时视频数据发送至信息还原模块，所述数据预处理模块接收数据采集模块发送的患者原始图像和患者CT图像，利用去噪算法对患者CT图像进行滤波去噪，并将滤波去噪处理后得到的去噪CT图像发送至模型重建模块和坐标配准模块，所述模型重建模块接收来自数据预处理模的去噪CT图像，将去噪CT图像三维重建，得到三维重建数据，所述三维重建模块将所述三维重建数据发送至坐标配准模块和信息还原模块，所述坐标配准模块接收来自数据预处理模块的去噪CT图像和来自模型重建模块的三维重建数据，并对去噪CT图像和三维重建数据进行坐标配准，得到最优刚性变化矩阵，并将所述最优刚性变化矩阵发送至信息还原模块和定位跟踪模块，所述信息还原模块接收来自模型重建模块的三维重建数据和来自坐标配准模块的最优刚性变化矩阵，采用对抗训练的方法得到的生成器，并采用生成器对实时视频数据进行坐标还原，得到信息还原实时视频，并将所述信息还原实时视频发送至定位跟踪模块，所述定位跟踪模块接收来自信息还原模块的信息还原实时视频和来自坐标配准模块的刚性变化矩阵，实现实时跟踪手术导航。
进一步地，所述数据采集模块，用于数据采集，具体是采集患者原始图像、患者CT图像和实时视频数据；
进一步地，所述数据预处理模块，用于数据预处理，具体是对CT图像进行滤波去噪，包括以下步骤：
步骤S21：初步设定，将患者原始图像设为引导图I，并逐一将CT图像中的每个像素设置为目标像素i，将目标像素i的相邻像素设置为相邻领域像素j；
步骤S22：通过引导图生成自适应权重值/>，计算公式如下：
，
式中，o是CT图像，q是去噪CT图像，i是目标像素，j是相邻领域像素，是CT图像中的相邻领域像素，/>是经过滤波去噪后的目标像素，/>是自适应权重值，/>是目标像素所对应的权重值。
进一步地，所述三维重建模块，用于三维重建，具体包括以下步骤：
步骤S31：在x，y，z三维方向上进行线性插值，计算公式如下：
，
式中，是体素，i、j和k都是0或1的随机数，相互独立，i是样本位置在x方向上的分数偏移量，j是样本位置在y方向上的分数偏移量，k是样本位置在z方向上的分数偏移量；
步骤S32：梯度估值，对每个方向上的采样点，和与采样点相邻的两个重采样点进行梯度估值，步骤包括：
步骤S321：对x方向上的采样点，和与采样点相邻的两个重采样点进行梯度估值，计算公式如下：
，
式中，为x方向的梯度估值，G为向前差分值，∆x为x方向上的差分算子；
步骤S322：对y方向上的采样点，和与采样点相邻的两个重采样点进行梯度估值，计算公式如下：
，
式中，为y方向的梯度估值，G为向前差分值，∆y为y方向上的差分算子；
步骤S323：对z方向上的采样点，和与采样点相邻的两个重采样点进行梯度估值，计算公式如下：
，
式中，为z方向的梯度估值，G为向前差分值，∆z为z方向上的差分算子；
步骤S33：计算重采样位置表面的阴影颜色，计算公式如下：
，
式中，其中，I是表面的最终颜色，是漫反射系数，/>是镜面反射系数，/>是漫反射的颜色，/>是镜面反射的颜色，N是表面法线，L是光线方向，R是从光线方向反射得到的反射向量，V是从表面到观察者的向量，p是光照模型的镜面反射指数；
步骤S34：渲染合成三维模型，得到三维重建数据，计算公式如下：
，
式中，I是光线穿过体数据a点到b点后的光线强度，q(s)是光纤在s点处的能量贡献，k(u)是光学深度函数。
进一步地，所述坐标配准模块，用于坐标配准，包括粗略配准单元和精细配准单元，所述粗略配准单元，用于粗略配准，包括以下步骤：
步骤S41：粗略配准，具体包括步骤S411、步骤S412、步骤S413和步骤S414：
步骤S411：通过外置标记法在患者换出粘贴标记点；
步骤S412：以采集数据的摄像头为原点建立基于患者原始图像的患者坐标系P，建立基于三维重建数据的图像坐标系I，建立基于患处对应的映射点的参考坐标系R；
步骤S413：获取患者坐标系P上的标记点，使用罗德利斯公式和双目摄像头计算患者坐标系P相对于参考坐标系R的转换矩阵/>，计算公式如下：
，
式中，由一个旋转矩阵/>和一个平移矩阵/>构成，1是一个缩放因子，表示矩阵进行缩小和放大的过程；
步骤S414：计算配准初始矩阵，计算公式如下：
，
式中，是参考坐标系R相对于图像坐标系I的转换矩阵；
所述精细配准单元，用于精细配准，包括以下步骤：
步骤S42：精细配准，具体包括步骤S421、步骤S422和步骤S423：
步骤S421：计算配准初始矩阵，所用公式如下：
；
步骤S422：计算源点云，设相匹配的点对中，源点云为，将源点云/>映射到图像空间中，得到新的源点云/>，计算公式如下：
，
式中，为与图像空间中的源点云/>相映射的源点云/>；
步骤S423：计算最优刚性变换矩阵，通过计算刚性变换矩阵，使得平方和D最小，得到最优刚性变换矩阵，计算公式如下：
，
式中，为源点云表面上的点，/>为目标点云上的点，/>为目标点云对应的法向量，/>为源点云上表面的点到目标点云表面对应切平面的距离，D是所述源点云上表面的点到目标点云表面对应切平面的距离的平方和。
进一步地，所述信息还原模块，包括模型训练单元和信息生成单元，所述模型训练单元用于模型训练，包括以下步骤：
步骤S51：训练生成器G，引入两个单独的数据流和/>训练生成器G，在/>中，使用一个外部光流网络作为训练/>编码器和解码器的催化剂，使用FlowNDt方法将时间t的候选帧和时间t-1之间的一帧作为输入，以生成光流图训练生成器，在/>中，根据过去输入帧的序列，学习修复候选帧的相关特征，并引入3F卷积层处理时间体积数据，计算公式如下：
，
式中，是学习任务权重的3F卷积滤波器，b是其相应的偏差，X是输入数据，M是相应的二进制遮挡掩码，sum是求和函数，ot是卷积层输出，/>代表元素级乘积；
步骤S52：训练鉴别器，采用预训练的VGG网络训练空间鉴别器，采用8层3F顺序卷积网络训练时间鉴别器/>，两者同时训练；
步骤S53：引入损失函数，采用对抗训练方法优化生成器G的信息还原性能，具体包括步骤S531、步骤S532、步骤S533、步骤S534和步骤S535：
步骤S531：采用对抗损失函数，优化生成器G生成的图像质量，对抗损失函数的计算公式如下：
，
式中，F是鉴别器，是生成的模型输出，/>是底面真实无遮挡图像，D是对于输入和输出样本的期望值；
步骤S532：计算空间鉴别器和时间鉴别器/>的对抗损失/>，计算公式如下：
，
式中，表示空间鉴别器/>的对抗损失，/>表示时间鉴别器/>的对抗损失；
步骤S533：采用重建损失函数优化误差，计算丢失区域和可视区域/>的平均绝对误差，计算公式如下：
，
，
式中，mk是遮掩矩阵；
步骤S534：采用内容感知损失函数优化模型输出/>和底面真实无遮挡图像在特征上的不同，包括步骤S5341、步骤S5342和步骤S5343：
步骤S5341：计算空间特征匹配内容感知损失，计算公式如下：
，
式中，是空间鉴别器/>的第n层特征图，/>是覆盖模型输出/>可见的丢失信息部分，N为特征图的层数；
步骤S5342：计算时间特征匹配内容感知损失，计算公式如下：
，
式中，是空间鉴别器/>的第n层特征图，/>是模型输出/>中的每一个序列，是底面真实无遮挡图像/>中的每一个序列，/>是覆盖模型输出/>每一个序列的可见的丢失信息部分，N为特征图的层数；
步骤S5343：计算内容感知损失函数，计算公式如下
，
式中，为空间特征匹配内容感知损失，/>是时间特征匹配内容感知损失；
步骤S535：采用风格损失函数优化图像纹理训练，包括步骤S5351、步骤S5352和步骤S5353：
步骤S5351：计算空间风格损失，计算公式如下：
，
式中，是gram矩阵，/>是空间鉴别器/>的第n层特征图，/>是覆盖模型输出可见的丢失信息部分，N为特征图的层数；
步骤S5352：计算时间风格损失C，计算公式如下：
，
式中，是gram矩阵，/>是空间鉴别器/>的第n层特征图，/>是模型输出/>中的每一个序列，/>是底面真实无遮挡图像/>中的每一个序列，/>是覆盖模型输出每一个序列的可见的丢失信息部分，N为特征图的层数；
步骤S5353：计算风格损失，计算公式如下：
，
式中，为空间风格损失，/>为时间风格损失；
所述信息还原单元，用于信息还原，包括以下步骤：
步骤S54：信息还原，使用经过对抗训练的生成器G，对术中患者信息进行信息还原，得到信息还原实时视频。
进一步地，所述跟踪定位模块，用于跟踪定位，具体是通过三维重建模块得到的三维重建模型数据，在此基础上建立一个刚体矩阵，使用串口传输该刚体矩阵的元素，然后赋值给父变换矩阵，实时跟踪手术导航；
所述刚体矩阵，用于描述刚体物体空间位置和姿态，具体为通过计算所述三维重建模型数据的平移向量和旋转矩阵，得到所述刚体矩阵；
所述父变换矩阵，用于将参考坐标系与三维重建模型的局部坐标系进行对应，具体为通过所述坐标配准模块得到的最优刚性变换矩阵，结合所述三维重建模型数据的平移向量和旋转矩阵，得到所述父变换矩阵。
与现有技术相比，本发明的有益效果是：
（1）针对目前手术导航定位系统的图像配准容易受到图像噪声干扰和容易丢失图像细节的技术问题，本方案采用去噪算法进行数据预处理，可以保留细节的同时去除噪声，提高了配准的准确度。
（2）针对目前手术导航定位系统三维建模容易出现失准现象，建模的精确程度不足的技术问题，本方案采用算法进行三维体绘制，提高了建模的精度。
（3）针对目前手术导航定位系统在实时导航定位过程中的信息丢失现象，本发明创造性地采用基于对抗训练的信息还原算法，还原术中因遮挡而丢失的图像信息，提高了手术导航的安全性。
附图说明
图1为本发明提供的一种手术导航定位系统所执行步骤的流程示意图；
图2为本发明提供的一种手术导航定位系统的示意图；
图3为三维重建模块所执行步骤的流程示意图；
图4为信息还原模块所执行步骤的流程示意图。
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
实施例一，参阅图1和图2，本发明提供的一种手术导航定位系统，包括数据采集模块、数据预处理模块、模型重建模块、坐标配准模块、信息还原模块和定位跟踪模块，所述数据采集模块采集患者原始图像和、患者CT图像和实时视频数据，并将患者原始图像和患者CT图像发送至数据预处理模块，将所述实时视频数据发送至信息还原模块，所述数据预处理模块接收数据采集模块发送的患者原始图像和患者CT图像，利用去噪算法对患者CT图像进行滤波去噪，并将滤波去噪处理后得到的去噪CT图像发送至模型重建模块和坐标配准模块，所述模型重建模块接收来自数据预处理模的去噪CT图像，将去噪CT图像三维重建，得到三维重建数据，所述三维重建模块将所述三维重建数据发送至坐标配准模块和信息还原模块，所述坐标配准模块接收来自数据预处理模块的去噪CT图像和来自模型重建模块的三维重建数据，并对去噪CT图像和三维重建数据进行坐标配准，得到最优刚性变化矩阵，并将所述最优刚性变化矩阵发送至信息还原模块和定位跟踪模块，所述信息还原模块接收来自模型重建模块的三维重建数据和来自坐标配准模块的最优刚性变化矩阵，采用对抗训练的方法得到的生成器，并采用生成器对实时视频数据进行坐标还原，得到信息还原实时视频，并将所述信息还原实时视频发送至定位跟踪模块，所述定位跟踪模块接收来自信息还原模块的信息还原实时视频和来自坐标配准模块的刚性变化矩阵，实现实时跟踪手术导航。
实施例二，参阅图1和图2，该实施例基于上述实施例，所述数据采集模块，用于数据采集，具体是采集患者原始图像、患者CT图像和实时视频数据。
实施例三，参阅图1，该实施例基于上述实施例，所述数据预处理模块，用于数据预处理，具体是对CT图像进行滤波去噪，包括以下步骤：
步骤S21：初步设定，将患者原始图像设为引导图I，并逐一将CT图像中的每个像素设置为目标像素i，将目标像素i的相邻像素设置为相邻领域像素j；
步骤S22：通过引导图生成自适应权重值/>，计算公式如下：
，
式中，o是CT图像，q是去噪CT图像，i是目标像素，j是相邻领域像素，是CT图像中的相邻领域像素，/>是经过滤波去噪后的目标像素，/>是自适应权重值，/>是目标像素所对应的权重值；
通过执行上述操作，针对目前手术导航定位系统的图像配准容易受到图像噪声干扰和容易丢失图像细节的技术问题，本发明采用去噪算法进行数据预处理，实现了保留细节的同时去除噪声，提高了配准的准确度。
实施例四，参阅图1和图3，该实施例基于上述实施例，所述三维重建模块，用于三维重建，具体包括以下步骤：
步骤S31：在x，y，z三维方向上进行线性插值，计算公式如下：
，
式中，是体素，i、j和k都是0或1的随机数，相互独立，i是样本位置在x方向上的分数偏移量，j是样本位置在y方向上的分数偏移量，k是样本位置在z方向上的分数偏移量；
步骤S32：梯度估值，对每个方向上的采样点，和与采样点相邻的两个重采样点进行梯度估值，步骤包括：
步骤S321：对x方向上的采样点，和与采样点相邻的两个重采样点进行梯度估值，计算公式如下：
，
式中，为x方向的梯度估值，G为向前差分值，∆x为x方向上的差分算子；
步骤S322：对y方向上的采样点，和与采样点相邻的两个重采样点进行梯度估值，计算公式如下：
，
式中，为y方向的梯度估值，G为向前差分值，∆y为y方向上的差分算子；
步骤S323：对z方向上的采样点，和与采样点相邻的两个重采样点进行梯度估值，计算公式如下：
，
式中，为z方向的梯度估值，G为向前差分值，∆z为z方向上的差分算子；
步骤S33：计算重采样位置表面的阴影颜色，计算公式如下：
，
式中，其中，I是表面的最终颜色，是漫反射系数，/>是镜面反射系数，/>是漫反射的颜色，/>是镜面反射的颜色，N是表面法线，L是光线方向，R是从光线方向反射得到的反射向量，V是从表面到观察者的向量，p是光照模型的镜面反射指数；
步骤S34：渲染合成三维模型，得到三维重建数据，计算公式如下：
，
式中，I是光线穿过体数据a点到b点后的光线强度，q(s)是光纤在s点处的能量贡献，k(u)是光学深度函数。
通过执行上述操作，针对目前手术导航定位系统三维建模容易出现失准现象，建模的精确程度不足的技术问题，本方案采用算法进行三维体绘制，提高了建模的精度。
实施例五，参阅图1和图2，该实施例基于上述实施例，进一步地，所述坐标配准模块，用于坐标配准，包括粗略配准单元和精细配准单元，所述粗略配准单元，用于粗略配准，包括以下步骤：
步骤S41：粗略配准，具体包括步骤S411、步骤S412、步骤S413和步骤S414：
步骤S411：通过外置标记法在患者换出粘贴标记点；
步骤S412：以采集数据的摄像头为原点建立基于患者原始图像的患者坐标系P，建立基于三维重建数据的图像坐标系I，建立基于患者对应的映射点的参考坐标系R；
步骤S413：获取患者坐标系P上的标记点，使用罗德利斯公式和双目摄像头计算患者坐标系P相对于参考坐标系R的转换矩阵/>，计算公式如下：
，
式中，由一个旋转矩阵/>和一个平移矩阵/>构成，1是一个缩放因子，表示矩阵进行缩小和放大的过程；
步骤S414：计算配准初始矩阵，计算公式如下：
，
式中，是参考坐标系R相对于图像坐标系I的转换矩阵；
所述精细配准单元，用于精细配准，包括以下步骤：
步骤S42：精细配准，具体包括步骤S421、步骤S422和步骤S423：
步骤S421：计算配准初始矩阵，所用公式如下：
；
步骤S422：计算源点云，设相匹配的点对中，源点云为，将源点云/>映射到图像空间中，得到新的源点云/>，计算公式如下：
，
式中，为与图像空间中的源点云/>相映射的源点云/>；
步骤S423：计算最优刚性变换矩阵，通过计算刚性变换矩阵，使得平方和D最小，得到最优刚性变换矩阵，计算公式如下：
，
式中，为源点云表面上的点，/>为目标点云上的点，/>为目标点云对应的法向量，/>为源点云上表面的点到目标点云表面对应切平面的距离，D是所述源点云上表面的点到目标点云表面对应切平面的距离的平方和。
实施例六，参阅图1和图4，该实施例基于上述实施例，所述信息还原模块，包括模型训练单元和信息生成单元，所述模型训练单元用于模型训练，包括以下步骤：
步骤S51：训练生成器G，引入两个单独的数据流和/>训练生成器G，在/>中，使用一个外部光流网络作为训练/>编码器和解码器的催化剂，使用FlowNDt方法将时间t的候选帧和时间t-1之间的一帧作为输入，以生成光流图训练生成器，在/>中，根据过去输入帧的序列，学习修复候选帧的相关特征，并引入3F卷积层处理时间体积数据，计算公式如下：
，
式中，是学习任务权重的3F卷积滤波器，b是其相应的偏差，X是输入数据，M是相应的二进制遮挡掩码，sum是求和函数，ot是卷积层输出，/>代表元素级乘积；
步骤S52：训练鉴别器，采用预训练的VGG网络训练空间鉴别器，采用8层3F顺序卷积网络训练时间鉴别器/>，两者同时训练；
步骤S53：引入损失函数，采用对抗训练方法优化生成器G的信息还原性能，具体包括步骤S531、步骤S532、步骤S533、步骤S534和步骤S535：
步骤S531：采用对抗损失函数，优化生成器G生成的图像质量，对抗损失函数的计算公式如下：
，
式中，F是鉴别器，是生成的模型输出，/>是底面真实无遮挡图像，D是对于输入和输出样本的期望值；
步骤S532：计算空间鉴别器和时间鉴别器/>的对抗损失/>，计算公式如下：
，
式中，表示空间鉴别器/>的对抗损失，/>表示时间鉴别器/>的对抗损失；
步骤S533：采用重建损失函数优化误差，计算丢失区域和可视区域/>的平均绝对误差，计算公式如下：
，
，
式中，mk是遮掩矩阵；
步骤S534：采用内容感知损失函数优化模型输出/>和底面真实无遮挡图像在特征上的不同，包括步骤S5341、步骤S5342和步骤S5343：
步骤S5341：计算空间特征匹配内容感知损失，计算公式如下：
，
式中，是空间鉴别器/>的第n层特征图，/>是覆盖模型输出/>可见的丢失信息部分，N为特征图的层数；
步骤S5342：计算时间特征匹配内容感知损失，计算公式如下：/>
，
式中，是空间鉴别器/>的第n层特征图，/>是模型输出/>中的每一个序列，是底面真实无遮挡图像/>中的每一个序列，/>是覆盖模型输出/>每一个序列的可见的丢失信息部分，N为特征图的层数；
步骤S5343：计算内容感知损失函数，计算公式如下
，
式中，为空间特征匹配内容感知损失，/>是时间特征匹配内容感知损失；
步骤S535：采用风格损失函数优化图像纹理训练，包括步骤S5351、步骤S5352和步骤S5353：
步骤S5351：计算空间风格损失，计算公式如下：
，
式中，是gram矩阵，/>是空间鉴别器/>的第n层特征图，/>是覆盖模型输出可见的丢失信息部分，N为特征图的层数；
步骤S5352：计算时间风格损失C，计算公式如下：
，
式中，是gram矩阵，/>是空间鉴别器/>的第n层特征图，/>是模型输出/>中的每一个序列，/>是底面真实无遮挡图像/>中的每一个序列，/>是覆盖模型输出每一个序列的可见的丢失信息部分，N为特征图的层数；
步骤S5353：计算风格损失，计算公式如下：
，
式中，为空间风格损失，/>为时间风格损失；
所述信息还原单元，用于信息还原，包括以下步骤：
步骤S54：信息还原，使用经过对抗训练的生成器G，对术中患者信息进行信息还原，得到信息还原实时视频。
通过执行上述操作，针对目前手术导航定位系统在实时导航定位过程中的信息丢失现象，本发明创造性地采用基于对抗训练的信息还原算法，还原术中因遮挡而丢失的图像信息，提高了手术导航的安全性。
实施例七，参阅图1和图2，该实施例基于上述实施例，所述跟踪定位模块，用于跟踪定位，具体是通过三维重建模块得到的三维重建模型数据，在此基础上建立一个刚体矩阵，使用串口传输该刚体矩阵的元素，然后赋值给父变换矩阵，实时跟踪手术导航；
所述刚体矩阵，用于描述刚体物体空间位置和姿态，具体为通过计算所述三维重建模型数据的平移向量和旋转矩阵，得到所述刚体矩阵；
所述父变换矩阵，用于将参考坐标系与三维重建模型的局部坐标系进行对应，具体为通过所述坐标配准模块得到的最优刚性变换矩阵，结合所述三维重建模型数据的平移向量和旋转矩阵，得到所述父变换矩阵。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。
Claims (6)
1.一种手术导航定位系统，其特征在于：包括数据采集模块、数据预处理模块、模型重建模块、坐标配准模块、信息还原模块和定位跟踪模块；
所述数据采集模块采集患者原始图像和患者CT图像和实时视频数据，并将患者原始图像和患者CT图像发送至数据预处理模块，将所述实时视频数据发送至信息还原模块；
所述数据预处理模块接收数据采集模块发送的患者原始图像和患者CT图像，利用去噪算法对患者CT图像进行滤波去噪，并将滤波去噪处理后得到的去噪CT图像发送至模型重建模块和坐标配准模块；
所述模型重建模块接收来自数据预处理模的去噪CT图像，将去噪CT图像三维重建，得到三维重建数据，所述三维重建模块将所述三维重建数据发送至坐标配准模块和信息还原模块；
所述坐标配准模块接收来自数据预处理模块的去噪CT图像和来自模型重建模块的三维重建数据，并对去噪CT图像和三维重建数据进行坐标配准，得到最优刚性变化矩阵，并将所述最优刚性变化矩阵发送至信息还原模块和定位跟踪模块；
所述最优刚性变换矩阵，具体为通过精细配准操作计算得到所述最优刚性变换矩阵，包括以下步骤：
步骤S42：精细配准，具体包括步骤S421、步骤S422和步骤S423：
步骤S421：计算配准初始矩阵；
步骤S422：计算源点云；
步骤S423：计算最优刚性变换矩阵；
所述信息还原模块接收来自模型重建模块的三维重建数据和来自坐标配准模块的最优刚性变化矩阵，采用对抗训练的方法得到的生成器，并采用生成器对实时视频数据进行坐标还原，得到信息还原实时视频，并将所述信息还原实时视频发送至定位跟踪模块；
所述定位跟踪模块接收来自信息还原模块的信息还原实时视频和来自坐标配准模块的最优刚性变化矩阵，实现实时跟踪手术导航。
2.根据权利要求1所述的一种手术导航定位系统，其特征在于：所述信息还原模块，包括模型训练单元和信息生成单元，所述模型训练单元用于模型训练，包括以下步骤：
步骤S51：训练生成器G，引入两个单独的数据流和/>训练生成器G，在/>中，使用一个外部光流网络作为训练/>编码器和解码器的催化剂，使用FlowNDt方法将时间t的候选帧和时间t-1之间的一帧作为输入，以生成光流图训练生成器，在/>中，根据过去输入帧的序列，学习修复候选帧的相关特征，并引入3F卷积层处理时间体积数据，计算公式如下：
，
式中，是学习任务权重的3F卷积滤波器，b是其相应的偏差，X是输入数据，M是相应的二进制遮挡掩码，sum是求和函数，ot是卷积层输出，/>代表元素级乘积；
步骤S52：训练鉴别器，采用预训练的VGG网络训练空间鉴别器，采用8层3F顺序卷积网络训练时间鉴别器/>，两者同时训练；
步骤S53：引入损失函数，采用对抗训练方法优化生成器G的信息还原性能，具体包括步骤S531、步骤S532、步骤S533、步骤S534和步骤S535：
步骤S531：采用对抗损失函数，优化生成器G生成的图像质量，对抗损失函数/>的计算公式如下：
，
式中，F是鉴别器，是生成的模型输出，/>是底面真实无遮挡图像，D是对于输入和输出样本的期望值；
步骤S532：计算空间鉴别器和时间鉴别器/>的对抗损失/>，计算公式如下：
，
式中，表示空间鉴别器/>的对抗损失，/>表示时间鉴别器/>的对抗损失；
步骤S533：采用重建损失函数优化误差，计算丢失区域和可视区域/>的平均绝对误差，计算公式如下：
，
，
式中，mk是遮掩矩阵；
步骤S534：采用内容感知损失函数优化模型输出/>和底面真实无遮挡图像/>在特征上的不同，包括步骤S5341、步骤S5342和步骤S5343：
步骤S5341：计算空间特征匹配内容感知损失，计算公式如下：
，
式中，是空间鉴别器/>的第n层特征图，/>是覆盖模型输出/>可见的丢失信息部分，N为特征图的层数；
步骤S5342：计算时间特征匹配内容感知损失，计算公式如下：
，
式中，是空间鉴别器/>的第n层特征图，/>是模型输出/>中的每一个序列，/>是底面真实无遮挡图像/>中的每一个序列，/>是覆盖模型输出/>每一个序列的可见的丢失信息部分，N为特征图的层数；
步骤S5343：计算内容感知损失函数，计算公式如下
，
式中，为空间特征匹配内容感知损失，/>是时间特征匹配内容感知损失；
步骤S535：采用风格损失函数优化图像纹理训练，包括步骤S5351、步骤S5352和步骤S5353：
步骤S5351：计算空间风格损失，计算公式如下：
，
式中，是gram矩阵，/>是空间鉴别器/>的第n层特征图，/>是覆盖模型输出/>可见的丢失信息部分，N为特征图的层数；
步骤S5352：计算时间风格损失C，计算公式如下：
，
式中，是gram矩阵，/>是空间鉴别器/>的第n层特征图，/>是模型输出/>中的每一个序列，/>是底面真实无遮挡图像/>中的每一个序列，/>是覆盖模型输出/>每一个序列的可见的丢失信息部分，N为特征图的层数；
步骤S5353：计算风格损失，计算公式如下：
，
式中，为空间风格损失，/>为时间风格损失；
所述信息还原单元，用于信息还原，包括以下步骤：
步骤S54：信息还原，使用经过对抗训练的生成器G，对术中患者信息进行信息还原，得到信息还原实时视频。
3.根据权利要求2所述的一种手术导航定位系统，其特征在于：所述三维重建模块，用于三维重建，具体包括以下步骤：
步骤S31：在x，y，z三维方向上进行线性插值，计算公式如下：
，
式中，是体素，i、j和k都是0或1的随机数，相互独立，i是样本位置在x方向上的分数偏移量，j是样本位置在y方向上的分数偏移量，k是样本位置在z方向上的分数偏移量；
步骤S32：梯度估值，对每个方向上的采样点，和与采样点相邻的两个重采样点进行梯度估值，步骤包括：
步骤S321：对x方向上的采样点，和与采样点相邻的两个重采样点进行梯度估值，计算公式如下：
，
式中，为x方向的梯度估值，G为向前差分值，∆x为x方向上的差分算子；
步骤S322：对y方向上的采样点，和与采样点相邻的两个重采样点进行梯度估值，计算公式如下：
，
式中，为y方向的梯度估值，G为向前差分值，∆y为y方向上的差分算子；
步骤S323：对z方向上的采样点，和与采样点相邻的两个重采样点进行梯度估值，计算公式如下：
，
式中，为z方向的梯度估值，G为向前差分值，∆z为z方向上的差分算子；
步骤S33：计算重采样位置表面的阴影颜色，计算公式如下：
，
式中，其中，I是表面的最终颜色，是漫反射系数，/>是镜面反射系数，/>是漫反射的颜色，/>是镜面反射的颜色，N是表面法线，L是光线方向，R是从光线方向反射得到的反射向量，V是从表面到观察者的向量，p是光照模型的镜面反射指数；
步骤S34：渲染合成三维模型，得到三维重建数据，计算公式如下：
，
式中，I是光线穿过体数据a点到b点后的光线强度，q(s)是光纤在s点处的能量贡献，k(u)是光学深度函数。
4.根据权利要求2所述的一种手术导航定位系统，其特征在于：所述坐标配准模块，用于坐标配准，包括粗略配准单元和精细配准单元，所述粗略配准单元，用于粗略配准，包括以下步骤：
步骤S41：粗略配准，具体包括步骤S411、步骤S412、步骤S413和步骤S414：
步骤S411：通过外置标记法在患者换出粘贴标记点；
步骤S412：以采集数据的摄像头为原点建立基于患者原始图像的患者坐标系P，建立基于三维重建数据的图像坐标系I，建立基于患处对应的映射点的参考坐标系R；
步骤S413：获取患者坐标系P上的标记点，使用罗德利斯公式和双目摄像头计算患者坐标系P相对于参考坐标系R的转换矩阵/>，计算公式如下：
，
式中，由一个旋转矩阵/>和一个平移矩阵/>构成，1是一个缩放因子，表示矩阵进行缩小和放大的过程；
步骤S414：计算配准初始矩阵，计算公式如下：
，
式中，是参考坐标系R相对于图像坐标系I的转换矩阵；
所述精细配准单元，用于精细配准，包括以下步骤：
步骤S42：精细配准，具体包括步骤S421、步骤S422和步骤S423：
步骤S421：计算配准初始矩阵，所用公式如下：
；
步骤S422：计算源点云，设相匹配的点对中，源点云为，将源点云/>映射到图像空间中，得到新的源点云/>，计算公式如下：
，
式中，为与图像空间中的源点云/>相映射的源点云/>；
步骤S423：计算最优刚性变换矩阵，通过计算刚性变换矩阵，使得平方和D最小，得到最优刚性变换矩阵，计算公式如下：
，
式中，为源点云表面上的点，/>为目标点云上的点，/>为目标点云对应的法向量，/>为源点云上表面的点到目标点云表面对应切平面的距离，D是所述源点云上表面的点到目标点云表面对应切平面的距离的平方和。
5.根据权利要求2所述的一种手术导航定位系统，其特征在于：所述数据采集模块，用于数据采集，具体是采集患者原始图像、患者CT图像和实时视频数据；所述数据预处理模块，用于数据预处理，具体是对CT图像进行滤波去噪，包括以下步骤：
步骤S21：初步设定，将患者原始图像设为引导图I，并逐一将CT图像中的每个像素设置为目标像素i，将目标像素i的相邻像素设置为相邻领域像素j；
步骤S22：通过引导图生成自适应权重值/>，计算公式如下：
，
式中，o是CT图像，q是去噪CT图像，i是目标像素，j是相邻领域像素，是CT图像中的相邻领域像素，/>是经过滤波去噪后的目标像素，/>是自适应权重值，/>是目标像素所对应的权重值。
6.根据权利要求2所述的一种手术导航定位系统，其特征在于：所述跟踪定位模块，用于跟踪定位，具体是通过三维重建模块得到的三维重建模型数据，在此基础上建立一个刚体矩阵，使用串口传输该刚体矩阵的元素，然后赋值给父变换矩阵，实时跟踪手术导航；
所述刚体矩阵，用于描述刚体物体空间位置和姿态，具体为通过计算所述三维重建模型数据的平移向量和旋转矩阵，得到所述刚体矩阵；
所述父变换矩阵，用于将参考坐标系与三维重建模型的局部坐标系进行对应，具体为通过所述坐标配准模块得到的最优刚性变换矩阵，结合所述三维重建模型数据的平移向量和旋转矩阵，得到所述父变换矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311223549.2A CN116942317B (zh) | 2023-09-21 | 2023-09-21 | 一种手术导航定位系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311223549.2A CN116942317B (zh) | 2023-09-21 | 2023-09-21 | 一种手术导航定位系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116942317A true CN116942317A (zh) | 2023-10-27 |
| CN116942317B CN116942317B (zh) | 2023-12-26 |
Family
ID=88458803
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311223549.2A Active CN116942317B (zh) | 2023-09-21 | 2023-09-21 | 一种手术导航定位系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116942317B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015188393A1 (zh) * | 2014-06-11 | 2015-12-17 | 清华大学 | 人体器官运动监测方法、手术导航系统和计算机可读介质 |
| US20190130568A1 (en) * | 2017-10-26 | 2019-05-02 | Kirusha Srimohanarajah | Apparatus and method for establishing patient registration using 3d scanner and tracking system |
| CN110490881A (zh) * | 2019-08-19 | 2019-11-22 | 腾讯科技（深圳）有限公司 | 医学影像分割方法、装置、计算机设备及可读存储介质 |
| US20200321099A1 (en) * | 2019-04-04 | 2020-10-08 | Centerline Biomedical, Inc. | Registration of Spatial Tracking System with Augmented Reality Display |
| US11077320B1 (en) * | 2020-02-07 | 2021-08-03 | Elekta, Inc. | Adversarial prediction of radiotherapy treatment plans |
| CN113947589A (zh) * | 2021-10-26 | 2022-01-18 | 北京理工大学 | 一种基于对抗生成网络的弹载图像去模糊方法 |
| CN115414121A (zh) * | 2022-11-07 | 2022-12-02 | 中南大学 | 一种基于射频定位芯片的外科手术导航系统 |
| WO2023005186A1 (zh) * | 2021-07-29 | 2023-02-02 | 广州柏视医疗科技有限公司 | 一种基于深度学习的模态转换方法 |
| CN115690389A (zh) * | 2022-09-21 | 2023-02-03 | 太原理工大学 | 一种基于深度学习的白内障手术中角膜中心定位系统 |
| WO2023045455A1 (zh) * | 2021-09-21 | 2023-03-30 | 西北工业大学 | 基于分支重构配准的非合作目标三维重建方法 |
| CN116030090A (zh) * | 2022-12-12 | 2023-04-28 | 无锡辉富创科技有限公司 | 基于CNN和Transformer结构的术中导航靶区实时跟踪系统和方法 |
| CN116492052A (zh) * | 2023-04-24 | 2023-07-28 | 中科智博(珠海)科技有限公司 | 一种基于混合现实脊柱三维可视化手术导航系统 |
| CN116687561A (zh) * | 2023-06-14 | 2023-09-05 | 周昌伟 | 基于深度学习的脊柱内镜手术实时辅助方法及系统 |
-
2023
- 2023-09-21 CN CN202311223549.2A patent/CN116942317B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015188393A1 (zh) * | 2014-06-11 | 2015-12-17 | 清华大学 | 人体器官运动监测方法、手术导航系统和计算机可读介质 |
| US20190130568A1 (en) * | 2017-10-26 | 2019-05-02 | Kirusha Srimohanarajah | Apparatus and method for establishing patient registration using 3d scanner and tracking system |
| US20200321099A1 (en) * | 2019-04-04 | 2020-10-08 | Centerline Biomedical, Inc. | Registration of Spatial Tracking System with Augmented Reality Display |
| CN110490881A (zh) * | 2019-08-19 | 2019-11-22 | 腾讯科技（深圳）有限公司 | 医学影像分割方法、装置、计算机设备及可读存储介质 |
| US11077320B1 (en) * | 2020-02-07 | 2021-08-03 | Elekta, Inc. | Adversarial prediction of radiotherapy treatment plans |
| WO2023005186A1 (zh) * | 2021-07-29 | 2023-02-02 | 广州柏视医疗科技有限公司 | 一种基于深度学习的模态转换方法 |
| WO2023045455A1 (zh) * | 2021-09-21 | 2023-03-30 | 西北工业大学 | 基于分支重构配准的非合作目标三维重建方法 |
| CN113947589A (zh) * | 2021-10-26 | 2022-01-18 | 北京理工大学 | 一种基于对抗生成网络的弹载图像去模糊方法 |
| CN115690389A (zh) * | 2022-09-21 | 2023-02-03 | 太原理工大学 | 一种基于深度学习的白内障手术中角膜中心定位系统 |
| CN115414121A (zh) * | 2022-11-07 | 2022-12-02 | 中南大学 | 一种基于射频定位芯片的外科手术导航系统 |
| CN116030090A (zh) * | 2022-12-12 | 2023-04-28 | 无锡辉富创科技有限公司 | 基于CNN和Transformer结构的术中导航靶区实时跟踪系统和方法 |
| CN116492052A (zh) * | 2023-04-24 | 2023-07-28 | 中科智博(珠海)科技有限公司 | 一种基于混合现实脊柱三维可视化手术导航系统 |
| CN116687561A (zh) * | 2023-06-14 | 2023-09-05 | 周昌伟 | 基于深度学习的脊柱内镜手术实时辅助方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116942317B (zh) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Allan et al. | Stereo correspondence and reconstruction of endoscopic data challenge | |
| Pan et al. | ProFORMA: Probabilistic Feature-based On-line Rapid Model Acquisition. | |
| Bonfort et al. | General specular surface triangulation | |
| CN101467887B (zh) | 一种手术导航系统中x射线透视图像标定方法 | |
| CN112132958B (zh) | 一种基于双目视觉的水下环境三维重建方法 | |
| EP1889204A2 (en) | A fast 2d-3d image registration method with application to continuously guided endoscopy | |
| GB2464453A (en) | Determining Surface Normals from Three Images | |
| CN112614169B (zh) | 基于深度学习网络的2d/3d脊椎ct层级配准方法 | |
| CN109801360B (zh) | 基于图像的胃肠三维重构和可视化方法 | |
| CN111080681B (zh) | 一种基于LoG算子的3D/2D医学图像配准方法 | |
| CN114119549A (zh) | 一种多模态医学图像三维点云配准优化方法 | |
| CN111060006A (zh) | 一种基于三维模型的视点规划方法 | |
| WO2018033852A1 (en) | Real-time hand modeling and tracking using sphere-mesh models | |
| CN112927251B (zh) | 基于形态学的场景稠密深度图获取方法、系统及装置 | |
| CN113450410A (zh) | 一种基于对极几何的单目深度和位姿联合估计方法 | |
| WO2010081094A2 (en) | A system for registration and information overlay on deformable surfaces from video data | |
| CN112330813A (zh) | 一种基于单目深度摄像头的着装下三维人体模型重建方法 | |
| CN113160335A (zh) | 一种基于双目视觉的模型点云及三维表面重建方法 | |
| CN116958419A (zh) | 一种基于波前编码的双目立体视觉三维重建系统和方法 | |
| Xia et al. | A robust edge-preserving stereo matching method for laparoscopic images | |
| CN115147709A (zh) | 一种基于深度学习的水下目标三维重建方法 | |
| CN116452752A (zh) | 联合单目稠密slam与残差网络的肠壁重建方法 | |
| CN111275764A (zh) | 基于线段阴影的深度相机视觉里程测量方法 | |
| Zhuang et al. | A dense stereo matching method based on optimized direction-information images for the real underwater measurement environment | |
| Yu et al. | High-speed phase-shifting 3D profilometry on human face assisted by statistical model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |