CN117323002A - 一种基于混合现实技术的神经内镜手术可视化系统 - Google Patents

一种基于混合现实技术的神经内镜手术可视化系统 Download PDF

Info

Publication number
CN117323002A
CN117323002A CN202311616087.0A CN202311616087A CN117323002A CN 117323002 A CN117323002 A CN 117323002A CN 202311616087 A CN202311616087 A CN 202311616087A CN 117323002 A CN117323002 A CN 117323002A
Authority
CN
China
Prior art keywords
image
module
focus
patient
dimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311616087.0A
Other languages
English (en)
Inventor
崔少飞
唐洲平
李元威
高婷婷
贾旭瑞
李恒望
刘文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wantefu Medical Devices Co ltd
Original Assignee
Beijing Wantefu Medical Devices Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wantefu Medical Devices Co ltd filed Critical Beijing Wantefu Medical Devices Co ltd
Priority to CN202311616087.0A priority Critical patent/CN117323002A/zh
Publication of CN117323002A publication Critical patent/CN117323002A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Robotics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Gynecology & Obstetrics (AREA)
  • Endoscopes (AREA)

Abstract

本发明涉及医疗器械领域，提供一种基于混合现实技术的神经内镜手术可视化系统，包括超细神经内窥镜、终端机和头显眼镜，本发明将多个影像相结合，扩大医生在神经外科手术时的视野范围，使得医生在术中患者的病情能够有更加清晰地认识，极大地提高了手术过程中医生对于病况的判断，同时利用三维模型辅助手术，使医生在视野盲区中仍然能进行手术，为精准化的手术实施有效的依据；本发明对患者的CT的影像数据进行分析，结合超细神经内窥镜拍摄的影像，标注勾勒患者病灶，分析患者病灶的大小和位置关系，推荐相应的手术方案，指导医生进行手术过程，提高了手术的效率，降低了医生的失误率。

Description

一种基于混合现实技术的神经内镜手术可视化系统
技术领域
本发明涉及医疗器械领域，具体地说是一种基于混合现实技术的神经内镜手术可视化系统。
背景技术
神经内镜手术是一种微创手术技术，用于处理多种神经系统疾病和问题，例如颅内肿瘤、脊柱病变、颅脑损伤、脑血管病变等；手术前需要通过影像学检查精确定位病变或目标区域；医生需要以缓慢且细致的方式进行操作，同时保持手术的稳定性；每个患者的神经结构和病变情况都可能不同，因此手术需要根据个体情况制定对应的治疗方案。
传统的神经内镜手术，因为镜头与人体组织距离较近，手术过程医生往往只有镜头下方几厘米的视野，且为了提高清晰度，通常还要对镜头画面进行放大，进一步减小了医生的视野范围，致使医生无法准确判断患者整体的情况，如病灶的大小、病灶的相对位置、手术器械与病灶的相对关系等。
中国专利公告号为：CN113349914A，混合现实可视化操作系统，所述系统包括X射线定位模块、第一光学定位模块、第二光学定位模块、第一数据采集模块、第二数据采集模块、处理模块、可穿戴模块及操作模块；处理模块用于根据X射线定位信号及第一光学定位信号确定目标部位相对于第一光学定位模块的实际空间信息，并根据第一光学定位信号及第二光学定位信号确定操作模块相对于第一光学定位模块的虚拟空间信息；可穿戴模块，用于显示实际空间信息及虚拟空间信息，为操作模块提供操作信息；上述发明基于所述实际空间信息及所述虚拟空间信息可以精准确定目标部位的空间位置信息，为操作模块提供准确指引，提高对目标部位的手术成功率；但上述发明提高清晰度的同时，减小了医生的视野范围，医生无法准确判断患者整体的情况，如病灶的大小、病灶的相对位置、手术器械与病灶的相对关系等，影响手术的正常进行。
综上，因此本发明提供了一种基于混合现实技术的神经内镜手术可视化系统，以解决上述问题。
发明内容
本发明提供了一种基于混合现实技术的神经内镜手术可视化系统，通过超细神经内窥镜、终端机和头显眼镜，提供多种影像的融合视角，以解决现有技术中医生视野范围较小的问题。
本发明具体的技术方案如下：
一种基于混合现实技术的神经内镜手术可视化系统，包括超细神经内窥镜、终端机和头显眼镜；所述超细神经内窥镜包括镜杆、把手、标记器、线缆、影像接口和光源接口，所述镜杆的内部集成有电子镜头和光纤，所述把手设置在镜杆的上方，所述标记器设置在把手的两侧，所述线缆的一端设置在把手远离镜杆的一端上，所述线缆的内部包裹有数据线和光纤，所述线缆的形状是Y形，所述线缆远离把手的两端分别与影像接口和光源接口连接；所述终端机包括三维重建模块、影像配准模块、影像融合模块、语音切换模块、病灶绘制模块、方案推荐模块和病灶更新模块；所述头显眼镜包括双目相机、眼镜主体、头带、影音传输线和麦克风；所述超细神经内窥镜与终端机之间通过线缆连接，所述终端机与头显眼镜之间通过影音传输线连接。
优选的一种技术方案，所述双目相机集成有图像识别处理器，所述眼镜主体设置有用于视线追踪的红外传感器，所述图像识别处理器用于对双目相机拍摄的影像进行识别，并将识别的影像数据发送至终端机，所述红外传感器基于视线追踪原理，对医生的视线进行追踪，并将数据发送至终端机。
优选的一种技术方案，所述三维重建模块根据患者CT的影像数据，生成患者头部结构的三维模型；
所述影像配准模块用于分析患者CT和双目相机拍摄的影像数据，将三维模型与患者头部结构进行配准；
所述影像融合模块用于记录超细神经内窥镜的位置信息，并将三维重建模块中的三维模型与超细神经内窥镜和双目相机拍摄的影像进行融合；
所述语音切换模块使用头显眼镜中的麦克风采集医生的语音指令，并根据语音指令切换场景画面；
所述病灶绘制模块用于分析患者CT的影像数据，在影像融合模块融合后的影像上标注患者的病灶，并沿病灶的边界进行勾勒；
所述方案推荐模块用于分析病灶绘制模块标注的病灶，根据病灶的大小和位置关系，推荐手术方案，所述手术方案包括小型病灶切除、脑室镜手术、经鼻内镜颅底手术和经颅锁孔手术；
所述病灶更新模块用于分析影像融合模块融合后的影像，结合病灶绘制模块标注的病灶，对手术过程中病灶的大小、形状和位置的变化进行更新。
优选的一种技术方案，所述场景画面包括现实场景、虚拟三维模型场景、内窥镜场景和混合实现场景，所述现实场景用于显示双目相机拍摄的影像，所述虚拟三维模型场景用于显示三维模型构建的虚拟影像，所述内窥镜场景用于显示超细神经内窥镜拍摄的影像，所述混合实现场景用于显示影像融合模块生成的融合影像。
优选的一种技术方案，所述三维重建模块获取患者的CT的影像数据，将三维空间划分为均匀的小立方体单元，根据CT的影像数据对每个单元赋予对应的属性值，根据单元的位置和属性值，生成三维模型。
优选的一种技术方案，所述超细神经内窥镜设置有光学深度传感器，所述影像配准模块使用视觉同步定位和建图算法，处理超细神经内窥镜拍摄的影像数据，基于光学深度传感器的检测数据，结合三维模型对超细神经内窥镜进行实时定位，所述影像配准模块使用视觉三角测量法，基于双目相机和超细神经内窥镜拍摄的影像数据，计算患者头部结构的三维坐标，根据三维坐标推导患者头部结构的三维形状，所述影像配准模块使用刚体转换法，保持三维模型形状和大小不变的前提下，对三维模型进行平移和旋转，所述影像配准模块使用迭代最近点算法，迭代计算三维形状上的点与三维模型上的最近点之间的距离，并根据距离调整三维模型的大小，所述影像配准模块使用非刚体转换法，对三维模型进行局部的拉伸、挤压和弯曲，所述影像配准模块使用最小均方配准算法，调整变换参数，将三维模型与双目相机和超细神经内窥镜拍摄的影像数据的差异最小化；
迭代最近点算法的基本步骤为：选择一个点作为当前最近点，将其设为最小距离点，对于每个数据点，计算其与当前最近点之间的距离，如果该点距离小于当前最小距离，则将该点设为最小距离点，重复上述操作，直到计算完所有数据点，返回最小距离点作为最近点。
优选的一种技术方案，所述影像融合模块使用结构光投影法，基于超细神经内窥镜拍摄的影像数据，对三维模型进行投影，使三维模型投影和超细神经内窥镜拍摄的影像处在同一个平面上，所述影像融合模块使用金字塔融合算法，将同一平面下的三维模型投影和超细神经内窥镜拍摄影像进行多尺度分解，并在相同尺度下进行合成，生成合成影像，所述影像融合模块使用图像拼接算法，提取合成影像和双目相机拍摄的影像的特征点，使用尺度不变特征变换算法将两个图像的特征点进行匹配，确定特征点在不同图像的对应关系，基于匹配的特征点对，使用随机样本一致算法，计算标定矩阵，根据标定矩阵对图像进行透视变换，使用渐变融合法将变换后的图像进行融合，生成融合影像；
尺度不变特征变换算法的基本步骤为：在特征点周围划定一个32x32像素的图像块，在该图像块中计算每个像素的梯度和方向信息，根据梯度和方向信息，生成一个针对图像块的128维描述子，对第一个图像块的描述子与第二个图像的所有图像块的描述子进行比较，使用余弦相似度法计算描述子之间的相关性，选择相关性最高的特征点对作为匹配结果；
随机样本一致算法的基本步骤为：随机选择一个最小样本集合作为初始模型参数的估计，对于每个样本集合，计算基础矩阵，对于剩余的数据点，计算其与模型之间的误差，统计在误差阈值内的数据点，作为当前模型的支持点，当支持点超过原有数据点的四分之一，将支持点导入样本集，并重复上述步骤，直到迭代n次，寻找到拟合数据的最优标定矩阵；其中迭代次数n由医生进行设置，迭代的次数越多，计算的精度越高，消耗的计算效率也越多。
优选的一种技术方案，所述语音切换模块使用语音识别算法将医生的语音指令转换为文本形式，所述语音切换模块使用自然语言处理和理解算法对于识别的文本进行解析，并根据解析结果对场景画面进行切换。
优选的一种技术方案，所述病灶绘制模块储存有医生预设病灶的形状、颜色、纹理和轮廓特征，所述病灶绘制模块使用图像分割算法，基于CT的影像数据，结合影像融合模块的融合影像，将具有病灶类似特征的区域从融合影像中分割出来，并对分割的区域进行标注，所述病灶绘制模块使用主动轮廓模型法，基于标注的病灶初始轮廓，根据影像的梯度信息和约束力迭代地调整轮廓，并根据轮廓对病灶进行勾勒。
优选的一种技术方案，所述方案推荐模块使用规则引擎，将小型病灶切除、脑室镜手术、经鼻内镜颅底手术和经颅锁孔手术的手术方案，根据病灶的大小、形状和位置定义为预设规则，基于病灶绘制模块标注的病灶信息，应用预设规则来判断和推荐手术方案，所述病灶更新模块使用交叉微分算法，计算影像中像素点和临域像素点之间的差异，确定病灶的边缘位置，对病灶的大小、形状和位置进行更新。
与现有技术相比，本发明具有如下有益效果：
1.本发明将多个影像相结合，扩大医生在神经外科手术时的视野范围，使得医生在术中患者的病情能够有更加清晰地认识，极大地提高了手术过程中医生对于病况的判断，同时利用三维模型辅助手术，使医生在视野盲区中仍然能进行手术，为精准化的手术实施有效的依据。
2.本发明对患者的CT的影像数据进行分析，结合超细神经内窥镜拍摄的影像，标注勾勒患者病灶，分析患者病灶的大小和位置关系，推荐相应的手术方案，指导医生进行手术过程，提高了手术的效率，降低了医生的失误率。
附图说明
图1是本发明整体结构示意图。
图2是本发明超细神经内窥镜结构示意图。
图3是本发明硬件结构示意图。
图4是本发明混合现实影像显示示意图。
图中：
1、镜杆；2、把手；3、标记器；4、线缆；5、影像接口；6、光源接口；7、终端机；8、头显眼镜；9、影音传输线。
具体实施方式
下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例用于说明本发明，但不能用来限制本发明的范围。
如图1-4所示，本发明提供一种基于混合现实技术的神经内镜手术可视化系统，包括超细神经内窥镜、终端机7和头显眼镜8；所述超细神经内窥镜包括镜杆1、把手2、标记器3、线缆4、影像接口5和光源接口6，所述镜杆1的内部集成有电子镜头和光纤，所述把手2设置在镜杆1的上方，所述标记器3设置在把手2的两侧，所述线缆4的一端设置在把手2远离镜杆1的一端上，所述线缆4的内部包裹有数据线和光纤，所述线缆4的形状是Y形，所述线缆4远离把手2的两端分别与影像接口5和光源接口6连接；所述终端机7包括三维重建模块、影像配准模块、影像融合模块、语音切换模块、病灶绘制模块、方案推荐模块和病灶更新模块；所述头显眼镜8包括双目相机、眼镜主体、头带、影音传输线9和麦克风；所述超细神经内窥镜与终端机7之间通过线缆4连接，所述终端机7与头显眼镜8之间通过影音传输线9连接，所述镜杆1的外径是1.6mm。
作为本发明的一种实施方式，所述双目相机集成有图像识别处理器，所述眼镜主体设置有用于视线追踪的红外传感器，所述图像识别处理器用于对双目相机拍摄的影像进行识别，并将识别的影像数据发送至终端机7，所述红外传感器基于视线追踪原理，对医生的视线进行追踪，并将数据发送至终端机7。
作为本发明的一种实施方式，所述三维重建模块根据患者CT的影像数据，生成患者头部结构的三维模型；
所述影像配准模块用于分析患者CT和双目相机拍摄的影像数据，将三维模型与患者头部结构进行配准；
所述影像融合模块用于记录超细神经内窥镜的位置信息，并将三维重建模块中的三维模型与超细神经内窥镜和双目相机拍摄的影像进行融合；
所述语音切换模块使用头显眼镜8中的麦克风采集医生的语音指令，并根据语音指令切换场景画面；
所述病灶绘制模块用于分析患者CT的影像数据，在影像融合模块融合后的影像上标注患者的病灶，并沿病灶的边界进行勾勒；
所述方案推荐模块用于分析病灶绘制模块标注的病灶，根据病灶的大小和位置关系，推荐手术方案，所述手术方案包括小型病灶切除、脑室镜手术、经鼻内镜颅底手术和经颅锁孔手术；
所述病灶更新模块用于分析影像融合模块融合后的影像，结合病灶绘制模块标注的病灶，对手术过程中病灶的大小、形状和位置的变化进行更新。
作为本发明的一种实施方式，所述场景画面包括现实场景、虚拟三维模型场景、内窥镜场景和混合实现场景，所述现实场景用于显示双目相机拍摄的影像，所述虚拟三维模型场景用于显示三维模型构建的虚拟影像，所述内窥镜场景用于显示超细神经内窥镜拍摄的影像，所述混合实现场景用于显示影像融合模块生成的融合影像。
作为本发明的一种实施方式，所述三维重建模块获取患者的CT的影像数据，将三维空间划分为均匀的小立方体单元，根据CT的影像数据对每个单元赋予对应的属性值，根据单元的位置和属性值，生成三维模型。
作为本发明的一种实施方式，所述超细神经内窥镜设置有光学深度传感器，所述影像配准模块使用视觉同步定位和建图算法，处理超细神经内窥镜拍摄的影像数据，基于光学深度传感器的检测数据，结合三维模型对超细神经内窥镜进行实时定位，所述影像配准模块使用视觉三角测量法，基于双目相机和超细神经内窥镜拍摄的影像数据，计算患者头部结构的三维坐标，根据三维坐标推导患者头部结构的三维形状，所述影像配准模块使用刚体转换法，保持三维模型形状和大小不变的前提下，对三维模型进行平移和旋转，所述影像配准模块使用迭代最近点算法，迭代计算三维形状上的点与三维模型上的最近点之间的距离，并根据距离调整三维模型的大小，所述影像配准模块使用非刚体转换法，对三维模型进行局部的拉伸、挤压和弯曲，所述影像配准模块使用最小均方配准算法，调整变换参数，将三维模型与双目相机和超细神经内窥镜拍摄的影像数据的差异最小化；
分析超细神经内窥镜的位置和方向的公式可表示为：
式中，p表示三维坐标中的3D点，p_proj表示将3D点通过当前估计的位姿投影到图像上得到的2D点，distance()表示2D点之间的距离度量，prior()表示位姿的先验信息，lambda表示权重参数；
视觉三角测量法的基本原理是三角形相似公式：
；
式中，边长1、边长2和边长3是已知三角形中的三边长，角1、角2和角3是对应的角度，将影像中的点视为三维坐标系中三角形的端点，即可通过多次计算得到不同点之间的位置关系；
迭代最近点算法的基本步骤为：选择一个点作为当前最近点，将其设为最小距离点，对于每个数据点，计算其与当前最近点之间的距离，如果该点距离小于当前最小距离，则将该点设为最小距离点，重复上述操作，直到计算完所有数据点，返回最小距离点作为最近点。
作为本发明的一种实施方式，所述影像融合模块使用结构光投影法，基于超细神经内窥镜拍摄的影像数据，生成影像所在的平面，并将三维模型投影到该平面上，所述影像融合模块使用金字塔融合算法，将同一平面下的三维模型投影和超细神经内窥镜拍摄影像进行多尺度分解，并在相同尺度下进行合成，生成合成影像，所述影像融合模块使用图像拼接算法，提取合成影像和双目相机拍摄的影像的特征点，使用尺度不变特征变换算法将两个图像的特征点进行匹配，确定特征点在不同图像的对应关系，基于匹配的特征点对，使用随机样本一致算法，计算标定矩阵，根据标定矩阵对图像进行透视变换，使用渐变融合法将变换后的图像进行融合，生成融合影像；
尺度不变特征变换算法的基本步骤为：在特征点周围划定一个32x32像素的图像块，在该图像块中计算每个像素的梯度和方向信息，根据梯度和方向信息，生成一个针对图像块的128维描述子，对第一个图像块的描述子与第二个图像的所有图像块的描述子进行比较，使用余弦相似度法计算描述子之间的相关性，选择相关性最高的特征点对作为匹配结果；
随机样本一致算法的基本步骤为：随机选择一个最小样本集合作为初始模型参数的估计，对于每个样本集合，计算基础矩阵，对于剩余的数据点，计算其与模型之间的误差，统计在误差阈值内的数据点，作为当前模型的支持点，当支持点超过原有数据点的四分之一，将支持点导入样本集，并重复上述步骤，直到迭代n次，寻找到拟合数据的最优标定矩阵；其中迭代次数n由医生进行设置，迭代的次数越多，计算的精度越高，消耗的计算效率也越多。
作为本发明的一种实施方式，所述语音切换模块使用语音识别算法将医生的语音指令转换为文本形式，所述语音切换模块使用自然语言处理和理解算法对于识别的文本进行解析，并根据解析结果对场景画面进行切换。
作为本发明的一种实施方式，所述病灶绘制模块储存有医生预设病灶的形状、颜色、纹理和轮廓特征，所述病灶绘制模块使用图像分割算法，基于CT的影像数据，结合影像融合模块的融合影像，将具有病灶类似特征的区域从融合影像中分割出来，并对分割的区域进行标注，所述病灶绘制模块使用主动轮廓模型法，基于标注的病灶初始轮廓，根据影像的梯度信息和约束力迭代地调整轮廓，并根据轮廓对病灶进行勾勒。
作为本发明的一种实施方式，所述方案推荐模块使用规则引擎，将小型病灶切除、脑室镜手术、经鼻内镜颅底手术和经颅锁孔手术的手术方案，根据病灶的大小、形状和位置定义为预设规则，基于病灶绘制模块标注的病灶信息，应用预设规则来判断和推荐手术方案，所述病灶更新模块使用交叉微分算法，计算影像中像素点和临域像素点之间的差异，确定病灶的边缘位置，对病灶的大小、形状和位置进行更新；
交叉微分算法使用以下公式来计算差异：
；
式中，l(x,y)是影像中坐标为(x,y)的坐标值，通过计算像素点与其右侧像素点以及下方像素点之间的差异，来评估像素点的梯度，从而识别出影像的边缘和纹理等特征。
实施例：如图1-4所示，本实施例以某患者在医院进行神经内镜手术为例；患者首先在医院进行头部CT，医生拿到患者的CT的影像数据后，使用三维重建模块生成患者头部结构的三维模型；随后医生进行手术初期的准备工作，在患者头部切开微创切口，将超细神经内窥镜探入患者头部，其中镜杆1采用细小圆柱结构，尺寸小、重量轻，可短期放置于颅内，内部集成电子镜头和穿光光纤，实时采集患者颅内病灶影像，标记器3是一种现有的光线发射器，发生光线形成异性标记点，光源接口6是一种螺纹接口，用于获取光源到超细神经内窥镜；影像接口5是一种航空插头，连接系统主机，用于影像的传输，航空插头的连接处能够自动锁紧，不易出现脱落，保证连接的可靠性。
随后医生头戴头显眼镜8，使用头显眼镜8上的双目相机对患者头部进行拍摄，且此时超细神经内窥镜对患者头部的内部结构进行拍摄，影像配准模块使用视觉同步定位和建图算法对超细神经内窥镜进行实时定位，标记器3形成的异性标记点作为一种特征点，辅助影像配准模块计算患者头部结构的三维坐标，影像配准模块根据三维坐标推导患者头部结构的三维形状，将三维模型与双目相机和超细神经内窥镜拍摄的影像进行配准；配准完成后的三维模型在头显眼镜8和终端机7上进行显示。
同时，终端机7上的影像融合模块将三维模型与超细神经内窥镜和双目相机拍摄的影像进行融合，生成融合影像；由于三维模型附带大量的三维坐标数据，终端机7利用三维坐标数据，在融合影像上显示三维坐标提示信息，并显示患者头部各结构的相对位置关系，实现混合现实的技术效果。
由于终端机7上的病灶绘制模块储存有医生预设病灶的形状、颜色、纹理和轮廓特征，此时病灶绘制模块使用图像分割算法，将具有病灶类似特征的区域从融合影像中分割出来，并对分割的区域进行标注，使用主动轮廓模型法对病灶进行勾勒。
同时终端机7上的方案推荐模块使用规则引擎，应用预设规则来判断和推荐手术方案；最后医生根据推荐的手术方案，在标注勾勒的病灶辅助下，进行手术。
手术进行过程中，终端机7和头显眼镜8上可显示现实场景、虚拟三维模型场景、内窥镜场景和混合实现场景，医生可以根据手术需求发出语音指令，语音切换模块使用语音识别算法将医生的语音指令转换为文本形式，使用自然语言处理和理解算法对于识别的文本进行解析，并根据解析结果对场景画面进行切换；此外，头显眼镜8上设置红外传感器，使头显眼镜8具备视线追踪功能，可对医生的视线进行追踪，获取医生视线的焦点位置，并对视线焦点的图像信息进行扩展显示；病灶更新模块使用交叉微分算法，计算影像中像素点和临域像素点之间的差异，确定病灶的边缘位置，对病灶的大小、形状和位置进行更新，避免因手术中病灶的形状位置出现变化，造成手术失误。
本发明的实施方式是为了示例和描述起见而给出的，尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于混合现实技术的神经内镜手术可视化系统，其特征在于，包括超细神经内窥镜、终端机（7）和头显眼镜（8）；所述超细神经内窥镜包括镜杆（1）、把手（2）、标记器（3）、线缆（4）、影像接口（5）和光源接口（6），所述镜杆（1）的内部集成有电子镜头和光纤，所述把手（2）设置在镜杆（1）的上方，所述标记器（3）设置在把手（2）的两侧，所述线缆（4）的一端设置在把手（2）远离镜杆（1）的一端上，所述线缆（4）的内部包裹有数据线和光纤，所述线缆（4）的形状是Y形，所述线缆（4）远离把手（2）的两端分别与影像接口（5）和光源接口（6）连接；所述终端机（7）包括三维重建模块、影像配准模块、影像融合模块、语音切换模块、病灶绘制模块、方案推荐模块和病灶更新模块；所述头显眼镜（8）包括双目相机、眼镜主体、头带、影音传输线（9）和麦克风；所述超细神经内窥镜与终端机（7）之间通过线缆（4）连接，所述终端机（7）与头显眼镜（8）之间通过影音传输线（9）连接，所述终端机（7）和头显眼镜（8）上设置有用于播放场景画面的显示屏。
2.如权利要求1所述一种基于混合现实技术的神经内镜手术可视化系统，其特征在于，所述双目相机集成有图像识别处理器，所述眼镜主体设置有用于视线追踪的红外传感器。
3.如权利要求1所述一种基于混合现实技术的神经内镜手术可视化系统，其特征在于，所述三维重建模块根据患者CT的影像数据，生成患者头部结构的三维模型；
所述影像配准模块用于分析患者CT和双目相机拍摄的影像数据，将三维模型与患者头部结构进行配准；
所述影像融合模块用于记录超细神经内窥镜的位置信息，并将三维重建模块中的三维模型与超细神经内窥镜和双目相机拍摄的影像进行融合；
所述语音切换模块使用头显眼镜（8）中的麦克风采集医生的语音指令，并根据语音指令切换场景画面；
所述病灶绘制模块用于分析患者CT的影像数据，在影像融合模块融合后的影像上标注患者的病灶，并沿病灶的边界进行勾勒；
所述方案推荐模块用于分析病灶绘制模块标注的病灶，根据病灶的大小和位置关系，推荐手术方案，所述手术方案包括小型病灶切除、脑室镜手术、经鼻内镜颅底手术和经颅锁孔手术；
所述病灶更新模块用于分析影像融合模块融合后的影像，结合病灶绘制模块标注的病灶，对手术过程中病灶的大小、形状和位置的变化进行更新。
4.如权利要求3所述一种基于混合现实技术的神经内镜手术可视化系统，其特征在于，所述场景画面包括现实场景、虚拟三维模型场景、内窥镜场景和混合实现场景，所述现实场景用于显示双目相机拍摄的影像，所述虚拟三维模型场景用于显示三维模型构建的虚拟影像，所述内窥镜场景用于显示超细神经内窥镜拍摄的影像，所述混合实现场景用于显示影像融合模块生成的融合影像。
5.如权利要求3所述一种基于混合现实技术的神经内镜手术可视化系统，其特征在于，所述三维重建模块获取患者的CT的影像数据，将三维空间划分为均匀的小立方体单元，根据CT的影像数据对每个单元赋予对应的属性值，根据单元的位置和属性值，生成三维模型。
6.如权利要求5所述一种基于混合现实技术的神经内镜手术可视化系统，其特征在于，所述超细神经内窥镜设置有光学深度传感器，所述影像配准模块使用视觉同步定位和建图算法，处理超细神经内窥镜拍摄的影像数据，基于光学深度传感器的检测数据，结合三维模型对超细神经内窥镜进行实时定位；
所述影像配准模块使用视觉三角测量法，基于双目相机和超细神经内窥镜拍摄的影像数据，计算患者头部结构的三维坐标，根据三维坐标推导患者头部结构的三维形状；
所述影像配准模块包括刚体转换法和非刚体转换法，所述影像配准模块使用刚体转换法，保持三维模型形状和大小不变的前提下，对三维模型进行平移和旋转，所述影像配准模块使用非刚体转换法，对三维模型进行局部的拉伸、挤压和弯曲。
7.如权利要求6所述一种基于混合现实技术的神经内镜手术可视化系统，其特征在于，所述影像融合模块基于结构光投影法，对三维模型进行投影，并使三维模型投影和超细神经内窥镜拍摄的影像位于同一个平面上；
所述影像融合模块使用金字塔融合算法，将三维模型投影和超细神经内窥镜拍摄影像进行多尺度分解，并在相同尺度下进行合成，生成合成影像；
所述影像融合模块使用图像拼接算法，提取合成影像和双目相机拍摄的影像的特征点，使用尺度不变特征变换算法将两个图像的特征点进行匹配，确定特征点在不同图像的对应关系，基于匹配的特征点对，使用随机样本一致算法，计算标定矩阵，根据标定矩阵对图像进行透视变换，使用渐变融合法将变换后的图像进行融合，生成融合影像。
8.如权利要求3所述一种基于混合现实技术的神经内镜手术可视化系统，其特征在于，所述语音切换模块使用语音识别算法将医生的语音指令转换为文本形式，所述语音切换模块使用自然语言处理和理解算法对于识别的文本进行解析，并根据解析结果对场景画面进行切换。
9.如权利要求7所述一种基于混合现实技术的神经内镜手术可视化系统，其特征在于，所述病灶绘制模块储存有医生预设病灶的形状、颜色、纹理和轮廓特征，所述病灶绘制模块使用图像分割算法，基于CT的影像数据，结合影像融合模块的融合影像，将具有病灶类似特征的区域从融合影像中分割出来，并对分割的区域进行标注，所述病灶绘制模块使用主动轮廓模型法，基于标注的病灶初始轮廓，根据影像的梯度信息和约束力迭代地调整轮廓，并根据轮廓对病灶进行勾勒。
10.如权利要求9所述一种基于混合现实技术的神经内镜手术可视化系统，其特征在于，所述方案推荐模块使用规则引擎，将小型病灶切除、脑室镜手术、经鼻内镜颅底手术和经颅锁孔手术的手术方案，根据病灶的大小、形状和位置定义为预设规则，基于病灶绘制模块标注的病灶信息，应用预设规则来判断和推荐手术方案，所述病灶更新模块使用交叉微分算法，计算影像中像素点和临域像素点之间的差异，确定病灶的边缘位置，对病灶的大小、形状和位置进行更新。
CN202311616087.0A 2023-11-30 2023-11-30 一种基于混合现实技术的神经内镜手术可视化系统 Pending CN117323002A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311616087.0A CN117323002A (zh) 2023-11-30 2023-11-30 一种基于混合现实技术的神经内镜手术可视化系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311616087.0A CN117323002A (zh) 2023-11-30 2023-11-30 一种基于混合现实技术的神经内镜手术可视化系统

Publications (1)

Publication Number Publication Date
CN117323002A true CN117323002A (zh) 2024-01-02

Family

ID=89283378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311616087.0A Pending CN117323002A (zh) 2023-11-30 2023-11-30 一种基于混合现实技术的神经内镜手术可视化系统

Country Status (1)

Country Link
CN (1) CN117323002A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117562678A (zh) * 2024-01-08 2024-02-20 华中科技大学同济医学院附属协和医院 一种用于神经外科手术显微镜的辅助系统

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110036453A (ko) * 2009-10-01 2011-04-07 주식회사 이턴 수술용 영상 처리 장치 및 그 방법
CN102727309A (zh) * 2011-04-11 2012-10-17 上海优益基医疗器械有限公司 结合内窥镜影像的外科手术导航系统和外科手术导航方法
CN106447708A (zh) * 2016-10-10 2017-02-22 吉林大学 一种oct眼底图像数据配准方法
CN107874832A (zh) * 2017-11-22 2018-04-06 合肥美亚光电技术股份有限公司 骨科手术器械导航系统及方法
CN108537833A (zh) * 2018-04-18 2018-09-14 昆明物理研究所 一种红外图像快速拼接方法
CN109009438A (zh) * 2018-09-13 2018-12-18 上海逸动医学科技有限公司 柔性无创定位装置及其在术中手术路径规划的应用及系统
CN111260543A (zh) * 2020-01-19 2020-06-09 浙江大学 一种基于多尺度图像融合和sift特征的水下图像拼接方法
CN111588464A (zh) * 2019-02-20 2020-08-28 忞惪医疗机器人(苏州)有限公司 一种手术导航方法及系统
US20210065451A1 (en) * 2019-08-30 2021-03-04 National Central University Mixed reality system integrated with surgical navigation system
US20210315662A1 (en) * 2020-02-21 2021-10-14 Raytrx, Llc Multi-option all-digital 3d surgery visualization system and control
CN215130034U (zh) * 2021-03-01 2021-12-14 沈阳蓝软智能医疗科技有限公司 三维可视化手术辅助系统
CN215937645U (zh) * 2020-03-31 2022-03-04 吴昀效 一种新型混合现实技术脊柱手术节段定位装置
CN114305690A (zh) * 2021-12-31 2022-04-12 杭州三坛医疗科技有限公司 一种手术导航定位方法及装置
CN115359124A (zh) * 2022-07-08 2022-11-18 南京航空航天大学 用于复杂环境条件下的高精度双目视觉测量方法和装置
CN115553923A (zh) * 2022-09-19 2023-01-03 重庆生物智能制造研究院 踝关节手术机器人系统及其控制方法
CN115615456A (zh) * 2022-08-03 2023-01-17 中国航空工业集团公司沈阳飞机设计研究所 基于迭代最邻近整数点集的传感器误差配准方法及设备
CN115690207A (zh) * 2022-10-18 2023-02-03 中国人民解放军陆军军医大学 一种基于头部临床影像的自动定位方法及装置
CN116721206A (zh) * 2023-05-26 2023-09-08 浙江大学 一种实时的室内场景视觉同步定位与建图方法
CN116823898A (zh) * 2023-06-29 2023-09-29 华科精准（北京）医疗科技有限公司 一种混合现实增强显示方法及系统

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110036453A (ko) * 2009-10-01 2011-04-07 주식회사 이턴 수술용 영상 처리 장치 및 그 방법
CN102727309A (zh) * 2011-04-11 2012-10-17 上海优益基医疗器械有限公司 结合内窥镜影像的外科手术导航系统和外科手术导航方法
CN106447708A (zh) * 2016-10-10 2017-02-22 吉林大学 一种oct眼底图像数据配准方法
CN107874832A (zh) * 2017-11-22 2018-04-06 合肥美亚光电技术股份有限公司 骨科手术器械导航系统及方法
CN108537833A (zh) * 2018-04-18 2018-09-14 昆明物理研究所 一种红外图像快速拼接方法
CN109009438A (zh) * 2018-09-13 2018-12-18 上海逸动医学科技有限公司 柔性无创定位装置及其在术中手术路径规划的应用及系统
CN111588464A (zh) * 2019-02-20 2020-08-28 忞惪医疗机器人(苏州)有限公司 一种手术导航方法及系统
US20210065451A1 (en) * 2019-08-30 2021-03-04 National Central University Mixed reality system integrated with surgical navigation system
CN111260543A (zh) * 2020-01-19 2020-06-09 浙江大学 一种基于多尺度图像融合和sift特征的水下图像拼接方法
US20210315662A1 (en) * 2020-02-21 2021-10-14 Raytrx, Llc Multi-option all-digital 3d surgery visualization system and control
CN215937645U (zh) * 2020-03-31 2022-03-04 吴昀效 一种新型混合现实技术脊柱手术节段定位装置
CN215130034U (zh) * 2021-03-01 2021-12-14 沈阳蓝软智能医疗科技有限公司 三维可视化手术辅助系统
CN114305690A (zh) * 2021-12-31 2022-04-12 杭州三坛医疗科技有限公司 一种手术导航定位方法及装置
CN115359124A (zh) * 2022-07-08 2022-11-18 南京航空航天大学 用于复杂环境条件下的高精度双目视觉测量方法和装置
CN115615456A (zh) * 2022-08-03 2023-01-17 中国航空工业集团公司沈阳飞机设计研究所 基于迭代最邻近整数点集的传感器误差配准方法及设备
CN115553923A (zh) * 2022-09-19 2023-01-03 重庆生物智能制造研究院 踝关节手术机器人系统及其控制方法
CN115690207A (zh) * 2022-10-18 2023-02-03 中国人民解放军陆军军医大学 一种基于头部临床影像的自动定位方法及装置
CN116721206A (zh) * 2023-05-26 2023-09-08 浙江大学 一种实时的室内场景视觉同步定位与建图方法
CN116823898A (zh) * 2023-06-29 2023-09-29 华科精准（北京）医疗科技有限公司 一种混合现实增强显示方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
叶晓健等: "机器人学：建模、控制与视觉 第2版", 31 December 2022, 中国协和医科大学出版社, pages: 153 - 154 *
李明磊等: "图像处理与视觉测量", 30 November 2019, 中国原子能出版社, pages: 102 - 104 *
杨洋等: "基于MATLAB的机器视觉处理技术", 31 March 2022, 东南大学出版社, pages: 144 - 146 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117562678A (zh) * 2024-01-08 2024-02-20 华中科技大学同济医学院附属协和医院 一种用于神经外科手术显微镜的辅助系统
CN117562678B (zh) * 2024-01-08 2024-04-12 华中科技大学同济医学院附属协和医院 一种用于神经外科手术显微镜的辅助系统

Similar Documents

Publication Publication Date Title
CN110033465B (zh) 一种应用于双目内窥镜医学图像的实时三维重建方法
US11963723B2 (en) Visualization of medical data depending on viewing-characteristics
EP2637593B1 (en) Visualization of anatomical data by augmented reality
WO2017211087A1 (zh) 一种内窥镜手术导航方法和系统
US11961193B2 (en) Method for controlling a display, computer program and mixed reality display device
CN114145846B (zh) 基于增强现实辅助的手术导航方法及系统
CN109758230A (zh) 一种基于增强现实技术的神经外科手术导航方法和系统
KR20210051141A (ko) 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
US11295460B1 (en) Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene
Hu et al. Head-mounted augmented reality platform for markerless orthopaedic navigation
CN117323002A (zh) 一种基于混合现实技术的神经内镜手术可视化系统
Ma et al. Moving-tolerant augmented reality surgical navigation system using autostereoscopic three-dimensional image overlay
KR102433473B1 (ko) 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
WO2010081094A2 (en) A system for registration and information overlay on deformable surfaces from video data
KR100346363B1 (ko) 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축방법/장치, 및 그를 이용한 영상유도 수술 장치
US20240081921A1 (en) System and method for verification of conversion of locations between coordinate systems
CN111658142A (zh) 一种基于mr的病灶全息导航方法及系统
WO2009027088A9 (en) Augmented visualization in two-dimensional images
Chung et al. Extraction of visual features with eye tracking for saliency driven 2D/3D registration
CN111743628A (zh) 一种基于计算机视觉的自动穿刺机械臂路径规划的方法
US20230196595A1 (en) Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene
Cui et al. Virtual reality navigation system of nasal endoscopy with real surface texture information
Serna-Morales et al. Acquisition of three-dimensional information of brain structures using endoneurosonography
CN114270408A (zh) 用于控制显示器的方法、计算机程序和混合现实显示设备
JP2024525733A (ja) 手術前及び手術中のシーンの画像データを表示する方法及びシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination