CN116912460A - 基于混合现实手术导航的光注册方法 - Google Patents
基于混合现实手术导航的光注册方法 Download PDFInfo
- Publication number
- CN116912460A CN116912460A CN202310216772.8A CN202310216772A CN116912460A CN 116912460 A CN116912460 A CN 116912460A CN 202310216772 A CN202310216772 A CN 202310216772A CN 116912460 A CN116912460 A CN 116912460A
- Authority
- CN
- China
- Prior art keywords
- point
- data
- patient
- surface normal
- scanning sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000003287 optical effect Effects 0.000 claims abstract description 40
- 239000011521 glass Substances 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 10
- 238000003384 imaging method Methods 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000012952 Resampling Methods 0.000 claims description 8
- 239000000758 substrate Substances 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000002591 computed tomography Methods 0.000 claims description 3
- 238000001356 surgical procedure Methods 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002675 image-guided surgery Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Robotics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于混合现实手术导航的光注册方法，通过将光扫描传感器第一次捕获的患者物理表面数据点和光扫描传感器第二次捕获的患者物理表面数据点进行去噪处理后生成的浮点数集合与患者医学图像表面数据点组成的参考点集合采用ICP算法生成注册点数据集，并将注册点数据集输出至全息眼镜显示成像，本发明无需固定患者以避免患者位置变化造成定位错误，解决了现有光注册技术需要固定患者、无法跟随患者位置变化的问题，从而为混合现实手术导航提供更加有效实用的光注册方法。
Description
技术领域
本发明涉及医疗技术领域，具体涉及一种基于混合现实手术导航的光注册方法。
背景技术
影像导航手术(Image Guided Surgery，IGS)是指以CT、MRI等医学影像数据为基础，医生在术前利用医学影像设备和计算机图形学的方法，对患者多模式的图像数据进行三维重建和可视化处理，获得三维模型，制定合理、定量的手术计划，开展术前模拟；在术中通过注册操作，把三维模型与患者的实际体位、空间中手术器械的实时位置统一在一个坐标系下，利用三维定位系统，对手术器械在空间中的位置实时采集并显示，医生通过观察三维模型中手术器械与病变部位的相对位置关系，对病人进行导航手术治疗，具有病灶定位准、术中创伤小、及手术成功率高等众多优点。
影像导航手术根据手术前获取高分辨率的三维(three-dimensional,3D)人体病灶图像帮助临床医生了解病人病情和制定手术规划，同时根据在手术中获取人体图像以便引导临床医生在手术中实时跟踪和校正手术器械相对病人病灶的空间位置，从而达到准确切除病灶或者精确施药的目的。
现有的影像导航手术通过显示屏向医生展示术中病人病灶的空间位置，为了检查和验证手术的进展，外科医生需要将注意力从患者身上转移，以对照显示屏进行检查，由于外科医生在此段时间内无法监视患者变化，从而导致了潜在的风险；混合现实系统采用头戴式全息眼镜作为显示系统，通过将医学图像和患者放置在同一坐标空间中，在实际患者自身上显示患者的3D医学图像，使得外科医生无需转移对患者的注意力，由于外科医生始终能够监视患者变化，从而能够避免现有影像导航手术的潜在风险；因此，混合现实系统的关键就在于准确地建立术前3D图像和术中实时图像间的空间位置关系,即准确的术前3D图像与术中实时图像注册是混合现实手术导航必须要解决的问题。
目前，用于混合现实手术导航的术前3D图像与术中实时图像的光注册方法通过光学定位设备对患者进行光注册，需要固定患者以避免患者位置变化造成定位错误；然而，在实际手术过程中，患者位置变化是难以避免的，因此，亟需一种无需固定患者、能够跟随患者位置变化的光注册方法。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供基于混合现实手术导航的光注册方法，旨在解决现有光注册技术需要固定患者、无法跟随患者位置变化的问题，从而为混合现实手术导航提供更加有效实用的光注册方法。
本发明是这样实现的，本发明提供的基于混合现实手术导航的光注册方法所采用的技术方案是：所述光注册方法包括以下步骤：
S1：患者数据输入；
所述患者数据包括术前通过MRI或CT扫描获得的患者医学图像表面数据点，以及通过光扫描传感器捕获的患者物理表面数据点；
所述患者医学图像表面数据点组成的参考点集合，用R表示；
所述光扫描传感器第一次捕获的所述患者物理表面数据点组成的浮点数集合，用F1表示；
所述光扫描传感器第二次捕获的所述患者物理表面数据点组成的浮点数集合，用F2表示；
F1和F2为点云数据集合；
S2：对所述光扫描传感器第一次捕获的所述患者物理表面数据点和所述光扫描传感器第二次捕获的所述患者物理表面数据点进行处理，以生成更平滑、更准确的浮点数集合，包括以下步骤：
S2.1：分别对F1和F2中的数据点采用去噪方法进行处理；
所述去噪方法是在每个数据点的邻域上使用统计过滤器去除稀疏离群值；
所述统计过滤器假设F1和F2中的每个数据点与其最近的相邻数据点之间的平均距离满足高斯分布，采用均值方差方法确定距离阈值，即：首先计算F1和F2中的每个数据点与其最近的相邻数据点之间的平均距离，然后计算全部所述平均距离的均值和标准差；所述距离阈值的定义如公式1所示：
公式1：dmax＝μ+α×σ,
其中，dmax表示所述距离阈值，μ表示所述均值，σ表示所述标准差；α是常数，作为比例因子，其值取决于所述相邻数据点的数量；
所述稀疏离群值为大于所述距离阈值的数据点；当F1和F2中的数据点与其最近的相邻数据点之间的平均距离大于dmax时，即确认该数据点为所述稀疏离群值，则删除全部所述稀疏离群值后得到的F1和F2就是采用所述去噪方法处理后的F1和F2；
S2.2：分别估计F1和F2的表面法线；
通过近似值方法直接从F1和F2推断出表面法线，即：首先从F1和F2中获得指定点的最近邻元素，指定点用点p表示，计算点p的表面法线n，然后检查表面法线n的方向是否始终指向视点，所述视点的坐标预设为(0,0,0)，如果表面法线n的方向没有始终指向所述视点，则翻转表面法线n的方向以使其始终指向所述视点；每个点p的每条表面法线n组成了F1和F2的表面法线；
S2.3：分别形成F1和F2的拟合曲线表面；
使用移动最小二乘法对F1和F2的表面法线进行平面拟合，形成拟合曲线表面；
S2.4：将F1和F2合并在一起，使用重采样方法对F1和F2合并后的数据进行重采样，生成更平滑、更准确的浮点数集合，用F表示；
S3：将所述光扫描传感器第一次捕获的所述患者物理表面数据点和所述光扫描传感器第二次捕获的所述患者物理表面数据点处理后生成的浮点数集合与所述患者医学图像表面数据点组成的参考点集合采用ICP算法生成注册点数据集，包括以下步骤：
S3.1：F中的任何已知点用f表示，R中的任何已知点用r表示，f与r之间的最小距离用d表示，通过计算f与每一个可能的r之间的d，从而在R中找到与f最近的相应点r；则f的最小数量值计算公式如公式2所示：
公式2：
其中，αmin表示f最小数量值，NB表示F中的总点数，NC表示F中要排除的点数，di表示f与r之间的最小距离，i为自然数；
S3.2：将权重分配给F和R中每一对具有最小距离的f和r，所述权重分配公式如公式3所示：
公式3：
其中w表示所述权重，αmean表示f的平均数量，t为自然数；
S3.3：所述权重分配完成后，计算每一对相应的f和r的均方根值；
S3.4：采用线搜索方法在F的非线性空间进行搜索，以找出最小均方根值；
S3.5：如果所述最小均方根值小于预设阈值，或者所述线搜索方法的迭代次数大于预设值，将通过ICP算法获得的当前(F,R)转换矩阵确定为所述注册点数据集，计算停止；
S4：所述注册点数据集输出至全息眼镜显示成像。
进一步地，所述光扫描传感器为集成了红外传感器、红外激光发射器和彩色相机的立体视觉深度传感器。
进一步地，所述光扫描传感器为RealSense传感器或Azure Kinect传感器。
进一步地，所述全息眼镜为头戴式的全息眼镜。
进一步地，所述全息眼镜为混合现实全息眼镜。
与现有技术相比，本发明的有益效果在于：本发明提供的基于混合现实手术导航的光注册方法，通过将光扫描传感器第一次捕获的患者物理表面数据点和光扫描传感器第二次捕获的患者物理表面数据点进行去噪处理后生成的浮点数集合与患者医学图像表面数据点组成的参考点集合采用ICP算法生成注册点数据集，并将注册点数据集输出至全息眼镜显示成像，本发明无需固定患者以避免患者位置变化造成定位错误，解决了现有光注册技术需要固定患者、无法跟随患者位置变化的问题，从而为混合现实手术导航提供更加有效实用的光注册方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于混合现实手术导航的光注册方法的步骤示意图。
图2是本发明实施例提供的基于混合现实手术导航的光注册方法的实现流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
以下结合附图与具体实施例，对本发明的技术方案做详细的说明。
本发明提供的基于混合现实手术导航的光注册方法，参照图1，本光注册方法包括以下步骤：
S1：患者数据输入；
患者数据包括术前通过MRI或CT扫描获得的患者医学图像表面数据点，以及通过光扫描传感器捕获的患者物理表面数据点；
患者医学图像表面数据点组成的参考点集合，用R表示；
光扫描传感器第一次捕获的患者物理表面数据点组成的浮点数集合，用F1表示；
光扫描传感器第二次捕获的患者物理表面数据点组成的浮点数集合，用F2表示；
F1和F2为点云数据集合；
S2：对光扫描传感器第一次捕获的患者物理表面数据点和光扫描传感器第二次捕获的患者物理表面数据点进行处理，以生成更平滑、更准确的浮点数集合，包括以下步骤：
S2.1：分别对F1和F2中的数据点采用去噪方法进行处理；
去噪方法是在每个数据点的邻域上使用统计过滤器去除稀疏离群值；
统计过滤器假设F1和F2中的每个数据点与其最近的相邻数据点之间的平均距离满足高斯分布，采用均值方差方法确定距离阈值，即：首先计算F1和F2中的每个数据点与其最近的相邻数据点之间的平均距离，然后计算全部平均距离的均值和标准差；距离阈值的定义如公式1所示：
公式1：dmax＝μ+α×σ,
其中，dmax表示距离阈值，μ表示均值，σ表示标准差；α是常数，作为比例因子，其值取决于相邻数据点的数量；
稀疏离群值为大于距离阈值的数据点；当F1和F2中的数据点与其最近的相邻数据点之间的平均距离大于dmax时，即确认该数据点为稀疏离群值，则删除全部稀疏离群值后得到的F1和F2就是采用去噪方法处理后的F1和F2；
S2.2：分别估计F1和F2的表面法线；
通过近似值方法直接从F1和F2推断出表面法线，即：首先从F1和F2中获得指定点的最近邻元素，指定点用点p表示，计算点p的表面法线n，然后检查表面法线n的方向是否始终指向视点，视点的坐标预设为(0,0,0)，如果表面法线n的方向没有始终指向视点，则翻转表面法线n的方向以使其始终指向视点；每个点p的每条表面法线n组成了F1和F2的表面法线；
S2.3：分别形成F1和F2的拟合曲线表面；
使用移动最小二乘法对F1和F2的表面法线进行平面拟合，形成拟合曲线表面；
S2.4：将F1和F2合并在一起，使用重采样方法对F1和F2合并后的数据进行重采样，生成更平滑、更准确的浮点数集合，用F表示；
S3：将光扫描传感器第一次捕获的患者物理表面数据点和光扫描传感器第二次捕获的患者物理表面数据点处理后生成的浮点数集合与患者医学图像表面数据点组成的参考点集合采用ICP算法生成注册点数据集，包括以下步骤：
S3.1：F中的任何已知点用f表示，R中的任何已知点用r表示，f与r之间的最小距离用d表示，通过计算f与每一个可能的r之间的d，从而在R中找到与f最近的相应点r；则f的最小数量值计算公式如公式2所示：
公式2：
其中，αmin表示f最小数量值，NB表示F中的总点数，NC表示F中要排除的点数，di表示f与r之间的最小距离，i为自然数；
S3.2：将权重分配给F和R中每一对具有最小距离的f和r，权重分配公式如公式3所示：
公式3：
其中w表示权重，αmean表示f的平均数量，t为自然数；
S3.3：权重分配完成后，计算每一对相应的f和r的均方根值；
S3.4：采用线搜索方法在F的非线性空间进行搜索，以找出最小均方根值；
S3.5：如果最小均方根值小于预设阈值，或者线搜索方法的迭代次数大于预设值，将通过ICP算法获得的当前(F,R)转换矩阵确定为注册点数据集，计算停止；
S4：注册点数据集输出至全息眼镜显示成像。
上述提供的基于混合现实手术导航的光注册方法，通过将光扫描传感器第一次捕获的患者物理表面数据点和光扫描传感器第二次捕获的患者物理表面数据点进行去噪处理后生成的浮点数集合与患者医学图像表面数据点组成的参考点集合采用ICP算法生成注册点数据集，并将注册点数据集输出至全息眼镜显示成像，本发明无需固定患者以避免患者位置变化造成定位错误，解决了现有光注册技术需要固定患者、无法跟随患者位置变化的问题，从而为混合现实手术导航提供更加有效实用的光注册方法。
具体地，参照图2，本光注册方法的实现流程，如步骤S101～S117所示：
S101：输入患者医学图像表面数据点组成的参考点集合，用R表示；执行步骤S111；
S102：输入光扫描传感器第一次捕获的患者物理表面数据点组成的浮点数集合，用F1表示；执行步骤S104；
S103：光扫描传感器第二次捕获的患者物理表面数据点组成的浮点数集合，用F2表示；执行步骤S105；
S104：对F1中的数据点采用去噪方法进行处理：执行步骤S106；
具体地，去噪方法处理过程为：
统计过滤器假设F1中的每个数据点与其最近的相邻数据点之间的平均距离满足高斯分布，采用均值方差方法确定距离阈值，即：首先计算F1中的每个数据点与其最近的相邻数据点之间的平均距离，然后计算全部平均距离的均值和标准差；距离阈值的定义如下所示：
dmax＝μ+α×σ,
其中，dmax表示距离阈值，μ表示均值，σ表示标准差；α是常数，作为比例因子，其值取决于相邻数据点的数量；
稀疏离群值为大于距离阈值的数据点；当F1中的数据点与其最近的相邻数据点之间的平均距离大于dmax时，即确认该数据点为稀疏离群值，则删除全部稀疏离群值后得到的F1就是采用去噪方法处理后的F1；
S105：对F2中的数据点采用去噪方法进行处理；执行步骤S107；
具体地，去噪方法处理过程为：
统计过滤器假设F2中的每个数据点与其最近的相邻数据点之间的平均距离满足高斯分布，采用均值方差方法确定距离阈值，即：首先计算F2中的每个数据点与其最近的相邻数据点之间的平均距离，然后计算全部平均距离的均值和标准差；距离阈值的定义如下所示：
dmax＝μ+α×σ,
其中，dmax表示距离阈值，μ表示均值，σ表示标准差；α是常数，作为比例因子，其值取决于相邻数据点的数量；
稀疏离群值为大于距离阈值的数据点；当F2中的数据点与其最近的相邻数据点之间的平均距离大于dmax时，即确认该数据点为稀疏离群值，则删除全部稀疏离群值后得到的F2就是采用去噪方法处理后的F2；
S106：估计F1的表面法线；执行步骤S108；
具体地，表面法线估计方法为：
通过近似值方法直接从F1推断出表面法线，即：首先从F1中获得指定点的最近邻元素，指定点用点p表示，计算点p的表面法线n，然后检查表面法线n的方向是否始终指向视点，视点的坐标预设为(0,0,0)，如果表面法线n的方向没有始终指向视点，则翻转表面法线n的方向以使其始终指向视点；每个点p的每条表面法线n组成了F1的表面法线；
S107：估计F2的表面法线；执行步骤S109；
具体地，表面法线估计方法为：
通过近似值方法直接从F2推断出表面法线，即：首先从F2中获得指定点的最近邻元素，指定点用点p表示，计算点p的表面法线n，然后检查表面法线n的方向是否始终指向视点，视点的坐标预设为(0,0,0)，如果表面法线n的方向没有始终指向视点，则翻转表面法线n的方向以使其始终指向视点；每个点p的每条表面法线n组成了F2的表面法线；
S108：形成F1的拟合曲线表面；执行步骤S110；
具体地，使用移动最小二乘法对F1的表面法线进行平面拟合，形成拟合曲线表面；
S109：形成F2的拟合曲线表面；执行步骤S110；
具体地，使用移动最小二乘法对F2的表面法线进行平面拟合，形成拟合曲线表面；
S110：将F1和F2合并在一起，使用重采样方法对F1和F2合并后的数据进行重采样，生成更平滑、更准确的浮点数集合，用F表示；执行步骤S111；
S111：F中的任何已知点用f表示，R中的任何已知点用r表示，f与r之间的最小距离用d表示，通过计算f与每一个可能的r之间的d，从而在R中找到与f最近的相应点r；执行步骤S112；
具体地，f的最小数量值计算公式如下所示：
其中，αmin表示f最小数量值，NB表示F中的总点数，NC表示F中要排除的点数，di表示f与r之间的最小距离，i为自然数；
S112：将权重分配给F和R中每一对具有最小距离的f和r；执行步骤S113；
具体地，权重分配公式如下所示：
其中w表示权重，αmean表示f的平均数量，t为自然数；
S113：权重分配完成后，计算每一对相应的f和r的均方根值；执行步骤S114；
S114：采用线搜索方法在F的非线性空间进行搜索，以找出最小均方根值；执行步骤S115；
S115：判断最小均方根值是否小于预设阈值，或者线搜索方法的迭代次数是否大于预设值，如果是，执行步骤S116；否则执行步骤S114；
S116：将通过ICP算法获得的当前(F,R)转换矩阵确定为注册点数据集，计算停止；
S117：注册点数据集输出至全息眼镜显示成像。
优选地，光扫描传感器为集成了红外传感器、红外激光发射器和彩色相机的立体视觉深度传感器。
优选地，光扫描传感器为RealSense传感器或Azure Kinect传感器。
优选地，全息眼镜为头戴式的全息眼镜。
优选地，全息眼镜为混合现实全息眼镜，例如Meta2AR全息眼镜、HoloLens混合现实全息眼镜。
优选地，本发明涉及的所有计算机程序采用已有的、公开的、开源的程序代码、以及光扫描传感器和全息眼镜生产厂家提供的SDK软件开发包编写实现；本发明涉及的所有计算方法均为本领域的公知常识，本领域的技术人员按照本发明实施例所述的技术方案可以非常容易的实现。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.基于混合现实手术导航的光注册方法，其特征在于，所述光注册方法包括以下步骤：
S1：患者数据输入；
所述患者数据包括术前通过MRI或CT扫描获得的患者医学图像表面数据点，以及通过光扫描传感器捕获的患者物理表面数据点；
所述患者医学图像表面数据点组成的参考点集合，用R表示；
所述光扫描传感器第一次捕获的所述患者物理表面数据点组成的浮点数集合，用F1表示；
所述光扫描传感器第二次捕获的所述患者物理表面数据点组成的浮点数集合，用F2表示；
F1和F2为点云数据集合；
S2：对所述光扫描传感器第一次捕获的所述患者物理表面数据点和所述光扫描传感器第二次捕获的所述患者物理表面数据点进行处理，以生成更平滑、更准确的浮点数集合，包括以下步骤：
S2.1：分别对F1和F2中的数据点采用去噪方法进行处理；
所述去噪方法是在每个数据点的邻域上使用统计过滤器去除稀疏离群值；
所述统计过滤器假设F1和F2中的每个数据点与其最近的相邻数据点之间的平均距离满足高斯分布，采用均值方差方法确定距离阈值，即：首先计算F1和F2中的每个数据点与其最近的相邻数据点之间的平均距离，然后计算全部所述平均距离的均值和标准差；所述距离阈值的定义如公式1所示：
公式1：dmax＝μ+α×σ,
其中，dmax表示所述距离阈值，μ表示所述均值，σ表示所述标准差；α是常数，作为比例因子，其值取决于所述相邻数据点的数量；
所述稀疏离群值为大于所述距离阈值的数据点；当F1和F2中的数据点与其最近的相邻数据点之间的平均距离大于dmax时，即确认该数据点为所述稀疏离群值，则删除全部所述稀疏离群值后得到的F1和F2就是采用所述去噪方法处理后的F1和F2；
S2.2：分别估计F1和F2的表面法线；
通过近似值方法直接从F1和F2推断出表面法线，即：首先从F1和F2中获得指定点的最近邻元素，指定点用点p表示，计算点p的表面法线n，然后检查表面法线n的方向是否始终指向视点，所述视点的坐标预设为(0,0,0)，如果表面法线n的方向没有始终指向所述视点，则翻转表面法线n的方向以使其始终指向所述视点；每个点p的每条表面法线n组成了F1和F2的表面法线；
S2.3：分别形成F1和F2的拟合曲线表面；
使用移动最小二乘法对F1和F2的表面法线进行平面拟合，形成拟合曲线表面；
S2.4：将F1和F2合并在一起，使用重采样方法对F1和F2合并后的数据进行重采样，生成更平滑、更准确的浮点数集合，用F表示；
S3：将所述光扫描传感器第一次捕获的所述患者物理表面数据点和所述光扫描传感器第二次捕获的所述患者物理表面数据点处理后生成的浮点数集合与所述患者医学图像表面数据点组成的参考点集合采用ICP算法生成注册点数据集，包括以下步骤：
S3.1：F中的任何已知点用f表示，R中的任何已知点用r表示，f与r之间的最小距离用d表示，通过计算f与每一个可能的r之间的d，从而在R中找到与f最近的相应点r；则f的最小数量值计算公式如公式2所示：
公式2：
其中，αmin表示f最小数量值，NB表示F中的总点数，NC表示F中要排除的点数，di表示f与r之间的最小距离，i为自然数；
S3.2：将权重分配给F和R中每一对具有最小距离的f和r，所述权重分配公式如公式3所示：
公式3：
其中w表示所述权重，αmean表示f的平均数量，t为自然数；
S3.3：所述权重分配完成后，计算每一对相应的f和r的均方根值；
S3.4：采用线搜索方法在F的非线性空间进行搜索，以找出最小均方根值；
S3.5：如果所述最小均方根值小于预设阈值，或者所述线搜索方法的迭代次数大于预设值，将通过ICP算法获得的当前(F,R)转换矩阵确定为所述注册点数据集，计算停止；
S4：所述注册点数据集输出至全息眼镜显示成像。
2.根据权利要求1所述的基于混合现实手术导航的光注册方法，其特征在于，所述光扫描传感器为集成了红外传感器、红外激光发射器和彩色相机的立体视觉深度传感器。
3.根据权利要求2所述的基于混合现实手术导航的光注册方法，其特征在于，所述光扫描传感器为RealSense传感器或Azure Kinect传感器。
4.根据权利要求1所述的基于混合现实手术导航的光注册方法，其特征在于，所述全息眼镜为头戴式的全息眼镜。
5.根据权利要求4所述的基于混合现实手术导航的光注册方法，其特征在于，所述全息眼镜为混合现实全息眼镜。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310216772.8A CN116912460A (zh) | 2023-03-08 | 2023-03-08 | 基于混合现实手术导航的光注册方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310216772.8A CN116912460A (zh) | 2023-03-08 | 2023-03-08 | 基于混合现实手术导航的光注册方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116912460A true CN116912460A (zh) | 2023-10-20 |
Family
ID=88360849
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310216772.8A Pending CN116912460A (zh) | 2023-03-08 | 2023-03-08 | 基于混合现实手术导航的光注册方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116912460A (zh) |
-
2023
- 2023-03-08 CN CN202310216772.8A patent/CN116912460A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11310480B2 (en) | Systems and methods for determining three dimensional measurements in telemedicine application | |
| CN111529063B (zh) | 基于三维重建的多模态融合的手术导航系统及方法 | |
| Wang et al. | A practical marker-less image registration method for augmented reality oral and maxillofacial surgery | |
| CN114145846B (zh) | 基于增强现实辅助的手术导航方法及系统 | |
| US8165366B2 (en) | Determining correspondence object pairs for medical navigation | |
| CN109700550A (zh) | 一种用于牙科手术的增强现实方法及装置 | |
| CN112155727A (zh) | 基于三维模型的手术导航系统、方法、设备和介质 | |
| CN110215285A (zh) | 手术导航的纠偏方法及系统 | |
| US20230114385A1 (en) | Mri-based augmented reality assisted real-time surgery simulation and navigation | |
| Mamone et al. | Monitoring wound healing with contactless measurements and augmented reality | |
| KR20210121050A (ko) | 치과 치료를 제안 및 시각화하기 위한 방법 및 시스템 | |
| EP3328305B1 (en) | Microscope tracking based on video analysis | |
| Lee et al. | Fast‐MICP for frameless image‐guided surgery | |
| Juszczyk et al. | Wound 3D geometrical feature estimation using Poisson reconstruction | |
| CN209392096U (zh) | 一种手术导航系统 | |
| CN111658142A (zh) | 一种基于mr的病灶全息导航方法及系统 | |
| CN109106448A (zh) | 一种手术导航方法和装置 | |
| Maharjan et al. | A novel visualization system of using augmented reality in knee replacement surgery: Enhanced bidirectional maximum correntropy algorithm | |
| CN115954096B (zh) | 一种基于图像数据处理的腔镜vr成像系统 | |
| CN116912460A (zh) | 基于混合现实手术导航的光注册方法 | |
| CN113648061B (zh) | 一种基于混合现实的头戴式导航系统及导航配准方法 | |
| CN115908479A (zh) | 一种脑组织漂变校正方法和手术导航系统 | |
| EP3655919A1 (en) | Systems and methods for determining three dimensional measurements in telemedicine application | |
| CN112085698A (zh) | 左右乳腺超声图像自动分析方法及装置 | |
| US20230326059A1 (en) | Patterned incision foil and method for determining a geometry of an anatomical surface |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |