CN116523975A - 基于六维变换的机器人全局最优解空间配准与标定算法 - Google Patents
基于六维变换的机器人全局最优解空间配准与标定算法 Download PDFInfo
- Publication number
- CN116523975A CN116523975A CN202310266355.4A CN202310266355A CN116523975A CN 116523975 A CN116523975 A CN 116523975A CN 202310266355 A CN202310266355 A CN 202310266355A CN 116523975 A CN116523975 A CN 116523975A
- Authority
- CN
- China
- Prior art keywords
- registration
- dimensional
- points
- optimal solution
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009466 transformation Effects 0.000 title claims abstract description 51
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 36
- 239000011159 matrix material Substances 0.000 claims abstract description 69
- 238000013519 translation Methods 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000005457 optimization Methods 0.000 claims abstract description 10
- 210000000988 bone and bone Anatomy 0.000 claims description 61
- 238000001514 detection method Methods 0.000 claims description 38
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 210000003484 anatomy Anatomy 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 9
- 239000000523 sample Substances 0.000 claims description 7
- 210000004872 soft tissue Anatomy 0.000 claims description 4
- 238000001356 surgical procedure Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 210000000629 knee joint Anatomy 0.000 description 6
- 230000000399 orthopedic effect Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 239000008188 pellet Substances 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 210000000689 upper leg Anatomy 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 210000000544 articulatio talocruralis Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 210000001699 lower leg Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 210000002303 tibia Anatomy 0.000 description 1
- 238000011883 total knee arthroplasty Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种基于六维变换的机器人全局最优解空间配准与标定算法，通过将全局BnB搜索和局部搜索紧密地结合在一起。实现患者的实际体位和三维模型空间精准配准和标定，用来建立了术中病人与术前3维图像模型之间的对应关系，从而起到手术限位器作用。本发明的方法具备速度更快，配准的准确率更高的优势。在本发明中，配准是让一个数据源和另一个数据源的特征点匹配上；而标定就是多个特征点匹配上以后，求解出这两个坐标系之间最优的空间旋转矩阵R和平移向量T。具备速度快，准确率高的特点，能避免算法陷入局部最优化等问题。
Description
技术领域
本公开涉及医疗机器人技术领域，尤其涉及一种基于六维变换的机器人全局最优解空间配准与标定算法、装置和控制系统。
背景技术
骨科手术导航系统打破了传统手术“先打开一再看见一后实施手术"的手术过程，延伸了外科医生有限的视觉范围，更好地发挥了外科医生的主动性和灵巧性，突破了传统外科手术的界限，更新了外科手术和外科手术器械的概念，形成了“先看见一再最小创伤的打开一后精确实施手术”的技术路线。它通过减少手术创伤、优化手术路径、引导手术进行等手段，在提高手术精度、扩大手术适应症和提高手术成功率等方面具有传统手术无法比拟的优势；空间配准和标定技术是手术导航系统的关键技术之一，在开展骨科机器人全膝关节置换术中，通常需要根据术前规划进行切骨、磨骨，需要确保术中切割和术前规划的一致性。
空间配准和标定算法要起到在术中实现毫米级精确截骨控制和制动巡航截骨保护，对机器臂按照规划以毫米级精度切、削、磨、骨骼。为术者赋能，实现微创化、精细化的截骨控制，以达帮助外科医生精确控制地执行术前计划的作用；只有完成了实际病人空间和虚拟三维模型之间的精确配准，随后的器械跟踪才有意义，才能保证实际的手术器械能够精确到达设定的病灶部位。
为了确保手术机器人运动时的位置与患者的膝关节位置相匹配，需要进行骨骼空间配准和标定，而传统的方式在求解变换矩阵时，需要一个精确的初始化，且得到的解是局部最优解，而非全局最优解，所以配准的准确度较低。
骨科手术机器人空间配准与标定是解决计算机视觉以及计算机图形学中各种问题的关键。总体目标是找到两个对象之间或者同一对象的几个实例之间的最佳对齐方式，以便把形状数据引入到同一参考系统下，即：建立起患者坐标系与术前影像模型坐标系之间的对应关系、光学仪器坐标系与病人坐标系的对应关系、机器臂坐标系与病人坐标系的对应关系；为了解决骨科手术机器人空间配准与标定问题，传统方法以Bssl和Mskay提出的迭代最近邻算法ICP(Iterative Closest Point)为代表。因为其简单性，ICP是最受欢迎的配准算法之一，但由于配准和标定问题是非凸的，所以ICP易受局部最小值和离群点影响，无法取得全局最优解。其性能主要取决于初始化，即使保证了初始化的质量，也只有局部最优性，并且在特征点匹配过程中，存在计算量大且配准的准确度较低问题。
发明内容
为了解决上述问题，本申请提出一种基于六维变换的机器人全局最优解空间配准与标定算法、装置和控制系统。
本申请一方面，提出一种基于六维变换的机器人全局最优解空间配准与标定算法，包括如下步骤：
根据骨影像数据进行三维重建，并训练得到对应的特征点检测模型，用于术前规划；
获取患者骨上的特征点及其在预设坐标系中的坐标点，将该坐标点与术前规划特征点检测模型上的特征点进行匹配，进行术前粗配准；
采集骨表面关键点，将采集的关键点与特征点检测模型上的特征点进行匹配，进行术前细配准；
利用配准后所得到的旋转矩阵和平移向量，对细配准中的三维坐标进行旋转平移，并多次迭代，得到数值优化的转换矩阵；
基于数值优化的转换矩阵，进行六维变换，通过BnB分支定界求解全局最优解，空间配准结束。
作为本申请的一可选实施方案，可选地，根据骨影像数据进行三维重建，并训练得到对应的特征点检测模型，用于术前规划，包括：
获取骨影像数据；
对骨影像数据进行分隔，实现对骨影像数据中每一层的骨、软组织的分割，并进行修正处理；
利用重建算法，在保留原始坐标数据基础上对分隔后的骨影像数据进行三维重建，得到三维重建模型；
根据人体解剖学特征点，在三维重建模型上进行特征点标注，采用有监督学习方法，训练出一个特征点检测模型，输出并保存所述特征点检测模型，并在所述特征点检测模型上做术前规划和手术模拟。
作为本申请的一可选实施方案，可选地，获取患者骨上的特征点及其在预设坐标系中的坐标点，将该坐标点与术前规划特征点检测模型上的特征点进行匹配，进行术前粗配准，包括：
确定患者姿态建立患者坐标系；
通过探针找到患者骨上的人体解剖学特征点，并对应获取该人体解剖学特征点在患者坐标系中的坐标点；
将人体解剖学特征点与术前规划特征点检测模型上的特征点坐标进行匹配，进行术前校准。
作为本申请的一可选实施方案，可选地，将人体解剖学特征点与术前规划特征点检测模型上的特征点坐标进行匹配，进行术前粗配准，包括：
通过特征点检测模型输出对应的旋转矩阵；
通过SVD分解计算出最优旋转矩阵，并根据最优旋转矩阵计算出最优平移矩阵；
将人体解剖学特征点在患者坐标系中的坐标点代入SVD中，得到初始化的旋转矩阵和平移向量。
作为本申请的一可选实施方案，可选地，采集骨表面关键点，将采集的特征点与特征点检测模型上的特征点进行匹配，进行术前细配准，包括：
通过探针在骨面上进行骨表面关键点的三维坐标采集，获得患者骨表面三维点云数据集；
将患者骨表面三维点云数据集存放到KD-Tree上，将采集到的三维点云到KD-Tree上搜索对应点，得到对应的三维坐标，实现特征点匹配；
根据所匹配的特征点构造转换矩阵，求解对应的旋转矩阵和平移向量。
作为本申请的一可选实施方案，可选地，利用配准后所得到的旋转矩阵和平移向量，对细配准中的三维坐标进行旋转平移，并多次迭代，得到数值优化的转换矩阵，包括：
利用KD-Tree特征点构成的转换矩阵，对患者骨表面采集到的3维坐标进行旋转平移变换，得到变换后的点云；
采用最小二乘矩阵，求解变换后的点云的误差的平方和最小的变换矩阵；
用李代数表示位姿，并构建对应的目标函数，使用李代数扰动模型，在非线性优化中不断迭代，找到误差的平方和的极小值；
迭代结束，找到误差的平方和的极小值，并构建对应的数值优化的转换矩阵。
作为本申请的一可选实施方案，可选地，基于数值优化的转换矩阵，进行六维变换，通过BnB分支定界求解全局最优解，空间配准结束，包括：
根据所构建的数值优化的转换矩阵，构建对应的旋转矩阵，并根据预设条件构建对应的三维运动空间；
基于预先所推导出六维变换域的上下界函数，搜索整个三维运动空间的分支定界BnB，求解得到整个三维运动空间的边界和相应的最优平移；
在全局BnB的指导下，逐次收敛到局部极小值；
每个局部极小值的误差都小于前一个极小值，最终收敛到全局极小值；
当通过BnB分支定界求解得到全局最优解时，空间配准结束，利用所配准的精度执行骨手术机器人手术方案。
本申请另一方面，提出一种装置，用于实现所述的基于六维变换的机器人全局最优解空间配准与标定算法，包括：
术前规划模块，用于根据骨影像数据进行三维重建，并训练得到对应的特征点检测模型，用于术前规划；
粗配准模块，用于获取患者骨上的特征点及其在预设坐标系中的坐标点，将该坐标点与术前规划特征点检测模型上的特征点进行匹配，进行术前粗配准；
细配准模块，用于采集骨表面关键点，将采集的关键点与特征点检测模型上的特征点进行匹配，进行术前细配准；利用配准后所得到的旋转矩阵和平移向量，对细配准中的三维坐标进行旋转平移，并多次迭代，得到数值优化的转换矩阵；基于数值优化的转换矩阵，进行六维变换，通过BnB分支定界求解全局最优解，空间配准结束。
本申请另一方面，还提出一种控制系统，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现所述的基于六维变换的机器人全局最优解空间配准与标定算法。
本发明的技术效果：
本申请通过将全局BnB搜索和局部搜索紧密地结合在一起。前者帮助后者跳出局部极小值，引导后者进行下一步搜索；后者通过细化上界加快了前者的收敛速度，从而提高了效率，实现了L2误差函数度量下欧式空间中配准与标定的全局最优解。实现患者的实际体位和三维模型空间精准配准和标定，用来建立了术中病人与术前3维图像模型之间的对应关系，从而起到手术限位器作用。本发明的方法具备速度更快，配准的准确率更高的优势。在本发明中，配准是让一个数据源和另一个数据源的特征点匹配上；而标定就是多个特征点匹配上以后，求解出这两个坐标系之间最优的空间旋转矩阵R和平移向量T。具备速度快，准确率高的特点，能避免算法陷入局部最优化等问题。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出为本发明算法的实施流程示意图；
图2示出为本发明收敛判断的逻辑流程图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
针对传统空间配准和标定方法的易受局部最小值和离群点影响，并且的缺点，本发明提供了一种基于六维变换域原理的骨科手术机器人全局最优解空间配准与标定算法，该发明实现了L2误差函数度量下欧式空间中配准与标定的全局最优解。实现患者的实际体位和三维模型空间精准配准和标定，用来建立了术中病人与术前3维图像模型之间的对应关系，从而起到手术限位器作用。本发明的方法具备速度更快，配准的准确率更高的优势。在本发明中，配准是让一个数据源和另一个数据源的特征点匹配上；而标定就是多个特征点匹配上以后，求解出这两个坐标系之间最优的空间旋转矩阵R和平移向量T。具备速度快，准确率高的特点，能避免算法陷入局部最优化等问题。
本方案总体上分为术前规划、术中校准、迭代优化、磨骨(具体执行)几个步骤。
实施例1
如图1所示，本申请一方面，提出一种基于六维变换的机器人全局最优解空间配准与标定算法，包括如下步骤：
根据骨影像数据进行三维重建，并训练得到对应的特征点检测模型，用于术前规划；
获取患者骨上的特征点及其在预设坐标系中的坐标点，将该坐标点与术前规划特征点检测模型上的特征点进行匹配，进行术前粗配准；
采集骨表面关键点，将采集的关键点与特征点检测模型上的特征点进行匹配，进行术前细配准；
利用配准后所得到的旋转矩阵和平移向量，对细配准中的三维坐标进行旋转平移，并多次迭代，得到数值优化的转换矩阵；
基于数值优化的转换矩阵，进行六维变换，通过BnB分支定界求解全局最优解，空间配准结束。
下面将具体描述本方案的实施步骤和原理：
该方法的主要步骤如下：
步骤1：分割，使用传统图像处理方法或者深度神经网络分割模型(U-Net)实现对CT影像每一层的骨、软组织的分割，外科医生可通过软件界面进行修正；
步骤2：3维重建，利用重建算法对分割后的CT层进行重建(3D膝关节模型)，需要对CT的原始坐标数据进行保留；
步骤3：人体解剖学特征点自动检测，采用有监督学习方法，先人工对这些人体解剖学特征点进行标注，然后训练出一个特征点检测模型(3D膝关节特征点检测模型)，外科医生在此基础上做术前规划和手术模拟：其中包括磨骨、切骨等操作保护范围，规划精确到毫米级精度，此为术中机器臂执行控制的依据。此阶段应输出假体型号、数字墙3维点云坐标集、特征点、分割重建后的3维骨模型；
步骤4：人体解剖学特征点获取，在股骨和胫骨安装反光小球，采用NDI公司的光学测量定位仪器，对反光小球进行跟踪，采集3维点云坐标，确定患者的位姿，建立患者坐标系空间；外科医生通过晃动小腿和大腿，根据几何学原理，计算出髋关节中心、膝关节中心、踝关节中心的坐标，以及通过探针在膝关节骨上找到解剖学明显的特征点，获得特征点对应的坐标，与术前规划的3D膝关节模型的特征点坐标进行匹配；
步骤5：初始化旋转矩阵和平移向量，使用SVD分解来计算最优旋转矩阵，在根据最优结果计算最优平移。将步骤4得到的对应点坐标，带入SVD中，可以得到初始化的旋转矩阵和平移向量；
步骤6：骨表面关键点坐标采集，通过NDI公司的导航探针在骨面上进行3维坐标采集，球的反射光实时记录探针尖点所在的位置，并将数据输送给图形工作站，采集不共线、不共面点；覆盖具有诊断意义的解剖点；
步骤7：采集特征点与3维重建模型特征点匹配，将3维模型点云存放到KD-Tree上，然后将采集到的3d点云到KD-Tree上进行搜索对应点，得到对应的3维坐标，从而实现特征点匹配；
步骤8：旋转矩阵和平移向量的求解，使用步骤5的变换矩阵，对患者骨表面采集到的3维坐标进行旋转平移变换，得到一个变换之后的点云，然后将这个变换后的点云和3维CT重建骨模型点云坐标进行比较，所以采用最小平方误差，计算对应关系之间的最小二乘刚性变换。所以采用数值优化，即迭代。直到某个表示正确匹配的收敛准则得到满足；由于在欧式变换矩阵上不好定义导数，所以引入李群李代数使得导数定义变得自然合理；由于本来旋转矩阵与欧式变换矩阵具有本身的约束，使得将它们作为优化变量会引入额外约束，通过李群李代数可以使得问题变成一个无约束的优化问题。
在旋转矩阵表示位姿时，构建最小二乘矩阵，求使得误差的平方和最小的变换矩阵T{R,t}，目标函数定义为：
用李代数表示位姿时，目标函数写成：
使用李代数扰动模型，在非线性优化中只需不断迭代，极小化误差平方和，我们就能找到极小值。具体推导评估和求解的细节见下文，求解流程如附图2所示。
步骤9：配置和标定精度的验证，旋转问题表示为一个3维向量r，轴为角度为||r||，对应的旋转矩阵为：
步骤10：整个三维旋转空间可以在R3中紧凑地表示为一个半径为π的实心球。使用立方体[-π,π]把球包起来作为旋转域，即3维运动空间SE(3)。对于平移，设最优平移的边界为[-ξ,ξ]；
步骤11：搜索整个3维运动空间SE(3)的分支定界(BnB)。利用SE(3)几何的特殊结构，下面推导出六维变换域的上下界函数，新的配准误差函数的上下界。在保证全局最优的同时加快了搜索的速度；寻找单个点残差ei(R,t)的上下界
上界：
下界：
对于一个以(r0,t0)为中心，以Cr×Ct为域，不确定半径为γri和γt的三维运动域，最优化L2配准误差的上界和下界E分别为：
通过使用嵌套的BnB(Branch And Bound)结构，即外部BnB通过调用内部BnB来搜索SE(3)的旋转空间，并求解边界和相应的最优平移。那么当每个BnB都维护一个优先级队列(立方体的优先级与其下界相反)，若目前为止最好的误差与当前立方体的下界的差值小于一个阈值，则BnB停止。
步骤12：在全局BnB的指导下，逐次收敛到局部极小值，每个局部极小值的误差都小于前一个极小值，最终收敛到全局极小值。
步骤13：本发明的方法将全局BnB搜索和局部搜索紧密地结合在一起。前者帮助后者跳出局部极小值，引导后者进行下一步搜索；后者通过细化上界加快了前者的收敛速度，从而提高了效率。
步骤14：BnB在搜索过程中利用分支定界，协同更新上界。且该算法有效地证实了所求解变换矩阵的全局最优性。
本实施例提出的上述配准算法，可以部署在linux系统上也可以部署到windows系统上，本发明不进行限定。
显然，本领域的技术人员应该明白，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各控制方法的实施例的流程。本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各控制方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(FlashMemory)、硬盘(HardDiskDrive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
实施例2
基于实施例1的实施原理，本申请另一方面，提出一种装置，用于实现所述的基于六维变换的机器人全局最优解空间配准与标定算法，包括：
术前规划模块，用于根据骨影像数据进行三维重建，并训练得到对应的特征点检测模型，用于术前规划；
粗配准模块，用于获取患者骨上的特征点及其在预设坐标系中的坐标点，将该坐标点与术前规划特征点检测模型上的特征点进行匹配，进行术前粗配准；
细配准模块，用于采集骨表面关键点，将采集的关键点与特征点检测模型上的特征点进行匹配，进行术前细配准；利用配准后所得到的旋转矩阵和平移向量，对细配准中的三维坐标进行旋转平移，并多次迭代，得到数值优化的转换矩阵；基于数值优化的转换矩阵，进行六维变换，通过BnB分支定界求解全局最优解，空间配准结束。
上述各个模块的功能原理具体参见实施例1的描述。
上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
实施例3
更进一步地，本申请另一方面，还提出基于六维变换的机器人全局最优解空间配准与标定算法控制系统，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现所述的基于六维变换的机器人全局最优解空间配准与标定算法。
本公开实施例来控制系统包括处理器以及用于存储处理器可执行指令的存储器。其中，处理器被配置为执行可执行指令时实现前面任一所述的基于六维变换的机器人全局最优解空间配准与标定算法。
此处，应当指出的是，处理器的个数可以为一个或多个。同时，在本公开实施例的控制系统中，还可以包括输入装置和输出装置。其中，处理器、存储器、输入装置和输出装置之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。
存储器作为一计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的基于六维变换的机器人全局最优解空间配准与标定算法所对应的程序或模块。处理器通过运行存储在存储器中的软件程序或模块，从而执行控制系统的各种功能应用及数据处理。
输入装置可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置可以包括显示屏等显示设备。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (9)
1.基于六维变换的机器人全局最优解空间配准与标定算法，其特征在于，包括如下步骤：
根据骨影像数据进行三维重建，并训练得到对应的特征点检测模型，用于术前规划；
获取患者骨上的特征点及其在预设坐标系中的坐标点，将该坐标点与术前规划特征点检测模型上的特征点进行匹配，进行术前粗配准；
采集骨表面关键点，将采集的关键点与特征点检测模型上的特征点进行匹配，进行术前细配准；
利用配准后所得到的旋转矩阵和平移向量，对细配准中的三维坐标进行旋转平移，并多次迭代，得到数值优化的转换矩阵；
基于数值优化的转换矩阵，进行六维变换，通过BnB分支定界求解全局最优解，空间配准结束。
2.根据权利要求1所述的基于六维变换的机器人全局最优解空间配准与标定算法，其特征在于，根据骨影像数据进行三维重建，并训练得到对应的特征点检测模型，用于术前规划，包括：
获取骨影像数据；
对骨影像数据进行分隔，实现对骨影像数据中每一层的骨、软组织的分割，并进行修正处理；
利用重建算法，在保留原始坐标数据基础上对分隔后的骨影像数据进行三维重建，得到三维重建模型；
根据人体解剖学特征点，在三维重建模型上进行特征点标注，采用有监督学习方法，训练出一个特征点检测模型，输出并保存所述特征点检测模型，并在所述特征点检测模型上做术前规划和手术模拟。
3.根据权利要求1所述的基于六维变换的机器人全局最优解空间配准与标定算法，其特征在于，获取患者骨上的特征点及其在预设坐标系中的坐标点，将该坐标点与术前规划特征点检测模型上的特征点进行匹配，进行术前粗配准，包括：
确定患者姿态建立患者坐标系；
通过探针找到患者骨上的人体解剖学特征点，并对应获取该人体解剖学特征点在患者坐标系中的坐标点；
将人体解剖学特征点与术前规划特征点检测模型上的特征点坐标进行匹配，进行术前校准。
4.根据权利要求3所述的基于六维变换的机器人全局最优解空间配准与标定算法，其特征在于，将人体解剖学特征点与术前规划特征点检测模型上的特征点坐标进行匹配，进行术前粗配准，包括：
通过特征点检测模型输出对应的旋转矩阵；
通过SVD分解计算出最优旋转矩阵，并根据最优旋转矩阵计算出最优平移矩阵；
将人体解剖学特征点在患者坐标系中的坐标点代入SVD中，得到初始化的旋转矩阵和平移向量。
5.根据权利要求1所述的基于六维变换的机器人全局最优解空间配准与标定算法，其特征在于，采集骨表面关键点，将采集的特征点与特征点检测模型上的特征点进行匹配，进行术前细配准，包括：
通过探针在骨面上进行骨表面关键点的三维坐标采集，获得患者骨表面三维点云数据集；
将患者骨表面三维点云数据集存放到KD-Tree上，将采集到的三维点云到KD-Tree上搜索对应点，得到对应的三维坐标，实现特征点匹配；
根据所匹配的特征点构造转换矩阵，求解对应的旋转矩阵和平移向量。
6.根据权利要求5所述的基于六维变换的机器人全局最优解空间配准与标定算法，其特征在于，利用配准后所得到的旋转矩阵和平移向量，对细配准中的三维坐标进行旋转平移，并多次迭代，得到数值优化的转换矩阵，包括：
利用KD-Tree特征点构成的转换矩阵，对患者骨表面采集到的3维坐标进行旋转平移变换，得到变换后的点云；
采用最小二乘矩阵，求解变换后的点云的误差的平方和最小的变换矩阵；
用李代数表示位姿，并构建对应的目标函数，使用李代数扰动模型，在非线性优化中不断迭代，找到误差的平方和的极小值；
迭代结束，找到误差的平方和的极小值，并构建对应的数值优化的转换矩阵。
7.根据权利要求6所述的基于六维变换的机器人全局最优解空间配准与标定算法，其特征在于，基于数值优化的转换矩阵，进行六维变换，通过BnB分支定界求解全局最优解，空间配准结束，包括：
根据所构建的数值优化的转换矩阵，构建对应的旋转矩阵，并根据预设条件构建对应的三维运动空间；
基于预先所推导出六维变换域的上下界函数，搜索整个三维运动空间的分支定界BnB，求解得到整个三维运动空间的边界和相应的最优平移；
在全局BnB的指导下，逐次收敛到局部极小值；
每个局部极小值的误差都小于前一个极小值，最终收敛到全局极小值；
当通过BnB分支定界求解得到全局最优解时，空间配准结束，利用所配准的精度执行骨手术机器人手术方案。
8.装置，用于实现权利要求1至7中任意一项所述的基于六维变换的机器人全局最优解空间配准与标定算法，其特征在于，包括：
术前规划模块，用于根据骨影像数据进行三维重建，并训练得到对应的特征点检测模型，用于术前规划；
粗配准模块，用于获取患者骨上的特征点及其在预设坐标系中的坐标点，将该坐标点与术前规划特征点检测模型上的特征点进行匹配，进行术前粗配准；
细配准模块，用于采集骨表面关键点，将采集的关键点与特征点检测模型上的特征点进行匹配，进行术前细配准；利用配准后所得到的旋转矩阵和平移向量，对细配准中的三维坐标进行旋转平移，并多次迭代，得到数值优化的转换矩阵；基于数值优化的转换矩阵，进行六维变换，通过BnB分支定界求解全局最优解，空间配准结束。
9.控制系统，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现权利要求1至7中任意一项所述的基于六维变换的机器人全局最优解空间配准与标定算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310266355.4A CN116523975A (zh) | 2023-03-13 | 2023-03-13 | 基于六维变换的机器人全局最优解空间配准与标定算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310266355.4A CN116523975A (zh) | 2023-03-13 | 2023-03-13 | 基于六维变换的机器人全局最优解空间配准与标定算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116523975A true CN116523975A (zh) | 2023-08-01 |
Family
ID=87389323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310266355.4A Pending CN116523975A (zh) | 2023-03-13 | 2023-03-13 | 基于六维变换的机器人全局最优解空间配准与标定算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116523975A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117159138A (zh) * | 2023-09-20 | 2023-12-05 | 上海涛影医疗科技有限公司 | 一种基于关节定位的2d-3d配准方法及系统 |
-
2023
- 2023-03-13 CN CN202310266355.4A patent/CN116523975A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117159138A (zh) * | 2023-09-20 | 2023-12-05 | 上海涛影医疗科技有限公司 | 一种基于关节定位的2d-3d配准方法及系统 |
| CN117159138B (zh) * | 2023-09-20 | 2024-04-19 | 上海涛影医疗科技有限公司 | 一种基于关节定位的2d-3d配准方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fleute et al. | Incorporating a statistically based shape model into a system for computer-assisted anterior cruciate ligament surgery | |
| CN112053400B (zh) | 数据处理方法及机器人导航系统 | |
| CN109496143A (zh) | 术前规划和对手术系统的相关术中配准 | |
| AU2018256649B2 (en) | System and method for surgical planning | |
| TWI711428B (zh) | 用於醫療用具的光學追蹤系統及訓練系統 | |
| US11523868B2 (en) | Bone registration methods for robotic surgical procedures | |
| CN103371870A (zh) | 一种基于多模影像的外科手术导航系统 | |
| CN114155376A (zh) | 目标特征点提取方法、装置、计算机设备和存储介质 | |
| US11648061B2 (en) | Method for determination of surgical procedure access | |
| Modrzejewski et al. | An in vivo porcine dataset and evaluation methodology to measure soft-body laparoscopic liver registration accuracy with an extended algorithm that handles collisions | |
| CN104168851A (zh) | 用于假体部件定向的系统和方法 | |
| CN115005981A (zh) | 手术路径规划方法、系统、设备、介质和手术操作系统 | |
| WO2023000560A1 (zh) | 面向并联骨折手术机器人的复位轨迹自动式规划方法 | |
| JP2024506884A (ja) | コンピュータ支援手術計画 | |
| AU2024202787A1 (en) | Computer-implemented surgical planning based on bone loss during orthopedic revision surgery | |
| CN116523975A (zh) | 基于六维变换的机器人全局最优解空间配准与标定算法 | |
| Schüle et al. | A model-based simultaneous localization and mapping approach for deformable bodies | |
| CN113891691B (zh) | 肩部稳定性增强手术的自动规划 | |
| CN116363093A (zh) | 一种用于寻找髋臼的旋转中心的方法与装置、手术规划系统及存储介质 | |
| US20220398755A1 (en) | Technique Of Generating Surgical Information From Intra-Operatively And Pre-Operatively Acquired Image Data | |
| Ta | Development and implementation of a computational surgical planning model for pre-operative planning and post-operative assessment and analysis of total hip arthroplasty | |
| CN114938995A (zh) | 应用于髋关节置换手术的骨盆配准系统和医疗设备 | |
| EP4165593A1 (en) | Image segmentation for sets of objects | |
| Gruijthuijsen et al. | An automatic registration method for radiation-free catheter navigation guidance | |
| US11430203B2 (en) | Computer-implemented method for registering low dimensional images with a high dimensional image, a method for training an aritificial neural network useful in finding landmarks in low dimensional images, a computer program and a system for registering low dimensional images with a high dimensional image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |