CN115661509A - 基于三维点云icp配准算法的手术器械识别分类方法 - Google Patents

Abstract

本发明公开了基于三维点云数据ICP配准算法的手术器械识别分类方法，包括以下步骤：构建手术器械的点云模板库；采集待测手术器械的三维点云数据，获得三维点云数据集；对获得的三维点云数据集依次进行预处理、平面拟合、平台去除处理、半径式离群点剔除处理、以及密度聚类处理，得到目标手术器械点云；将目标手术器械点云与手术器械点云模板进行全局粗配准和ICP精配准，输出匹配结果，确定目标手术器械的具体型号。本发明利用点云分割方法，通过数据处理算法实现了手术器械三维点云数据的精准分割，得到目标手术器械点云集，通过将其与模板点云全局粗配准和ICP精配准，实现了对外观相似或同一类型不同型号的手术器械的高精度识别。

Description

基于三维点云ICP配准算法的手术器械识别分类方法

技术领域

本发明属于医疗器械管理技术领域，具体涉及基于三维点云数据ICP配准算法的手术器械识别分类方法。

背景技术

近年来，计算机视觉技术取得前所未有的进展，包括医疗领域在内的许多领域均应用了计算机视觉技术，并改变了一些传统的检测模式。医疗领域也出现了一批应用计算机视觉技术的优秀案例，如疾病诊断、疾病预测以及智能机器人辅助手术等。然而，作为外科手术前后的关键步骤，外科手术器械的清点工作目前仍然由专业的医护人员来完成，人工清点不仅效率低下，还可能因为视觉疲劳产生错误，可能会对手术安全产生影响。

基于二维图像的计算机视觉技术中的目标检测模型经过训练后，可以实现对输入图像中的物体的识别、分类和计数，在一定程度上可以代替人工检测，提高检测效率，减少人力损耗。但是，对于一些外观相似或同一类型不同型号的手术器械，基于二维图像的目标检测模型的识别准确率较低，常常会出现识别错误的情况。鉴于此，为提高针对外观相似的手术器械的识别精度，本发明提出了基于三维点云ICP配准算法的手术器械识别分类方法。

发明内容

本发明的目的在于提供基于三维点云数据ICP配准算法模型的手术器械识别分类方法。该方法利用点云分割方法，同时通过数据处理算法实现了手术器械三维点云数据的精准分割，得到分割后的目标手术器械点云集，并将其与模板点云进行全局粗配准和精匹配，有效的提高了识别精度，解决了现有检测方法识别精度低的技术问题。

为实现上述目的，本发明采用了如下技术方案：

基于三维点云数据ICP配准算法模型的手术器械识别分类方法，包括以下步骤：

S1、构建手术器械的点云模板库；

S2、采集待测手术器械的三维点云数据，获得三维点云数据集；

S3、对获得的三维点云数据集进行预处理；

S4、对数据预处理后的三维点云数据集进行平面拟合；

S5、对平面拟合后的三维点云数据集进行平台去除处理；

S6、对平台去除处理后的三维点云数据集进行半径式离群点剔除处理；

S7、对半径式离群点剔除处理后的三维点云数据集进行密度聚类，实现目标手术器械点云集的分割；

S8、将分割得到的目标手术器械点云与手术器械点云模板库中的模板点云进行全局粗配准；

S9、对全局粗配准后的结果进行ICP精配准，输出匹配结果，确定目标手术器械的具体型号。

优选地，步骤S2中，所述采集待测手术器械的三维点云数据，具体包括以下步骤：

A21、布置三维点云数据采集平台；

A22、将所有待检测手术器械放置到三维点云数据采集平台上，按照不同姿势依次摆放，摆放过程中，每个手术器械按照特定的摆放方式随机摆放；

A23、采集三维点云数据，在采集过程中要保持深度相机的高度保持不变，并模拟手术室环境下光照条件，获得待检测手术器械的三维点云数据集。

优选地，步骤S4中，采用RANSAC算法对所述预处理后的三维点云数据集进行平面拟合，具体包括以下步骤：

A41、在各类模型参数中选取平面特征作为将要拟合的模型特征；

A42、在待检测的点云数据集中随机选取点进行平面模型拟合，设置合适阈值，满足阈值的定义为“内点”，其余为“外点”；

A43、遍历内点和外点，检查是否到达迭代次数的上限，若未达到上限则需继续返回模型拟合操作并重新设置阈值，继续遍历内点和外点，直至到达迭代上限；待迭代完成后，选择最优迭代模型；

A44、待迭代完成后，选择最优迭代模型，输出包含内点个数最多的模型，将得到的三维点云数据分为手术器械部分和平台部分。

优选地，步骤S5中，所述对平台去除处理的三维点云数据集进行半径式离群点剔除处理，具体步骤为：假定原始点云中每个激光点在指定的半径邻域中至少包含一定数量的近邻点，原始点云中符合假设条件的激光点被视为正常点进行保留，反之，则视为噪声点并进行去除。

优选地，步骤S7中，所述对半径式离群点剔除处理后的三维点云数据集进行密度聚类，具体包括以下步骤：

A71、设置初始参数，根据点云自适应计算半径e和领域对象数MinPts，设置当前点的簇Cluster ID为1；

A72、遍历当前点云D中的所有点，并从中选取点P；

A73、判断该点P是否已被标记，若该点P已被标记，则需从点云D中重新选取P，直至选出的点P未被已标记，进行下一步判断；

A74、判断所选取的点P是否为核心对象，若不是核心对象，则将其标记为边界点，类号赋值为0；若当前点为核心对象，则将其类号赋值为ClusterID；

A75、搜索当前所取点的直接密度可达且为被标记的对象，将其类号赋值为ClusterID，并加入当前点的领域队列当中；

A76、判断该点加入的遍历领域队列是否为空，若不为空，从队列中取点判断是否为核心对象，同时标记类号，进行递归搜索；

A77、遍历完成后将ClusterID加1，若集合中有未标记的点则进行新一轮的循环，直至将所有点标记完成，实现目标分割，完成聚类，然后按照ClusterID分别保存密度聚类之后的手术器械点云集。

优选地，步骤S8中，所述全局粗配准的算法使用RANSAC算法框架。

优选地，所述将分割得到的目标手术器械点云集与手术器械点云模板库中的模板点云进行全局粗配准，具体包括以下步骤：

A81、在目标点云集P和模板点云集Q中的对应点点集中随机寻找3个基础关联对，然后计算求解刚体旋转矩阵T_i；

A82、计算对应集中剩余点对在此刚体旋转矩阵T_i下的距离误差δ，若其中一点对的距离误差小于设定的阈值误差δ，则该点为样本内点，否则则为样本外点，并统计计算对应点数K_i；

A83、重复以上步骤，直至达到迭代次数的上限；

A84、统计不同刚体变换模型下的样本内点数量，输出样本内点对应点数K_i最高的点云(集)P，作为最佳数学模型，并保留所有样本内点，剔除样本外点，进而获得最优匹配结果，完成点云全局粗配准。其中，使用剔除外点的对应点对计算旋转矩阵，用于点云粗配准操作。

优选地，步骤S9中，所述ICP精配准采用的算法为最近点迭代算法。

优选地，所述对粗配准后的结果进行ICP精配准，具体包括以下步骤：

A91、选取合适的点云模板，经过粗配准之后，在目标点云P、模板点云Q之间找到一定数量的对应点对；

A92、求取对应点之后使用最小二乘法计算最优变换矩阵R、平移矩阵T；

A93、计算误差函数E(R,T)，判断其是否小于阈值；若不满足条件，则使用R、T对目标点云P进行变换；重复上述步骤，直至误差函数E(R,T)小于阈值为止；

A94、根据精配准输出的三个参数，分别为：correspondence_set(目标点云和点云模板的对应点数)、fitness(目标点云和点云模板的重叠区域)、inlier_rmse(目标点云和点云模板的对应点集的均方根误差)，通过3个参数的对比输出最终匹配结果，确定目标手术器械的具体型号。

与现有技术相比，本发明有益效果如下：

本发明利用点云分割方法，通过数据处理算法(即RANSAC算法)实现了对待检测手术器械三维点云数据集的精准分割，得到目标手术器械点云集；然后利用目标手术器械点云集丰富的几何信息，将目标手术器械点云数据集与手术器械点云模板库中的模板点云进行全局粗配准和ICP精配准，有效地提高了对待检测手术器械的识别精度，实现了对外观相似或同一类型不同型号手术器械的高精度识别。

附图说明

图1为本发明提供的一种基于三维点云数据ICP配准算法的手术器械识别分类方法的流程图；

图2为RANSSAC算法的流程图；

图3为半径式离群点剔除的原理图；

图4为密度聚类过程的流程图；

图5为粗配准过程的流程图；

图6为精配准过程的流程图。

具体实施方式

下面将结合本发明实施例及附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

实施例1

参照图1-6，描述本发明提供的基于三维点云数据ICP配准算法的手术器械识别分类方法，包括以下步骤：

S1、构建手术器械的点云模板库；

具体地，通过3D图像扫描设备扫描手术器械，采集手术器械在扫描设备坐标系下的点云数据，得到手术器械的stl模型文件；然后对得到的手术器械的stl模型文件进行三维点云数据采集，获得三维点云数据集，构建手术器械的点云模板库；

S2、采集待测手术器械的三维点云数据，获得三维点云数据集；

具体地，首先，布置三维点云数据采集平台，该三维点云数据采集平台包括深度相机、激光雷达、照明灯(用于模拟手术室环境)、无菌布(作为背景)以及支架(用于支撑手术器械、相机和照明灯)，三维点云数据采集平台的搭建可以统一拍照条件，规范后续的拓展实验；接着将所有待检测手术器械随机放置到三维点云数据采集平台上，多种手术器械，特别是外观相似或同一类型不同型号的手术器械，按照不同姿势依次摆放，摆放过程中，每个手术器械按照特定的摆放方式随机摆放，这种摆放方案可以尽可能地模拟实际应用中的复杂情况，极大的丰富三维点云数据所包含的信息；然后开始三维点云数据采集，获得待检测手术器械的三维点云数据集；注意在采集过程中要保持深度相机的高度保持不变，并模拟手术室环境下光照条件，上述条件下的三维点云数据采集方法可以保持数据包含信息量大且各种信息平衡，提高训练效果。

S3、对获得的三维点云数据集进行预处理；

由于采集获得的三维点云数据集中除了包括待检测的手术器械之外，还有放置手术器械的平台等无关元素，故需要进行预处理，以将上述无关元素去除。

S4、对预处理后的三维点云数据集进行平面拟合；

具体地，本发明采用RANSAC算法对预处理后的(待检测手术器械)三维点云数据集进行平面拟合。其中，RANSAC算法是一种从一组含有“外点”(outliers)的数据中正确估计数学模型参数的迭代算法。“外点”一般指的是数据中的噪声，例如，匹配中的误匹配和估计曲线中的离群点。RANSAC算法主要用于解决(待检测手术器械样本)三维点云数据集中的外点问题。

参照图2，采用RANSAC算法对预处理后的三维点云数据集进行平面拟合，具体包括以下步骤：

A41、在各类模型参数中选取平面特征作为将要拟合的模型特征；

A42、在待检测的点云数据集中随机选取点进行平面模型拟合，设置合适阈值，满足阈值的定义为“内点”，其余为“外点”；

A43、遍历内点和外点，检查是否到达迭代次数的上限，若未达到上限则需继续返回模型拟合操作并重新设置阈值，继续遍历内点和外点，直至到达迭代上限；待迭代完成后，选择最优迭代模型；

A44、待迭代完成后，选择最优迭代模型，输出包含内点个数最多的模型，将得到的三维点云数据分为手术器械部分和平台部分。

S5、对平面拟合后得到的三维点云数据集进行平台去除处理；

S6、对平台去除处理后的三维点云数据集进行半径式离群点剔除处理；

参照图3，由于去除平面部分之后的点云数据(集)包含有干扰检测的噪声和伪影，因此需要将其剔除。

对平台去除处理的三维点云数据集进行半径式离群点剔除处理，具体步骤为：假定原始点云中每个激光点(P1、P2、P3)在指定的半径(r)邻域中至少包含一定数量的近邻点，原始点云中符合假设条件的激光点被视为正常点进行保留，反之，则视为噪声点并进行去除。该方法对原始激光点云中存在的一些悬空的孤立点或无效点具有很好的去除效果

S7、对半径式离群点剔除处理后的三维点云数据集进行密度聚类，实现目标手术器械点云集的分割；

密度聚类是将“簇”定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在噪声的空间数据库中发现任意形状的聚类。参照图4，具体地，本发明采用点云DBSCAN聚类算法，即点云自适应密度聚类算法进行密度聚类，具体步骤为：

A71、设置初始参数，根据点云自适应计算半径e和领域对象(点)数MinPts，设置当前点的簇Cluster ID为1；

A72、遍历当前点云D中的所有点，并从中选取点P；

A73、判断该点P是否已被标记，若该点P已被标记，则需从点云D中重新选取P，直至选出的点P未被已标记，进行下一步判断；

A74、判断所选取的点P是否为核心对象，若不是核心对象，则将其标记为边界点，类号赋值为0；若当前点为核心对象，则将其类号赋值为ClusterID；

A75、搜索当前所取点的直接密度可达且为被标记的对象(点)，将其类号赋值为ClusterID，并加入当前点的领域队列当中；

A76、判断该点加入的遍历领域队列是否为空，若不为空，从队列中取点判断是否为核心对象，同时标记类号，进行递归搜索；

A77、遍历完成后将ClusterID加1，若集合中有未标记的点则进行新一轮的循环，直至将所有点标记完成，实现目标分割(离)，完成聚类，然后按照ClusterID分别保存密度聚类之后的手术器械点云集。

S8、将分割得到的目标手术器械点云集与手术器械点云模板库中的模板点云进行全局粗配准；

具体地，本发明中粗配准的算法使用RANSAC算法框架，在任意姿态输入的目标点云集P和模板点云集Q中构建共面四点集合，使用仿射不变性约束，在共面四点集合中匹配符合条件的对应点对，使用LCP(Largest Common Pointset)策略寻找配准后最大重叠度四点对，得到最优匹配结果，完成点云粗配准。即给定两个处于任意初始位置的目标点云集P和模板点云集Q，找到两个点集之间的最佳刚性变换模型，使得目标点云集P，模板点云集Q中两点间距离小于δ的点数最多。

该全局粗配准过程主要为后续精配准提供一个比较好的初始位置。参照图5，所述全局粗配准的具体步骤如下：

A81、在目标点云集P和模板点云集Q中的对应点点集中随机寻找3个基础关联对，然后计算求解刚体旋转矩阵T_i；

A82、计算对应集中剩余点对在此刚体旋转矩阵T_i下的距离误差δ，若其中一点对的距离误差小于设定的阈值误差δ，则该点为样本内点，否则则为样本外点，并统计计算对应点数K_i；

A83、重复以上步骤，直至达到迭代次数的上限；

A84、统计不同刚体变换模型下的样本内点数量，输出样本内点对应点数K_i最高的点云(集)P，作为最佳数学模型，并保留所有样本内点，剔除样本外点，进而获得最优匹配结果，完成点云全局粗配准。其中，使用剔除外点的对应点对计算旋转矩阵，用于点云粗配准操作。

S9、对粗配准后的结果进行ICP(Iterative Closest Point)精配准，输出匹配结果，确定目标手术器械的具体型号。

具体地，ICP(Iterative Closest Point)精配准，即采用最近点迭代算法进行精配准。即通过求取源点云和目标点云之间的对应点对，基于对应点对构造旋转平移矩阵，并利用所求旋转平移矩阵，将源点云变换到目标点云的坐标系下，估计变换后源点云与目标点云的误差函数，若误差函数值大于阀值，则迭代进行至上述运算满足给定的误差要求。

参照图6，所述对粗配准后的结果进行ICP精配准，具体包括以下步骤：

A91、选取合适的点云模板，经过粗配准之后，在目标点云P、模板点云Q之间找到一定数量的对应点对；

A92、求取对应点之后使用最小二乘法计算最优变换矩阵R、平移矩阵T；

A93、计算误差函数E(R,T)，判断其是否小于阈值；若不满足条件，则使用R、T对目标点云P进行变换；重复上述步骤，直至误差函数E(R,T)小于阈值为止；

A94、根据精配准输出的三个参数，分别为：correspondence_set(目标点云和点云模板的对应点数)、fitness(目标点云和点云模板的重叠区域)、inlier_rmse(目标点云和点云模板的对应点集的均方根误差)，通过3个参数的对比输出最终匹配结果，确定目标手术器械(零件)的具体型号。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其改进构思加以等同替换或改变，都应涵盖在本发明的保护范围内。

Claims (9)

1.基于三维点云数据ICP配准算法的手术器械识别分类方法，其特征在于，包括以下步骤：

S1、构建手术器械的点云模板库；

S2、采集待测手术器械的三维点云数据，获得三维点云数据集；

S3、对获得的三维点云数据集进行预处理；

S4、对数据预处理后的三维点云数据集进行平面拟合；

S5、对平面拟合后的三维点云数据集进行平台去除处理；

S6、对平台去除处理后的三维点云数据集进行半径式离群点剔除处理；

S7、对半径式离群点剔除处理后的三维点云数据集进行密度聚类，实现目标手术器械点云集的分割；

S8、将分割得到的目标手术器械点云集与手术器械点云模板库中的模板点云进行全局粗配准；

S9、对全局粗配准后的目标点云进行ICP精配准，输出匹配结果，确定目标手术器械的具体型号。

2.根据权利要求1所述的基于三维点云数据ICP配准算法的手术器械识别分类方法，其特征在于，步骤S2中，所述采集待测手术器械的三维点云数据，具体包括以下步骤：

A21、布置三维点云数据采集平台；

A22、将所有待检测手术器械放置到三维点云数据采集平台上，按照不同姿势依次摆放，摆放过程中，每个手术器械按照特定的摆放方式随机摆放；

A23、采集三维点云数据，在采集过程中要保持深度相机的高度保持不变，并模拟手术室环境下光照条件，获得待检测手术器械的三维点云数据集。

3.根据权利要求2所述的基于三维点云数据ICP配准算法的手术器械识别分类方法，其特征在于，所述步骤S4中，采用RANSAC算法对预处理后的三维点云数据集进行平面拟合，具体包括以下步骤：

A41、在各类模型参数中选取平面特征作为将要拟合的模型特征；

A42、在待检测的点云数据集中随机选取点进行平面模型拟合，设置合适阈值，满足阈值的定义为“内点”，其余为“外点”；

A43、遍历内点和外点，检查是否到达迭代次数的上限，若未达到上限则需继续返回模型拟合操作并重新设置阈值，继续遍历内点和外点，直至到达迭代上限；待迭代完成后，选择最优迭代模型；

A44、待迭代完成后，选择最优迭代模型，输出包含内点个数最多的模型，将得到的三维点云数据分为手术器械部分和平台部分。

4.根据权利要求3所述的基于三维点云数据ICP配准算法的手术器械识别分类方法，其特征在于，步骤S5中，对平台去除处理的三维点云数据集进行半径式离群点剔除处理，具体步骤为：假定原始点云中每个激光点在指定的半径邻域中包含至少包含一定数量的近邻点，原始点云中符合假设条件的激光点被视为正常点进行保留，反之，则视为噪声点并进行去除。

5.根据权利要求4所述的基于三维点云数据ICP配准算法的手术器械识别分类方法，其特征在于，步骤S7中，所述对半径式离群点剔除处理后的三维点云数据集进行密度聚类，具体包括以下步骤：

A71、设置初始参数，根据点云自适应计算半径e和领域对象数Minpts，设置当前点的簇Cluster ID为1；

A72、遍历当前点云D中的所有点，并从中选取点P；

A73、判断所选取的点P是否为核心对象，若不是核心对象，则将其标记为边界点，类号赋值为0；若当前点为核心对象，则将其类号赋值为ClusterID；

A74、判断所选取的点P是否为核心对象，若不是核心对象，则将其标记为边界点，类号赋值为0；若当前点为核心对象，则将其类号赋值为ClusterID；

A75、搜索当前所取点的直接密度可达且为被标记的对象，将其类号赋值为ClusterID，并加入当前点的领域队列当中；

A76、判断该点加入的遍历领域队列是否为空，若不为空，从队列中取点判断是否为核心对象，同时标记类号，进行递归搜索；

A77、遍历完成后将ClusterID加1，若集合中有未标记的点则进行新一轮的循环，直至将所有点标记完成，实现目标分割，完成聚类，然后按照ClusterID分别保存密度聚类之后的手术器械点云集。

6.根据权利要求5所述的基于三维点云数据ICP配准算法的手术器械识别分类方法，其特征在于，步骤S8中，所述全局粗配准的算法使用RANSAC算法框架。

7.根据权利要求6所述的基于三维点云数据ICP配准算法的手术器械识别分类方法，其特征在于，所述将分割得到的目标手术器械点云集与手术器械点云模板库中的模板点云进行全局粗配准，具体包括以下步骤：

A81、在目标点云集P和模板点云集Q中的对应点点集中随机寻找3个基础关联对，然后计算求解刚体旋转矩阵T_i；

A82、计算对应集中剩余点对在此刚体旋转矩阵T_i下的距离误差δ，若其中一点对的距离误差小于设定的阈值误差δ，则该点为样本内点，否则则为样本外点，并统计计算对应点数K_i；

A83、重复以上步骤，直至达到迭代次数的上限；

A84、统计不同刚体变换模型下的样本内点数量，输出样本内点对应点数K_i最高的点云P，作为最佳数学模型，并保留所有样本内点，剔除样本外点，进而获得最优匹配结果，完成点云全局粗配准。

8.根据权利要求7所述的基于三维点云数据ICP配准算法的手术器械识别分类方法，其特征在于，步骤S9中，所述ICP精配准采用的算法为最近点迭代算法。

9.根据权利要求8所述的基于三维点云数据ICP配准算法的手术器械识别分类方法，其特征在于，所述对粗配准后的结果进行ICP精配准，具体包括以下步骤：

A91、选取合适的点云模板，经过粗配准之后，在目标点云P、模板点云Q之间找到一定数量的对应点对；

A92、求取对应点之后使用最小二乘法计算最优变换矩阵R、平移矩阵T；

A93、计算误差函数E(R,T)，判断其是否小于阈值；若不满足条件，则使用R、T对目标点云P进行变换；重复上述步骤，直至误差函数E(R,T)小于阈值为止；

A94、根据精配准输出的三个参数，分别为：correspondence_set、fitness、inlier_rmse，通过3个参数的对比输出最终匹配结果，确定目标手术器械的具体型号的具体型号。

Images