CN116486015A - 一种格子柜的三维尺寸自动检测和cad数模重建方法 - Google Patents

Abstract

本发明是一种格子柜的三维尺寸自动检测和CAD数模重建方法，研究基于深度相机数据技术的格子柜产品三维重建方法。该发明先使用深度相机采集工业环境下格子柜RGBD图像，将其计算生成具有环境的原始点云数据；然后将原始点云数据分别进行离群点剔除、下采样的数据处理，以此降低点云数据的噪声影响、并提高整个数据运算速度；接着将处理后的点云数据依据成像原理获取格子柜产品实时位姿信息；最后采用基于点云数据和基于三维信息的两者结合的重建方式技术，构造格子柜的三维模型。经实验结果证明，用本发明方法建立的三维模型的误差百分比约为3％，具有良好的适用性和准确率，对解决格子柜产品的图像采集和三维模型重建问题有明显效果。

Description

一种格子柜的三维尺寸自动检测和CAD数模重建方法

技术领域

本发明涉及格子柜式物体的人工智能和计算机视觉识别技术领域，特别是涉及一种格子柜式物体的三维尺寸自动检测和CAD数模重建方法。

背景技术

随着市场对于文件柜等格子柜式产品的质量要求越来越高，在生产过程中对其进行在线形位尺寸检测成为控制产品质量中不可或缺的一环；另外，在对格子柜式产品进行自动喷涂加工等生产工序时，对其进行三维尺寸及空间位姿的自动非接触式测量是最基础的一步，也是首要步骤。

目前，传统方法能够解决部分格子柜式产品工件的空间位姿估计问题，如牛晨等人提出的基于双目视觉的工件位姿检测方法，其采集拍摄到的不同角度的图片求解出目标物体的位姿信息；又如宛江洪等人提出的基于双目结构光的工件位姿检测方法，采用双目结构光视觉系统实现对工件的数据采集和位姿计算。但是，以上方法对格子柜式产品的表面粗糙且反射光线能力不强，搭载普通光源的视觉系统不能获取优质的图像数据，从而造成位姿检测的误差；同时，格子柜式产品的体积普遍偏大，对视觉检测系统的视场和场地环境要求也更为严苛，可采用的、且对产品种类和尺寸规格兼容性强的成熟方案少之又少。

因此，有研究引入深度相机采集方式来解决上述的实际问题，如费点等人提出基于深度相机的特殊表面定位与修复，其对无法获得深度值的非郎伯体高反射面和透明物质进行置信度评估和位姿计算，解决特殊表面的三维重建问题；又如刘学超等人提出的基于深度相机的汽车转向节位姿估计研究，其采用深度相机获取汽车转向节的3D坐标；又如张然等人提出基于深度相机的船舶小构件打磨装置视觉识别算法，通过深度相机获取构件的空间位姿。

深度相机，作为一种集成度高、功能强大的图像采集设备，搭载了CMOS滚动快门传感器和TOF深度摄像头，能够有效获取目标物体的RGBD图像，来解决目标物的非接触式信息数据获取问题。但是，如何在基于深度相机获取技术上，继续对目标物体信息再提取利用来进行目标物的三维模型构建，目前仍然没有文献进行探索。尤其是如何将深度相机技术与三维模型构建技术结合应用在如格子柜式产品的生产上，更是完全没有解决方案。

如何在工业环境下将深度相机和三维重建技术结合，在信息维度上拓展三维信息空间，并对格子柜表面信息如深度、空间位姿和局部细节等指标进行准确分析，来重建获得格子柜柜体的三维模型，使之能够辅助生产、仿真和设计，并保障生产加工的质量，使格子柜式产品的生产加工行业面对的迫切需求。

发明内容

本发明目的是：针对上述问题，本发明申请提出一种采用深度相机对工业环境下的格子柜体进行数据采集，优化数据并生成三维模型，解决格子柜体的表面信息采集和三维重建问题。

本发明研究格子柜产品在工业环境下的基于深度相机数据技术的三维尺寸自动检测和CAD数模三维重建方法，基本流程是：先使用深度相机采集格子柜的工业环境下的RGBD图像，将其计算生成格子柜的具有环境的原始点云数据；然后将原始点云数据分别进行离群点剔除、下采样的数据处理，以此降低点云数据的噪声影响、并提高整个数据运算速度，并用颜色信息丰富其三维信息空间；接着将处理后的点云数据依据成像原理获取格子柜产品实时位姿信息；最后采用基于点云数据和基于三维信息的两者结合的重建方式技术，构造格子柜的三维模型。

本发明采用的技术方案如下：一种格子柜的三维尺寸自动检测和CAD数模重建方法，所述三维尺寸自动检测方法包括：

步骤S11：使用深度相机采集格子柜柜体的RGBD图像；

步骤S12：将获得的RGBD图像计算生成格子柜的原始点云数据；

步骤S13：作点云数据处理，进行离群点剔除和下采样的数据处理；

步骤S14：将步骤3处理后的点云数据依据成像原理获取格子柜的位姿；

所述CAD数模重建方法包括：

步骤S21：采用基于点云数据和基于三维信息的重建方式，构造格子柜的三维模型。

进一步的，所述步骤S11的RGBD图像由RGBD相机获取；所述RGBD图像由RGB图像和Depth图像组合成；所述RGB图像和Depth图像的视角差异通过公式(1.1)校正获得统一，见下式：

式中：P_RGB为RGB相机在像素坐标系中的点坐标，P_Depth为Depth相机在像素坐标系中的点坐标，I_RGB为RGB相机的内参矩阵，E_RGB为RGB相机的外参矩阵，I_Depth为Depth相机的内参矩阵，E_Depth为Depth相机的外参矩阵。

进一步的，从所述公式(1.1)计算出来并转换后的RGB图和转换后的Depth图，都具有相同的索引。

进一步的，所述步骤S12还包括：将步骤S11计算转换而获得的RGBD图像，通过计算其对应的世界坐标，将其转换成RGBD图像的原始点云数据。

进一步的，所述步骤S13的点云数据离群点剔除数据处理为一种统计方法，即通过循环计算每个点的球形半径R内点数量N，若N小于阈值M则判断为点云数据的离群点，以此划分出点云数据在空间中的边缘点。

进一步的，所述步骤S13的点云数据下采样数据处理为体素下采样方式，即对点云数据创建若干个三维体素栅格，将每个体素栅格的重心表示为栅格中所有点云数据，形成以栅格重心点组成的稀疏点云数据，在减少点云数量的同时保证物体形状特征不被破坏。

进一步的，所述步骤S14的位姿处理还包括通过公式(1.2)确定格子柜柜体在世界坐标下的点坐标，以此来获取格子柜体的位姿；所述公式(1.2)见如下：

其中，Pimage是像素坐标系下的图像，相机坐标系中的点坐标为P_camera＝[X Y Z]^T，世界坐标系下的点坐标P_world是P_camera经过相机的位姿调整得到的，相机内参矩阵中的缩放尺度[αβ]和位移量[cx cy]，相机外参矩阵中的旋转矩阵R和平移向量T，f是相机焦距。

进一步的，所述步骤S21的基于点云数据的三维重建还包括采用泊松表面重建，通过平滑滤波指示函数，构建柏松方程，建立表面滤波后的指示函数梯度场和表面向内法向量场的关系，求解等值面。

进一步的，所述泊松表面重建，还包括根据点云数据的八叉树结构建立基函数空间来解泊松方程，用泊松方程的解表示所求的曲面，通过Marching Cubes面绘制方式形成多边形网格。

进一步的，所述步骤S21的基于三维信息的三维重建为根据格子柜柜体的三维信息构造多个基础的三维模型实体，并组合成整体的三维模型，即包括以下步骤：

步骤S211：通过三次进行随机采样一致RANSAC方法的计算，将格子柜的整体划分为顶面、侧面和底面三个面，并结合点云数据的最大包围盒和平面方程，得到整个格子柜体的长宽高尺寸；

步骤S212：通过DBSCAN聚类算法，将格子柜底面的点云数据划分为多个聚类簇，聚类簇数量即为格子柜的格子的数量，并结合点云数据的最大包围盒，计算出所有格子的长宽高尺寸、格子排列方式和排列顺序。

本发明由于采用了上述技术方案，具有以下有益效果：

本发明申请提出一种格子柜的三维尺寸自动检测和CAD数模重建方法，将基于深度相机的数据采集技术和三维重建技术结合，在信息维度上拓展三维信息空间。通过深度相机技术采集工业环境下的格子柜产品的RGBD图像，生成具有环境的点云数据，解决金属柜体表面信息采集问题的同时，用颜色信息丰富其三维信息空间；围绕其进行物体深度、空间位姿和局部细节等关键指标的准确分析，实现对格子柜的三维尺寸自动自动检测；然后以多尺度三维目标检测算法，实现对格子柜类别的检测，并计算出其相应的三维信息，生成对应的CAD模型；最后优化三维CAD模型细节并修补模型空洞。通过本发明方法，使能够辅助格子柜的设计、仿真和生产全过程。实践证明，建立的模型具有良好的适用性和准确率，对解决格子柜柜体的图像采集和三维模型重建问题有明显效果，使其能在全过程中精准保障生产加工的质量要求，并使格子柜行业实现的无人化、智能化生产。

附图说明

图1为本发明方法流程示意图；

图2为本发明实施例的RGB图像和Depth图像举例；

图3为本发明实施例的原始点云数据图和处理后点云数据图举例；

图4为本发明实施例的基于点云数据重建模型和基于三维信息重建模型举例；

图5为本发明实施例的基于RANSAC方法和基于DBSCAN方法的分割结果举例。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明提出的一种格子柜的三维尺寸自动检测和CAD数模重建方法，研究基于深度相机数据技术的格子柜产品三维重建方法。该发明先使用深度相机采集工业环境下的格子柜RGBD图像，将其计算生成格子柜的具有环境的原始点云数据；然后将具有环境的原始点云数据分别进行离群点剔除、下采样的数据处理，以此降低点云数据的噪声影响、并提高整个数据运算速度；接着将处理后的点云数据依据成像原理获取格子柜产品实时位姿信息；最后采用基于点云数据和基于三维信息的两者结合的重建方式技术，构造格子柜的三维模型。图2至图5给出本发明实施例所处理的数据原图举例以及过程变化的图片示例。

实施例1：一种格子柜的三维尺寸自动检测和CAD数模重建方法，其中，所述三维尺寸自动检测方法包括：

步骤S11：使用深度相机采集格子柜柜体的RGBD图像；

步骤S12：将获得的RGBD图像计算生成格子柜的原始点云数据；

步骤S13：作点云数据处理，进行离群点剔除和下采样的数据处理；

步骤S14：将步骤3处理后的点云数据依据成像原理获取格子柜的位姿；

所述CAD数模重建方法包括：

步骤S21：采用基于点云数据和基于三维信息的重建方式，构造格子柜的三维模型。

进一步的，所述步骤S11的RGBD图像由RGBD相机获取，RGBD相机是一个rgb相机和一个深度(Depth)相机组合，所述RGBD图像由RGB图像和深度(Depth)图像组合成。RGB图像由RGB相机的CMOS滚动快门传感器获得，其曝光后转换为电信号输出，具有较高的灵敏度、广动态范围和高速快门时间等优势。Depth图像由TOF Depth摄像头获得，根据调幅连续波AMCW时差测距TOF原理，将近红外NIR频谱中的调制光投射到场景中，记录光线从相机传播到场景，再从场景返回相机所花费的间接时间测量值处理生成Depth图像。

所述RGB图像和Depth图像在图像采集方式、传感元件位置和图像分辨率等存在区别，致使通过RGBD相机获取的RGB图像和Depth图像存在一定的视角差异，RGB图像和Depth图像的视角差异通过公式(1.1)校正获得统一，见下式：

式中：P_RGB为RGB相机在像素坐标系中的点坐标，P_Depth为Depth相机在像素坐标系中的点坐标，I_RGB为RGB相机的内参矩阵，E_RGB为RGB相机的外参矩阵，I_Depth为Depth相机的内参矩阵，E_Depth为Depth相机的外参矩阵。

进一步的，从所述公式(1.1)计算出来并转换后的RGB图和转换后的Depth图，都具有相同的索引。

进一步的，所述步骤S12还包括：将步骤S11计算转换而获得的RGBD图像，通过计算其对应的世界坐标，将其转换成带有颜色信息的RGBD图像的原始点云数据。

由于格子柜的尺寸和悬挂姿势不一致，深度相机在进行RGBD图像采集时会出现遮挡死角、曝光异常和随机噪声等问题，为优化格子柜的点云数据，需要进行离群点剔除和下采样的点云数据处理。

进一步的，所述步骤S13的点云数据离群点剔除数据处理为一种统计方法，即通过循环计算每个点的球形半径R内点数量N，若N小于阈值M则判断为点云数据的离群点，以此划分出点云数据在空间中的边缘点。相比于显著点剔除的算法，本发明的离群点剔除方法能保留大量点云数据特征。

进一步的，为了有效减少运算时间和节约计算资源，所述步骤S13的点云数据下采样数据处理为体素下采样方式，即对点云数据创建若干个三维体素栅格，将每个体素栅格的重心表示为栅格中所有点云数据，形成以栅格重心点组成的稀疏点云数据，在减少点云数量的同时保证物体形状特征不被破坏。

进一步的，所述步骤S14的位姿处理还包括通过公式(1.2)确定格子柜柜体在世界坐标下的点坐标，来获取格子柜的位姿；所述公式(1.2)见如下：

其中，Pimage是像素坐标系下的图像，相机坐标系中的点坐标为P_canera＝[X Y Z]^T，世界坐标系下的点坐标P_world是Pc_amera经过相机的位姿调整得到的，相机内参矩阵中的缩放尺度[α β]和位移量[cx cy]，相机外参矩阵中的旋转矩阵R和平移向量T，f是相机焦距。

本实施例中，格子柜的三维重建分为基于点云数据和基于三维信息的两部分，如步骤S21所述。对格子柜采用两种三维重建方法能够实现互补效果，有效提升了三维模型的数据信息量，在修补模型空洞的同时，增加了表面纹理细节信息，且能够基于水密模型的特点计算出相应的体积与表面积，对后续三维模型的空间计算提供了科学依据。

所述步骤S21的基于点云数据的三维重建采用泊松表面重建，是综合全局与局部优点的曲面重建方法。通过平滑滤波指示函数，构建柏松方程，建立表面滤波后的指示函数梯度场和表面向内法向量场的关系，求解等值面。

假设一个物体M的边界为物体的边界上的点法向量为/>根据其梯度/>求逆，寻找梯度最佳逼近矢量场v的标量函数/>通过平滑滤波指示函数建立表面滤波后的指示函数梯度场和表面向内法向量场的关系/>两边求取散度构建泊松方程/>进一步的，所述泊松表面重建，还包括根据点云数据的八叉树结构建立基函数空间来解泊松方程，用泊松方程的解表示所求的曲面，通过Marching Cubes面绘制方式形成多边形网格。

所述步骤S21的基于三维信息的三维重建为根据格子柜的三维信息构造多个基础的三维模型实体，并组合成整体的三维模型。

格子柜柜体的三维信息包括柜体长宽高尺寸、格数量与排列方式、格长宽高尺寸等，因此本发明申请采用步骤S211的RANSAC方法和步骤S212的DBSCAN聚类算法组合完成基于三维信息的三维重建。

步骤S211：通过三次进行随机采样一致RANSAC方法的计算，将格子柜的整体划分为顶面、侧面和底面三个面，并结合点云数据的最大包围盒和平面方程，得到整个格子柜体的长宽高尺寸。

为获取三维信息，采用随机采样一致RANSAC方法从点云数据中分割平面，以迭代次数定义了随机平面采样和验证的频率，在每次迭代中选择n个随机点，以距离阈值作为点到估计平面的最大距离指标，从而将点云数据分为内点与外点两部分，从而实现随机抽样估计平面，且内点满足平面方程ax+by+cz+d＝0。通过三次随机采样一致RANSAC方法的计算，可以将格子柜体划分为顶面、侧面和底面三个面，并结合点云数据的最大包围盒和平面方程，可以得到格子柜的长宽高尺寸。

步骤S212：通过DBSCAN聚类算法，将格子柜底面的点云数据划分为多个聚类簇，聚类簇数量即为格子柜的格子的数量，并结合点云数据的最大包围盒，计算出所有格子的长宽高尺寸、格子排列方式和排列顺序。

格子柜的底面点云数据反映的是格数量与排列方式，因此采用基于密度的DBSCAN聚类算法实现，基本思路是根据点的邻域范围内的点集数量，划分出多个密集区域，并不断迭代分出边界点、噪声点和核心点，从而实现对于点集的全部密集区域的聚类划分。相比kmeans聚类算法，DBSCAN算法可以发现任意形状的聚类簇，对于均匀的样本集的聚类收敛质量较好，收敛时间快。通过DBSCAN聚类算法，将底面点云数据划分为多个聚类簇，聚类簇数量即为格数量，结合点云数据的最大包围盒计算出格的长宽高尺寸和格排列方式。

此外，基于点云数据和基于三维信息两种三维重建方法各有优劣，因此要将两者所得结构结合处理，才能得到最优的三维重建模型。两者特点为：基于点云数据得到的三维模型是非水密模型，内部不包含任何密封区域，无法估算体积及表面积，局部因点云数据缺失存在空洞，但其保留了点云数据的全部特征，细节纹理部分最大化进行还原，三维模型更接近真实；基于三维信息构建得到的三维模型是水密模型，表面完整无空洞，能够估算格子柜体的体积和表面积，但是其损失了表面的细节纹理，且三维信息的计算上存在误差。

因此，对格子柜采用两种三维重建方法能够实现互补效果，有效提升了三维模型的数据信息量，在修补模型空洞的同时，增加了表面纹理细节信息，且能够基于水密模型的特点计算出相应的体积与表面积，对后续三维模型的空间计算提供了科学依据。

实施例2：

实验环境：为验证本发明申请的方案，通过15格柜进行实验。深度相机摆放在距格子柜柜体目标物2米的位置，视觉检测系统占场地空间小，容易布置，只需保证格子柜体处于相机的视场内，无需考虑周围环境影响。

使用深度相机采集到的RGB图像和Depth图像如附图2所示。通过附图2(a)(b)(c)(d)对比可以明显看出，RGB图像和Depth图像存在明显视角差异。

根据图像校正的关系公式，将附图2的图像转换得到原始点云数据，见附图3(a)。原始点云数据经过离群点剔除和下采样的点云数据处理，减少了噪声数据的干扰，提高了计算速度。接着，根据成像原理确定格子柜在世界坐标下的点坐标，初步获取格子柜的位姿，经数据处理后的点云数据如附图3(b)所示。

基于点云数据的三维重建得到的三维模型如附图4(a)所示，基于三维信息的三维重建得到的三维模型如图4(b)所示。

根据随机采样一致RANSAC方法对格子柜进行分割点云数据得到的不同平面，见附图5(a)。采用基于密度的DBSCAN聚类算法对底面点云数据进行聚类分割，如图5(b)所示。而后，结合最大包围盒，计算出格子柜的整个三维信息。

在结合基于点云数据和基于三维信息的两种三维重建方法进行格子柜CAD数模重建后，格子柜长宽高尺寸、格数量与排列方式、格长宽高尺寸等的三维信息测量识别结果与真实值的对比如表1所示。

表1格子柜长宽高尺寸、格数量与排列方式、格长宽高尺寸等三维信息识别

由此证明，本发明提出对格子柜柜体的三维重建，具有良好的适用性和准确率。

需要说的是，在本发明中，根据研究内容所需，最终目标提取为字符中的数字字符。本发明方法可同理替换提取其他图像信息，如中文、英文、或其他非文字类、非字符类等信息。

应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种格子柜的三维尺寸自动检测和CAD数模重建方法，其特征在于，所述三维尺寸自动检测方法包括：

步骤S11：使用深度相机采集格子柜柜体的RGBD图像；

步骤S12：将获得的RGBD图像计算生成格子柜的原始点云数据；

步骤S13：作点云数据处理，进行离群点剔除和下采样的数据处理；

步骤S14：将步骤3处理后的点云数据依据成像原理获取格子柜的位姿；

所述CAD数模重建方法包括：

步骤S21：采用基于点云数据和基于三维信息的重建方式，构造格子柜的三维模型。

2.根据权利要求1所述的一种格子柜的三维尺寸自动检测和CAD数模重建方法，其特征在于所述步骤S11的RGBD图像由RGBD相机获取；所述RGBD图像由RGB图像和Depth图像组合成；所述RGB图像和Depth图像的视角差异通过公式(1.1)校正获得统一，见下式：

式中：P_RGB为RGB相机在像素坐标系中的点坐标，P_Depth为Depth相机在像素坐标系中的点坐标，I_RGB为RGB相机的内参矩阵，E_RGB为RGB相机的外参矩阵，I_Depth为Depth相机的内参矩阵，E_Depth为Depth相机的外参矩阵。

3.根据权利要求2所述的一种格子柜的三维尺寸自动检测和CAD数模重建方法，其特征在于从所述公式(1.1)计算出来并转换后的RGB图和转换后的Depth图，都具有相同的索引。

4.根据权利要求1所述的一种格子柜的三维尺寸自动检测和CAD数模重建方法，其特征在于所述步骤S12还包括：将步骤S11计算转换而获得的RGBD图像，通过计算其对应的世界坐标，将其转换成带有颜色信息的RGBD图像的原始点云数据。

5.根据权利要求1所述的一种格子柜的三维尺寸自动检测和CAD数模重建方法，其特征在于所述步骤S13的点云数据离群点剔除数据处理为一种统计方法，即通过循环计算每个点的球形半径R内点数量N，若N小于阈值M则判断为点云数据的离群点，以此划分出点云数据在空间中的边缘点。

6.根据权利要求1所述的一种格子柜的三维尺寸自动检测和CAD数模重建方法，其特征在于所述步骤S13的点云数据下采样数据处理为体素下采样方式，即对点云数据创建若干个三维体素栅格，将每个体素栅格的重心表示为栅格中所有点云数据，形成以栅格重心点组成的稀疏点云数据，在减少点云数量的同时保证物体形状特征不被破坏。

7.根据权利要求1所述的一种格子柜的三维尺寸自动检测和CAD数模重建方法，其特征在于所述步骤S14的位姿处理还包括通过公式(1.2)确定格子柜柜体在世界坐标下的点坐标，来获取金属柜体的位姿；所述公式(1.2)见如下：

其中，Pimage是像素坐标系下的图像，相机坐标系中的点坐标为P_camera＝[X Y Z]^T，世界坐标系下的点坐标P_world是P_camera经过相机的位姿调整得到的，相机内参矩阵中的缩放尺度[α β]和位移量[cx cy]，相机外参矩阵中的旋转矩阵R和平移向量T，f是相机焦距。

8.根据权利要求1所述的一种格子柜的三维尺寸自动检测和CAD数模重建方法，其特征在于所述步骤S21的基于点云数据的三维重建还包括采用泊松表面重建，通过平滑滤波指示函数，构建柏松方程，建立表面滤波后的指示函数梯度场和表面向内法向量场的关系，求解等值面。

9.根据权利要求8所述的一种格子柜的三维尺寸自动检测和CAD数模重建方法，其特征在于所述泊松表面重建，还包括根据点云数据的八叉树结构建立基函数空间来解泊松方程，用泊松方程的解表示所求的曲面，通过Marching Cubes面绘制方式形成多边形网格。

10.根据权利要求1所述的一种格子柜的三维尺寸自动检测和CAD数模重建方法，其特征在于所述步骤S21的基于三维信息的三维重建为根据格子柜柜体的三维信息构造多个基础的三维模型实体，并组合成整体的三维模型，即包括以下步骤：

步骤S211：通过三次进行随机采样一致RANSAC方法的计算，将格子柜的整体划分为顶面、侧面和底面三个面，并结合点云数据的最大包围盒和平面方程，得到整个金属柜体的长宽高尺寸；

步骤S212：通过DBSCAN聚类算法，将格子柜底面的点云数据划分为多个聚类簇，聚类簇数量即为格子柜的格子的数量，并结合点云数据的最大包围盒，计算出所有格子的长宽高尺寸、格子排列方式和排列顺序。