CN111028340B - 精密装配中的三维重构方法、装置、设备及系统 - Google Patents

Abstract

本发明实施例公开了一种精密装配中的三维重构方法、装置、设备及系统。其中，方法包括在按照初始扫描路径对待测物体进行激光扫描过程中，利用仿生主动感知方法在各位置处自动对激光扫描仪进行激光聚焦，并获取激光扫描仪采集的点云数据；仿生主动感知方法为根据激光光斑在不同平面的仿射变换特性建立激光光斑投影图与真实图间的对应关系，并根据当前激光光斑和对应关系自动调节机床运动参数使激光在待测物体表面聚焦；最后根据基于机床运动参数、点云变化矩阵和误差变化矩阵确定的点云配准关系式，将点云数据转化为同一坐标系下的数据，完成点云数据配准。本申请实现了高效、准确地三维重构，提高了3C装配的精准度和效率，有效降低3C装配成本。

Description

精密装配中的三维重构方法、装置、设备及系统

技术领域

本发明实施例涉及3C装配技术领域，特别是涉及一种精密装配中的三维重构方法、装置、设备及系统。

背景技术

随着新材料的应用及装备制造业对产品质量与生产效率的要求不断提高，传统装配方法已难以满足规模化生产需求，尤其在高精密装配领域。随着传感器的发展，具有感知能力的装配机器人成为高端制造装配线的核心，通过三维感知获取装配对象信息，然后利用物体的三维信息能够制定相应装配方案，提升装配的灵活性，并实现精准装配。

3C装配技术领域中，以电脑、通信和消费电子三类为总称的3C产品多为玻璃等透明材质，由于透明材质表面的透明度和镜面反射性，传统的视觉感知方法难以对透明物体的三维重建实现精准感知。故，目前3C产品的装配工作均由人工完成，为提高装配效率和装配质量，各高速轻载机器人被研发用于协助完成产品的装配任务，而3C装配领域中产品多为玻璃等透明材质，如何获取玻璃等高精密材质三维信息为3C装配领域中亟需解决的重要问题。

现有技术可通过大功率线性激光投影仪将线结构光投射到被测表面，通过视觉定位算法得到运动轨迹，并使用全局优化算法来计算相机在每个拍摄位置相对于世界坐标系的姿态，通过系统的位姿信息，恢复世界坐标系中结构光条纹的坐标，得到被测物体的表面形貌。但是，该方法对于玻璃等透明材质受光线影响较大，获得的图像噪声多，重构运算量大，误匹配率高，导致重构精度低，无法满足3C装配领域中对电子产品的精密装配要求。

为了解决点云数据获取噪声大的问题，由于激光扫描法具有较强的抗干扰能力，相关技术采用激光扫描法获取透明材质点云信息，激光扫描可分为点激光、线激光、面激光，通过三角测量法可计算得到被测物体的准确三维位置信息。但是激光扫描法聚焦范围小，无法单次获取被测物体的全部点云信息，需依据物体表面做路径规划，使激光保持聚焦状态。

尽管激光扫描方法克服了传统视觉对透明材质重构精度差的问题，但现有激光测量方法为解决激光聚焦问题，需增加较多的额外装置用于检测激光光斑，装置安装要求高，且检测方法复杂，增加了整个系统的成本。此外，为获取高质量的物体表面点云信息，需让激光发射出的激光点聚焦在被测物体表面，由于物体表面形状、大小的变化，激光扫描仪的位置与姿态需做出相应调整，现有方法均采用人工手动调节方式，效率低且难以达到较高的精度。

发明内容

本公开实施例提供了一种精密装配中的三维重构方法、装置、设备及系统，实现了高效、准确地三维重构，提高了3C装配的精准度和效率，降低了3C装配成本。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种精密装配中的三维重构方法，包括：

在按照预设初始扫描路径对待测物体进行激光扫描过程中，利用仿生主动感知方法在所述初始扫描路径的各位置处自动对激光扫描仪进行激光聚焦，获取所述待测物体的点云数据；

基于预先构建的点云配准关系式，将所述点云数据转化为同一坐标系下的数据，以完成点云数据配准；

其中，所述仿生主动感知方法为根据激光光斑在不同平面的仿射变换特性建立激光光斑投影图与真实投影图之间的对应关系，并根据当前激光光斑图像和所述对应关系自动调节机床运动参数，以使激光在所述待测物体表面聚焦；所述点云配准关系式根据所述机床运动参数、点云变化矩阵和误差变化矩阵所得。

可选的，所述机床为五轴运动平台，所述基于预先构建的点云配准关系式，将所述点云数据转化至同一坐标系下的数据，以完成点云数据配准包括：

利用所述点云配准关系式将所述点云数据P₀转化至同一坐标系下的数据P，以完成点云数据配准；所述点云配准关系式为：

P＝(T_x*R_x)*(T_y*R_y)*(T_z*R_z)*(T_a*R_a)*(T_c*R_c)*T*P₀；

式中，T_x、T_y、T_z、T_a、T_c为所述五轴运动平台各轴的位置误差矩阵，R_x、R_y、R_z、R_a、R_c为所述五轴运动平台各轴的姿态误差矩阵，T为所述点云变化矩阵。

可选的，所述位置误差矩阵可为：

式中，j为x或y或z或a或c，相应的，T_x为x轴的位置误差矩阵，T_y为y轴的位置误差矩阵，T_z为z轴的位置误差矩阵，T_a为a轴的位置误差矩阵，T_c为c轴的位置误差矩阵；Δx_j为当前轴j在x轴方向上产生的几何误差，Δy_j为当前轴j在y轴方向上产生的几何误差，Δz_j为当前轴j在z轴方向上产生的几何误差。

可选的，所述姿态误差矩阵为：

式中，j为x或y或z或a或c，相应的，R_x为x轴的姿态误差矩阵，R_y为y轴的姿态误差矩阵，R_z为z轴的姿态误差矩阵，R_a为a轴的姿态误差矩阵，R_c为c轴的姿态误差矩阵；Δα_j为当前轴j绕x轴旋转产生的几何误差，Δβ_j为当前轴j绕y轴旋转产生的几何误差，Δγ_j为当前轴j绕z轴旋转产生的几何误差。

可选的，所述点云变化矩阵为：

式中，g_x、g_y、g_z为所述点云数据为由激光坐标系转化至工件坐标系中在x轴、y轴、z轴的点云平移量，α为绕x轴旋转的旋转角度，γ为绕z轴旋转的旋转角度。

可选的，所述激光光斑形状为椭圆，且所述激光在所述待测物体表面聚焦时的聚焦光斑的长轴值和短轴值相同，所述利用仿生主动感知方法在所述初始扫描路径的各位置处自动对激光扫描仪进行激光聚焦包括：

获取所述当前激光光斑的长轴值D₁和短轴值D₂，判断所述当前激光光斑是否满足聚焦状态判断关系式，所述聚焦状态判断关系式为：

式中，D₀为所述聚焦光斑的直径，ε₁为第一阈值，ε₂为第二阈值；

若所述当前激光光斑不满足聚焦状态判断关系式，则根据角度调节公式和距离调节公式计算长轴所在方向所需调节的角度Δθ和所需调节的距离Δd，所述角度调节公式为Δθ＝(D₁-D₂)*μ+θ₀；所述距离调节公式为

式中，μ为角度因子，θ₀为0，为距离因子，d₀为0。

可选的，所述基于预先构建的点云配准关系式，将所述点云数据转化至同一坐标系下的数据之后，还包括：

获取面激光扫描仪单次采集所述待测物体的全局点云数据，以作为全局视图；

从点云配准得到的各部分的局部点云视图中选择与所述全局视图匹配率最高的目标局部视图；

根据各目标局部视图构建所述待测物体的三维模型。

本发明实施例另一方面提供了一种精密装配中的三维重构装置，包括：

点云数据采集模块，用于在按照预设初始扫描路径对待测物体进行激光扫描过程中，利用仿生主动感知方法在所述初始扫描路径的各位置处自动对激光扫描仪进行激光聚焦，获取所述待测物体的点云数据；所述仿生主动感知方法为根据激光光斑在不同平面的仿射变换特性建立激光光斑投影图与真实投影图之间的对应关系，并根据当前激光光斑图像和所述对应关系自动调节机床运动参数，以使激光在所述待测物体表面聚焦；所述点云配准关系式根据所述机床运动参数、点云变化矩阵和误差变化矩阵所得；

点云数据配准模块，用于基于预先构建的点云配准关系式，将所述点云数据转化至同一坐标系下的数据，以完成点云数据配准。

本发明实施例还提供了一种精密装配中的三维重构设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述精密装配中的三维重构方法的步骤。

本发明实施例最后还提供了一种精密装配中的三维重构系统，包括激光扫描仪、图像采集器、机床及处理器；所述激光扫描仪设置在所述机床上，且所述激光扫描仪、所述图像采集器、所述机床均与所述处理器相连；

其中，所述激光扫描仪用于按照预设初始扫描路径对待测物体进行激光扫描以采集所述待测物体的点云数据，并将所述点云数据发送至所述处理器；

所述图像采集器用于在所述激光扫描仪进行激光扫描过程中实时采集激光光斑图像，并将所述激光光斑图像发送至所述处理器；

所述机床用于根据所述处理器发送的参数调整值自动调节当前运动参数，以实现通过对所述激光扫描仪出射激光的方向和所述激光扫描仪与所述待测物体之间距离的调整自动使激光在所述待测物体表面聚焦；

所述处理器用于执行存储器中存储的计算机程序时实现如上任一项所述精密装配中的三维重构方法的步骤。

本申请提供的技术方案的优点在于，通过研究激光光斑在不同平面上的仿射变换特性，建立激光光斑投影图与真实图之间的对应关系，视觉监控激光扫描仪在扫描过程中的激光光斑，自动调节机床运动使激光始终在物体表面聚焦，不仅解决了人工调节激光聚焦存在的弊端，还可对任意曲面点云数据进行重构，计算简单，操作方便，实现了高效、高精度三维重构，不需要引用其他高精度设备，有效降低成本；此外，结合机床运动参数、误差矩阵对点云数据进行多信息融合数据配准，有利于提高三维模型精度，能够满足基于视觉引导的机器人3C装配任务的精度要求，实现机器人在3C装配技术领域的高精度、高效低成本装配。

此外，本发明实施例还针对精密装配中的三维重构方法提供了相应的实现装置、设备及系统，进一步使得所述方法更具有实用性，所述装置、设备及系统具有相应的优点。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种精密装配中的三维重构方法的流程示意图；

图2为本发明实施例提供的激光光斑在待测物体的第一位置处的光斑形状和光斑大小；

图3为本发明实施例提供的激光光斑在待测物体的第二位置处的光斑形状和光斑大小；

图4为本发明实施例提供的激光光斑在待测物体的第三位置处的光斑形状和光斑大小；

图5为本发明实施例提供的激光扫描仪中激光器的角度调节示意图；

图6为本发明实施例提供的激光扫描仪中激光器的距离调节示意图；

图7为本发明实施例提供的五轴运动平台的结构示意图；

图8为本发明实施例提供的一种精密装配中的三维重构方法的流程示意图；

图9为本发明实施例提供的精密装配中的三维重构装置的一种具体实施方式结构图；

图10为本发明实施例提供的精密装配中的三维重构装置的另一种具体实施方式结构图；

图11为本发明实施例提供的精密装配中的三维重构系统的另一种具体实施方式结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

首先参见图1，图1为本发明实施例提供的一种精密装配中的三维重构方法的流程示意图，本发明实施例可包括以下内容：

S101：在按照预设初始扫描路径对待测物体进行激光扫描过程中，利用仿生主动感知方法在初始扫描路径的各位置处自动对激光扫描仪进行激光聚焦，获取待测物体的点云数据。

S102：基于预先构建的点云配准关系式，将点云数据转化为同一坐标系下的数据，以完成点云数据配准。

可以理解的是，三维重建过程分为点云数据获取与点云数据配准两个过程，其中，获取的点云数据的质量直接影响最终三维模型重构的精度，本申请可采用激光传感器或者是激光扫描仪采集点云数据。初始扫描路径为激光扫描仪出射的激光在完成扫描整个待测物体的移动路线，初始扫描路径可利用任何一种相关技术结合实际应用场景和待测物体的轮廓进行确定，本申请对此不作任何限定，激光在移动过程中，每到初始扫描路径上的一个位置点便调用仿生主动感知方法自动对激光光束进行调节以实现在该位置点自动聚焦，激光光束处于聚焦状态后采集该位置处的数据，以作为待测物体的局部点云数据，由于点云数据均是在激光聚焦后采集的，故点云数据的精度更高，有利于提升后续点云数据配准的准确度。仿生主动感知方法可为根据激光光斑在不同平面的仿射变换特性建立激光光斑投影图与真实投影图之间的对应关系，并根据当前激光光斑图像和对应关系自动调节机床运动参数，以使激光在待测物体表面聚焦。其中，当前激光光斑图像可通过实时视觉监控激光光斑来得到，利用可通过CCD图像传感器采集激光在待测物体的某个位置点的激光光斑图像。

在本申请中，在获取待测物体的全部点云数据后，利用点云配准关系式将这些点云数据转化为同一坐标系的数据，例如可将激光坐标下的点云数据转化至工件坐标下的数据。其中，点云配准关系式可根据机床运动参数、点云变化矩阵和误差变化矩阵所得。机床为搭载激光扫描仪并通过改变其自身的参数改变激光扫描仪出射激光的角度、方向和距待测物体之间的距离，点云变化矩阵为将原始点云数据所在坐标系和转化后的坐标系之间的映射关系，由于机床本身存在的集合误差和旋转移动过程中产生的几何误差，可对机床进行误差建模以得到误差矩阵，在点云数据配准过程中考虑误差的存在，可提高点云数据的配准精度。

在本发明实施例提供的技术方案中，通过研究激光光斑在不同平面上的仿射变换特性，建立激光光斑投影图与真实图之间的对应关系，视觉监控激光扫描仪在扫描过程中的激光光斑，自动调节机床运动使激光始终在物体表面聚焦，不仅解决了人工调节激光聚焦存在的弊端，还可对任意曲面点云数据进行重构，计算简单，操作方便，实现了高效、高精度三维重构，不需要引用其他高精度设备，有效降低成本；此外，结合机床运动参数、误差矩阵对点云数据进行多信息融合数据配准，有利于提高三维模型精度，能够满足基于视觉引导的机器人3C装配任务的精度要求，实现机器人在3C装配技术领域的高精度、高效低成本装配。

可以理解的是，每一个扫描云点的测量都是基于三角测量原理进行的，为获取高质量的物体表面点云信息，需让激光发射出的激光点聚焦在被测物体表面。由于物体表面形状、大小的变化，激光扫描仪的位置与姿态需做出相应调整。现有方法均采用人工手动调节方式，效率低且难以达到较高的精度。本申请可通过研究激光光斑大小的变化规律，并仿照人眼自动聚焦，搭建了一套基于CCD相机的自动聚焦系统，实现激光自聚焦。其中，基于CCD相机的自动聚焦系统包括用于实时监控激光光斑图像并采集激光光斑图像的CCD相机、通过执行仿生主动感知方法实现根据激光光斑图像自动生成调节激光扫描仪的位置与姿态参数信息的微处理器及用于调节激光扫描仪的位置与姿态的机床。作为一种优选的实施方式，基于仿生主动感知方法实现激光的自聚焦的过程可如下所述：

激光扫描仪所发出的激光光斑为圆形，当激光射到物体表面时，光斑会在物体表面投影，物体表面形状不同，光斑投影的形状也会发生变化。虽然光斑投影形状发生变化，但是在本申请的多次实验中发现，在相似的投影表面上，光斑的图像也会呈现相似的形状，这样即可建立光斑投影图像与理论光斑之间的仿射变换关系。

假设理论光斑圆上的点用A(m，n)表示，光斑投影图像上的点用B(x，y)表示，则透视变换公式可为(A,c)＝(B,1)*Trans，其中，c为单位量仿射变换结果，用于填充向量，Trans为仿射变换矩阵，矩阵可表示为：

其中，a₁₁、a₁₂、a₂₁、a₂₂为线性变换系数，a₁₃、a₂₃为透视变换系数，a₁₃、a₂₃为平移系数，a₃₃用于填充矩阵。

得到理论光斑圆后，即可对比理论光斑与聚焦光斑之间的差异，判断激光扫描仪的激光传感器所需调节的角度和距离。

由于激光仿射变换模型含大量未知参数，计算过程十分复杂，且计算得到理论光斑后仍需与聚焦光斑对比，建立其与激光所需调节量之间的对应关系。考虑到3C装配中产品曲面复杂度不高，且本申请在激光扫描时会根据扫描对象轮廓预先做好初步的轨迹规划，激光光斑投影变化范围小，本申请可对上述激光仿射变换模型进行简化，将投影图像进行椭圆简化，对图像提取长轴和短轴特征，直接建立其与激光调节量之间的映射关系。该简化模型为一个端到端模型，省去了中间求解理论光斑的过程，大大减少了模型未知参数。

激光扫描仪所发出的激光光斑大小会随着距离的增加而增大，并且，当激光垂直射入被测物体时，光斑为标准圆形，如图2和图4所示，图2中D₀为激光聚焦时的直径大小，图4中D₃为激光距离增加后的直径大小；当物体表面为曲面，激光光线与表面不垂直时，光斑圆也会产生相应的变形，变形图像可拟合为图3中的椭圆形，即任意光斑图像都可以用长轴与短轴特征进行描述。据此，本申请分析了光斑大小、形状与激光所需调节的距离、角度之间的对应关系，通过搭建CCD相机平台实时检测光斑，并拟合出光斑圆的长轴与短轴，因激光聚焦时理论上为一标准圆，长轴与短轴值应相等，且聚焦圆大小固定。所以在当前激光光斑的长轴值D₁和短轴值D₂满足聚焦状态判断关系式，则认为此时激光处于聚焦状态。聚焦状态判断关系式可表示为：

式中，D₀为聚焦光斑的直径，ε₁为第一阈值，ε₂为第二阈值；

若当前激光光斑不满足聚焦状态判断关系式，则根据角度调节公式计算长轴所在方向所需调节的角度Δθ，角度调节公式为Δθ＝(D₁-D₂)*μ+θ₀，μ为角度因子，θ₀为0。导致长轴与短轴大小不同的原因在于激光轴线与物体表面不垂直，即激光位置与物体表面法线方向存在一定的夹角，夹角越大，长轴与短轴的差值越大，故可由角度调节公式可计算需调节的角度。机床为5轴机床时，可利用五轴联动算法调整激光姿态，角度调节方向为长轴所在方向。图5为激光倾角调节示意图，聚焦面上的激光入射光线与聚焦面垂直，而其它两个平面法线方向与激光入线光线存在倾角Δθ₁、Δθ₂，Δθ₁、Δθ₂即为激光扫描仪需要调节的角度。激光扫描仪姿态调节完成后，可利用距离调节公式计算激光扫描仪所需调节的距离Δd，距离调节公式为 为距离因子，d₀为0。本申请发明人经多次实验观测发现，激光离物体表面越远，激光光斑越大，反之越小，由激光光斑的平均直径可计算出需要调节的距离。图6为激光距离调节示意图，此时激光与被测表面均已垂直，但是激光聚焦量程小，仅在聚焦面附近可得到精准的点云，其它两个平面与聚焦面存在距离Δd₁、Δd₂，Δd₁、Δd₂即为激光扫描仪需要调节的距离。角度因子μ、距离因子/>可由实验测得，当激光处于聚焦位置时，不需要对其进行调节，所以有d₀＝0、θ₀＝0。对待测物体各个位置完成激光自动聚焦后，可控制五轴运动平台连续运动，获得完整的高精度点云数据。

作为另外一种可选实施方式，通过激光扫描仪可得到大量的点云数据，这些点云数据是在不同位置和视角获取，需要对点云数据进行配准，将其转换到同一坐标系中，完成三维重构。本申请采用基于五轴运动平台误差模型与运动参数的数据匹配方法，还可进一步通过全局选择算法提高配准精度。S102也即点云配准的实现过程可通过下述方法实现：

空间中两坐标系间的映射关系完全确定共需六个参数，分别为x，y，z方向的三个平移量以及绕三个坐标轴的三个旋转角。激光坐标系原点在工件坐标系中的坐标G(g_x，g_y，g_z)为点云平移量，g_x，g_y，g_z可由五轴算法计算给出，α、β、γ分别为绕三个坐标轴的旋转角度，如图7所示为五轴运动平台模型，五轴运动平台共有五个运动轴X、Y、Z、A、C，其中X、Y、Z为平动轴，A、C为旋转轴，分别平行于激光坐标系的x轴与z轴，故姿态α，γ可直接记录旋转轴角度得到，且β为0。通过这些关系可建立点云变化矩阵，通过点云变化矩阵可将全部点云数据P₀(x₀，y₀，z₀)转换到工件坐标系下P(x，y，z)，完成点云的匹配。点云变化矩阵可表示为：

式中，g_x、g_y、g_z为点云数据为由激光坐标系转化至工件坐标系中在x轴、y轴、z轴的点云平移量，α为绕x轴旋转的旋转角度，γ为绕z轴旋转的旋转角度。

五轴运动平台相比于传统的三轴机床，多了两个旋转轴，可自由调整工具末端姿态与位置，能处理各种复杂表面，然而，除了三个直线轴本身存在着几何误差，两个旋转轴引入了更多的几何误差。因此，本申请可对五轴运动平台进行误差建模，提高五轴运动平台的运动精度。以基坐标系为参考，建立各个轴的运动误差，每个轴分别会产生6个方向的几何误差，分别为三个位置误差和三个姿态误差，各项误差见表1。

表1五轴运动平台各轴的几何误差

基于上述内容，位置误差矩阵可表示为：

式中，j为x或y或z或a或c，相应的，T_x为x轴的位置误差矩阵，T_y为y轴的位置误差矩阵，T_z为z轴的位置误差矩阵，T_a为a轴的位置误差矩阵，T_c为c轴的位置误差矩阵；Δx_j为当前轴j在x轴方向上产生的几何误差，Δy_j为当前轴j在y轴方向上产生的几何误差，Δz_j为当前轴j在z轴方向上产生的几何误差。

姿态误差矩阵可表示为：

式中，j为x或y或z或a或c，相应的，R_x为x轴的姿态误差矩阵，R_y为y轴的姿态误差矩阵，R_z为z轴的姿态误差矩阵，R_a为a轴的姿态误差矩阵，R_c为c轴的姿态误差矩阵；Δα_j为当前轴j绕x轴旋转产生的几何误差，Δβ_j为当前轴j绕y轴旋转产生的几何误差，Δγ_j为当前轴j绕z轴旋转产生的几何误差。

举例来说，x轴的位置误差矩阵T_x和姿态误差矩阵R_x可如下所述：

类似，可以得到其他各轴的位置变换矩阵Ty、Tz、Ta、Tc以及姿态误差矩阵Ry、Rz、Ra、Rc。

在机床为五轴运动平台，结合上述误差矩阵和点云变化矩阵后的点云配准关系式可表示为：

P＝(T_x*R_x)*(T_y*R_y)*(T_z*R_z)*(T_a*R_a)*(T_c*R_c)*T*P₀；

式中，T_x、T_y、T_z、T_a、T_c为五轴运动平台各轴的位置误差矩阵，R_x、R_y、R_z、R_a、R_c为五轴运动平台各轴的姿态误差矩阵，T为点云变化矩阵。

利用上述点云配准关系式将所有的原始点云数据全部转化到工件坐标系下的P(x，y，z)后，将这些坐标在点云显示工具中图形化显示，即完成了数据配准任务。

可以理解的是，由于环境等因素的干扰，点云数据中总会引入一些噪声，为进一步提高本申请技术方案点云配准的精度，在基于上述实施例的基础上，还可增加了一个可单次获取全局点云数据的面激光扫描仪，面激光扫描仪聚焦景深大、扫描视野广，可得到被测物体的全局视图。全局视图相比局部视图所获得的点云精度低，但全局视图能表征出被测物体的轮廓，将配准得到的各部分的局部点云视图分别与全局视图进行匹配，选择出匹配率大的局部视图。也就是说，请参阅图8所示，在基于预先构建的点云配准关系式，将点云数据转化至同一坐标系下的数据之后，获取面激光扫描仪单次采集待测物体的全局点云数据，以作为全局视图；从点云配准得到的各部分的局部点云视图中选择与全局视图匹配率最高的目标局部视图；根据各目标局部视图构建待测物体的三维模型。全局视图选择方法具体来说：

可预先定义全局视图R的匹配邻域视图候选集N，候选集N中的所有视图要求与R在表面内容和尺度上均有较好的匹配。全局视图选择是通过构建打分函数，以重合度误差大小Q度量邻域视图的质量，选择重合度误差小的加入邻域视图候选集。重合度计算关系式可表示为：

其中，n为候选集中点的个数，d²为第i个点与全局视图的全局点云数据中最近点的欧式距离平方。

此外，本申请还提供了上述过程中记载的各参数的确定或计算方法。本申请可激光跟踪仪采集五轴运动平台运动数据，五轴运动平台运动控制卡采用ADT-8969G1，依次让各轴运动，X、Y、Z轴运动行程为其最大行程，A轴旋转-90度至90度，C轴旋转-150度至150度，采用matlab对数据进行处理，可得各轴的单项误差数据，以X轴为例，具体计算方式为：

将数据点投影到XOY平面，可得X轴定位误差、X轴Y向直线度误差和偏摆角误差，将数据投影到XOZ平面，可得X轴Z向直线度误差和俯仰角误差，将数据投影到YOZ平面，可得滚动角误差，各项误差在matlab中处理，这样即求得了误差模型中的所有误差参数。

误差标定结果见表2所示：

表2误差标定结果表

在获取点云数据前，首先需要确定参数D₀、μ和可选取ε₁＝0.05mm，ε₂＝0.05mm，激光传感器可选择米铱optoNCDT1750-200传感器，激光聚焦时光斑直径为1.3mm，安装一个全局相机监控激光光斑大小，相机为AVT MantaG-504B/C，在不同位置手动调节使得光斑处于聚焦状态，通过最小二乘法对调节的数据进行处理。首先可建立目标函数：

使P、Q值达到最小的参数值即为本申请所需要的仿生主动感知方法的参数，于是，对目标函数求导得：

可计算得到求解公式为：

将记录的上百组数据带入方程中可求得各参数值如下表3所示：

表3仿生主动感知方法的参数值

通过对实际激光形状的变化规律进行归纳，本申请在仿射变换模型上进行了简化，最对上述激光仿射变换模型进行简化，省去了中间求解理论光斑的过程，大大减少了模型未知参数，减轻了计算量。本实验所测得的参数将通过三维重构效果进行检验。

最后，为了证实本申请技术方案具有精准的三维重构优势，本申请还以手机模型为实验对象进行了一系列的实验。实验设备包括安装有三维激光扫描仪的五轴运动平台、CCD相机以及2.7GHz主频、8GB内存的PC机，实验分三组，第一组实验以是否引入五轴误差模型为变量，对比标定前与标定后的重构精度，分析机床误差对重构精度的影响；第二组实验为了验证本申请的仿生主动感知方法对调节激光聚焦的有效性，增加了一组通过人工手动调节五轴运动平台方式获取点云的重构实验，其它条件不改变；第三组实验对比本申请技术方案舍去了全局选择方法，未进行点云去噪处理。为验证本申请技术方案的重构精度，对于本申请实验对象，在其表面选取多个区域进行标定块标定，获取其真实点云信息，标定区域包括三个平面区域、三个曲面区域，然后将实验获取的点云与标定得到的点云进行重构度计算，计算公式如下，进行多次实验，取多次实验的平均值作为最终实验结果，实验结果如下表4所示。

式中，n为标定区域中点的个数，x_i、y_i、z_i为实验所测的第i个点的三维坐标，x_i'、y_i'、z_i'为标定得到的第i个点的三维坐标。

表4实验结果表

由第一组实验数据中可发现，单纯依赖五轴运动平台运动参数进行点云配准存在较大的误差，平面重合度与曲面重合度都较低，由于该方法采用的是五轴运动平台的运动参数，所以五轴运动平台的定位误差、转角误差等对实验的精度影响较大。在Z方向上手机重构模型存在明显的高度差，且各个方向的偏差逐渐增大，这是因为随着机床的行程增加，误差不断累积。

第二组实验验证了本申请提出仿生主动感知能够实现激光自动聚焦，由于第二组对比实验采用手动调节方式使激光聚焦，虽经过多次调节总结经验能够获取到被测物的基本点云信息，但是由于曲面的不规则性，在曲面位置手动调节聚焦的难度大，从实验结果也能看到，曲面处的重合度误差远大于平面处。对比未使用仿生主动感知方法的重构图和使用了仿生主动感知方法的重构图可知，未使用仿生主动感知方法的重构图的手机模型部分未知点云缺失，这是由于激光在此处未聚焦，激光获取不到手机点云。对比其它两组实验，仿生主动感知方法对重构误差的影响程度最大。仿生主动感知方法在仿射变换的模型基础上进行简化，直接激光光斑投影图与激光调节量之间的端对端映射关系，简化了自动聚焦计算难度，相比传统手动聚焦方法精度更高，且本文聚焦系统较现有自动聚焦系统装置简单，降低了系统成本。

虽仿生主动感知方法实现了激光聚焦，但由于环境的干扰，点云中会出现噪声。并且由于曲面的复杂性，曲面处激光聚焦效果低于平面处，所以曲面点云中存在大量噪声，在实验中引入了全局视图选择方法，通过匹配排除多余的噪声，有效的提高了重合率。本申请技术方案最终将平面重构误差降低至0.064mm，曲面重构误差降低至0.177mm。并且由实验结果可以得出，本申请技术方案中，仿生主动感知方法对重构精度的影响最大，其次是机床误差，全局选择方法对实验结果的影响相对较小。

为了进一步验证本申请技术方案的精度，将本申请技术方案与现有的三维重构方法精度做对比，参与对比的方法有Zhang提出的多视角立体视觉(MVS)与结构自运动(SfM)算法相结合的多相机摄影(MCP)系统、Li提出的SR模型以及Kwak提出的测量系统，由于各个方法的实验对象无法统一，故本申请技术方案对方法的平均精度作对比。

对比结果如下表5所示：

表5各方法的平均精度对比表

MCP系统采用4台摄像机组成的系统，获取辣椒苗圃植物结构的三维点云数据，获取的点云信息丰富，但是该系统最重要的影响因素之一是光线，由于不同视角相机拍摄的图像数量、分辨率和亮度不同，不同的三维模型之间存在一定的差异。Liu提出的SR模型直接将训练集中的目标点云近似为稀疏线性组合，假设相对一致的点云获取，ICP建立的点对应误差服从高斯分布，但该方法主要应用于临床上。Kwak将基于图像匹配重建和基于模型的图像拟合两种方法相结合，实现对垂直位移和水平位移的亚毫米精度估计。该摄影测量系统能够同时监测梁结构的静态变形和动态变形。

本申请技术方案采用五轴运动参数，因五轴运动平台运动简单，运动参数较少，故配准速度快。并且，本申请还通过仿生主动感知方法实现激光自动对焦，可对任意曲面点云进行重构，而传统方法无法直接对曲面进行拟合。与其它方法相比，本申请计算简单，操作方便，实现了高精度重构。

由上可知，相比于传统的三维重建方法，本申请在精度上具有显著的提高，克服了传统方法手动聚焦的缺陷，并对仿射变换模型进行了简化，直接建立光斑投影图像与激光调节量之间的映射关系；同时，在点云配准任务中，融合了五轴运动参数、五轴误差模型以及全局选择方法，较传统的特征匹配方法更加简单、高效。通过本申请构建的三维模型能够满足基于视觉引导的机器人装配任务的要求，实现机器人智能装配。除了在机器人智能装配发挥关键作用，本申请的三维重构方法还可在高精度尺寸测量、缺陷检测、文物保护等领域得到广泛应用。

本发明实施例还针对精密装配中的三维重构方法提供了相应的实现装置，进一步使得所述方法更具有实用性。下面对本发明实施例提供的精密装配中的三维重构装置进行介绍，下文描述的精密装配中的三维重构装置与上文描述的精密装配中的三维重构方法可相互对应参照。

参见图9，图9为本发明实施例提供的精密装配中的三维重构装置在一种具体实施方式下的结构图，该装置可包括：

点云数据采集模块901，用于在按照预设初始扫描路径对待测物体进行激光扫描过程中，利用仿生主动感知方法在初始扫描路径的各位置处自动对激光扫描仪进行激光聚焦，获取待测物体的点云数据；仿生主动感知方法为根据激光光斑在不同平面的仿射变换特性建立激光光斑投影图与真实投影图之间的对应关系，并根据当前激光光斑图像和对应关系自动调节机床运动参数，以使激光在待测物体表面聚焦；点云配准关系式根据机床运动参数、点云变化矩阵和误差变化矩阵所得。

点云数据配准模块902，用于基于预先构建的点云配准关系式，将点云数据转化至同一坐标系下的数据，以完成点云数据配准。

可选的，在本实施例的一些实施方式中，所述点云数据配准模块902还可以为利用点云配准关系式将点云数据P₀转化至同一坐标系下的数据P，以完成点云数据配准的模块；点云配准关系式为：

P＝(T_x*R_x)*(T_y*R_y)*(T_z*R_z)*(T_a*R_a)*(T_c*R_c)*T*P₀；

式中，T_x、T_y、T_z、T_a、T_c为五轴运动平台各轴的位置误差矩阵，R_x、R_y、R_z、R_a、R_c为五轴运动平台各轴的姿态误差矩阵，T为所述点云变化矩阵。

在本实施例的另一些实施方式中，激光光斑形状为椭圆，且所述激光在所述待测物体表面聚焦时的聚焦光斑的长轴值和短轴值相同，所述点云数据采集模块901例如还可以包括：

判断子模块，用于获取当前激光光斑的长轴值D₁和短轴值D₂，判断当前激光光斑是否满足聚焦状态判断关系式，聚焦状态判断关系式为：

式中，D₀为聚焦光斑的直径，ε₁为第一阈值，ε₂为第二阈值；

参数计算子模块，用于若当前激光光斑不满足聚焦状态判断关系式，则根据角度调节公式和距离调节公式计算长轴所在方向所需调节的角度Δθ和所需调节的距离Δd，角度调节公式为Δθ＝(D₁-D₂)*μ+θ₀；距离调节公式为

式中，μ为角度因子，θ₀为0，为距离因子，d₀为0。

可选的，请参阅图10，所述装置例如还可包括全局选择模块903，所述全局选择模块903可包括：

全局视图获取子模块，用于获取面激光扫描仪单次采集待测物体的全局点云数据，以作为全局视图；

选择子模块，用于从点云配准得到的各部分的局部点云视图中选择与全局视图匹配率最高的目标局部视图；

三维重建子模块，用于根据各目标局部视图构建待测物体的三维模型。

本发明实施例所述精密装配中的三维重构装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例实现了高效、准确地三维重构，提高了3C装配的精准度和效率，降低了3C装配成本。

本发明实施例还提供了一种精密装配中的三维重构设备，具体可包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序以实现如上任意一实施例所述精密装配中的三维重构方法的步骤。

本发明实施例所述精密装配中的三维重构设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例实现了高效、准确地三维重构，提高了3C装配的精准度和效率，降低了3C装配成本。

本发明实施例还提供了一种计算机可读存储介质，存储有精密装配中的三维重构程序，所述精密装配中的三维重构程序被处理器执行时如上任意一实施例所述精密装配中的三维重构方法的步骤。

本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例实现了高效、准确地三维重构，提高了3C装配的精准度和效率，降低了3C装配成本。

本发明实施例最后还提供了一种精密装配中的三维重构系统，请参阅图11，精密装配中的三维重构系统可包括激光扫描仪11、图像采集器12、机床13及处理器14；激光扫描仪11设置在机床13上，且激光扫描仪11、图像采集器12、机床13均与处理器14相连.激光扫描仪11中设置激光传感器和激光器，图像采集器12可为CCD相机，机床13可为五轴运动平台。

激光扫描仪11用于按照预设初始扫描路径对待测物体进行激光扫描以采集待测物体的点云数据，并将点云数据发送至处理器14。

图像采集器12用于在激光扫描仪11进行激光扫描过程中实时采集激光光斑图像，并将激光光斑图像发送至处理器14。

机床13用于根据处理器14发送的参数调整值自动调节当前运动参数，以实现通过对激光扫描仪11出射激光的方向和激光扫描仪11与待测物体之间距离的调整自动使激光在待测物体表面聚焦。

处理器14用于执行存储器中存储的计算机程序时实现如上任意一个实施例所述精密装配中的三维重构方法的步骤。

上述系统内的各单元或模块或装置之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，具体内容可参见上述方法实施例中的叙述，此处，便不再赘述。

由上可知，本发明实施例实现了高效、准确地三维重构，提高了3C装配的精准度和效率，降低了3C装配成本。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种精密装配中的三维重构方法、装置、设备及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (9)

1.一种精密装配中的三维重构方法，其特征在于，包括：

在按照预设初始扫描路径对待测物体进行激光扫描过程中，利用仿生主动感知方法在所述初始扫描路径的各位置处自动对激光扫描仪进行激光聚焦，获取所述待测物体的点云数据；

基于预先构建的点云配准关系式，将所述点云数据转化为同一坐标系下的数据，以完成点云数据配准；

其中，所述仿生主动感知方法为根据激光光斑在不同平面的仿射变换特性建立激光光斑投影图与真实投影图之间的对应关系，并根据当前激光光斑图像和所述对应关系自动调节机床运动参数，以使激光在所述待测物体表面聚焦；所述点云配准关系式根据所述机床运动参数、点云变化矩阵和误差变化矩阵所得；

其中，所述激光光斑形状为椭圆，且所述激光在所述待测物体表面聚焦时的聚焦光斑的长轴值和短轴值相同，所述利用仿生主动感知方法在所述初始扫描路径的各位置处自动对激光扫描仪进行激光聚焦包括：

获取所述当前激光光斑的长轴值D₁和短轴值D₂，判断所述当前激光光斑是否满足聚焦状态判断关系式，所述聚焦状态判断关系式为：

式中，D₀为所述聚焦光斑的直径，ε₁为第一阈值，ε₂为第二阈值；

若所述当前激光光斑不满足聚焦状态判断关系式，则根据角度调节公式和距离调节公式计算长轴所在方向所需调节的角度Δθ和所需调节的距离Δd，所述角度调节公式为Δθ＝(D₁-D₂)*μ+θ₀；所述距离调节公式为

式中，μ为角度因子，θ₀为0，为距离因子，d₀为0。

2.根据权利要求1所述的精密装配中的三维重构方法，其特征在于，所述机床为五轴运动平台，所述基于预先构建的点云配准关系式，将所述点云数据转化至同一坐标系下的数据，以完成点云数据配准包括：

利用所述点云配准关系式将所述点云数据P₀转化至同一坐标系下的数据P，以完成点云数据配准；所述点云配准关系式为：

P＝(T_x*R_x)*(T_y*R_y)*(T_z*R_z)*(T_a*R_a)*(T_c*R_c)*T*P₀；

式中，T_x、T_y、T_z、T_a、T_c为所述五轴运动平台各轴的位置误差矩阵，R_x、R_y、R_z、R_a、R_c为所述五轴运动平台各轴的姿态误差矩阵，T为所述点云变化矩阵。

3.根据权利要求2所述的精密装配中的三维重构方法，其特征在于，所述位置误差矩阵可为：

式中，j为x或y或z或a或c，相应的，T_x为x轴的位置误差矩阵，T_y为y轴的位置误差矩阵，T_z为z轴的位置误差矩阵，T_a为a轴的位置误差矩阵，T_c为c轴的位置误差矩阵；Δx_j为当前轴j在x轴方向上产生的几何误差，Δy_j为当前轴j在y轴方向上产生的几何误差，Δz_j为当前轴j在z轴方向上产生的几何误差。

4.根据权利要求2所述的精密装配中的三维重构方法，其特征在于，所述姿态误差矩阵为：

式中，j为x或y或z或a或c，相应的，R_x为x轴的姿态误差矩阵，R_y为y轴的姿态误差矩阵，R_z为z轴的姿态误差矩阵，R_a为a轴的姿态误差矩阵，R_c为c轴的姿态误差矩阵；Δα_j为当前轴j绕x轴旋转产生的几何误差，Δβ_j为当前轴j绕y轴旋转产生的几何误差，Δγ_j为当前轴j绕z轴旋转产生的几何误差。

5.根据权利要求2所述的精密装配中的三维重构方法，其特征在于，所述点云变化矩阵为：

式中，g_x、g_y、g_z为所述点云数据为由激光坐标系转化至工件坐标系中在x轴、y轴、z轴的点云平移量，α为绕x轴旋转的旋转角度，γ为绕z轴旋转的旋转角度。

6.根据权利要求1至5任意一项所述的精密装配中的三维重构方法，其特征在于，所述基于预先构建的点云配准关系式，将所述点云数据转化至同一坐标系下的数据之后，还包括：

获取面激光扫描仪单次采集所述待测物体的全局点云数据，以作为全局视图；

从点云配准得到的各部分的局部点云视图中选择与所述全局视图匹配率最高的目标局部视图；

根据各目标局部视图构建所述待测物体的三维模型。

7.一种精密装配中的三维重构装置，其特征在于，包括：

点云数据采集模块，用于在按照预设初始扫描路径对待测物体进行激光扫描过程中，利用仿生主动感知方法在所述初始扫描路径的各位置处自动对激光扫描仪进行激光聚焦，获取所述待测物体的点云数据；所述仿生主动感知方法为根据激光光斑在不同平面的仿射变换特性建立激光光斑投影图与真实投影图之间的对应关系，并根据当前激光光斑图像和所述对应关系自动调节机床运动参数，以使激光在所述待测物体表面聚焦；点云配准关系式根据所述机床运动参数、点云变化矩阵和误差变化矩阵所得；

点云数据配准模块，用于基于预先构建的点云配准关系式，将所述点云数据转化至同一坐标系下的数据，以完成点云数据配准；

其中，所述点云数据采集模块进一步用于：所述激光光斑形状为椭圆，且所述激光在所述待测物体表面聚焦时的聚焦光斑的长轴值和短轴值相同，获取所述当前激光光斑的长轴值D₁和短轴值D₂，判断所述当前激光光斑是否满足聚焦状态判断关系式，所述聚焦状态判断关系式为：

式中，D₀为所述聚焦光斑的直径，ε₁为第一阈值，ε₂为第二阈值；

若所述当前激光光斑不满足聚焦状态判断关系式，则根据角度调节公式和距离调节公式计算长轴所在方向所需调节的角度Δθ和所需调节的距离Δd，所述角度调节公式为Δθ＝(D₁-D₂)*μ+θ₀；所述距离调节公式为

式中，μ为角度因子，θ₀为0，为距离因子，d₀为0。

8.一种精密装配中的三维重构设备，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至6任一项所述精密装配中的三维重构方法的步骤。

9.一种精密装配中的三维重构装置，其特征在于，包括激光扫描仪、图像采集器、机床及处理器；所述激光扫描仪设置在所述机床上，且所述激光扫描仪、所述图像采集器、所述机床均与所述处理器相连；

其中，所述激光扫描仪用于按照预设初始扫描路径对待测物体进行激光扫描以采集所述待测物体的点云数据，并将所述点云数据发送至所述处理器；

所述图像采集器用于在所述激光扫描仪进行激光扫描过程中实时采集激光光斑图像，并将所述激光光斑图像发送至所述处理器；

所述机床用于根据所述处理器发送的参数调整值自动调节当前运动参数，以实现通过对所述激光扫描仪出射激光的方向和所述激光扫描仪与所述待测物体之间距离的调整自动使激光在所述待测物体表面聚焦；

所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至6任一项所述精密装配中的三维重构方法的步骤。