CN116342621A - 基于空间运动目标三维重构的几何参数辨识方法及系统 - Google Patents

Abstract

本发明公开了基于空间运动目标三维重构的几何参数辨识方法及系统，该方法包括：获取单目视觉图像数据和稀疏点云数据；对单目视觉图像数据进行像素级分割与拟合，构建空间运动目标的光学模型；基于视觉映射方法将稀疏雷达的稀疏点云数据与光学模型进行融合，得到点云粗提取结果；基于迭代匹配多视角点云融合方法对点云粗提取结果进行融合处理；基于特征和学习混合法对点云融合结果进行三维重构并对空间运动目标的几何参数进行自主辨识。通过使用本发明，能够提高空间运动目标三维重构和几何参数自主辨识的精确性、稳定性以及时效性。本发明作为基于空间运动目标三维重构的几何参数辨识方法及系统，可广泛应用于计算机视觉领域。

Description

基于空间运动目标三维重构的几何参数辨识方法及系统

技术领域

本发明涉及计算机视觉技术领域，尤其涉及基于空间运动目标三维重构的几何参数辨识方法及系统。

背景技术

在机械臂抓取任务中，一般包括空间运动目标的定位、跟踪和抓取三个过程。如果空间运动目标具有一定的运动速度，那么机械臂抓取的难度大幅度上升。因此，在定位过程中，需要通过视觉系统实现空间运动目标的几何参数的辨识和相对位姿的估计，它的前提条件是初始相对位姿已知。三维重构能够获取空间运动目标的点云信息，进而可以确定其初始相对位姿和几何参数，为后续的跟踪和抓取任务提供重要信息。因此，在对相对位姿进行估计之前，有必要对空间运动目标进行三维重建，从而获取精确的参考相对位姿。视觉相机蕴含着丰富的边缘信息，而雷达数据更好地体现了尺度信息。然而，传统方法没有对视觉和点云进行匹配，不能充分利用图像丰富的边缘特征。

发明内容

为了解决上述技术问题，本发明的目的是提供基于空间运动目标三维重构的几何参数辨识方法及系统，通过多源融合可以实现多视角视觉和点云的信息互补，提高空间运动目标三维重构和几何参数自主辨识的精确性、稳定性以及时效性。

本发明所采用的第一技术方案是：基于空间运动目标三维重构的几何参数辨识方法，包括以下步骤：

通过单目摄像头与多线激光雷达对空间运动目标进行视觉图像数据与激光点云数据的采集，且基于不同视角进行多次采集，得到单目视觉的图像数据和稀疏点云数据；

通过自主视觉区域分割法对单目视觉的图像数据进行像素级分割与拟合，构建空间运动目标的光学模型；

基于视觉映射方法将稀疏雷达的稀疏点云数据与空间运动目标的光学模型进行融合，得到空间运动目标的点云粗提取结果；

基于迭代匹配空间运动目标多视角点云融合方法对空间运动目标的点云粗提取结果进行融合处理，得到空间运动目标的点云融合结果；

基于特征和学习混合的方法对空间运动目标的点云融合结果进行三维重构并根据重构结果对空间运动目标的几何参数进行自主辨识，得到辨识结果。

进一步，所述通过自主视觉区域分割法对单目视觉的图像数据进行像素级分割与拟合，构建空间运动目标的光学模型这一步骤，其具体包括：

将空间运动目标的单目视觉的图像数据进行空间转换处理，得到空间运动目标的HSV图像；

设置预设颜色分割阈值对空间运动目标的HSV图像进行分割处理，得到初步的分割结果；

通过图像膨胀技术对初步的分割结果中空间运动目标的残缺部位进行填充，得到空间运动目标的填充图像；

对空间运动目标的填充图像的轮廓进行提取筛选，获取空间运动目标的边缘轮廓直线；

对空间运动目标的边缘轮廓直线进行拟合，提取边缘直线的有效顶点；

基于极坐标思想对边缘直线的有效顶点进行排序并根据排序结果进行首尾相连，构建空间运动目标的光学模型即空间运动目标的掩码图像。

进一步，所述基于视觉映射方法将稀疏雷达的稀疏点云数据与空间运动目标的光学模型进行融合，得到空间运动目标的点云粗提取结果这一步骤，其具体包括：

根据空间运动目标的光学模型，对空间运动目标的稀疏点云数据进行映射处理，获取对应的像素坐标；

将存在单目视觉的有效视野范围内的像素坐标与三维点进行匹配，获取空间运动目标在点云空间中的顶点，所述三维点为空间运动目标的点云中的三维点；

引入带约束的非线性优化问题，利用最近邻策略将空间运动目标在点云空间中的顶点与视觉空间中的顶点即有效顶点进行匹配处理，得到空间运动目标的点云粗提取结果。

进一步，所述带约束的非线性优化问题的表达式具体如下所示：

(^camR_lidar)^Tcamp_lidar＝I

上式中，

表示空间运动目标的光学模型，A_in表示单目视觉的内参矩阵，A_ex表示单目视觉的外参矩阵，lidar表示稀疏雷达坐标系，cam表示相机坐标系，s_i表示该点i投影在图像平面上的像素坐标，^camR_lidar表示lidar相对于cam的旋转矩阵，ω_i表示单目视觉的视野范围，/>

表示根据光学模型计算的^lidarp_i的像素坐标。

进一步，所述基于迭代匹配空间运动目标多视角点云融合方法对空间运动目标的点云粗提取结果进行融合处理，得到空间运动目标的点云融合结果这一步骤，其具体包括：

确定参考点云，获取空间运动目标的点云粗提取结果的第k帧临近点云；

基于迭代最近点算法迭代求解第k帧临近点云对齐到参考点云的旋转矩阵和平移向量；

引入带约束的非线性优化方程，对第k帧临近点云与参考点云进行迭代匹配，对匹配结果进行判断；

判断到匹配结果大于预设阈值则更新第k帧临近点云对齐到参考点云的旋转矩阵和平移向量并再次进行匹配，直至匹配结果小于预设阈值，将第k帧临近点云与参考点云依次进行统一与融合处理，得到空间运动目标的点云融合结果。

进一步，所述带约束的非线性优化方程的表达式具体如下所示：

上式中，^refR_k表示第k帧临近点云对齐到参考点云的旋转矩阵，^reft_k表示第k帧临近点云对齐到参考点云的平移向量，p_k,i表示第k帧临近点云数据，p_ref,j表示参考点云数据，N_k表示第k帧临近点云所含三维点的数量。

进一步，所述基于特征和学习混合的方法对空间运动目标的点云融合结果进行三维重构并根据重构结果对空间运动目标的几何参数进行自主辨识，得到辨识结果这一步骤，其具体包括：

基于迭代的空间运动目标三维重构方法对空间运动目标的点云融合结果进行分解优化，得到正交平面的最优参数；

结合正交平面的最优参数，基于优化的空间运动目标三维重构方法对空间运动目标进行三维重构处理，得到空间运动目标的三维重构结果；

基于空间运动目标的三维重构结果对空间运动目标的几何参数进行自辨识处理，得到辨识结果，所述辨识结果包括空间运动目标的顶点参数、空间运动目标的尺寸向量、空间运动目标的坐标轴和空间运动目标的中心。

进一步，所述基于迭代的空间运动目标三维重构方法对空间运动目标的点云融合结果进行分解优化，得到正交平面的最优参数这一步骤，其具体包括：

将空间运动目标的点云融合结果进行分解处理，得到空间运动目标的三个单平面，所述空间运动目标的三个单平面之间两两为正交关系；

基于空间运动目标的单平面，考虑平面法向量的约束关系，选取不共线的三个点，得到满足预设空间关系条件的六个空间点；

所述预设空间关系条件为第一空间点、第二空间点和第三空间点位于第一平面且第一空间点、第二空间点和第三空间点不共线，第四空间点和第五空间点位于第二平面且第四空间点和第五空间点构成的直线不与第一平面垂直，第六空间点位于第三平面；

基于上述空间运动目标的三个单平面与六个空间点，构建三个正交平面的数学模型，所述三个正交平面的数学模型包括对应平面的法向量与偏移量；

通过随机抽样一致算法对正交平面的数学模型进行估计，得到正交平面的最优参数。

进一步，所述结合正交平面的最优参数，基于优化的空间运动目标三维重构方法对空间运动目标进行三维重构处理，得到空间运动目标的三维重构结果这一步骤，其具体包括：

采用基于迭代的单平面拟合算法对空间运动目标的三个平面进行分割和局外点滤除，获取对应平面的粗参数；

根据平面的粗参数对平面的数学模型进行优化，得到对应平面的超定方程组；

对平面的超定方程组进行转换处理，获取对应平面的最小二乘问题；

根据对应平面的最小二乘问题对对应的平面进行拟合处理，得到对应平面的拟合结果；

结合各个平面的拟合结果构建空间运动目标的三维重构结果。

本发明所采用的第二技术方案是：基于空间运动目标三维重构的几何参数辨识系统，包括：

多源数据获取模块，用于通过单目摄像头与多线激光雷达对空间运动目标进行视觉图像数据与激光点云数据的采集，且基于不同视角进行多次采集，得到单目视觉的图像数据和稀疏点云数据；

多源数据分割模块，用于通过自主视觉区域分割法对单目视觉的图像数据进行像素级分割与拟合，构建空间运动目标的光学模型；

多源数据融合模块，基于视觉映射方法将稀疏雷达的稀疏点云数据与空间运动目标的光学模型进行融合，得到空间运动目标的点云粗提取结果；

多源数据提取模块，基于迭代匹配空间运动目标多视角点云融合方法对空间运动目标的点云粗提取结果进行融合处理，得到空间运动目标的点云融合结果；

多源数据重构模块，基于特征和学习混合的方法对空间运动目标的点云融合结果进行三维重构并根据重构结果对空间运动目标的几何参数进行自主辨识，得到辨识结果。

本发明方法及系统的有益效果是：本发明通过获取单目视觉的图像数据和稀疏点云数据，通过自主视觉区域分割法对单目视觉的图像数据进行像素级分割与拟合，减小图像噪声和遮挡物的影响，并利用图像膨胀技术对空间运动目标的残缺部位进行填充，实现了“像素-色彩-类别”的关联，进一步基于视觉映射方法将稀疏雷达的稀疏点云数据与空间运动目标的光学模型进行融合，判断三维点是否属于空间运动目标，从而实现了空间运动目标的自主点云区域分割，实现“像素-色彩-类别-深度”的关联，更进一步的基于迭代匹配空间运动目标多视角点云融合方法对空间运动目标的点云粗提取结果进行融合处理，能够通过坐标变换的方式，将相邻多视角点云进行对齐，实现多视角点云之间的信息互补，从而提高三维重构的效果和信息提取的精度，即通过多源融合可以实现多视角视觉和点云的信息互补，提高空间运动目标三维重构和几何参数自主辨识的精确性、稳定性以及时效性。

附图说明

图1是本发明基于空间运动目标三维重构的几何参数辨识方法的步骤流程图；

图2是本发明基于空间运动目标三维重构的几何参数辨识系统的结构框图；

图3是本发明单目视觉和稀疏雷达测量系统的坐标关系图；

图4是本发明基于特征的自主视觉区域分割框图；

图5是本发明基于特征的自主视觉区域分割流程图；

图6是本发明基于视觉和点云融合的自主区域分割流程示意图；

图7是本发明基于迭代匹配的空间运动目标多视角点云融合流程图；

图8是本发明空间运动目标的融合点云结果示意图；

图9是本发明空间运动目标的模型示意图；

图10是本发明第一平面的拟合树状图；

图11是本发明第二平面的拟合树状图；

图12是本发明基于迭代的空间运动目标三维重构方法对空间运动目标的三维重构结果示意图；

图13是本发明基于优化的空间运动目标三维重构方法对空间运动目标进行三维重构结果示意图；

图14是本发明基于迭代的空间运动目标三维重构方法下的空间运动目标的几何参数误差柱状图；

图15是本发明基于优化的空间运动目标三维重构方法下的空间运动目标的几何参数误差柱状图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

参照图1，本发明提供了基于空间运动目标三维重构的几何参数辨识方法，该方法包括以下步骤：

S1、通过单目摄像头与多线激光雷达对空间运动目标进行视觉图像数据与激光点云数据的采集，且基于不同视角进行多次采集，得到单目视觉的图像数据和稀疏点云数据；

具体地，通过单目摄像头与多线激光雷达对空间运动目标进行视觉图像数据与激光点云数据的采集，且基于不同视角进行多次采集，得到单目视觉的图像数据和稀疏点云数据，所述多线激光雷达的前向为X轴、左向为Y轴、垂直向上为Z轴，单目摄像头的右向为X轴、垂直向下为Y轴、前向为Z轴；

参照图3，坐标系{cam}表示相机坐标系，坐标系{lidar}表示稀疏雷达坐标系，坐标系{img}表示图像坐标系，^camT_lidar、^camR_lidar和^camt_lidar分别表示{lidar}相对于{cam}的齐次坐标变换矩阵、旋转矩阵和平移向量，^camp_i＝[^camx_i,^camy_i,^camz_i]^T和^lidarp_i＝[^lidarx_i,^lidary_i,^lidarz_i]^T分别表示空间运动目标上的第i个点相对于坐标系{cam}和{lidar}的笛卡尔坐标，s_i＝[u_i,v_i]^T表示该点投影在图像平面上的像素坐标。

S2、通过自主视觉区域分割法对单目视觉的图像数据进行像素级分割与拟合，构建空间运动目标的光学模型；

具体地，参照图4和图5，本发明提出了一种基于特征的自主视觉区域分割方法：第一，根据颜色特征对空间运动目标进行初步分割；第二，根据形状特性对空间运动目标的外轮廓进行拟合。

S21、基于颜色特征的分割；

具体地，与RGB空间相比，HSV空间更能够表达图像的色调特征，它方便于空间运动目标颜色的比较和提取。因此，利用色调阈值对空间运动目标的HSV图像进行初步的分割。为了减小噪声和遮挡物的影响，利用图像膨胀技术对空间运动目标的残缺部位进行填充。

S22、基于外形特征的拟合；

具体地，第一，为了消除背景环境对空间运动目标的干扰，对图像的轮廓进行初步的提取和筛选。第二，对空间运动目标边缘中的直线进行拟合。第三，提取边缘直线的有效交点，利用极坐标的思想将提取到的顶点进行排序，进而将其首尾相连构成空间运动目标的本体模型。

S3、基于视觉映射方法将稀疏雷达的稀疏点云数据与空间运动目标的光学模型进行融合，得到空间运动目标的点云粗提取结果；

具体地，参照图6，根据小孔成像原理，单目视觉的光学模型可表示为：

其中，

和A_ex＝[^camR_lidar,^camt_lidar]分别表示单目视觉的内参矩阵和外参矩阵；

根据单目视觉的光学模型，可以将空间运动目标的点云映射到图像平面，获取对应的像素坐标，如果像素坐标在单目视觉的有效视野范围内，那么三维点可以与像素点进行匹配，形成“像素-色彩-深度”关联。由于空间运动目标在图像平面的顶点已经提取，因此可以利用最近邻策略实现点云空间和视觉空间中顶点的匹配。因此，带约束的非线性优化问题可表示为：

(^camR_lidar)^TcamR_lidar＝I

上式中，

表示空间运动目标的光学模型，A_in表示单目视觉的内参矩阵，A_ex表示单目视觉的外参矩阵，lidar表示稀疏雷达坐标系，cam表示相机坐标系，s_i表示该点i投影在图像平面上的像素坐标，^camR_lidar表示lidar相对于cam的旋转矩阵，ω_i表示单目视觉的视野范围，/>

表示根据光学模型计算的^lidarp_i的像素坐标；

假设I_obj和I_mask分别表示空间运动目标的原始图像和掩码图像，两者的关系可表示为：

其中，I_obj(s)和I_mask(s)分别表示I_obj和I_mask在像素坐标s处的值。

另外，在自主视觉区域分割中，实现了“像素-色彩-类别”的关联。最终，结合两种关联可以获得“像素-色彩-类别-深度”的关联，根据该关联可以判断三维点是否属于空间运动目标，从而实现了空间运动目标的自主点云区域分割，也即：

S4、基于迭代匹配空间运动目标多视角点云融合方法对空间运动目标的点云粗提取结果进行融合处理，得到空间运动目标的点云融合结果；

具体地，参照图7和图8，空间运动目标的单帧点云较为稀疏，这导致了三维重构的效果较差且关键信息提取的精度较低。实际上，在空间运动目标运动的过程中，稀疏雷达可以采集不同视角下的空间运动目标点云，如果能够通过坐标变换的方式，将相邻多视角点云进行对齐，那么就能够实现多视角点云之间的信息互补，从而提高三维重构的效果和信息提取的精度。基于此，本发明提出了一种基于迭代优化的空间运动目标多点云融合算法。

假设P_ref＝{p_ref，j|j＝1，2，…，N_ref}表示参考点云，P_k＝{p_k，i|i＝1，2，…，N_k}表示第k帧临近点云，其中，k＝1，2，…K且K≥1。以P_k对齐到P_ref为例，首先利用迭代最近点算法迭代求解P_k对齐到P_ref的旋转矩阵^refR_k和平移向量^reft_k，带约束的非线性优化方程可表示为：

上式中，^refR_k表示第k帧临近点云对齐到参考点云的旋转矩阵，^reft_k表示第k帧临近点云对齐到参考点云的平移向量，p_k，i表示第k帧临近点云数据，p_ref，j表示参考点云数据，N_k表示第k帧临近点云所含三维点的数量；

假设临近点云和参考点云之中p_k，i和p_ref，j相互匹配，那么两个点云的变换关系可表示为：

p_ref，j＝^refR_kp_k，i+^reft_k

其次，我们利用^refR_k和^reft_k将P_k统一到与P_ref对应的参考坐标系中，从而获得对齐点云Q_k。最后，对所有对齐点云进行融合。因此，融合点云P_fusion(其初始化值为P_ref)可表示为：

S5、基于特征和学习混合的方法对空间运动目标的点云融合结果进行三维重构并根据重构结果对空间运动目标的几何参数进行自主辨识，得到辨识结果。

具体地，参照图9，在空间运动目标的正交平面参数方面，n₁＝[n_1x，n_1y，n_1z]^T和k₁分别表示第一平面的法向量和偏移量；n₂＝[n_2x，n_2y，n_2z]^T和k₂分别表示第二平面的法向量和偏移量；n₃＝[n_3x，n_3y，n_3z]^T和k₃分别表示平面3的法向量和偏移量。在空间运动目标的几何参数方面，a_obj＝[a₁，a₂，a₃]^T分别表示尺寸向量，p_v0和p_c分别表示顶点和中心，x_obj、y_obj和z_obj分别表示三个坐标轴，且R_obj＝[x_obj，y_obj，z_obj]^T构成了旋转矩阵。另外，令空间运动目标的三个坐标轴分别与三个正交平面的法向量平行，也即，x_obj//n₁，y_obj//n₂和z_obj//n₃。

S51、基于迭代的空间运动目标三维重构方法；

具体地，随机抽样一致算法能够通过迭代方式对目标的模型参数进行估计。由于一个平面具有三个自由度，它拟合单平面的思想是：首先从观测点云中随机抽样不共线的三个点，然后根据“三点确定一个平面”的定理求解平面参数，最后利用求解的参数计算观测点云中内点的数量/比例，从而在迭代更新估计单平面模型的最优参数。基于该思想，我们将空间运动目标分解为三个单平面，理论上，拟合这三个单平面至少需要九个点。然而，由于空间运动目标的三个平面是相互正交的，这提供了关于法向量的三个约束。因此，最少需要六个点便可以对空间运动目标的三个正交平面进行拟合。

利用空间六个点p₁、p₂、p₃、p₄、p₅、p₆可以对空间运动目标三个正交平面进行建模，其需要满足以下条件：

(1)六个点在分布在三个平面上，也即，p₁、p₂、p₃在第一平面上，p₄、p₅在第二平面上，p₆在平面3上；

(2)第一平面上的三个点不共线，也即，p₁、p₂、p₃不共线；

(3)第二平面上的两个点构成的直线不与第一平面垂直，也即，向量v₄₅＝p₄-p₅不垂直于第二平面。

进一步地，根据平面方程n^Tp+k＝0以及相应的法向量正交约束，我们可以分别建立三个正交平面的数学模型：

(1)第一平面的法向量n₁和偏移量k₁可表示为：

(2)根据第一平面和第二平面之间的正交性，第二平面的法向量n₂同时与n₁和v₄₅垂直。如果不满足要求3，则n₁与v₄₅平行，缺失了一个关于n₂的约束。因此，根据p₄、p₅以及n₁，第二平面的法向量n₂和偏移量k₂可表示为：

(3)由于三个平面是正交的，三个平面的法向量是相互垂直的。因此，平面3的法向量n₃和偏移量k₃可表示为：

最后，利用随机抽样一致算法估计正交平面的最优参数。基于迭代的三维重构算法在对空间运动目标进行拟合的过程中，还能够对局外点进行滤除，并且单步拟合程序简单。

S52、基于优化的空间运动目标三维重构方法；

具体地，基于迭代的三维重构算法仅利用少数点对空间运动目标进行拟合，丢失了大部分点的信息。基于优化的方法能够解决这个问题，它综合考虑所有点的信息，但是却容易受到局外点的影响。因此，在利用基于优化的方法对空间运动目标进行三维重构之前，需要将点云分成与三个平面相对应的三个部分。得益于单步拟合程序简单的特点，采用基于迭代的单平面拟合算法对空间运动目标的三个平面进行分割和局外点滤除，该方法还能够提取平面的粗参数。

根据法向量可以将平面的数学模型分为三种情况，也即是n_1x≠0、n_1y≠0和n_1z≠0。在选择合理的数学模型时，利用平面粗参数进行判断。以n1_x≠0的情况为例，第一平面的方程

可化简为：

m₁₁y+m₁₂z+m₁₃＝x

其中，

假设P₁＝{p_i＝[x_i，y_i，z_i]^T|i＝1，2，…，N₁}表示第一平面的内点云。根据式，可以建立关于m₁的超定方程组：

可以将式转换为一个最小二乘问题：

最终，式的闭式解为

另外，奇异值分解(SVD)的方法也可以用于式的求解，如图10所示。

参照图11，以n_2x≠0的情况为例，第二平面的方程

可化简为：

m₁₂y+m₂₂z+m₂₃＝x

其中，

根据第一平面和第二平面的正交性，建立两个平面间法向量的数学关系：

相似地，根据式和，可以建立关于m₂的带线性约束的最小二乘问题：

其中，A₂和b₂分别表示关于m₂的超定方程组的系数矩阵和常数向量，以及k₁＝[m₁₁m₁₂ 0]^T；

平面3的法向量可表示为n₃＝n₁×n₂，k₃的最小二乘解可表示为：

S53、空间运动目标几何参数自主辨识方法；

S531、空间运动目标的顶点；

具体地，对于空间运动目标顶点p_v0的求解，只需要联立三个正交平面的一般式方程n^Tp+k＝0，其解也即是p_v0。因此，p_v0可表示为：

其中，N＝[n_x，n_y，n_z]，B₁＝[-k，n_y，n_z]，B₂＝[n_x，-k，n_z]，B₃＝[n_x，n_y，-k]，n_x＝[n_1x，n_2x，n_3x]^T，n_y＝[n_1y，n2_y，n_3y]^T，n_z＝[n_1z，n_2z，n_3z]^T，k＝[k₁，k₂，k₃]^T。

S532、空间运动目标的尺寸向量；

具体地，对于空间运动目标尺寸向量a_SNCT的求解，其思想如下：首先，计算内点云到第i个平面的最远距离；其次，选择n_far个与第i个平面相对应的最远点组成最远点云Q_i，并且对Q_i进行直线拟合得到直线L_i；最后，a_i可表示为第i个平面与L_i之间的距离

S533、空间运动目标的坐标轴；

具体地，对于空间运动目标坐标轴x_SNCT、y_SNCT和Z_SNCT的求解，其思想如下：首先，计算第i个平面的内点云P_i的重心投影点p_c，i；其次，计算p_c，i到第j(j≠i)个平面的投影点q_i，j；最后，与第k(k≠i且k≠j)个平面相对应的坐标轴v可表示为：

S534、空间运动目标的中心；

具体地，空间运动目标坐标的中心可表示为：

p_c＝p_v0+R_SNCTa_SNCT

参照图2，基于空间运动目标三维重构的几何参数辨识系统，包括：

多源数据获取模块，用于通过单目摄像头与多线激光雷达对空间运动目标进行视觉图像数据与激光点云数据的采集，且基于不同视角进行多次采集，得到单目视觉的图像数据和稀疏点云数据；

多源数据分割模块，用于通过自主视觉区域分割法对单目视觉的图像数据进行像素级分割与拟合，构建空间运动目标的光学模型；

多源数据融合模块，基于视觉映射方法将稀疏雷达的稀疏点云数据与空间运动目标的光学模型进行融合，得到空间运动目标的点云粗提取结果；

多源数据提取模块，基于迭代匹配空间运动目标多视角点云融合方法对空间运动目标的点云粗提取结果进行融合处理，得到空间运动目标的点云融合结果；

多源数据重构模块，基于特征和学习混合的方法对空间运动目标的点云融合结果进行三维重构并根据重构结果对空间运动目标的几何参数进行自主辨识，得到辨识结果。

进一步基于本发明的方法进行数值仿真模拟，在实验平台中，控制空间运动目标按照一定轨迹运动，具体如图12、图13、图14和图15所示，其中：

对于图12为基于迭代的空间运动目标三维重构方法的三维模型重构结果，所重构的模型对空间运动目标的点云进行了较好的拟合；

对于图13为基于优化的空间运动目标三维重构方法的三维模型重构结果，所重构的模型对空间运动目标的点云进行了更好的拟合；

对于图14为基于迭代的空间运动目标三维重构方法的三维几何参数辨识误差柱状图。三个图分别表示X、Y、Z三轴上的几何参数误差，横轴表示空间运动目标运动过程中采集到的十帧数据，可以看出误差较小(XYZ三轴误差的平均值分别为5.5609mm、9.5463mm、6.8343mm)且鲁棒性较高(XYZ三轴误差的标准差分别为3.9431mm、7.8998mm、3.3252mm)；

对于图15为基于优化的空间运动目标三维重构方法的三维几何参数辨识误差柱状图。三个图分别表示X、Y、Z三轴上的几何参数误差，横轴表示空间运动目标运动过程中采集到的十帧数据，可以看出误差更小(XYZ三轴误差的平均值分别为0.9837mm、4.8449mm、1.4981mm)且鲁棒性更高(XYZ三轴误差的标准差分别为0.6638mm、0.9897mm、0.9437mm)。

上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.基于空间运动目标三维重构的几何参数辨识方法，其特征在于，包括以下步骤：

通过单目摄像头与多线激光雷达对空间运动目标进行视觉图像数据与激光点云数据的采集，且基于不同视角进行多次采集，得到单目视觉的图像数据和稀疏点云数据；

通过自主视觉区域分割法对单目视觉的图像数据进行像素级分割与拟合，构建空间运动目标的光学模型；

基于视觉映射方法将稀疏雷达的稀疏点云数据与空间运动目标的光学模型进行融合，得到空间运动目标的点云粗提取结果；

基于迭代匹配空间运动目标多视角点云融合方法对空间运动目标的点云粗提取结果进行融合处理，得到空间运动目标的点云融合结果；

基于特征和学习混合的方法对空间运动目标的点云融合结果进行三维重构并根据重构结果对空间运动目标的几何参数进行自主辨识，得到辨识结果。

2.根据权利要求1所述基于空间运动目标三维重构的几何参数辨识方法，其特征在于，所述通过自主视觉区域分割法对单目视觉的图像数据进行像素级分割与拟合，构建空间运动目标的光学模型这一步骤，其具体包括：

将空间运动目标的单目视觉的图像数据进行空间转换处理，得到空间运动目标的HSV图像；

设置预设颜色分割阈值对空间运动目标的HSV图像进行分割处理，得到初步的分割结果；

通过图像膨胀技术对初步的分割结果中空间运动目标的残缺部位进行填充，得到空间运动目标的填充图像；

对空间运动目标的填充图像的轮廓进行提取筛选，获取空间运动目标的边缘轮廓直线；

对空间运动目标的边缘轮廓直线进行拟合，提取边缘直线的有效顶点；

基于极坐标思想对边缘直线的有效顶点进行排序并根据排序结果进行首尾相连，构建空间运动目标的光学模型即空间运动目标的掩码图像。

3.根据权利要求2所述基于空间运动目标三维重构的几何参数辨识方法，其特征在于，所述基于视觉映射方法将稀疏雷达的稀疏点云数据与空间运动目标的光学模型进行融合，得到空间运动目标的点云粗提取结果这一步骤，其具体包括：

根据空间运动目标的光学模型，对空间运动目标的稀疏点云数据进行映射处理，获取对应的像素坐标；

将存在单目视觉的有效视野范围内的像素坐标与三维点进行匹配，获取空间运动目标在点云空间中的顶点，所述三维点为空间运动目标的点云中的三维点；

引入带约束的非线性优化问题，利用最近邻策略将空间运动目标在点云空间中的顶点与视觉空间中的顶点即有效顶点进行匹配处理，得到空间运动目标的点云粗提取结果。

4.根据权利要求3所述基于空间运动目标三维重构的几何参数辨识方法，其特征在于，所述带约束的非线性优化问题的表达式具体如下所示：

^camR_lidar)^TcamR_lidar＝I

上式中，

表示空间运动目标的光学模型，A_in表示单目视觉的内参矩阵，A_ex表示单目视觉的外参矩阵，lidar表示稀疏雷达坐标系，cam表示相机坐标系，s_i表示该点i投影在图像平面上的像素坐标，^camR_lidar表示lidar相对于cam的旋转矩阵，ω_i表示单目视觉的视野范围，/>

表示根据光学模型计算的^lidarp_i的像素坐标。

5.根据权利要求4所述基于空间运动目标三维重构的几何参数辨识方法，其特征在于，所述基于迭代匹配空间运动目标多视角点云融合方法对空间运动目标的点云粗提取结果进行融合处理，得到空间运动目标的点云融合结果这一步骤，其具体包括：

确定参考点云，获取空间运动目标的点云粗提取结果的第k帧临近点云；

基于迭代最近点算法迭代求解第k帧临近点云对齐到参考点云的旋转矩阵和平移向量；

引入带约束的非线性优化方程，对第k帧临近点云与参考点云进行迭代匹配，对匹配结果进行判断；

判断到匹配结果大于预设阈值则更新第k帧临近点云对齐到参考点云的旋转矩阵和平移向量并再次进行匹配，直至匹配结果小于预设阈值，将第k帧临近点云与参考点云依次进行统一与融合处理，得到空间运动目标的点云融合结果。

6.根据权利要求5所述基于空间运动目标三维重构的几何参数辨识方法，其特征在于，所述带约束的非线性优化方程的表达式具体如下所示：

s.t.(^refR_k)^TrefR_k＝I

上式中，^refR_k表示第k帧临近点云对齐到参考点云的旋转矩阵，^reft_k表示第k帧临近点云对齐到参考点云的平移向量，p_k,i表示第k帧临近点云数据，p_ref,j表示参考点云数据，N_k表示第k帧临近点云所含三维点的数量。

7.根据权利要求6所述基于空间运动目标三维重构的几何参数辨识方法，其特征在于，所述基于特征和学习混合的方法对空间运动目标的点云融合结果进行三维重构并根据重构结果对空间运动目标的几何参数进行自主辨识，得到辨识结果这一步骤，其具体包括：

基于迭代的空间运动目标三维重构方法对空间运动目标的点云融合结果进行分解优化，得到正交平面的最优参数；

结合正交平面的最优参数，基于优化的空间运动目标三维重构方法对空间运动目标进行三维重构处理，得到空间运动目标的三维重构结果；

基于空间运动目标的三维重构结果对空间运动目标的几何参数进行自辨识处理，得到辨识结果，所述辨识结果包括空间运动目标的顶点参数、空间运动目标的尺寸向量、空间运动目标的坐标轴和空间运动目标的中心。

8.根据权利要求7所述基于空间运动目标三维重构的几何参数辨识方法，其特征在于，所述基于迭代的空间运动目标三维重构方法对空间运动目标的点云融合结果进行分解优化，得到正交平面的最优参数这一步骤，其具体包括：

将空间运动目标的点云融合结果进行分解处理，得到空间运动目标的三个单平面，所述空间运动目标的三个单平面之间两两为正交关系；

基于空间运动目标的单平面，考虑平面法向量的约束关系，选取不共线的三个点，得到满足预设空间关系条件的六个空间点；

所述预设空间关系条件为第一空间点、第二空间点和第三空间点位于第一平面且第一空间点、第二空间点和第三空间点不共线，第四空间点和第五空间点位于第二平面且第四空间点和第五空间点构成的直线不与第一平面垂直，第六空间点位于第三平面；

基于上述空间运动目标的三个单平面与六个空间点，构建三个正交平面的数学模型，所述三个正交平面的数学模型包括对应平面的法向量与偏移量；

通过随机抽样一致算法对正交平面的数学模型进行估计，得到正交平面的最优参数。

9.根据权利要求8所述基于空间运动目标三维重构的几何参数辨识方法，其特征在于，所述结合正交平面的最优参数，基于优化的空间运动目标三维重构方法对空间运动目标进行三维重构处理，得到空间运动目标的三维重构结果这一步骤，其具体包括：

采用基于迭代的单平面拟合算法对空间运动目标的三个平面进行分割和局外点滤除，获取对应平面的粗参数；

根据平面的粗参数对平面的数学模型进行优化，得到对应平面的超定方程组；

对平面的超定方程组进行转换处理，获取对应平面的最小二乘问题；

根据对应平面的最小二乘问题对对应的平面进行拟合处理，得到对应平面的拟合结果；

结合各个平面的拟合结果构建空间运动目标的三维重构结果。

10.基于空间运动目标三维重构的几何参数辨识系统，其特征在于，包括以下模块：

多源数据获取模块，用于通过单目摄像头与多线激光雷达对空间运动目标进行视觉图像数据与激光点云数据的采集，且基于不同视角进行多次采集，得到单目视觉的图像数据和稀疏点云数据；

多源数据分割模块，用于通过自主视觉区域分割法对单目视觉的图像数据进行像素级分割与拟合，构建空间运动目标的光学模型；

多源数据融合模块，基于视觉映射方法将稀疏雷达的稀疏点云数据与空间运动目标的光学模型进行融合，得到空间运动目标的点云粗提取结果；

多源数据提取模块，基于迭代匹配空间运动目标多视角点云融合方法对空间运动目标的点云粗提取结果进行融合处理，得到空间运动目标的点云融合结果；

多源数据重构模块，基于特征和学习混合的方法对空间运动目标的点云融合结果进行三维重构并根据重构结果对空间运动目标的几何参数进行自主辨识，得到辨识结果。

Images