CN111967484B - 点云聚类方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种点云聚类方法、装置、计算机设备和存储介质。所述方法包括：获取三维点云；将三维点云映射至二维图像，获得第一二维图像，第一二维图像中包含各三维点云对应的二维图像点；根据各二维图像点对应的三维点云的参数信息，对第一二维图像进行处理，得到第一二维图像的特征信息，基于特征信息获得第二二维图像，第二二维图像中包含待聚类二维图像点，任意一个待聚类二维图像点对应一个三维点云；根据第二二维图像，对各待聚类二维图像点对应的三维点云，进行点云聚类，获得点云聚类结果。采用本方法能够提高点云聚类精度和速度。

Description

点云聚类方法、装置、计算机设备和存储介质

技术领域

本申请涉及车辆智能驾驶技术领域，特别是涉及一种点云聚类方法、装置、计算机设备和存储介质。

背景技术

在车辆自动驾驶的应用中，障碍物感知需要将单个对象从复杂的背景中提取出来。基于立体视觉的感知方法，将二维图像转换为三维点云，通过聚类算法获取障碍物位置信息。立体视觉的点云数据量大，计算耗时长、实时性差，因此一般会对点云进行稀疏。然而，目前的点云稀疏方法容易导致点云信息损失过多，相邻点云之间的距离过大，导致聚类精度低。

发明内容

基于此，有必要针对上述技术问题，提供一种点云聚类方法、装置、计算机设备和存储介质。

一种点云聚类方法，所述方法包括：

获取三维点云；

将所述三维点云映射至二维图像，获得第一二维图像，所述第一二维图像中包含各三维点云对应的二维图像点；

根据各所述二维图像点对应的三维点云的参数信息，对所述第一二维图像进行处理，得到所述第一二维图像的特征信息，基于所述特征信息获得第二二维图像，所述第二二维图像中包含待聚类二维图像点，任意一个所述待聚类二维图像点对应一个三维点云；

根据所述第二二维图像，对各所述待聚类二维图像点对应的三维点云，进行点云聚类，获得点云聚类结果。

一种点云聚类装置，所述装置包括：

三维点云获取模块，用于获取三维点云；

二维图像映射模块，用于将所述三维点云映射至二维图像上，获得第一二维图像，所述第一二维图像中包含各三维点云对应的二维图像点；

图像处理模块，用于根据各所述二维图像点对应的三维点云的参数信息，对所述第一二维图像进行处理，得到所述第一二维图像的特征信息，基于所述特征信息获得第二二维图像，所述第二二维图像中包含待聚类二维图像点，任意一个所述待聚类二维图像点对应一个三维点云；

聚类模块，用于根据所述第二二维图像，对各所述待聚类二维图像点对应的三维点云，进行点云聚类，获得点云聚类结果。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取三维点云；

将所述三维点云映射至二维图像，获得第一二维图像，所述第一二维图像中包含各三维点云对应的二维图像点；

根据各所述二维图像点对应的三维点云的参数信息，对所述第一二维图像进行处理，获得第二二维图像，所述第二二维图像中包含待聚类二维图像点，任意一个所述待聚类二维图像点对应一个三维点云；

根据所述第二二维图像，对各所述待聚类二维图像点对应的三维点云，进行点云聚类，获得点云聚类结果。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取三维点云；

将所述三维点云映射至二维图像，获得第一二维图像，所述第一二维图像中包含各三维点云对应的二维图像点；

根据各所述二维图像点对应的三维点云的参数信息，对所述第一二维图像进行处理，获得第二二维图像，所述第二二维图像中包含待聚类二维图像点，任意一个所述待聚类二维图像点对应一个三维点云；

根据所述第二二维图像，对各所述待聚类二维图像点对应的三维点云，进行点云聚类，获得点云聚类结果。

上述点云聚类方法、装置、计算机设备和存储介质，通过获取三维点云，然后将三维点云映射至二维图像，对二维图像进行处理获得待聚类二维图像点，再根据二维图像对待聚类二维图像点对应的三维点云进行聚类，这样可以减少错误点的干扰，既不容易失去点云特性，又达到稀疏点云的目的，从而提高点云聚类精度和速度。

附图说明

图1为一个实施例中点云聚类方法的应用环境图；

图2为一个实施例中点云聚类方法的流程示意图；

图3为一个实施例中对第一二维图像进行处理步骤的流程示意图；

图4为一个实施例中根据第二二维图像对各待聚类二维图像点对应的三维点云进行点云聚类步骤的流程示意图；

图5-9为一个实施例中第二二维图像上的各待聚类二维图像点对应的三维点云的类别标签示意图；

图10为一个实施例中点云聚类方法的流程框图；

图11为一个实施例中点云聚类装置的结构框图；

图12为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的点云聚类方法，可以应用于如图1所示的应用环境中。该应用环境涉及车辆智能驾驶系统中的工控机和摄像头。工控机获取摄像头采集的原始图像，并进行处理获得三维点云；再将三维点云映射至二维图像，获得包含各三维点云对应的二维图像点的第一二维图像；然后根据各二维图像点对应的三维点云的参数信息，对第一二维图像进行处理，获得包含待聚类二维图像点的第二二维图像，任意一个待聚类二维图像点对应一个三维点云；最后根据第二二维图像，对各待聚类二维图像点对应的三维点云，进行点云聚类，获得点云聚类结果。

在一个实施例中，如图2所示，提供了一种点云聚类方法，以该方法应用于图1中的工控机为例进行说明，包括以下步骤S202至步骤S208。

S202，获取三维点云。

S204，将三维点云映射至二维图像，获得第一二维图像，第一二维图像中包含各三维点云对应的二维图像点。

S206，根据各二维图像点对应的三维点云的参数信息，对第一二维图像进行处理，得到第一二维图像的特征信息，基于特征信息获得第二二维图像，第二二维图像中包含待聚类二维图像点，任意一个待聚类二维图像点对应一个三维点云。

其中，参数信息可以包括三维位置信息和颜色信息。在一个实施例中，三维位置信息可以是三维点云的三维空间坐标，颜色信息可以是三维点云对应的二维图像点的像素值。

可以利用图像的边缘或纹理来表征图像的特征。在一个实施例中，第一二维图像的特征信息可以是第一二维图像的边缘对应的二维图像点，或是第一二维图像的纹理对应的二维图像点，也可以是第一二维图像中其它能够体现图像特征的二维图像点。

S208，根据第二二维图像，对各待聚类二维图像点对应的三维点云，进行点云聚类，获得点云聚类结果。

上述点云聚类方法，通过获取三维点云，然后将三维点云映射至二维图像，对二维图像进行处理获得待聚类二维图像点，再根据二维图像对待聚类二维图像点对应的三维点云进行聚类，这样可以减少错误点的干扰，既不容易失去点云特性，又达到稀疏点云的目的，从而提高点云聚类精度和速度。

在一个实施例中，三维点云为基于立体视觉的三维点云，获取三维点云的步骤包括：获取摄像头拍摄的原始图像；基于该原始图像，获得原始点云；去除该原始点云中的背景点云，获得三维点云。

其中，摄像头可以是双目摄像头、单目摄像头、深度摄像头中的任意一种。对于双目摄像头，其拍摄的左右图像可以通过立体匹配得到视差图，由视差图得到深度图，最终可以由深度图得到原始三维点云。对于单目摄像头，其拍摄的图像是由相机的运动得到的前后帧图像，可以通过前后帧图像得到原始三维点云。对于深度摄像头，其拍摄的图像中可以直接获取深度信息，从而得到原始三维点云。

具体的，三维点云可以由图像对应像素点的深度信息通过三角变换获得，一个像素点对应一个三维点云，所以每个三维点云带有其自身的三维空间坐标(x,y,z)，以及其在图像中的像素点位置，根据像素点位置可以获得图像坐标和颜色信息。

原始三维点云中通常包含天空、路面以及路边树木等背景点云，可以采用目前已有的任何可能的方法去除背景点云，最后得到的三维点云包含的一般都是障碍物三维点云。

在一个实施例中，可以根据每个三维点云的图像坐标和颜色信息，将三维点云映射至二维图像，并将该二维图像的其余二维图像点的像素值设为0，获得第一二维图像。其中，其余二维图像点为该二维图像上，除各三维点云对应的二维图像点以外的二维图像点。将其余二维图像点的像素值设为0后，可以区分该二维图像上有对应三维点云和没有对应三维点云的二维图像点，像素值为0的二维图像点即为空白点，没有对应三维点云。

在一个实施例中，可以根据每个三维点云的图像坐标和颜色信息，将三维点云映射回原始图像，并将该原始图像的其余二维图像点的像素值设为0，获得第一二维图像。其中，其余二维图像点为该原始图像上，除各三维点云对应的二维图像点以外的二维图像点。此时，相当于将原始图像中背景点云对应的二维图像点的像素值设为0，获得第一二维图像。

在一个实施例中，如图3所示，对第一二维图像进行处理，包括以下步骤S302至步骤S306。

S302，对第一二维图像进行预处理，获得预处理后的第一二维图像；预处理包括中值滤波处理和双边滤波处理。

其中，中值滤波是为了保护边缘信息，双边滤波是为了保边去噪。

S304，对预处理后的第一二维图像进行二次处理，获得二次处理后的第一二维图像；二次处理包括：根据各二维图像点对应的三维点云到摄像头的距离，将预处理后的第一二维图像分为近处二维图像和远处二维图像，对近处二维图像进行闭运算，对远处二维图像进行开运算。

其中，三维点云到摄像头的距离即三维点云到坐标原点的距离，可以通过三维点云的三维空间坐标计算获得。可以将到坐标原点的距离小于预设值的所有三维点云作为近处障碍物，将到坐标原点距离大于或等于预设值的所有三维点云作为远处障碍物，近处障碍物对应的二维图像点构成近处二维图像，远处障碍物对应的二维图像点构成远处二维图像。

对于近处二维图像，其所占的图像比例要大于远处二维图像，纹理过多，后续使用边缘处理后，所占的点云数会更多，通过闭运算之后，可以对黑洞区域进行填充，从而减少图像纹理，稀疏点云。而对于远处二维图像，纹理过少，会受到一些离散的错误点云干扰，通过开运算之后，可以增强边缘信息，从而分离和去除错误的离散点。

S306，对二次处理后的第一二维图像进行边缘检测，得到第一二维图像的边缘对应的二维图像点，基于第一二维图像的边缘对应的二维图像点获得第二二维图像。

边缘是图像中一个属性区域和另一个属性区域的交界处，是区域属性发生突变的地方，是图像中不确定性最大的地方，也是图像信息最集中的地方。可以采用目前已有的任何可能的方法对图像进行边缘检测，得到障碍物的边缘信息，该边缘信息代表了障碍物的特征信息，从而通过边缘检测，既减少了二维图像点对应的三维点云的数量，又保留了障碍物的特性。

在一个实施例中，进行边缘检测之后，对第二二维图像进行再处理，将第二二维图像中所有待聚类二维图像点的像素值设为同一个像素值，可以全部设为255，从而第二二维图像中的二维图像点的像素值只有两种取值，即0和255。二维图像点的像素值为0，表示该二维图像点为空白点，没有对应三维点云；二维图像点的像素值为255，表示该二维图像点有对应三维点云。

在一个实施例中，如图4所示，根据第二二维图像，对各待聚类二维图像点对应的三维点云，进行点云聚类，获得点云聚类结果，包括以下步骤S402至步骤S406。

S402，根据第二二维图像的行列结构，按照预设遍历顺序，遍历第二二维图像上的待聚类二维图像点。

在一个实施例中，预设遍历顺序可以是：从第二二维图像的第一行开始，依次逐行遍历，每一行从第一个二维图像点开始，依次逐点遍历，其中，依次逐行遍历的顺序可以是自上往下，也可以是自下往上，每一行依次逐点遍历的顺序可以是自左往右，也可以是自右往左。预设遍历顺序不限于此，例如在其它实施例中，预设遍历顺序还可以是：从第二二维图像的第一列开始，依次逐列遍历，每一列从第一个二维图像点开始，依次逐点遍历，其中，依次逐列遍历的顺序可以是自左往右，也可以是自右往左，每一列依次逐点遍历的顺序可以是自上往下，也可以是自下往上。

根据二维图像的行列结构，遍历第二二维图像上的待聚类二维图像点，相当于在二维图像上寻找连通域的过程，每个待聚类二维图像点对应一个三维点云，这样可以避免在三维空间中搜索点云，二维图像的行列结构更有利于点云的搜索。

S404，根据当前遍历到的当前待聚类二维图像点的行列位置，设置当前待聚类二维图像点对应的三维点云的类别标签。

在一个实施例中，如图5所示，显示了第二二维图像的行列结构，其中，标签0所在位置的二维图像点表示待聚类二维图像点，每个待聚类二维图像点对应一个三维点云，标签0表示待聚类二维图像点对应的三维点云还未设置类别标签，即还没有类别信息，空白位置的二维图像点表示没有对应的三维点云。预设遍历顺序为：从第二二维图像的第一行开始，依次逐行遍历，每一行从第一个二维图像点开始，依次逐点遍历，其中，依次逐行遍历的顺序为自上往下，每一行依次逐点遍历的顺序为自左往右。

在当前待聚类二维图像点为第一类图像点时，为当前待聚类二维图像点对应的当前三维点云设置类别标签，第一类图像点为第一行的第一个待聚类二维图像点。例如在图5中，第一类图像点即为第一行的第一个标签0所在的二维图像点，将该二维图像点对应的三维点云的类别标签设为1，如图6所示。

在当前待聚类二维图像点为第二类图像点时，将当前待聚类二维图像点对应的当前三维点云的类别标签设置为新的类别标签；该新的类别标签与已设置的所有类别标签均不同，第二类图像点为所在行不为第一行、是所在行的第一个待聚类二维图像点、且所在行的上一行不存在待聚类二维图像点。

在当前待聚类二维图像点不是第一类图像点，也不是第二类图像点时，针对当前待聚类二维图像点，确定第二二维图像中，与当前待聚类二维图像点关联的二维图像点；将各关联的二维图像点对应的三维点云，确定为关联的三维点云，关联的三维点云设置有类别标签；计算当前三维点云与关联的三维点云之间的距离，并根据该距离以及关联的三维点云的类别标签，设置当前三维点云的类别标签；当前三维点云与当前待聚类二维图像点对应。

其中，当前三维点云与关联的三维点云之间的距离指的是当前三维点云与关联的三维点云之间的三维空间距离，可以通过当前三维点云与关联的三维点云的三维空间坐标计算获得。

在一个实施例中，若当前待聚类二维图像点的所在行为第一行，且不是所在行的第一个待聚类二维图像点，第二二维图像中，与当前待聚类二维图像点关联的二维图像点，为基于预设遍历顺序确定的当前待聚类二维图像点的前一个待聚类二维图像点。例如在图5中，若当前待聚类二维图像点为第一行的第二个待聚类二维图像点，则与当前待聚类二维图像点关联的二维图像点，为第一行的第一个待聚类二维图像点，此时，该关联的二维图像点对应的三维点云，即关联的三维点云，已经设有类别标签1，如图6所示。

计算当前三维点云与关联的三维点云之间的距离，若当前三维点云与关联的三维点云之间的距离小于第一阈值T1，则将关联的三维点云的类别标签设置为当前三维点云的类别标签；若当前三维点云与关联的三维点云之间的距离大于或等于第一阈值T1，则将当前三维点云的类别标签设置为新的类别标签；该新的类别标签与已设置的所有类别标签均不同。例如在图6中，第一行的第二个待聚类二维图像点(用P12表示)对应的三维点云与第一行的第一个待聚类二维图像点(用P11表示)对应的三维点云之间的距离小于第一阈值T1，因此，P12对应的三维点云的类别标签与P11对应的三维点云的类别标签相同，设为1。而第一行的第三个待聚类二维图像点(用P13表示)对应的三维点云与P2对应的三维点云之间的距离大于或等于第一阈值T1，因此，将P13对应的三维点云的类别标签设为新的类别标签2。

在一个实施例中，若当前待聚类二维图像点的所在行不为第一行，且所在行的上一行存在待聚类二维图像点，第二二维图像中，与当前待聚类二维图像点关联的二维图像点，为所在行的上一行所有的待聚类二维图像点。例如在图6中，若当前待聚类二维图像点为第二行的待聚类二维图像点，则与当前待聚类二维图像点关联的二维图像点，为第一行所有的待聚类二维图像点，此时，该关联的二维图像点对应的三维点云，即关联的三维点云，都已经设有类别标签。

计算当前三维点云与关联的三维点云之间的距离，若当前三维点云与关联的三维点云之间的距离中，存在至少一个距离小于第二阈值T2，则将最小距离对应的关联的三维点云的类别标签，设置为当前三维点云的类别标签；该最小距离为小于第二阈值T2的至少一个距离中的最小值。例如在图7中，第二行的第三个待聚类二维图像点(用P23表示)对应的三维点云与P12对应的三维点云、以及P13对应的三维点云之间的距离均小于第二阈值T2，并且，P23对应的三维点云与P12对应的三维点云之间的距离小于P23对应的三维点云与P13对应的三维点云之间的距离，因此，P23对应的三维点云的类别标签与P12对应的三维点云的类别标签相同，设为1。

若当前三维点云与关联的三维点云之间的距离均大于或等于第二阈值T2，则暂不设置当前三维点云的类别标签，直至当前三维点云的相邻三维点云设置有类别标签时，计算当前三维点云与相邻三维点云之间的距离，并根据该距离以及相邻三维点云的类别标签，设置当前三维点云的类别标签；相邻三维点云与当前待聚类二维图像点相邻的待聚类二维图像点对应。若当前三维点云与相邻三维点云之间的距离小于第一阈值T1，则将相邻三维点云的类别标签设置为当前三维点云的类别标签；若当前三维点云与相邻三维点云之间的距离大于或等于第一阈值T1，则为当前三维点云的类别标签设置新的类别标签；该新的类别标签与已设置的所有类别标签均不同。

例如在图7中，第二行的第一个待聚类二维图像点(用P21表示)对应的三维点云与第一行所有的待聚类二维图像点对应的三维点云之间的距离均大于或等于第二阈值T2，则暂不设置P21对应的三维点云的类别标签。当其相邻的三维点云，即第二行的第二个待聚类二维图像点(用P22表示)对应的三维点云设置有类别标签后，计算P21对应的三维点云与P22对应的三维点云之间的距离，如图8所示，P21对应的三维点云与P22对应的三维点云之间的距离小于第一阈值T1，因此，P21对应的三维点云的类别标签与P22对应的三维点云的类别标签相同，设为1。

若当前待聚类二维图像点的所在行的所有待聚类二维图像点对应的三维点云与关联的三维点云之间的距离均大于或等于第二阈值T2，则设置该所在行的第一个待聚类二维图像点对应的三维点云的类别标签为新的类别标签，再次依次对该所在行进行逐点遍历；该新的类别标签与已设置的所有类别标签均不同。

在一个实施例中，若当前待聚类二维图像点的所在行不为第一行，当前待聚类二维图像点不是所在行的第一个待聚类二维图像点，且所在行的上一行不存在待聚类二维图像点时，第二二维图像中，与当前待聚类二维图像点关联的二维图像点，为基于预设遍历顺序确定的当前待聚类二维图像点的前一个待聚类二维图像点。

计算当前三维点云与关联的三维点云之间的距离，若当前三维点云与关联的三维点云之间的距离小于第一阈值T1，则将关联的三维点云的类别标签设置为当前三维点云的类别标签；若当前三维点云与关联的三维点云之间的距离大于或等于第一阈值T1，则将当前三维点云的类别标签设置为新的类别标签；该新的类别标签与已设置的所有类别标签均不同。

S406，在第二二维图像中的各待聚类二维图像点对应的三维点云均设置有类别标签后，基于各三维点云的类别标签，进行点云聚类。

在一个实施例中，如图9所示，遍历完第二二维图像的所有二维图像点后，第二二维图像中的各待聚类二维图像点对应的三维点云均设置有类别标签，其中，设置有相同类别标签的三维点云为一类，获取每一类的聚类中心，然后计算各聚类中心之间的距离，各聚类中心之间的距离包括任意两个聚类中心之间的距离，若两个聚类中心之间的距离小于第三阈值T3，则将该两个聚类中心对应的两类三维点云合并为一个类。其中，聚类中心可以通过计算该类中所有三维点云的平均三维空间坐标获得，各聚类中心之间的距离可以通过各聚类中心的三维空间坐标计算获得。

在一个实施例中，基于各三维点云的类别标签，进行点云聚类之后，还可以获取各类中的三维点云个数，若三维点云个数小于第四阈值T4，则可认为该类中的三维点云为异常点，舍弃该类中的三维点云。

在一个实施例中，如图10所示，提供了一种点云聚类方法，包括以下步骤：获取障碍物三维点云；将三维点云映射至二维图像，获得第一二维图像；对第一二维图像进行预处理，获得预处理后的第一二维图像，预处理包括中值滤波处理和双边滤波处理；对预处理后的第一二维图像进行二次处理，获得二次处理后的第一二维图像，二次处理包括：对近处二维图像进行闭运算，对远处二维图像进行开运算；对二次处理后的第一二维图像进行边缘检测，获得第二二维图像；根据第二二维图像的行列结构，并利用第二二维图像中的待聚类二维图像点对应的三维点云的三维位置信息，在第二二维图像上寻找连通域，进行点云聚类，获得聚类结果；对聚类结果进行后处理，获得三维点云对应的障碍物信息。关于各步骤的具体限定可以参见上文中各方法实施例步骤的限定，在此不再赘述。

应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图11所示，提供了一种点云聚类装置，包括：三维点云获取模块1101、二维图像映射模块1102、图像处理模块1103和聚类模块1104，其中：

三维点云获取模块1101，用于获取三维点云。

二维图像映射模块1102，用于将三维点云映射至二维图像上，获得第一二维图像，第一二维图像中包含各三维点云对应的二维图像点。

图像处理模块1103，用于根据各二维图像点对应的三维点云的参数信息，对第一二维图像进行处理，得到第一二维图像的特征信息，基于特征信息获得第二二维图像，第二二维图像中包含待聚类二维图像点，任意一个待聚类二维图像点对应一个三维点云。

聚类模块1104，用于根据第二二维图像，对各待聚类二维图像点对应的三维点云，进行点云聚类，获得点云聚类结果。

在一个实施例中，三维点云获取模块1101包括：原始图像获取单元、原始点云获取单元和三维点云获取单元，其中：

原始图像获取单元，用于获取摄像头拍摄的原始图像。

原始点云获取单元，用于基于原始图像，获得原始点云。

三维点云获取单元，用于去除原始点云中的背景点云，获得三维点云。

在一个实施例中，二维图像映射模块1102，用于将三维点云映射至二维图像，并将该二维图像的其余二维图像点的像素值设为0，获得第一二维图像；其余二维图像点为该二维图像上，除各三维点云对应的二维图像点以外的二维图像点。

在一个实施例中，图像处理模块1103包括：预处理单元、运算单元和边缘检测单元，其中：

预处理单元，用于对第一二维图像进行预处理，获得预处理后的第一二维图像；预处理包括中值滤波处理和双边滤波处理。

二次处理单元，用于对预处理后的第一二维图像进行二次处理，获得二次处理后的第一二维图像；二次处理包括：根据各二维图像点对应的三维点云到摄像头的距离，将预处理后的第一二维图像分为近处二维图像和远处二维图像，对近处二维图像进行闭运算，对远处二维图像进行开运算。

边缘检测单元，用于对二次处理后的第一二维图像进行边缘检测，得到第一二维图像的边缘对应的二维图像点，基于第一二维图像的边缘对应的二维图像点获得第二二维图像。

在一个实施例中，聚类模块1104包括：遍历单元、类别标签设置单元和聚类单元，其中：

遍历单元，用于根据第二二维图像的行列结构，按照预设遍历顺序，遍历第二二维图像上的待聚类二维图像点。

类别标签设置单元，用于根据当前遍历到的当前待聚类二维图像点的行列位置，设置当前待聚类二维图像点对应的三维点云的类别标签。

聚类单元，用于在第二二维图像中的各待聚类二维图像点对应的三维点云均设置有类别标签后，基于各三维点云的类别标签，进行点云聚类。

在一个实施例中，预设遍历顺序为：从第二二维图像的第一行开始，依次逐行遍历，每一行从第一个二维图像点开始，依次逐点遍历。

在一个实施例中，类别标签设置单元用于在当前待聚类二维图像点为第一类图像点时，为当前待聚类二维图像点对应的当前三维点云设置类别标签，第一类图像点为第一行的第一个待聚类二维图像点。

在一个实施例中，类别标签设置单元用于在当前待聚类二维图像点为第二类图像点时，将当前待聚类二维图像点对应的当前三维点云的类别标签设置为新的类别标签；新的类别标签与已设置的所有类别标签均不同，第二类图像点为所在行不为第一行、是所在行的第一个待聚类二维图像点、且所在行的上一行不存在待聚类二维图像点。

在一个实施例中，类别标签设置单元包括：关联二维图像点确定子单元、关联三维点云确定子单元和类别标签设置子单元，其中：

关联二维图像点确定子单元，用于在当前待聚类二维图像点不是第一类图像点，也不是第二类图像点时，针对当前待聚类二维图像点，确定第二二维图像中，与当前待聚类二维图像点关联的二维图像点。

关联三维点云确定子单元，用于将各关联的二维图像点对应的三维点云，确定为关联的三维点云，关联的三维点云设置有类别标签。

类别标签设置子单元，用于计算当前三维点云与关联的三维点云之间的距离，并根据该距离以及关联的三维点云的类别标签，设置当前三维点云的类别标签；当前三维点云与当前待聚类二维图像点对应。

在一个实施例中，若当前待聚类二维图像点的所在行为第一行，且不是所在行的第一个待聚类二维图像点，确定第二二维图像中，与当前待聚类二维图像点关联的二维图像点，为基于预设遍历顺序确定的当前待聚类二维图像点的前一个待聚类二维图像点。

在一个实施例中，若当前待聚类二维图像点的所在行不为第一行，且所在行的上一行存在待聚类二维图像点，确定第二二维图像中，与当前待聚类二维图像点关联的二维图像点，为所在行的上一行所有的待聚类二维图像点。

在一个实施例中，若当前待聚类二维图像点的所在行不为第一行，当前待聚类二维图像点不是所在行的第一个待聚类二维图像点，且所在行的上一行不存在待聚类二维图像点，确定第二二维图像中，与当前待聚类二维图像点关联的二维图像点，为基于预设遍历顺序确定的当前待聚类二维图像点的前一个待聚类二维图像点。

在一个实施例中，在当前待聚类二维图像点的所在行为第一行，且不是所在行的第一个待聚类二维图像点时，若当前三维点云与关联的三维点云之间的距离小于第一阈值，则将关联的三维点云的类别标签设置为当前三维点云的类别标签；若当前三维点云与关联的三维点云之间的距离大于或等于第一阈值，则将当前三维点云的类别标签设置为新的类别标签；新的类别标签与已设置的所有类别标签均不同。

在一个实施例中，在当前待聚类二维图像点的所在行不为第一行，且所在行的上一行存在待聚类二维图像点时，若当前三维点云与关联的三维点云之间的距离中，存在至少一个距离小于第二阈值，则将最小距离对应的关联的三维点云的类别标签，设置为当前三维点云的类别标签；该最小距离为小于第二阈值的至少一个距离中的最小值。

在一个实施例中，在当前待聚类二维图像点的所在行不为第一行，且所在行的上一行存在待聚类二维图像点时，若当前三维点云与关联的三维点云之间的距离均大于或等于第二阈值，则暂不设置当前三维点云的类别标签，直至当前三维点云的相邻三维点云设置有类别标签时，计算当前三维点云与相邻三维点云之间的距离，并根据该距离以及相邻三维点云的类别标签，设置当前三维点云的类别标签；相邻三维点云与当前待聚类二维图像点相邻的待聚类二维图像点对应；

若当前三维点云与相邻三维点云之间的距离小于第一阈值，则将相邻三维点云的类别标签设置为当前三维点云的类别标签；若当前三维点云与相邻三维点云之间的距离大于或等于第一阈值，则将当前三维点云的类别标签设置为新的类别标签；该新的类别标签与已设置的所有类别标签均不同。

在一个实施例中，在当前待聚类二维图像点的所在行不为第一行，且所在行的上一行存在待聚类二维图像点时，若当前待聚类二维图像点的所在行的所有待聚类二维图像点对应的三维点云与关联的三维点云之间的距离均大于或等于第二阈值，则将该所在行的第一个待聚类二维图像点对应的三维点云的类别标签设置为新的类别标签，再次依次对该所在行进行逐点遍历；该新的类别标签与已设置的所有类别标签均不同。

在一个实施例中，在当前待聚类二维图像点的所在行不为第一行，当前待聚类二维图像点不是所在行的第一个待聚类二维图像点，且所在行的上一行不存在待聚类二维图像点时，若当前三维点云与关联的三维点云之间的距离小于第一阈值，则将关联的三维点云的类别标签设置为当前三维点云的类别标签；若当前三维点云与关联的三维点云之间的距离大于或等于第一阈值，则将当前三维点云的类别标签设置为新的类别标签；该新的类别标签与已设置的所有类别标签均不同。

在一个实施例中，聚类单元包括：聚类中心获取子单元、计算子单元和合并子单元，其中：

聚类中心获取子单元，用于获取设置有相同类别标签的三维点云的聚类中心。

聚类中心距离计算子单元，用于计算各聚类中心之间的距离；各聚类中心之间的距离包括任意两个聚类中心之间的距离。

合并单元，用于若两个聚类中心之间的距离小于第三阈值，则将该两个聚类中心对应的两类三维点云合并为一个类。

在一个实施例中，聚类单元还包括去剔除单元，剔除单元用于获取各类中的三维点云个数，若三维点云个数小于第四阈值，舍弃该类中的三维点云。

关于点云聚类装置的具体限定可以参见上文中对于点云聚类方法的限定，在此不再赘述。上述点云聚类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种点云聚类方法。

本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各个方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个方法实施例中的步骤。

需要理解的是，上述实施例中的术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种点云聚类方法，所述方法包括：

获取三维点云；

将所述三维点云映射至二维图像，获得第一二维图像，所述第一二维图像中包含各三维点云对应的二维图像点；

对所述第一二维图像进行预处理，获得预处理后的第一二维图像；

对所述预处理后的第一二维图像进行二次处理，获得二次处理后的第一二维图像；所述二次处理包括：根据各所述二维图像点对应的三维点云到摄像头的距离，将所述预处理后的第一二维图像分为近处二维图像和远处二维图像，对所述近处二维图像进行闭运算，对所述远处二维图像进行开运算；

对所述二次处理后的第一二维图像进行边缘检测，得到第一二维图像的边缘对应的二维图像点，基于所述第一二维图像的边缘对应的二维图像点获得第二二维图像，所述第二二维图像中包含待聚类二维图像点，任意一个所述待聚类二维图像点对应一个三维点云；

根据所述第二二维图像的行列结构，按照预设遍历顺序，遍历所述第二二维图像上的待聚类二维图像点；

根据当前遍历到的当前待聚类二维图像点的行列位置，设置当前待聚类二维图像点对应的三维点云的类别标签；

在第二二维图像中的各待聚类二维图像点对应的三维点云均设置有类别标签后，基于各所述三维点云的类别标签，进行点云聚类。

2.根据权利要求1所述的方法，其特征在于，获取三维点云，包括：

获取摄像头拍摄的原始图像；

基于所述原始图像，获得原始点云；

去除所述原始点云中的背景点云，获得所述三维点云。

3.根据权利要求1所述的方法，其特征在于，将所述三维点云映射至二维图像，获得第一二维图像，所述第一二维图像中包含各三维点云对应的二维图像点，包括：

将所述三维点云映射至二维图像，并将该二维图像的其余二维图像点的像素值设为0，获得第一二维图像；所述其余二维图像点为该二维图像上，除各三维点云对应的二维图像点以外的二维图像点。

4.根据权利要求1所述的方法，其特征在于，所述预处理包括中值滤波处理和双边滤波处理。

5.根据权利要求1所述的方法，其特征在于，所述预设遍历顺序为：从所述第二二维图像的第一行开始，依次逐行遍历，每一行从第一个二维图像点开始，依次逐点遍历；

根据当前遍历到的当前待聚类二维图像点的行列位置，设置当前待聚类二维图像点对应的三维点云的类别标签，包括下述各项中的至少一项：

第一项：

在当前待聚类二维图像点为第一类图像点时，为当前待聚类二维图像点对应的当前三维点云设置类别标签，所述第一类图像点为第一行的第一个待聚类二维图像点；

第二项：

在当前待聚类二维图像点为第二类图像点时，将当前待聚类二维图像点对应的当前三维点云的类别标签设置为新的类别标签；所述新的类别标签与已设置的所有类别标签均不同，所述第二类图像点为所在行不为第一行、是所在行的第一个待聚类二维图像点、且所在行的上一行不存在待聚类二维图像点；

第三项：

在当前待聚类二维图像点不是第一类图像点，也不是第二类图像点时，针对当前待聚类二维图像点，确定第二二维图像中，与当前待聚类二维图像点关联的二维图像点；

将各关联的二维图像点对应的三维点云，确定为关联的三维点云，所述关联的三维点云设置有类别标签；

计算当前三维点云与关联的三维点云之间的距离，并根据所述距离以及所述关联的三维点云的类别标签，设置当前三维点云的类别标签；所述当前三维点云与所述当前待聚类二维图像点对应。

6.根据权利要求5所述的方法，其特征在于，

针对当前待聚类二维图像点，确定第二二维图像中，与当前待聚类二维图像点关联的二维图像点，包括下述各项中的任意一项：

第一项：

若当前待聚类二维图像点的所在行为第一行，且不是所在行的第一个待聚类二维图像点，所述第二二维图像中，与所述当前待聚类二维图像点关联的二维图像点，为基于所述遍历顺序确定的所述当前待聚类二维图像点的前一个待聚类二维图像点；

第二项：

若当前待聚类二维图像点的所在行不为第一行，且所在行的上一行存在待聚类二维图像点，所述第二二维图像中，与所述当前待聚类二维图像点关联的二维图像点，为所在行的上一行所有的待聚类二维图像点；

第三项：

若当前待聚类二维图像点的所在行不为第一行，当前待聚类二维图像点不是所在行的第一个待聚类二维图像点，且所在行的上一行不存在待聚类二维图像点，所述第二二维图像中，与所述当前待聚类二维图像点关联的二维图像点，为基于所述遍历顺序确定的所述当前待聚类二维图像点的前一个待聚类二维图像点。

7.根据权利要求6所述的方法，其特征在于，计算当前三维点云与关联的三维点云之间的距离，并根据所述距离以及所述关联的三维点云的类别标签，设置当前三维点云的类别标签，包括下述各项中的任意一项：

第一项：

在当前待聚类二维图像点的所在行为第一行，且不是所在行的第一个待聚类二维图像点时，若当前三维点云与关联的三维点云之间的距离小于第一阈值，则将关联的三维点云的类别标签设置为当前三维点云的类别标签；若当前三维点云与关联的三维点云之间的距离大于或等于所述第一阈值，则将当前三维点云的类别标签设置为新的类别标签；所述新的类别标签与已设置的所有类别标签均不同；

第二项：

在当前待聚类二维图像点的所在行不为第一行，且所在行的上一行存在待聚类二维图像点时，若当前三维点云与关联的三维点云之间的距离中，存在至少一个距离小于第二阈值，则将最小距离对应的关联的三维点云的类别标签，设置为当前三维点云的类别标签；所述最小距离为小于所述第二阈值的至少一个距离中的最小值；

第三项：

在当前待聚类二维图像点的所在行不为第一行，且所在行的上一行存在待聚类二维图像点时，若当前三维点云与关联的三维点云之间的距离均大于或等于所述第二阈值，则暂不设置当前三维点云的类别标签，直至当前三维点云的相邻三维点云设置有类别标签时，计算当前三维点云与相邻三维点云之间的距离，并根据该距离以及所述相邻三维点云的类别标签，设置当前三维点云的类别标签；所述相邻三维点云与当前待聚类二维图像点相邻的待聚类二维图像点对应；

若当前三维点云与相邻三维点云之间的距离小于所述第一阈值，则将所述相邻三维点云的类别标签设置为当前三维点云的类别标签；

若当前三维点云与相邻三维点云之间的距离大于或等于所述第一阈值，则将当前三维点云的类别标签设置为新的类别标签；该新的类别标签与已设置的所有类别标签均不同；

第四项：

在当前待聚类二维图像点的所在行不为第一行，且所在行的上一行存在待聚类二维图像点时，若当前待聚类二维图像点的所在行的所有待聚类二维图像点对应的三维点云与关联的三维点云之间的距离均大于或等于所述第二阈值，则将该所在行的第一个待聚类二维图像点对应的三维点云的类别标签设置为新的类别标签，再次依次对该所在行进行逐点遍历；该新的类别标签与已设置的所有类别标签均不同；

第五项：在当前待聚类二维图像点的所在行不为第一行，当前待聚类二维图像点不是所在行的第一个待聚类二维图像点，且所在行的上一行不存在待聚类二维图像点时，若当前三维点云与关联的三维点云之间的距离小于所述第一阈值，则将关联的三维点云的类别标签设置为当前三维点云的类别标签；若当前三维点云与关联的三维点云之间的距离大于或等于所述第一阈值，则将当前三维点云的类别标签设置为新的类别标签；该新的类别标签与已设置的所有类别标签均不同。

8.根据权利要求1所述的方法，其特征在于，在第二二维图像中的各待聚类二维图像点对应的三维点云均设置有类别标签后，基于各所述三维点云的类别标签，进行点云聚类，包括：

获取设置有相同类别标签的三维点云的聚类中心；

计算各聚类中心之间的距离；所述各聚类中心之间的距离包括任意两个聚类中心之间的距离；

若两个聚类中心之间的距离小于第三阈值，则将该两个聚类中心对应的两类三维点云合并为一个类。

9.根据权利要求8所述的方法，其特征在于，在第二二维图像中的各待聚类二维图像点对应的三维点云均设置有类别标签后，基于各所述三维点云的类别标签，进行点云聚类之后，还包括：

获取各类中的三维点云个数，若三维点云个数小于第四阈值，舍弃该类中的三维点云。

10.一种点云聚类装置，其特征在于，所述装置包括：

三维点云获取模块，用于获取三维点云；

二维图像映射模块，用于将所述三维点云映射至二维图像上，获得第一二维图像，所述第一二维图像中包含各三维点云对应的二维图像点；

图像处理模块，用于对所述第一二维图像进行预处理，获得预处理后的第一二维图像；对所述预处理后的第一二维图像进行二次处理，获得二次处理后的第一二维图像；所述二次处理包括：根据各所述二维图像点对应的三维点云到摄像头的距离，将所述预处理后的第一二维图像分为近处二维图像和远处二维图像，对所述近处二维图像进行闭运算，对所述远处二维图像进行开运算；对所述二次处理后的第一二维图像进行边缘检测，得到第一二维图像的边缘对应的二维图像点，基于所述第一二维图像的边缘对应的二维图像点获得第二二维图像，所述第二二维图像中包含待聚类二维图像点，任意一个所述待聚类二维图像点对应一个三维点云；

聚类模块，用于根据所述第二二维图像的行列结构，按照预设遍历顺序，遍历所述第二二维图像上的待聚类二维图像点；根据当前遍历到的当前待聚类二维图像点的行列位置，设置当前待聚类二维图像点对应的三维点云的类别标签；在第二二维图像中的各待聚类二维图像点对应的三维点云均设置有类别标签后，基于各所述三维点云的类别标签，进行点云聚类。

11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。