CN114648640A - 一种目标物单体化方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及信息处理技术领域，具体涉及一种目标物单体化方法、装置、设备及存储介质，目标物单体化方法包括：获取三维场景数据；将三维场景数据转换为俯视视角的光学图像和深度图像；对光学图像进行语义分割处理，得到目标物掩膜；对深度图像进行聚类分割处理，得到目标物簇；计算目标物掩膜和目标物簇之间交集面积与并集面积的比值；确定大于或等于第一预设阈值的比值所对应的目标物簇或目标物掩膜，将确定的目标物簇或目标物掩膜在三维场景数据中所对应的区域确定为单体化目标物。通过上述方式，本发明能够提升目标物单体化的精度和速度。

Description

一种目标物单体化方法、装置、设备及存储介质

技术领域

本发明涉及信息处理技术领域，具体涉及一种目标物单体化方法、装置、设备及存储介质。

背景技术

实景三维是新型基础设施建设的重要组成部分，在三维地理场景上通过处理将建筑物或其他目标物构建为独立对象，使得能够对其单独进行选取。由于三维场景信息量庞大、无序，因此对三维场景信息的处理复杂且耗时。

发明内容

鉴于上述问题，本发明提供一种目标物单体化方法、装置、设备及存储介质，能够提升目标物单体化的精度和速度。

根据本发明的一个方面，提供一种目标物单体化方法，包括：获取三维场景数据；将三维场景数据转换为俯视视角的光学图像和深度图像；对光学图像进行语义分割处理，得到目标物的图像掩膜；对深度图像进行聚类分割处理，得到目标物簇；计算目标物掩膜和目标物簇之间交集面积与并集面积的比值；确定大于或等于第一预设阈值的比值所对应的目标物簇或目标物掩膜，将确定的目标物簇或目标物掩膜在三维场景数据中所对应的区域确定为单体化目标物。

相较于直接对三维点云数据进行单体化的方法而言，本发明提供的方法处理的数据量小，处理速度更快。本发明利用点云数据的深度信息，通过深度图像聚类分割的簇融合光学图像语义分割后的掩膜，使得分割区域完整，最终确定的单体化目标物的边缘精确，有效解决了分割区域不完整或超出真实目标物范围的问题。对于建筑物的单体化而言，本发明能够充分利用建筑物顶部与地面存在的较大距离以及屋顶接近平面的先验信息，准确地对深度图像进行聚类分割得到目标物簇，结合对光学图像语义分割得到的目标物掩膜，通过计算目标物掩膜和目标物簇之间交集面积与并集面积的比值，实现对目标物簇精确高效地过滤，可适应具有多种尺寸和不同建筑风格的地理区域，并且本发明提供的单体化方法所需的数据集容易获取和标注。

在一种可选的方式中，目标物掩膜和目标物簇的数量均为多个，并且至少部分目标物掩膜与至少部分目标物簇之间具有一一对应关系；计算目标物掩膜和目标物簇之间交集面积与并集面积的比值，包括：分别计算每个目标物簇和与其对应的目标物掩膜之间交集面积与并集面积的比值；确定大于或等于第一预设阈值的比值所对应的目标物簇或目标物掩膜，将确定的目标物簇或目标物掩膜在三维场景数据中所对应的区域确定为单体化目标物，包括：确定每个大于或等于第一预设阈值的比值所对应的目标物簇或目标物掩膜，将确定的每个目标物簇或目标物掩膜在三维场景数据中所对应的区域分别确定为一个单体化目标物。通过分别计算每个目标物簇和与其对应的目标物掩膜之间交集面积与并集面积的比值并确定每个大于或等于第一预设阈值的比值所对应的目标物簇或目标物掩膜，使得当三维点云或三维网格模型中存在多个实际需要单体化的目标物时，计算设备可以将每个目标物分别进行单体化。

在一种可选的方式中，将三维场景数据转换为俯视视角的光学图像和深度图像之后，方法还包括：对光学图像和深度图像进行插值处理和/或滤波处理。通过对光学图像或深度图像中的空洞点进行插值处理和/或滤波处理，可以有效减少噪声，有利于后续对光学图像或深度图像进行分割处理。

在一种可选的方式中，对光学图像进行语义分割处理，得到目标物掩膜，包括：将光学图像输入卷积神经网络；通过卷积神经网络输出光学图像中各像素点的分类置信度；获取大于或等于第二预设阈值的分类置信度所对应的像素点，得到目标物掩膜。通过卷积神经网络确定光学图像中各点像素值的分类置信度，并通过获取大于或等于第二预设阈值的置信度所对应的点，得到目标物掩膜，准确地实现对光学图像中目标物所在区域的分割。

在一种可选的方式中，对深度图像进行聚类分割处理，得到目标物簇，包括：簇标记：将深度图像中的其中一个像素点划分至种子区域并标记为簇；初次邻域像素归类：计算像素点的深度值与其上、下、左、右四个相邻像素点的深度值之间的差的绝对值，将小于或等于第三预设阈值的差的绝对值所对应的相邻像素点划分至种子区域并标记为簇；重复邻域像素归类：对种子区域内除像素点之外的其他像素点分别进行初次邻域像素归类，直至种子区域内部边缘所有像素点的深度值和与其相邻且位于种子区域外部的像素点的深度值之间的差的绝对值均大于第三预设阈值后停止，种子区域内的所有像素点被标记为同一个簇；遍历剩余像素：重复对所述深度图像中没有被标记为所述簇的像素点依次进行簇标记、初次邻域像素归类和重复邻域像素归类，直至深度图像中的所有像素点均被标记后停止，得到初始目标物簇。通过基于区域生长的聚类算法对深度图像进行分割，将目标物对应的区域和背景对应的区域均标记为簇，得到初始目标物簇，实现对目标物区域以及非目标物区域的精确划分。

在一种可选的方式中，优先对种子区域外边缘的像素点进行重复邻域像素归类。通过优先对种子区域外边缘的像素点进行重复邻域像素归类，使得在将深度图像中的像素点标记为簇的过程中，是以第一个标记的像素点为中心并逐步向外扩散，有利于提升对深度图像聚类的效率。

在一种可选的方式中，重复邻域像素归类之后，方法还包括：簇过滤：获取面积大于或等于第四预设阈值的初始目标物簇，得到目标物簇。对于目标物为建筑物时，由于建筑物屋顶大致为平面并且屋顶具有一定面积，因此一个建筑物所在区域会被分割在一个较大面积的簇中，而建筑物以外的背景区域由于深度值参差不齐，因此会被分割为多个小面积的簇，基于此，通过获取面积大于或等于第四预设阈值的初始目标物簇便可以较准确地找到建筑物所在区域对应的簇，过滤掉背景区域所对应的簇。

根据本发明的另一个方面，还提供一种目标物单体化装置，包括：获取单元，用于获取三维场景数据；图像转换单元，用于将三维场景数据转换为俯视视角的光学图像和深度图像；第一图像分割单元，用于对光学图像进行语义分割处理，得到目标物掩膜；第二图像分割单元，用于对深度图像进行聚类分割处理，得到目标物簇；计算单元，用于计算目标物掩膜和目标物簇之间交集面积与并集面积的比值；确定单元，用于确定大于或等于第一预设阈值的比值所对应的目标物簇或目标物掩膜，将确定的目标物簇或目标物掩膜在三维场景数据中所对应的区域确定为单体化目标物。

根据本发明的另一个方面，还提供一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；存储器用于存放至少一可执行指令，可执行指令使处理器执行如上任一方式中的目标物单体化方法。

根据本发明的另一个方面，还提供一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上任一方式中的目标物单体化方法。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例提供的目标物单体化方法的流程图；

图2为图1中步骤S130子步骤的流程图；

图3为图2中步骤S140子步骤的流程图；

图4为本发明实施例提供的目标物单体化装置的结构示意图；

图5为本发明实施例提供的计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。

实景三维是国家新型基础设施建设的重要组成部分，在三维地理场景中通过切割、重建、矢量叠加等处理，可以将建筑物或其他目标物构建为三维形式的独立对象，使得构建好的独立对象可以被单独选中，进而通过赋予其特定属性，可以快速选取并查询目标物的属性信息，实现精细化和动态化管理。

一般通过对三维点云数据进行处理实现对目标物的单体化，由于三维点云数据保留了三维空间中原始的几何信息，因此信息量庞大且无无序，对三维点云数据的处理会非常复杂、耗时，并且标注也较为困难，从而导致效率低下。

基于此，本发明提出一种目标物单体化方法，首先将三维点云或三维网格模型先转换为俯视视角的光学图像和深度图像，减少需要处理的信息量，其次对光学图像和深度图像进行处理，分别得到目标物掩膜和目标物簇，然后通过计算目标物掩膜和目标物簇之间交集面积与并集面积的比值，将在二维图像中对应的区域可能不是目标物的目标物簇和目标物掩膜（即小于第一预设阈值的比值所对应的目标物簇）排除，保证数据的准确性，最后将剩余的目标物簇在三维点云或三维网格模型中所对应的区域确定为单体化目标物，实现对目标物的快速单体化处理。

根据本发明实施例的一个方面，提供一种目标物单体化方法，具体请参阅图1，图中示出了本发明一实施例提供的目标物单体化方法的流程，该方法由需要进行目标物单体化的计算设备执行，例如手机、计算机、服务器等。如图1中所示，该方法包括：

S110：获取三维场景数据。

在本步骤中，三维场景数据包括三维点云、三维网格模型等，三维场景数据可以通过三维成像传感器采集，例如双目相机、RGB-D相机等，也可以通过三维成像传感器与三维激光扫描仪或激光雷达结合进行采集，并通过与计算设备进行数据传输，使计算设备获取到三维场景数据。

对于城市场景数据而言，三维场景数据可以通过无人机、卫星拍摄形成或者通过倾斜摄影测量系统生成。

S120：将三维场景数据转换为俯视视角的光学图像和深度图像。

在本步骤中，光学图像可以是灰度图像或彩色图像，计算设备可以通过获取三维场景数据中各位置正上方最高点的x轴、y轴坐标值及其像素值，从而将三维场景数据转化成俯视视角的光学图像；计算设备可以通过获取三维场景数据中各位置正上方最高点的x轴、y轴坐标值以及z轴的深度值，将三维场景数据转化成俯视视角的深度图像。

S130：对光学图像进行语义分割处理，得到目标物掩膜。

对于将三维地理场景中的建筑物单体化的方法而言，目标物掩膜可以是光学图像中与三维场景数据内建筑物相对应的区域，倘若是对其他三维场景中的物体进行单体化，目标物掩膜例如还可以是人、动物、植物等。

S140：对深度图像进行聚类分割处理，得到目标物簇。

同样地，对于将三维地理场景中的建筑物单体化的方法而言，在本步骤中，目标物簇可以是深度图像中与三维场景数据内建筑物相对应的区域。

需要说明的是，上述步骤S130和步骤S140的进行没有先后顺序，可以先进行步骤S130，也可以先进行步骤S140。

S150：计算目标物掩膜和目标物簇之间交集面积与并集面积的比值。

目标物掩膜和目标物簇之间的交集面积是指当光学图像与深度图像边缘对齐并重叠后，目标物掩膜与目标物簇之间交集区域的面积大小。目标物掩膜和目标物簇之间的并集面积是指当光学图像与深度图像边缘对齐并重叠后，目标物掩膜与目标物簇之间并集区域的面积大小。可以理解的是，目标物掩膜和目标物簇之间交集面积与并集面积的比值越大，则表示该目标物簇或该目标物掩膜在三维场景数据中所对应的区域为实际需要进行单体化的区域的可能性越大。

S160：确定大于或等于第一预设阈值的比值所对应的目标物簇或目标物掩膜，将确定的目标物簇或目标物掩膜在三维场景数据中所对应的区域确定为单体化目标物。

目标物簇或目标物掩膜为俯视视角的光学图像或深度图像中的区域，将目标物簇或目标物掩膜在三维场景数据中所对应的区域确定为单体化目标物，则是指将目标物簇在深度图像中的区域或目标物掩膜在光学图像中的区域对应至三维场景数据中，将三维场景数据中与该区域所对应的整个正射投影方向（即z轴方向）的数据确定为单体化目标物。

在本步骤中，第一预设阈值可以根据实际需要进行单体化的目标物情况进行设定，例如当实际需要进行的单体化的目标物为建筑物时，可以在计算设备上将第一预设阈值设定为0.6，从而将交集面积和并集面积的比值小于0.6的可能不是实际需要进行的单体化的建筑物所对应区域的目标物簇和目标物掩膜排除掉，保留交集面积和并集面积的比值大于或等于0.6的目标物簇和目标物掩膜，并将该目标物簇或目标物掩膜在三维场景数据中所对应的区域确定为单体化建筑物。

可以理解的是，当光学图像或深度图像中实际需要进行的单体化的目标物所在区域与其他区域之间的像素值或深度值差异较低时，得到的目标物掩膜和目标物簇可能与实际需要单体化的目标物所在区域的对应关系较差，此时可以将第一预设阈值的数值设定的大一些，从而过滤掉可能与实际需要单体化的目标物所在区域不对应的目标物掩膜和目标物簇，使得最终确定的单体化目标物更加准确。

考虑到得到的目标物簇与实际需要进行的单体化的目标物所在区域的对应关系相较于目标物掩膜更好，并且目标物簇的边缘相较于目标物掩膜更加平滑，因此优选将目标物簇在三维场景数据中所对应的区域确定为单体化目标物。

本发明提供的目标物单体化方法中，通过将获取的三维场景数据转换为二维俯视视角的光学图像和深度图像，可以有效减少需要处理的信息量，通过对光学图像和深度图像进行分割处理分别得到目标物掩膜和目标物簇，通过计算目标物掩膜和目标物簇之间交集面积与并集面积的比值，将在二维图像中对应的区域可能不是目标物的目标物簇和目标物掩膜（即小于第一预设阈值的比值所对应的目标物簇和目标物掩膜）排除，提高数据的准确性，最后将剩余的目标物簇或目标物掩膜在三维场景数据中所对应的区域确定为单体化目标物，实现对目标物的快速单体化处理。

相较于直接对三维点云数据进行单体化的方法而言，本发明提供的方法处理的数据量小，处理速度更快。本发明利用点云数据的深度信息，通过深度图像聚类分割的簇融合光学图像语义分割后的掩膜，使得分割区域完整，最终确定的单体化目标物的边缘精确，有效解决了分割区域不完整或超出真实目标物范围的问题。对于建筑物的单体化而言，本发明能够充分利用建筑物顶部与地面存在的较大距离以及屋顶接近平面的先验信息，准确地对深度图像进行聚类分割得到目标物簇，结合对光学图像语义分割得到的目标物掩膜，通过计算目标物掩膜和目标物簇之间交集面积与并集面积的比值，实现对目标物掩膜和目标物簇精确高效地过滤，可适应具有多种尺寸和不同建筑风格的地理区域，并且本发明提供的单体化方法所需的数据集容易获取和标注。

考虑到在很多时候，三维场景数据中的目标物可能不只有一个，基于这种情况，本发明进一步提出一种实施方式，具体地，目标物掩膜和目标物簇的数量均为多个，并且至少部分目标物掩膜与至少部分目标物簇之间具有一一对应关系。对应关系是指目标物掩膜与目标物簇在位置上的对应关系，例如在图像中的（x,y）坐标位置的对应关系。

上述步骤S150则包括：

分别计算每个目标物簇和与其对应的目标物掩膜之间交集面积与并集面积的比值。

在本步骤中，若某个目标物簇没有与其对应的目标物掩膜，可以选择不对该目标物簇进行计算，当然也可以继续对该目标物簇进行计算，不过得出的比值为0。

可以理解的是，本步骤也可以替换为计算每个目标物掩膜和与其对应的目标物簇之间的交集面积与并集面积的比值，同理，若某个目标物掩膜没有与其对应的目标物簇，可以选择不对该目标物掩膜进行计算，当然也可以继续对该目标物掩膜进行计算，不过得出的比值为0。

上述步骤S160则包括：

确定每个大于或等于第一预设阈值的比值所对应的目标物簇或目标物掩膜，将确定的每个目标物簇或目标物掩膜在三维场景数据中所对应的区域分别确定为一个单体化目标物。

通过分别计算每个目标物簇和与其对应的目标物掩膜之间交集面积与并集面积的比值并确定每个大于或等于第一预设阈值的比值所对应的目标物簇或目标物掩膜，使得当三维点云或三维网格模型中存在多个实际需要单体化的目标物时，计算设备可以将每个目标物分别进行单体化。

为了减少噪声，本发明进一步提出一种实施方式，具体地，上述步骤S120之后，该方法还包括：

对光学图像和深度图像进行插值和/或滤波处理。

其中，插值处理可以采用双线性插值法，具体过程如下：

已知点

的坐标值，想要获取点

的坐标值，则先在x方向线性插值：

然后在y方向线性插值，得到：

从而确定P的坐标值。

滤波处理可以采用中值滤波操作，具体过程如下：

首先对光学图像或深度图像中的某个像素点，以该像素点为中心，取宽度为L的方形区域作为窗口，然后对该窗口内所有像素点的像素值（对于光学图像）或深度值（对于深度图像）进行排序，计算该窗口内所有像素点的像素值或深度值的中值，并用该中值取代该像素点的像素值或深度值。其中需要说明的是，当光学图像为彩色图像时，像素值为RGB值，当光学图像为灰度图像时，像素值为灰度值，下文中提到的像素值同理。

通过对光学图像或深度图像中的空洞点进行插值处理和/或滤波处理，可以有效减少噪声，有利于后续对光学图像或深度图像进行分割处理。

对于上述步骤S130，本发明进一步提出一种具体实施方式，请参阅图2，图中示出了步骤S130的子步骤流程，如图中所示，步骤S130包括：

S131：将光学图像输入卷积神经网络。

在本步骤中，将光学图像输入至已经训练好的卷积神经网络中。

S132：通过卷积神经网络输出光学图像中各像素点的分类置信度。

在本步骤中，卷积神经网络对最后一层的输出计算softmax函数，并输出光学图像中各像素点分类结果的分类置信度。

S133：获取大于或等于第二预设阈值的分类置信度所对应的像素点，得到目标物掩膜。

在本步骤中，将各像素点的分类置信度与第二预设阈值进行比较，保留大于或等于第二预设阈值的点，得到对应区域的目标物掩膜。对于建筑物单体化的方法而言，第二预设阈值可以设置为0.3，以保证得到的目标物掩膜的准确性。

通过卷积神经网络确定光学图像中各点像素值的分类置信度，并通过获取大于或等于第二预设阈值的置信度所对应的点，得到目标物掩膜，准确地实现对光学图像中目标物所在区域的分割。

对于上述步骤S140，本发明进一步提出一种具体实施方式，请参阅图3，图中示出了步骤S140的子步骤流程，如图中所示，步骤S140可以采用基于区域生长的聚类算法，具体包括：

簇标记S141：将深度图像中的其中一个像素点划分至种子区域并标记为簇。

在本步骤中，可以通过计算设备手动选定一个点将其划分至种子区域并标记为簇，也可以由计算设备随机选定一个点将其划分至种子区域并标记为簇。

初次邻域像素归类S142：计算该像素点的深度值与其上、下、左、右四个相邻像素点的深度值之间的差的绝对值，将小于或等于第三预设阈值的差的绝对值所对应的相邻像素点划分至种子区域并标记为簇。

在深度图像中由于目标物所在区域的深度值与其他区域的深度值之间存在一定差异，对于目标物为建筑物时，这一差异尤为明显。因此若该像素点位于需要单体化的目标物所在的区域内，则与该像素点深度值的差的绝对值小于或等于第三预设阈值的相邻像素点极大概率也位于需要单体化的目标物所在的区域；若该像素点不在需要单体化的目标物所在的区域内，则与该像素点深度值的差的绝对值小于或等于第三预设阈值的相邻像素点极大概率也不在需要单体化的目标物所在的区域内。因此将该像素点和与其深度值的差的绝对值小于或等于第三预设阈值的相邻像素点标记为同一簇，可以将深度图像中目标物所在的区域归至一个或几个簇当中，将其他区域归至一个或几个簇当中。

对于建筑物的单体化而言，第三预设阈值可以设定为10，以保证像素归类及标记的准确性。

重复邻域像素归类S143：对种子区域内除该像素点之外的其他像素点分别进行上述步骤S142，直至种子区域内部边缘所有的像素点的深度值和与其相邻且位于种子区域外部的像素点的深度值之间的差的绝对值均大于第三预设阈值后停止，种子区域内所有的像素点被标记为同一个簇。

需要注意的是，在实际情况当中，本步骤中可能不会进行，可能仅进行一次，也可能会循环进行。具体地，当步骤S142中该像素点的深度值与其所有相邻像素点的深度值之间的差的绝对值均大于第三预设阈值时，则没有相邻像素点被划分至种子区域，并且该像素点被单独标记为一个簇，这种情况下则跳过本步骤，直接进行后续步骤。当步骤S142中有至少一个相邻像素点被划分至种子区域时，则将这至少一个相邻像素点作为第一相邻像素点并分别进行步骤S142，计算这至少一个第一相邻像素点和与其相邻的第二相邻像素点之间深度值的差的绝对值，当第一相邻像素点和与其相邻的第二相邻像素点之间深度值的差的绝对值均大于第三预设阈值时，则该像素点和这至少一个第一相邻像素点被标记为同一个簇，此时本步骤停止，这一情况中本步骤仅进行了一次。在上述仅进行一次的情况中，当有至少一个第二相邻像素点被划分至种子区域时，则对着至少一个第二相邻像素点继续进行步骤S142，计算这至少一个第二相邻像素点和与其相邻的第二相邻像素点之间深度值的差的绝对值，以此循环，直至种子区域内部边缘所有像素点的深度值和与其相邻且位于种子区域外部的像素点的深度值之间的差的绝对值均大于第三预设阈值后停止，此时种子区域内所有的像素点被标记为同一个簇。

遍历剩余像素S144：重复对深度图像中没有被标记为簇的像素点依次进行上述步骤S141、S142和S143，直至深度图像中所有的像素点均被标记为簇后停止，得到初始目标物簇。

需要注意的是，在本步骤中，每一次重复对深度图像中没有被标记为簇的像素点进行上述步骤S141时，该像素点都是被标记为一个新的簇，从而在深度图像中所有的像素点均被标记为簇时，得到的初始目标物簇的数量为多个，这些不同的初始目标物簇中既有需要进行单体化的目标物簇，也有不需要进行单体化的背景簇。

在一种可选的方式中，优先对种子区域外边缘的像素点进行上述步骤S144。通过优先对种子区域外边缘的像素点进行上述步骤S144，使得在将深度图像中的像素点标记为簇的过程中，是以第一个标记的像素点为中心并逐步向外扩散，有利于提升对深度图像聚类的效率。

通过基于区域生长的聚类算法对深度图像进行分割，将目标物对应的区域和背景对应的区域均标记为簇，得到初始目标物簇，实现对目标物区域以及非目标物区域的精确划分。

进一步地，请继续参阅图3，上述步骤140还包括：

簇过滤S145：获取面积大于或等于第四预设阈值的初始目标物簇，得到目标物簇。

对于目标物为建筑物时，由于建筑物屋顶大致为平面并且屋顶具有一定面积，因此一个建筑物所在区域会被分割在一个较大面积的簇中，而建筑物以外的背景区域由于深度值参差不齐，因此会被分割为多个小面积的簇，基于此，通过获取面积大于或等于第四预设阈值的初始目标物簇便可以较准确地找到建筑物所在区域对应的簇，过滤掉背景区域所对应的簇。第四预设阈值一般可以设定为300，以能够较可靠地过滤背景区域对应的簇。

根据本发明实施例的另一个方面，提供一种目标物单体化装置，具体请参阅图4，图中示出了一实施例提供的目标物单体化装置的结构。如图中所示，目标物单体化装置200包括获取单元210、图像转换单元220、第一图像分割单元230、第二图像分割单元240、计算单元250和确定单元260。获取单元210用于获取三维场景数据。图像转换单元220用于将三维场景数据转换为俯视视角的光学图像和深度图像。第一图像分割单元230用于对光学图像进行语义分割处理，得到目标物掩膜。第二图像分割单元240用于对深度图像进行聚类分割处理，得到目标物簇。计算单元250用于计算目标物掩膜和目标物簇之间交集面积与并集面积的比值。确定单元260用于确定大于或等于第一预设阈值的比值所对应的目标物簇或目标物掩膜，将确定的目标物簇或目标物掩膜在三维场景数据中所对应的区域确定为单体化目标物。

在一种可选的方式中，目标物掩膜和目标物簇的数量均为多个，并且至少部分目标物掩膜与至少部分目标物簇之间具有一一对应关系。计算单元250用于分别计算每个目标物簇和与其对应的目标物掩膜之间交集面积与并集面积的比值。确定单元260用于确定每个大于或等于第一预设阈值的比值所对应的目标物簇或目标物掩膜，将确定的每个目标物簇或目标物掩膜在三维场景数据中所对应的区域分别确定为一个单体化目标物。

请再次参阅图4，在一种可选的方式中，目标物单体化装置200还包括降噪单元270，降噪单元270用于对光学图像和深度图像进行插值处理和/或滤波处理。

在一种可选的方式中，第一图像分割单元230用于将光学图像输入卷积神经网络，用于通过卷积神经网络输出光学图像中各像素点的分类置信度，用于获取大于或等于第二预设阈值的分类置信度所对应的像素点，得到目标物掩膜。

在一种可选的方式中，第二图像分割单元240用于簇标记：将深度图像中的其中一个像素点划分至种子区域并标记为簇，用于初次邻域像素归类：计算该像素点的深度值与其上、下、左、右四个相邻像素点的深度值之间的差的绝对值，将小于或等于第三预设阈值的差的绝对值所对应的相邻像素点划分至种子区域并标记为簇，用于重复邻域像素归类：对种子区域内除该像素点之外的其他像素点分别进行上述初次邻域像素归类，直至种子区域内部边缘所有的像素点的深度值和与其相邻且位于种子区域外部的像素点的深度值之间的差的绝对值均大于第三预设阈值后停止，种子区域内所有的像素点被标记为同一个簇，用于遍历剩余像素：重复对深度图像中没有被标记为簇的像素点依次进行上述簇标记、初次邻域像素归类和重复邻域像素归类，直至深度图像中所有的像素点均被标记为簇后停止，得到初始目标物簇。

在一种可选的方式中，第二图像分割单元240优先对种子区域外边缘的像素点进行重复邻域像素归类。

在一种可选的方式中，第二图像分割单元240还用于簇过滤：获取面积大于或等于第四预设阈值的初始目标物簇，得到目标物簇。

根据本发明实施例的另一个方面，还提供一种计算设备，具体请参阅图5，图中示出了一实施例提供的计算设备的结构，本发明具体实施例并不对计算设备的具体实现做限定。

如图5所示，该计算设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。

其中：处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。处理器402，用于执行程序410，具体可以执行上述用于目标物单体化方法实施例中的相关步骤。

具体地，程序410可以包括程序代码，该程序代码包括计算机可执行指令。

处理器402可能是中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。

程序410具体可以被处理器402调用使计算设备执行以下操作：

获取三维场景数据；

将三维场景数据转换为俯视视角的光学图像和深度图像；

对光学图像进行语义分割处理，得到目标物掩膜；

对深度图像进行聚类分割处理，得到目标物簇；

计算目标物掩膜和目标物簇之间交集面积与并集面积的比值；

确定大于或等于第一预设阈值的比值所对应的目标物簇或目标物掩膜，将确定的目标物簇或目标物掩膜在三维场景数据中所对应的区域确定为单体化目标物。

根据本发明实施例的另一个方面，还提供了一种计算机可读存储介质，所述存储介质存储有至少一可执行指令，该可执行指令在计算设备上运行时，使得所述计算设备执行上述任意方法实施例中的目标物单体化方法。

可执行指令具体可以用于使得计算设备执行以下操作：

获取三维场景数据；

将三维场景数据转换为俯视视角的光学图像和深度图像；

对光学图像进行语义分割处理，得到目标物掩膜；

对深度图像进行聚类分割处理，得到目标物簇；

计算目标物掩膜和目标物簇之间交集面积与并集面积的比值；

确定大于或等于第一预设阈值的比值所对应的目标物簇或目标物掩膜，将确定的目标物簇或目标物掩膜在三维场景数据中所对应的区域确定为单体化目标物。

在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。

本领域技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (10)

1.一种目标物单体化方法，其特征在于，包括：

获取三维场景数据；

将所述三维场景数据转换为俯视视角的光学图像和深度图像；

对所述光学图像进行语义分割处理，得到目标物掩膜；

对所述深度图像进行聚类分割处理，得到目标物簇；

计算所述目标物掩膜和所述目标物簇之间交集面积与并集面积的比值；

确定大于或等于第一预设阈值的所述比值所对应的所述目标物簇或所述目标物掩膜，将确定的所述目标物簇或所述目标物掩膜在所述三维场景数据中所对应的区域确定为单体化目标物。

2.根据权利要求1所述的目标物单体化方法，其特征在于，所述目标物掩膜和所述目标物簇的数量均为多个，并且至少部分所述目标物掩膜与至少部分所述目标物簇之间具有一一对应关系；

所述计算所述目标物掩膜和所述目标物簇之间交集面积与并集面积的比值，包括：

分别计算每个所述目标物簇和与其对应的所述目标物掩膜之间交集面积与并集面积的比值；

所述确定大于或等于第一预设阈值的所述比值所对应的所述目标物簇或所述目标物掩膜，将确定的所述目标物簇或所述目标物掩膜在所述三维场景数据中所对应的区域确定为单体化目标物，包括：

确定每个大于或等于所述第一预设阈值的所述比值所对应的所述目标物簇或所述目标物掩膜，将确定的每个所述目标物簇或所述目标物掩膜在所述三维场景数据中所对应的区域分别确定为一个所述单体化目标物。

3.根据权利要求1所述的目标物单体化方法，其特征在于，所述将所述三维场景数据转换为俯视视角的光学图像和深度图像之后，所述方法还包括：

对所述光学图像和所述深度图像进行插值处理和/或滤波处理。

4.根据权利要求1所述的目标物单体化方法，其特征在于，所述对所述光学图像进行语义分割处理，得到目标物掩膜，包括：

将所述光学图像输入卷积神经网络；

通过所述卷积神经网络输出所述光学图像中各像素点的分类置信度；

获取大于或等于第二预设阈值的所述分类置信度所对应的像素点，得到所述目标物掩膜。

5.根据权利要求1所述的目标物单体化方法，其特征在于，所述对所述深度图像进行聚类分割处理，得到目标物簇，包括：

簇标记：将所述深度图像中的其中一个像素点划分至种子区域并标记为簇；

初次邻域像素归类：计算所述像素点的深度值与其上、下、左、右四个相邻像素点的深度值之间的差的绝对值，将小于或等于第三预设阈值的所述差的绝对值所对应的所述相邻像素点划分至所述种子区域并标记为所述簇；

重复邻域像素归类：对所述种子区域内除所述像素点之外的其他像素点分别进行所述邻域像素聚类，直至所述种子区域内部边缘所有像素点的深度值和与其相邻且位于所述种子区域外部的像素点的深度值之间的所述差的绝对值均大于所述第三预设阈值后停止，所述种子区域内的所有像素点被标记为同一个所述簇；

遍历剩余像素：重复对所述深度图像中没有被标记为所述簇的像素点依次进行所述簇标记、所述初次邻域像素归类和所述重复邻域像素归类，直至所述深度图像中的所有像素点均被标记后停止，得到初始目标物簇。

6.根据权利要求5所述的目标物单体化方法，其特征在于，优先对所述种子区域外边缘的像素点进行所述重复邻域像素归类。

7.根据权利要求5所述的目标物单体化方法，其特征在于，所述重复邻域像素归类之后，所述方法还包括：

簇过滤：获取面积大于或等于第四预设阈值的所述初始目标物簇，得到所述目标物簇。

8.一种目标物单体化装置，其特征在于，包括：

获取单元，用于获取三维场景数据；

图像转换单元，用于将所述三维场景数据转换为俯视视角的光学图像和深度图像；

第一图像分割单元，用于对所述光学图像进行语义分割处理，得到目标物的图像掩膜；

第二图像分割单元，用于对所述深度图像进行聚类分割处理，得到目标物簇；

计算单元，用于计算所述目标物掩膜和所述目标物簇之间交集面积与并集面积的比值；

确定单元，用于确定大于或等于第一预设阈值的所述比值所对应的所述目标物簇或所述目标物掩膜，将确定的所述目标物簇或所述目标物掩膜在所述三维场景数据中所对应的区域确定为单体化目标物。

9.一种计算设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的目标物单体化方法。

10.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的目标物单体化方法。

Images