CN112561836B - 一种获取目标物的点云集合的方法及装置 - Google Patents

Abstract

公开了一种获取目标物的点云集合的方法及装置，包括：从待处理图像中确定目标物的边缘轮廓；确定位于所述目标物的边缘轮廓中的第一点云集合；从所述第一点云集合中，确定所述目标物对应的第二点云集合；通过从第一点云集合中，确定目标物对应的第二点云集合，实现了对于第一点云集合中点云数据点的筛选，从中保留目标物对应的点云数据点，以建立第二点云集合；由此使得第二点云集合中的点云数据点能够更加准确的对应目标物。

Description

一种获取目标物的点云集合的方法及装置

技术领域

本公开涉及数据分析技术领域，尤其涉及一种获取目标物的点云集合的方法及装置。

背景技术

点云集合，即点云图中表示目标物的数据点组成的集合。通常点云图可以使用激光雷达对空间进行扫描获得。在实际应用中，可以将针对同一空间的图像和点云图叠加；再对图像进行语义识别，确定目标物所在的区域；然后取出该区域内的数据点，即获得了目标物的点云集合。

但是在拍摄过程中，拍摄图像的摄像头和拍摄点云图的激光雷达不可能处在同一位置。也就是说图像和点云图对应的相机位姿不可能完全一致。这就导致图像和点云图叠加之后，很可能出现一定的偏差。而这种偏差将导致一些不属于目标物的数据点进入到点云集合中，使得点云集合不够精确。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种获取目标物的点云集合的方法及装置，以实现更准确的确定目标物对应的数据点。

根据本公开的第一个方面，提供了一种获取目标物的点云集合的方法，包括：

从待处理图像中确定目标物的边缘轮廓；

确定位于所述目标物的边缘轮廓中的第一点云集合；

从所述第一点云集合中，确定所述目标物对应的第二点云集合

根据本公开的第二个方面，提供了一种获取目标物的点云集合的装置，包括：

边缘轮廓确定模块，用于从待处理图像中确定目标物的边缘轮廓；

第一点云集合确定模块，用于确定位于所述目标物的边缘轮廓中的第一点云集合；

第二点云集合确定模块，用于从所述第一点云集合中，确定所述目标物对应的第二点云集合。

根据本公开的第三方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第一方面中所述的获取目标物的点云集合的方法。

根据本公开的第四方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现上述第一方面中所述的获取目标物的点云集合的方法。

与现有技术相比，采用本公开提供的获取目标物的点云集合的方法及装置，通过从第一点云集合中，确定目标物对应的第二点云集合，实现了对于第一点云集合中点云数据点的筛选，从中保留目标物对应的点云数据点，以建立第二点云集合；由此使得第二点云集合中的点云数据点能够更加准确的对应目标物。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为本公开涉及的目标物与点云数据点关系示意图；

图2为本公开一示例性实施例提供的获取目标物的点云集合的系统的结构示意图；

图3为本公开一示例性实施例提供的获取目标物的点云集合的方法的流程示意图；

图4为本公开一示例性实施例提供的获取目标物的点云集合的方法的流程示意图；

图5为本公开一示例性实施例提供的获取目标物的点云集合的方法涉及的深度-数量直方图；

图6为本公开一示例性实施例提供的获取目标物的点云集合的装置的结构示意图；

图7为本公开一示例性实施例提供的获取目标物的点云集合的装置中第二点云集合确定模块的结构示意图；

图8为本公开一示例性实施例提供的获取目标物的点云集合的装置中第二点云集合确定单元的结构示意图；

图9为本公开一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

申请概述

在目前对于点云图的应用当中，通常将针对同一空间的图像和点云图叠加。然后对图像进行语义识别，确定目标物的边缘轮廓。再将该边缘轮廓中所有的点云数据点，直接作为对应该目标物的点云数据点，由此建立目标物对应的点云集合。

但是在拍摄过程中，拍摄图像的摄像头和拍摄点云图的激光雷达不可能处在同一位置。也就是说图像和点云图对应的相机位姿不可能完全一致。这就导致图像和点云图之间的叠加会出现一定的偏差。这种偏差将导致一些不属于目标物的数据点进入到点云集合中，使得点云集合不够精确。

参考图1所示，图1中实线矩形框代表图像中目标物的边缘轮廓；虚线矩形框代表图像中目标物以外的物体的边缘轮廓；实心圆点代表目标物对应的点云数据点；空心圆点代表目标物以外的物体对应的点云数据点。在理想的情况下，应当是所有实心圆点均处于实线矩形框之内，所有的空心圆点均处于虚线矩形框之内。但是由于摄像头和激光雷达之间存在一定距离，所以实际拍摄的效果往往如图1所示，一部分空心圆点由于偏差落入到了实线矩形框之内。

针对这种情况，现有技术中无法对实线矩形框之内的点云数据点进行筛选，将部分空心圆点排除。所以导致了一些不对应目标物的点云数据点，进入到目标物对应的点云集合中，使得点云集合不够精确。

示例性系统

激光雷达在拍摄点云图的过程中，能够得到其中每个点云数据点的深度信息。而可以理解的是，基于目标物物理体积的限制，对应同一目标物的所有点云数据点的深度信息(也就是与激光雷达的距离)应当是连续的，并且处在一个特定的区间内。本公开便基于这一原理，进一步的对于目标物的边缘轮廓中的所有点云数据点进行筛选和过滤，从而只保留对应目标物的点云数据点，并建立对应的点云集合。

具体过程如图2所示，获取目标物的点云集合的系统在将图像与点云图叠加后，从图像中提取出目标物的边缘轮廓；并且确定出所有处于边缘轮廓中的点云数据点。然后结合目标物物理体积，以及各个点云数据点的深度信息进行分析，判断其中哪些点云数据点是对应于该目标物，哪些则不是。

一般来说，如果边缘轮廓中大部分的点云数据点的深度信息，处于特定的连续数值区间内，则可认为这些点云数据点均是目标物对应的点云数据点。换言之，可认为该目标物的物理体积正是覆盖了上述的数值区间。相反其他少数点云数据点的深度信息在该数值区间以外，且与该数值区间不连续，则违背了目标物物理体积的特定，可认为是噪点。

示例性方法

图3是本公开一示例性实施例提供的获取目标物的点云集合的方法的流程示意图。本实施例可应用在电子设备上，如图3所示，本实施例包括如下步骤：

步骤301、从待处理图像中确定目标物的边缘轮廓。

待处理图像通过摄像头对特定空间拍摄得到的图像，待处理图像中包括了特定的目标物。基于图像分析技术，可以从待处理图像中确定出该目标物，并提取出该目标物的边缘轮廓。具体的，可以通过图像语义分割或实例分割等方式实现边缘轮廓的提取，本实施例中对此不做限定。

步骤302、确定位于目标物的边缘轮廓中的第一点云集合。

本实施例中，还将通过激光雷达对该特定空间拍摄得到对应于待处理图像的点云图。并且在处理过程中，可将待处理图像与点云图叠加。即如图1所示，叠加后将有一定数量的点云数据点处于该边缘轮廓当中。本步骤中，基于这些处于该边缘轮廓当中的点云数据点建立第一点云集合。

但是通过前述可知的是，由于拍摄角度的偏差，第一点云集合中通常存在一部分的不对应于目标物的点云数据点。

步骤303、从第一点云集合中，确定目标物对应的第二点云集合。

本实施例中，将结合目标物物理体积，以及第一点云集合中各个点云数据点的深度信息进行分析，判断其中哪些点云数据点是对应于该目标物，哪些则不是。

一般来说，如果第一点云集合中大部分的点云数据点的深度信息，处于特定的连续数值区间内，则可认为这些点云数据点均是目标物对应的点云数据点。换言之，可认为该目标物的物理体积正是覆盖了上述的数值区间。相反其他少数点云数据点的深度信息在该数值区间以外，且与该数值区间不连续，则违背了目标物物理体积的特定，可认为是噪点。

由此，本实施例中能够实现对于第一点云集合中点云数据点的筛选，从中保留目标物对应的点云数据点，以建立第二点云集合。

通过以上技术方案可知，本实施例存在的有益效果是：通过从第一点云集合中，确定目标物对应的第二点云集合，实现了对于第一点云集合中点云数据点的筛选，从中保留目标物对应的点云数据点，以建立第二点云集合；由此使得第二点云集合中的点云数据点能够更加准确的对应目标物。

如图3所示仅为本公开方法的基础实施例，在其基础上进行一定的优化和拓展，还能够得到方法的其他优选实施例。

如图4所示，是本公开另一示例性实施例提供的获取目标物的点云集合的方法的流程示意图。本实施例可应用在电子设备上。本实施例中，该方法具体包括如下步骤：

步骤401、对待处理图像进行实例分割，以确定目标物的边缘轮廓。

本实施例中优选的，通过实例分割实现确定目标物的边缘轮廓。实例分割能够更加有效的在待处理图像中多个物体(视觉上)重叠的情况下，计算出各个物体之间的边界，即能够准确的确定目标物的边缘轮廓。特别在以拍摄的特定空间为道路，特定目标物为车辆的场景下，实例分割的效果相对更为理想。

实例分割属于本领域中公知的图像分析处理技术，在此不做赘述。凡是能够实现相同或类似效果的实例分割运算网络，均可结合在本实施例当中。

步骤402、确定位于目标物的边缘轮廓中的第一点云集合。

本步骤与图3所示实施例中相应步骤内容相同，不重复叙述。

步骤403、获取第一点云集合中点云数据点的深度信息。

在激光雷达拍摄得到点云图的过程中，能够同时获得点云图中各个点云数据点的深度信息，即各个点云数据点对应的位置与激光雷达的距离。所以本实施例中，将获取第一点云集合中点云数据点的深度信息，以用于后续的分析过程。

步骤404、根据所述深度信息从第一点云集合中确定目标物对应的第二点云集合。

可以理解的是，根据深度信息从第一点云集合中确定目标物对应的第二点云集合，原理上是基于目标物物理体积的空间特性，而其相关的数学演算过程并不唯一。在本实施例中对此不做限定，任何能够实现相同或类似效果的算法，均可结合在整体技术方案之下。

例如，可根据目标物的种类(如小汽车、货车、巴士等)，确定目标物的大致形状、几何中心位置与尺寸范围等数据，从而计算出深度信息合理的取值范围，从而实现对于第一点云集合的筛选。或者，也可计算第一点云集合中点云数据点的深度信息的均值，再结合该均值与目标物的尺寸范围对第一点云集合进行筛选。

在本实施例中，将提供一种优选的根据第一点云集合中确定目标物对应的第二点云集合的方法，具体如下：

根据点云数据点的深度信息，确定深度置信范围。根据第一点云集合中的深度信息处于深度置信范围内的点云数据点，确定目标物对应的第二点云集合。

可以理解的是，由于目标物存在明确的物理体积，所以目标物中各个位置与激光雷达的距离通常会处于特定的连续数值区间。也就是说，对应目标物的点云数据点的深度信息，也将处于该数值区间内。

或者说，假如第一点云集合中大部分的点云数据点的深度信息处于某个的连续数值区间内，则可认为这些点云数据点均是目标物对应的点云数据点；即认为该目标物的物理体积正是覆盖了上述的数值区间。相反其他少数点云数据点的深度信息在该数值区间以外，且与该数值区间不连续，则违背了目标物物理体积的特定，可认为是噪点。

本步骤中，即根据上述的原理，根据第一点云集合中点云数据点的深度信息，确定出深度置信范围。并可以进一步的认为，深度信息处于深度置信范围内的点云数据点，为对应目标物的点云数据点。

具体的，可以根据点云数据点的深度信息确定深度-数量直方图；将深度-数量直方图中深度数值连续，且对应的点云数据点的数量超过预设的比例阈值的深度范围，确定为深度置信范围。

如图5所示，为本实施例中示例性的深度-数量直方图。图5中，横坐标轴代表深度信息的数值(单位为米)，纵坐标轴代表点云数据点的数量。结合图5可以看出，在图5对应的第一点云集合中，大部分(约80％)点云数据点的深度信息在17～23这一连续的区间内。少部分点云数据点的深度信息在8～12这一区间内。并且两个区间不连续，12～17一段区间几乎没有点云数据点。很显然，这种情况违背了目标物物理体积的特性。

所以可以认为，图5对应的深度置信范围为17～23。第一点云集合中，深度信息在此范围内的点云数据点均为对应目标物的点云数据点。其他则为噪点。对于深度信息在8～12这一范围内的点云数据点，通常即是对应其他物体的点云数据点，由于叠加的偏差落在了目标物的边缘轮廓内。基于本实施例中方法，可成功的将这部分点云数据点滤除。

本实施例中在通过深度置信范围确定出了对应目标物的点云数据点之后，可进一步的由对应目标物的点云数据点建立第二点云集合。由此滤除不对应目标物的点云数据点，使第二点云集合对于目标物的表达更加准确。

示例性装置

图6是本公开一示例性实施例提供的获取目标物的点云集合的装置的结构示意图。本实施例装置，即用于执行图3～图4方法的实体装置。其技术方案本质上与上述实施例一致，上述实施例中的相应描述同样适用于本实施例中。本实施例中装置包括：

边缘轮廓确定模块601，用于从待处理图像中确定目标物的边缘轮廓。

第一点云集合确定模块602，用于确定位于目标物的边缘轮廓中的第一点云集合。

第二点云集合确定模块603，用于从第一点云集合中，确定目标物对应的第二点云集合。

图7是本公开另一示例性实施例提供的获取目标物的点云集合的装置中第二点云集合确定模块603的结构示意图。如图7所示，在示例性实施例中，第二点云集合确定模块603包括：

深度信息获取单元711，用于获取第一点云集合中点云数据点的深度信息。

第二点云集合确定单元712，用于根据深度信息从第一点云集合中确定目标物对应的第二点云集合。

图8是本公开另一示例性实施例提供的获取目标物的点云集合的装置中第二点云集合确定单元712的结构示意图。如图8所示，在示例性实施例中，第二点云集合确定单元712包括：

深度置信子单元821，用于根据点云数据点的深度信息，确定深度置信范围。

第二点云集合确定子单元822，用于根据第一点云集合中的深度信息处于深度置信范围内的点云数据点，确定目标物对应的第二点云集合。

示例性电子设备

下面，参考图9来描述根据本公开实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图9图示了根据本公开实施例的电子设备的框图。

如图9所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本公开的各个实施例的获取目标物的点云集合的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是第一设备100或第二设备200时，该输入装置13可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。

此外，该输入设备13还可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图9中仅示出了该电子设备10中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的获取目标物的点云集合的方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的获取目标物的点云集合的方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (6)

1.一种获取目标物的点云集合的方法，包括：

从待处理图像中确定目标物的边缘轮廓；

确定位于所述目标物的边缘轮廓中的第一点云集合；

从所述第一点云集合中，确定所述目标物对应的第二点云集合；

所述从所述第一点云集合中，确定所述目标物对应的第二点云集合包括：

获取所述第一点云集合中点云数据点的深度信息；

根据所述深度信息从所述第一点云集合中确定所述目标物对应的第二点云集合；

所述根据所述深度信息从所述第一点云集合中确定所述目标物对应的第二点云集合包括：

根据所述点云数据点的深度信息，确定深度置信范围；

根据所述第一点云集合中的深度信息处于所述深度置信范围内的点云数据点，确定所述目标物对应的第二点云集合。

2.根据权利要求1所述方法，所述第一点云集合中点云数据点的深度信息，确定深度置信范围包括：

根据所述点云数据点的深度信息确定深度-数量直方图；

将所述深度-数量直方图中深度数值连续，且对应的所述点云数据点的数量超过预设的比例阈值的深度范围，确定为深度置信范围。

3.根据权利要求1或2所述方法，所述从待处理图像中确定目标物的边缘轮廓包括：

对所述待处理图像进行实例分割，以确定所述目标物的边缘轮廓。

4.一种获取目标物的点云集合的装置，包括：

边缘轮廓确定模块，用于从待处理图像中确定目标物的边缘轮廓；

第一点云集合确定模块，用于确定位于所述目标物的边缘轮廓中的第一点云集合；

第二点云集合确定模块，用于从所述第一点云集合中，确定所述目标物对应的第二点云集合；

所述第二点云集合确定模块包括：

深度信息获取单元，用于获取所述第一点云集合中点云数据点的深度信息；

第二点云集合确定单元，用于根据所述深度信息从所述第一点云集合中确定所述目标物对应的第二点云集合；

所述第二点云集合确定单元包括：

深度置信子单元，用于根据所述点云数据点的深度信息，确定深度置信范围；

第二点云集合确定子单元，用于根据所述第一点云集合中的深度信息处于所述深度置信范围内的点云数据点，确定所述目标物对应的第二点云集合。

5.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-3任一所述的获取目标物的点云集合的方法。

6.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-3任一所述的获取目标物的点云集合的方法。