CN114419250A - 点云数据矢量化方法及装置、矢量地图生成方法及装置 - Google Patents

Abstract

本申请提供了一种点云数据矢量化方法及装置、矢量地图生成方法及装置，涉及图像处理技术领域。该点云数据矢量化方法包括：基于目标区域的原始点云数据，确定目标区域中的M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息；基于目标区域中的M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息，从预设模型库中确定M个实例目标各自匹配的实例模型。本申请能够基于实例目标对应的实例类别信息和对象信息匹配用以替换实例目标的实例模型，简单方便，且能够保证实例目标与实例模型匹配的实时性和快速性，而且匹配出的实例模型更加贴近真实实例目标形态，以便后续进一步生成更加符合实际目标区域的三维矢量地图。

Description

点云数据矢量化方法及装置、矢量地图生成方法及装置

技术领域

本申请涉及图像处理技术领域，具体涉及一种点云数据矢量化方法及装置、矢量地图生成方法及装置。

背景技术

随着技术的发展，三维点云数据以其直观、高精度的优势在三维场景建设中应用日益广泛。然而由于实例对象的点云数据为海量数据，现有技术存在无法利用点云数据实时为实例对象匹配模型的问题，为此，如何实现基于海量的点云数据匹配更加贴近实例对象真实形态的实例模型成为了本领域科技人员急待解决的问题。

发明内容

为了解决上述技术问题，提出了本申请。本申请实施例提供了一种点云数据矢量化方法及装置、矢量地图生成方法及装置。

第一方面，本申请一实施例提供一种点云数据矢量化方法，该方法包括：基于目标区域的原始点云数据，确定目标区域中的M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息，其中，M为正整数；基于目标区域中的M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息，从预设模型库中确定M个实例目标各自匹配的实例模型；其中，预设模型库包括多个对应不同实例类别信息的实例模型，且同一实例类别信息对应多个实例模型。

结合第一方面，在第一方面的某些实现方式中，基于目标区域中的M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息，从预设模型库中确定M个实例目标各自匹配的实例模型，包括：针对M个实例目标中的每个实例目标，判断实例目标的点云结构信息，若点云结构信息为完整点云结构信息，则基于完整点云结构信息、实例目标对应的实例类别信息以及实例类别信息对应的对象信息，从预设模型库中确定实例目标匹配的实例模型；若点云结构信息为待补全点云结构信息，则基于实例目标对应的实例类别信息以及实例类别信息对应的对象信息，从预设模型库中确定实例类别信息和对象信息匹配的默认模型；将默认模型作为实例目标匹配的实例模型。

结合第一方面，在第一方面的某些实现方式中，基于完整点云结构信息、实例目标对应的实例类别信息以及实例类别信息对应的对象信息，从预设模型库中确定实例目标匹配的实例模型，包括：确定预设模型库的模型信息；针对模型信息中的同一类别模型信息，建立同一类别模型信息对应的类别树状索引表；基于实例类别信息和对象信息，从类别树状索引表中确定实例类别信息匹配的类别实例模型；若实例类别信息匹配多个类别实例模型，则基于完整点云结构信息，从多个类别实例模型中确定实例目标匹配的实例模型。

结合第一方面，在第一方面的某些实现方式中，基于目标区域的原始点云数据，确定目标区域中的M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息，包括：对目标区域的原始点云数据进行点云分割，以得到原始点云数据对应的实例点云数据，其中，实例点云数据包括点云类别数据和点云位置数据；对实例点云数据进行聚类，确定目标区域中的M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息。

结合第一方面，在第一方面的某些实现方式中，在基于目标区域中的M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息，从预设模型库中确定M个实例目标各自匹配的实例模型之后，还包括：基于M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息，确定M个实例目标各自对应的尺寸信息和位姿信息；基于M个实例目标各自对应的尺寸信息和位姿信息，对M个实例目标各自匹配的实例模型进行第一处理操作，其中，第一处理操作包括旋转操作、平移操作和缩放操作中的至少一种。

结合第一方面，在第一方面的某些实现方式中，在基于目标区域中的M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息，从预设模型库中确定M个实例目标各自匹配的实例模型之后，还包括：基于目标区域的原始点云数据，对M个实例目标各自匹配的实例模型进行第二处理操作，其中，第二处理操作包括色彩优化操作、光度优化操作和纹理优化操作中的至少一种。

第二方面，本申请一实施例提供了一种三维矢量地图生成方法，该方法包括：对目标区域的原始点云数据进行点云分割，以得到原始点云数据对应的实例点云数据和地面点云数据；基于地面点云数据，确定目标区域对应的地面矢量模型；基于实例点云数据，确定目标区域对应的实例模型，其中实例模型基于上述第一方面所提及的点云数据矢量化方法确定；基于地面矢量模型和实例模型，生成目标区域对应的三维矢量地图。

第三方面，本申请一实施例提供了一种点云数据矢量化装置，该装置包括：第一确定模块，配置为基于目标区域的原始点云数据，确定目标区域中的M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息，其中，M为正整数；第二确定模块，配置为基于目标区域中的M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息，从预设模型库中确定M个实例目标各自匹配的实例模型；其中，预设模型库包括多个对应不同实例类别信息的实例模型，且同一实例类别信息对应多个实例模型。

第四方面，本申请一实施例提供了一种三维矢量地图生成装置，包括：点云分割模块，配置为对目标区域的原始点云数据进行点云分割，以得到原始点云数据对应的实例点云数据和地面点云数据；第三确定模块，配置为基于地面点云数据，确定目标区域对应的地面矢量模型；第四确定模块，配置为基于实例点云数据，确定目标区域对应的实例模型，其中实例模型基于上述第一方面所提及的点云数据的矢量化方法确定；生成模块，配置为基于地面矢量模型和实例模型，生成目标区域对应的三维矢量地图。

第五方面，本申请一实施例提供了一种计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序用于执行上述第一方面和/或第二方面所提及的方法。

第六方面，本申请一实施例提供了一种电子设备，该电子设备包括：处理器；用于存储处理器可执行指令的存储器；该处理器用于执行上述第一方面和/或第二方面所提及的方法。

本申请实施例提供的点云数据矢量化方法，通过实例目标对应的实例类别信息、对象信息以及预设模型库的方式，实现了确定实例目标匹配的实例模型的目的。在本申请实施例中，基于实例目标对应的实例类别信息和对象信息匹配用以替换实例目标的实例模型，简单方便，能够保证实例目标与实例模型匹配的实时性和快速性，而且匹配出的实例模型更加贴近真实实例目标形态，以便后续进一步生成更加符合实际目标区域的三维矢量地图。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1所示为本申请实施例所适用的一场景示意图。

图2所示为本申请实施例所适用的另一场景示意图。

图3所示为本申请一示例性实施例提供的点云数据矢量化方法的流程示意图。

图4所示为本申请另一示例性实施例提供的点云数据矢量化方法的流程示意图。

图5所示为本申请又一示例性实施例提供的点云数据矢量化方法的流程示意图。

图6所示为本申请一示例性实施例提供的二维平面上的房屋结构以及房屋模型示意图。

图7所示为本申请一示例性实施例提供的三维的房屋结构以及房屋模型示意图。

图8所示为本申请一示例性实施例提供的确定实例目标匹配的实例模型的流程示意图。

图9所示为本申请一示例性实施例提供的类别树状索引表的示意图。

图10所示为本申请又一示例性实施例提供的点云数据矢量化方法的流程示意图。

图11所示为本申请一示例性实施例提供的目标区域中的M个实例目标的示意图。

图12所示为本申请又一示例性实施例提供的点云数据矢量化方法的流程示意图。

图13所示为本申请又一示例性实施例提供的点云数据矢量化方法的流程示意图。

图14所示为本申请又一示例性实施例提供的点云数据矢量化方法的流程示意图。

图15所示为本申请一示例性实施例提供的点云数据矢量化装置的结构示意图。

图16所示为本申请一示例性实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1所示为本申请实施例所适用的一场景示意图。如图1所示，本申请实施例所适用的场景为农田作业场景。具体地，该场景中包括装载有图像采集设备20的测绘飞行器2以及与图像采集设备20连接的服务器1。

图像采集设备20可以包括单目相机。在实际应用过程中，图像采集设备20用于采集目标区域的图像数据；服务器1用于基于测绘飞行器2采集的目标区域的图像数据，获取目标区域的原始点云数据，基于原始点云数据确定目标区域中的M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息，其中，M为正整数；基于目标区域中的M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息，从预设模型库中确定M个实例目标各自匹配的实例模型；其中，预设模型库包括多个对应不同实例类别信息的实例模型，且同一实例类别信息对应多个实例模型。即，该场景实现了一种点云数据矢量化方法。示例性地，多个测绘飞行器可以共用一个服务器，即服务器能够接收不同测绘飞行器上传的数据，那么，在更新服务器时便可更新多个测绘飞行器，有利于节省资源。

需要说明的是，本申请还适用于另一场景。图2所示为本申请实施例所适用的另一场景示意图。具体地，该场景中包括测绘飞行器2，其中，测绘飞行器2包括图像采集模块201和计算模块202，并且，图像采集模块201和计算模块202之间存在通信连接关系。

具体而言，测绘飞行器2搭载的图像采集模块201包括单目相机。在实际应用过程中，图像采集模块201用于采集目标区域的图像数据。飞行器2中的计算模块202用于基于测绘飞行器2采集的目标区域的图像数据，获取目标区域的原始点云数据，基于原始点云数据确定目标区域中的M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息，其中，M为正整数；基于目标区域中的M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息，从预设模型库中确定M个实例目标各自匹配的实例模型；其中，预设模型库包括多个对应不同实例类别信息的实例模型，且同一实例类别信息对应多个实例模型。即，该场景实现了一种点云数据矢量化方法。与图1所示场景相比，本场景无需与服务器等相关装置进行数据传输操作，因此，本场景能够保证点云数据矢量化方法的实时性。

除此之外，本申请实施例提供的点云数据矢量化方法，还同样适用于山峰/峡谷、海面、植被、道路、建筑等地形地貌。

示例性方法

图3所示为本申请一示例性实施例提供的点云数据矢量化方法的流程示意图。如图3所示，本申请实施例提供的点云数据矢量化方法包括如下步骤。

步骤100，基于目标区域的原始点云数据，确定目标区域中的M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息，其中，M为正整数。

示例性地，步骤100中提及的原始点云数据的生成方式，可以是基于计算机视觉生成，比如采集目标区域的图像数据，然后根据目标区域的图像数据计算得到原始点云数据，也可以是基于雷达或激光生成点云数据。其中，图像数据可以为测绘飞行器机载相机对目标区域拍摄的多帧图像。

示例性地，目标区域的图像数据可以包括一个或多个实例目标。实例目标可以为目标区域中的地表元素。举例来说，实例目标可以为树木、房屋、电线杆等目标对象，本申请实施例对实例目标的类型不作限定。

示例性地，实例类别信息包括具有共同性质和/或特点的实例目标所形成的种类信息。实例类别信息用于区分不同类型的实例目标。

示例性地，实例类别信息对应的对象信息用于表征该实例目标对应的具体事物。

以实例目标为樟树为例，实例目标对应的实例类别信息是常绿乔，实例类别信息对应的对象信息是樟树。

步骤200，基于目标区域中的M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息，从预设模型库中确定M个实例目标各自匹配的实例模型；其中，预设模型库包括多个对应不同实例类别信息的实例模型，且同一实例类别信息对应多个实例模型。

示例性地，步骤200中提及的预设模型库是预先通过三维建模的方式建立的。其中，预设模型库包括M个实例目标各自对应的实例模型。

具体而言，在预设模型库中选取实例目标匹配的实例模型，并将获取的实例模型基于实例目标对应的姿态、方位、大小等信息，在现实场景图像中的相应位置显示实例模型，从而实现实例模型与现实场景的完美契合。

本申请实施例提供的点云数据矢量化方法，通过基于实例目标对应的实例类别信息、对象信息以及预设模型库的方式，实现了确定实例目标匹配的实例模型的目的。在本申请实施例中，基于实例目标对应的实例类别信息和对象信息匹配用以替换实例目标的实例模型，简单方便，能够保证实例目标与实例模型匹配的实时性和快速性。

图4所示为本申请另一示例性实施例提供的点云数据矢量化方法的流程示意图。如图4所示，基于目标区域中的M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息，从预设模型库中确定M个实例目标各自匹配的实例模型(步骤200)，针对M个实例目标中的每个实例目标，包括如下步骤。

步骤300，判断实例目标的点云结构信息，若点云结构信息为完整点云结构信息，则执行步骤301，若点云结构信息为待补全点云结构信息，则执行步骤302。

步骤301，基于完整点云结构信息、实例目标对应的实例类别信息以及实例类别信息对应的对象信息，从预设模型库中确定实例目标匹配的实例模型。

步骤302，基于实例目标对应的实例类别信息以及实例类别信息对应的对象信息，从预设模型库中确定实例类别信息和对象信息匹配的默认模型；将默认模型作为实例目标匹配的实例模型。

具体而言，当实例目标的点云结构信息为完整点云结构信息时，首先基于实例目标对应的实例类别信息以及实例类别信息对应的对象信息，确定与类别信息匹配的实例模型，然后依据实例目标的结构相似性匹配与实例目标匹配的实例模型。当实例目标的点云结构信息为待补全点云结构信息时，即实例目标的点云结构需要补全时，实例目标只能依靠实例类别信息在预设模型库里进行搜索，当搜索到实例类别信息对应的默认模型时，无需进一步匹配，基于此，将默认模型确定为与实例目标匹配的实例模型。

本申请实施例提供的点云数据矢量化方法，基于实例目标对应的实例类别信息以及预设模型库，确定实例类别信息匹配的实例模型，进一步基于同类别实例目标的结构相似性进行匹配，从而确保实例模型更加贴近真实实例目标形态，以便后续进一步生成更加符合实际目标区域的三维矢量地图。除此之外，即使在实例目标的点云结构不完整的前提下，依然能够依靠实例类别信息，在预设模型库中搜索出与实例目标匹配的实例模型，从而保证每个实例目标都能对应有一个实例模型。

图5所示为本申请又一示例性实施例提供的点云数据矢量化方法的流程示意图。图6所示为本申请一示例性实施例提供的二维平面上的房屋结构以及房屋模型示意图。图7所示为本申请一示例性实施例提供的三维的房屋结构以及房屋模型示意图。图8所示为本申请一示例性实施例提供的确定实例目标匹配的实例模型的流程示意图。图9所示为本申请一示例性实施例提供的类别树状索引表的示意图。如图5所示，在本申请实施例提供的点云数据矢量化方法中，基于完整点云结构信息、实例目标对应的实例类别信息以及实例类别信息对应的对象信息，从预设模型库中确定实例目标匹配的实例模型(步骤301)，包括如下步骤。

步骤2010，确定预设模型库的模型信息。

示例性地，步骤2010中提及的模型信息包括实例模型以及实例模型对应的二维形状信息和/或三维信息。

步骤2011，针对模型信息中的同一类别模型信息，建立同一类别模型信息对应的类别树状索引表。

步骤2012，基于实例类别信息和对象信息，从类别树状索引表中确定实例类别信息匹配的类别实例模型。

以实例目标为樟树为例，如图9所示，基于实例目标对应的实例类别信息进行匹配。首先根据预设模型库中所拥有的模型信息，建立类别树状索引表，再根据实例类别信息进行深度优先搜索以匹配到樟树模型。当未匹配到对应的实例模型的特定类别时，则可根据类别树状索引信息，回溯其所属的上一层类别，并提取出对应的常绿乔模型，如此则可保证每个实例目标都能匹配到一个最为接近的实例模型。预设模型库中同一层级类别中的实例目标有不同的结构，在确定与实例目标的实例类别信息相匹配的实例模型之后，需要根据同类别实例目标的结构相似性进一步匹配，以确定更加贴近真实实例目标形态的实例模型。其中，需要注意的是，基于结构相似性的模型匹配方法的前提是实例目标的点云结构信息不需要补全(即完整点云结构信息)。

以房屋为例，结合图6和图7所示，房屋在二维平面上的投影形状一般为矩形，在三维上可能是矩形体、矩形体和棱锥的结合或矩形体和三棱柱的结构等，而且屋顶也存在多种复杂结构。为此，首先在预设模型库中存储有实例模型对应的二维形状信息和三维结构的点云数据，继而根据房屋模型在二维形状上和三维结构的点云相似性进行匹配，以便匹配出与实例目标的真实形态最为接近的实例模型。

在实际应用过程中，如图8所示，首先输入实例目标对应的实例类别信息和完整点云结构信息，继而基于实例目标对应的实例类别信息在预设模型库中进行匹配，确定实例类别信息匹配的类别模型信息，接着基于完整点云结构信息在预设模型库中匹配，如果匹配成功，则提取实例目标匹配的实例模型，否则，系统提示需添加对应模型并返回与实例类别信息相近的实例模型。

本申请实施例提供的点云数据矢量化方法，通过建立类别树状索引信息并进行深度优先搜索的方式，实现了确定实例类别信息匹配的类别模型信息的目的，从而保证每个实例目标都能匹配到与实例类别信息最为接近的实例模型，为后续进一步生成三维矢量地图提供前提数据基础。

在一实施例中，实例目标的点云结构信息为待补全点云结构信息时，还需要对待补全点云结构信息进行点云补全操作，得到实例目标对应的完整点云结构信息。待补全点云结构信息为聚类得到的实例目标的点云结构信息，存在缺陷且需要进行点云补全操作。具体而言，可以根据待补全点云结构信息的结构对称性和地面空洞形状等特性，完成对实例目标的点云进行补全的操作，从而得到实例目标对应的完整点云结构信息。

图10所示为本申请又一示例性实施例提供的点云数据矢量化方法的流程示意图。图11所示为本申请一示例性实施例提供的目标区域中的M个实例目标的示意图。如图10所示，在本申请实施例提供的点云数据矢量化方法中，基于目标区域的原始点云数据，确定目标区域中的M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息(步骤100)，包括如下步骤。

步骤1000，对目标区域的原始点云数据进行点云分割，以得到原始点云数据对应的实例点云数据，其中，实例点云数据包括点云类别数据和点云位置数据。

示例性地，步骤1000提及的原始点云数据包括稠密点云数据。

在一实施例中，基于测绘飞行器采集的目标区域的图像数据，通过算法得到测绘飞行器机载的单目相机的姿态信息，继而基于单目相机的姿态信息，计算得出目标区域的稠密点云数据。基于目标区域的原始点云数据，利用实例分割算法，提取地图元素的实例点云数据，比如点云的类别信息和位置信息等。

步骤1001，对实例点云数据进行聚类，确定目标区域中的M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息。

示例性地，根据实例目标的实例点云数据，运用点云密度聚类算法对点云进行聚类，以获取实例目标，如图11所示，每一个方框表示聚类后的实例目标。

应当理解，可以通过PointNet、RandLANet等分割算法组合密度聚类算法实现实例目标的分割，以获取目标区域中的实例目标以及实例目标对应的实例类别信息和对象信息。

本申请实施例提供的点云数据矢量化方法，通过基于目标区域的原始点云数据，确定原始点云数据对应的实例点云数据，最终通过对实例点云数据进行聚类，确定目标区域中的M个实例目标各自对应的实例类别信息和对象信息的目的，为后续进行模型匹配提供前提基础。

图12所示为本申请又一示例性实施例提供的点云数据矢量化方法的流程示意图。如图12所示，在本申请实施例提供的点云数据矢量化方法中，在基于目标区域中的M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息，从预设模型库中确定M个实例目标各自匹配的实例模型(步骤200)之后，还包括如下步骤。

步骤2100，基于M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息，确定M个实例目标各自对应的尺寸信息和位姿信息。

示例性地，步骤2100中提及的尺寸信息用于表征实例目标的大小。位姿信息用于表征实例目标的位置和姿态。可以通过获取实例目标点云对应的2.5D最小包围框的位置、大小和姿态，确定实例目标的尺寸信息和位姿信息。

步骤2101，基于M个实例目标各自对应的尺寸信息和位姿信息，对M个实例目标各自匹配的实例模型进行第一处理操作，其中，第一处理操作包括旋转操作、平移操作和缩放操作中的至少一种。

具体而言，第一处理操作用于对实例模型进行校正。首先对实例模型进行旋转校正其姿态，使其与实例目标点云姿态相同。然后根据实例目标点云最小包围框的大小对实例模型进行缩放，使实例模型大小与实例目标相近。在实例模型缩放过程中，例如：房屋对应的实例模型与实例目标点云有不同的长宽高缩放比例，造成实例模型的轻微形变。根据实例目标在地表投影的中心位置与实例模型底面的中心位置形成平移向量，将实例模型平移至实例目标点云位置。至此，实例模型基本处于实例目标点云位置，且其大小和姿态与实例目标点云结构大体相同。

本申请实施例提供的点云数据矢量化方法，通过基于M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息，确定M个实例目标各自对应的尺寸信息和位姿信息，继而基于M个实例目标各自对应的尺寸信息和位姿信息，实现对M个实例目标各自匹配的实例模型进行校正的目的。通过移动、旋转、平移或者缩放等操作，将实例目标与实例模型最优对齐，进一步优化两者之间的差异性，从而保证实例目标与实例模型特征相似的地方尽量贴近。

图13所示为本申请又一示例性实施例提供的点云数据矢量化方法的流程示意图。如图13所示，在本申请实施例提供的点云数据矢量化方法中，在基于目标区域中的M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息，从预设模型库中确定M个实例目标各自匹配的实例模型(步骤200)之后，还包括如下步骤。

步骤2102，基于目标区域的原始点云数据，对M个实例目标各自匹配的实例模型进行第二处理操作，其中，第二处理操作包括色彩优化操作、光度优化操作和纹理优化操作中的至少一种。

示例性地，步骤2102提及的原始点云数据用于表征地图整体信息。

具体而言，为保证实例模型的色彩、光度、纹理等信息与实例目标一致，需结合目标区域的原始点云数据，对M个实例目标各自匹配的实例模型进行后优化处理，使最终结果更加贴合实际场景信息。

举例说明，当电线杆朝向与电线走向明显不相符时，通过旋转调整电线杆的朝向，使其更加符合实际情况。或者当房屋与地面相接时，通过第二处理操作，保证房屋不会高于地面或低于地面。

本申请实施例提供的点云数据矢量化方法，通过基于目标区域的原始点云数据的方式，实现对M个实例目标各自匹配的实例模型的第二处理操作。通过第二处理操作，进一步优化实例模型，保证实例模型的色彩、光度、纹理等信息更加贴近实例目标的真实形态，有利于后续生成更加符合实际目标区域的三维矢量地图。

图14所示为本申请又一示例性实施例提供的点云数据矢量化方法的流程示意图。如图14所示，首先基于深度学习方法对采集到的点云数据进行分割、识别和定位。然后根据类别和位置信息对点云进行聚类。当点云数据不需要补全时，根据类别信息和结构信息在模型库中匹配出相对应的模型。当点云数据需要补全时或者根据类别信息和结构信息匹配模型不成功时，基于点云数据的类别信息使用默认模型作为点云数据匹配的模型。然后提取模型信息，根据所有点云所组成的最小包围框大小、位姿，对匹配好的模型进行旋转、平移、缩放和形变等操作。最后对模型进行后优化操作，并将模型保存为obj文件。按照此流程不断循环，直至匹配出实例分割结果对应的所有模型。

本申请一实施例提供了一种三维矢量地图生成方法，该方法包括：对目标区域的原始点云数据进行点云分割，以得到原始点云数据对应的实例点云数据和地面点云数据；基于地面点云数据，确定目标区域对应的地面矢量模型；基于实例点云数据，确定目标区域对应的实例模型，其中实例模型基于上述实施例所提及的点云数据矢量化方法确定；基于地面矢量模型和实例模型，生成目标区域对应的三维矢量地图。

示例性地，实例模型可以理解为从预设模型库中选取的实例目标对应的目标虚拟模型。该实例模型用于表征实例目标在真实场景中的空间位置以及状态等信息，即地表矢量模型。

示例性地，三维矢量地图可以为包括实例目标颜色、纹理以及高程等信息的地图。三维矢量地图用于表征该目标区域对应的三维信息。

示例性地，基于地面点云数据确定目标区域对应的地面矢量模型。具体而言，通过视觉的方式三维重建出来的点云存在各种缺陷，比如湖面、纹理重复的农田等区域容易有空洞。除此之外，地表关键的实例目标对应的完整点云结构信息被提取之后，也会在地面留下空洞。可以通过周围的地形趋势和关键实例目标的先验信息(比如形状、高度等)，推理空洞区域的地面位置并进行填补，从而生成无空洞的地面矢量模型。

示例性地，融合地面矢量模型和实例模型最终生成目标区域对应的三维矢量地图。应当理解，三维矢量地图是指地图内所有元素都是实例化、矢量化的，其中，地图内所有元素包括但不限于地形矢量、地表障碍物矢量、地表作物矢量等。

本申请实施例提供的点云数据矢量化方法，融合地面矢量模型和实例模型，能够实时生成目标区域对应的三维矢量地图，解决了现有技术中缺失地图目标颜色、纹理和高程等信息的问题，并且，生成的三维矢量地图更加符合实际目标区域的情况，真实反映各类地理要素的空间位置信息和状态，为分析目标区域提供全面、精确的支持和依据。此外，本申请实施例具有适用范围广泛的优势。

示例性装置

上文结合图1至图14，详细描述了本申请的方法实施例，下面结合图15至图16，详细描述本申请的装置实施例。应理解，方法实施例的描述与装置实施例的描述相互对应，因此，未详细描述的部分可以参见前面方法实施例。

图15所示为本申请一示例性实施例提供的点云数据矢量化装置的结构示意图。如图15所示，本申请实施例提供的点云数据矢量化装置包括第一确定模块400和第二确定模块500。第一确定模块400配置为，基于目标区域的原始点云数据，确定目标区域中的M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息，其中，M为正整数。第二确定模块500配置为，基于目标区域中的M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息，从预设模型库中确定M个实例目标各自匹配的实例模型；其中，预设模型库包括多个对应不同实例类别信息的实例模型，且同一实例类别信息对应多个实例模型。

在一实施例中，第二确定模块500还用于针对M个实例目标中的每个实例目标，判断实例目标的点云结构信息，若点云结构信息为完整点云结构信息，则基于完整点云结构信息、实例目标对应的实例类别信息以及实例类别信息对应的对象信息，从预设模型库中确定实例目标匹配的实例模型；若点云结构信息为待补全点云结构信息，则基于实例目标对应的实例类别信息以及实例类别信息对应的对象信息，从预设模型库中确定实例类别信息和对象信息匹配的默认模型；将默认模型作为实例目标匹配的实例模型。

在一实施例中，第二确定模块500还用于确定预设模型库的模型信息；针对模型信息中的同一类别模型信息，建立同一类别模型信息对应的类别树状索引表；基于实例类别信息和对象信息，从类别树状索引表中确定实例类别信息匹配的类别实例模型；若实例类别信息匹配多个类别实例模型，则基于完整点云结构信息，从多个类别实例模型中确定实例目标匹配的实例模型。

在一实施例中，第一确定模块400还用于对目标区域的原始点云数据进行点云分割，以得到原始点云数据对应的实例点云数据，其中，实例点云数据包括点云类别数据和点云位置数据；对实例点云数据进行聚类，确定目标区域中的M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息。

在一实施例中，点云数据矢量化装置还包括第一处理操作模块，第一处理操作模块用于基于M个实例目标各自对应的实例类别信息以及实例类别信息对应的对象信息，确定M个实例目标各自对应的尺寸信息和位姿信息；基于M个实例目标各自对应的尺寸信息和位姿信息，对M个实例目标各自匹配的实例模型进行第一处理操作，其中，第一处理操作包括旋转操作、平移操作和缩放操作中的至少一种。

在一实施例中，点云数据矢量化装置还包括第二处理操作模块，第二处理操作模块用于基于目标区域的原始点云数据，对M个实例目标各自匹配的实例模型进行第二处理操作，其中，第二处理操作包括色彩优化操作、光度优化操作和纹理优化操作中的至少一种。

本申请实施例提供了一种三维矢量地图生成装置，该装置包括点云分割模块、第三确定模块、第四确定模块以及生成模块。点云分割模块配置为，对目标区域的原始点云数据进行点云分割，以得到原始点云数据对应的实例点云数据和地面点云数据。第三确定模块配置为，基于地面点云数据，确定目标区域对应的地面矢量模型。第四确定模块配置为，基于实例点云数据，确定目标区域对应的实例模型，其中实例模型基于上述实施例所提及的点云数据的矢量化方法确定。生成模块配置为，基于地面矢量模型和实例模型，生成目标区域对应的三维矢量地图。

示例性电子设备

下面，参考图16来描述根据本申请实施例的电子设备。图16所示为本申请一示例性实施例提供的电子设备的结构示意图。

如图16所示，电子设备1007包括一个或多个处理器1005和存储器1006。

处理器1005可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备1007中的其他组件以执行期望的功能。

存储器1006可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1005可以运行所述程序指令，以实现上文所述的本申请的各个实施例的点云数据矢量化方法和/或三维矢量地图生成方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如目标区域的原始点云数据等各种内容。

在一个示例中，电子设备1007还可以包括：输入装置1003和输出装置1004，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置1003可以包括例如键盘、鼠标等等。

该输出装置1004可以向外部输出各种信息，包括实例目标匹配的实例模型等。该输出装置1004可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图16中仅示出了该电子设备1007中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备1007还可以包括任何其他适当的组件。

示例性计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述描述的根据本申请各种实施例的点云数据矢量化方法和/或三维矢量地图生成方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述描述的根据本申请各种实施例的点云数据矢量化方法和/或三维矢量地图生成方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (11)

1.一种点云数据矢量化方法，其特征在于，包括：

基于目标区域的原始点云数据，确定所述目标区域中的M个实例目标各自对应的实例类别信息以及所述实例类别信息对应的对象信息，其中，M为正整数；

基于所述目标区域中的M个实例目标各自对应的实例类别信息以及所述实例类别信息对应的对象信息，从预设模型库中确定所述M个实例目标各自匹配的实例模型；其中，所述预设模型库包括多个对应不同实例类别信息的实例模型，且同一实例类别信息对应多个实例模型。

2.根据权利要求1所述的点云数据矢量化方法，其特征在于，所述基于所述目标区域中的M个实例目标各自对应的实例类别信息以及所述实例类别信息对应的对象信息，从预设模型库中确定所述M个实例目标各自匹配的实例模型，包括：

针对所述M个实例目标中的每个实例目标，

判断所述实例目标的点云结构信息，

若所述点云结构信息为完整点云结构信息，则基于所述完整点云结构信息、所述实例目标对应的实例类别信息以及所述实例类别信息对应的对象信息，从所述预设模型库中确定所述实例目标匹配的实例模型；

若所述点云结构信息为待补全点云结构信息，则基于所述实例目标对应的实例类别信息以及所述实例类别信息对应的对象信息，从所述预设模型库中确定所述实例类别信息和所述对象信息匹配的默认模型；将所述默认模型作为所述实例目标匹配的实例模型。

3.根据权利要求2所述的点云数据矢量化方法，其特征在于，所述基于所述完整点云结构信息、所述实例目标对应的实例类别信息以及所述实例类别信息对应的对象信息，从所述预设模型库中确定所述实例目标匹配的实例模型，包括：

确定所述预设模型库的模型信息；

针对所述模型信息中的同一类别模型信息，建立所述同一类别模型信息对应的类别树状索引表；

基于所述实例类别信息和所述对象信息，从所述类别树状索引表中确定所述实例类别信息匹配的类别实例模型；

若所述实例类别信息匹配多个类别实例模型，则基于所述完整点云结构信息，从所述多个类别实例模型中确定所述实例目标匹配的实例模型。

4.根据权利要求1至3任一项所述的点云数据矢量化方法，其特征在于，所述基于目标区域的原始点云数据，确定所述目标区域中的M个实例目标各自对应的实例类别信息以及所述实例类别信息对应的对象信息，包括：

对所述目标区域的原始点云数据进行点云分割，以得到所述原始点云数据对应的实例点云数据，其中，所述实例点云数据包括点云类别数据和点云位置数据；

对所述实例点云数据进行聚类，确定所述目标区域中的M个实例目标各自对应的实例类别信息以及所述实例类别信息对应的对象信息。

5.根据权利要求1至3任一项所述的点云数据矢量化方法，其特征在于，在所述基于所述目标区域中的M个实例目标各自对应的实例类别信息以及所述实例类别信息对应的对象信息，从预设模型库中确定所述M个实例目标各自匹配的实例模型之后，还包括：

基于所述M个实例目标各自对应的实例类别信息以及所述实例类别信息对应的对象信息，确定所述M个实例目标各自对应的尺寸信息和位姿信息；

基于所述M个实例目标各自对应的尺寸信息和位姿信息，对所述M个实例目标各自匹配的实例模型进行第一处理操作，其中，所述第一处理操作包括旋转操作、平移操作和缩放操作中的至少一种。

6.根据权利要求1至3任一项所述的点云数据矢量化方法，其特征在于，在基于所述目标区域中的M个实例目标各自对应的实例类别信息以及所述实例类别信息对应的对象信息，从预设模型库中确定所述M个实例目标各自匹配的实例模型之后，还包括：

基于所述目标区域的原始点云数据，对所述M个实例目标各自匹配的实例模型进行第二处理操作，其中，所述第二处理操作包括色彩优化操作、光度优化操作和纹理优化操作中的至少一种。

7.一种三维矢量地图生成方法，其特征在于，包括：

对目标区域的原始点云数据进行点云分割，以得到所述原始点云数据对应的实例点云数据和地面点云数据；

基于所述地面点云数据，确定所述目标区域对应的地面矢量模型；

基于所述实例点云数据，确定所述目标区域对应的实例模型，其中所述实例模型基于权利要求1至6任一项所述的点云数据矢量化方法确定；

基于所述地面矢量模型和所述实例模型，生成所述目标区域对应的三维矢量地图。

8.一种点云数据矢量化装置，其特征在于，包括：

第一确定模块，配置为基于目标区域的原始点云数据，确定所述目标区域中的M个实例目标各自对应的实例类别信息以及所述实例类别信息对应的对象信息，其中，M为正整数；

第二确定模块，配置为基于所述目标区域中的M个实例目标各自对应的实例类别信息以及所述实例类别信息对应的对象信息，从预设模型库中确定所述M个实例目标各自匹配的实例模型；其中，所述预设模型库包括多个对应不同实例类别信息的所述实例模型，且同一实例类别信息对应多个所述实例模型。

9.一种三维矢量地图生成装置，其特征在于，包括：

点云分割模块，配置为对目标区域的原始点云数据进行点云分割，以得到所述原始点云数据对应的实例点云数据和地面点云数据；

第三确定模块，配置为基于所述地面点云数据，确定所述目标区域对应的地面矢量模型；

第四确定模块，配置为基于所述实例点云数据，确定所述目标区域对应的实例模型，其中所述实例模型基于权利要求1至6任一项所述的点云数据矢量化方法确定；

生成模块，配置为基于所述地面矢量模型和所述实例模型，生成所述目标区域对应的三维矢量地图。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至7任一项所述的方法。

11.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行上述权利要求1至7任一项所述的方法。

Images