CN112802111A - 一种物体模型构建方法及装置 - Google Patents

Abstract

本发明提供一种物体模型构建方法及装置，该方法先获取参考点云数据集合和目标物体模型的目标点云数据，然后根据该参考点云数据集合中的参考点云数据的语义特征和目标点云数据的语义类别，确定目标参考点云数据，接着根据该目标参考点云数据和目标点云数据，确定该目标物体模型在目标三维地图中的目标位姿信息，最后根据该目标位姿信息，在目标三维地图中构建该目标物体模型。本发明通过语义匹配的方式自动获取目标物体模型的目标位姿信息，从而省去了人工标注物体位姿的环节，进而便于在目标三维地图中自动化构建目标物体模型，提高了目标三维地图的构建效率。

Description

一种物体模型构建方法及装置

技术领域

本发明涉及地图制作领域，尤其涉及一种物体模型构建方法及装置。

背景技术

数字孪生地图的目的是建立与真实世界几乎完全相同的静态虚拟环境，而这个静态虚拟环境一般是由游戏引擎建立，它主要包含不同的三维模型，构建数字孪生地图的关键即是把这些三维模型根据真实的物体姿态导入到游戏引擎中。

当前一般把数字孪生地图中的三维模型分为“道路部分”和“静态物体部分”。其中，道路部分可以通过已经制作好的高精度地图按照特定的格式标准一次性导入引擎，而静态物体部分则需要事先获得这些物体的姿态才能批量导入。然而，获取这些物体姿态的一般做法是基于激光点云手动标注，这种方式需要人工参与，大大增加了数字孪生地图的构建成本，且效率较低。

因此，当前物体模型构建方法存在地图构建成本高且效率较低的技术问题，需要改进。

发明内容

本发明提供一种物体模型构建方法及装置，用于缓解当前物体模型构建方法存在地图构建成本高且效率较低的技术问题。

为了解决上述技术问题，本发明提供以下技术方案：

本发明提供一种物体模型构建方法，包括：

获取参考点云数据集合和目标物体模型的目标点云数据，所述参考点云数据集合为参考三维地图中的参考物体模型的参考点云数据组成的集合；

确定所述参考点云数据的语义特征，以及确定所述目标点云数据的语义类别；

根据所述语义特征和所述语义类别，在所述参考点云数据集合中确定与所述语义类别匹配的目标参考点云数据；

根据所述目标参考点云数据和所述目标点云数据，确定所述目标物体模型在所述目标三维地图中的目标位姿信息；

根据所述目标位姿信息，在所述目标三维地图中构建所述目标物体模型。

相应的，本发明还提供一种物体模型构建装置，包括：

第一获取模块，用于获取参考点云数据集合和目标物体模型的目标点云数据，所述参考点云数据集合为参考三维地图中的参考物体模型的参考点云数据组成的集合；

第一确定模块，用于确定所述参考点云数据的语义特征，以及确定所述目标点云数据的语义类别；

语义匹配模块，用于根据所述语义特征和所述语义类别，在所述参考点云数据集合中确定与所述语义类别匹配的目标参考点云数据；

第二确定模块，用于根据所述目标参考点云数据和所述目标点云数据，确定所述目标物体模型在所述目标三维地图中的目标位姿信息；

模型构建模块，用于根据所述目标位姿信息，在所述目标三维地图中构建所述目标物体模型。

同时，本发明还提供一种电子设备，其包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行上述任一项所述的物体模型构建方法中的步骤。

同时，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中，所述计算机程序被处理器执行以实现上述任一项所述的物体模型构建方法中的步骤。

有益效果：本发明提供了一种物体模型构建方法及装置，该方法先获取参考点云数据集合和目标物体模型的目标点云数据，所述参考点云数据集合为参考三维地图中的参考物体模型的参考点云数据组成的集合，然后确定所述参考点云数据的语义特征，以及确定所述目标点云数据的语义类别，并根据所述语义特征和所述语义类别，在所述参考点云数据集合中确定与所述语义类别匹配的目标参考点云数据，然后根据所述目标参考点云数据和所述目标点云数据，确定所述目标物体模型在所述目标三维地图中的目标位姿信息，最后根据所述目标位姿信息，在所述目标三维地图中构建所述目标物体模型。本发明通过在参考点云数据集合中确定与目标点云数据的语义类别匹配的目标参考点云数据，然后根据所述目标参考点云数据和所述目标点云数据，确定目标物体模型的目标位姿信息，这种通过语义匹配自动获取物体模型位姿信息的方式，省去了人工标注物体位姿的环节，便于在目标三维地图中自动化构建目标物体模型，节省了构建目标三维地图的成本，提高了目标三维地图的构建效率。

附图说明

下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其它有益效果显而易见。

图1是本发明提供的系统网络架构的示意图。

图2是本发明提供的数据服务器的功能示意图。

图3是本发明提供的物体模型构建方法的流程示意图。

图4是本发明提供的语义分割的结果示意图。

图5是本发明提供的点云聚类的结果示意图。

图6是本发明提供的点云匹配的过程示意图。

图7是本发明提供的物体模型构建装置的结构示意图。

图8是本发明提供的终端的结构示意图。

图9是本发明提供的服务器的结构示意图。

具体实施方式

下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，说明书和权利要求书以及附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便这里描述的实施例能够以除了在附图或者描述的内容以外的顺序实施。此外，术语“包括”以及它们的任何变形，意图在于覆盖不排他的包含。

在本发明中，参考点云数据集合为参考三维地图中参考物体模型的参考点云数据组成的集合。其中，参考三维地图可以是TSDF地图，该地图是基于截断符号距离函数（TSDF，Truncated Signed Distance Function）算法构建的地图，TSDF地图是由一堆体素构成的，每个体素内包含两个变量，一个是TSDF值（用于生成重建表面），另一个是RGB信息（用于给重建表面贴上彩色纹理），TSDF地图与实际场景的物理坐标系是可以转换的。

在本发明中，点云数据指的是某个坐标系下的点的数据集，这个点包含了丰富的信息，包括三维坐标X、Y、Z，还包括颜色、分类值、强度值、时间等。点云数据主要是通过三维激光扫描仪进行数据采集获取，还可以通过二维影像进行三维重建时，在重建过程中获取，另外还有一些可以通过三维模型来计算从而获取点云数据。

在本发明中，目标三维地图可以是数字孪生地图。数字孪生地图的目的是建立与真实世界几乎完全相同的静态虚拟环境，而这个静态虚拟环境一般是由游戏引擎建立的，它主要包含不同的三维模型，例如灯杆、红绿灯、道路等，构建孪生地图的关键是把三维模型根据真实的物体姿态导入到游戏引擎中。其中，三维模型一般分为“道路部分”和“静态物体部分”，“道路部分”可以通过已经制作好的高精度地图按照特定的格式标准一次性导入引擎，然而“静态物体部分”则需要事先获得这些物体的位姿才能批量导入。

在本发明中，对于自动驾驶而言，语义特征指的是那些能让无人车更好地理解行车规则、感知路面交通状况、规划行车路线，且被涵盖在高精度地图里的多层次、富维度的信息。简单的说，路灯、红绿灯等都可以称作是一个语义特征。

在本发明中，位姿信息指的是物体模型的位置和姿态，其中，姿态可以简单的理解为物体的朝向。

请参阅图1，图1为本发明提供的一种系统网络架构示意图，该系统至少包括数据获取装置101、数据服务器102以及应用终端103，其中：

数据获取装置101、数据服务器102以及应用终端103之间设有通信链路，以实现信息交互。通信链路的类型可以包括有线、无线通信链路或者光纤电缆等。

数据获取装置101可以是至少装备有摄像头、激光雷达（Lidar）的地图采集车，除此之外，还可以装备有全球导航卫星系统（GNSS）、毫米波雷达、陀螺仪、雨水传感器中的任意一种或者多种传感器。其中，摄像头采集到的是区域内的图像信息，包括道路、路灯、红绿灯等；激光雷达（Lidar）是以发射激光束探测目标的位置、速度等特征量的雷达系统，其工作原理是向目标发射探测信号，例如激光束，然后将接收到的从目标反射回来的信号，如目标回波，与发射信号进行比较，作适当处理后，就可获得与目标的有关信息，如目标距离、方位、高度、速度、姿态、甚至形状等参数，所以在本发明中主要是用来采集点云数据；全球导航卫星系统（GNSS）主要是用来记录地图采集车的位置信息，记录当前采集点的坐标；毫米波雷达、陀螺仪、雨水传感器可以用来采集道路状况、天气状况等地图所需的信息。

数据服务器102可以是独立的服务器，也可以是服务器组成的服务器网络或者服务器集群。数据服务器102包括但不限于计算机、网络主机、数据库服务器、大数据服务器集群、存储服务器以及应用服务器或者多个服务器构成的云服务器，其中，云服务器由基于云计算（Cloud Computing）的大量计算机或者网络服务器构成。数据服务器102中存储有大量的数据，包括数据获取装置101采集的点云数据、图片数据等、以及经过处理得到的物体模型的位姿信息等。

应用终端103可以是地图生成设备，例如车载导航、无人驾驶汽车、笔记本电脑、平板电脑、智能手机等。

在本发明中，数据获取装置101可以通过地图采集车获取点云数据、图片数据以及目标物体模型在目标三维地图中的初始位姿信息等，然后将这些数据发送给数据服务器102；数据服务器102对这些数据进行处理、存储；应用终端103通过向数据服务器102发送数据调用请求，获得数据服务器102中存储的数据，从而构建相应的数字孪生地图。

需要说明的是，图1所示的系统网络架构示意图仅仅是一个示例，本发明描述的服务器以及场景是为了更加清楚的说明本发明的技术方案，并不构成对于本发明提供的技术方案的限定，本领域普通技术人员可知，随着系统的演变和新业务场景的出现，本发明提供的技术方案对于类似的技术问题，同样适用。

具体地，下面将对数据服务器102的具体功能进行详细的介绍，请参阅图2，图2所示为数据服务器102的功能示意图。

在本发明中，数据服务器102接收由数据获取装置101发送的激光点云数据、图片数据以及目标物体模型在目标三维地图中的初始位姿信息，该激光点云数据包括参考三维地图中参考物体模型的参考点云数据和目标物体模型的目标点云数据，该图片数据包括参考三维地图中参考物体模型的图片数据。

在接收到各类数据之后，数据服务器102需要对这些数据进行处理，例如根据语义三维重建的方法构建出参考三维地图，首先需要确定参考三维地图中参考物体模型的参考点云数据的语义特征，即先对参考物体模型的图片数据进行语义分割，得到图片语义分割结果，如图4所示，每个图片数据的像素都被赋予了一个语义，并用不同的灰度来表示该语义；同时需要对参考物体模型的参考点云数据进行聚类，聚类就是把一堆点云根据某些相似的特征聚集为一个物体，得到点云聚类结果，如图5所示，不同灰度表示不同的聚类结果，此时并不知道每个聚类的物体是什么语义，因此需要投影到图片数据中获取对应的语义，所以接下来需要对图像语义分割结果和点云聚类结果进行语义融合，即将聚类的点云投影到带有语义分割结果的图片中，与图片提取出的语义进行融合，得到语义点云，最后利用语义点云数据构建参考三维地图。

在构建好参考三维地图后，数据服务器102将接收到的目标物体模型与参考三维地图中的模型进行匹配，其模型匹配过程主要分两个步骤，第一个步骤是语义匹配，即根据目标物体模型点云的语义在参考三维地图中找到与之语义相匹配的物体模型，第二个步骤是点云匹配，即将目标物体模型的点云与前一阶段确定的物体模型的点云进行点云匹配，得到物体模型的位姿信息。如图6为点云匹配的过程示意图，图中A表示的是目标物体模型在目标三维地图中的初始位姿，B表示的是与目标物体模型相对应的参考三维地图中物体模型的位姿，将A和B进行匹配，得到A与B之间的偏差，此时偏差不满足预设的阈值范围，因此将A的位姿适当调整，得到A₁，再将A₁与B进行匹配，得到A₁与B之间的偏差，判断此时偏差是否满足预设的阈值范围，如果不满足，则继续调整A₁的位姿，得到A₂，如此循环，直至调整后的A的位姿与B之间的偏差满足预设阈值范围，则能唯一确定该目标物体模型在目标三维地图中的目标位姿信息。最后根据该目标位姿信息，在目标三维地图中构建该目标物体模型。

在本发明中，数据服务器102在接收到应用终端103发送的数据请求后，会在数据服务器102中确定请求对应的标注好位姿信息的物体模型，并将其导入游戏引擎中，从而构建数字孪生地图。

在本发明中，提出了一种物体模型构建方法，该方法先通过语义三维重建构建了参考三维地图，如TSDF地图，由于构建参考三维地图的数据是通过传感器扫描得到的，因此对于物体模型的扫描可能存在空洞，例如只扫到了物体某一个侧面，另一面没有扫到，然后提前设计一些与参考三维地图中的物体模型同类的物体模型，拿预先设计好的物体模型和参考三维地图中的物体模型的语义点云元素做匹配，匹配上了之后，得到设计好的物体模型的位姿，相当于给设计好的物体模型赋予了原参考三维地图中物体模型的位姿，也即使用设计好的模型去替代参考三维地图中原有的带空洞的物体模型，最后把完整的物体模型和位姿导入引擎，就能构建目标三维地图，例如数字孪生地图。

综合上述系统网络架构，下面将对本发明中物体模型构建方法进行详细的介绍，请参阅图3，图3为本发明提供的物体模型构建方法的流程示意图，如图3所示，本发明提供的物体模型构建方法至少包括以下步骤：

步骤301：获取参考点云数据集合和目标物体模型的目标点云数据，参考点云数据集合为参考三维地图中的参考物体模型的参考点云数据组成的集合。

在一种实施例中，参考点云数据集合和目标物体模型的目标点云数据可以通过至少装备有摄像头和激光雷达的地图采集车去目标区域进行原始传感器数据采集得到。其采集的数据包括图片数据、激光点云数据，还有GPS和惯性传感器（IMU）数据。因为构建地图首先要对地图采集车进行定位，然后再把数据根据车辆位置进行拼接。目标物体模型可以理解为需要在目标三维地图中进行构建的物体模型。

在一种实施例中，参考三维地图可以是TSDF地图，目标三维地图可以是数字孪生地图。其中，截断符号距离函数（TSDF，Truncated Signed Distance Function）主要作用是进行三维场景在计算机中的重建。

步骤302：确定参考点云数据的语义特征，以及确定目标点云数据的语义类别。

在一种实施例中，为了确定参考三维地图中与目标物体模型相对应的物体模型，需要确定参考三维地图中参考点云数据的语义特征，从而根据目标物体模型的语义类别，在参考三维地图中找到与之对应的语义点云，由这些语义点云构成的物体模型，即为参考三维地图中与目标物体模型相对应的物体模型。其中，确定三维地图中参考点云数据的步骤包括：获取参考三维地图中的参考物体模型的图片数据；根据所述图片数据和参考点云数据集合确定参考点云数据的语义特征。其中，参考三维地图中参考物体模型的图片数据由地图采集车采集得到，物体模型可以是红绿灯、路灯、灯杆等。

在一种实施例中，需要通过图片的语义特征对点云数据进行处理，从而得到点云数据的语义特征，因此，根据图片数据和参考点云数据集合确定参考点云数据集合中参考点云数据的语义特征的步骤可以包括：对图片数据进行语义分割，得到图片语义分割结果；对参考点云数据集合进行聚类，得到点云聚类结果；将所述点云聚类结果与所述图片语义分割结果进行融合，得到参考点云数据集合中参考点云数据的语义特征。其中，语义特征包括路灯、红绿灯、灯杆、垃圾桶等。

具体地，对图片数据进行语义分割的步骤可以包括：对图片数据中的每一个像素进行语义分类，得到分类结果；根据所述分类结果对所述图片数据中的每一个像素进行语义标注，得到图片语义分割结果。语义分割就是针对图像进行像素级分类从而区分出不同的分割物，具体而言，就是将图片的每个像素划分为语义上有意义的部分，然后在语义上将每个部分标记为预定义的类别之一，其中，语义分割的算法可以采用基于深度学习的图片语义分割算法，这种方法主要采用卷积神经网络分类，与普通网络不同的是，分类层是卷积层，普通网络为全连接层，基于深度学习的图片语义分割算法主要包括有监督语义分割、无监督语义分割等。如图4，以图示的场景为例，图4展示的是当前场景下的语义分割结果，图像的每个像素都被赋予了一个语义，并用不同的灰度来表示该语义。

此外，对参考点云数据集合中的参考点云数据进行聚类的步骤可以包括：遍历所述参考点云数据集合中的所述参考点云数据；将所述参考点云数据划入相应的目标集合，同一目标集合中的参考点云数据具有相似度满足预设范围的属性或特征；根据所述目标集合，确定所述点云聚类结果。“聚类”与“分类”不同，“分类”就是按照某种标准给对象贴标签，再根据标签来区分归类，即“分类”需要事先定义好类别，类别数不变，需要人工标注和预先训练分类器；而“聚类”是指事先没有标签，而通过某种成团分析找出事物之间存在聚集性原因的过程，即“聚类”没有事先预定的类别，类别数不确定，不需要人工标注和预先训练分类器，类别在聚类过程中自动生成。具体地，聚类涉及到数据点的分组，给定一组数据点，我们可以使用聚类算法将每个数据点划分为一个特定的组。理论上，同一组中的数据点应该具有相似的属性和/或特征，而不同组中的数据点应该具有高度不同的属性和/或特征。其中，常用的聚类算法有K-means算法、DBSCAN算法等。如图5，以当前场景为例，图5展示的是当前场景下点云聚类的结果，不同的灰度表示不同的聚类结果。

由于点云聚类的结果是把一堆点云聚集为一个物体，但是纯点云聚类物体只知道这是个物体，但并不知道这个物体是什么语义，所以需要将点云投影到带有语义的图片中，以获得聚类物体的语义特征。因此，将点云聚类结果与图片语义分割结果进行融合的步骤可以包括：将点云聚类结果投影到图片语义分割结果中，确定对应的目标图片语义分割结果；根据所述目标图片语义分割结果的语义特征，标注所述点云聚类结果中参考点云数据的语义特征。原本的点云在获取语义特征之后，就是语义点云。

在一种实施例中，基于TSDF算法重建的地图，在全局数据立方体中就隐含了重建出的模型表面信息，只需要遍历所有体素就可以提取出模型点云数据。而使用TSDF全局数据立方体来进行点云融合，由于全局数据立方体是由体素组成的，且体素的数目是固定的，因此可以避免造成点云的冗余，且计算过程在GPU中进行，计算速度快，从而可以加速点云的融合。

步骤303：根据语义特征和语义类别，在参考点云数据集合中确定与语义类别匹配的目标参考点云数据。

在一种实施例中，根据语义特征和语义类别，在参考点云数据集合中确定与语义类别匹配的目标参考点云数据，实际上是语义匹配的过程。其中，语义类别指的是目标点云数据的语义类别，语义特征是参考点云数据集合中参考点云数据的语义特征，参考点云数据集合可以是由TSDF地图中的参考点云数据组成。若目标点云数据的语义类别为“红绿灯”，那么参考点云数据集合中所有语义特征为“红绿灯”的参考点云数据都是与目标点云数据的语义类别相匹配的点云数据。计算机在对语义类别进行存储时，不会直接存储“红绿灯”、“灯杆”等这类中文标签，而是给不同的语义类别一个特定的编码，例如“灯杆”的编码为1，“红绿灯”的编码为0等。因此在进行语义匹配时，是通过编码进行匹配的。

步骤304：根据目标参考点云数据和目标点云数据，确定目标物体模型在目标三维地图中的目标位姿信息。

在一种实施例中，通过语义匹配得到的参考点云数据对应的参考三维地图中的物体模型不止一个。具体地，从参考三维地图中找到与目标物体模型相同语义的体素，例如把语义为“红绿灯”的体素从参考三维地图中提取出来，这个“红绿灯”是由点云组成的，而参考三维地图中可能有多个“红绿灯”物体模型。因此，需要将目标物体模型与参考三维地图中的每一个“红绿灯”物体模型进行匹配，从而确定目标物体模型对应于每一个“红绿灯”物体模型在目标三维地图中的位姿信息，其中，每一个“红绿灯”物体模型在参考地图中有确定的坐标。

在一种实施例中，根据目标参考点云数据和目标点云数据，确定目标物体模型在目标三维地图中的目标位姿信息的步骤可以包括：根据所述目标参考点云数据，确定目标物体模型在目标三维地图中的初始位姿信息；根据所述目标点云数据和所述初始位姿信息，确定所述目标物体模型在所述参考三维地图中的预测点云数据；将所述目标参考点云数据和所述预测点云数据进行点云匹配，得到点云匹配的结果；根据所述点云匹配的结果，确定所述目标物体模型在所述目标三维地图中的目标位姿信息。其中，初始位姿信息是通过目标参考点云数据得到的，例如取目标参考点云数据的中心点（x₁，y₁，z₁）作为初始位置，（0，0，0）作为初始朝向，那么（x₁，y₁，z₁，0，0，0）就是初始位姿信息。具体地，以参考三维地图是TSDF地图为例，该匹配的实际过程为：根据目标物体模型和目标物体模型在目标三维地图中的初始位姿信息，可以得到一个TSDF地图坐标系下的预测点云，这个预测点云和根据TSDF地图语义实际提取出来的参考点云通常有偏差，每一次计算机都根据这个偏差来调整得到一个更优的位姿信息，不断的重复多次就得到了一个匹配的目标位姿信息，这个匹配思路就是迭代最近点（ICP，Iterative Closest Point）匹配算法的核心原理。

具体地，确定点云匹配结果的步骤可以是：计算预测点云数据和参考点云数据之间的偏差；若确定所述偏差满足预设阈值范围，则将所述偏差确定为点云匹配的结果；然后根据所述偏差，将所述初始位姿信息确定为所述目标物体模型在所述目标三维地图中的目标位姿信息。若确定所述偏差不满足所述预设阈值范围，则根据所述偏差，调整所述初始位姿信息；根据调整后的所述初始位姿信息和所述目标点云数据，确定调整后的预测点云数据，并计算所述调整后的预测点云数据和所述目标参考点云数据之间的偏差，直至所述偏差满足所述预设阈值范围为止，则将满足所述预设阈值范围的所述偏差确定为点云匹配的结果；然后根据满足所述预设阈值范围的所述偏差，将所述调整后的所述初始位姿信息确定为所述目标物体模型在所述目标三维地图中的目标位姿信息。其中，预测点云数据和目标参考点云数据之间的偏差，可以是点云之间的距离。如图6所示，为根据TSDF地图的参考点云不断调整目标物体模型位姿的示意图，B是TSDF地图中语义为路灯的物体模型的参考点云数据，A是目标物体模型的目标点云数据，根据计算得到A与B之间的距离不满足预设的阈值范围，因此根据这个距离继续调整A的位置，调整后的位置为A₁，再计算A₁与B的距离，该距离仍不满足预设的阈值范围，则继续调整A₁的位姿，得到A₂，多次将目标物体模型的位姿信息进行调整，直至调整后的目标物体模型的位姿和参考点云数据之间的距离满足预设的阈值范围为止，此时的位姿信息就是目标位姿信息。

步骤305：根据目标位姿信息，在目标三维地图中构建目标物体模型。

在一种实施例中，目标三维地图可以是数字孪生地图，根据上述步骤，在获取了目标物体模型的目标位姿信息后，可以将这些物体的位姿导入引擎中，以构建数字孪生地图。这种通过匹配自动获取目标物体模型的位姿信息的方法，省去了手动标注位姿信息的环节，便于在目标三维地图中构建目标物体模型，大大提高了地图的构建效率。

基于上述实施例的内容，本发明提供了一种物体模型构建装置，该装置可以设置于数据服务器中。该物体模型构建装置用于执行上述方法实施例中提供的物体模型构建方法，具体地，请参阅图7，该装置包括：

第一获取模块701，用于获取参考点云数据集合和目标物体模型的目标点云数据，所述参考点云数据集合为参考三维地图中的参考物体模型的参考点云数据组成的集合；

第一确定模块702，用于确定所述参考点云数据的语义特征，以及确定所述目标点云数据的语义类别；

语义匹配模块703，用于根据所述语义特征和所述语义类别，在所述参考点云数据集合中确定与所述语义类别匹配的目标参考点云数据；

第二确定模块704，用于根据所述目标参考点云数据和所述目标点云数据，确定所述目标物体模型在所述目标三维地图中的目标位姿信息；

模型构建模块705，用于根据所述目标位姿信息，在所述目标三维地图中构建所述目标物体模型。

在一种实施例中，第二确定模块包括：

第三确定模块，用于根据所述目标参考点云数据，确定目标物体模型在目标三维地图中的初始位姿信息；

第四确定模块，用于根据所述目标点云数据和所述初始位姿信息，确定所述目标物体模型在所述参考三维地图中的预测点云数据；

点云匹配模块，用于将所述目标参考点云数据和所述预测点云数据进行点云匹配，得到点云匹配的结果；

第五确定模块，根据所述点云匹配的结果，确定所述目标物体模型在所述目标三维地图中的目标位姿信息。

在一种实施例中，点云匹配模块包括：

第一计算模块，用于计算所述预测点云数据和所述目标参考点云数据之间的偏差；

第六确定模块，用于若确定所述偏差满足预设阈值范围，则将所述偏差确定为点云匹配的结果；

第七确定模块，用于根据所述偏差，将所述初始位姿信息确定为所述目标物体模型在所述目标三维地图中的目标位姿信息。

在一种实施例中，点云匹配模块还包括：

第八确定模块，用于若确定所述偏差不满足所述预设阈值范围，则根据所述偏差，调整所述初始位姿信息；

第二计算模块，用于根据调整后的所述初始位姿信息和所述目标点云数据，确定调整后的预测点云数据，并计算所述调整后的预测点云数据和所述目标参考点云数据之间的偏差，直至所述偏差满足所述预设阈值范围为止，则将满足所述预设阈值范围的所述偏差确定为点云匹配的结果；

第九确定模块，用于根据满足所述预设阈值范围的所述偏差，将所述调整后的所述初始位姿信息确定为所述目标物体模型在所述目标三维地图中的目标位姿信息。

在一种实施例中，第一确定模块包括：

第二获取模块，用于获取所述参考三维地图中的参考物体模型的图片数据；

第十确定模块，用于根据所述图片数据和所述参考点云数据集合确定所述参考点云数据的语义特征。

在一种实施例中，第九确定模块包括：

语义分割模块，用于对所述图片数据进行语义分割，得到图片语义分割结果；

聚类模块，用于对所述参考点云数据集合进行聚类，得到点云聚类结果；

融合模块，用于将所述点云聚类结果与所述图片语义分割结果进行融合，得到所述参考点云数据的语义特征。

在一种实施例中，语义分割模块包括：

第一分类模块，用于对所述图片数据中的每一个像素进行语义分类，得到分类结果；

第一语义标注模块，用于根据所述分类结果对所述图片数据中的每一个像素进行语义标注，得到图片语义分割结果。

在一种实施例中，聚类模块包括：

遍历模块，用于遍历所述参考点云数据集合中的所述参考点云数据；

第二分类模块，用于将所述参考点云数据划入相应的目标集合，同一目标集合中的参考点云数据具有相似度满足预设范围的属性或特征；

结果确定模块，用于根据所述目标集合，确定所述点云聚类结果。

在一种实施例中，融合模块包括：

投影模块，用于将所述点云聚类结果投影到所述图片语义分割结果中，确定对应的目标图片语义分割结果；

第二语义标注模块，根据所述目标图片语义分割结果的语义特征，标注所述点云聚类结果中参考点云数据的语义特征。

本发明的物体模型构建装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

区别于当前的技术，本发明提供的物体模型构建装置，设置了语义匹配模块、第二确定模块和模型构建模块，通过语义匹配模块、第二确定模块和模型构建模块，能自动化实现目标物体模型和参考三维地图中对应的物体模型的匹配，从而得到目标物体模型的目标位姿信息，进而省去人工标注物体位姿信息的过程，提高了构建地图的效率。

相应的，本发明还提供一种电子设备，该电子设备包括服务器或者终端等。

在一种实施例中，本发明提供的电子设备包括终端和服务器等，现分别进行说明。

本发明还提供一种终端，如图8所示，该终端可以包括有一个或者一个以上处理核心的处理器801、无线（WiFi，Wireless Fidelity)模块802、有一个或一个以上计算机可读存储介质的存储器803、音频电路804、显示单元805、输入单元806、传感器807、电源808、以及射频（RF，Radio Frequency）电路809等部件。本领域技术人员可以理解，图8中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器801是终端的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器803内的软件程序和/或模块，以及调用存储在存储器803内的数据，执行终端的各种功能和处理数据，从而对手机进行整体监控。在一种实施例中，处理器801可包括一个或多个处理核心；优选的，处理器801可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器801中。

WiFi属于短距离无线传输技术，终端通过无线模块802可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图8示出了无线模块802，但是可以理解的是，其并不属于终端的必需构成，完全可以根据需要在不改变发明的本质的范围内而省略。

存储器803可用于存储软件程序以及模块，处理器801通过运行存储在存储器803的计算机程序以及模块，从而执行各种功能应用以及数据处理。存储器803可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据终端的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器803可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器803还可以包括存储器控制器，以提供处理器801和输入单元806对存储器803的访问。

音频电路804包括扬声器，扬声器可提供用户与终端之间的音频接口。音频电路804可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，扬声器将收集的声音信号转换为电信号，由音频电路804接收后转换为音频数据，再将音频数据输出处理器801处理后，经射频电路809发送给另一终端，或者将音频数据输出至存储器803以便进一步处理。音频电路804还可能包括耳塞插孔，以提供外设耳机与终端的通信。

显示单元805可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元805可包括显示面板，在一种实施例中，可以采用液晶显示器（LCD，Liquid CrystalDisplay）、有机发光二极管（OLED，Organic Light-Emitting Diode）等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器801以确定触摸事件的类型，随后处理器801根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图8中，触敏表面与显示面板是作为两个独立的部件来实现输入和输出功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。

输入单元806可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元806可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作），并根据预先设定的程式驱动相应的连接装置。在一种实施例中，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器801，并能接收处理器801发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元806还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种。

终端还可包括至少一种传感器807，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在终端移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等；至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

终端还包括给各个部件供电的电源808（比如电池），优选的，电源可以通过电源管理系统与处理器801逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源808还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

射频电路809可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器801处理；另外，将涉及上行的数据发送给基站。通常，射频电路809包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块（SIM，Subscriber Identity Module）卡、收发信机、耦合器、低噪声放大器（LNA，Low Noise Amplifier）、双工器等。此外，射频电路809还可以通过无线通信与网络和其他设备通信。无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统（GSM，Global System of Mobile communication）、通用分组无线服务（GPRS，GeneralPacket Radio Service）、码分多址（CDMA，Code Division Multiple Access）、宽带码分多址（WCDMA，Wideband Code Division Multiple Access）、长期演进（LTE，Long TermEvolution)、电子邮件、短消息服务（SMS，Short Messaging Service)等。

尽管未示出，终端还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，终端中的处理器801会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器803中，并由处理器801来运行存储在存储器803中的应用程序，从而实现以下功能：

获取参考点云数据集合和目标物体模型的目标点云数据，所述参考点云数据集合为参考三维地图中的参考物体模型的参考点云数据组成的集合；

确定所述参考点云数据的语义特征，以及确定所述目标点云数据的语义类别；

根据所述语义特征和所述语义类别，在所述参考点云数据集合中确定与所述语义类别匹配的目标参考点云数据；

根据所述目标参考点云数据和所述目标点云数据，确定所述目标物体模型在所述目标三维地图中的目标位姿信息；

根据所述目标位姿信息，在所述目标三维地图中构建所述目标物体模型。

本发明还提供一种服务器，如图9所示，其示出了本发明所涉及的服务器的结构示意图，具体来讲：

该服务器可以包括一个或者一个以上处理核心的处理器901、一个或一个以上计算机可读存储介质的存储器902、输入单元903和电源904等部件。本领域技术人员可以理解，图9中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器901是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器902内的软件程序和/或模块，以及调用存储在存储器902内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。可选的，处理器901可包括一个或多个处理核心；优选的，处理器901可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器901中。

存储器902可用于存储软件程序以及模块，处理器901通过运行存储在存储器902的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器902可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器902还可以包括存储器控制器，以提供处理器901对存储器902的访问。

该服务器还可包括输入单元903，该输入单元903可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

服务器还包括给各个部件供电的电源904，优选的，电源904可以通过电源管理系统与处理器901逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源904还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管未示出，服务器还可以包括显示单元等，在此不再赘述。具体在本实施例中，服务器中的处理器901会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器902中，并由处理器901来运行存储在存储器902中的应用程序，从而实现以下功能：

获取参考点云数据集合和目标物体模型的目标点云数据，所述参考点云数据集合为参考三维地图中的参考物体模型的参考点云数据组成的集合；

确定所述参考点云数据的语义特征，以及确定所述目标点云数据的语义类别；

根据所述语义特征和所述语义类别，在所述参考点云数据集合中确定与所述语义类别匹配的目标参考点云数据；

根据所述目标参考点云数据和所述目标点云数据，确定所述目标物体模型在所述目标三维地图中的目标位姿信息；

根据所述目标位姿信息，在所述目标三维地图中构建所述目标物体模型。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文的详细描述，此处不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于计算机可读存储介质中，并由处理器进行加载和执行。

为此，本发明提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，可用于实现以下功能：

获取参考点云数据集合和目标物体模型的目标点云数据，所述参考点云数据集合为参考三维地图中的参考物体模型的参考点云数据组成的集合；

确定所述参考点云数据的语义特征，以及确定所述目标点云数据的语义类别；

根据所述语义特征和所述语义类别，在所述参考点云数据集合中确定与所述语义类别匹配的目标参考点云数据；

根据所述目标参考点云数据和所述目标点云数据，确定所述目标物体模型在所述目标三维地图中的目标位姿信息；

根据所述目标位姿信息，在所述目标三维地图中构建所述目标物体模型。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。

由于该计算机可读存储介质中所存储的指令，可以执行本发明所提供的任一种方法中的步骤，因此，可以实现本发明所提供的任一种方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本发明所提供的一种物体构建方法及装置、电子设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例的技术方案的范围。

Claims (10)

1.一种物体模型构建方法，其特征在于，包括：

获取参考点云数据集合和目标物体模型的目标点云数据，所述参考点云数据集合为参考三维地图中的参考物体模型的参考点云数据组成的集合；

确定所述参考点云数据的语义特征，以及确定所述目标点云数据的语义类别；

根据所述语义特征和所述语义类别，在所述参考点云数据集合中确定与所述语义类别匹配的目标参考点云数据；

根据所述目标参考点云数据和所述目标点云数据，确定所述目标物体模型在所述目标三维地图中的目标位姿信息；

根据所述目标位姿信息，在所述目标三维地图中构建所述目标物体模型。

2.根据权利要求1所述的物体模型构建方法，其特征在于，所述根据所述目标参考点云数据和所述目标点云数据，确定所述目标物体模型在所述目标三维地图中的目标位姿信息的步骤，包括：

根据所述目标参考点云数据，确定目标物体模型在目标三维地图中的初始位姿信息；

根据所述目标点云数据和所述初始位姿信息，确定所述目标物体模型在所述参考三维地图中的预测点云数据；

将所述目标参考点云数据和所述预测点云数据进行点云匹配，得到点云匹配的结果；

根据所述点云匹配的结果，确定所述目标物体模型在所述目标三维地图中的目标位姿信息。

3.根据权利要求2所述的物体模型构建方法，其特征在于，所述将所述目标参考点云数据和所述预测点云数据进行点云匹配，得到点云匹配的结果的步骤，包括：

计算所述预测点云数据和所述目标参考点云数据之间的偏差；

若确定所述偏差满足预设阈值范围，则将所述偏差确定为点云匹配的结果；

所述根据所述点云匹配的结果，确定所述目标物体模型在所述目标三维地图中的目标位姿信息的步骤，包括：

根据所述偏差，将所述初始位姿信息确定为所述目标物体模型在所述目标三维地图中的目标位姿信息。

4.根据权利要求3所述的物体模型构建方法，其特征在于，所述物体模型构建方法还包括：

若确定所述偏差不满足所述预设阈值范围，则根据所述偏差，调整所述初始位姿信息；

根据调整后的所述初始位姿信息和所述目标点云数据，确定调整后的预测点云数据，并计算所述调整后的预测点云数据和所述目标参考点云数据之间的偏差，直至所述偏差满足所述预设阈值范围为止，则将满足所述预设阈值范围的所述偏差确定为点云匹配的结果；

所述根据所述点云匹配的结果，确定所述目标物体模型在所述目标三维地图中的目标位姿信息的步骤，包括：

根据满足所述预设阈值范围的所述偏差，将所述调整后的所述初始位姿信息确定为所述目标物体模型在所述目标三维地图中的目标位姿信息。

5.根据权利要求1-4任一项所述的物体模型构建方法，其特征在于，所述确定所述参考点云数据的语义特征的步骤，包括：

获取所述参考三维地图中的参考物体模型的图片数据；

根据所述图片数据和所述参考点云数据集合确定所述参考点云数据的语义特征。

6.根据权利要求5所述的物体模型构建方法，其特征在于，所述根据所述图片数据和所述参考点云数据集合确定所述参考点云数据的语义特征的步骤，包括：

对所述图片数据进行语义分割，得到图片语义分割结果；

对所述参考点云数据集合进行聚类，得到点云聚类结果；

将所述点云聚类结果与所述图片语义分割结果进行融合，得到所述参考点云数据的语义特征。

7.根据权利要求6所述的物体模型构建方法，其特征在于，所述对所述图片数据进行语义分割，得到图片语义分割结果的步骤，包括：

对所述图片数据中的每一个像素进行语义分类，得到分类结果；

根据所述分类结果对所述图片数据中的每一个像素进行语义构建，得到图片语义分割结果。

8.根据权利要求6所述的物体模型构建方法，其特征在于，所述对所述参考点云数据集合进行聚类，得到点云聚类结果的步骤，包括：

遍历所述参考点云数据集合中的所述参考点云数据；

将所述参考点云数据划入相应的目标集合，同一目标集合中的参考点云数据具有相似度满足预设范围的属性或特征；

根据所述目标集合，确定所述点云聚类结果。

9.根据权利要求6所述的物体模型构建方法，其特征在于，所述将所述点云聚类结果与所述图片语义分割结果进行融合，得到所述参考点云数据的语义特征的步骤，包括：

将所述点云聚类结果投影到所述图片语义分割结果中，确定对应的目标图片语义分割结果；

根据所述目标图片语义分割结果的语义特征，构建所述点云聚类结果中参考点云数据的语义特征。

10.一种物体模型构建装置，其特征在于，包括：

第一获取模块，用于获取参考点云数据集合和目标物体模型的目标点云数据，所述参考点云数据集合为参考三维地图中的参考物体模型的参考点云数据组成的集合；

第一确定模块，用于确定所述参考点云数据的语义特征，以及确定所述目标点云数据的语义类别；

语义匹配模块，用于根据所述语义特征和所述语义类别，在所述参考点云数据集合中确定与所述语义类别匹配的目标参考点云数据；

第二确定模块，用于根据所述目标参考点云数据和所述目标点云数据，确定所述目标物体模型在所述目标三维地图中的目标位姿信息；

模型构建模块，用于根据所述目标位姿信息，在所述目标三维地图中构建所述目标物体模型。

Images