CN115147535A - 场景的三维重建方法、装置、计算设备和存储介质 - Google Patents

Abstract

本申请提供了一种场景的三维重建方法、装置、计算设备和存储介质，属于图像处理技术领域。该方法包括：获取场景的视频数据和点云数据，根据视频数据确定场景中的目标的像素数据与背景的像素数据，根据点云数据确定场景中的目标的点云数据；基于背景的像素数据，利用静态三维重建方法对背景进行重建，获得场景中背景的三维重建结果。基于目标的像素数据和目标的点云数据，利用动态三维重建方法对目标进行重建，获得场景中目标的三维重建结果，将背景的三维重建结果与目标的三维重建结果进行结合，获得场景的三维重建结果。采用本申请，可以对场景进行三维重建。

Description

场景的三维重建方法、装置、计算设备和存储介质

技术领域

本申请涉及图像技术领域，特别涉及一种场景的三维重建方法、装置、计算设备和存储介质。

背景技术

智慧交通作为智慧城市的重要组成部分，对提升城市交通的运营效率、服务水平和安全保障等都具有重大意义。目前道路上部署了大量的数据采集装置(如监控相机等)，用来收集道路交通信息，为智慧交通提供大量的二维数据。

城市交通状况的日益复杂，采集的二维数据在一定程度上已经无法满足需求，相比之下，三维数据能提现更多的信息更受欢迎，所以需要提供一种场景的三维重建方法。

发明内容

本申请提供了一种场景的三维重建方法、装置、计算设备和存储介质，可以进行场景的三维重建。

第一方面，本申请提供了一种场景的三维重建方法，该方法包括：获取场景的视频数据和点云数据；根据视频数据确定场景中的目标的像素数据与背景的像素数据，根据点云数据确定场景中的目标的点云数据；基于背景的像素数据，利用静态三维重建方法对背景进行重建，获得场景中背景的三维重建结果；基于目标的像素数据和目标的点云数据，利用动态三维重建方法对目标进行重建，获得场景中目标的三维重建结果；将背景的三维重建结果与目标的三维重建结果进行结合，获得场景的三维重建结果。

其中，场景表示地理世界中的特定区域，如交通路口等。目标是场景中的物体，目标并不是基于物体当前是移动还是静止区分的，而是基于物体的属性区分的，某个物体的属性中包括可移动属性，则该物体是目标，若某个物体的属性中不包括可移动属性，则该物体是背景。例如，在交通场景中，机动车、非机动车、行人的属性均包括可移动属性，机动车、非机动车、行人目标是目标，而树的属性中不包括可移动属性，树不是目标。

本申请所示的方案，场景的三维重建方法的执行主体可以是重建装置，重建装置在对某个场景进行三维重建时，获取该场景的视频数据和点云数据，视频数据可以是该场景中监控相机拍摄的视频数据，点云数据可以是该场景中激光雷达通过发射激光束生成的。重建装置对视频数据进行目标与背景分离，获得该场景中的目标的像素数据与背景的像素数据，并且重建装置对点云数据进行目标与背景分离，获得该场景中的目标的点云数据。然后对背景的像素数据使用静态三维重建方法对背景进行重建，获得场景中背景的三维重建结果。重建装置基于目标的像素数据和目标的点云数据，利用动态三维重建方法对目标进行重建，获得场景中目标的三维重建结果。然后将对应场景中同一位置点的背景的三维重建结果与目标的三维重建结果进行结合，获得场景中每一位置点的三维重建结果，进而得到场景中的三维重建结果。这样，将场景的背景和目标进行分离，对背景进行静态三维重建，对目标进行动态三维重建，然后将背景的三维重建结果和目标的三维重建结果结合，获得场景的三维重建结果。这样，完成场景的三维重建，为场景提供更多的信息。

在一种可能的实现方式中，基于目标的像素数据和目标的点云数据，利用动态三维重建方法对目标进行重建，获得场景中目标的三维重建结果，包括：基于目标的像素数据和目标的点云数据，对目标的表面属性进行建模，获得目标的初始三维重建结果；分别在目标的像素数据和目标的点云数据中，检测目标的细节特征；基于目标的细节特征，对初始三维重建结果中细节特征所在区域进行修复，获得场景中目标的三维重建结果。

本申请所示的方案，重建装置将投影方程运用于目标的点云数据中任一位置点，得到一组称为参数空间值且关于纹理的数值，该一组参数值空间值是二维参数值。然后将二维参数值使用一个或多个映射函数，编辑该一组参数空间值，转换为纹理坐标。然后使用纹理坐标在目标的像素数据中，获取该纹理坐标对应的颜色值。然后使用预设的值变换函数，对该纹理坐标对应的颜色值进行变换，使用进行变换处理后的颜色值来获得表面属性，如材质、着色法线等。以上描述了对目标的点云数据中的任一位置点进行处理，对目标的点云数据中每个位置点按照上述方式进行处理后，可以获得目标的初始三维重建结果。

重建装置将目标的像素数据输入预设的神经网络模型，检测目标的细节特征，并且可以将目标的点云数据中输入预设的另一神经网络模型，检测目标的细节特征。然后重建装置对目标在点云数据中的细节特征所在区域进行分割，获得分割后的细节特征子区域。并且对目标在像素数据中的细节特征所在区域进行分割，基于分割后的细节特征子区域。然后将点云数据中分割后的细节特征子区域与视频数据中分割后的细节特征子区域进行一一对应，对目标的初始三维重建结果中的细节特征区域缺少点云数据的位置点进行补全，完成修复，获得场景中目标的三维重建结果。这样，可以修复目标的初始三维重建结果，使得目标的三维重建结果中细节特征缺少的区域比较少。

在一种可能的实现方式中，基于目标的像素数据和目标的点云数据，利用动态三维重建方法对目标进行重建，获得场景中目标的三维重建结果，包括：基于目标的像素数据和目标的点云数据，对目标的表面属性进行建模，获得目标的初始三维重建结果；检测初始三维重建结果中的点云空洞区域；基于初始三维重建结果中点云空洞区域的对称位置的点云数据，对点云空洞区域的点云数据进行补全处理，获得场景中目标的三维重建结果。

本申请所示的方案，重建装置将投影方程运用于目标的点云数据中任一位置点，得到一组称为参数空间值且关于纹理的数值，该一组参数值空间值是二维参数值。然后将二维参数值使用一个或多个映射函数，编辑该一组参数空间值，转换为纹理坐标。然后使用纹理坐标在目标的像素数据中，获取该纹理坐标对应的颜色值。然后使用预设的值变换函数，对该纹理坐标对应的颜色值进行变换，使用进行变换处理后的颜色值来获得表面属性，如材质、着色法线等。以上描述了对目标的点云数据中的任一位置点进行处理，对目标的点云数据中每个位置点按照上述方式进行处理后，可以获得目标的初始三维重建结果。

重建装置可以在目标的初始三维重建结果中检测点云数目小于预设数值，且面积大于一定数值的区域，将该区域称为是点云空洞区域。然后判断该点云空洞区域是否存在对称位置，若该点云空洞区域存在对称位置，则获取该对称位置的点云数据。确定点云空洞区域中点云数据缺失的位置点在对应对称位置点的点云数据，将该对称位置点的点云数据，确定为点云数据缺失的位置点的点云数据，将点云空洞区域中的点云数据补全至与对称位置的点云数据相同，获得场景中目标的三维重建结果。这样，可以尽可能地减少目标的三维重建结果中点云空洞区域。

在一种可能的实现方式中，基于目标的像素数据和目标的点云数据，利用动态三维重建方法对目标进行重建，获得场景中目标的三维重建结果，包括：将场景的点云数据中目标在不同帧中的点云数据进行融合和重复点云过滤，获得目标的融合点云数据；基于目标的像素数据和目标的融合点云数据，利用动态三维重建方法对目标进行重建，获得场景中目标的三维重建结果。

本申请所示的方案，重建装置使用目标在相邻两帧中的中心坐标，确定相邻两帧中目标的距离，该距离可以是欧式距离。然后使用匈牙利关联算法、Kuhn-Munkras(KM)关联算法等，并结合相邻两帧中各目标的距离、目标的颜色、姿态信息，判断相邻两帧中的同一目标。然后重建装置使用迭代最近点(iterative closest point，ICP)算法，将不同帧中相同目标的点云数据进行融合，获得针对目标融合后的点云数据。然后对融合后的点云数据进行过滤处理，使得将目标点云的重复点云过滤，获得目标的融合点云数据。然后重建装置使用目标的融合点云数据与目标的像素数据，利用动态三维重建方法进行重建，获得目标的三维重建结果。这样，将多帧点云数据中目标的点云数据进行融合，并对融合后的点云数据过滤重复点云操作，不仅可以解决目标的点云稀疏的问题，还可以过滤重复点云，使得在渲染时不会出现阴影。

在一种可能的实现方式中，基于目标的像素数据和目标的点云数据，利用动态三维重建方法对目标进行重建，获得场景中目标的三维重建结果，包括：判断三维模型库中是否存在目标对应的三维重建模型；若三维模型库不存在目标对应的三维重建模型，基于目标的像素数据和目标的点云数据，利用动态三维重建方法对目标进行重建，获得场景中目标的三维重建结果；在获得场景中目标的三维重建结果后，该方法还包括：将目标的三维重建结果添加至三维模型库中。

本申请所示的方案，三维模型库中包括已经重建的目标的三维重建模型。三维模型库中的各三维重建模型对应有标识，该标识用于指示所属的目标，如对于车辆，该标识可以是颜色和型号等。重建装置使用目标的像素数据，确定目标的标识，如将目标的像素数据输入至预先训练的神经网络模型，输出目标的标识。使用目标的标识在三维模型库中判断是否存在有三维重建模型，若不存在三维重建模型，则基于目标的像素数据和目标的点云数据，利用动态三维重建方法对目标进行重建，获得场景中目标的三维重建结果，将目标的三维重建结果添加至三维模型库中，并为该三维重建结果添加目标的标识。这样，在后续再重建目标时，可以直接从三维模型库中获取，提高三维重建的效率。

在一种可能的实现方式中，该方法还包括：若三维模型库中存在目标对应的三维重建模型，基于三维模型库中目标对应的三维重建模型和目标当前的姿态信息，确定场景中目标的三维重建结果。

本申请所示的方案，若三维模型库中存在目标对应的三维重建模型，则可以确定目标当前的姿态信息，例如，对于车辆，姿态信息可以包括车辆的转向信息。然后重建装置使用目标当前的姿态信息，调整目标的三维重建模型的姿态信息，使得目标的三维重建模型中的目标的姿态信息当前的姿态信息相同，这样，即获得目标的三维重建结果。这样，由于可以从三维模型库中直接获取到三维重建模型，而不需要使用动态三维重建方法进行重建，可以提高三维重建的效率。

在一种可能的实现方式中，视频数据和点云数据为场景中目标视角的视频数据和点云数据，场景的三维重建结果为场景中目标视角的三维重建结果；该方法还包括：获取场景中其余视角的三维重建结果，其中，其余视角包括场景中除目标视角之外的一个或多个视角；将目标视角的三维重建结果与其余视角的三维重建结果进行融合，获得场景的融合视角三维重建结果。

本申请所示的方案，初始进行三维重建时，获取的视频数据额和点云数据时场景中目标视角的视频数据和点云数据，那么场景的三维重建结果为场景中目标视角的三维重建结果。重建装置可以获取场景中其余视角的三维重建结果，该其余视角与目标视角均属于场景，其余视角为除目标视角之外的一个或多个视角。重建装置将目标视角的三维重建结果与其余视角的三维重建结果中相同部分去重，并将二者不相同的部分保留，最终获得该场景的融合视角的三维重建结果。这样，由于可以结合多个视角，获得场景的融合视角三维重建结果，所以可以获得场景更全面的三维重建结果。

在一种可能的实现方式中，该方法还包括：基于场景的三维重建结果中各目标的体素点的三维坐标，确定场景中各目标之间的距离。

本申请所示的方案，体素点为三维空间中的任一位置点，使用目标所在的体素点的三维坐标，确定场景中各目标之间的距离，这样，可以使用该距离判断两个目标是否碰撞等。

在一种可能的实现方式中，该方法还包括：根据场景的三维重建结果，显示场景的三维重建视图，其中，场景的三维重建结果包括场景中目标的位置信息、朝向信息、运动速度、类型、距离、轮廓、尺寸中的一种或多种。

这样，可以显示出场景中更全面的信息。

在一种可能的实现方式中，目标为车辆，该方法还包括：获取车辆中的车轮模型；确定车辆的车轮当前的行驶姿态；基于车轮当前的行驶姿态，将车轮模型更新至场景中车辆的三维重建结果。

本申请所示的方案，目标为车辆时，车辆在不同的姿态下，车轮有可能有不同的姿态，例如，车辆在转弯过程中，车辆的后轮姿态保持不变，但是前轮的姿态会持续的变化，围绕转向的中心点进行转动。重建装置可以使用车辆的型号，获取预先重建的该车辆完整的车轮模型。然后重建装置使用车辆的像素数据和点云数据，确定车轮当前的行驶姿态，该行驶姿态包括前轮的行驶姿态和后轮的行驶姿态，如前轮的行驶姿态可以是前轮与车辆中心线的夹角，后轮的行驶姿态可以是后轮与车辆中心线的夹角。然后按照车轮当前的行驶姿态，将车轮更新至场景中车辆的三维重建结果中。这样，预先对车轮进行三维重建，而不是基于当前的视频数据和点云数据进行重建，所以可以增强车辆的三维重建结果的真实性。

第二方面，本申请提供了一种重建装置，该装置包括：

获取模块，用于获取场景的视频数据和点云数据；确定模块，用于根据所述视频数据确定所述场景中的目标的像素数据与背景的像素数据；根据所述点云数据确定所述场景中的目标的点云数据；重建模块，用于：基于所述背景的像素数据，利用静态三维重建方法对所述背景进行重建，获得所述场景中所述背景的三维重建结果；基于所述目标的像素数据和所述目标的点云数据，利用动态三维重建方法对所述目标进行重建，获得所述场景中所述目标的三维重建结果；将所述背景的三维重建结果与所述目标的三维重建结果进行结合，获得所述场景的三维重建结果。这样，将场景的背景和目标进行分离，对背景进行静态三维重建，对目标进行动态三维重建，然后将背景的三维重建结果和目标的三维重建结果结合，获得场景的三维重建结果。这样，完成场景的三维重建，为场景提供更多的信息。

在一种可能的实现方式中，所述重建模块，用于：

基于所述目标的像素数据和所述目标的点云数据，对所述目标的表面属性进行建模，获得所述目标的初始三维重建结果；

分别在所述目标的像素数据和所述目标的点云数据中，检测所述目标的细节特征；

基于所述目标的细节特征，对所述初始三维重建结果中所述细节特征所在区域进行修复，获得所述场景中所述目标的三维重建结果。

在一种可能的实现方式中，所述重建模块，用于：

基于所述目标的像素数据和所述目标的点云数据，对所述目标的表面属性进行建模，获得所述目标的初始三维重建结果；

检测所述初始三维重建结果中的点云空洞区域；

基于所述初始三维重建结果中所述点云空洞区域的对称位置的点云数据，对所述点云空洞区域的点云数据进行补全处理，获得所述场景中所述目标的三维重建结果。

在一种可能的实现方式中，所述重建模块，用于：

将所述场景的点云数据中所述目标在不同帧中的点云数据进行融合和重复点云过滤，获得所述目标的融合点云数据；

基于所述目标的像素数据和所述目标的融合点云数据，利用动态三维重建方法对所述目标进行重建，获得所述场景中所述目标的三维重建结果。

在一种可能的实现方式中，所述重建模块，用于：

判断三维模型库中是否存在所述目标对应的三维重建模型；

若所述三维模型库不存在所述目标对应的三维重建模型，基于所述目标的像素数据和所述目标的点云数据，利用动态三维重建方法对所述目标进行重建，获得所述场景中所述目标的三维重建结果；

所述重建模块，还用于：

在获得所述场景中所述目标的三维重建结果后，将所述目标的三维重建结果添加至所述三维模型库中。

在一种可能的实现方式中，所述重建模块，用于：

若所述三维模型库中存在所述目标对应的三维重建模型，基于所述三维模型库中所述目标对应的三维重建模型和所述目标当前的姿态信息，确定所述场景中所述目标的三维重建结果。

在一种可能的实现方式中，所述视频数据和点云数据为所述场景中目标视角的视频数据和点云数据，所述场景的三维重建结果为所述场景中所述目标视角的三维重建结果；所述重建模块，还用于：

获取所述场景中其余视角的三维重建结果，其中，所述其余视角包括所述场景中除所述目标视角之外的一个或多个视角；

将所述目标视角的三维重建结果与所述其余视角的三维重建结果进行融合，获得所述场景的融合视角三维重建结果。

在一种可能的实现方式中，所述确定模块，还用于：

基于所述场景的三维重建结果中各目标的体素点的三维坐标，确定所述场景中各目标之间的距离。

在一种可能的实现方式中，所述装置还包括：

显示模块，用于根据所述场景的三维重建结果，显示所述场景的三维重建视图，其中，所述场景的三维重建结果包括所述场景中目标的位置信息、朝向信息、运动速度、类型、距离、轮廓、尺寸中的一种或多种。

在一种可能的实现方式中，所述目标为车辆，所述重建模块，还用于：

获取所述车辆中的车轮模型；确定所述车辆的车轮当前的行驶姿态；

基于所述车轮当前的行驶姿态，将所述车轮模型更新至所述场景中所述车辆的三维重建结果。

第三方面，本申请提供了一种场景的三维重建的计算设备，计算设备包括处理器和存储器，其中：存储器中存储有计算机指令，处理器执行计算机指令，以实现第一方面及其可能的实现方式的方法。

第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，当计算机可读存储介质中的计算机指令被计算设备执行时，使得计算设备执行第一方面及其可能的实现方式的方法，或者使得计算设备实现上述第二方面及其可能的实现方式的装置的功能。

第五方面，本申请提供了一种包含指令的计算机程序产品，当其在计算设备上运行时，使得计算设备执行上述第一方面及其可能的实现方式的方法，或者使得计算设备实现上述第二方面及其可能的实现方式的装置的功能。

附图说明

图1是本申请一个示例性实施例提供的三维重建系统的架构图；

图2是本申请一个示例性实施例提供的重建装置的架构图；

图3是本申请一个示例性实施例提供的三维重建系统的架构图；

图4是本申请一个示例性实施例提供的点云数据与像素数据对应的示意图；

图5是本申请一个示例性实施例提供的场景的三维重建方法的流程示意图；

图6是本申请一个示例性实施例提供的动态三维重建的流程示意图；

图7是本申请一个示例性实施例提供的细节存在缺失的示意图；

图8是本申请一个示例性实施例提供的点云空洞区域的示意图；

图9是本申请一个示例性实施例提供的融合视角三维重建的流程示意图；

图10是本申请一个示例性实施例提供的重建装置的结构示意图；

图11是本申请一个示例性实施例提供的重建装置的结构示意图；

图12是本申请一个示例性实施例提供的计算设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

为了便于对本申请实施例的理解，下面首先介绍所涉及到的名词的概念：

1、三维重建，是指基于采集到的地理世界中三维物体的数据，利用计算机方法和/或数学方法将该三维物体建立为适合计算机表示和处理的三维数学模型的过程。

2、点云数据，指在一个三维坐标系中的一组向量的集合，用于代表一个物体的表面形状。

3、体素，是三维空间中的最小分割单位。体素类似于二维空间中的像素。

4、场景，表示地理世界中的特定区域。本申请中的场景为三维场景，例如，十字路口、车库等。

目前使用二维数据展示场景的信息，随着城市交通状况的日益复杂，二维数据在一定程度上已经无法满足需求。由于三维数据能够提取更多的信息更受欢迎，所以可以通过场景的三维重建，获得场景的更多信息，以更好地描述该场景，因此需要提供一种场景的三维重建方法。场景的三维重建方法在本申请中可以应用于交通场景的三维重建，该交通场景可以是交通路口、路段、停车场等。示例性的，交通场景的三维重建方法可以应用于交通管理业务、公共安全业务、车路协同业务中，车路协同业务可以包括自动驾驶等、辅助驾驶业务等。

在应用于交通场景时，相关技术中，监控相机拍摄到图像后，通过检测图像中车辆的信息，输出的内容是二维空间中的内容，内容比较少，或者内容与现实世界的场景中的内容存在偏差。然而本申请实施例中，通过输出三维重建结果，可以输出更丰富的三维信息。

在本申请实施例中，场景的三维重建方法可以由重建装置执行，重建装置既可以是一个硬件装置，如服务器、终端计算设备等，也可以是一个软件装置，如可以是运行在硬件上的一套软件程序。

示例性的，重建装置可以是三维重建系统的一部分，如图1所示，三维重建系统可以包括数据获取设备、重建装置和可视化设备。数据获取设备可以与计算设备进行通信，重建装置可以与可视化设备进行通信。数据获取设备用于获取场景中的视频数据和点云数据传输至重建装置，由重建装置进行场景的三维重建，重建装置将场景的三维重建结果发送至可视化设备，由可视化设备进行展示。在本实施例中，三维重建系统也可以称为是数字孪生系统。

可选的，数据获取设备可以是多种传感器，多种传感器包括但是不限于监控相机、激光雷达、毫米波雷达、立体视觉相机等。

可选的，数据获取设备与重建装置之间是通过以太网交换机传输数据，示例性的，数据获取设备将场景中的视频数据和图像数据通过网络或内部总线方式传输出至以太网交换机，以太网交换机将场景中的视频数据和图像数据传输至重建装置。在应用于交通场景时，以太网交换机可以设置在路口侧的交通盒中。

可选的，在重建装置为软件装置时，在三维重建系统中，如图2所示，重建装置可以运行在云计算设备系统(可以包括至少一个云计算设备，如服务器等)，也可以运行在边缘计算设备系统(可以包括至少一个边缘计算设备，如服务器、台式电脑等)，还可以运行在各种终端计算设备上(如笔记本电脑、个人台式电脑等)。

可选的，重建装置在逻辑上也可以是由各个部分构成的装置，重建装置中的各个组成部分可以分别运行在不同的系统或者服务器中。重建装置的各个部分可以分别运行在云计算设备系统、边缘计算设备系统、终端计算设备中的任意两个中。云计算设备系统、边缘计算设备系统和终端计算设备之间由通信通路连接，可以互相进行通信和数据传输。示例性的，如图3所示，结合图1描述重建装置所运行于的设备，数据获取设备为监控相机和激光雷达，重建装置运行在边缘计算机设备系统和云计算设备系统，边缘计算设备系统包括一个或多个边缘计算设备，云计算设备系统包括一个或多个云计算设备。

可选的，在重建装置运行在边缘计算设备系统时，可视化设备可以是移动可视化设备；在重建装置运行在云计算设备系统时，可视化设备可以是中心可视化设备或者移动可视化设备；在重建装置运行在云计算设备系统和边缘计算设备系统时，可视化设备可以是中心可视化设备或者移动可视化设备。

在本申请实施例中，以数据获取设备为监控相机和激光雷达为例进行说明：

为了准确地进行三维重建，在进行场景的三维重建之前，将场景的视频数据和点云数据进行时间同步，示例性的，时间同步的处理方式为：

第一步，对同一视角下的监控相机拍摄的视频数据和激光雷达生成的点云数据进行时间同步。处理为：判断视频数据的帧率和点云数据的帧率是否一致，若不一致，将采用线性插值的方法，将视频数据和点云数据的帧率修正为一致。若一致，则通过对场景中运动的目标进行检测和匹配，确定视频数据和点云数据中出现相同目标的帧，将相同目标的帧的时间对应相同的时间。这样，对视频数据和点云数据实现帧级别的同步。

第二步，对不同视角下的监控相机的视频数据进行时间同步。处理为：使用单应变换原理对不同视角的监控相机的视频数据中运动的目标进行检测和匹配，找到不同视角下的监控相机的视频数据中的对齐帧，也实现帧级别的同步。同理，对不同视角下的激光雷达的点云数据进行帧级别同步。

此处如果视频数据和点云数据属于单个视角，仅执行第一步处理即可，如果视频数据和点云数据属于多个视角，执行第一步和第二步处理。

另外，在描述场景的三维重建方法之前，首先介绍像素坐标与点云坐标的转换原理，也即是对获取视频数据和点云数据的数据获取设备进行联合标定，此处以数据获取设备为监控相机和激光雷达为例进行说明，处理为：

在描述联合标定过程之前，首先描述四个坐标系：世界坐标系，是用户定义的三维世界的坐标系，为了描述物体在真实世界里的位置而引入；相机坐标系，是在监控相机的聚焦中心为原点上建立的坐标系，相机坐标系是为了从监控相机的角度描述物体位置而定义的，可以作为世界坐标系与像素坐标系的桥梁；像素坐标系，是为了描述成像过程中物体从相机坐标系到像素坐标系的投影透射关系而引入，方便得到像素坐标系下的坐标；激光雷达坐标系，是在激光雷达上建立的坐标系，是为了从激光雷达的角度描述物体位置而定义的。

联合标定的处理为：

第一步，使用相机标定技术(如棋盘法)，得到监控相机的内参、畸变系数以及外参转换矩阵，完成监控相机的视频数据中像素坐标与世界坐标系的坐标转换。

第二步，使用EPnP算法进行激光雷达的点云坐标与监控相机的像素坐标之间的标定，获得激光雷达坐标系与世界坐标系的转换关系。示例性的，由于激光雷达对金属物的反射结果更加明显，可以选择金属标志物(如标志牌、红绿灯和栏杆等)的角点和中心点作为激光雷达与监控相机之间的匹配点。

在第一步可以获得视频数据中像素坐标与世界坐标系的坐标的转换关系，在第二步可以获得激光雷达坐标系与世界坐标系的转换关系，通过世界坐标系可以实现激光雷达的点云坐标与视频数据的像素坐标的相互转换。例如，如图4所示，目标为车辆，车辆的点云数据映射至图像上。这样，对于视频数据中的任一像素均能对应到点云数据中的点云。

下面将结合图5对本申请实施例提供的场景的三维重建方法进行说明，在图5中描述了交通场景中三维重建的过程。如图5所示，该方法的处理流程如下：

步骤501，获取场景的视频数据和点云数据。

在本实施例中，以数据获取设备包括监控相机和激光雷达为例进行说明，场景中的监控相机拍摄视频数据，该视频数据可以是H.264，H.265等编码标准下的视频数据，通常包括多媒体电脑档案格式(motion picture experts group four，MP4)，音频视频交错格式(audio video interleaved，AVI)等类型，支持实时流传输协议(real time streamingprotocol，RTSP)传输格式。激光雷达是以发射激光速探测目标的位置、速度等特征量的雷达系统。场景中的激光雷达可以发射激光束，接收被物体反射的激光生成点云数据。

监控相机将拍摄的视频数据传输至重建装置，激光雷达将生成的点云数据传输至重建装置。

可选的，监控相机可以实时传输拍摄的视频数据至重建装置，也可以周期性传输拍摄的视频数据至重建装置。激光雷达可以实时传输生成的点云数据至重建装置，也可以周期性传输生成的点云数据至重建装置。

步骤502，根据视频数据确定场景中的目标的像素数据与背景的像素数据。

在本实施例中，重建装置获取预设的第一神经网络模型，第一神经网络模型可以用于检测视频数据中的目标，第一神经网络模型可以是Yolo(you only look once)、FCOS(fully convolutional one-stage object detection)等。将获取的视频数据输入至第一神经网络模型，输出为视频数据中每一帧包括的目标所在位置。将视频数据中每一帧的目标与背景分离，获得场景中目标的像素数据与背景的像素数据。

步骤503，根据点云数据确定场景中的目标的点云数据。

在本实施例中，重建装置获取预设的第二神经网络模型，第二神经网络模型可以是PointNet++、体素点区域卷积神经网络(point voxel-region convolutional neuralnetwork，PV-RCNN)等。将获取的点云数据输入至第二神经网络模型，输出为点云数据中每一帧包括的目标所在位置。将点云数据中每一帧的目标与背景分离，获得场景中目标的点云数据。

需要说明的是，在步骤502和步骤503中，目标并不是基于当前是移动还是静止区分的，而是基于属性区分的，某个物体的属性中包括可移动属性，则该物体是目标，若某个物体的属性中不包括可移动属性，则该物体是背景。例如，机动车、非机动车、行人的属性均包括可移动属性，机动车、非机动车、行人目标是目标，而树的属性中不包括可移动属性，树不是目标。

步骤504，基于背景的像素数据，利用静态三维重建方法对背景进行重建，获得场景中背景的三维重建结果。

其中，静态三维重建表示基于点云数据和/或视频数据确定被重建的对象在三维空间中的点的信息的方法，静态三维重建的过程不包括被重建的对象的细节特征区域的修复处理、点云空洞区域的补全处理等过程。静态三维重建方法是相对于后文中提到的动态三维重建方法而言，用于对本申请中的背景进行三维重建。示例性的，静态三维重建方法包括基于背景的点云数据与背景的像素数据对应的方式(后文中的方式一)、倾斜摄影技术(后文中的方式二)等。

在本实施例中，重建装置利用静态三维重建方法对背景进行重建的方式有多种，如下给出两种可行的方式：

方式一：基于背景的像素数据和背景的点云数据，利用静态三维重建方法对背景进行重建，获得场景中背景的三维重建结果。

在本实施例中，重建装置将背景的点云数据和背景的像素数据进行匹配，确定三维空间中同一位置点的像素数据和点云数据。对于三维空间中每个位置点，将该位置点的像素数据的颜色信息(颜色信息可以是红绿蓝(red green blue，RGB)信息)，渲染到该位置点的点云数据上。然后再使用包括RGB信息的点云数据，利用纹理重建技术，获得场景中背景的三维重建结果。此处，纹理既包括通常意义上物体表面的纹理，同时也包括在物体的光滑表面上的彩色图案。

方式二：步骤501中获得的视频数据是场景的多个不同角度的视频数据，并且使用多个不同角度的视频数据，利用倾斜摄影技术对背景进行三维重建，获得背景的三维重建结果。

步骤505，基于目标的像素数据和目标的点云数据，利用动态三维重建方法对目标进行重建，获得场景中目标的三维重建结果。

其中，在本实施例中动态三维重建方法是相对于静态三维重建而言，是用于对本申请中的目标进行三维重建，动态三维重建方法相比于静态三维重建方法至少包括被重建的对象的细节特征区域的修复处理、点云空洞区域的补全处理等过程。示例性的，动态三维重建方法包括多个处理过程，多个处理过程包括点云子采样处理、生成点云子采样点的三角网格的处理、目标的表面属性建模的处理、细节特征区域的修复处理、点云空洞区域的补全处理、多帧点云数据的融合处理等。这些处理过程在后文中进行说明。可见，静态三维重建方法与动态三维重建的方法在实现方式上不同。

步骤506，将背景的三维重建结果与目标的三维重建结果进行结合，获得场景的三维重建结果。

在本实施例中，重建装置按照目标在目标场景中的位置，将同一位置的目标的三维重建结果与背景的三维重建结果。然后将同一位置的目标的三维重建结果和背景的三维重建结果叠加，获得目标场景的三维重建结果。

通过本申请实施例，将场景的背景和目标进行分离，对背景进行静态三维重建，对目标进行动态三维重建，然后将背景的三维重建结果和目标的三维重建结果结合，获得场景的三维重建结果。这样，完成场景的三维重建，为场景提供更多的信息。

在图5中需要说明的是，步骤504和步骤505的处理没有先后执行顺序，可以是并行执行，也可以是串行执行。

如下针对图5所示的流程进行补充说明：

在一种可能的实现方式中，本申请实施例中，在进行三维重建的同时，还会创建一个三维模型库，该三维模型库用于存储各种目标的三维重建模型，该三维模型库存储在重建装置可以加载的位置，例如，存储在重建装置可以加载的数据库中。在执行步骤505之前，可以先判断三维模型库中是否存在当前重建的目标的三维重建模型，处理可以为：

判断三维模型库中是否存在目标对应的三维重建模型；若三维模型库不存在目标对应的三维重建模型，基于目标的像素数据和目标的点云数据，利用动态三维重建方法对目标进行重建，获得场景中目标的三维重建结果；在获得场景中目标的三维重建结果后，将目标的三维重建结果添加至三维模型库中。

在本实施例中，三维模型库中的三维重建模型对应有所属目标的标识的对应关系，重建装置可以在步骤505之前使用目标的像素数据，确定目标的标识，如将目标的像素数据输入至预先训练的神经网络模型，输出目标的标识。对于车辆，该标识可以是颜色和型号等。在三维模型库中，使用目标的标识判断是否存在对应的三维重建模型，若不存在三维重建模型，则执行步骤505的处理。在执行完步骤505的处理后，会获得目标的三维重建模型，将该目标的三维重建模型添加至三维模型库中，并对应目标的标识。这样，后续再对该目标进行三维重建时，可以直接获取到目标的三维重建模型，提升三维重建的效率。

可选的，在本申请应用于交通场景中时，在创建三维模型库时，也可以是基于多个路口各视角的视频数据和点云数据，按照图5的流程，提前重建各种车辆的三维重建结果，将各种车辆三维重建结果，添加至三维模型库中。

可选的，在判断三维模型库中存在目标的三维重建模型的情况下，可以执行如下处理：

若三维模型库中存在目标对应的三维重建模型，基于三维模型库中目标对应的三维重建模型和目标当前的姿态信息，确定场景中目标的三维重建结果。

在本实施例中，重建装置在确定三维模型库中存在目标对应的三维重建模型，则可以使用目标的像素数据和目标的点云数据，确定出目标当前的姿态信息，姿态信息可以包括转向信息等。使用目标当前的姿态信息，调整目标的三维重建模型的姿态信息，使得目标的姿态为场景中目标当前的姿态，进而获得场景中目标的三维重建结果。

这样，由于可以从三维模型库中直接获取到目标的三维重建结果，而不需要执行复杂的动态三维重建流程，所以可以提高三维重建效率。

在一种可能的实现方式中，如图6所示，在步骤505中，目标的动态三维重建过程中包括多个处理步骤，此处是针对一帧点云数据为例进行说明：

步骤5051，进行点云数据的子采样处理。

在本实施例中，点云数据的子采样处理的方法有多种，如均匀采样、几何采样、随机采样、格点采样等。本申请实施例中，以格点采样为例进行说明，处理为：对于每一帧，计算该帧的点云数据中各点云形成的几何表面，即点云的包围盒，将该包围盒离散成等大小的格子，每个格子的尺寸比较小，格子的长宽高可以是用户预设的，也可以是通过设定包围盒三个方向的格点数目来计算获得。在包围盒离散获得多个格子后，每个格子包含若干个点云，计算每个格子的中心点，计算每个格子的点云中距离中心点的最近的点云，将每个格子中最近的点云确定为采样点。

步骤5052，基于点云数据中的点云采样点，生成三角网格。

在本实施例中，重建装置采用最小二乘法细分点云采样点形成的表面，通过迭代处理过程，获得该表面光滑的三角网格。原理为：相邻的点云采样点连接后形成一个初始多边形网格表面，重建装置使用细分算子，迭代地细化该初始多边形网格表面，随着迭代次数的增加，最终收敛于一个光滑表面，该光滑表面包括多个三角网格。在每一次迭代过程中，对于任一点云采样点，确定该点云采样点的所有相邻点云采样点的平均位置，将该平均位置投影到该所有相邻点云采样点形成的表面上，作为该点云采样点下一次迭代的位置。

步骤5053，基于目标的像素数据和目标的点云数据，对目标的表面属性进行建模，获得目标的初始三维重建结果。

在本实施例中，重建装置将投影方程运用于目标的点云数据中任一位置点，得到一组称为参数空间值且关于纹理的数值，该一组参数值空间值是二维参数值。然后将二维参数值使用一个或多个映射函数，编辑该一组参数空间值，转换为纹理坐标，纹理坐标可以是三维坐标(x,y,w)，其中，x,y表示位置，w表示投影方向的深度。然后使用纹理坐标在目标的像素数据中，获取该纹理坐标对应的颜色值。然后使用预设的值变换函数，对该纹理坐标对应的颜色值进行变换，使用进行变换处理后的颜色值来获得表面属性，如材质、着色法线等。以上描述了对目标的点云数据中的任一位置点进行处理，对目标的点云数据中每个位置点按照上述方式进行处理后，可以获得目标的初始三维重建结果。此过程也可以称为是纹理贴图。

步骤5054，分别在目标的像素数据和目标的点云数据中，检测目标的细节特征；基于目标的细节特征，对初始三维重建结果中细节特征所在区域进行修复，获得场景中目标的三维重建结果。

在本实施例中，由于单帧点云数据比较稀疏，所以目标边缘的点云和目标的像素数据匹配不够精准，初始三维重建结果中细节特征存在缺失，例如，细节为车窗、车顶和车轮等位置。在图7中，示出了车轮和车顶存在细节特征的缺失，图7是一个细节特征缺失的效果图。此种情况下，重建装置可以将目标的像素数据输入预设的神经网络模型，检测目标的细节特征，并且可以将目标的点云数据中输入预设的另一神经网络模型，检测目标的细节特征。

然后重建装置对目标在点云数据中的细节特征所在区域进行分割，获得分割后的细节特征子区域。并且对目标在像素数据中的细节特征所在区域进行分割，基于分割后的细节特征子区域。然后使用联合标定结果，将点云数据中分割后的细节特征子区域与视频数据中分割后的细节特征子区域进行一一对应。然后使用一一对应的子区域，对目标的初始三维重建结果中的细节特征区域缺少点云数据的位置点进行补全，完成修复，获得场景中目标的三维重建结果。这样，由于划分成子区域，像素数据和点云数据对应的更好，可以修复目标的初始三维重建结果，使得目标的三维重建结果中细节特征缺少的区域比较少。

步骤5055，检测初始三维重建结果中的点云空洞区域；基于初始三维重建结果中点云空洞区域的对称位置的点云数据，对点云空洞区域的点云数据进行补全处理，获得场景中目标的三维重建结果。

在本实施例中，由于激光雷达只能检测直视区域，所以目标的初始三维重建结果中部分区域有可能会存在点云空洞区域，所以可以对点云空洞区域进行补全处理。重建装置可以在目标的初始三维重建结果中检测点云数目小于预设数值，且面积大于一定数值的区域，将该区域称为是点云空洞区域。如图8所示，目标为车辆，车辆的三维重建结果中车辆的车顶和侧面存在点云空洞区域。

然后判断该点云空洞区域是否存在对称位置，若该点云空洞区域存在对称位置，则获取该对称位置的点云数据。确定点云空洞区域中点云数据缺失的位置点在对应对称位置点的点云数据，将该对称位置点的点云数据，确定为点云数据缺失的位置点的点云数据，然后将点云空洞区域中的点云数据补全至与对称位置的点云数据相同，获得场景中目标的三维重建结果。这样，可以尽可能的减少目标的三维重建结果中点云空洞区域。

需要说明的是，在图6中，步骤5054和步骤5055没有先后顺序，且步骤5054和步骤5055可以同时存在，也可以不同时存在。

在一种可能的实现方式中，在三维重建应用于交通场景时，目标为车辆，为了获得车辆真实的车轮信息，增强车辆的三维重建结果的真实性，可以对车轮进行实时动态三维重建，处理如下：

获取车辆中的车轮模型；确定车辆的车轮当前的行驶姿态；基于车轮当前的行驶姿态，将车轮模型更新至场景中车辆的三维重建结果。

在本实施例中，目标为车辆时，车辆在不同的姿态下，车轮有可能有不同的姿态，例如，车辆在转弯过程中，车辆的后轮姿态保持不变，但是前轮的姿态会持续的变化，围绕转向的中心点进行转动。

重建装置可以使用车辆的型号，获取该车辆完整的车轮模型。该车轮模型可以是预先重建的，示例性的，预先根据车辆的型号获得车轮的尺寸、颜色和形态，使用该车轮的尺寸、颜色、形态进行车轮模型的三维重建，获得车轮模型。

然后重建装置使用车辆的像素数据和点云数据，确定车轮当前的行驶姿态，该行驶姿态包括前轮的行驶姿态和后轮的行驶姿态，如前轮的行驶姿态可以是前轮与车辆中心线的夹角，后轮的行驶姿态可以是后轮与车辆中心线的夹角。然后按照车轮当前的行驶姿态，将车轮更新至场景中车辆的三维重建结果中。这样，预先对车轮进行三维重建，而不是基于当前的视频数据和点云数据进行重建，所以可以增强车辆的三维重建结果的真实性。

在一种可能的实现方式中，在点云数据中每一帧的点云数据稠密时，通过图5的流程获得的目标的三维重建结果比较好。但是在某些情况下每一帧的点云数据比较稀疏，获得目标的三维重建结果比较差，每一帧的点云数据比较稀疏的情况可以包括但是不限于：激光雷达距离目标比较远、场景比较大、激光雷达本身能获得的点云数据比较少等。基于此，本申请实施例中可以通过融合多帧点云数据，解决目标的点云稀疏的问题，处理可以为：

将场景的点云数据中目标在不同帧中的点云数据进行融合和重复点云过滤，获得目标的融合点云数据；基于目标的像素数据和目标的融合点云数据，利用动态三维重建方法对目标进行重建，获得场景中目标的三维重建结果。

在本实施例中，重建装置使用目标在相邻两帧中的中心坐标，确定相邻两帧中目标的距离，该距离可以是欧式距离。然后使用匈牙利关联算法、Kuhn-Munkras(KM)关联算法等，并结合相邻两帧中各目标的距离、目标的颜色、姿态信息，判断相邻两帧中的同一目标。

然后重建装置使用ICP算法，将不同帧中相同目标的点云数据进行融合。示例性的，对于任一目标，将该目标在第i帧的点云组成第i点云集，并将该目标在第i+1帧的点云组成第i+1点云集，计算第i点云集中的每个点云在第i+1中的对应最近点，获得第i点云集与第i+1点云集中的最近点对。求得使最近点对平均距离最小的刚体变换，获得平移参数和旋转参数。对第i点云集中每个点云的坐标使用该平移参数和旋转参数，得到新的变换点云集，计算该变换点云集中每个点云与每个点云变换前的点云在第i+1点云集对应的最近点的距离，计算这些距离的平均距离。若该平均距离小于给定阈值，则停止迭代计算，将变换点云集中的每个点云添加至第i+1点云集中，实现相邻帧目标点云数据的融合，否则将新的变换点云集作为新的第i点云集继续迭代，直到达到平均距离小于给定阈值的要求，停止迭代。这样，经过上述处理，获得针对目标融合后的点云数据。

针对目标，由于融合后的点云数据有可能会存在重复点云，所以可以对融合后的点云数据进行过滤处理。示例性的，计算该融合后的点云数据中，任意两个相邻点云之间的距离，判断该距离与目标阈值的大小关系，若该距离小于目标阈值，则确定相邻点云的中心点云，使用相邻点云的中心点云替代该相邻点云，若该距离大于目标阈值，则认为该相邻点云不是重复点云，不做处理。这样，可以进行重复点云过滤，获得目标的融合点云数据。此处目标阈值可以预设，是一个经验值。

然后重建装置使用目标的融合点云数据与目标的像素数据，利用动态三维重建方法进行重建，获得目标的三维重建结果。此过程可参见前文中动态三维重建的处理过程，此处不再赘述。

这样，此处将多帧点云数据中目标的点云数据进行融合，并对融合后的点云数据过滤重复点云操作，不仅可以解决目标的点云稀疏的问题，还可以过滤重复点云，使得在渲染时不会出现阴影。

在一种可能的实现方式中，在步骤501中场景的视频数据和点云数据是场景中目标视角的视频数据和点云数据时，场景的三维重建结果为场景中目标视角的三维重建结果。为了获得场景中更全面的三维重建结果，处理可以为：

获取场景中其余视角的三维重建结果，其中，其余视角包括场景中除目标视角之外的一个或多个视角；将目标视角的三维重建结果与其余视角的三维重建结果进行融合，获得场景的融合视角三维重建结果。

在本实施例中，按照前文中的处理方式，重建除目标视角之外的其余视角的三维重建结果。场景中每个视角的三维重建结果包含目标的中心点坐标，使用这些信息，可以将不同视角的三维重建结果统一到同一坐标系中，该同一坐标系可以是世界坐标系。

然后使用同一坐标系下，不同视角的三维重建结果，进行接力融合、遮挡融合和多面融合，获得场景的融合视角三维重建结果。示例性的，在接力融合时，某个视角下无法获取到的目标，在另一个视角下可以继续获取到目标，这样，目标的轨迹可以串接形成完整轨迹。例如，目标为车辆，在某个视角下看不见的车辆，在另一个视角下获取车辆，形成车辆的完整轨迹。

在遮挡融合时，某个视角下目标的三维重建结果被其它目标遮挡，可以通过其它视角的目标的三维重建结果来补全目标。

在多面融合时，在各视角下目标的三维重建结果不完整，使用各视角下的目标的三维重建结果，获得融合视角目标的三维重建结果。

例如，如图9所示，场景为交通场景中的十字路口，十字路口的各个视角为东西南北四个视角，每个视角设置有一个监控相机和一个激光雷达，重建装置针对每个视角执行前文中的处理，获得每个视角的三维重建结果，将每个视角的三维重建结果进行融合，获得该十字路口的三维重建结果。

这样，通过多个视角的三维重建结果的融合，可以实现场景的多个视角的三维重建。在后续展示场景的三维重建结果时，用户可以选择所要展示的视角的三维重建结果。

上述是针对不同视角的三维重建结果的融合，在步骤501中场景的视频数据和点云数据是场景中目标视角的视频数据和点云数据时，还可以基于多种类型传感器的融合结果，获得目标视角下的三维重建结果，处理可以为：

获取基于场景中目标传感器采集的数据获得的目标三维重建结果，其中，目标传感器与采集视频数据和点云数据的传感器不相同，目标传感器的视角与采集视频数据和点云数据的传感器的视角相同；将目标视角的三维重建结果与目标三维重建结果进行融合，获得融合后的场景目标视角的三维重建结果。

在本实施例中，按照前文中的处理方式，基于不同类型的传感器的数据，进行三维重建，获得场景的三维重建结果。每个三维重建结果包含目标的中心点坐标，使用这些信息，可以将不同三维重建结果统一到同一坐标系中，该同一坐标系可以是世界坐标系。

然后使用同一坐标下，将不同三维重建结果按照相同位置进行叠加，并且在叠加过程中删除重复数据，获得场景的目标视角的三维重建结果。这样，由于可以将基于多种不同类型的传感器对应的三维重建结果融合，所以可以获得更加真实的三维重建结果。

在另一种可能的实现方式中，可以将多视角场景的三维重建与多传感器场景的三维重建相结合，获得多视角下更加真实的三维重建结果。

在一种可能的实现方式中，在获得场景的三维重建结果后，可以对场景的三维重建结果进行展示，处理为：

根据场景的三维重建结果，显示场景的三维重建视图，其中，场景的三维重建结果包括场景中目标的位置信息、朝向信息、运动速度、类型、距离、轮廓、尺寸中的一种或多种。

在本实施例中，重建装置在重建出场景的三维重建结果后，可以实时显示场景的三维重建结果，在三维重建结果中包括的目标的位置信息、目标的朝向信息、运动速度、类型、距离、轮廓、尺寸一种或多种。位置信息可以是目标的中心位置的三维坐标。朝向信息可以是目标指向的经纬度、方向等，如目标为车辆，朝向信息为朝南。目标的运动速度可以由激光雷达确定。目标的类型可以是人、机动车、非机动车等。相邻目标之间的距离在显示时与对应的目标关联，如使用一条线将距离与目标关联。

可选的，在目标为车辆时，还可以使用车辆的尺寸，进行限高检测。

可选的，三维重建结果中，还可以包括每个体素点的反射强度等。

在一种可能的实现方式中，在应用于交通场景时，为了检测车辆是否碰撞，可以基于场景的三维重建结果中各目标的体素点的三维坐标，确定场景中各目标之间的距离。

在本实施例中，由于在三维重建时，可以获取到三维重建结果中每个体素点的三维坐标，所以可以使用目标所在的体素点的三维坐标，确定出相邻目标之间的距离，该距离可以是相邻目标中心点的距离。这样，在应用于交通场景时，作为判断车辆与车辆、人与车辆是否发生碰撞的依据。

在一种可能的实现方式中，在应用于交通场景时，重建装置在输出三维重建结果时，还可以输出车辆的车轮的形变量，基于该形变量，确定车辆是否超载。另外，还可以基于车辆的三维结构，判断车辆是否改装等。

通过本申请实施例，将场景的背景和目标进行分离，对背景进行静态三维重建，对目标进行动态三维重建，然后将背景的三维重建结果和目标的三维重建结果结合，获得场景的三维重建结果。这样，完成场景的三维重建，为场景提供更多的信息。

而且本申请实施例中，在三维重建过程中，输出了每个体素点的三维坐标，所以可以精准的输出每个目标的中心点坐标。

而且本申请实施例中，在三维重建后，输出的每个体素点的三维坐标、颜色、深度和反射率等信息，每个目标的尺寸、类型、距离等信息，相比于现在的二维数据，可以输出更多的内容，应用于更多的交通领域业务中。

图10是本申请实施例提供的重建装置的结构图。该装置可以通过软件实现成为装置中的部分或者全部。本申请实施例提供的装置可以实现本申请实施例图5所述的流程，该装置包括：获取模块1010、确定模块1020和重建模块1030，其中：

获取模块1010，用于获取场景的视频数据和点云数据，具体可以用于实现步骤501的获取功能以及执行步骤501包含的隐含步骤；

确定模块1020，用于根据所述视频数据确定所述场景中的目标的像素数据与背景的像素数据；根据所述点云数据确定所述场景中的目标的点云数据，具体可以用于实现步骤502和步骤503的确定功能以及执行步骤502和步骤503包含的隐含步骤；

重建模块1030，用于：

基于所述背景的像素数据，利用静态三维重建方法对所述背景进行重建，获得所述场景中所述背景的三维重建结果；

基于所述目标的像素数据和所述目标的点云数据，利用动态三维重建方法对所述目标进行重建，获得所述场景中所述目标的三维重建结果；

将所述背景的三维重建结果与所述目标的三维重建结果进行结合，获得所述场景的三维重建结果，具体可以用于实现步骤504至步骤506的重建功能以及执行步骤504至步骤506包含的隐含步骤。

在一种可能的实现方式中，所述重建模块1030，用于：

基于所述目标的像素数据和所述目标的点云数据，对所述目标的表面属性进行建模，获得所述目标的初始三维重建结果；

分别在所述目标的像素数据和所述目标的点云数据中，检测所述目标的细节特征；

基于所述目标的细节特征，对所述初始三维重建结果中所述细节特征所在区域进行修复，获得所述场景中所述目标的三维重建结果。

在一种可能的实现方式中，所述重建模块1030，用于：

基于所述目标的像素数据和所述目标的点云数据，对所述目标的表面属性进行建模，获得所述目标的初始三维重建结果；

检测所述初始三维重建结果中的点云空洞区域；

基于所述初始三维重建结果中所述点云空洞区域的对称位置的点云数据，对所述点云空洞区域的点云数据进行补全处理，获得所述场景中所述目标的三维重建结果。

在一种可能的实现方式中，所述重建模块1030，用于：

将所述场景的点云数据中所述目标在不同帧中的点云数据进行融合和重复点云过滤，获得所述目标的融合点云数据；

基于所述目标的像素数据和所述目标的融合点云数据，利用动态三维重建方法对所述目标进行重建，获得所述场景中所述目标的三维重建结果。

在一种可能的实现方式中，所述重建模块1030，用于：

判断三维模型库中是否存在所述目标对应的三维重建模型；

若所述三维模型库不存在所述目标对应的三维重建模型，基于所述目标的像素数据和所述目标的点云数据，利用动态三维重建方法对所述目标进行重建，获得所述场景中所述目标的三维重建结果；

所述重建模块1030，还用于：

在获得所述场景中所述目标的三维重建结果后，将所述目标的三维重建结果添加至所述三维模型库中。

在一种可能的实现方式中，所述重建模块1030，还用于：

若所述三维模型库中存在所述目标对应的三维重建模型，基于所述三维模型库中所述目标对应的三维重建模型和所述目标当前的姿态信息，确定所述场景中所述目标的三维重建结果。

在一种可能的实现方式中，所述视频数据和点云数据为所述场景中目标视角的视频数据和点云数据，所述场景的三维重建结果为所述场景中所述目标视角的三维重建结果；所述重建模块1030，还用于：

获取所述场景中其余视角的三维重建结果，其中，所述其余视角包括所述场景中除所述目标视角之外的一个或多个视角；

将所述目标视角的三维重建结果与所述其余视角的三维重建结果进行融合，获得所述场景的融合视角三维重建结果。

在一种可能的实现方式中，所述确定模块1020，还用于：

基于所述场景的三维重建结果中各目标的体素点的三维坐标，确定所述场景中各目标之间的距离。

在一种可能的实现方式中，如图11所示，所述装置还包括：

显示模块1040，用于根据所述场景的三维重建结果，显示所述场景的三维重建视图，其中，所述场景的三维重建结果包括所述场景中目标的位置信息、朝向信息、运动速度、类型、距离、轮廓、尺寸中的一种或多种。

在一种可能的实现方式中，所述目标为车辆，所述重建模块1030，还用于：

获取所述车辆中的车轮模型；确定所述车辆的车轮当前的行驶姿态；

基于所述车轮当前的行驶姿态，将所述车轮模型更新至所述场景中所述车辆的三维重建结果。

本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时也可以有另外的划分方式，另外，在本申请各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成为一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

该集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备(可以是个人计算机，或者网络设备等)或处理器(processor)执行本申请各个实施例该方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-onlymemory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例中还提供了一种场景的三维重建的计算设备1200。图12示例性的提供了计算设备1200的一种可能的架构图。

计算设备1200包括存储器1201、处理器1202、通信接口1203以及总线1204。其中，存储器1201、处理器1202、通信接口1203通过总线1204实现彼此之间的通信连接。

存储器1201可以是ROM，静态存储设备，动态存储设备或者RAM。存储器1201可以存储程序，当存储器1201中存储的程序被处理器1202执行时，处理器1202和通信接口1203用于执行前述图3所示的场景的三维重建方法，或者实现前述图9或图10所示的装置的功能。存储器1201还可以存储数据层级关系。

处理器1202可以采用通用的中央处理器(central processing unit，CPU)，微处理器，应用专用集成电路(application specific integrated circuit，ASIC)，图形处理器(graphics processing unit，GPU)或者一个或多个集成电路。

处理器1202还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请的重建装置的部分或全部功能可以通过处理器1202中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1202还可以是通用处理器、数字信号处理器(digitalsignal processing，DSP)、专用集成电路、现成可编程门阵列(field programmable gatearray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请上述实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。

通信接口1203使用例如但不限于收发器一类的收发模块，来实现计算设备1200与其他设备或通信网络之间的通信。例如，可以通过通信接口1203获取点云数据等。

总线1204可包括在计算设备1200各个部件(例如，存储器1201、处理器1202、通信接口1203)之间传送信息的通路。

上述各个附图对应的流程的描述各有侧重，某个流程中没有详述的部分，可以参见其他流程的相关描述。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现，当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令，在服务器或终端上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴光缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是服务器或终端能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(如软盘、硬盘和磁带等)，也可以是光介质(如数字视盘(digital video disk，DVD)等)，或者半导体介质(如固态硬盘等)。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的构思和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (22)

1.一种场景的三维重建方法，其特征在于，所述方法包括：

获取场景的视频数据和点云数据；

根据所述视频数据确定所述场景中的目标的像素数据与背景的像素数据；

根据所述点云数据确定所述场景中的目标的点云数据；

基于所述背景的像素数据，利用静态三维重建方法对所述背景进行重建，获得所述场景中所述背景的三维重建结果；

基于所述目标的像素数据和所述目标的点云数据，利用动态三维重建方法对所述目标进行重建，获得所述场景中所述目标的三维重建结果；

将所述背景的三维重建结果与所述目标的三维重建结果进行结合，获得所述场景的三维重建结果。

2.根据权利要求1所述的方法，其特征在于，所述基于所述目标的像素数据和所述目标的点云数据，利用动态三维重建方法对所述目标进行重建，获得所述场景中所述目标的三维重建结果，包括：

基于所述目标的像素数据和所述目标的点云数据，对所述目标的表面属性进行建模，获得所述目标的初始三维重建结果；

分别在所述目标的像素数据和所述目标的点云数据中，检测所述目标的细节特征；

基于所述目标的细节特征，对所述初始三维重建结果中所述细节特征所在区域进行修复，获得所述场景中所述目标的三维重建结果。

3.根据权利要求1所述的方法，其特征在于，所述基于所述目标的像素数据和所述目标的点云数据，利用动态三维重建方法对所述目标进行重建，获得所述场景中所述目标的三维重建结果，包括：

基于所述目标的像素数据和所述目标的点云数据，对所述目标的表面属性进行建模，获得所述目标的初始三维重建结果；

检测所述初始三维重建结果中的点云空洞区域；

基于所述初始三维重建结果中所述点云空洞区域的对称位置的点云数据，对所述点云空洞区域的点云数据进行补全处理，获得所述场景中所述目标的三维重建结果。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述基于所述目标的像素数据和所述目标的点云数据，利用动态三维重建方法对所述目标进行重建，获得所述场景中所述目标的三维重建结果，包括：

将所述场景的点云数据中所述目标在不同帧中的点云数据进行融合和重复点云过滤，获得所述目标的融合点云数据；

基于所述目标的像素数据和所述目标的融合点云数据，利用动态三维重建方法对所述目标进行重建，获得所述场景中所述目标的三维重建结果。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述基于所述目标的像素数据和所述目标的点云数据，利用动态三维重建方法对所述目标进行重建，获得所述场景中所述目标的三维重建结果，包括：

判断三维模型库中是否存在所述目标对应的三维重建模型；

若所述三维模型库不存在所述目标对应的三维重建模型，基于所述目标的像素数据和所述目标的点云数据，利用动态三维重建方法对所述目标进行重建，获得所述场景中所述目标的三维重建结果；

在获得所述场景中所述目标的三维重建结果后，所述方法还包括：

将所述目标的三维重建结果添加至所述三维模型库中。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

若所述三维模型库中存在所述目标对应的三维重建模型，基于所述三维模型库中所述目标对应的三维重建模型和所述目标当前的姿态信息，确定所述场景中所述目标的三维重建结果。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述视频数据和点云数据为所述场景中目标视角的视频数据和点云数据，所述场景的三维重建结果为所述场景中所述目标视角的三维重建结果；所述方法还包括：

获取所述场景中其余视角的三维重建结果，其中，所述其余视角包括所述场景中除所述目标视角之外的一个或多个视角；

将所述目标视角的三维重建结果与所述其余视角的三维重建结果进行融合，获得所述场景的融合视角三维重建结果。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：

基于所述场景的三维重建结果中各目标的体素点的三维坐标，确定所述场景中各目标之间的距离。

9.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：

根据所述场景的三维重建结果，显示所述场景的三维重建视图，其中，所述场景的三维重建结果包括所述场景中目标的位置信息、朝向信息、运动速度、类型、距离、轮廓、尺寸中的一种或多种。

10.根据权利要求1至9任一项所述的方法，其特征在于，所述目标为车辆，所述方法还包括：

获取所述车辆中的车轮模型；确定所述车辆的车轮当前的行驶姿态；

基于所述车轮当前的行驶姿态，将所述车轮模型更新至所述场景中所述车辆的三维重建结果。

11.一种重建装置，其特征在于，所述装置包括：

获取模块，用于获取场景的视频数据和点云数据；

确定模块，用于根据所述视频数据确定所述场景中的目标的像素数据与背景的像素数据；根据所述点云数据确定所述场景中的目标的点云数据；

重建模块，用于：

基于所述背景的像素数据，利用静态三维重建方法对所述背景进行重建，获得所述场景中所述背景的三维重建结果；

基于所述目标的像素数据和所述目标的点云数据，利用动态三维重建方法对所述目标进行重建，获得所述场景中所述目标的三维重建结果；

将所述背景的三维重建结果与所述目标的三维重建结果进行结合，获得所述场景的三维重建结果。

12.根据权利要求11所述的装置，其特征在于，所述重建模块，用于：

基于所述目标的像素数据和所述目标的点云数据，对所述目标的表面属性进行建模，获得所述目标的初始三维重建结果；

分别在所述目标的像素数据和所述目标的点云数据中，检测所述目标的细节特征；

基于所述目标的细节特征，对所述初始三维重建结果中所述细节特征所在区域进行修复，获得所述场景中所述目标的三维重建结果。

13.根据权利要求11所述的装置，其特征在于，所述重建模块，用于：

基于所述目标的像素数据和所述目标的点云数据，对所述目标的表面属性进行建模，获得所述目标的初始三维重建结果；

检测所述初始三维重建结果中的点云空洞区域；

基于所述初始三维重建结果中所述点云空洞区域的对称位置的点云数据，对所述点云空洞区域的点云数据进行补全处理，获得所述场景中所述目标的三维重建结果。

14.根据权利要求11至13任一项所述的装置，其特征在于，所述重建模块，用于：

将所述场景的点云数据中所述目标在不同帧中的点云数据进行融合和重复点云过滤，获得所述目标的融合点云数据；

基于所述目标的像素数据和所述目标的融合点云数据，利用动态三维重建方法对所述目标进行重建，获得所述场景中所述目标的三维重建结果。

15.根据权利要求11至14任一项所述的装置，其特征在于，所述重建模块，用于：

判断三维模型库中是否存在所述目标对应的三维重建模型；

若所述三维模型库不存在所述目标对应的三维重建模型，基于所述目标的像素数据和所述目标的点云数据，利用动态三维重建方法对所述目标进行重建，获得所述场景中所述目标的三维重建结果；

所述重建模块，还用于：

在获得所述场景中所述目标的三维重建结果后，将所述目标的三维重建结果添加至所述三维模型库中。

16.根据权利要求15所述的装置，其特征在于，所述重建模块，用于：

若所述三维模型库中存在所述目标对应的三维重建模型，基于所述三维模型库中所述目标对应的三维重建模型和所述目标当前的姿态信息，确定所述场景中所述目标的三维重建结果。

17.根据权利要求11至16任一项所述的装置，其特征在于，所述视频数据和点云数据为所述场景中目标视角的视频数据和点云数据，所述场景的三维重建结果为所述场景中所述目标视角的三维重建结果；所述重建模块，还用于：

获取所述场景中其余视角的三维重建结果，其中，所述其余视角包括所述场景中除所述目标视角之外的一个或多个视角；

将所述目标视角的三维重建结果与所述其余视角的三维重建结果进行融合，获得所述场景的融合视角三维重建结果。

18.根据权利要求11至17任一项所述的装置，其特征在于，所述确定模块，还用于：

基于所述场景的三维重建结果中各目标的体素点的三维坐标，确定所述场景中各目标之间的距离。

19.根据权利要求11至18任一项所述的装置，其特征在于，所述装置还包括：

显示模块，用于根据所述场景的三维重建结果，显示所述场景的三维重建视图，其中，所述场景的三维重建结果包括所述场景中目标的位置信息、朝向信息、运动速度、类型、距离、轮廓、尺寸中的一种或多种。

20.根据权利要求11至19任一项所述的装置，其特征在于，所述目标为车辆，所述重建模块，还用于：

获取所述车辆中的车轮模型；确定所述车辆的车轮当前的行驶姿态；

基于所述车轮当前的行驶姿态，将所述车轮模型更新至所述场景中所述车辆的三维重建结果。

21.一种场景的三维重建的计算设备，其特征在于，所述计算设备包括处理器和存储器，其中：

所述存储器中存储有计算机指令；

所述处理器执行所述计算机指令，以使所述计算设备执行所述权利要求1至10任一项权利要求所述的方法。

22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机可读存储介质中的计算机指令被计算设备执行时，使得所述计算设备执行所述权利要求1至10任一项权利要求所述的方法。

Images