CN114049444B - 一种3d场景生成方法及装置 - Google Patents

Abstract

本发明实施例涉及3D视觉技术领域，公开了一种3D场景生成方法及装置，该方法包括：对待处理图像进行场景识别，得到场景信息，所述场景信息包括所述图像中的目标物体的属性信息，所述属性信息至少包括深度信息；基于所述场景信息获取所述目标物体的3D模型；基于所述属性信息调整所获取的3D模型得到所述待处理图像的3D场景。通过上述方式，本发明实施例可提高3D场景生成效率。

Description

一种3D场景生成方法及装置

技术领域

本发明实施例涉及3D视觉技术领域，具体涉及一种3D场景生成方法及装置。

背景技术

三维重建技术是基于二维的输入重建三维物体的方法。传统的三维重建方法主要通过大量彩色图像重建三维物体。近年来，随着Kinect等深度摄像头的发展和商品化，基于彩色深度图像的三维重建技术被广泛研究。基于彩色深度图像的三维重建技术可以被用于重建稠密、精细的物体模型，用于虚拟现实环境的构建，结合现在的虚拟现实、增强现实硬件和软件，提供三维的交互体验。

现有技术中，由于复杂场景下物体之间存在遮挡和相互影响，场景中单个物体容易出现误差和缺失，难以达到预期的精度。另外，通常需要多张图像才能恢复场景重建。

基于此，亟待一种技术，以解决上述问题。

发明内容

鉴于上述问题，本发明实施例提供了一种3D场景生成方法及装置，克服了上述问题或者至少部分地解决了上述问题。

根据本发明实施例的一个方面，提供了一种3D场景生成方法，该方法包括：对待处理图像进行场景识别，得到场景信息，所述场景信息包括所述图像中的目标物体的属性信息，所述属性信息至少包括深度信息；

基于所述场景信息获取所述目标物体的3D模型；

基于所述属性信息调整所获取的3D模型，得到所述待处理图像的3D场景。

在一种可选的方式中，所述对待处理图像进行场景识别包括：

基于所述待处理图像进行学习得到对应场景的特征图组；

基于所述特征图组确定每一特征图中的细节信息与所述待处理图像中的物体进行场景的预测。

在一种可选的方式中，所述特征图组包括：点特征图、线特征图、面特征图、物体特征图及深度特征图，所述基于所述待处理图像进行学习得到对应场景的特征图组，包括：

将所述待处理图像输入至第一特征提取模型进行卷积运算，输出得到对应的第一特征图组，所述第一特征图组的任两个特征图的尺度不一致；

将所述第一特征图组输入分别至对应的处理模型，输出得到对应的特征图。

在一种可选的方式中，所述属性信息还包括：语义信息，所述基于所述场景信息获取所述目标物体的3D模型，包括：

基于所述语义信息，确定所述目标物体的类型标签；

根据所述类型标签，从3D模型数据库中匹配对应的3D模型。

在一种可选的方式中，所述属性信息还包括；所述目标物体的物理特性，所述基于所述场景信息获取所述目标物体的3D模型，包括：

基于所述目标物体的物理特性，从多个预存的3D模型中匹配对应的3D模型。

在一种可选的方式中，所述目标物体为两个以上，所述属性信息还包括：尺寸信息，基于所述属性信息调整所获取的3D模型得到所述待处理图像的3D场景，包括：

基于所述目标物体的尺寸信息，调整所获取的3D模型的尺寸，调整后的3D模型的尺寸与所述目标物体的尺寸一致；

根据所述深度信息，对所获取的3D模型进行排序；

基于所述深度信息对所述目标物体进行碰撞检测，基于碰撞结果调整所述对应目标物体的最终位置。

在一种可选的方式中，所述基于所述深度信息对所述目标物体进行碰撞检测，基于碰撞结果调整所述对应目标物体的最终位置，包括：

计算任两个目标物体之间的深度差值；

若所述深度差值小于第一预设阈值，且所述两个目标物体存在遮挡关系，确定所述两个目标物体为碰撞物体；

将所述两个目标物体错开放置。

根据本发明实施例的另一个方面，提供了一种3D场景生成装置，该装置包括：

识别模块，用于对待处理图像进行场景识别，得到场景信息，所述场景信息包括所述图像中的目标物体的属性信息，所述属性信息至少包括深度信息；

获取模块，用于基于所述场景信息获取所述目标物体的3D模型；

调整模块，用于基于所述属性信息调整所获取的3D模型得到所述待处理图像的3D场景。

根据本发明实施例的另一个方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上所述的3D场景生成方法的操作。

根据本发明实施例的又一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使所述处理器执行上述3D场景生成方法的操作。

本发明实施例通过首先获取待处理图像的场景信息，根据场景信息来获取匹配的3D模型，然后根据深度信息调整3D模型，以得到待处理图像的3D场景，无需多张图像即可实现3D场景的生成，可提高3D场景生成效率。

上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的3D场景生成方法的流程示意图；

图2示出了本发明实施例提供的3D场景生成装置的结构示意图；

图3示出了本发明实施例提供的计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

图1示出了本发明实施例提供的3D场景生成方法的流程图，该方法由计算设备执行，例如计算机、服务器、服务器集群等。如图1所示，该方法包括以下步骤：

步骤110：对待处理图像进行场景识别，得到场景信息。

在本发明实施例中，待处理图像是可以由图像采集设备采集获得，图像采集设备可以是摄像机等具有图像采集功能的设备。例如，可以通过手持设备、穿戴设备或者在机器人上安装摄像头，机器人在待重建的场景内移动的同时进行拍摄，可以拍摄图片或者拍摄视频，根据机器人拍摄的图片或者视频获得多张待处理图像。该待处理图像是作为3D场景转换的基础图像，该待处理图像具备场景信息，在需要进行3D场景生成时，首先需要对待处理图像进行场景识别，识别到对应的场景信息，该场景信息包括所述图像中的目标物体的属性信息，所述属性信息至少包括深度信息，还可以包括：外观信息、尺寸信息、语义信息，该图像中可能会有多个不同的目标物体，每个目标物体有不同的属性信息，该语义信息可以包括对应目标物体的名称、类型、形状等关键词，该尺寸信息可以是对应目标物体的外观尺寸等信息。

在本发明实施例中，可选地，场景识别的过程可以包括：

步骤a1：基于待处理图像进行学习得到对应场景的特征图组。

在本发明实施例中，可以通过多任务学习对该待处理图像进行学习，得到对应（与该待处理图像对应）场景的特征图组，该特征图组可以包括：点特征图、线特征图、面特征图、物体特征图及深度特征图，所述点特征图包括所述对应场景中的点信息，所述线特征图包括所述对应场景中的线信息，所述面特征图包括所述对应场景中的面信息，所述物体特征图包括所述对应场景中的目标物体信息，所述深度特征图包括所述待处理图像中的目标物体的深度信息。特征图（feature map）通常包括：图像的颜色特征、纹理特征、形状特征和空间关系特征。

在本实施例中，多任务学习（Multi-task learning）是和单任务学习（single-task learning）相对的一种机器学习方法。单任务学习是指一次学习一个任务。多任务学习则是一种联合学习，多个任务并行学习，多个任务的学习结果之间相互影响。

步骤a2：基于特征图组确定每一特征图中的细节信息，将细节信息与待处理图像中的物体进行场景的预测。

在本发明实施例中，分别将每一前述特征图的细节信息与待处理图像的物体进行场景的预测，得到预测的场景信息。其中，该细节信息可以包括：该特征图的信息，例如点特征图的细节信息是对应场景的点信息，面特征图的细节信息为对应场景的线信息；面特征图的细节信息可以为对应场景的面信息，深度特征图的细节信息可以为对应场景的物体深度信息。需要说明的是，一个特征图对应一个预测场景。例如，根据点特征图的点信息来预测对应的场景信息。又例如：根据深度特征图的细节信息来预测对应的场景信息，根据该待处理图像中的物体的像素深度数据来预测对应的场景信息。需要说明的是，当前得到的场景信息，是基于待处理图像初步得到的场景信息，后期需要根据3D模型来进行调整。

在本实施例的一个优选方案中，基于待处理图像进行学习得到对应场景的特征图组的过程如下：

（1）首先，将所述待处理图像输入至第一特征提取模型进行卷积运算，输出第一特征图组；

在本实施例中，第一特征提取模型可以为卷积神经网络，可以检测输入的待处理图像中的特征。卷积神经网络卷是通过一层一层的节点组织起来，每一个节点就是一个神经元,相邻两层之间的节点相连，确定所述第一特征提取模型中每个节点的卷积核，以及确定节点与节点之间的链接路径。

可选地，为第一特征提取模型中每个节点确定卷积核，卷积核包括不同大小，例如2*2、3*3或5*5等，还包括不同形状，例如矩形、原型、椭圆形等固定形状卷积核或者可变形状卷积核等。具体的，可以通过先验选择的方式为每个节点选取卷积核。通过为每个节点搜索卷积核，根据连续多次的评分结果确定最优卷积核后保存采用该最优卷积核的第一特征提取模型。例如，可以采用蒙特卡洛方法进行参数调优，求解最优化模型。可以理解的是，还可以为每个卷积层确定单独的卷积核，则该层中每个节点均采用相同的卷积核，以提高计算效率。

在本实施例中，由于节点很多，不同层的节点连接可形成不同的链接路径，因此需要确定每个节点与下一个卷积层中哪个或者哪几个节点链接，即需要节点与节点之间的链接路径，可选地，可通过先验选择的方式为相邻卷积层之间的节点选择链接路径。另外，还可以为每个卷积层之间的链接确定路径，例如统一确定第一卷积层与第三卷积层链接，则第一卷积层中每个节点均与第三卷积层中的某个节点链接，可提高计算效率。

根据确定的所述每个节点的卷积核和节点与节点之间的链接路径，进行多层卷积运算，得到多个不同尺度的特征图。

在本发明实施例中，通过为每个节点确定卷积核，形成多种卷积核的组合。通过搜索确定节点与节点之间最优的链接路径，在第一特征提取模型种进行多层卷积运算后，得到多个不同尺度的特征图（即多尺度特征图）。多尺度特征可以从空间图片信息中提取多个维度的空间描述，得到多尺度、多分类、多素材的数据，提高了特征提取的精度和速度，有利于模型的小型化。

在本发明实施例中，通过采用第一特征提取模型进行多尺度特征的提取，通过搜索的方式进行卷积核选择、组合以及路径选择，实现了自动化的模型训练，无需人为训练、人为选择路径，提高了训练效率，并节约时间和成本。

（2）其次，将所述第一特征图组分别输入至对应的处理模型，输出对应的特征图。

在本发明实施例中，将前述不同尺度的特征图输入对应的处理模型，例如点线检测模型、平面检测模型、深度估计模型、法相估计模型和语义分割模型，得到对应场景的点特征图、线特征图、面特征图、物体特征图及和深度特征图。其中，点线检测模型可以检测点特征和线特征，平面检测模型可以检测面特征，点线检测模型、平面检测模型和语义分割模型可以用于检测物体特征，深度估计模型、法相估计模型用于上述特征检测的辅助估计。

在本发明实施例中，点特征图包括所述目标物体的语义信息，线特征图包括尺寸信息，所述物体特征图包括外观信息，所述深度特征图包括所述目标物体的深度信息。

其中，在所述点线检测模型、平面检测模型、深度估计模型、法相估计模型和语义分割模型的训练过程中，对所述点线检测模型、平面检测模型、深度估计模型、法相估计模型和语义分割模型的损失函数进行联合优化。上述各模型检测的参数或特征之间具有对应关系，例如，法相和平面之间的关系为：若法相检测越准确，则平面检测越准确。再如，深度和平面之间的关系为：若深度检测越准确，则平面检测越准确。深度和语义之间的关系为：若深度检测越准确，则语义检测越准确。因此，可以通过为上述各个模型之间添加权重作为约束，对各模型的损失函数进行联合优化。权重添加和优化过程可参考卷积神经网络通常的损失函数优化过程。

通过上述多任务学习的方式得到所述待处理图像中场景的点特征图、线特征图、面特征图和物体特征图，可以确定各特征图中所述点、线、面和物体之间的关系，使最终对所述待处理图像中场景进行重建的第一预测结果更准确。

步骤S120:基于场景信息获取目标物体的3D模型。

在本实施例中，根据场景信息来获取目标物体的3D模型，例如可以从当前数据库存储的3D模型中进行匹配得到。

在本实施例中，基于语义信息，确定目标物体的类型标签，例如该目标物体是电视机，获取该电视机对应的类型标签。

具体过程可如下：

步骤b1：基于语义信息，确定目标物体的类型标签。

具体地，例如该目标物体是电视机，根据对图像进行语义识别后的语义信息获取该电视机对应的类型标签。语义识别是对图像中每个像素点进行分类，用不同颜色标识不同类型的物体，从而得到物体的类型标签。

步骤b2：根据所述类型标签，从3D模型数据库中匹配对应的3D模型。

通过类型标签匹配到的3D模型可能与目标物体存在一定差别，例如不同类型的树，其外形不同。若类型标签仅为“树”，而没有具体到树的细分种类，则通过类型标签匹配到的可能是与目标物体大类相同但小类不同的模型。

在本实施例的另一优选方案中，该属性信息还可以包括目标物体的物理特性，该步骤120具体为：基于所述目标物体的物理特性，从多个预存的3D模型中匹配对应的3D模型。通过物理特性可以匹配到与该目标物体较为匹配的3D模型。

在一些实施例中，通过类型标签或者物理特性匹配到的3D模型可能会有多个，此时需要选出最匹配的3D模型。当然，最匹配的3D模型与目标物体的物理特性也可能还存在一定差别，需要对其进行调整，使该最匹配的3D模型与目标物体的物理特性之间无差别或差别进一步减小，从而可以将其用于3D场景的生成。因此挑选出最匹配的3D模型之后还可以包括以下步骤：

步骤c1：判断与所述目标物体的物理特性最匹配的3D模型与所述目标物体的物理特性的近似程度；

步骤c2：若所述近似程度小于第二预设阈值，将所述最为匹配的3D模型从所述3D模型数据库中取出；

步骤c3：依据所述目标物体的物理特性调整所述最为匹配的3D模型，以使所述最为匹配的3D模型与所述目标物体的物理特性的近似程度大于或等于所述第二预设阈值。

在本发明实施例中，根据物理特性挑选出最匹配的3D模型之后，可以计算挑选的3D模型与目标物体之间的物理特性之间的近似程度，若小于第二预设阈值，说明二者之间还具有一定差别，则将挑选的3D模型的物理特性调整到与目标物体的物理特性一致或差别较小，使得二者的近似程度大于或等于第二预设阈值。该第二预设阈值的具体大小可根据实际情况而设，此处对此不作限制。

步骤S130：基于属性信息调整所获取的3D模型，得到待处理图像的3D场景。

在本发明实施例中，根据属性信息来调整获取的3D模型，以得到待处理图像的3D场景。

在本发明实施例中，该目标物体为两个以上，因此会获得多个3D模型，该步骤S130包括：

步骤d1：基于目标物体尺寸信息，调整所获取的3D模型的尺寸，调整后的3D模型的尺寸与所述目标物体的尺寸一致；

具体地，根据目标物体的尺寸信息来调整获取的3D模型的尺寸，使得调整后的3D模型的尺寸与目标物体的尺寸一致。

步骤d2：根据所述深度信息，对所获取的3D模型进行排序；

在本发明实施例中，根据深度信息对所获取的3D模型进行排序，可以根据深度值的大小从大到小来排序或者由小到大排序，此处对此不作限制。

步骤d3：基于所述深度信息对所述目标物体进行碰撞检测，基于碰撞结果调整所述对应目标物体的最终位置。

在本发明实施例中，可根据前述排序的3D模型计算相邻两个目标物体之间的深度差值，并将其与第一预设阈值比较，若小于所述第一预设阈值，且两个目标物体当前存在遮挡关系，则确定所述两个目标物体为碰撞物体，若所述深度差值不小于第一预设阈值，和/或两个目标物体当前不存在遮挡关系，则所述两个目标物体不属于碰撞物体，其中，所述第一预设阈值的具体大小可根据实际需求而设，此处对此不作限制。首先对获取的3D模型按深度值来排序，计算相邻两个目标物体之间的深度差值（两个目标物体之间间隔越多目标物体，则二者之间的深度差值会比较大），并判断是否存在碰撞关系，无需逐个计算，可以提高判断效率，减少计算量。若两个目标物体之间存在碰撞关系，则需要将两个目标物体错开位置，避免两个目标物体在3D场景中发生碰撞。优选地，可以根据实际情况调整其中一个目标物体的位置，或者同时调整两个目标物体的位置。需要说明的是，若存在不止两个目标物体属于碰撞关系时，可根据3D场景的实际情况来调整，此处对此不作限制。

在本发明的实施例中，该步骤S110前还可包括：

步骤e1：获取多张待处理图像；

其中，可以通过拍摄装置从多角度进行拍摄获取多张待处理图像。

步骤e2：获取所述多张待处理图像的多个3D场景；

其中，可以根据前述步骤分别获取每张待处理图像的3D场景，从而得到多个3D场景。

步骤e3：将所述多个3D场景中的目标物体的重合程度进行校验，得到每个目标物体的校验结果；

其中，可采用现有的重合度校验方法来进行校验。

步骤e4：重生成所述校验结果不满足预设条件的目标物体的3D模型。

其中，对不满足预设条件的目标物体的3D模型进行重生成操作。不满足预设条件是指目标物体的重合程度超过预设阈值（重合程度的预设阈值）。并可以重复执行上述步骤，直至每个目标物体的校验结果均满足预设条件。或者仅对重生成的目标物体进行重合度校验，在校验不满足预设条件时继续执行步骤e4，如此循环直至重生成的目标物体的校验结果满足预设条件。这样无需对所有目标物体重新进行重合程度校验，提高了效率。

其中，该预设条件可以根据实际情况而设，此处对此不作限制，例如该预设条件可以是重合度满足预设范围。

在本发明中，首先获取待处理图像的场景信息，根据场景信息来获取匹配的3D模型，然后根据深度信息调整3D模型，以得到待处理图像的3D场景，无需多张图像即可实现3D场景的生成，提高3D场景生成效率。

基于上述实施例，如图2所示，示出了本发明实施例提供的3D场景生成装置的结构图，该装置包括：识别模块21、获取模块22、调整模块23，其中，

识别模块21，用于对待处理图像进行场景识别，得到场景信息。

在本发明实施例中，待处理图像是可以由图像采集设备采集获得，图像采集设备可以是摄像机等具有图像采集功能的设备。例如，可以通过手持设备或者在机器人上安装摄像头，机器人在待重建的场景内移动的同时进行拍摄，可以拍摄图片或者拍摄视频，根据机器人拍摄的图片或者视频获得多张待处理图像。该待处理图像是作为3D场景转换的基础图像，该待处理图像具备的场景信息，在需要进行3D场景生成时，首先需要对待处理图像进行场景识别，识别到对应的场景信息，该场景信息包括所述图像中的目标物体的属性信息，所述属性信息至少包括深度信息，还可以包括：外观信息、尺寸信息、语义信息，该图像中可能会有多个不同的目标物体，每个目标物体有不同的属性信息，该语义信息可以包括对应目标物体的名称、类型、形状等关键词，该尺寸信息可以是对应目标物体的外观尺寸等信息。

在本发明实施例中，可选地，场景识别的过程可以包括：

基于待处理图像进行学习得到对应场景的特征图组；

在本发明实施例中，可以通过多任务学习对该待处理图像进行学习，得到对应（与该待处理图像对应）场景的特征图组，该特征图组可以包括：点特征图、线特征图、面特征图、物体特征图及深度特征图，所述点特征图包括所述对应场景中的点信息，所述线特征图包括所述对应场景中的线信息，所述面特征图包括所述对应场景中的面信息，所述物体特征图包括所述对应场景中的目标物体信息，所述深度特征图包括所述待处理图像中的目标物体的深度信息。特征图（feature map）通常包括：图像的颜色特征、纹理特征、形状特征和空间关系特征。

在本实施例中，多任务学习（Multi-task learning）是和单任务学习（single-task learning）相对的一种机器学习方法。单任务学习是指一次学习一个任务。多任务学习则是一种联合学习，多个任务并行学习，多个任务的学习结果之间相互影响。

基于特征图组确定每一特征图中的细节信息，将所述细节信息与待处理图像中的物体进行场景的预测；

在本发明实施例中，分别将每一前述特征图的细节信息与待处理图像的物体进行场景的生成，得到对应的场景信息。其中，该细节信息可以包括：该特征图的信息，例如点特征图的细节信息是对应场景的点信息，面特征图的细节信息为对应场景的线信息；面特征图的细节信息可以为对应场景的面信息，深度特征图的细节信息可以为对应场景的物体深度信息。需要说明的是，一个特征图对应一个预测场景。例如，根据点特征图的点信息来预测对应的场景信息。又例如：根据深度特征图的细节信息来预测对应的场景信息，根据该待处理图像中的物体的像素深度数据来预测对应的场景信息。需要说明的是，当前得到的场景信息，是基于待处理图像初步得到的场景信息，后期需要根据3D模型来进行调整。

在本实施例的一个优选方案中，基于待处理图像进行学习得到对应场景的特征图组的过程如下：

首先，将所述待处理图像输入至第一特征提取模型进行卷积运算，输出得到对应的第一特征图组；

在本实施例中，第一特征提取模型可以为卷积神经网络，可以检测输入的待处理图像中的特征。卷积神经网络卷是通过一层一层的节点组织起来，每一个节点就是一个神经元,相邻两层之间的节点相连，确定所述第一特征提取模型中每个节点的卷积核，以及确定节点与节点之间的链接路径。

可选地，为第一特征提取模型中每个节点确定卷积核，卷积核包括不同大小，例如2*2、3*3或5*5等，还包括不同形状，例如矩形、原型、椭圆形等固定形状卷积核或者可变形状卷积核等。具体的，可以通过先验选择的方式为每个节点选取卷积核。通过为每个节点搜索卷积核，根据连续多次的评分结果确定最优卷积核后保存采用该最优卷积核的第一特征提取模型。例如，可以采用蒙特卡洛方法进行参数调优，求解最优化模型。可以理解的是，还可以为每个卷积层确定单独的卷积核，则该层中每个节点均采用相同的卷积核，以提高计算效率。

在本实施例中，由于节点很多，不同层的节点连接可形成不同的链接路径，因此需要确定每个节点与下一个卷积层中哪个或者哪几个节点链接，即需要节点与节点之间的链接路径，可选地，可通过先验选择的方式为相邻卷积层之间的节点选择链接路径。另外，还可以为每个卷积层之间的链接确定路径，例如统一确定第一卷积层与第三卷积层链接，则第一卷积层中每个节点均与第三卷积层中的某个节点链接，可提高计算效率。

根据确定的所述每个节点的卷积核和节点与节点之间的链接路径，进行多层卷积运算，得到多个不同尺度的特征图；

在本发明实施例中，通过为每个节点确定卷积核，形成多种卷积核的组合。通过搜索确定节点与节点之间最优的链接路径，在第一特征提取模型种进行多层卷积运算后，得到多个不同尺度的特征图（即多尺度特征图）。多尺度特征可以从空间图片信息中提取多个维度的空间描述，得到多尺度、多分类、多素材的数据，提高了特征提取的精度和速度，有利于模型的小型化。

在本发明实施例中，通过采用第一特征提取模型进行多尺度特征的提取，通过搜索的方式进行卷积核选择、组合以及路径选择，实现了自动化的模型训练，无需人为训练、人为选择路径，提高了训练效率，并节约时间和成本。

其次，将所述第一特征图组分别输入至对应的处理模型，输出对应的特征图。

在本发明实施例中，将前述不同尺度的特征图输入对应的处理模型，例如点线检测模型、平面检测模型、深度估计模型、法相估计模型和语义分割模型，得到对应场景的点特征图、线特征图、面特征图、物体特征图及和深度特征图。其中，点线检测模型可以检测点特征和线特征，平面检测模型可以检测面特征，点线检测模型、平面检测模型和语义分割模型可以用于检测物体特征，深度估计模型、法相估计模型用于上述特征检测的辅助估计。

在本发明实施例中，点特征图包括所述目标物体的语义信息，线特征图包括尺寸信息，所述物体特征图包括外观信息，所述深度特征图包括所述目标物体的深度信息。

其中，在所述点线检测模型、平面检测模型、深度估计模型、法相估计模型和语义分割模型的训练过程中，对所述点线检测模型、平面检测模型、深度估计模型、法相估计模型和语义分割模型的损失函数进行联合优化。上述各模型检测的参数或特征之间具有对应关系，例如，法相和平面之间的关系为：若法相检测越准确，则平面检测越准确。再如，深度和平面之间的关系为：若深度检测越准确，则平面检测越准确。深度和语义之间的关系为：若深度检测越准确，则语义检测越准确。因此，可以通过为上述各个模型之间添加权重作为约束，对各模型的损失函数进行联合优化。权重添加和优化过程可参考卷积神经网络通常的损失函数优化过程。

通过上述多任务学习的方式得到所述待处理图像的场景的点特征图、线特征图、面特征图和物体特征图，可以确定各特征图中所述点、线、面和物体之间的关系，使最终对所述待处理图像的场景进行重建的第一预测结果更准确。

获取模块22，用于基于场景信息获取目标物体的3D模型。

在本实施例中，根据场景信息来获取目标物体的3D模型，例如可以从当前数据库存储的3D模型中进行匹配得到。具体过程可如下：

在本实施例中，基于语义信息，确定目标物体的类型标签，例如该目标物体是电视机，获取该电视机对应的类型标签。

获取模块22，具体用于基于语义信息，确定目标物体的类型标签。

具体地，例如该目标物体是电视机，根据对图像进行语义识别后的语义信息获取该电视机对应的类型标签。语义识别是对图像中每个像素点进行分类，用不同颜色标识不同类型的物体，从而得到物体的类型标签。

根据所述类型标签，从3D模型数据库中匹配对应的3D模型。

通过类型标签匹配到的3D模型可能与目标物体存在一定差别，例如不同类型的树，其外形不同。若类型标签仅为“树”，而没有具体到树的细分种类，则通过类型标签匹配到的可能是与目标物体大类相同但小类不同的模型。

在本实施例的另一优选方案中，该属性信息还可以包括目标物体的物理特性，该获取模块22具体用于：基于所述目标物体的物理特性，从多个预存的3D模型中匹配对应的3D模型。通过物理特性可以匹配到与该目标物体较为匹配的3D模型。

在一些实施例中，通过类型标签或者物理特性匹配到的3D模型可能会有多个，此时需要选出最匹配的3D模型。当然，最匹配的3D模型与目标物体的物理特性也可能还存在一定差别，需要对其进行调整，使该最匹配的3D模型与目标物体的物理特性之间无差别或差别进一步减小，从而可以将其用于3D场景的生成。因此挑选出最匹配的3D模型挑选之后还可以包括以下步骤：

判断与所述目标物体的物理特性最匹配的3D模型与所述目标物体的物理特性的近似程度；

若所述近似程度小于第二预设阈值，将所述最为匹配的3D模型从所述3D模型数据库中取出；

依据所述目标物体的物理特性调整所述最为匹配的3D模型，以使所述最为匹配的3D模型与所述目标物体的物理特性的近似程度大于或等于所述第二预设阈值。

在本发明实施例中，根据物理特性挑选出最匹配的3D模型之后，可以计算挑选的3D模型与目标物体之间的物理特性之间的近似程度，若小于第二预设阈值，说明二者之间还具有一定差别，则将挑选的3D模型的物理特性调整到与目标物体的物理特性一致或差别较小，使得二者的近似程度大于或等于第二预设阈值，该第二预设阈值的具体大小可根据实际情况而设，此处对此不作限制。

调整模块23，用于基于属性信息调整所获取的3D模型，得到待处理图像的3D场景。

在本发明实施例中，根据属性信息来调整获取的3D模型，以得到待处理图像的3D场景。

在本发明实施例中，该目标物体为两个以上，因此会获得多个3D模型，调整模块23，具体用于：

基于目标物体尺寸信息，调整所获取的3D模型的尺寸，调整后的3D模型的尺寸与所述目标物体的尺寸一致；

具体地，根据目标物体的尺寸信息来调整获取的3D模型的尺寸，使得调整后的3D模型的尺寸与目标物体的尺寸一致。

根据所述深度信息，对所获取的3D模型进行排序；

在本发明实施例中，根据深度信息对所获取的3D模型进行排序，可以根据深度值的大小从大到小来排序或者由小到大排序，此处对此不作限制。

基于所述深度信息对所述目标物体进行碰撞检测，基于碰撞结果调整所述对应目标物体的最终位置。

在本发明实施例中，可根据前述排序的3D模型计算相邻两个目标物体之间的深度差值，并将其与第一预设阈值比较，若小于所述第一预设阈值，且两个目标物体当前存在遮挡关系，则确定所述两个目标物体为碰撞物体，若所述深度差值不小于第一预设阈值，和/或两个目标物体当前不存在遮挡关系，则所述两个目标物体不属于碰撞物体，其中，所述第一预设阈值的具体大小可根据实际需求而设，此处对此不作限制。首先对获取的3D模型按深度值来排序，计算相邻两个目标物体之间的深度差值（两个目标物体之间间隔越多目标物体则二者之间的深度差值会比较大），并判断是否存在碰撞关系，无需逐个计算，可以提高判断效率，减少计算量。若两个目标物体之间存在碰撞关系，则需要将两个目标物体错开位置，避免两个目标物体在3D场景中发生碰撞，优选地，可以根据实际情况调整其中一个目标物体的位置，或者同时调整两个目标物体的位置，需要说明的是，若存在不止两个目标物体属于碰撞关系时，可根据3D场景的实际情况来调整，此处对此不作限制。

在本发明的实施例中，该装置还可包括：准备模块，其中：

准备模块，用于获取获取多张待处理图像；

其中，可以通过拍摄装置从多角度进行拍摄获取多张待处理图像。

获取所述多张待处理图像的多个3D场景；

其中，可以根据前述步骤分别获取每张待处理图像的的3D场景，从而得到多个3D场景。

将所述多个3D场景中的目标物体的重合程度进行校验，得到每个目标物体的校验结果；

其中，可采用现有的重合度校验方法来进行校验。

重生成所述校验结果不满足预设条件的目标物体的3D模型。

其中，对不满足预设条件的目标物体的3D模型进行重生成操作，不满足预设条件是指目标物体的重合程度超过预设阈值（重合程度的预设阈值）。并可以重复执行上述步骤，直至每个目标物体的校验结果均满足预设条件。或者仅对重生成的目标物体进行重合度校验，在校验不满足预设条件时继续执行步骤e4，如此循环直至重生成的目标物体的校验结果满足预设条件。这样无需对所有目标物体重新进行重合程度校验，提高了效率。

其中，该预设条件可以根据实际情况而设，此处对此不作限制，例如该预设条件可以是重合度满足预设范围。

在本发明中，首先获取待处理图像的场景信息，根据场景信息来获取匹配的3D模型，然后根据深度信息调整3D模型，以得到待处理图像的3D场景，无需多张图像即可实现3D场景的生成，提高3D场景生成效率。

本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的3D场景生成方法。

可执行指令具体可以用于使得处理器执行以下操作：

对待处理图像进行场景识别，得到场景信息，所述场景信息包括所述图像中的目标物体的属性信息，所述属性信息至少包括深度信息；

基于所述场景信息获取所述目标物体的3D模型；

基于所述属性信息调整所获取的3D模型得到所述待处理图像的3D场景。

在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：

基于所述待处理图像进行学习得到对应场景的特征图组；

基于所述特征图组确定每一特征图中的细节信息与所述待处理图像中的物体进行场景的预测。

在一种可选的方式中，所述特征图组包括：点特征图、线特征图、面特征图、物体特征图及深度特征图，所述可执行指令使所述处理器执行以下操作：

将所述待处理图像输入至第一特征提取模型进行卷积运算，输出得到对应的第一特征图组，所述第一特征图组的任两个特征图的尺度不一致；

将所述第一特征图组输入分别至对应的处理模型，输出得到对应的特征图。

在一种可选的方式中，所述属性信息还包括：语义信息，所述可执行指令使所述处理器执行以下操作：

基于所述语义信息，确定所述目标物体的类型标签；

根据所述类型标签，从3D模型数据库中匹配对应的3D模型。

在一种可选的方式中，所述属性信息还包括；所述目标物体的物理特性，所述可执行指令使所述处理器执行以下操作：

基于所述目标物体的物理特性，从多个预存的3D模型中匹配对应的3D模型。

在一种可选的方式中，所述目标物体为两个以上，所述属性信息还包括：尺寸信息，所述可执行指令使所述处理器执行以下操作：

基于所述目标物体的尺寸信息，调整所获取的3D模型的尺寸，调整后的3D模型的尺寸与所述目标物体的尺寸一致；

根据所述深度信息，对所获取的3D模型进行排序；

基于所述深度信息对所述目标物体进行碰撞检测，基于碰撞结果调整所述对应目标物体的最终位置。

在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：

计算任两个目标物体之间的深度差值；

若所述深度差值小于第一预设阈值，且所述两个目标物体存在遮挡关系，确定所述两个目标物体为碰撞物体；

将所述两个目标物体错开放置。

在本发明中，首先获取待处理图像的场景信息，根据场景信息来获取匹配的3D模型，然后根据深度信息调整3D模型，以得到待处理图像的3D场景，无需多张图像即可实现3D场景的生成，提高3D场景生成效率。

图3示出了本发明实施例提供的计算设备的结构示意图，本发明具体实施例并不对设备的具体实现做限定。

如图3所示，该计算设备可以包括：处理器(processor)302、通信接口(Communications Interface)304、存储器(memory)306、以及通信总线308。

其中：处理器302、通信接口304、以及存储器306通过通信总线308完成相互间的通信。通信接口304，用于与其它设备比如客户端或其它服务器等的网元通信。处理器302，用于执行程序310，具体可以执行上述3D场景生成方法实施例中的相关步骤。

具体地，程序310可以包括程序代码，该程序代码包括计算机操作指令。

处理器302可能是中央处理器CPU、GPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本发明实施例的一个或各个集成电路。设备包括的一个或各个处理器，可以是同一类型的处理器，如一个或各个CPU、GPU；也可以是不同类型的处理器，如一个或各个CPU、GPU以及一个或各个ASIC。

存储器306，用于存放程序310。存储器306可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。

程序310具体可以用于使得处理器302执行以下操作：

对待处理图像进行场景识别，得到场景信息，所述场景信息包括所述图像中的目标物体的属性信息，所述属性信息至少包括深度信息；

基于所述场景信息获取所述目标物体的3D模型；

基于所述属性信息调整所获取的3D模型得到所述待处理图像的3D场景。

在一种可选的方式中，程序310具体可以用于使得处理器302执行以下操作：

基于所述待处理图像进行学习得到对应场景的特征图组；

基于所述特征图组确定每一特征图中的细节信息与所述待处理图像中的物体进行场景的预测。

在一种可选的方式中，所述特征图组包括：点特征图、线特征图、面特征图、物体特征图及深度特征图，程序310具体可以用于使得处理器302执行以下操作：

将所述待处理图像输入至第一特征提取模型进行卷积运算，输出得到对应的第一特征图组，所述第一特征图组的任两个特征图的尺度不一致；

将所述第一特征图组输入分别至对应的处理模型，输出得到对应的特征图。

在一种可选的方式中，所述属性信息还包括：语义信息，程序310具体可以用于使得处理器302执行以下操作：

基于所述语义信息，确定所述目标物体的类型标签；

根据所述类型标签，从3D模型数据库中匹配对应的3D模型。

在一种可选的方式中，所述属性信息还包括；所述目标物体的物理特性，程序310具体可以用于使得处理器302执行以下操作：

基于所述目标物体的物理特性，从多个预存的3D模型中匹配对应的3D模型。

在一种可选的方式中，所述目标物体为两个以上，所述属性信息还包括：尺寸信息，程序310具体可以用于使得处理器302执行以下操作：

基于所述目标物体的尺寸信息，调整所获取的3D模型的尺寸，调整后的3D模型的尺寸与所述目标物体的尺寸一致；

根据所述深度信息，对所获取的3D模型进行排序；

基于所述深度信息对所述目标物体进行碰撞检测，基于碰撞结果调整所述对应目标物体的最终位置。

在一种可选的方式中，程序310具体可以用于使得处理器302执行以下操作：

计算任两个目标物体之间的深度差值；

若所述深度差值小于第一预设阈值，且所述两个目标物体存在遮挡关系，确定所述两个目标物体为碰撞物体；

将所述两个目标物体错开放置。

在本发明中，首先获取待处理图像的场景信息，根据场景信息来获取匹配的3D模型，然后根据深度信息调整3D模型，以得到待处理图像的3D场景，无需多张图像即可实现3D场景的生成，可提高3D场景生成效率。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (8)

1.一种3D场景生成方法，其特征在于，包括：

对待处理图像进行场景预测，得到场景信息，所述场景信息包括所述图像中的目标物体的属性信息，所述属性信息至少包括深度信息；

基于所述场景信息获取所述目标物体的3D模型；

基于所述属性信息调整所获取的3D模型，得到所述待处理图像的3D场景；

所述对待处理图像进行场景预测包括：

通过多任务学习对所述待处理图像进行学习，得到对应场景的特征图组，所述特征图组包括：点特征图、线特征图、面特征图、物体特征图及深度特征图；

基于所述特征图组确定每一特征图中的细节信息与所述待处理图像中的物体进行场景的预测；

所述属性信息还包括；所述目标物体的物理特性，所述基于所述场景信息获取所述目标物体的3D模型，包括：

基于所述目标物体的物理特性，从多个预存的3D模型中匹配对应的3D模型；

在所述基于所述目标物体的物理特性，从多个预存的3D模型中匹配对应的3D模型之后，所述方法还包括：

判断与所述目标物体的物理特性最匹配的3D模型与所述目标物体的物理特性的近似程度；

若所述近似程度小于第二预设阈值，将所述最为匹配的3D模型从所述3D模型数据库中取出；

依据所述目标物体的物理特性调整所述最为匹配的3D模型，以使所述最为匹配的3D模型与所述目标物体的物理特性的近似程度大于或等于所述第二预设阈值。

2.根据权利要求1所述的3D场景生成方法，其特征在于，所述基于所述待处理图像进行学习得到对应场景的特征图组，包括：

将所述待处理图像输入至第一特征提取模型进行卷积运算，输出得到对应的第一特征图组，所述第一特征图组的任两个特征图的尺度不一致；

将所述第一特征图组输入分别至对应的处理模型，输出得到对应的特征图。

3.根据权利要求1所述的3D场景生成方法，其特征在于，所述属性信息还包括：语义信息，所述基于所述场景信息获取所述目标物体的3D模型，包括：

基于所述语义信息，确定所述目标物体的类型标签；

根据所述类型标签，从3D模型数据库中匹配对应的3D模型。

4.根据权利要求3所述的3D场景生成方法，其特征在于，所述目标物体为两个以上，所述属性信息还包括：尺寸信息，基于所述属性信息调整所获取的3D模型得到所述待处理图像的3D场景，包括：

基于所述目标物体的尺寸信息，调整所获取的3D模型的尺寸，调整后的3D模型的尺寸与所述目标物体的尺寸一致；

根据所述深度信息，对所获取的3D模型进行排序；

基于所述深度信息对所述目标物体进行碰撞检测，基于碰撞结果调整所述对应目标物体的最终位置。

5.根据权利要求4所述的3D场景生成方法，其特征在于，所述基于所述深度信息对所述目标物体进行碰撞检测，基于碰撞结果调整所述对应目标物体的最终位置，包括：

计算任两个目标物体之间的深度差值；

若所述深度差值小于第一预设阈值，且所述两个目标物体存在遮挡关系，确定所述两个目标物体为碰撞物体；

将所述两个目标物体错开放置。

6.一种3D场景生成装置，其特征在于，所述装置包括：

识别模块，用于对待处理图像进行场景识别，得到场景信息，所述场景信息包括所述图像中的目标物体的属性信息，所述属性信息至少包括深度信息；

获取模块，用于基于所述场景信息获取所述目标物体的3D模型；

调整模块，用于基于所述属性信息调整所获取的3D模型得到所述待处理图像的3D场景；

所述对待处理图像进行场景预测包括：

通过多任务学习对所述待处理图像进行学习，得到对应场景的特征图组，所述特征图组包括：点特征图、线特征图、面特征图、物体特征图及深度特征图；

基于所述特征图组确定每一特征图中的细节信息与所述待处理图像中的物体进行场景的预测；

所述属性信息还包括；所述目标物体的物理特性，所述基于所述场景信息获取所述目标物体的3D模型，包括：

基于所述目标物体的物理特性，从多个预存的3D模型中匹配对应的3D模型；

在所述基于所述目标物体的物理特性，从多个预存的3D模型中匹配对应的3D模型之后，所述调整模块还用于：

判断与所述目标物体的物理特性最匹配的3D模型与所述目标物体的物理特性的近似程度；

若所述近似程度小于第二预设阈值，将所述最为匹配的3D模型从所述3D模型数据库中取出；

依据所述目标物体的物理特性调整所述最为匹配的3D模型，以使所述最为匹配的3D模型与所述目标物体的物理特性的近似程度大于或等于所述第二预设阈值。

7.一种计算设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行根据权利要求1-5任一项所述3D场景生成方法的步骤。

8.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行根据权利要求1-5任一项所述3D场景生成方法的步骤。

Images