CN114283246B - 基于单目图像生成三维对象模型的方法 - Google Patents

Abstract

本公开涉及一种基于单目图像生成三维对象模型的方法，该方法包括：对单目图像进行对象检测和对象边界框的识别，得到至少一个目标对象的对象图块；对每个对象图块进行特征提取，得到第一特征图和第二特征图，二者具有相同的通道数且第一特征图的像素规模小于第二特征图的像素规模；根据第一特征图，对参数化对象模型的相机、姿态和形状参数进行初始化，得到初始对象模型；根据初始化的相机、姿态和形状参数以及第二特征图，生成图结构对应的图节点特征；根据初始对象模型的顶点坐标关系，生成图结构对应的邻接矩阵；将图节点特征和邻接矩阵输入至参数预先训练好的图神经网络模型中，输出回归预测参数；根据回归预测参数渲染得到三维对象模型。

Description

基于单目图像生成三维对象模型的方法

技术领域

本公开涉及图像处理技术领域，尤其涉及一种基于单目图像生成三维对象模型的方法。

背景技术

在很多应用场景中，需要获取单目摄像头拍摄得到的红绿蓝三通道图像（RGB图像），然后对RGB图像进行图像处理来得到图像中所包含的人、动物、物体（例如车辆、无人机、智能机器人）等对象的形状和姿态，进而利用对应的参数化对象模型来重建出与上述各个对象的姿态和形状相对应的三维对象模型。例如，通过单目RGB图像重建得到的三维人体模型能够被直接或间接地应用于教育、金融、体育和娱乐等诸多领域，在虚拟现实内容创作、图像编辑和重演、全息传送会议和虚拟试衣等场景中均有广泛的应用前景。

对二维图像数据进行处理以生成三维对象模型的过程中，大致有优化和回归两类方法，然而，基于优化的方法通常依赖于初始模型的设置，在拟合过程中需要精确的二维观测量和参数先验项，并且其复杂的非线性迭代优化过程通常比较耗时；基于回归的方法利用深度神经网络学习从二维图像到三维人体模型之间的非线性映射，即直接从二维人体图像中推断三维人体模型的形状和姿态参数，得到的模型的精确度有待于进一步提升。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开的实施例提供了一种基于单目图像生成三维对象模型的方法。

第一方面，本公开的实施例提供了一种基于单目图像生成三维对象模型的方法。上述方法包括：对包含目标对象的单目图像进行对象检测和对象边界框的识别，得到至少一个目标对象的对象图块；对每个对象图块进行特征提取，得到对应于每个对象图块的第一特征图和第二特征图，上述第一特征图和上述第二特征图具有相同的通道数且上述第一特征图的像素规模小于上述第二特征图的像素规模；根据上述第一特征图，对参数化对象模型的相机参数、姿态参数和形状参数进行初始化，得到初始对象模型；根据初始化的相机参数、姿态参数和形状参数以及上述第二特征图，生成携带有对象空间结构信息的图结构对应的图节点特征；根据上述初始对象模型的顶点坐标之间的关系，生成上述图结构对应的邻接矩阵；将上述图节点特征和上述邻接矩阵输入至参数预先训练好的图神经网络模型中，输出得到与上述相机参数、姿态参数和形状参数的各个维度对应的回归预测参数；以及根据上述回归预测参数来渲染得到与每个对象图块对应的三维对象模型。

根据本公开的实施例，上述根据初始化的相机参数、姿态参数和形状参数以及上述第二特征图，生成携带有对象空间结构信息的图结构对应的图节点特征，包括：对上述初始对象模型的顶点坐标进行稀疏采样，得到采样顶点坐标集合；根据初始化的相机参数，将上述采样顶点坐标集合投影至与上述第一特征图具有相同像素规模的二维平面，得到第一坐标投影集合；将上述第一坐标投影集合变换至与上述第二特征图具有相同像素规模的二维平面，得到第二坐标投影集合；对上述第二坐标投影集合中各个采样顶点的坐标投影和上述第二特征图进行图特征提取，得到图结构的初始图节点特征；以及将上述初始图节点特征与初始化的相机参数、姿态参数和形状参数进行拼接，得到上述图结构的图节点特征。

根据本公开的一种实施例，根据上述初始对象模型的顶点坐标之间的关系，生成上述图结构对应的邻接矩阵，包括：对上述初始对象模型的顶点坐标进行稀疏采样，得到采样顶点坐标集合；根据初始化的相机参数，将上述采样顶点坐标集合投影至与上述第一特征图具有相同像素规模的二维平面，得到第一坐标投影集合；根据上述第一坐标投影集合中任意两个顶点之间的欧式距离是否超过对应的设定阈值来确定任意两个顶点之间是否存在边，以得到上述图结构的邻接矩阵。

根据本公开的另一种实施例，根据上述初始对象模型的顶点坐标之间的关系，生成上述图结构对应的邻接矩阵，包括：对上述初始对象模型的顶点坐标进行稀疏采样，得到采样顶点坐标集合；根据初始化的相机参数，将上述采样顶点坐标集合投影至与上述第一特征图具有相同像素规模的二维平面，得到第一坐标投影集合；将上述第一坐标投影集合变换至与上述第二特征图具有相同像素规模的二维平面，得到第二坐标投影集合；根据上述第二坐标投影集合中任意两个顶点之间的欧式距离是否超过对应的设定阈值来确定任意两个顶点之间是否存在边，以得到上述图结构的邻接矩阵。

根据本公开的又一种实施例，根据上述初始对象模型的顶点坐标之间的关系，生成上述图结构对应的邻接矩阵，包括：对上述初始对象模型的顶点坐标进行稀疏采样，得到采样顶点坐标集合；根据初始化的相机参数，将上述采样顶点坐标集合投影至与上述第二特征图具有相同像素规模的二维平面，得到第二坐标投影集合；根据上述第二坐标投影集合中任意两个顶点之间的欧式距离是否超过对应的设定阈值来确定任意两个顶点之间是否存在边，以得到上述图结构的邻接矩阵。

根据本公开的实施例，上述对每个对象图块进行特征提取，得到对应于每个对象图块的第一特征图和第二特征图，包括：对每个对象图块进行尺寸转换处理，得到用于输入至图像特征提取模型中的具有预设像素尺寸的规范图像；将上述规范图像输入至上述图像特征提取模型中进行特征提取，输出得到初始特征图；将上述初始特征图输入至第一层反卷积层，输出得到第一特征图；将上述第一特征图输入至第二层反卷积层，输出得到第二特征图。

根据本公开的实施例，上述对包含目标对象的单目图像进行对象检测和对象边界框的识别，得到至少一个目标对象的对象图块，包括：对包含目标对象的单目图像进行对象检测，得到上述单目图像包含的目标对象个数和是否相互遮挡的检测结果；在上述单目图像包含多个目标对象的情况下，如果检测到存在目标对象的核心部位由于交叉而被遮挡时，则识别核心部位不被遮挡的目标对象所对应的对象边界框，并根据上述对象边界框来提取得到对应的对象图块，针对核心部位被遮挡的目标对象不进行对象图块的提取；如果检测到目标对象之间只是非核心部位有交叉且交叉比例不超过设定值，则识别每个对象的对象边界框，并根据上述对象边界框来提取得到对应的对象图块。

根据本公开的实施例，根据上述第一特征图，对参数化对象模型的相机参数、姿态参数和形状参数进行初始化，得到初始对象模型，包括：对上述第一特征图进行网格采样，得到采样特征图；对上述采样特征图的像素尺寸对应的宽度和高度这两个维度进行重组，得到重组特征图，上述重组特征图在像素尺寸维度上的一个维度值为1，另一个维度值为宽度和高度的维度之积；将上述重组特征图输入至基于卷积神经网络的回归器中进行参数回归，输出得到回归相机参数、回归姿态参数和回归形状参数，上述回归相机参数为初始化的相机参数；将上述参数化对象模型的静态姿态参数和上述回归姿态参数进行求和计算，得到初始化的姿态参数；将上述参数化对象模型的静态形状参数和上述回归形状参数进行求和计算，得到初始化的形状参数；根据上述初始化的相机参数、上述初始化的姿态参数和上述初始化的形状参数来渲染得到初始对象模型。

根据本公开的实施例，上述图神经网络模型包括：图注意力网络、平均计算模块和向量拆分模块；将上述图节点特征和上述邻接矩阵输入至参数预先训练好的图神经网络模型中，输出得到与上述相机参数、姿态参数和形状参数的各个维度对应的回归预测参数，包括：将上述图结构的图节点特征和上述邻接矩阵输入至上述图注意力网络中，输出得到图节点向量，每个图节点向量的维度等于上述初始化的相机参数、姿态参数和形状参数的维度之和；上述平均计算模块对上述图结构中所有图节点向量的各维度元素在对应维度上取平均值，得到平均图节点向量；上述向量拆分模块将上述平均图节点向量进行分解，得到对应于相机参数、姿态参数和形状参数各自维度上的平均图节点向量元素；将上述平均图节点向量元素作为上述回归预测参数进行输出。

第二方面，本公开的实施例提供了一种构建图像处理模型的方法。上述方法包括：基于特征提取模型，对训练用对象图块进行特征提取，得到对应于每个训练用对象图块的第一训练特征图和第二训练特征图，上述第一训练特征图和上述第二训练特征图具有相同的通道数且上述第一训练特征图的像素规模小于上述第二训练特征图的像素规模；基于参数回归模型，根据上述第一训练特征图，对训练用参数化对象模型的相机参数、姿态参数和形状参数进行初始化，得到训练初始对象模型；根据上述训练初始对象模型对应的初始化的相机参数、姿态参数和形状参数以及上述第二训练特征图，生成携带有对象空间结构信息的图结构对应的训练图节点特征；根据上述训练初始对象模型的顶点坐标之间的关系，生成上述图结构对应的训练邻接矩阵；将上述训练图节点特征和上述训练邻接矩阵输入至图神经网络模型中，输出得到与上述相机参数、姿态参数和形状参数的各个维度对应的训练回归预测参数；以及基于渲染模块，根据上述训练回归预测参数来渲染得到与每个训练用对象图块对应的三维训练对象模型；其中，将上述训练用对象图块对应的训练用对象的姿态参数真实值、形状参数真实值、训练用对象关节点的三维坐标真实值以及训练用对象关节点的二维坐标真实值作为训练标签，对上述特征提取模型、上述参数回归模型和上述图神经网络模型联合进行训练，训练完成的特征提取模型、参数回归模型和图神经网络模型以及上述渲染模块构成图像处理模型，上述图像处理模型的输入为对象图块，上述图像处理模型的输出为与输入的对象图块对应的三维对象模型。

第三方面，本公开的实施例提供了一种图像处理的装置。上述装置包括：对象检测模块、特征提取模块、参数初始化模块、图节点特征生成模块、邻接矩阵计算模块、回归预测参数生成模块以及三维模型渲染模块。上述对象检测模块用于对包含目标对象的单目图像进行对象检测和对象边界框的识别，得到至少一个目标对象的对象图块。上述特征提取模块用于对每个对象图块进行特征提取，得到对应于每个对象图块的第一特征图和第二特征图，上述第一特征图和上述第二特征图具有相同的通道数且上述第一特征图的像素规模小于上述第二特征图的像素规模。上述参数初始化模块用于根据上述第一特征图，对参数化对象模型的相机参数、姿态参数和形状参数进行初始化，得到初始对象模型。上述图节点特征生成模块用于根据初始化的相机参数、姿态参数和形状参数以及上述第二特征图，生成携带有对象空间结构信息的图结构对应的图节点特征。上述邻接矩阵计算模块用于根据上述初始对象模型的顶点坐标之间的关系，生成上述图结构对应的邻接矩阵。上述回归预测参数生成模块用于将上述图节点特征和上述邻接矩阵输入至参数预先训练好的图神经网络模型中，输出得到与上述相机参数、姿态参数和形状参数的各个维度对应的回归预测参数。上述三维模型渲染模块用于根据上述回归预测参数来渲染得到与每个对象图块对应的三维对象模型。

第四方面，本公开的实施例提供了一种电子设备。上述电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现如上所述的基于单目图像生成三维对象模型的方法或构建图像处理模型的方法。

第五方面，本公开的实施例提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现如上所述的基于单目图像生成三维对象模型的方法或构建图像处理模型的方法。

本公开实施例提供的上述技术方案与现有技术相比至少具有如下优点的部分或全部：

通过针对对象图像进行特征提取得到具有相同通道且不同尺寸的像素规模的第一特征图和第二特征图，兼顾全局特征和细节特征，进一步基于第一特征图来对参数化对象模型的各个参数（包括相机参数、姿态参数和形状参数）进行初始化，基于第二特征图和初始化后的参数以及对应的初始对象模型来构建得到携带有对象空间结构信息的图结构对应的图节点特征和邻接矩阵，并基于图神经网络模型来回归得到优化后的各个参数（回归预测参数），综合利用图结构和图神经网络模型来回归得到三维对象模型的参数，能够有效利用目标对象的空间结构信息，并提高三维对象模型重建的精度和对复杂情况的鲁棒性，并且该方法可以推广应用到其他依赖于空间结构信息的单目三维重建任务中，相比于当前主流的基于卷积神经网络进行人体模型回归的方法，可以有效避免由于特征向量的重组而导致的人体结构信息丢失的问题。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出了本公开实施例的基于单目图像生成三维对象模型的方法的流程图；

图2示意性示出了根据本公开实施例的步骤S101的详细实施流程图；

图3A示意性示出了根据本公开实施例的步骤S102的详细实施流程图；

图3B示意性示出了根据本公开实施例的步骤S102的详细实施过程图；

图4示意性示出了根据本公开实施例的步骤S103的详细实施过程图；

图5示意性示出了根据本公开实施例的步骤S104和S105的详细实施过程图；

图6示意性示出了根据本公开实施例的步骤S106的详细实施过程图；

图7示意性示出了根据本公开实施例的方法处理包含人体的单目图像的详细实施流程图；

图8示意性示出了根据本公开实施例的基于图神经网络模型进行人体模型的参数优化的详细实施流程图；

图9示意性示出了本公开实施例的构建图像处理模型的方法的流程图；以及

图10示意性示出了本公开实施例提供的电子设备的结构框图。

具体实施方式

本公开的实施例提出一种基于单目图像生成三维对象模型的方法，实现了从输入/获取的单目图像到三维对象模型的全流程图像处理，通过综合利用图结构和图神经网络模型来回归得到三维对象模型的参数，能够有效利用目标对象的空间结构信息，并提高三维对象模型重建的精度和对复杂情况的鲁棒性，并且该方法可以推广应用到其他依赖于空间结构信息的单目三维重建任务中，相比于当前主流的基于卷积神经网络进行回归的方法，可以有效避免由于特征向量的重组而导致的人体结构信息丢失的问题。

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

本公开的第一个示例性实施例提供了一种基于单目图像生成三维对象模型的方法。

图1示意性示出了本公开实施例的基于单目图像生成三维对象模型的方法的流程图。

参照图1所示，本公开实施例提供的基于单目图像生成三维对象模型的方法，包括以下步骤：S101、S102、S103、S104、S105、S106和S107。

在步骤S101，对包含目标对象的单目图像进行对象检测和对象边界框的识别，得到至少一个目标对象的对象图块。

单目图像是指利用摄像装置针对一个场景（可以是动态或静态场景）拍摄得到的一张图像，通常为RGB图像。单目图像是相对于双目/多目图像而言，双目/多目图像是指针对同一个场景（可以是动态或静态场景）由不同位置的两台摄像装置或者一台摄像装置经过移动或旋转拍摄得到的两个或多个图像；单目图像通常是通过一台摄像装置（例如照相机、手机、带有拍照功能的计算机、人工智能机器人等）将实际三维空间场景下的目标对象成像至二维的平面上。

单目图像中所包含的目标对象可以包括但不限于是：人体、动物、车辆、无人机、智能机器人等各种具有形状和动作姿态的对象。

在单目图像中可以存在一个或多个目标对象，例如在一张个人全身照片中，目标对象为其中的人物；在一张多人合影照片中，目标对象为其中的一个或多个人物；在一个道路监控视频拍摄得到的单目图像中，目标对象为其中的一个车辆。

上述对象边界框是指在对单目图像中的对象识别后采用矩形框形式的边框来框住目标对象，使得目标对象的整体外形轮廓位于该对象边界框中。

在步骤S102，对每个对象图块进行特征提取，得到对应于每个对象图块的第一特征图和第二特征图，上述第一特征图和上述第二特征图具有相同的通道数且上述第一特征图的像素规模小于上述第二特征图的像素规模。

通过针对每个图像图块进行特征提取来得到对应于每个对象图块的两个特征图（第一特征图和第二特征图），这两个特征图具有相同的通道数和不同尺寸的像素规模，例如以单目图像为含有人体的RGB图像、目标对象为人体为例，第一特征图的维度为5（通道数）×14（宽度上的像素值，例如沿着纸面的左右方向为宽度方向）×14（高度上的像素值，例如沿着纸面的上下方向为高度方向），第二特征图的维度为5（通道数）×56（宽度上的像素值）×56（高度上的像素值）。

通过特征提取得到的第一特征图和第二特征图能够兼顾全局特征和细节特征。

在步骤S103，根据上述第一特征图，对参数化对象模型的相机参数、姿态参数和形状参数进行初始化，得到初始对象模型。

参数化对象模型可以是对各个目标对象（人，小猫、小狗、大象、恐龙等动物，机器人，无人机、车辆等）建模得到的参数化模型，以参数化人体模型为例，参数化人体模型可以是SMPL（a skinned multi-person linear model）模型（一种人体三维模型），该模型中具有一些模拟人体的参数，诸如姿态参数、形状参数、三维视场中的相机参数等。

根据第一特征图携带的特征信息，可以对参数化对象模型的各个参数进行初始化，得到初始化的相机参数、姿态参数和形状参数等，从而根据这些初始化的参数可以渲染得到初始对象模型。

在步骤S104，根据初始化的相机参数、姿态参数和形状参数以及上述第二特征图，生成携带有对象空间结构信息的图结构对应的图节点特征。

由于在步骤S103中根据第一特征图来对参数化对象模型的参数进行初始化，经初始化的各个参数携带有目标对象的细节特征，进一步在步骤S104中利用初始化的各个参数和第二特征图来生成图结构中各个图节点的图节点特征，能够有效利用目标对象的空间结构信息。

在步骤S105，根据上述初始对象模型的顶点坐标之间的关系，生成上述图结构对应的邻接矩阵。

图结构的邻接矩阵用于表征该图结构中的各个节点之间是否连接的连接关系。

在步骤S106，将上述图节点特征和上述邻接矩阵输入至参数预先训练好的图神经网络模型中，输出得到与上述相机参数、姿态参数和形状参数的各个维度对应的回归预测参数。

上述回归预测参数是根据图结构携带的信息进行回归优化后的相机参数、姿态参数和形状参数。

在步骤S107，根据上述回归预测参数来渲染得到与每个对象图块对应的三维对象模型。

针对每个对象图块，执行上述步骤S102对应的特征提取操作、步骤S103对应的模型参数初始化操作、步骤S104和步骤S105对应的生成图结构对应的图节点特征和邻接矩阵的操作、步骤S106对应的参数回归预测操作和步骤S107对应的模型渲染操作之后，可以得到与各个对象图像对应的三维对象模型。可以理解的是，当在单目图像中存在一类目标对象的多个主体时，可以输出与各个主体各自对应的三维模型；当在单目图像中存在多类目标对象时，需要调用各类目标对象所对应的参数化对象模型进行初始化和参数回归优化，进而输出与各类目标对象各自对应的三维模型。

基于上述步骤S101~S107，通过针对对象图像进行特征提取得到具有相同通道且不同尺寸的像素规模的第一特征图和第二特征图，兼顾全局特征和细节特征，进一步基于第一特征图来对参数化对象模型的各个参数（包括相机参数、姿态参数和形状参数）进行初始化，基于第二特征图和初始化后的参数以及对应的初始对象模型来构建得到携带有对象空间结构信息的图结构对应的图节点特征和邻接矩阵，并基于图神经网络模型来回归得到优化后的各个参数（回归预测参数），综合利用图结构和图神经网络模型来回归得到三维对象模型的参数，能够有效利用目标对象的空间结构信息，并提高三维对象模型重建的精度和对复杂情况的鲁棒性，并且该方法可以推广应用到其他依赖于空间结构信息的单目三维重建任务中，相比于当前主流的基于卷积神经网络进行人体模型回归的方法，至少可以有效避免由于特征向量的重组而导致的人体结构信息丢失的问题。

下面结合附图来对以上各个步骤的实施过程进行示例。

图2示意性示出了根据本公开实施例的步骤S101的详细实施流程图。

根据本公开的实施例，参照图2所示，上述步骤S101中，对包含目标对象的单目图像进行对象检测和对象边界框的识别，得到至少一个目标对象的对象图块，包括步骤S210和以下步骤中的一个：S221或S222。

在步骤S210，对包含目标对象的单目图像进行对象检测，得到上述单目图像包含的目标对象个数和是否相互遮挡的检测结果。

步骤S210中，可以基于卷积神经网络构建的图像检测/识别模型来进行对象检测。

在上述单目图像包含多个目标对象的情况下，如果检测到存在目标对象的核心部位由于交叉而被遮挡时，则执行步骤S221，识别核心部位不被遮挡的目标对象所对应的对象边界框，并根据上述对象边界框来提取得到对应的对象图块，针对核心部位被遮挡的目标对象不进行对象图块的提取。

如果检测到目标对象之间只是非核心部位有交叉且交叉比例不超过设定值，则执行步骤S222，识别每个对象的对象边界框，并根据上述对象边界框来提取得到对应的对象图块。

以目标对象是人体为例，在步骤S210中，可以采用基于Mask R-CNN（一种开源的卷积神经网络）构建的人体检测器来检测其中的人物目标，Mask R-CNN对输入的单目图像进行人体的检测识别，并对识别到的完整人体提取对应的边界框，这里的完整人体是指头部和躯干（核心部位）不被遮挡、非核心部位交叉的比例不超过设定值的人体。

在本公开的实施例中，由于要对目标对象进行形状和姿态的三维模拟仿真，得到与单目图像中的目标对象对应的三维对象模型，因此针对该目标对象的部位完整性有预设的要求，例如针对人体而言，要求人体的头部、躯干和四肢相对完整，头部和躯干作为核心部位，四肢作为非核心部位，某个特定人体的头部和躯干不被遮挡且四肢被遮挡的比例小于预设值的话可以视为该特定人体符合完整性要求，可以进行图块提取。

图3A示意性示出了根据本公开实施例的步骤S102的详细实施流程图；图3B示意性示出了根据本公开实施例的步骤S102的详细实施过程图。

根据本公开的实施例，参照图3A和图3B所示，上述步骤S102中，对每个对象图块进行特征提取，得到对应于每个对象图块的第一特征图和第二特征图，包括以下步骤：S310、S320、S330和S340。

在步骤S310，对每个对象图块进行尺寸转换处理，得到用于输入至图像特征提取模型中的具有预设像素尺寸的规范图像。

参照图3B所示，对包含人体（目标对象）的对象图块P₁进行尺寸转换处理，例如可以通过尺寸放大、尺寸缩小等方式来得到具有预设像素尺寸的规范图像，这里以进行尺寸放大作为示例，得到的规范图像P₂的预设像素尺寸例如为3（通道数）×224（宽度上的像素值）×224（高度上的像素值）。

在步骤S320，将上述规范图像输入至上述图像特征提取模型中进行特征提取，输出得到初始特征图。

例如，采用在ImageNet数据集进行过预训练的ResNet-50神经网络（一种类型的卷积神经网络）作为图像特征提取模型。参照图3B所示，将规范图像P₂输入至ResNet-50神经网络中进行特征提取，输出得到2048（通道数，channel）×7（宽度上的像素值）×7（高度上的像素值）的初始特征图f₀。

在步骤S330，将上述初始特征图输入至第一层反卷积层，输出得到第一特征图。

在步骤S340，将上述第一特征图输入至第二层反卷积层，输出得到第二特征图。

示例性地，上述步骤S330和S340中，第一层反卷积层可以包含PyTorch（是一种开源的Python机器学习库，基于Torch，用于自然语言处理等应用程序）中的一个反卷积层torch.nn.ConvTranspose2d，第二反卷积层可以包含两个串联连接的反卷积层torch.nn.ConvTranspose2d。其中上述三个反卷积层的参数除了输入输出的维度外其他都是一致的，效果都是将特征图后两维的尺寸扩大两倍，具体的相同的参数包括：

kernel_size （卷积核的总个数）= 4；

stride （步长）=2；

padding （内边距）= 1；

output_padding（输出内边距） = 0。

不同的参数为：

（1）第一层反卷积层中的唯一一个反卷积层（例如图3B中的反卷积层DL₁所示）的in_channels=2048，out_channels=5；

（2）第二层反卷积层中的两个反卷积层（例如图3B中的反卷积层DL₂和DL₃所示）都为in_channels=5，out_channels=5。

参照图3B所示，在一实施例中，将初始特征图f₀输入至第一层反卷积层中的反卷积层DL₁之后，输出得到5×14×14的第一特征图f₁，将上述第一特征图输入至第二层反卷积层中，依次经过反卷积层DL₂和DL₃之后，输出得到5×56×56的第二特征图f₂。

图4示意性示出了根据本公开实施例的步骤S103的详细实施过程图。

根据本公开的实施例，参照图4所示，上述步骤S103中，根据上述第一特征图，对参数化对象模型的相机参数、姿态参数和形状参数进行初始化，得到初始对象模型，包括以下步骤：S410、S420、S430、S440、S450和S460。

在步骤S410，对上述第一特征图进行网格采样，得到采样特征图。

在一实施例中，参照图4所示，采用宽度和高度上的像素尺寸为21×21的网格来对第一特征图f₁进行网格采样，得到5（通道数）×21（宽度上的像素值）×21（高度上的像素值）的采样特征图f_m1。

在步骤S420，对上述采样特征图的像素尺寸对应的宽度和高度这两个维度进行重组，得到重组特征图，上述重组特征图在像素尺寸维度上的一个维度值为1，另一个维度值为宽度和高度的维度之积。

参照图4所示，对上述采样特征图f_m1在后两维（宽度和高度这两个维度）进行重组，得到5（通道数）×441（宽度上的像素值）×1（高度上的像素值）或5（通道数）×1（宽度上的像素值）×441（高度上的像素值）的重组特征图，这里以5（通道数）×1（宽度上的像素值）×441（高度上的像素值）的重组特征图f_r1作为示例。

在步骤S430，将上述重组特征图输入至基于卷积神经网络（CNN）的回归器中进行参数回归，输出得到回归相机参数、回归姿态参数和回归形状参数，上述回归相机参数为初始化的相机参数。

参照图4所示，将重组特征图f_r1输入至基于CNN的回归器R₁中进行参数回归，输出得到回归相机参数c₁、回归姿态参数θ₀和回归形状参数β₀，回归相机参数作为初始化的相机参数。进行参数回归的过程可以表示为以下表达式：

c₁，θ₀，β₀=R₁（f_r1）（1）。

在步骤S440，将上述参数化对象模型的静态姿态参数和上述回归姿态参数进行求和计算，得到初始化的姿态参数。

将参数化对象模型的静态姿态参数（是个常向量）记作θ_t，则初始化的姿态参数θ₁可以表示为以下表达式：

θ₁=θ_t+θ₀（2）。

在步骤S450，将上述参数化对象模型的静态形状参数和上述回归形状参数进行求和计算，得到初始化的形状参数。

将参数化对象模型的静态形状参数记作β_t，则初始化的形状参数β₁可以表示为以下表达式：

β₁=β_t+β₀（3）。

以上步骤S440和S450可以同步执行或者先后执行。

在步骤S460，根据上述初始化的相机参数、上述初始化的姿态参数和上述初始化的形状参数来渲染得到初始对象模型。

例如参照图4所示，根据初始化的相机参数c₁、初始化的姿态参数θ₁和初始化的形状参数β₁可以渲染得到初始对象模型Model₁。

图5示意性示出了根据本公开实施例的步骤S104和S105的详细实施过程图。

根据本公开的实施例，参照图5所示，上述步骤S104中，根据初始化的相机参数、姿态参数和形状参数以及上述第二特征图，生成携带有对象空间结构信息的图结构对应的图节点特征，包括以下步骤：S510、S520、S530、S540和S550。

根据本公开的实施例，参照图5所示，上述步骤S105中，根据上述初始对象模型的顶点坐标之间的关系，生成上述图结构对应的邻接矩阵，包括以下步骤：S510、S520、S530和S560。

在步骤S510，对上述初始对象模型的顶点坐标进行稀疏采样，得到采样顶点坐标集合。

参照图5所示，将初始对象模型Model₁的顶点坐标的集合（例如以初始人体模型为例，包含6890个顶点）表示为V₁，可以通过顶点采样矩阵（或顶点采样算法）D来对顶点坐标集合V₁进行稀疏采样（具体运算时实施矩阵乘法），得到含有431个顶点的采样顶点坐标集合V_s1，采样顶点坐标集合中各个采样顶点为三维坐标，稀疏采样过程可以表示为以下表达式：

V_s1=DV₁（4）。

在步骤S520，根据初始化的相机参数，将上述采样顶点坐标集合投影至与上述第一特征图具有相同像素规模的二维平面，得到第一坐标投影集合。

参照图5所示，根据初始化的相机参数c₁，将采样顶点坐标集合V_s1投影至与第一特征图f₁具有相同宽度和高度像素值的二维平面（以14×14的二维平面作为示例），得到第一坐标投影集合V_p1，该第一坐标投影集合V_p1中对应于各个采样顶点的坐标投影均为二维坐标，采样顶点坐标集合投影过程可以表示为以下表达式：

V_p1=Π（V_s1，c₁，f₁）（5），

其中，Π表示弱透视投影函数。

在步骤S530，将上述第一坐标投影集合变换至与上述第二特征图具有相同像素规模的二维平面，得到第二坐标投影集合。

对第一坐标投影集合V_p1中的顶点坐标进行缩放变换处理，变换至与第二特征图f₂具有相同宽度和高度像素值的二维平面（以56×56的二维平面作为示例），得到第二坐标投影集合V_p2，该第二坐标投影集合V_p2中对应于各个采样顶点的坐标投影均为二维坐标。

在其他实施例中，也可以采用以下方式来得到第二坐标投影集合：根据初始化的相机参数，将上述采样顶点坐标集合投影至与上述第二特征图具有相同像素规模的二维平面，得到第二坐标投影集合。

在步骤S540，对上述第二坐标投影集合中各个采样顶点的坐标投影和上述第二特征图进行图特征提取，得到图结构的初始图节点特征。

例如，可以通过PyTorch中的特征采样函数torch.nn.functional.grid_sample()来进行图特征提取，该特征采样函数的输入为上述第二特征图f₂与第二坐标投影集合V_p2，输出为图结构的初始节点特征g_k，其中k表示图结构中各个图节点的序号，共有431个图节点，序号可以记作k=0,1,2,3,……,430；g_k表示图结构中第k个图节点对应的初始节点特征，该初始节点特征作为本公开实施例中图结构的图节点特征的一个组成部分，图节点特征除了包括初始节点特征之外，还包括初始化的各个参数（相机参数、姿态参数和形状参数）。图结构中每个图节点的初始节点特征g_k是1个长度为5的一维（对应于通道数）行向量，即行向量中具有5个元素。

在步骤S550，将上述初始图节点特征与初始化的相机参数、姿态参数和形状参数进行拼接，得到上述图结构的图节点特征。

将图结构中第k个图节点的初始节点特征g_k与初始化的相机参数c₁、姿态参数θ₁和形状参数β₁进行拼接，对应得到第k个图节点的图节点特征gn_k。这里的拼接是对每一个图节点对应的行向量的长度进行拼接后扩展，例如采用PyTorch中常用的函数torch.cat()，并设置其中的参数：dim（维度参数）=1。

例如，各个图节点的图节点特征gn_k可以表示为以下形式：

gn_k=Concat（g_k，θ₁，β₁，c₁）（6），

其中，Concat表示拼接函数。

在步骤S560，根据上述第一坐标投影集合或上述第二坐标投影集合中任意两个顶点之间的欧式距离是否超过对应的设定阈值来确定任意两个顶点之间是否存在边，以得到上述图结构的邻接矩阵。

参照图5所示，以根据第一坐标投影集合来计算得到图结构的邻接矩阵A作为示例，该实施方式中，通过预先实验多次得到该第一坐标投影集合所对应的设定阈值为6（单位为像素）具有较好的效果，设定阈值与第一坐标投影集合对应的投影二维平面的尺寸14×14有关，如果对应其他二维平面的尺寸则需要经过实验来相应地调整设定阈值。例如采用第二坐标投影集合（对应于56×56的二维平面）来计算邻接矩阵A时，需要经过实验来确定对应的设定阈值。

在步骤S560中，当第一坐标投影集合或第二坐标投影集合中两个不同的顶点之间的欧式距离超过（≥）对应的设定阈值时，确定这两个顶点之间不存在边，对应的邻接矩阵的元素为0；当第一坐标投影集合或第二坐标投影集合中两个顶点之间的欧式距离小于（＜）对应的设定阈值时，确定这两个顶点之间存在边，对应的邻接矩阵的元素为1。

上述步骤S104和步骤S105在具体实施时，可以共用步骤S510、S520和S530。步骤{S540，S550}和步骤S560之间不限定先后顺序，二者可以同步执行或者先后执行。

图6示意性示出了根据本公开实施例的步骤S106的详细实施过程图。

根据本公开的实施例，上述图神经网络模型600包括：图注意力网络601、平均计算模块602和向量拆分模块603；参照图6所示，上述步骤S106中，将上述图节点特征和上述邻接矩阵输入至参数预先训练好的图神经网络模型中，输出得到与上述相机参数、姿态参数和形状参数的各个维度对应的回归预测参数，包括以下步骤：S610、S620、S630和S640。

在步骤S610，将上述图结构的图节点特征和上述邻接矩阵输入至上述图注意力网络中，输出得到图节点向量。每个图节点向量的维度等于上述初始化的相机参数、姿态参数和形状参数的维度之和。

参照图6所示，图结构中各个图节点的图节点特征gn_k和上述邻接矩阵A作为图神经网络模型600的输入，先输入至上述图注意力网络（GAT，Graph Attention Network）601中进行处理，得到各个图节点对应的输出向量，将其描述为图节点向量，第k个图节点的输入的图节点特征gn_k对应输出的图节点向量表示为ga_k，ga_k的维度等于上述初始化的相机参数c₁、姿态参数θ₁和形状参数β₁的维度之和，ga_k的维度可以对应拆分为与初始化的相机参数c₁、姿态参数θ₁和形状参数β₁的维度相对应的三种维度。

在步骤S620，上述平均计算模块对上述图结构中所有图节点向量的各维度元素在对应维度上取平均值，得到平均图节点向量。

图节点向量ga_k输入至平均计算模块602中，平均计算模块602对所有图节点向量的各维度元素在对应维度上取平均值，输出得到平均图节点向量gm_k。平均图节点向量gm_k的计算过程可以表示为以下表达式：

（7）。

在步骤S630，上述向量拆分模块将上述平均图节点向量进行分解，得到对应于相机参数、姿态参数和形状参数各自维度上的平均图节点向量元素。

参照图6所示，平均图节点向量gm_k输入至向量拆分模块603中，向量拆分模块603对上述平均图节点向量gm_k进行分解/拆分，例如可以基于Split函数进行对应维度的分解，得到对应于相机参数、姿态参数和形状参数各自维度上的平均图节点向量元素c_new、θ_new、β_new，其中将对应于相机参数这一维度的平均图节点向量元素表示为：c_new，将对应于姿态参数这一维度的平均图节点向量元素表示为：θ_new，将对应于形状参数这一维度的平均图节点向量元素表示为：β_new。

在步骤S640，将上述平均图节点向量元素作为上述回归预测参数进行输出。

参照图6所示，将平均图节点向量元素c_new、θ_new、β_new作为回归预测参数进行输出。

在本公开的实施例中，对于上述方法中各个步骤的执行中需要用到的网络/模型的训练过程中的输入、输出逻辑与实际数据处理的过程是一致的，只需要将输入的包含目标对象的实际/实测单目图像替换为训练用单目图像数据，或者在训练场景下，直接训练用对象图块作为整体模型的输入即可。

根据本公开的实施例，在上述步骤S101~S107之前，还包括对特征提取模型、参数回归模型和图神经网络模型进行联合训练的步骤；参数训练好的特征提取模型用于执行上述步骤S102，参数训练好的参数回归模型用于执行上述步骤S103，参数训练好的图神经网络模型用于执行上述步骤S106，图神经网络模型的输入需要通过执行步骤S104和S105来得到。

其中，对特征提取模型、参数回归模型和图神经网络模型进行联合训练的过程与前述步骤S102~S107描述的逻辑一致，区别只在于训练场景下步骤S102的输入数据为训练用对象图块，在进行实际图像处理的场景中，步骤S102的输入数据为（实际）对象图像。

具体而言，对特征提取模型、参数回归模型和图神经网络模型进行联合训练，包括：

基于特征提取模型，对训练用对象图块进行特征提取，得到对应于每个训练用对象图块的第一训练特征图和第二训练特征图，上述第一训练特征图和上述第二训练特征图具有相同的通道数且上述第一训练特征图的像素规模小于上述第二训练特征图的像素规模；

基于参数回归模型，根据上述第一训练特征图，对训练用参数化对象模型的相机参数、姿态参数和形状参数进行初始化，得到训练初始对象模型；

根据上述训练初始对象模型对应的初始化的相机参数、姿态参数和形状参数以及上述第二训练特征图，生成携带有对象空间结构信息的图结构对应的训练图节点特征；

根据上述训练初始对象模型的顶点坐标之间的关系，生成上述图结构对应的训练邻接矩阵；

将上述训练图节点特征和上述训练邻接矩阵输入至图神经网络模型中，输出得到与上述相机参数、姿态参数和形状参数的各个维度对应的训练回归预测参数；以及

根据上述训练回归预测参数来渲染得到与每个训练用对象图块对应的三维训练对象模型；

其中，将上述训练用对象图块对应的训练用对象的姿态参数真实值、形状参数真实值、训练用对象关节点的三维坐标真实值以及训练用对象关节点的二维坐标真实值作为训练标签，对上述特征提取模型（具体是指参数待训练的特征提取模型）、上述参数回归模型（具体是指参数待训练的参数回归模型）和上述图神经网络模型（具体是指参数待训练的图神经网络模型）联合进行训练。当训练的损失函数不超过设定阈值或训练达到预设次数后，视为训练结束。

上述损失函数为对象模型参数损失函数、对象模型三维关节点损失函数、对象模型二维关节点损失函数与各自预设权重之间的加权和。

在一实施例中，在训练过程中初始图神经网络模型输出得到回归预测参数记作预测相机参数c_xun、预测姿态参数θ_xun、预测形状参数β_xun。

训练过程中输出得到回归预测参数中的θ_xun和β_xun后，与预测姿态参数θ_xun、预测形状参数β_xun相对应的真实值（groundtruth）标签分别记作姿态参数真实值θ_gt、β_gt，则对象模型参数损失函数L₁可以表示为以下表达式：

L₁=w ₁||θ₁-θ_gt||₂+w ₂||β₁-β_gt||₂ （8），

其中，|| ||₂表示L2范数，L2范数是指向量各元素的平方和然后求平方根，w ₁、w ₂分别为预设权重。例如以参数化对象模型为参数化人体模型为例，w ₁、w ₂对应的数值分别为：0.06，60。

训练过程中输出得到回归预测参数中的θ_xun和β_xun后，根据回归预测参数来渲染得到的与训练用对象图块（例如为训练用人体图块）对应的训练用参数化对象模型（例如为SMPL模型）可以得到对象关节点（这里的关节点对应涵盖该对象的外形轮廓连接细节特征）的三维坐标预测值，将三维坐标预测值记作J_p，对应的对象关节点的三维坐标真实值记作J_gt，则对象模型三维关节点损失函数L₂可以表示为以下表达式：

L₂=||J_p-J_gt||₂ （9），

在得到对象关节点的三维坐标预测值J_p之后，可以进一步使用弱透视投影函数（Π）将三维坐标预测值J_p投影到到相应的图像（I）后得到投影后的二维坐标预测值K_p，对应的对象关节点的二维坐标真实值记作K_gt；

二维坐标预测值K_p满足以下表达式：

K_p=Π（J_p，c₁，I）（10），

则对象模型二维关节点损失函数L₃可以表示为以下表达式：

L₃=||K_p-K_gt||₂ （11），

最终得到该图神经网络模型的整体损失函数L可以表示为：

L=w ₃L₁+w ₄L₂+w ₅L₃ （12），

其中，w ₃、w ₄、w ₅均为预设权重。在一实施例中，以目标对象为人体为例，w ₃、w ₄、w ₅各自对应的数值分别为：1，300，300。

图7示意性示出了根据本公开实施例的方法处理包含人体的单目图像的详细实施流程图；图8示意性示出了根据本公开实施例的基于图神经网络模型进行人体模型的参数优化的详细实施流程图。

以人体模型为例，参照图7和图8所示，通过实施上述步骤S101~S107的具体细节，针对输入的包含人体的单目RGB图像，可以输出得到对应于每个单个人体图块的三维人体模型。

基于相同的构思，本公开的第二个示例性实施例提供了一种构建图像处理模型的方法。

图9示意性示出了本公开实施例的构建图像处理模型的方法的流程图。

参照图9所示，本公开实施例提供的构建图像处理模型的方法包括：在每个训练周期内，执行步骤S920~S970，将上述训练用对象图块对应的训练用对象的姿态参数真实值、形状参数真实值、训练用对象关节点的三维坐标真实值以及训练用对象关节点的二维坐标真实值作为训练标签，对上述特征提取模型、上述参数回归模型和上述图神经网络模型联合进行训练，训练完成的特征提取模型、参数回归模型和图神经网络模型以及上述渲染模块构成图像处理模型。上述图像处理模型的输入为对象图块，上述图像处理模型的输出为与输入的对象图块对应的三维对象模型。

步骤S920为基于特征提取模型进行特征提取的步骤：

基于特征提取模型，对训练用对象图块进行特征提取，得到对应于每个训练用对象图块的第一训练特征图和第二训练特征图。

上述第一训练特征图和上述第二训练特征图具有相同的通道数且上述第一训练特征图的像素规模小于上述第二训练特征图的像素规模。

步骤S930，为基于参数回归模型进行参数化对象模型的参数初始化的步骤：

根据上述第一训练特征图，对训练用参数化对象模型的相机参数、姿态参数和形状参数进行初始化，得到训练初始对象模型。

步骤S940为生成图结构对应的训练图节点特征的步骤：

根据上述训练初始对象模型对应的初始化的相机参数、姿态参数和形状参数以及上述第二训练特征图，生成携带有对象空间结构信息的图结构对应的训练图节点特征。

步骤S950为生成图结构对应的训练邻接矩阵的步骤：

根据上述训练初始对象模型的顶点坐标之间的关系，生成上述图结构对应的训练邻接矩阵。

步骤S960为将训练图节点特征和训练邻接矩阵作为图神经网络模型的输入，输出得到训练回归预测参数的步骤：

将上述训练图节点特征和上述训练邻接矩阵输入至图神经网络模型中，输出得到与上述相机参数、姿态参数和形状参数的各个维度对应的训练回归预测参数。

步骤S970为将上述训练回归预测参数基于渲染模块渲染得到三维训练对象模型的步骤：

基于渲染模块，根据上述训练回归预测参数来渲染得到与每个训练用对象图块对应的三维训练对象模型。

本实施例中的步骤S920~S970的具体实施过程可以对应参考第一个实施例的步骤S102~S107中的各个步骤，这里不再赘述。可以理解的是，在训练过程中特征提取模型、参数回归模型和图神经网络模型这些模型的输入、输出逻辑与第一实施例描述的具体图像处理场景中的数据处理逻辑是完全一致的，区别在于训练场景下的输入数据为训练数据，实测场景下的输入数据为实测数据。

具体训练的损失函数的计算方式可以参照第一个实施例的描述，这里不再赘述。

基于相同的构思，本公开的第三个示例性实施例提供了一种图像处理的装置，该装置能够用于进行虚拟现实内容创作、图像编辑和重演、全息传送会议和虚拟试衣等场景。

本公开实施例提供的图像处理的装置包括：对象检测模块、特征提取模块、参数初始化模块、图节点特征生成模块、邻接矩阵计算模块、回归预测参数生成模块以及三维模型渲染模块。

上述对象检测模块用于对包含目标对象的单目图像进行对象检测和对象边界框的识别，得到至少一个目标对象的对象图块。

上述特征提取模块用于对每个对象图块进行特征提取，得到对应于每个对象图块的第一特征图和第二特征图，上述第一特征图和上述第二特征图具有相同的通道数且上述第一特征图的像素规模小于上述第二特征图的像素规模。

上述参数初始化模块用于根据上述第一特征图，对参数化对象模型的相机参数、姿态参数和形状参数进行初始化，得到初始对象模型。

上述图节点特征生成模块用于根据初始化的相机参数、姿态参数和形状参数以及上述第二特征图，生成携带有对象空间结构信息的图结构对应的图节点特征。

上述邻接矩阵计算模块用于根据上述初始对象模型的顶点坐标之间的关系，生成上述图结构对应的邻接矩阵。

上述回归预测参数生成模块用于将上述图节点特征和上述邻接矩阵输入至参数预先训练好的图神经网络模型中，输出得到与上述相机参数、姿态参数和形状参数的各个维度对应的回归预测参数。

上述三维模型渲染模块用于根据上述回归预测参数来渲染得到与每个对象图块对应的三维对象模型。

上述装置包含的各个模块中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。上述装置包含的各个模块中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上系统、基板上的系统、封装上的系统、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，上述装置包含的各个模块中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

本公开的第四个示例性实施例提供了一种电子设备。

图10示意性示出了本公开实施例提供的电子设备的结构框图。

参照图10所示，本公开实施例提供的电子设备1000包括处理器1001、通信接口1002、存储器1003和通信总线1004，其中，处理器1001、通信接口1002和存储器1003通过通信总线1004完成相互间的通信；存储器1003，用于存放计算机程序；处理器1001，用于执行存储器上所存放的程序时，实现如上所述的基于单目图像生成三维对象模型的方法或构建图像处理模型的方法。

本公开的第五个示例性实施例还提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现如上所述的基于单目图像生成三维对象模型的方法或构建图像处理模型的方法。

该计算机可读存储介质可以是上述实施例中描述的设备/装置中所包含的；也可以是单独存在，而未装配入该设备/装置中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种基于单目图像生成三维对象模型的方法，其特征在于，包括：

对包含目标对象的单目图像进行对象检测和对象边界框的识别，得到至少一个目标对象的对象图块；

对每个对象图块进行特征提取，得到对应于每个对象图块的第一特征图和第二特征图，所述第一特征图和所述第二特征图具有相同的通道数且所述第一特征图的像素规模小于所述第二特征图的像素规模；

根据所述第一特征图，对参数化对象模型的相机参数、姿态参数和形状参数进行初始化，得到初始对象模型；

根据初始化的相机参数、姿态参数和形状参数以及所述第二特征图，生成携带有对象空间结构信息的图结构对应的图节点特征；

根据所述初始对象模型的顶点坐标之间的关系，生成所述图结构对应的邻接矩阵；

将所述图节点特征和所述邻接矩阵输入至参数预先训练好的图神经网络模型中，输出得到与所述相机参数、姿态参数和形状参数的各个维度对应的回归预测参数；以及

根据所述回归预测参数来渲染得到与每个对象图块对应的三维对象模型。

2.根据权利要求1所述的方法，其特征在于，所述根据初始化的相机参数、姿态参数和形状参数以及所述第二特征图，生成携带有对象空间结构信息的图结构对应的图节点特征，包括：

对所述初始对象模型的顶点坐标进行稀疏采样，得到采样顶点坐标集合；

根据初始化的相机参数，将所述采样顶点坐标集合投影至与所述第一特征图具有相同像素规模的二维平面，得到第一坐标投影集合；

将所述第一坐标投影集合变换至与所述第二特征图具有相同像素规模的二维平面，得到第二坐标投影集合；

对所述第二坐标投影集合中各个采样顶点的坐标投影和所述第二特征图进行图特征提取，得到图结构的初始图节点特征；

将所述初始图节点特征与初始化的相机参数、姿态参数和形状参数进行拼接，得到所述图结构的图节点特征。

3.根据权利要求1所述的方法，其特征在于，根据所述初始对象模型的顶点坐标之间的关系，生成所述图结构对应的邻接矩阵，包括：

对所述初始对象模型的顶点坐标进行稀疏采样，得到采样顶点坐标集合；根据初始化的相机参数，将所述采样顶点坐标集合投影至与所述第一特征图具有相同像素规模的二维平面，得到第一坐标投影集合；根据所述第一坐标投影集合中任意两个顶点之间的欧式距离是否超过对应的设定阈值来确定任意两个顶点之间是否存在边，以得到所述图结构的邻接矩阵；或者，

对所述初始对象模型的顶点坐标进行稀疏采样，得到采样顶点坐标集合；根据初始化的相机参数，将所述采样顶点坐标集合投影至与所述第一特征图具有相同像素规模的二维平面，得到第一坐标投影集合；将所述第一坐标投影集合变换至与所述第二特征图具有相同像素规模的二维平面，得到第二坐标投影集合；根据所述第二坐标投影集合中任意两个顶点之间的欧式距离是否超过对应的设定阈值来确定任意两个顶点之间是否存在边，以得到所述图结构的邻接矩阵；或者，

对所述初始对象模型的顶点坐标进行稀疏采样，得到采样顶点坐标集合；根据初始化的相机参数，将所述采样顶点坐标集合投影至与所述第二特征图具有相同像素规模的二维平面，得到第二坐标投影集合；根据所述第二坐标投影集合中任意两个顶点之间的欧式距离是否超过对应的设定阈值来确定任意两个顶点之间是否存在边，以得到所述图结构的邻接矩阵。

4.根据权利要求1所述的方法，其特征在于，所述对每个对象图块进行特征提取，得到对应于每个对象图块的第一特征图和第二特征图，包括：

对每个对象图块进行尺寸转换处理，得到用于输入至图像特征提取模型中的具有预设像素尺寸的规范图像；

将所述规范图像输入至所述图像特征提取模型中进行特征提取，输出得到初始特征图；

将所述初始特征图输入至第一层反卷积层，输出得到第一特征图；

将所述第一特征图输入至第二层反卷积层，输出得到第二特征图。

5.根据权利要求1所述的方法，其特征在于，根据所述第一特征图，对参数化对象模型的相机参数、姿态参数和形状参数进行初始化，得到初始对象模型，包括：

对所述第一特征图进行网格采样，得到采样特征图；

对所述采样特征图的像素尺寸对应的宽度和高度这两个维度进行重组，得到重组特征图，所述重组特征图在像素尺寸维度上的一个维度值为1，另一个维度值为宽度和高度的维度之积；

将所述重组特征图输入至基于卷积神经网络的回归器中进行参数回归，输出得到回归相机参数、回归姿态参数和回归形状参数，所述回归相机参数为初始化的相机参数；

将所述参数化对象模型的静态姿态参数和所述回归姿态参数进行求和计算，得到初始化的姿态参数；

将所述参数化对象模型的静态形状参数和所述回归形状参数进行求和计算，得到初始化的形状参数；

根据所述初始化的相机参数、所述初始化的姿态参数和所述初始化的形状参数来渲染得到初始对象模型。

6.根据权利要求1所述的方法，其特征在于，所述对包含目标对象的单目图像进行对象检测和对象边界框的识别，得到至少一个目标对象的对象图块，包括：

对包含目标对象的单目图像进行对象检测，得到所述单目图像包含的目标对象个数和是否相互遮挡的检测结果；

在所述单目图像包含多个目标对象的情况下，如果检测到存在目标对象的核心部位由于交叉而被遮挡时，则识别核心部位不被遮挡的目标对象所对应的对象边界框，并根据所述对象边界框来提取得到对应的对象图块，针对核心部位被遮挡的目标对象不进行对象图块的提取；

如果检测到目标对象之间只是非核心部位有交叉且交叉比例不超过设定值，则识别每个对象的对象边界框，并根据所述对象边界框来提取得到对应的对象图块。

7.根据权利要求1所述的方法，其特征在于，所述图神经网络模型包括：图注意力网络、平均计算模块和向量拆分模块；

所述将所述图节点特征和所述邻接矩阵输入至参数预先训练好的图神经网络模型中，输出得到与所述相机参数、姿态参数和形状参数的各个维度对应的回归预测参数，包括：

将所述图结构的图节点特征和所述邻接矩阵输入至所述图注意力网络中，输出得到图节点向量，每个图节点向量的维度等于所述初始化的相机参数、姿态参数和形状参数的维度之和；

所述平均计算模块对所述图结构中所有图节点向量的各维度元素在对应维度上取平均值，得到平均图节点向量；

所述向量拆分模块将所述平均图节点向量进行分解，得到对应于相机参数、姿态参数和形状参数各自维度上的平均图节点向量元素；

将所述平均图节点向量元素作为所述回归预测参数进行输出。

8.一种构建图像处理模型的方法，其特征在于，包括：

基于特征提取模型，对训练用对象图块进行特征提取，得到对应于每个训练用对象图块的第一训练特征图和第二训练特征图，所述第一训练特征图和所述第二训练特征图具有相同的通道数且所述第一训练特征图的像素规模小于所述第二训练特征图的像素规模；

基于参数回归模型，根据所述第一训练特征图，对训练用参数化对象模型的相机参数、姿态参数和形状参数进行初始化，得到训练初始对象模型；

根据所述训练初始对象模型对应的初始化的相机参数、姿态参数和形状参数以及所述第二训练特征图，生成携带有对象空间结构信息的图结构对应的训练图节点特征；

根据所述训练初始对象模型的顶点坐标之间的关系，生成所述图结构对应的训练邻接矩阵；

将所述训练图节点特征和所述训练邻接矩阵输入至图神经网络模型中，输出得到与所述相机参数、姿态参数和形状参数的各个维度对应的训练回归预测参数；以及

基于渲染模块，根据所述训练回归预测参数来渲染得到与每个训练用对象图块对应的三维训练对象模型；

其中，将所述训练用对象图块对应的训练用对象的姿态参数真实值、形状参数真实值、训练用对象关节点的三维坐标真实值以及训练用对象关节点的二维坐标真实值作为训练标签，对所述特征提取模型、所述参数回归模型和所述图神经网络模型联合进行训练，训练完成的特征提取模型、参数回归模型和图神经网络模型以及所述渲染模块构成图像处理模型，所述图像处理模型的输入为对象图块，所述图像处理模型的输出为与输入的对象图块对应的三维对象模型。

9.一种图像处理的装置，其特征在于，包括：

对象检测模块，用于对包含目标对象的单目图像进行对象检测和对象边界框的识别，得到至少一个目标对象的对象图块；

特征提取模块，用于对每个对象图块进行特征提取，得到对应于每个对象图块的第一特征图和第二特征图，所述第一特征图和所述第二特征图具有相同的通道数且所述第一特征图的像素规模小于所述第二特征图的像素规模；

参数初始化模块，用于根据所述第一特征图，对参数化对象模型的相机参数、姿态参数和形状参数进行初始化，得到初始对象模型；

图节点特征生成模块，用于根据初始化的相机参数、姿态参数和形状参数以及所述第二特征图，生成携带有对象空间结构信息的图结构对应的图节点特征；

邻接矩阵计算模块，用于根据所述初始对象模型的顶点坐标之间的关系，生成所述图结构对应的邻接矩阵；

回归预测参数生成模块，用于将所述图节点特征和所述邻接矩阵输入至参数预先训练好的图神经网络模型中，输出得到与所述相机参数、姿态参数和形状参数的各个维度对应的回归预测参数；

三维模型渲染模块，用于根据所述回归预测参数来渲染得到与每个对象图块对应的三维对象模型。

10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-8中任一项所述的方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8中任一项所述的方法。

Images