CN112785494B - 一种三维模型构建方法、装置、电子设备和存储介质 - Google Patents

一种三维模型构建方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112785494B
CN112785494B CN202110106118.2A CN202110106118A CN112785494B CN 112785494 B CN112785494 B CN 112785494B CN 202110106118 A CN202110106118 A CN 202110106118A CN 112785494 B CN112785494 B CN 112785494B
Authority
CN
China
Prior art keywords
sample
trained
local
feature
extraction network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110106118.2A
Other languages
English (en)
Other versions
CN112785494A (zh
Inventor
徐一凡
袁燚
范长杰
胡志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202110106118.2A priority Critical patent/CN112785494B/zh
Publication of CN112785494A publication Critical patent/CN112785494A/zh
Application granted granted Critical
Publication of CN112785494B publication Critical patent/CN112785494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T3/08—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Abstract

本申请提供了一种三维模型构建方法、装置、电子设备和存储介质，其中，该方法包括：得到降采样后的第二二维图像的第一全局图像特征编码；根据采样点在三维坐标系中的坐标，确定采样点在三维坐标系中的对称点；根据相机参数，确定采样点和对称点在第一二维图像中的第一映射点，以及在第二二维图像中的第二映射点；在得到第一映射点在第一二维图像的第一局部图像特征编码和第二映射点在第二二维图像的第二局部图像特征编码后，根据第一全局图像特征编码、第一局部图像特征编码和第二局部图像特征编码，构建目标物体的三维模型，通过上述方法有利于使生成的三维模型具有较好的显示效果。

Description

一种三维模型构建方法、装置、电子设备和存储介质
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种三维模型构建方法、装置、电子设备和存储介质。
背景技术
随着模型构建技术的发展，目前可以将二维图像中的物体构建成三维模型，例如：可以将二维图像中的人物制作成三维模型，在将二维图像中的物体构建成三维模型时需要占用GPU(Graphics Processing Unit，图形处理器)的资源，如果二维图像的分辨率较高，但是GPU的性能较低时，则无法完成三维模型的构建。
在现有技术中，当出现二维图像的分辨率较高，GPU的性能较低的情况时，会将高分辨率的二维图像转换成低分辨率的图像后再构建三维模型，由于低分辨率的图像会丢失大量高分辨率的图像中的细节信息，从而使构建出来的三维模型在细节展示方面效果较差。
发明内容
有鉴于此，本申请实施例提供了一种三维模型构建方法、装置、电子设备和存储介质，以提高三维模型在细节方面的展示效果。
第一方面，本申请实施例提供了一种三维模型构建方法，包括：
获取包含目标物体的第一二维图像、所述第一二维图像的相机参数，以及在预设的三维坐标系中指定的采样点，其中，所述相机参数包括所述目标物体在所述第一二维图像中的姿态相对于所述目标物体在所述三维坐标系中的指定姿态的映射关系；
对所述第一二维图像进行降采样处理，得到第二二维图像；
将所述第二二维图像输入到全局特征提取网络中，得到所述第二二维图像的第一全局图像特征编码；
根据所述采样点在所述三维坐标系中的坐标，确定所述采样点在所述三维坐标系中的对称点；
根据所述相机参数，确定所述采样点和所述对称点在所述第一二维图像中的第一映射点，以及在所述第二二维图像中的第二映射点；
将所述第一映射点输入到第一局部特征提取网络，得到所述第一二维图像的第一局部图像特征编码，以及将所述第二映射点输入到第二局部特征提取网络，得到所述第二二维图像的第二局部图像特征编码；
根据所述第一全局图像特征编码、所述第一局部图像特征编码和所述第二局部图像特征编码，构建所述目标物体的三维模型。
可选地，所述根据所述采样点在所述三维坐标系中的坐标，确定所述采样点在所述三维坐标系中的对称点，包括：
根据所述相机参数，确定所述目标物体在所述第一二维图像中的姿态和所述指定姿态的对称面；
根据所述坐标，确定所述采样点相对于所述对称面的对称点。
可选地，所述根据所述第一全局图像特征编码、所述第一局部图像特征编码和所述第二局部图像特征编码，构建所述目标物体的三维模型，包括：
通过球谐函数对所述坐标进行映射，得到用于表示将所述坐标转换成球坐标时的第一球谐函数映射特征；
将所述第一球谐函数映射特征输入到第一多层感知器中，得到所述坐标的第一采样点特征编码；
将所述采样点分别输入到第二多层感知器和第三多层感知器中，得到所述坐标的第二采样点特征编码和第三采样点特征编码，其中，所述第一采样点特征编码、所述第二采样点特征编码和所述第三采样点特征编码包括的维度数目相等；
对所述第一采样点特征编码和所述第一全局图像特征编码进行向量串联，得到第一全局特征编码；对所述第二采样点特征编码和所述第一局部图像特征编码进行向量串联，得到第一局部特征编码；以及，所述第三采样点特征编码和所述第二局部图像特征编码进行向量串联，得到第二局部特征编码；
根据所述第一全局特征编码、所述第一局部特征编码和所述第二局部特征编码，构建所述目标物体的三维模型。
可选地，所述根据所述第一全局特征编码、所述第一局部特征编码和所述第二局部特征编码，构建所述目标物体的三维模型，包括：
分别将所述第一全局特征编码、所述第一局部特征编码和所述第二局部特征编码输入到特征解码器中，得到所述第一全局特征编码的第一解码值、所述第一局部特征编码的第二解码值和所述第二局部特征编码的第三解码值；
对所述第一解码值、所述第二解码值和所述第三解码值进行求和，将求和结果作为所述采样点的有符号距离参数；
将所述有符号距离参数输入到移动立方格算法中，得到所述目标物体的三维模型。
可选地，所述方法还包括：
获取包含样本物体的第一样本二维图像、所述第一样本二维图像的相机参数，以及在所述三维坐标系中指定的第一样本采样点；
对所述第一样本二维图像进行降采样处理，得到第二样本二维图像；
将所述第二样本二维图像输入到待训练的全局特征提取网络中，得到所述第二样本二维图像的第一样本全局图像特征编码；
根据所述第一样本采样点在所述三维坐标系中的样本坐标，确定所述第一样本采样点在所述三维坐标系中的样本对称点；
根据所述相机参数，确定所述第一样本采样点和所述样本对称点在所述第一样本二维图像中的第一样本映射点，以及在所述第二样本二维图像中的第二样本映射点；
将所述第一样本映射点输入到待训练的第一局部特征提取网络，得到所述第一样本二维图像的第一样本局部图像特征编码，以及将所述第二样本映射点输入到待训练的第二局部特征提取网络，得到所述第二样本二维图像的第二样本局部图像特征编码；
通过球谐函数对所述样本坐标进行映射，得到用于表示将所述样本坐标转换成球坐标时的第二球谐函数映射特征；将所述第二球谐函数映射特征输入到待训练的第一多层感知器中，得到所述样本坐标的第一样本采样点特征编码；
将所述第一样本采样点分别输入到待训练的第二多层感知器和待训练的第三多层感知器中，得到所述样本坐标的第二样本采样点特征编码和第三样本采样点特征编码；
对所述第一样本采样点特征编码和所述第一样本全局图像特征编码进行向量串联，得到第一样本全局特征编码；对所述第二样本采样点特征编码和所述第一样本局部图像特征编码进行向量串联，得到第一样本局部特征编码；以及，所述第三样本采样点特征编码和所述第二样本局部图像特征编码进行向量串联，得到第二样本局部特征编码；
分别将所述第一样本全局特征编码、所述第一样本局部特征编码和所述第二样本局部特征编码输入到待训练的特征解码器中，得到所述第一样本全局特征编码的第一样本解码值、所述第一样本局部特征编码的第二样本解码值和所述第二样本局部特征编码的第三样本解码值；
根据所述第一样本解码值、所述第二样本解码值和所述第三样本解码值，对所述待训练的全局特征提取网络、所述待训练的第一局部特征提取网络、所述待训练的第二局部特征提取网络、所述待训练的第一多层感知器、所述待训练的第二多层感知器、所述待训练的第三多层感知器和所述待训练的特征解码器进行训练，以得到所述全局特征提取网络、所述第一局部特征提取网络、所述第二局部特征提取网络、所述第一多层感知器、所述第二多层感知器、所述第三多层感知器和所述特征解码器。
可选地，根据所述第一样本解码值、所述第二样本解码值和所述第三样本解码值，对所述待训练的全局特征提取网络、所述待训练的第一局部特征提取网络、所述待训练的第二局部特征提取网络、所述待训练的第一多层感知器、所述待训练的第二多层感知器、所述待训练的第三多层感知器和所述待训练的特征解码器进行训练，以得到所述全局特征提取网络、所述第一局部特征提取网络、所述第二局部特征提取网络、所述第一多层感知器、所述第二多层感知器、所述第三多层感知器和所述特征解码器，包括：
对所述第一样本解码值、所述第二样本解码值和所述第三样本解码值进行求和，将求和结果作为所述第一样本采样点的第一有符号距离参数；
对所述第一样本解码值和所述第三样本解码值进行求和，将求和结果作为所述第一样本采样点的第二有符号距离参数；
根据所述第一有符号距离参数和所述第二有符号距离参数，对所述待训练的全局特征提取网络、所述待训练的第一局部特征提取网络、所述待训练的第二局部特征提取网络、所述待训练的第一多层感知器、所述待训练的第二多层感知器、所述待训练的第三多层感知器和所述待训练的特征解码器进行训练，以得到所述全局特征提取网络、所述第一局部特征提取网络、所述第二局部特征提取网络、所述第一多层感知器、所述第二多层感知器、所述第三多层感知器和所述特征解码器。
可选地，所述根据所述第一有符号距离参数和所述第二有符号距离参数，对所述待训练的全局特征提取网络、所述待训练的第一局部特征提取网络、所述待训练的第二局部特征提取网络、所述待训练的第一多层感知器、所述待训练的第二多层感知器、所述待训练的第三多层感知器和所述待训练的特征解码器进行训练，以得到所述全局特征提取网络、所述第一局部特征提取网络、所述第二局部特征提取网络、所述第一多层感知器、所述第二多层感知器、所述第三多层感知器和所述特征解码器，包括：
通过以下公式计算第一损失值：
Figure BDA0002917710790000061
通过以下公式计算第二损失值：
Figure BDA0002917710790000062
通过以下公式计算第一总损失值：
Lloss＝coarse+*fine
判断所述第一总损失值是否小于预设阈值；
如果所述第一总损失值是否小于预设阈值，则得到所述全局特征提取网络、所述第一局部特征提取网络、所述第二局部特征提取网络、所述第一多层感知器、所述第二多层感知器、所述第三多层感知器和所述特征解码器；
如果所述第一总损失值小于或等于预设阈值，则根据所述第一有符号距离参数和所述第二有符号距离参数，分别对所述待训练的全局特征提取网络、所述待训练的第一局部特征提取网络、所述待训练的第二局部特征提取网络、所述待训练的第一多层感知器、所述待训练的第二多层感知器、所述待训练的第三多层感知器和所述待训练的特征解码器进行反向传播训练，并使用训练后的全局特征提取网络、第一局部特征提取网络、第二局部特征提取网络、第一多层感知器、第二多层感知器、第三多层感知器和特征解码器得到总损失值，直至得到的总损失值小于所述预设阈值为止；
其中，p为所述样本坐标，SDF(p)所述第一样本采样点到所述三维模型的有符号距离的真值，m为权重值，当SDF(p)小于预设值时，m取值为A，当SDF(p)大于或等于所述预设值时，m取值为B，A>B,SDFlow(p)为所述第二有符号距离参数，SDFhigh(p)为所述第一有符号距离参数。
第二方面，本申请实施例提供了一种三维模型构建装置，包括：
获取单元，用于获取包含目标物体的第一二维图像、所述第一二维图像的相机参数，以及在预设的三维坐标系中指定的采样点，其中，所述相机参数包括所述目标物体在所述第一二维图像中的姿态相对于所述目标物体在所述三维坐标系中的指定姿态的映射关系；
降采样单元，用于对所述第一二维图像进行降采样处理，得到第二二维图像；
第一提取单元，用于将所述第二二维图像输入到全局特征提取网络中，得到所述第二二维图像的第一全局图像特征编码；
第一确定单元，用于根据所述采样点在所述三维坐标系中的坐标，确定所述采样点在所述三维坐标系中的对称点；
第二确定单元，用于根据所述相机参数，确定所述采样点和所述对称点在所述第一二维图像中的第一映射点，以及在所述第二二维图像中的第二映射点；
第二提取单元，用于将所述第一映射点输入到第一局部特征提取网络，得到所述第一二维图像的第一局部图像特征编码，以及将所述第二映射点输入到第二局部特征提取网络，得到所述第二二维图像的第二局部图像特征编码；
构建单元，用于根据所述第一全局图像特征编码、所述第一局部图像特征编码和所述第二局部图像特征编码，构建所述目标物体的三维模型。
可选地，所述第一确定单元用于根据所述采样点在所述三维坐标系中的坐标，确定所述采样点在所述三维坐标系中的对称点时，包括：
根据所述相机参数，确定所述目标物体在所述第一二维图像中的姿态和所述指定姿态的对称面；
根据所述坐标，确定所述采样点相对于所述对称面的对称点。
可选地，所述构建单元用于根据所述第一全局图像特征编码、所述第一局部图像特征编码和所述第二局部图像特征编码，构建所述目标物体的三维模型时，包括：
通过球谐函数对所述坐标进行映射，得到用于表示将所述坐标转换成球坐标时的第一球谐函数映射特征；
将所述第一球谐函数映射特征输入到第一多层感知器中，得到所述坐标的第一采样点特征编码；
将所述采样点分别输入到第二多层感知器和第三多层感知器中，得到所述坐标的第二采样点特征编码和第三采样点特征编码，其中，所述第一采样点特征编码、所述第二采样点特征编码和所述第三采样点特征编码包括的维度数目相等；
对所述第一采样点特征编码和所述第一全局图像特征编码进行向量串联，得到第一全局特征编码；对所述第二采样点特征编码和所述第一局部图像特征编码进行向量串联，得到第一局部特征编码；以及，所述第三采样点特征编码和所述第二局部图像特征编码进行向量串联，得到第二局部特征编码；
根据所述第一全局特征编码、所述第一局部特征编码和所述第二局部特征编码，构建所述目标物体的三维模型。
可选地，所述构建单元用于根据所述第一全局特征编码、所述第一局部特征编码和所述第二局部特征编码，构建所述目标物体的三维模型时，包括：
分别将所述第一全局特征编码、所述第一局部特征编码和所述第二局部特征编码输入到特征解码器中，得到所述第一全局特征编码的第一解码值、所述第一局部特征编码的第二解码值和所述第二局部特征编码的第三解码值；
对所述第一解码值、所述第二解码值和所述第三解码值进行求和，将求和结果作为所述采样点的有符号距离参数；
将所述有符号距离参数输入到移动立方格算法中，得到所述目标物体的三维模型。
可选地，所述装置还包括：
训练单元，用于获取包含样本物体的第一样本二维图像、所述第一样本二维图像的相机参数，以及在所述三维坐标系中指定的第一样本采样点；以及，用于对所述第一样本二维图像进行降采样处理，得到第二样本二维图像；以及，用于将所述第二样本二维图像输入到待训练的全局特征提取网络中，得到所述第二样本二维图像的第一样本全局图像特征编码；以及，用于根据所述第一样本采样点在所述三维坐标系中的样本坐标，确定所述第一样本采样点在所述三维坐标系中的样本对称点；以及，用于根据所述相机参数，确定所述第一样本采样点和所述样本对称点在所述第一样本二维图像中的第一样本映射点，以及在所述第二样本二维图像中的第二样本映射点；以及，用于将所述第一样本映射点输入到待训练的第一局部特征提取网络，得到所述第一样本二维图像的第一样本局部图像特征编码，以及将所述第二样本映射点输入到待训练的第二局部特征提取网络，得到所述第二样本二维图像的第二样本局部图像特征编码；以及，用于通过球谐函数对所述样本坐标进行映射，得到用于表示将所述样本坐标转换成球坐标时的第二球谐函数映射特征；将所述第二球谐函数映射特征输入到待训练的第一多层感知器中，得到所述样本坐标的第一样本采样点特征编码；以及，用于将所述第一样本采样点分别输入到待训练的第二多层感知器和待训练的第三多层感知器中，得到所述样本坐标的第二样本采样点特征编码和第三样本采样点特征编码；以及，用于对所述第一样本采样点特征编码和所述第一样本全局图像特征编码进行向量串联，得到第一样本全局特征编码；对所述第二样本采样点特征编码和所述第一样本局部图像特征编码进行向量串联，得到第一样本局部特征编码；以及，所述第三样本采样点特征编码和所述第二样本局部图像特征编码进行向量串联，得到第二样本局部特征编码；以及，用于分别将所述第一样本全局特征编码、所述第一样本局部特征编码和所述第二样本局部特征编码输入到待训练的特征解码器中，得到所述第一样本全局特征编码的第一样本解码值、所述第一样本局部特征编码的第二样本解码值和所述第二样本局部特征编码的第三样本解码值；以及，用于根据所述第一样本解码值、所述第二样本解码值和所述第三样本解码值，对所述待训练的全局特征提取网络、所述待训练的第一局部特征提取网络、所述待训练的第二局部特征提取网络、所述待训练的第一多层感知器、所述待训练的第二多层感知器、所述待训练的第三多层感知器和所述待训练的特征解码器进行训练，以得到所述全局特征提取网络、所述第一局部特征提取网络、所述第二局部特征提取网络、所述第一多层感知器、所述第二多层感知器、所述第三多层感知器和所述特征解码器。
可选地，所述训练单元用于根据所述第一样本解码值、所述第二样本解码值和所述第三样本解码值，对所述待训练的全局特征提取网络、所述待训练的第一局部特征提取网络、所述待训练的第二局部特征提取网络、所述待训练的第一多层感知器、所述待训练的第二多层感知器、所述待训练的第三多层感知器和所述待训练的特征解码器进行训练，以得到所述全局特征提取网络、所述第一局部特征提取网络、所述第二局部特征提取网络、所述第一多层感知器、所述第二多层感知器、所述第三多层感知器和所述特征解码器时，包括：
对所述第一样本解码值、所述第二样本解码值和所述第三样本解码值进行求和，将求和结果作为所述第一样本采样点的第一有符号距离参数；
对所述第一样本解码值和所述第三样本解码值进行求和，将求和结果作为所述第一样本采样点的第二有符号距离参数；
根据所述第一有符号距离参数和所述第二有符号距离参数，对所述待训练的全局特征提取网络、所述待训练的第一局部特征提取网络、所述待训练的第二局部特征提取网络、所述待训练的第一多层感知器、所述待训练的第二多层感知器、所述待训练的第三多层感知器和所述待训练的特征解码器进行训练，以得到所述全局特征提取网络、所述第一局部特征提取网络、所述第二局部特征提取网络、所述第一多层感知器、所述第二多层感知器、所述第三多层感知器和所述特征解码器。
可选地，所述训练单元，用于根据所述第一有符号距离参数和所述第二有符号距离参数，对所述待训练的全局特征提取网络、所述待训练的第一局部特征提取网络、所述待训练的第二局部特征提取网络、所述待训练的第一多层感知器、所述待训练的第二多层感知器、所述待训练的第三多层感知器和所述待训练的特征解码器进行训练，以得到所述全局特征提取网络、所述第一局部特征提取网络、所述第二局部特征提取网络、所述第一多层感知器、所述第二多层感知器、所述第三多层感知器和所述特征解码器时，包括：
通过以下公式计算第一损失值：
Figure BDA0002917710790000111
通过以下公式计算第二损失值：
Figure BDA0002917710790000112
通过以下公式计算第一总损失值：
Lloss＝Lcoarse+n*Lfine
判断所述第一总损失值是否小于预设阈值；
如果所述第一总损失值是否小于预设阈值，则得到所述全局特征提取网络、所述第一局部特征提取网络、所述第二局部特征提取网络、所述第一多层感知器、所述第二多层感知器、所述第三多层感知器和所述特征解码器；
如果所述第一总损失值小于或等于预设阈值，则根据所述第一有符号距离参数和所述第二有符号距离参数，分别对所述待训练的全局特征提取网络、所述待训练的第一局部特征提取网络、所述待训练的第二局部特征提取网络、所述待训练的第一多层感知器、所述待训练的第二多层感知器、所述待训练的第三多层感知器和所述待训练的特征解码器进行反向传播训练，并使用训练后的全局特征提取网络、第一局部特征提取网络、第二局部特征提取网络、第一多层感知器、第二多层感知器、第三多层感知器和特征解码器得到总损失值，直至得到的总损失值小于所述预设阈值为止；
其中，p为所述样本坐标，SDF(p)所述第一样本采样点到所述三维模型的有符号距离的真值，m为权重值，当SDF(p)小于预设值时，m取值为A，当SDF(p)大于或等于所述预设值时，m取值为B，A>B，SDFlow(p)为所述第二有符号距离参数，SDFhigh(p)为所述第一有符号距离参数。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面中任一项所述的三维模型构建方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面中任一项所述的三维模型构建方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：
在本申请中，在对第一二维图像进行降采样处理后，可以得到分辨率较低的第二二维图像，并得到该第二二维图像的第一全局图像特征编码，再确定采样点在三维坐标系中的对称点，以及采样点和对称点在第一二维图像中的第一映射点，以及采样点和对称点在第二二维图像中的第二映射点，然后得到第一二维图像的第一局部图像特征编码和第二二维图像的第二局部图像特征编码，并通过第一全局图像特征编码、第一局部图像特征编码和第二局部图像特征编码，构建目标物体的三维模型，在上述方法中，由于无需处理整张高分辨率的图像，因此即使GPU的性能在较低的情况下，仍然可以构建三维模型，由于第一映射点和第二映射点均包括采样点和对称点，因此在第一局部图像特征编码和第二局部图像特征编码中包括的第一二维图像中的局部特征更加丰富，并且，由于第一局部图像特征编码中包括第一二维图像中的第一映射点较多的细节信息，因此通过第一全局图像特征编码、第一局部图像特征编码和第二局部图像特征编码构建的三维模型也能展示出第一二维图像中较多的细节信息，从而使生成的三维模型具有较好的显示效果。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例一提供的一种三维模型构建方法的流程示意图；
图2为本申请实施例一提供的另一种三维模型构建方法的流程示意图；
图3为本申请实施例一提供的另一种三维模型构建方法的流程示意图；
图4为本申请实施例一提供的另一种三维模型构建方法的流程示意图；
图5为本申请实施例一提供的另一种三维模型构建方法的流程示意图；
图6为本申请实施例一提供的另一种三维模型构建方法的流程示意图；
图7为本申请实施例二中提供的一种三维模型构建装置的结构示意图；
图8为本申请实施例二提供的另一种三维模型构建装置的结构示意图；
图9为本申请实施例三提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要提前说明的是，本申请中的目标物体包括二维图像中的真实人物、卡通人物、建筑物、交通工具和船只等物体，在得到三维模型后，可以将三维模型移植到虚拟场景中，如：游戏中、或者3D动画中，关于具体的目标物体和三维模型的具体使用方式可以根据实际需要进行设定，在此不做具体限定。
需要再次说明的是，本申请中涉及到的方法步骤并不表示实现执行过程中的先后顺序，本申请中的方法步骤可以根据实际情况进行适当的调整。
随着相机技术的进步，通过相机拍摄到的RGB图像(二维图像)的分辨率越来越高，分辨率越高那么RGB图像中所展示的细节内容也就越多。目前技术中可以将二维图像中的物体构建成三维模型，以将构建出来的三维模型应用到虚拟场景中，例如：将二维图像中的船只构建为一个3D模型，并将该3D模型设置到游戏场景中，在构建三维模型时需要占用GPU的资源，但是当二维图像的分辨率超过GPU的处理能力时，即：二维图像的分辨率较高，但是GPU的性能较低，则无法构建出三维模型，为了解决这一问题，在现有技术中，在二维图像的分辨率超过GPU的处理能力时，会先降低二维图像的分辨率，然后使用分辨率较低的二维图像构建三维模型，由于分辨率较低的二维图像中包括的细节信息相对较少，因此通过分辨率较低的二维图像构建的三维模型包括的细节信息也相对较少，因此导致构建的三维模型的展示效果相对较差。
为了解决上述问题，本申请提供了一种三维模型构建方法、装置、电子设备和存储介质，在本申请中，由于无需处理整张高分辨率的图像，因此即使GPU的性能在较低的情况下，仍然可以构建三维模型，由于第一映射点和第二映射点均包括采样点和对称点，因此在第一局部图像特征编码和第二局部图像特征编码中包括的第一二维图像中的局部特征更加丰富，并且，由于第一局部图像特征编码中包括第一二维图像中的第一映射点较多的细节信息，因此通过第一全局图像特征编码、第一局部图像特征编码和第二局部图像特征编码构建的三维模型也能展示出第一二维图像中较多的细节信息，从而使生成的三维模型具有较好的显示效果。
实施例一
图1为本申请实施例一提供的一种三维模型构建方法的流程示意图，如图1所示，该方法包括以下步骤：
步骤101、获取包含目标物体的第一二维图像、所述第一二维图像的相机参数，以及在预设的三维坐标系中指定的采样点，其中，所述相机参数包括所述目标物体在所述第一二维图像中的姿态相对于所述目标物体在所述三维坐标系中的指定姿态的映射关系。
具体的，相机参数可以通过神经网络预测出来，例如：将该第一二维图像作为输入参数输入到训练好的相机参数预测模型中，得到该第一二维图像的相机参数，该相机参数预测模型可以预测目标物体投影到三维坐标系中的姿态和目标物体在三维坐标系中的指定姿态之间的旋转角度和平移量，该旋转角度和平移量即为目标物体在第一二维图像中的姿态和目标物体在三维坐标系中的指定姿态的转换关系。当然，如果知晓拍摄该第一二维图像的拍摄设备，也可以基于该拍摄设备确定该相机参数，通过该方式可以得到较为准确的相机参数。
三维坐标系中的指定姿态，可以理解为对目标物体预先设定的一个初始姿态，通过对该初始姿态进行平移、旋转，得到第一二维图像中目标物体在三维坐标系中的姿态，因此可以相机参数以作为指定姿态转换至第一二维图像中的姿态的转换关系，该转换关系可以包括平移关系和旋转关系。在实际实现时，该映射关系可以通过矩阵的形式表达，此时，该映射关系可以包括目标物体在三维坐标系中的姿态相对于目标物体在三维坐标系中指定姿态的平移矩阵和旋转矩阵。
上述预设的三维坐标系可以理解为将要构建的三维模型所在的三维空间，在三维坐标系中可以任意确定一个位置，以将该位置作为一个采样点，每个采样点可以通过该采样点的坐标来表达。
步骤102、对所述第一二维图像进行降采样处理，得到第二二维图像。
具体的，为了避免GPU无法对第一二维图像进行处理，需要对第一二维图像进行降采样处理，得到分辨率低于第一二维图像的第二二维图像，即：第一二维图像可以是高清图像，第二二维图像可以低清图像。
需要说明的是，关于第二二维图像的分辨率大小可以根据实际需要进行设定，或者设定降采样的映射关系，具体实现方式在此不做具体限定。
步骤103、将所述第二二维图像输入到全局特征提取网络中，得到所述第二二维图像的第一全局图像特征编码。
具体的，在将第二二维图像输入到全局特征提取网络中后，可以得到用于表示该第二二维图像的第一全局图像特征编码，即：低清图像特征编码，该低清图像特征编码可以包括第一二维图像中的大部分信息，但是无法展示第一二维图像中的细节信息。
步骤104、根据所述采样点在所述三维坐标系中的坐标，确定所述采样点在所述三维坐标系中的对称点。
具体的，在三维坐标系中，x轴和y轴、x轴和z轴、y轴和z轴均可以组成一个对称面，在确定一个采样点后，根据该采样点的坐标，以及确定的对称面，可以确定出该采样点相对于该对称面的对称点，即：该采样点和该对称点基于该对称面对称。
步骤105、根据所述相机参数，确定所述采样点和所述对称点在所述第一二维图像中的第一映射点，以及在所述第二二维图像中的第二映射点。
具体的，由于第一二维图像和第二二维图像除了分辨率不同之外其他属性基本相同，并且由于相机参数作为指定姿态转换至第一二维图像中的姿态的转换关系，该转换关系可以包括平移关系和旋转关系，因此在得到采样点和对称点之后通过平移和旋转可以将采样点和对称点映射到第一二维图像和第二二维图像中，从而得到上述的第一映射点和第二映射点。
步骤106、将所述第一映射点输入到第一局部特征提取网络，得到所述第一二维图像的第一局部图像特征编码，以及将所述第二映射点输入到第二局部特征提取网络，得到所述第二二维图像的第二局部图像特征编码。
具体的，第一映射点为第一二维图像上的区域，第二映射点为第二二维图像上的区域，因此得到的第一局部图像特征编码为高清图像的局部图像特征编码，第二局部图像特征编码为低清图像的局部特征编码，其中，第一局部图像特征编码中能够展示高清图像部分区域中的细节信息，当采样点较多时，可以使第一局部图像特征编码中展示高清图像中更多的细节信息。
步骤107、根据所述第一全局图像特征编码、所述第一局部图像特征编码和所述第二局部图像特征编码，构建所述目标物体的三维模型。
具体的，由于无需处理整张高分辨率的图像，因此即使GPU的性能在较低的情况下，仍然可以构建三维模型，同时，由于第一全局图像特征编码能够表示低清图像，第一局部图像特征编码能够展示高清图像部分区域中的细节信息，并且，由于第一映射点和第二映射点均包括采样点和对称点，因此在第一局部图像特征编码和第二局部图像特征编码中包括的第一二维图像中的局部特征更加丰富，因此通过第一全局图像特征编码、第一局部图像特征编码和第二局部图像特征编码构建的三维模型也能展示出第一二维图像中较多的细节信息，从而使生成的三维模型具有较好的显示效果。
在一个可行的实施方案中，图2为本申请实施例一提供的另一种三维模型构建方法的流程示意图，如图2所示，在执行步骤104时，可以通过以下步骤实现：
步骤201、根据所述相机参数，确定所述目标物体在所述第一二维图像中的姿态和所述指定姿态的对称面。
步骤202、根据所述坐标，确定所述采样点相对于所述对称面的对称点。
具体的，在三维坐标系中，指定姿态确定后，该三维坐标系中的X轴、Y轴和Z轴随之确定，根据相机参数可以相作为指定姿态转换至第一二维图像中的姿态的转换关系，在将指定姿态转换至第一二维图像中的姿态的过程中，可以确定指定姿态和目标物体在第一二维图像中的姿态的中间位置，此时可以将转换过程中的中间位置对应的平面作为对称面，例如：指定姿态转换至第一二维图像中的姿态时需要转动XY平面进行转动，然后以XY平面在转动过程中的中间位置作为对称面，然后以该对称面确定与采样点对称的对称点。
在一个可行的实施方案中，图3为本申请实施例一提供的另一种三维模型构建方法的流程示意图，如图3所示，在执行步骤107时，可以通过以下步骤实现：
步骤301、通过球谐函数对所述坐标进行映射，得到用于表示将所述坐标转换成球坐标时的第一球谐函数映射特征。
步骤302、将所述第一球谐函数映射特征输入到第一多层感知器中，得到所述坐标的第一采样点特征编码。
步骤303、将所述采样点分别输入到第二多层感知器和第三多层感知器中，得到所述坐标的第二采样点特征编码和第三采样点特征编码，其中，所述第一采样点特征编码、所述第二采样点特征编码和所述第三采样点特征编码包括的维度数目相等。
步骤304、对所述第一采样点特征编码和所述第一全局图像特征编码进行向量串联，得到第一全局特征编码；对所述第二采样点特征编码和所述第一局部图像特征编码进行向量串联，得到第一局部特征编码；以及，所述第三采样点特征编码和所述第二局部图像特征编码进行向量串联，得到第二局部特征编码。
步骤305、根据所述第一全局特征编码、所述第一局部特征编码和所述第二局部特征编码，构建所述目标物体的三维模型。
具体的，第一多层感知器、第二多层感知器和第三多层感知器能够编码出维度数量相等的特征编码，但是各特征编码包括的维度可以是不同的。
需要说明的是，为了构建出效果更好的三维模型，与第一全局图像特征编码、第一局部图像特征编码和第二局部图像特征编码进行串联之前，采样点至少输入一次球谐函数进行映射，并将输出的结果输入到对应的多层感知器中，但是无论采样点输入几次球谐函数，第一全局图像特征编码均需要与输入球谐函数后得到的采样点特征编码进行串联。
在一个可行的实施方案中，图4为本申请实施例一提供的另一种三维模型构建方法的流程示意图，如图4所示，在执行步骤305时，可以通过以下步骤实现：
步骤401、分别将所述第一全局特征编码、所述第一局部特征编码和所述第二局部特征编码输入到特征解码器中，得到所述第一全局特征编码的第一解码值、所述第一局部特征编码的第二解码值和所述第二局部特征编码的第三解码值。
步骤402、对所述第一解码值、所述第二解码值和所述第三解码值进行求和，将求和结果作为所述采样点的有符号距离参数。
步骤403、将所述有符号距离参数输入到移动立方格算法中，得到所述目标物体的三维模型。
具体的，采样点的有符号距离参数用于指示采样点与待建立的三维模型之间的位置关系，有符号距离参数可以表征采样点距离待建立的三维模型表面的距离，采样点的有符号距离参数，具体可以为采样点对应的有符号距离，该符号可以为正号或负号；该符号用于表征采样点与待建立的三维模型的相对位置关系；例如，正号代表该采样点位于待建立的三维模型的外部，负号代表该采样点位于待建立的三维模型的内部；当然也可以为，正号代表该采样点位于待建立的三维模型的内部，负号代表该采样点位于待建立的三维模型的外部。
当采样点为多个时，多个采样点的有符号距离参数可以做成有符合距离域，进而可以通过移动立方格算法，基于这些采样点以及组成的有符号距离域，建立目标物体的三维模型。
在一个可行的实施方案中，图5为本申请实施例一提供的另一种三维模型构建方法的流程示意图，如图5所示，该方法还包括以下步骤：
步骤501、获取包含样本物体的第一样本二维图像、所述第一样本二维图像的相机参数，以及在所述三维坐标系中指定的第一样本采样点。
步骤502、对所述第一样本二维图像进行降采样处理，得到第二样本二维图像。
步骤503、将所述第二样本二维图像输入到待训练的全局特征提取网络中，得到所述第二样本二维图像的第一样本全局图像特征编码。
步骤504、根据所述第一样本采样点在所述三维坐标系中的样本坐标，确定所述第一样本采样点在所述三维坐标系中的样本对称点。
步骤505、根据所述相机参数，确定所述第一样本采样点和所述样本对称点在所述第一样本二维图像中的第一样本映射点，以及在所述第二样本二维图像中的第二样本映射点。
步骤506、将所述第一样本映射点输入到待训练的第一局部特征提取网络，得到所述第一样本二维图像的第一样本局部图像特征编码，以及将所述第二样本映射点输入到待训练的第二局部特征提取网络，得到所述第二样本二维图像的第二样本局部图像特征编码。
步骤507、通过球谐函数对所述样本坐标进行映射，得到用于表示将所述样本坐标转换成球坐标时的第二球谐函数映射特征；将所述第二球谐函数映射特征输入到待训练的第一多层感知器中，得到所述样本坐标的第一样本采样点特征编码。
步骤508、将所述第一样本采样点分别输入到待训练的第二多层感知器和待训练的第三多层感知器中，得到所述样本坐标的第二样本采样点特征编码和第三样本采样点特征编码。
步骤509、对所述第一样本采样点特征编码和所述第一样本全局图像特征编码进行向量串联，得到第一样本全局特征编码；对所述第二样本采样点特征编码和所述第一样本局部图像特征编码进行向量串联，得到第一样本局部特征编码；以及，所述第三样本采样点特征编码和所述第二样本局部图像特征编码进行向量串联，得到第二样本局部特征编码。
步骤510、分别将所述第一样本全局特征编码、所述第一样本局部特征编码和所述第二样本局部特征编码输入到待训练的特征解码器中，得到所述第一样本全局特征编码的第一样本解码值、所述第一样本局部特征编码的第二样本解码值和所述第二样本局部特征编码的第三样本解码值。
步骤511、根据所述第一样本解码值、所述第二样本解码值和所述第三样本解码值，对所述待训练的全局特征提取网络、所述待训练的第一局部特征提取网络、所述待训练的第二局部特征提取网络、所述待训练的第一多层感知器、所述待训练的第二多层感知器、所述待训练的第三多层感知器和所述待训练的特征解码器进行训练，以得到所述全局特征提取网络、所述第一局部特征提取网络、所述第二局部特征提取网络、所述第一多层感知器、所述第二多层感知器、所述第三多层感知器和所述特征解码器。
关于步骤501-步骤510的相关介绍可参考上述的相关说明，在此不再详细说明。
在利用步骤511进行模型训练时，可以根据第一样本解码值、第二样本解码值和第三样本解码值计算损失值，然后通过反向传播进行训练，优化待训练的模型中的参数，并重复步骤201-步骤511，直至完成收敛。
在一个可行的实施方案中，图6为本申请实施例一提供的另一种三维模型构建方法的流程示意图，如图6所示，在执行步骤501时，可以通过以下步骤实现：
步骤601、对所述第一样本解码值、所述第二样本解码值和所述第三样本解码值进行求和，将求和结果作为所述第一样本采样点的第一有符号距离参数。
步骤602、对所述第一样本解码值和所述第三样本解码值进行求和，将求和结果作为所述第一样本采样点的第二有符号距离参数。
步骤603、根据所述第一有符号距离参数和所述第二有符号距离参数，对所述待训练的全局特征提取网络、所述待训练的第一局部特征提取网络、所述待训练的第二局部特征提取网络、所述待训练的第一多层感知器、所述待训练的第二多层感知器、所述待训练的第三多层感知器和所述待训练的特征解码器进行训练，以得到所述全局特征提取网络、所述第一局部特征提取网络、所述第二局部特征提取网络、所述第一多层感知器、所述第二多层感知器、所述第三多层感知器和所述特征解码器。
具体的，第一有符号距离参数可以作为精度较高的有符号距离参数，第二有符号距离参数可以作为精度较低的有符号距离参数，通过由粗到细的有符号距离参数可以得到相对准确的损失值，然后通过反向传播进行训练对模型中的参数进行训练，直至完成收敛。
在一个可行的实施方案中，在执行步骤603时可以通过第一公式计算第一损失值，通过第二公式计算第二损失值，通过第三公式计算第一总损失值，然后判断第一总损失值是否小于预设阈值，如果所述第一总损失值是否小于预设阈值，则得到所述全局特征提取网络、所述第一局部特征提取网络、所述第二局部特征提取网络、所述第一多层感知器、所述第二多层感知器、所述第三多层感知器和所述特征解码器。
如果所述第一总损失值小于或等于预设阈值，则根据所述第一有符号距离参数和所述第二有符号距离参数，分别对所述待训练的全局特征提取网络、所述待训练的第一局部特征提取网络、所述待训练的第二局部特征提取网络、所述待训练的第一多层感知器、所述待训练的第二多层感知器、所述待训练的第三多层感知器和所述待训练的特征解码器进行反向传播训练，并使用训练后的全局特征提取网络、第一局部特征提取网络、第二局部特征提取网络、第一多层感知器、第二多层感知器、第三多层感知器和特征解码器得到总损失值，直至得到的总损失值小于所述预设阈值为止。
其中，第一公式为：
Figure BDA0002917710790000241
第二公式为：
Figure BDA0002917710790000242
第三公式为：
Lloss＝Lcoarse+n*Lfine
p为所述样本坐标，SDF(p)所述第一样本采样点到所述三维模型的有符号距离的真值，m为权重值，当SDF(p)小于预设值时，m取值为A，当SDF(p)大于或等于所述预设值时，m取值为B，A>B,SDFlow(p)为所述第二有符号距离参数，SDFhigh(p)为所述第一有符号距离参数。
在第一损失值小于或等于预设阈值时，则使用第一有符号距离和第二有符号距离对模型中的参数进行优化，然后再获取第二样本二维图像、第二样本二维图像的相机参数，以及三维坐标系中指定的第二样本采样点，并按照上述实施例一中的方式计算第三损失值和第四损失值，然后按照图7中的第三公式计算第二总损失值，并判断第二总损失值是否小于预设阈值，如果小于，则完成训练，如果仍大于或等于预设阈值，则使用本次训练过程中得到的两个有符号距离对模型中的参数进行优化，直至得到的总损失值小于预设阈值为止。
实施例二
图7为本申请实施例二中提供的一种三维模型构建装置的结构示意图，如图7所示，该装置包括：
获取单元71，用于获取包含目标物体的第一二维图像、所述第一二维图像的相机参数，以及在预设的三维坐标系中指定的采样点，其中，所述相机参数包括所述目标物体在所述第一二维图像中的姿态相对于所述目标物体在所述三维坐标系中的指定姿态的映射关系；
降采样单元72，用于对所述第一二维图像进行降采样处理，得到第二二维图像；
第一提取单元73，用于将所述第二二维图像输入到全局特征提取网络中，得到所述第二二维图像的第一全局图像特征编码；
第一确定单元74，用于根据所述采样点在所述三维坐标系中的坐标，
确定所述采样点在所述三维坐标系中的对称点；
第二确定单元75，用于根据所述相机参数，确定所述采样点和所述对称点在所述第一二维图像中的第一映射点，以及在所述第二二维图像中的第二映射点；
第二提取单元76，用于将所述第一映射点输入到第一局部特征提取网络，得到所述第一二维图像的第一局部图像特征编码，以及将所述第二映射点输入到第二局部特征提取网络，得到所述第二二维图像的第二局部图像特征编码；
构建单元77，用于根据所述第一全局图像特征编码、所述第一局部图像特征编码和所述第二局部图像特征编码，构建所述目标物体的三维模型。
在一个可行的实施方案中，所述第一确定单元74用于根据所述采样点在所述三维坐标系中的坐标，确定所述采样点在所述三维坐标系中的对称点时，包括：
根据所述相机参数，确定所述目标物体在所述第一二维图像中的姿态和所述指定姿态的对称面；
根据所述坐标，确定所述采样点相对于所述对称面的对称点。
在一个可行的实施方案中，所述构建单元77用于根据所述第一全局图像特征编码、所述第一局部图像特征编码和所述第二局部图像特征编码，构建所述目标物体的三维模型时，包括：
通过球谐函数对所述坐标进行映射，得到用于表示将所述坐标转换成球坐标时的第一球谐函数映射特征；
将所述第一球谐函数映射特征输入到第一多层感知器中，得到所述坐标的第一采样点特征编码；
将所述采样点分别输入到第二多层感知器和第三多层感知器中，得到所述坐标的第二采样点特征编码和第三采样点特征编码，其中，所述第一采样点特征编码、所述第二采样点特征编码和所述第三采样点特征编码包括的维度数目相等；
对所述第一采样点特征编码和所述第一全局图像特征编码进行向量串联，得到第一全局特征编码；对所述第二采样点特征编码和所述第一局部图像特征编码进行向量串联，得到第一局部特征编码；以及，所述第三采样点特征编码和所述第二局部图像特征编码进行向量串联，得到第二局部特征编码；
根据所述第一全局特征编码、所述第一局部特征编码和所述第二局部特征编码，构建所述目标物体的三维模型。
在一个可行的实施方案中，所述构建单元77用于根据所述第一全局特征编码、所述第一局部特征编码和所述第二局部特征编码，构建所述目标物体的三维模型时，包括：
分别将所述第一全局特征编码、所述第一局部特征编码和所述第二局部特征编码输入到特征解码器中，得到所述第一全局特征编码的第一解码值、所述第一局部特征编码的第二解码值和所述第二局部特征编码的第三解码值；
对所述第一解码值、所述第二解码值和所述第三解码值进行求和，将求和结果作为所述采样点的有符号距离参数；
将所述有符号距离参数输入到移动立方格算法中，得到所述目标物体的三维模型。
在一个可行的实施方案中，图8为本申请实施例二提供的另一种三维模型构建装置的结构示意图，如图8所示，所述装置还包括：
训练单元78，用于获取包含样本物体的第一样本二维图像、所述第一样本二维图像的相机参数，以及在所述三维坐标系中指定的第一样本采样点；以及，用于对所述第一样本二维图像进行降采样处理，得到第二样本二维图像；以及，用于将所述第二样本二维图像输入到待训练的全局特征提取网络中，得到所述第二样本二维图像的第一样本全局图像特征编码；以及，用于根据所述第一样本采样点在所述三维坐标系中的样本坐标，确定所述第一样本采样点在所述三维坐标系中的样本对称点；以及，用于根据所述相机参数，确定所述第一样本采样点和所述样本对称点在所述第一样本二维图像中的第一样本映射点，以及在所述第二样本二维图像中的第二样本映射点；以及，用于将所述第一样本映射点输入到待训练的第一局部特征提取网络，得到所述第一样本二维图像的第一样本局部图像特征编码，以及将所述第二样本映射点输入到待训练的第二局部特征提取网络，得到所述第二样本二维图像的第二样本局部图像特征编码；以及，用于通过球谐函数对所述样本坐标进行映射，得到用于表示将所述样本坐标转换成球坐标时的第二球谐函数映射特征；将所述第二球谐函数映射特征输入到待训练的第一多层感知器中，得到所述样本坐标的第一样本采样点特征编码；以及，用于将所述第一样本采样点分别输入到待训练的第二多层感知器和待训练的第三多层感知器中，得到所述样本坐标的第二样本采样点特征编码和第三样本采样点特征编码；以及，用于对所述第一样本采样点特征编码和所述第一样本全局图像特征编码进行向量串联，得到第一样本全局特征编码；对所述第二样本采样点特征编码和所述第一样本局部图像特征编码进行向量串联，得到第一样本局部特征编码；以及，所述第三样本采样点特征编码和所述第二样本局部图像特征编码进行向量串联，得到第二样本局部特征编码；以及，用于分别将所述第一样本全局特征编码、所述第一样本局部特征编码和所述第二样本局部特征编码输入到待训练的特征解码器中，得到所述第一样本全局特征编码的第一样本解码值、所述第一样本局部特征编码的第二样本解码值和所述第二样本局部特征编码的第三样本解码值；以及，用于根据所述第一样本解码值、所述第二样本解码值和所述第三样本解码值，对所述待训练的全局特征提取网络、所述待训练的第一局部特征提取网络、所述待训练的第二局部特征提取网络、所述待训练的第一多层感知器、所述待训练的第二多层感知器、所述待训练的第三多层感知器和所述待训练的特征解码器进行训练，以得到所述全局特征提取网络、所述第一局部特征提取网络、所述第二局部特征提取网络、所述第一多层感知器、所述第二多层感知器、所述第三多层感知器和所述特征解码器。
在一个可行的实施方案中，所述训练单元78用于根据所述第一样本解码值、所述第二样本解码值和所述第三样本解码值，对所述待训练的全局特征提取网络、所述待训练的第一局部特征提取网络、所述待训练的第二局部特征提取网络、所述待训练的第一多层感知器、所述待训练的第二多层感知器、所述待训练的第三多层感知器和所述待训练的特征解码器进行训练，以得到所述全局特征提取网络、所述第一局部特征提取网络、所述第二局部特征提取网络、所述第一多层感知器、所述第二多层感知器、所述第三多层感知器和所述特征解码器时，包括：
对所述第一样本解码值、所述第二样本解码值和所述第三样本解码值进行求和，将求和结果作为所述第一样本采样点的第一有符号距离参数；
对所述第一样本解码值和所述第三样本解码值进行求和，将求和结果作为所述第一样本采样点的第二有符号距离参数；
根据所述第一有符号距离参数和所述第二有符号距离参数，对所述待训练的全局特征提取网络、所述待训练的第一局部特征提取网络、所述待训练的第二局部特征提取网络、所述待训练的第一多层感知器、所述待训练的第二多层感知器、所述待训练的第三多层感知器和所述待训练的特征解码器进行训练，以得到所述全局特征提取网络、所述第一局部特征提取网络、所述第二局部特征提取网络、所述第一多层感知器、所述第二多层感知器、所述第三多层感知器和所述特征解码器。
在一个可行的实施方案中，所述训练单元78，用于根据所述第一有符号距离参数和所述第二有符号距离参数，对所述待训练的全局特征提取网络、所述待训练的第一局部特征提取网络、所述待训练的第二局部特征提取网络、所述待训练的第一多层感知器、所述待训练的第二多层感知器、所述待训练的第三多层感知器和所述待训练的特征解码器进行训练，以得到所述全局特征提取网络、所述第一局部特征提取网络、所述第二局部特征提取网络、所述第一多层感知器、所述第二多层感知器、所述第三多层感知器和所述特征解码器时，包括：
通过以下公式计算第一损失值：
Figure BDA0002917710790000291
通过以下公式计算第二损失值：
Figure BDA0002917710790000292
通过以下公式计算第一总损失值：
Lloss＝Lcoarse+n*Lfine
判断所述第一总损失值是否小于预设阈值；
如果所述第一总损失值是否小于预设阈值，则得到所述全局特征提取网络、所述第一局部特征提取网络、所述第二局部特征提取网络、所述第一多层感知器、所述第二多层感知器、所述第三多层感知器和所述特征解码器；
如果所述第一总损失值小于或等于预设阈值，则根据所述第一有符号距离参数和所述第二有符号距离参数，分别对所述待训练的全局特征提取网络、所述待训练的第一局部特征提取网络、所述待训练的第二局部特征提取网络、所述待训练的第一多层感知器、所述待训练的第二多层感知器、所述待训练的第三多层感知器和所述待训练的特征解码器进行反向传播训练，并使用训练后的全局特征提取网络、第一局部特征提取网络、第二局部特征提取网络、第一多层感知器、第二多层感知器、第三多层感知器和特征解码器得到总损失值，直至得到的总损失值小于所述预设阈值为止；
其中，p为所述样本坐标，SDF(p)所述第一样本采样点到所述三维模型的有符号距离的真值，m为权重值，当SDF(p)小于预设值时，m取值为A，当SDF(p)大于或等于所述预设值时，m取值为B，A>B，SDFlow(p)为所述第二有符号距离参数，SDFhigh(p)为所述第一有符号距离参数。
关于实施例二的相关解释可参考实施例一的详细说明，在此不再详细说明。
实施例三
图9为本申请实施例三提供的一种电子设备的结构示意图，包括：处理器901、存储介质902和总线903，所述存储介质902存储有所述处理器901可执行的机器可读指令，当电子设备运行上述的三维模型构建方法时，所述处理器901与所述存储介质902之间通过总线903通信，所述处理器901执行所述机器可读指令，以执行实施例一中所述的方法步骤。
实施例四
本申请实施例四还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行实施例一中所述的方法步骤。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种三维模型构建方法，其特征在于，包括：
获取包含目标物体的第一二维图像、所述第一二维图像的相机参数，以及在预设的三维坐标系中指定的采样点，其中，所述相机参数包括所述目标物体在所述第一二维图像中的姿态相对于所述目标物体在所述三维坐标系中的指定姿态的映射关系；
对所述第一二维图像进行降采样处理，得到第二二维图像；
将所述第二二维图像输入到全局特征提取网络中，得到所述第二二维图像的第一全局图像特征编码；
根据所述采样点在所述三维坐标系中的坐标，确定所述采样点在所述三维坐标系中的对称点；
根据所述相机参数，确定所述采样点和所述对称点在所述第一二维图像中的第一映射点，以及在所述第二二维图像中的第二映射点；
将所述第一映射点输入到第一局部特征提取网络，得到所述第一二维图像的第一局部图像特征编码，以及将所述第二映射点输入到第二局部特征提取网络，得到所述第二二维图像的第二局部图像特征编码；
根据所述第一全局图像特征编码、所述第一局部图像特征编码和所述第二局部图像特征编码，构建所述目标物体的三维模型。
2.如权利要求1所述的方法，其特征在于，所述根据所述采样点在所述三维坐标系中的坐标，确定所述采样点在所述三维坐标系中的对称点，包括：
根据所述相机参数，确定所述目标物体在所述第一二维图像中的姿态和所述指定姿态的对称面；
根据所述坐标，确定所述采样点相对于所述对称面的对称点。
3.如权利要求1所述的方法，其特征在于，所述根据所述第一全局图像特征编码、所述第一局部图像特征编码和所述第二局部图像特征编码，构建所述目标物体的三维模型，包括：
通过球谐函数对所述坐标进行映射，得到用于表示将所述坐标转换成球坐标时的第一球谐函数映射特征；
将所述第一球谐函数映射特征输入到第一多层感知器中，得到所述坐标的第一采样点特征编码；
将所述采样点分别输入到第二多层感知器和第三多层感知器中，得到所述坐标的第二采样点特征编码和第三采样点特征编码，其中，所述第一采样点特征编码、所述第二采样点特征编码和所述第三采样点特征编码包括的维度数目相等；
对所述第一采样点特征编码和所述第一全局图像特征编码进行向量串联，得到第一全局特征编码；对所述第二采样点特征编码和所述第一局部图像特征编码进行向量串联，得到第一局部特征编码；以及，所述第三采样点特征编码和所述第二局部图像特征编码进行向量串联，得到第二局部特征编码；
根据所述第一全局特征编码、所述第一局部特征编码和所述第二局部特征编码，构建所述目标物体的三维模型。
4.如权利要求3所述的方法，其特征在于，所述根据所述第一全局特征编码、所述第一局部特征编码和所述第二局部特征编码，构建所述目标物体的三维模型，包括：
分别将所述第一全局特征编码、所述第一局部特征编码和所述第二局部特征编码输入到特征解码器中，得到所述第一全局特征编码的第一解码值、所述第一局部特征编码的第二解码值和所述第二局部特征编码的第三解码值；
对所述第一解码值、所述第二解码值和所述第三解码值进行求和，将求和结果作为所述采样点的有符号距离参数；
将所述有符号距离参数输入到移动立方格算法中，得到所述目标物体的三维模型。
5.如权利要求3所述的方法，其特征在于，所述方法还包括：
获取包含样本物体的第一样本二维图像、所述第一样本二维图像的相机参数，以及在所述三维坐标系中指定的第一样本采样点；
对所述第一样本二维图像进行降采样处理，得到第二样本二维图像；
将所述第二样本二维图像输入到待训练的全局特征提取网络中，得到所述第二样本二维图像的第一样本全局图像特征编码；
根据所述第一样本采样点在所述三维坐标系中的样本坐标，确定所述第一样本采样点在所述三维坐标系中的样本对称点；
根据所述相机参数，确定所述第一样本采样点和所述样本对称点在所述第一样本二维图像中的第一样本映射点，以及在所述第二样本二维图像中的第二样本映射点；
将所述第一样本映射点输入到待训练的第一局部特征提取网络，得到所述第一样本二维图像的第一样本局部图像特征编码，以及将所述第二样本映射点输入到待训练的第二局部特征提取网络，得到所述第二样本二维图像的第二样本局部图像特征编码；
通过球谐函数对所述样本坐标进行映射，得到用于表示将所述样本坐标转换成球坐标时的第二球谐函数映射特征；将所述第二球谐函数映射特征输入到待训练的第一多层感知器中，得到所述样本坐标的第一样本采样点特征编码；
将所述第一样本采样点分别输入到待训练的第二多层感知器和待训练的第三多层感知器中，得到所述样本坐标的第二样本采样点特征编码和第三样本采样点特征编码；
对所述第一样本采样点特征编码和所述第一样本全局图像特征编码进行向量串联，得到第一样本全局特征编码；对所述第二样本采样点特征编码和所述第一样本局部图像特征编码进行向量串联，得到第一样本局部特征编码；以及，所述第三样本采样点特征编码和所述第二样本局部图像特征编码进行向量串联，得到第二样本局部特征编码；
分别将所述第一样本全局特征编码、所述第一样本局部特征编码和所述第二样本局部特征编码输入到待训练的特征解码器中，得到所述第一样本全局特征编码的第一样本解码值、所述第一样本局部特征编码的第二样本解码值和所述第二样本局部特征编码的第三样本解码值；
根据所述第一样本解码值、所述第二样本解码值和所述第三样本解码值，对所述待训练的全局特征提取网络、所述待训练的第一局部特征提取网络、所述待训练的第二局部特征提取网络、所述待训练的第一多层感知器、所述待训练的第二多层感知器、所述待训练的第三多层感知器和所述待训练的特征解码器进行训练，以得到所述全局特征提取网络、所述第一局部特征提取网络、所述第二局部特征提取网络、所述第一多层感知器、所述第二多层感知器、所述第三多层感知器和所述特征解码器。
6.如权利要求5所述的方法，其特征在于，根据所述第一样本解码值、所述第二样本解码值和所述第三样本解码值，对所述待训练的全局特征提取网络、所述待训练的第一局部特征提取网络、所述待训练的第二局部特征提取网络、所述待训练的第一多层感知器、所述待训练的第二多层感知器、所述待训练的第三多层感知器和所述待训练的特征解码器进行训练，以得到所述全局特征提取网络、所述第一局部特征提取网络、所述第二局部特征提取网络、所述第一多层感知器、所述第二多层感知器、所述第三多层感知器和所述特征解码器，包括：
对所述第一样本解码值、所述第二样本解码值和所述第三样本解码值进行求和，将求和结果作为所述第一样本采样点的第一有符号距离参数；
对所述第一样本解码值和所述第三样本解码值进行求和，将求和结果作为所述第一样本采样点的第二有符号距离参数；
根据所述第一有符号距离参数和所述第二有符号距离参数，对所述待训练的全局特征提取网络、所述待训练的第一局部特征提取网络、所述待训练的第二局部特征提取网络、所述待训练的第一多层感知器、所述待训练的第二多层感知器、所述待训练的第三多层感知器和所述待训练的特征解码器进行训练，以得到所述全局特征提取网络、所述第一局部特征提取网络、所述第二局部特征提取网络、所述第一多层感知器、所述第二多层感知器、所述第三多层感知器和所述特征解码器。
7.如权利要求6所述的方法，其特征在于，所述根据所述第一有符号距离参数和所述第二有符号距离参数，对所述待训练的全局特征提取网络、所述待训练的第一局部特征提取网络、所述待训练的第二局部特征提取网络、所述待训练的第一多层感知器、所述待训练的第二多层感知器、所述待训练的第三多层感知器和所述待训练的特征解码器进行训练，以得到所述全局特征提取网络、所述第一局部特征提取网络、所述第二局部特征提取网络、所述第一多层感知器、所述第二多层感知器、所述第三多层感知器和所述特征解码器，包括：
通过以下公式计算第一损失值：
Figure FDA0002917710780000051
通过以下公式计算第二损失值：
Figure FDA0002917710780000052
通过以下公式计算第一总损失值：
Lross＝Lcoarse+n*Lfine
判断所述第一总损失值是否小于预设阈值；
如果所述第一总损失值是否小于预设阈值，则得到所述全局特征提取网络、所述第一局部特征提取网络、所述第二局部特征提取网络、所述第一多层感知器、所述第二多层感知器、所述第三多层感知器和所述特征解码器；
如果所述第一总损失值小于或等于预设阈值，则根据所述第一有符号距离参数和所述第二有符号距离参数，分别对所述待训练的全局特征提取网络、所述待训练的第一局部特征提取网络、所述待训练的第二局部特征提取网络、所述待训练的第一多层感知器、所述待训练的第二多层感知器、所述待训练的第三多层感知器和所述待训练的特征解码器进行反向传播训练，并使用训练后的全局特征提取网络、第一局部特征提取网络、第二局部特征提取网络、第一多层感知器、第二多层感知器、第三多层感知器和特征解码器得到总损失值，直至得到的总损失值小于所述预设阈值为止；
其中，p为所述样本坐标，SDF(p)所述第一样本采样点到所述三维模型的有符号距离的真值，m为权重值，当SDF(p)小于预设值时，m取值为A，当SDF(p)大于或等于所述预设值时，m取值为B，A>B,SDFlow(p)为所述第二有符号距离参数，SDFhigh(p)为所述第一有符号距离参数。
8.一种三维模型构建装置，其特征在于，包括：
获取单元，用于获取包含目标物体的第一二维图像、所述第一二维图像的相机参数，以及在预设的三维坐标系中指定的采样点，其中，所述相机参数包括所述目标物体在所述第一二维图像中的姿态相对于所述目标物体在所述三维坐标系中的指定姿态的映射关系；
降采样单元，用于对所述第一二维图像进行降采样处理，得到第二二维图像；
第一提取单元，用于将所述第二二维图像输入到全局特征提取网络中，得到所述第二二维图像的第一全局图像特征编码；
第一确定单元，用于根据所述采样点在所述三维坐标系中的坐标，确定所述采样点在所述三维坐标系中的对称点；
第二确定单元，用于根据所述相机参数，确定所述采样点和所述对称点在所述第一二维图像中的第一映射点，以及在所述第二二维图像中的第二映射点；
第二提取单元，用于将所述第一映射点输入到第一局部特征提取网络，得到所述第一二维图像的第一局部图像特征编码，以及将所述第二映射点输入到第二局部特征提取网络，得到所述第二二维图像的第二局部图像特征编码；
构建单元，用于根据所述第一全局图像特征编码、所述第一局部图像特征编码和所述第二局部图像特征编码，构建所述目标物体的三维模型。
9.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至7中任一项所述的三维模型构建方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7中任一项所述的三维模型构建方法的步骤。
CN202110106118.2A 2021-01-26 2021-01-26 一种三维模型构建方法、装置、电子设备和存储介质 Active CN112785494B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110106118.2A CN112785494B (zh) 2021-01-26 2021-01-26 一种三维模型构建方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110106118.2A CN112785494B (zh) 2021-01-26 2021-01-26 一种三维模型构建方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112785494A CN112785494A (zh) 2021-05-11
CN112785494B true CN112785494B (zh) 2023-06-16

Family

ID=75757335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110106118.2A Active CN112785494B (zh) 2021-01-26 2021-01-26 一种三维模型构建方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112785494B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115834890B (zh) * 2023-02-08 2023-04-28 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种图像压缩方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875813A (zh) * 2018-06-04 2018-11-23 北京工商大学 一种基于几何图像的三维网格模型检索方法
WO2019047971A1 (zh) * 2017-09-11 2019-03-14 腾讯科技（深圳）有限公司 图像识别方法、终端及存储介质
CN109978989A (zh) * 2019-02-26 2019-07-05 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN110321910A (zh) * 2018-03-29 2019-10-11 中国科学院深圳先进技术研究院 面向点云的特征提取方法、装置及设备
CN110853027A (zh) * 2019-11-18 2020-02-28 方玉明 一种基于局部变动和全局变化的三维合成图像无参考质量评价方法
CN111414809A (zh) * 2020-02-28 2020-07-14 上海牙典软件科技有限公司 一种三维图形识别方法、装置、设备及存储介质
CN111524232A (zh) * 2020-04-23 2020-08-11 网易（杭州）网络有限公司 三维建模方法、装置和服务器

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4419320B2 (ja) * 2000-12-25 2010-02-24 コニカミノルタホールディングス株式会社 ３次元形状データの生成装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019047971A1 (zh) * 2017-09-11 2019-03-14 腾讯科技（深圳）有限公司 图像识别方法、终端及存储介质
CN110321910A (zh) * 2018-03-29 2019-10-11 中国科学院深圳先进技术研究院 面向点云的特征提取方法、装置及设备
CN108875813A (zh) * 2018-06-04 2018-11-23 北京工商大学 一种基于几何图像的三维网格模型检索方法
CN109978989A (zh) * 2019-02-26 2019-07-05 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN110853027A (zh) * 2019-11-18 2020-02-28 方玉明 一种基于局部变动和全局变化的三维合成图像无参考质量评价方法
CN111414809A (zh) * 2020-02-28 2020-07-14 上海牙典软件科技有限公司 一种三维图形识别方法、装置、设备及存储介质
CN111524232A (zh) * 2020-04-23 2020-08-11 网易（杭州）网络有限公司 三维建模方法、装置和服务器

Also Published As

Publication number Publication date
CN112785494A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN108898630B (zh) 一种三维重建方法、装置、设备和存储介质
CN106803267B (zh) 基于Kinect的室内场景三维重建方法
CN110910486B (zh) 室内场景光照估计模型、方法、装置、存储介质以及渲染方法
CN108537871B (zh) 信息处理设备和信息处理方法
CN113838176B (zh) 模型的训练方法、三维人脸图像生成方法及设备
CN116109798B (zh) 图像数据处理方法、装置、设备及介质
CN111583381B (zh) 游戏资源图的渲染方法、装置及电子设备
CN116310076A (zh) 基于神经辐射场的三维重建方法、装置、设备及存储介质
CN115690382B (zh) 深度学习模型的训练方法、生成全景图的方法和装置
CN116246023A (zh) 三维模型重建方法、装置、设备、存储介质及程序产品
CN111583398B (zh) 图像显示的方法、装置、电子设备及计算机可读存储介质
CN116563493A (zh) 基于三维重建的模型训练方法、三维重建方法及装置
CN113936090A (zh) 三维人体重建的方法、装置、电子设备及存储介质
US20220319055A1 (en) Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture
CN112785494B (zh) 一种三维模型构建方法、装置、电子设备和存储介质
CN111524232A (zh) 三维建模方法、装置和服务器
CN113723317B (zh) 3d人脸的重建方法、装置、电子设备和存储介质
WO2022208440A1 (en) Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture
WO2021151380A1 (en) Method for rendering virtual object based on illumination estimation, method for training neural network, and related products
CN117333637A (zh) 三维场景的建模及渲染方法、装置及设备
CN113409444A (zh) 三维重建方法、装置、电子设备及存储介质
CN117197388A (zh) 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及系统
CN115496864B (zh) 模型构建方法、重建方法、装置、电子设备及存储介质
CN115375847B (zh) 材质恢复方法、三维模型的生成方法和模型的训练方法
CN115619986B (zh) 场景漫游方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant