CN117496288A - 三维解析模型的训练方法、虚拟图像创建方法及装置 - Google Patents

三维解析模型的训练方法、虚拟图像创建方法及装置 Download PDF

Info

Publication number
CN117496288A
CN117496288A CN202310773092.6A CN202310773092A CN117496288A CN 117496288 A CN117496288 A CN 117496288A CN 202310773092 A CN202310773092 A CN 202310773092A CN 117496288 A CN117496288 A CN 117496288A
Authority
CN
China
Prior art keywords
color
training
target
determining
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310773092.6A
Other languages
English (en)
Inventor
王淳
蒋宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mashang Consumer Finance Co Ltd
Original Assignee
Mashang Consumer Finance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mashang Consumer Finance Co Ltd filed Critical Mashang Consumer Finance Co Ltd
Priority to CN202310773092.6A priority Critical patent/CN117496288A/zh
Publication of CN117496288A publication Critical patent/CN117496288A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例提供了一种三维解析模型的训练方法、虚拟图像创建方法及装置，其中训练方法包括：将第一训练样本对输入第一三维解析网络中进行第一训练处理，得到多个第一空间点的第一反照率和第一球谐光照系数；将第二训练样本对输入第二三维解析网络进行第二训练处理，得到多个第二空间点的第二反照率和第二球谐光照系数；根据第一反照率和第二球谐光照系数确定第一损失，根据第二反照率和第一球谐光照系数确定第二损失；若根据第一损失和第二损失确定满足训练结束条件，则将满足训练结束条件时的第一三维解析网络确定为三维解析模型。通过本申请实施例，能够使生成的虚拟图像更和谐的融入到目标虚拟环境中。

Description

三维解析模型的训练方法、虚拟图像创建方法及装置
技术领域
本申请涉及人工智能技术领域，尤其涉及一种三维解析模型的训练方法、虚拟图像创建方法及装置。
背景技术
随着科技水平的不断发展，虚拟现实在日常工作中的应用越来越广泛。例如，虚拟会议室，即多个位于不同位置的用户，通过头戴式显示器(head mounted display，HMD)进入到同一个虚拟会议室，以进行沉浸式的会议沟通。为了保障会议的有效沟通，会议组织用户可能需要对一些真实物体进行数字化处理，并将得到的数字化物体导入到虚拟会议室中，例如将数字化手机、数字化笔记本等导入到虚拟会议室中。由于会议的组织往往是临时的，会议组织人员一般没有专业的数字化处理设备，而是通过手机拍摄真实物体的图像并导入到虚拟会议室中。然而，由于拍摄的图像中，真实物体的光照继承于拍摄时的光照，而该拍摄时的光照大多情况下与虚拟会议室中的光照不匹配，因此，真实物体的数字化物体在虚拟会议室中呈现时，存在难以与虚拟会议中的光照进行融合的问题，进而使得参会人员在HMD观看角度下的视觉突兀感很强，沉浸式体验较差。
发明内容
本申请提供一种三维解析模型的训练方法、虚拟图像创建方法及装置，以使虚拟图像更和谐的融入到目标虚拟环境中。
第一方面，本申请实施例提供了一种三维解析模型的训练方法，包括：
将第一训练样本对输入待训练的第一三维解析网络中进行第一训练处理，得到多个第一空间点的第一颜色分解结果；所述第一训练样本对包括目标对象的彩色图像和所述彩色图像对应的相机视点，所述第一颜色分解结果包括第一反照率和第一球谐光照系数；
将第二训练样本对输入待训练的第二三维解析网络中进行第二训练处理，得到多个第二空间点的第二颜色分解结果；所述第二训练样本对包括所述彩色图像对应的灰度图像和所述相机视点，所述第二颜色分解结果包括第二反照率和第二球谐光照系数；
根据所述第一反照率和所述第二球谐光照系数确定第一损失，并根据所述第二反照率和所述第一球谐光照系数确定第二损失；
若根据所述第一损失和所述第二损失确定满足训练结束条件，则将满足训练结束条件时的第一三维解析网络确定为三维解析模型。
可以看出，本申请实施例中，在训练过程中，对两个待训练的三维解析网络同时训练，并根据第一反照率和第二球谐光照系数确定第一损失，根据第二反照率和第一球谐光照系数确定第二损失；其中，反照率表征目标对象的本色，球谐光照系数表征光照，目标对象的本色加上光照后即为目标对象在该光照下所呈现出的颜色(即目标对象在图像中的颜色)。通过在计算损失时交换两个三维解析网络的颜色分解结果中的球谐光照系数，也就是说，基于先验知识，具有对应关系的灰度图像与彩色图像之间的颜色不同与光照无关，即两者的光照信息是一致的；相应的，具有对应关系的第一球谐光照系数和第二球谐光照系数应该等价。因此在计算损失时，通过交换球谐光照系数的方式，可以促使反照率与光照的解耦合，由此使得最终得到的三维解析模型能够准确的将颜色解耦为反照率和球谐光照系数。由于三维解析模型可用于获取颜色分解结果，而该颜色分解结果中的反照率表征目标对象的本色，球谐光照系数表征光照，因此，在创建目标对象在目标虚拟环境中的虚拟图像时，可以根据目标虚拟环境的光照及该三维解析模型获取的相应空间点的颜色分解结果中的反照率，生成目标对象的虚拟图像，以使生成的虚拟图像的光照为目标虚拟环境的光照，从而极大的提升了生成的虚拟图像的光照与目标虚拟环境的光照的匹配度，保障了生成的虚拟图像可以更和谐的融入到目标虚拟环境中。
第二方面，本申请实施例提供了一种虚拟图像创建方法，包括：
获取目标对象的虚拟图像的创建信息；所述创建信息包括目标虚拟环境的目标球谐光照系数、所述目标对象在所述目标虚拟环境中所对应的虚拟相机视点和成像平面；所述成像平面的各像素点的颜色值为空；
将所述虚拟相机视点和所述成像平面输入三维解析模型中进行解析处理，得到多个第三空间点的第三颜色分解结果；所述第三颜色分解结果包括第三反照率，所述三维解析模型基于前述第一方面提供的三维解析模型的训练方法训练得到；
根据所述目标球谐光照系数和所述第三反照率，确定所述成像平面的各像素点的目标颜色值，得到所述目标对象在所述目标虚拟环境中的虚拟图像。
可以看出，本申请实施例中，在获取到目标对象的虚拟图像的创建信息时，将创建信息包括的目标对象在目标虚拟环境中所对应的虚拟相机视点和成像平面输入三维解析模型中进行解析处理，得到多个第三空间点的第三颜色分解结果；根据创建信息包括的目标虚拟环境的目标球谐光照系数和第三分解结果包括的第三反照率，确定成像平面的各像素点的目标颜色值，得到目标对象在目标虚拟环境中的虚拟图像。由于解析处理所使用的三维解析模型能够将颜色准确的解耦为反照率和球谐光照系数，其中，反照率表征目标对象的本色，球谐光照系数表征光照，而目标对象的本色加上光照后即为目标对象在该光照下所呈现出的颜色(即目标对象在图像中的颜色)。因此，可根据目标虚拟环境的目标球谐光照系数及三维解析模型得到的第三颜色分解结果中的第三反照率，生成目标对象在目标虚拟环境中的虚拟图像，以使生成的虚拟图像的光照能够与目标虚拟环境的光照相匹配，从而更和谐的融入到目标虚拟环境中。
第三方面，本申请实施例提供了一种三维解析模型的训练装置，包括：
第一训练模块，用于将第一训练样本对输入待训练的第一三维解析网络中进行第一训练处理，得到多个第一空间点的第一颜色分解结果；所述第一训练样本对包括目标对象的彩色图像和所述彩色图像对应的相机视点，所述第一颜色分解结果包括第一反照率和第一球谐光照系数；
第二训练模块，用于将第二训练样本对输入待训练的第二三维解析网络中进行第二训练处理，得到多个第二空间点的第二颜色分解结果；所述第二训练样本对包括所述彩色图像对应的灰度图像和所述相机视点，所述第二颜色分解结果包括第二反照率和第二球谐光照系数；
第一确定模块，用于根据所述第一反照率和所述第二球谐光照系数确定第一损失，并根据所述第二反照率和所述第一球谐光照系数确定第二损失；
第二确定模块，用于若根据所述第一损失和所述第二损失确定满足训练结束条件，则将满足训练结束条件时的第一三维解析网络确定为三维解析模型。
第四方面，本申请实施例提供了一种虚拟图像创建装置，包括：
获取模块，用于获取目标对象的虚拟图像的创建信息；所述创建信息包括目标虚拟环境的目标球谐光照系数、所述目标对象在所述目标虚拟环境中所对应的虚拟相机视点和成像平面；所述成像平面的各像素点的颜色值为空；
解析模块，用于将所述虚拟相机视点和所述成像平面输入三维解析模型中进行解析处理，得到多个第三空间点的第三颜色分解结果；所述第三颜色分解结果包括第三反照率，所述三维解析模型基于前述第一方面所提供的三维解析模型的训练方法训练得到；
确定模块，用于根据所述目标球谐光照系数和所述第三反照率，确定所述成像平面的各像素点的目标颜色值，得到所述目标对象在所述目标虚拟环境中的虚拟图像。
第五方面，本申请实施例提供了一种电子设备，包括：
处理器；以及，被安排成存储计算机可执行指令的存储器，所述可执行指令被配置由所述处理器执行，所述可执行指令包括用于执行上述第一方面提供的三维解析模型的训练方法中的步骤，或者所述可执行指令包括用于执行上述第二方面提供的虚拟图像创建方法中的步骤。
第六方面，本申请实施例提供了一种存储介质，所述存储介质用于存储计算机可执行指令，所述可执行指令使得计算机执行上述第一方面提供的三维解析模型的训练方法中的步骤，或者所述可执行指令使得计算机执行上述第二方面提供的虚拟图像创建方法中的步骤。
附图说明
为了更清楚地说明本申请一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种三维解析模型的训练方法的第一种流程示意图；
图2为本申请实施例提供的先验知识合理性的示意图；
图3为本申请实施例提供的一种三维解析模型的训练方法的第一种流程示意图；
图4为本申请实施例提供的一种三维解析模型的训练方法的第三种流程示意图；
图5为本申请实施例提供的空间点的采样示意图；
图6为本申请实施例提供的三维解析网络的结构示意图；
图7为本申请实施例提供的一种三维解析模型的训练方法的第四种流程示意图；
图8为本申请实施例提供的一种虚拟图像创建方法的流程示意图；
图9为本申请实施例提供的一种三维解析模型的训练装置的模块组成示意图；
图10为本申请实施例提供的一种虚拟图像创建装置的模块组成示意图；
图11为本申请一个或多个实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请一个或多个实施例中的技术方案，下面将结合本申请一个或多个实施例中的附图，对本申请一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
本申请实施例提供了一种三维解析模型的训练方法、虚拟图像创建方法及装置。考虑到目前通过手机拍摄真实物体的图像并导入到虚拟环境的三维重建方式中，由于拍摄的图像中，真实物体的光照继承于拍摄时的光照，而该拍摄时的光照大多情况下与虚拟环境的光照不匹配，因此，真实物体的数字化物体在虚拟环境中呈现时，存在难以与虚拟环境的光照融合的问题，进而使得虚拟环境中的用户感到视觉突兀感很强，沉浸式体验较差。现有技术中，还存在其他方式的三维重建，其中一种三维重建方式是基于拍摄图像训练隐式三维模型，将该隐式三维模型转换为移动端的显式三维模型，且在转换过程中通过球谐函数表示隐式三维模型所表征的输入输出关系，从而避免了在通过显示三维模型进行渲染时需要再通过隐式三维模型的输入输出关系来查询三维模型的信息，进而加快了模型的渲染速度。虽然该方式能够实现快速的三维重建，但是该方式中并未考虑到拍摄图像的光照可能与虚拟环境的光照不同的问题，即依然存在真实物体的数字化物体在虚拟环境中呈现时，难以与虚拟环境的光照融合的问题。现有技术中的另一种三维重建方式是将拍摄图像分解为反射率图、光照图和残差图，颜色＝反照率*阴影+残差；一方面其利用反照率和阴影计算颜色是具有歧义性的；另一方面，其分解方式很难在虚拟环境中使用，因为虚拟环境很难生成符合虚拟环境光照条件的光照图，所以也就难以渲染出符合虚拟环境光照的图像。基于此，本申请实施例提供了一种三维解析模型的训练方法，该训练方法中，对两个待训练的三维解析网络同时训练，并在计算损失时交换两个三维解析网络的颜色分解结果中的球谐光照系数，使得最终得到的三维解析模型能够准确的将颜色解耦为反照率和球谐光照系数；进而在创建目标对象在目标虚拟环境中的虚拟图像时，可以通过该三维解析模型获取相应空间点的颜色分解结果，从而根据该颜色分解结果和目标虚拟环境的光照生成目标对象的虚拟图像，以使生成的虚拟图像的光照为目标虚拟环境的光照，从而极大的提升了生成的虚拟图像的光照与目标虚拟环境的光照的匹配度，保障了生成的虚拟图像可以更和谐的融入到目标虚拟环境中。
具体的，图1为本申请一个或多个实施例提供的一种三维解析模型的训练方法的流程示意图，图1中的方法能够由三维解析模型的训练装置执行，该训练装置可以设置于终端设备中，也可以设置于服务端中。其中，终端设备可以是手机、平板电脑、台式计算机、便携式笔记本等；服务端可以是独立的服务器，也可以是由多个服务器组成的服务器集群。
如图1所示，该方法包括以下步骤：
步骤S102，将第一训练样本对输入待训练的第一三维解析网络中进行第一训练处理，得到多个第一空间点的第一颜色分解结果；第一训练样本对包括含有目标对象的彩色图像和彩色图像对应的相机视点，第一颜色分解结果包括第一反照率和第一球谐光照系数；
其中，第一三维解析网络可以是多层感知机。目标对象可以是任意的非透明的真实物体，例如笔记本、手表、汽车、非透明水杯等。相机视点包括相机拍摄对应的彩色图像时，在世界坐标系下的相机光心的位置信息和朝向。第一空间点，是对第一光线进行采样得到的空间点；第一光线以相机光心为起点，射向对应的彩色图像的每个像素点。即一个彩色图像如果有A个像素点，那么可以有至少A条第一光线。可以理解的是，在每个第一空间点，沿着射线的方向能够看到彩色图像中对应像素点的颜色，且当彩色图像的位置固定时，对于同一射线上不同的第一空间点，由于与彩色图像中对应像素点之间的距离不同，因此该同一射线上不同的第一空间点看到的颜色之间可能存在差异。第一三维解析网络对每个第一空间点看到的颜色进行分解，得到每个第一空间点的第一颜色分解结果。
考虑到现有的三维重建过程中，存在拍摄图像的光照与虚拟环境的光照不一致的问题，本申请实施例的模型训练过程中，将颜色分解为反照率和球谐光照系数。其中，反照率表征没有光照时目标对象的本色，不同的球谐光照系数对应不同的光照。目标对象的本色加上光照便是目标对象在该光照下所呈现的颜色，即目标对象在图像中的颜色。由此，通过将颜色分解为反照率和球谐光照系数，可以基于反照率和目标虚拟环境的目标球谐光照系数，生成目标对象在目标虚拟环境中的虚拟图像，以使生成的虚拟图像的光照为目标虚拟环境的光照，即生成的虚拟图像的光照与目标虚拟环境的光照是相匹配的，能够更好的融合到目标虚拟环境中。
步骤S104，将第二训练样本对输入待训练的第二三维解析网络进行第二训练处理，得到多个第二空间点的第二颜色分解结果；第二训练样本对包括目标对象的彩色图像所对应的灰度图像和相机视点，第二颜色分解结果包括第二反照率和第二球谐光照系数；
其中，第二三维解析网络与第一三维解析网络的网络结构、初始状态以及数据处理过程均一致。
需要指出的是，步骤S104与步骤S102的执行顺序可以互换，也可以同时执行。
步骤S106，根据第一反照率和第二球谐光照系数确定第一损失，并根据第二反照率和第一球谐光照系数确定第二损失；
可以理解的是，本申请实施例中的灰度图像与彩色图像一一对应，第一颜色分解结果中的第一球谐光照系数与第二颜色分解结果中的第二球谐光照系数也一一对应。由于具有对应关系的灰度图像和彩色图像的相机视点相同，因此相当于将同一条射线同时输入第一三维解析网络和第二三维解析网络。本申请实施例中，基于先验知识，具有对应关系的灰度图像与彩色图像之间的颜色不同与光照无关，即两者的光照信息是一致的；相应的，具有对应关系的第一球谐光照系数和第二球谐光照系数应该等价。因此在计算损失时，通过交换球谐光照系数的方式，可以促使反照率与光照的解耦合。为了便于理解前述先验知识的合理性，具有对应关系的灰度图像与彩色图像之间的颜色不同与光照无关的示意图，如图2所示。
步骤S108，若根据第一损失和第二损失确定满足训练结束条件，则将满足训练结束条件时的第一三维解析网络确定为三维解析模型。
具体的，对第一损失和第二损失进行相加处理，得到目标损失；若确定目标损失小于预设损失，则确定满足训练结束条件，并将满足训练结束条件时的第一三维解析网络确定为三维解析模型。
本申请实施例中，在训练过程中，对两个待训练的三维解析网络同时训练，并根据第一反照率和第二球谐光照系数确定第一损失，根据第二反照率和第一球谐光照系数确定第二损失；其中，反照率表征目标对象的本色，球谐光照系数表征光照，目标对象的本色加上光照后即为目标对象在该光照下所呈现出的颜色(即目标对象在图像中的颜色)。通过在计算损失时交换两个三维解析网络的颜色分解结果中的球谐光照系数，也就是说，基于先验知识，具有对应关系的灰度图像与彩色图像之间的颜色不同与光照无关，即两者的光照信息是一致的；相应的，具有对应关系的第一球谐光照系数和第二球谐光照系数应该等价；因此在计算损失时，通过交换球谐光照系数的方式，可以促使反照率与光照的解耦合，由此使得最终得到的三维解析模型能够准确的将颜色解耦为反照率和球谐光照系数。由于三维解析模型可用于获取颜色分解结果，而该颜色分解结果中的反照率表征目标对象的本色，球谐光照系数表征光照，因此，在创建目标对象在目标虚拟环境中的虚拟图像时，可以根据目标虚拟环境的光照及该三维解析模型获取的相应空间点的颜色分解结果中的反照率，生成目标对象的虚拟图像，以使生成的虚拟图像的光照为目标虚拟环境的光照，从而极大的提升了生成的虚拟图像的光照与目标虚拟环境的光照的匹配度，保障了生成的虚拟图像可以更和谐的融入到目标虚拟环境中。
模型训练过程中，训练样本必不可少，故本申请实施例中，步骤S102之前还可以包括构建第一训练样本对集合和第二训练样本对集合。具体的，如图3所示，步骤S102之前还可以包括以下步骤S100-2至步骤S100-6：
步骤S100-2，获取含有目标对象的N个彩色候选图像；N为大于1的整数；
可选地，从不同的角度拍摄目标对象，得到N个彩色候选图像。或者，拍摄目标对象的视频，该视频中包括目标对象各个角度的视图；对拍摄得到的视频进行分解处理，得到N个彩色候选图像。其中，分解处理可以是对视频进行分帧，将每帧确定为彩色候选图像。分解处理的具体过程以及N的值均可以在实际应用中根据需要自行设定。作为示例，N为500。
步骤S100-4，根据N个彩色候选图像，构建包括N个第一训练样本对的第一训练样本对集合；
具体的，确定每个彩色候选图像对应的相机视点；对每个彩色候选图像进行分割处理，得到目标对象的彩色图像；将每个彩色图像与对应的相机视点确定为第一训练样本对，得到包括N个第一训练样本对的第一训练样本对集合。在一种实施方式中，可以根据SFM(Structure From Motion，运动恢复结构)算法，确定每个彩色候选图像对应的相机视点，对于SFM算法的具体处理过程可参考现有技术，对此本申请中不再详述。对于相机视点的确定方式、以及分割处理的具体方式，本申请中均不做具体限定，其可以在实际应用中根据需要自行设定。
将彩色候选图像表示为IRGB，第q个彩色候选图像表示为彩色候选图像/>对应的相机视点表示为pq，对彩色候选图像/>进行分割处理，得到的目标对象的彩色图像可以表示为/>第一训练样本对集合可以表示为/>其中，N表示第一训练样本对的总数量，/>表示第q个第一训练样本对。
步骤S100-6，根据N个彩色图像，构建包括N个第二训练样本对的第二训练样本对集合；
具体的，对N个彩色候选图像进行倍增处理，得到N个彩色候选图像对应的N个灰度候选图像；对每个灰度候选图像进行目标对象的分割处理，得到目标对象的灰度图像；将每个灰度图像与对应的相机视点确定为第二训练样本对，得到包括N个第二训练样本对的第二训练样本对集合。
其中，对N个彩色候选图像进行倍增处理，可以包括：针对每个彩色候选图像，获取该彩色候选图像的R(Red，红色)、G(Green，绿色)、B(Blue，蓝色)三个通道的颜色值；计算获取的三个通道的颜色值的平均数，并将R、G、B三个通道的颜色值均设置为该平均数，得到相应彩色候选图像所对应的灰度候选图像。
彩色候选图像可以进一步表示为IRGB＝[IR,IG,IB]，相应的，倍增处理得到的灰度候选图像可以表示为Iggg＝[Ig,Ig,Ig]，其中对第q个灰度候选图像进行分割处理，得到的目标对象的灰度图像可表示为/>第二训练样本对集合可以表示为其中，/>表示第q个第二训练样本对。
与上述步骤S100-2至步骤S100-6对应的，如图3所示，步骤S102可以包括以下步骤S102-2，步骤S104可以包括以下步骤S102-4：
步骤S102-2，从第一训练样本对集合中获取当前训练轮次所对应的n个第一训练本样本对，并将n个第一训练样本对输入待训练的第一三维解析网络中进行第一训练处理，得到多个第一空间点的第一颜色分解结果；第一颜色分解结果包括第一反照率和第一球谐光照系数；n为大于1且小于N的整数；
其中，从第一训练样本对集合中获取当前训练轮次所对应的n个第一训练本样本对，可以包括：从第一训练样本对集合中随机获取当前训练轮次所对应的n个第一训练本样本对；或者，在构建第一训练样本对集合之后，将第一训练样本对集合随机划分为N/n个训练子集，每个训练子集中包括n个第一训练样本对；并在各训练子集中获取目标训练子集，将目标训练子集中的n个第一训练样本对确定为当前训练轮次所对应的n个第一训练样本。其中，n的值可以在实际应用中根据需要自行设定，例如n为20、n为35等。
步骤S104-2，从第二训练样本对集合中获取当前训练轮次所对应的n个第二训练本样本对，并将n个第二训练样本对输入待训练的第二三维解析网络中进行第二训练处理，得到多个第二空间点的第二颜色分解结果；第二颜色分解结果包括第二反照率和第二球谐光照系数。
其中，获取n个第二训练本样本对的过程，与前述获取n个第一训练本样本对的过程相同，重复之处这里不再赘述。
可以理解的是，在构建完第一训练样本对集合和第二训练样本对集合之后，可以在每个训练轮次中，按照前述获取方式分别从构建的第一训练样本对集合和第二训练样本对集合中，获取当前训练轮次所对应的n个第一训练样本对和n个第二训练样本对，并基于获取的训练样本对进行训练处理。
为了便于后续重新确定颜色，本申请实施例中的训练处理还可以得到每个空间点的体密度。具体而言，训练处理可以包括：确定训练样本对所对应的多条光线；其中，光线以相机光心为起点，射向相机光心对应的图像的每个像素点；对每条光线进行采样处理，得到每条光线上的W个空间点，W为大于1的整数；对每个空间点进行解析处理，得到每个空间点的体密度、每个空间点的颜色分解结果。
可以理解的是，训练处理包括前述的第一训练处理或第二训练处理。为便于区分，当训练处理为第一训练处理时，训练样本对为第一训练样本对，光线为第一光线，空间点为第一空间点，体密度为第一体密度，颜色分解结果为第一点颜色分解结果；当训练处理为第二训练处理时，训练样本对为第二训练样本对，光线为第二光线，空间点为第二空间点，体密度为第二体密度，颜色分解结果为第二点颜色分解结果。具体的，如图4所示，步骤S102可以包括以下步骤S102-4至步骤S102-8，步骤S104可以包括以下步骤S104-4至步骤S104-8：
步骤S102-4，将第一训练样本对输入第一三维解析网络中，通过第一三维解析网络确定每个第一训练样本对所对应的多条第一光线；第一光线以相机光心为起点，射向相机光心对应的彩色图像的每个像素点；
如前所述，每个第一训练样本对中的相机视点包括在世界坐标系下的相机光心的位置信息和朝向。相应的，确定每个第一训练样本对所对应的多条第一光线，可以包括：针对每个第一训练样本对，根据该第一训练样本对中相机视点包括的相机光心的位置信息，确定相机光心，并以相机光心为光线起点，射向该第一训练样本对中的彩色图像的每个像素点，得到每个第一训练样本对所对应的多条第一光线。也就是说，当第一训练样本对中的彩色图像包括B个像素点时，该第一训练样本对可以对应至少B条第一光线，B为大于1的整数。
步骤S102-6，通过第一三维解析网络对每条第一光线进行采样处理，得到每条第一光线上的W个第一空间点；W为大于1的整数；
在一种实施例方式中，第一三维解析网络可以根据平均采样方式，对每条第一光线进行采样处理；即每次都按照相同的步长(例如3个步长等)进行采样。在另一种实施方式种，第一三维解析网络可以根据重要采样方式，对每条第一光线进行采样处理；即确定像素点密度大于预设密度的目标区域，并在目标区域中进行随机采样。对于采样处理的具体过程可以在实际应用中根据需要自行设定，本申请中不做具体限定。
可以理解的是，每条第一光线相当于一条射线，故每个第一光线可以表示为r(t)＝o+t·d，其中，o表示相机光心，即光线起点(射线起点)，d表示光线的单位方向，t是沿着单位方向上的步长，t大于零。如图5所示，在其中一条第一光线上采样得到第一空间点p。
步骤S102-8，通过第一三维解析网络对每个第一空间点进行解析处理，得到每个第一空间点的第一颜色分解结果；第一颜色分解结果包括第一反照率和第一球谐光照系数。
其中，解析处理的具体过程可以在实际应用可以在实际应用中根据需要自行设定，对此本申请中不做具体限定。
步骤S104-4，将第二训练样本对输入第二三维解析网络中，通过第二三维解析网络确定每个第二训练样本对所对应的多条第二光线；第二光线以相机光心为起点，射向相机光心对应的彩色图像的每个像素点；
步骤S104-6，通过第二三维解析网络对每条第二光线进行采样处理，得到每条第一光线上的W个第二空间点；
步骤S104-8，通过第二三维解析网络对每个第二空间点进行解析处理，得到每个第二空间点的第二颜色分解结果；第二颜色分解结果包括第二反照率和第二球谐光照系数。
其中，步骤S104-2至步骤S104-6的实现方式，与前述步骤S102-2至步骤S102-6的实现方式相同，可参见前述相关描述，重复之处这里不再赘述。
进一步的，如前所述，第一三维解析网络与第二三维解析网络的网络结构及初始状态均相同，为便于区分，将两个网络中相同的模块以第一和第二进行区分。即如图6中的6-1所示，第一三维解析网络包括第一光线确定模块、第一空间点采样模块和第一解析模块；如图6中的6-2所示，第二三维解析网络包括第二光线确定模块、第二空间点采样模块和第二解析模块。相应的，前述步骤S102-2至步骤S102-6可以包括：将第一训练样本对输入第一三维解析网络的第一光线确定模块中，通过第一光线确定模块确定每个第一训练样本对所对应的多条第一光线；通过第一空间点采样模块对每条第一光线进行采样处理，得到每条第一光线上的W个第一空间点；通过第一解析模块对每个第一空间点进行解析处理，得到每个第一空间点的第一体密度、每个第一空间点的第一点颜色分解结果。步骤S104-2至步骤S104-6可以包括：将第二训练样本对输入第二三维解析网络的第二光线确定模块中，通过第二光线确定模块确定每个第二训练样本对所对应的多条第二光线；通过第二空间点采样模块对每条第二光线进行采样处理，得到每条第二光线上的W个第二空间点；通过第二解析模块对每个第二空间点进行解析处理，得到每个第二空间点的第二体密度、每个第二空间点的第二点颜色分解结果。
由此，在训练过程中，通过确定每个训练样本对对应的多条光线，并对每条光线进行采样处理得到多个空间点，以及输出每个空间点的体密度和颜色分解结果。能够在后续基于各空间点的体密度和颜色分解结果，确定相应像素点的预测颜色，并基于预测颜色和像素点的真实颜色进行损失计算，以对网络的颜色分解的准确性进行有效监督，从而得到颜色分解准确性高的三维解析模型。
进一步的，为了实现将颜色解耦为反照率和光照，本申请实施例中，基于光照正则的方式确定损失，即对两个网络输出的球谐光照系数进行互换。具体而言，确定损失可以包括：针对每个空间点，根据空间点的反照率及空间点对应的正则球谐光照系数，确定空间点的点颜色；根据点颜色和体密度，确定每条光线对应的预测颜色；根据预测颜色及每条光线在相应图像中对应的真实颜色，确定损失。
其中，根据点颜色和体密度，确定每条光线对应的预测颜色，可以包括：针对每条光线，根据光线的目标空间点的体密度，确定每个目标空间点的点颜色对应的权重；目标空间点是光线上的W个空间点中，沿着光线的方向的前W-1个空间点；针对每条光线，根据权重对光线上的目标空间点的点颜色进行加权求和，得到光线对应的预测颜色。
其中，根据光线的目标空间点的所述体密度，确定每个目标空间点的点颜色对应的权重，可以包括：针对每条光线，确定光线上的W个空间点中，两两相邻的空间点之间的间隔；根据体密度和间隔，确定每个目标空间点的累计透射率；针对每个目标空间点，根据目标空间点的累计透射率和目标间隔，确定目标空间点的点颜色对应的权重；目标间隔是沿着光线的方向，目标空间点与其相邻的后一个空间点之间的间隔。
可以理解的是，上述确定损失包括确定第一损失或确定第二损失。为便于区分，当确定损失为确定第一损失时，空间点为第一空间点，反照率为第一反照率，正则球谐光照系数为第二球谐光照系数，点颜色为第一点颜色，体密度为第一体密度，预测颜色为第一预测颜色，真实颜色为第一真实颜色，相应图像为彩色图像，权重为第一权重，间隔为第一间隔。当确定损失为确定第二损失时，空间点为第二空间点，反照率为第二反照率，正则球谐光照系数为第一球谐光照系数，点颜色为第二点颜色，体密度为第二体密度，预测颜色为第二预测颜色，真实颜色为第二真实颜色，相应图像为灰度图像，权重为第二权重，间隔为第二间隔。具体的，如图7所示，步骤S106可以包括以下步骤S106-2至步骤S106-12：
步骤S106-2，针对每个第一空间点，根据第一空间点的第一反照率及第一空间点对应的第二球谐光照系数，确定第一空间点的第一点颜色；
可以理解的是，由于第二训练样本对中的灰度图像的像素点，与对应的第一训练样本对中的彩色图像的像素点一一对应，并且第一三维解析网络与第二三维解析网络基于相同的采样方式进行采样处理，因此采样得到的第一空间点与第二空间点也是一一对应的，即每个第一空间点对应了一个第二球谐光照系数，同理，每个第二空间点对应了一个第一球谐光照系数。
具体的，针对每个第一空间点，将第一空间点对应的第二球谐光照系数确定为预设基底的权重，并对预设基底进行加权相加处理，得到第一加权相加结果；将第一加权相加结果与该第一空间点的第一反照率相乘得到第一乘积，并将第一乘积确定为第一空间点的第一点颜色的颜色值。
更加具体的，沿着第一光线的方向，将第一光线上的第i个第一空间点记为pi，第一空间点pi的第一反照率可以表示为第一空间点pi对应的第二球谐光照系数可以表示为/>第二球谐光照系数的基底可以表示为/>m为球谐函数中的degree参数，本申请实施例中m可以为3；l是球谐函数中的order参数，可以在实际应用中根据需要自行设定；将第一空间点pi的第一点颜色的颜色值记为/>那么上述确定第一点颜色的颜色值可以表示为：/>其中，/>表示对预设基底进行加权相加处理。
步骤S106-4，根据第一点颜色和第一体密度，确定每条第一光线对应的第一预测颜色；
具体的，针对每条第一光线，根据该第一光线的目标第一空间点的第一体密度，确定每个目标第一空间点的第一点颜色对应的第一权重；目标第一空间点是该第一光线上的W个第一空间点中，沿着第一光线的方向的前W-1个第一空间点；以及，针对每条第一光线，根据确定的第一权重对该第一光线上的各目标第一空间点的第一点颜色进行加权求和，得到该第一光线对应的第一预测颜色。例如，第一光线上采样了10个第一空间点，那么目标第一空间点是沿着光线方向(即从射线起点到彩色图像中像素点的方向)的前9个第一目标空间点。
进一步的，针对每条第一光线，根据该第一光线的目标第一空间点的第一体密度，确定每个目标第一空间点的第一点颜色对应的第一权重，可以包括：针对每条第一光线，确定该第一光线上的W个第一空间点中，两两相邻的第一空间点之间的第一间隔；根据第一体密度和第一间隔，确定每个目标第一空间点的累计透射率；针对每个目标第一空间点，根据该目标第一空间点的累计透射率和目标第一间隔，确定该目标第一空间点的第一点颜色对应的第一权重；其中，目标第一间隔是沿着第一光线的方向，目标第一空间点与其相邻的后一个第一空间点之间的第一间隔。
更加具体的，沿着第一光线的方向，将第一光线上的第i个目标第一空间点的目标第一间隔记为δi，则δi＝ti+1-ti；其中，i＝[1，W-1]；ti+1表示沿着第一光线的方向，第i个目标第一空间点的后一个第一空间点(即第一光线上的第i+1个第一空间点)对应的总步长，即第一光线的起点到第i+1个第一空间点之间的第一距离；ti表示沿着第一光线的方向，第一光线上的第i个目标第一空间点对应的总步长，即第一光线的起点到第i个目标第一空间点之间的第二距离，目标第一间隔是第一距离与第二距离的差值。
沿着第一光线的方向，将第i个目标第一空间点的累计透射率记为Ti，则 其中，exp表示指数函数，即e的C次方，/>也就是说，对于第i个目标第一空间点，将位于其前面的i-1个目标第一空间点确定为累计第一空间点，针对每个累计第一空间点，将该累计第一空间点的第一体密度σj与目标第一间隔δj相乘，得到第二乘积；对i-1个目标第一空间点的第二乘积相加得到第一加和；C为第一加和的负数，例如第一加和为5，C＝-5。
相应的，第一光线中第i个目标第一空间点的第一点颜色对应的第一权重可以表示为Ti(1-exp(-σiδi))；将第一光线r1对应的第一预测颜色记为则
步骤S106-6，根据第一预测颜色及每条第一光线在彩色图像中对应的第一真实颜色，确定第一损失；
具体的，计算每条第一光线对应的第一真实颜色与第一预测颜色之间的均方误差；对各第一光线的该均方误差相加，得到第二加和；将第二加和与n个第一样本对集合对应的第一光线集合中第一光线的总数量相除，将得到的第一相除结果确定为第一损失。即，第一损失可以表示为：其中，LRGB表示第一损失，表示n个第一样本对集合对应的第一光线集合，/>表示该第一光线集合种第一光线的总数量，r1表示第一光线集合中的任意第一光线，C(r1)表示该第一光线对应的第一真实颜色，/>表示该第一光线对应的第一预测颜色；/>表示第一真实颜色与第一预测颜色之间的均方误差。
步骤S106-8，针对每个第二空间点，根据第二空间点的第二反照率及第二空间点对应的第一球谐光照系数，确定第二空间点的第二点颜色；
具体的，针对每个第二空间点，将第二空间点对应的第一球谐光照系数确定为预设基底的权重，并对预设基底进行加权相加处理，得到第二加权相加结果；将第二加权相加结果与该第二空间点的第二反照率相乘得到第三乘积，并将第三乘积确定为第二空间点的第二点颜色的颜色值。
步骤S106-10，根据第二点颜色和第二体密度，确定每条第二光线对应的第二预测颜色；
具体的，针对每条第二光线，根据第二光线的目标第二空间点的第二体密度，确定每个目标第二空间点的所述第二点颜色对应的第二权重；目标第二空间点是第二光线上的W个第二空间点中，沿着第二光线的方向的前W-1个第二空间点；针对每条第二光线，根据第二权重对第二光线上的目标第二空间点的第二点颜色进行加权求和，得到第二光线对应的第二预测颜色。
需要指出的是，步骤S106-8与步骤S106-10的具体实现过程，与前述步骤S106-2和步骤S106-4的实现过程相同，可参见前述相关描述，重复之处这里不再赘述。
步骤S106-12，根据第二预测颜色及每条第二光线在灰度图像中对应的第二真实颜色，确定第二损失；
具体的，计算每条第二光线对应的第二真实颜色与第二预测颜色之间的均方误差；对各第二光线的该均方误差相加，得到第三加和；将第三加和与n个第二样本对集合对应的第二光线集合中第二光线的总数量相除，将得到的第二相除结果确定为第二损失。即第一损失可以表示为：其中，Lggg表示第二损失，/>表示n个第二样本对集合对应的第二光线集合，/>表示该第二光线集合中第二光线的总数量，r2表示第二光线集合中的任意第二光线，C(r2)表示该第二光线对应的第二真实颜色，/>表示该第二光线对应的第二预测颜色；/>表示第二真实颜色与第二预测颜色之间的均方误差。
由此，基于光照正则的方式确定第一损失和第二损失，即对两个网络输出的球谐光照系数进行互换，使得最终得到的三维解析模型能够准确的将颜色分解为反照率和球谐光照系数。从而在生成目标对象在目标虚拟环境中的虚拟图像中，可以首先通过该三维解析模型进行颜色分解，并基于颜色分解结果中的反照率和目标虚拟环境的目标球谐光照系数生成目标对象在目标虚拟环境中的虚拟图像，以使生成的该虚拟图像与目标虚拟环境的光照相匹配。
本申请一个或多个实施例中，在训练过程中，对两个待训练的三维解析网络同时训练，并根据第一反照率和第二球谐光照系数确定第一损失，根据第二反照率和第一球谐光照系数确定第二损失；其中，反照率表征目标对象的本色，球谐光照系数表征光照，目标对象的本色加上光照后即为目标对象在该光照下所呈现出的颜色(即目标对象在图像中的颜色)。通过在计算损失时交换两个三维解析网络的颜色分解结果中的球谐光照系数，也就是说，基于先验知识，具有对应关系的灰度图像与彩色图像之间的颜色不同与光照无关，即两者的光照信息是一致的；相应的，具有对应关系的第一球谐光照系数和第二球谐光照系数应该等价。因此在计算损失时，通过交换球谐光照系数的方式，可以促使反照率与光照的解耦合，由此使得最终得到的三维解析模型能够准确的将颜色解耦为反照率和球谐光照系数。由于三维解析模型可用于获取颜色分解结果，而该颜色分解结果中的反照率表征目标对象的本色，球谐光照系数表征光照，因此，在创建目标对象在目标虚拟环境中的虚拟图像时，可以根据目标虚拟环境的光照及该三维解析模型获取的相应空间点的颜色分解结果中的反照率，生成目标对象的虚拟图像，以使生成的虚拟图像的光照为目标虚拟环境的光照，从而极大的提升了生成的虚拟图像的光照与目标虚拟环境的光照的匹配度，保障了生成的虚拟图像可以更和谐的融入到目标虚拟环境中。
对应上述描述的三维解析模型的训练方法，基于相同的技术构思，本申请一个或多个实施例还提供了一种虚拟图像创建方法，图8为本申请一个或多个实施例提供的一种虚拟图像创建方法的流程示意图，图8中的方法能够由虚拟图像创建装置执行；该虚拟图像创建装置可以设置于终端设备中，也可以设置于服务端中。其中，终端设备可以是手机、平板电脑、台式计算机、便携式笔记本等；服务端可以是独立的服务器，也可以是由多个服务器组成的服务器集群。如图8所示，该方法包括以下步骤：
步骤S202，获取目标对象的虚拟图像的创建信息；创建信息包括目标虚拟环境的目标球谐光照系数、目标对象在目标虚拟环境中所对应的虚拟相机视点和成像平面；成像平面的各像素点的颜色值为空；
可选的，接收其他设备发送的目标对象的虚拟图像的创建信息；或者，获取用户输入的目标对象的虚拟图像的创建信息。对于创建信息的获取方式，本申请中不做具体限定。
步骤S204，将虚拟相机视点和成像平面输入三维解析模型中进行解析处理，得到多个第三空间点的第三颜色分解结果；第三颜色分解结果包括第三反照率；
其中，虚拟相机视点包括虚拟相机光心的位置信息，相应的，步骤S202可以包括：将虚拟相机视点和成像平面输入三维解析模型，通过三维解析模型确定成像平面对应的多条第三射线；第三射线以虚拟相机光心为起点，射向成像平面的每个像素点；通过三维解析模型对各第三射线进行采样处理，得到多个第三空间点；通过三维解析模型对每个第三空间点进行解析处理，得到每个第三空间点的第三体密度、及每个第三空间点的第三颜色分解结果。
其中，三维解析模型基于前述任意实施例提供的三维解析模型的训练方法训练得到。第三颜色分解结果包括第三反照率和第三球谐光照系数；上述各操作的具体实现方式可参见前文的相关描述，重复之处这里不再赘述。
步骤S206，根据目标球谐光照系数和第三反照率，确定成像平面的各像素点的目标颜色值，得到目标对象在目标虚拟环境中的虚拟图像。
如前所述，步骤S204中三维解析模型的解析处理还得到每个第三空间点的第三体密度，相应的，步骤S206可以包括：根据目标球谐光照系数和每个第三空间点的第三反照率，确定每个第三空间点的第三点颜色；根据第三点颜色和第三体密度，确定每条第三射线对应的第三预测颜色；将第三射线对应的第三预测颜色的颜色值，确定为第三射线在成像平面上对应的像素点的目标颜色值。其中，确定第三点颜色的实现方式与前述确定第一点颜色的实现方式相同，确定第三预测颜色的实现方式与前述确定第一预测颜色的实现方式相同，其均可参见前文的相关描述，重复之处这里不再赘述。
本申请实施例中，在获取到目标对象的虚拟图像的创建信息时，将创建信息包括的目标对象在目标虚拟环境中所对应的虚拟相机视点和成像平面输入三维解析模型中进行解析处理，得到多个第三空间点的第三颜色分解结果；根据创建信息包括的目标虚拟环境的目标球谐光照系数和第三分解结果包括的第三反照率，确定成像平面的各像素点的目标颜色值，得到目标对象在目标虚拟环境中的虚拟图像。由于解析处理所使用的三维解析模型能够将颜色准确的解耦为反照率和球谐光照系数，其中，反照率表征目标对象的本色，球谐光照系数表征光照，而目标对象的本色加上光照后即为目标对象在该光照下所呈现出的颜色(即目标对象在图像中的颜色)。因此可根据目标虚拟环境的目标球谐光照系数及三维解析模型得到的第三颜色分解结果中的第三反照率，生成目标对象在目标虚拟环境中的虚拟图像，以使生成的虚拟图像的光照能够与目标虚拟环境的光照相匹配，从而更和谐的融入到目标虚拟环境中。
对应上述描述的三维解析模型的训练方法，基于相同的技术构思，本申请一个或多个实施例还提供一种三维解析模型的训练装置。图9为本申请一个或多个实施例提供的一种三维解析模型的训练装置的模块组成示意图，如图9所示，该装置包括：
第一训练模块301，用于将第一训练样本对输入待训练的第一三维解析网络中进行第一训练处理，得到多个第一空间点的第一点颜色分解结果；所述第一训练样本对包括目标对象的彩色图像和所述彩色图像对应的相机视点，所述第一点颜色分解结果包括第一反照率和第一球谐光照系数；
第二训练模块302，用于将第二训练样本对输入待训练的第二三维解析网络中进行第二训练处理，得到多个第二空间点的第二点颜色分解结果；所述第二训练样本对包括所述彩色图像对应的灰度图像和所述相机视点，所述第二点颜色分解结果包括第二反照率和第二球谐光照系数；
第一确定模块303，用于根据所述第一反照率和所述第二球谐光照系数确定第一损失，并根据所述第二反照率和所述第一球谐光照系数确定第二损失；
第二确定模块304，用于若根据所述第一损失和所述第二损失确定满足训练结束条件，则将满足训练结束条件时的第一三维解析网络确定为三维解析模型。
本申请实施例提供的三维解析模型的训练装置，在训练过程中，对两个待训练的三维解析网络同时训练，并根据第一反照率和第二球谐光照系数确定第一损失，根据第二反照率和第一球谐光照系数确定第二损失；其中，反照率表征目标对象的本色，球谐光照系数表征光照，目标对象的本色加上光照后即为目标对象在该光照下所呈现出的颜色(即目标对象在图像中的颜色)。通过在计算损失时交换两个三维解析网络的颜色分解结果中的球谐光照系数，也就是说，基于先验知识，具有对应关系的灰度图像与彩色图像之间的颜色不同与光照无关，即两者的光照信息是一致的；相应的，具有对应关系的第一球谐光照系数和第二球谐光照系数应该等价。因此在计算损失时，通过交换球谐光照系数的方式，可以促使反照率与光照的解耦合，由此使得最终得到的三维解析模型能够准确的将颜色解耦为反照率和球谐光照系数。由于三维解析模型可用于获取颜色分解结果，而该颜色分解结果中的反照率表征目标对象的本色，球谐光照系数表征光照，因此，在创建目标对象在目标虚拟环境中的虚拟图像时，可以根据目标虚拟环境的光照及该三维解析模型获取的相应空间点的颜色分解结果中的反照率，生成目标对象的虚拟图像，以使生成的虚拟图像的光照为目标虚拟环境的光照，从而极大的提升了生成的虚拟图像的光照与目标虚拟环境的光照的匹配度，保障了生成的虚拟图像可以更和谐的融入到目标虚拟环境中。
需要说明的是，本申请中关于三维解析模型的训练装置的实施例与本申请中关于三维解析模型的训练方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的三维解析模型的训练方法的实施，重复之处不再赘述。
上述三维解析模型的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于终端设备中的处理器或服务端的处理器中，也可以以软件形式存储于终端设备中的存储器或服务端的存储器中，以便于处理器调用执行以上各个模块对应的操作。
进一步的，对应上述描述的虚拟图像创建方法，基于相同的技术构思，本申请一个或多个实施例还提供了一种虚拟图像创建装置。图10为本申请一个或多个实施例提供的一种虚拟图像创建装置的模块组成示意图，如图10所示，该装置包括：
获取模块401，用于获取目标对象的虚拟图像的创建信息；所述创建信息包括目标虚拟环境的目标球谐光照系数、所述目标对象在所述目标虚拟环境中所对应的虚拟相机视点和成像平面；所述成像平面的各像素点的颜色值为空；
解析模块402，用于将所述虚拟相机视点和所述成像平面输入三维解析模型中进行解析处理，得到多个第三空间点的第三颜色分解结果；所述第三颜色分解结果包括第三反照率，所述三维解析模型基于前述任意实施例提供的三维解析模型的训练方法训练得到；
确定模块403，用于根据所述目标球谐光照系数和所述第三反照率，确定所述成像平面的各像素点的目标颜色值，得到所述目标对象在所述目标虚拟环境中的虚拟图像。
本申请实施例提供的虚拟图像创建装置，在获取到目标对象的虚拟图像的创建信息时，将创建信息包括的目标对象在目标虚拟环境中所对应的虚拟相机视点和成像平面输入三维解析模型中进行解析处理，得到多个第三空间点的第三颜色分解结果；根据创建信息包括的目标虚拟环境的目标球谐光照系数和第三分解结果包括的第三反照率，确定成像平面的各像素点的目标颜色值，得到目标对象在目标虚拟环境中的虚拟图像。由于解析处理所使用的三维解析模型能够将颜色准确的解耦为反照率和球谐光照系数，其中，反照率表征目标对象的本色，球谐光照系数表征光照，而目标对象的本色加上光照后即为目标对象在该光照下所呈现出的颜色(即目标对象在图像中的颜色)。因此可根据目标虚拟环境的目标球谐光照系数及三维解析模型得到的第三颜色分解结果中的第三反照率，生成目标对象在目标虚拟环境中的虚拟图像，以使生成的虚拟图像的光照能够与目标虚拟环境的光照相匹配，从而更和谐的融入到目标虚拟环境中。
需要说明的是，本申请中关于虚拟图像创建装置的实施例与本申请中关于虚拟图像创建方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的虚拟图像创建方法的实施，重复之处不再赘述。
上述虚拟图像创建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于终端设备中的处理器或服务端的处理器中，也可以以软件形式存储于终端设备中的存储器或服务端的存储器中，以便于处理器调用执行以上各个模块对应的操作。
进一步地，对应上述描述的三维解析模型的训练方法及虚拟图像的创建方法，基于相同的技术构思，本申请一个或多个实施例还提供一种电子设备，该电子设备用于执行上述的三维解析模型的训练方法，图11为本申请一个或多个实施例提供的一种电子设备的结构示意图。
如图11所示，电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器501和存储器502，存储器502中可以存储有一个或一个以上存储应用程序或数据。其中，存储器502可以是短暂存储或持久存储。存储在存储器502的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括电子设备中的一系列计算机可执行指令。更进一步地，处理器501可以设置为与存储器502通信，在电子设备上执行存储器502中的一系列计算机可执行指令。电子设备还可以包括一个或一个以上电源503，一个或一个以上有线或无线网络接口504，一个或一个以上输入输出接口505，一个或一个以上键盘506等。
在一个具体的实施例中，电子设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对电子设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
将第一训练样本对输入待训练的第一三维解析网络中进行第一训练处理，得到多个第一空间点的第一点颜色分解结果；所述第一训练样本对包括目标对象的彩色图像和所述彩色图像对应的相机视点，所述第一点颜色分解结果包括第一反照率和第一球谐光照系数；
将第二训练样本对输入待训练的第二三维解析网络中进行第二训练处理，得到多个第二空间点的第二点颜色分解结果；所述第二训练样本对包括所述彩色图像对应的灰度图像和所述相机视点，所述第二点颜色分解结果包括第二反照率和第二球谐光照系数；
根据所述第一反照率和所述第二球谐光照系数确定第一损失，并根据所述第二反照率和所述第一球谐光照系数确定第二损失；
若根据所述第一损失和所述第二损失确定满足训练结束条件，则将满足训练结束条件时的第一三维解析网络确定为三维解析模型。
本申请一个或多个实施例提供的电子设备，在训练过程中，对两个待训练的三维解析网络同时训练，并根据第一反照率和第二球谐光照系数确定第一损失，根据第二反照率和第一球谐光照系数确定第二损失；其中，反照率表征目标对象的本色，球谐光照系数表征光照，目标对象的本色加上光照后即为目标对象在该光照下所呈现出的颜色(即目标对象在图像中的颜色)。通过在计算损失时交换两个三维解析网络的颜色分解结果中的球谐光照系数，也就是说，基于先验知识，具有对应关系的灰度图像与彩色图像之间的颜色不同与光照无关，即两者的光照信息是一致的；相应的，具有对应关系的第一球谐光照系数和第二球谐光照系数应该等价。因此在计算损失时，通过交换球谐光照系数的方式，可以促使反照率与光照的解耦合，由此使得最终得到的三维解析模型能够准确的将颜色解耦为反照率和球谐光照系数。由于三维解析模型可用于获取颜色分解结果，而该颜色分解结果中的反照率表征目标对象的本色，球谐光照系数表征光照，因此，在创建目标对象在目标虚拟环境中的虚拟图像时，可以根据目标虚拟环境的光照及该三维解析模型获取的相应空间点的颜色分解结果中的反照率，生成目标对象的虚拟图像，以使生成的虚拟图像的光照为目标虚拟环境的光照，从而极大的提升了生成的虚拟图像的光照与目标虚拟环境的光照的匹配度，保障了生成的虚拟图像可以更和谐的融入到目标虚拟环境中。
在另一个具体的实施例中，电子设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对电子设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
获取目标对象的虚拟图像的创建信息；所述创建信息包括目标虚拟环境的目标球谐光照系数、所述目标对象在所述目标虚拟环境中所对应的虚拟相机视点和成像平面；所述成像平面的各像素点的颜色值为空；
将所述虚拟相机视点和所述成像平面输入三维解析模型中进行解析处理，得到多个第三空间点的第三颜色分解结果；所述第三颜色分解结果包括第三反照率，所述三维解析模型基于前述第一方面提供的三维解析模型的训练方法训练得到；
根据所述目标球谐光照系数和所述第三反照率，确定所述成像平面的各像素点的目标颜色值，得到所述目标对象在所述目标虚拟环境中的虚拟图像。
本申请实施例提供的电子设备，在获取到目标对象的虚拟图像的创建信息时，将创建信息包括的目标对象在目标虚拟环境中所对应的虚拟相机视点和成像平面输入三维解析模型中进行解析处理，得到多个第三空间点的第三颜色分解结果；根据创建信息包括的目标虚拟环境的目标球谐光照系数和第三分解结果包括的第三反照率，确定成像平面的各像素点的目标颜色值，得到目标对象在目标虚拟环境中的虚拟图像。由于解析处理所使用的三维解析模型能够将颜色准确的解耦为反照率和球谐光照系数，其中，反照率表征目标对象的本色，球谐光照系数表征光照，而目标对象的本色加上光照后即为目标对象在该光照下所呈现出的颜色(即目标对象在图像中的颜色)。因此可根据目标虚拟环境的目标球谐光照系数及三维解析模型得到的第三颜色分解结果中的第三反照率，生成目标对象在目标虚拟环境中的虚拟图像，以使生成的虚拟图像的光照能够与目标虚拟环境的光照相匹配，从而更和谐的融入到目标虚拟环境中。
需要说明的是，本申请中关于电子设备的实施例与本申请中关于三维解析模型的训练方法及虚拟图像创建方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的三维解析模型的训练方法及虚拟图像创建方法的实施，重复之处不再赘述。
进一步地，对应上述描述的三维解析模型的训练方法及虚拟图像的创建方法，基于相同的技术构思，本申请一个或多个实施例还提供了一种存储介质，用于存储计算机可执行指令，一个具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令在被处理器执行时，能实现以下流程：
将第一训练样本对输入待训练的第一三维解析网络中进行第一训练处理，得到多个第一空间点的第一点颜色分解结果；所述第一训练样本对包括目标对象的彩色图像和所述彩色图像对应的相机视点，所述第一点颜色分解结果包括第一反照率和第一球谐光照系数；
将第二训练样本对输入待训练的第二三维解析网络中进行第二训练处理，得到多个第二空间点的第二点颜色分解结果；所述第二训练样本对包括所述彩色图像对应的灰度图像和所述相机视点，所述第二点颜色分解结果包括第二反照率和第二球谐光照系数；
根据所述第一反照率和所述第二球谐光照系数确定第一损失，并根据所述第二反照率和所述第一球谐光照系数确定第二损失；
若根据所述第一损失和所述第二损失确定满足训练结束条件，则将满足训练结束条件时的第一三维解析网络确定为三维解析模型。
本申请一个或多个实施例提供的存储介质存储的计算机可执行指令在被处理器执行时，在训练过程中，对两个待训练的三维解析网络同时训练，并根据第一反照率和第二球谐光照系数确定第一损失，根据第二反照率和第一球谐光照系数确定第二损失；其中，反照率表征目标对象的本色，球谐光照系数表征光照，目标对象的本色加上光照后即为目标对象在该光照下所呈现出的颜色(即目标对象在图像中的颜色)。通过在计算损失时交换两个三维解析网络的颜色分解结果中的球谐光照系数，也就是说，基于先验知识，具有对应关系的灰度图像与彩色图像之间的颜色不同与光照无关，即两者的光照信息是一致的；相应的，具有对应关系的第一球谐光照系数和第二球谐光照系数应该等价。因此在计算损失时，通过交换球谐光照系数的方式，可以促使反照率与光照的解耦合，由此使得最终得到的三维解析模型能够准确的将颜色解耦为反照率和球谐光照系数。由于三维解析模型可用于获取颜色分解结果，而该颜色分解结果中的反照率表征目标对象的本色，球谐光照系数表征光照，因此，在创建目标对象在目标虚拟环境中的虚拟图像时，可以根据目标虚拟环境的光照及该三维解析模型获取的相应空间点的颜色分解结果中的反照率，生成目标对象的虚拟图像，以使生成的虚拟图像的光照为目标虚拟环境的光照，从而极大的提升了生成的虚拟图像的光照与目标虚拟环境的光照的匹配度，保障了生成的虚拟图像可以更和谐的融入到目标虚拟环境中。
在另一个具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令在被处理器执行时，能实现以下流程：
获取目标对象的虚拟图像的创建信息；所述创建信息包括目标虚拟环境的目标球谐光照系数、所述目标对象在所述目标虚拟环境中所对应的虚拟相机视点和成像平面；所述成像平面的各像素点的颜色值为空；
将所述虚拟相机视点和所述成像平面输入三维解析模型中进行解析处理，得到多个第三空间点的第三颜色分解结果；所述第三颜色分解结果包括第三反照率，所述三维解析模型基于前述第一方面提供的三维解析模型的训练方法训练得到；
根据所述目标球谐光照系数和所述第三反照率，确定所述成像平面的各像素点的目标颜色值，得到所述目标对象在所述目标虚拟环境中的虚拟图像。
本申请一个或多个实施例提供的存储介质存储的计算机可执行指令在被处理器执行时，在获取到目标对象的虚拟图像的创建信息时，将创建信息包括的目标对象在目标虚拟环境中所对应的虚拟相机视点和成像平面输入三维解析模型中进行解析处理，得到多个第三空间点的第三颜色分解结果；根据创建信息包括的目标虚拟环境的目标球谐光照系数和第三分解结果包括的第三反照率，确定成像平面的各像素点的目标颜色值，得到目标对象在目标虚拟环境中的虚拟图像。由于解析处理所使用的三维解析模型能够将颜色准确的解耦为反照率和球谐光照系数，其中，反照率表征目标对象的本色，球谐光照系数表征光照，而目标对象的本色加上光照后即为目标对象在该光照下所呈现出的颜色(即目标对象在图像中的颜色)。因此可根据目标虚拟环境的目标球谐光照系数及三维解析模型得到的第三颜色分解结果中的第三反照率，生成目标对象在目标虚拟环境中的虚拟图像，以使生成的虚拟图像的光照能够与目标虚拟环境的光照相匹配，从而更和谐的融入到目标虚拟环境中。
需要说明的是，本申请中关于存储介质的实施例与本申请中关于三维解析模型的训练方法及虚拟图像创建方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的三维解析模型的训练方法及虚拟图像创建方法的实施，重复之处不再赘述。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本申请一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请的一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本文件的实施例而已，并不用于限制本文件。对于本领域技术人员来说，本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本文件的权利要求范围之内。

Claims (15)

1.一种三维解析模型的训练方法，其特征在于，包括：
将第一训练样本对输入待训练的第一三维解析网络中进行第一训练处理，得到多个第一空间点的第一颜色分解结果；所述第一训练样本对包括目标对象的彩色图像和所述彩色图像对应的相机视点，所述第一颜色分解结果包括第一反照率和第一球谐光照系数；
将第二训练样本对输入待训练的第二三维解析网络中进行第二训练处理，得到多个第二空间点的第二颜色分解结果；所述第二训练样本对包括所述彩色图像对应的灰度图像和所述相机视点，所述第二颜色分解结果包括第二反照率和第二球谐光照系数；
根据所述第一反照率和所述第二球谐光照系数确定第一损失，并根据所述第二反照率和所述第一球谐光照系数确定第二损失；
若根据所述第一损失和所述第二损失确定满足训练结束条件，则将满足训练结束条件时的第一三维解析网络确定为三维解析模型。
2.根据权利要求1所述的方法，其特征在于，所述相机视点包括相机光心的位置信息，训练处理，包括：
确定训练样本对所对应的多条光线；所述光线以所述相机光心为起点，射向所述相机光心对应的图像的每个像素点；
对每条所述光线进行采样处理，得到每条所述光线上的W个空间点；所述W为大于1的整数；
对每个所述空间点进行解析处理，得到每个所述空间点的体密度、每个所述空间点的颜色分解结果；
其中，所述训练处理包括所述第一训练处理或所述第二训练处理。
3.根据权利要求2所述的方法，其特征在于，确定损失，包括：
针对每个空间点，根据所述空间点的所述反照率及所述空间点对应的正则球谐光照系数，确定所述空间点的点颜色；
根据所述点颜色和所述体密度，确定每条所述光线对应的预测颜色；
根据所述预测颜色及每条所述光线在相应图像中对应的真实颜色，确定损失；
其中，所述确定损失包括确定所述第一损失或确定所述第二损失。
4.根据权利要求3所述的方法，其特征在于，所述根据所述点颜色和所述体密度，确定每条所述光线对应的预测颜色，包括：
针对每条所述光线，根据所述光线的目标空间点的所述体密度，确定每个所述目标空间点的所述点颜色对应的权重；所述目标空间点是所述光线上的W个空间点中，沿着所述光线的方向的前W-1个空间点；
针对每条所述光线，根据所述权重对所述光线上的所述目标空间点的所述点颜色进行加权求和，得到所述光线对应的预测颜色。
5.根据权利要求4所述的方法，其特征在于，所述根据所述光线的目标空间点的所述体密度，确定每个所述目标空间点的所述点颜色对应的权重，包括：
针对每条所述光线，确定所述光线上的所述W个空间点中，两两相邻的空间点之间的间隔；
根据所述体密度和所述间隔，确定每个所述目标空间点的累计透射率；
针对每个所述目标空间点，根据所述目标空间点的所述累计透射率和目标间隔，确定所述目标空间点的所述点颜色对应的权重；所述目标间隔是沿着所述光线的方向，所述目标空间点与其相邻的后一个空间点之间的间隔。
6.根据权利要求1所述的方法，其特征在于，所述将第一训练样本对输入待训练的第一三维解析网络中进行第一训练处理之前，所述方法还包括：
获取含有所述目标对象的N个彩色候选图像；所述N为大于1的整数；根据所述N个彩色候选图像，构建包括N个所述第一训练样本对的第一训练样本对集合；根据所述N个彩色候选图像，构建包括N个所述第二训练样本对的第二训练样本对集合；
所述将第一训练样本对输入待训练的第一三维解析网络中进行第一训练处理，包括：从所述第一训练样本对集合中获取当前训练轮次所对应的n个第一训练本样本对，并将所述n个第一训练本样本对输入待训练的第一三维解析网络中进行第一训练处理；所述n为大于1且小于所述N的整数；
所述将第二训练样本对输入待训练的第二三维解析网络中进行第二训练处理，包括：从所述第二训练样本对集合中获取当前训练轮次所对应的n个第二训练本样本对，并将所述n个第二训练本样本对输入待训练的第二三维解析网络中进行第二训练处理。
7.根据权利要求6所述的方法，其特征在于，所述根据所述N个彩色候选图像，构建包括N个所述第一训练样本对的第一训练样本对集合，包括：
确定每个所述彩色候选图像对应的相机视点；
对每个所述彩色候选图像进行分割处理，得到所述目标对象的彩色图像；
将每个所述彩色图像与对应的相机视点确定为第一训练样本对，得到包括N个所述第一训练样本对的第一训练样本对集合。
8.根据权利要求7所述的方法，其特征在于，所述根据所述N个彩色候选图像，构建包括N个所述第二训练样本对的第二训练样本对集合，包括：
对所述N个彩色候选图像进行倍增处理，得到所述N个彩色候选图像对应的N个灰度候选图像；
对每个所述灰度候选图像进行所述目标对象的分割处理，得到所述目标对象的所述灰度图像；
将每个所述灰度图像与对应的所述相机视点确定为第二训练样本对，得到包括N个所述第二训练样本对的第二训练样本对集合。
9.一种虚拟图像创建方法，其特征在于，包括：
获取目标对象的虚拟图像的创建信息；所述创建信息包括目标虚拟环境的目标球谐光照系数、所述目标对象在所述目标虚拟环境中所对应的虚拟相机视点和成像平面；所述成像平面的各像素点的颜色值为空；
将所述虚拟相机视点和所述成像平面输入三维解析模型中进行解析处理，得到多个第三空间点的第三颜色分解结果；所述第三颜色分解结果包括第三反照率，所述三维解析模型基于权利要求1-8任一项所述的训练方法训练得到；
根据所述目标球谐光照系数和所述第三反照率，确定所述成像平面的各像素点的目标颜色值，得到所述目标对象在所述目标虚拟环境中的虚拟图像。
10.根据权利要求11所述的方法，其特征在于，所述虚拟相机视点包括虚拟相机光心的位置信息，所述进行解析处理，得到多个第三空间点的第三颜色分解结果，包括：
确定所述成像平面对应的多条第三射线；所述第三射线以所述虚拟相机光心为起点，射向所述成像平面的每个像素点；
对所述第三射线进行采样处理，得到多个第三空间点；
对每个所述第三空间点进行解析处理，得到每个所述第三空间点的第三体密度、及每个所述第三空间点的第三颜色分解结果。
11.根据权利要求10所述的方法，其特征在于，所述根据所述目标球谐光照系数和所述第三反照率，确定所述成像平面的各像素点的目标颜色值，包括：
根据所述目标球谐光照系数和每个所述第三空间点的所述第三反照率，确定每个所述第三空间点的第三颜色；
根据所述第三颜色和所述第三体密度，确定每条所述第三射线对应的第三预测颜色；
将所述第三射线对应的第三预测颜色的颜色值，确定为所述第三射线在所述成像平面上对应的像素点的目标颜色值。
12.一种三维解析模型的训练装置，其特征在于，包括：
第一训练模块，用于将第一训练样本对输入待训练的第一三维解析网络中进行第一训练处理，得到多个第一空间点的第一颜色分解结果；所述第一训练样本对包括目标对象的彩色图像和所述彩色图像对应的相机视点，所述第一颜色分解结果包括第一反照率和第一球谐光照系数；
第二训练模块，用于将第二训练样本对输入待训练的第二三维解析网络中进行第二训练处理，得到多个第二空间点的第二颜色分解结果；所述第二训练样本对包括所述彩色图像对应的灰度图像和所述相机视点，所述第二颜色分解结果包括第二反照率和第二球谐光照系数；
第一确定模块，用于根据所述第一反照率和所述第二球谐光照系数确定第一损失，并根据所述第二反照率和所述第一球谐光照系数确定第二损失；
第二确定模块，用于若根据所述第一损失和所述第二损失确定满足训练结束条件，则将满足训练结束条件时的第一三维解析网络确定为三维解析模型。
13.一种虚拟图像创建装置，其特征在于，包括：
获取模块，用于获取目标对象的虚拟图像的创建信息；所述创建信息包括目标虚拟环境的目标球谐光照系数、所述目标对象在所述目标虚拟环境中所对应的虚拟相机视点和成像平面；所述成像平面的各像素点的颜色值为空；
解析模块，用于将所述虚拟相机视点和所述成像平面输入三维解析模型中进行解析处理，得到多个第三空间点的第三颜色分解结果；所述第三颜色分解结果包括第三反照率，所述三维解析模型基于权利要求1-8任一项所述的训练方法训练得到；
确定模块，用于根据所述目标球谐光照系数和所述第三反照率，确定所述成像平面的各像素点的目标颜色值，得到所述目标对象在所述目标虚拟环境中的虚拟图像。
14.一种电子设备，其特征在于，包括：
处理器；以及，
被安排成存储计算机可执行指令的存储器，所述可执行指令被配置由所述处理器执行，所述可执行指令包括用于执行如权利要求1-8任一项所述的三维解析模型的训练方法中的步骤，或者所述可执行指令包括用于执行如权利要求9-11任一项所述的虚拟图像创建方法中的步骤。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机可执行指令，所述可执行指令使得计算机执行如1-8任一项所述的三维解析模型的训练方法，或者所述可执行指令使得计算机执行如权利要求9-11任一项所述的虚拟图像创建方法。
CN202310773092.6A 2023-06-27 2023-06-27 三维解析模型的训练方法、虚拟图像创建方法及装置 Pending CN117496288A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310773092.6A CN117496288A (zh) 2023-06-27 2023-06-27 三维解析模型的训练方法、虚拟图像创建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310773092.6A CN117496288A (zh) 2023-06-27 2023-06-27 三维解析模型的训练方法、虚拟图像创建方法及装置

Publications (1)

Publication Number Publication Date
CN117496288A true CN117496288A (zh) 2024-02-02

Family

ID=89681609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310773092.6A Pending CN117496288A (zh) 2023-06-27 2023-06-27 三维解析模型的训练方法、虚拟图像创建方法及装置

Country Status (1)

Country Link
CN (1) CN117496288A (zh)

Similar Documents

Publication Publication Date Title
CN111104962B (zh) 图像的语义分割方法、装置、电子设备及可读存储介质
EP3852068A1 (en) Method for training generative network, method for generating near-infrared image and apparatuses
CN108895981B (zh) 一种三维测量方法、装置、服务器和存储介质
US11443438B2 (en) Network module and distribution method and apparatus, electronic device, and storage medium
EP4365841A1 (en) Object pose detection method and apparatus, computer device, and storage medium
CN109754464B (zh) 用于生成信息的方法和装置
CN116977525B (zh) 一种图像渲染方法、装置、存储介质及电子设备
CN114792355B (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN114565916B (zh) 目标检测模型训练方法、目标检测方法以及电子设备
CN115690382A (zh) 深度学习模型的训练方法、生成全景图的方法和装置
CN111967297A (zh) 图像的语义分割方法、装置、电子设备及介质
CN116012483A (zh) 一种图像渲染的方法、装置、存储介质及电子设备
CN117745956A (zh) 一种基于位姿引导的图像生成方法、装置、介质及设备
US8879827B2 (en) Analyzing structured light patterns
CN111815748A (zh) 一种动画处理方法、装置、存储介质及电子设备
CN115049730B (zh) 零件装配方法、装置、电子设备及存储介质
CN113610856B (zh) 训练图像分割模型和图像分割的方法和装置
CN117496288A (zh) 三维解析模型的训练方法、虚拟图像创建方法及装置
CN114549927B (zh) 特征检测网络训练、增强现虚实注册跟踪及遮挡处理方法
CN115311414A (zh) 基于数字孪生的实景渲染方法、装置及相关设备
CN115909255A (zh) 图像生成、图像分割方法、装置、设备、车载终端及介质
CN109857244A (zh) 一种手势识别方法、装置、终端设备、存储介质及vr眼镜
CN114419473A (zh) 一种基于嵌入式设备的深度学习实时目标检测方法
CN116645468B (zh) 人体三维建模方法、训练人体结构生成模型的方法及装置
CN114820686B (zh) 抠图的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination