CN111833430B - 基于神经网络的光照数据预测方法、系统、终端及介质 - Google Patents

基于神经网络的光照数据预测方法、系统、终端及介质 Download PDF

Info

Publication number
CN111833430B
CN111833430B CN201910284991.3A CN201910284991A CN111833430B CN 111833430 B CN111833430 B CN 111833430B CN 201910284991 A CN201910284991 A CN 201910284991A CN 111833430 B CN111833430 B CN 111833430B
Authority
CN
China
Prior art keywords
data
illumination
neural network
camera
multiplied
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910284991.3A
Other languages
English (en)
Other versions
CN111833430A (zh
Inventor
虞晶怡
陈安沛
吴旻烨
张迎梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ShanghaiTech University
Original Assignee
ShanghaiTech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ShanghaiTech University filed Critical ShanghaiTech University
Priority to CN201910284991.3A priority Critical patent/CN111833430B/zh
Publication of CN111833430A publication Critical patent/CN111833430A/zh
Application granted granted Critical
Publication of CN111833430B publication Critical patent/CN111833430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)

Abstract

本发明提供基于神经网络的光照数据预测方法、系统、终端及介质，其中，所述光照数据预测方法包括：采集对象物在光照下基于不同视角的图像数据，以构建该对象物的多维几何模型；撷取多组基于所述多维几何模型的采样数据，以用作训练神经网络模型的训练数据；其中，所述神经网络模型用于预测所述对象物在任一视角下的反射光照数据。本发明提供的技术方案基于采样数据建立用于预测光照数据的神经网络，并通过所述神经网络预测任一视角下的反射光照数据，从而获得高保真的渲染图像，同时能够达到非常高的渲染压缩率以及实时渲染的高效率。

Description

基于神经网络的光照数据预测方法、系统、终端及介质
技术领域
本发明涉及计算机视觉算法技术领域，特别是涉及基于神经网络的光照数据预测方法、系统、终端及介质。
背景技术
光场是描述光在空间中辐亮度的空间和方向分布，是对光线在空间传播时的完整描述。光场渲染是一种基于图片的渲染，理论上来说，与传统三维模型渲染相比，在实时渲染的情况下，光场渲染可以得到相比于传统三维模型更接近真实的效果。
但是，目前的光场渲染技术，在渲染图像的保真度，渲染的压缩率，以及实时渲染的效率等方面的效果都差强人意。因此，本技术领域亟需一种在得到高保真渲染图像的同时还能够实现较高压缩率并能够达到实时渲染效率的技术解决方案。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供基于神经网络的光照数据预测方法、系统、终端及介质，用于解决现有技术中在渲染图像的保真度，渲染的压缩率，以及实时渲染的效率等方面的效果都较差的技术问题。
为实现上述目的及其他相关目的，本发明提供一种基于神经网络的光照数据预测方法，其包括：采集对象物在光照下基于不同视角的图像数据，以构建该对象物的多维几何模型；撷取多组基于所述多维几何模型的采样数据，以用作训练神经网络模型的训练数据；其中，所述神经网络模型用于预测所述对象物在任一视角下的反射光照数据。
于本发明的一实施例中，所述方法包括：基于三维重建算法构建所述对象物的三维几何模型，其包括：利用特征提取算法对两幅或多副图像进行特征点提取操作以及特征点匹配，以获取两幅或多副图像之间的匹配关系；利用噪声点去除算法去除所匹配的特征点中的噪声匹配点；基于去除噪声匹配点后的匹配点计算单应性矩阵和相机参数；所述相机参数矩阵包括相机内参和相机外参。
于本发明的一实施例中，采集所述图像数据以及构建所述多维几何模型的方式包括：采集所述对象物在初始光照下的图像数据，以构建初始多维几何模型；采集所述对象物在目标光照下的图像数据，以基于所述初始多维几何模型构建经目标光照下的图像标定后的模型；其中，所述初始光照包括非自然光照，所述目标光照包括自然光照。
于本发明的一实施例中，撷取用作训练数据的采样数据包括输入采样数据和输出采样数据；所述输入采样数据包括所述多维几何模型中像素点的位置数据和入射光照数据；所述输出采样数据包括采样像素点的反射光照数据。
于本发明的一实施例中，所述方法包括：将所述采样数据用作训练神经网络模型的训练数据之前，对所述采样数据执行预处理操作；所述预处理操作包括：将反射光照数据拆分为低频反射光数据和高频反射光数据；将当前像素视角转变为光照入射方向。
于本发明的一实施例中，像素点的位置数据被表示为：T＝[u，v]；像素点的入射光照数据包括入射方向数据，入射方向数据被表示为：
Figure BDA0002022968220000021
像素点在位置T的基于入射方向Di的反射光数据包括反射强度数据，反射强度数据被表示为：
Figure BDA0002022968220000022
其中，ξ2为该像素点上半球域，f(T，Do，DI)为向反射分布函数，LI(T，Di)为在位置T的基于入射方向Di的入射光照强度；拆分后的反射光照数据被表示为：S(T，Do)≈Φd(T)+Φr(T，D0)；其中，Φd(T)为低频的漫反射纹理，Φr(T，D0)为高频的反射光；当前像素视角转变为光照入射方向，光照入射方向被表示为：/>
Figure BDA0002022968220000023
Figure BDA0002022968220000024
其中，n为像素点所对应的模型位置T的法向。
于本发明的一实施例中，所述神经网络包括基于下式的全连接网络：
Figure BDA0002022968220000025
Figure BDA0002022968220000026
其中，gK(T)表示与像素点的位置数据相关联的低维函数，hK(Di)表示与像素点的入射光照数据相关联的低维函数。
于本发明的一实施例中，所述神经网络包括：第一全连接子网络，用于表示入射光照信息；第二全连接子网络，用于表示位置信息；第三全连接子网络，其输入数据为所述第一全连接子网络的输出数据以及第二全连接子网络的输出数据，且其输出数据为所述高频反射数据；其中，在所述第三全连接子网络中，数据从当前网络层跳跃传输至与当前网络层非相邻的网络层。
于本发明的一实施例中，采用所述神经网络预测所述对象物在任一视角下的反射光照数据的方式包括：获取基于任一视角的相机数据和光场数据；其中，所述相机数据包括相机内参和相机外参；所述光场数据包括渲染深度数据、法向数据以及漫反射纹理数据；基于所述相机数据和光场数据计算待预测图像上每一像素点N的N×2位置参数矩阵和N×3入射光照参数矩阵；将N×2位置参数矩阵和N×3入射光照参数矩阵作为所述神经网络模型的N×5输入参数矩阵，并输出得到对应的N×3预测高频反射光照数据；将输出得到的高频反射光照数据与所述漫反射纹理数据相结合，以生成在该视角下的预测反射光照数据。
为实现上述目的及其他相关目的，本发明提供一种基于神经网络的光照数据预测系统，其包括：采集模块，用于采集对象物在光照下基于不同视角的图像数据，以构建该对象物的多维几何模型；撷取模块，用于撷取多组基于所述多维几何模型的采样数据，以用作训练神经网络模型的训练数据；其中，所述神经网络模型用于预测所述对象物在任一视角下的反射光照数据。
为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述方法。
为实现上述目的及其他相关目的，本发明提供一种电子终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子终端执行所述方法。
如上所述，本发明的基于神经网络的光照数据预测方法、系统、终端及介质，具有以下有益效果：本发明提供的技术方案基于采样数据建立用于预测光照数据的神经网络，并通过所述神经网络预测任一视角下的反射光照数据，从而获得高保真的渲染图像，同时能够达到非常高的渲染压缩率以及实时渲染的高效率。
附图说明
图1显示为本发明一实施例中基于神经网络的光照数据预测方法的流程示意图。
图2显示为本发明一实施例中神经网络模型的结构示意图。
图3显示为本发明一实施例中基于神经网络的光照数据预测方法的流程示意图。
图4显示为本发明一实施例中基于神经网络的光照数据预测系统的结构示意图。
图5显示为本发明一实施例中电子终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”、“固持”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
针对高真实度物件表面几何和光照特性重建，本发明提供基于神经网络的光照数据预测方法、系统、终端及介质，其涉及表面光场重建、渲染及压缩等方面。光场是空间中同时包含位置和方向信息的四维光辐射场的参数化表示，是空间中所有光线光辐射函数的总体，不同于传统相机一个点接受的光为不同方向光线叠加的结果，光场拍摄到的图像中含有光线的角度信息，因此可以对每一个点的光线进行追迹。由于光场图像包含的信息量大且维数高，故其文件大小也远远高于传统图像，因此对光场图像的压缩率提出了较高的要求。而本发明提供的技术方案不仅能够得到高保真的渲染图像，还能达到非常高的压缩率，并且达到了实时渲染的效率。下文，将结合具体的实施例说明本发明技术方案的工作原理。
为了能够清楚描述本申请的基于神经网络的光照数据预测方法，现结合流程示意图1对所述光照数据预测方法进行详细说明。于本实施例中，所述光照数据预测方法应用于计算机设备，该设备由存储器、存储器控制器、一个或多个处理单元(CPU)、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、显示屏、其他输出或控制设备，以及外部端口等组件组成。所述计算机中的这些组件通过一条或多条通信总线或信号线进行通信。所述计算机包括但不限于如台式电脑、云端服务器、本地服务器、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal Digital Assistant，简称PDA)等个人电脑。
请参阅图1，所述基于神经网络的光照数据预测方法主要包括如下各步骤：
S11：采集对象物在光照下基于不同视角的图像数据，以构建该对象物的多维几何模型。
本申请中的对象物主要是指作为拍摄对象的人或物；本申请中的光照优选为均匀光照，但并不因此排除非均匀光照；光照的类型可采用非自然光照或自然光照，对于光照类型的选取将于下文中予以详述。
在一实施例中，基于三维重建算法构建所述对象物的三维几何模型，其包括：基于特征提取算法对两幅或多副图像进行特征点提取操作以及特征点匹配，以获取两幅或多副图像之间的匹配关系；基于两幅或多副图像之间的匹配关系，计算单应性矩阵和相机参数矩阵；所述相机参数矩阵包括内参矩阵和外参矩阵。
具体的，利用SFM三维重建算法实现三维几何模型的构建，SFM算法是一种基于无序图片进行三维重建的算法。首先，利用SIFT算法，PCA-SIFT算法，或者SURF算法等尺度不变的特征提取算法进行特征提取以及特征点匹配。以SIFT算法为例，该算法的实质是在不同的尺度空间上查找特征点，计算特征点的大小、方向、尺度信息，利用这些信息对特征点进行描述。SIFT算法查找的特征点通常如顶点、角点、边缘点，亮区的暗点或者暗区的亮点等较为突出的点，因此特征点不会因光照等因素而不稳定。其次，利用RANSAC算法，也即随机抽样一致性算法去除噪声匹配点。最后，通过去除噪声匹配点后所剩的有效匹配点计算单应性矩阵和相机的内参矩阵。需指出，所述通过去除噪声匹配点后所剩的有效匹配点计算单应性矩阵和相机的内参矩阵的技术手段并不是本申请关注的，在本领域技术人员普遍掌握的技术水准和通晓的知识中，凡是能够通过匹配点计算单应性矩阵和相机内外参的手段均可应用于本申请中。
在一实施例中，本申请采用双步数据采集法来采集图像数据，其中，采集所述图像数据以及构建所述多维几何模型的方式包括：采集对象物在初始光照下的图像数据，以构建初始多维几何模型；采集对象物在目标光照下的图像数据，以基于所述初始多维几何模型构建经目标光照下的图像标定后的模型。所述初始光照是指校正前的光照，所述目标光照是指用作校正的光照，例如：初始光照是室内灯具照射的非自然光照，目标光照是室外的自然光照。
以一具体的实施场景为例：首先，在均匀的非自然光照下采集约300张图片，用于恢复拍摄对象物的三维几何模型。然后，将拍摄对象物置于自然光照，也即置于阳光下再采集约200张图片。最后，将采集到的自然光照下的200张图片用于标定上述三维几何模型，也即，使用自然光照下的图片来校正非自然光照下的图片所生成的三维几何模型。
S12：撷取多组基于所述多维几何模型的采样数据，以用作训练神经网络模型的训练数据；其中，所述神经网络模型用于预测所述对象物在任一视角下的反射光照数据。
撷取用作训练数据的采样数据包括输入采样数据和输出采样数据；所述输入采样数据包括所述多维几何模型中像素点的位置数据和入射光照数据；所述输出采样数据包括采样像素点的反射光照数据。
对于物体表面每一个像素点，可采用T＝[u，v]表示该点的位置信息并采用
Figure BDA0002022968220000061
Figure BDA0002022968220000062
表示该点的光线入射方向，并根据BRDF函数得到该点在Di视角方向下的反射强度。所述BRDF函数的全称为Bidirectional Reflectance Distribution Function，是指双向反射分布函数，它描述了光线如何在物体表面进行反射，可用来描述材质属性。该像素点在Di入射视角方向下的反射强度被表示为：/>
Figure BDA0002022968220000063
其中，ξ2表示该点的上半球域，f(T，Do，DI)表示双向反射分布函数，LI(T，Di)表示点T在Di方向上的入射光线强度。
优选的，将所述采样数据用作训练神经网络模型的训练数据之前，对所述采样数据执行预处理操作；所述预处理操作包括：将反射光照数据拆分为低频反射光数据和高频反射光数据；将当前像素视角转变为光照入射方向。
具体的，拆分后的反射光照数据被表示为：S(T，Do)≈Φd(T)+Φr(T，D0)；其中，Φd(T)为低频的漫反射纹理，Φr(T，D0)为高频的反射光。当前像素视角转变为光照入射方向，光照入射方向被表示为：
Figure BDA0002022968220000064
其中，n为像素点所对应的模型位置T的法向。预处理后的数据作为训练神经网络模型的训练数据，其输入数据具有更优的一致性分布。
在一实施例中，所述神经网络包括基于下式的全连接网络：
Figure BDA0002022968220000065
其中，gK(T)表示与像素点的位置数据相关联的低维函数，hK(Di)表示与像素点的入射光照数据相关联的低维函数。
为便于本领域技术人员理解，本申请以图2为例来说明本申请中所述神经网络的结构。于本实施例中，第一全连接子网络(下文以Bottom FC layers 1表示)和第二全连接子网络(下文以Bottom FC layers 2表示)，分别表示入射光照信息和位置信息，这两个子网络输出后再经过一个四层的全连接子网络。值得注意的是本实施例中的Bottom FCLayers 2比Bottom FCLayers 1拥有更多的层数，是因为在表面光场数据分布中，位置信息比光照信息具有更高的维度，所以需使用更多的网络节点去表达。Bottom FC Layers 1的输出数据以及Bottom FCLayers 2的输出数据作为第三全连接子网络(下文以Top FCLayers 3表示)的输入数据。优选的，在Top FC Layers 3中使用数据跳跃的设计，数据从当前网络层跳跃传输至与当前网络层非相邻的网络层，例如：将特征信息从Top FC Layers 3的第一层传输到倒数第二层，这样的设计具有更好的网络输出结果。
训练好的神经网络用于预测对象物在任一视角下的反射光照数据，其预测方式具体包括如图3所示的方法流程。
S31：获取基于任一视角的相机数据和光场数据；其中，所述相机数据包括相机内参和相机外参；所述光场数据包括渲染深度数据、法向数据以及漫反射纹理数据。
具体的，以随机的渲染视角F为例，利用OpenGL渲染工具获取该渲染视角下的渲染深度数据、法向数据以及漫反射纹理数据。
S32：基于所述相机数据和光场数据计算待预测图像上每一像素点N的N×2位置参数矩阵和N×3入射光照参数矩阵。
利用渲染深度数据、法向数据、以及该视角的相机内、外参参数，可计算光场五维参数，即三维入射光照数据和两位位置数据。将每个有效像素N的参数组成一个N×5数值矩阵存储到GPU。
S33：将N×2位置参数矩阵和N×3入射光照参数矩阵作为所述神经网络模型的N×5输入参数矩阵，并输出得到对应的N×3预测高频反射光照数据。
具体的，可利用CUDA计算工具并使用训练好的神经网络模型，调取GPU中的N×5参数作为神经网络模型的输入参数，最终经CUDA计算工具计算得到该渲染视角下的N×3光照数据。
S34：将输出得到的高频反射光照数据与所述漫反射纹理数据相结合，以生成在该视角下的预测光照数据。需指出，由训练好的神经网络模型输出的N×3光照数据为反射光照中的高频反射光照数据，将该高频反射光照数据与漫反射纹理数据相结合便可生成该视角下的预测的反射光照数据。由此，基于训练好的神经网络模型可实现预测任一视角下的预测反射光照数据。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
如图4所示，展示本发明一实施例中基于神经网络的光照数据预测系统的示意图。所述光照数据预测系统包括：采集模块41和撷取模块42；所述采集模块41用于采集对象物在光照下基于不同视角的图像数据，以构建该对象物的多维几何模型；所述撷取模块42用于撷取多组基于所述多维几何模型的采样数据，以用作训练神经网络模型的训练数据；其中，所述神经网络模型用于预测所述对象物在任一视角下的反射光照数据。因所述基于神经网络的光照数据预测系统的实施方式与上文中基于神经网络的光照数据预测方法的实施方式类似，故不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，采集模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上采集模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
如图5所示，展示本发明一实施例中电子终端的结构示意图。本实施例提供的电子终端包括：处理器51、存储器52、收发器53、通信接口54和系统总线55；存储器52和通信接口54通过系统总线55与处理器51和收发器53连接并完成相互间的通信，存储器52用于存储计算机程序，通信接口54和收发器53用于和其他设备进行通信，处理器51用于运行计算机程序，使电子终端执行如上基于神经网络的光照数据预测方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random AccessMemory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请再提供一种计算机可读写存储介质，其上存储有光照数据预测的计算机程序，所述光照数据预测的计算机程序被处理器执行时实现上述基于神经网络的光照数据预测方法的各个步骤。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
于本申请提供的实施例中，所述计算机可读写存储介质可以包括只读存储器((ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁存储设备、闪存、U盘、移动硬盘、或者能够用于存储具有指令或数据结构形式的期望的程序代码并能够由计算机进行存取的任何其它介质。另外，任何连接都可以适当地称为计算机可读介质。例如，如果指令是使用同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或者诸如红外线、无线电和微波之类的无线技术，从网站、服务器或其它远程源发送的，则所述同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线电和微波之类的无线技术包括在所述介质的定义中。然而，应当理解的是，计算机可读写存储介质和数据存储介质不包括连接、载波、信号或者其它暂时性介质，而是旨在针对于非暂时性、有形的存储介质。如申请中所使用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘则用激光来光学地复制数据。
需说明，本申请上述的附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以通过执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以通过专用硬件与计算机指令的组合来实现。
综上所述，本发明提供的基于神经网络的光照数据预测方法、系统、终端及介质，其基于采样数据建立用于预测光照数据的神经网络，并通过所述神经网络预测任一视角下的反射光照数据，从而获得高保真的渲染图像，同时能够达到非常高的渲染压缩率以及实时渲染的高效率。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (5)

1.一种基于神经网络的光照数据预测方法，其特征在于，包括：
采集对象物在光照下基于不同视角的图像数据，以构建该对象物的多维几何模型；
撷取多组基于所述多维几何模型的采样数据，以用作训练神经网络模型的训练数据；其中，所述神经网络模型用于预测所述对象物在任一视角下的反射光照数据；
其中，采集所述图像数据以及构建所述多维几何模型的方式包括：采集所述对象物在初始光照下的图像数据，以构建初始多维几何模型；采集所述对象物在目标光照下的图像数据，以基于所述初始多维几何模型构建经目标光照下的图像标定后的模型；其中，所述初始光照包括非自然光照，所述目标光照包括自然光照；
撷取用作训练数据的采样数据包括输入采样数据和输出采样数据；所述输入采样数据包括所述多维几何模型中像素点的位置数据和入射光照数据；所述输出采样数据包括采样像素点的反射光照数据；其中，采用所述神经网络预测所述对象物在任一视角下的反射光照数据的方式包括：获取基于任一视角的相机数据和光场数据；其中，所述相机数据包括相机内参和相机外参；所述光场数据包括渲染深度数据、法向数据以及漫反射纹理数据；基于所述相机数据和光场数据计算待预测图像上每一像素点N的N×2位置参数矩阵和N×3入射光照参数矩阵；将N×2位置参数矩阵和N×3入射光照参数矩阵作为所述神经网络模型的N×5输入参数矩阵，并输出得到对应的N×3预测高频反射光照数据；将输出得到的高频反射光照数据与所述漫反射纹理数据相结合，以生成在该视角下的预测反射光照数据；
所述方法包括：将所述采样数据用作训练神经网络模型的训练数据之前，对所述采样数据执行预处理操作；所述预处理操作包括：将反射光照数据拆分为低频反射光数据和高频反射光数据；将当前像素视角转变为光照入射方向。
2.根据权利要求1所述的基于神经网络的光照数据预测方法，其特征在于，所述方法包括：基于三维重建算法构建所述对象物的三维几何模型，其包括：
利用特征提取算法对两幅或多副图像进行特征点提取操作以及特征点匹配，以获取两幅或多副图像之间的匹配关系；
利用噪声点去除算法去除所匹配的特征点中的噪声匹配点；
基于去除噪声匹配点后的匹配点计算单应性矩阵和相机参数；所述相机参数矩阵包括相机内参和相机外参。
3.一种基于神经网络的光照数据预测系统，其特征在于，包括：
采集模块，用于采集对象物在光照下基于不同视角的图像数据，以构建该对象物的多维几何模型；
撷取模块，用于撷取多组基于所述多维几何模型的采样数据，以用作训练神经网络模型的训练数据；其中，所述神经网络模型用于预测所述对象物在任一视角下的反射光照数据；
其中，所述采集模块采集所述图像数据以及构建所述多维几何模型的方式包括：采集所述对象物在初始光照下的图像数据，以构建初始多维几何模型；采集所述对象物在目标光照下的图像数据，以基于所述初始多维几何模型构建经目标光照下的图像标定后的模型；其中，所述初始光照包括非自然光照，所述目标光照包括自然光照；
所述撷取模块撷取用作训练数据的采样数据包括输入采样数据和输出采样数据；所述输入采样数据包括所述多维几何模型中像素点的位置数据和入射光照数据；所述输出采样数据包括采样像素点的反射光照数据；其中，采用所述神经网络预测所述对象物在任一视角下的反射光照数据的方式包括：获取基于任一视角的相机数据和光场数据；其中，所述相机数据包括相机内参和相机外参；所述光场数据包括渲染深度数据、法向数据以及漫反射纹理数据；基于所述相机数据和光场数据计算待预测图像上每一像素点N的N×2位置参数矩阵和N×3入射光照参数矩阵；将N×2位置参数矩阵和N×3入射光照参数矩阵作为所述神经网络模型的N×5输入参数矩阵，并输出得到对应的N×3预测高频反射光照数据；将输出得到的高频反射光照数据与所述漫反射纹理数据相结合，以生成在该视角下的预测反射光照数据；
将所述采样数据用作训练神经网络模型的训练数据之前，对所述采样数据执行预处理操作；所述预处理操作包括：将反射光照数据拆分为低频反射光数据和高频反射光数据；
将当前像素视角转变为光照入射方向。
4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至2中任一项所述基于神经网络的光照数据预测方法。
5.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至2中任一项所述基于神经网络的光照数据预测方法。
CN201910284991.3A 2019-04-10 2019-04-10 基于神经网络的光照数据预测方法、系统、终端及介质 Active CN111833430B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910284991.3A CN111833430B (zh) 2019-04-10 2019-04-10 基于神经网络的光照数据预测方法、系统、终端及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910284991.3A CN111833430B (zh) 2019-04-10 2019-04-10 基于神经网络的光照数据预测方法、系统、终端及介质

Publications (2)

Publication Number Publication Date
CN111833430A CN111833430A (zh) 2020-10-27
CN111833430B true CN111833430B (zh) 2023-06-16

Family

ID=72914141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910284991.3A Active CN111833430B (zh) 2019-04-10 2019-04-10 基于神经网络的光照数据预测方法、系统、终端及介质

Country Status (1)

Country Link
CN (1) CN111833430B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022098358A1 (en) * 2020-11-05 2022-05-12 Google Llc Volumetric performance capture with neural rendering
GB2605169B (en) * 2021-03-24 2023-08-02 Sony Interactive Entertainment Inc Image rendering method and apparatus
GB2605156B (en) * 2021-03-24 2023-11-08 Sony Interactive Entertainment Inc Image rendering method and apparatus
GB2605171B (en) 2021-03-24 2023-05-24 Sony Interactive Entertainment Inc Image rendering method and apparatus
GB2605152B (en) * 2021-03-24 2023-11-08 Sony Interactive Entertainment Inc Image rendering method and apparatus
GB2605155B (en) * 2021-03-24 2023-05-17 Sony Interactive Entertainment Inc Image rendering method and apparatus
GB2605158B (en) 2021-03-24 2023-05-17 Sony Interactive Entertainment Inc Image rendering method and apparatus
GB2605154B (en) 2021-03-24 2023-05-24 Sony Interactive Entertainment Inc Image rendering method and apparatus
CN113052970B (zh) * 2021-04-09 2023-10-13 杭州群核信息技术有限公司 一种灯光光强颜色的设计方法、装置、系统及存储介质
CN115249215A (zh) * 2021-04-28 2022-10-28 北京字跳网络技术有限公司 图像处理方法、装置、电子设备以及可读存储介质
CN113538664B (zh) * 2021-07-14 2022-12-13 清华大学 车辆去光照三维重建方法、装置、电子设备和存储介质
CN114155359A (zh) * 2022-01-05 2022-03-08 上海赛图图像设备有限公司 一种多角度扫描的图像采集系统及其方法
CN114663377A (zh) * 2022-03-16 2022-06-24 广东时谛智能科技有限公司 一种基于深度学习的材质svbrdf获取方法及其系统
CN114998256A (zh) * 2022-05-31 2022-09-02 点昀技术(南通)有限公司 物料附着颗粒度检测方法、装置、设备及存储介质
CN118172476A (zh) * 2022-12-09 2024-06-11 华为技术有限公司 光照估计方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109509248A (zh) * 2018-09-28 2019-03-22 北京大学 一种基于神经网络的光子映射渲染方法和系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9013496B2 (en) * 2012-06-19 2015-04-21 Microsoft Technology Licensing, Llc Rendering global light transport in real-time using machine learning
US10706621B2 (en) * 2015-11-30 2020-07-07 Photopotech LLC Systems and methods for processing image information
CN105389843B (zh) * 2015-12-09 2017-11-14 河海大学 基于径向基函数神经网络拟合的全局光照实时绘制方法
WO2017171005A1 (ja) * 2016-04-01 2017-10-05 株式会社ｗｉｓｅ ３ｄグラフィック生成、人工知能の検証・学習システム、プログラム及び方法
WO2018013495A1 (en) * 2016-07-11 2018-01-18 Gravity Jack, Inc. Augmented reality methods and devices
US10806334B2 (en) * 2017-02-28 2020-10-20 Verily Life Sciences Llc System and method for multiclass classification of images using a programmable light source
US10430978B2 (en) * 2017-03-02 2019-10-01 Adobe Inc. Editing digital images utilizing a neural network with an in-network rendering layer
CN107464244A (zh) * 2017-03-09 2017-12-12 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于神经网络的图像光照估计方法
US10311552B2 (en) * 2017-04-06 2019-06-04 Pixar De-noising images using machine learning
US10977843B2 (en) * 2017-06-28 2021-04-13 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for determining parameters for medical image processing
US10713816B2 (en) * 2017-07-14 2020-07-14 Microsoft Technology Licensing, Llc Fully convolutional color constancy with confidence weighted pooling
CN108416805B (zh) * 2018-03-12 2021-09-24 中山大学 一种基于深度学习的本征图像分解方法及装置
CN109410310A (zh) * 2018-10-30 2019-03-01 安徽虚空位面信息科技有限公司 一种基于深度学习网络的实时光照渲染算法
CN109544621A (zh) * 2018-11-21 2019-03-29 马浩鑫 基于卷积神经网络的光场深度估计方法、系统及介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109509248A (zh) * 2018-09-28 2019-03-22 北京大学 一种基于神经网络的光子映射渲染方法和系统

Also Published As

Publication number Publication date
CN111833430A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN111833430B (zh) 基于神经网络的光照数据预测方法、系统、终端及介质
Zhang et al. Nerfactor: Neural factorization of shape and reflectance under an unknown illumination
US10223827B2 (en) Relightable texture for use in rendering an image
US9454806B2 (en) Efficient approximate-nearest-neighbor (ANN) search for high-quality collaborative filtering
CN110675336A (zh) 一种低照度图像增强方法及装置
CN110998671B (zh) 三维重建方法、装置、系统和存储介质
US20230362347A1 (en) Real-Time Novel View Synthesis With Forward Warping And Depth
Ikehata Universal photometric stereo network using global lighting contexts
CN110930503A (zh) 一种服装三维模型建立方法、系统、存储介质及电子设备
CN115239861A (zh) 人脸数据增强方法、装置、计算机设备和存储介质
CN116958362A (zh) 图像渲染方法、装置、设备和存储介质
CN112241934B (zh) 一种图像处理方法以及相关设备
Franke et al. Vet: Visual error tomography for point cloud completion and high-quality neural rendering
WO2024148898A1 (zh) 图像降噪方法、装置、计算机设备和存储介质
CN117372607A (zh) 一种三维模型的生成方法、装置及电子设备
CN115769247A (zh) 图像增强方法及装置
KR102559691B1 (ko) 뉴럴 렌더링 기반 형상 색상 통합 3d 메시 복원 방법 및 장치
CN116993955A (zh) 三维模型的重拓扑方法、装置、设备及存储介质
CN117218007A (zh) 视频图像处理方法、装置、电子设备及存储介质
CN115937395A (zh) 电气设备模型渲染方法、装置、计算机设备和存储介质
CN116977539A (zh) 图像处理方法、装置、计算机设备、存储介质和程序产品
CN117830490A (zh) 一种渲染方法及装置
CN111369425B (zh) 图像处理方法、装置、电子设备和计算机可读介质
CN111986246B (zh) 基于图像处理的三维模型重建方法、装置和存储介质
Hardy et al. Uni MS-PS: a Multi-Scale Encoder Decoder Transformer for Universal Photometric Stereo

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant