CN113240622A - 人体场景图像本征分解与重光照方法和装置 - Google Patents

人体场景图像本征分解与重光照方法和装置 Download PDF

Info

Publication number
CN113240622A
CN113240622A CN202110268797.3A CN202110268797A CN113240622A CN 113240622 A CN113240622 A CN 113240622A CN 202110268797 A CN202110268797 A CN 202110268797A CN 113240622 A CN113240622 A CN 113240622A
Authority
CN
China
Prior art keywords
image
normal
map
relighting
rgb image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110268797.3A
Other languages
English (en)
Other versions
CN113240622B (zh
Inventor
刘烨斌
吉朝南
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Xinchangyuan Technology Co ltd
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110268797.3A priority Critical patent/CN113240622B/zh
Publication of CN113240622A publication Critical patent/CN113240622A/zh
Application granted granted Critical
Publication of CN113240622B publication Critical patent/CN113240622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Generation (AREA)

Abstract

本发明提出一种人体场景图像本征分解与重光照方法和装置，其中，方法包括：使用Clo3d制作人体模型，使用blender进行光线追踪进行渲染，得到训练数据集；使用单张图像预训练法线预测网络；将原始图像与预测得到的法线图作为图像本征分解网络的输入，预测得到反射率图、阴影图以及球谐光照参数；使用新的球谐光照参数对原图像进行重光照。最终将单张图片分解为反射率图与阴影图，可以实现图片重光照、3D模型合成、模型表面纹理重构等应用。在三维重建领域可以去除输入图片的阴影，提升三维重建模型的表面纹理质量。

Description

人体场景图像本征分解与重光照方法和装置
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种人体场景图像本征分解与重光照方法和装置。
背景技术
图像本征分解是一个经典的视觉图像处理问题，涉及到将单张图像分解为多张表示该图像本征性质的图像，是一个欠定问题。常见的图像本征分解方法将图像分解为albedo map，shading map，更进一步的，还可以从单张图像中获取normal map,light map以及BRDFs。图像本征分解有着许多应用，例如3D模型合成、模型表面纹理重构以及重光照等。
图像分解方法可以分为两大类：基于优化的图像本征分解、基于深度学习的图像本征分解。基于优化的图像本征分解依赖较强的物理先验，基于阴影与反照率图像物理性质的不同进行图像分解，代表性的方法有Retinex算法，该算法利用了光照的低频性质，认为图像梯度较大的变化是反射率变化，梯度较小的变化是光照变化。但是基于优化的图像本征方法只适用于简单场景下的图像分解，对复杂光照场景下的图像分解效果不好。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种人体场景图像本征分解与重光照方法，以实现在三维重建领域可以去除输入图片的阴影，提升三维重建模型的表面纹理质量。
本发明的第二个目的在于提出一种人体场景图像本征分解与重光照装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
本发明的第五个目的在于提出一种计算机程序产品。
为达上述目的，本发明第一方面实施例提出了一种人体场景图像本征分解与重光照方法，包括：使用卷积神经网络对单张RGB图像进行分解，将所述单张RGB图像分解为反射率图、阴影图、法线图；获取新的光照参数，其中，所述新的光照参数为与所述单张RGB图像的光照参数不同的光照参数；根据所述新的球谐光照参数对所述单张RGB图像进行重光照，以获取重光照的图像。
为达上述目的，本发明第二方面实施例提出了一种人体场景图像本征分解与重光照装置，包括：分解模块，用于使用卷积神经网络对单张RGB图像进行分解，将所述单张RGB图像分解为反射率图、阴影图、法线图；获取模块，用于获取新的光照参数，其中，所述新的光照参数为与所述单张RGB图像的光照参数不同的光照参数；重光照模块，用于根据所述新的球谐光照参数对所述单张RGB图像进行重光照，以获取重光照的图像。
为达上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述第一方面实施例所述的人体场景图像本征分解与重光照方法。
为了实现上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面实施例所述的人体场景图像本征分解与重光照方法。
为了实现上述目的，本发明第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现如上述第一方面实施例所述的人体场景图像本征分解与重光照方法。
本发明的实施例，至少具有如下的技术效果：
使用Clo3d制作人体模型，使用blender进行光线追踪进行渲染，得到训练数据集；使用单张图像预训练法线预测网络；将原始图像与预测得到的法线图作为图像本征分解网络的输入，预测得到反射率图、阴影图以及球谐光照参数；使用新的球谐光照参数对原图像进行重光照。最终将单张图片分解为反射率图与阴影图，可以实现图片重光照、3D模型合成、模型表面纹理重构等应用。在三维重建领域可以去除输入图片的阴影，提升三维重建模型的表面纹理质量。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的一种人体场景图像本征分解与重光照方法的流程示意图；
图2为本发明实施例所提供的一种图像本征分解网络示意图；
图3为本发明实施例所提供的一种球谐光照模型的光照分解模型示意图；
图4为本发明实施例所提供的一种实施例中使用的主要卷积神经网络结构示意图；以及
图5为本发明实施例所提供的一种人体场景图像本征分解与重光照装置的结示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的人体场景图像本征分解与重光照方法和装置。
图1为本发明实施例所提供的一种人体场景图像本征分解与重光照方法的流程示意图。
如图1所示，该人体场景图像本征分解与重光照方法包括以下步骤：
步骤101，使用卷积神经网络对单张RGB图像进行分解，将所述单张RGB图像分解为反射率图、阴影图、法线图。
步骤102，获取新的光照参数，其中，所述新的光照参数为与所述单张RGB图像的光照参数不同的光照参数。
步骤103，根据所述新的球谐光照参数对所述单张RGB图像进行重光照，以获取重光照的图像。
在本示例中，为了克服传统图像本征分解方法普适性不强而深度学习方法又缺乏充足的数据集以及合理的物理约束的缺点，本发明提出了一种人体场景图像本征分解与重光照方法，包括自建的人体衣物虚拟数据集、一种新颖的图像本征分解网络以及基于图像本征分解网络的重光照方法。
人体衣物虚拟数据集制作步骤如下：
A.采用Clo3d软件制作穿戴有不同衣物的人体模型，并使模型摆出不同的姿势
B.将模型导入blender，随机布置光源，使用光线追踪进行渲染，输出不同视角下对应的反射率图像、阴影图像、法线图像以及深度图像
图像本征分解网络包含两部分：法线预测网络以及图像本征分解网络。为了使网络预测出合理的结果，避免退化，首先训练图像法线预测网络以预测出准确的法线图作为先验。将单张图片经过卷积神经网络，使用真实法线图作为监督，得到预训练好的法线预测网络。之后将单张图像以及对应的法向图一同输入至图像本征分解网络，预测出反射率图、光照图以及阴影图，实现图像本征分解。
该方法应用于单张图片本征分解时，具体包括以下步骤：
A.准备训练集。使用上述方法制作人体衣物虚拟数据集，获取模型在不同光照、不同视角下的渲染图像作为训练集。
B.法线预测网络预训练。将单张图像输入卷积神经网络，使用真实法线图作为监督，训练法线预测网络
C.图像本征分解网络训练。首先将单张图像经过法线预测网络得到法线图，将原始图像与预测得到的法向图结合起来一并输入卷积神经网络。
D.阴影图预测。这里使用球谐光照作为图像的光照模型，C中的输入经过卷积神经网络得到全局光照参数，使用全局光照参数与法向图做点积即可得到阴影图2。
E.可见性图预测。为了模拟真实世界中物体相互遮挡产生的阴影，这里使用卷积神经网络预测一张可见性图，使用C中图像作为输入。可见性图与D中的阴影图2相乘得到最终的阴影图.
F.反射率图预测。使用C中输入经过卷积神经网络得到反射率图预测结果。
在图像本征分解的基础上，我们可以进一步对原图像实施重光照。假设已有两张不同光照下的图片经过图像本征分解得到的结果(包含阴影图、反射率图、全局光照、可见性图)，将图像1的全局光照迁移到图像2即可实现图像2的重光照。也可直接修改图像2的全局光照系数从而实现重光照。
下面结合附图和实例对本发明进行进一步说明。
A.图2是图像本征分解网络示意图。图中A模块是卷积神经网络，包含残差模块以及跳层连接模块。输入单张图片首先预测出对应的Normal map，之后将原始图像与Normalmap一并作为卷积神经网络的输入。B模块是Shadow map。
B.图3展示了球谐光照模型的光照分解模型。球谐光照是一种基于球面调和的光照算法，能够较好地模拟真实光照并进行重光照，这里使用2阶球谐函数(共九个分量)，计算公式如下公式(1)：
Figure BDA0002973249000000041
其中I(i,j)表示输入图片，A(i,j)表示反射率图，lk是对应的球谐光照系数，Hk(n)是图片法线分量，假设图像中某一点法线为n＝(nx,ny,nz)，这里法线分量为：
Hk(n)＝(1,nx,ny,nz,nxny,nynz,nznx,-nxnx-nyny+2nznz,nxnx-nyny)
C.图4展示了使用的主要卷积神经网络结构——Unet。网络结构类似沙漏，从输入端到输出端有跳层连接结构。
在本发明的一个实施例中，对一种人体场景图像本征分解与重光照方法的一个实施例的说明如下：
步骤一，准备训练集。首先在Clo3d中制作人体模型，包含80个人体模型以及200余种衣物纹理贴图，将制作好的模型导入到blender中，随机布置6～12个点光源，使用光线追踪进行渲染。
步骤二，法线预测网络预训练。使用hourglass网络预测输入图像的法向图，最终的损失函数使用L1损失函数与VGG网络提取出的图片特征之间的损失，损失函数为：
LN＝L1(pnormal,gtnormal)+5*VGGLoss(pnormal,gtnormal)
其中pnormal是网络预测的法线图，gtnormal是真实的法线图。
步骤三，图像本征分解网络训练。固定法线预测网络，将步骤S102中预测的法线图与原始图像作为输入，经过Unet得到反射率图与可见性图，经过ResNet18得到球谐函数的参数(共27个)。
步骤四，计算损失函数。网络的损失函数包含以下几个方面：反射率图分解误差、阴影图分解误差以及图像重建误差。
图像重建误差：
Lrecon＝L1(pshading*palbedo,image)+L1(pshading*gtalbedo,image)+L1(gtshading*palbedo,image)
反射率图分解误差：
Lalbedo＝L1(palbedo,gtalbedo)+VGGLoss(palbedo,gtalbedo)
阴影图分解误差：
Lshading＝L1(pshading,gtshading)+VGGLoss(pshading,gtshading)
使用真实的法线图结合预测的光照得到的阴影图记为pshading-1
Lshading-1＝L1(pshading-1,gtshading-1)+VGGLoss(pshading-1,gtshading-1)
最终的误差表示为：
Ltotal＝Lrecon+Lalbedo+Lshading+Lshading-1
步骤五，设置训练参数。训练采用Adam优化器，学习率固定为0.0001，训练80个epoch，输入图像分辨率为512×512。
另外，图像重光照步骤，包括：
步骤一，使用上述实施例中训练好的图像分解网络，预测得到反射率图、球谐光照参数、可见性图以及法线图。
步骤二，将球谐光照参数替换为新的光照参数(从另一张图片中提取或者直接修改)，其他图像分解模块不变，使用以下公式(2)合成新的光照下图像：
Iinverse＝palbedo*(Charmonics*H(n)*pshadow)公式(2)
其中palbedo是预测的反射率图，Charmonics为新的球谐光照函数，H(n)是分解过后的法线图，pshadow是可见性图，Iinverse是重光照的图像。
综上，本发明实施例的人体场景图像本征分解与重光照方法，使用Clo3d制作人体模型，使用blender进行光线追踪进行渲染，得到训练数据集；使用单张图像预训练法线预测网络；将原始图像与预测得到的法线图作为图像本征分解网络的输入，预测得到反射率图、阴影图以及球谐光照参数；使用新的球谐光照参数对原图像进行重光照。最终将单张图片分解为反射率图与阴影图，可以实现图片重光照、3D模型合成、模型表面纹理重构等应用。在三维重建领域可以去除输入图片的阴影，提升三维重建模型的表面纹理质量。
为了实现上述实施例，本发明还提出一种人体场景图像本征分解与重光照装置。
图5为本发明实施例提供的一种人体场景图像本征分解与重光照装置的结构示意图。
如图5所示，该人体场景图像本征分解与重光照装置包括：分解模块510、获取模块520和重光照模块530。
其中，分解模块510，用于使用卷积神经网络对单张RGB图像进行分解，将所述单张RGB图像分解为反射率图、阴影图、法线图；
获取模块520，用于获取新的光照参数，其中，所述新的光照参数为与所述单张RGB图像的光照参数不同的光照参数；
重光照模块530，用于根据所述新的球谐光照参数对所述单张RGB图像进行重光照，以获取重光照的图像。
需要说明的是，前述对人体场景图像本征分解与重光照方法实施例的解释说明也适用于该实施例的人体场景图像本征分解与重光照装置，此处不再赘述。
为了实现上述实施例，本发明还提出一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述实施例所描述的人体场景图像本征分解与重光照方法。
为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例所描述的人体场景图像本征分解与重光照方法。
为了实现上述实施例，本发明还提出一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现如上述实施例所描述的人体场景图像本征分解与重光照方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种人体场景图像本征分解与重光照方法，其特征在于，包括以下步骤：
使用卷积神经网络对单张RGB图像进行分解，将所述单张RGB图像分解为反射率图、阴影图、法线图；
获取新的光照参数，其中，所述新的光照参数为与所述单张RGB图像的光照参数不同的光照参数；
根据所述新的球谐光照参数对所述单张RGB图像进行重光照，以获取重光照的图像。
2.如权利要求1所述的方法，其特征在于，所述将所述单张RGB图像分解为反射率图、阴影图、法线图，包括：
将所述单张RGB图像输入预设的法线预测网络，获取所述法线图。
3.如权利要求2所述的方法，其特征在于，在所述将所述单张RGB图像输入预设的法线预测网络之前，包括：
将样本图像输入初始法线预测网络，获取图片特征；
使用L1损失函数与VGG网络提取出的所述图片特征之间的损失，根据所述损失调整所述初始法线预测网络，直至所述损失小于预设阈值。
4.如权利要求3所述的方法，其特征在于，所述L1损失函数为：
LN＝L1(pnormal，gtnormal)+5*VGGLoss(pnormal，gtnormal)
其中pnormal是网络预测的法线图，gtnormal是真实的法线图。
5.如权利要求1所述的方法，其特征在于，所述根据所述新的球谐光照参数对所述单张RGB图像进行重光照，以获取重光照的图像，包括：
根据预设公式获取所述重光照的图像，其中，所述重光照的图像，包括：
Iinverse＝palbedo*(Charmonics*H(n)*pshadow)
其中，palbedo是预测的反射率图，Charmonics为新的球谐光照函数，H(n)是分解过后的法线图，pshadow是可见性图，Iinverse是重光照的图像。
6.一种人体场景图像本征分解与重光照装置，其特征在于，包括：
分解模块，用于使用卷积神经网络对单张RGB图像进行分解，将所述单张RGB图像分解为反射率图、阴影图、法线图；
获取模块，用于获取新的光照参数，其中，所述新的光照参数为与所述单张RGB图像的光照参数不同的光照参数；
重光照模块，用于根据所述新的球谐光照参数对所述单张RGB图像进行重光照，以获取重光照的图像。
7.如权利要求6所述的装置，其特征在于，所述分解模块，具体用于：
将所述单张RGB图像输入预设的法线预测网络，获取所述法线图。
8.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-5中任一所述的方法。
9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的方法。
10.一种计算机程序产品，其特征在于，当所述计算机程序产品中的指令由处理器执行时，实现如权利要求1-5中任一所述的方法。
CN202110268797.3A 2021-03-12 2021-03-12 人体场景图像本征分解与重光照方法和装置 Active CN113240622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110268797.3A CN113240622B (zh) 2021-03-12 2021-03-12 人体场景图像本征分解与重光照方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110268797.3A CN113240622B (zh) 2021-03-12 2021-03-12 人体场景图像本征分解与重光照方法和装置

Publications (2)

Publication Number Publication Date
CN113240622A true CN113240622A (zh) 2021-08-10
CN113240622B CN113240622B (zh) 2023-01-06

Family

ID=77130200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110268797.3A Active CN113240622B (zh) 2021-03-12 2021-03-12 人体场景图像本征分解与重光照方法和装置

Country Status (1)

Country Link
CN (1) CN113240622B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920036A (zh) * 2021-12-14 2022-01-11 武汉大学 一种基于rgb-d图像的交互式重光照编辑方法
CN115115688A (zh) * 2022-05-31 2022-09-27 荣耀终端有限公司 一种图像处理方法及电子设备
CN115546041A (zh) * 2022-02-28 2022-12-30 荣耀终端有限公司 补光模型的训练方法、图像处理方法及其相关设备
CN115914853A (zh) * 2021-09-18 2023-04-04 荣耀终端有限公司 一种图像补光方法及电子设备
CN116883578A (zh) * 2023-09-06 2023-10-13 腾讯科技（深圳）有限公司 图像处理方法、装置及相关设备
CN117953137A (zh) * 2024-03-27 2024-04-30 哈尔滨工业大学（威海） 一种基于动态表面反射场的人体重光照方法
WO2024193609A1 (zh) * 2023-03-20 2024-09-26 腾讯科技（深圳）有限公司 图像渲染方法、装置、电子设备、存储介质及程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090310828A1 (en) * 2007-10-12 2009-12-17 The University Of Houston System An automated method for human face modeling and relighting with application to face recognition
CN101917637A (zh) * 2010-06-24 2010-12-15 清华大学 基于自由视角光照传输矩阵的重光照方法及系统
CN103247070A (zh) * 2013-04-22 2013-08-14 浙江大学 一种基于预计算转移张量的交互重光照真实感渲染方法
CN110570496A (zh) * 2019-08-26 2019-12-13 武汉大学 一种基于球谐光照的rgbd图像环境光编辑方法和系统
CN110647859A (zh) * 2019-09-29 2020-01-03 浙江商汤科技开发有限公司 人脸图像分解方法和装置、电子设备及存储介质
CN111798384A (zh) * 2020-06-10 2020-10-20 武汉大学 一种逆向渲染的人脸图像光照信息编辑方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090310828A1 (en) * 2007-10-12 2009-12-17 The University Of Houston System An automated method for human face modeling and relighting with application to face recognition
CN101917637A (zh) * 2010-06-24 2010-12-15 清华大学 基于自由视角光照传输矩阵的重光照方法及系统
CN103247070A (zh) * 2013-04-22 2013-08-14 浙江大学 一种基于预计算转移张量的交互重光照真实感渲染方法
CN110570496A (zh) * 2019-08-26 2019-12-13 武汉大学 一种基于球谐光照的rgbd图像环境光编辑方法和系统
CN110647859A (zh) * 2019-09-29 2020-01-03 浙江商汤科技开发有限公司 人脸图像分解方法和装置、电子设备及存储介质
CN111798384A (zh) * 2020-06-10 2020-10-20 武汉大学 一种逆向渲染的人脸图像光照信息编辑方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JUNHO JEON等: "Intrinsic Image Decomposition Using Structure-Texture Separation and Surface Normals", 《ECCV 2014》 *
ZICHENG LIAO等: "An Approximate Shading Model with Detail Decomposition for Object Relighting", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 *
吴洪宇等: "基于图像的虚拟光影技术研究热点", 《科技导报》 *
皮慧婷: "基于球谐函数的人脸模型表面光场构建研究", 《软件导刊》 *
邢冠宇等: "单幅RGB-D图像本征图像交互分解算法", 《计算机辅助设计与图形学学报》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115914853A (zh) * 2021-09-18 2023-04-04 荣耀终端有限公司 一种图像补光方法及电子设备
CN115914853B (zh) * 2021-09-18 2023-11-28 荣耀终端有限公司 一种图像补光方法及电子设备
CN113920036A (zh) * 2021-12-14 2022-01-11 武汉大学 一种基于rgb-d图像的交互式重光照编辑方法
CN115546041A (zh) * 2022-02-28 2022-12-30 荣耀终端有限公司 补光模型的训练方法、图像处理方法及其相关设备
CN115546041B (zh) * 2022-02-28 2023-10-20 荣耀终端有限公司 补光模型的训练方法、图像处理方法及其相关设备
CN115115688A (zh) * 2022-05-31 2022-09-27 荣耀终端有限公司 一种图像处理方法及电子设备
WO2024193609A1 (zh) * 2023-03-20 2024-09-26 腾讯科技（深圳）有限公司 图像渲染方法、装置、电子设备、存储介质及程序产品
CN116883578A (zh) * 2023-09-06 2023-10-13 腾讯科技（深圳）有限公司 图像处理方法、装置及相关设备
CN116883578B (zh) * 2023-09-06 2023-12-19 腾讯科技（深圳）有限公司 图像处理方法、装置及相关设备
CN117953137A (zh) * 2024-03-27 2024-04-30 哈尔滨工业大学（威海） 一种基于动态表面反射场的人体重光照方法
CN117953137B (zh) * 2024-03-27 2024-06-14 哈尔滨工业大学（威海） 一种基于动态表面反射场的人体重光照方法

Also Published As

Publication number Publication date
CN113240622B (zh) 2023-01-06

Similar Documents

Publication Publication Date Title
CN113240622B (zh) 人体场景图像本征分解与重光照方法和装置
CN109978778B (zh) 基于残差学习的卷积神经网络医学ct图像去噪方法
CN112465955B (zh) 一种动态人体三维重建和视角合成方法
CN110428491B (zh) 基于单帧图像的三维人脸重建方法、装置、设备及介质
CN111784821B (zh) 三维模型生成方法、装置、计算机设备及存储介质
CN105761216B (zh) 一种图像去噪处理方法及装置
CN113344799A (zh) 用于使用深度神经网络减少医学图像中的有色噪声的系统和方法
CN113436290A (zh) 用于使用深度神经网络从图像中选择性地去除条纹伪影和噪声的方法和系统
CN111542861A (zh) 利用深度外观模型渲染化身的系统和方法
JP2022032937A (ja) コンピュータビジョン方法及びシステム
CN109035142A (zh) 一种对抗网络结合航拍图像先验的卫星图像超分辨方法
CN109754394A (zh) 三维医学图像处理装置及方法
Liu et al. EFINet: Restoration for low-light images via enhancement-fusion iterative network
CN104700109A (zh) 高光谱本征图像的分解方法及装置
Lu et al. An imaging information estimation network for underwater image color restoration
CN111369433B (zh) 基于可分离卷积和注意力的三维图像超分辨率重建方法
CN116051696B (zh) 一种可重光照的人体隐式模型的重建方法和装置
CN110599585A (zh) 基于深度学习的单图像人体三维重建方法及装置
CN112734887A (zh) 基于深度学习的人脸混合-变形生成方法和装置
Xu et al. Infrared and visible image fusion using a deep unsupervised framework with perceptual loss
Spick et al. Naive mesh-to-mesh coloured model generation using 3D GANs
CN113096144B (zh) 基于神经网络的动态人体自由视点视频的生成方法和装置
CN118247414A (zh) 基于结合扩散纹理约束神经辐射场的小样本图像重建方法
CN111476764B (zh) 一种运动模糊ct图像三维重建的方法
CN116934948A (zh) 基于多视角视频的可重光照三维数字人构建方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221223

Address after: Room 3346, Floor 3, International Innovation Expo Center, No. 267, Kejiyuan Road, Baiyang Street, Qiantang District, Hangzhou, Zhejiang 310020

Applicant after: Hangzhou Xinchangyuan Technology Co.,Ltd.

Address before: 100084 Tsinghua Yuan, Beijing, Haidian District

Applicant before: TSINGHUA University