CN116883578B - 图像处理方法、装置及相关设备 - Google Patents

图像处理方法、装置及相关设备 Download PDF

Info

Publication number
CN116883578B
CN116883578B CN202311144609.1A CN202311144609A CN116883578B CN 116883578 B CN116883578 B CN 116883578B CN 202311144609 A CN202311144609 A CN 202311144609A CN 116883578 B CN116883578 B CN 116883578B
Authority
CN
China
Prior art keywords
shadow
image
sample
target
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311144609.1A
Other languages
English (en)
Other versions
CN116883578A (zh
Inventor
徐东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202311144609.1A priority Critical patent/CN116883578B/zh
Publication of CN116883578A publication Critical patent/CN116883578A/zh
Application granted granted Critical
Publication of CN116883578B publication Critical patent/CN116883578B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/60Shadow generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了图像处理方法、装置及相关设备,可应用于计算机技术领域。其中方法包括:获取携带渲染失败标识的业务动画模型;获取目标网络模型;由目标场景重转换网络对N个对象视图图像进行图像去阴影处理,得到预测场景结构特征图;在将虚拟光源由初始光源转移至目标光源时,由目标光效预估网络对N个对象视图图像进行光照预估处理,得到预测阴影特征图;由目标阴影重建网络对业务对象的阴影进行阴影重建,得到阴影重建图像;确定与业务对象相关联的N个阴影重建图像,基于N个阴影重建图像得到业务对象的对象阴影重建模型。采用本申请实施例,有助于提升对业务对象进行阴影重建的效率,并保证阴影重建的准确度。

Description

图像处理方法、装置及相关设备
技术领域
本申请涉及计算机技术领域,尤其涉及图像处理方法、装置及相关设备。
背景技术
目前,在一些虚拟空间中,可以对三维对象进行渲染得到对应的对象模型。其中,对三维对象进行渲染涉及到复杂的处理操作,比如涉及到对三维对象的纹理映射、光照计算等等复杂的计算操作,容易出现对三维对象所渲染得到的阴影效果较差的情况,进而需要对三维对象模型的阴影效果进行重新渲染。
发明人在实践过程中发现,用于进行阴影的重渲染的方案(如一些进行阴影重渲染的神经网络模型)是针对二维图像进行处理的,以对二维图像的阴影进行阴影重建,那么,当将这个用于对二维图像的阴影进行阴影重建的网络模型应用在三维场景下,对三维场景下的三维对象进行阴影渲染时,将会因为设备或者渲染先后等原因,导致对三维对象的阴影重渲染的效果较差,即会降低阴影重建的准确度。此外,一旦渲染得到的阴影效果较差(即渲染失败),则需要通过人工不断调试以找到渲染失败的原因,导致需要消耗较长的时间对三维对象进行重新渲染,降低了对三维对象进行渲染的渲染效率。
发明内容
本申请实施例提供了一种图像处理方法、装置及相关设备,能够通过目标网络模型对渲染失败的业务动画模型进行阴影重建,有助于提升对业务对象进行阴影重建的效率,并保证阴影重建的准确度。
本申请实施例一方面提供了一种图像处理方法,方法包括:
获取携带渲染失败标识的业务动画模型;业务动画模型是由业务空间中的业务对象在N个视点下的N个对象视图图像所确定的;N为大于1的正整数;一个对象视图图像是在一个视点下对处于初始光源下的业务对象进行图像采集所得到的;初始光源为业务空间中的虚拟光源;N个视点包括视点i;i为小于或等于N的正整数;
获取用于对业务动画模型中的业务对象的阴影进行阴影重建的目标网络模型;目标网络模型包括目标场景重转换网络、目标光效预估网络以及目标阴影重建网络;
将N个对象视图图像输入目标场景重转换网络,由目标场景重转换网络对N个对象视图图像进行图像去阴影处理,得到在视点i下的业务对象的预测场景结构特征图;
在将业务空间中的虚拟光源由初始光源转移至目标光源时,将目标光源和N个对象视图图像输入目标光效预估网络,由目标光效预估网络对N个对象视图图像进行光照预估处理,得到在视点i下处于目标光源下的业务对象的预测阴影特征图;
将预测场景结构特征图和预测阴影特征图输入至目标阴影重建网络,由目标阴影重建网络对业务对象的阴影进行阴影重建,得到在视点i下处于目标光源下的业务对象的阴影重建图像;
基于在视点i下处于目标光源下的业务对象的阴影重建图像,确定与业务对象相关联的N个阴影重建图像,基于N个阴影重建图像得到业务对象的对象阴影重建模型。
本申请实施例一方面提供了一种图像处理装置,装置包括:
动画模型获取模块,用于获取携带渲染失败标识的业务动画模型;业务动画模型是由业务空间中的业务对象在N个视点下的N个对象视图图像所确定的;N为大于1的正整数;一个对象视图图像是在一个视点下对处于初始光源下的业务对象进行图像采集所得到的;初始光源为业务空间中的虚拟光源;N个视点包括视点i;i为小于或等于N的正整数;
网络模型获取模块,用于获取用于对业务动画模型中的业务对象的阴影进行阴影重建的目标网络模型;目标网络模型包括目标场景重转换网络、目标光效预估网络以及目标阴影重建网络;
去阴影模块,用于将N个对象视图图像输入目标场景重转换网络,由目标场景重转换网络对N个对象视图图像进行图像去阴影处理,得到在视点i下的业务对象的预测场景结构特征图;
光效估计模块,用于在将业务空间中的虚拟光源由初始光源转移至目标光源时,将目标光源和N个对象视图图像输入目标光效预估网络,由目标光效预估网络对N个对象视图图像进行光照预估处理,得到在视点i下处于目标光源下的业务对象的预测阴影特征图;
阴影重建模块,用于将预测场景结构特征图和预测阴影特征图输入至目标阴影重建网络,由目标阴影重建网络对业务对象的阴影进行阴影重建,得到在视点i下处于目标光源下的业务对象的阴影重建图像;
模型重建模块,用于基于在视点i下处于目标光源下的业务对象的阴影重建图像,确定与业务对象相关联的N个阴影重建图像,基于N个阴影重建图像得到业务对象的对象阴影重建模型。
本申请实施例一方面提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,该计算机程序适于由处理器加载并执行,以使得具有该处理器的计算机设备执行本申请实施例提供的方法。
本申请实施例一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例提供的方法。
在本申请实施例中,能够获取到渲染失败的业务动画模型,进而将业务动画模型包括的N个视点下的N个对象视图图像(一个视点对应一个对象视图图像)输入至目标网络模型,以使得目标网络模型通过目标重转换网络对N个对象视图图像进行去阴影处理,得到视点i下的业务对象的预测场景结构特征图,通过目标光效预估网络对N个对象视图图像进行光效预估处理,得到在视点i下处于目标光源下的的业务对象的预测阴影特征图,进而基于预测场景结构特征图和预测阴影特征图进行阴影重建,得到在视点i下处于目标光源下的的业务对象的阴影重建图像,基于此得到每个视点所对应的阴影重建图像,由此得到业务模型的阴影重建模型。其中,本申请实施例通过目标网络模型自动化地对渲染失败的业务动画模型进行阴影重建,而不需要进行人工的不断调试,有助于提升对业务对象进行重渲染的效率。另外,在目标网络模型中,能够基于多个对象视图图像进行去阴影处理和光效预估处理,得到单个视点下的预测场景结构特征图和预测阴影特征图,相当于融合了多个视点下的对象视图图像的特征去确定单个视点下的预测场景结构特征图和预测阴影特征图,特征更加丰富,使得去阴影处理和光效预估处理的效果更好,进而保证阴影重建的准确度。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据处理系统的结构示意图;
图2是本申请实施例提供的一种图像处理方法的场景示意图;
图3是本申请实施例提供的一种图像处理方法的流程示意图;
图4是本申请实施例提供的一种视图图像采集的效果示意图;
图5是本申请实施例提供的一种目标网络模型的结构示意图;
图6是本申请实施例提供的一种目标场景重转换网络的效果示意图;
图7是本申请实施例提供的另一种目标场景重转换网络的效果示意图;
图8是本申请实施例提供的一种目标光效预估网络的效果示意图;
图9是本申请实施例提供的一种目标阴影重建网络的效果示意图;
图10是本申请实施例提供的一种确定阴影重建模型的处理过程;
图11是本申请实施例提供的另一种图像处理方法的流程示意图;
图12是本申请实施例提供的一种初始网络模型的训练示意图;
图13是本申请实施例提供的一种初始网络模型的训练场景示意图;
图14是本申请实施例提供的一种图像处理装置的结构示意图;
图15是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
首先,针对本申请实施例中涉及的名词进行简单介绍。
虚拟场景:应用程序在终端上运行时提供(或显示)的场景,该虚拟场景是指营造出的供虚拟对象进行活动的场景。虚拟场景可以是二维虚拟场景、2.5维虚拟场景或三维虚拟场景等。该虚拟场景可以是对真实世界的仿真场景,也可以是半仿真半虚构的场景,也可以是纯虚构的场景。虚拟场景中可以包括多种场景模型,例如,该多种场景模型可以为人物、动物、城堡、栏杆、楼梯、墙壁、树木、飞行器以及海洋等等。可以理解的是,该虚拟场景,也可以称为虚拟空间,或者业务空间,此处不做限制。
虚拟对象:是指在虚拟场景中的虚拟角色,虚拟场景中包括多个虚拟对象,每个虚拟对象在虚拟场景中具有自身的形状和体积,占据虚拟场景中的一部分空间。可选地,该虚拟对象可以是通过在客户端上的操作进行控制的角色,例如,交互对象(也可以称为业务对象、玩家等)可通过外设部件(如键盘、鼠标、手柄等)或点击触摸显示屏的方式操控虚拟对象;或者,该虚拟对象可以为设置在虚拟场景中的非玩家角色(Non-Player Character,NPC)。可选地,该虚拟场景中的虚拟对象的数量是预设设置的,或者是根据加入该虚拟场景的客户端的数量动态确定的,本申请实施例对此不作限定。可以理解的是,每个虚拟对象在虚拟场景中具有自身的形状和体积,占据虚拟场景中的一部分空间。示例性地,当虚拟场景为三维虚拟场景时,虚拟对象是基于动画骨骼技术创建的三维立体模型。
本申请实施例提供一种图像处理方法,能够获取到渲染失败的业务动画模型,进而将业务动画模型包括的N个视点下的N个对象视图图像(一个视点对应一个对象视图图像)输入至目标网络模型,以使得目标网络模型通过目标重转换网络对N个对象视图图像进行去阴影处理,得到视点i下的业务对象的预测场景结构特征图,通过目标光效预估网络(也称目标光效估计网络)对N个对象视图图像进行光效预估处理,得到在视点i下处于目标光源下的的业务对象的预测阴影特征图,进而基于预测场景结构特征图和预测阴影特征图进行阴影重建,得到在视点i下处于目标光源下的的业务对象的阴影重建图像,基于此得到每个视点所对应的阴影重建图像,由此得到业务模型的阴影重建模型。其中,本申请实施例通过目标网络模型自动化地对渲染失败的业务动画模型进行阴影重建,而不需要进行人工的不断调试,有助于提升对业务对象进行重渲染的效率。另外,在目标网络模型中,能够基于多个对象视图图像进行去阴影处理和光效预估处理,得到单个视点下的预测场景结构特征图和预测阴影特征图,相当于融合了多个视点下的对象视图图像的特征去确定单个视点下的预测场景结构特征图和预测阴影特征图,特征更加丰富,使得去阴影处理和光效预估处理的效果更好,进而保证阴影重建的准确度。
可以理解的是,通常来说,一个视图图像可以表示为,其中S表示视图图像在不同光照条件下不可改变的固有场景信息,如业务对象的轮廓,业务对象的材质纹理、背景的材质纹理等等。/>表示一个照明操作。如果需要使用其他光源Ψ重新绘制视图图像X,则需要去除原有的灯光效果,即表示为/>(),然后,使用目标光源的光照操作重新进行图像的重构,如可以表示为:/>。可以理解的是,通常来说,几何信息在单个视图图像的重新照明任务中不可用,这大大增加了构建照明操作的难度。而采用本申请实施例,是通过找到转移操作/>以将灯光效果(主要是阴影效果)从输入的视图图像的效果迁移为目标光源下的阴影效果,从而大大降低重新绘制阴影的难度,进而通过重新渲染过程P()组合场景结构和灯光效果,整个过程可以为:/>P(/>)。其中,/>即对应上述的目标场景重转换网络(也称目标重转换网络)的操作,/>则对应上述目标光效预估网络的操作,P()表示上述目标阴影重建网络的操作,/>表示最终重建得到的阴影重建图像。
请参见图1,图1是本申请实施例提供的一种数据处理系统的结构示意图。如图1所示,该数据处理系统中可以包括终端设备(如设备11a、设备12a、设备13a)和服务器200a。可以理解的是,图1中的终端设备和服务器的数目仅仅是示意性的,根据实现需要,可以具有任意数目的终端设备和服务器。终端设备(如设备11a、设备12a、设备13a)可以通过网络(即通过有线、无线通信链路或者光纤电缆等等连接方式提供通信链路的介质)与服务器进行通信,进而进行数据的传输。
可以理解的是,终端设备(如设备12a)上可以运行有客户端,该客户端可以是为用户(也称业务对象、操作对象)提供本地服务的程序。服务器200a可以为客户端所对应的服务器,该服务器200a中可以运行有用于向客户端提供资源、服务数据等服务的程序。可以理解的是,终端设备上运行的客户端也可以称为应用客户端、业务客户端等等。例如,该终端设备上运行的客户端可以为用于进行三维对象建模的客户端,进而用户可以在终端设备上进行三维对象的模型构建以及渲染等操作。
可以理解的是,终端设备(如设备12a)可以包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器、智能音箱、智能家电等,此处不做限制。该服务器200a可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器,此处不做限制。
可以理解的是,本申请实施例可以应用于计算机设备中,例如该计算机设备可以为上述图1中的终端设备,也可以为上述图1中的服务器,此处不做限定。例如,在本申请实施例应用于上述图1中的终端设备中时,用户可以直接基于终端设备执行上述图像处理方案,并在获取到阴影重建模型时,在终端设备显示该阴影重建模型,以便于用户可以查看阴影重建模型的阴影重建效果。又如,在本申请实施例应用于上述图1中的服务器中时,用户可以通过终端设备向服务器发送用于指示对渲染失败的业务动画模型进行阴影重建的请求,进而服务器在获取到该请求后,执行上述的图像处理方案以得到阴影重建模型,进而服务器可以将得到的阴影重建模型发送至用户对应的终端设备,终端设备显示接收到的阴影重建模型,以便于用户可以查看阴影重建模型的阴影重建效果。
请参见图2,图2是本申请实施例提供的一种图像处理方法的场景示意图。如图2所示,可以获取到携带渲染失败的业务动画模型的,其中业务动画模型包括基于N个视点201a对业务对象进行图像采集所得到的N个对象视图图像202a。其中,N个视点可以包括视点1、视点2、视点3、......视点n等视点,此处不对视点的数量进行限定,相应的,在每个视点下可以采集到相应的对象视图图像,例如可以包括视点1对应的对象视图图像1、视点2对应的对象视图图像2、视点3对应的对象视图图像3、.......、视点n对应的对象视图图像n等等。N个视点中包括视点i,此处以视点i为视点1为例,对确定业务对象在视点i下进行阴影重建所得到的阴影重建图像为例进行阐述。
进一步的,可以将N个对象视图图像202a输入至目标网络模型204a,其中,目标网络模型204a可以包括目标场景重转换网络241a,目标光效预估网络242a,以及目标阴影重建网络245a。具体的,可以将N个对象视图图像202a输入至目标场景重转换网络241a,得到在视点i(如视点1)下的业务对象的预测场景结构特征图(即图2中的243a所示),也可以理解为视点i下的对象视图图像(如对象视图图像1)所对应的预测场景结构特征图;将目标光源203a和N个对象视图图像202a输入至目标光效预估网络242a,得到在视点i(如视点1)下处于目标光源下的业务对象的预测阴影特征图(即图2中的244a所示),也可以理解为视点i下的对象视图图像(如对象视图图像1)所对应的预测阴影特征图。进而可以将预测场景结构特征图(即图2中的243a所示)和预测阴影特征图(即图2中的244a所示)输入至目标阴影重建网络245a进行阴影重建,则可以得到在视点i(如视点1)下处于目标光源下的业务对象的阴影重建图像205a,也可以理解为视点i下的对象视图图像(如对象视图图像1)所对应的阴影重建图像。进一步的,可以参照上述针对视点i的处理过程,确定出各个视点下处于目标光源下的业务对象的阴影重建图像,即得到N个阴影重建图像,进而可以基于该N个阴影重建图像得到业务对象所对应的阴影重建模型206a。
基于上述描述,可以理解的是,本申请实施例可以应用于游戏场景中,则该业务对象可以为游戏场景中的虚拟对象,业务动画模型可以为游戏场景中的虚拟对象的对象模型。游戏可以为传统游戏,也可以为云游戏,此处不做限定。
可以理解的是,本申请实施例还可以应用于虚拟社交场景中,则该业务对象可以为虚拟社交场景中的虚拟对象,业务动画模型可以为虚拟社交场景中的虚拟对象的对象模型。在虚拟社交场景中,对象可以虚拟形象的方式出现。这里的虚拟形象既可以是对象根据自身需要预先配置好的虚拟形象,例如,从形象资源库中选取相应的形象资源(例如虚拟穿戴物品、妆容、发型等)组合而成,也可以是基于对象的真实形象所重构的贴合该对象的虚拟形象,例如应用客户端上的渲染引擎根据采集到的真实对象数据(例如对象的脸型、发型、衣物等)所渲染得到的虚拟形象。其中,虚拟社交场景是指通过虚拟增强的物理现实,呈现收敛性和物理持久性特征的,基于未来互联网,具有链接感知和共享特征的3D(即ThreeDimensions的简称)虚拟空间,或者是交互性、沉浸式和协作性的世界,正如物理宇宙是空间上互连的一系列世界,虚拟社交场景也可以视为众多世界的集合。
可以理解的是,本申请实施例还可以应用于导航场景、虚拟现实(VirtualReality,缩写为VR)场景等等场景中,则该业务对象可以为导航场景、虚拟现实场景中的虚拟对象,业务动画模型可以为导航场景、虚拟现实场景中的虚拟对象的对象模型。
需要进行说明的是,本申请在收集用户的相关数据之前以及在收集用户的相关数据的过程中,都可以显示提示界面、弹窗或输出语音提示信息,该提示界面、弹窗或语音提示信息用于提示用户当前正在搜集其相关数据,使得本申请仅仅在获取到用户对该提示界面或者弹窗发出的确认操作后,才开始执行获取用户相关数据的相关步骤,否则(即未获取到用户对该提示界面或者弹窗发出的确认操作时),结束获取用户相关数据的相关步骤,即不获取用户的相关数据。换句话说,本申请所采集的所有用户数据都是在用户同意并授权的情况下进行采集的,且相关用户数据的收集、使用和处理需要遵守相关地区的相关法律法规和标准。
可以理解,上述场景仅是作为示例,并不构成对于本申请实施例提供的技术方案的应用场景的限定,本申请的技术方案还可应用于其他场景。例如,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
进一步地,请参见图3,图3是本申请实施例提供的一种图像处理方法的流程示意图。该方法可由上述的计算机设备来执行。该方法至少可以包括以下步骤S101-步骤S106。
S101、获取携带渲染失败标识的业务动画模型;业务动画模型是由业务空间中的业务对象在N个视点下的N个对象视图图像所确定的;N为大于1的正整数;一个对象视图图像是在一个视点下对处于初始光源下的业务对象进行图像采集所得到的;初始光源为业务空间中的虚拟光源;N个视点包括视点i;i为小于或等于N的正整数。
其中,该渲染失败标识可以为用于指示业务动画模型渲染失败的标识。渲染失败标识是业务引擎对业务动画模型进行动画渲染,且得到动画渲染失败结果时所确定的。其中,该业务引擎可以是一个已经编写好的可编辑的业务系统,也可以指一些交互式实时图像应用程序的核心组件。例如,在游戏场景中,该业务引擎可以为游戏引擎,游戏引擎可以用于为游戏开发者提供游戏开发所需的各种工具,从而降低了游戏开发的复杂度,让开发者更简便快速地制作游戏。业务引擎对业务动画模型进行动画渲染,也就是渲染出业务空间中的业务对象在多个视点(如N个)下的多个(如N个)对象视图图像,从而基于渲染出的多个对象视图图像组成业务动画模型。
可以理解的是,此处的业务空间可以为上述的虚拟空间,此处的业务对象可以为所在业务空间采集到的N个对象视图图像中包括的虚拟对象,此处不对业务对象的数量进行限定。可以理解的是,该业务对象可以为三维人物、三维动物、三维物体(如桌子、板凳、墙壁等)。
可以理解的是,动画渲染失败结果可以为用于指示业务动画模型渲染失败的结果。可以理解的是,动画渲染失败结果可以由开发者人为进行确定,或者,也可以为基于人工智能技术训练得到的渲染效果检测模型,对业务动画模型进行动画渲染的动画渲染结果进行识别得到的,此处不做限定。其中,一个业务动画模型被判定为渲染失败(即携带了渲染失败标识),可以是由于构成业务动画模型的对象视图图像中的业务对象的阴影效果未渲染出来,如完全缺失阴影效果,应该出现阴影的地方被渲染为光照区域(即出现阴影漏洞),不该出现阴影的地方出现阴影,出现局部变黑的情况等等,此处不做限定。
其中,可以理解的是,视点可以为获取业务对象的视图图像的摄像机(即虚拟摄像机)所在位置,该N个视点可以为能够拍摄到业务对象的视点。对象视图图像可以为对业务空间中的虚拟对象所采集到的视图图像。可以理解的是,采集到的N个对象视图图像中均可以包括相同的业务对象。可选的,确定N个视点可以包括:在某个高度(如可以称为视图采集高度)的水平面上,以该业务对象为中心、以指定距离为半径确定一个圆,进而可以在圆上确定N个视点,如每间隔30度确定一个视点,从而得到12个视点。
例如,请参见图4,图4是本申请实施例提供的一种视图图像采集的效果示意图。业务空间中存在一个游戏三维对象401a(即业务对象),进而可以在某个高度的水平面上,以该游戏三维对象为中心、以指定距离为半径确定一个圆,进而可以在圆上每间隔30度确定一个视点,从而得到12个视点,例如图4中的视点1、视点2。并且,可以设置业务空间中的光源为初始光源,进而可以基于12个视点中的每个视点采集得到处于初始光源下的业务对象的对象视图图像,由此得到12个对象视图图像,即N=12。
其中,该初始光源可以为在渲染得到该携带渲染失败标识的业务动画模型时业务空间中的虚拟光源。可以理解的是,业务空间中的虚拟灯光模拟了现实世界中的光照情况,它能够为业务空间提供不同方向、强度和颜色的光源,从而创造出动态的光影效果和真实感。虚拟灯光能够增强业务空间中的物体(如上述的业务对象)的形态和质感,使画面更加生动。虚拟光源可以包括聚光灯、环境光、点光源、面光源等等类型的光源。上述的初始光源可以为聚光灯、环境光、点光源、面光源等等类型的光源中的一种类型的光源,或者是多种类型的光源的组合,此处不做限定。其中,聚光灯是一种有方向性的灯光,可以通过调整其角度和范围来集中光线在特定区域,突出物体的细节和轮廓。环境光是一种均匀分布的灯光,模拟了自然光照射的效果,使整个场景都被照亮,增加整体的明暗对比和层次感。点光源是一个集中的光源,从一个点向四面八方发射光线,适用于制作强烈的明暗对比和明亮的光斑效果。面光源是一个具有面状形状的灯光,可以模拟大面积的光照效果,使整个画面光影均匀分布,营造出柔和而平衡的光影效果。
其中,视点i可以为N个视点中的任一视点。其中i小于或等于N,例如,N个视点中包括视点1、视点2、视点3、.......、视点N,则i可以为1、2、3、......、N,换言之,视点i可以为N个视点中的视点1、视点2、视点3、.......、视点N。可以理解的是,可以先确定视点i为视点1,进而确定出在视点i下处于目标光源下的业务对象的阴影重建图像,然后确定视点i为视点2,进而确定出在视点i下处于目标光源下的业务对象的阴影重建图像,以此类推,确定出每个视点所对应的阴影重建图像。
S102、获取用于对业务动画模型中的业务对象的阴影进行阴影重建的目标网络模型;目标网络模型包括目标场景重转换网络、目标光效预估网络以及目标阴影重建网络。
其中,该目标网络模型可以为用于对业务动画模型中的业务对象的阴影进行阴影重建的网络模型。可以理解的是,该目标网络模型可以由三部分构成,具体包括目标场景重转换网络,目标光效预估网络以及目标阴影重建网络。
可以理解的是,目标场景重转换网络可以用于对业务动画模型包括的对象视图图像进行去阴影处理(也称结构提取处理),从而可以得到去阴影的对象视图图像。该目标光效预估网络可以用于估计业务对象在目标光源下的阴影效果。目标阴影重建网络(也可以称为目标重渲染网络)可以用于对目标场景重转换网络的输出(即预测场景结构特征图)和目标光效预估网络的输出(即预测阴影特征图)进行阴影重建(也称重渲染),得到业务对象在某个视点(即视点i)下处于目标光源下的视图图像。
例如,请参见图5,图5是本申请实施例提供的一种目标网络模型的结构示意图。如图5所示,该目标网络模型500a可以包括目标场景重转换网络501,目标光效预估网络502和目标阴影重建网络503,其具体的处理过程参照后续描述。可以理解的是,目标场景重转换网络、目标光效预估网络以及目标阴影重建网络均可以为神经网络所构成的网络模型。由此可以基于业务动画模型包括的多个对象视图图像,快速重建得到业务对象在目标光源下的视图图像,进而重渲染得到业务对象在目标光源下的阴影重建模型,由此可以提升业务对象的阴影渲染效果。另外,对于在业务引擎中渲染失败的业务动画模型来说,现有技术通常是通过相关人员不断调试去查找渲染失败的原因以通过原有方式进行重渲染,整个过程效率较低且需要浪费较多人力资源、计算资源,采用本申请实施例可以将渲染失败的业务动画模型拆解为多个视图图像,通过目标网络模型对视图图像进行处理,相较来说,对图像处理的效率更高,从而有助于提升对业务动画模型的重渲染的效率。
S103、将N个对象视图图像输入目标场景重转换网络,由目标场景重转换网络对N个对象视图图像进行图像去阴影处理,得到在视点i下的业务对象的预测场景结构特征图。
其中,去阴影处理可以用于指示去除对象视图图像中的阴影部分,从而提取到对象视图图像的场景结构信息。其中,该预测场景结构特征图可以为基于目标重转换网络确定的用于表征业务对象的场景结构信息的特征图。在视点i下的业务对象的预测场景结构特征图,也可以理解为视点i所对应的对象视图图像(也称视点i下的对象视图图像)的预测场景结构特征图。
可以理解的是,该预测场景结构特征图可以是由一系列卷积核对输入图像进行卷积操作(即目标场景重转换网络)得到的结果。可选的,该预测场景结构特征图可以看作是输入图像的抽象表示,它可以表示为二维数组,其中每个元素代表一个特征值,即其中每个像素点表示一些特定的特征。可选的,该预测场景结构特征图也可以为对目标场景重转换网络生成的特征图进行可视化处理所得到的图像,其中每个像素点表示一些特定的特征,此处不做限定。
可以理解的是,在将N个对象视图图像输入目标场景重转换网络时,可以对N个对象视图图像中的视点i对应的对象视图图像添加视图标识,以便于后续可以得到视点i下的业务对象的预测场景结构特征图,即得到视点i所对应的对象视图图像的预测场景结构特征图。该视图标识用于标识所需确定预测场景结构特征图的对象视图图像。例如,若对视点1所对应的对象视图图像1添加视图标识,则在将N个对象视图图像输入至目标场景重转换网络后,可以得到在视点1下的业务对象的预测场景结构特征图,即得到对象视图图像1所对应的预测场景结构特征图,进而后续得到的是在视点1下处于目标光源下的业务对象的阴影重建图像,即得到对象视图图像1所对应的阴影重建图像。同理,若对视点2所对应的对象视图图像2添加视图标识,则在将N个对象视图图像输入至目标场景重转换网络后,可以得到在视点2下的业务对象的预测场景结构特征图,即得到对象视图图像2所对应的预测场景结构特征图,进而后续得到的是在视点2下处于目标光源下的业务对象的阴影重建图像,即得到对象视图图像2所对应的阴影重建图像。
可以理解的是,本申请实施例可以通过目标场景重转换网络对N个对象视图图像进行去阴影处理,得到某个视点下(即视点i下)的业务对象的预测场景结构特征图,换言之,通过对N个对象视图图像进行处理,得到某个视点下的对象视图图像所对应的预测场景结构特征图,由此可以在确定某个视点下的对象视图图像所对应的预测场景结构特征图时,融合多个视点下的对象视图图像的特征,提升对某个视点下的业务对象的结构特征的提取的准确性和可靠性,进而有助于提升对某个视点下的业务对象的阴影进行阴影重建得到的阴影重建图像的准确性,从而提升阴影重建图像的阴影渲染效果。
可以理解的是,该目标场景重转换网络中可以包括用于对对象视图图像进行去阴影处理(即结构提取)的结构提取组件,进而可以由目标场景重转换网络中的结构提取组件对N个对象视图图像进行图像去阴影处理,得到在视点i下的业务对象的预测场景结构特征图。具体的,该结构提取组件中可以包括P个第一滤波编码器,第一特征拼接组件和第一解码器,P为大于1的正整数。那么,由目标场景重转换网络中的结构提取组件对N个对象视图图像进行图像去阴影处理,得到在视点i下的业务对象的预测场景结构特征图,可以包括以下步骤:通过第一滤波编码器q对N个对象视图图像进行第一编码处理,得到第一滤波编码器q对应的N个第一编码特征;一个对象视图图像用于编码得到一个第一编码特征;基于第一滤波编码器q对应的N个第一编码特征,确定每个第一滤波编码器对应的N个第一编码特征;通过第一特征拼接组件对每个第一滤波编码器对应的N个第一编码特征进行第一特征拼接处理,得到第一拼接特征;通过第一解码器对第一拼接特征进行第一解码处理,得到在视点i下的业务对象的预测场景结构特征图。
其中,第一滤波编码器可以用于将对象视图图像转换到潜在空间(也称潜空间、特征空间等)以提取到有关对象视图图像中的结构的编码特征。该第一滤波编码器q为结构提取组件中的多个第一滤波编码器中的任一第一滤波编码器。第一编码特征可以为第一滤波编码器对对象视图图像进行编码得到的特征,对对象视图图像进行第一编码处理也就是将对象视图图像转换到潜在空间(也称潜空间、特征空间等)以提取到有关于对象视图图像中的结构的第一编码特征。
可以理解的是,第一特征拼接组件可以为用于将每个第一滤波编码器对应的N个第一编码特征拼接为一个拼接特征的组件。第一拼接特征可以为对每个第一滤波编码器对应的N个第一编码特征进行特征拼接处理得到的特征。第一特征拼接处理可以用于指示对每个第一滤波编码器对应的N个第一编码特征进行特征拼接处理。
可以理解的是,第一解码器可以用于对第一拼接特征进行解码处理,换言之,第一解码处理用于指示对第一拼接特征进行解码处理。进一步可以理解的是,此处的第一滤波编码器可以用于对N个对象视图图像进行下采样,第一解码器可以用于对第一拼接特征进行上采样以将第一拼接特征映射为与视点i对应的对象视图图像的维度一致的特征图。
可以理解的是,该第一滤波编码器q可以为P个第一滤波编码器中的任一第一滤波编码器。其中q小于或等于P,例如,P个第一滤波编码器中包括第一滤波编码器1、第一滤波编码器2、第一滤波编码器3、.......、第一滤波编码器P,则q可以为1、2、3、......、P,换言之,第一滤波编码器q可以为P个第一滤波编码器中的第一滤波编码器1、第一滤波编码器2、第一滤波编码器3、.......、第一滤波编码器P。可以理解的是,可以确定第一滤波编码器q为第一滤波编码器1,进而可以将N个对象视图图像输入至第一滤波编码器1,由第一滤波编码器1计算得到每个对象视图图像对应的第一编码特征(即N个第一编码特征);然后确定第一滤波编码器q为第一滤波编码器2,进而可以将N个对象视图图像输入至第一滤波编码器2,由第一滤波编码器2计算得到每个对象视图图像对应的第一编码特征(即N个第一编码特征),以此类推,可以确定出每个第一滤波编码器所对应的N个第一编码特征。
可以理解的是,上述的一个对象视图图像用于编码得到一个第一编码特征,是指一个第一滤波编码器可以将一个对象视图图像编码得到一个第一编码特征,那么一个第一滤波编码器可以对N个对象视图图像分别进行编码,得到N个第一编码特征,那么,P个第一滤波编码器分别对N个对象视图图像进行编码,则可以得到PN个第一编码特征,即可以得到每个第一滤波编码器对应的N个第一编码特征。
可以理解的是,P个第一滤波编码器可以用于实现卷积编码操作,相当于用于对N个对象视图图像进行编码处理,P个第一滤波编码器可以并行处理。P个第一滤波编码器中,每个滤波编码器的大小可以不同,即可以采用不同维度的卷积核对对象视图图像进行编码。例如,该第一滤波编码器的大小可以为33、5/>5、7/>7、9/>9等等,此处不做限定。由此可以通过不同维度的滤波编码器并行对对象视图图像进行编码,以此得到具有不同大小的感受野的编码特征,从而得到更多维度的有利于结构特征提取的特征。
可以理解的是,N对象视图图像中视点i对应的对象视图图像关联有视图标识,进而在进行特征拼接处理时,可以以具有视图标识的视点i所对应的对象视图图像为核心,对每个第一滤波编码器对应的N个第一编码特征进行特征拼接处理。例如,若视点1所对应的对象视图图像1具有视图标识时,则在进行特征拼接处理时,对象视图图像1所对应的第一编码特征在进行特征拼接处理时的权重可以更大。由此在提取视点下的业务对象的预测场景结构特征图时,融合多个对象视图图像的编码特征,进而可以提取到更准确的业务对象的场景结构特征图,提升网络的准确性。
可以理解的是,不同大小的第一滤波编码器对对象视图图像进行编码得到的编码特征的维度也不同,进而第一特征拼接组件可以对基于不同滤波编码器得到的第一编码特征进行特征维度的一致化处理,然后再将一致化处理后的第一编码特征进行特征拼接处理,得到第一拼接特征。
例如,请参见图6,图6是本申请实施例提供的一种目标场景重转换网络的效果示意图。如图6所示,该目标网络模型中可以包括目标场景重转换网络(该场景重转换网络例如可以为图2中的目标场景重转换网络241a),该目标场景重转换网络可以包括结构提取组件601a,该结构提取组件601a中可以包括P个第一滤波编码器611a,具体可以包括第一滤波编码器1、第一滤波编码器1、第一滤波编码器2、第一滤波编码器3、.......、第一滤波编码器p,此处不对第一滤波编码器的数量进行限定,其具体数量取决于实际需求。其中,业务动画模型可以包括N个对象视图图像602a,具体包括对象视图图像1、对象视图图像2、对象视图图像3、......、对象视图图像n,其中,N个对象视图图像的对象视图图像1(即图6中的621a所示)关联有视图标识,该视图标识用于指示目标场景重转换网络确定对象视图图像1所对应的视点下的业务对象的预测场景结构特征图,也就是确定对象视图图像1所对应的预测场景结构特征图。进而可以通过各个第一滤波编码器对每个对象视图图像进行特征编码,每个第一滤波编码器均可以得到N个第一编码特征。进而第一特征拼接组件612a可以对每个第一滤波编码器对应的N个第一编码特征进行第一特征拼接处理,得到第一拼接特征。然后第一解码器613a可以对第一拼接特征进行第一解码处理,得到对象视图图像1(即关联有视图标识的对象视图图像)对应的预测场景结构特征图603a。
可选的,在本申请实施例中,目标场景重转换网络中还可以包括残差组件,进而可以通过残差组件对整个目标网路模型的输出与视点i所对应的对象视图图像的残差进行处理,以修复在目标场景重转换网络中丢失的信息。
具体的,目标场景重转换网络中包括结构提取组件和残差组件;那么,将N个对象视图图像输入目标场景重转换网络,由目标场景重转换网络对N个对象视图图像进行图像去阴影处理,得到在视点i下的业务对象的预测场景结构特征图,可以包括以下步骤:通过结构提取组件对N个对象视图图像进行去阴影处理,得到在视点i下的业务对象的初始场景结构特征图;在获取到在视点i下处于目标光源下的业务对象的预测阴影特征图时,将初始场景结构特征图和预测阴影特征图输入至目标阴影重建网络,由目标阴影重建网络对业务对象的阴影进行阴影重建,得到在视点i下处于目标光源下的业务对象的初始重建图像;将初始重建图像输入至残差组件,得到视点i下的对象视图图像与初始重建图像之间的残差信息,并通过残差信息对初始场景结构特征图进行特征修复处理,得到在视点i下的业务对象的预测场景结构特征图。
其中,该初始场景结构特征图可以为基于目标场景重转换网络中的结构提取组件提取到的场景结构特征图,其具体的获取过程可以参照上述在目标场景重转换网络中仅包括结构提取组件时获取预测场景结构特征图的相关描述。
可以理解的是,该预测阴影特征图可以为基于目标光效估计网络所预测得到的特征图,其具体处理方法可以参照后续步骤S104的相关描述,此处不做赘述。
可以理解的是,该初始重建图像可以为基于预测阴影特征图和初始场景结构特征图进行阴影重建得到的重建图像,其具体处理方法可以参照后续步骤S105的相关描述,此处不做赘述。
可以理解的是,通过目标网络处理得到初始重建图像后,可以通过初始重建图像(即上述的目标网络模型的输出)与视点i所对应的对象视图图像输入至残差组件。可以理解的是,残差组件可以用于对初始重建图像(即上述的目标网络模型的输出)与视点i所对应的对象视图图像之间的残差进行编解码处理,从而可以得到残差信息。进而可以通过残差信息对初始场景结构特征图进行特征修复处理,得到最终的预测场景结构特征图。其中,通过残差信息对初始场景结构特征图进行特征修复处理,可以用于指示通过残差信息对初始场景结构特征图中的每个像素点所对应的特征值进行调整,从而使得最终得到的预测场景结构特征图的准确性更高,进而提升阴影重建的准确性。
其中,具体的,结构提取组件包括P个第一滤波编码器、第一特征拼接组件和第一解码器;P为大于1的正整数;P个第一滤波编码器中的每个第一滤波编码器的大小不同;P个第一滤波编码器中包括第一滤波编码器q;q为小于或等于P的正整数;那么,通过结构提取组件对N个对象视图图像进行去阴影处理,得到在视点i下的业务对象的初始场景结构特征图,可以包括以下步骤:通过第一滤波编码器q对N个对象视图图像进行第一编码处理,得到第一滤波编码器q对应的N个第一编码特征;一个对象视图图像用于编码得到一个第一编码特征;基于第一滤波编码器q对应的N个第一编码特征,确定每个第一滤波编码器对应的N个第一编码特征;通过第一特征拼接组件对每个第一滤波编码器对应的N个第一编码特征进行第一特征拼接处理,得到第一拼接特征;通过第一解码器对第一拼接特征进行第一解码处理,得到在视点i下的业务对象的初始场景结构特征图。
其中,此步骤可以参照上述在目标场景重转换网络中仅包括结构提取组件时获取预测场景结构特征图的相关描述,此处不做赘述。
例如,请参见图7,图7是本申请实施例提供的另一种目标场景重转换网络的效果示意图。如图7所示,该目标场景重转换网络701a中包括结构提取组件711a和残差组件712a。业务动画模型包括N个对象视图图像702a,其中对象视图图像1(即图7中的721a所示)关联有视图标识。结构提取组件711a可以对N个对象视图图像进行处理,得到初始结构特征图(即图7中的713a所示),该初始结构特征图的处理方式可以参照上述图6中通过结构提取组件601a确定预测场景结构特征图的相关描述,此处不做赘述。并且,目标光效预估网络703a可以用于对N个视图图像进行光效预估处理,得到预测阴影特征图(即图7中的704a所示)。然后目标阴影重建网络705a可以基于初始结构特征图(即图7中的713a所示)和预测阴影特征图(即图7中的704a所示)进行阴影重建处理,得到初始重建图像706a。进而,可以将初始重建图像706a和对象视图图像1(即图7中的721a所示)输入至目标场景重转换网络701a中的残差组件712a,残差组件712a可以计算初始重建图像706a和对象视图图像1(即图7中的721a所示)之间的误差,并对该误差进行编解码处理,得到残差信息714a。然后目标场景重转换网络可以通过残差信息对初始结构特征图进行特征修复处理,由此得到预测场景结构特征图(即图7中的707a所示)。
S104、在将业务空间中的虚拟光源由初始光源转移至目标光源时,将目标光源和N个对象视图图像输入目标光效预估网络,由目标光效预估网络对N个对象视图图像进行光照预估处理,得到在视点i下处于目标光源下的业务对象的预测阴影特征图。
其中,可以理解的是,该目标光源可以为进行阴影重建时所需的光源。该目标光源可以为上述的聚光灯、环境光、点光源、面光源等等类型的光源中的一种类型的光源,或者是多种类型的光源的组合,此处不做限定。可以理解的是,该目标光源可以为将初始光源的位置、色温等信息进行调整后的光源,该目标光源也可以为在初始光源的基础上增加了其他光源后所确定的,由此可以通过调整光源来通过目标网络模型对业务对象进行重新渲染,以得到阴影效果渲染更好的模型。可选的,该目标光源也就可以为初始光源,但是由于业务动画模型渲染失败,即对象视图图像的渲染效果不好,则可以基于目标网络模型提取对象视图图像的场景结构特征以及重新进行光效估计,进而可以重渲染得到对象视图图像,由此可以将对三维对象模型的渲染过程转换为对对象视图图像的处理,从而快速重新渲染得到阴影重建模型。
其中,该预测阴影特征图可以为基于目标光效预估网络所确定的用于表征处于目标光源下的业务对象的阴影效果的特征图,该预测阴影特征图中的阴影表现为目标光源所造成的阴影。在视点i下处于目标光源下的业务对象的预测阴影特征图,也可以理解为视点i所对应的对象视图图像对应的预测阴影特征图,即将视点i所对应的对象视图图中的光源转换为目标光源所得到的预测阴影特征图。
可以理解的是,在将N个对象视图图像输入目标光效预估网络时,可以对N个对象视图图像中的视点i对应的对象视图图像添加视图标识,以便于后续可以得到在视点i下处于目标光源下的业务对象的预测阴影特征图,即得到视点i所对应的对象视图图像的预测阴影特征图。该视图标识用于标识所需确定预测阴影特征图的对象视图图像。例如,若对视点1所对应的对象视图图像1添加视图标识,则在将N个对象视图图像输入至目标光效预估网络后,可以得到在视点1下处于目标光源下的业务对象的预测阴影特征图,即得到对象视图图像1所对应的预测阴影特征图,进而后续得到的是在视点1下处于目标光源下的业务对象的阴影重建图像,即得到对象视图图像1所对应的阴影重建图像。同理,若对视点2所对应的对象视图图像2添加视图标识,则在将N个对象视图图像输入至目标光效预估网络后,可以得到在视点2下处于目标光源下的业务对象的预测阴影特征图,即得到对象视图图像2所对应的预测阴影特征图,进而后续得到的是在视点2下处于目标光源下的业务对象的阴影重建图像,即得到对象视图图像2所对应的阴影重建图像。
可以理解的是,本申请实施例可以通过目标光效预估网络对N个对象视图图像进行光效预估处理,得到某个视点下(即视点i下)处于目标光源下的业务对象的预测阴影特征图,换言之,通过对N个对象视图图像进行处理,得到某个视点下的对象视图图像所对应的预测阴影特征图,由此可以在确定某个视点下的对象视图图像所对应的预测阴影特征图时,融合多个视点下的对象视图图像的特征,提升对某个视点下的业务对象将初始光源转换至目标光源时的光效预估的准确性和可靠性,进而有助于提升对某个视点下的业务对象的阴影进行阴影重建得到的阴影重建图像的准确性,从而提升阴影重建图像的阴影渲染效果。可以理解的是,目标光效预估网络主要是用于对对象视图图像中的软阴影进行预估,进而可以后续可以基于目标光效预估网络输出的预测阴影特征图得到软阴影效果更好的阴影重建图像,将软阴影与硬阴影更好地进行融合。
具体的,目标光效预估网络包括K个第二滤波编码器、第二特征拼接组件和第二解码器;K为大于1的正整数;K个第二滤波编码器中的每个第二滤波编码器的大小不同;K个第二滤波编码器中包括第一滤波编码器w;w为小于或等于K的正整数;那么,将目标光源和N个对象视图图像输入目标光效预估网络,由目标光效预估网络对N个对象视图图像进行光照预估处理,得到在视点i下处于目标光源下的业务对象的预测阴影特征图,可以包括以下步骤:通过第二滤波编码器w对N个对象视图图像进行第二编码处理,得到第二滤波编码器w对应的N个第二编码特征;一个对象视图图像用于编码得到一个第二编码特征;基于第二滤波编码器w对应的N个第二编码特征,确定每个第二滤波编码器对应的N个第二编码特征;在获取到目标光源的光源信息时,通过第二特征拼接组件对目标光源的光源信息和每个第二滤波编码器对应的N个第二编码特征进行第二特征拼接处理,得到第二拼接特征;通过第二解码器对第二拼接特征进行第二解码处理,得到在视点i下处于目标光源下的业务对象的预测阴影特征图。
其中,第二滤波编码器可以为用于将对象视图图像转换到潜在空间(也称潜空间、特征空间等)以得到第二编码特征,该第二编码特征是用于进行光效预估的特征。该第二滤波编码器w为目标光效预估网络中的多个第二滤波编码器中的任一第二滤波编码器。第二编码特征可以为第二滤波编码器对对象视图图像进行编码得到的特征,对对象视图图像进行第二编码处理也就是将对象视图图像转换到潜在空间(也称潜空间、特征空间等)以得到所得到的第二编码特征。
可以理解的是,第二特征拼接组件可以为用于对每个第二滤波编码器对应的N个第二编码特征拼接为一个拼接特征的组件。第二拼接特征可以为对每个第二滤波编码器对应的N个第二编码特征进行特征拼接处理得到的特征。第二特征拼接处理可以用于指示对每个第二滤波编码器对应的N个第二编码特征进行特征拼接处理。
可以理解的是,第二解码器可以用于对第二拼接特征进行解码处理,换言之,第二解码处理用于指示对第二拼接特征进行解码处理。进一步可以理解的是,此处的第二滤波编码器可以用于对N个对象视图图像进行下采样,第二解码器可以用于对第二拼接特征进行上采样以将第二拼接特征映射为与视点i对应的对象视图图像的维度一致的特征图。
可以理解的是,该第二滤波编码器w可以为K个第二滤波编码器中的任一滤波编码器。其中w小于或等于K,例如,K个第二滤波编码器中包括第二滤波编码器1、第二滤波编码器2、第二滤波编码器3、.......、第二滤波编码器K,则w可以为1、2、3、......、K,换言之,第二滤波编码器w可以为K个第二滤波编码器中的第二滤波编码器1、第二滤波编码器2、第二滤波编码器3、.......、第二滤波编码器K。可以理解的是,可以先确定第二滤波编码器w为第二滤波编码器1,进而可以将N个对象视图图像输入至第二滤波编码器1,由第二滤波编码器1计算得到每个对象视图图像对应的第二编码特征(即N个第二编码特征);然后确定第二滤波编码器w为第二滤波编码器2,进而可以将N个对象视图图像输入至第二滤波编码器2,由第二滤波编码器2计算得到每个对象视图图像对应的第二编码特征(即N个第二编码特征),以此类推,可以确定出每个第二滤波编码器所对应的N个第二编码特征。
可以理解的是,上述的一个对象视图图像用于编码得到一个第二编码特征,是指一个第二滤波编码器可以将一个对象视图图像编码得到一个第二编码特征,那么一个第二滤波编码器可以对N个对象视图图像分别进行编码,得到N个第二编码特征,那么,K个第二滤波编码器分别对N个对象视图图像进行编码,则可以得到KN个第二编码特征,即可以得到每个第二滤波编码器对应的N个第二编码特征。/>
可以理解的是,K个第二滤波编码器可以用于实现卷积编码操作,相当于用于对N个对象视图图像进行编码处理,K个第二滤波编码器可以并行处理。K个第二滤波编码器中,每个滤波编码器的大小可以不同,即可以采用不同维度的卷积核对对象视图图像进行编码。例如,该第二滤波编码器的大小可以为33、5/>5、7/>7、9/>9等等,此处不做限定。由此可以通过不同维度的滤波编码器并行对对象视图图像进行编码,以此得到具有不同大小的感受野的编码特征,从而得到更多维度的有利于光效预估的特征。
可以理解的是,N对象视图图像中视点i对应的对象视图图像关联有视图标识,进而在进行特征拼接处理时,可以以具有视图标识的视点i所对应的对象视图图像为核心,对每个第二滤波编码器对应的N个第二编码特征进行特征拼接处理。例如,若视点1所对应的对象视图图像1具有视图标识时,则在进行特征拼接处理时,对象视图图像1所对应的第二编码特征在进行特征拼接处理时的权重可以更大。由此在提取视点下的业务对象的预测阴影特征图时,融合多个对象视图图像的编码特征,进而可以提取到更准确的业务对象的阴影相关的特征,提升网络进行阴影重建的准确性。
进一步可以理解的是,可以将目标光源与每个第二滤波编码器对应的N个第二编码特征输入至第二特征拼接组件,进而第二特征拼接组件可以利用目标光源进行光照计算,并将目标光源的光照计算结果与每个第二滤波编码器对应的N个第二编码特征进行融合(每个第二编码特征均进行融合),并对融合了光照计算结果的各个第二滤波编码器对应的N个编码特征进行特征拼接处理,得到第二拼接特征。可选的,第二特征拼接组件可以通过各个第二滤波编码器对应的N个编码特征进行特征拼接处理,并利用目标光源进行光照计算,将目标光源的光照计算结果与各个第二滤波编码器对应的N个编码特征进行特征拼接处理得到的拼接特征进行融合,得到第二拼接特征。
可以理解的是,不同大小的第二滤波编码器对对象视图图像进行编码得到的编码特征的维度也不同,进而第二特征拼接组件可以对基于不同第二滤波编码器得到的第二编码特征进行特征维度的一致化处理,然后再将一致化处理后的第二编码特征进行特征拼接处理,得到第二拼接特征。
例如,请参见图8,图8是本申请实施例提供的一种目标光效预估网络的效果示意图。如图8所示,目标网络模型中可以包括目标光效预估网络801a(该目标光效预估网络可以为图2中的242a所示的目标光效预估网络),该目标光效预估网络801a可以包括K个第二滤波编码器(即811a所示),具体可以包括第二滤波编码器1、第二滤波编码器1、第二滤波编码器2、第二滤波编码器3、.......、第二滤波编码器p,此处不对第二滤波编码器的数量进行限定,其具体取决于实际需求。该目标光效预估网络801a中还可以包括第二特征拼接组件812a和第二解码器813a。其中,业务动画模型可以包括N个对象视图图像(即图8中的802a所示),具体包括对象视图图像1、对象视图图像2、对象视图图像3、......、对象视图图像n,其中,N个对象视图图像的对象视图图像1(即图8中的821a所示)关联有视图标识,该视图标识用于指示目标光效预估网络确定对象视图图像1所对应的视点下的业务对象的预测阴影特征图,也就是确定对象视图图像1所对应的预测阴影特征图。进而可以通过各个第二滤波编码器对每个对象视图图像进行特征编码,每个第二滤波编码器均可以得到N个第二编码特征。进而第二特征拼接组件812a可以对目标光源803a以及每个第二滤波编码器对应的N个第二编码特征进行第二特征拼接处理,得到第二拼接特征。然后第二解码器813a可以对第二拼接特征进行第二解码处理,得到对象视图图像1(即关联有视图标识的对象视图图像)对应的预测阴影特征图804a。
S105、将预测场景结构特征图和预测阴影特征图输入至目标阴影重建网络,由目标阴影重建网络对业务对象的阴影进行阴影重建,得到在视点i下处于目标光源下的业务对象的阴影重建图像。
其中,该阴影重建图像可以为目标阴影重建网络对预测场景结构特征图和预测阴影特征图进行处理得到的图像。该阴影重建图像可以理解为通过目标网络模型对视点i所对应的对象视图图像中的业务对象的阴影进行阴影重建的图像。在视点i下处于目标光源下的业务对象的阴影重建图像,也可以理解为视点i所对应的对象视图图像对应的阴影重建图像。
具体的,目标阴影重建网络包括F个滤波器、通道校准组件;F为大于1的正整数;F个滤波器中的每个滤波器的大小不同;F个滤波器中包括滤波器e;e为小于或等于F的正整数;那么,将预测场景结构特征图和预测阴影特征图输入至目标阴影重建网络,由目标阴影重建网络对业务对象的阴影进行阴影重建,得到在视点i下处于目标光源下的业务对象的阴影重建图像,可以包括以下步骤:通过滤波器e对预测场景结构特征图和预测阴影特征图进行滤波处理,得到滤波器e对应的第一滤波特征和第二滤波特征;第一滤波特征为预测场景结构特征图对应的滤波特征;第二滤波特征为预测阴影特征图对应的滤波特征;基于滤波器e对应的第一滤波特征和第二滤波特征,确定每个滤波器对应的第一滤波特征和第二滤波特征;通过通道校准组件对每个滤波器对应的第一滤波特征和第二滤波特征进行特征融合处理,得到阴影重建特征,基于阴影重建特征得到阴影重建图像。
其中,滤波器可以用于将对象视图图像转换到潜在空间(也称潜空间、特征空间等)以提取到用于进行阴影重建的编码特征。该滤波器e为目标阴影重建网络多个滤波器中的任一滤波器。滤波特征可以为滤波器输入图像(如预测场景结构特征图和预测阴影特征图)进行滤波处理所得到的特征。其中,第一滤波特征为预测场景结构特征图对应的滤波特征,第二滤波特征为预测阴影特征图对应的滤波特征。
可以理解的是,该滤波器e可以为F个滤波器中的任一滤波器。其中e小于或等于F,例如,F个滤波器中包括滤波器1、滤波器2、滤波器3、.......、滤波器N,则e可以为1、2、3、......、F,换言之,滤波器e可以为F个滤波器中的滤波器1、滤波器2、滤波器3、.......、滤波器F。可以理解的是,可以先确定滤波器e为滤波器1,进而可以将预测场景结构特征图和预测阴影特征图输入至滤波器1,由滤波器1计算得到预测场景结构特征图对应的第一滤波特征和预测阴影特征图对应的第二滤波特征;然后确定滤波器e为滤波器2,进而可以将N个对象视图图像输入至滤波器2,由滤波器2计算得到预测场景结构特征图对应的第一滤波特征和预测阴影特征图对应的第二滤波特征;以此类推,可以确定出每个滤波器所对应的第一滤波特征和第二滤波特征。可以理解的是,一个滤波器可以对预测场景结构特征图和预测阴影特征图分别进行滤波处理,即一个滤波器可以用于处理得到2个滤波特征,那么,F个滤波器分别对N个对象视图图像进行编码,则可以得到F2个滤波特征,即可以得到每个滤波器对应的第一滤波特征和第二滤波特征。
可以理解的是,F个滤波器可以并行处理,每个滤波编码器的大小可以不同,即可以采用不同维度的卷积核对输入图像进行编码。例如,该滤波器的大小可以为33、5/>5、7/>7、9/>9等等,此处不做限定。由此可以通过不同维度的滤波编码器并行对对象视图图像进行滤波处理,以此得到具有不同大小的感受野的编码特征,从而得到更多维度的有利于结构特征提取的特征。
其中,通道校准组件可以用于将各个滤波器所提取到的滤波特征进行特征融合处理。阴影重建特征可以为基于各个滤波器所提取到的滤波特征进行特征融合处理所得到的用于确定阴影重建图像的特征。可以理解的是,特征融合处理用于指示将每个滤波器对应的第一滤波特征和第二滤波特征融合为一个阴影重建特征。可以理解的是,该通道校准组件可以用于将具有不同空间感知的特征(即多个滤波特征)合并为单个特征图。其中,不同特征图对于重新渲染过程可能具有不同的重要性,因此,该通道校准组件可以确定不同通道的特征图的权重,从而确定出用于进行阴影重建的关键特征的阴影重建特征。
其中,基于阴影重建特征得到阴影重建图像可以通过卷积层(如卷积层中的卷积核大小为7×7、填充为3、步幅为1和tanh激活函数)绘制从特征空间到图像空间的估计,以得到阴影重建图像。
例如,请参见图9,图9是本申请实施例提供的一种目标阴影重建网络的效果示意图。如图9所示,该目标网络模型中可以包括目标阴影重建网络901a(该目标阴影重建网络可以为图2中的245a所示的目标阴影重建网络),该目标阴影重建网络901a可以包括F个滤波器(即图9中的911a所示),具体可以包括滤波器1、滤波器1、滤波器2、滤波器3、.......、滤波器f,此处不对滤波器的数量进行限定,其具体取决于实际需求。该目标阴影重建网络901a中还可以包括通道校准组件912a。各个滤波器对预测场景结构特征图902a和预测阴影特征图903a进行滤波处理,每个滤波器均可以得到两个滤波特征,即预测场景结构特征图902a对应的第一滤波特征和预测阴影特征图903a对应的第二滤波特征。进而通道校准组件912a可以对每个滤波器对应的第一滤波特征和第二滤波特征进行特征融合处理,得到阴影重建特征,然后就可以基于阴影重建特征得到阴影重建图像904a。
S106、基于在视点i下处于目标光源下的业务对象的阴影重建图像,确定与业务对象相关联的N个阴影重建图像,基于N个阴影重建图像得到业务对象的对象阴影重建模型。
其中,可以理解的是,基于上述步骤S103-S105可以得到在视点i下处于目标光源下的业务对象的对象阴影重建图像(也称阴影重建模型),进而将每个视点均作为视点i,并重复执行上述步骤S103-S105,则可以得到每个视点下处于目标光源下的业务对象的阴影重建图像,即得到N个阴影重建图像,一个视点对应一个阴影重建图像,也就是一个视点下的对象视图图像对应一个阴影重建图像。
可以理解的是,阴影重建模型可以为业务对象在目标光源下渲染得到的对象模型。可以理解的是,N个对象视图图像中每个对象视图图像关联有相应的空间属性信息,该空间属性信息用于指示各个对象视图图像确定出业务动画模型的信息,例如空间属性信息可以指示各个对象视图图像按照何种空间排列顺序组成业务动画模型。那么,在得到N个阴影重建图像后,可以基于N个阴影重建图像所对应的对象视图图像关联的空间属性信息,将N个阴影重建图像构建得到对象阴影重建模型。
例如,请参见图10,图10是本申请实施例提供的一种确定阴影重建模型的处理过程。如图10所示,获取到业务动画模型中的N个对象视图图像,其中对对象视图图像1(即图10中的1011a所示)确定视图标识,进而将N个对象视图图像输入至目标网络模型1001a,则可以得到阴影重建图像1(即图10中的1002a所示),该阴影重建图像1为对象视图图像1所对应的阴影重建图像。同理,对对象视图图像2(即图10中的1012a所示)确定视图标识,进而将N个对象视图图像输入至目标网络模型1001a,则可以得到阴影重建图像2(即图10中的1003a所示),该阴影重建图像2为对象视图图像2所对应的阴影重建图像。对对象视图图像n(即图10中的1013a所示)确定视图标识,进而将N个对象视图图像输入至目标网络模型1001a,则可以得到阴影重建图像b(即图10中的1004a所示),该阴影重建图像n为对象视图图像n所对应的阴影重建图像。以此类推,为每个对象视图图像确定视图标识,以确定出每个对象视图图像对应的阴影重建图像,换言之,确定出每个视点下的业务对象处于目标光源下的阴影重建图像。进而可以基于各个视点所对应的阴影重建图像构建阴影重建模型1005a,如可以基于如图10所示的阴影重建图像1、阴影重建图像2、....、阴影重建图像n等阴影重建图像构建阴影重建模型。
可以理解的是,在确定了业务对象的阴影重建模型后,可以输出阴影重建模型,以使用户所对应的终端设备显示该阴影重建模型,以便于用户查看进行阴影重建得到的阴影重建模型。可选的,还可以在终端设备的同一页面上同时显示原本的业务动画模型以及阴影重建模型,以便于用户可以对比两者的阴影渲染效果,对对象模型的阴影效果的检测和预览提供了很大的帮助。
请参见图11,图11是本申请实施例提供的另一种图像处理方法的流程示意图。该方法可由上述的计算机设备来执行。该方法至少可以包括以下步骤S201-步骤S211。
S201、获取待训练的样本动画模型;样本动画模型是由业务空间中的样本对象在M个视点下的M个样本视图图像所确定的;M为大于1的正整数;一个样本视图图像是在一个视点下对处于第一样本光源下的样本对象进行图像采集所得到的;第一样本光源为业务空间中的虚拟光源;M个视点包括目标样本视点。
其中,该样本动画模型可以为用于训练得到目标网络模型的样本数据。可以理解的是,在通过目标网络模型对业务对象的阴影进行阴影重建之前,需要对先通过大量样本数据对初始网络模型进行迭代训练,以此得到目标网络模型。样本动画模型为基于M个样本视图图像所确定的,每个样本视图图像均可以包括相同的样本对象,换言之,每个样本视图图像均是对相同的样本对象进行图像采集得到的。样本对象为用于确定样本动画模型的虚拟对象。采集M个样本视图图像的方法可以参照上述采集N个对象视图图像的相关描述,此处不做赘述。可以理解的是,M的取值与N的取值可以相同,也可以不同,此处不做限定。
其中,该样本动画模型可以为业务引擎中的一些渲染质量较好的对象模型,进而可以质量较好的对象模型对初始网络模型进行训练,使得训练得到的目标网络的渲染效果也能够更好。可以理解的是,第一样本光源可以为业务空间中的虚拟光源。
可以理解的是,目标样本视点可以为M个视点中的任一视点。该目标样本视点所对应的样本视图图像可以称为目标样本视图图像。
S202、获取用于对样本动画模型中的样本对象的阴影进行阴影重建的初始网络模型。
其中,该初始网络模型可以为未经过训练的网络模型,或者可以为经过一些训练但未完成训练的网络模型。可以理解的是,该初始网络模型包括初始场景重转换网络、初始光效预估网络和初始阴影重建网络,该初始网络模型的模型结构与目标网络模型的模型结构相同,但其中的具体网络参数可以不同。具体的,目标网络模型中的目标场景重转换网络可以为初始场景重转换网络训练后所得到的,目标网络模型中的目标光效预估网络可以为初始光效预估网络训练后所得到的,目标网络模型中的目标阴影重建网络可以为初始阴影重建网络训练后所得到的。换言之,初始场景重转换网络训练后得到目标网络模型中的目标场景重转换网络,初始光效预估网络训练后得到目标网络模型中的目标光效预估网络,初始阴影重建网络训练后得到目标网络模型中的目标阴影重建网络。
S203、将M个样本视图图像输入至初始网络模型,由初始网络模型确定在目标样本视点下处于第二样本光源下的样本对象的样本阴影重建图像;第二样本光源为不同于第一样本光源的虚拟光源。
其中,可以理解的是,该样本阴影重建图像可以为基于初始网络模型对样本对象的阴影进行重建得到的图像。可以理解的是,该M个样本视图图像中的目标样本视点所对应的目标样本视图图像关联有视图标识,进而得到样本阴影重建图像为在目标样本视点下处于第二样本光源下的样本对象的视图图像,换言之,该样本阴影重建图像为目标样本视图图像所对应的样本阴影重建图像。
可以理解的是,为了确定在目标样本视点下处于第二样本光源下的样本对象的样本阴影重建图像,则需要将第二样本光源的光源信息输入至初始网络模型中,进而由初始网络模型对M个样本视图图像和第二样本光源进行处理的,得到在目标样本视点下处于第二样本光源下的样本对象的样本阴影重建图像。第一样本光源和第二样本光源均可以为业务空间中的虚拟光源,针对虚拟光源的相关描述可以参照上述描述,此处不做赘述。
其中,可以理解的是,初始网络模型对M个样本视图图像的处理过程可以参照上述目标网络模型对N个对象视图图像的相关描述,此处不做赘述。
具体的,初始网络模型包括初始场景重转换网络、初始光效预估网络以及初始阴影重建网络;那么,将M个样本视图图像输入至初始网络模型,由初始网络模型确定在目标样本视点下处于第二样本光源下的样本对象的样本阴影重建图像,可以包括以下步骤:将M个样本视图图像输入初始场景重转换网络,由初始场景重转换网络对M个样本视图图像进行图像去阴影处理,得到在目标样本视点下的样本对象的样本场景结构特征图;在将业务空间中的虚拟光源由第一样本光源转移至第二样本光源时,将第二样本光源和M个样本视图图像输入初始光效预估网络,由初始光效预估网络对M个样本视图图像进行光照预估处理,得到在目标样本视点下处于第二样本光源下的样本对象的样本阴影特征图;将样本场景结构特征图和样本阴影特征图输入至初始阴影重建网络,由初始阴影重建网络对样本对象的阴影进行阴影重建,得到在目标样本视点下处于第二样本光源下的样本对象的样本阴影重建图像。
其中,该样本场景结构特征图可以为基于初始重转换网络确定的用于表征目标样本视点下的样本对象的场景结构信息的特征图。由初始场景重转换网络对M个样本视图图像进行图像去阴影处理,得到在目标样本视点下的样本对象的样本场景结构特征图的方法,可以参照上述由目标场景重转换网络对N个对象视图图像进行图像去阴影处理,得到在视点i下的业务对象的预测场景结构特征图的相关描述,此处不做赘述。
其中,该样本阴影特征图可以为基于初始光效预估网络所确定在目标样本视点下处于第二样本光源下的样本对象的图像,该样本阴影特征图中的阴影表现为第二样本光源所造成的阴影。可以理解的是,由初始光效预估网络对M个样本视图图像进行光照预估处理,得到在目标样本视点下处于第二样本光源下的样本对象的样本阴影特征图的方法,可以参照上述由目标光效预估网络对N个对象视图图像进行光照预估处理,得到在视点i下处于目标光源下的业务对象的预测阴影特征图的相关描述,此处不做赘述。
可以理解的是,在对初始网络模型的训练过程中,可以确定一些损失值(也称参考信息)对初始网络模型的模型参数进行调整,从而通过不断对初始网络模型的模型参数进行调整(即进行迭代训练),将迭代训练后的初始网络模型确定为目标网络模型。
S204、基于业务引擎获取样本对象在目标样本视点下处于第二样本光源下的参考阴影图像。
其中,该参考阴影图像可以为基于业务引擎确定在目标样本视点下处于第二样本光源下的样本对象的图像。可以理解的是,该参考阴影图像可以为直接基于业务引擎渲染得到的图像,而上述样本阴影重建图像是基于网络模型预测得到的在目标样本视点下处于第二样本光源下的样本对象的图像,进而后续训练过程中可以使得样本阴影重建图像能够趋近于参考阴影图像,也就是使得训练得到的目标网络模型能够准确重建得到虚拟对象在另一光源下的图像,且其重建效果能够趋近于直接基于业务引擎所渲染得到的视图图像。
S205、基于样本阴影重建图像、参考阴影图像对初始网络模型进行迭代训练,将迭代训练后的初始网络模型确定为目标网络模型。
其中,可以理解的是,基于样本阴影重建图像、参考阴影图像对初始网络模型进行迭代训练,将迭代训练后的初始网络模型确定为目标网络模型,可以包括基于样本阴影重建图像和参考阴影图像确定训练损失信息,进而基于该训练损失信息对初始网络模型进行迭代训练,将迭代训练后的初始网络模型确定为目标网络模型。可以理解的是,将迭代训练后的初始网络模型确定为目标网络模型的条件,可以为训练损失信息达到训练结束条件,例如该训练结束条件可以为训练损失信息所指示的损失值达到损失阈值,或者迭代训练的次数达到预设次数等等,此处不做限制。
可选的,该训练损失信息可以为基于样本阴影重建图像和参考阴影图像之间的图像误差确定的损失信息。两个图像之间的图像误差是可以基于两个图像中的相同位置的像素点的像素误差所确定的,例如,样本阴影重建图像和参考阴影图像之间的图像误差,可以为基于样本阴影重建图像中的每个像素点和参考阴影图像中相同位置的像素点的像素误差确定的。可选的,该训练损失信息可以包括针对初始场景重转换网络的损失信息,针对初始光效预估网络的损失信息,以及针对整个初始网络模型的损失信息(即基于样本阴影重建图像和参考阴影图像之间的图像误差确定的损失信息)。
具体的,基于样本阴影重建图像、参考阴影图像对初始网络模型进行迭代训练,将迭代训练后的初始网络模型确定为目标网络模型,可以包括以下步骤:获取样本对象在目标样本视点下的参考去阴影图像,基于样本场景结构特征图和参考去阴影图像,确定第一参考信息;基于样本阴影特征图和参考阴影图像,确定第二参考信息;基于样本阴影重建图像和参考阴影图像,确定第三参考信息;基于第一参考信息、第二参考信息和第三参考信息对初始网络模型进行迭代训练,将迭代训练后的初始网络模型确定为目标网络模型。
其中,该第一参考信息可以为基于样本场景结构特征与参考去阴影图像所确定的损失信息,该第一参考信息也可以理解为针对初始场景重转换网络的损失信息。该第二参考信息可以为基于样本阴影特征图和参考阴影图像所确定的损失信息,该第二参考信息也可以理解为针对初始光效预估网络的损失信息。该第三参考信息可以为基于样本阴影特征图和参考阴影图像所确定的损失信息,第三参考信息也可以理解为针对整个初始网络模型的损失信息。
可以理解的是,在本申请实施例中,可以基于第一参考信息、第二参考信息和第三参考信息同时对初始网络模型进行迭代训练,进而将迭代训练后的初始网络模型确定为目标网络模型,换言之,在对初始网络模型进行迭代训练时,可以基于第一参考信息对初始场景重转换网络进行训练,基于第二参考信息对初始光效预估网络进行训练,且基于第三参考信息对整个初始网络模型进行训练,以使得第一参考信息、第二参考信息和第三参考信息的损失信息的和最小化。
其中,该参考去阴影图像可以为在对初始网络模型进行迭代训练过程中作为参考的去阴影图像。该参考去阴影图像可以为一些效果较好的真实去阴影图像,进而可以在通过真实去阴影图像对初始网络模型的训练后,使得目标网络模型中的目标场景重转换网络能够更准确地进行去阴影处理,提取到对象视图图像中的场景结构信息。
具体的,获取样本对象在目标样本视点下的参考去阴影图像,可以包括以下步骤:在业务空间中,获取样本对象在目标样本视点下处于T个曝光光源下的T个曝光视图图像;T为大于1的正整数;一个曝光光源对应一个曝光视图图像;基于T个曝光视图图像中的每个像素的像素信息确定T个曝光视图图像中的每个像素的像素权重;基于T个曝光视图图像中的每个像素的像素权重对T个曝光视图图像进行曝光融合处理,得到样本对象在目标样本视点下的参考去阴影图像。
其中,可以理解的是,该曝光光源可以为用于确定参考去阴影图像所采集曝光视图图像时所采用的虚拟光源。曝光视图图像可以为用于确定参考去阴影图像所采集的样本对象的图像。可以理解的是,T个曝光光源中的每个曝光光源可以具有多个光方向或者不同的色温,不同曝光光源的光线方向将阴影投射到不同的位置,这使得通过选择曝光视图图像中的非阴影像素来构建无阴影图像成为可能,这种方法可以称为曝光融合方法。
其中,该像素信息可以包括像素对应的对比度、饱和度、亮度,与相邻像素的像素值差异等信息。基于T个曝光视图图像中的每个像素的像素信息确定T个曝光视图图像中的每个像素的像素权重,具体可以为包括:太暗(亮度较小)或太亮(亮度较大)的像素被赋予较小的权重;具有高饱和度的像素被赋予较大的权重,这是因为饱和度较高的像素通常在良好的照明下;与相邻像素的像素值差异较大的像素被赋予较大的权重,因为图像的边缘通常包含更多信息,并且被认为更重要。
可以理解的是,基于T个曝光视图图像中的每个像素的像素权重对T个曝光视图图像进行曝光融合处理,可以为通过曝光融合方法的计算公式基于每个像素的像素权重计算得到参考去阴影图像,其具体处理过程可以参照曝光融合方法的处理过程,此处不做赘述。
其中,可以理解的是,基于样本场景结构特征图和参考去阴影图像,可以为基于样本场景结构特征图中的像素(也称像素点)与参考去阴影图像中的相同位置的像素之间的像素误差,确定样本场景结构特征图与参考去阴影图像之间的图像误差,进而基于样本场景结构特征图与参考去阴影图像之间的图像误差确定第一参考信息。
基于样本阴影特征图和参考阴影图像,确定第二参考信息,可以为基于样本阴影特征图中的像素与参考阴影图像中的相同位置的像素之间的像素误差确定样本阴影特征图与参考阴影图像之间的图像误差,进而基于样本阴影特征图与参考阴影图像之间的图像误差确定第二参考信息。
基于样本阴影重建图像和参考阴影图像,确定第三参考信息,可以为基于样本阴影重建图像中的像素与参考阴影图像中的相同位置的像素之间的像素误差确定样本阴影重建图像和参考阴影图像之间的图像误差,进而基于样本阴影重建图像和参考阴影图像之间的图像误差确定第三参考信息。
例如,请参见图12,图12是本申请实施例提供的一种初始网络模型的训练示意图。如图12所示,初始网络模型1201a可以包括初始场景重转换网络1211a、初始光效估计网络1212a和初始阴影重建网络1215a。获取到M个样本视图图像(如图12中的1202a所示),此处以样本视图图像1关联有视图标识为例对初始网络模型的训练过程进行阐述。将M个样本视图图像输入至初始网络模型中,通过初始场景网络1211a可以获取到样本场景结构特征图1213a,通过初始光效预估网络1212a可以获取到样本阴影特征图1214a,进而可以通过初始阴影重建网络1215a对样本场景结构特征图1213a和样本阴影特征图1214a进行阴影重建处理,得到样本阴影重建图像1303a。然后可以基于参考去阴影图像1204a和样本场景结构特征图1213a确定第一参考信息1206a,进而通过样本阴影特征图1214a和参考阴影图像1205a确定第二参考信息1208a,并且可以基于样本阴影重建图像1203a和参考阴影图像1205a确定第三参考信息。然后将通过第一参考信息、第二参考信息和第三参考信息对初始网络模型的模型参数进行调整,即对初始网络模型进行训练,并将迭代训练后的初始网络模型确定为目标网络模型。
可选的,为了提升目标场景重转换网络和目标光效预估网络的效果,本申请实施例还可以采用对抗学习的方式来对训练初始场景重转换网络和初始光效预估网络,也就是可以通过提供相应的鉴别器来辅助初始场景重转换网络和初始光效预估网络的训练。具体的,可以通过重转换鉴别器来辅助初始场景重转换网络的训练,并额外通过一个聚焦于阴影区域的阴影鉴别器来辅助初始光效预估网络的训练。重转换鉴别器用于鉴别输入的图像为真实去阴影图像还是由生成器(即此处的初始场景重转换网络)生成的图像。其中,真实去阴影图像可以理解为是对多个曝光视图图像进行曝光融合处理得到的图像,由初始场景重转换网络生成的图像可以理解为虚假去阴影图像(也称生成去阴影图像)。阴影鉴别器用于鉴别输入的图像为真实阴影图像还是由生成器(即此处的初始光效预估网络)生成的图像。其中,真实阴影图像可以为直接基于业务引擎获取到的样本对象的图像,由初始光效预估网络生成的图像也可以理解为虚假阴影图像(也称生成阴影图像)。
具体的,基于样本场景结构特征图和参考去阴影图像,确定第一参考信息,可以包括以下步骤:将样本场景结构特征图输入至目标重转换鉴别器,得到样本场景结构特征图对应的第一鉴别概率,样本场景结构特征图对应的第一鉴别概率用于指示样本场景结构特征图为真实去阴影图像的概率;基于样本场景结构特征图与参考去阴影图像之间的图像误差,和样本场景结构特征图对应的第一鉴别概率确定第一参考信息。
其中,此处的目标重转换鉴别器可以理解经过前一轮训练后所得到的重转换鉴别器,该目标重转换鉴别器具有识别输入图像是否为真实去阴影图像的能力。该目标重转换鉴别器可以由多个卷积层组成,如堆叠了四个跨步卷积层,这些卷积层可以用于提取全局表示以进行图像鉴别。该第一鉴别概率用于指示重转换鉴别器所确定的输入图像为真实去阴影图像的概率,也就是说,样本场景结构特征图对应的第一鉴别概率用于指示样本场景结构特征图为真实去阴影图像的概率。可以理解的是,该第一鉴别概率不代表其实际一定是真实去阴影图像,只是基于鉴别器所确定的概率,其准确度与目标重转换鉴别器的训练结果有关。
可以理解的是,样本场景结构特征图与参考去阴影图像之间的图像误差,可以是基于样本场景结构特征图中的每个像素与参考去阴影图像中的相应位置的像素的像素误差所确定的,如可以将样本场景结构特征图中的每个像素与参考去阴影图像中的相应位置的像素的像素误差的平均值,确定为样本场景结构特征图与参考去阴影图像之间的图像误差。
其中,确定目标重转换鉴别器的过程可以包括:获取用于训练初始重转换鉴别器的样本参考去阴影图像,以及基于初始场景重转换网络得到的样本生成结构图像;样本参考去阴影图像是基于采集到的样本对象的多个曝光视图图像进行曝光融合处理得到的;将样本参考去阴影图像输入至初始重转换鉴别器,得到样本参考去阴影图像对应的第一鉴别概率;样本参考去阴影图像对应的第一鉴别概率用于指示样本参考去阴影图像为真实去阴影图像的概率;将样本生成结构图像输入至初始重转换鉴别器,得到样本生成结构图像对应的第一鉴别概率;样本生成结构图像对应的第一鉴别概率用于指示样本生成结构图像为真实去阴影图像的概率;基于样本参考去阴影图像对应的第一鉴别概率和样本生成结构图像对应的第一鉴别概率,对初始重转换鉴别器进行迭代训练,将迭代训练后的初始重转换鉴别器确定为目标重转换鉴别器。
其中,可以理解的是,初始重转换鉴别器可以为待训练的重转换鉴别器,该初始重转换鉴别器的网络结构与上述目标重转换鉴别器的网络结构相同,但两者的网络参数可能存在不同。
可以理解的是,样本参考去阴影图像可以为用于训练初始重转换鉴别器的参考去阴影图像,该样本参考去阴影图像的获取方式可以参照上述获取参考去阴影图像的相关描述,也就是说,样本参考去阴影图像是基于采集到的样本对象的多个曝光视图图像进行曝光融合处理得到的,此处确定样本参考去阴影图像的样本对象与上述训练初始场景重转换网络时的参考去阴影图的样本对象可以为相同样本对象,也可以为不同样本对象,此处不做限定。可以理解的是,该样本生成结构图像可以为用于训练初始重转换鉴别器的由初始场景重转换网络生成的图像,该样本生成结构图像的确定方式可以参照上述样本场景结构特征图的相关描述,此处不做赘述。
其中,基于样本参考去阴影图像对应的第一鉴别概率和样本生成结构图像对应的第一鉴别概率,对初始重转换鉴别器进行迭代训练,可以包括基于样本参考去阴影图像对应的第一鉴别概率和样本生成结构图像对应的第一鉴别概率确定第一鉴别损失信息,进而基于第一鉴别损失信息对初始重转换鉴别器进行迭代训练。其中,第一鉴别损失信息是指用于训练初始重转换鉴别器的损失信息,随着对初始重转换鉴别器的训练,应使得该第一鉴别损失信息逐渐增大,直至达到结束条件(如迭代训练的次数达到预设次数,第一鉴别损失信息的数值达到损失阈值)。
可以理解的是,随着对初始重转换鉴别器的迭代训练,可以使得初始重转换鉴别器确定的样本参考去阴影图像对应的第一鉴别概率逐渐增加,且使得初始重转换鉴别器确定的样本生成结构图像对应的第一鉴别概率逐渐减小,进而使得最终训练得到的目标重转换鉴别器能够准确识别输入的图像是否为真实去阴影图像。在得到了训练后的目标重转换鉴别器后,就可以基于这个能准确识别输入的图像是否为真实去阴影图像的目标重转换鉴别器,鉴别由初始场景重转换网络生成的样本场景结构特征图是否为真实去阴影图像,而初始场景重转换网络的训练目标就是能够生成的目标重转换鉴别器无法准确识别的样本场景结构特征图。
可以理解的是,上述训练初始重转换鉴别器得到目标重转换鉴别器,然后再基于目标重转换鉴别器的鉴别结果对初始场景重转换网络进行训练的过程可以称为一轮对抗训练,进而可以重复执行多轮对抗训练,以得到更优的目标重转换鉴别器和目标场景重转换网络。
可以理解的是,针对初始场景重转换网络的对抗训练的目标可以通过以下公式(1)进行表示:
(1)
在上述公式(1)中,X表示样本对象在某个视点(如视点s)下的处于某个光源(如光源g)下的样本视图图像;表示样本对象通过视点s下获取到的多个曝光视图图像进行曝光融合处理所得到的样本参考去阴影图像,即真实去阴影图像;/>表示通过初始场景重转换网络对样本对象对应的多个样本视图图像(其中样本视图图像X关联有视图标识)进行处理得到的样本生成结构图像。进而,/>表示初始重转换鉴别器D1所确定的样本参考去阴影图像/>对应的第一鉴别概率,/>表示初始重转换鉴别器D1输出的样本生成结构图像/>对应的第一鉴别概率。/>表示对抗训练的目标,也可以为初始重转换鉴别器的第一鉴别损失信息的损失函数。在对抗训练过程中,通过训练初始重换转鉴别器使得/>)最大化,在训练得到最优的重转换鉴别器(即得到目标重转换鉴别器)后,固定重转换鉴别器,通过训练初始场景重转换网络,使得初始场景重转换网络输出的样本场景结构特征图能够使/>)最小化。
那么,进一步的,第一参考信息可以通过以下公式(2)进行表示:
(2)
在上述公式(2)中,表示第一参考信息。/>表示参考去阴影图像,/>表示基于初始场景重转换网络G1所确定的样本视图图像X对应的样本场景结构特征图。表示在训练得到初始重转换鉴别器D1能够使得最大化时,基于初始场景重转换网络G1所生成的图像能够使得最小化,换言之,训练初始光效预估网络的目标为在训练得到最优的目标重转换鉴别器时,该目标重转换鉴别器能够将初始场景重转换网络G1输出的图像识别为真实去阴影图像。/>为一个常数,用于平衡L1范数(即/>)和))之间的权重。
具体的,基于样本阴影特征图和参考阴影图像,确定第二参考信息,可以包括以下步骤:将样本阴影特征图输入至目标阴影鉴别器,得到样本阴影特征图对应的第二鉴别概率,样本阴影特征图对应的第二鉴别概率用于指示样本阴影特征图为真实阴影图像的概率;获取基于目标重转换鉴别器确定的样本场景结构特征图对应的第一鉴别概率;样本场景结构特征图对应的第一鉴别概率用于指示样本场景结构特征图为真实去阴影图像的概率;基于参考阴影图像与样本阴影转换图像之间的图像误差、样本阴影特征图对应的第二鉴别概率和样本场景结构特征图对应的第一鉴别概率,确定第二参考信息。
其中,此处的目标阴影鉴别器可以理解经过前一轮训练后所得到的阴影鉴别器,该目标阴影鉴别器具有识别输入图像是否为真实阴影图像的能力。该目标阴影鉴别器可以由多个卷积层组成,如堆叠了四个跨步卷积层,这些卷积层可以用于提取全局表示以进行图像鉴别。该第二鉴别概率用于指示阴影鉴别器所确定的输入的图像为真实阴影图像的概率,也就是说,样本阴影特征图对应的第二鉴别概率用于指示样本阴影特征图为真实阴影图像的概率。可以理解的是,该第二鉴别概率不代表其实际一定是真实阴影图像,只是基于阴影鉴别器所确定的概率,其准确度与目标阴影鉴别器的训练结果有关。
可以理解的是,参考阴影图像与样本阴影转换图像之间的图像误差,可以是基于样本阴影转换图像中的每个像素(也称像素点)与参考阴影图像相同像素位置上的像素点之间的像素误差所确定的,如可以将样本阴影转换图像中的每个像素与参考阴影图像中的相应位置的像素的像素误差的平均值,确定为样本阴影转换图像与参考阴影图像之间的图像误差。其中,像素位置是指图像中的像素在图像中所处的位置,例如,该像素位置可以通过横纵坐标进行表示。相同位置上的像素点之间的像素误差,可以为两个图像之间的相同位置上的像素点所对应的像素值之间的差值。
可以理解的是,此处在确定第二参考信息时,是基于参考阴影图像与样本阴影转换图像之间的图像误差、样本阴影特征图对应的第二鉴别概率和样本场景结构特征图对应的第一鉴别概率进行确定的,而不是仅仅基于参考阴影图像与样本阴影转换图像之间的图像误差、样本阴影特征图对应的第二鉴别概率确定的第二参考信息,也就是说,在初始光效预估网络进行对抗训练时,加入了初始场景重转换网络的对抗损失(即基于样本阴影特征图对应的第二鉴别概率确定对抗损失)的约束,从而使得初始光效预估网络的输出能够保有原有的场景结构,而不至于在进行阴影的光效预估时,偏离原有的场景结构太多。
具体的,确定目标阴影鉴别器可以包括以下步骤:获取用于训练初始阴影鉴别器的样本参考阴影图像,以及基于初始光效预估网络得到的样本生成阴影图像;样本参考阴影图像是对样本对象进行图像采集得到的;将样本参考阴影图像输入至初始阴影鉴别器,得到样本参考阴影图像所对应的第二鉴别概率;样本参考阴影图像对应的第二鉴别概率用于指示样本参考阴影图像为真实阴影图像的概率;将样本生成阴影图像输入至初始阴影鉴别器,得到样本生成阴影图像所对应的第二鉴别概率;样本生成阴影图像对应的第二鉴别概率用于指示样本生成阴影图像为真实阴影图像的概率;基于样本参考阴影图像所对应的第二鉴别概率和样本生成阴影图像所对应的第二鉴别概率,对初始阴影鉴别器进行迭代训练,将迭代训练后的初始阴影鉴别器确定为目标阴影鉴别器。
其中,可以理解的是,初始阴影鉴别器可以为待训练的阴影鉴别器,该初始阴影鉴别器的网络结构与上述目标阴影鉴别器的网络结构相同,但两者的网络参数可能存在不同。
可以理解的是,样本参考阴影图像可以为用于训练初始阴影鉴别器的参考去阴影图像,该样本参考阴影图像的获取方式可以为基于业务引擎对样本对象进行图像才所获取的,此处获取样本参考阴影图像的样本对象与上述确定样本动画模型的样本对象可以为相同对象也可以为不同对象,此处不做限定。可以理解的是,该样本生成阴影图像可以为用于训练初始阴影鉴别器的由初始光效预估网络生成的图像,该样本生成阴影图像的确定方式可以参照上述样本阴影特征图的相关描述,此处不做赘述。
其中,基于样本参考阴影图像所对应的第二鉴别概率和样本生成阴影图像所对应的第二鉴别概率,对初始阴影鉴别器进行迭代训练,可以包括基于样本参考阴影图像所对应的第二鉴别概率和样本生成阴影图像所对应的第二鉴别概率,对初始阴影鉴别器进行迭代训练确定第二鉴别损失信息,进而基于第二鉴别损失信息对初始阴影鉴别器进行迭代训练。其中,第二鉴别损失信息是指用于训练初始阴影鉴别器的损失信息,随着对初始阴影鉴别器的训练,应使得该第二鉴别损失信息逐渐增大,直至达到结束条件(如迭代训练的次数达到预设次数,第二鉴别损失信息的数值达到损失阈值)。
其中,为了聚焦阴影区域,在对阴影鉴别器进行训练时,可以对输入图像进行校正,以通过z=min(α,x),其中符号x表示输入图像的像素强度,z表示将输入到阴影鉴别器的校正值。术语α是阴影灵敏度的预定义阈值(可以根据经验进行设置,如设置为0.059=15/255)。
可以理解的是,随着对初始阴影鉴别器的迭代训练,可以使得初始阴影鉴别器确定的样本参考阴影图像对应的第二鉴别概率逐渐增加,且使得初始阴影鉴别器确定的样本生成阴影图像对应的第二鉴别概率逐渐减小,进而使得最终训练得到的目标阴影鉴别器能够准确识别输入的图像是否为真实阴影图像。在得到了训练后的目标阴影鉴别器后,就可以基于这个能准确识别输入的图像是否为真实阴影图像的目标阴影鉴别器,鉴别由初始光效预估网络生成的样本阴影特征图是否为真实阴影图像,而初始光效预估网络的训练目标就是能够生成的目标阴影鉴别器无法准确识别的样本阴影特征图(即目标阴影鉴别器将初始光效预估网络输出的特征图判定为真实阴影图像)。
可以理解的是,上述训练初始阴影鉴别器得到目标阴影鉴别器,然后再基于目标阴影鉴别器的鉴别结果对初始场景阴影网络进行训练的过程可以称为一轮对抗训练,进而可以重复执行多轮对抗训练,以得到更优的目标阴影鉴别器和目标光效预估网络。
可以理解的是,针对初始光效预估网络的对抗训练的目标可以参照上述初始场景重转换网络的目标,此处不做赘述。
那么,进一步的,第二参考信息可以通过以下公式(3)进行表示:
(3)
在上述公式(3)中,表示第二参考信息,/>表示参考阴影图像,/>表示基于初始光效预估网络G2所确定样本视图图像X对应的的样本阴影特征图。/>)可以参照上述描述,即表示在训练得到初始重转换鉴别器D1能够使得/>)(即针对初始场景重转换网络的训练目标)最大化时,基于初始场景重转换网络G1所生成的图像能够使得/>)最小化,换言之,训练初始场景重转换网络的目标为在训练得到最优的目标重转换鉴别器时,目标重转换鉴别器能够将初始场景重转换网络G1输出的图像识别为真实去阴影图像。/>)表示针对初始光效预估网络的训练目标。/>)表示在训练得到初始阴影鉴别器D2能够使得/>)最大化时,基于初始场景重转换网络G2所生成的图像能够使得最小化,换言之,训练初始光效预估网络的目标为在训练得到最优的目标阴影鉴别器时,目标阴影鉴别器能够将初始光效预估网络G2输出的图像识别为真实阴影图像。/>为一个常数,用于平衡L1范数(即/>)和对抗性损失(即)和/>))之间的权重。
请参见图13,图13是本申请实施例提供的一种初始网络模型的训练场景示意图。如图13所示,该初始网络模型1301a中可以包括初始场景重转换网络1311a,初始光效预估网络1312a和初始阴影重建网络1313a。在对初始网络模型进行训练时,还可以通过目标重转换鉴别器1303a对初始场景重转换网络1311a进行辅助训练,通过目标阴影鉴别器1304a对初始光效预估网络1312a进行辅助训练。在获取到M个样本视图图像(即图13中的1302a所示)时,可以将M个样本视图图像输入至初始场景重转换网络1311a,进而可以将初始场景重转换网络1311a输出的样本场景结构特征图输入至目标重转换鉴别器1303a,以确定样本场景结构特征图像对应的第一鉴别概率,并且可以将初始光效预估网络1312a输出的样本阴影特征图输入至目标阴影鉴别器1304a,以确定样本阴影特征图对应的第二鉴别概率,以便于结合样本场景结构特征图像对应的第一鉴别概率确定第一参考信息,结合样本阴影特征图对应的第二鉴别概率确定第二参考信息。
具体的,基于样本阴影重建图像和参考阴影图像,确定第三参考信息,可以包括以下步骤:获取预训练的特征提取网络;通过特征提取网络对参考阴影图像进行特征提取处理,得到参考阴影图像所对应的参考图像特征;通过特征提取网络对样本阴影重建图像进行特征提取处理,得到样本阴影重建图像所对应的重建图像特征;基于参考阴影图像中的像素点与样本阴影重建图像相同像素位置上的像素点之间的像素误差确定参考阴影图像与样本阴影重建图像之间的目标图像误差;将参考图像特征和重建图像特征之间的特征误差确定为目标特征误差;基于目标图像误差和目标特征误差,确定第三参考信息。
其中,该特征提取网络可以为基于大量图像数据集进行预训练所得到的神经网络,该特征提取网络可以为VGG网络(一种神经网络模型),该特征提取网络所采用的数据集可以为一些常见的图像数据集,比如ImageNet数据集等等,此处不做限定。该特征提取网络所提取的特征具有视觉对比的判别能力,因此可以将该特征提取网络所提取到参考阴影图像的特征与样本阴影重建图像的特征之间的差异来表征两个图像在感知上的差异。
可以理解的是,参考图像特征可以为特征提取网络所提取到的参考阴影图像的特征,重建图像特征可以为特征提取网络所提取到的样本重建图像的特征。目标图像误差是基于参考阴影图像和样本重建图像的像素误差所确定的,用于表示参考阴影图像和样本重建图像在每个像素的颜色上的重建误差。目标特征误差是基于参考阴影图像和样本重建图像在通过卷积所提取到的特征上的误差所确定的,用于表示参考阴影图像和样本重建图像在感知上的重建误差。由此可以通过参考阴影图像和样本重建图像在每个像素的颜色上的重建误差和参考阴影图像和样本重建图像在感知上的重建误差来对初始网络进行训练,使得最终得到的目标网络模型能够确定出阴影重建效果更好的阴影重建图像。
可以理解的是,基于参考阴影图像中的像素点与样本阴影重建图像相同像素位置上的像素点之间的像素误差确定参考阴影图像与样本阴影重建图像之间的目标图像误差,可以是将样本阴影转换图像中的每个像素与参考阴影图像中相同像素位置的像素的像素误差的平均值,确定为样本阴影转换图像与参考阴影图像之间的图像误差。其中,像素位置是指图像中的像素在图像中所处的位置,例如,该像素位置可以通过横纵坐标进行表示。相同位置上的像素点之间的像素误差,可以为两个图像的相同位置上的像素点所对应的像素值之间的差值。
可以理解的是,参考图像特征和重建图像特征之间的特征误差可以为通过欧氏距离等方式计算得到的特征误差。
其中,基于目标图像误差和目标特征误差,确定第三参考信息,可以为将目标图像误差和目标特征误差相加,即可以得到第三参考信息。
可以理解的是,针对第三参考信息的计算过程可以参见以下公式(4)计算得到:
(4)
在上述公式(4)中,表示第三参考信息。/>表示参考阴影图像,/>表示样本阴影重建图像。/>表示参考阴影图像与样本阴影重建图像之间的目标图像误差,表示参考图像特征和重建图像特征之间的特征误差,即目标特征误差。符号/>是一个平衡系数,如可以设置为0.01。
可以理解的是,在本申请实施例中,可以确定多个样本动画模型,参照上述过程通过多个样本动画模型对初始网络模型进行多轮次的训练,从而得到阴影重建效果更好的目标网络模型,由此可以有助于对业务动画模型的快速阴影重建。
S206、获取携带渲染失败标识的业务动画模型;业务动画模型是由业务空间中的业务对象在N个视点下的N个对象视图图像所确定的;N为大于1的正整数;一个对象视图图像是在一个视点下对处于初始光源下的业务对象进行图像采集所得到的;初始光源为业务空间中的虚拟光源;N个视点包括视点i;i为小于或等于N的正整数。
S207、获取用于对业务动画模型中的业务对象的阴影进行阴影重建的目标网络模型;目标网络模型包括目标场景重转换网络、目标光效预估网络以及目标阴影重建网络。
S208、将N个对象视图图像输入目标场景重转换网络,由目标场景重转换网络对N个对象视图图像进行图像去阴影处理,得到在视点i下的业务对象的预测场景结构特征图。
S209、在将业务空间中的虚拟光源由初始光源转移至目标光源时,将目标光源和N个对象视图图像输入目标光效预估网络,由目标光效预估网络对N个对象视图图像进行光照预估处理,得到在视点i下处于目标光源下的业务对象的预测阴影特征图。
S210、将预测场景结构特征图和预测阴影特征图输入至目标阴影重建网络,由目标阴影重建网络对业务对象的阴影进行阴影重建,得到在视点i下处于目标光源下的业务对象的阴影重建图像。
S211、基于在视点i下处于目标光源下的业务对象的阴影重建图像,确定与业务对象相关联的N个阴影重建图像,基于N个阴影重建图像得到业务对象的对象阴影重建模型。
其中,步骤S206-S211的具体实现方式可以参照上述步骤S101-S106的相关描述,此处不做赘述。
请参见图14,图14是本申请实施例提供的一种图像处理装置的结构示意图。如图14所示,图像处理装置1可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该图像处理装置1为一个应用软件;可以理解的是,该图像处理装置1可以用于执行本申请实施例提供的数据处理方法中的相应步骤。如图14所示,该图像处理装置1可以包括:动画模型获取模块11、网络模型获取模块12、去阴影模块13、光效估计模块14、阴影重建模块15、模型重建模块16;
动画模型获取模块11,用于获取携带渲染失败标识的业务动画模型;业务动画模型是由业务空间中的业务对象在N个视点下的N个对象视图图像所确定的;N为大于1的正整数;一个对象视图图像是在一个视点下对处于初始光源下的业务对象进行图像采集所得到的;初始光源为业务空间中的虚拟光源;N个视点包括视点i;i为小于或等于N的正整数;
网络模型获取模块12,用于获取用于对业务动画模型中的业务对象的阴影进行阴影重建的目标网络模型;目标网络模型包括目标场景重转换网络、目标光效预估网络以及目标阴影重建网络;
去阴影模块13,用于将N个对象视图图像输入目标场景重转换网络,由目标场景重转换网络对N个对象视图图像进行图像去阴影处理,得到在视点i下的业务对象的预测场景结构特征图;
光效估计模块14,用于在将业务空间中的虚拟光源由初始光源转移至目标光源时,将目标光源和N个对象视图图像输入目标光效预估网络,由目标光效预估网络对N个对象视图图像进行光照预估处理,得到在视点i下处于目标光源下的业务对象的预测阴影特征图;
阴影重建模块15,用于将预测场景结构特征图和预测阴影特征图输入至目标阴影重建网络,由目标阴影重建网络对业务对象的阴影进行阴影重建,得到在视点i下处于目标光源下的业务对象的阴影重建图像;
模型重建模块16,用于基于在视点i下处于目标光源下的业务对象的阴影重建图像,确定与业务对象相关联的N个阴影重建图像,基于N个阴影重建图像得到业务对象的对象阴影重建模型。
其中,目标场景重转换网络中包括结构提取组件和残差组件;
去阴影模块13,包括:结构提取单元131、初始重建图像获取单元132、残差计算单元133;
结构提取单元131,用于通过结构提取组件对N个对象视图图像进行去阴影处理,得到在视点i下的业务对象的初始场景结构特征图;
初始重建图像获取单元132,用于在获取到在视点i下处于目标光源下的业务对象的预测阴影特征图时,将初始场景结构特征图和预测阴影特征图输入至目标阴影重建网络,由目标阴影重建网络对业务对象的阴影进行阴影重建,得到在视点i下处于目标光源下的业务对象的初始重建图像;
残差计算单元133,用于将初始重建图像输入至残差组件,得到视点i下的对象视图图像与初始重建图像之间的残差信息,并通过残差信息对初始场景结构特征图进行特征修复处理,得到在视点i下的业务对象的预测场景结构特征图。
其中,去阴影模块13包括的结构提取单元131、初始重建图像获取单元132、残差计算单元133的具体处理方式参见图3实施例的相关描述。
其中,结构提取组件包括P个第一滤波编码器、第一特征拼接组件和第一解码器;P为大于1的正整数;P个第一滤波编码器中的每个第一滤波编码器的大小不同;P个第一滤波编码器中包括第一滤波编码器q;q为小于或等于P的正整数;
结构提取单元131,具体用于:
通过第一滤波编码器q对N个对象视图图像进行第一编码处理,得到第一滤波编码器q对应的N个第一编码特征;一个对象视图图像用于编码得到一个第一编码特征;
基于第一滤波编码器q对应的N个第一编码特征,确定每个第一滤波编码器对应的N个第一编码特征;
通过第一特征拼接组件对每个第一滤波编码器对应的N个第一编码特征进行第一特征拼接处理,得到第一拼接特征;
通过第一解码器对第一拼接特征进行第一解码处理,得到在视点i下的业务对象的初始场景结构特征图。
其中,目标光效预估网络包括K个第二滤波编码器、第二特征拼接组件和第二解码器;K为大于1的正整数;K个第二滤波编码器中的每个第二滤波编码器的大小不同;K个第二滤波编码器中包括第一滤波编码器w;w为小于或等于K的正整数;
光效估计模块14,包括:滤波编码单元141,特征拼接单元142、特征解码单元143;
滤波编码单元141,用于通过第二滤波编码器w对N个对象视图图像进行第二编码处理,得到第二滤波编码器w对应的N个第二编码特征;一个对象视图图像用于编码得到一个第二编码特征;
滤波编码单元141,用于基于第二滤波编码器w对应的N个第二编码特征,确定每个第二滤波编码器对应的N个第二编码特征;
特征拼接单元142,用于在获取到目标光源的光源信息时,通过第二特征拼接组件对目标光源的光源信息和每个第二滤波编码器对应的N个第二编码特征进行第二特征拼接处理,得到第二拼接特征;
特征解码单元143,用于通过第二解码器对第二拼接特征进行第二解码处理,得到在视点i下处于目标光源下的业务对象的预测阴影特征图。
其中,光效估计模块14包括的滤波编码单元141,特征拼接单元142、特征解码单元143的具体处理方式参见图3实施例的相关描述。
其中,目标阴影重建网络包括F个滤波器、通道校准组件;F为大于1的正整数;F个滤波器中的每个滤波器的大小不同;F个滤波器中包括滤波器e;e为小于或等于F的正整数;
阴影重建模块15,包括:滤波单元151;通道校准单元152;
滤波单元151,用于通过滤波器e对预测场景结构特征图和预测阴影特征图进行滤波处理,得到滤波器e对应的第一滤波特征和第二滤波特征;第一滤波特征为预测场景结构特征图对应的滤波特征;第二滤波特征为预测阴影特征图对应的滤波特征;
滤波单元151,用于基于滤波器e对应的第一滤波特征和第二滤波特征,确定每个滤波器对应的第一滤波特征和第二滤波特征;
通道校准单元152,用于通过通道校准组件对每个滤波器对应的第一滤波特征和第二滤波特征进行特征融合处理,得到阴影重建特征,基于阴影重建特征得到阴影重建图像。
其中,阴影重建模块15包括的滤波单元151;通道校准单元152的具体处理方式参见图3实施例的相关描述。
其中,图像处理装置1,还包括:样本数据获取模块17、初始模型获取模块18、样本重建模块19、参考数据获取模块20、训练模块21;
样本数据获取模块17,用于获取待训练的样本动画模型;样本动画模型是由业务空间中的样本对象在M个视点下的M个样本视图图像所确定的;M为大于1的正整数;一个样本视图图像是在一个视点下对处于第一样本光源下的样本对象进行图像采集所得到的;第一样本光源为业务空间中的虚拟光源;M个视点包括目标样本视点;
初始模型获取模块18,用于获取用于对样本动画模型中的样本对象的阴影进行阴影重建的初始网络模型;
样本重建模块19,用于将M个样本视图图像输入至初始网络模型,由初始网络模型确定在目标样本视点下处于第二样本光源下的样本对象的样本阴影重建图像;第二样本光源为不同于第一样本光源的虚拟光源;
参考数据获取模块20,用于基于业务引擎获取样本对象在目标样本视点下处于第二样本光源下的参考阴影图像;
训练模块21,用于基于样本阴影重建图像、参考阴影图像对初始网络模型进行迭代训练,将迭代训练后的初始网络模型确定为目标网络模型。
其中,初始网络模型包括初始场景重转换网络、初始光效预估网络以及初始阴影重建网络;
样本重建模块19,包括:样本去阴影单元191、样本光效预估单元192、样本阴影重建单元193;
样本去阴影单元191,用于将M个样本视图图像输入初始场景重转换网络,由初始场景重转换网络对M个样本视图图像进行图像去阴影处理,得到在目标样本视点下的样本对象的样本场景结构特征图;
样本光效预估单元192,用于在将业务空间中的虚拟光源由第一样本光源转移至第二样本光源时,将第二样本光源和M个样本视图图像输入初始光效预估网络,由初始光效预估网络对M个样本视图图像进行光照预估处理,得到在目标样本视点下处于第二样本光源下的样本对象的样本阴影特征图;
样本阴影重建单元193,用于将样本场景结构特征图和样本阴影特征图输入至初始阴影重建网络,由初始阴影重建网络对样本对象的阴影进行阴影重建,得到在目标样本视点下处于第二样本光源下的样本对象的样本阴影重建图像。
其中,样本重建模块19包括的样本去阴影单元191、样本光效预估单元192、样本阴影重建单元193的具体处理方式可以参见上述图11实施例中的相关描述。
其中,训练模块21包括:第一参考信息确定单元211、第二参考信息确定单元212、第三参考信息确定单元213、信息训练单元214;
第一参考信息确定单元211,用于获取样本对象在目标样本视点下的参考去阴影图像,基于样本场景结构特征图和参考去阴影图像,确定第一参考信息;
第二参考信息确定单元212,用于基于样本阴影特征图和参考阴影图像,确定第二参考信息;
第三参考信息确定单元213,用于基于样本阴影重建图像和参考阴影图像,确定第三参考信息;
信息训练单元214,用于基于第一参考信息、第二参考信息和第三参考信息对初始网络模型进行迭代训练,将迭代训练后的初始网络模型确定为目标网络模型。
其中,训练模块21包括的第一参考信息确定单元211、第二参考信息确定单元212、第三参考信息确定单元213、信息训练单元214的具体处理方式可以参照图11实施例的相关描述。
其中,第一参考信息确定单元211,具体用于:
在业务空间中,获取样本对象在目标样本视点下处于T个曝光光源下的T个曝光视图图像;T为大于1的正整数;一个曝光光源对应一个曝光视图图像;
基于T个曝光视图图像中的每个像素的像素信息确定T个曝光视图图像中的每个像素的像素权重;
基于T个曝光视图图像中的每个像素的像素权重对T个曝光视图图像进行曝光融合处理,得到样本对象在目标样本视点下的参考去阴影图像。
其中,第一参考信息确定单元211,具体用于:
将样本场景结构特征图输入至目标重转换鉴别器,得到样本场景结构特征图对应的第一鉴别概率,样本场景结构特征图对应的第一鉴别概率用于指示样本场景结构特征图为真实去阴影图像的概率;
基于样本场景结构特征图与参考去阴影图像之间的图像误差,和样本场景结构特征图对应的第一鉴别概率确定第一参考信息。
其中,训练模块21,还包括重转换鉴别器单元215;
重转换鉴别器单元215,具体用于:
获取用于训练初始重转换鉴别器的样本参考去阴影图像,以及基于初始场景重转换网络得到的样本生成结构图像;样本参考去阴影图像是基于采集到的样本对象的多个曝光视图图像进行曝光融合处理得到的;
将样本参考去阴影图像输入至初始重转换鉴别器,得到样本参考去阴影图像对应的第一鉴别概率;样本参考去阴影图像对应的第一鉴别概率用于指示样本参考去阴影图像为真实去阴影图像的概率;
将样本生成结构图像输入至初始重转换鉴别器,得到样本生成结构图像对应的第一鉴别概率;样本生成结构图像对应的第一鉴别概率用于指示样本生成结构图像为真实去阴影图像的概率;
基于样本参考去阴影图像对应的第一鉴别概率和样本生成结构图像对应的第一鉴别概率,对初始重转换鉴别器进行迭代训练,将迭代训练后的初始重转换鉴别器确定为目标重转换鉴别器。
其中,第二参考信息确定单元212,具体用于:
将样本阴影特征图输入至目标阴影鉴别器,得到样本阴影特征图对应的第二鉴别概率,样本阴影特征图对应的第二鉴别概率用于指示样本阴影特征图为真实阴影图像的概率;
获取基于目标重转换鉴别器确定的样本场景结构特征图对应的第一鉴别概率;样本场景结构特征图对应的第一鉴别概率用于指示样本场景结构特征图为真实去阴影图像的概率;
基于参考阴影图像与样本阴影转换图像之间的图像误差、样本阴影特征图对应的第二鉴别概率和样本场景结构特征图对应的第一鉴别概率,确定第二参考信息。
其中,训练模块21,还包括阴影鉴别器单元216;
阴影鉴别器单元216,具体用于:
获取用于训练初始阴影鉴别器的样本参考阴影图像,以及基于初始光效预估网络得到的样本生成阴影图像;样本参考阴影图像是对样本对象进行图像采集得到的;
将样本参考阴影图像输入至初始阴影鉴别器,得到样本参考阴影图像所对应的第二鉴别概率;样本参考阴影图像对应的第二鉴别概率用于指示样本参考阴影图像为真实阴影图像的概率;
将样本生成阴影图像输入至初始阴影鉴别器,得到样本生成阴影图像所对应的第二鉴别概率;样本生成阴影图像对应的第二鉴别概率用于指示样本生成阴影图像为真实阴影图像的概率;
基于样本参考阴影图像所对应的第二鉴别概率和样本生成阴影图像所对应的第二鉴别概率,对初始阴影鉴别器进行迭代训练,将迭代训练后的初始阴影鉴别器确定为目标阴影鉴别器。
其中,第三参考信息确定单元213,具体用于:
获取预训练的特征提取网络;
通过特征提取网络对参考阴影图像进行特征提取处理,得到参考阴影图像所对应的参考图像特征;
通过特征提取网络对样本阴影重建图像进行特征提取处理,得到样本阴影重建图像所对应的重建图像特征;
基于参考阴影图像中的像素点与样本阴影重建图像相同像素位置上的像素点之间的像素误差确定参考阴影图像与样本阴影重建图像之间的目标图像误差;
将参考图像特征和重建图像特征之间的特征误差确定为目标特征误差;
基于目标图像误差和目标特征误差,确定第三参考信息。
请参见图15,图15是本申请实施例提供的一种计算机设备的结构示意图。如图15所示,该计算机设备1000可以包括:处理器1001,网络接口1004和存储器1005,此外,上述计算机设备1000还可以包括:用户接口1003,和至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display)、键盘(Meyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图15所示,作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在如图15所示的计算机设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以执行前文任一个所对应实施例中对该数据处理方法的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本申请实施例还提供了一种计算机可读存储介质,且计算机可读存储介质中存储有前文提及的图像处理装置1所执行的计算机程序,且计算机程序包括程序指令,当处理器执行程序指令时,能够执行前文实施例中对数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。
上述计算机可读存储介质可以是前述任一实施例提供的图像处理装置或者上述计算机设备的内部存储单元,例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(smart media card,SMC),安全数字(secure digital,SD)卡,闪存卡(flash card)等。进一步地,该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
此外,这里需要指出的是:本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前文任一个所对应实施例提供的方法。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机程序产品或者计算机程序实施例中未披露的技术细节,请参照本申请方法实施例的描述。
本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (16)

1.一种图像处理方法,其特征在于,所述方法包括:
获取携带渲染失败标识的业务动画模型;所述业务动画模型是由业务空间中的业务对象在N个视点下的N个对象视图图像所确定的;N为大于1的正整数;一个对象视图图像是在一个视点下对处于初始光源下的所述业务对象进行图像采集所得到的;所述初始光源为所述业务空间中的虚拟光源;所述N个视点包括视点i;i为小于或等于N的正整数;
获取用于对所述业务动画模型中的所述业务对象的阴影进行阴影重建的目标网络模型;所述目标网络模型包括目标场景重转换网络、目标光效预估网络以及目标阴影重建网络;
将所述N个对象视图图像输入所述目标场景重转换网络,由所述目标场景重转换网络对所述N个对象视图图像进行图像去阴影处理,得到在所述视点i下的所述业务对象的预测场景结构特征图;
在将所述业务空间中的虚拟光源由所述初始光源转移至目标光源时,将所述目标光源和所述N个对象视图图像输入所述目标光效预估网络,由所述目标光效预估网络对所述N个对象视图图像进行光照预估处理,得到在所述视点i下处于所述目标光源下的所述业务对象的预测阴影特征图;
将所述预测场景结构特征图和所述预测阴影特征图输入至所述目标阴影重建网络,由所述目标阴影重建网络对所述业务对象的阴影进行阴影重建,得到在所述视点i下处于所述目标光源下的所述业务对象的阴影重建图像;
基于在所述视点i下处于所述目标光源下的所述业务对象的阴影重建图像,确定与所述业务对象相关联的N个阴影重建图像,基于所述N个阴影重建图像得到所述业务对象的对象阴影重建模型;
其中,所述目标光效预估网络包括K个第二滤波编码器、第二特征拼接组件和第二解码器;K为大于1的正整数;所述K个第二滤波编码器中的每个第二滤波编码器的大小不同;所述K个第二滤波编码器中包括第二滤波编码器w;w为小于或等于K的正整数;
所述将所述目标光源和所述N个对象视图图像输入所述目标光效预估网络,由所述目标光效预估网络对所述N个对象视图图像进行光照预估处理,得到在所述视点i下处于所述目标光源下的所述业务对象的预测阴影特征图,包括:
通过所述第二滤波编码器w对所述N个对象视图图像进行第二编码处理,得到所述第二滤波编码器w对应的N个第二编码特征;一个对象视图图像用于编码得到一个第二编码特征;
基于所述第二滤波编码器w对应的N个第二编码特征,确定所述每个第二滤波编码器对应的N个第二编码特征;
在获取到所述目标光源的光源信息时,通过所述第二特征拼接组件对所述目标光源的光源信息和所述每个第二滤波编码器对应的N个第二编码特征进行第二特征拼接处理,得到第二拼接特征;
通过所述第二解码器对所述第二拼接特征进行第二解码处理,得到在所述视点i下处于所述目标光源下的所述业务对象的预测阴影特征图。
2.根据权利要求1所述的方法,其特征在于,所述目标场景重转换网络中包括结构提取组件和残差组件;
所述将所述N个对象视图图像输入所述目标场景重转换网络,由所述目标场景重转换网络对所述N个对象视图图像进行图像去阴影处理,得到在所述视点i下的所述业务对象的预测场景结构特征图,包括:
通过所述结构提取组件对所述N个对象视图图像进行去阴影处理,得到在所述视点i下的所述业务对象的初始场景结构特征图;
在获取到在所述视点i下处于所述目标光源下的所述业务对象的预测阴影特征图时,将所述初始场景结构特征图和所述预测阴影特征图输入至所述目标阴影重建网络,由所述目标阴影重建网络对所述业务对象的阴影进行阴影重建,得到在所述视点i下处于所述目标光源下的所述业务对象的初始重建图像;
将所述初始重建图像输入至所述残差组件,得到所述视点i下的对象视图图像与所述初始重建图像之间的残差信息,并通过所述残差信息对所述初始场景结构特征图进行特征修复处理,得到在所述视点i下的所述业务对象的预测场景结构特征图。
3.根据权利要求2所述的方法,其特征在于,所述结构提取组件包括P个第一滤波编码器、第一特征拼接组件和第一解码器;P为大于1的正整数;所述P个第一滤波编码器中的每个第一滤波编码器的大小不同;所述P个第一滤波编码器中包括第一滤波编码器q;q为小于或等于P的正整数;
所述通过所述结构提取组件对所述N个对象视图图像进行去阴影处理,得到在所述视点i下的所述业务对象的初始场景结构特征图,包括:
通过所述第一滤波编码器q对所述N个对象视图图像进行第一编码处理,得到所述第一滤波编码器q对应的N个第一编码特征;一个对象视图图像用于编码得到一个第一编码特征;
基于所述第一滤波编码器q对应的N个第一编码特征,确定所述每个第一滤波编码器对应的N个第一编码特征;
通过所述第一特征拼接组件对所述每个第一滤波编码器对应的N个第一编码特征进行第一特征拼接处理,得到第一拼接特征;
通过所述第一解码器对所述第一拼接特征进行第一解码处理,得到在所述视点i下的所述业务对象的初始场景结构特征图。
4.根据权利要求1所述的方法,其特征在于,所述目标阴影重建网络包括F个滤波器、通道校准组件;F为大于1的正整数;所述F个滤波器中的每个滤波器的大小不同;所述F个滤波器中包括滤波器e;e为小于或等于F的正整数;
所述将所述预测场景结构特征图和所述预测阴影特征图输入至所述目标阴影重建网络,由所述目标阴影重建网络对所述业务对象的阴影进行阴影重建,得到在所述视点i下处于所述目标光源下的所述业务对象的阴影重建图像,包括:
通过所述滤波器e对所述预测场景结构特征图和所述预测阴影特征图进行滤波处理,得到所述滤波器e对应的第一滤波特征和第二滤波特征;所述第一滤波特征为所述预测场景结构特征图对应的滤波特征;所述第二滤波特征为所述预测阴影特征图对应的滤波特征;
基于所述滤波器e对应的第一滤波特征和第二滤波特征,确定所述每个滤波器对应的第一滤波特征和第二滤波特征;
通过所述通道校准组件对所述每个滤波器对应的第一滤波特征和第二滤波特征进行特征融合处理,得到阴影重建特征,基于所述阴影重建特征得到所述阴影重建图像。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取待训练的样本动画模型;所述样本动画模型是由所述业务空间中的样本对象在M个视点下的M个样本视图图像所确定的;M为大于1的正整数;一个样本视图图像是在一个视点下对处于第一样本光源下的所述样本对象进行图像采集所得到的;所述第一样本光源为所述业务空间中的虚拟光源;所述M个视点包括目标样本视点;
获取用于对所述样本动画模型中的所述样本对象的阴影进行阴影重建的初始网络模型;
将所述M个样本视图图像输入至所述初始网络模型,由所述初始网络模型确定在所述目标样本视点下处于第二样本光源下的所述样本对象的样本阴影重建图像;所述第二样本光源为不同于所述第一样本光源的虚拟光源;
基于业务引擎获取所述样本对象在所述目标样本视点下处于所述第二样本光源下的参考阴影图像;
基于所述样本阴影重建图像、所述参考阴影图像对所述初始网络模型进行迭代训练,将迭代训练后的初始网络模型确定为所述目标网络模型。
6.根据权利要求5所述的方法,其特征在于,所述初始网络模型包括初始场景重转换网络、初始光效预估网络以及初始阴影重建网络;
所述将所述M个样本视图图像输入至所述初始网络模型,由所述初始网络模型确定在所述目标样本视点下处于第二样本光源下的所述样本对象的样本阴影重建图像,包括:
将所述M个样本视图图像输入所述初始场景重转换网络,由所述初始场景重转换网络对所述M个样本视图图像进行图像去阴影处理,得到在所述目标样本视点下的所述样本对象的样本场景结构特征图;
在将所述业务空间中的虚拟光源由所述第一样本光源转移至第二样本光源时,将所述第二样本光源和所述M个样本视图图像输入所述初始光效预估网络,由所述初始光效预估网络对所述M个样本视图图像进行光照预估处理,得到在所述目标样本视点下处于所述第二样本光源下的所述样本对象的样本阴影特征图;
将所述样本场景结构特征图和所述样本阴影特征图输入至所述初始阴影重建网络,由所述初始阴影重建网络对所述样本对象的阴影进行阴影重建,得到在所述目标样本视点下处于所述第二样本光源下的所述样本对象的样本阴影重建图像。
7.根据权利要求6所述的方法,其特征在于,所述基于所述样本阴影重建图像、所述参考阴影图像对所述初始网络模型进行迭代训练,将迭代训练后的初始网络模型确定为所述目标网络模型,包括:
获取所述样本对象在所述目标样本视点下的参考去阴影图像,基于所述样本场景结构特征图和所述参考去阴影图像,确定第一参考信息;
基于所述样本阴影特征图和所述参考阴影图像,确定第二参考信息;
基于所述样本阴影重建图像和所述参考阴影图像,确定第三参考信息;
基于所述第一参考信息、所述第二参考信息和所述第三参考信息对所述初始网络模型进行迭代训练,将迭代训练后的初始网络模型确定为所述目标网络模型。
8.根据权利要求7所述的方法,其特征在于,所述获取所述样本对象在所述目标样本视点下的参考去阴影图像,包括:
在所述业务空间中,获取所述样本对象在所述目标样本视点下处于T个曝光光源下的T个曝光视图图像;T为大于1的正整数;一个曝光光源对应一个曝光视图图像;
基于所述T个曝光视图图像中的每个像素的像素信息确定所述T个曝光视图图像中的每个像素的像素权重;
基于所述T个曝光视图图像中的每个像素的像素权重对所述T个曝光视图图像进行曝光融合处理,得到所述样本对象在所述目标样本视点下的参考去阴影图像。
9.根据权利要求7所述的方法,其特征在于,所述基于所述样本场景结构特征图和所述参考去阴影图像,确定第一参考信息,包括:
将所述样本场景结构特征图输入至目标重转换鉴别器,得到所述样本场景结构特征图对应的第一鉴别概率,所述样本场景结构特征图对应的第一鉴别概率用于指示所述样本场景结构特征图为真实去阴影图像的概率;
基于所述样本场景结构特征图与所述参考去阴影图像之间的图像误差,和所述样本场景结构特征图对应的第一鉴别概率确定第一参考信息。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
获取用于训练初始重转换鉴别器的样本参考去阴影图像,以及基于所述初始场景重转换网络得到的样本生成结构图像;所述样本参考去阴影图像是基于采集到的所述样本对象的多个曝光视图图像进行曝光融合处理得到的;
将所述样本参考去阴影图像输入至所述初始重转换鉴别器,得到所述样本参考去阴影图像对应的第一鉴别概率;所述样本参考去阴影图像对应的第一鉴别概率用于指示所述样本参考去阴影图像为真实去阴影图像的概率;
将所述样本生成结构图像输入至所述初始重转换鉴别器,得到所述样本生成结构图像对应的第一鉴别概率;所述样本生成结构图像对应的第一鉴别概率用于指示所述样本生成结构图像为真实去阴影图像的概率;
基于所述样本参考去阴影图像对应的第一鉴别概率和所述样本生成结构图像对应的第一鉴别概率,对所述初始重转换鉴别器进行迭代训练,将迭代训练后的初始重转换鉴别器确定为所述目标重转换鉴别器。
11.根据权利要求7所述的方法,其特征在于,所述基于所述样本阴影特征图和所述参考阴影图像,确定第二参考信息,包括:
将所述样本阴影特征图输入至目标阴影鉴别器,得到所述样本阴影特征图对应的第二鉴别概率,所述样本阴影特征图对应的第二鉴别概率用于指示所述样本阴影特征图为真实阴影图像的概率;
获取基于目标重转换鉴别器确定的所述样本场景结构特征图对应的第一鉴别概率;所述样本场景结构特征图对应的第一鉴别概率用于指示所述样本场景结构特征图为真实去阴影图像的概率;
基于所述参考阴影图像与所述样本阴影特征图之间的图像误差、所述样本阴影特征图对应的第二鉴别概率和所述样本场景结构特征图对应的第一鉴别概率,确定第二参考信息。
12.根据权利要求11所述的方法,其特征在于,所述方法还包括:
获取用于训练初始阴影鉴别器的样本参考阴影图像,以及基于所述初始光效预估网络得到的样本生成阴影图像;所述样本参考阴影图像是对所述样本对象进行图像采集得到的;
将所述样本参考阴影图像输入至所述初始阴影鉴别器,得到所述样本参考阴影图像所对应的第二鉴别概率;所述样本参考阴影图像对应的第二鉴别概率用于指示所述样本参考阴影图像为真实阴影图像的概率;
将所述样本生成阴影图像输入至所述初始阴影鉴别器,得到所述样本生成阴影图像所对应的第二鉴别概率;所述样本生成阴影图像对应的第二鉴别概率用于指示所述样本生成阴影图像为真实阴影图像的概率;
基于所述样本参考阴影图像所对应的第二鉴别概率和所述样本生成阴影图像所对应的第二鉴别概率,对所述初始阴影鉴别器进行迭代训练,将迭代训练后的初始阴影鉴别器确定为所述目标阴影鉴别器。
13.根据权利要求7所述的方法,其特征在于,所述基于所述样本阴影重建图像和所述参考阴影图像,确定第三参考信息,包括:
获取预训练的特征提取网络;
通过所述特征提取网络对所述参考阴影图像进行特征提取处理,得到所述参考阴影图像所对应的参考图像特征;
通过所述特征提取网络对所述样本阴影重建图像进行特征提取处理,得到所述样本阴影重建图像所对应的重建图像特征;
基于所述参考阴影图像中的像素点与所述样本阴影重建图像相同像素位置上的像素点之间的像素误差确定所述参考阴影图像与所述样本阴影重建图像之间的目标图像误差;
将所述参考图像特征和所述重建图像特征之间的特征误差确定为目标特征误差;
基于所述目标图像误差和所述目标特征误差,确定第三参考信息。
14.一种图像处理装置,其特征在于,所述装置包括:
动画模型获取模块,用于获取携带渲染失败标识的业务动画模型;所述业务动画模型是由业务空间中的业务对象在N个视点下的N个对象视图图像所确定的;N为大于1的正整数;一个对象视图图像是在一个视点下对处于初始光源下的所述业务对象进行图像采集所得到的;所述初始光源为所述业务空间中的虚拟光源;所述N个视点包括视点i;i为小于或等于N的正整数;
网络模型获取模块,用于获取用于对所述业务动画模型中的所述业务对象的阴影进行阴影重建的目标网络模型;所述目标网络模型包括目标场景重转换网络、目标光效预估网络以及目标阴影重建网络;
去阴影模块,用于将所述N个对象视图图像输入所述目标场景重转换网络,由所述目标场景重转换网络对所述N个对象视图图像进行图像去阴影处理,得到在所述视点i下的所述业务对象的预测场景结构特征图;
光效估计模块,用于在将所述业务空间中的虚拟光源由所述初始光源转移至目标光源时,将所述目标光源和所述N个对象视图图像输入所述目标光效预估网络,由所述目标光效预估网络对所述N个对象视图图像进行光照预估处理,得到在所述视点i下处于所述目标光源下的所述业务对象的预测阴影特征图;
阴影重建模块,用于将所述预测场景结构特征图和所述预测阴影特征图输入至所述目标阴影重建网络,由所述目标阴影重建网络对所述业务对象的阴影进行阴影重建,得到在所述视点i下处于所述目标光源下的所述业务对象的阴影重建图像;
模型重建模块,用于基于在所述视点i下处于所述目标光源下的所述业务对象的阴影重建图像,确定与所述业务对象相关联的N个阴影重建图像,基于所述N个阴影重建图像得到所述业务对象的对象阴影重建模型;
其中,所述目标光效预估网络包括K个第二滤波编码器、第二特征拼接组件和第二解码器;K为大于1的正整数;所述K个第二滤波编码器中的每个第二滤波编码器的大小不同;所述K个第二滤波编码器中包括第二滤波编码器w;w为小于或等于K的正整数;
所述光效估计模块包括:
滤波编码单元,用于通过所述第二滤波编码器w对所述N个对象视图图像进行第二编码处理,得到所述第二滤波编码器w对应的N个第二编码特征;一个对象视图图像用于编码得到一个第二编码特征;
滤波编码单元,还用于基于所述第二滤波编码器w对应的N个第二编码特征,确定所述每个第二滤波编码器对应的N个第二编码特征;
特征拼接单元,用于在获取到所述目标光源的光源信息时,通过所述第二特征拼接组件对所述目标光源的光源信息和所述每个第二滤波编码器对应的N个第二编码特征进行第二特征拼接处理,得到第二拼接特征;
特征解码单元,用于通过所述第二解码器对所述第二拼接特征进行第二解码处理,得到在所述视点i下处于所述目标光源下的所述业务对象的预测阴影特征图。
15.一种计算机设备,其特征在于,包括:处理器和存储器;
所述处理器与所述存储器相连,其中,所述存储器用于存储计算机程序,所述处理器用于调用所述计算机程序,以使所述计算机设备执行权利要求1-13任一项所述的方法。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,该计算机程序适于由处理器加载并执行,以使具有所述处理器的计算机设备执行权利要求1-13任一项所述的方法。
CN202311144609.1A 2023-09-06 2023-09-06 图像处理方法、装置及相关设备 Active CN116883578B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311144609.1A CN116883578B (zh) 2023-09-06 2023-09-06 图像处理方法、装置及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311144609.1A CN116883578B (zh) 2023-09-06 2023-09-06 图像处理方法、装置及相关设备

Publications (2)

Publication Number Publication Date
CN116883578A CN116883578A (zh) 2023-10-13
CN116883578B true CN116883578B (zh) 2023-12-19

Family

ID=88260885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311144609.1A Active CN116883578B (zh) 2023-09-06 2023-09-06 图像处理方法、装置及相关设备

Country Status (1)

Country Link
CN (1) CN116883578B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252787B (zh) * 2023-11-17 2024-02-02 北京渲光科技有限公司 图像重新照明方法、模型训练方法、装置、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021103137A1 (zh) * 2019-11-28 2021-06-03 浙江大学 室内场景光照估计模型、方法、装置、存储介质以及渲染方法
CN113240622A (zh) * 2021-03-12 2021-08-10 清华大学 人体场景图像本征分解与重光照方法和装置
CN114998507A (zh) * 2022-06-07 2022-09-02 天津大学 一种基于自监督学习的光度立体三维重建方法
CN115131492A (zh) * 2022-04-12 2022-09-30 腾讯科技(深圳)有限公司 目标对象的重光照方法、装置及存储介质和背景替换方法
CN115375589A (zh) * 2022-10-25 2022-11-22 城云科技(中国)有限公司 一种去除图像阴影模型及其构建方法、装置及应用
CN115578497A (zh) * 2022-10-25 2023-01-06 天津大学 一种基于gan网络的图像场景重光照的网络结构及方法
CN116051717A (zh) * 2022-11-28 2023-05-02 西北工业大学 一种基于生成对抗网络的三维图形重光照生成方法
CN116385305A (zh) * 2023-04-11 2023-07-04 思腾合力(天津)科技有限公司 基于跨区域Transformer的神经辐射场的图像去阴影方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9454845B2 (en) * 2013-03-14 2016-09-27 Dreamworks Animation Llc Shadow contouring process for integrating 2D shadow characters into 3D scenes
GB2526838B (en) * 2014-06-04 2016-06-01 Imagination Tech Ltd Relightable texture for use in rendering an image

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021103137A1 (zh) * 2019-11-28 2021-06-03 浙江大学 室内场景光照估计模型、方法、装置、存储介质以及渲染方法
CN113240622A (zh) * 2021-03-12 2021-08-10 清华大学 人体场景图像本征分解与重光照方法和装置
CN115131492A (zh) * 2022-04-12 2022-09-30 腾讯科技(深圳)有限公司 目标对象的重光照方法、装置及存储介质和背景替换方法
CN114998507A (zh) * 2022-06-07 2022-09-02 天津大学 一种基于自监督学习的光度立体三维重建方法
CN115375589A (zh) * 2022-10-25 2022-11-22 城云科技(中国)有限公司 一种去除图像阴影模型及其构建方法、装置及应用
CN115578497A (zh) * 2022-10-25 2023-01-06 天津大学 一种基于gan网络的图像场景重光照的网络结构及方法
CN116051717A (zh) * 2022-11-28 2023-05-02 西北工业大学 一种基于生成对抗网络的三维图形重光照生成方法
CN116385305A (zh) * 2023-04-11 2023-07-04 思腾合力(天津)科技有限公司 基于跨区域Transformer的神经辐射场的图像去阴影方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Shadow removal of spacecraft images with multi-illumination angles image fusion;Ao Xiang et al;Aerospace Science and Technology;第1-14页 *

Also Published As

Publication number Publication date
CN116883578A (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN109003325A (zh) 一种三维重建的方法、介质、装置和计算设备
EP3242275A1 (en) Using photo collections for three dimensional modeling
CN113012282A (zh) 三维人体重建方法、装置、设备及存储介质
CN112837406B (zh) 一种三维重建方法、装置及系统
CN116883578B (zh) 图像处理方法、装置及相关设备
CN110246209B (zh) 图像处理方法及装置
CN116109798A (zh) 图像数据处理方法、装置、设备及介质
CN114511778A (zh) 图像处理方法及装置
CN110458924B (zh) 一种三维脸部模型建立方法、装置和电子设备
CN115330947A (zh) 三维人脸重建方法及其装置、设备、介质、产品
CN112950769A (zh) 三维人体重建方法、装置、设备及存储介质
US11823415B2 (en) 3D pose estimation in robotics
CN113705295A (zh) 对象姿态迁移方法、装置、设备及存储介质
CN115984447A (zh) 图像渲染方法、装置、设备和介质
CN115375828A (zh) 模型的阴影生成方法、装置、设备、介质
CN111402118A (zh) 图像替换方法、装置、计算机设备和存储介质
CN116740261A (zh) 图像重建方法和装置、图像重建模型的训练方法和装置
CN114429531A (zh) 虚拟视点图像的生成方法及装置
CN117094895B (zh) 图像全景拼接方法及其系统
CN116385622B (zh) 云图处理方法、装置、计算机及可读存储介质
CN115039137A (zh) 基于亮度估计渲染虚拟对象的方法、用于训练神经网络的方法以及相关产品
CN115965736A (zh) 图像处理方法、装置、设备及存储介质
Englert et al. Enhancing the ar experience with machine learning services
CN111243099A (zh) 一种处理图像的方法和装置以及在ar设备中显示图像的方法和装置
CN117173314B (zh) 一种图像处理方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40098468

Country of ref document: HK