CN115760888A - 图像处理方法、装置、计算机及可读存储介质 - Google Patents

图像处理方法、装置、计算机及可读存储介质 Download PDF

Info

Publication number
CN115760888A
CN115760888A CN202111027744.9A CN202111027744A CN115760888A CN 115760888 A CN115760888 A CN 115760888A CN 202111027744 A CN202111027744 A CN 202111027744A CN 115760888 A CN115760888 A CN 115760888A
Authority
CN
China
Prior art keywords
information
plane
image
spatial
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111027744.9A
Other languages
English (en)
Inventor
赵艳丹
曹玮剑
葛彦昊
朱俊伟
汪铖杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202111027744.9A priority Critical patent/CN115760888A/zh
Publication of CN115760888A publication Critical patent/CN115760888A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、计算机及可读存储介质,该方法包括:获取图像样本,识别图像样本中的关键部位对象的平面坐标信息,识别关键部位对象的空间部位信息;在初始空间部位重建模型中,识别空间部位信息的空间轮廓坐标信息,对空间部位信息进行光栅化处理,得到投影相机参数,基于投影相机参数对空间轮廓坐标信息进行平面投影处理,得到投影坐标信息;根据平面坐标信息及投影坐标信息生成第一损失函数,根据空间部位信息生成第二损失函数;基于第一损失函数及第二损失函数对初始空间部位重建模型进行参数调整,得到空间部位重建模型。采用本申请,可以提高图像处理的准确性。

Description

图像处理方法、装置、计算机及可读存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种图像处理方法、装置、计算机及可读存储介质。
背景技术
随着三维(3-dimension,3D)扫描技术的发展以及人脸重建技术的进步,对人脸重建的应用越来越广泛。其中,人脸重建是一种对人脸二维图像中人脸的三维结构进行恢复的过程,一般情况下,会识别图像中人脸的稀疏的人脸3D特征点作为监督信息以及真值3D特征点,基于人脸3D特征点与真值3D特征点对图像中的人脸进行监督调整,生成该人脸对应的3D人脸模型,由于图像层面的二维与三维之间存在一定的差异,使得该3D人脸模型与图像中的人脸之间可能会存在差异,从而导致该3D人脸模型的建模准确性较低。
发明内容
本申请实施例提供了一种图像处理方法、装置、计算机及可读存储介质,可以提高对图像处理的准确性及检测效率。
本申请实施例一方面提供了一种图像处理方法,该方法包括:
获取图像样本,识别图像样本中的关键部位对象的平面坐标信息,识别关键部位对象的空间部位信息;
在初始空间部位重建模型中,识别空间部位信息的空间轮廓坐标信息,对空间部位信息进行光栅化处理,得到投影相机参数,基于投影相机参数对空间轮廓坐标信息进行平面投影处理,得到投影坐标信息;
根据平面坐标信息及投影坐标信息生成第一损失函数,根据空间部位信息生成第二损失函数;
基于第一损失函数及第二损失函数对初始空间部位重建模型进行参数调整,得到空间部位重建模型;空间部位重建模型用于对目标图像中的目标关键部位对象进行重渲染处理。
本申请实施例一方面提供了一种图像处理装置,该装置包括:
样本获取模块,用于获取图像样本;
平面坐标识别模块,用于识别图像样本中的关键部位对象的平面坐标信息;
部位识别模块,用于识别关键部位对象的空间部位信息;
空间坐标识别模块,用于在初始空间部位重建模型中,识别空间部位信息的空间轮廓坐标信息;
图像投影模块,用于对空间部位信息进行光栅化处理,得到投影相机参数,基于投影相机参数对空间轮廓坐标信息进行平面投影处理,得到投影坐标信息;
第一损失生成模块,用于根据平面坐标信息及投影坐标信息生成第一损失函数;
第二损失生成模块,用于根据空间部位信息生成第二损失函数;
模型调整模块,用于基于第一损失函数及第二损失函数对初始空间部位重建模型进行参数调整,得到空间部位重建模型;空间部位重建模型用于对目标图像中的目标关键部位对象进行重渲染处理。
其中,该平面坐标识别模块,包括:
平面解析单元,用于识别图像样本中的关键部位对象的平面部位特征,对平面部位特征进行解析,得到关键部位对象所对应的平面轮廓点;
平面掩膜识别单元,用于根据平面轮廓点从图像样本中,识别关键部位对象的平面掩膜图像;
平面坐标获取单元,用于从平面掩膜图像中获取关键部位对象的平面坐标信息。
其中,该平面掩膜识别单元,包括:
轮廓连接子单元,用于将平面轮廓点进行连接处理,得到平面轮廓线,基于图像样本生成初始掩膜图像;
像素更新子单元,用于将初始掩膜图像中位于平面轮廓线所指示的第一区域的第一像素点的值更新为第一默认像素值,将位于平面轮廓线所指示的第二区域的第二像素点的值更新为第二默认像素值;第一区域是指平面轮廓线所围成的区域,第二区域是指初始掩膜图像中除第一区域之外的区域;
平面掩膜确定子单元,用于将更新后的初始掩膜图像确定为关键部位对象的平面掩膜图像。
其中,该平面坐标获取单元,包括:
图像扫描子单元,用于对平面掩膜图像进行逐行扫描,获取平面掩膜图像中每一个平面像素行所包括的掩膜像素点的像素值;平面掩膜图像包括d个平面像素行,d为正整数;
表征确定子单元,用于获取第i个平面像素行中像素值属于轮廓像素范围的目标掩膜像素点,根据目标掩膜像素点在第i个平面像素行中所处的平面像素列,以及第i个平面像素行,确定第i个平面像素行所对应的表征坐标;i为小于或等于d的正整数;
坐标确定子单元,用于根据d个平面像素行分别对应的表征坐标,确定关键部位对象的平面坐标信息。
其中,该空间坐标识别模块,包括:
平面获取单元,用于识别图像样本中的关键部位对象的平面部位特征,对平面部位特征进行解析,得到关键部位对象所对应的平面轮廓点;
梯形生成单元,用于获取平面轮廓点的起始轮廓点及终止轮廓点,根据起始轮廓点、终止轮廓点、图像样本的第一图像顶点及第二图像顶点,生成图像样本对应的梯形掩膜图像;
渲染获取单元,用于在初始空间部位重建模型中,获取空间部位信息的渲染面掩膜图像;
空间确定单元,用于将梯形掩膜图像及渲染面掩膜图像进行合并处理,得到关键部位对象的空间轮廓线,基于空间轮廓线确定空间部位信息对应的空间轮廓坐标信息。
其中,该图像投影模块,包括:
面片获取单元,用于采用可微分渲染器对空间部位信息进行光栅化,得到空间部位信息中的每个空间像素点的面片信息;
参数生成单元,用于采用球谐函数生成面片信息对应的投影相机参数;
投影确定单元,用于基于投影相机参数对空间部位信息进行平面投影处理,得到投影后的投影坐标信息。
其中,该部位识别模块,包括:
参数获取单元,用于在初始空间部位重建模型中,获取关键部位对象的空间部位参数;
平均获取单元,用于获取平均部位模型;
空间调整单元,用于将空间部位参数添加至平均部位模型中,得到关键部位对象的空间部位信息。
其中,空间部位参数包括形状参数;
该空间调整单元,包括:
形状获取子单元,用于获取形状参数中的身份参数及部位属性参数,识别关键部位对象与平均部位模型之间的身份基向量及部位属性基向量;
形状偏移子单元,用于根据身份参数与身份基向量生成身份偏移信息,根据部位属性参数与部位属性基向量生成部位属性偏移信息;
形状生成子单元,用于获取平均部位模型中的平均形状部位模型,在平均形状部位模型中添加身份偏移信息及部位属性偏移信息,生成关键部位对象的空间形状信息;
信息确定子单元,用于根据空间形状信息确定关键部位对象的空间部位信息。
其中,投影相机参数包括空间部位参数及光照参数;
在基于投影相机参数对空间轮廓坐标信息进行平面投影处理,得到投影坐标信息时,该图像投影模块包括:
尺度识别单元,用于识别关键部位对象与空间形状信息之间的尺度变化信息,获取投影矩阵;投影矩阵是指用于将关键部位对象由空间投影至平面的矩阵;
方向获取单元,用于识别关键部位对象的部位方向信息,获取部位方向信息与参考方向信息之间的方向偏移信息;参考方向信息是指平均部位模型所指示的关键部位对象的方向信息;
平面生成单元,用于根据空间形状信息、尺度变化信息、投影矩阵及方向偏移信息,确定关键部位对象的初始平面图像;
位置偏移单元,用于识别图像样本中的关键部位对象与基准位置点之间的位置偏移信息,在初始平面图像中添加位置偏移信息,得到平面投影信息;基准位置点是指图像样本中的基准像素点;
光照渲染单元,用于采用光照参数对平面投影信息进行模拟光照渲染,得到投影坐标信息。
其中,空间部位参数包括纹理参数;
该空间调整单元,包括:
纹理偏移子单元,用于获取纹理基数据,将纹理基数据与纹理参数的乘积确定为纹理偏移信息;
纹理生成子单元,用于获取平均部位模型中的平均纹理信息,将纹理偏移信息添加至平均纹理信息中,得到空间纹理信息;
该信息确定子单元,还用于根据空间纹理信息确定关键部位对象的空间部位信息。
其中,第二损失函数包括L2损失函数;
该第二损失生成模块,包括:
特征点获取单元,用于在初始空间部位重建模型中,识别图像样本中的关键部位对象的空间特征点,获取图像样本所对应的真值特征点;
第一损失生成单元,用于根据空间特征点与真值特征点之间的差异信息,确定L2损失函数。
其中,第二损失函数包括像素损失函数;
该第二损失生成模块,包括:
重渲染单元,用于采用可微分渲染器对空间部位信息进行重渲染处理,得到重渲染图像;
像素差异单元,用于获取重渲染图像的重渲染像素点与图像样本的样本像素点之间的像素差值信息;
第二损失生成单元,用于识别图像样本的皮肤检测数据,基于像素差值信息与皮肤检测数据之间的点乘结果,确定像素损失函数。
其中,该装置还包括:
素材渲染模块,用于获取第一素材图像,通过空间部位重建模型识别第一素材图像中的第一关键部位对象,对第一关键部位对象进行重渲染处理,得到第一关键部位对象对应的平面关键部位图像;
目标调整模块,用于识别目标图像中的目标关键部位对象,基于平面关键部位图像对目标图像中的目标关键部位对象进行调整,得到更新关键部位对象,基于更新关键部位对象生成第二素材图像;更新关键部位对象的平面轮廓与平面关键部位图像的平面轮廓之间的相似度,大于或等于轮廓相似阈值。
本申请实施例一方面提供了一种计算机设备,包括处理器、存储器、输入输出接口;
处理器分别与存储器和输入输出接口相连,其中,输入输出接口用于接收数据及输出数据,存储器用于存储计算机程序,处理器用于调用该计算机程序,以使包含该处理器的计算机设备执行本申请实施例一方面中的图像处理方法。
本申请实施例一方面提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,该计算机程序适于由处理器加载并执行,以使得具有该处理器的计算机设备执行本申请实施例一方面中的图像处理方法。
本申请实施例一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例一方面中的各种可选方式中提供的方法。换句话说,该计算机指令被处理器执行时实现本申请实施例一方面中的各种可选方式中提供的方法。
实施本申请实施例,将具有如下有益效果:
在本申请实施例中,获取图像样本,识别图像样本中的关键部位对象的平面坐标信息,识别关键部位对象的空间部位信息;在初始空间部位重建模型中,识别空间部位信息的空间轮廓坐标信息,对空间部位信息进行光栅化处理,得到投影相机参数,基于投影相机参数对空间轮廓坐标信息进行平面投影处理,得到投影坐标信息;根据平面坐标信息及投影坐标信息生成第一损失函数,根据空间部位信息生成第二损失函数;基于第一损失函数及第二损失函数对初始空间部位重建模型进行参数调整,得到空间部位重建模型;空间部位重建模型用于对目标图像中的目标关键部位对象进行重渲染处理。通过上述过程,在对图像样本进行空间重建时,会对该图像样本中的关键部位对象进行重渲染后得到的投影坐标信息,与对该图像样本的关键部位对象直接识别得到的平面坐标信息进行对比,根据对比结果对空间部位重建模型进行参数调整,而该投影坐标信息可以用于表示该图像样本中的关键部位对象进行空间重建及平面重渲染后的轮廓信息,该平面坐标信息用于表示图像样本中的关键部位对象的平面轮廓,使得可以对关键部位对象进行空间重建后的模型的轮廓与该关键部位对象的平面轮廓进行约束,以使该空间重建后的模型在重渲染后的轮廓可以尽可能地趋近于原始的平面轮廓,从而减少图像层面的2D轮廓与三维结构的3D轮廓之间的歧义,有效提高关键部位对象的空间重建精度及图像处理的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像处理的网络交互架构图;
图2是本申请实施例提供的一种图像处理场景示意图;
图3是本申请实施例提供的一种图像处理的方法流程图;
图4是本申请实施例提供的一种第一损失函数生成场景示意图;
图5是本申请实施例提供了一种图像处理方法的具体流程示意图;
图6是本申请实施例提供的一种平面坐标信息获取场景示意图;
图7是本申请实施例提供的一种空间重建训练场景示意图;
图8是本申请实施例提供的一种梯形掩膜图像生成场景示意图;
图9是本申请实施例提供的一种部位重建场景示意图;
图10是本申请实施例提供的一种图像处理装置示意图;
图11是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请实施例中,请参见图1,图1是本申请实施例提供的一种图像处理的网络交互架构图,本申请实施例可以由计算机设备101实现。其中,该计算机设备101可以用于对空间部位重建模型进行调整,可选的,该计算机设备可以是终端设备,也可以是应用平台所对应的设备等,在此不做限制。其中,计算机设备101可以与一个或至少两个目标设备(如目标设备102a、目标设备102b及目标设备102c等)之间进行数据交互,可选的,计算机设备101可以从任意一个或多个目标设备中获取图像样本,也可以从计算机设备101中获取图像样本,基于图像样本对初始空间部位重建模型进行参数调整,生成空间部位重建模型;或者,可以对用于识别该图像样本的空间部位信息的参数进行参数调整,使得对该图像样本进行空间重建处理后得到的空间部位信息在投影至平面维度时,可以尽可能地趋近于该图像样本本身的平面坐标信息等。可选的,计算机设备101可以直接获取图像样本,基于图像样本对初始空间部位重建模型进行参数调整,生成空间部位重建模型;或者,计算机设备101可以接收目标设备针对图像样本的空间重建请求,基于该空间重建请求对图像样本进行空间重建处理,并基于该图像样本的关键部位对象的平面坐标信息及空间部位信息所投影得到的投影坐标信息,对该空间部位信息进行调整,得到最终的图像重建结果,将该图像重建结果发送至发送该空间重建请求的目标设备;或者,计算机设备101可以获取图像样本,基于图像样本对初始空间部位重建模型进行参数调整,得到空间部位重建模型,将该空间部位重建模型添加至应用平台等。可选的,计算机设备101还可以在其他应用场景下实现本申请中的方案,在此不做限制。
具体的,请参见图2,图2是本申请实施例提供的一种图像处理场景示意图。如图2所示,计算机设备可以获取图像样本201,识别该图像样本201中的关键部位对象的平面坐标信息,该平面坐标信息可以认为是该图像样本201中的关键部位对象在二维平面上所对应的坐标信息,如关键部位对象的平面像素点或平面轮廓点等的坐标信息等。进一步地,计算机设备可以识别该关键部位对象的空间部位信息,可选的,计算机设备可以对该图像样本中的关键部位对象进行空间重建处理,得到该关键部位对象的空间部位信息。计算机设备可以在初始空间部位重建模型中,识别该空间部位信息的空间轮廓坐标信息,对空间部位信息进行光栅化处理,得到投影相机参数,基于该投影相机参数对空间轮廓坐标信息进行平面投影处理,得到投影坐标信息。计算机设备可以基于投影坐标信息及平面坐标信息生成第一损失函数,可以基于空间部位信息生成第二损失函数,基于第一损失函数及第二损失函数对初始空间部位重建模型进行参数调整,生成空间部位重建模型。其中,计算机设备可以基于该第一损失函数对图像样本中的关键部位对象在空间重建后得到的空间部位信息,以及平面坐标信息进行约束调整,使得该空间部位信息在平面维度上趋近于该平面坐标信息;可以基于第二损失函数对关键部位对象的空间重建过程进行参数调整,使得对该关键部位对象进行空间重建处理得到的空间部位信息更为准确,进而可以提高对关键部位对象的空间重建过程在平面及空间等维度上的准确性。
可以理解的是,本申请实施例中所提及的目标设备可以是一种计算机设备,本申请实施例中的计算机设备包括但不限于终端设备或服务器。换句话说,计算机设备可以是服务器或终端设备,也可以是服务器和终端设备组成的系统。其中,以上所提及的终端设备可以是一种电子设备,包括但不限于手机、平板电脑、台式电脑、笔记本电脑、掌上电脑、车载设备、增强现实/虚拟现实(Augmented Reality/Virtual Reality,AR/VR)设备、头盔显示器、智能电视、可穿戴设备、智能音箱、数码相机、摄像头及其他具备网络接入能力的移动互联网设备(mobile internet device,MID),或者火车、轮船、飞行等场景下的终端设备等。其中,以上所提及的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、车路协同、内容分发网络(ContentDelivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
可选的,本申请实施例中所涉及的数据可以存储在计算机设备中,或者可以基于云存储技术或区块链网络对该数据进行存储,在此不做限制。
可选的,本申请可以采用人工智能领域中的机器学习技术,实现图像去噪处理过程。
其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。如本申请中对初始空间部位重建模型的参数调整,以及对空间部位重建模型的使用等。
进一步地,请参见图3,图3是本申请实施例提供的一种图像处理的方法流程图。如图3所示,该图像处理过程包括如下步骤:
步骤S301,获取图像样本,识别图像样本中的关键部位对象的平面坐标信息,识别关键部位对象的空间部位信息。
在本申请实施例中,计算机设备可以获取图像样本,其中,计算机设备可以从图像库中获取图像样本,也可以从目标设备中获取图像样本,或者,可以从互联网中、云存储空间或区块链网络等中获取图像样本,在此不做限制。其中,该图像样本是指包括关键部位对象的图像,也就是说,将包括关键部位对象的图像确定为图像样本;或者,计算机设备可以获取图像样本,检测该图像样本中是否包括关键部位对象,若不包括关键部位对象,则删除该图像样本,若包括关键部位对象,则识别图像样本中的关键部位的平面坐标信息。其中,该关键部位对象是指存在空间结构,可以以平面进行显示的部位对象,例如,该关键部位对象可以是脸部对象、手部对象或肩部对象等,在此不做限制。进一步地,计算机设备可以识别该图像样本中的关键部位对象的平面轮廓点,基于该平面轮廓点确定该关键部位对象的平面坐标信息。进一步地,计算机设备可以对该图像样本中的关键部位对象进行空间重建处理,得到该关键部位对象所对应的空间部位信息,具体的,计算机设备可以在初始空间部位重建模型中,对该图像样本中的关键部位对象进行空间重建处理,得到该关键部位对象的空间部位信息。其中,该空间部位信息可以认为是用于表示该关键部位对象的空间结构及多层次的数据信息的空间模型。
举例来说,请参见图4,图4是本申请实施例提供的一种第一损失函数生成场景示意图。如图4所示,计算机设备可以获取图像样本401,识别该图像样本401中关键部位对象所对应的平面轮廓点4011,根据平面轮廓点4011从图像样本中,识别关键部位对象的平面掩膜图像402,从平面掩膜图像402中获取关键部位对象的平面坐标信息。进一步地,计算机设备可以识别关键部位对象的空间部位信息403。
步骤S302,在初始空间部位重建模型中,识别空间部位信息的空间轮廓坐标信息,对空间部位信息进行光栅化处理,得到投影相机参数,基于投影相机参数对空间轮廓坐标信息进行平面投影处理,得到投影坐标信息。
在本申请实施例中,计算机设备可以在初始空间部位重建模型中,识别该空间部位信息所对应的渲染面掩膜图像,该渲染面掩膜图像的尺寸与图像样本的尺寸相同。基于该关键部位对象的平面轮廓点对该渲染面掩膜图像进行轮廓约束,得到该空间部位信息的空间轮廓坐标信息。进一步地,可以采用可微分渲染器对空间部位信息进行光栅化处理,得到投影相机参数,该投影相机参数是指用于将空间部位信息由空间投影至平面的参数,具体的,可以基于该投影相机参数对空间轮廓坐标信息进行平面投影处理,得到投影坐标信息,该投影坐标信息可以用于表示对空间部位信息进行重渲染后得到的平面坐标等信息。
具体的,如图4所示,计算机设备可以根据平面轮廓点4011生成图像样本401对应的梯形掩膜图像404;采用可微分渲染器获取空间部位信息403的渲染面掩膜图像405,对梯形掩膜图像404与渲染面掩膜图像405进行整合,得到空间部位信息403对应的空间轮廓坐标信息。进一步,可以采用可微分渲染器对空间部位信息403进行光栅化处理,得到投影相机参数,基于投影相机参数对空间轮廓坐标信息进行平面投影处理,得到投影坐标信息。
步骤S303,根据平面坐标信息及投影坐标信息生成第一损失函数,根据空间部位信息生成第二损失函数。
在本申请实施例中,计算机设备可以根据平面坐标信息及投影坐标信息生成第一损失函数,该第一损失函数可以是平面坐标信息与投影坐标信息之间的平方损失函数、均值损失函数或交叉熵损失函数等,在此不做限制。举例来说,计算机设备可以基于平面坐标信息的平面坐标点与投影坐标信息中的投影坐标点之间的位置对应关系,获取平面坐标点的坐标信息与投影坐标点的坐标信息之间的差值,根据平面坐标点的坐标信息与投影坐标点的坐标信息之间的差值,生成第一损失函数。如图4所示,计算机设备可以根据平面坐标信息及投影坐标信息生成第一损失函数。计算机设备可以基于空间部位信息及该空间部位信息所对应的空间部位真值,生成第二损失函数。其中,该第一损失函数可以对关键部位对象在空间重建后得到的空间部位信息进行平面轮廓约束,也就是说,使得该空间部位信息在重渲染成平面图像后,可以更趋近于该关键部位对象本身的平面坐标信息,减少图像层面的平面轮廓与空间结构的空间轮廓之间的歧义对空间重建等造成的影响;该第二损失函数可以表示对关键部位对象进行空间重建的准确率。
步骤S304,基于第一损失函数及第二损失函数对初始空间部位重建模型进行参数调整,得到空间部位重建模型。
在本申请实施例中,计算机设备可以基于第一损失函数及第二损失函数对初始空间部位重建模型进行参数调整,得到空间部位重建模型。可选的,计算机设备可以基于该空间部位重建模型对该关键部位对象进行再次空间重建处理,即,再次执行上述步骤S301至步骤S304,对该空间部位重建模型进行优化,直至该第一损失函数与第二损失函数满足参数优化条件,得到优化后的空间部位重建模型。其中,该空间部位重建模型可以用于对目标图像中的目标关键部位对象进行空间重建处理,可以用于对目标关键对象进行重渲染处理。
在本申请实施例中,计算机设备可以获取图像样本,基于图像样本中关键部位对象的平面坐标信息,以及空间重建处理后得到的空间部位信息所对应的投影坐标信息,对初始空间部位重建模型进行参数调整,以约束该空间部位信息在平面维度上的轮廓,减少了空间部位信息在平面维度上与平面坐标信息之间的差异,进而减少空间部位信息在空间结构上的轮廓与关键部位对象在平面层次上的轮廓之间的歧义,有效提高关键部位对象的空间重建精度及图像处理的准确性。
进一步地,可以参见图5,图5是本申请实施例提供的一种图像处理方法的具体流程示意图。如图5所示,该方法包括如下过程:
步骤S501,获取图像样本,识别图像样本中的关键部位对象的平面坐标信息。
在本申请实施例中,计算机设备可以获取图像样本,识别该图像样本中的关键部位对象,在该图像样本中获取该关键部位对象的平面轮廓点,基于该平面轮廓点确定关键部位对象的平面坐标信息。具体的,计算机设备可以识别图像样本中的关键部位对象的平面部位特征,对平面部位特征进行解析,得到关键部位对象所对应的平面轮廓点;根据平面轮廓点从图像样本中,识别关键部位对象的平面掩膜图像;从平面掩膜图像中获取关键部位对象的平面坐标信息。
进一步地,在获取平面掩膜图像时,计算机设备可以将平面轮廓点进行连接处理,得到平面轮廓线,基于图像样本生成初始掩膜图像;将初始掩膜图像中位于平面轮廓线所指示的第一区域的第一像素点的值更新为第一默认像素值,将位于平面轮廓线所指示的第二区域的第二像素点的值更新为第二默认像素值;第一区域是指平面轮廓线所围成的区域,第二区域是指初始掩膜图像中除第一区域之外的区域;将更新后的初始掩膜图像确定为关键部位对象的平面掩膜图像。具体的,可以参见图6,图6是本申请实施例提供的一种平面坐标信息获取场景示意图。如图6所示,计算机设备可以获取图像样本601,识别该图像样本601中关键部位对象所对应的平面轮廓点6011,对该平面轮廓点6011进行连接处理,得到平面轮廓线602,基于该图像样本601及平面轮廓线602生成初始掩膜图像603。将该初始掩膜图像603中位于平面轮廓线602所指示的第一区域6031的第一像素点的值更新为第一默认像素值,将位于平面轮廓线602所指示的第二区域6032的第二像素点的值更新为第二默认像素值。将更新后的初始掩膜图像确定为关键部位对象的平面掩膜图像604。其中,该平面掩膜图像604包括更新后的第一区域6041及更新后的第二区域6042。例如,假定该第一默认像素值为1,用于表示白色,第二默认像素值为0,用于表示黑色,则可以得到平面掩膜图像604,该平面掩膜图像604中所包括的更新后的第一区域6041为白色,更新后的第二区域6042为黑色等。该第一默认像素值及第二默认像素值也可以是其他的像素值,在此不做限制,可选的,该第一默认像素值与第二默认像素值不同。进一步地,计算机设备可以对该平面掩膜图像进行逐行遍历,得到该关键对象的平面坐标信息。
进一步地,在从平面掩膜图像中获取关键部位对象的平面坐标信息时,计算机设备可以对平面掩膜图像进行逐行扫描,获取平面掩膜图像中每一个平面像素行所包括的掩膜像素点的像素值;平面掩膜图像包括d个平面像素行,d为正整数。获取第i个平面像素行中像素值属于轮廓像素范围的目标掩膜像素点,根据目标掩膜像素点在第i个平面像素行中所处的平面像素列,以及第i个平面像素行,确定第i个平面像素行所对应的表征坐标;i为小于或等于d的正整数。其中,该平面像素列可以用于表示该目标掩膜像素点在平面掩膜图像中的列坐标,该第i个平面像素行可以用于表示该目标掩膜像素点在平面掩膜图像中的行坐标。例如,在第5个平面像素行中,目标掩膜像素点所处的平面像素列为第10个平面像素列至第21个平面像素列,则可以认为该第5个平面像素行所对应的表征坐标为(5,10)、(5,11)、…至(5,21),或者,可以认为该第5个平面像素行所对应的表征坐标为(5,10)和(5,21)。可选的,若第i个平面像素行中不存在目标掩膜像素点,则确定第i个平面像素行所对应的表征坐标为空;若该第i个平面像素行中存在一个目标掩膜像素点,则将该目标掩膜像素点的坐标确定为第i个平面像素行所对应的表征坐标;若该第i个平面像素行中存在至少两个目标掩膜像素点,则可以将至少两个目标掩膜像素点分别对应的坐标组成该第i个平面像素行所对应的表征坐标,或者,可以将至少两个目标掩膜像素点中列坐标最小的目标掩膜像素点的坐标,以及列坐标最大的目标掩膜像素点的坐标,确定为第i个平面像素行所对应的表征坐标。同理,可以得到d个平面像素行分别对应的表征坐标,计算机设备可以根据d个平面像素行分别对应的表征坐标,确定关键部位对象的平面坐标信息。可选的,该平面坐标信息可以认为是二维坐标信息。
步骤S502,获取关键部位对象的空间部位参数。
在本申请实施例中,计算机设备可以在初始空间部位重建模型中,获取关键部位对象的空间部位参数,该空间部位参数可以包括形状参数、纹理参数及姿态参数等。参见图7,图7是本申请实施例提供的一种空间重建训练场景示意图。如图7所示,计算机设备可以在初始空间部位重建模型中,提取该图像样本701中关键部位对象的空间部位参数,包括但不限于形状参数、纹理参数及姿态参数等。
步骤S503,基于该空间部位参数对关键部位对象进行空间重建处理,得到该关键部位对象的空间部位信息。
在本申请实施例中,计算机设备可以获取平均部位模型,将空间部位参数添加至平均部位模型中,以实现对关键部位对象的空间重建处理,得到关键部位对象的空间部位信息。具体的,该空间部位参数包括形状参数,在将空间部位参数添加至平均部位模型中,得到关键部位对象的空间部位信息时,计算机设备可以获取形状参数中的身份参数及部位属性参数,识别关键部位对象与平均部位模型之间的身份基向量及部位属性基向量;根据身份参数与身份基向量生成身份偏移信息,根据部位属性参数与部位属性基向量生成部位属性偏移信息;获取平均部位模型中的平均形状部位模型,在平均形状部位模型中添加身份偏移信息及部位属性偏移信息,生成关键部位对象的空间形状信息;根据空间形状信息确定关键部位对象的空间部位信息。其中,该空间形状信息的生成过程可以参见公式①所示:
Figure BDA0003243964960000151
其中,在公式①中,M表示空间形状信息,
Figure BDA0003243964960000152
表示平均形状部位模型,可选的,该平均形状部位模型可以是指由至少两个模型点云组成的一个模型,计算机设备可以基于身份偏移信息及部位属性偏移信息等,对每个模型像素点进行信息添加处理,得到关键部位对象的空间形状信息。其中,
Figure BDA0003243964960000153
N是指至少两个模型点云的点数,uN是指N个模型点云中的每个模型点云存在u个维度,u为正整数,也就是说,此处的空间形状信息是指u维形状信息,例如,u为3,则该空间形状信息可以是指三维形状信息等,R是指数据域。pid是指身份参数,该Aid是指身份基向量,可选的,可以将Aid的数据范围记作
Figure BDA0003243964960000154
用于表示该身份基向量是一个mid维的数据;pexp是指部位属性参数,该Aexp是指部位属性基向量,可选的,可以将Aexp的数据范围记作
Figure BDA0003243964960000155
用于表示该身份基向量是一个mexp维的数据。可选的,计算机设备可以将身份参数与身份基向量进行相乘,得到身份偏移信息,将部位属性参数与部位属性基向量进行相乘,得到部位属性偏移信息。可选的,计算机设备可以直接获取通用的平均形状部位模型及身份基向量、部位属性基向量等;或者,可以通过基础部位模型预测平均形状部位模型及身份基向量,通过部位属性库获取部位属性基向量。其中,平均形状部位模型、身份基向量及部位属性基向量是用于对关键部位对象进行空间重建时的基准,可以认为平均形状部位模型、身份基向量及部位属性基向量可以组成一个基础部位信息,在基础部位信息的基础上,添加该关键部位对象的特征,得到关键部位对象的空间形状信息,也就是说,平均形状部位模型、身份基向量及部位属性基向量相当于一个参考,因此,平均形状部位模型、身份基向量及部位属性基向量的获取方式并不限于上述获取方式。其中,该部位属性参数是指关键部位对象的相关属性的参数,例如,该关键部位对象为脸部对象,则该部位属性参数可以包括但不限于表情参数(如眼部表情参数、嘴部表情参数及鼻子表情参数等);如该关键部位对象为手部对象,则该部位属性参数可以包括但不限于手部动作参数及手部基础属性参数,该手部动作参数可以表示手部对象的动作,如握拳动作及伸展动作等,手部基础属性参数可以用于表示手部对象的基本数据,如手背手心显示状态及手指数量等。
其中,该空间部位参数可以包括纹理参数。在将空间部位参数添加至平均部位模型中,得到关键部位对象的空间部位信息时,计算机设备可以获取纹理基数据,将纹理基数据与纹理参数的乘积确定为纹理偏移信息;获取平均部位模型中的平均纹理信息,将纹理偏移信息添加至平均纹理信息中,得到空间纹理信息;根据空间纹理信息确定关键部位对象的空间部位信息。其中,该空间纹理信息的生成过程可以参见公式②所示:
Figure BDA0003243964960000161
其中,在公式②中,C表示空间纹理信息,计算机设备可以获取平均部位模型中的平均纹理信息
Figure BDA0003243964960000162
Figure BDA0003243964960000163
其中,B用于表示纹理基数据,T用于表示纹理参数(texture),该纹理参数用于表示关键部位对象所对应的u个模型点云的颜色及纹路等信息。可选的,计算机设备可以将纹理基数据B与纹理参数T进行点乘,得到纹理偏移信息,其中,该纹理偏移信息可以通过矩阵进行表示。
可选的,计算机设备可以根据关键部位对象的空间形状信息、空间纹理信息及空间姿态信息确定关键部位对象的空间部位信息,其中,空间姿态信息是根据姿态参数所确定的,包括但不限于缩放信息及部位方向信息等。
可选的,该空间部位信息可以认为是u维部位信息,如三维部位信息等。可选的,如图7所示,计算机设备可以在初始空间部位重建模型中的可微分渲染器中,基于空间部位参数对关键部位对象进行空间重建,得到该关键部位对象的空间部位信息7021。
步骤S504,基于平面轮廓点与空间部位信息,确定空间轮廓坐标信息。
在本申请实施例中,计算机设备可以根据平面轮廓点生成梯形掩膜图像,采用可微分渲染器获取该空间部位信息的渲染面掩膜图像,基于梯形掩膜图像与渲染面掩膜图像确定空间轮廓坐标信息。具体的,计算机设备可以识别图像样本中的关键部位对象的平面部位特征,对平面部位特征进行解析,得到关键部位对象所对应的平面轮廓点,可选的,可以直接获取在生成平面坐标信息时所得到的平面轮廓点;获取平面轮廓点的起始轮廓点及终止轮廓点,根据起始轮廓点、终止轮廓点、图像样本的第一图像顶点及第二图像顶点,生成图像样本对应的梯形掩膜图像。在初始空间部位重建模型中,获取空间部位信息的渲染面掩膜图像,可选的,该渲染面掩膜图像可以是一个彩色图像,可以通过渲染面掩膜图像中的像素点的色值信息表示该关键部位对象在u个维度的像素信息。将梯形掩膜图像及渲染面掩膜图像进行合并处理,得到关键部位对象的空间轮廓线,基于空间轮廓线确定空间部位信息对应的空间轮廓坐标信息。
举例来说,请参见图8,图8是本申请实施例提供的一种梯形掩膜图像生成场景示意图。如图8所示,计算机设备获取到图像样本801中的关键部位对象的平面轮廓点8011后,获取该平面轮廓点8011的起始轮廓点8021及终止轮廓点8022,根据起始轮廓点8021、终止轮廓点8022、第一图像顶点8023及第二图像顶点8024,生成图像样本801对应的梯形掩膜图像803。其中,该梯形掩膜图像803的生成过程与平面掩膜图像的生成过程相同,该梯形掩膜图像803包括第三区域8031及第四区域8032,其中,该第三区域8031是由该起始轮廓点8021、终止轮廓点8022、第一图像顶点8023及第二图像顶点8024所围成的区域,该第三区域8031的第三像素点的值为第三默认像素值;该梯形掩膜图像803的尺寸与平面掩膜图像的尺寸相同;第四区域8032是指梯形掩膜图像803中除第三区域8031之外的区域,该第四区域8032的第四像素点的值为第四默认像素值;其中,第三默认像素值与第四默认像素值不同;可选的,第三默认像素值可以与第一默认像素值相同,第四默认像素值可以与第二默认像素值相同,可选的,各个默认像素值也可以互不相同。
其中,计算机设备可以对该梯形掩膜图像与渲染面掩膜图像进行交集处理,确定空间渲染区域,具体的,计算机设备可以对该梯形掩膜图像与渲染面掩膜图像进行重叠处理,将重叠后的梯形掩膜图像与渲染面掩膜图像中,第三区域与渲染面区域之间的交集部分,确定为空间渲染区域,其中该渲染面区域是指在渲染面掩膜图像中像素值满足渲染像素范围的像素点所组成的区域。计算机设备可以对该空间渲染区域进行逐行扫描,得到空间部位信息对应的空间轮廓坐标信息。具体的,计算机设备可以获取空间渲染区域中所包括的像素点的像素坐标,将空间渲染区域中所包括的像素点的像素坐标确定为空间部位信息对应的空间轮廓坐标信息;或者,计算机设备可以从空间渲染区域中获取空间轮廓线,将该空间轮廓线所对应的像素点的像素坐标,确定为空间部位信息对应的空间轮廓坐标信息。
步骤S505,对空间部位信息进行光栅化处理,得到投影相机参数。
在本申请实施例中,计算机设备可以对空间部位信息进行光栅化处理,得到投影相机参数,其中,该投影相机参数可以包括但不限于空间部位参数及光照参数等,可选的,也可以认为该光照参数属于空间部位参数。其中,计算机设备可以获取在初始空间部位重建模型中对关键部位对象进行空间重建时,所产生的空间部位参数及光照参数等,根据该空间部位参数及光照参数等确定投影相机参数。或者,计算机设备可以采用可微分渲染器对空间部位信息进行光栅化,得到空间部位信息中的每个空间像素点的面片信息,其中,该空间像素点被三角面片所包裹,即,空间像素点对应至少两个面片顶点,各个面片顶点所对应的顶点信息组成该空间像素点的面片信息;采用球谐函数生成面片信息对应的投影相机参数。其中,该球谐函数用于模拟投影光照。顶点信息的生成过程可以参见公式③所示:
Figure BDA0003243964960000181
其中,在公式③中,vk表示第k个面片顶点的顶点信息,该顶点信息用于表示第k个面片顶点的辐射度(如颜色等)等信息,k为正整数。Ck用于表示第k个面片顶点在空间纹理信息中所对应的顶点纹理信息;E用于表示球谐的数量,一个球谐对应至少两个球谐函数,其中,f()用于表示球谐基函数,Lap用于表示球谐函数参数;nk用于表示第k个面片顶点的法向,计算机设备可以采用球谐基函数获取面片顶点的第一顶点信息,基于球谐函数参数对该第一顶点信息进行加权处理,生成该面片顶点的第二顶点信息,在该第二顶点信息中添加面片顶点的顶点纹理信息,得到该面片顶点的顶点信息。同理,可以得到空间像素点对应的至少两个面片顶点的顶点信息,将至少两个面片顶点的顶点信息组成该空间像素点对应的面片信息。可选的,若空间像素点对应至少两个三角面片,则获取与模拟投影镜头最近的三角面片,作为后续对该空间像素点进行处理所使用的三角面片。例如,空间像素点1对应三角面片1、三角面片2及三角面片3,其中,三角面片2与模拟投影镜头之间的距离小于三角面片1与模拟投影镜头之间的距离,且小于三角面片3与模拟投影镜头之间的距离,则将三角面片2确定为该空间像素点1最终对应的三角面片。采用球谐函数确定面片信息与空间像素点之间的投影关系,基于该投影关系确定投影相机参数。
可选的,该投影关系可以表示为公式④所示:
Figure BDA0003243964960000191
其中,在公式④中,
Figure BDA0003243964960000192
用于表示包裹空间像素点(x,y)的三角面片,该三角面片的面片顶点为v1,v2,v3,其中
Figure BDA0003243964960000193
用于表示该三角面片中的质心,αk用于表示在得到三角面片的质心时,面片顶点vk的权重。
步骤S506,根据空间轮廓坐标信息及投影相机参数,确定投影坐标信息。
在本申请实施例中,计算机设备可以基于投影相机参数对空间部位信息进行平面投影处理,得到投影后的投影坐标信息,具体是对基于空间部位信息所生成的空间轮廓坐标信息进行平面投影处理,得到投影坐标信息。其中,该投影相机参数包括空间部位参数及光照参数。在基于投影相机参数对空间轮廓坐标信息进行平面投影处理,得到投影坐标信息时,计算机设备可以识别关键部位对象与空间形状信息之间的尺度变化信息,获取投影矩阵;投影矩阵是指用于将关键部位对象由空间投影至平面的矩阵。识别关键部位对象的部位方向信息,获取部位方向信息与参考方向信息之间的方向偏移信息;参考方向信息是指平均部位模型所指示的关键部位对象的方向信息。根据空间形状信息、尺度变化信息、投影矩阵及方向偏移信息,确定关键部位对象的初始平面图像。识别图像样本中的关键部位对象与基准位置点之间的位置偏移信息,在初始平面图像中添加位置偏移信息,得到平面投影信息;基准位置点是指图像样本中的基准像素点。采用光照参数对平面投影信息进行模拟光照渲染,得到投影坐标信息,如图7中的投影图像7022所对应的坐标信息,可选的,计算机设备可以基于该空间部位信息7021及投影图像7022生成重渲染图像703,计算机设备可以基于重渲染图像703、平面坐标信息及投影坐标信息等生成第一损失函数及第二损失函数。其中,该平面投影信息的生成过程可以参见公式⑤所示:
Mp=s*pr*dir*M+δ ⑤
其中,在公式⑤中,Mp用于表示平面投影信息,s用于表示尺度变化信息(可以用于表示缩放信息),pr是指投影矩阵,dir用于表示方向偏移信息,M是空间形状信息,δ用于表示位置偏移信息,可以表示关键部位对象在图像样本中的位置信息。其中,该平均部位模型所指示的关键部位对象所对应的方向(即参考方向信息)及尺寸等可以认为是固定的,在平均部位模型的基础上,对空间形状信息进行尺度变化及方向调整,基于投影矩阵将调整后的空间形状信息投影至平面,得到初始平面图像,基于位置偏移信息调整该初始平面图像的位置,得到平面投影信息,使得投影后得到的关键部位对象的位置与该关键部位对象在图像样本中的位置相近,可选的,计算机设备可以在初始平面图像中加入空间纹理信息。进一步地,计算机设备可以采用光照参数对平面投影信息进行模拟光照渲染,得到投影坐标信息。
步骤S507,根据平面坐标信息及投影坐标信息生成第一损失函数。
在本申请实施例中,计算机设备可以根据平面坐标信息及投影坐标信息的差异信息,生成第一损失函数,该差异信息可以用于表示平面坐标信息与投影坐标信息之间的差值平方、差值均值或交叉熵等,在此不做限制。可选的,计算机设备可以根据平面坐标信息与投影坐标信息之间的L2损失函数生成第一损失函数。
步骤S508,根据空间部位信息生成第二损失函数。
在本申请实施例中,计算机设备可以根据空间部位信息生成第二损失函数,该第二损失函数的数量为一个或至少两个。可选的,该第二损失函数包括L2损失函数;在根据空间部位信息生成第二损失函数时,计算机设备可以在初始空间部位重建模型中,识别图像样本中的关键部位对象的空间特征点,获取图像样本所对应的真值特征点;根据空间特征点与真值特征点之间的差异信息,确定L2损失函数。可选的,计算机设备可以根据空间特征点对应的形状数据与真值特征点对应的形状数据之间的差异信息,确定L2损失函数,该空间特征点对应的形状数据是根据空间形状信息所确定的;或者,可以根据空间特征点对应的纹理数据与真值特征点对应的纹理数据之间的差异信息,确定L2损失函数等,该空间特征点对应的纹理数据可以是根据空间纹理信息所确定的;或者,计算机设备可以根据空间特征点对应的形状数据与真值特征点对应的形状数据之间的差异信息,以及空间特征点对应的纹理数据与真值特征点对应的纹理数据之间的差异信息,确定L2损失函数等,在此不做限制。
可选的,该第二损失函数包括像素损失函数。计算机设备可以采用可微分渲染器对空间部位信息进行重渲染处理,得到重渲染图像;获取重渲染图像的重渲染像素点与图像样本的样本像素点之间的像素差值信息;识别图像样本的皮肤检测数据,基于像素差值信息与皮肤检测数据之间的点乘结果,确定像素损失函数。其中,该像素损失函数可以参见公式⑥所示:
Figure BDA0003243964960000211
其中,在公式⑥中,将重渲染图像记作I',将图像样本记作I,⊙用于表示点乘处理,将皮肤检测数据记做Sk。计算机设备可以获取重渲染图像I'的重渲染像素点与图像样本I的样本像素点之间的像素差值信息,识别图像样本I的皮肤检测数据Sk,可以将该皮肤检测数据Sk记作像素差值信息的权重,对该像素差值信息与皮肤检测数据进行点乘处理,得到像素损失,可选的,可以对该像素损失进行整合处理,生成像素损失函数。其中,~用于表示根据得到,该整合处理可以是均值处理、求和处理或平方差处理等,在此不做限制。
可选的,该像素损失函数还可以参见公式⑦所示:
Figure BDA0003243964960000212
其中,在公式⑦中,H用于表示重渲染图像中关键部位对象所在的区域,||…||用于表示L2范数,计算机设备可以获取图像样本的第j个样本像素点,与重渲染图像中的第j个重渲染像素点之间的第j个L2范数,j为正整数,获取皮肤检测数据Sk中的第j个皮肤点数据,将该第j个皮肤点数据对第j个L2范数进行加权处理,得到第j个像素差异值,对各个像素差异值进行求和处理,得到渲染差值,获取皮肤检测数据中所包括的皮肤点数据的和,将渲染差值与皮肤检测数据中所包括的皮肤点数据的和之间的比值,确定为像素损失函数。
可选的,第二损失函数可以包括视觉损失函数或特征损失函数等,在此不做限制。例如,计算机设备可以获取图像样本对应的样本特征,获取重渲染图像对应的重渲染特征,根据样本特征与重渲染特征之间的余弦距离,生成特征损失函数。
其中,第二损失函数可以是上述所提及的损失函数中的任意一个或至少两个损失函数。
步骤S509,基于第一损失函数及第二损失函数进行模型训练,生成空间部位重建模型。
在本申请实施例中,计算机设备可以基于第一损失函数及第二损失函数进行模型训练,生成空间部位重建模型。或者,计算机设备可以基于第一损失函数及第二损失函数对空间部位参数等进行调整,以得到优化后的空间部位信息,也就是说,实现对关键部位对象进行空间重建的优化,使得对关键部位对象的空间重建结果,在三维结构及二维轮廓上均得到优化,从而提高空间重建的准确性。
进一步地,计算机设备可以获取第一素材图像,通过空间部位重建模型识别第一素材图像中的第一关键部位对象,对第一关键部位对象进行重渲染处理,得到第一关键部位对象对应的平面关键部位图像。识别目标图像中的目标关键部位对象,基于平面关键部位图像对目标图像中的目标关键部位对象进行调整,得到更新关键部位对象,基于更新关键部位对象生成第二素材图像;更新关键部位对象的平面轮廓与平面关键部位图像的平面轮廓之间的相似度,大于或等于轮廓相似阈值。
举例来说,请参见图9,图9是本申请实施例提供的一种部位重建场景示意图。如图9所示,计算机设备可以获取第一素材图像901,其中,该第一素材图像901可以进行删除或更新等,计算机设备可以识别该第一素材图像中的第一关键部位对象,对该第一关键部位对象进行重渲染处理,得到第一关键部位对象对应的平面关键部位图像。识别目标图像902中的目标关键部位对象,基于平面关键部位图像对目标图像902中的目标关键部位对象进行调整,得到更新关键部位对象,基于更新关键部位对象生成第二素材图像903,其中,该第二素材图像903可以保留该第一素材图像901中的第一关键部位对象的形状、纹理及姿态等信息,还可以保留第一素材图像901中的第一关键部位对象的轮廓信息,提高了图像处理的准确性。可选的,该第一素材图像901的数量可以为一个或至少两个,计算机设备响应针对目标图像中目标关键部位对象的更新请求,基于处于图像选中状态的第一素材图像对目标关键部位对象进行更新,生成第二素材图像;若不存在处于图像选中状态的第一素材图像,则可以生成每个第一素材图像所对应的第二素材图像,并对第二素材图像进行显示。
其中,本申请中所使用的各个图像(如图像样本、第一素材图像及目标图像等)均是在获取到该图像的版权后进行使用。
在本申请实施例中,获取图像样本,识别图像样本中的关键部位对象的平面坐标信息,识别关键部位对象的空间部位信息;在初始空间部位重建模型中,识别空间部位信息的空间轮廓坐标信息,对空间部位信息进行光栅化处理,得到投影相机参数,基于投影相机参数对空间轮廓坐标信息进行平面投影处理,得到投影坐标信息;根据平面坐标信息及投影坐标信息生成第一损失函数,根据空间部位信息生成第二损失函数;基于第一损失函数及第二损失函数对初始空间部位重建模型进行参数调整,得到空间部位重建模型;空间部位重建模型用于对目标图像中的目标关键部位对象进行重渲染处理。通过上述过程,在对图像样本进行空间重建时,会对该图像样本中的关键部位对象进行重渲染后得到的投影坐标信息,与对该图像样本的关键部位对象直接识别得到的平面坐标信息进行对比,根据对比结果对空间部位重建模型进行参数调整,而该投影坐标信息可以用于表示该图像样本中的关键部位对象进行空间重建及平面重渲染后的轮廓信息,该平面坐标信息用于表示图像样本中的关键部位对象的平面轮廓,使得可以对关键部位对象进行空间重建后的模型的轮廓与该关键部位对象的平面轮廓进行约束,以使该空间重建后的模型在重渲染后的轮廓可以尽可能地趋近于原始的平面轮廓,从而减少图像层面的2D轮廓与三维结构的3D轮廓之间的歧义,有效提高关键部位对象的空间重建精度及图像处理的准确性。
进一步地,请参见图10,图10是本申请实施例提供的一种图像处理装置示意图。该图像处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码等),例如该图像处理装置可以为一个应用软件;该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图10所示,该图像处理装置1000可以用于图3所对应实施例中的计算机设备,具体的,该装置可以包括:样本获取模块11、平面坐标识别模块12、部位识别模块13、空间坐标识别模块14、图像投影模块15、第一损失生成模块16、第二损失生成模块17及模型调整模块18。
样本获取模块11,用于获取图像样本;
平面坐标识别模块12,用于识别图像样本中的关键部位对象的平面坐标信息;
部位识别模块13,用于识别关键部位对象的空间部位信息;
空间坐标识别模块14,用于在初始空间部位重建模型中,识别空间部位信息的空间轮廓坐标信息;
图像投影模块15,用于对空间部位信息进行光栅化处理,得到投影相机参数,基于投影相机参数对空间轮廓坐标信息进行平面投影处理,得到投影坐标信息;
第一损失生成模块16,用于根据平面坐标信息及投影坐标信息生成第一损失函数;
第二损失生成模块17,用于根据空间部位信息生成第二损失函数;
模型调整模块18,用于基于第一损失函数及第二损失函数对初始空间部位重建模型进行参数调整,得到空间部位重建模型;空间部位重建模型用于对目标图像中的目标关键部位对象进行重渲染处理。
其中,该平面坐标识别模块12,包括:
平面解析单元121,用于识别图像样本中的关键部位对象的平面部位特征,对平面部位特征进行解析,得到关键部位对象所对应的平面轮廓点;
平面掩膜识别单元122,用于根据平面轮廓点从图像样本中,识别关键部位对象的平面掩膜图像;
平面坐标获取单元123,用于从平面掩膜图像中获取关键部位对象的平面坐标信息。
其中,该平面掩膜识别单元122,包括:
轮廓连接子单元1221,用于将平面轮廓点进行连接处理,得到平面轮廓线,基于图像样本生成初始掩膜图像;
像素更新子单元1222,用于将初始掩膜图像中位于平面轮廓线所指示的第一区域的第一像素点的值更新为第一默认像素值,将位于平面轮廓线所指示的第二区域的第二像素点的值更新为第二默认像素值;第一区域是指平面轮廓线所围成的区域,第二区域是指初始掩膜图像中除第一区域之外的区域;
平面掩膜确定子单元1223,用于将更新后的初始掩膜图像确定为关键部位对象的平面掩膜图像。
其中,该平面坐标获取单元123,包括:
图像扫描子单元1231,用于对平面掩膜图像进行逐行扫描,获取平面掩膜图像中每一个平面像素行所包括的掩膜像素点的像素值;平面掩膜图像包括d个平面像素行,d为正整数;
表征确定子单元1232,用于获取第i个平面像素行中像素值属于轮廓像素范围的目标掩膜像素点,根据目标掩膜像素点在第i个平面像素行中所处的平面像素列,以及第i个平面像素行,确定第i个平面像素行所对应的表征坐标;i为小于或等于d的正整数;
坐标确定子单元1233,用于根据d个平面像素行分别对应的表征坐标,确定关键部位对象的平面坐标信息。
其中,该空间坐标识别模块14,包括:
平面获取单元141,用于识别图像样本中的关键部位对象的平面部位特征,对平面部位特征进行解析,得到关键部位对象所对应的平面轮廓点;
梯形生成单元142,用于获取平面轮廓点的起始轮廓点及终止轮廓点,根据起始轮廓点、终止轮廓点、图像样本的第一图像顶点及第二图像顶点,生成图像样本对应的梯形掩膜图像;
渲染获取单元143,用于在初始空间部位重建模型中,获取空间部位信息的渲染面掩膜图像;
空间确定单元144,用于将梯形掩膜图像及渲染面掩膜图像进行合并处理,得到关键部位对象的空间轮廓线,基于空间轮廓线确定空间部位信息对应的空间轮廓坐标信息。
其中,该图像投影模块15,包括:
面片获取单元151,用于采用可微分渲染器对空间部位信息进行光栅化,得到空间部位信息中的每个空间像素点的面片信息;
参数生成单元152,用于采用球谐函数生成面片信息对应的投影相机参数;
投影确定单元153,用于基于投影相机参数对空间部位信息进行平面投影处理,得到投影后的投影坐标信息。
其中,该部位识别模块13,包括:
参数获取单元131,用于在初始空间部位重建模型中,获取关键部位对象的空间部位参数;
平均获取单元132,用于获取平均部位模型;
空间调整单元133,用于将空间部位参数添加至平均部位模型中,得到关键部位对象的空间部位信息。
其中,空间部位参数包括形状参数;
该空间调整单元133,包括:
形状获取子单元1331,用于获取形状参数中的身份参数及部位属性参数,识别关键部位对象与平均部位模型之间的身份基向量及部位属性基向量;
形状偏移子单元1332,用于根据身份参数与身份基向量生成身份偏移信息,根据部位属性参数与部位属性基向量生成部位属性偏移信息;
形状生成子单元1333,用于获取平均部位模型中的平均形状部位模型,在平均形状部位模型中添加身份偏移信息及部位属性偏移信息,生成关键部位对象的空间形状信息;
信息确定子单元1334,用于根据空间形状信息确定关键部位对象的空间部位信息。
其中,投影相机参数包括空间部位参数及光照参数;
在基于投影相机参数对空间轮廓坐标信息进行平面投影处理,得到投影坐标信息时,该图像投影模块15包括:
尺度识别单元154,用于识别关键部位对象与空间形状信息之间的尺度变化信息,获取投影矩阵;投影矩阵是指用于将关键部位对象由空间投影至平面的矩阵;
方向获取单元155,用于识别关键部位对象的部位方向信息,获取部位方向信息与参考方向信息之间的方向偏移信息;参考方向信息是指平均部位模型所指示的关键部位对象的方向信息;
平面生成单元156,用于根据空间形状信息、尺度变化信息、投影矩阵及方向偏移信息,确定关键部位对象的初始平面图像;
位置偏移单元157,用于识别图像样本中的关键部位对象与基准位置点之间的位置偏移信息,在初始平面图像中添加位置偏移信息,得到平面投影信息;基准位置点是指图像样本中的基准像素点;
光照渲染单元158,用于采用光照参数对平面投影信息进行模拟光照渲染,得到投影坐标信息。
其中,空间部位参数包括纹理参数;
该空间调整单元133,包括:
纹理偏移子单元1335,用于获取纹理基数据,将纹理基数据与纹理参数的乘积确定为纹理偏移信息;
纹理生成子单元1336,用于获取平均部位模型中的平均纹理信息,将纹理偏移信息添加至平均纹理信息中,得到空间纹理信息;
该信息确定子单元1334,还用于根据空间纹理信息确定关键部位对象的空间部位信息。
其中,第二损失函数包括L2损失函数;
该第二损失生成模块17,包括:
特征点获取单元171,用于在初始空间部位重建模型中,识别图像样本中的关键部位对象的空间特征点,获取图像样本所对应的真值特征点;
第一损失生成单元172,用于根据空间特征点与真值特征点之间的差异信息,确定L2损失函数。
其中,第二损失函数包括像素损失函数;
该第二损失生成模块17,包括:
重渲染单元173,用于采用可微分渲染器对空间部位信息进行重渲染处理,得到重渲染图像;
像素差异单元174,用于获取重渲染图像的重渲染像素点与图像样本的样本像素点之间的像素差值信息;
第二损失生成单元175,用于识别图像样本的皮肤检测数据,基于像素差值信息与皮肤检测数据之间的点乘结果,确定像素损失函数。
其中,该装置1000还包括:
素材渲染模块19,用于获取第一素材图像,通过空间部位重建模型识别第一素材图像中的第一关键部位对象,对第一关键部位对象进行重渲染处理,得到第一关键部位对象对应的平面关键部位图像;
目标调整模块20,用于识别目标图像中的目标关键部位对象,基于平面关键部位图像对目标图像中的目标关键部位对象进行调整,得到更新关键部位对象,基于更新关键部位对象生成第二素材图像;更新关键部位对象的平面轮廓与平面关键部位图像的平面轮廓之间的相似度,大于或等于轮廓相似阈值。
本申请实施例提供了一种图像处理装置,该装置可以在对图像样本进行空间重建时,会对该图像样本中的关键部位对象进行重渲染后得到的投影坐标信息,与对该图像样本的关键部位对象直接识别得到的平面坐标信息进行对比,根据对比结果对空间部位重建模型进行参数调整,而该投影坐标信息可以用于表示该图像样本中的关键部位对象进行空间重建及平面重渲染后的轮廓信息,该平面坐标信息用于表示图像样本中的关键部位对象的平面轮廓,使得可以对关键部位对象进行空间重建后的模型的轮廓与该关键部位对象的平面轮廓进行约束,以使该空间重建后的模型在重渲染后的轮廓可以尽可能地趋近于原始的平面轮廓,从而减少图像层面的2D轮廓与三维结构的3D轮廓之间的歧义,有效提高关键部位对象的空间重建精度及图像处理的准确性。
参见图11,图11是本申请实施例提供的一种计算机设备的结构示意图。如图11所示,本申请实施例中的计算机设备可以包括:一个或多个处理器1101、存储器1102和输入输出接口1103。该处理器1101、存储器1102和输入输出接口1103通过总线1104连接。存储器1102用于存储计算机程序,该计算机程序包括程序指令,输入输出接口1103用于接收数据及输出数据,如用于计算机设备与目标设备之间进行数据交互;处理器1101用于执行存储器1102存储的程序指令。
其中,该处理器1101可以执行如下操作:
获取图像样本,识别图像样本中的关键部位对象的平面坐标信息,识别关键部位对象的空间部位信息;
在初始空间部位重建模型中,识别空间部位信息的空间轮廓坐标信息,对空间部位信息进行光栅化处理,得到投影相机参数,基于投影相机参数对空间轮廓坐标信息进行平面投影处理,得到投影坐标信息;
根据平面坐标信息及投影坐标信息生成第一损失函数,根据空间部位信息生成第二损失函数;
基于第一损失函数及第二损失函数对初始空间部位重建模型进行参数调整,得到空间部位重建模型;空间部位重建模型用于对目标图像中的目标关键部位对象进行重渲染处理。
在一些可行的实施方式中,该处理器1101可以是中央处理单元(centralprocessing unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(digitalsignal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器1102可以包括只读存储器和随机存取存储器,并向处理器1101和输入输出接口1103提供指令和数据。存储器1102的一部分还可以包括非易失性随机存取存储器。例如,存储器1102还可以存储设备类型的信息。
具体实现中,该计算机设备可通过其内置的各个功能模块执行如该图3中各个步骤所提供的实现方式,具体可参见该图3中各个步骤所提供的实现方式,在此不再赘述。
本申请实施例通过提供一种计算机设备,包括:处理器、输入输出接口、存储器,通过处理器获取存储器中的计算机程序,执行该图3中所示方法的各个步骤,进行图像处理操作。本申请实施例实现了获取图像样本,识别图像样本中的关键部位对象的平面坐标信息,识别关键部位对象的空间部位信息;在初始空间部位重建模型中,识别空间部位信息的空间轮廓坐标信息,对空间部位信息进行光栅化处理,得到投影相机参数,基于投影相机参数对空间轮廓坐标信息进行平面投影处理,得到投影坐标信息;根据平面坐标信息及投影坐标信息生成第一损失函数,根据空间部位信息生成第二损失函数;基于第一损失函数及第二损失函数对初始空间部位重建模型进行参数调整,得到空间部位重建模型;空间部位重建模型用于对目标图像中的目标关键部位对象进行重渲染处理。通过上述过程,在对图像样本进行空间重建时,会对该图像样本中的关键部位对象进行重渲染后得到的投影坐标信息,与对该图像样本的关键部位对象直接识别得到的平面坐标信息进行对比,根据对比结果对空间部位重建模型进行参数调整,而该投影坐标信息可以用于表示该图像样本中的关键部位对象进行空间重建及平面重渲染后的轮廓信息,该平面坐标信息用于表示图像样本中的关键部位对象的平面轮廓,使得可以对关键部位对象进行空间重建后的模型的轮廓与该关键部位对象的平面轮廓进行约束,以使该空间重建后的模型在重渲染后的轮廓可以尽可能地趋近于原始的平面轮廓,从而减少图像层面的2D轮廓与三维结构的3D轮廓之间的歧义,有效提高关键部位对象的空间重建精度及图像处理的准确性。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序适于由该处理器加载并执行图3中各个步骤所提供的图像处理方法,具体可参见该图3中各个步骤所提供的实现方式,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。作为示例,计算机程序可被部署为在一个计算机设备上执行,或者在位于一个地点的多个计算机设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算机设备上执行。
该计算机可读存储介质可以是前述任一实施例提供的图像处理装置或者该计算机设备的内部存储单元,例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(smart media card,SMC),安全数字(secure digital,SD)卡,闪存卡(flash card)等。进一步地,该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行图3中的各种可选方式中所提供的方法,实现了在对图像样本进行空间重建时,会对该图像样本中的关键部位对象进行重渲染后得到的投影坐标信息,与对该图像样本的关键部位对象直接识别得到的平面坐标信息进行对比,根据对比结果对空间部位重建模型进行参数调整,而该投影坐标信息可以用于表示该图像样本中的关键部位对象进行空间重建及平面重渲染后的轮廓信息,该平面坐标信息用于表示图像样本中的关键部位对象的平面轮廓,使得可以对关键部位对象进行空间重建后的模型的轮廓与该关键部位对象的平面轮廓进行约束,以使该空间重建后的模型在重渲染后的轮廓可以尽可能地趋近于原始的平面轮廓,从而减少图像层面的2D轮廓与三维结构的3D轮廓之间的歧义,有效提高关键部位对象的空间重建精度及图像处理的准确性。
本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在该说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的,具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程图像处理设备的处理器以产生一个机器,使得通过计算机或其他可编程图像处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程图像处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程图像处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (17)

1.一种图像处理方法,其特征在于,所述方法包括:
获取图像样本,识别所述图像样本中的关键部位对象的平面坐标信息,识别所述关键部位对象的空间部位信息;
在初始空间部位重建模型中,识别所述空间部位信息的空间轮廓坐标信息,对所述空间部位信息进行光栅化处理,得到投影相机参数,基于所述投影相机参数对所述空间轮廓坐标信息进行平面投影处理,得到投影坐标信息;
根据所述平面坐标信息及所述投影坐标信息生成第一损失函数,根据所述空间部位信息生成第二损失函数;
基于所述第一损失函数及所述第二损失函数对所述初始空间部位重建模型进行参数调整,得到空间部位重建模型;所述空间部位重建模型用于对目标图像中的目标关键部位对象进行重渲染处理。
2.如权利要求1所述的方法,其特征在于,所述识别所述图像样本中的关键部位对象的平面坐标信息,包括:
识别所述图像样本中的关键部位对象的平面部位特征,对所述平面部位特征进行解析,得到所述关键部位对象所对应的平面轮廓点;
根据所述平面轮廓点从所述图像样本中,识别所述关键部位对象的平面掩膜图像;
从所述平面掩膜图像中获取所述关键部位对象的平面坐标信息。
3.如权利要求2所述的方法,其特征在于,所述根据所述平面轮廓点从所述图像样本中,识别所述关键部位对象的平面掩膜图像,包括:
将所述平面轮廓点进行连接处理,得到平面轮廓线,基于所述图像样本生成初始掩膜图像;
将所述初始掩膜图像中位于所述平面轮廓线所指示的第一区域的第一像素点的值更新为第一默认像素值,将位于所述平面轮廓线所指示的第二区域的第二像素点的值更新为第二默认像素值;所述第一区域是指所述平面轮廓线所围成的区域,所述第二区域是指所述初始掩膜图像中除所述第一区域之外的区域;
将更新后的初始掩膜图像确定为所述关键部位对象的平面掩膜图像。
4.如权利要求2所述的方法,其特征在于,所述从所述平面掩膜图像中获取所述关键部位对象的平面坐标信息,包括:
对所述平面掩膜图像进行逐行扫描,获取所述平面掩膜图像中每一个平面像素行所包括的掩膜像素点的像素值;所述平面掩膜图像包括d个平面像素行,d为正整数;
获取第i个平面像素行中像素值属于轮廓像素范围的目标掩膜像素点,根据所述目标掩膜像素点在所述第i个平面像素行中所处的平面像素列,以及所述第i个平面像素行,确定所述第i个平面像素行所对应的表征坐标;i为小于或等于d的正整数;
根据所述d个平面像素行分别对应的表征坐标,确定所述关键部位对象的平面坐标信息。
5.如权利要求1所述的方法,其特征在于,所述在初始空间部位重建模型中,识别所述空间部位信息的空间轮廓坐标信息,包括:
识别所述图像样本中的关键部位对象的平面部位特征,对所述平面部位特征进行解析,得到所述关键部位对象所对应的平面轮廓点;
获取所述平面轮廓点的起始轮廓点及终止轮廓点,根据所述起始轮廓点、所述终止轮廓点、所述图像样本的第一图像顶点及第二图像顶点,生成所述图像样本对应的梯形掩膜图像;
在初始空间部位重建模型中,获取所述空间部位信息的渲染面掩膜图像;
将所述梯形掩膜图像及所述渲染面掩膜图像进行合并处理,得到所述关键部位对象的空间轮廓线,基于所述空间轮廓线确定所述空间部位信息对应的空间轮廓坐标信息。
6.如权利要求1所述的方法,其特征在于,所述对所述空间部位信息进行光栅化处理,得到投影相机参数,基于所述投影相机参数对所述空间轮廓坐标信息进行平面投影处理,得到投影坐标信息,包括:
采用可微分渲染器对所述空间部位信息进行光栅化,得到所述空间部位信息中的每个空间像素点的面片信息;
采用球谐函数生成所述面片信息对应的投影相机参数;
基于所述投影相机参数对所述空间部位信息进行平面投影处理,得到投影后的投影坐标信息。
7.如权利要求1所述的方法,其特征在于,所述识别所述关键部位对象的空间部位信息,包括:
在所述初始空间部位重建模型中,获取所述关键部位对象的空间部位参数;
获取平均部位模型,将所述空间部位参数添加至所述平均部位模型中,得到所述关键部位对象的空间部位信息。
8.如权利要求7所述的方法,其特征在于,所述空间部位参数包括形状参数;
所述将所述空间部位参数添加至所述平均部位模型中,得到所述关键部位对象的空间部位信息,包括:
获取所述形状参数中的身份参数及部位属性参数,识别所述关键部位对象与所述平均部位模型之间的身份基向量及部位属性基向量;
根据所述身份参数与所述身份基向量生成身份偏移信息,根据所述部位属性参数与所述部位属性基向量生成部位属性偏移信息;
获取所述平均部位模型中的平均形状部位模型,在所述平均形状部位模型中添加所述身份偏移信息及所述部位属性偏移信息,生成所述关键部位对象的空间形状信息;
根据所述空间形状信息确定所述关键部位对象的空间部位信息。
9.如权利要求8所述的方法,其特征在于,所述投影相机参数包括所述空间部位参数及光照参数;
所述基于所述投影相机参数对所述空间轮廓坐标信息进行平面投影处理,得到投影坐标信息,包括:
识别所述关键部位对象与所述空间形状信息之间的尺度变化信息,获取投影矩阵;所述投影矩阵是指用于将所述关键部位对象由空间投影至平面的矩阵;
识别所述关键部位对象的部位方向信息,获取所述部位方向信息与参考方向信息之间的方向偏移信息;所述参考方向信息是指所述平均部位模型所指示的关键部位对象的方向信息;
根据所述空间形状信息、所述尺度变化信息、所述投影矩阵及所述方向偏移信息,确定所述关键部位对象的初始平面图像;
识别所述图像样本中的所述关键部位对象与基准位置点之间的位置偏移信息,在所述初始平面图像中添加所述位置偏移信息,得到平面投影信息;所述基准位置点是指所述图像样本中的基准像素点;
采用所述光照参数对所述平面投影信息进行模拟光照渲染,得到投影坐标信息。
10.如权利要求7所述的方法,其特征在于,所述空间部位参数包括纹理参数;
所述将所述空间部位参数添加至所述平均部位模型中,得到所述关键部位对象的空间部位信息,包括:
获取纹理基数据,将所述纹理基数据与所述纹理参数的乘积确定为纹理偏移信息;
获取平均部位模型中的平均纹理信息,将所述纹理偏移信息添加至所述平均纹理信息中,得到空间纹理信息;
根据所述空间纹理信息确定所述关键部位对象的空间部位信息。
11.如权利要求1所述的方法,其特征在于,所述第二损失函数包括L2损失函数;
所述根据所述空间部位信息生成第二损失函数,包括:
在所述初始空间部位重建模型中,识别所述图像样本中的关键部位对象的空间特征点,获取所述图像样本所对应的真值特征点;
根据所述空间特征点与所述真值特征点之间的差异信息,确定所述L2损失函数。
12.如权利要求1所述的方法,其特征在于,所述第二损失函数包括像素损失函数;
所述根据所述空间部位信息生成第二损失函数,包括:
采用可微分渲染器对所述空间部位信息进行重渲染处理,得到重渲染图像;
获取所述重渲染图像的重渲染像素点与所述图像样本的样本像素点之间的像素差值信息;
识别所述图像样本的皮肤检测数据,基于所述像素差值信息与所述皮肤检测数据之间的点乘结果,确定像素损失函数。
13.如权利要求1所述的方法,其特征在于,所述方法还包括:
获取第一素材图像,通过所述空间部位重建模型识别所述第一素材图像中的第一关键部位对象,对所述第一关键部位对象进行重渲染处理,得到所述第一关键部位对象对应的平面关键部位图像;
识别所述目标图像中的目标关键部位对象,基于所述平面关键部位图像对所述目标图像中的目标关键部位对象进行调整,得到更新关键部位对象,基于所述更新关键部位对象生成第二素材图像;所述更新关键部位对象的平面轮廓与所述平面关键部位图像的平面轮廓之间的相似度,大于或等于轮廓相似阈值。
14.一种图像处理装置,其特征在于,所述装置包括:
样本获取模块,用于获取图像样本;
平面坐标识别模块,用于识别所述图像样本中的关键部位对象的平面坐标信息;
部位识别模块,用于识别所述关键部位对象的空间部位信息;
图像投影模块,用于在初始空间部位重建模型中,识别所述空间部位信息的空间轮廓坐标信息,对所述空间部位信息进行光栅化处理,得到投影相机参数,基于所述投影相机参数对所述空间轮廓坐标信息进行平面投影处理,得到投影坐标信息;
第一损失生成模块,用于根据所述平面坐标信息及所述投影坐标信息生成第一损失函数;
第二损失生成模块,用于根据所述空间部位信息生成第二损失函数;
模型调整模块,用于基于所述第一损失函数及所述第二损失函数对所述初始空间部位重建模型进行参数调整,得到空间部位重建模型;所述空间部位重建模型用于对目标图像中的目标关键部位对象进行重渲染处理。
15.一种计算机设备,其特征在于,包括处理器、存储器、输入输出接口;
所述处理器分别与所述存储器和所述输入输出接口相连,其中,所述输入输出接口用于接收数据及输出数据,所述存储器用于存储计算机程序,所述处理器用于调用所述计算机程序,以使得所述计算机设备执行权利要求1-13任一项所述的方法。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于由处理器加载并执行,以使得具有所述处理器的计算机设备执行权利要求1-13任一项所述的方法。
17.一种计算机程序产品,包括计算机程序/指令,其特征在于,所述计算机程序/指令被处理器执行时实现权利要求1-13任一项所述的方法。
CN202111027744.9A 2021-09-02 2021-09-02 图像处理方法、装置、计算机及可读存储介质 Pending CN115760888A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111027744.9A CN115760888A (zh) 2021-09-02 2021-09-02 图像处理方法、装置、计算机及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111027744.9A CN115760888A (zh) 2021-09-02 2021-09-02 图像处理方法、装置、计算机及可读存储介质

Publications (1)

Publication Number Publication Date
CN115760888A true CN115760888A (zh) 2023-03-07

Family

ID=85332253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111027744.9A Pending CN115760888A (zh) 2021-09-02 2021-09-02 图像处理方法、装置、计算机及可读存储介质

Country Status (1)

Country Link
CN (1) CN115760888A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109799A (zh) * 2023-04-13 2023-05-12 深圳思谋信息科技有限公司 调整模型训练方法、装置、计算机设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109799A (zh) * 2023-04-13 2023-05-12 深圳思谋信息科技有限公司 调整模型训练方法、装置、计算机设备及存储介质
CN116109799B (zh) * 2023-04-13 2023-08-04 深圳思谋信息科技有限公司 调整模型训练方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN111126272B (zh) 姿态获取方法、关键点坐标定位模型的训练方法和装置
CN112052839B (zh) 图像数据处理方法、装置、设备以及介质
CN110799991B (zh) 用于使用卷积图像变换执行同时定位和映射的方法和系统
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
CN109816769A (zh) 基于深度相机的场景地图生成方法、装置及设备
CN112419170A (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN112085835B (zh) 三维卡通人脸生成方法、装置、电子设备及存储介质
CN112102480B (zh) 图像数据处理方法、装置、设备以及介质
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
CN112102342B (zh) 平面轮廓识别方法、装置、计算机设备和存储介质
CN113593001A (zh) 目标对象三维重建方法、装置、计算机设备和存储介质
US20230153965A1 (en) Image processing method and related device
CN115115805A (zh) 三维重建模型的训练方法、装置、设备及存储介质
CN113658324A (zh) 图像处理方法及相关设备、迁移网络训练方法及相关设备
CN115760888A (zh) 图像处理方法、装置、计算机及可读存储介质
CN117252947A (zh) 图像处理方法、装置、计算机、存储介质及程序产品
US20230126829A1 (en) Point-based modeling of human clothing
CN114862716B (zh) 人脸图像的图像增强方法、装置、设备及存储介质
US10861174B2 (en) Selective 3D registration
CN116977539A (zh) 图像处理方法、装置、计算机设备、存储介质和程序产品
CN113673567B (zh) 基于多角度子区域自适应的全景图情感识别方法及系统
CN116977359A (zh) 图像处理方法、装置、设备、可读存储介质及程序产品
CN115409949A (zh) 模型训练方法、视角图像生成方法、装置、设备及介质
CN115311403A (zh) 深度学习网络的训练方法、虚拟形象生成方法及装置
CN116883770A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40083066

Country of ref document: HK