CN114663628A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114663628A
CN114663628A CN202210331431.0A CN202210331431A CN114663628A CN 114663628 A CN114663628 A CN 114663628A CN 202210331431 A CN202210331431 A CN 202210331431A CN 114663628 A CN114663628 A CN 114663628A
Authority
CN
China
Prior art keywords
eye
mesh
vertex
determining
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210331431.0A
Other languages
English (en)
Inventor
胡跃祥
黄亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202210331431.0A priority Critical patent/CN114663628A/zh
Publication of CN114663628A publication Critical patent/CN114663628A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30Polynomial surface description
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开关于一种图像处理方法、装置、电子设备及存储介质,涉及计算机技术领域。上述方法包括:构建对应于图像中眼部区域的眼部网格结构,并从眼部网格结构中选取对应于眼部区域中上眼皮的多个网格顶点;根据眼部区域的关键点集合确定用于描述眼部比例的眼部参数,并根据眼部参数确定与眼部区域对应的渲染素材的翻转角度;根据翻转角度和多个网格顶点的位置信息生成与多个网格顶点分别对应的目标网格顶点;根据目标网格顶点更新眼部网格结构,并基于渲染素材对更新后的眼部网格结构进行渲染。这样可以实现个性化的眼部网格结构更新,得到更适配的眼部网格结构,进而可以使得渲染素材与眼部区域更为适配,使得渲染效果更真实、自然。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机技术领域,尤其涉及一种图像处理方法、装置、电子设备及存储介 质。
背景技术
在针对人物模型的眼部区域的效果处理中,通常是将渲染素材直接叠加在面部特定位 置。但是,用户面部表情并不是一成不变的,直接将渲染素材叠加在面部特定位置,可能 无法贴合每一种面部表情。举例来说,请参阅图1,当用户处于闭眼状态时,将渲染素材中的睫毛素材直接叠加在眼部区域,容易导致素材与眼部区域不适配的问题。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解, 因此,不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开提供一种图像处理方法、装置、电子设备及存储介质,以至少解决素材与眼部 区域不适配的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种图像处理方法,图像处理方法包括:
构建对应于图像中眼部区域的眼部网格结构,并从眼部网格结构中选取对应于眼部区 域中上眼皮的多个网格顶点;
根据眼部区域的关键点集合确定用于描述眼部比例的眼部参数,并根据眼部参数确定 与眼部区域对应的渲染素材的翻转角度;
根据翻转角度和多个网格顶点的位置信息生成与多个网格顶点分别对应的目标网格 顶点;
根据目标网格顶点更新眼部网格结构,并基于渲染素材对更新后的眼部网格结构进行 渲染。
在一种可能的实现方式中,根据眼部区域的关键点确定用于描述眼部比例的眼部参 数,包括:
从眼部区域中确定关键点集合;其中,关键点集合用于表征眼部区域的轮廓形状;
根据关键点集合确定眼部区域对应的眼睛高度和眼睛宽度;
基于眼睛高度和眼睛宽度生成眼部参数。
在一种可能的实现方式中,根据关键点集合确定眼部区域对应的眼睛高度和眼睛宽 度,包括:
从关键点集合中确定用于标识左眼角的第一关键点、用于标识右眼角的第二关键点、 用于标识上眼皮最高点的第三关键点以及用于标识下眼皮最低点的第四关键点;
根据第一关键点的第一位置信息和第二关键点的第二位置信息确定眼睛宽度;
根据第三关键点的第三位置信息和第四关键点的第四位置信息确定眼睛高度。
在一种可能的实现方式中,根据翻转角度和多个网格顶点的位置信息生成与多个网格 顶点分别对应的目标网格顶点,包括:
确定第一关键点和第二关键点的连线;
在连线上对多个网格顶点进行正交投影处理,得到多个网格顶点分别对应的投影点;
根据翻转角度和投影点的位置信息确定多个网格顶点分别对应的目标网格顶点。
在一种可能的实现方式中,根据翻转角度和多个网格顶点的位置信息生成与多个网格 顶点分别对应的目标网格顶点,包括:
从多个网格顶点中确定特定网格顶点;其中,特定网格顶点为多个网格顶点中任一顶 点或者为多个网格顶点中预设的顶点;
确定第一关键点和第二关键点的连线,并在连线上对特定网格顶点进行正交投影处 理,得到特定网格顶点对应的投影点;
根据翻转角度和投影点的位置信息确定特定网格顶点对应的目标网格顶点;
根据第一关键点、第二关键点以及特定网格顶点对应的目标网格顶点,确定多个网格 顶点中除特定网格顶点之外的其他网格顶点对应的目标网格顶点。
在一种可能的实现方式中,根据第一关键点、第二关键点以及特定网格顶点对应的目 标网格顶点,确定多个网格顶点中除特定网格顶点之外的其他网格顶点对应的目标网格顶 点,包括:
根据第一关键点、第二关键点以及特定网格顶点对应的目标网格顶点拟合贝塞尔曲 线;
根据贝塞尔曲线确定多个网格顶点中除特定网格顶点之外的其他网格顶点对应的目 标网格顶点。
在一种可能的实现方式中,根据眼部参数确定与眼部区域对应的渲染素材的翻转角 度,包括:
根据眼部参数确定翻转强度参数;
基于翻转强度参数确定与眼部区域对应的渲染素材的翻转角度。
在一种可能的实现方式中,根据目标网格顶点更新眼部网格结构,包括:
将眼部网格结构中的多个网格顶点分别更新为多个网格顶点分别对应的目标网格顶 点。
在一种可能的实现方式中,基于渲染素材对更新后的眼部网格结构进行渲染,包括:
确定渲染素材中的采样点;
根据采样点和更新后的眼部网格结构中各网格顶点的预设对应关系对更新后的眼部 网格结构进行渲染。
根据本公开实施例的第二方面,提供一种图像处理装置,其特征在于,图像处理装置 包括:
网格结构构建单元,被配置于执行构建对应于图像中眼部区域的眼部网格结构;
顶点选取单元,被配置于执行从眼部网格结构中选取对应于眼部区域中上眼皮的多个 网格顶点;
参数确定单元,被配置于执行根据眼部区域的关键点集合确定用于描述眼部比例的眼 部参数,并根据眼部参数确定与眼部区域对应的渲染素材的翻转角度;
顶点生成单元,被配置于执行根据翻转角度和多个网格顶点的位置信息生成与多个网 格顶点分别对应的目标网格顶点;
网格结构更新单元,被配置于执行根据目标网格顶点更新眼部网格结构;
渲染单元,被配置于执行基于渲染素材对更新后的眼部网格结构进行渲染。
在一种可能的实现方式中,参数确定单元,被配置于执行根据眼部区域的关键点确定 用于描述眼部比例的眼部参数,包括:
关键点确定子单元,被配置于执行从眼部区域中确定关键点集合;其中,关键点集合 用于表征眼部区域的轮廓形状;
参数确定子单元,被配置于执行根据关键点集合确定眼部区域对应的眼睛高度和眼睛 宽度;基于眼睛高度和眼睛宽度生成眼部参数。
在一种可能的实现方式中,参数确定子单元,被配置于执行根据关键点集合确定眼部 区域对应的眼睛高度和眼睛宽度,包括:
关键点确定模块,被配置于执行从关键点集合中确定用于标识左眼角的第一关键点、 用于标识右眼角的第二关键点、用于标识上眼皮最高点的第三关键点以及用于标识下眼皮 最低点的第四关键点;
参数确定模块,被配置于执行根据第一关键点的第一位置信息和第二关键点的第二位 置信息确定眼睛宽度;根据第三关键点的第三位置信息和第四关键点的第四位置信息确定 眼睛高度。
在一种可能的实现方式中,顶点生成单元,被配置于执行根据翻转角度和多个网格顶 点的位置信息生成与多个网格顶点分别对应的目标网格顶点,包括:
连线确定子单元,被配置于执行确定第一关键点和第二关键点的连线;
投影点确定子单元,被配置于执行在连线上对多个网格顶点进行正交投影处理,得到 多个网格顶点分别对应的投影点;
顶点确定子单元,被配置于执行根据翻转角度和投影点的位置信息确定多个网格顶点 分别对应的目标网格顶点。
在一种可能的实现方式中,顶点生成单元,被配置于执行根据翻转角度和多个网格顶 点的位置信息生成与多个网格顶点分别对应的目标网格顶点,包括:
顶点确定子单元,被配置于执行从多个网格顶点中确定特定网格顶点;其中,特定网 格顶点为多个网格顶点中任一顶点或者为多个网格顶点中预设的顶点;
连线确定子单元,被配置于执行确定第一关键点和第二关键点的连线,并在连线上对 特定网格顶点进行正交投影处理,得到特定网格顶点对应的投影点;
顶点确定子单元,还被配置于执行根据翻转角度和投影点的位置信息确定特定网格顶 点对应的目标网格顶点;
顶点确定子单元,还被配置于执行根据第一关键点、第二关键点以及特定网格顶点对 应的目标网格顶点,确定多个网格顶点中除特定网格顶点之外的其他网格顶点对应的目标 网格顶点。
在一种可能的实现方式中,顶点确定子单元,还被配置于执行根据第一关键点、第二 关键点以及特定网格顶点对应的目标网格顶点,确定多个网格顶点中除特定网格顶点之外 的其他网格顶点对应的目标网格顶点,包括:
曲线确定模块,被配置于执行根据第一关键点、第二关键点以及特定网格顶点对应的 目标网格顶点拟合贝塞尔曲线;
顶点确定模块,被配置于执行根据贝塞尔曲线确定多个网格顶点中除特定网格顶点之 外的其他网格顶点对应的目标网格顶点。
在一种可能的实现方式中,参数确定单元,被配置于执行根据眼部参数确定与眼部区 域对应的渲染素材的翻转角度,包括:
参数确定子单元,被配置于执行根据眼部参数确定翻转强度参数;
翻转角度确定子单元,被配置于执行基于翻转强度参数确定与眼部区域对应的渲染素 材的翻转角度。
在一种可能的实现方式中,网格结构更新单元,被配置于执行根据目标网格顶点更新 眼部网格结构,包括:
网格结构更新子单元,被配置于执行将眼部网格结构中的多个网格顶点分别更新为多 个网格顶点分别对应的目标网格顶点。
在一种可能的实现方式中,渲染单元基于渲染素材对更新后的眼部网格结构进行渲 染,包括:
采样点确定子单元,被配置于执行确定渲染素材中的采样点;
渲染子单元,被配置于执行根据采样点和更新后的眼部网格结构中各网格顶点的预设 对应关系对更新后的眼部网格结构进行渲染。
根据本公开实施例的第三方面,提供一种电子设备,包括:处理器;用于存储所述处 理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如上述第一 方面中任一项所述的方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,当所述计算机可读存 储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行本公开实施例的 第一方面中任一所述方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,包括计算机指令,所述计 算机指令被处理器执行时,使得计算机执行本公开实施例的第一方面中任一项所述方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
在本公开中,可以构建对应于图像中眼部区域的眼部网格结构,并从眼部网格结构中 选取对应于眼部区域中上眼皮的多个网格顶点;根据眼部区域的关键点集合确定用于描述 眼部比例的眼部参数,并根据眼部参数确定与眼部区域对应的渲染素材的翻转角度;根据 翻转角度和多个网格顶点的位置信息生成与多个网格顶点分别对应的目标网格顶点;根据 目标网格顶点更新眼部网格结构,并基于渲染素材对更新后的眼部网格结构进行渲染。这 样可以根据眼部区域的关键点集合确定当下的眼部参数,并基于该眼部参数确定适配当下 情况的渲染素材的翻转角度,从而基于渲染素材的翻转角度调整眼部区域的眼部网格结 构,实现个性化的眼部网格结构更新,得到更适配当下情况的眼部网格结构,对该更新后 的眼部网格结构进行渲染,可以使得渲染素材与眼部区域更为适配,使得渲染效果更真实、 自然。此外,基于对眼部网格结构的网格顶点更新可以直接实现渲染素材与眼部区域的适 配,无需针对不同的眼部区域的状态(如,睁眼、闭眼、半睁眼等)专门设计2D素材/3D 素材,可以节省设计成本,并提升渲染效率。此外,由于本申请无需专门设计特别的3D 素材,因此,对于执行本申请技术方案的设备的配置要求更低,应用范围更广。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限 制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例, 并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是示出的一种现有技术对眼部区域的渲染效果;
图2是根据一示例性实施例示出的一种图像处理方法及图像处理装置的示例性系统 架构的示意图。
图3是根据一示例性实施例示出的一种图像处理方法的流程图。
图4是根据一示例性实施例示出的对应于图像中眼部区域的眼部网格结构示意图。
图5是根据一示例性实施例示出的一种正交投影三维示意图。
图6是根据一示例性实施例示出的一种正交投影二维示意图。
图7是根据另一示例性实施例示出的对应于图像中眼部区域的眼部网格结构示意图。
图8是根据又一示例性实施例示出的对应于图像中眼部区域的眼部网格结构示意图。
图9是根据一示例性实施例示出的渲染效果示意图。
图10是根据另一示例性实施例示出的一种图像处理方法的流程图。
图11是根据一示例性实施例示出的一种图像处理装置的框图。
图12是根据一示例性实施例示出的一种用于针对图像中眼部区域进行渲染的电子设 备的框图。
图13是根据另一示例性实施例示出的一种用于针对图像中眼部区域进行渲染的电子 设备的框图。
在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实 施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二” 等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的 数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描 述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一 致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面 相一致的装置和方法的例子。
请参阅图2,图2是根据一示例性实施例示出的一种图像处理方法及图像处理装置的 示例性系统架构的示意图。
如图2所示,系统架构200可以包括终端设备201、202、203中的一个或多个,网络204和服务器205。网络204用以在终端设备201、202、203和服务器205之间提供通信 链路的介质。网络204可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等 等。终端设备201、202、203可以是具有显示屏的各种电子设备,包括但不限于台式计算 机、便携式计算机、智能手机和平板电脑等等。应该理解,图2中的终端设备、网络和服 务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务 器。比如服务器205可以是多个服务器组成的服务器集群等。
本公开实施例所提供的文件处理方法一般由服务器205执行,相应地,文件处理装置 一般设置于服务器205中。但本领域技术人员容易理解的是,本公开实施例所提供的文件 处理方法也可以由终端设备201、202或203执行,相应的,文件处理装置也可以设置于终端设备201、202或203中,本示例性实施例中对此不做特殊限定。举例而言,在一种 示例性实施例中,服务器205可以构建对应于图像中眼部区域的眼部网格结构,并从眼部 网格结构中选取对应于眼部区域中上眼皮的多个网格顶点;根据眼部区域的关键点集合确 定用于描述眼部比例的眼部参数,并根据眼部参数确定与眼部区域对应的渲染素材的翻转角度;根据翻转角度和多个网格顶点的位置信息生成与多个网格顶点分别对应的目标网格顶点;根据目标网格顶点更新眼部网格结构,并基于渲染素材对更新后的眼部网格结构进行渲染。
请参阅图3,图3是根据一示例性实施例示出的一种图像处理方法的流程图。如图3所示,图像处理方法可以包括以下步骤。
在步骤S300中,构建对应于图像中眼部区域的眼部网格结构,并从眼部网格结构中 选取对应于眼部区域中上眼皮的多个网格顶点。
在步骤S302中,根据眼部区域的关键点集合确定用于描述眼部比例的眼部参数,并 根据眼部参数确定与眼部区域对应的渲染素材的翻转角度。
在步骤S304中,根据翻转角度和多个网格顶点的位置信息生成与多个网格顶点分别 对应的目标网格顶点。
在步骤S306中,根据目标网格顶点更新眼部网格结构,并基于渲染素材对更新后的 眼部网格结构进行渲染。
可见,实施图3所示的图像处理方法,可以根据眼部区域的关键点集合确定当下的眼 部参数,并基于该眼部参数确定适配当下情况的渲染素材的翻转角度,从而基于渲染素材 的翻转角度调整眼部区域的眼部网格结构,实现个性化的眼部网格结构更新,得到更适配 当下情况的眼部网格结构,对该更新后的眼部网格结构进行渲染,可以使得渲染素材与眼 部区域更为适配,使得渲染效果更真实、自然。
针对上述步骤,下面进行详细描述:
在步骤S300中,构建对应于图像中眼部区域的眼部网格结构,并从眼部网格结构中 选取对应于眼部区域中上眼皮的多个网格顶点。
具体地,上述的图像中至少包括眼部区域,上述的图像也可以包括嘴部区域、耳部区 域、额头区域等一种或多种区域。该图像可以为2D图像也可以为3D图像,本申请实施 例不作限定。
此外,眼部网格结构可以理解为眼部区域对应的面皮(mesh),具体可以参阅图4,图4是根据一示例性实施例示出的对应于图像中眼部区域的眼部网格结构示意图。如图4所示,当检测到眼部区域时,可以先提取眼部区域对应的关键点,得到关键点集合,关键 点集合中各关键点在眼部区域的相对位置可以联合表征眼部区域的轮廓形状。进而,根据 各关键点的位置可以确定用于构建眼部网格结构的网格顶点分别所处的位置,根据预先设定的顶点连接规则可以用直线边对确定出的网格顶点进行连接,最终得到如图4所示的由多个网格顶点和多个直线边构成的眼部网格结构。
进而,需要说明的是,图4中每个网格顶点可以对应于不同的关键点,不同的关键点 可以对应于不同的类型,关键点的类型至少可以包括上眼皮关键点、下眼皮关键点。根据 关键点的类型可以确定相应网格顶点的类型,基于此,可以从图4的眼部网格结构中选取 对应于眼部区域中上眼皮的多个网格顶点,即,网格顶点410、网格顶点420、网格顶点430、网格顶点440、网格顶点450、网格顶点460、网格顶点470。
此外,可选的,本申请可以应用于美颜软件等相关软件。基于此,在构建对应于图像 中眼部区域的眼部网格结构之前,上述方法还可以包括:当检测到摄像头开启操作时,响 应于该摄像头开启操作,开启预设的前置摄像头/后置摄像头,以获取实时图像;若该实时图像中包含眼部区域,则执行上述的步骤S300;若该实时图像中不包含眼部区域,则 结束流程。其中,需要说明的是,在检测到拍摄操作之前,摄像头开启后的每个时刻都在 获取实时图像,只要检测到实时图像中包含眼部区域,就执行步骤S300,也就是说,对 每个包含眼部区域的实时图像都可以执行步骤S300。这样可以使用户从显示界面中直观 地看到眼部区域渲染后的结果(也可以理解为,眼部区域叠加了美睫素材后的结果),可 以改善用户的使用体验。
在步骤S302中,根据眼部区域的关键点集合确定用于描述眼部比例的眼部参数,并 根据眼部参数确定与眼部区域对应的渲染素材的翻转角度。
具体地,用于描述眼部比例的眼部参数可以包括一个或多个数值,本申请实施例不作 限定,举例来说,用于描述眼部比例的眼部参数可以包括眼睛高度和眼睛宽度的比值。此 外,与眼部区域对应的渲染素材可以为贴图、任一格式的图像、标识符等,本申请实施例 不作限定。此外,渲染素材的翻转角度θ可以用于限定对于渲染素材的翻转范围,渲染素 材的翻转角度θ处于预设的阈值范围内,如,[-α,+α],其中,-α用于表征将渲染素材向上翻转的最大角度,+α用于表征将渲染素材向下翻转的最大角度。
作为步骤S302的一种可选实施方式1,根据眼部区域的关键点确定用于描述眼部比 例的眼部参数,包括:从眼部区域中确定关键点集合;其中,关键点集合用于表征眼部区域的轮廓形状;根据关键点集合确定眼部区域对应的眼睛高度和眼睛宽度;基于眼睛高度和眼睛宽度生成眼部参数。
具体地,眼部区域对应的眼睛高度Eyeh和眼睛宽度Eyew可以分别表示为数值。此外, 基于眼睛高度和眼睛宽度生成眼部参数,包括:将眼睛高度Eyeh和眼睛宽度Eyew代入表达式
Figure BDA0003573248760000091
以计算出眼部参数scale。其中,scale∈[0,1]。
进一步可选的,基于眼睛高度和眼睛宽度生成眼部参数,包括:将眼睛高度Eyeh和眼睛宽度Eyew代入表达式
Figure BDA0003573248760000092
以计算出眼部参数scale。其中,u1为眼睛高 度Eyeh的权重,u2为眼睛宽度Eyew的权重,u1和u2可以由预设常数进行表示。可见, 通过给眼睛高度Eyeh和眼睛宽度Eyew赋权重,可以提升本申请对于眼部参数的计算精度, 进而有利于提升针对眼部区域的渲染效果。举例来说,人眼的形状通常千差万别,有普通 型、细长型、圆型等,以细长型眼睛为例,通常其眼睛高度比普通型眼睛的高度低一些, 其眼睛宽度比普通型眼睛的宽度更大一些,因此,通过调整u1和u2可以使得本申请的技 术方案可以适应于此类眼睛类型,从而计算出更为精准的眼部参数。
可见,实施该可选的实施方式,可以基于眼睛高度和眼睛宽度计算出眼部参数,眼部 参数可以用于更为精准的表征眼睛的横纵比例,从而有利于实现对于眼部网格结构的准确 更新。
作为可选实施方式1的进一步限定,根据关键点集合确定眼部区域对应的眼睛高度和 眼睛宽度,包括:从关键点集合中确定用于标识左眼角的第一关键点、用于标识右眼角的 第二关键点、用于标识上眼皮最高点的第三关键点以及用于标识下眼皮最低点的第四关键 点;根据第一关键点的第一位置信息和第二关键点的第二位置信息确定眼睛宽度;根据第 三关键点的第三位置信息和第四关键点的第四位置信息确定眼睛高度。
具体地,第一位置信息、第二位置信息、第三位置信息、第四位置信息可以通过坐标 等形式进行表示,本申请实施例不作限定。基于此,根据第一关键点的第一位置信息和第 二关键点的第二位置信息确定眼睛宽度,包括:计算第一关键点的第一位置信息和第二关 键点的第二位置信息的对位相减结果,作为眼睛宽度。此外,根据第三关键点的第三位置 信息和第四关键点的第四位置信息确定眼睛高度,包括:计算第三关键点的第三位置信息 和第四关键点的第四位置信息的对位相减结果,作为眼睛高度。此外,需要说明的是,第一关键点、第二关键点、第三关键点、第四关键点在同一眼部区域中是唯一的。
可见,实施该可选的实施方式,可以基于表征特定位置的关键点更精准的计算眼睛高 度和眼睛宽度,以提升后续要计算的眼部参数的精度。
作为步骤S302的一种可选实施方式2,根据眼部参数确定与眼部区域对应的渲染素 材的翻转角度,包括:根据眼部参数确定翻转强度参数;基于翻转强度参数确定与眼部区 域对应的渲染素材的翻转角度。
具体地,根据眼部参数确定翻转强度参数,包括:若眼部参数scale所属的数值范围 是0<scale<K1,则判定眼部区域对应于闭眼状态,进而通过表达式intensity=smoothStep(0,K1,scale)-1,计算翻转强度参数intensi;若眼部参数scale所属的 数值范围是K1<scale<K2,则判定眼部区域对应于睁眼状态,进而通过表达式 intensity=smoothStep(K1,K2,scale),计算翻转强度参数intensity。其中,翻转强度参 数intensity可以用于限定翻转渲染素材的强度,smoothStep()是可以用于生成0~1的平 滑过渡值的平滑阶梯函数,K1和K2是常数,如,K1=0.1,K2=0.5。可见,基于 smoothStep()可以计算出更适用于实时情况的翻转强度参数intensity,使得渲染的素材 随眼睛睁开闭合的动作更加柔和的过度。
基于此,基于翻转强度参数确定与眼部区域对应的渲染素材的翻转角度,包括:将翻 转强度参数intensity代入表达式θ=intensity·α,θ∈[-α,+α],以计算出与眼部区域对 应的渲染素材的翻转角度θ;其中,α可以理解为预设值,如,π/3。此外,翻转角度θ还 可以用于表征眼睛张开的程度。
可见,实施该可选的实施方式,可以基于翻转强度参数和预设值确定出更为精准的翻 转角度,基于精准的翻转角度可以有利于实现更贴合眼部区域当下状态的渲染效果。
在步骤S304中,根据翻转角度和多个网格顶点的位置信息生成与多个网格顶点分别 对应的目标网格顶点。
具体地,多个网格顶点分别对应的目标网格顶点处于不同的相对位置。
作为步骤S304的一种可选实施方式3,根据翻转角度和多个网格顶点的位置信息生 成与多个网格顶点分别对应的目标网格顶点,包括:确定第一关键点和第二关键点的连线; 在连线上对多个网格顶点进行正交投影处理,得到多个网格顶点分别对应的投影点;根据 翻转角度和投影点的位置信息确定多个网格顶点分别对应的目标网格顶点。
具体地,在连线上对多个网格顶点进行正交投影处理,得到多个网格顶点分别对应的 投影点,其中,多个网格顶点分别对应的投影点均处于该连线上。具体请参阅图5,在xyz 轴构成得三维空间中,正交投影指的是,P点520在x轴和y轴组成的二维平面上的影子位置,即P’点510,P’点510可以理解为P点520的投影点。
此外,可选的,根据翻转角度和投影点的位置信息确定多个网格顶点分别对应的目标 网格顶点,包括:根据翻转角度θ(例如,θ=π/3)和投影点O的位置信息O(x,y)调整网格顶点3落在二维平面中的
Figure BDA0003573248760000111
的指向角度,从而得到与
Figure BDA0003573248760000112
对应的
Figure BDA0003573248760000113
根据
Figure BDA0003573248760000114
Figure BDA0003573248760000115
所在轴上的投影确定对应于网格顶点M的目标网格顶点M1的位置M1(x,y),
Figure BDA0003573248760000116
Figure BDA0003573248760000117
其中,网格顶点M可以为 前述的多个网格顶点中的任一个,也就是说,多个网格顶点中每个网格顶点都可以使用上 述方式确定相对应的目标网格顶点。
具体可以参阅图6,依据投影点O和网格顶点M 610可以确定
Figure RE-GDA0003661036550000118
进而,依据翻转角度θ=π/3调整
Figure RE-GDA0003661036550000119
的指向角度,得到
Figure RE-GDA00036610365500001110
其中,M2 620可以为确定目标网格顶点过 程中使用的参考点,将
Figure RE-GDA00036610365500001111
投影至
Figure RE-GDA00036610365500001112
所在轴,可以得到
Figure RE-GDA00036610365500001113
其中,M1 630可以确定 为与和网格顶点M 610相对应的目标网格顶点。
结合图7来看,网格顶点710(对应于图6中的网格顶点M 610)可以向第一关键 点720和第二关键点730的连线上投影,得到网格顶点710对应的投影点,进而,可以依 据网格顶点710对应的投影点和翻转角度θ确定投影点对应的参考点(对应于图6中的M2 620),根据投影点对应的参考点在网格顶点710和投影点的连线上的进一步投影, 可以确定出网格顶点710对应的目标网格顶点(对应于图6中的M1 630)。
基于图6和图7所示的方式,依次对各网格顶点进行计算,从而可以得到各网格顶点 分别对应的目标网格顶点,具体请参阅图8,在眼部网格结构中,可以依据上眼皮对应的各网格顶点确定出各网格顶点对应的目标网格顶点,即,目标网格顶点810、目标网格顶 点820、目标网格顶点830、目标网格顶点840、目标网格顶点850、目标网格顶点860、 目标网格顶点870。
可见,实施该可选的实施方式,可以通过正交投影的方式,确定上眼皮对应的各网格 顶点对应的目标网格顶点,无需另外设计3D素材,依据计算出的目标网格顶点直接渲染现有的2D素材即可,可以既节省设计成本又实现素材与眼部区域当下状态的贴合。
作为步骤S304的一种可选实施方式4,根据翻转角度和多个网格顶点的位置信息生 成与多个网格顶点分别对应的目标网格顶点,包括:从多个网格顶点中确定特定网格顶点; 其中,特定网格顶点为多个网格顶点中任一顶点或者为多个网格顶点中预设的顶点;确定 第一关键点和第二关键点的连线,并在连线上对特定网格顶点进行正交投影处理,得到特 定网格顶点对应的投影点;根据翻转角度和投影点的位置信息确定特定网格顶点对应的目 标网格顶点;根据第一关键点、第二关键点以及特定网格顶点对应的目标网格顶点,确定 多个网格顶点中除特定网格顶点之外的其他网格顶点对应的目标网格顶点。
具体地,从多个网格顶点中确定特定网格顶点,包括:从多个网格顶点中随机选取一 个网格顶点作为特定网格顶点;或者,将从多个网格顶点中指定位置的网格顶点确定为特 定网格顶点;或者,其他方式,本申请实施例不作限定。
可见,实施该可选的实施方式,可以通过正交投影的方式计算出一个网格顶点对应的 目标网格顶点,针对其他的网格顶点的计算可以依赖于先计算出的这个目标网格顶点,无 需针对每个网格顶点进行正交投影,以提升渲染效率。
作为可选实施方式4的进一步限定,根据第一关键点、第二关键点以及特定网格顶点 对应的目标网格顶点,确定多个网格顶点中除特定网格顶点之外的其他网格顶点对应的目 标网格顶点,包括:根据第一关键点、第二关键点以及特定网格顶点对应的目标网格顶点 拟合贝塞尔曲线;根据贝塞尔曲线确定多个网格顶点中除特定网格顶点之外的其他网格顶 点对应的目标网格顶点。
具体地,贝塞尔曲线,又称贝兹曲线或贝济埃曲线,线段与节点组成,是应用于二维 图形应用程序的数学曲线,一般的矢量图形软件通过贝塞尔曲线的算法可以精确画出所需 的曲线。
其中,可选的,根据第一关键点、第二关键点以及特定网格顶点对应的目标网格顶点 拟合贝塞尔曲线,包括:依据第一关键点、第二关键点以及特定网格顶点对应的目标网格 顶点拟合贝塞尔曲线B(t)=(1-t)2Pa+2t(1-t)Pb+t2Pc,t∈[0,1],其中,Pa可以表 示贝塞尔曲线起点(即,第一关键点),Pc可以表示贝塞尔曲线终点(即,第二关键点), Pb可以表示控制点,用于决定曲线形状,但是曲线不经过Pb,此外,t是曲线增长的步长, t可以为自然数,如0.5。
基于此,根据贝塞尔曲线确定多个网格顶点中除特定网格顶点之外的其他网格顶点对 应的目标网格顶点,包括:对贝塞尔曲线B(t)=(1-t)2Pa+2t(1-t)Pb+t2Pc,t∈[0,1]中的t进行多次赋值,以确定多个网格顶点中除特定网格顶点之外的其他网格顶点对应的目标网格顶点。
举例来说,当t=0.5时,B(t)=网格顶点A的目标网格顶点,网格顶点A是多个网格顶点中任一网格顶点。当t=1/6、t=2/6、t=4/6、t=5/6、……时,可以分别计算出其他网格 顶点分别对应的B(t),即,其他网格顶点分别对应的目标网格顶点。
可见,实施该可选的实施方式,可以通过拟合贝塞尔曲线的方式,依赖先计算出的目 标网格顶点确定其他网格顶点对应的目标网格顶点,可以提升目标网格顶点的计算效率, 从而提升对于眼部区域的渲染效率。
在步骤S306中,根据目标网格顶点更新眼部网格结构,并基于渲染素材对更新后的 眼部网格结构进行渲染。
具体地,渲染素材可以为2D素材,渲染素材可以为睫毛图像、睫毛装饰品(例如,睫毛上的亮片)等,本申请实施例不作限定。此外,具体渲染可以参阅图9,图9是根据 一示例性实施例示出的渲染效果示意图。如图9所示,依照本申请实施例渲染出的睫毛效 果是贴合用户眼部状态的,在用户闭眼时,渲染出的眼睫毛也能够贴合闭眼状态,可以避 免出现如图1所示的渲染效果。相较于图1所示的渲染效果,可以更加贴合真实的睫毛效 果,使得睫毛特效可以随着眼皮的翻动而翻动。当本申请应用于美颜软件时,可以为用户 展示更为自然的美颜效果/美妆效果。此外,要实现渲染素材与眼睛状态相适应的效果, 本申请只需应用现有的2D的渲染素材即可,无需像有些现有技术一样专门设计3D素材, 可以节省设计工序,降低应用成本。
作为步骤S306的一种可选实施方式5,根据目标网格顶点更新眼部网格结构,包括: 将眼部网格结构中的多个网格顶点分别更新为多个网格顶点分别对应的目标网格顶点。
具体地,多个网格顶点中每个网格顶点对应于不同的目标网格顶点,目标网格顶点的 数量与多个网格顶点的数量一致且一一对应。
可见,实施该可选的实施方式,可以通过确定出的新的目标网格顶点替换眼部网格结 构中旧的多个网格顶点,从而实现对于眼部网格结构的更新,基于更新后的眼部网格结构 进行渲染,有利于得到更好的渲染效果。当需要渲染的素材是眼睫毛且更新后的眼部网格 结构用于表征眼睛闭合状态时,基于更新后的眼部网格结构对眼部区域渲染眼睫毛,可以 使得渲染出的眼睫毛与眼睛闭合状态更为贴合,避免渲染出如图1所示的效果,有利于改 善用户的使用体验。
作为步骤S306的一种可选实施方式6,基于渲染素材对更新后的眼部网格结构进行 渲染,包括:确定渲染素材中的采样点;根据采样点和更新后的眼部网格结构中各网格顶 点的预设对应关系对更新后的眼部网格结构进行渲染。
其中,渲染素材中可以包括一个或多个采样点,每个采样点都对应于眼部网格结构中 的一个网格顶点,预设对应关系用于描述网格顶点与采样点之间的对应关系,更新眼部网 格结构不影响预设对应关系。当确定出采样点之后,可以根据预设对应关系确定每个采样 点在眼部网格结构中所处的位置,进而基于这些采样点可以将渲染素材渲染到更新后的眼 部网格结构上,实现在眼部区域叠加特效的结果。
可见,实施该可选的实施方式,可以实现对更新后的眼部网格结构的渲染,可以得到 更真实的渲染效果。
进一步地,请参阅图10,图10是根据另一示例性实施例示出的一种图像处理方法的 流程图。如图10所示,图像处理方法可以包括以下步骤:步骤S1010~步骤S1036。
步骤S1010:构建对应于图像中眼部区域的眼部网格结构,并从眼部网格结构中选取 对应于眼部区域中上眼皮的多个网格顶点。
步骤S1012:从眼部区域中确定关键点集合;其中,关键点集合用于表征眼部区域的 轮廓形状。
步骤S1014:从关键点集合中确定用于标识左眼角的第一关键点、用于标识右眼角的 第二关键点、用于标识上眼皮最高点的第三关键点以及用于标识下眼皮最低点的第四关键 点。
步骤S1016:根据第一关键点的第一位置信息和第二关键点的第二位置信息确定眼睛 宽度;根据第三关键点的第三位置信息和第四关键点的第四位置信息确定眼睛高度。
步骤S1018:根据眼部参数确定翻转强度参数,并基于翻转强度参数和预设值确定与 眼部区域对应的渲染素材的翻转角度。进行,执行步骤S1020~步骤S1024,或者执行步骤S1026~步骤S1034。
步骤S1020:确定第一关键点和第二关键点的连线。
步骤S1022:在连线上对多个网格顶点进行正交投影处理,得到多个网格顶点分别对 应的投影点。
步骤S1024:根据翻转角度和投影点的位置信息确定多个网格顶点分别对应的目标网 格顶点。进而,执行步骤S1036。
步骤S1026:从多个网格顶点中确定特定网格顶点;其中,特定网格顶点为多个网格 顶点中任一顶点或者为多个网格顶点中预设的顶点。
步骤S1028:确定第一关键点和第二关键点的连线,并在连线上对特定网格顶点进行 正交投影处理,得到特定网格顶点对应的投影点。
步骤S1030:根据翻转角度和投影点的位置信息确定特定网格顶点对应的目标网格顶 点。
步骤S1032:根据第一关键点、第二关键点以及特定网格顶点对应的目标网格顶点拟 合贝塞尔曲线。
步骤S1034:根据贝塞尔曲线确定多个网格顶点中除特定网格顶点之外的其他网格顶 点对应的目标网格顶点。
步骤S1036:将眼部网格结构中的多个网格顶点分别更新为多个网格顶点分别对应的 目标网格顶点,并基于渲染素材对更新后的眼部网格结构进行渲染。
其中,渲染素材为2D素材。
此外,还需要说明的是,步骤S1010~步骤S1036与图3所示的各步骤及其实施例相对应,针对步骤S1010~步骤S1036的具体实施方式,请参阅图3所示的各步骤及其实施 例,此处不再赘述。
可见,实施图10所示的方法,可以根据眼部区域的关键点集合确定当下的眼部参数, 并基于该眼部参数确定适配当下情况的渲染素材的翻转角度,从而基于渲染素材的翻转角 度调整眼部区域的眼部网格结构,实现个性化的眼部网格结构更新,得到更适配当下情况 的眼部网格结构,对该更新后的眼部网格结构进行渲染,可以使得渲染素材与眼部区域更 为适配,使得渲染效果更真实、自然。此外,基于对眼部网格结构的网格顶点更新可以直 接实现渲染素材与眼部区域的适配,无需针对不同的眼部区域的状态(如,睁眼、闭眼、半睁眼等)专门设计2D素材/3D素材,可以节省设计成本,并提升渲染效率。此外,由 于本申请无需专门设计特别的3D素材,因此,对于执行本申请技术方案的设备的配置要 求更低,应用范围更广。
请参阅图11,图11是根据一示例性实施例示出的一种图像处理装置的框图。该图像 处理装置1100可以包括:网格结构构建单元1101、顶点选取单元1102、参数确定单元1103、顶点生成单元1104、网格结构更新单元1105、渲染单元1106。
网格结构构建单元1101,被配置于执行构建对应于图像中眼部区域的眼部网格结构;
顶点选取单元1102,被配置于执行从眼部网格结构中选取对应于眼部区域中上眼皮 的多个网格顶点;
参数确定单元1103,被配置于执行根据眼部区域的关键点集合确定用于描述眼部比 例的眼部参数,并根据眼部参数确定与眼部区域对应的渲染素材的翻转角度;
顶点生成单元1104,被配置于执行根据翻转角度和多个网格顶点的位置信息生成与 多个网格顶点分别对应的目标网格顶点;
网格结构更新单元1105,被配置于执行根据目标网格顶点更新眼部网格结构;
渲染单元1106,被配置于执行基于渲染素材对更新后的眼部网格结构进行渲染。
可见,实施图11所示的装置,可以根据眼部区域的关键点集合确定当下的眼部参数, 并基于该眼部参数确定适配当下情况的渲染素材的翻转角度,从而基于渲染素材的翻转角 度调整眼部区域的眼部网格结构,实现个性化的眼部网格结构更新,得到更适配当下情况 的眼部网格结构,对该更新后的眼部网格结构进行渲染,可以使得渲染素材与眼部区域更 为适配,使得渲染效果更真实、自然。
在一种可能的实现方式中,参数确定单元1103,被配置于执行根据眼部区域的关键 点确定用于描述眼部比例的眼部参数,包括:
关键点确定子单元,被配置于执行从眼部区域中确定关键点集合;其中,关键点集合 用于表征眼部区域的轮廓形状;
参数确定子单元,被配置于执行根据关键点集合确定眼部区域对应的眼睛高度和眼睛 宽度;基于眼睛高度和眼睛宽度生成眼部参数。
可见,实施该可选的实施方式,可以基于眼睛高度和眼睛宽度计算出眼部参数,眼部 参数可以用于更为精准的表征眼睛的横纵比例,从而有利于实现对于眼部网格结构的准确 更新。
在一种可能的实现方式中,参数确定子单元,被配置于执行根据关键点集合确定眼部 区域对应的眼睛高度和眼睛宽度,包括:
关键点确定模块,被配置于执行从关键点集合中确定用于标识左眼角的第一关键点、 用于标识右眼角的第二关键点、用于标识上眼皮最高点的第三关键点以及用于标识下眼皮 最低点的第四关键点;
参数确定模块,被配置于执行根据第一关键点的第一位置信息和第二关键点的第二位 置信息确定眼睛宽度;根据第三关键点的第三位置信息和第四关键点的第四位置信息确定 眼睛高度。
可见,实施该可选的实施方式,可以基于表征特定位置的关键点更精准的计算眼睛高 度和眼睛宽度,以提升后续要计算的眼部参数的精度。
在一种可能的实现方式中,顶点生成单元1104,被配置于执行根据翻转角度和多个 网格顶点的位置信息生成与多个网格顶点分别对应的目标网格顶点,包括:
连线确定子单元,被配置于执行确定第一关键点和第二关键点的连线;
投影点确定子单元,被配置于执行在连线上对多个网格顶点进行正交投影处理,得到 多个网格顶点分别对应的投影点;
顶点确定子单元,被配置于执行根据翻转角度和投影点的位置信息确定多个网格顶点 分别对应的目标网格顶点。
可见,实施该可选的实施方式,可以通过正交投影的方式,确定上眼皮对应的各网格 顶点对应的目标网格顶点,无需另外设计3D素材,依据计算出的目标网格顶点直接渲染现有的2D素材即可,可以既节省设计成本又实现素材与眼部区域当下状态的贴合。
在一种可能的实现方式中,顶点生成单元1104,被配置于执行根据翻转角度和多个 网格顶点的位置信息生成与多个网格顶点分别对应的目标网格顶点,包括:
顶点确定子单元,被配置于执行从多个网格顶点中确定特定网格顶点;其中,特定网 格顶点为多个网格顶点中任一顶点或者为多个网格顶点中预设的顶点;
连线确定子单元,被配置于执行确定第一关键点和第二关键点的连线,并在连线上对 特定网格顶点进行正交投影处理,得到特定网格顶点对应的投影点;
顶点确定子单元,还被配置于执行根据翻转角度和投影点的位置信息确定特定网格顶 点对应的目标网格顶点;
顶点确定子单元,还被配置于执行根据第一关键点、第二关键点以及特定网格顶点对 应的目标网格顶点,确定多个网格顶点中除特定网格顶点之外的其他网格顶点对应的目标 网格顶点。
可见,实施该可选的实施方式,可以通过正交投影的方式计算出一个网格顶点对应的 目标网格顶点,针对其他的网格顶点的计算可以依赖于先计算出的这个目标网格顶点,无 需针对每个网格顶点进行正交投影,以提升渲染效率。
在一种可能的实现方式中,顶点确定子单元,还被配置于执行根据第一关键点、第二 关键点以及特定网格顶点对应的目标网格顶点,确定多个网格顶点中除特定网格顶点之外 的其他网格顶点对应的目标网格顶点,包括:
曲线确定模块,被配置于执行根据第一关键点、第二关键点以及特定网格顶点对应的 目标网格顶点拟合贝塞尔曲线;
顶点确定模块,被配置于执行根据贝塞尔曲线确定多个网格顶点中除特定网格顶点之 外的其他网格顶点对应的目标网格顶点。
可见,实施该可选的实施方式,可以通过拟合贝塞尔曲线的方式,依赖先计算出的目 标网格顶点确定其他网格顶点对应的目标网格顶点,可以提升目标网格顶点的计算效率, 从而提升对于眼部区域的渲染效率。
在一种可能的实现方式中,参数确定单元1103,被配置于执行根据眼部参数确定与 眼部区域对应的渲染素材的翻转角度,包括:
参数确定子单元,被配置于执行根据眼部参数确定翻转强度参数;
翻转角度确定子单元,被配置于执行基于翻转强度参数确定与眼部区域对应的渲染素 材的翻转角度。
可见,实施该可选的实施方式,可以基于翻转强度参数和预设值确定出更为精准的翻 转角度,基于精准的翻转角度可以有利于实现更贴合眼部区域当下状态的渲染效果。
在一种可能的实现方式中,网格结构更新单元1105,被配置于执行根据目标网格顶 点更新眼部网格结构,包括:
网格结构更新子单元,被配置于执行将眼部网格结构中的多个网格顶点分别更新为多 个网格顶点分别对应的目标网格顶点。
可见,实施该可选的实施方式,可以通过确定出的新的目标网格顶点替换眼部网格结 构中旧的多个网格顶点,从而实现对于眼部网格结构的更新,基于更新后的眼部网格结构 进行渲染,有利于得到更好的渲染效果。当需要渲染的素材是眼睫毛且更新后的眼部网格 结构用于表征眼睛闭合状态时,基于更新后的眼部网格结构对眼部区域渲染眼睫毛,可以 使得渲染出的眼睫毛与眼睛闭合状态更为贴合,避免渲染出如图1所示的效果,有利于改 善用户的使用体验。
在一种可能的实现方式中,渲染单元1106基于渲染素材对更新后的眼部网格结构进 行渲染,包括:
采样点确定子单元,被配置于执行确定渲染素材中的采样点;
渲染子单元,被配置于执行根据采样点和更新后的眼部网格结构中各网格顶点的预设 对应关系对更新后的眼部网格结构进行渲染。
可见,实施该可选的实施方式,可以实现对更新后的眼部网格结构的渲染,可以得到 更真实的渲染效果。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实 施例中进行了详细描述,此处将不做详细阐述说明。
图12是根据一示例性实施例示出的一种用于执行图像处理方法的电子设备的框图, 该电子设备可以是用户端,其内部结构图可以如图12所示。该电子设备包括通过系统总 线连接的处理器1200、存储器、网络接口1204、显示屏1205和输入装置1206。其中, 该电子设备的处理器1200用于提供计算和控制能力。该电子设备的存储器包括非易失性 存储介质、内存储器1203。该非易失性存储介质存储有操作系统1201和计算机程序1202。 该内存储器1203为非易失性存储介质中的操作系统1201和计算机程序1202的运行提供 环境。该电子设备的网络接口1204用于与外部的终端通过网络连接通信。该计算机程序 1202被处理器1200执行时以实现一种图像处理方法。该电子设备的显示屏1205可以是 液晶显示屏或者电子墨水显示屏,该电子设备的输入装置1206可以是显示屏1205上覆盖 的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、 触控板或鼠标等。
本领域技术人员可以理解,图12中示出的结构,仅仅是与本公开方案相关的部分结 构的框图,并不构成对本公开方案所应用于其上的电子设备的限定,具体的电子设备可以 包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
图13是根据一示例性实施例示出的一种用于执行图像处理方法的电子设备的框图, 该电子设备可以是服务端,其内部结构图可以如图13所示。该电子设备包括通过系统总 线连接的处理器1300、存储器和网络接口1304。其中,该电子设备的处理器1300用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器1303。该非 易失性存储介质存储有操作系统1301和计算机程序1302。该内存储器1303为非易失性 存储介质中的操作系统1301和计算机程序1302的运行提供环境。该电子设备的网络接口 1304用于与外部的终端通过网络连接通信。该计算机程序1302被处理器1300执行时以 实现一种图像处理方法。
本领域技术人员可以理解,图13中示出的结构,仅仅是与本公开方案相关的部分结 构的框图,并不构成对本公开方案所应用于其上的电子设备的限定,具体的电子设备可以 包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在示例性实施例中,还提供了一种电子设备,包括:处理器;用于存储该处理器可执 行指令的存储器;其中,该处理器被配置为执行该指令,以实现如本公开实施例中的图像 处理方法。
在示例性实施例中,还提供了一种计算机可读存储介质,当该计算机可读存储介质中 的指令由电子设备的处理器执行时,使得电子设备能够执行本公开实施例中的图像处理方 法。计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘 和光数据存储设备等。
在示例性实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行 时,使得计算机执行本公开实施例中的图像处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过 计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存 储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本公开 所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括 非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程 ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失 性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限, RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步 DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链 路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器 总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实 施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者 适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或 惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求 指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可 以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法,其特征在于,所述图像处理方法包括:
构建对应于图像中眼部区域的眼部网格结构,并从所述眼部网格结构中选取对应于所述眼部区域中上眼皮的多个网格顶点;
根据所述眼部区域的关键点集合确定用于描述眼部比例的眼部参数,并根据所述眼部参数确定与所述眼部区域对应的渲染素材的翻转角度;
根据所述翻转角度和所述多个网格顶点的位置信息生成与所述多个网格顶点分别对应的目标网格顶点;
根据所述目标网格顶点更新所述眼部网格结构,并基于所述渲染素材对更新后的眼部网格结构进行渲染。
2.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述眼部区域的关键点确定用于描述眼部比例的眼部参数,包括:
从所述眼部区域中确定所述关键点集合;其中,所述关键点集合用于表征所述眼部区域的轮廓形状;
根据所述关键点集合确定所述眼部区域对应的眼睛高度和眼睛宽度;
基于所述眼睛高度和所述眼睛宽度生成所述眼部参数。
3.根据权利要求2所述的图像处理方法,其特征在于,所述根据所述关键点集合确定所述眼部区域对应的眼睛高度和眼睛宽度,包括:
从所述关键点集合中确定用于标识左眼角的第一关键点、用于标识右眼角的第二关键点、用于标识上眼皮最高点的第三关键点以及用于标识下眼皮最低点的第四关键点;
根据所述第一关键点的第一位置信息和所述第二关键点的第二位置信息确定所述眼睛宽度;
根据所述第三关键点的第三位置信息和所述第四关键点的第四位置信息确定所述眼睛高度。
4.根据权利要求3所述的图像处理方法,其特征在于,所述根据所述翻转角度和所述多个网格顶点的位置信息生成与所述多个网格顶点分别对应的目标网格顶点,包括:
确定所述第一关键点和所述第二关键点的连线;
在所述连线上对所述多个网格顶点进行正交投影处理,得到所述多个网格顶点分别对应的投影点;
根据所述翻转角度和所述投影点的位置信息确定所述多个网格顶点分别对应的目标网格顶点。
5.根据权利要求3所述的图像处理方法,其特征在于,所述根据所述翻转角度和所述多个网格顶点的位置信息生成与所述多个网格顶点分别对应的目标网格顶点,包括:
从所述多个网格顶点中确定特定网格顶点;其中,所述特定网格顶点为所述多个网格顶点中任一顶点或者为所述多个网格顶点中预设的顶点;
确定所述第一关键点和所述第二关键点的连线,并在所述连线上对所述特定网格顶点进行正交投影处理,得到所述特定网格顶点对应的投影点;
根据所述翻转角度和所述投影点的位置信息确定所述特定网格顶点对应的目标网格顶点;
根据所述第一关键点、所述第二关键点以及所述特定网格顶点对应的目标网格顶点,确定所述多个网格顶点中除所述特定网格顶点之外的其他网格顶点对应的目标网格顶点。
6.根据权利要求5所述的图像处理方法,其特征在于,所述根据所述第一关键点、所述第二关键点以及所述特定网格顶点对应的目标网格顶点,确定所述多个网格顶点中除所述特定网格顶点之外的其他网格顶点对应的目标网格顶点,包括:
根据所述第一关键点、所述第二关键点以及所述特定网格顶点对应的目标网格顶点拟合贝塞尔曲线;
根据所述贝塞尔曲线确定所述多个网格顶点中除所述特定网格顶点之外的其他网格顶点对应的目标网格顶点。
7.一种图像处理装置,其特征在于,所述图像处理装置包括:
网格结构构建单元,被配置于执行构建对应于图像中眼部区域的眼部网格结构;
顶点选取单元,被配置于执行从所述眼部网格结构中选取对应于所述眼部区域中上眼皮的多个网格顶点;
参数确定单元,被配置于执行根据所述眼部区域的关键点集合确定用于描述眼部比例的眼部参数,并根据所述眼部参数确定与所述眼部区域对应的渲染素材的翻转角度;
顶点生成单元,被配置于执行根据所述翻转角度和所述多个网格顶点的位置信息生成与所述多个网格顶点分别对应的目标网格顶点;
网格结构更新单元,被配置于执行根据所述目标网格顶点更新所述眼部网格结构;
渲染单元,被配置于执行基于所述渲染素材对更新后的眼部网格结构进行渲染。
8.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1-6中任一项所述的图像处理方法。
9.一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1-6中任一项所述的图像处理方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的图像处理方法。
CN202210331431.0A 2022-03-30 2022-03-30 图像处理方法、装置、电子设备及存储介质 Pending CN114663628A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210331431.0A CN114663628A (zh) 2022-03-30 2022-03-30 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210331431.0A CN114663628A (zh) 2022-03-30 2022-03-30 图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114663628A true CN114663628A (zh) 2022-06-24

Family

ID=82032799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210331431.0A Pending CN114663628A (zh) 2022-03-30 2022-03-30 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114663628A (zh)

Similar Documents

Publication Publication Date Title
CN110766776B (zh) 生成表情动画的方法及装置
CN107452049B (zh) 一种三维头部建模方法及装置
CN109151540A (zh) 视频图像的交互处理方法及装置
US9202312B1 (en) Hair simulation method
CN112419144B (zh) 人脸图像的处理方法、装置、电子设备及存储介质
WO2021232690A1 (zh) 一种视频生成方法、装置、电子设备及存储介质
JP2024501986A (ja) 3次元顔再構築の方法、3次元顔再構築の装置、デバイスおよび記憶媒体
GB2571398A (en) Refining local parameterizations for applying two-dimensional images to three-dimensional models
KR20120005587A (ko) 컴퓨터 시스템에서 얼굴 애니메이션 생성 방법 및 장치
CN108712948A (zh) 用于自动毛发造型处理的系统和方法以及毛发切削设备
US20220284678A1 (en) Method and apparatus for processing face information and electronic device and storage medium
CN114037802A (zh) 三维人脸模型重建方法、装置、存储介质及计算机设备
CN110322571B (zh) 一种页面处理方法、装置及介质
JP2023029984A (ja) 仮想イメージを生成するための方法、装置、電子機器及び可読記憶媒体
KR20190043925A (ko) 헤어 스타일 시뮬레이션 서비스를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN110580677B (zh) 一种数据处理方法、装置和用于数据处理的装置
US20220292795A1 (en) Face image processing method, electronic device, and storage medium
CN111507259B (zh) 脸部特征提取方法、装置、电子设备
CN110624244A (zh) 游戏中脸部模型的编辑方法、装置和终端设备
WO2022257766A1 (zh) 图像处理方法、装置、设备及介质
CN112862672B (zh) 刘海生成方法、装置、计算机设备和存储介质
Yu et al. Mean value coordinates–based caricature and expression synthesis
CN114663628A (zh) 图像处理方法、装置、电子设备及存储介质
CN113570634A (zh) 对象三维重建方法、装置、电子设备及存储介质
CN116229548A (zh) 模型的生成方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination