CN114373033A - 图像处理方法、装置、设备、存储介质及计算机程序 - Google Patents

图像处理方法、装置、设备、存储介质及计算机程序 Download PDF

Info

Publication number
CN114373033A
CN114373033A CN202210024112.5A CN202210024112A CN114373033A CN 114373033 A CN114373033 A CN 114373033A CN 202210024112 A CN202210024112 A CN 202210024112A CN 114373033 A CN114373033 A CN 114373033A
Authority
CN
China
Prior art keywords
description information
training
image
information
target part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210024112.5A
Other languages
English (en)
Inventor
周志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210024112.5A priority Critical patent/CN114373033A/zh
Publication of CN114373033A publication Critical patent/CN114373033A/zh
Priority to PCT/CN2022/128637 priority patent/WO2023130819A1/zh
Priority to US18/333,781 priority patent/US20230368395A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20041—Distance transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、设备、存储介质及计算机程序，其中方法包括：获取待处理图像，该待处理图像中包括对象的目标部位，目标部位的形态为第一形态，第一形态与预期的形态是不匹配的；获取第一形态对应的描述信息，以及获取处于第一形态时目标部位的轮廓信息；基于描述信息和轮廓信息对目标部位的形态进行修正，将目标部位的形态由第一形态修正为第二形态，第二形态与预期的形态是相匹配的。采用本申请实施例，可以节省人力资源，提高形态修正效率。

Description

图像处理方法、装置、设备、存储介质及计算机程序
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像处理方法、装置、设备、存储介质及计算机程序。
背景技术
在一些虚拟现实应用以及游戏应用中，为了带给玩家更加逼真震撼的效果，通常会采用3D(three-dimensional)技术来制作在游戏中玩家角色、怪物角色等3D角色。更进一步的，为了使得3D角色更加逼真，3D角色会拥有表情，比如微笑的表情、难过的表情。
3D角色表情制作一般是通过面部控制器实现的，举例来说，在3D角色表情制作时，一般会由一个演员做一段表演，然后动画师根据表演对3D角色的面部绑定的面部控制器的控制器参数进行编辑从而制作出特定的表情，也可以通过一些技术方法自动根据演员照片得到对应的控制器参数。
但是通过这种方法制作得到的3D角色表情中，某个部位的形态与演员的形态(演员的形态可以理解为预期的形态)存在一定误差，应当理解的，不同部位的形态对表情的诠释都起着至关重要的作用，即使是微小的差异对某些表情的情感表达都会有很大影响，尤其是面部中各个部位。因此，在得到某个部位的形态后，与预期的形态进行比对，如果不匹配，则通过人工调整的方式来修正形态。人工纠正的方式不仅耗费人力资源，还降低了修正效率。因此，在3D角色表情制作领域中，如何对不符合预期形态的部位进行高效率的形态修正，成为研究的热点问题之一。
发明内容
本申请实施例提供了一种图像处理方法，装置、设备、存储介质及计算机程序，提高了对象目标部位的形态修正效率。
一方面，本申请实施例提供了一种图像处理方法，包括：
获取待处理图像，所述待处理图像中包括对象的目标部位，所述目标部位的形态为第一形态；所述第一形态与预期的形态不匹配；
获取所述第一形态对应的描述信息，以及获取处于所述第一形态时所述目标部位的轮廓信息；
基于所述描述信息和所述轮廓信息对所述目标部位的形态进行修正，将所述目标部位的形态由所述第一形态修正为第二形态，所述第二形态与所述预期的形态相匹配。
一方面，本申请实施例还提供了一种图像处理装置，包括：
获取单元，用于获取待处理图像，所述待处理图像中包括对象的目标部位，所述目标部位的形态为第一形态；所述第一形态与预期的形态不匹配；
所述获取单元，还用于获取所述第一形态对应的描述信息，以及获取处于所述第一形态时所述目标部位的轮廓信息；
修正单元，用于基于所述描述信息和所述轮廓信息对所述目标部位的形态进行修改，将所述目标部位的形态由所述第一形态修正为第二形态，所述第二形态与所述预期的形态相匹配。
一方面，本申请实施例提供了一种图像处理设备，包括：处理器，适用于实现一条或多条计算机程序；计算机存储介质，所述计算机存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由处理器加载并执行：
获取待处理图像，所述待处理图像中包括对象的目标部位，所述目标部位的形态为第一形态；所述第一形态与预期的形态不匹配；
获取所述第一形态对应的描述信息，以及获取处于所述第一形态时所述目标部位的轮廓信息；
基于所述描述信息和所述轮廓信息对所述目标部位的形态进行修正，将所述目标部位的形态由所述第一形态修正为第二形态，所述第二形态与所述预期的形态相匹配。
一方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被图像处理设备的处理器执行时，用于执行：
获取待处理图像，所述待处理图像中包括对象的目标部位，所述目标部位的形态为第一形态；所述第一形态与预期的形态不匹配；
获取所述第一形态对应的描述信息，以及获取处于所述第一形态时所述目标部位的轮廓信息；
基于所述描述信息和所述轮廓信息对所述目标部位的形态进行修正，将所述目标部位的形态由所述第一形态修正为第二形态，所述第二形态与所述预期的形态相匹配。
一方面，本申请实施例提供了一种计算机程序产品或计算机程序，所述计算机程序产品包括计算机程序，计算机程序存储在计算机存储介质中；图像处理设备的处理器从计算机存储介质中读取计算机程序，该处理器执行计算机程序，使得图像处理设备执行：
获取待处理图像，所述待处理图像中包括对象的目标部位，所述目标部位的形态为第一形态；所述第一形态与预期的形态不匹配；
获取所述第一形态对应的描述信息，以及获取处于所述第一形态时所述目标部位的轮廓信息；
基于所述描述信息和所述轮廓信息对所述目标部位的形态进行修正，将所述目标部位的形态由所述第一形态修正为第二形态，所述第二形态与所述预期的形态相匹配。
本申请实施例中，在待处理图像中对象的目标部位处于第一形态，如果该第一形态与预期的形态不匹配，则可以获取第一形态对应的描述信息，以及处于第一形态时目标部位的轮廓信息，进一步的，基于第一形态对应的描述信息和目标部位的轮廓信息对目标部位进行形态修正，以使得目标部位的形态由第一形态修正为第二形态，该第二形态是与预期的形态相匹配的，如此一来，无需通过人为手动对第一形态进行修正，而是根据第一形态的描述信息和第一形态时目标部位的轮廓信息自动对目标部位进行形态修正，使得目标部位的形态满足预期的形态。省去了人工手动修正带来的人力资源消耗，提高了形态修正的效率。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的一种3D角色图像与形态控制器绑定的示意图；
图1b是本申请实施例提供的一种对唇部形态进行修正的示意图；
图2是本申请实施例提供的一种图像处理方法的流程示意图；
图3是本申请实施例提供的一种待处理图像与图像网格关联的示意图；
图4a是本申请实施例提供的一种目标部位的轮廓和网格顶点示意图；
图4b是本申请实施例提供的一种目标部位的轮廓信息的示意图；
图4c是本申请实施例提供的另一种目标部位的轮廓信息示意图；
图5是本申请实施例提供的一种参数预测模型的结构示意图；
图6是本申请实施例提供的另一种图像处理方法的流程示意图；
图7a是本申请实施例提供的一种对参数预测模型的训练示意图；
图7b是本申请实施例提供一种对位置预测模型的训练示意图；
图8是本申请实施例提供的另一种参数预测模型的训练示意图；
图9是本申请实施例提供的一种图像处理装置的结构示意图；
图10是本申请实施例提供的一种图像处理设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本申请实施例提供了一种图像处理方案，获取到待处理图像后，确定待处理图像中对象的目标部位为第一形态，进一步的检测该待处理图像中对象目标部位的第一形态是否与预期的形态相匹配，当目标部位的第一形态与预期的形态不匹配时，可以根据处于第一形态时目标部位的轮廓信息以及第一形态对应的描述信息对目标部位进行形态修正，以使得目标部位的形态由第一形态修正为与预期的形态相匹配的第二形态。
在一个实施例中，该图像处理方案可由图像处理设备执行，图像处理设备可以是终端，比如智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、智能家电、智能语音交互设备等；或者，图像处理设备也可以是服务器，比如独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。
另一个实施例中，该图像处理方案可以是由图像处理设备和图像管理设备共同执行的，例如图像管理设备可以存储有多个待处理图像，图像管理设备向图像处理设备发送待处理图像，图像处理设备获取到待处理图像后执行上述图像处理方案；再如图像处理设备中从本地存储中获取待处理图像，然后获取待处理图像中目标部位的第一形态对应的描述信息以及目标部位处于第一形态时的轮廓信息，接着图像处理设备将描述信息和轮廓信息传输给图像管理设备，由图像管理设备来基于描述信息和轮廓信息，对目标部位的形态进行修正，最后将修正结果反馈给图像处理设备。
可选的，待处理图像中对象的目标部位可以指对象面部包括的五官部位中任意一个，比如眼睛、唇部、鼻子、耳朵以及眉毛等等；或者待处理图像中对象的目标部位还可以指对象身体的其他部位，比如手指、胳膊等等。为了方便描述，在无特征说明的情况下，本申请实施例以目标部位为唇部为例展开。
本申请实施例提供的该图像处理方案可以应用在3D角色表情制作场景中，例如待处理图像是指3D角色图像，通过下述步骤(1)和(2)为3D角色图像制作表情，在制作得到的表情中目标部位的形态为第一形态。具体地：
(1)将3D角色图像与一个形态控制器绑定，参见图1a为本发明实施例提供的一种将3D角色图像与一个形态控制器绑定的示意图，101表示3D角色图像，3D角色图像与一个图像网格相关联，这样3D角色图像中对象面部的每个部位都可以通过几个网格的顶点来描述，比如唇部可以通过103内的网格顶点来描述。102表示在形态控制器中与3D角色图像对应的部位控件，比如1021表示形态控制器中与3D角色的唇部绑定的部位控件。形态控制器中控制器参数可以包括每个部位控件的参数，每个部位控件的参数可以包括每个部位控件的尺寸信息、形状信息等等；
(2)一个演员做一段表演，然后动画师根据表演对形态控制器参数进行编辑从而制作出特定的表情，例如演员做出一段表演时，其唇部的形态如图1b中11所示，此时唇部的形态为预期的形态；对形态控制器参数进行编辑，进而制作出3D角色图像的表情，在制作出的表情中唇部的第一形态如图1b中12所示。
可见，12所示的第一形态与演员表演时唇部的形态(预期的形态)不同。因此，需要采用本申请实施例提供的图像处理方案对唇部进行形态修正，具体地，获取唇部处于当前形态时，获取当前形态对应的描述信息，该描述信息可以是在图像网格中用于表示唇部的多个网格的位置信息，以及获取处于当前形态时唇部的轮廓信息，进一步的，基于轮廓信息和描述信息进行形态修正，得到修正后的形态如图1b中13所示。
由图1b可见，采用我们的图像处理方案修正后的形态与预期的形态匹配度较高，本申请的图像处理方案不需要人为的修正，可节省修正时间以及提高修正效率。
可选的，上述3D角色可以是游戏应用中的一个游戏对象，在正式发布游戏应用之前，为了达到更加逼真的游戏效果，可以为一个游戏对象预先设计一些表情，在不同游戏场景中，该游戏对象可以呈现出不同的表情，比如在游戏对战场景中，游戏对象可以呈现出比较亢奋的表情，当游戏对战胜利后，游戏对象可以显现出微笑的表情。可以通过上述步骤(1)和(2)为游戏对象设计不同的表情，如果设计出的表情中目标部位的形态与预期的形态不匹配，则通过本申请上述的图像处理方案来修改目标部位的形态，以使得游戏对象的表情更加精准。
可选的，上述3D角色还可以是一个基于虚拟人进行人机交互场景中的虚拟人，基于虚拟人进行人机交互的场景可以为：虚拟人为一个产品客服，通过虚拟人与用户进行聊天交互来讨论或者了解该产品。为了让用户体验到与真人聊天的逼真感，可以预先为该虚拟人设计几种表情，不同聊天场景下虚拟人可以表现出不同形态。比如，聊天场景为用户对产品提出表扬，那么虚拟人可以呈现微笑的表情；聊天场景为用户对产品表现出不满意，虚拟人可以呈现出难过的表情。同样可以通过上述步骤(1)和(2)为虚拟人设计表情，如果设计出的表情中目标部位的形态与预期的形态不匹配，采用本申请上述的图像处理方案来修正目标部位的形态。
其他实施例中，基于虚拟人进行人机交互的场景还可以是：虚拟人作为一个应用程序的使用引导者，当用户第一次进入到该应用程序时，虚拟人通过一些肢体操作指示用户如何使用应用程序。再或者，基于虚拟人进行人机交互的场景还可以包括：虚拟人可以是一个用户在某个应用程序中的虚拟形象，用户利用该虚拟形象来表征自己，在应用程序中可以通过该虚拟形象与好友进行会话交互，或者在应用程序中以虚拟形象来参加一些模拟现实生活中的一些活动，比如种菜、开会、交友等等。
上述只是本申请实施例列举的信息处理方案的应用场景，在具体实现中，凡是涉及到对象形态修正的应用场景，均可以采用本申请实施例提出的图像处理方案，来达到节省修正时间和提高修正效率的目的。
基于上述的图像处理方案，本申请实施例提供了一种图像处理方法，参见图2，为本申请实施例提供的一种图像处理方法的流程示意图。图2所述的图像处理方法可由图像处理设备执行，具体可由图像处理设备的处理器执行；图2所述的图像处理方法可包括如下步骤：
步骤S201、获取待处理图像，待处理图像中包括对象的目标部位，目标部位的形态为第一形态，第一形态与预期的形态不匹配。
其中，该待处理图像可以是存储在图像处理设备本地的，此时图像处理设备可以从本地存储中直接获取该待处理图像；或者，该待处理图像可以是由其他设备生成并存储在其他设备中的，此时图像处理设备获取待处理图像是指图像处理设备接收其他设备发送的待处理图像。
待处理图像中可以是包括对象面部，该对象可以是人或动物，该待处理图像可以是指3D角色表情制作中的3D角色图像，该待处理图像可以是用3D技术合成的，例如参见图1b中12可以表示一张待处理图像。
在待处理图像中目标部位可以是指对象面部的五官中任意一个，比如眼睛、眉毛、鼻子、唇部以及耳朵。目标部位的形态可以为第一形态，该第一形态可以是通过面部控制器生成的，此处的详细描述可参见前述，在此不再赘述。假设目标部位为唇部，第一形态可以包括张嘴状态、微笑状态或者大笑状态等等。
在一个实施例中，可以将待处理图像中目标部位的第一形态与预期的形态进行比对，确定第一形态与预期的形态之间的匹配情况；如果第一形态与预期的形态不匹配，则需要执行后续的步骤S202和步骤S203对目标部位进行形态修正；如果第一形态与预期的形态相匹配，则可以不执行步骤S202和步骤S203。例如，目标部位为唇部，第一形态是微笑状态，预期的形态为张嘴大笑状态，那么此时第一形态与预期的形态就是不匹配的；或者第一形态和预期的形态都是微笑状态，但是微笑的程度不同也导致第一形态与预期的形态是不匹配的。
在一个实施例中，将待处理图像中目标部位的第一形态与预期的形态进行比对，确定第一形态与预期的形态之间的匹配情况，可以包括：人为的将第一形态与预期的形态进行视觉上的比对，根据比对结果向图像处理设备反馈第一形态与预期的形态之间的匹配情况。
在另一个实施例中，将待处理图像中目标部位的第一形态与预期的形态进行比对，确定第一形态与预期的形态之间的匹配情况，还可以包括：采用图像相似度分析技术对处于第一形态的目标部位和处于预期的形态的目标部位进行相似度比较处理，得到相似度结果；如果相似度结果小于相似度阈值，则可以确定第一形态与预期的形态是不匹配的；如果相似度结果大于相似度阈值，则确定第一形态与预期的形态是匹配的。
预期的形态可以是预先指定的任意一种形态，该预期的形态可以是任意一张图片或者任意一段视频中对象面部中目标部位所处的形态，例如，在制作3D角色表情中，演员的一段表演中该演员的目标部位所处的形态被预先指定为预期的形态。
步骤S202、获取第一形态对应的描述信息，以及获取处于第一形态时目标部位的轮廓信息。
待处理图像可以与一个图像网格相关联，图像网格上可以包括M个网格顶点，网格顶点是指组成网格的点，图像网格上可能有多个网格，每个网格可以是由多个顶点组成的。目标部位与M个网格顶点中N个网格顶点对应，N个网格顶点的位置变化(此处N个网格顶点的位置变化可以指N个网格顶点中任意一个或多个网格顶点变化)会导致目标部位具有不同的形态，因此可以将N个网格顶点的位置信息看成是第一形态的描述信息。
举例来说，参见图3为本申请实施例提供的一种待处理图像与图像网格关联的示意图，图像网格中可以包括多个网格顶点，比如在图3中301和302均表示网格顶点，待处理图像中对象面部的各个部位均可以与几个网格顶点相对应，比如303区域内的网格顶点是与唇部对应的网格顶点。假设目标部位为唇部，那么唇部处于第一形态时的描述信息就是303区域内多个网格顶点的位置信息。
在一个实施例中，目标部位可以包括内轮廓和外轮廓，内轮廓可以与L个网格顶点对应，外轮廓可以与P个网格顶点对应，例如目标部位为唇部，参见图4a，为本申请实施例提供的一种目标部位的轮廓与网格顶点对应关系，在图4a中401表示目标部位，402中黑色虚线表示目标部位的内轮廓，黑色实线表示目标部位的外轮廓；实心圆形表示与内轮廓对应的L个网格顶点，空心圆形表示与外轮廓对应的P个网格顶点。
目标部位的轮廓信息可以包括内轮廓和外轮廓之间的第一距离，具体地，内轮廓和外轮廓之间的第一距离可以包括L个网格顶点中每个网格顶点与P个网格顶点中每个网格顶点之间的距离，例如参见图4b所示，图4b中一个实心圆形和一个空心圆形之间的距离均称为内轮廓和外轮廓之间的第一距离，例如线段A的长度、线段B的长度以及线段C的长度均为第一距离。
目标部位的轮廓信息还可以包括外轮廓对应的P个网格顶点中每两个网格顶点之间的第二距离，例如参见图4c所示，图4c中每两个空心圆形之间的距离均为第二距离，例如线段D的长度、线段E的长度以及线段F的长度均为第二距离。
步骤S203、基于描述信息和轮廓信息对目标部位的形态进行修正，将目标部位的形态由第一形态修正为第二形态，第二形态与预期的形态相匹配。
在一个实施例中，基于描述信息和轮廓信息对目标部位的形态进行修正，将目标部位的形态由第一形态修正为第二形态，包括：基于描述信息和轮廓信息预测一个目标参数，调用形态控制器基于该目标参数调整该描述信息，调整后的描述信息用于反映目标部位的形态为第二形态。
其中，基于描述信息和轮廓信息预测目标参数可以是调用参数预测模型实现的，参数预测模型可以是预先训练得到的。具体实现中，步骤S203中基于描述信息和轮廓信息对目标部位的形态进行修正，将目标部位的形态由第一形态修正为第二形态，包括：将描述信息和轮廓信息进行拼接处理；调用参数预测模型基于拼接处理结果进行参数预测，得到形态控制器的目标参数；调用形态控制器基于目标参数调整描述信息，调整后的描述信息用于反映目标部位的形态为第二形态。参数预测模型可以是任意的深度网络结构，参见图5，为本申请实施例提供的一种参数预测模型的结构示意图，图5所述的参数预测模型可以包括三个全连接层，每个全连接层可以对应一个激活函数，该激活函数可以是ReLU。ReLU的工作原理可以通过公式y＝ReLU(w*x+b)表示，其中，x为输入，w为全连接层的权重，b为偏置，y为当前层的输出。
本申请实施例中，在待处理图像中对象面部的目标部位处于第一形态，如果该第一形态与预期的形态不匹配，则可以获取第一形态对应的描述信息，以及处于第一形态时目标部位的轮廓信息，进一步的，基于第一形态对应的描述信息和目标部位的轮廓信息对目标部位进行形态修正，以使得目标部位的形态由第一形态修正为第二形态，该第二形态是与预期的形态相匹配的，如此一来，无需通过人为手动对第一形态进行修正，而是根据第一形态的描述信息和第一形态时目标部位的轮廓信息自动对目标部位进行形态修正，使得目标部位的形态满足预期的形态。省去了人工手动修正带来的人力资源消耗，提高了形态修正的效率和准确性。
基于上述的图像处理方法，本申请实施例还提供了另一种图像处理方法，参见图6，为本申请实施例提供的另一种图像处理方法的流程示意图。图6所述的图像处理方法可由图像处理设备执行，具体可由图像处理设备的处理器执行。图6所述的图像处理方法可包括如下步骤：
步骤S601、获取待处理图像，待处理图像中包括对象的目标部位，目标部位的形态为第一形态，第一形态与预期的形态不匹配。
步骤S602、获取第一形态对应的描述信息，以及获取处于第一形态时目标部位的轮廓信息。
其中，步骤S601中包括的一些可行的实施方式可参见图2实施例中步骤S201中的相关描述，在此不再赘述。步骤S602中包括的一些可行的实施方式可参见图2实施例中步骤S202中的相关描述，在此不再赘述。
步骤S603、将描述信息和轮廓信息进行拼接处理，并调用参数预测模型基于拼接处理结果进行参数预测，得到形态控制器的目标参数。
在一个实施例中，参数预测模型可以是基于第一训练样本集进行训练得到的，具体可包括如下步骤s1-s4:
s1：获取第一训练样本集，该训练样本集中可以包括第一样本图像以及每个第一样本图像对应的标签信息，第一样本图像中包括对象面部的目标部位，第一样本图像对应的标签信息可以包括在第一样本图像中目标部位处于第一训练形态时对应的第一描述信息，以及在第一样本图像中目标部位处于第二训练形态时对应的第二描述信息。
其中，第一样本图像与一个图像网格对应，第一样本图像中对象面部的五官均与多个网格顶点对应，目标部位可以与步骤S601中的目标部位相同，均可以是五官中任意一个部位。在第一样本图像中目标部位处于第一训练形态时对应的第一描述信息可以是第一样本图像相关联的图像网格中与目标部位对应的多个网格顶点的第一位置信息，第二描述信息是指这多个网格顶点的第二位置信息。第一训练形态是指与预期的训练形态不匹配的，第二训练形态是指与预期的训练形态相匹配的。预期的训练形态的确定方式与前述预期的形态的确定方式可以是相同的，均可以是与演员做出的表情中目标部位所处的形态。
第一样本图像的数量可以为X个，X为大于或等于1的整数，假设第一描述信息表示为Mcoarse，第二描述信息表示为Mfine，目标部位对应的网格顶点的数量为N1个，每个网格顶点的维度为3维，那么Mcoarse的维度均为(X，N1*3)，其中N1远远小于X。换句话说，如果第一样本图像的数量为X个，那么第一描述信息包括每个第一样本图像的第一描述信息，每个第一样本图像的第一描述信息都可以看成是N1个网格顶点的集合。
第一描述信息中可以包括X行，每一行包括一个第一样本图像中N1个网格顶点的第一位置信息，比如一个网格顶点的第一位置信息可通过一个三维坐标(x,y,z)表示，则第一描述信息的每一行可以表示为(x1，y1，z1，x2，y2，z3，...，xN1，yN1，zN1)，也即第一描述信息的每一行是将一个第一样本图像中N1个网格顶点的位置放在一起。同理的，第二描述信息中每一行为一个第一样本图像中N1个网格顶点的第二位置信息。
s2：获取第一样本图像中目标部位处于第一训练形态时的训练轮廓信息，并将训练轮廓信息和第一描述信息进行拼接处理。需要说明的是，在无特殊说明时，这里以一个样本图像为例展开描述，对于其他的第一样本图像采用相同的处理步骤，可以得到每个第一样本图像中目标部位处于第一训练形态时的训练轮廓信息。
可选的，本申请实施例可以采用步骤S202中获取待处理图像中目标部位处于第一形态时的轮廓信息相同的方式来获取第一样本图像中处于第一训练形态时目标部位的训练轮廓信息，具体实现方式可参见步骤S202中的描述，在此不再赘述。
在一个实施例中，为了降低特征的稀疏性，提高参数预测模型的学习效率，在将训练轮廓信息和第一描述信息进行拼接处理之前，可以先对第一描述信息进行降维处理，将降维处理后的第一描述信息与训练轮廓信息进行拼接处理。对第一描述信息进行降维处理可以是采用主成分分析(Principal Component Analysis)，PCA)算法进行降维处理。PCA算法进行降维处理的原理是基于第一描述信息和第二描述信息生成一个降维矩阵；第一描述信息和降维矩阵进行相乘处理得到降维处理后的第一描述信息。假设第一描述信息表示为Mcoarse，降维矩阵表示为DK，通过下述公式(1)表示对第一描述信息进行降维处理：
MDcoarse＝Mcoarse*DK (1)
其中，MDcoarse表示降维处理后的第一描述信息，假设降维矩阵的维度为(N1*3，K)，第一描述信息的维度为(X，N1*3)，降维处理后，第一描述信息的维度降低为(X，K)，K为远远小于N1*3的整数。
在一个实施例中，基于第一描述信息和第二描述信息生成降维矩阵，包括：
s21、将所述第一描述信息和所述第二描述信息进行拼接，得到描述信息矩阵；假设第一描述信息表示为Mcoarse，第二描述信息可以表示为Mfine，第一描述信息和第二描述信息的维度均为(X，N1*3)。将第一描述信息和第二描述信息拼接后得到描述信息矩阵，表示为M，M的维度为(X*2，N1*3)，将第一描述信息和第二描述信息拼接可以通过下述公式(2)表示：
Figure BDA0003463577150000121
s22、对描述信息矩阵进行奇异值分解处理，得到特征向量矩阵和特征值矩阵；特征向量矩阵中包括多个特征向量；特征值矩阵包括每个特征向量矩阵对应的特征值。其中，特征向量矩阵中的特征向量和特征值矩阵中的特征值是一一对应的。对描述信息矩阵进行奇异值分解的过程可以通过如下公式(3)表示：
M＝UVDT (3)
在公式(3)中，D表示特征向量矩阵，维度为(N1*3，N1*3)，V为特征值矩阵，V是一个非负矩形对角矩阵，维度为(X*2，N1*3),特征值矩阵V的对角线上的值为每个特征向量对应的特征值，U是与D正交的矩阵，维度与D相同。
s23、对特征向量矩阵进行调整，调整后的特征向量矩阵中多个特征向量按照特征值由大到小的顺序排列。假设多个特征向量的特征值从大到小的排列可以表示为x1，x2，x3，...，xN1*3。
s24、根据特征向量矩阵中每个特征向量的特征值按序选取K个特征向量，将被选取的K个特征向量组成的矩阵确定为降维矩阵，K个特征向量对应的特征值之和大于或等于特征阈值。换句话说，选取出的K个特征向量要保证保留了描述信息矩阵中大于或等于特征阈值的信息。
具体实现中，假设令x＝x1+x2+x3+…+xN1*3，K为第一个让以下公式(4)成立的值：
Figure BDA0003463577150000131
一般情况下特征阈值可以取99％。通过上述公式(4)求解出K之后，将前K个特征向量组成的矩阵确定为降维矩阵，降维矩阵的维度为(N1*3，K)，其中，K为远远小于N1*3的整数。
s3：调用参数预测模型基于拼接处理结果进行参数预测，得到形态控制器的训练参数。由前述可知，第一样本图像的数量可以为X个，那么第一描述信息的数量和训练轮廓信息的数量均为X个，此处所述的拼接处理结果可以是任意一个第一样本图像对应的第一描述信息和训练轮廓信息拼接处理得到的；也就是说，对X个第一样本图像中每个第一样本图像对应的第一描述信息和训练轮廓信息进行拼接处理，都会得到一个拼接处理结果，那么对于第一训练样本集来说，拼接处理结果的数量也为X个。在对参数预测模型进行训练时，这X个拼接结果是逐一输入到参数预测模型的。具体来讲，假设第一样本图像的数量为X个，在每个第一样本图像中目标部位均与N1个网格顶点对应，每个网格顶点的位置信息是3维的，那么第一描述信息的维度表示为(X，N1*3，)，降维处理后第一描述信息的维度表示为(X，K)，训练轮廓信息的维度为(X，D)。将降维处理后的第一描述信息和训练轮廓信息进行拼接后，拼接处理结果的维度为(X，K+D)。
在对参数预测模型进行训练时，每次将一个第一样本图像对应的第一描述信息和训练轮廓信息拼接后输入到参数预测模型中，参数预测模型输出一个训练参数，因此参数预测模型基于一个拼接处理结果进行参数预测处理的过程可以通过图7a表示。参数预测模型又可以称为(Meah2Params)每次输入到参数预测模型中拼接处理结果的维度为(1，K+C)，参数预测模型输出的训练参数的维度为(1，H)，H表示形态控制器中用于控制目标部位的参数个数。
s4：基于训练参数进行描述信息预测，得到目标部位处于第二训练形态时对应的第一预测描述信息，并根据第一预测描述信息和第二预测描述信息对参数预测模型进行训练。其中，根据第一预测描述信息和第二预测描述信息对参数预测模型进行训练，具体可以包括：基于所述第一预测描述信息和第二描述信息计算第一损失函数；通过计算第一损失函数对网络参数的偏导数来更新网络参数。
例如，基于第一预测描述信息和第二描述信息计算第一损失函数可以通过如下公式(5)表示：
Lloss＝MeanSquaredError(MDpredict，MDfine) (5)
在公式(5)中，Lloss表示第一损失函数，MDpredict表示第一预测描述信息，MDfine表示第二描述信息，MeanSquaredError(·)表示均方差计算函数。
通过计算第一损失函数对网络参数的偏导数来更新网络参数，可以通过下述公式(6)表示：
Figure BDA0003463577150000141
其中，wt表示参数预测模型中更新之前的网络参数，wt+1为更新后的网络参数，α为学习率，一般取值为10e-3左右。网络参数不断迭代优化，直到损失函数不再变化为止。
在一个实施例中，上述基于训练参数进行描述信息预测到目标部位处于第二训练形态时对应的第一预测描述信息可以是调用位置预测模型执行的。具体实现中，将训练参数作为位置预测模型的输入，调用位置预测模型进行描述信息预测，得到第一预测描述信息。可见，位置预测模型的作用是根据一个形态控制器的参数可以预测得到一个描述信息，换句话说，位置预测模型是模仿形态控制器基于参数控制描述信息的过程。
该位置预测模型可以是一个预训练的模型，位置预测模型是基于第二训练样本集训练得到的，第二训练样本集包括第二样本图像，第二样本图像包括对象面部的目标部位，第二训练样本集还包括第三描述信息与形态控制器中第二训练参数之间的对应关系，第三描述信息是指第二样本图像中目标部位处于第三形态时对应的描述信息。第二样本图像中第三描述信息与形态控制器中第二训练参数之间的对应关系可以包括多组。其中，第二样本图像中目标部位的第三形态可以是与一个预期的训练形态相匹配的形态，也可以是与一个预期的训练形态不匹配的形态，比如预期的训练形态是一个演员的一个表情中目标部位所处的形态，那么该第三形态可以是形态控制器基于演员的表情自动生成的一种形态，这种形态可能与预期的训练形态存在误差，所以不是非常准确的。或者，第三形态可以是形态控制器基于演员的表情自动生成了一种形态后，人工对自动生成的形态进行手工调整后的形态。此时的第三形态是与预期的训练形态匹配的。此处的预期的训练形态与前述的预期的训练形态可以是相同的，也可以是不相同的。
第二样本图像可以与一个图像网格对应，目标部位与图像网格中某些网格顶点对应，目标部位处于第三形态时的第三描述信息是指这些网格顶点的位置信息。第三描述信息与形态控制器中第二训练参数之间的对应关系可以是基于形态控制器和第三描述位置信息确定的，具体地，在形态控制器中随机的生成一个第二训练参数，通过该第二训练参数对第二样本图像中目标部位的形态进行修改，此时目标部位的形态对应的第三描述信息就是与当前的第二训练参数对应的第三描述信息。重复几次上述过程，便可以得到多组第三描述信息和第二训练参数之间的对应关系。
进一步的，将一组第三描述信息与第二训练参数作为一个训练数据对，调用位置预测模型对一个训练数据对中的第二训练参数进行描述信息预测，得到第二预测描述信息。此处用到的第三描述信息是经过降维矩阵进行降维处理后的，假设得到了X组第三描述信息和第二训练参数之间的对应关系，每个描述信息的维度为3，每个描述信息可以与N1个网格顶点对应，则第三描述信息的维度为(X，N1*3)；采用前述得到矩阵对第三描述信息进行降维处理，降维后的第三描述信息的维度为(X，K)；假设第二训练参数中包括H个参数，那么第二训练参数的维度为(X，H)。参见图7b，为本申请实施例提供的一种位置预测模型的训练示意图，位置预测模型还可以称为(Params2Mesh，P2M)，每次将一组第三描述信息和第二训练参数之间对应关系中的第二训练参数输入到P2M模型中，此时输入到P2M模型中的第二训练参数的维度为(1，H)，P2M模型基于第二训练参数预测描述信息，输出第二预测描述信息，该第二预测描述信息的维度为(1，K)。
然后，基于第二预测描述信息和第三描述信息对位置预测模型进行训练。具体地，基于第二预测描述信息和第三描述信息确定位置预测模型对应的第二损失函数；通过计算第二损失函数对位置预测模型中网络参数的偏导数来更新位置预测模型中的网络参数，从而实现对位置预测模型的训练。例如，基于第二预测描述信息和第三描述信息确定位置预测模型对应的第二损失函数可以通过如下公式(7)表示：
Lloss’＝MeanSquareError(Mpredict‘Mground truth) (7)
其中，Lloss‘表示第二损失函数，Mpredict‘表示第二预测描述信息，Mground truth表示第三描述信息。
通过计算第二损失函数对位置预测模型中网络参数的偏导数来更新网络参数，可以通过如下公式(8)表示：
Figure BDA0003463577150000161
在公式(8)中，w’t+1表示位置预测模型中更新后的网络参数，w’t表示位置预测模型中更新之前的网络参数。
可选的，位置预测模型也可以是任意的深度网络结构，只要能满足输入输出的要求，且能通过训练进行迭代优化，最后输入一个控制器的参数得到正确的描述信息即可。本申请实施例提供的位置预测模型可以与参数预测模型具有相同的网络结构参见图5所述，位置预测模型和参数预测模型之间不同的是：输入不同，位置预测模型的输入为形态控制器的参数，参数预测模型的输入为描述信息；输出不同，位置预测模型的输出为描述信息，参数预测模型的输出为形态控制器的参数；每一个全连接层中隐藏元的个数不同。
步骤S604、调用形态控制器基于目标参数调整描述信息，调整后的描述信息用于反映目标部位的形态为第二形态，第二形态与预期的形态相匹配。
在一个实施例中，步骤S604中包括的一些可行的实施方式可参见图2实施例中步骤S203的相关描述，此处不再赘述。
基于上述步骤s1-s4的描述，本申请实施例提出一种参数预测模型的训练示意图，参见图8所示。在图8中，假设目标部位是指唇部，第一样本图像对应的标签信息中包括第一样本图像中处于第一训练形态时唇部对应的第一描述信息，该第一描述信息是与预期的训练形态相匹配的，因此该第一描述信息又可以称为粗糙嘴部形态的网格顶点位置，标签信息中还包括第一样本图像中处于第二训练形态时唇部对应的第二描述信息，第二描述信息司与预期的训练形态相匹配的，因此该第二描述信息又可以称为准确嘴部形态的网格顶点位置。
训练轮廓信息可以指嘴部的轮廓信息，嘴部的轮廓信息包括内轮廓和外轮廓之间的距离，以及外轮廓每两个网格顶点之间的距离，将这些统称为嘴部内轮廓与外轮廓距离特征。
将粗糙嘴部形态的网格顶点位置进行PCA降维处理后，与嘴部内轮廓与外轮廓距离特征进行拼接；拼接后输入到参数预测模型M2P中，M2P基于输入进行参数预测，输出训练；该训练参数作为位置预测模型P2M的输入，P2M基于输入的第一预测描述信息进行描述信息预测，得到第一预测描述信息，该第一预测描述信息又可以称为预测的嘴部形态的网格顶点位置；进一步的，根据预测的嘴部形态的网格顶点位置和降维处理后的准确嘴部形态的网格顶点位置计算参数预测模型M2P的损失函数，基于该损失函数对M2P模型进行训练。
本申请实施例中，采用第一样本训练集训练得到一个M2P模型，该M2P模型可以根据粗糙的描述信息和目标部位的轮廓信息来预测准确的描述信息。采用训练完成的M2P模型对目标部位的形态进行修正，得到与预期的形态相匹配的目标部位形态的，省去了人工修正所消耗的人力资源，以及避免人工修正带来的误差，从而提高了形态修正的高效性和准确性。
基于上述的图像处理方法实施例，本申请实施例提供了一种图像处理装置，参见图9，为本申请实施例提供的一种图像处理装置的结构示意图。图9所述的图像处理装置可运行如下单元：
获取单元901，用于获取待处理图像，所述待处理图像中包括对象面部的目标部位，所述目标部位的形态为第一形态；所述第一形态与预期的形态不匹配；
所述获取单元901，还用于获取所述第一形态对应的描述信息，以及获取处于所述第一形态时所述目标部位的轮廓信息；
修正单元902，用于基于所述描述信息和所述轮廓信息，对所述目标部位的形态进行修改，将所述目标部位的形态由所述第一形态修正为第二形态，所述第二形态与所述预期的形态相匹配。
在一个实施例中，所述目标部位与一个形态控制器绑定，所述基于所述描述信息和所述轮廓信息，修正单元902在对所述目标部位的形态进行修改，将所述目标部位的形态由第一形态修改为第二形态时，执行如下步骤：
将所述描述信息和所述轮廓信息进行拼接处理；
调用参数预测模型基于拼接处理结果进行参数预测，得到所述形态控制器的目标参数；
调用所述形态控制器基于所述目标参数调整所述描述信息，调整后的描述信息用于反映所述目标部位的形态为第二形态。
在一个实施例中，修正单元902在将所述描述信息和所述轮廓信息进行拼接处理时，执行如下步骤：
获取降维矩阵，并采用所述降维矩阵对所述描述信息进行降维处理；
将降维处理后的描述信息和所述轮廓信息进行拼接处理。
在一个实施例中，所述待处理图像与一个图像网格相关联，所述图像网格上包括M个网格顶点，所述目标部位与所述M个网格顶点中的N个网格顶点对应，M和N均为大于1的整数且N小于或等于M；所述第一形态对应的描述信息包括所述N个网格顶点的位置信息。
在一个实施例中，所述目标部位包括内轮廓和外轮廓，所述内轮廓与L个网格顶点对应，所述外轮廓与P个网格顶点对应，L和P之和小于N；所述目标部位的轮廓信息包括所述内轮廓和所述外轮廓之间的第一距离，以及所述外轮廓对应的P个网格顶点中每两个网格顶点之间的第二距离；所述内轮廓与所述外轮廓之间的第一距离包括所述L个网格顶点中每个网格顶点与所述P个网格顶点中每个网格顶点之间的距离。
在一个实施例中，图9所述的图像处理装置还包括处理单元903：
获取单元901，还用于获取第一训练样本集，所述第一训练样本集中包括第一样本图像以及第一样本图像对应的标签信息；所述第一样本图像中包括对象面部的目标部位，所述标签信息包括在所述第一样本图像中所述目标部位处于第一训练形态时对应的第一描述信息，以及在所述第一样本图像中所述目标部位处于第二训练形态时对应的第二描述信息；所述第一训练形态与预期的训练形态不匹配，所述第二训练形态与所述预期的训练形态相匹配；
获取单元901，还用于获取在所述第一样本图像中所述目标部位处于所述第一训练形态时的训练轮廓信息，并将所述训练轮廓信息和所述第一描述信息进行拼接处理；
处理单元903，用于调用所述参数预测模型基于拼接处理结果进行参数预测，得到所述形态控制器的训练参数；
基于所述训练参数进行描述信息预测，得到所述目标部位处于所述第二训练形态时对应的第一预测描述信息，并根据所述第一预测描述信息和所述第二描述信息对所述参数预测模型进行训练。
在一个实施例中，处理单元903在基于所述训练参数进行描述信息预测，得到所述目标部位处于所述第二训练形态时对应的第一预测描述信息时，执行如下步骤：
将所述训练参数作为位置预测模型的输入，调用所述位置预测模型进行描述信息预测，得到第一预测描述信息。
在一个实施例中，处理单元903在根据所述第一预测描述信息和所述第二描述信息之间的差异对所述参数预测模型进行训练时，执行如下步骤：
基于所述第一预测描述位置信息和所述第二描述信息确定所述参数预测模型对应的第一损失函数；
采用反向传播算法基于所述第一损失函数更新所述参数预测模型中的网络参数。
在一个实施例中，获取单元901，还用于获取第二训练样本集，所述第二训练样本集包括第二样本图像，所述第二样本图像包括对象面部的目标部位，所述第二训练样本集还包括第三描述信息与所述形态控制器中第二训练参数之间的对应关系，所述第三描述信息是指所述第二样本图像中所述目标部位处于第三形态时对应的描述信息；
处理单元902，还用于调用所述位置预测模型基于所述第二训练参数进行描述信息预测，得到第二预测描述信息；基于所述第二预测描述信息和所述第三描述信息对所述位置预测模型进行训练。
在一个实施例中，获取单元901在获取降维矩阵时，用于执行如下步骤：将所述第一描述信息和所述第二描述信息进行拼接，得到描述信息矩阵；
对所述描述信息矩阵进行奇异值分解处理，得到特征向量矩阵和特征值矩阵；所述特征向量矩阵中包括多个特征向量；所述特征值矩阵包括每个特征向量矩阵对应的特征值；
对所述特征向量矩阵进行调整，调整后的特征向量矩阵中多个特征向量按照特征值由大到小的顺序排列；
根据所述特征向量矩阵中每个特征向量的特征值按序选取K个特征向量，将被选取的K个特征向量组成的矩阵确定为降维矩阵，所述K个特征向量对应的特征值之和大于或等于特征阈值。
根据本申请的一个实施例，图2和图6所示的图像处理方法所涉及各个步骤可以是由图9所示的图像处理装置中的各个单元来执行的。例如，图2所述的步骤S201和步骤S202可由图9所述的图像处理装置中的获取单元901来执行，步骤S203可由图9所述的图像处理装置中的修正单元902来执行再如，步骤S601和步骤S602可由图9所述的图像处理装置中的获取单元901来执行；步骤S603和步骤S604可由图9所述的图像处理装置中的修正单元来执行。
根据本申请的另一个实施例，图9所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，基于图像处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2和图9所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图9中所示的图像处理装置，以及来实现本申请实施例图像处理方法。所述计算机程序可以记载于例如计算机可读存储介质上，并通过计算机可读存储介质装载于图像处理设备中，并在其中运行。
本申请实施例中，在待处理图像中对象面部的目标部位处于第一形态，如果该第一形态与预期的形态不匹配，则可以获取第一形态对应的描述信息，以及处于第一形态时目标部位的轮廓信息，进一步的，基于第一形态对应的描述信息和目标部位的轮廓信息对目标部位进行形态修正，以使得目标部位的形态由第一形态修正为第二形态，该第二形态是与预期的形态相匹配的，如此一来，无需通过人为手动对第一形态进行修正，而是根据第一形态的描述信息和第一形态时目标部位的轮廓信息自动对目标部位进行形态修正，使得目标部位的形态满足预期的形态。省去了人工手动修正带来的人力资源消耗，提高了形态修正的效率。
基于上述的图像处理方法实施例以及图像处理装置实施例，本申请实施例提供了一种图像处理设备。参见图10，为本申请实施例提供的一种图像处理设备的结构示意图，图10所述的图像处理设备可包括处理器1001、输入接口1002、输出接口1003以及计算机存储介质1004。其中，处理器1001、输入接口1002、输出接口1003以及计算机存储介质1004可通过总线或其他方式连接。
计算机存储介质1004可以存储在图像处理设备的存储器中，所述计算机存储介质1004用于存储计算机程序，所述处理器1001用于执行所述计算机存储介质1004存储的计算机程序。处理器1001(或称CPU(Central Processing Unit，中央处理器))是图像处理设备的计算核心以及控制核心，其适于实现一条或多条计算机程序，具体适于加载并执行：
获取待处理图像，所述待处理图像中包括对象面部的目标部位，所述目标部位的形态为第一形态；所述第一形态与预期的形态不匹配；获取所述第一形态对应的描述信息，以及获取处于所述第一形态时所述目标部位的轮廓信息；基于所述描述信息和所述轮廓信息对所述目标部位的形态进行修正，将所述目标部位的形态由所述第一形态修正为第二形态，所述第二形态与所述预期的形态相匹配。
本申请实施例中，在待处理图像中对象面部的目标部位处于第一形态，如果该第一形态与预期的形态不匹配，则可以获取第一形态对应的描述信息，以及处于第一形态时目标部位的轮廓信息，进一步的，基于第一形态对应的描述信息和目标部位的轮廓信息对目标部位进行形态修正，以使得目标部位的形态由第一形态修正为第二形态，该第二形态是与预期的形态相匹配的，如此一来，无需通过人为手动对第一形态进行修正，而是根据第一形态的描述信息和第一形态时目标部位的轮廓信息自动对目标部位进行形态修正，使得目标部位的形态满足预期的形态。省去了人工手动修正带来的人力资源消耗，提高了形态修正的效率。
本申请实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是图像处理设备的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括图像处理设备的内置存储介质，当然也可以包括图像处理设备所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了图像处理设备的操作系统。并且，在该存储空间中还存放了适于被处理器1001加载并执行的一条或多条的计算机程序。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中，所述计算机存储介质中存储的一条或多条计算机程序可有处理器1001加载并执行：
获取待处理图像，所述待处理图像中包括对象面部的目标部位，所述目标部位的形态为第一形态；所述第一形态与预期的形态不匹配；获取所述第一形态对应的描述信息，以及获取处于所述第一形态时所述目标部位的轮廓信息；基于所述描述信息和所述轮廓信息对所述目标部位的形态进行修正，将所述目标部位的形态由所述第一形态修正为第二形态，所述第二形态与所述预期的形态相匹配。
在一个实施例中，所述目标部位与一个形态控制器绑定，所述基于所述描述信息和所述轮廓信息，所述处理器1001在对所述目标部位的形态进行修改，将所述目标部位的形态由第一形态修改为第二形态时，执行如下步骤：
将所述描述信息和所述轮廓信息进行拼接处理；
调用参数预测模型基于拼接处理结果进行参数预测，得到所述形态控制器的目标参数；
调用所述形态控制器基于所述目标参数调整所述描述信息，调整后的描述信息用于反映所述目标部位的形态为第二形态。
在一个实施例中，所述处理器1001在将所述描述信息和所述轮廓信息进行拼接处理时，执行如下步骤：
获取降维矩阵，并采用所述降维矩阵对所述描述信息进行降维处理；
将降维处理后的描述信息和所述轮廓信息进行拼接处理。
在一个实施例中，所述待处理图像与一个图像网格相关联，所述图像网格上包括M个网格顶点，所述目标部位与所述M个网格顶点中的N个网格顶点对应，M和N均为大于1的整数且N小于或等于M；所述第一形态对应的描述信息包括所述N个网格顶点的位置信息。
在一个实施例中，所述目标部位包括内轮廓和外轮廓，所述内轮廓与L个网格顶点对应，所述外轮廓与P个网格顶点对应，L和P之和小于N；所述目标部位的轮廓信息包括所述内轮廓和所述外轮廓之间的第一距离，以及所述外轮廓对应的P个网格顶点中每两个网格顶点之间的第二距离；所述内轮廓与所述外轮廓之间的第一距离包括所述L个网格顶点中每个网格顶点与所述P个网格顶点中每个网格顶点之间的距离。
在一个实施例中，所述处理器1001还用于加载并执行：
获取第一训练样本集，所述第一训练样本集中包括第一样本图像以及第一样本图像对应的标签信息；所述第一样本图像中包括对象面部的目标部位，所述标签信息包括在所述第一样本图像中所述目标部位处于第一训练形态时对应的第一描述信息，以及在所述第一样本图像中所述目标部位处于第二训练形态时对应的第二描述信息；所述第一训练形态与预期的训练形态不匹配，所述第二训练形态与所述预期的训练形态相匹配；
获取在所述第一样本图像中所述目标部位处于所述第一训练形态时的训练轮廓信息，并将所述训练轮廓信息和所述第一描述信息进行拼接处理；
调用所述参数预测模型基于拼接处理结果进行参数预测，得到所述形态控制器的训练参数；
基于所述训练参数进行描述信息预测，得到所述目标部位处于所述第二训练形态时对应的第一预测描述信息，并根据所述第一预测描述信息和所述第二描述信息对所述参数预测模型进行训练。
在一个实施例中，所述处理器1001在基于所述训练参数进行描述信息预测，得到所述目标部位处于所述第二训练形态时对应的第一预测描述信息时，具体执行如下步骤：
将所述训练参数作为位置预测模型的输入，调用所述位置预测模型进行描述信息预测，得到第一预测描述信息。
在一个实施例中，所述处理器1001在根据所述第一预测描述信息和所述第二描述信息之间的差异对所述参数预测模型进行训练时，执行如下步骤：
基于所述第一预测描述位置信息和所述第二描述信息确定所述参数预测模型对应的第一损失函数；
采用反向传播算法基于所述第一损失函数更新所述参数预测模型中的网络参数。
在一个实施例中，所述处理器1001还用于加载并执行：
获取第二训练样本集，所述第二训练样本集包括第二样本图像，所述第二样本图像包括对象面部的目标部位，所述第二训练样本集还包括第三描述信息与所述形态控制器中第二训练参数之间的对应关系，所述第三描述信息是指所述第二样本图像中所述目标部位处于第三形态时对应的描述信息；
调用所述位置预测模型基于所述第二训练参数进行描述信息预测，得到第二预测描述信息；
基于所述第二预测描述信息和所述第三描述信息对所述位置预测模型进行训练。
在一个实施例中，。所述处理器1001在获取降维矩阵时，执行如下步骤：
将所述第一描述信息和所述第二描述信息进行拼接，得到描述信息矩阵；
对所述描述信息矩阵进行奇异值分解处理，得到特征向量矩阵和特征值矩阵；所述特征向量矩阵中包括多个特征向量；所述特征值矩阵包括每个特征向量矩阵对应的特征值；
对所述特征向量矩阵进行调整，调整后的特征向量矩阵中多个特征向量按照特征值由大到小的顺序排列；
根据所述特征向量矩阵中每个特征向量的特征值按序选取K个特征向量，将被选取的K个特征向量组成的矩阵确定为降维矩阵，所述K个特征向量对应的特征值之和大于或等于特征阈值。
本申请实施例中，在待处理图像中对象面部的目标部位处于第一形态，如果该第一形态与预期的形态不匹配，则可以获取第一形态对应的描述信息，以及处于第一形态时目标部位的轮廓信息，进一步的，基于第一形态对应的描述信息和目标部位的轮廓信息对目标部位进行形态修正，以使得目标部位的形态由第一形态修正为第二形态，该第二形态是与预期的形态相匹配的，如此一来，无需通过人为手动对第一形态进行修正，而是根据第一形态的描述信息和第一形态时目标部位的轮廓信息自动对目标部位进行形态修正，使得目标部位的形态满足预期的形态。省去了人工手动修正带来的人力资源消耗，提高了形态修正的效率。
本申请实施例还提供了一种计算机程序产品或计算机程序，所述计算机程序产品中包括计算机程序，所述计算机程序存储在计算机存储介质中，所述计算机程序被处理器1001加载并执行：
获取待处理图像，所述待处理图像中包括对象面部的目标部位，所述目标部位的形态为第一形态；所述第一形态与预期的形态不匹配；
获取所述第一形态对应的描述信息，以及获取处于所述第一形态时所述目标部位的轮廓信息；
基于所述描述信息和所述轮廓信息，对所述目标部位的形态进行修正，将所述目标部位的形态由所述第一形态修正为第二形态，所述第二形态与所述预期的形态相匹配。
本申请实施例中，在待处理图像中对象面部的目标部位处于第一形态，如果该第一形态与预期的形态不匹配，则可以获取第一形态对应的描述信息，以及处于第一形态时目标部位的轮廓信息，进一步的，基于第一形态对应的描述信息和目标部位的轮廓信息对目标部位进行形态修正，以使得目标部位的形态由第一形态修正为第二形态，该第二形态是与预期的形态相匹配的，如此一来，无需通过人为手动对第一形态进行修正，而是根据第一形态的描述信息和第一形态时目标部位的轮廓信息自动对目标部位进行形态修正，使得目标部位的形态满足预期的形态。省去了人工手动修正带来的人力资源消耗，提高了形态修正的效率。

Claims (14)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像，所述待处理图像中包括对象的目标部位，所述目标部位的形态为第一形态；所述第一形态与预期的形态不匹配；
获取所述第一形态对应的描述信息，以及获取处于所述第一形态时所述目标部位的轮廓信息；
基于所述描述信息和所述轮廓信息对所述目标部位的形态进行修正，将所述目标部位的形态由所述第一形态修正为第二形态，所述第二形态与所述预期的形态相匹配。
2.如权利要求1所述的方法，其特征在于，所述目标部位与一个形态控制器绑定，所述基于所述描述信息和所述轮廓信息，对所述目标部位的形态进行修改，将所述目标部位的形态由第一形态修改为第二形态，包括：
将所述描述信息和所述轮廓信息进行拼接处理；
调用参数预测模型基于拼接处理结果进行参数预测，得到所述形态控制器的目标参数；
调用所述形态控制器基于所述目标参数调整所述描述信息，调整后的描述信息用于反映所述目标部位的形态为第二形态。
3.如权利要求2所述的方法，其特征在于，所述将所述描述信息和所述轮廓信息进行拼接处理，包括：
获取降维矩阵，并采用所述降维矩阵对所述描述信息进行降维处理；
将降维处理后的描述信息和所述轮廓信息进行拼接处理。
4.如权利要求1所述的方法，其特征在于，所述待处理图像与一个图像网格相关联，所述图像网格上包括M个网格顶点，所述目标部位与所述M个网格顶点中的N个网格顶点对应，M和N均为大于1的整数且N小于或等于M；所述第一形态对应的描述信息包括所述N个网格顶点的位置信息。
5.如权利要求4所述的方法，其特征在于，所述目标部位包括内轮廓和外轮廓，所述内轮廓与L个网格顶点对应，所述外轮廓与P个网格顶点对应，L和P之和小于N；所述目标部位的轮廓信息包括所述内轮廓和所述外轮廓之间的第一距离，以及所述外轮廓对应的P个网格顶点中每两个网格顶点之间的第二距离；所述内轮廓与所述外轮廓之间的第一距离包括所述L个网格顶点中每个网格顶点与所述P个网格顶点中每个网格顶点之间的距离。
6.如权利要求3所述的方法，其特征在于，所述方法还包括：
获取第一训练样本集，所述第一训练样本集中包括第一样本图像以及所述第一样本图像对应的标签信息；所述第一样本图像中包括对象的目标部位，所述标签信息包括在所述第一样本图像中所述目标部位处于第一训练形态时对应的第一描述信息，以及在所述第一样本图像中所述目标部位处于第二训练形态时对应的第二描述信息；所述第一训练形态与预期的训练形态不匹配，所述第二训练形态与所述预期的训练形态相匹配；
获取在所述第一样本图像中所述目标部位处于所述第一训练形态时所述目标部位的训练轮廓信息，并将所述训练轮廓信息和所述第一描述信息进行拼接处理；
调用所述参数预测模型基于拼接处理结果进行参数预测，得到所述形态控制器的训练参数；
基于所述训练参数进行描述信息预测，得到所述目标部位处于所述第二训练形态时对应的第一预测描述信息，并根据所述第一预测描述信息和所述第二描述信息对所述参数预测模型进行训练。
7.如权利要求6所述的方法，其特征在于，所述基于所述训练参数进行描述信息预测，得到所述目标部位处于所述第二训练形态时对应的第一预测描述信息，包括：
将所述训练参数作为位置预测模型的输入，调用所述位置预测模型进行描述信息预测，得到第一预测描述信息。
8.如权利要求6所述的方法，其特征在于，所述根据所述第一预测描述信息和所述第二描述信息对所述参数预测模型进行训练，包括：
基于所述第一预测描述位置信息和所述第二描述信息确定所述参数预测模型对应的第一损失函数；
采用反向传播算法基于所述第一损失函数更新所述参数预测模型中的网络参数。
9.如权利要求7所述的方法，其特征在于，所述方法还包括：
获取第二训练样本集，所述第二训练样本集包括第二样本图像，所述第二样本图像包括对象的目标部位，所述第二训练样本集还包括第三描述信息与所述形态控制器的第二训练参数之间的对应关系，所述第三描述信息是指所述第二样本图像中所述目标部位处于第三训练形态时对应的描述信息；
调用所述位置预测模型基于所述第二训练参数进行描述信息预测，得到第二预测描述信息；
基于所述第二预测描述信息和所述第三描述信息对所述位置预测模型进行训练。
10.如权利要求6所述的方法，其特征在于，所述获取降维矩阵，包括：
将所述第一描述信息和所述第二描述信息进行拼接，得到描述信息矩阵；
对所述描述信息矩阵进行奇异值分解处理，得到特征向量矩阵和特征值矩阵；所述特征向量矩阵中包括多个特征向量；所述特征值矩阵包括每个特征向量对应的特征值；
对所述特征向量矩阵进行调整，调整后的特征向量矩阵中多个特征向量按照特征值由大到小的顺序排列；
根据所述特征向量矩阵中每个特征向量的特征值按序选取K个特征向量，将被选取的K个特征向量组成的矩阵确定为降维矩阵，所述K个特征向量对应的特征值之和大于或等于特征阈值。
11.一种图像处理装置，其特征在于，包括：
获取单元，用于获取待处理图像，所述待处理图像中包括对象的目标部位，所述目标部位的形态为第一形态；所述第一形态与预期的形态不匹配；
所述获取单元，还用于获取所述第一形态对应的描述信息，以及获取处于所述第一形态时所述目标部位的轮廓信息；
修正单元，用于基于所述描述信息和所述轮廓信息对所述目标部位的形态进行修改，将所述目标部位的形态由所述第一形态修正为第二形态，所述第二形态与所述预期的形态相匹配。
12.一种图像处理设备，其特征在于，包括：
处理器，适于实现一条或多条计算机程序；以及，
计算机存储介质，所述计算机存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由所述处理器加载并执行如权利要求1-10任一项所述的图像处理方法。
13.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时，用于执行如权利要求1-10任一项所述的图像处理方法。
14.一种计算机程序产品或计算机程序，其特征在于，所述计算机程序产品中包括计算机程序，所述计算机程序存储在计算机存储介质中，所述计算机存储介质中的计算机程序被处理器执行时，用于加载并执行如权利要求1-10任一项所述的图像处理方法。
CN202210024112.5A 2022-01-10 2022-01-10 图像处理方法、装置、设备、存储介质及计算机程序 Pending CN114373033A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210024112.5A CN114373033A (zh) 2022-01-10 2022-01-10 图像处理方法、装置、设备、存储介质及计算机程序
PCT/CN2022/128637 WO2023130819A1 (zh) 2022-01-10 2022-10-31 图像处理方法、装置、设备、存储介质及计算机程序
US18/333,781 US20230368395A1 (en) 2022-01-10 2023-06-13 Image processing method, apparatus and device, storage medium and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210024112.5A CN114373033A (zh) 2022-01-10 2022-01-10 图像处理方法、装置、设备、存储介质及计算机程序

Publications (1)

Publication Number Publication Date
CN114373033A true CN114373033A (zh) 2022-04-19

Family

ID=81144989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210024112.5A Pending CN114373033A (zh) 2022-01-10 2022-01-10 图像处理方法、装置、设备、存储介质及计算机程序

Country Status (3)

Country Link
US (1) US20230368395A1 (zh)
CN (1) CN114373033A (zh)
WO (1) WO2023130819A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023130819A1 (zh) * 2022-01-10 2023-07-13 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、存储介质及计算机程序

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002052508A2 (en) * 2000-12-22 2002-07-04 Anthropics Technology Limited Image processing system
CN103870848A (zh) * 2014-04-01 2014-06-18 苏州大学 投影变换矩阵的获取方法、样本分类方法
CN103914806A (zh) * 2013-01-09 2014-07-09 三星电子株式会社 用于调整拍摄的用户的眼睛的显示装置和控制方法
WO2019128508A1 (zh) * 2017-12-28 2019-07-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
WO2020156148A1 (zh) * 2019-02-01 2020-08-06 腾讯科技（深圳）有限公司 Smpl参数预测模型的训练方法、计算机设备及存储介质
CN112132764A (zh) * 2020-09-27 2020-12-25 广州虎牙科技有限公司 脸型处理方法、装置、用户终端和计算机可读存储介质
WO2021052224A1 (zh) * 2019-09-18 2021-03-25 北京市商汤科技开发有限公司 视频生成方法、装置、电子设备和计算机存储介质
WO2021063271A1 (zh) * 2019-09-30 2021-04-08 Oppo广东移动通信有限公司 人体模型重建方法、重建系统及存储介质
WO2021169556A1 (zh) * 2020-02-29 2021-09-02 华为技术有限公司 人脸图像合成方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8199152B2 (en) * 2007-01-16 2012-06-12 Lucasfilm Entertainment Company Ltd. Combining multiple session content for animation libraries
US9747716B1 (en) * 2013-03-15 2017-08-29 Lucasfilm Entertainment Company Ltd. Facial animation models
CN114373033A (zh) * 2022-01-10 2022-04-19 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、存储介质及计算机程序

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002052508A2 (en) * 2000-12-22 2002-07-04 Anthropics Technology Limited Image processing system
CN103914806A (zh) * 2013-01-09 2014-07-09 三星电子株式会社 用于调整拍摄的用户的眼睛的显示装置和控制方法
CN103870848A (zh) * 2014-04-01 2014-06-18 苏州大学 投影变换矩阵的获取方法、样本分类方法
WO2019128508A1 (zh) * 2017-12-28 2019-07-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
WO2020156148A1 (zh) * 2019-02-01 2020-08-06 腾讯科技（深圳）有限公司 Smpl参数预测模型的训练方法、计算机设备及存储介质
WO2021052224A1 (zh) * 2019-09-18 2021-03-25 北京市商汤科技开发有限公司 视频生成方法、装置、电子设备和计算机存储介质
WO2021063271A1 (zh) * 2019-09-30 2021-04-08 Oppo广东移动通信有限公司 人体模型重建方法、重建系统及存储介质
WO2021169556A1 (zh) * 2020-02-29 2021-09-02 华为技术有限公司 人脸图像合成方法及装置
CN112132764A (zh) * 2020-09-27 2020-12-25 广州虎牙科技有限公司 脸型处理方法、装置、用户终端和计算机可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JAVAID等: "Contour interpolated radial basis functions with spline boundary correction for fast 3D reconstruction of the human articular cartilage from MR images", MEDICAL PHYSICS, 31 December 2016 (2016-12-31) *
张龙;董峰;傅雨田;: "基于神经网络的红外图像非均匀性校正", 红外技术, no. 02, 23 February 2018 (2018-02-23) *
杨勃;马禄;: "基于形变模型的弱纹理人脸图像合成方法改进", 计算机仿真, no. 09, 15 September 2016 (2016-09-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023130819A1 (zh) * 2022-01-10 2023-07-13 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、存储介质及计算机程序

Also Published As

Publication number Publication date
US20230368395A1 (en) 2023-11-16
WO2023130819A1 (zh) 2023-07-13

Similar Documents

Publication Publication Date Title
EP3944200B1 (en) Facial image generation method and apparatus, device and storage medium
US11741668B2 (en) Template based generation of 3D object meshes from 2D images
CN106780681B (zh) 一种角色动作生成方法和装置
US10839586B1 (en) Single image-based real-time body animation
US11514638B2 (en) 3D asset generation from 2D images
KR102602112B1 (ko) 얼굴 이미지 생성을 위한 데이터 프로세싱 방법 및 디바이스, 및 매체
US11941737B2 (en) Artificial intelligence-based animation character control and drive method and apparatus
US20220284678A1 (en) Method and apparatus for processing face information and electronic device and storage medium
CN111292262A (zh) 图像处理方法、装置、电子设备以及存储介质
CN115908109A (zh) 人脸图像风格化模型训练方法、设备和存储介质
CN114202615A (zh) 人脸表情的重建方法、装置、设备和存储介质
US20230368395A1 (en) Image processing method, apparatus and device, storage medium and computer program
US20220101122A1 (en) Energy-based variational autoencoders
CN114299206A (zh) 三维卡通人脸生成方法、装置、电子设备及存储介质
CN114373034A (zh) 图像处理方法、装置、设备、存储介质及计算机程序
US20220101145A1 (en) Training energy-based variational autoencoders
CN114758108A (zh) 虚拟对象驱动方法、装置、存储介质及计算机设备
CN113223128A (zh) 用于生成图像的方法和装置
Chai et al. Efficient mesh-based face beautifier on mobile devices
CN111581411B (zh) 高精度人脸形状库的构建方法、装置、设备及存储介质
WO2024066549A1 (zh) 一种数据处理方法及相关设备
KR20240093280A (ko) 비인간형 디지털 캐릭터에 대한 페이셜 리타겟팅 방법
CN117422797A (zh) 表情特征的提取方法、装置、设备及计算机可读存储介质
CN117197274A (zh) 图像生成方法以及相关设备
KR20220137431A (ko) 아바타 생성 방법, 장치 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40071038

Country of ref document: HK