CN111325851A - 图像处理方法及装置、电子设备和计算机可读存储介质 - Google Patents

图像处理方法及装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN111325851A
CN111325851A CN202010131248.7A CN202010131248A CN111325851A CN 111325851 A CN111325851 A CN 111325851A CN 202010131248 A CN202010131248 A CN 202010131248A CN 111325851 A CN111325851 A CN 111325851A
Authority
CN
China
Prior art keywords
processed
target
training sample
image
slide bar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010131248.7A
Other languages
English (en)
Other versions
CN111325851B (zh
Inventor
李琛
刘建林
孙爽
达杰
钟伽文
杨晓琪
戴宇荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010131248.7A priority Critical patent/CN111325851B/zh
Publication of CN111325851A publication Critical patent/CN111325851A/zh
Application granted granted Critical
Publication of CN111325851B publication Critical patent/CN111325851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2024—Style variation

Abstract

本公开实施例提供了一种图像处理方法及装置、电子设备和计算机可读存储介质。该方法包括：获取待处理图像，待处理图像包括待处理对象；对待处理图像进行特征提取，获得待处理对象的目标关键点位置；获取训练集，训练集包括具有目标设计风格类型的训练样本，训练样本包括已知关键点位置和与目标设计风格类型对应的渲染引擎的设定滑杆参数；根据待处理对象的目标关键点位置和训练样本的已知关键点位置，获得训练样本的权重系数；根据训练样本的权重系数及其对应的设定滑杆参数，获得待处理对象的目标滑杆参数，并基于目标滑杆参数生成待处理对象的虚拟形象。本公开实施例提供的方案能够将训练样本的设计风格自适应地迁移到待处理图像的虚拟形象上。

Description

图像处理方法及装置、电子设备和计算机可读存储介质
技术领域
本公开涉及计算机技术领域，具体而言，涉及一种图像处理方法及装置、电子设备和计算机可读存储介质。
背景技术
为用户生成个性化虚拟形象在游戏、网络社交、电影、人脸识别和追踪、虚拟现实等场景中有着强烈的需求，而人脸是虚拟形象最重要的部分。
相关技术中，通常要求使用昂贵的深度感知设备如结构光点阵投射仪，在移动平台上，目前只有少量机型可以提供扫描深度信息，限制了这类方法的普适程度；或者需要大量的人工介入；或者恢复出来的人脸形象风格过于写实，不具备风格迁移的能力。此外，利用单幅图像这样有限的输入生成非常逼真的人脸难度很大。最后，用户本人希望展现的未必是完全真实的自己，而是能够代表自身主要特点的数字形象。
因此，需要一种新的图像处理方法及装置、电子设备和计算机可读存储介质。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解。
发明内容
本公开实施例提供一种图像处理方法及装置、电子设备和计算机可读存储介质，能够提供一种风格自适应的待处理对象的虚拟形象的生成方案。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
本公开实施例提供一种图像处理方法，所述方法包括：获取待处理图像，所述待处理图像中包括待处理对象；对所述待处理图像进行特征提取，获得所述待处理对象的目标关键点位置；获取训练集，所述训练集中包括具有目标设计风格类型的训练样本，所述训练样本包括已知关键点位置和与所述目标设计风格类型对应的渲染引擎的设定滑杆参数；根据所述待处理对象的目标关键点位置和所述训练样本的已知关键点位置，获得所述训练样本的权重系数；根据所述训练样本的权重系数及其对应的设定滑杆参数，获得所述待处理对象的目标滑杆参数，并基于将所述目标滑杆参数生成所述待处理对象的虚拟形象。
本公开实施例提供一种图像处理装置，所述装置包括：待处理图像获取单元，用于获取待处理图像，所述待处理图像中包括待处理对象；关键点位置获得单元，用于对所述待处理图像进行特征提取，获得所述待处理对象的目标关键点位置；训练集样本获取单元，用于获取训练集，所述训练集中包括具有目标设计风格类型的训练样本，所述训练样本包括已知关键点位置和与所述目标设计风格类型对应的渲染引擎的设定滑杆参数；训练样本权重获得单元，用于根据所述待处理对象的目标关键点位置和所述训练样本的已知关键点位置，获得所述训练样本的权重系数；目标滑杆参数获得单元，用于根据所述训练样本的权重系数及其对应的设定滑杆参数，获得所述待处理对象的目标滑杆参数，并基于将所述目标滑杆参数生成所述待处理对象的虚拟形象。
本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中所述的图像处理方法。
本公开实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的图像处理方法。
在本公开的一些实施例所提供的技术方案中，通过对待处理图像进行特征提取，能够获取到待处理图像中的待处理对象的目标关键点位置，基于提供的具有目标设计风格的训练集中的训练样本，能够获得训练样本的权重系数，从而能够基于训练样本的权重系数及其对应的设定滑杆参数，获得待处理图像中的待处理对象的目标滑杆参数，可以基于获取的目标滑杆参数自动生成该待处理对象的虚拟形象；一方面，能够基于单幅输入图像实现风格化虚拟形象的自动生成，可以解决虚拟现实、网络社交等领域中用户数字形象的表达问题，能够让用户展现自我，同时又展示自己想突显的风格；另一方面，当需要变换不同设计风格时，只需要提供具有不同设计风格的训练集的训练样本即可，容易实现风格的自适应迁移。此外，本公开实施例提供的方案实现起来运算量较小，实现简单，当将其应用于移动终端时，也可以实现实时的虚拟形象的输出。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本公开实施例的图像处理方法或图像处理装置的示例性系统架构的示意图；
图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图；
图3示意性示出了根据本公开的一实施例的图像处理方法的流程图；
图4示意性示出了根据本公开的一实施例的人脸关键点和分割结果的示意图；
图5示出了图3中所示的步骤S320在一实施例中的处理过程示意图；
图6示意性示出了根据本公开的一实施例的人脸对齐的示意图；
图7示出了图3中所示的步骤S340在一实施例中的处理过程示意图；
图8示出了图3中所示的步骤S340在一实施例中的处理过程示意图；
图9示意性示出了根据本公开的一实施例的人脸关键点序号的示意图；
图10示意性示出了根据本公开的一实施例的图像处理方法的流程图；
图11示意性示出了根据本公开的一实施例的图像处理方法的流程图；
图12示出了图3中所示的步骤S350在一实施例中的处理过程示意图；
图13示出了图3中所示的步骤S350在一实施例中的处理过程示意图；
图14示意性示出了根据本公开的一实施例的图像处理方法的流程图；
图15示出了图3中所示的步骤S330在一实施例中的处理过程示意图；
图16示意性示出了根据本公开的一实施例的图像处理方法的示意图；
图17示意性示出了根据本公开的一实施例的图像处理装置的框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
图1示出了可以应用本公开实施例的图像处理方法或图像处理装置的示例性系统架构100的示意图。
如图1所示，系统架构100可以包括终端设备101、102，网络103和服务器104。网络103用以在终端设备101、102和服务器104之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102通过网络103与服务器104交互，以接收或发送消息等。其中，终端设备101、102可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、可穿戴设备、虚拟现实设备、智能家居等等。
服务器104可以是提供各种服务的服务器，例如对用户利用终端设备101、102所进行操作的装置提供支持的后台管理服务器。后台管理服务器可以对接收到的请求等数据进行分析等处理，并将处理结果反馈给终端设备。
服务器104可例如获取待处理图像，所述待处理图像中包括待处理对象；对所述待处理图像进行特征提取，获得所述待处理对象的目标关键点位置；服务器104可例如获取训练集，所述训练集中包括具有目标设计风格类型的训练样本，所述训练样本包括已知关键点位置和与所述目标设计风格类型对应的渲染引擎的设定滑杆参数；服务器104可例如根据所述待处理对象的目标关键点位置和所述训练样本的已知关键点位置，获得所述训练样本的权重系数；服务器104可例如根据所述训练样本的权重系数及其对应的设定滑杆参数，获得所述待处理对象的目标滑杆参数，并基于将所述目标滑杆参数生成所述待处理对象的虚拟形象；服务器104可例如将生成的待处理对象的虚拟形象返回至终端设备101和/或102。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的，服务器104可以是一个实体的服务器，还可以为多个服务器组成的服务器集群，还可以是云端服务器，根据实际需要，可以具有任意数目的终端设备、网络和服务器。
图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图2所示，计算机系统200包括中央处理单元(CPU，Central Processing Unit)201，其可以根据存储在只读存储器(ROM，Read-Only Memory)202中的程序或者从储存部分208加载到随机访问存储器(RAM，Random Access Memory)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(input/output，I/O)接口205也连接至总线204。
以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD，Liquid Crystal Display)等以及扬声器等的输出部分207；包括硬盘等的储存部分208；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入储存部分208。
特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的方法和/或装置中限定的各种功能。
需要说明的是，本公开所示的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM(Erasable Programmable Read Only Memory，可擦除可编程只读存储器)或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF(RadioFrequency，射频)等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的方法、装置和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图3或图5或图7或图8或图10或图11或图12或图13或图14或图15或图16所示的各个步骤。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本公开实施例提供的技术方案涉及人工智能技术的机器学习技术等方面，下面通过具体的实施例进行举例说明。
相关技术中，存在以下三种主要的方式用于生成人脸的虚拟形象：
第一种方式：基于SFM(structure from motion，由运动到结构，是从一系列包含视觉运动信息的多幅二维图像序列中估计三维结构的技术)的方案，该类方案利用不同角度拍摄的多帧图像，利用多视图几何估计相机位姿和恢复三维信息，然后将每帧的三维信息进行融合进而得到相对稠密的观测。在得到三维观测模型后，通常还会利用Non RigidICP(Non Rigid Iterative Closest Point，非刚性配准，模板除了平移、缩放和旋转之外，还可以变形)等手段将观测与人脸模型(如3DMM(a morphoable model for the synthesisof 3D faces，三维人脸形变统计模型))配准，以得到完整的模型。
第二种方式：基于人为设计模型如3DMM的方案。该类方案通过一帧或多帧图像直接回归模型的参数，使得渲染出来的图像和观测到的图像尽量相似。
第三种方式：基于深度学习的端对端(end-to-end)方案。该类方案将输入的单帧图像经过神经网络处理后，直接输出稠密的3D(three-dimension，三维)体素/点云，或者2.5D的表示如UV Map(Ultraviolet Map，紫外贴图)。
上述三种虚拟形象生成系统主要存在以下问题：
上述第一种方式中，因为SFM恢复出来的只是一堆无结构的点云，并不知道这些点云对应了人脸上的什么地方，自然就没办法表达人脸特征，因此基于SFM的方法直接恢复出来的三维模型不具有语义信息，很难甚至无法进行风格化，因此需要后处理的步骤才能获得这些信息。此外由于单次的扫描往往得不到物体完整的几何信息，因此该方案要求必须输入多帧不同角度的图像，限制了使用场景。
上述第二种方式中，基于模型参数回归的方法则需要获取相应的模型实现，不适用于模型由于保密因素无法获得的情况。并且在三维模型发生更改时，相应的修改成本较大。在计算成本方面，如果使用非线性优化估计参数，通常难以做到实时。因为非线性优化是迭代求解的，问题规模比较大时，计算量会很大。
上述第三种方式中，基于深度学习的端对端方法由于直接输出了虚拟形象，该方案可解释性差，用户难以对输出进行检查和调整。更重要的是，该类方法需要大量的标注数据，大大提高了成本。
针对上述相关技术中存在的技术问题，本公开实施例提供了一种图像处理方法，以用于至少解决上述技术问题中的一个或者全部。图3示意性示出了根据本公开的一实施例的图像处理方法的流程图。本公开实施例提供的方法可以由任意具备计算处理能力的电子设备执行，例如如图1中的终端设备101、102和/或服务器104。
如图3所示，本公开实施例提供的图像处理方法可以包括以下步骤。
在步骤S310中，获取待处理图像，所述待处理图像中包括待处理对象。
本公开实施例中，待处理图像包括但不限于图片、照片、影片等，可以是通过终端设备的相机拍摄的照片、通过终端设备截屏获取的图片或者是通过可上传图像的应用程序上传的图像等等。待处理对象可以是包含在待处理图像中的任意一个或者多个目标，例如可以是目标用户的人脸，或者目标用户的人体(包括人脸加躯干部分)，或者也可以是某种动物的脸或者身体等等，本公开对此不做限定。在下面的举例说明中，均以待处理对象为目标用户的人脸为例进行举例说明，但本公开的保护范围并不限定于此。
当待处理对象为目标用户的人脸时，可以首先获取包含目标用户的人脸的用户图像作为待处理图像。用户图像可以为已存储图像，也可为通过摄像头或具有摄像头的设备如相机、手机等即时拍摄的图像。另外，需要说明的是，本公开实施例中，用户图像除了可以为目标用户的自拍照外，还可以为从包括目标用户的合照中截取出来的图像，例如，从目标用户与朋友的合照、或者目标用户与家人的合照中截取出来的图像。
在步骤S320中，对所述待处理图像进行特征提取，获得所述待处理对象的目标关键点位置。
本公开实施例中，可以接收一张包括目标用户的人脸的RGB(Red，Green，Blue，红绿蓝)图像作为输入，进行基本的脸部特征提取，可以包括人脸关键点提取。
其中，人脸关键点提取是指给定包括人脸的图像，定位出人脸面部的关键区域位置，例如可以包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等，这里待处理对象的目标关键点位置可以包括目标用户的人脸的眉毛、眼睛、鼻子、嘴巴、脸部轮廓等上的各个关键点的坐标，在下面的举例说明中，以104个人脸关键点为例进行举例说明，但本公开实施例中对人脸关键点的数量及类型并不做限定。
具体的，可以采用任意一种可以实现的方式来实现上述人脸关键点提取，例如可以采用基于模型的ASM(Active Shape Model，主动形状模型)和AAM(Active AppearanceModel，主动外观模型)；或者，也可以采用CPR(Cascaded Pose Regression，级联姿势回归)等。本公开实施例中，可以基于深度学习的方法，将待处理图像输入至预先训练好的神经网络模型(例如，DCNN(Deep Convolutional Neural Networks，深度卷积神经网络)等)，该神经网络模型可以预测输出目标用户的人脸关键点及其位置。
在步骤S330中，获取训练集，所述训练集中包括具有目标设计风格类型的训练样本，所述训练样本包括已知关键点位置和与所述目标设计风格类型对应的渲染引擎的设定滑杆参数。
本公开实施例中，产品设计人员可以预先设计其想要或者所需的虚拟形象的风格，将属于同一设计风格的多个训练样本归类至同一个训练集中，根据需要，可以设计多种设计风格，将不同设计风格的训练样本归类到不同训练集中。例如，定义大眼睛、小嘴巴、小鼻子和肤色均一等这种设计风格为动漫风格，则对本公开实施例提供的目标滑杆参数进行处理后，可以对目标用户的人脸进行自适应的风格化修正，如拉大眼睛、调整为小鼻子和小嘴巴、磨平人脸肤色等，可以得到目标用户对应的风格化虚拟形象。这里目标设计风格可以根据实际需要自由指定。
对于该训练集中的每个训练样本，预先标注了每个训练样本上的各个关键点的坐标作为已知关键点位置，例如可以获取训练样本的眉毛、眼睛、鼻子、嘴巴、脸部轮廓上的104个人脸关键点的坐标。同时，还可以预先设置每个训练样本针对渲染引擎的滑杆参数作为设定滑杆参数。
本公开实施例中，当待处理对象为人脸时，滑杆参数能够体现脸部特征的语义信息，例如眼睛大小、颧骨高低、脸颊胖瘦等；当待处理对象为人体时，滑杆参数还能够体现人体特征的语义信息，例如身材高矮、身材胖瘦、肩膀宽度等。在一些“捏脸”系统的用户界面上，可以实现可以拖动的滑杆(slider)，滑杆在滑动的时候，滑杆的数值即滑杆参数可以实时更新，渲染引擎根据滑杆参数，可以相应调整人脸的脸型或者人体的体型等。
还是以人脸为例，每个训练样本可以根据实际需要设置多个滑杆参数，例如分别用于调节人脸的脸整体宽度的滑杆参数、调整鼻子整体上下的滑杆参数、调整鼻子整体前后的滑杆参数等。
在步骤S340中，根据所述待处理对象的目标关键点位置和所述训练样本的已知关键点位置，获得所述训练样本的权重系数。
具体获取各个训练样本的权重系数的方式可以参照下述图7和8的实施例。
在步骤S350中，根据所述训练样本的权重系数及其对应的设定滑杆参数，获得所述待处理对象的目标滑杆参数，并基于将所述目标滑杆参数生成所述待处理对象的虚拟形象。
具体获取待处理对象的目标滑杆参数的方式可以参照下述图12和13的实施例。
本公开实施方式提供的图像处理方法，通过对待处理图像进行特征提取，能够获取到待处理图像中的待处理对象的目标关键点位置，基于提供的具有目标设计风格的训练集中的训练样本，能够获得训练样本的权重系数，从而能够基于训练样本的权重系数及其对应的设定滑杆参数，获得待处理图像中的待处理对象的目标滑杆参数，可以基于获取的目标滑杆参数自动生成该待处理对象的虚拟形象；一方面，能够基于单幅输入图像实现风格化虚拟形象的自动生成，可以解决虚拟现实、网络社交等领域中用户数字形象的表达问题，能够让用户展现自我，同时又展示自己想突显的风格；另一方面，当需要变换不同设计风格时，只需要提供具有不同设计风格的训练集的训练样本即可，容易实现风格的自适应迁移。此外，本公开实施例提供的方案实现起来运算量较小，实现简单，当将其应用于移动终端时，也可以实现实时的虚拟形象的输出。
图4示意性示出了根据本公开的一实施例的人脸关键点和分割结果的示意图。本公开实施例中，所述方法还可以包括对待处理图像进行脸部语义分割，即对目标用户的人脸上的每一个像素点进行分类。
例如，如图4所示，以上传的包括目标用户的人脸的正面的图像作为输入为例，首先对图像中的人脸进行关键点检测，还可以预先设定眉毛、眼睛、鼻子、嘴巴、脸部轮廓五个类别，在输出各个关键点的目标关键点位置时，也可以预测输出各个关键点所属类别，即当前关键点的目标类别为眉毛、眼睛、鼻子、嘴巴、脸部轮廓五个类别中的任意一个。在得到人脸关键点的位置和目标类别后，可以进一步获得人脸上每个部位的分割掩膜，掩膜是指二值化像素区域，在区域内部取值为1，区域外部取值为0。例如，根据同属于眉毛的多个关键点可以分割出人脸的眉毛区域，根据同属于鼻子的多个关键点可以分割出人脸的鼻子区域，根据同属于眼睛的多个关键点可以分割出人脸的眼睛区域，根据同属于脸部轮廓的多个关键点可以分割出人脸的脸部轮廓区域，根据同属于嘴巴的多个关键点可以分割出人脸的嘴巴区域。
另外需要注意的是，虽然本公开实施例以面部五官区域为例进行举例说明，但是如图4所示，也可以分割出头发掩膜，因此头发的自动三维建模也可以得到。
图5示出了图3中所示的步骤S320在一实施例中的处理过程示意图。本公开实施例中，还是以待处理对象包括待处理人脸即目标用户的人脸为例进行举例说明。由于在实际应用场景中，用户上传的照片或者图像的角度和大小各异，因此，在进一步操作之前，可以先将人脸对齐到同一个坐标系下。其中，对齐是指以某个形状为基准，对其它形状进行旋转、缩放和平移等操作，使其尽可能的与基准形状接近的过程。
如图5所示，本公开实施例中，上述步骤S320可以进一步包括以下步骤。
在步骤S321中，对所述待处理图像进行特征提取，获得所述待处理人脸的原关键点位置。
例如，采用神经网络模型预测输出的为待处理人脸的原关键点位置。
在步骤S322中，确定目标仿射变换。
这里设目标仿射变换为矩阵
Figure BDA0002395826480000131
(3*3的矩阵)。其中，仿射变换的功能是从二维坐标到二维坐标之间的线性变换，且保持二维图形的平直性和平行性，直线之间的相对位置关系保持不变，平行线经仿射变换后依然为平行线，且直线上点的位置顺序不会发生变化。非共线的三对对应点确定一个唯一的仿射变换，仿射变换可以通过一系列的原子变换的复合来实现，包括平移、缩放、翻转、旋转和剪切等。
在步骤S323中，利用所述目标仿射变换将所述待处理图像的原关键点位置映射到所述目标关键点位置，以生成处理后图像，且所述处理后图像中的待处理人脸的两眼连线的中心为原点，两眼连线为第一方向轴(假设为x轴)，鼻梁方向为第二方向轴(假设为y轴)，所述原点至所述待处理人脸的太阳穴的距离的预设比例为单位距离。
本公开实施例中，由于输入的包括人脸的图像的角度和尺度不一致，需要将输入被标准化到统一的坐标系下。具体的，可以将人脸对齐的问题定义为：寻找一个目标仿射变换A，使得原待处理图像经过A的变化后，在新的图像空间中即处理后图像中，两眼连线的中心为原点
Figure BDA0002395826480000141
两眼连线为x轴(例如设左眼中心到右眼中心的二维向量为
Figure BDA0002395826480000142
)，鼻梁方向为y轴(例如假设鼻梁上43号关键点到46号关键点之间的二维向量为
Figure BDA0002395826480000143
)，并选择原点到太阳穴之间的距离的1/4距离为单位1，标记为d。则可以获得模长为d的两个向量分别为：
Figure BDA0002395826480000144
则可以通过以下公式确定目标仿射变换A：
Figure BDA0002395826480000145
得到A之后，对齐后的处理后图像上每个坐标的位置
Figure BDA0002395826480000146
对应的原待处理图像上每个坐标的位置
Figure BDA0002395826480000147
可以根据以下公式计算获得：
Figure BDA0002395826480000148
图6示意性示出了根据本公开的一实施例的人脸对齐的示意图。如图6所示，左侧为原待处理图像，中间为原待处理图像分割及提取关键点的结果；右侧为经过对齐处理后的分割和关键点的结果。
图7示出了图3中所示的步骤S340在一实施例中的处理过程示意图。如图7所示，本公开实施例中，上述步骤S340可以进一步包括以下步骤。
在步骤S341中，根据所述待处理对象的目标关键点位置和所述训练样本的已知关键点位置，构建目标函数。
本公开实施例中，对训练样本中的人脸的权重系数进行拟合。获取上述实施例中经过人脸对齐后的目标关键点位置，根据待处理对象的目标关键点位置和训练集中各个训练样本的已知关键点位置，可以估计出一个线性组合参数(即下述的各个训练样本的权重系数组合成的向量)，以使得各个训练样本利用该线性组合参数进行加权平均的关键点位置和待处理对象的目标关键点位置尽可能接近，即两者之间的误差达到最小化。
在步骤S342中，对所述目标函数进行计算，获得所述训练样本的权重系数，以使得所述训练样本的已知关键点位置根据所述训练样本的权重系数进行加权平均后的关键点位置与所述待处理对象的目标关键点位置之间的误差达到最小化。
具体地，可以构建一个最优化问题：设训练集(人脸库)中共有n(n为大于或等于1的正整数)个训练样本，每个训练样本有k(k为大于或等于1的正整数，例如这里取k＝104)个已知关键点位置，假设需要估计的n个训练样本的权重系数组成的权重向量为
Figure BDA0002395826480000151
人脸库的n个训练样本的已知关键点位置组成的关键点数据为
Figure BDA0002395826480000152
待处理对象的目标关键点位置为
Figure BDA0002395826480000153
则该目标函数可以用以下公式表达：
Figure BDA0002395826480000154
上述公式(3)中，
Figure BDA0002395826480000155
表示估计获得的各个训练样本的权重系数组成的向量；w表示估计过程中调整的各个训练样本的权重系数组成的向量，可以对其进行随机初始化；Xi表示n个训练样本的第i个已知关键点位置组成的关键点数据；x′i表示待处理对象的第i个关键点位置；||||表示范数。这里可以使用L-BFGS(limited memory Broyden FletcherGoldfarb Shanno，有限内存-BFGS，Broyden、Fletcher、Goldfarb和Shanno分别为四位数学家的名字)算法来求解上述公式(3)。
其中，算法在计算机中运行的时候需要很大的内存空间，就像解决函数最优化问题常用的梯度下降，它背后的原理就是依据了泰勒一次展开式，泰勒展开式的次数越多，结果越精确，没有使用三阶或者更高阶展开式的原因就是目前硬件内存不足以存储计算过程中演变出来更复杂、体积更庞大的矩阵，但本公开并不限定于使用上述算法求解公式(3)，随着技术的发展，后续硬件内存可能可以存储更复杂、更庞大的矩阵时，可以使用更高阶的算法。
由于每个训练样本对应的渲染引擎的设定滑杆参数是已知的，因此求解完每个训练样本的权重系数后，待处理人脸可以表示为所有训练样本的设定滑杆参数的加权平均。其中，一个训练样本可以包括多个设定滑杆参数，每个设定滑杆参数可以影响多个关键点。这个跟产品端定义的模型体系有关，n个训练样本的设定滑杆参数可以组成一个n维的向量，每一位代表一个训练样本的设定滑杆参数。
图8示出了图3中所示的步骤S340在一实施例中的处理过程示意图。本公开实施例中，所述方法还可以包括：对所述待处理对象进行语义分割，获得所述目标关键点位置对应的目标关键点的目标类别。
如图8所示，本公开实施例中，上述步骤S340可以进一步包括以下步骤。
在步骤S343中，根据所述目标关键点的目标类别，将所述待处理对象划分为多个目标区域，每个目标区域包括多个目标关键点位置。
例如，以待处理对象为目标用户的人脸为例，如图9所示，这里假设从0开始编号，一共有104个人脸关键点，则人脸关键点的类别划分如下表1所示。
表1人脸关键点划分
Figure BDA0002395826480000161
可以将待处理人脸划分为眉毛区域、眼睛区域、鼻子区域、嘴巴区域和脸部轮廓区域，每个区域根据对应的目标关键点位置从人脸整体区域分割出来。
在步骤S344中，根据每个目标区域的目标关键点位置和所述训练样本中对应目标区域的已知关键点位置，构建每个目标区域的目标函数。
本公开实施例中，还是设训练集(人脸库)中共有n个训练样本，假设每个训练样本划分为m(m为大于或等于1的正整数，这里假设m＝5)个目标区域，对于每个训练样本的第j(j为大于或等于1且小于或等于m的正整数)个目标区域而言，包括kj(kj为大于或等于1的正整数)个人脸关键点的已知关键点位置，假设需要估计的n个训练样本的第j个目标区域的权重系数组成的权重向量为
Figure BDA0002395826480000171
人脸库的n个训练样本的第j个目标区域的已知关键点位置组成的关键点数据为
Figure BDA0002395826480000172
待处理对象的第j个目标区域的目标关键点位置为
Figure BDA0002395826480000173
则第j个目标区域的目标函数可以用以下公式表达：
Figure BDA0002395826480000174
上述公式(4)中，
Figure BDA0002395826480000175
表示估计获得的各个训练样本的第j个目标区域的权重系数组成的向量；wj表示估计过程中调整的各个训练样本的第j个目标区域的权重系数组成的向量，可以对其进行随机初始化；||||表示范数。例如，根据上述表1，可以分别构建出眉毛区域、眼睛区域、鼻子区域、嘴巴区域和脸部轮廓区域的目标函数。
在步骤S345中，对每个目标区域的目标函数进行计算，获得所述训练样本中对应目标区域的权重系数，以使得所述训练样本中对应目标区域的已知关键点位置根据所述训练样本中对应目标区域的权重系数进行加权平均后的关键点位置与所述待处理对象中对应目标区域的目标关键点位置之间的误差达到最小化。
例如，也可以使用L-BFGS算法来求解上述公式(4)，分别获得每个训练样本中眉毛区域、眼睛区域、鼻子区域、嘴巴区域和脸部轮廓区域的权重系数。
图7的实施例中，是将全部人脸关键点作为整体来求解各个训练样本的权重系数的，图8的实施例中，对各个目标区域(如脸型、嘴巴、眼睛、鼻子、眉毛等)对应的人脸关键点集合单独求解，可以取得更好的每个训练样本的权重系数的估计效果。
由于每个训练样本对应的渲染引擎的设定滑杆参数是已知的，因此求解完每个训练样本的每个目标区域的权重系数后，待处理人脸的每个目标区域可以表示为所有训练样本的对应目标区域的设定滑杆参数的加权平均。其中，一个训练样本可以包括多个设定滑杆参数，每个设定滑杆参数可以影响对应目标区域内的多个关键点。
由于上述实施例中使用了所有的训练样本来进行待处理人脸的虚拟形象的合成，根据上述实施例融合出来的人脸的虚拟形象会倾向于“平均脸”，即目标用户的个性化特征不够显著，因此，可以通过下述方法从训练样本中检索出前K(K为大于或等于1且小于n的正整数)个与待处理图像最相似的相似训练样本，以用于进一步的特征增强，提高最终形成的虚拟形象的个性化。
图10示意性示出了根据本公开的一实施例的图像处理方法的流程图。
如图10所示，与上述实施例的不同之处，本公开实施例提供的方法还可以进一步包括以下步骤。
在步骤S1010中，根据所述待处理对象的每个目标区域的目标关键点位置，获得所述待处理对象的每个目标区域的特征指标。
本公开实施例中，针对各个目标区域，可以定义一系列的特征指标，例如：鼻子大小(针对鼻子区域)、下颌曲线(针对脸部轮廓区域)等。然后，利用对应目标区域的目标关键点位置和分割结果，通过长度、角度、曲率、比例等方法计算出各个特征指标。
例如，假设针对嘴巴区域定义了上唇厚度这个特征指标，则可以根据86、88号关键点到98号关键点的平均高度差，以及86、88号关键点位置的嘴唇分割厚度计算获得，假设以分割图上嘴唇的垂直方向像素数作为分割厚度(比如10个像素的厚度)，则：上唇厚度＝(86号关键点到98号关键点的距离+88号关键点到98号关键点的距离+86号关键点位置分割厚度+88号关键点位置分割厚度)/4。
再例如，假设针对脸部轮廓区域定义了下颌高低这个特征指标，则可以用4-8号关键点和9-12号关键点分别拟合的两条曲线之间的夹角表达。
在步骤S1020中，根据所述待处理对象的每个目标区域的特征指标，获得所述待处理图像与所述训练样本对应目标区域之间的相似度。
采用与上述类似的方式，可以计算获得每个训练样本的每个目标区域的特征指标，通过将待处理对象的每个目标区域的特征指标与训练样本的对应目标区域的特征指标进行对比，可以获得待处理图像与各个训练样本对应目标区域之间的相似度，其中对于同一个特征指标而言，两者之间的差异越小，则该特征指标对应的相似度越大。反之，则相似度越小。
在步骤S1030中，根据所述待处理图像与所述训练样本对应目标区域之间的相似度，从所述训练样本中确定所述待处理图像对应目标区域的相似训练样本。
对每个目标区域的相似度进行降序排列，选择前K个最大的相似度对应的训练样本作为对应目标区域的相似训练样本。例如，假设一共有眉毛、眼睛、鼻子、嘴巴和脸部轮廓5个区域，则可以获取与待处理对象的眉毛区域最相似的K个相似训练样本，与待处理对象的眉毛区域最相似的K个相似训练样本，与待处理对象的眼睛区域最相似的K个相似训练样本，与待处理对象的鼻子区域最相似的K个相似训练样本，与待处理对象的嘴巴区域最相似的K个相似训练样本，与待处理对象的脸部轮廓区域最相似的K个相似训练样本。
图11提供了不同于上述图10的另一种用于获取相似训练样本的方法。
如图11所示，与上述实施例的不同之处，本公开实施例提供的方法还可以进一步包括以下步骤。
在步骤S1110中，获取每个目标区域对应的自编码器。
其中，自编码器是一种能够通过无监督学习，学到输入数据高效表示的人工神经网络，输入数据的这一高效表示称为编码(encoder)，其维度一般远小于输入数据，使得自编码器可用于降维。
本公开实施例中，可以预先针对每个目标区域训练一个自编码器，例如，利用人脸的眉毛的图像训练一个针对眉毛区域的自编码器，利用人脸的鼻子的图像训练一个针对鼻子区域的自编码器，利用人脸的嘴巴的图像训练一个针对嘴巴区域的自编码器，利用人脸的眼睛的图像训练一个针对眼睛区域的自编码器，利用人脸的脸部轮廓的图像训练一个针对脸部轮廓区域的自编码器。
在训练自编码器时，重构误差项可以由结构相似性(structural similarityindex，SSI)，梯度图误差以及分割网络特征差异构成，例如整体的重构误差项＝结构相似性+梯度图误差+分割网络特征差异。其中，梯度图误差是输入图像的梯度图和重构图像的梯度图之间的均方误差(Mean Squared Error，MSE)。分割网络特征差异是输入图像的分割网络中间层特征向量和重构图像的分割网络中间层特征向量之间的MSE。。
本公开实施例中，为了让低维表示具有更好的连续性(低维表示的微小扰动不会导致重构图像的巨大变化)，可以采用变分自编码器(variational auto-encoder，VAE)，但本公开并不限定于此。
在步骤S1120中，利用所述自编码器分别将所述待处理图像和所述训练样本的对应目标区域压缩成预定维度向量。
可以利用上述训练好的目标区域的自编码器将待处理图像和每个训练样本的对应目标区域的图像压缩到一个低维向量(预定维度可以根据实际情况进行设置)表示。例如，利用针对眉毛区域的自编码器，假设待处理图像的眉毛区域为200*30(单位为像素)的大小，利用该针对眉毛区域的自编码器，可以将待处理图像的眉毛区域压缩成一个32维的向量，这个向量保留了眉毛的一些特征。类似的，可以压缩各个训练样本的眉毛区域分别为一个32维的向量。
在步骤S1130中，分别计算所述待处理图像的目标区域的预定维度向量与所述训练样本的对应目标区域的预定维度向量之间的余弦相似度。
例如，分别计算待处理图像的眉毛区域的32维向量与各个训练样本的眉毛区域的32维向量之间的余弦相似度，即通过比较向量之间的差异可以衡量两者之间的相似度。
在步骤S1140中，根据所述待处理图像与所述训练样本对应目标区域之间的余弦相似度，从所述训练样本中确定所述待处理图像对应目标区域的相似训练样本。
例如，对n个训练样本的眉毛区域的余弦相似度进行降序排列，选取前K个最大的余弦相似度对应的训练样本作为待处理图像的眉毛区域的相似训练样本。类似的，可以获取待处理图像的眼睛区域、鼻子区域、嘴巴区域和脸部轮廓区域的K个相似训练样本。
需要说明的是，获取各个目标区域的相似训练样本的方式并不限于上述图10和11所例举的两种方法，在其他实施例中，还可以利用标注数据进行有监督学习来获取。针对眉毛区域，可以预先构建一个训练数据集，该训练数据集中包括多组成对的眉毛图像，并标注了每组成对的眉毛图像的真实相似度，然后将训练数据集中的每组成对的眉毛图像分别输入预先构建的一个用于预测两张图像之间的相似度的神经网络模型中，该神经网络模型可以预测输出每组成对的眉毛图像的相似度，根据预测的相似度和标注的真实相似度构建误差函数，通过反向梯度传播的方式进行迭代求解，更新该神经网络模型的参数，获得训练好的神经网络模型。在线预测阶段，可以将待处理人脸的眉毛区域和训练样本的眉毛区域输入至训练好的神经网络模型，则可以预测输出两者之间的相似度。
可以理解的是，待处理对象的不同目标区域所选取的相似训练样本数量可以相同，也可以不同。
同时，本公开实施例提供的方案可以不用了解渲染引擎的具体实现，只需要将获得的目标滑杆参数提供给该渲染引擎即可，因此，渲染引擎和本公开实施例提供的方案之间是“透明”的。
图12示出了图3中所示的步骤S350在一实施例中的处理过程示意图。如图12所示，本公开实施例中，上述步骤S350可以进一步包括以下步骤。
在步骤S351中，根据所述待处理图像对应目标区域的相似训练样本，调整所述训练样本的权重系数。
可以将上述图8实施例获得的每个训练样本的各个目标区域的设定滑杆参数对应的权重系数作为初始权重，根据上述图10和11实施例获取的各个目标区域的K个相似训练样本，可以提高各个目标区域的K个相似训练样本对应的初始权重，而各个目标区域的n-K个非相似的训练样本对应的初始权重可以保持不变。
具体的，各个目标区域的K个相似训练样本的初始权重，可以根据相似度成正比例的增加，即相似度越大，对应的相似训练样本的权重系数越大。
在步骤S352中，利用调整后的相似训练样本的权重系数及其对应的设定滑杆参数，获得所述待处理对象的目标滑杆参数。
在计算出输入的待处理图像的各个目标区域的特征指标以及最接近的前K个相似训练样本后，可以通过提升相似训练样本的权重系数，然后利用对应目标区域的提升后的相似训练样本的权重系数及其设定滑杆参数、以及维持不变的非相似的训练样本的权重系数及其设定滑杆参数进行加权求和，获得待处理对象的对应目标区域的目标滑杆参数。将经过该特征增强后的目标滑杆参数输入至渲染引擎，可以达到最终输出的虚拟形象凸显目标用户的个人外貌特性和“夸张”的艺术效果。
图13示出了图3中所示的步骤S350在一实施例中的处理过程示意图。如图13所示，本公开实施例中，上述步骤S350可以进一步包括以下步骤。
在步骤S353中，从所述待处理对象的特征指标中确定指定特征指标。
可以从待处理对象的全部特征指标中选定一个或者多个特征指标作为指定特征指标，例如，针对脸部轮廓区域的下巴宽度、脸颊胖瘦等。具体选择哪些特征指标作为指定特征指标，可以根据具体的产品来选择，本公开对此不做限定。
在步骤S354中，获取所述训练样本的指定特征指标对应的设定滑杆参数。
例如，获取每个训练样本的下巴宽度和脸颊胖瘦特征指标对应的脸部轮廓区域的设定滑杆参数。
在步骤S355中，利用所述训练样本的指定特征指标及其设定滑杆参数进行拟合，插值获得所述待处理对象的指定特征指标对应的指定滑杆参数，所述目标滑杆参数包括所述指定滑杆参数。
本公开实施例中，可以利用训练集中各个训练样本的指定特征指标及其对应的目标区域的设定滑杆参数，拟合一条直线或者曲线，假设指定特征指标对应x轴，y轴对应的目标区域的设定滑杆参数。将待处理对象的指定特征指标输入该直线或者曲线，即可输出指定滑杆参数，利用该指定滑杆参数来替换上述实施例中计算获得的目标滑杆参数中该指定特征指标对应的目标区域的滑杆参数，保持其他目标区域的目标滑杆参数不变，以形成最终的目标滑杆参数。这里通过利用待处理对象的指定特征指标直接线性插值计算某些指定滑杆参数，这样输出范围就不会受到训练样本极值的限制。
图14示意性示出了根据本公开的一实施例的图像处理方法的流程图。如图14所示，与上述实施例的不同之处，本公开实施例提供的方法还可以进一步包括以下步骤。
在步骤S1410中，获取所述训练样本的每个目标区域的特征指标。
在步骤S1420中，根据所述训练样本的每个目标区域的特征指标，获得所述训练样本的每个目标区域的特征指标分布。
对大量的训练样本进行统计后，可以得到每个目标区域的特征指标的分布。
在步骤S1430中，根据所述训练样本的每个目标区域的特征指标分布，从所述待处理对象的特征指标中确定对应目标区域的显著特征。
可以根据每个目标区域的特征指标分布，例如计算特征指标的均值和方差，若待处理对象的对应特征指标超过均值过多，则认为该特征指标为待处理对象的该目标区域的显著特征。这里针对每个特征指标的维度进行单独判断，例如鼻子宽度特征指标大于眼间距的50％时认为是宽鼻子。
需要说明的是，确定待处理对象的显著特征并不限于上述例举的方法，在其他实施例中，还可以通过训练分类器来检测目标用户的人脸的显著特征。例如，可以预先构建一个训练图像集，该训练图像集中包括多个训练图像，并标注每个训练图像的各个特征指标是否是显著特征，利用该训练图像集训练一个二分类器。在线预测时，将待处理图像输入至该二分类器中，即可预测输出哪些特征指标是显著特征。
在示例性实施例中，根据所述训练样本的权重系数及其对应的设定滑杆参数，获得所述待处理对象的目标滑杆参数，可以包括：修改所述待处理对象的显著特征对应的目标滑杆参数。
利用特征指标检测出显著特征后，进而可以对显著特征对应的滑杆参数进行提升，具体的提升比例可以根据实际需要设定，本公开对此不做限定。对显著特征对应的滑杆参数进行较大程度的改写，使得该显著特征对应的滑杆参数具有非常大/非常小的数值，例如设置为训练样本的对应特征指标的设定滑杆数值的最大值的90％，或者设置为训练样本的对应特征指标的设定滑杆数值的最小值的90％。用改写后的滑杆参数替换上述实施例中计算出的显著特征对应特征指标的滑杆参数，以形成最终的目标滑杆参数。
在其他实施例中，特征增强可以综合以上三个部分：一、对每个训练样本各个目标区域的设定滑杆参数，增强其对应的前K个相似训练样本的权重系数；二、利用待处理对象的指定特征指标直接线性插值计算某些指定滑杆参数，这样输出范围就不会受到训练样本极值的限制；第三，如果检测到待处理对象的显著特征，则进行该显著特征对应的目标区域的滑杆参数的较大程度的改写，使得该显著特征对应的滑杆参数输出具有非常大/非常小的数值。
本公开实施例不要求应用方或者产品方提供渲染引擎对应的模型，只需要产品方美术人员或者设计师提供一个包含训练样本(包括人脸的图像)到相应渲染引擎的设定滑杆参数的数据集，可以称之为样本库、人脸库或者训练集。这个样本库是本公开实施例提供的图像处理装置与渲染引擎的唯一连接，要求训练样本在人脸特征上具有多样性，例如不同训练样本具有不同脸型。其中设定滑杆数值则反映了设计师的个人风格，例如设计师捏脸的夸张程度。其中，从训练样本的人脸图像到渲染引擎的模型参数的设定需要耗费较大的人力，因此可以利用本公开实施例提供的技术方案从以下几个方面辅助设计师或者美术人员来提高效率。
图15示出了图3中所示的步骤S330在一实施例中的处理过程示意图。如图15所示，本公开实施例中，上述步骤S330可以进一步包括以下步骤。
在步骤S331中，获取所述训练样本每个目标区域的特征指标。
计算每个训练样本的每个目标区域的特征指标的方式可以参照上述实施例。
在步骤S332中，根据所述训练样本每个目标区域的特征指标，从所述训练样本中选择对应目标区域的极值训练样本。
本公开实施例中，可以根据每个目标区域的特征指标对训练样本的人脸图像进行降序排列，从中挑选出具有显著特征的极值训练样本。例如，对于眉毛区域而言，对于眉毛区域的特征指标而言，进行降序排列，则可以挑选出眉毛区域的特征指标的极大值和极小值，将该极大值和极小值对应的训练样本作为眉毛区域的极值训练样本。
在步骤S333中，确定所述极值训练样本的极值滑杆参数。
美术人员或者设计师可以对这些极值训练样本的该特征指标进行“捏脸”(即可以手动调整这些极值训练样本的该特征指标的设定滑杆参数)。由此可以提供每个目标区域对应的特征指标的极值(包括极大值和极小值)对应的极值滑杆参数(包括滑杆参数极大值和滑杆参数极小值)。
在步骤S334中，对所述极值滑杆参数进行插值，获得所述训练样本的设定滑杆参数。
得到每个目标区域的特征指标对应的极值滑杆参数后，可以通过线性插值的方式补全训练集中的设定滑杆参数，例如对于眉毛区域而言，获得眉毛区域的特征指标的滑杆参数极大值和滑杆参数极小值后，可以在该滑杆参数极大值和滑杆参数极小值之间，对训练集中的各个训练样本的人脸图像的眉毛区域的设定滑杆参数进行线性插值，由此每个训练样本的眉毛区域的设定滑杆参数。
在上述自动生成的设定滑杆参数基础上，美术人员或者设计师可以进一步细调得到最终的设定滑杆参数。
图16示意性示出了根据本公开的一实施例的图像处理方法的示意图。
如图16所示，假设以用户上传的包括某个目标用户的正面人脸的用户照片作为当前的待处理图像为例，首先对待处理图像中的人脸进行关键点检测和语义分割，得到人脸关键点的原关键点位置和每个部位或者区域的分割掩膜。由于用户照片的角度、大小各异，在进一步操作之前先将人脸对齐到同一个坐标系下。
这里以简单的两个训练样本为例进行举例说明，已知训练样本1和训练样本2的人脸关键点的关键点位置和每个部位或区域的分割掩膜。
然后，基于对齐后的目标关键点位置和分割结果，对训练集中的每个训练样本1和训练样本2计算对应的权重系数，使得整个训练集的加权组合能最好地融合表示当前的目标用户的人脸。这里以眉毛区域为例进行举例说明。把眉毛区域的关键点挑选出来。假设眉毛区域有两个滑杆参数，一个是眉毛厚度，一个是眉峰突起程度。这些滑杆参数对于训练集中的每个训练样本而言都是已知的，目的是根据训练样本的设定滑杆参数计算输入图像的眉毛区域的这些滑杆参数。
按照上述实施例中的方法构建最优化问题，假设求解出来的训练样本1和2的权重向量是[0.2,0.8]，即输入图像的眉毛区域的眉毛厚度滑杆参数＝0.2*训练样本1的眉毛区域的眉毛厚度滑杆参数+0.8*训练样本2的眉毛区域的眉毛厚度滑杆参数。类似的，输入图像的眉毛区域的眉峰突起程度滑杆参数＝0.2*训练样本1的眉毛区域的眉峰突起程度滑杆参数+0.8*训练样本2的眉毛区域的眉峰突起程度滑杆参数。
人脸的其他区域(例如眼睛区域、鼻子区域、嘴巴区域等)可以重复与上述眉毛区域同样的步骤，计算出各个区域的各个训练样本的对应滑杆参数的权重系数，从而可以计算出输入图像的各个区域的对应滑杆参数，只是参与的人脸关键点和设定的滑杆参数不一样而已。
然后，进行相似人脸检索。这一步的目的是找到一些与输入图像最接近的训练样本。与上述权重估计步骤类似的，还是以眉毛区域为例进行举例说明。假设当前处理的滑杆参数是眉毛厚度，那么利用人脸关键点和分割结果设计一些规则，可以对每张图像计算出一个反映眉毛厚度的特征指标。这里假设输入图像的眉毛厚度特征指标是0.7，训练样本1的眉毛厚度特征指标是0.5，训练样本2的眉毛厚度特征指标是0.75。由此可知训练样本2在眉毛厚度这个维度上，跟输入图像是最接近的，这时就可以把上述步骤中训练样本2的眉毛区域的权重系数从0.8提升到0.9(具体提升多少可以根据实际情况而定)。
这里描述的就是检索了Top-1相似的训练样本进行特征增强的过程。当取Top-K个相似的训练样本进行特征增强时，多重复几次对训练样本的权重提升的操作即可。
另外一种方式是采用自编码器，还是以眉毛区域为例，将眉毛区域的局部图片转换成低维向量描述之后，通过计算余弦相似度，也可以找出Top-K个相似的训练样本。后面根据相似的训练样本进行特征增强就与上文描述是类似的了。
还可以对一些指定的滑杆参数进行线性插值。还是以眉毛区域的眉毛厚度为例，假设有每个训练样本的反映眉毛厚度的特征指标x，以及对应的真实滑杆参数输出y。用上述两个训练样本1和2就可以拟合出一条y关于x的直线，假设是y＝ax+b。那么这时候假设输入图像计算出来的眉毛厚度的特征指标x＝2，可以估计出输入图像的眉毛区域的眉毛厚度的滑杆参数等于2a+b，此时这个输入图像的眉毛厚度的滑杆参数并不限制在训练集的极值范围内。
还可以检测出目标用户的人脸的显著特征。以鼻子为例，对训练样本1和2计算反映鼻子宽度的特征指标，统计它们的平均值和方差。通常是一个正态分布，可以看到均值大概是在1.6左右，那么可以判定鼻子宽度的特征指标超过1.8的都是大鼻子。例如图16中的输入图像。此时就可以把输入图像的鼻子宽度对应的滑杆参数调整到一个较大值，具体取值可以根据实际需要进行设计。
以上相似人脸检索、线性插值和显著特征计算三个步骤都是为了凸显输入图像的个性化特征，针对不同的特征，这三个步骤可以选取其中一个或者多个组合使用。最后输入图像的整个人脸的各个区域的所有滑杆参数都计算获得之后，就可以输入渲染引擎得到最后输出的3D虚拟人脸形象。
需要说明的是，本公开实施例提供的方法可以应用于各种需要为用户生成3D虚拟人脸形象的产品中，例如可以应用于设计、时尚、游戏、网络社交、虚拟现实等场景。以网络社交为例，用户可以上传自己的人脸图像自动生成个性化的3D虚拟形象，配合表情跟踪、渲染等技术可以实现视频聊天中的实时卡通换脸，一方面在特定场景下可以保护用户相貌隐私，另一方面在满足用户个性化需求的同时，增加社交的趣味性。
本公开实施例提供的图像处理方法，提出了一套完整的虚拟人脸艺术形象自动生成的方案，用户只需要上传正脸图像即可生成个性化的三维虚拟形象，在系统内部，利用人脸关键点检测、语义分割、特征指标计算等技术，结合设计师提供的少量包括设计风格的训练样本，实现了从用户人脸图像到艺术化三维形象的关联，只需要预先把某个滑杆参数如何影响脸部特征确定下来，即可将渲染引擎接入本公开实施例提供的图像处理装置，一方面，由于本来就是在估计人脸特征描述，所以输出的目标滑杆参数是具有语义信息的，因为不需要了解产品端使用的渲染引擎的实现细节，因此可以和不同的渲染引擎对接而不需要重新实现，有助于产品端快速替换不同的3D模型，；另一方面，估计的参数较少，形式简单，因此可以占用较少的计算资源，运行速度较快，能够在移动终端实现实时地输出目标用户的人脸的虚拟形象。同时，预设计的训练集包含了目标设计风格，产品端只需要提供不同设计风格的训练样本，即可将风格体现在渲染引擎最终输出的虚拟形象中，当提供不同设计风格的不同训练集时，可以很容易地实现风格的自适应迁移。
例如若一个设计师的设计风格比较夸张，其提供的训练样本的人脸特征比较突出，则系统可以学习到的输出也就相应比较夸张，本公开实施例不需要自己对设计风格建模，可以从设计师提供的训练样本中隐式地学习到相应的艺术风格。此外，输出的目标滑杆参数可解释性好，如果用户会其虚拟形象有特殊的个性化需求，可以手动调节输出的目标滑杆参数，进而达到调整渲染引擎输出的虚拟形象的目的。
图17示意性示出了根据本公开的一实施例的图像处理装置的框图。如图17所示，本公开实施方式提供的图像处理装置1700可以包括：待处理图像获取单元1710、关键点位置获得单元1720、训练集样本获取单元1730、训练样本权重获得单元1740以及目标滑杆参数获得单元1750。
其中，待处理图像获取单元1710可以用于获取待处理图像，所述待处理图像中包括待处理对象。关键点位置获得单元1720可以用于对所述待处理图像进行特征提取，获得所述待处理对象的目标关键点位置。训练集样本获取单元1730可以用于获取训练集，所述训练集中包括具有目标设计风格类型的训练样本，所述训练样本包括已知关键点位置和与所述目标设计风格类型对应的渲染引擎的设定滑杆参数。训练样本权重获得单元1740可以用于根据所述待处理对象的目标关键点位置和所述训练样本的已知关键点位置，获得所述训练样本的权重系数。目标滑杆参数获得单元1750可以用于根据所述训练样本的权重系数及其对应的设定滑杆参数，获得所述待处理对象的目标滑杆参数，并基于将所述目标滑杆参数生成所述待处理对象的虚拟形象。
在示例性实施例中，训练样本权重获得单元1740可以包括：第一目标函数构建单元，可以用于根据所述待处理对象的目标关键点位置和所述训练样本的已知关键点位置，构建目标函数；第一初始权重获得单元，可以用于对所述目标函数进行计算，获得所述训练样本的权重系数，以使得所述训练样本的已知关键点位置根据所述训练样本的权重系数进行加权平均后的关键点位置与所述待处理对象的目标关键点位置之间的误差达到最小化。
在示例性实施例中，图像处理装置1700还可以包括：图像语义分割单元，可以用于对所述待处理对象进行语义分割，获得所述目标关键点位置对应的目标关键点的目标类别。
在示例性实施例中，训练样本权重获得单元1740可以包括：目标区域划分单元，可以用于根据所述目标关键点的目标类别，将所述待处理对象划分为多个目标区域，每个目标区域包括多个目标关键点位置；第二目标函数构建单元，可以用于根据每个目标区域的目标关键点位置和所述训练样本中对应目标区域的已知关键点位置，构建每个目标区域的目标函数；第二初始权重获得单元，可以用于对每个目标区域的目标函数进行计算，获得所述训练样本中对应目标区域的权重系数，以使得所述训练样本中对应目标区域的已知关键点位置根据所述训练样本中对应目标区域的权重系数进行加权平均后的关键点位置与所述待处理对象中对应目标区域的目标关键点位置之间的误差达到最小化。
在示例性实施例中，图像处理装置1700还可以包括：特征指标获得单元，可以用于根据所述待处理对象的每个目标区域的目标关键点位置，获得所述待处理对象的每个目标区域的特征指标；相似度获得单元，可以用于根据所述待处理对象的每个目标区域的特征指标，获得所述待处理图像与所述训练样本对应目标区域之间的相似度；第一相似样本确定单元，可以用于根据所述待处理图像与所述训练样本对应目标区域之间的相似度，从所述训练样本中确定所述待处理图像对应目标区域的相似训练样本。
在示例性实施例中，图像处理装置1700还可以包括：自编码器获取单元，可以用于获取每个目标区域对应的自编码器；图片压缩单元，可以用于利用所述自编码器分别将所述待处理图像和所述训练样本的对应目标区域压缩成预定维度向量；余弦相似度计算单元，可以用于分别计算所述待处理图像的目标区域的预定维度向量与所述训练样本的对应目标区域的预定维度向量之间的余弦相似度；第二相似样本确定单元，可以用于根据所述待处理图像与所述训练样本对应目标区域之间的余弦相似度，从所述训练样本中确定所述待处理图像对应目标区域的相似训练样本。
在示例性实施例中，目标滑杆参数获得单元1750可以包括：相似样本权重调整单元，可以用于根据所述待处理图像对应目标区域的相似训练样本，调整所述训练样本的权重系数；滑杆参数调整单元，可以用于利用调整后的相似训练样本的权重系数及其对应的设定滑杆参数，获得所述待处理对象的目标滑杆参数。
在示例性实施例中，目标滑杆参数获得单元1750可以包括：指定特征指标确定单元，可以用于从所述待处理对象的特征指标中确定指定特征指标；指定滑杆参数获取单元，可以用于获取所述训练样本的指定特征指标对应的设定滑杆参数；指定滑杆参数获得单元，可以用于利用所述训练样本的指定特征指标及其设定滑杆参数进行拟合，插值获得所述待处理对象的指定特征指标对应的指定滑杆参数，所述目标滑杆参数包括所述指定滑杆参数。
在示例性实施例中，图像处理装置1700还可以包括：特征指标获取单元，可以用于获取所述训练样本的每个目标区域的特征指标；特征指标分布获得单元，可以用于根据所述训练样本的每个目标区域的特征指标，获得所述训练样本的每个目标区域的特征指标分布；显著特征确定单元，可以用于根据所述训练样本的每个目标区域的特征指标分布，从所述待处理对象的特征指标中确定对应目标区域的显著特征。
在示例性实施例中，目标滑杆参数获得单元1750可以包括：显著特征滑杆修改单元，可以用于修改所述待处理对象的显著特征对应的目标滑杆参数。
在示例性实施例中，训练集样本获取单元1730可以包括：训练样本特征获取单元，可以用于获取所述训练样本每个目标区域的特征指标；极值样本选择单元，可以用于根据所述训练样本每个目标区域的特征指标，从所述训练样本中选择对应目标区域的极值训练样本；滑杆极值确定单元，可以用于确定所述极值训练样本的极值滑杆参数；滑杆插值单元，可以用于对所述极值滑杆参数进行插值，获得所述训练样本的设定滑杆参数。
在示例性实施例中，所述待处理对象可以包括待处理人脸。其中，关键点位置获得单元1720可以包括：原关键点获得单元，可以用于对所述待处理图像进行特征提取，获得所述待处理人脸的原关键点位置；仿射变换确定单元，可以用于确定目标仿射变换；目标关键点映射单元，可以用于利用所述目标仿射变换将所述待处理图像的原关键点位置映射到所述目标关键点位置，以生成处理后图像，且所述处理后图像中的待处理人脸的两眼连线的中心为原点，两眼连线为第一方向轴，鼻梁方向为第二方向轴，所述原点至所述待处理人脸的太阳穴的距离的预设比例为单位距离。
本公开实施例提供的图像处理装置中的各个单元的具体实现可以参照上述图像处理方法中的内容，在此不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (15)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像，所述待处理图像中包括待处理对象；
对所述待处理图像进行特征提取，获得所述待处理对象的目标关键点位置；
获取训练集，所述训练集中包括具有目标设计风格类型的训练样本，所述训练样本包括已知关键点位置和与所述目标设计风格类型对应的渲染引擎的设定滑杆参数；
根据所述待处理对象的目标关键点位置和所述训练样本的已知关键点位置，获得所述训练样本的权重系数；
根据所述训练样本的权重系数及其对应的设定滑杆参数，获得所述待处理对象的目标滑杆参数，并基于将所述目标滑杆参数生成所述待处理对象的虚拟形象。
2.根据权利要求1所述的图像处理方法，其特征在于，根据所述待处理对象的目标关键点位置和所述训练样本的已知关键点位置，获得所述训练样本的权重系数，包括：
根据所述待处理对象的目标关键点位置和所述训练样本的已知关键点位置，构建目标函数；
对所述目标函数进行计算，获得所述训练样本的权重系数，以使得所述训练样本的已知关键点位置根据所述训练样本的权重系数进行加权平均后的关键点位置与所述待处理对象的目标关键点位置之间的误差达到最小化。
3.根据权利要求1所述的图像处理方法，其特征在于，还包括：
对所述待处理对象进行语义分割，获得所述目标关键点位置对应的目标关键点的目标类别。
4.根据权利要求3所述的图像处理方法，其特征在于，根据所述待处理对象的目标关键点位置和所述训练样本的已知关键点位置，获得所述训练样本的权重系数，包括：
根据所述目标关键点的目标类别，将所述待处理对象划分为多个目标区域，每个目标区域包括多个目标关键点位置；
根据每个目标区域的目标关键点位置和所述训练样本中对应目标区域的已知关键点位置，构建每个目标区域的目标函数；
对每个目标区域的目标函数进行计算，获得所述训练样本中对应目标区域的权重系数，以使得所述训练样本中对应目标区域的已知关键点位置根据所述训练样本中对应目标区域的权重系数进行加权平均后的关键点位置与所述待处理对象中对应目标区域的目标关键点位置之间的误差达到最小化。
5.根据权利要求4所述的图像处理方法，其特征在于，还包括：
根据所述待处理对象的每个目标区域的目标关键点位置，获得所述待处理对象的每个目标区域的特征指标；
根据所述待处理对象的每个目标区域的特征指标，获得所述待处理图像与所述训练样本对应目标区域之间的相似度；
根据所述待处理图像与所述训练样本对应目标区域之间的相似度，从所述训练样本中确定所述待处理图像对应目标区域的相似训练样本。
6.根据权利要求4所述的图像处理方法，其特征在于，还包括：
获取每个目标区域对应的自编码器；
利用所述自编码器分别将所述待处理图像和所述训练样本的对应目标区域压缩成预定维度向量；
分别计算所述待处理图像的目标区域的预定维度向量与所述训练样本的对应目标区域的预定维度向量之间的余弦相似度；
根据所述待处理图像与所述训练样本对应目标区域之间的余弦相似度，从所述训练样本中确定所述待处理图像对应目标区域的相似训练样本。
7.根据权利要求5或6所述的图像处理方法，其特征在于，根据所述训练样本的权重系数及其对应的设定滑杆参数，获得所述待处理对象的目标滑杆参数，包括：
根据所述待处理图像对应目标区域的相似训练样本，调整所述训练样本的权重系数；
利用调整后的相似训练样本的权重系数及其对应的设定滑杆参数，获得所述待处理对象的目标滑杆参数。
8.根据权利要求5所述的图像处理方法，其特征在于，根据所述训练样本的权重系数及其对应的设定滑杆参数，获得所述待处理对象的目标滑杆参数，包括：
从所述待处理对象的特征指标中确定指定特征指标；
获取所述训练样本的指定特征指标对应的设定滑杆参数；
利用所述训练样本的指定特征指标及其设定滑杆参数进行拟合，插值获得所述待处理对象的指定特征指标对应的指定滑杆参数，所述目标滑杆参数包括所述指定滑杆参数。
9.根据权利要求1所述的图像处理方法，其特征在于，还包括：
获取所述训练样本的每个目标区域的特征指标；
根据所述训练样本的每个目标区域的特征指标，获得所述训练样本的每个目标区域的特征指标分布；
根据所述训练样本的每个目标区域的特征指标分布，从所述待处理对象的特征指标中确定对应目标区域的显著特征。
10.根据权利要求9所述的图像处理方法，其特征在于，根据所述训练样本的权重系数及其对应的设定滑杆参数，获得所述待处理对象的目标滑杆参数，包括：
修改所述待处理对象的显著特征对应的目标滑杆参数。
11.根据权利要求1所述的图像处理方法，其特征在于，获取具有目标设计风格的训练集，包括：
获取所述训练样本每个目标区域的特征指标；
根据所述训练样本每个目标区域的特征指标，从所述训练样本中选择对应目标区域的极值训练样本；
确定所述极值训练样本的极值滑杆参数；
对所述极值滑杆参数进行插值，获得所述训练样本的设定滑杆参数。
12.根据权利要求1所述的图像处理方法，其特征在于，所述待处理对象包括待处理人脸；其中，对所述待处理图像进行特征提取，获得所述待处理对象的目标关键点位置，包括：
对所述待处理图像进行特征提取，获得所述待处理人脸的原关键点位置；
确定目标仿射变换；
利用所述目标仿射变换将所述待处理图像的原关键点位置映射到所述目标关键点位置，以生成处理后图像，且所述处理后图像中的待处理人脸的两眼连线的中心为原点，两眼连线为第一方向轴，鼻梁方向为第二方向轴，所述原点至所述待处理人脸的太阳穴的距离的预设比例为单位距离。
13.一种图像处理装置，其特征在于，包括：
待处理图像获取单元，用于获取待处理图像，所述待处理图像中包括待处理对象；
关键点位置获得单元，用于对所述待处理图像进行特征提取，获得所述待处理对象的目标关键点位置；
训练集样本获取单元，用于获取训练集，所述训练集中包括具有目标设计风格类型的训练样本，所述训练样本包括已知关键点位置和与所述目标设计风格类型对应的渲染引擎的设定滑杆参数；
训练样本权重获得单元，用于根据所述待处理对象的目标关键点位置和所述训练样本的已知关键点位置，获得所述训练样本的权重系数；
目标滑杆参数获得单元，用于根据所述训练样本的权重系数及其对应的设定滑杆参数，获得所述待处理对象的目标滑杆参数，并基于将所述目标滑杆参数生成所述待处理对象的虚拟形象。
14.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至12中任一项所述的图像处理方法。
15.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的图像处理方法。
CN202010131248.7A 2020-02-28 2020-02-28 图像处理方法及装置、电子设备和计算机可读存储介质 Active CN111325851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010131248.7A CN111325851B (zh) 2020-02-28 2020-02-28 图像处理方法及装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010131248.7A CN111325851B (zh) 2020-02-28 2020-02-28 图像处理方法及装置、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111325851A true CN111325851A (zh) 2020-06-23
CN111325851B CN111325851B (zh) 2023-05-05

Family

ID=71172920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010131248.7A Active CN111325851B (zh) 2020-02-28 2020-02-28 图像处理方法及装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111325851B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111729314A (zh) * 2020-06-30 2020-10-02 网易（杭州）网络有限公司 一种虚拟角色的捏脸处理方法、装置及可读存储介质
CN112232183A (zh) * 2020-10-14 2021-01-15 北京字节跳动网络技术有限公司 虚拟佩戴物匹配方法、装置、电子设备和计算机可读介质
CN112508772A (zh) * 2020-11-11 2021-03-16 北京大米科技有限公司 图像生成方法、装置及存储介质
CN112785670A (zh) * 2021-02-01 2021-05-11 北京字节跳动网络技术有限公司 一种形象合成方法、装置、设备及存储介质
CN112802162A (zh) * 2021-02-02 2021-05-14 网易（杭州）网络有限公司 虚拟角色的面部调整方法及装置、电子设备、存储介质
CN113361357A (zh) * 2021-05-31 2021-09-07 北京达佳互联信息技术有限公司 图像处理模型训练方法、图像处理方法及装置
CN113436602A (zh) * 2021-06-18 2021-09-24 深圳市火乐科技发展有限公司 虚拟形象语音交互方法、装置、投影设备和计算机介质
CN113630646A (zh) * 2021-07-29 2021-11-09 北京沃东天骏信息技术有限公司 一种数据处理方法及装置、设备、存储介质
CN113706663A (zh) * 2021-08-27 2021-11-26 脸萌有限公司 图像生成方法、装置、设备及存储介质
CN114037814A (zh) * 2021-11-11 2022-02-11 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和介质
CN114881893A (zh) * 2022-07-05 2022-08-09 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及计算机可读存储介质
WO2023143126A1 (zh) * 2022-01-30 2023-08-03 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN116778043A (zh) * 2023-06-19 2023-09-19 广州怪力视效网络科技有限公司 一种表情捕捉及动画自动生成系统和方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887593A (zh) * 2009-05-15 2010-11-17 中山大学 一种聪明图形驱动的网格图像变形方法
CN101916384A (zh) * 2010-09-01 2010-12-15 汉王科技股份有限公司 一种人脸图像重建方法、装置及人脸识别系统
CN105469432A (zh) * 2015-11-20 2016-04-06 重庆邮电大学 一种基于改进树状部分模型的医学图像自动分割方法
CN106600581A (zh) * 2016-12-02 2017-04-26 北京航空航天大学 一种基于双目立体视觉的列车运行故障自动检测系统及方法
CN106709486A (zh) * 2016-11-11 2017-05-24 南京理工大学 基于深度卷积神经网络的自动车牌识别方法
CN106980848A (zh) * 2017-05-11 2017-07-25 杭州电子科技大学 基于曲波变换和稀疏学习的人脸表情识别方法
CN109035388A (zh) * 2018-06-28 2018-12-18 北京的卢深视科技有限公司 三维人脸模型重建方法及装置
CN109101946A (zh) * 2018-08-27 2018-12-28 Oppo广东移动通信有限公司 一种图像特征的提取方法、终端设备及存储介质
CN109359575A (zh) * 2018-09-30 2019-02-19 腾讯科技（深圳）有限公司 人脸检测方法、业务处理方法、装置、终端及介质
CN109934177A (zh) * 2019-03-15 2019-06-25 艾特城信息科技有限公司 行人再识别方法、系统及计算机可读存储介质
CN109936774A (zh) * 2019-03-29 2019-06-25 广州虎牙信息科技有限公司 虚拟形象控制方法、装置及电子设备
CN110415258A (zh) * 2019-07-29 2019-11-05 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110472462A (zh) * 2018-05-11 2019-11-19 北京三星通信技术研究有限公司 姿态估计方法、基于姿态估计的处理方法及电子设备
CN110689623A (zh) * 2019-08-20 2020-01-14 重庆特斯联智慧科技股份有限公司 基于增强现实显示的游客导览系统及方法
CN110728620A (zh) * 2019-09-30 2020-01-24 北京市商汤科技开发有限公司 一种图像处理方法、装置和电子设备

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887593A (zh) * 2009-05-15 2010-11-17 中山大学 一种聪明图形驱动的网格图像变形方法
CN101916384A (zh) * 2010-09-01 2010-12-15 汉王科技股份有限公司 一种人脸图像重建方法、装置及人脸识别系统
CN105469432A (zh) * 2015-11-20 2016-04-06 重庆邮电大学 一种基于改进树状部分模型的医学图像自动分割方法
CN106709486A (zh) * 2016-11-11 2017-05-24 南京理工大学 基于深度卷积神经网络的自动车牌识别方法
CN106600581A (zh) * 2016-12-02 2017-04-26 北京航空航天大学 一种基于双目立体视觉的列车运行故障自动检测系统及方法
CN106980848A (zh) * 2017-05-11 2017-07-25 杭州电子科技大学 基于曲波变换和稀疏学习的人脸表情识别方法
CN110472462A (zh) * 2018-05-11 2019-11-19 北京三星通信技术研究有限公司 姿态估计方法、基于姿态估计的处理方法及电子设备
CN109035388A (zh) * 2018-06-28 2018-12-18 北京的卢深视科技有限公司 三维人脸模型重建方法及装置
CN109101946A (zh) * 2018-08-27 2018-12-28 Oppo广东移动通信有限公司 一种图像特征的提取方法、终端设备及存储介质
CN109359575A (zh) * 2018-09-30 2019-02-19 腾讯科技（深圳）有限公司 人脸检测方法、业务处理方法、装置、终端及介质
CN109934177A (zh) * 2019-03-15 2019-06-25 艾特城信息科技有限公司 行人再识别方法、系统及计算机可读存储介质
CN109936774A (zh) * 2019-03-29 2019-06-25 广州虎牙信息科技有限公司 虚拟形象控制方法、装置及电子设备
CN110415258A (zh) * 2019-07-29 2019-11-05 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110689623A (zh) * 2019-08-20 2020-01-14 重庆特斯联智慧科技股份有限公司 基于增强现实显示的游客导览系统及方法
CN110728620A (zh) * 2019-09-30 2020-01-24 北京市商汤科技开发有限公司 一种图像处理方法、装置和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
房昭菊: "视频图像中的口唇检测与跟踪", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111729314A (zh) * 2020-06-30 2020-10-02 网易（杭州）网络有限公司 一种虚拟角色的捏脸处理方法、装置及可读存储介质
CN112232183B (zh) * 2020-10-14 2023-04-28 抖音视界有限公司 虚拟佩戴物匹配方法、装置、电子设备和计算机可读介质
CN112232183A (zh) * 2020-10-14 2021-01-15 北京字节跳动网络技术有限公司 虚拟佩戴物匹配方法、装置、电子设备和计算机可读介质
CN112508772A (zh) * 2020-11-11 2021-03-16 北京大米科技有限公司 图像生成方法、装置及存储介质
CN112785670A (zh) * 2021-02-01 2021-05-11 北京字节跳动网络技术有限公司 一种形象合成方法、装置、设备及存储介质
CN112802162A (zh) * 2021-02-02 2021-05-14 网易（杭州）网络有限公司 虚拟角色的面部调整方法及装置、电子设备、存储介质
CN113361357A (zh) * 2021-05-31 2021-09-07 北京达佳互联信息技术有限公司 图像处理模型训练方法、图像处理方法及装置
CN113436602A (zh) * 2021-06-18 2021-09-24 深圳市火乐科技发展有限公司 虚拟形象语音交互方法、装置、投影设备和计算机介质
CN113630646A (zh) * 2021-07-29 2021-11-09 北京沃东天骏信息技术有限公司 一种数据处理方法及装置、设备、存储介质
CN113706663A (zh) * 2021-08-27 2021-11-26 脸萌有限公司 图像生成方法、装置、设备及存储介质
CN113706663B (zh) * 2021-08-27 2024-02-02 脸萌有限公司 图像生成方法、装置、设备及存储介质
CN114037814A (zh) * 2021-11-11 2022-02-11 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和介质
CN114037814B (zh) * 2021-11-11 2022-12-23 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和介质
WO2023143126A1 (zh) * 2022-01-30 2023-08-03 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN114881893A (zh) * 2022-07-05 2022-08-09 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN116778043A (zh) * 2023-06-19 2023-09-19 广州怪力视效网络科技有限公司 一种表情捕捉及动画自动生成系统和方法
CN116778043B (zh) * 2023-06-19 2024-02-09 广州怪力视效网络科技有限公司 一种表情捕捉及动画自动生成系统和方法

Also Published As

Publication number Publication date
CN111325851B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN111325851B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
CN111598998B (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
US9792725B2 (en) Method for image and video virtual hairstyle modeling
WO2021184933A1 (zh) 一种人体三维模型重建方法
CN110807757B (zh) 基于人工智能的图像质量评估方法、装置及计算机设备
CN114339409B (zh) 视频处理方法、装置、计算机设备及存储介质
CA3137297C (en) Adaptive convolutions in neural networks
CN114821404B (zh) 一种信息处理方法、装置、计算机设备及存储介质
CN114782864B (zh) 一种信息处理方法、装置、计算机设备及存储介质
US20230130281A1 (en) Figure-Ground Neural Radiance Fields For Three-Dimensional Object Category Modelling
CN112907569B (zh) 头部图像区域的分割方法、装置、电子设备和存储介质
JP2024500896A (ja) ３ｄ頭部変形モデルを生成するための方法、システム及び方法
CN114648613A (zh) 基于可变形神经辐射场的三维头部模型重建方法及装置
CN114783022B (zh) 一种信息处理方法、装置、计算机设备及存储介质
KR20230085931A (ko) 얼굴 이미지에서 색상을 추출하기 위한 방법 및 시스템
CN116997933A (zh) 用于构造面部位置图的方法和系统
CN116416376A (zh) 一种三维头发的重建方法、系统、电子设备及存储介质
CN117157673A (zh) 用于形成个性化的3d头部和面部模型的方法和系统
CN115131218A (zh) 图像处理方法、装置、计算机可读介质及电子设备
WO2023193474A1 (zh) 信息处理方法、装置、计算机设备及存储介质
WO2023193491A1 (zh) 信息处理方法、装置、计算机设备及存储介质
CN114266693A (zh) 图像处理方法、模型生成方法及设备
Saval-Calvo et al. Evaluation of sampling method effects in 3D non-rigid registration
CN114764746A (zh) 激光雷达的超分辨率方法和装置、电子设备及存储介质
CN114820907A (zh) 人脸图像卡通化处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40024867

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant