CN109672830A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN109672830A
CN109672830A CN201811585135.3A CN201811585135A CN109672830A CN 109672830 A CN109672830 A CN 109672830A CN 201811585135 A CN201811585135 A CN 201811585135A CN 109672830 A CN109672830 A CN 109672830A
Authority
CN
China
Prior art keywords
image
face
grid
key point
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811585135.3A
Other languages
English (en)
Other versions
CN109672830B (zh
Inventor
侯沛宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201811585135.3A priority Critical patent/CN109672830B/zh
Publication of CN109672830A publication Critical patent/CN109672830A/zh
Priority to EP19902558.6A priority patent/EP3905662A4/en
Priority to PCT/CN2019/114886 priority patent/WO2020134558A1/zh
Application granted granted Critical
Publication of CN109672830B publication Critical patent/CN109672830B/zh
Priority to US17/098,066 priority patent/US11030733B2/en
Priority to US17/306,340 priority patent/US20210256672A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请是关于一种图像处理方法、装置、电子设备及存储介质，属于计算机技术领域，所述方法包括：当接收到预设的飞走特效指令时，在待处理图像中建立面部网格和五官网格；在所述面部网格所覆盖的图像区域中，确定面部图像；将所述面部图像内各像素的像素值设置为目标像素值；在所述待处理图像中，提取所述五官网格所覆盖的图像区域，得到五官图像；根据预设的三角形映射算法和预设的偏移量，将所述五官图像映射到所述面部图像上，得到处理后的目标图像。采用本申请，能够实现为图像添加飞走特效，提高用户体验。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着计算机图形技术的发展，电子设备可以对用户拍摄的照片或视频做图像处理，以实现添加特效的效果。
相关技术中，电子设备可以在接收到预设的特效添加命令后，获取用户拍摄的视频中的某一帧作为待处理图像；然后，电子设备可以通过预设的人脸识别算法从待处理图像中提取人脸、眼、以及嘴的第一位置；之后，电子设备可以获取预先存储的参考面具中参考人脸、参考眼、以及参考嘴的第二位置，并基于第一位置和第二位置建立组合矩阵；最后，电子设备可以根据组合矩阵，将参考面具映射到待处理图像上，得到用户面部添加有参考面具的目标图像。
然而，电子设备只能通过为用户面部添加参考面具的方式添加特效，特效效果单一，用户体验差。
发明内容
为克服相关技术中存在的问题，本申请提供一种图像处理方法、装置、电子设备及存储介质，以实现为图像添加飞走特效，提高用户体验。
根据本申请实施例的第一方面，提供一种图像处理方法，包括：
当接收到预设的飞走特效指令时，在待处理图像中建立面部网格和五官网格；
在所述面部网格所覆盖的图像区域中，确定面部图像；
将所述面部图像内各像素的像素值设置为目标像素值；
在所述待处理图像中，提取所述五官网格所覆盖的图像区域，得到五官图像；
根据预设的三角形映射算法和预设的偏移量，将所述五官图像映射到所述面部图像上，得到处理后的目标图像。
可选的，所述在待处理图像中建立面部网格和五官网格包括：
通过预设的映射算法，将预先存储的第一人脸模板中的第一数目个关键点，映射到待处理图像中用户的面部图像区域上；
基于所述第一数目个关键点和预设的各关键点的类型，建立面部网格和五官网格，所述预设的各关键点的类型包括面部类型、嘴部类型、鼻子类型、以及眼部类型。
可选的，所述方法还包括：
获取预先存储的第二人脸模板，所述第二人脸模板包括第二数目个关键点；
根据所述第二数目个关键点和预设的各关键点的类型，确定第三数目个关键点以及所述第三数目个关键点的类型；
基于所述第二人脸模板和所述第三数目个关键点，确定所述第一人脸模板。
可选的，所述将所述面部图像内各像素的像素值设置为目标像素值包括：
提取所述面部图像中多个预设位置处的像素的像素值，所述预设位置处包括所述用户的额头和/或脸颊；
计算所述多个像素值的平均值，并将所述平均值作为目标像素值。
可选的，所述方法还包括：
当接收到五官变化指令时，在待处理图像中建立面部网格和五官网格；
在所述面部网格所覆盖的图像区域中，确定面部图像；
将所述面部图像内各像素的像素值设置为目标像素值；
在所述待处理图像中，提取所述五官网格所覆盖的图像区域，得到五官图像；
根据所述五官变化指令携带的变化标识，改变所述五官图像的形状，得到变形后的五官图像；
根据预设的三角形映射算法，将所述五官图像映射到所述面部图像上，得到处理后的目标图像。
根据本申请实施例的第二方面，提供一种图像处理装置，包括：
建立单元，被配置为执行当接收到预设的飞走特效指令时，在待处理图像中建立面部网格和五官网格；
第一确定单元，被配置为执行在所述面部网格所覆盖的图像区域中，确定面部图像；
设置单元，被配置为执行将所述面部图像内各像素的像素值设置为目标像素值；
提取单元，被配置为执行在所述待处理图像中，提取所述五官网格所覆盖的图像区域，得到五官图像；
映射单元，被配置为执行根据预设的三角形映射算法和预设的偏移量，将所述五官图像映射到所述面部图像上，得到处理后的目标图像。
可选的，所述建立单元包括：
映射子单元，被配置为执行通过预设的映射算法，将预先存储的第一人脸模板中的第一数目个关键点，映射到待处理图像中用户的面部图像区域上；
建立子单元，被配置为执行基于所述第一数目个关键点和预设的各关键点的类型，建立面部网格和五官网格，所述预设的各关键点的类型包括面部类型、嘴部类型、鼻子类型、以及眼部类型。
可选的，所述的装置还包括：
获取单元，被配置为执行获取预先存储的第二人脸模板，所述第二人脸模板包括第二数目个关键点；
第二确定单元，被配置为执行根据所述第二数目个关键点和预设的各关键点的类型，确定第三数目个关键点以及所述第三数目个关键点的类型；
第三确定单元，被配置为基于所述第二人脸模板和所述第三数目个关键点，确定所述第一人脸模板。
可选的，所述设置单元包括：
提取子单元，被配置为执行提取所述面部图像中多个预设位置处的像素的像素值，所述预设位置处包括所述用户的额头和/或脸颊；
计算子单元，被配置为执行计算所述多个像素值的平均值，并将所述平均值作为目标像素值。
可选的，所述的装置还包括：
当接收到五官变化指令时，在待处理图像中建立面部网格和五官网格；
在所述面部网格所覆盖的图像区域中，确定面部图像；
将所述面部图像内各像素的像素值设置为目标像素值；
在所述待处理图像中，提取所述五官网格所覆盖的图像区域，得到五官图像；
根据所述五官变化指令携带的变化标识，改变所述五官图像的形状，得到变形后的五官图像；
根据预设的三角形映射算法，将所述五官图像映射到所述面部图像上，得到处理后的目标图像。
根据本申请实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行存储器上所存放的程序时，实现第一方面任一所述的方法步骤。
根据本申请实施例的第四方面，提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种图像处理方法，所述方法包括：
当接收到预设的飞走特效指令时，在待处理图像中建立面部网格和五官网格；
在所述面部网格所覆盖的图像区域中，确定面部图像；
将所述面部图像内各像素的像素值设置为目标像素值；
在所述待处理图像中，提取所述五官网格所覆盖的图像区域，得到五官图像；
根据预设的三角形映射算法和预设的偏移量，将所述五官图像映射到所述面部图像上，得到处理后的目标图像。
根据本申请实施例的第五方面，提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的图像处理方法。
本申请的实施例提供的技术方案可以包括以下有益效果：在接收到飞走特效指令时，在待处理图像中建立面部网格和五官网格；一方面，可以在面部网格所覆盖的图像区域中，确定面部图像；将面部图像内各像素的像素值设置为目标像素值；另一方面，可以在待处理图像中，提取五官网格所覆盖的图像区域，得到五官图像；之后，可以根据预设的三角形映射算法和预设的偏移量，将五官图像映射到面部图像上，得到处理后的目标图像。本方案中，从待处理图像中确定五官图像和面部图像，并根据预设的偏移量，改变五官图像相对于面部图像的位置，从而使得用户的五官具有飞走的效果，可以提高用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种图像处理方法的流程图。
图2a是根据一示例性实施例示出的一种待处理图像的示意图。
图2b是根据一示例性实施例示出的一种面部网格的示意图。
图2c是根据一示例性实施例示出的一种左眼五官网格的示意图。
图2d是根据一示例性实施例示出的一种右眼五官网格的示意图。
图2e是根据一示例性实施例示出的一种鼻子五官网格的示意图。
图2f是根据一示例性实施例示出的一种嘴部五官网格的示意图。
图2g是根据一示例性实施例示出的一种面部图像的示意图。
图2h是根据一示例性实施例示出的一种目标图像的示意图。
图2i是根据一示例性实施例示出的一种第一人脸模板的示意图。
图2j是根据一示例性实施例示出的一种第二人脸模板的示意图。
图3是根据一示例性实施例示出的一种图像处理方法的流程图。
图4是根据一示例性实施例示出的一种图像处理装置的框图。
图5是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种图像处理方法的流程图，如图1所示，该图像处理方法用于终端中，终端可以是具有拍摄功能的电子设备，例如手机，具体处理流程包括以下步骤。
在步骤S11中，当接收到预设的飞走特效指令时，在待处理图像中建立面部网格和五官网格。
在实施中，终端预设的显示界面中可以显示有多个特效图标，用户可以在使用终端拍摄视频或者照片时，从终端显示的多个特效图标中选择某一特效图标，以为视频或照片添加相应的特效。当用户点击预设的飞走特效图标时，终端会接收到飞走特效指令。
当用户拍摄照片时，终端可以通过预设的人脸识别算法，对该照片是否包括人脸进行识别，如果识别结果为是，则将该照片作为待处理图像，如果识别结果为否，则不作后续处理。然后，终端可以基于待处理图像，在待处理图像中建立面部网格和五官网格。
当用户拍摄视频时，终端可以针对视频中的每一帧图像，通过预设的人脸识别算法，对该帧图像是否包括人脸进行识别，如果识别结果为是，则将该帧图像作为待处理图像，如果识别结果为否，则对下一帧图像进行识别。
终端可以在待处理图像中建立面部网格和五官网格。其中，五官包括眼部、嘴部、以及鼻子。如图2a所示，为本申请实施例提供的一种待处理图像的示意图；如图2b-2f所示，分别为终端建立的面部网格、左眼五官网格、右眼五官网格、鼻子五官网格、以及嘴部五官网格的示意图。
终端建立面部网格和五官网格的具体过程后续会进行详细说明。
在步骤S12中，在面部网格所覆盖的图像区域中，确定面部图像。
在实施中，终端中可以预先存储有面部区域面具，面部区域面具为不包含五官图像的人脸面具。
终端可以将待处理图像作为第一层图层，在确定出面部网格后，终端可以从待处理图像中确定面部网格所覆盖的图像区域。然后，终端可以获取预先存储的面部区域面具，并通过预设的映射算法，将面部区域面具映射到面部网格所覆盖的图像区域中，得到面部图像。终端可以将包含面部图像的待处理图像作为第二层图层。
在步骤S13中，将面部图像内各像素的像素值设置为目标像素值。
在实施中，终端中可以预先存储有目标像素值，终端也可以基于待处理图像确定目标像素值。
终端可以将面部图像包含的多个像素的像素值设置为目标像素值，以使第二层图层中用户面部具有磨平的效果，用户面部的肤色更加均匀。如图2g所示，本申请实施例提供了一种面部图像的示例图。
可选的，本申请提供了一种终端基于待处理图像确定目标像素值，并将面部区域内各像素的像素值设置为目标像素值的实施方式，具体包括以下步骤：
步骤一、提取待处理图像中多个预设位置处的像素的像素值。
其中，预设位置处包括用户的额头和/或脸颊，预设位置处也可以是用户面部图像的其他位置，例如太阳穴。
在实施中，终端可以根据预设的人脸识别算法，从待处理图像中识别出预设位置，并针对每个预设位置，提取该预设位置处一个或多个像素的像素值。
例如，终端可以根据预设的人脸识别算法，识别出用户的额头、太阳穴、以及脸颊等预设位置，然后，终端可以分别提取额头、太阳穴、以及脸颊等预设位置处一个像素的像素值。在终端基于RGB(RedGreenBlue，红绿蓝)色彩模式存储各像素的像素值时，预设位置处的像素值可以是(252,224,203,255)。
步骤二、计算多个像素值的平均值，并将平均值作为目标像素值。
在实施中，终端可以计算预设位置处提取得到的多个像素值的平均值，然后将该平均值作为目标像素值。
本申请实施例中，终端将面部区域内各像素的像素值设置为目标像素值，可以使得去除了五官图像的面部图像有一层肉色的填充，使得面部图像具有磨平的视觉效果。
在另一种可行的实现方式中，终端中可以预先存储有多种肌肤纹理样本，不同的肌肤纹理样本用于表示不同的皮肤纹路，工作人员可以预先设置某一肌肤纹理样本为目标肌肤纹理样本，终端可以在为面部图像设置目标像素值后，选择目标肌肤纹理样本，并将面部图像设置为具有该肌肤纹理样本对应的皮肤纹路，以使第二层图层中用户面部图像的视觉效果更接近用户的实际面部。
本申请实施例中，终端将面部区域设置为具有肌肤纹理样本对应的皮肤纹路的具体过程为现有技术，此处不再赘述。
在步骤S14中，在待处理图像中，提取五官网格所覆盖的图像区域，得到五官图像。
在实施中，终端可以在待处理图像中针对多个五官网格，分别确定每个五官网格包含的图像区域，提取该图像区域，得到五官图像，作为第三层图层。
在步骤S15中，根据预设的三角形映射算法和预设的偏移量，将五官图像映射到面部图像上，得到处理后的目标图像。
在实施中，终端中可以预先存储有多个偏移量，偏移量包括某一五官图像相对于待处理图像中该五官图像的位置的偏移方向和偏移尺寸。根据拍摄待处理图像的拍摄模式的不同，偏移量也不同。当待处理图像为照片时，终端可以获取预先存储的第一偏移量，作为待处理图像的偏移量。终端中可以预先存储有偏移量与时间的对应关系，当待处理图像为视频中的某一帧图像时，终端可以根据接收到飞走特效指令的时间、偏移量与时间的对应关系，确定第二偏移量，作为待处理图像的偏移量。
终端可以在确定出各五官图像的偏移量后，根据预设的三角形映射算法和偏移量，将五官图像映射到面部图像上，得到处理后的目标图像。
例如，终端中存储的多个偏移量为左眼向任一方向偏移1-5cm，右眼向任一方向偏移1-5cm，鼻子向任一方向偏移1-7cm，嘴部向任一方向偏移1-7cm，任一方向可以是以某一五官部件为中心的任一方向。
当待处理图像为照片时，终端可以获取预先存储的第一偏移量，第一偏移量为左眼向右偏移1cm，右眼向左偏移1cm，鼻子向上偏移1cm，嘴部向上偏移1cm，终端可以根据预设的三角形映射算法和第一偏移量，将五官图像映射到面部图像上，得到的目标图像中用户的左眼向右偏移1cm，右眼向左偏移1cm，鼻子向上偏移1cm，嘴部向上偏移1cm，使得用户的五官具有飞走的效果。
当待处理图像为视频中的某一帧图像时，终端可以先确定接收到飞走特效指令的时间为1s，然后，终端可以根据预先存储的偏移量与时间的对应关系，确定1s对应的第二偏移量为左眼向左偏移1cm，右眼向右偏移1cm，鼻子向上偏移1cm，嘴部向下偏移1cm。
终端可以根据预设的三角形映射算法和第二偏移量，将五官图像映射到面部图像上，得到的目标图像中用户的左眼向左偏移1cm，右眼向右偏移1cm，鼻子向上偏移1cm，嘴部向下偏移1cm。如图2h所示，本申请实施例提供了一种终端对用户面部添加飞走特效后得到的目标图像的示例图。
本申请实施例中，不同时间对应的偏移量也不同，终端在预设的处理周期内对待处理图像，根据时间的不同确定出不同的偏移方向和偏移尺寸，能够使得用户的面部具有五官飞走又回来的效果，增加用户体验。终端也可以在用户拍摄视频的过程中，基于处理周期，周期性的执行上述步骤，以使用户的面部五官具有周期性的飞走又回来的效果，进一步增加用户体验。
本申请实施例中，终端在接收到飞走特效指令时，基于待处理图像，在待处理图像中建立面部网格和五官网格，并基于面部网格确定面部图像，基于五官网格确定五官图像，然后，通过预设的三角形映射算法和预设的偏移量，将五官图像映射到面部图像上，得到目标图像。终端根据预设的偏移量，改变五官图像相对于面部图像的位置，从而使得用户的五官具有飞走的效果。
与现有技术中，终端在映射面具到用户面部区域时，只基于用户的两个眼睛和嘴巴三个特征点进行面具的映射匹配相比，本申请中，终端基于多个关键点建立用户的面部网格和五官网格，并基于三角形映射算法和组成面部网格和五官网格的多个关键点，将五官图像映射到面部图像上，能够保证映射到面部图像的五官图像与用户的真实五官相比，变化更加自然。
此外，终端通过三角形映射算法将五官图像映射到面部图像中，相当于将第三层图层映射到第二层图层中，目标图像由第一层图层(即待处理图像)、第二层图层、以及第三层图层组成，在另一种可行的实施方式中，终端可以通过设置第二层图层和第三层图层的显示透明度，实现多种显示效果，增加用户体验。
可选的，终端基于待处理图像，建立面部网格和五官网格的具体处理流程如下：
步骤一、通过预设的映射算法，将预先存储的第一人脸模板中的第一数目个关键点，映射到待处理图像中用户的面部图像区域上。
在实施中，终端中可以预先存储有第一人脸模板，如图2i所示，为本申请实施例提供的一种第一人脸模板的示意图，第一人脸模板中存储有第一数目个关键点，第一数目个关键点均匀的分布在第一人脸模板中面部、五官、以及面部周围预设范围内的图像区域中。每个关键点属于预设的关键点的多种类型中的一种，预设的各关键点的类型包括面部类型、嘴部类型、鼻子类型、以及眼部类型，某一关键点的类型用于表示该关键点用于构建的网格的类别，即该关键点是用于构建面部网格或五官网格。
在一种可行的实施方式中，第一数目可以是200。
终端可以在获取到待处理图像后，通过预设的映射算法，将预先存储的第一人脸模板中的第一数目个关键点，映射到待处理图像中用户的面部图像区域上，得到用户的面部图像区域上对应的第一数目个关键点，相应的，每个关键点的类型不改变。
本申请实施例中，映射算法可以是任一具有映射功能的算法。
步骤二、基于第一数目个关键点和预设的各关键点的类型，建立面部网格和五官网格。
在实施中，终端可以将第一数目个关键点按照预设的各关键点的类型进行分类，得到不同类型对应的多个关键点，然后分别基于每个类型对应的多个关键点，建立网格，得到面部网格和五官网格。
在一种可行的实现方式中，终端可以为每个关键点进行编号，当第一数目为200时，关键点的数字编号为1-200，终端中可以存储关键点的数字编号与网格的对应关系，网格与数字编号的对应关系例如眼部网格由数字编号为67—80的关键点组成。终端可以在建立某一网格时，根据数字编号与网格的对应关系，确定该网格对应的多个关键点的数字编号，并基于确定出数字编号的关键点建立网格，由此，得到面部网格和五官网格。
如图2b所示，210为面部网格，面部网格覆盖了用户的面部图像区域；如图2c所示，221为左眼的五官网格；如图2d所示，222为右眼的五官网格；如图2e所示，223为鼻子的五官网格；如图2f所示，224为嘴部的五官网格，五官网格或面部网格均由多个关键点组成。
可选的，如图3所示，终端在对待处理图像进行图像处理之前，可以基于预先存储的第二人脸模板，确定第一人脸模板，具体处理过程如下：
在步骤S31中，获取预先存储的第二人脸模板，第二人脸模板包括第二数目个关键点。
在实施中，终端可以获取预先存储的第二人脸模板，第二人脸模板包括第二数目个关键点，如图2j所示，为本申请实施例提供的一种第二人脸模板的示意图，第二数目个关键点分布在用户的面部图像中面部轮廓以及五官轮廓上，每个关键点属于预设的关键点的多种类型中的一种。在一种可行的实施方式中，第二数目可以是101，相应的，终端为每个关键点进行编号时，第二数目个关键点的数字编号为1-101。
在步骤S32中，根据第二数目个关键点和预设的各关键点的类型，确定第三数目个关键点以及第三数目个关键点的类型。
在实施中，终端可以在预设坐标系中，确定各第二数目个关键点的坐标信息，然后，终端可以根据预设的几何数学计算公式和各第二数目个关键点的坐标信息，计算第三数目个关键点的坐标信息，得到第三数目个关键点。之后，终端可以根据第三数目关键点的坐标信息，确定第三数目关键点的类型。
本申请实施例提供了一种几何数学计算公式的示例：
XC＝XB+(XB-XA)*λ
其中，A和B为第二人脸模板中包含的第二数目个关键点中的两个关键点，C为终端基于关键点A和关键点B的坐标信息确定出的关键点。λ为预设的权重，XA、XB、以及XC分别为关键点A、关键点B、以及关键点C在预设的电子设备屏幕坐标系中的坐标。
在一种可行的实现方式中，终端可以根据预设坐标系中两个位置相邻的关键点的坐标信息，确定通过该两关键点的直线，并通过预设的几何数学计算公式和该两关键点的坐标信息，计算得到该直线上的某一点的坐标信息，并将该点作为新的关键点。然后，终端可以根据该新的关键点的坐标信息，确定预设坐标系中与该关键点距离最近的关键点，并将该关键点的类型作为该新的关键点的类型。终端可以通过上述处理过程，针对第二数目个关键点，确定多个关键点，得到第三数目个关键点以及第三数目个关键点的类型。
在另一种可行的实现方式中，终端可以根据接收到的技术人员发出的类型指令，确定某一关键点的类型。
本申请实施例中，第三数目个关键点与第二数目个关键点的和为第一数目个关键点，第一人脸模板与第二人脸模板的区别仅在于包含的关键点个数的不同。
在步骤S33中，基于第二人脸模板和第三数目个关键点，确定第一人脸模板。
在实施中，终端可以将包含第三数目个关键点的第二人脸模板，作为第一人脸模板。
本申请实施例中，终端基于第二人脸模板包含的第二数目个关键点，在面部图像以及面部图像预设范围内的周边区域上，确定了第三数目个关键点，并基于原有的第二数目个关键点和第三数目个关键点建立面部网格和五官网格，使得建立的面部网格和五官网格尽可能的均匀、细密，能够进一步的提高终端将五官网格对应的五官图像映射到面部图像时，五官图像与用户真实五官的贴合度，使得五官的变化更加自然。
可选的，终端如果在接收到飞走特效指令的同时或者在接收到飞走特效指令后的预设处理周期内，接收到了五官变化指令，终端可以执行以下步骤：
步骤1、当接收到预设的五官变化指令时，在待处理图像中建立面部网格和五官网格。
在实施中，用户可以在通过终端进行拍摄照片或录制视频时，在终端预设的显示界面显示的多个特效图标中选择预设的五官变化图标，此时，终端会接收到预设的五官变化指令。当接收到预设的五官变化指令时，终端的处理过程与步骤一和步骤二相同。
步骤2、在面部网格所覆盖的图像区域中，确定面部图像。
在实施中，终端的处理过程与步骤S12相同。
步骤3、将面部图像内各像素的像素值设置为目标像素值。
在实施中，终端的处理过程与步骤S13相同。
步骤4、在待处理图像中，提取五官网格所覆盖的图像区域，得到五官图像。
在实施中，终端的处理过程与步骤S14相同。
步骤5、根据五官变化指令携带的变化标识，改变五官图像的形状，得到变形后的五官图像。
在实施中，五官变化指令可以携带有变化标识，变化的标识包括使用户的五官变大或变小的标识。
终端可以根据接收到的五官变化指令携带的变化标识，确定待改变形状的五官图像并将该五官图像放置在相应的五官网格对应的位置处，然后，通过预设的图像处理算法改变五官网格的形状，从而改变五官网格对应的五官图像的形状，得到变形后的五官图像。
例如，终端接收到的五官变化指令携带的变化标识为使用户的眼睛变大的标识时，终端可以根据该标识，确定待改变形状的五官图像为用户的左眼图像和右眼图像，然后，终端可以通过预设的图像处理算法，将左眼的五官网格和右眼的五官网格按照预设的比例进行放大，进而改变左眼图像和右眼图像的形状，得到变大后的左眼图像和右眼图像。
步骤6、根据预设的三角形映射算法，将变形后的五官图像映射到面部图像上，得到处理后的目标图像。
在实施中，终端可以根据预设的三角形映射算法，将变形后的五官图像映射到面部图像上，得到处理后的目标图像。
本申请实施例中，终端接收到五官变化指令后，可以基于五官网格对五官图像的形状进行改变，从而改变用户的五官大小，增加了特效的多样性，进一步提高了用户体验。
本申请的实施例提供的技术方案可以包括以下有益效果：在接收到飞走特效指令时，在待处理图像中建立面部网格和五官网格；一方面，可以在面部网格所覆盖的图像区域中，确定面部图像；将面部图像内各像素的像素值设置为目标像素值；另一方面，可以在待处理图像中，提取五官网格所覆盖的图像区域，得到五官图像；之后，可以根据预设的三角形映射算法和预设的偏移量，将五官图像映射到面部图像上，得到处理后的目标图像。本方案中，从待处理图像中确定五官图像和面部图像，并根据预设的偏移量，改变五官图像相对于面部图像的位置，从而使得用户的五官具有飞走的效果，提高用户体验。
图4是根据一示例性实施例示出的一种图像处理装置框图。参照图4，该装置包括建立单元410，第一确定单元420，设置单元430，提取单元440和映射单元450。其中：
建立单元410，被配置为当接收到预设的飞走特效指令时，在待处理图像中建立面部网格和五官网格；
第一确定单元420，被配置为在所述面部网格所覆盖的图像区域中，确定面部图像；
设置单元430，被配置为将所述面部图像内各像素的像素值设置为目标像素值；
提取单元440，被配置为在所述待处理图像中，提取所述五官网格所覆盖的图像区域，得到五官图像；
映射单元450，被配置为根据预设的三角形映射算法和预设的偏移量，将所述五官图像映射到所述面部图像上，得到处理后的目标图像。
一种实现方式中，所述建立单元包括：
映射子单元，被配置为执行通过预设的映射算法，将预先存储的第一人脸模板中的第一数目个关键点，映射到待处理图像中用户的面部图像区域上；
建立子单元，被配置为执行基于所述第一数目个关键点和预设的各关键点的类型，建立面部网格和五官网格，所述预设的各关键点的类型包括面部类型、嘴部类型、鼻子类型、以及眼部类型。
一种实现方式中，所述的装置还包括：
获取单元，被配置为执行获取预先存储的第二人脸模板，所述第二人脸模板包括第二数目个关键点；
第二确定单元，被配置为执行根据所述第二数目个关键点和预设的各关键点的类型，确定第三数目个关键点以及所述第三数目个关键点的类型；
第三确定单元，被配置为基于所述第二人脸模板和所述第三数目个关键点，确定所述第一人脸模板。
一种实现方式中，所述设置单元包括：
提取子单元，被配置为执行提取所述面部图像中多个预设位置处的像素的像素值，所述预设位置处包括所述用户的额头和/或脸颊；
计算子单元，被配置为执行计算所述多个像素值的平均值，并将所述平均值作为目标像素值。
一种实现方式中，所述的装置还包括：
当接收到五官变化指令时，在待处理图像中建立面部网格和五官网格；
在所述面部网格所覆盖的图像区域中，确定面部图像；
将所述面部图像内各像素的像素值设置为目标像素值；
在所述待处理图像中，提取所述五官网格所覆盖的图像区域，得到五官图像；
根据所述五官变化指令携带的变化标识，改变所述五官图像的形状，得到变形后的五官图像；
根据预设的三角形映射算法，将所述五官图像映射到所述面部图像上，得到处理后的目标图像。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本申请的实施例提供的技术方案可以包括以下有益效果：在接收到飞走特效指令时，在待处理图像中建立面部网格和五官网格；一方面，可以在面部网格所覆盖的图像区域中，确定面部图像；将面部图像内各像素的像素值设置为目标像素值；另一方面，可以在待处理图像中，提取五官网格所覆盖的图像区域，得到五官图像；之后，可以根据预设的三角形映射算法和预设的偏移量，将五官图像映射到面部图像上，得到处理后的目标图像。本方案中，从待处理图像中确定五官图像和面部图像，并根据预设的偏移量，改变五官图像相对于面部图像的位置，从而使得用户的五官具有飞走的效果，提高用户体验。
图5是根据一示例性实施例示出的一种用于图像处理的电子设备500的框图。例如，电子设备500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图5，电子设备500可以包括以下一个或多个组件：处理组件502，存储器504，电力组件506，多媒体组件508，音频组件510，输入/输出(I/O)的接口512，传感器组件514，以及通信组件516。
处理组件502通常控制电子设备500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。
存储器504被配置为存储各种类型的数据以支持在设备500的操作。这些数据的示例包括用于在电子设备500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件506为电子设备500的各种组件提供电力。电源组件506可以包括电源管理系统，一个或多个电源，及其他与为电子设备500生成、管理和分配电力相关联的组件。
多媒体组件508包括在所述电子设备500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当设备500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(MIC)，当电子设备500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。
I/O接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件514包括一个或多个传感器，用于为电子设备500提供各个方面的状态评估。例如，传感器组件514可以检测到设备500的打开/关闭状态，组件的相对定位，例如所述组件为电子设备500的显示器和小键盘，传感器组件514还可以检测电子设备500或电子设备500一个组件的位置改变，用户与电子设备500接触的存在或不存在，电子设备500方位或加速/减速和电子设备500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件516被配置为便于电子设备500和其他设备之间有线或无线方式的通信。电子设备500可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由电子设备500的处理器520执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本申请的实施例提供的技术方案可以包括以下有益效果：在接收到飞走特效指令时，在待处理图像中建立面部网格和五官网格；一方面，可以在面部网格所覆盖的图像区域中，确定面部图像；将面部图像内各像素的像素值设置为目标像素值；另一方面，可以在待处理图像中，提取五官网格所覆盖的图像区域，得到五官图像；之后，可以根据预设的三角形映射算法和预设的偏移量，将五官图像映射到面部图像上，得到处理后的目标图像。本方案中，从待处理图像中确定五官图像和面部图像，并根据预设的偏移量，改变五官图像相对于面部图像的位置，从而使得用户的五官具有飞走的效果，提高用户体验。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像处理方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
本申请的实施例提供的技术方案可以包括以下有益效果：在接收到飞走特效指令时，在待处理图像中建立面部网格和五官网格；一方面，可以在面部网格所覆盖的图像区域中，确定面部图像；将面部图像内各像素的像素值设置为目标像素值；另一方面，可以在待处理图像中，提取五官网格所覆盖的图像区域，得到五官图像；之后，可以根据预设的三角形映射算法和预设的偏移量，将五官图像映射到面部图像上，得到处理后的目标图像。本方案中，从待处理图像中确定五官图像和面部图像，并根据预设的偏移量，改变五官图像相对于面部图像的位置，从而使得用户的五官具有飞走的效果，可以提高用户体验。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
当接收到预设的飞走特效指令时，在待处理图像中建立面部网格和五官网格；
在所述面部网格所覆盖的图像区域中，确定面部图像；
将所述面部图像内各像素的像素值设置为目标像素值；
在所述待处理图像中，提取所述五官网格所覆盖的图像区域，得到五官图像；
根据预设的三角形映射算法和预设的偏移量，将所述五官图像映射到所述面部图像上，得到处理后的目标图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述在待处理图像中建立面部网格和五官网格包括：
通过预设的映射算法，将预先存储的第一人脸模板中的第一数目个关键点，映射到待处理图像中用户的面部图像区域上；
基于所述第一数目个关键点和预设的各关键点的类型，建立面部网格和五官网格，所述预设的各关键点的类型包括面部类型、嘴部类型、鼻子类型、以及眼部类型。
3.根据权利要求2所述的图像处理方法，其特征在于，所述方法还包括：
获取预先存储的第二人脸模板，所述第二人脸模板包括第二数目个关键点；
根据所述第二数目个关键点和预设的各关键点的类型，确定第三数目个关键点以及所述第三数目个关键点的类型；
基于所述第二人脸模板和所述第三数目个关键点，确定所述第一人脸模板。
4.根据权利要求1所述的图像处理方法，其特征在于，所述将所述面部图像内各像素的像素值设置为目标像素值包括：
提取所述面部图像中多个预设位置处的像素的像素值，所述预设位置处包括所述用户的额头和/或脸颊；
计算所述多个像素值的平均值，并将所述平均值作为目标像素值。
5.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：
当接收到五官变化指令时，在待处理图像中建立面部网格和五官网格；
在所述面部网格所覆盖的图像区域中，确定面部图像；
将所述面部图像内各像素的像素值设置为目标像素值；
在所述待处理图像中，提取所述五官网格所覆盖的图像区域，得到五官图像；
根据所述五官变化指令携带的变化标识，改变所述五官图像的形状，得到变形后的五官图像；
根据预设的三角形映射算法，将所述五官图像映射到所述面部图像上，得到处理后的目标图像。
6.一种图像处理装置，其特征在于，包括：
建立单元，被配置为当接收到预设的飞走特效指令时，在待处理图像中建立面部网格和五官网格；
第一确定单元，被配置为在所述面部网格所覆盖的图像区域中，确定面部图像；
设置单元，被配置为将所述面部图像内各像素的像素值设置为目标像素值；
提取单元，被配置为在所述待处理图像中，提取所述五官网格所覆盖的图像区域，得到五官图像；
映射单元，被配置为根据预设的三角形映射算法和预设的偏移量，将所述五官图像映射到所述面部图像上，得到处理后的目标图像。
7.根据权利要求6所述的图像处理装置，其特征在于，所述建立单元包括：
映射子单元，被配置为通过预设的映射算法，将预先存储的第一人脸模板中的第一数目个关键点，映射到待处理图像中用户的面部图像区域上；
建立子单元，被配置为基于所述第一数目个关键点和预设的各关键点的类型，建立面部网格和五官网格，所述预设的各关键点的类型包括面部类型、嘴部类型、鼻子类型、以及眼部类型。
8.根据权利要求7所述的图像处理装置，其特征在于，所述的装置还包括：
获取单元，被配置为获取预先存储的第二人脸模板，所述第二人脸模板包括第二数目个关键点；
第二确定单元，被配置为根据所述第二数目个关键点和预设的各关键点的类型，确定第三数目个关键点以及所述第三数目个关键点的类型；
第三确定单元，被配置为基于所述第二人脸模板和所述第三数目个关键点，确定所述第一人脸模板。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
10.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种图像处理方法，所述方法包括：
当接收到预设的飞走特效指令时，在待处理图像中建立面部网格和五官网格；
在所述面部网格所覆盖的图像区域中，确定面部图像；
将所述面部图像内各像素的像素值设置为目标像素值；
在所述待处理图像中，提取所述五官网格所覆盖的图像区域，得到五官图像；
根据预设的三角形映射算法和预设的偏移量，将所述五官图像映射到所述面部图像上，得到处理后的目标图像。
CN201811585135.3A 2018-12-24 2018-12-24 图像处理方法、装置、电子设备及存储介质 Active CN109672830B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201811585135.3A CN109672830B (zh) 2018-12-24 2018-12-24 图像处理方法、装置、电子设备及存储介质
EP19902558.6A EP3905662A4 (en) 2018-12-24 2019-10-31 IMAGE PROCESSING APPARATUS AND METHOD, ELECTRONIC DEVICE AND INFORMATION HOLDER
PCT/CN2019/114886 WO2020134558A1 (zh) 2018-12-24 2019-10-31 图像处理方法、装置、电子设备及存储介质
US17/098,066 US11030733B2 (en) 2018-12-24 2020-11-13 Method, electronic device and storage medium for processing image
US17/306,340 US20210256672A1 (en) 2018-12-24 2021-05-03 Method, electronic device and storage medium for processing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811585135.3A CN109672830B (zh) 2018-12-24 2018-12-24 图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN109672830A true CN109672830A (zh) 2019-04-23
CN109672830B CN109672830B (zh) 2020-09-04

Family

ID=66146102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811585135.3A Active CN109672830B (zh) 2018-12-24 2018-12-24 图像处理方法、装置、电子设备及存储介质

Country Status (4)

Country Link
US (2) US11030733B2 (zh)
EP (1) EP3905662A4 (zh)
CN (1) CN109672830B (zh)
WO (1) WO2020134558A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110942426A (zh) * 2019-12-11 2020-03-31 广州酷狗计算机科技有限公司 图像处理的方法、装置、计算机设备和存储介质
CN111242881A (zh) * 2020-01-07 2020-06-05 北京字节跳动网络技术有限公司 显示特效的方法、装置、存储介质及电子设备
WO2020134558A1 (zh) * 2018-12-24 2020-07-02 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN112967261A (zh) * 2021-03-17 2021-06-15 北京三快在线科技有限公司 图像融合方法、装置、设备及存储介质
CN113706369A (zh) * 2020-05-21 2021-11-26 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN114501065A (zh) * 2022-02-11 2022-05-13 广州方硅信息技术有限公司 基于面部拼图的虚拟礼物互动方法、系统及计算机设备
CN114567805A (zh) * 2022-02-24 2022-05-31 北京字跳网络技术有限公司 确定特效视频的方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2615386A3 (en) * 2012-01-10 2014-05-07 Mitsubishi Electric Corporation Indoor unit of air-conditioning apparatus
CN105187736A (zh) * 2015-07-28 2015-12-23 广东欧珀移动通信有限公司 一种将静止人脸图片转化为视频的方法、系统及移动终端
JP2016179033A (ja) * 2015-03-24 2016-10-13 住友不動産株式会社 フォームチェック装置
CN106919906A (zh) * 2017-01-25 2017-07-04 迈吉客科技（北京）有限公司 一种图像互动方法及互动装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002065763A2 (en) * 2001-02-12 2002-08-22 Carnegie Mellon University System and method for manipulating the point of interest in a sequence of images
JP2005237896A (ja) * 2004-02-27 2005-09-08 Aruze Corp 遊技機
US7737996B2 (en) * 2005-12-01 2010-06-15 Microsoft Corporation Techniques for automated animation
US8265351B2 (en) * 2006-05-05 2012-09-11 Parham Aarabi Method, system and computer program product for automatic and semi-automatic modification of digital images of faces
US20080065992A1 (en) * 2006-09-11 2008-03-13 Apple Computer, Inc. Cascaded display of video media
US20100321475A1 (en) * 2008-01-23 2010-12-23 Phillip Cox System and method to quickly acquire three-dimensional images
KR101686913B1 (ko) * 2009-08-13 2016-12-16 삼성전자주식회사 전자기기에서 이벤트 서비스 제공 방법 및 장치
CN103176684B (zh) * 2011-12-22 2016-09-07 中兴通讯股份有限公司 一种多区域切换界面的方法及装置
TWI499279B (zh) * 2012-01-11 2015-09-01 Chunghwa Picture Tubes Ltd 影像處理裝置及其方法
JP5966657B2 (ja) * 2012-06-22 2016-08-10 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
CN104063890A (zh) * 2013-03-22 2014-09-24 中国移动通信集团福建有限公司 一种人脸卡通动漫形象化方法及系统
CN106104633A (zh) * 2014-03-19 2016-11-09 英特尔公司 面部表情和/或交互驱动的化身装置和方法
KR102212209B1 (ko) * 2014-04-10 2021-02-05 삼성전자주식회사 시선 추적 방법, 장치 및 컴퓨터 판독가능한 기록 매체
US9756299B2 (en) * 2014-04-14 2017-09-05 Crayola, Llc Handheld digital drawing and projection device
US9277180B2 (en) * 2014-06-30 2016-03-01 International Business Machines Corporation Dynamic facial feature substitution for video conferencing
US9761032B2 (en) * 2014-07-25 2017-09-12 Intel Corporation Avatar facial expression animations with head rotation
EP3275122A4 (en) * 2015-03-27 2018-11-21 Intel Corporation Avatar facial expression and/or speech driven animations
WO2016204778A1 (en) * 2015-06-19 2016-12-22 Palmer Family Trust Systems and methods of analyzing images
CN105554389B (zh) * 2015-12-24 2020-09-04 北京小米移动软件有限公司 拍摄方法及装置
CN108229278B (zh) * 2017-04-14 2020-11-17 深圳市商汤科技有限公司 人脸图像处理方法、装置和电子设备
CN108965740B (zh) * 2018-07-11 2020-10-30 深圳超多维科技有限公司 一种实时视频换脸方法、装置、设备和存储介质
CN109672830B (zh) * 2018-12-24 2020-09-04 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2615386A3 (en) * 2012-01-10 2014-05-07 Mitsubishi Electric Corporation Indoor unit of air-conditioning apparatus
JP2016179033A (ja) * 2015-03-24 2016-10-13 住友不動産株式会社 フォームチェック装置
CN105187736A (zh) * 2015-07-28 2015-12-23 广东欧珀移动通信有限公司 一种将静止人脸图片转化为视频的方法、系统及移动终端
CN106919906A (zh) * 2017-01-25 2017-07-04 迈吉客科技（北京）有限公司 一种图像互动方法及互动装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020134558A1 (zh) * 2018-12-24 2020-07-02 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
US11030733B2 (en) 2018-12-24 2021-06-08 Beijing Dajia Internet Information Technology Co., Ltd. Method, electronic device and storage medium for processing image
CN110942426A (zh) * 2019-12-11 2020-03-31 广州酷狗计算机科技有限公司 图像处理的方法、装置、计算机设备和存储介质
CN111242881A (zh) * 2020-01-07 2020-06-05 北京字节跳动网络技术有限公司 显示特效的方法、装置、存储介质及电子设备
CN113706369A (zh) * 2020-05-21 2021-11-26 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN112967261A (zh) * 2021-03-17 2021-06-15 北京三快在线科技有限公司 图像融合方法、装置、设备及存储介质
CN112967261B (zh) * 2021-03-17 2022-07-29 北京三快在线科技有限公司 图像融合方法、装置、设备及存储介质
CN114501065A (zh) * 2022-02-11 2022-05-13 广州方硅信息技术有限公司 基于面部拼图的虚拟礼物互动方法、系统及计算机设备
CN114567805A (zh) * 2022-02-24 2022-05-31 北京字跳网络技术有限公司 确定特效视频的方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP3905662A1 (en) 2021-11-03
US11030733B2 (en) 2021-06-08
US20210065342A1 (en) 2021-03-04
CN109672830B (zh) 2020-09-04
US20210256672A1 (en) 2021-08-19
WO2020134558A1 (zh) 2020-07-02
EP3905662A4 (en) 2022-09-28

Similar Documents

Publication Publication Date Title
CN109672830A (zh) 图像处理方法、装置、电子设备及存储介质
CN105809704B (zh) 识别图像清晰度的方法及装置
CN109670397A (zh) 人体骨骼关键点的检测方法、装置、电子设备及存储介质
US10440275B2 (en) Mobile terminal displaying a continuous-photographing button or a moving-image floating button
CN109977847B (zh) 图像生成方法及装置、电子设备和存储介质
CN105550637B (zh) 轮廓点定位方法及装置
CN109889724A (zh) 图像虚化方法、装置、电子设备及可读存储介质
CN109522910A (zh) 关键点检测方法及装置、电子设备和存储介质
CN110141857A (zh) 虚拟角色的面部显示方法、装置、设备及存储介质
CN110188236A (zh) 一种音乐的推荐方法、装置及系统
CN104219445B (zh) 拍摄模式调整方法及装置
CN107368810A (zh) 人脸检测方法及装置
CN110298310A (zh) 图像处理方法及装置、电子设备和存储介质
CN105426878B (zh) 人脸聚类方法及装置
CN105528078B (zh) 控制电子设备的方法及装置
CN109584362A (zh) 三维模型构建方法及装置、电子设备和存储介质
CN108154466A (zh) 图像处理方法及装置
CN109410276A (zh) 关键点位置确定方法、装置及电子设备
CN107944367A (zh) 人脸关键点检测方法及装置
CN107426489A (zh) 拍摄图像时的处理方法、装置及终端
CN105631804A (zh) 图片处理方法及装置
CN109242045B (zh) 图像聚类处理方法、装置、电子设备及存储介质
CN109086752A (zh) 人脸识别方法、装置、电子设备及存储介质
CN107992811A (zh) 人脸识别方法及装置
CN110211211A (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant