CN112508773A - 图像处理方法及装置、电子设备、存储介质 - Google Patents

图像处理方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN112508773A
CN112508773A CN202011314245.3A CN202011314245A CN112508773A CN 112508773 A CN112508773 A CN 112508773A CN 202011314245 A CN202011314245 A CN 202011314245A CN 112508773 A CN112508773 A CN 112508773A
Authority
CN
China
Prior art keywords
image
sequence
frame
similarity transformation
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011314245.3A
Other languages
English (en)
Other versions
CN112508773B (zh
Inventor
胡显
邓巍
易军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Pinecone Electronic Co Ltd
Xiaomi Technology Wuhan Co Ltd
Original Assignee
Beijing Xiaomi Pinecone Electronic Co Ltd
Xiaomi Technology Wuhan Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Pinecone Electronic Co Ltd, Xiaomi Technology Wuhan Co Ltd filed Critical Beijing Xiaomi Pinecone Electronic Co Ltd
Priority to CN202011314245.3A priority Critical patent/CN112508773B/zh
Publication of CN112508773A publication Critical patent/CN112508773A/zh
Priority to EP21176628.2A priority patent/EP4002261A1/en
Priority to US17/334,926 priority patent/US11532069B2/en
Application granted granted Critical
Publication of CN112508773B publication Critical patent/CN112508773B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/10—Selection of transformation methods according to the characteristics of the input images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本公开是关于一种图像处理方法及装置、电子设备、存储介质。所述方法包括：获取至少两张图像；对至少两张图像中包含人脸面部的图像进行裁剪，得到裁剪后的至少两张图像；对裁剪后的至少两张图像中相邻的第一图像和第二图像进行三角面片变形，生成第一三角面片变形帧图像序列，第二三角面片变形帧图像序列；对第一三角面片变形帧图像序列的每一图像序列进行相似变换得到第一变换帧图片序列；对第二三角面片变形帧图像序列中的每一图像序列进行相似变换得到第二变换帧图片序列；对第一变换帧图片序列和第二变换帧图片序列融合，得到与第一图像和第二图像对应的视频帧序列；对至少两张图像中所有相邻图像生成的视频帧序列进行编码，得到目标视频。

Description

图像处理方法及装置、电子设备、存储介质
技术领域
本公开涉及图像变换技术，尤其涉及一种图像处理方法及装置、电子设备、存储介质。
背景技术
一些电子设备支持人脸变换，用户提供几张带有人脸的图像，就可以自动生成一段高质量的人脸变换视频，可以提供新颖、快速的人脸特效体验，并且视频的帧数、人脸变换速度都是可控的。目前的人脸变换算法中，当需要变换的前后两张人脸姿态相差较大时，几何变换容易导致特征点位置变换较大，会出现重叠、错位等现象，导致变换生成的帧图像部分区域不稳定，合成的视频出现细微的抖动现象，严重影响用户体验。
发明内容
本公开提供一种图像处理方法及装置、电子设备、存储介质。
根据本公开实施例的第一方面，提供一种图像处理方法，包括：
获取至少两张图像；
对所述至少两张图像中包含人脸面部的图像进行裁剪，得到裁剪后的至少两张图像；
对所述裁剪后的至少两张图像中相邻的第一图像和第二图像进行三角面片变形，生成所述第一图像到所述第二图像的第一三角面片变形帧图像序列，以及所述第二图像到所述第一图像的第二三角面片变形帧图像序列；
对所述第一三角面片变形帧图像序列的每一图像序列进行相似变换，得到第一变换帧图片序列；
对所述第二三角面片变形帧图像序列中的每一图像序列进行相似变换，得到第二变换帧图片序列；
对所述第一变换帧图片序列和所述第二变换帧图片序列进行融合，得到与所述第一图像和所述第二图像对应的视频帧序列；
对所述裁剪后的至少两张图像中所有相邻图像生成的视频帧序列进行编码，得到目标视频。
可选的，所述对所述至少两张图像中包含人脸面部的图像进行裁剪，得到裁剪后的至少两张图像，包括：
确定所述至少两张图像中包含的人脸面部的特征点；
针对所述至少两张图像中包含人脸面部的图像，基于所述特征点确定第一区域；
基于所述第一区域对所述包含人脸面部的图像进行裁剪，得到所述裁剪后的至少两张图像。
可选的，所述基于所述特征点确定第一区域，包括：
根据所述特征点的位置信息确定所述特征点的外接框；
根据所述外接框的中心点与所述待处理的人脸面部的图像宽度边界，确定所述第一区域的宽度；
根据预设长宽比和所述第一区域的宽度确定所述第一区域的高度。
可选的，所述生成所述第一图像到所述第二图像的第一三角面片变形帧图像序列，以及所述第二图像到所述第一图像的第二三角面片变形帧图像序列，包括：
根据所述第一图像的人像面部的特征点的第一坐标集合和所述第二图像的人像面部的特征点的第二坐标集合，计算所述第一坐标集合和所述第二坐标集合之间的第一相似变换矩阵和第二相似变换矩阵；
确定所述第一图像的特征点经所述第一相似变换矩阵变换后与所述第二图像对应特征点之间的第一位置差；以及，确定所述第二图像的特征点经所述第二相似变换矩阵变换后与所述第一图像对应特征点之间的第二位置差；
根据所述第一位置差计算所述第一图像到所述第二图像的第一特征点位置轨迹；以及根据所述第二位置差计算所述第二图像到所述第一图像的第二特征点位置轨迹；
根据所述第一特征点位置轨迹得到所述第一三角面片变形帧图像序列，以及根据所述第二特征点位置轨迹得到所述第二三角面片变形帧图像序列。
可选的，所述根据所述第一位置差计算所述第一图像到所述第二图像的第一特征点位置轨迹，包括：
通过以下公式计算所述第一特征点位置轨迹：
Figure BDA0002790811790000021
其中，si:A→B为所述第一特征点位置轨迹，N为所述第一图像变换至所述第二图像的变换帧数量，i为变换图片帧中的第i帧图片，i为大于0且小于等于N的整数；sA为所述第一坐标集合，DA→B为所述第一位置差；
所述根据所述第二位置差计算所述第二图像到所述第一图像的第二特征点位置轨迹，包括：
通过以下公式计算所述第二特征点位置轨迹：
第二特征点位置轨迹
Figure BDA0002790811790000031
其中，si:B→A为第二特征点位置轨迹，sB为所述第二坐标集合，DB→A为所述第二位置差。
可选的，所述对所述第一三角面片变形帧图像序列的每一图像序列进行相似变换，得到第一变换帧图片序列，包括：
确定所述第一图像变换至所述第二图像的第一相似变换矩阵；
根据所述第一图像变换至所述第二图像的变换帧数量确定所述第一相似变换矩阵的第一变换参数的步进间隔；
基于所述第一相似变换矩阵以及所述第一变换参数的步进间隔，计算所述第一变换帧图片序列中每一变换帧图片序列的第一子相似变换矩阵；
根据所述第一子相似变换矩阵对所述第一三角面片变形帧图像序列中的每一三角面片变形帧图像进行相乘，得到所述第一变换帧图片序列。
可选的，所述对所述第二三角面片变形帧图像序列中的每一图像序列进行相似变换，得到第二变换帧图片序列，包括：
对所述第一子相似变换矩阵进行逆变换，得到第二子相似变换矩阵；根据所述第二子相似变换矩阵对所述第二三角面片变形帧图像序列中的每一三角面片变形帧图像进行相乘，得到所述第二变换帧图片序列；或
确定所述第二图像变换至所述第一图像的第二相似变换矩阵；
根据所述第二图像变换至所述第一图像的变换帧数量确定所述第二相似变换矩阵的第二变换参数的步进间隔；
基于所述第二相似变换矩阵以及所述第二变换参数的步进间隔，计算所述第二变换帧图片序列中每一变换帧图片序列的第二子相似变换矩阵；
根据所述第二子相似变换矩阵对所述第二三角面片变形帧图像序列中的每一三角面片变形帧图像进行相乘，得到所述第二变换帧图片序列。
可选的，所述对所述第一变换帧图片序列和所述第二变换帧图片序列进行融合，得到与所述第一图像和所述第二图像对应的视频帧序列，包括：
确定第一权重值和第二权重值，其中，所述第一权重值为所述第一变换帧图片序列的第i帧图片在融合过程中的权重，所述第二权重值为所述第二变换帧图片序列的第i帧图片在融合过程中的权重；其中，i为大于0且小于或等于第一变换帧图片序列的帧数量；
将所述第一变换帧图片序列的第i帧图片各像素点与所述第一权重值相乘，得到第一待融合图片；将所述第二变换帧图片序列的第i帧图片与所述第二权重值相乘，得到第二待融合图片；
将所述第一待融合图片中各像素点和所述第二待融合图片中各像素点分别叠加，得到与所述第一变换帧图片序列的第i帧图片和所述第二变换帧图片序列的第i帧图片对应的第i帧融合图片；
其中，与所述第一变换帧图片序列和所述第二变换帧图片序列所对应的所有的融合图片构成所述视频帧序列。
根据本公开实施例的第二方面，提供一种图像处理装置，包括：
获取单元，用于获取至少两张图像；
裁剪单元，用于对所述至少两张图像中包含人脸面部的图像进行裁剪，得到裁剪后的至少两张图像；
三角面片变形单元，用于对所述裁剪后的至少两张图像中相邻的第一图像和第二图像进行三角面片变形，生成所述第一图像到所述第二图像的第一三角面片变形帧图像序列，以及所述第二图像到所述第一图像的第二三角面片变形帧图像序列；
相似变换单元，用于对所述第一三角面片变形帧图像序列的每一图像序列进行相似变换，得到第一变换帧图片序列；以及，对所述第二三角面片变形帧图像序列中的每一图像序列进行相似变换，得到第二变换帧图片序列；
融合单元，用于对所述第一变换帧图片序列和所述第二变换帧图片序列进行融合，得到与所述第一图像和所述第二图像对应的视频帧序列；
视频生成单元，用于对所述裁剪后的至少两张图像中所有相邻图像生成的视频帧序列进行编码，得到目标视频。
可选的，所述裁剪单元，还用于：
确定所述至少两张图像中包含的人脸面部的特征点；
针对所述至少两张图像中包含人脸面部的图像，基于所述特征点确定第一区域；
基于所述第一区域对所述包含人脸面部的图像进行裁剪，得到所述裁剪后的至少两张图像。
可选的，所述裁剪单元，还用于：
根据所述特征点的位置信息确定所述特征点的外接框；
根据所述外接框的中心点与所述待处理的人脸面部的图像宽度边界，确定所述第一区域的宽度；
根据预设长宽比和所述第一区域的宽度确定所述第一区域的高度。
可选的，所述三角面片变形单元，还用于：
根据所述第一图像的人像面部的特征点的第一坐标集合和所述第二图像的人像面部的特征点的第二坐标集合，计算所述第一坐标集合和所述第二坐标集合之间的第一相似变换矩阵和第二相似变换矩阵；
确定所述第一图像的特征点经所述第一相似变换矩阵变换后与所述第二图像对应特征点之间的第一位置差；以及，确定所述第二图像的特征点经所述第二相似变换矩阵变换后与所述第一图像对应特征点之间的第二位置差；
根据所述第一位置差计算所述第一图像到所述第二图像的第一特征点位置轨迹；以及根据所述第二位置差计算所述第二图像到所述第一图像的第二特征点位置轨迹；
根据所述第一特征点位置轨迹得到所述第一三角面片变形帧图像序列，以及根据所述第二特征点位置轨迹得到所述第二三角面片变形帧图像序列。
可选的，所述相似变换单元，还用于：
确定所述第一图像变换至所述第二图像的第一相似变换矩阵；
根据所述第一图像变换至所述第二图像的变换帧数量确定所述第一相似变换矩阵的第一变换参数的步进间隔；
基于所述第一相似变换矩阵以及所述第一变换参数的步进间隔，计算所述第一变换帧图片序列中每一变换帧图片序列的第一子相似变换矩阵；
根据所述第一子相似变换矩阵对所述第一三角面片变形帧图像序列中的每一三角面片变形帧图像进行相乘，得到所述第一变换帧图片序列；
可选的，所述相似变换单元，还可以用于：
对所述第一子相似变换矩阵进行逆变换，得到第二子相似变换矩阵；根据所述第二子相似变换矩阵对所述第二三角面片变形帧图像序列中的每一三角面片变形帧图像进行相乘，得到所述第二变换帧图片序列；或
确定所述第二图像变换至所述第一图像的第二相似变换矩阵；根据所述第二图像变换至所述第一图像的变换帧数量确定所述第二相似变换矩阵的第二变换参数的步进间隔；基于所述第二相似变换矩阵以及所述第二变换参数的步进间隔，计算所述第二变换帧图片序列中每一变换帧图片序列的第二子相似变换矩阵；根据所述第二子相似变换矩阵对所述第二三角面片变形帧图像序列中的每一三角面片变形帧图像进行相乘，得到所述第二变换帧图片序列。
可选的，所述融合单元，还用于：
确定第一权重值和第二权重值，其中，所述第一权重值为所述第一变换帧图片序列的第i帧图片在融合过程中的权重，所述第二权重值为所述第二变换帧图片序列的第i帧图片在融合过程中的权重；其中，i为大于0且小于或等于第一变换帧图片序列的帧数量；
将所述第一变换帧图片序列的第i帧图片各像素点与所述第一权重值相乘，得到第一待融合图片；将所述第二变换帧图片序列的第i帧图片与所述第二权重值相乘，得到第二待融合图片；
将所述第一待融合图片中各像素点和所述第二待融合图片中各像素点分别叠加，得到与所述第一变换帧图片序列的第i帧图片和所述第二变换帧图片序列的第i帧图片对应的第i帧融合图片；
其中，与所述第一变换帧图片序列和所述第二变换帧图片序列所对应的所有的融合图片构成所述视频帧序列。
根据本公开实施例的第三方面，提供一种电子设备，包括：处理器和用于存储处理器可执行指令的存储器，其中，所述处理器被配置为在调用存储器中的可执行指令时，能够执行上述的图像处理方法的步骤。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述的图像处理方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：
在本公开的实施例中，采用对待变换的人像面部进行裁剪，裁剪后再进行三角面片变形，结合对变形帧图像序列中的每一图像序列进行相似变换，从而避免了图像转换帧的误差和抖动，提高了人脸转换视频的质量，人脸变换效果更稳定，大大改善了用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本公开实施例示出的一种图像处理方法流程示意图；
图2为本公开实施例示出的一种图像处理装置的组成结构示意图；
图3为本公开实施例示出的电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和装置的例子。
图1为本公开实施例示出的一种图像处理方法流程示意图，如图1所示，本公开实施例的图像处理方法包括以下步骤：
S11，获取至少两张图像。
本公开实施例中，当需要进行人脸变换操作时，可以输入多张待变换的人脸图像。获取到图像后，对所获取的至少两张图像进行人像面部识别，确定所述至少两张图像中的人像面部。具体地，本公开实施例中，对输入的人脸图像进行识别的目的，可以是检测图像是否存在人脸，以及确定图像中的人脸是否满足相应的要求，以筛选出带有清晰、完整的人脸的图像；图像中的人脸是否满足相应的要求比如可以是：人脸识别后输出的人脸检测框与图像边界是否相交，识别出的人脸尺寸是否过小，对满足相应要求的人脸图像进行处理；即可以排除掉不满足要求的图像，比如可以去除不包含人脸的图像、人脸识别后输出的人脸检测框与图像边界相交的图像，识别出的人脸尺寸过小的图片等等。本公开实施例中，可以通过人脸识别框技术确定出图像中的人脸部位，由于需要对人脸进行变换，因此，可以将与人脸无关的图像内容进行裁剪，即通过人脸检测框技术可以将图像中的人脸识别并裁剪出来。本公开实施例中，还可以对图像中的剩余人脸进行识别，当确定人脸区域占整个图像的比例过小，即人脸过小时，去除这些较小的人脸，当人脸较小时，其清晰度必然也达不到观看要求，对这些人脸进行变换会导致变换视频的呈现效果较差，因此，在前期对图像进行处理时，需要将这些较小的人脸图像进行去除。
本公开实施例中，可以CenterFace网络对所述至少两张图像中的人脸面部进行检测，以确定是否包含人脸图像，所包含的人脸图像是否满足处理要求等。
作为一种实现方式，所述图像中包括两个以上的人像面部时，将位于图像中心位置的一个人像面部或与中心位置偏离最小的人像面部作为有效的人像面部；将所述有效的人像面部确定为待处理的人像面部。本公开实施例中，通过对图像中包括多个人脸的图像进行再次裁剪，一张图像中仅保留其中一张人脸图像。
S12、对所述至少两张图像中包含人脸面部的图像进行裁剪，得到裁剪后的至少两张图像。
具体地，确定所述至少两张图像中包含的人脸面部的特征点；针对所述至少两张图像中包含人脸面部的图像，基于所述特征点确定第一区域；基于所述第一区域对所述包含人脸面部的图像进行裁剪，得到所述裁剪后的至少两张图像
本公开实施例中，当确定出用户输入图像中的人脸图像后，需要对人脸中的特征点进行识别，本公开实施例中，当进行人脸变换处理时，需要是对人脸中的特征点进行重点处理，对于观看用户而言，人脸中的特征点的显示效果决定了人脸显示的效果，需要对人脸的特征点进行相关转换处理，才能使得转换后的视频更稳定，转换效果更佳。
本公开实施例中，人脸中的特征点可以包括眼睛、鼻尖、嘴角点、眉毛、脸颊等正面特征点，还可以包括眼睛、鼻子、嘴唇、眉毛、脸颊等的轮廓点。当然，如果图像中包括人的耳朵等图像，也可以确定出人脸的耳朵及其轮廓点作为人脸的特征点。
基于所述特征点确定第一区域，基于所述第一区域及目标对象的尺寸对所述包含人像面部的图像进行裁剪，并将裁剪后的图像缩放至所述目标对象的尺寸。
本公开实施例中，基于所述特征点确定第一区域，包括：
根据所述特征点的位置信息确定所述特征点的外接框；根据所述外接框的中心点与所述待处理的人脸面部的图像宽度边界，确定所述第一区域的宽度；根据预设长宽比和所述第一区域的宽度确定所述第一区域的高度。所述外接框可以是矩形外接框、圆形外接框或多边形外接框等形状，只要能获取到清晰的人脸图像，尽量使人脸以非变形方式位于图像中心即可，本公开实施例不限定外接框的具体形状。
本公开实施例中，以外接框为矩形框为例，根据人脸图像中的特征点坐标确定人脸特征点外接矩形框，人脸矩形框的宽和高分别记为w，h。本公开实施例中，可以采用真实人脸关键点检测器(A Practical Facial Landmark Detectorlink，PFLD)网络对裁剪得到的人脸图片进行关键点定位，确定出人脸的特征点。人脸矩形框中心点坐标记为(xc,yc)；输入图像的宽高分别为wsrc，hsrc，最终生成视频的目标宽高记为wdst，hdst。比较人脸矩形框中心位置和图像左边界、右边界的距离大小。若人脸矩形框中心距离左边界近，则保持左边界的距离，裁剪图像(相当于第一区域)的宽为wcrop＝2×xc,若人脸矩形框中心距离右边界近，则保持右边界的距离，裁剪图像(相当于第一区域)的宽为wcrop＝2×(wsrc-xc)。前述示例中，在坐标系中，以人脸矩形框的左下顶点为原点为例进行的说明。
将输出图像的目标长宽比记为rdst，则
Figure BDA0002790811790000091
计算裁剪图像(相当于第一区域)的高度，计算公式为
Figure BDA0002790811790000092
作为一种实现方式，也可以先对图像的高度方向进行裁剪，即以中心位置为基准，将中心点距离图像上下边界中最近的距离为准，裁剪图像中的对侧图像，再利用高度和目标图像的高度计算缩放比例，对裁剪后的待处理图像进行缩放。
在一种实现方式中，如果第一区域的宽高并不满足目标宽高的情况下，还可以通过第一区域裁剪得到的图像，缩放到宽高为wdst，hdst的尺寸。
需要说明的是，按照以上裁剪规则对人脸图片进行裁剪，能够在保证人脸不出现扭曲和变形的情况下，尽可能地使人脸处于图片中心附近，符合大众审美标准。
S13、对所述裁剪后的至少两张图像中相邻的第一图像和第二图像进行三角面片变形，生成所述第一图像到所述第二图像的第一三角面片变形帧图像序列，以及所述第二图像到所述第一图像的第二三角面片变形帧图像序列。
本公开实施例中，根据所述第一图像的人像面部的特征点的第一坐标集合和所述第二图像的人像面部的特征点的第二坐标集合，计算所述第一坐标集合和所述第二坐标集合之间的第一相似变换矩阵和第二相似变换矩阵；
确定所述第一图像的特征点经所述第一相似变换矩阵变换后与所述第二图像对应特征点之间的第一位置差；以及，确定所述第二图像的特征点经所述第二相似变换矩阵变换后与所述第一图像对应特征点之间的第二位置差；
根据所述第一位置差计算所述第一图像到所述第二图像的第一特征点位置轨迹；以及根据所述第二位置差计算所述第二图像到所述第一图像的第二特征点位置轨迹；
根据所述第一特征点位置轨迹得到所述第一三角面片变形帧图像序列，以及根据所述第二特征点位置轨迹得到所述第二三角面片变形帧图像序列。
其中，所述根据所述第一位置差计算所述第一图像到所述第二图像的第一特征点位置轨迹，包括：
通过以下公式计算所述第一特征点位置轨迹：
Figure BDA0002790811790000101
其中，si:A→B为所述第一特征点位置轨迹，N为所述第一图像变换至所述第二图像的变换帧数量，i为变换图片帧中的第i帧图片，i为大于0且小于等于N的整数；sA为所述第一坐标集合，DA→B为所述第一位置差；
所述根据所述第二位置差计算所述第二图像到所述第一图像的第二特征点位置轨迹，包括：
通过以下公式计算所述第二特征点位置轨迹：
第二特征点位置轨迹
Figure BDA0002790811790000102
其中，si:B→A为第二特征点位置轨迹，sB为所述第二坐标集合，DB→A为所述第二位置差。
本公开实施例中，以相邻的第一图像和第二图像分别为图像A和B为例进行说明，其目的仅是为了阐明本公开实施例的技术方案的本质，并非用于限定其技术手段。
具体地，在前述对所获取的图像进行裁剪处理后，在图像中取相邻图像进行三角面片变形，其目的是对于所有相邻图像比如相邻图像A和B，生成图像A到图像B的三角面片变形帧图像序列，以及图像B到图像A的三角面片变形帧图像序列。具体操作方法如下：
根据图像A和B的人脸特征点坐标集合，分别记为
Figure BDA0002790811790000103
(对应于第一坐标集合)、
Figure BDA0002790811790000104
(对应于第二坐标集合)，其中n表示特征点的数目，利用相似变换求解方法，作为一种实现方式，可以采用estimateAffinePartial2D函数方法，求解sA和sB间的相似变换矩阵，即相邻两张人脸图像A和B间的相似变换矩阵，包括A到B的相似变换矩阵(对应于第一相似变换矩阵)，以及B到A的相似变换矩阵(对应于第二相似变换矩阵)，分别记为TA→B、TB→A。计算图像A上特征点相似变换后与图像B对应特征点的位置差，记为A→B(对应于第一位置差)，计算公式如下：DA→B＝sA×TA→B-sB；
同理，计算图像B上特征点相似变换后与图像A对应特征点的位置差DB→A(对应于第二位置差)，计算公式如下：
DB→A＝sB×TB→A-sA
将位置差按帧分解计算得到特征点三角形变的目标位置轨迹。假设A和B间生成变换图像帧数(对应于变换帧数量)设置为N，作为一种实现方式，N可以取25、30、35、40等值，则可以根据DA→B计算由人脸图像A变换到B的特征点位置轨迹(对应于第一特征点位置轨迹)，计算公式如下：
Figure BDA0002790811790000111
其中，si:A→B表示由A三角变形变换到B的第i帧图像特征点位置，i为大于0且小于等于N的整数。同理，可以根据DB→A计算由人脸图像B变换到A的特征点位置轨迹(对应于第二特征点位置轨迹)。计算公式如下：
Figure BDA0002790811790000112
其中，si:B→A表示由B三角变形变换到A的第i帧图像特征点位置。
根据图像A三角变形变换到图像B的特征点位置轨迹si:A→B，利用三角面片划分方法进行三角面片划分。本公开实施例中，三角面片划分方法可以采用三角剖分算法(delaunay)对图像进行三角面片划分。为了保证背景和人脸同步变形，分别加入图像A的四个顶点以及四条边的中点，共N+8个点对图像A(包括人脸和背景)进行三角划分。利用三角面片变形方法使得图像A上的特征点变形到目标位置轨迹，得到图像A到B的变形帧图像序列，记为FA→B＝{f1,f2,..,fN}，其中fi表示由图像A三角变形得到的第i帧图像。
同理，根据将图像B三角变形变换到图像A的特征点位置轨迹si:B→A得到图像B到图像A的变形帧图像序列，记为HB→A＝{h1,h2,..,hN}，hi表示由图像B三角变形得到的第i帧图像，N表示图像A变换到B或图像B变换到A生成的图像帧数。
S14、对所述第一三角面片变形帧图像序列的每一图像序列进行相似变换，得到第一变换帧图片序列；以及，对所述第二三角面片变形帧图像序列中的每一图像序列进行相似变换，得到第二变换帧图片序列。
所述对所述第一三角面片变形帧图像序列的每一图像序列进行相似变换，得到第一变换帧图片序列，包括：
确定所述第一图像变换至所述第二图像的第一相似变换矩阵；
根据所述第一图像变换至所述第二图像的变换帧数量确定所述第一相似变换矩阵的第一变换参数的步进间隔；
基于所述第一相似变换矩阵以及所述第一变换参数的步进间隔，计算所述第一变换帧图片序列中每一变换帧图片序列的第一子相似变换矩阵；
根据所述第一子相似变换矩阵对所述第一三角面片变形帧图像序列中的每一三角面片变形帧图像进行相乘，得到所述第一变换帧图片序列。
所述对所述第二三角面片变形帧图像序列中的每一图像序列进行相似变换，得到第二变换帧图片序列，包括：
对所述第一子相似变换矩阵进行逆变换，得到第二子相似变换矩阵；根据所述第二子相似变换矩阵对所述第二三角面片变形帧图像序列中的每一三角面片变形帧图像进行相乘，得到所述第二变换帧图片序列；
或，
确定所述第二图像变换至所述第一图像的第二相似变换矩阵；
根据所述第二图像变换至所述第一图像的变换帧数量确定所述第二相似变换矩阵的第二变换参数的步进间隔；
基于所述第二相似变换矩阵以及所述第二变换参数的步进间隔，计算所述第二变换帧图片序列中每一变换帧图片序列的第二子相似变换矩阵；
根据所述第二子相似变换矩阵对所述第二三角面片变形帧图像序列中的每一三角面片变形帧图像进行相乘，得到所述第二变换帧图片序列。
本公开实施例中，由于是需要将两图像通过图像帧实现图像间的变换，第二图像变换至第一图像的变换帧数量，与第一图像变换至第二图像的变换帧数量是相同的。
对于图像B到图像A的相似变换矩阵TB→A(对应于第二相似变换矩阵)，可以表示为下式形式：
Figure BDA0002790811790000121
其中，s表示缩放因子，r11、r12、r21、r22表示旋转因子，tx、ty表示平移因子。
对矩阵参数进行分解，得到每帧变换的参数步进间隔，参数(对应于第二变换参数)可以包括缩放参数、旋转参数、平移参数等，计算公式如下：
△s＝e-log(s/N)
其中，△s表示缩放参数的参数步进间隔，e为取对数运算中的常数。
Figure BDA0002790811790000131
Figure BDA0002790811790000132
其中，△r表示缩放参数的参数步进间隔，θ表示由旋转参数对应的旋转角度。
Figure BDA0002790811790000133
Figure BDA0002790811790000134
其中，
Figure BDA0002790811790000136
和
Figure BDA0002790811790000137
分别表示x方向和y方向上平移参数的参数步进间隔。
根据前述的每帧变换的参数步进间隔，求解图像B变换到A每帧相似变换对应的相似变换矩阵，具体的构造方法如下：
Figure BDA0002790811790000135
其中，Ti:B→A表示图像B变换到A第i帧相似变换对应的相似变换矩阵(对应于第二子相似变换矩阵)。根据Ti:B→A可以进一步得到图像A变换到B第i帧相似变换对应的相似变换矩阵(对应于第一子相似变换矩阵)，计算公式如下：
Ti:A→B＝Ti:B→A×TB→A -1
其中，Ti:A→B表示图像A变换到图像B的第i帧对应的相似变换矩阵(对应于第二子相似变换矩阵)，TB→A -1表示图像B到A的相似变换矩阵TB→A的逆矩阵。需要说明的是，图像B变换到图像A的第i帧对应的相似变换矩阵可以基于图像A变换到B第i帧对应的相似变换矩阵的逆矩阵进行确定，也可以按前述计算图像A变换到B第i帧对应的相似变换矩阵的逆矩阵的方式，计算图像B变换到图像A的第i帧对应的相似变换矩阵，由于计算方式与前述计算图像A变换到B第i帧对应的相似变换矩阵的方式相同，这里不再赘述具体的计算方式。
根据Ti:A→B对变形帧图像序列FA→B的第i帧进行相似变换得到相似变换帧图像序列，记为FTA→B＝{ft1,ft2,..,ftN}，其中fti表示由图像A变换得到的第i帧图像。同理，根据Ti:B→A对变形帧图像序列HB→A的第i帧进行相似变换得到相似变换帧图像序列，记为，HTB→A＝{ht1,ht2,..,htN}，其中hti表示由图像B变换得到的第i帧图像。
S15、对所述第一变换帧图片序列和所述第二变换帧图片序列进行融合，得到与所述第一图像和所述第二图像对应的视频帧序列。
本公开实施例中，对所述第一变换帧图片序列和所述第二变换帧图片序列进行融合，包括：
确定第一权重值和第二权重值，其中，所述第一权重值为所述第一变换帧图片序列的第i帧图片在融合过程中的权重，所述第二权重值为所述第二变换帧图片序列的第i帧图片在融合过程中的权重；其中，i为大于0且小于或等于第一变换帧图片序列的帧数量；
将所述第一变换帧图片序列的第i帧图片各像素点与所述第一权重值相乘，得到第一待融合图片；将所述第二变换帧图片序列的第i帧图片与所述第二权重值相乘，得到第二待融合图片；
将所述第一待融合图片中各像素点和所述第二待融合图片中各像素点分别叠加，得到与所述第一变换帧图片序列的第i帧图片和所述第二变换帧图片序列的第i帧图片对应的第i帧融合图片；
其中，与所述第一变换帧图片序列和所述第二变换帧图片序列所对应的所有的融合图片构成所述视频帧序列。
具体地，取图像A到图像B的变换帧图像序列FTA→B(对应于第一变换帧图片序列)和图像B到图像A的变换帧图像序列HTB→A(对应于第二变换帧图片序列)进行图像融合，得到视频帧序列，记为Q＝{q1,q2,..,qN}(对应于所述第一图像和所述第二图像对应的视频帧序列)，其中qi表示视频帧序列的第i帧图像。则融合公式可以表示如下：
Figure BDA0002790811790000141
qi＝w×fti+(1-w)×hti
其中，wi表示加权融合方法的权重，wi的非线性设计能够使得融合过程不均匀，生成的变换视频更有节奏感。
S16、对所述裁剪后的至少两张图像中所有相邻图像生成的视频帧序列进行编码，得到目标视频。
本公开实施例中，对所有相邻图像生成的视频帧序列，比如图像A和B生成的图像序列Q，按照设定的帧率进行编码，合成最终的人脸变换特效视频。
本公开实施例的技术方案，可以应用于各种人脸变换处理应用中，用户可以通过输入自己的头像图片和待变换对象如某明显的头像图片，通过本公开实施例的图像处理方法的处理，可以将用户的头像图片以视频变换的方式，逐渐由用户的头像图片变换为明显的头像，用户也可以输入任意的头像图片，如用户可以分别输入用户自己的婴儿、童年、少年、成年、到目前的头像图片，通过本公开实施例的图像处理方法的处理，用户可以观看到自己由婴儿逐渐变换为当前样子的视频。通过将本公开实施例的技术方案移植于电子设备如手机、笔记本电脑、游戏机、平板电脑、个人数字助理、电视机等电子设备中。
图2为本公开实施例示出的一种图像处理装置的组成结构示意图，如图2所示，本公开实施例的图像处理装置包括：
获取单元20，用于获取至少两张图像；
裁剪单元21，用于对所述至少两张图像中包含人脸面部的图像进行裁剪，得到裁剪后的至少两张图像；
三角面片变形单元22，用于对所述裁剪后的至少两张图像中相邻的第一图像和第二图像进行三角面片变形，生成所述第一图像到所述第二图像的第一三角面片变形帧图像序列，以及所述第二图像到所述第一图像的第二三角面片变形帧图像序列；
相似变换单元23，用于对所述第一三角面片变形帧图像序列的每一图像序列进行相似变换，得到第一变换帧图片序列；以及，对所述第二三角面片变形帧图像序列中的每一图像序列进行相似变换，得到第二变换帧图片序列；
融合单元24，用于对所述第一变换帧图片序列和所述第二变换帧图片序列进行融合，得到与所述第一图像和所述第二图像对应的视频帧序列；
视频生成单元25，用于对所述裁剪后的至少两张图像中所有相邻图像生成的视频帧序列进行编码，得到目标视频。
作为一种实现方式，所述裁剪单元21，还用于：
确定所述至少两张图像中包含的人脸面部的特征点；
针对所述至少两张图像中包含人脸面部的图像，基于所述特征点确定第一区域；
基于所述第一区域对所述包含人脸面部的图像进行裁剪，得到所述裁剪后的至少两张图像。
作为一种实现方式，所述裁剪单元21，还用于：
根据所述特征点的位置信息确定所述特征点的外接框；
根据所述外接框的中心点与所述待处理的人脸面部的图像宽度边界，确定所述第一区域的宽度；
根据预设长宽比和所述第一区域的宽度确定所述第一区域的高度。
作为一种实现方式，所述三角面片变形单元22，还用于：
根据所述第一图像的人像面部的特征点的第一坐标集合和所述第二图像的人像面部的特征点的第二坐标集合，计算所述第一坐标集合和所述第二坐标集合之间的第一相似变换矩阵和第二相似变换矩阵；
确定所述第一图像的特征点经所述第一相似变换矩阵变换后与所述第二图像对应特征点之间的第一位置差；以及，确定所述第二图像的特征点经所述第二相似变换矩阵变换后与所述第一图像对应特征点之间的第二位置差；
根据所述第一位置差计算所述第一图像到所述第二图像的第一特征点位置轨迹；以及根据所述第二位置差计算所述第二图像到所述第一图像的第二特征点位置轨迹；
根据所述第一特征点位置轨迹得到所述第一三角面片变形帧图像序列，以及根据所述第二特征点位置轨迹得到所述第二三角面片变形帧图像序列。
作为一种实现方式，所述三角面片变形单元22，还用于：
通过以下公式计算所述第一特征点位置轨迹：
Figure BDA0002790811790000161
其中，si:A→B为所述第一特征点位置轨迹，N为所述第一图像变换至所述第二图像的变换帧数量，i为变换图片帧中的第i帧图片，i为大于0且小于等于N的整数；sA为所述第一坐标集合，DA→B为所述第一位置差；以及
通过以下公式计算所述第二特征点位置轨迹：
第二特征点位置轨迹
Figure BDA0002790811790000162
其中，si:B→A为第二特征点位置轨迹，sB为所述第二坐标集合，DB→A为所述第二位置差。
作为一种实现方式，所述相似变换单元23，还用于：
确定所述第一图像变换至所述第二图像的第一相似变换矩阵；
根据所述第一图像变换至所述第二图像的变换帧数量确定所述第一相似变换矩阵的第一变换参数的步进间隔；
基于所述第一相似变换矩阵以及所述第一变换参数的步进间隔，计算所述第一变换帧图片序列中每一变换帧图片序列的第一子相似变换矩阵；
根据所述第一子相似变换矩阵对所述第一三角面片变形帧图像序列中的每一三角面片变形帧图像进行相乘，得到所述第一变换帧图片序列；
所述相似变换单元23，还用于对所述第一子相似变换矩阵进行逆变换，得到第二子相似变换矩阵；根据所述第二子相似变换矩阵对所述第二三角面片变形帧图像序列中的每一三角面片变形帧图像进行相乘，得到所述第二变换帧图片序列；或
确定所述第二图像变换至所述第一图像的第二相似变换矩阵；根据所述第二图像变换至所述第一图像的变换帧数量确定所述第二相似变换矩阵的第二变换参数的步进间隔；基于所述第二相似变换矩阵以及所述第二变换参数的步进间隔，计算所述第二变换帧图片序列中每一变换帧图片序列的第二子相似变换矩阵；根据所述第二子相似变换矩阵对所述第二三角面片变形帧图像序列中的每一三角面片变形帧图像进行相乘，得到所述第二变换帧图片序列。
作为一种实现方式，所述融合单元24，还用于：
确定第一权重值和第二权重值，其中，所述第一权重值为所述第一变换帧图片序列的第i帧图片在融合过程中的权重，所述第二权重值为所述第二变换帧图片序列的第i帧图片在融合过程中的权重；其中，i为大于0且小于或等于第一变换帧图片序列的帧数量；
将所述第一变换帧图片序列的第i帧图片各像素点与所述第一权重值相乘，得到第一待融合图片；将所述第二变换帧图片序列的第i帧图片与所述第二权重值相乘，得到第二待融合图片；
将所述第一待融合图片中各像素点和所述第二待融合图片中各像素点分别叠加，得到与所述第一变换帧图片序列的第i帧图片和所述第二变换帧图片序列的第i帧图片对应的第i帧融合图片；
其中，与所述第一变换帧图片序列和所述第二变换帧图片序列所对应的所有的融合图片构成所述视频帧序列。
作为一种实现方式，所述特征点包括以下至少之一：
眼睛、鼻尖、嘴角点、眉毛、脸颊、以及眼睛、鼻子、嘴唇、眉毛、脸颊的轮廓点。
在示例性实施例中，确定单元20、裁剪单元21、三角面片变形单元22、相似变换单元23、融合单元24和视频生成单元25等可以被一个或多个中央处理器(CPU，CentralProcessing Unit)、图形处理器(GPU，Graphics Processing Unit)、基带处理器(BP，base频带processor)、应用专用集成电路(ASIC，Application Specific IntegratedCircuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro ControllerUnit)、微处理器(Microprocessor)、或其他电子元件实现，也可以结合一个或多个射频(RF，radio frequency)天线实现，用于执行前述文本处理装置。
关于上述实施例中的图像处理装置，其中各个模块及单元执行操作的具体方式已经在有关该装置的实施例中进行了详细描述，此处将不做详细阐述说明。
图3为根据一示例性实施例示出的一种电子设备800的框图，如图3所示，电子设备800支持多屏输出，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图像，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如Wi-Fi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例的图像处理的步骤。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述实施例的图像处理方法的步骤。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开实施例还记载了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行控制方法，所述方法包括：
获取至少两张图像；
对所述至少两张图像中包含人脸面部的图像进行裁剪，得到裁剪后的至少两张图像；
对所述裁剪后的至少两张图像中相邻的第一图像和第二图像进行三角面片变形，生成所述第一图像到所述第二图像的第一三角面片变形帧图像序列，以及所述第二图像到所述第一图像的第二三角面片变形帧图像序列；
对所述第一三角面片变形帧图像序列的每一图像序列进行相似变换，得到第一变换帧图片序列；
对所述第二三角面片变形帧图像序列中的每一图像序列进行相似变换，得到第二变换帧图片序列；
对所述第一变换帧图片序列和所述第二变换帧图片序列进行融合，得到与所述第一图像和所述第二图像对应的视频帧序列；
对所述裁剪后的至少两张图像中所有相邻图像生成的视频帧序列进行编码，得到目标视频。
可选的，所述对所述至少两张图像中包含人脸面部的图像进行裁剪，得到裁剪后的至少两张图像，包括：
确定所述至少两张图像中包含的人脸面部的特征点；
针对所述至少两张图像中包含人脸面部的图像，基于所述特征点确定第一区域；
基于所述第一区域对所述包含人脸面部的图像进行裁剪，得到所述裁剪后的至少两张图像。
可选的，所述基于所述特征点确定第一区域，包括：
根据所述特征点的位置信息确定所述特征点的外接框；
根据所述外接框的中心点与所述待处理的人脸面部的图像宽度边界，确定所述第一区域的宽度；
根据预设长宽比和所述第一区域的宽度确定所述第一区域的高度。
可选的，所述生成所述第一图像到所述第二图像的第一三角面片变形帧图像序列，以及所述第二图像到所述第一图像的第二三角面片变形帧图像序列，包括：
根据所述第一图像的人像面部的特征点的第一坐标集合和所述第二图像的人像面部的特征点的第二坐标集合，计算所述第一坐标集合和所述第二坐标集合之间的第一相似变换矩阵和第二相似变换矩阵；
确定所述第一图像的特征点经所述第一相似变换矩阵变换后与所述第二图像对应特征点之间的第一位置差；以及，确定所述第二图像的特征点经所述第二相似变换矩阵变换后与所述第一图像对应特征点之间的第二位置差；
根据所述第一位置差计算所述第一图像到所述第二图像的第一特征点位置轨迹；以及根据所述第二位置差计算所述第二图像到所述第一图像的第二特征点位置轨迹；
根据所述第一特征点位置轨迹得到所述第一三角面片变形帧图像序列，以及根据所述第二特征点位置轨迹得到所述第二三角面片变形帧图像序列。
可选的，所述根据所述第一位置差计算所述第一图像到所述第二图像的第一特征点位置轨迹，包括：
通过以下公式计算所述第一特征点位置轨迹：
Figure BDA0002790811790000211
其中，si:A→B为所述第一特征点位置轨迹，N为所述第一图像变换至所述第二图像的变换帧数量，i为变换图片帧中的第i帧图片，i为大于0且小于等于N的整数；sA为所述第一坐标集合，DA→B为所述第一位置差；
所述根据所述第二位置差计算所述第二图像到所述第一图像的第二特征点位置轨迹，包括：
通过以下公式计算所述第二特征点位置轨迹：
第二特征点位置轨迹
Figure BDA0002790811790000212
其中，si:B→A为第二特征点位置轨迹，sB为所述第二坐标集合，DB→A为所述第二位置差。
可选的，所述对所述第一三角面片变形帧图像序列的每一图像序列进行相似变换，得到第一变换帧图片序列，包括：
确定所述第一图像变换至所述第二图像的第一相似变换矩阵；
根据所述第一图像变换至所述第二图像的变换帧数量确定所述第一相似变换矩阵的第一变换参数的步进间隔；
基于所述第一相似变换矩阵以及所述第一变换参数的步进间隔，计算所述第一变换帧图片序列中每一变换帧图片序列的第一子相似变换矩阵；
根据所述第一子相似变换矩阵对所述第一三角面片变形帧图像序列中的每一三角面片变形帧图像进行相乘，得到所述第一变换帧图片序列；
和/或，
所述对所述第二三角面片变形帧图像序列中的每一图像序列进行相似变换，得到第二变换帧图片序列，包括：
确定所述第二图像变换至所述第一图像的第二相似变换矩阵；
根据所述第二图像变换至所述第一图像的变换帧数量确定所述第二相似变换矩阵的第二变换参数的步进间隔；
基于所述第二相似变换矩阵以及所述第二变换参数的步进间隔，计算所述第二变换帧图片序列中每一变换帧图片序列的第二子相似变换矩阵；
根据所述第二子相似变换矩阵对所述第二三角面片变形帧图像序列中的每一三角面片变形帧图像进行相乘，得到所述第二变换帧图片序列。
可选的，所述对所述第一变换帧图片序列和所述第二变换帧图片序列进行融合，得到与所述第一图像和所述第二图像对应的视频帧序列，包括：
确定第一权重值和第二权重值，其中，所述第一权重值为所述第一变换帧图片序列的第i帧图片在融合过程中的权重，所述第二权重值为所述第二变换帧图片序列的第i帧图片在融合过程中的权重；其中，i为大于0且小于或等于第一变换帧图片序列的帧数量；
将所述第一变换帧图片序列的第i帧图片各像素点与所述第一权重值相乘，得到第一待融合图片；将所述第二变换帧图片序列的第i帧图片与所述第二权重值相乘，得到第二待融合图片；
将所述第一待融合图片中各像素点和所述第二待融合图片中各像素点分别叠加，得到与所述第一变换帧图片序列的第i帧图片和所述第二变换帧图片序列的第i帧图片对应的第i帧融合图片；
其中，与所述第一变换帧图片序列和所述第二变换帧图片序列所对应的所有的融合图片构成所述视频帧序列。
可选的，所述特征点包括以下至少之一：
眼睛、鼻尖、嘴角点、眉毛、脸颊、以及眼睛、鼻子、嘴唇、眉毛、脸颊的轮廓点。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (18)

1.一种图像处理方法，其特征在于，所述方法包括：
获取至少两张图像；
对所述至少两张图像中包含人脸面部的图像进行裁剪，得到裁剪后的至少两张图像；
对所述裁剪后的至少两张图像中相邻的第一图像和第二图像进行三角面片变形，生成所述第一图像到所述第二图像的第一三角面片变形帧图像序列，以及所述第二图像到所述第一图像的第二三角面片变形帧图像序列；
对所述第一三角面片变形帧图像序列的每一图像序列进行相似变换，得到第一变换帧图片序列；
对所述第二三角面片变形帧图像序列中的每一图像序列进行相似变换，得到第二变换帧图片序列；
对所述第一变换帧图片序列和所述第二变换帧图片序列进行融合，得到与所述第一图像和所述第二图像对应的视频帧序列；
对所述裁剪后的至少两张图像中所有相邻图像生成的视频帧序列进行编码，得到目标视频。
2.根据权利要求1所述的方法，其特征在于，所述对所述至少两张图像中包含人脸面部的图像进行裁剪，得到裁剪后的至少两张图像，包括：
确定所述至少两张图像中包含的人脸面部的特征点；
针对所述至少两张图像中包含人脸面部的图像，基于所述特征点确定第一区域；
基于所述第一区域对所述包含人脸面部的图像进行裁剪，得到所述裁剪后的至少两张图像。
3.根据权利要求2所述的方法，其特征在于，所述基于所述特征点确定第一区域，包括：
根据所述特征点的位置信息确定所述特征点的外接框；
根据所述外接框的中心点与所述待处理的人脸面部的图像宽度边界，确定所述第一区域的宽度；
根据预设长宽比和所述第一区域的宽度确定所述第一区域的高度。
4.根据权利要求1所述的方法，其特征在于，所述生成所述第一图像到所述第二图像的第一三角面片变形帧图像序列，以及所述第二图像到所述第一图像的第二三角面片变形帧图像序列，包括：
根据所述第一图像的人像面部的特征点的第一坐标集合和所述第二图像的人像面部的特征点的第二坐标集合，计算所述第一坐标集合和所述第二坐标集合之间的第一相似变换矩阵和第二相似变换矩阵；
确定所述第一图像的特征点经所述第一相似变换矩阵变换后与所述第二图像对应特征点之间的第一位置差；以及，确定所述第二图像的特征点经所述第二相似变换矩阵变换后与所述第一图像对应特征点之间的第二位置差；
根据所述第一位置差计算所述第一图像到所述第二图像的第一特征点位置轨迹；以及根据所述第二位置差计算所述第二图像到所述第一图像的第二特征点位置轨迹；
根据所述第一特征点位置轨迹得到所述第一三角面片变形帧图像序列，以及根据所述第二特征点位置轨迹得到所述第二三角面片变形帧图像序列。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一位置差计算所述第一图像到所述第二图像的第一特征点位置轨迹，包括：
通过以下公式计算所述第一特征点位置轨迹：
Figure FDA0002790811780000021
其中，si:A→B为所述第一特征点位置轨迹，N为所述第一图像变换至所述第二图像的变换帧数量，i为变换图片帧中的第i帧图片，i为大于0且小于或等于N的整数；sA为所述第一坐标集合，DA→B为所述第一位置差；
所述根据所述第二位置差计算所述第二图像到所述第一图像的第二特征点位置轨迹，包括：
通过以下公式计算所述第二特征点位置轨迹：
第二特征点位置轨迹
Figure FDA0002790811780000022
其中，si:B→A为第二特征点位置轨迹，sB为所述第二坐标集合，DB→A为所述第二位置差。
6.根据权利要求1所述的方法，其特征在于，所述对所述第一三角面片变形帧图像序列的每一图像序列进行相似变换，得到第一变换帧图片序列，包括：
确定所述第一图像变换至所述第二图像的第一相似变换矩阵；
根据所述第一图像变换至所述第二图像的变换帧数量确定所述第一相似变换矩阵的第一变换参数的步进间隔；
基于所述第一相似变换矩阵以及所述第一变换参数的步进间隔，计算所述第一变换帧图片序列中每一变换帧图片序列的第一子相似变换矩阵；
根据所述第一子相似变换矩阵对所述第一三角面片变形帧图像序列中的每一三角面片变形帧图像进行相乘，得到所述第一变换帧图片序列。
7.根据权利要求6所述的方法，其特征在于，
所述对所述第二三角面片变形帧图像序列中的每一图像序列进行相似变换，得到第二变换帧图片序列，包括：
对所述第一子相似变换矩阵进行逆变换，得到第二子相似变换矩阵；根据所述第二子相似变换矩阵对所述第二三角面片变形帧图像序列中的每一三角面片变形帧图像进行相乘，得到所述第二变换帧图片序列。
8.根据权利要求1所述的方法，其特征在于，所述对所述第二三角面片变形帧图像序列中的每一图像序列进行相似变换，得到第二变换帧图片序列，包括：
确定所述第二图像变换至所述第一图像的第二相似变换矩阵；
根据所述第二图像变换至所述第一图像的变换帧数量确定所述第二相似变换矩阵的第二变换参数的步进间隔；
基于所述第二相似变换矩阵以及所述第二变换参数的步进间隔，计算所述第二变换帧图片序列中每一变换帧图片序列的第二子相似变换矩阵；
根据所述第二子相似变换矩阵对所述第二三角面片变形帧图像序列中的每一三角面片变形帧图像进行相乘，得到所述第二变换帧图片序列。
9.根据权利要求1所述的方法，其特征在于，所述对所述第一变换帧图片序列和所述第二变换帧图片序列进行融合，得到与所述第一图像和所述第二图像对应的视频帧序列，包括：
确定第一权重值和第二权重值，其中，所述第一权重值为所述第一变换帧图片序列的第i帧图片在融合过程中的权重，所述第二权重值为所述第二变换帧图片序列的第i帧图片在融合过程中的权重；其中，i为大于0且小于或等于第一变换帧图片序列的帧数量；
将所述第一变换帧图片序列的第i帧图片各像素点与所述第一权重值相乘，得到第一待融合图片；将所述第二变换帧图片序列的第i帧图片与所述第二权重值相乘，得到第二待融合图片；
将所述第一待融合图片中各像素点和所述第二待融合图片中各像素点分别叠加，得到与所述第一变换帧图片序列的第i帧图片和所述第二变换帧图片序列的第i帧图片对应的第i帧融合图片；
其中，与所述第一变换帧图片序列和所述第二变换帧图片序列所对应的所有的融合图片构成所述视频帧序列。
10.一种图像处理装置，其特征在于，所述装置包括：
获取单元，用于获取至少两张图像；
裁剪单元，用于对所述至少两张图像中包含人脸面部的图像进行裁剪，得到裁剪后的至少两张图像；
三角面片变形单元，用于对所述裁剪后的至少两张图像中相邻的第一图像和第二图像进行三角面片变形，生成所述第一图像到所述第二图像的第一三角面片变形帧图像序列，以及所述第二图像到所述第一图像的第二三角面片变形帧图像序列；
相似变换单元，用于对所述第一三角面片变形帧图像序列的每一图像序列进行相似变换，得到第一变换帧图片序列；以及，对所述第二三角面片变形帧图像序列中的每一图像序列进行相似变换，得到第二变换帧图片序列；
融合单元，用于对所述第一变换帧图片序列和所述第二变换帧图片序列进行融合，得到与所述第一图像和所述第二图像对应的视频帧序列；
视频生成单元，用于对所述裁剪后的至少两张图像中所有相邻图像生成的视频帧序列进行编码，得到目标视频。
11.根据权利要求10所述的装置，其特征在于，所述裁剪单元，还用于：
确定所述至少两张图像中包含的人脸面部的特征点；
针对所述至少两张图像中包含人脸面部的图像，基于所述特征点确定第一区域；
基于所述第一区域对所述包含人脸面部的图像进行裁剪，得到所述裁剪后的至少两张图像。
12.根据权利要求11所述的装置，其特征在于，所述裁剪单元，还用于：
根据所述特征点的位置信息确定所述特征点的外接框；
根据所述外接框的中心点与所述待处理的人脸面部的图像宽度边界，确定所述第一区域的宽度；
根据预设长宽比和所述第一区域的宽度确定所述第一区域的高度。
13.根据权利要求10所述的装置，其特征在于，所述三角面片变形单元，还用于：
根据所述第一图像的人像面部的特征点的第一坐标集合和所述第二图像的人像面部的特征点的第二坐标集合，计算所述第一坐标集合和所述第二坐标集合之间的第一相似变换矩阵和第二相似变换矩阵；
确定所述第一图像的特征点经所述第一相似变换矩阵变换后与所述第二图像对应特征点之间的第一位置差；以及，确定所述第二图像的特征点经所述第二相似变换矩阵变换后与所述第一图像对应特征点之间的第二位置差；
根据所述第一位置差计算所述第一图像到所述第二图像的第一特征点位置轨迹；以及根据所述第二位置差计算所述第二图像到所述第一图像的第二特征点位置轨迹；
根据所述第一特征点位置轨迹得到所述第一三角面片变形帧图像序列，以及根据所述第二特征点位置轨迹得到所述第二三角面片变形帧图像序列。
14.根据权利要求10所述的装置，其特征在于，所述相似变换单元，还用于：
确定所述第一图像变换至所述第二图像的第一相似变换矩阵；根据所述第一图像变换至所述第二图像的变换帧数量确定所述第一相似变换矩阵的第一变换参数的步进间隔；基于所述第一相似变换矩阵以及所述第一变换参数的步进间隔，计算所述第一变换帧图片序列中每一变换帧图片序列的第一子相似变换矩阵；根据所述第一子相似变换矩阵对所述第一三角面片变形帧图像序列中的每一三角面片变形帧图像进行相乘，得到所述第一变换帧图片序列。
15.根据权利要求14所述的装置，其特征在于，所述相似变换单元，还用于：
对所述第一子相似变换矩阵进行逆变换，得到第二子相似变换矩阵；根据所述第二子相似变换矩阵对所述第二三角面片变形帧图像序列中的每一三角面片变形帧图像进行相乘，得到所述第二变换帧图片序列。
16.根据权利要求10所述的装置，其特征在于，所述融合单元，还用于：
确定第一权重值和第二权重值，其中，所述第一权重值为所述第一变换帧图片序列的第i帧图片在融合过程中的权重，所述第二权重值为所述第二变换帧图片序列的第i帧图片在融合过程中的权重；其中，i为大于0且小于或等于第一变换帧图片序列的帧数量；
将所述第一变换帧图片序列的第i帧图片各像素点与所述第一权重值相乘，得到第一待融合图片；将所述第二变换帧图片序列的第i帧图片与所述第二权重值相乘，得到第二待融合图片；
将所述第一待融合图片中各像素点和所述第二待融合图片中各像素点分别叠加，得到与所述第一变换帧图片序列的第i帧图片和所述第二变换帧图片序列的第i帧图片对应的第i帧融合图片；
其中，与所述第一变换帧图片序列和所述第二变换帧图片序列所对应的所有的融合图片构成所述视频帧序列。。
17.一种电子设备，其特征在于，所述电子设备包括：处理器和用于存储处理器可执行指令的存储器，其中，所述处理器被配置为在调用存储器中的可执行指令时，能够执行如权利要求1至9中任一项所述的图像处理方法的步骤。
18.一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至9中任一项所述的图像处理方法的步骤。
CN202011314245.3A 2020-11-20 2020-11-20 图像处理方法及装置、电子设备、存储介质 Active CN112508773B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011314245.3A CN112508773B (zh) 2020-11-20 2020-11-20 图像处理方法及装置、电子设备、存储介质
EP21176628.2A EP4002261A1 (en) 2020-11-20 2021-05-28 Method and device for processing image, electronic equipment, and storage medium
US17/334,926 US11532069B2 (en) 2020-11-20 2021-05-31 Method for processing image, electronic equipment, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011314245.3A CN112508773B (zh) 2020-11-20 2020-11-20 图像处理方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN112508773A true CN112508773A (zh) 2021-03-16
CN112508773B CN112508773B (zh) 2024-02-09

Family

ID=74958154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011314245.3A Active CN112508773B (zh) 2020-11-20 2020-11-20 图像处理方法及装置、电子设备、存储介质

Country Status (3)

Country Link
US (1) US11532069B2 (zh)
EP (1) EP4002261A1 (zh)
CN (1) CN112508773B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113961746A (zh) * 2021-09-29 2022-01-21 北京百度网讯科技有限公司 视频生成方法、装置、电子设备及可读存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116386074B (zh) * 2023-06-07 2023-08-15 青岛雅筑景观设计有限公司 一种园林工程设计数据智能处理及管理系统
CN117714903B (zh) * 2024-02-06 2024-05-03 成都唐米科技有限公司 一种基于跟拍的视频合成方法、装置及电子设备

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6016148A (en) * 1997-06-06 2000-01-18 Digital Equipment Corporation Automated mapping of facial images to animation wireframes topologies
CN104766084A (zh) * 2015-04-10 2015-07-08 南京大学 一种多目标匹配的近复制图像检测方法
US20160217338A1 (en) * 2015-01-26 2016-07-28 Alibaba Group Holding Limited Method and device for face in-vivo detection
CN106846317A (zh) * 2017-02-27 2017-06-13 北京连心医疗科技有限公司 一种基于特征提取和相似匹配的医学影像检索方法
CN107067370A (zh) * 2017-04-12 2017-08-18 长沙全度影像科技有限公司 一种基于网格变形的图像拼接方法
CN109035145A (zh) * 2018-08-02 2018-12-18 广州市鑫广飞信息科技有限公司 基于视频帧匹配信息的视频图像自适应拼接方法及装置
CN109241810A (zh) * 2017-07-10 2019-01-18 腾讯科技（深圳）有限公司 虚拟角色图像的构建方法及装置、存储介质
CN109636714A (zh) * 2018-08-30 2019-04-16 沈阳聚声医疗系统有限公司 一种超声宽景成像的图像拼接方法
CN110136229A (zh) * 2019-05-27 2019-08-16 广州亮风台信息科技有限公司 一种用于实时虚拟换脸的方法与设备
WO2019176930A1 (ja) * 2018-03-15 2019-09-19 株式会社 村上開明堂 合成映像作成装置および合成映像作成方法並びに合成映像作成プログラム
CN110572534A (zh) * 2019-09-19 2019-12-13 浙江大搜车软件技术有限公司 全景图像的数字视频稳像方法、装置、设备及存储介质
JP2019220032A (ja) * 2018-06-21 2019-12-26 Kddi株式会社 原画像を目標画像に基づいて変形した表示画像を生成するプログラム、装置及び方法
CN110853140A (zh) * 2019-10-11 2020-02-28 北京空间机电研究所 一种dem辅助的光学视频卫星影像稳像方法
WO2020073860A1 (zh) * 2018-10-08 2020-04-16 传线网络科技（上海）有限公司 一种视频裁剪方法及装置
CN111311743A (zh) * 2020-03-27 2020-06-19 北京百度网讯科技有限公司 三维重建精度测试方法、测试装置和电子设备
CN111327840A (zh) * 2020-02-27 2020-06-23 努比亚技术有限公司 一种多帧特效视频获取方法、终端及计算机可读存储介质
CN111462029A (zh) * 2020-03-27 2020-07-28 北京百度网讯科技有限公司 视觉点云与高精地图融合方法、装置和电子设备
CN111583280A (zh) * 2020-05-13 2020-08-25 北京字节跳动网络技术有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN111626246A (zh) * 2020-06-01 2020-09-04 浙江中正智能科技有限公司 口罩遮挡下的人脸对齐方法
CN111666911A (zh) * 2020-06-13 2020-09-15 天津大学 一种微表情数据的扩充方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5995639A (en) * 1993-03-29 1999-11-30 Matsushita Electric Industrial Co., Ltd. Apparatus for identifying person
GB0708942D0 (en) * 2007-05-09 2007-06-20 Larreta Felix R Visual image display apparatus and method iof using the same
JP2010176314A (ja) * 2009-01-28 2010-08-12 Seiko Epson Corp 顔の特徴部位の座標位置を検出する画像処理装置
JP2010186216A (ja) * 2009-02-10 2010-08-26 Seiko Epson Corp 顔画像における特徴部位の位置の特定
ES2625263T3 (es) * 2011-09-27 2017-07-19 Huawei Technologies Co., Ltd. Procedimiento y aparato para generar animación de metamorfosis
US10812791B2 (en) * 2016-09-16 2020-10-20 Qualcomm Incorporated Offset vector identification of temporal motion vector predictor
US10055880B2 (en) * 2016-12-06 2018-08-21 Activision Publishing, Inc. Methods and systems to modify a two dimensional facial image to increase dimensional depth and generate a facial image that appears three dimensional
WO2019239812A1 (ja) * 2018-06-14 2019-12-19 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理プログラム及び情報処理システム
CN110049351B (zh) 2019-05-23 2022-01-25 北京百度网讯科技有限公司 视频流中人脸变形的方法和装置、电子设备、计算机可读介质
US11809998B2 (en) * 2020-05-20 2023-11-07 Qualcomm Incorporated Maintaining fixed sizes for target objects in frames

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6016148A (en) * 1997-06-06 2000-01-18 Digital Equipment Corporation Automated mapping of facial images to animation wireframes topologies
US20160217338A1 (en) * 2015-01-26 2016-07-28 Alibaba Group Holding Limited Method and device for face in-vivo detection
CN104766084A (zh) * 2015-04-10 2015-07-08 南京大学 一种多目标匹配的近复制图像检测方法
CN106846317A (zh) * 2017-02-27 2017-06-13 北京连心医疗科技有限公司 一种基于特征提取和相似匹配的医学影像检索方法
CN107067370A (zh) * 2017-04-12 2017-08-18 长沙全度影像科技有限公司 一种基于网格变形的图像拼接方法
CN109241810A (zh) * 2017-07-10 2019-01-18 腾讯科技（深圳）有限公司 虚拟角色图像的构建方法及装置、存储介质
WO2019176930A1 (ja) * 2018-03-15 2019-09-19 株式会社 村上開明堂 合成映像作成装置および合成映像作成方法並びに合成映像作成プログラム
JP2019220032A (ja) * 2018-06-21 2019-12-26 Kddi株式会社 原画像を目標画像に基づいて変形した表示画像を生成するプログラム、装置及び方法
CN109035145A (zh) * 2018-08-02 2018-12-18 广州市鑫广飞信息科技有限公司 基于视频帧匹配信息的视频图像自适应拼接方法及装置
CN109636714A (zh) * 2018-08-30 2019-04-16 沈阳聚声医疗系统有限公司 一种超声宽景成像的图像拼接方法
WO2020073860A1 (zh) * 2018-10-08 2020-04-16 传线网络科技（上海）有限公司 一种视频裁剪方法及装置
CN110136229A (zh) * 2019-05-27 2019-08-16 广州亮风台信息科技有限公司 一种用于实时虚拟换脸的方法与设备
CN110572534A (zh) * 2019-09-19 2019-12-13 浙江大搜车软件技术有限公司 全景图像的数字视频稳像方法、装置、设备及存储介质
CN110853140A (zh) * 2019-10-11 2020-02-28 北京空间机电研究所 一种dem辅助的光学视频卫星影像稳像方法
CN111327840A (zh) * 2020-02-27 2020-06-23 努比亚技术有限公司 一种多帧特效视频获取方法、终端及计算机可读存储介质
CN111311743A (zh) * 2020-03-27 2020-06-19 北京百度网讯科技有限公司 三维重建精度测试方法、测试装置和电子设备
CN111462029A (zh) * 2020-03-27 2020-07-28 北京百度网讯科技有限公司 视觉点云与高精地图融合方法、装置和电子设备
CN111583280A (zh) * 2020-05-13 2020-08-25 北京字节跳动网络技术有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN111626246A (zh) * 2020-06-01 2020-09-04 浙江中正智能科技有限公司 口罩遮挡下的人脸对齐方法
CN111666911A (zh) * 2020-06-13 2020-09-15 天津大学 一种微表情数据的扩充方法及装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
GEORGE WOLBERG: "Recent advances in image morphing", 《IEEE》, pages 1 - 8 *
PHILIP J BENSON: "Morph transformation of the facial image", 《ELSEVIER》, pages 691 - 696 *
杨云涛;冯莹;曹毓;陈运锦;: "车载摄像平台序列图像快速拼接方法", 应用光学, no. 04, pages 683 - 687 *
林军: "人脸图像变形算法的研究与改进", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 138 - 1801 *
王小芳;项国强;魏玮;: "结合对齐度准则的视频人脸快速配准算法", 传感器与微系统, no. 06, pages 122 - 126 *
贺磊盈;何国权;武传宇;张金辉;: "面向深海序列图像拼接的快速匹配方法", 光电子・激光, no. 03, pages 339 - 346 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113961746A (zh) * 2021-09-29 2022-01-21 北京百度网讯科技有限公司 视频生成方法、装置、电子设备及可读存储介质
CN113961746B (zh) * 2021-09-29 2023-11-21 北京百度网讯科技有限公司 视频生成方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
EP4002261A1 (en) 2022-05-25
US20220164920A1 (en) 2022-05-26
CN112508773B (zh) 2024-02-09
US11532069B2 (en) 2022-12-20

Similar Documents

Publication Publication Date Title
US11410284B2 (en) Face beautification method and apparatus, computer device, and storage medium
EP3125158B1 (en) Method and device for displaying images
CN110675310B (zh) 视频处理方法、装置、电子设备及存储介质
EP2977959B1 (en) Method and device for adjusting skin color
CN112508773B (zh) 图像处理方法及装置、电子设备、存储介质
KR101694643B1 (ko) 이미지 분할 방법, 장치, 기기, 프로그램 및 기록매체
US9959484B2 (en) Method and apparatus for generating image filter
CN111356016B (zh) 视频处理方法、视频处理装置及存储介质
US11030733B2 (en) Method, electronic device and storage medium for processing image
CN107977934B (zh) 图像处理方法及装置
CN109325908B (zh) 图像处理方法及装置、电子设备和存储介质
US20220038641A1 (en) Video processing method, apparatus and storage medium
CN110490164B (zh) 生成虚拟表情的方法、装置、设备及介质
CN112541400B (zh) 基于视线估计的行为识别方法及装置、电子设备、存储介质
US20210118148A1 (en) Method and electronic device for changing faces of facial image
US9665925B2 (en) Method and terminal device for retargeting images
CN107239758B (zh) 人脸关键点定位的方法及装置
US11252341B2 (en) Method and device for shooting image, and storage medium
CN114926350A (zh) 一种图像美化方法、装置、电子设备及存储介质
CN113706430A (zh) 一种图像处理方法、装置和用于图像处理的装置
KR20090042381A (ko) 무선통신 단말에서 영상을 화면에 설정하기 위한 장치 및방법
CN110428492B (zh) 三维唇部重建方法、装置、电子设备及存储介质
CN112733599A (zh) 文档图像处理方法、装置、存储介质及终端设备
CN117094899A (zh) 图像处理方法、装置、电子设备及存储介质
CN114529495A (zh) 图像处理方法、装置以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant