CN106780658B - 人脸特征添加方法、装置及设备 - Google Patents

人脸特征添加方法、装置及设备 Download PDF

Info

Publication number
CN106780658B
CN106780658B CN201611008892.5A CN201611008892A CN106780658B CN 106780658 B CN106780658 B CN 106780658B CN 201611008892 A CN201611008892 A CN 201611008892A CN 106780658 B CN106780658 B CN 106780658B
Authority
CN
China
Prior art keywords
image
face
feature
layer
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611008892.5A
Other languages
English (en)
Other versions
CN106780658A (zh
Inventor
刘宇
周而进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd, Beijing Megvii Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN201611008892.5A priority Critical patent/CN106780658B/zh
Publication of CN106780658A publication Critical patent/CN106780658A/zh
Priority to US15/814,076 priority patent/US10580182B2/en
Application granted granted Critical
Publication of CN106780658B publication Critical patent/CN106780658B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供了一种人脸特征添加方法、装置和设备。所述人脸特征添加方法包括：基于给定人脸图像和在给定人脸图像上要添加的特征，生成待叠加图像；以及将待叠加图像与所述给定人脸图像叠加，生成合成人脸图像。此外，所述人脸特征添加方法还包括：利用人脸判定深度卷积网络，基于所述合成人脸图像以及带有所述要添加的特征的真实图像，生成第一和第二人脸满足度评分；计算所述待叠加图像的L1范数；以及根据所述第一和第二人脸满足度评分以及所述L1范数，更新各网络的系数。

Description

人脸特征添加方法、装置及设备
技术领域
本发明涉及人脸特征添加技术领域，更具体地涉及一种人脸特征添加方法、装置及设备。
背景技术
目前，一种人脸特征添加方法是通过多张不同角度二维照片生成三维模型，然后在三维模型上添加特征，诸如眼镜、刘海、口罩等，最后再渲染得到新的二维图像。另一种人脸特征添加方法是通过贴图注解在二维照片上贴上特征素材，从而得到新的二维图像。
然而，基于三维模型得到新的二维图像的方法，超时较大，效率较低，而且需要利用同一个体的诸多不同角度照片来进行三维建模，这在实际应用中往往不能得到满足。另一方面，二维贴图的方法虽然简便，但是得到的图像与真实照片存在明显差异。
因此，需要一种新的人脸特征添加方法和装置。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种。
根据本发明一方面，提供了一种人脸特征添加方法，包括：基于给定人脸图像和在给定人脸图像上要添加的特征，生成待叠加图像；以及将待叠加图像与所述给定人脸图像叠加，生成合成人脸图像。
根据本发明实施例，所述人脸特征添加方法还包括：利用人脸判定深度卷积网络，基于所述合成人脸图像，生成第一人脸满足度评分；计算所述待叠加图像的L1范数；以及根据所述第一人脸满足度评分和所述待叠加图像的L1范数，更新所述人脸特征图像提取网络和所述合成特征图像生成网络的系数。
根据本发明实施例，所述人脸特征添加方法还包括：利用人脸判定深度卷积网络，基于带有所述要添加的特征的真实图像，生成第二人脸满足度评分；以及根据所述第一人脸满足度评分和所述第二人脸满足度评分，更新所述人脸判定深度卷积网络的系数。
根据本发明另一方面，提供了一种人脸特征添加装置，包括：待叠加图像生成模块，被配置为：基于给定人脸图像和在给定人脸图像上要添加的特征，生成待叠加图像；以及合成人脸图像生成模块，被配置为：将待叠加图像与给定人脸图像叠加，生成合成人脸图像。
根据本发明实施例，所述人脸特征添加装置还包括：人脸判定模块，被配置为：利用人脸判定深度卷积网络，基于所述合成人脸图像，生成第一人脸满足度评分；范数计算模块，被配置为：计算所述待叠加图像的L1范数；以及第一参数调整模块，被配置为：基于所述第一人脸满足度评分和所述待叠加图像的L1范数，更新所述人脸特征图像提取网络和所述合成特征图像生成网络的系数。
根据本发明实施例，所述人脸判定模块还被配置为：利用人脸判定深度卷积网络，基于带有所述要添加的特征的真实图像，生成第二人脸满足度评分。所述人脸特征添加装置还包括：第二参数调整模块，被配置为：基于所述第一人脸满足度评分和所述第二人脸满足度评分，更新所述人脸判定深度卷积网络的系数。
根据本发明又一方面，提供了一种人脸特征添加设备，包括：一个或多个处理器；一个或多个存储器；其中存储了程序指令，在所述处理器执行所述程序指令时：基于给定人脸图像和在给定人脸图像上要添加的特征，生成待叠加图像；以及将待叠加图像与给定人脸图像叠加，生成合成人脸图像。
根据本发明实施例的人脸特征添加方法及装置，通过基于给定人脸图像和在给定人脸图像上要添加的特征生成待叠加图像并将待叠加图像与给定人脸图像叠加，可以得到在给定人脸图像上包含要添加的特征的合成人脸图像。此外，通过利用人脸判定深度卷积网络基于合成人脸图像和带有所述要添加的特征的真实图像生成第一和第二人脸满足度评分，并且通过计算所述待叠加图像的L1范数，可以构建人脸特征图像提取网络和合成特征图像生成网络的损失函数、以及人脸判定深度卷积网络的损失函数，从而实现了人脸特征图像提取网络、合成特征图像生成网络、以及人脸判定深度卷积网络的同步训练。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是根据本发明实施例的人脸特征添加方法的示意性流程图；
图2是根据本发明实施例的基于给定人脸图像和要添加的特征生成合成人脸图像的示意性原理图；
图3是根据本发明实施例的基于给定人脸图像和要添加的特征生成合成人脸图像的另一示意性原理图；
图4是根据本发明实施例的人脸特征图像提取网络的示意性结构图；
图5A是根据本发明实施例的合成特征图像生成网络的一个示意性结构图；
图5B是根据本发明实施例的合成特征图像生成网络的另一示意性结构图；
图6A是根据本发明实施例的与图5A对应的集成卷积神经网络的示意性结构图；
图6B是根据本发明实施例的与图5B对应的集成卷积神经网络的一个示意性结构图；
图6C是根据本发明实施例的与图5B对应的集成卷积神经网络的另一示意性结构图；
图7是根据本发明实施例的人脸特征添加方法的进一步示意性流程图；
图8是根据本发明实施例的合成人脸图像判定及网络训练方法的示意性原理图；
图9是根据本发明实施例的人脸判定深度卷积网络的示意性结构图；
图10是根据本发明实施例的人脸特征添加装置的示意性框图；
图11是根据本发明实施例的待叠加图像生成模块的示意性框图；以及
图12是用于实现根据本发明实施例的人脸特征添加及判定装置的电子设备的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本公开中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
图1是根据本发明实施例的人脸特征添加方法100的示意性流程图。
在步骤S110，基于给定人脸图像和在给定人脸图像上要添加的特征，生成待叠加图像。所述待叠加图像是要与所述给定人脸图像进行叠加的图像，并且所述待叠加图像的尺寸可以与所述给定人脸图像的尺寸相同或不同。所述给定人脸图像的通道数量与所述待叠加图像的通道数量相同，例如均为R、G、B三通道。
在步骤S120，将待叠加图像与给定人脸图像叠加，生成合成人脸图像。所述合成人脸图像的通道数量与所述给定人脸图像的通道数量相同，所述合成人脸图像的尺寸与所述给定人脸图像的尺寸相同或不同。
例如，所述待叠加图像的尺寸可以与所述给定人脸图像的尺寸相同，所述合成人脸图像的尺寸与所述给定人脸图像的尺寸相同，在此情况下，所述待叠加图像中的像素与所述给定人脸图像中的像素一一对应，并且通过将所述待叠加图像与所述给定人脸图像中的对应像素的像素值直接求和或者将对应像素的像素值进行加权求和，可以得到合成人脸图像。
再例如，所述待叠加图像的尺寸可以小于所述给定人脸图像的尺寸，所述合成人脸图像的尺寸与所述给定人脸图像的尺寸相同，在此情况下，所述给定人脸图像的部分图像中的像素与所述待叠加图像中的像素一一对应，通过将所述待叠加图像与所述给定人脸图像的部分图像中的对应像素的像素值直接求和或者将对应像素的像素值进行加权求和，并且保持所述给定人脸图像的其余部分图像的像素不变，可以得到合成人脸图像。
图2示出了根据本发明实施例的基于给定人脸图像和要添加的特征生成合成人脸图像的示意性原理图。
首先，根据在给定人脸图像上要添加的特征，从所述给定人脸图像中裁剪出与所述要添加的特征相关的部分图像，所述部分图像的通道数量与所述给定人脸图像的通道数量相同，并且所述部分图像的尺寸小于等于所述给定人脸图像的尺寸。所述要添加的特征包括N个特征，每个特征的取值都为在(－1，1)范围内的实数或者为在(0，1)范围内的实数，N为大于等于1的整数。例如，要添加的特征可以包括但不限于是否戴眼镜，是否有刘海，光照强度，脸部旋转角度等等。
接下来，利用人脸特征图像提取网络，基于裁剪出的所述部分图像，提取出人脸特征图像，所述人脸特征图像的尺寸小于所述部分图像的尺寸，并且所述人脸特征图像的通道数量大于所述部分图像的通道数量。例如，所述人脸特征图像可以为M通道的4×4或8×8的小图像。
然后，利用合成特征图像生成网络，基于所述人脸特征图像和与所述要添加的特征相对应的需求特征图像，生成所述待叠加图像，其中所述需求特征图像的尺寸与所述人脸特征图像的尺寸相同，所述待叠加图像的通道数量与所述给定人脸图像的通道数量相同。例如，在所述要添加的特征包括N个特征的情况下，所述需求特征图像包括N个通道，并且所述N个通道的需求特征图像与所述N个要添加的特征一一对应，例如，N个要添加的特征中某一特征的取值为a，则与其对应的需求特征图像的每个像素的取值均为a，并且该需求特征图像的尺寸与所述人脸特征图像的尺寸相同。
最后，将待叠加图像与所述给定人脸图像叠加，生成合成人脸图像。所述合成人脸图像的通道数量与所述给定人脸图像的通道数量相同，所述合成人脸图像的尺寸与所述给定人脸图像的尺寸相同或不同。
可选地，可以对裁剪得到的部分图像进行线性变换，以将所述部分图像变换至第一预定尺寸的中间图像，所述中间图像的通道数量与所述部分图像的通道数量相同。例如，所述第一预定尺寸可以为128×128，或256×256，所述中间图像的通道数量可以为3，例如R、G、B三个通道。在此情况下，利用人脸特征图像提取网络，基于所述第一预定尺寸的中间图像，提取出第二预定尺寸的人脸特征图像，所述第二预定尺寸小于所述第一预定尺寸，并且所述人脸特征图像的通道数量大于所述中间图像的通道数量。例如，所述第二预定尺寸可以为4×4或8×8，并且所述人脸特征图像的通道数量可以为128等。
相应地，所述合成特征图像生成网络生成第三预定尺寸的合成特征图像，所述合成特征图像的通道数量与所述给定人脸图像的通道数量相同，并且所述第三预定尺寸大于所述第二预定尺寸并且可以与所述第一预定尺寸相同或不同。可选地，可以对所述第三预定尺寸的合成特征图像进行与裁剪处理之后的线性变换相对应的逆线性变换，以生成部分待叠加图像，所述待叠加图像的通道数量与所述合成特征图像的通道数量相同，并且所述部分待叠加图像的尺寸与裁剪出的所述部分图像的尺寸相同。进一步，可选地，可以对所述部分待叠加图像进行与所述裁剪操作相对应的填充操作，从而生成待叠加图像，所述待叠加图像的尺寸与所述给定人脸图像的尺寸相同。
图3示出了根据本发明实施例的包括上述裁剪、线性变换和填充操作的人脸特征添加方法的示意性原理图。
根据本发明实施例，可以对所述第三预定尺寸的合成特征图像进行线性变换，以生成所述部分待叠加图像，其中，所述部分待叠加图像的尺寸可以与所述裁剪出的所述部分图像相同，所述部分待叠加图像的通道数量与所述给定人脸图像的通道数量相同，并且所述部分待叠加图像的任一通道唯一地与所述给定人脸图像的一个通道相对应。
可选地，可以将所述部分待叠加图像用作待叠加图像。在此情况下，可以与对所述给定人脸图像进行的裁剪相对应地，将待叠加图像与所述给定人脸图像中对应的通道在裁剪位置处逐像素地叠加，或者将待叠加图像与所述给定人脸图像中对应的通道在裁剪位置处逐像素地进行加权叠加，以生成合成人脸图像，所述合成人脸图像的通道数量与所述给定人脸图像的通道数量相同。
可选地，根据本发明实施例，进一步地，可以与对所述给定人脸图像进行的裁剪相对应地，对所述部分待叠加图像进行图像填充，以生成所述待叠加图像，其中，所述待叠加图像的尺寸与所述给定人脸图像的尺寸相同，所述待叠加图像的通道数量与所述给定人脸图像的通道数量相同，并且所述待叠加图像的任一通道唯一地与所述给定人脸图像的一个通道相对应。此外，将待叠加图像与所述给定人脸图像中对应的通道逐像素地叠加，或者将待叠加图像与所述给定人脸图像中对应的通道逐像素地进行加权叠加，以生成合成人脸图像，所述合成人脸图像的通道数量与所述给定人脸图像的通道数量相同。
图4示出了根据本发明实施例的人脸特征图像提取网络的示意性结构图。
如图4所示，根据本发明实施例的人脸特征图像提取网络包括：级联的P层卷积神经网络，其中P为大于等于2的整数。第p层卷积神经网络的输出图像的尺寸小于其输入图像的尺寸，并且其输出图像的通道数量大于其输入图像的通道数量，其中p为大于等于1且小于等于P的整数。
例如，与图2相对应地，利用所述P层卷积神经网络中的第一层卷积神经网络接收所述部分图像，所述部分图像例如为三个(通道)尺寸为128×128的图像，例如R通道、G通道和B通道的尺寸为128×128的图像，第一层卷积神经网络输出的中间图像的通道数量大于所述部分图像的通道数量并且尺寸小于所述部分图像的尺寸，第P层卷积神经网络输出多个小图像，例如128个尺寸为4×4或8×8的小图像。
例如，与图3相对应地，利用所述P层卷积神经网络中的第一层卷积神经网络接收所述第一预定尺寸的中间图像，利用第P层卷积神经网络输出所述第二预定尺寸的人脸特征图像。例如，所述第一预定尺寸为128×128或256×256，所述第二预定尺寸为4×4或8×8，所述人脸特征图像的通道数量为128等。
图5A和图5B示出了根据本发明实施例的合成特征图像生成网络的示意性结构图。
如图5A和图5B所示，根据本发明实施例的合成特征图像生成网络包括至少一层全连接神经网络和K层集成卷积神经网络，其中K为大于等于2的整数。所述集成卷积神经网络的层数K由所述合成特征图像的尺寸决定，所述合成特征图像的尺寸越大，所述集成卷积神经网络的层数K越多。例如，所述合成特征图像的尺寸为256×256，所需的集成卷积神经网络的层数K为3层；所述合成特征图像的尺寸为128×128，所需的集成卷积神经网络的层数K为2层。
如图5A所示，利用所述至少一层全连接神经网络接收M通道的人脸特征图像和N通道的需求特征图像，所述人脸特征图像的尺寸与所述需求特征图像的尺寸相同，所述至少一层全连接神经网络基于所述M通道的人脸特征图像和N通道的需求特征图像生成初始合成图像。然后，第一层卷积神经网络接收所述至少一层全连接神经网络输出的初始合成图像并生成第一层的合成图像；第k层卷积神经网络接收第k-1层卷积神经网络输出的第k-1层合成图像并生成第k层合成图像，其中k为大于等于2且小于等于K的整数，所述第k层合成图像的尺寸大于第k-1层合成图像的尺寸，并且所述第k层合成图像的通道数量小于第k-1层合成图像的通道数量；最后，利用第K层卷积神经网络接收第K-1层卷积神经网络输出的第K-1层合成图像并生成第K层合成图像，并且该第K层合成图像作为所述第三预定尺寸的合成特征图像。
如图5B所示，利用所述至少一层全连接神经网络接收M通道的人脸特征图像和N通道的需求特征图像，所述人脸特征图像的尺寸与所述需求特征图像的尺寸相同，所述至少一层全连接神经网络基于所述M通道的人脸特征图像和N通道的需求特征图像生成初始合成图像。然后，第一层集成卷积神经网络不仅可以从所述至少一层全连接神经网络接收所述初始合成图像，而且还可以接收N通道的初始映射图像，并且基于所述初始合成图像和所述初始映射图像生成第一层合成图像，其中，所述N通道的初始映射图像与所述N个要添加的特征一一对应，例如，N个要添加的特征中某一特征的取值为a，则与其对应的初始映射图像的每个像素的取值均为a，并且该初始映射图像的尺寸与所述初始合成图像的尺寸相同，下面，为了表述简单和统一，将初始合成图像称为第0层合成图像，并将初始映射图像称为第0层映射图像。类似地，第k层集成卷积神经网络不仅可以从第k-1层集成卷积神经网络接收所述第k-1层合成图像，而且还可以接收N通道的第k-1层映射图像，并且基于所述第k-1层合成图像和所述第k-1层映射图像生成第k层合成图像，其中，所述N通道的第k-1层映射图像与所述N个要添加的特征一一对应，所述第k-1层映射图像的尺寸与第k-1层合成图像的尺寸相同，所述第k层合成图像的尺寸大于第k-1层合成图像的尺寸，并且所述第k层合成图像的通道数量小于第k-1层合成图像的通道数量；最后，第K层卷积神经网络接收第K-1层卷积神经网络输出的第K-1层合成图像，而且还可以接收N通道的第K-1层映射图像，并且基于所述第K-1层合成图像和所述第K-1层映射图像生成第K层合成图像，并且该第K层合成图像作为所述合成人脸图像，其中，所述N通道的第K-1层映射图像与所述N个要添加的特征一一对应，所述第K-1层合成图像的尺寸与第K-1层映射图像的尺寸相同，所述第K层合成图像的尺寸大于第K-1层合成图像的尺寸，并且所述第K层合成图像的通道数量小于第K-1层合成图像的通道数量。
应了解，所述K层集成卷积神经网络中的任一层(第k层，k为大于等于1且小于等于K的整数)的集成卷积神经网络都可以仅基于其接收的合成图像来生成该层的合成图像，或者也可以基于其接收的第k-1层合成图像和第k-1层映射图像来生成该层的合成图像。此外，应了解，第k-1层映射图像包括N通道的第k-1层映射图像，所述N通道的第k-1层映射图像与所述N个要添加的特征一一对应。
图6A示出了根据本发明实施例的与图5A对应的集成卷积神经网络的示意性结构图。
如图6A所示，每一层集成卷积神经网络包括放大网络和J层卷积神经网络，其中J为大于等于2的整数。下面，为描述方便，将图6A所示的集成卷积神经网络称为第k层集成卷积神经网络。
与图5A所示的人脸生成深度卷积网络相对应，图6A所示的第k层集成卷积神经网络接收第k-1层合成图像，k为大于等于1且小于等于K的整数。
具体地，在k等于1的情况下，利用第一层集成卷积神经网络的放大网络接收所述全连接神经网络的输出图像(初始合成图像，即第0层合成图像)；在k大于1的情况下，利用第k层集成卷积神经网络的放大网络接收第k-1层集成卷积神经网络的输出图像(第k-1层合成图像)。放大网络将所接收的输入图像(第k-1层合成图像)放大以生成放大图像，然后第一层卷积神经网络接收该放大图像并生成第一层中间图像，类似地，第j层卷积神经网络从第j-1层卷积神经网络接收第j-1层中间图像并生成第j层中间图像，其中，第j层中间图像的尺寸与第j-1层中间图像的尺寸相同，第j层中间图像的通道数量可以大于、等于或小于第j-1层中间图像的通道数量，其中，j为大于等于2且小于等于J的整数；最后第J层卷积神经网络接收第J-1层中间图像并生成第J层中间图像，该第J层中间图像作为该第k层集成卷积神经网络输出的第k层合成图像。
例如，所述放大网络将所接收的第k-1层合成图像放大两倍，即假设第k-1层合成图像的尺寸为32×32，则所述放大网络所生成的放大图像的尺寸为64×64。应了解，所述放大网络所生成的放大图像的通道数量与所述第k-1层合成图像的通道数量相同，并且所述第k层集成卷积神经网络生成的第k层合成图像的通道数量小于所述第k-1层合成图像的通道数量。例如，所述第k层集成卷积神经网络生成的第k层合成图像的通道数量为所述第k-1层合成图像的通道数量的1/2、1/3等。
图6B示出了根据本发明实施例的与图5B对应的集成卷积神经网络的示意性结构图。
如图6B所示，每一层集成卷积神经网络包括放大网络和J层卷积神经网络，其中J为大于等于2的整数。下面，为描述方便，仍将图6B所示的集成卷积神经网络称为第k层集成卷积神经网络。
与图5B所示的人脸生成深度卷积网络相对应，图6B所示的第k层集成卷积神经网络接收第k-1层合成图像并且还接收第k-1层映射图像，k为大于等于1且小于等于K的整数。
具体地，在k等于1的情况下，利用第一层集成卷积神经网络的放大网络接收所述全连接神经网络的输出图像(初始合成图像，即第0层合成图像)和初始映射图像(即第0层映射图像)；在k大于1的情况下，利用第k层集成卷积神经网络的放大网络接收第k-1层集成卷积神经网络的输出图像(第k-1层合成图像)和第k-1层映射图像。放大网络接收第k-1层合成图像和第k-1层映射图像并将该第k-1层合成图像和第k-1层映射图像放大以生成放大图像，然后第一层卷积神经网络接收该放大图像并生成第一层中间图像，类似地，第j层卷积神经网络从第j-1层卷积神经网络接收第j-1层中间图像并生成第j层中间图像，第j层中间图像的尺寸与第j-1层中间图像的尺寸相同，并且第j层中间图像的通道数量可以大于、等于或小于第j-1层中间图像的通道数量，其中j为大于等于2且小于等于J的整数；最后第J层卷积神经网络接收第J-1层中间图像并生成第J层中间图像，该第J层中间图像作为该第k层集成卷积神经网络输出的第k层合成图像。
图6C示出了根据本发明实施例的与图5B对应的集成卷积神经网络的另一示意性结构图。
与图6B所示的将第k-1层映射图像输入至放大网络不同，在图6C中，第k-1层映射图像被输入至第一层卷积神经网络。在此情况下，每个第k-1层映射图像的尺寸与放大网络输出的放大图像的尺寸相同。第一层卷积神经网络接收该放大图像和第k-1层映射图像并生成第一层中间图像，类似地，第j层卷积神经网络接收第j-1层中间图像并生成第j层中间图像，最后第J层卷积神经网络接收第J-1层中间图像并生成第J层中间图像，该第J层中间图像作为该第k层集成卷积神经网络输出的第k层合成图像。
可选地，除了第一层卷积神经网络之外，第k-1层映射图像还可以被输入至J层卷积神经网络中的任一层。应注意，无论第k-1层映射图像被输入至哪一层卷积神经网络，输入至该层的第k-1层映射图像的尺寸都与输入至该层的中间图像的尺寸相同。
根据本发明实施例，在生成了所述合成人脸图像之后，还进一步对所生成的合成人脸图像进行评估，并且可选地根据评估结果来更新所述人脸特征图像提取网络以及所述合成特征图像生成网络的参数。
图7示出了根据本发明实施例的人脸特征添加方法的进一步示意性流程图。
在步骤S710，基于给定人脸图像和在给定人脸图像上要添加的特征，生成待叠加图像。步骤S710的操作与步骤S110的操作相似，在此不再赘述。
在步骤S720，将待叠加图像与给定人脸图像叠加，生成合成人脸图像。所述合成人脸图像的通道数量与所述给定人脸图像的通道数量相同，所述合成人脸图像的尺寸与所述给定人脸图像的尺寸相同或不同。步骤S720的操作与步骤S110的操作相似，在此不再赘述。
然后，在步骤S730，利用人脸判定深度卷积网络，基于所述合成人脸图像，生成人脸满足度评分。所述人脸满足度评分用于表示所述合成人脸图像是否为人脸图像，并且其取值范围为0到1的实数。
在步骤S740，计算所述待叠加图像的L1范数。例如，所述待叠加图像的通道数量为3，对于每个通道而言，将该通道的待叠加图像的全部像素值求和以得到该通道的待叠加图像的像素值和，然后将各个通道的待叠加图像的像素值和再求和，以得到所述待叠加图像的L1范数。通过使用L1范数，可以使得所述生成的待叠加图像中值为零的像素点尽量多，以保证经过叠加后照片中任务的身份信息不变。
在步骤S750，根据所述第一人脸满足度评分和所述待叠加图像的L1范数，更新所述人脸特征图像提取网络和所述合成特征图像生成网络的系数。
作为示例，可以首先利用第一线性组合函数，基于所述人脸满足度评分和所述待叠加图像的L1范数，计算第一组合评分。例如，所述第一线性组合函数可以为Sg1＝a1*Sf1+b1*L1，其中Sg1表示所述第一组合评分，Sf1表示所述人脸满足度评分，L1表示所述待叠加图像的L1范数，a1和b1表示加权系数。
然后，再根据所述第一组合评分，更新所述人脸特征图像提取网络和所述合成特征图像生成网络的系数。例如，可以利用梯度下降方法等更新各网络的参数，例如可以利用反向传导法则计算各参数的梯度。
此外，本发明实施例的人脸特征添加方法还可以进一步利用人脸判定深度卷积网络对带有所述要添加的特征的真实图像进行评估，从而根据评估结果来更新所述人脸判定深度卷积网络的参数。
在步骤S760，利用人脸判定深度卷积网络，基于带有所述要添加的特征的真实图像，生成第二人脸满足度评分。
在步骤S770，根据所述第一人脸满足度评分和所述第二人脸满足度评分，更新所述人脸判定深度卷积网络的系数。
作为示例，首先，可以利用第二线性组合函数，基于所述第一人脸满足度评分和所述第二人脸满足度评分，计算第二组合评分。例如，所述第二线性组合函数可以为Sg2＝a2*Sf1+b2*Sf2，其中Sg2表示所述第二组合评分，Sf1表示所述第一人脸满足度评分，Sf2表示所述第二人脸满足度评分，a2和b2表示加权系数。可选地，a2＝b2＝1。
然后，再根据所述第二组合评分，更新所述人脸判定深度卷积网络的系数。例如，可以利用梯度下降方法等更新各网络的参数，例如可以利用反向传导法则计算各参数的梯度。
图8示出了根据本发明实施例的合成人脸图像判定及网络训练方法的示意性原理图。
图9示出了根据本发明实施例的人脸判定深度卷积网络的示意性结构图。
如图9所示，所述人脸判定深度卷积网络包括：L层卷积神经网络和至少一层全连接神经网络。利用第一层卷积神经网络接收输入图像，所述至少一层全连接神经网络接收第L层卷积神经网络的输出图像并输出所述人脸满足度评分。
具体地，利用第一层卷积神经网络接收所述合成人脸图像，所述至少一层全连接神经网络接收第L层卷积神经网络的输出图像并输出所述第一人脸满足度评分；利用第一层卷积神经网络接收所述带有所述要添加的特征的真实图像，所述至少一层全连接神经网络接收第L层卷积神经网络的输出图像并输出所述第二人脸满足度评分。
此外，在本发明实施例的一个示例性实施例中，在上述人脸特征图像提取网络、合成特征图像生成网络、集成卷积神经网络、人脸判定深度卷积网络中，在各网络中的最后一层卷积神经网络上嵌套非线性函数层，并且除了各网络中最后一层卷积神经网络之外，在各网络中的各层卷积网络上都嵌套归一化与非线性函数层。本领域技术人员可以采用现有技术中的相关方法来实现这样的非线性函数层以及归一化与非线性函数层，在此不再赘述，并且本发明不受具体的归一化方法和非线性函数的限制。采用本示例性实现方式的实施例，相对其他实施例具有更好的技术效果，即合成的人脸更满足具体需求。
图10示出了根据本发明实施例的人脸特征添加装置的示意性框图。
如图10所示，所述人脸特征添加装置1000包括：待叠加图像生成模块1010以及合成人脸图像生成模块1020。
所述待叠加图像生成模块1010被配置为基于给定人脸图像和在给定人脸图像上要添加的特征，生成待叠加图像。
所述合成人脸图像生成模块1020被配置为将待叠加图像与所述给定人脸图像叠加，生成合成人脸图像。
此外，所述人脸特征添加装置1000还可以包括：人脸判定模块1030、范数计算模块1040、第一参数调整模块1050、以及第二参数调整模块1060。
所述人脸判定模块1030被配置为利用人脸判定深度卷积网络，基于所述合成人脸特征添加第一人脸满足度评分，并且可选地还基于带有所述要添加的特征的真实图像生成第二人脸满足度评分。
所述范数计算模块1040被配置为计算所述待叠加图像的L1范数。
所述第一参数调整模块1050被配置为基于所述第一人脸满足度评分和所述待叠加图像的L1范数，更新所述人脸特征图像提取网络和所述合成特征图像生成网络的系数。
所述第一参数调整模块1050可以包括第一组合模块和第一参数更新模块。所述第一组合模块被配置为利用第一线性组合函数，基于所述人脸满足度评分和所述待叠加图像的L1范数来计算第一组合评分，并且所述第一参数更新模块被配置为根据所述第一组合评分，更新所述人脸特征图像提取网络和所述合成特征图像生成网络的系数。
所述第二参数调整模块1060被配置为基于所述第一人脸满足度评分和所述第二人脸满足度评分，更新所述人脸判定深度卷积网络的系数。
所述第二参数调整模块1060可以包括第二组合模块和第二参数更新模块。所述第二组合模块被配置为利用第二线性组合函数，基于所述第一人脸满足度评分和所述第二人脸满足度评分来计算第二组合评分。所述第二参数更新模块被配置为根据所述第二组合评分，更新所述人脸判定深度卷积网络的系数。
图11示出了根据本发明实施例的待叠加图像生成模块的示意性框图。
如图11所示，所述待叠加图像生成模块1010包括：图像裁剪模块1011、特征提取模块1012以及待叠加图像合成模块1013。
所述图像裁剪模块1011被配置为根据在给定人脸图像上要添加的特征，从所述给定人脸图像中裁剪出与所述要添加的特征相关的部分图像，所述部分图像的通道数量与所述给定人脸图像的通道数量相同。
所述特征提取模块1012被配置为利用人脸特征图像提取网络，基于裁剪出的所述部分图像，提取出人脸特征图像，所述人脸特征图像的尺寸小于所述部分图像的尺寸，并且所述人脸特征图像的通道数量大于所述部分图像的通道数量。
所述待叠加图像合成模块1013被配置为利用合成特征图像生成网络，基于所述人脸特征图像和与所述要添加的特征相对应的需求特征图像，生成所述待叠加图像，所述待叠加图像的通道数量与所述给定人脸图像的通道数量相同。
可选地，所述特征提取模块1012可以包括第一线性变换子模块和特征图像提取子模块，并且所述待叠加图像合成模块1013可以包括特征图像合成子模块和第二线性变换子模块。
所述第一线性变换子模块被配置为：对裁剪出的所述部分图像进行线性变换，得到第一预定尺寸的中间图像，所述中间图像的通道数量与所述部分图像的通道数量相同。
所述特征图像提取子模块被配置为：利用人脸特征图像提取网络，基于所述第一预定尺寸的中间图像，提取出第二预定尺寸的人脸特征图像，所述第二预定尺寸小于所述第一预定尺寸，并且所述人脸特征图像的通道数量大于所述中间图像的通道数量。
所述特征图像合成子模块被配置为：利用合成特征图像生成网络，基于所述人脸特征图像和所述需求特征图像，生成第三预定尺寸的合成特征图像，所述第三预定尺寸大于所述第二预定尺寸，并且所述第三预定尺寸与所述第一预定尺寸相同或不同。
所述第二线性变换子模块被配置为：对所述第三预定尺寸的合成特征图像进行线性变换，以生成部分待叠加图像，所述部分待叠加图像的尺寸与裁剪出的所述部分图像的尺寸相同，所述部分待叠加图像的通道数量与所述给定人脸图像的通道数量相同，并且所述部分待叠加图像的任一通道唯一地与所述给定人脸图像的一个通道相对应。
在此情况下，可以将所述部分待叠加图像作为所述待叠加图像，并且与对所述给定人脸图像进行的裁剪相对应地，所述合成人脸图像生成模块将待叠加图像与所述给定人脸图像中对应的通道在裁剪位置处逐像素地叠加，或者将待叠加图像与所述给定人脸图像中对应的通道在裁剪位置处逐像素地进行加权叠加，以生成合成人脸图像，所述合成人脸图像的通道数量与所述给定人脸图像的通道数量相同。
此外，可选地，所述待叠加图像生成模块1010还可以包括：图像填充模块1014。
所述图像填充模块1014被配置为：与对所述给定人脸图像进行的裁剪相对应地，对所述部分待叠加图像进行图像填充，以生成所述待叠加图像。所述待叠加图像的尺寸与所述给定人脸图像的尺寸相同，所述待叠加图像的通道数量与所述给定人脸图像的通道数量相同，并且所述待叠加图像的任一通道唯一地与所述给定人脸图像的一个通道相对应。
在此情况下，所述合成人脸图像生成模块将待叠加图像与所述给定人脸图像中对应的通道逐像素地叠加，或者将待叠加图像与所述给定人脸图像中对应的通道逐像素地进行加权叠加，以生成合成人脸图像，所述合成人脸图像的通道数量与所述给定人脸图像的通道数量相同。
图12示出了用于实现根据本发明实施例的人脸特征添加及判定装置的电子设备的示意性框图。
所述电子设备包括：一个或多个处理器1210、存储装置1220、输入装置1230和输出装置1240，这些组件通过总线系统1280和/或其它形式的连接机构(未示出)互连。应当注意，图12所示的电子设备的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器1210可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元。
所述存储装置1220可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1210可以运行所述程序指令，以实现上文所述的本发明实施例中(由处理器实现)的功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如给定人脸图像、合成人脸图像、需求特征向量等以及所述应用程序使用和/或产生的各种数据等。
所述输入装置1230可以包括键盘等可供输入给定人脸图像或要添加的特征的装置。
所述输出装置1240可以包括显示器以输出合成人脸图像和/或各种评分结果，并且还可以包括扬声器等以输出各种评分结果。
通过处理器1210执行存储在存储装置1220中的计算机程序指令可以实现如上所述的人脸特征添加方法及装置、以及如上所述的人脸特征添加及判定方法及装置，并且具体地可以实现如上所述的人脸特征图像提取网络、合成特征图像生成网络以及人脸判定深度卷积网络。
应了解，根据本发明实施例，通过利用合成特征图像生成网络基于人脸特征图像和需求特征图像生成待叠加图像，无需利用三维模型，可以快速地生成包含要添加的特征的待叠加图像，然后通过将待叠加图像与给定人脸图像叠加便可以得到在给定人脸图像上包含要添加的特征的合成人脸图像。
此外，根据本发明实施例，在生成了合成人脸图像之后，通过利用人脸判定深度卷积网络判定所生成的合成人脸图像是否是人脸并生成相应的第一人脸满足度评分，并且通过计算所述待叠加图像的L1范数，可以利用该人脸满足度评分和L1范数的线性组合构建人脸特征图像提取网络和合成特征图像生成网络的损失函数，由此更新所述人脸特征图像提取网络和合成特征图像生成网络的参数。
此外，根据本发明实施例，在生成了合成人脸图像之后，通过利用人脸判定深度卷积网络判定带有所述要添加的特征的真实图像的第二人脸满足度评分，并且可以利用第一和第二人脸满足度评分的线性组合构建人脸判定深度卷积网络的损失函数，由此更新所述人脸判定深度卷积网络的参数。
通过上述参数更新，可以将人脸特征图像提取网络、合成特征图像生成网络和人脸判定深度卷积网络同步地训练。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

Claims (31)

1.一种人脸特征添加方法，包括：
基于给定人脸图像和在给定人脸图像上要添加的特征，生成待叠加图像；以及
将待叠加图像与所述给定人脸图像叠加，生成带有所述要添加的特征的合成人脸图像，
其中，所述生成待叠加图像包括：
根据在给定人脸图像上要添加的特征，从所述给定人脸图像中裁剪出与所述要添加的特征相关的部分图像；
利用人脸特征图像提取网络，基于裁剪出的所述部分图像，提取出人脸特征图像，所述人脸特征图像的尺寸小于所述部分图像的尺寸；以及
基于所述人脸特征图像和与所述要添加的特征相对应的需求特征图像，生成所述待叠加图像。
2.如权利要求1所述的人脸特征添加方法，其中，所述部分图像的通道数量与所述给定人脸图像的通道数量相同，并且所述人脸特征图像的通道数量大于所述部分图像的通道数量，所述待叠加图像的通道数量与所述给定人脸图像的通道数量相同。
3.如权利要求1所述的人脸特征添加方法，其中，基于裁剪出的所述部分图像提取出人脸特征图像包括：
对裁剪出的所述部分图像进行线性变换，得到第一预定尺寸的中间图像，所述中间图像的通道数量与所述部分图像的通道数量相同；
利用所述人脸特征图像提取网络，基于所述第一预定尺寸的中间图像，提取出第二预定尺寸的人脸特征图像，所述第二预定尺寸小于所述第一预定尺寸，并且所述人脸特征图像的通道数量大于所述中间图像的通道数量。
4.如权利要求3所述的人脸特征添加方法，其中，所述人脸特征图像提取网络包括：级联的P层卷积神经网络，其中P为大于等于2的整数，
其中，利用第一层卷积神经网络接收所述第一预定尺寸的中间图像，利用第P层卷积神经网络输出所述第二预定尺寸的人脸特征图像，
其中，第p层卷积神经网络的输出图像的尺寸小于其输入图像的尺寸，并且其输出图像的通道数量大于其输入图像的通道数量，其中p为大于等于1且小于等于P的整数。
5.如权利要求3所述的人脸特征添加方法，其中，基于所述人脸特征图像和需求特征图像生成所述待叠加图像包括：
利用合成特征图像生成网络，基于所述人脸特征图像和所述需求特征图像，生成第三预定尺寸的合成特征图像，所述第三预定尺寸大于所述第二预定尺寸，并且所述第三预定尺寸与所述第一预定尺寸相同或不同；以及
对所述第三预定尺寸的合成特征图像进行与裁剪处理之后的线性变换相对应的逆线性变换，以生成部分待叠加图像，
其中，所述部分待叠加图像的通道数量与所述合成特征图像的通道数量相同，并且所述部分待叠加图像的尺寸与裁剪出的所述部分图像的尺寸相同，并且所述部分待叠加图像的任一通道唯一地与所述给定人脸图像的一个通道相对应。
6.如权利要求5所述的人脸特征添加方法，其中，所述合成特征图像生成网络包括级联的至少一层全连接神经网络和K层集成卷积神经网络，其中K为大于等于2的整数，
其中，利用所述至少一层全连接神经网络接收所述人脸特征图像和所述需求特征图像，利用第一层集成卷积神经网络接收所述全连接神经网络的输出图像，第K层集成卷积神经网络输出所述第三预定尺寸的合成特征图像，
其中，第k层集成卷积神经网络的输出图像的尺寸大于其输入图像的尺寸，并且其输出图像的通道数量小于其输入图像的通道数量，其中k为大于等于1且小于等于K的整数。
7.如权利要求5所述的人脸特征添加方法，其中，将所述部分待叠加图像作为所述待叠加图像，
其中，所述将待叠加图像与所述给定人脸图像叠加以生成合成人脸图像包括：与对所述给定人脸图像进行的裁剪相对应地，将待叠加图像与所述给定人脸图像中对应的通道在裁剪位置处逐像素地叠加，或者将待叠加图像与所述给定人脸图像中对应的通道在裁剪位置处逐像素地进行加权叠加，以生成合成人脸图像，所述合成人脸图像的通道数量与所述给定人脸图像的通道数量相同。
8.如权利要求5所述的人脸特征添加方法，其中，基于所述人脸特征图像和需求特征图像生成所述待叠加图像还包括：与对所述给定人脸图像进行的裁剪相对应地，对所述部分待叠加图像进行图像填充，以生成所述待叠加图像，
其中，所述待叠加图像的尺寸与所述给定人脸图像的尺寸相同，所述待叠加图像的通道数量与所述给定人脸图像的通道数量相同，并且所述待叠加图像的任一通道唯一地与所述给定人脸图像的一个通道相对应；
其中，所述将待叠加图像与所述给定人脸图像叠加以生成合成人脸图像包括：将待叠加图像与所述给定人脸图像中对应的通道逐像素地叠加，或者将待叠加图像与所述给定人脸图像中对应的通道逐像素地进行加权叠加，以生成合成人脸图像，所述合成人脸图像的通道数量与所述给定人脸图像的通道数量相同。
9.如权利要求6所述的人脸特征添加方法，其中，所述第k层集成卷积神经网络包括：放大网络和J层卷积神经网络，其中J为大于等于2的整数；
其中，在k等于1的情况下，利用第一层集成卷积神经网络的放大网络接收所述全连接神经网络的输出图像；在k大于1的情况下，利用第k层集成卷积神经网络的放大网络接收第k-1层集成卷积神经网络的输出图像；
利用所述第k层集成卷积神经网络的第一层卷积神经网络接收放大网络的输出图像，并且利用第k层集成卷积神经网络的第J层卷积神经网络输出所述第k层集成卷积神经网络的输出图像；
其中，第j层卷积神经网络的输出图像的尺寸与其输入图像的尺寸相同，并且其输出图像的通道数量小于其输入图像的通道数量，其中j为大于等于1且小于等于J的整数。
10.如权利要求1所述的人脸特征添加方法，还包括：
利用人脸判定深度卷积网络，基于所述合成人脸图像，生成第一人脸满足度评分；
计算所述待叠加图像的L1范数；以及
根据所述第一人脸满足度评分和所述待叠加图像的L1范数，更新所述人脸特征图像提取网络和所述合成特征图像生成网络的系数。
11.如权利要求10所述的人脸特征添加方法，还包括：
利用人脸判定深度卷积网络，基于带有所述要添加的特征的真实图像，生成第二人脸满足度评分；以及
根据所述第一人脸满足度评分和所述第二人脸满足度评分，更新所述人脸判定深度卷积网络的系数。
12.如权利要求10所述的人脸特征添加方法，其中，所述人脸判定深度卷积网络包括：L层卷积神经网络和至少一层全连接神经网络；
其中，利用第一层卷积神经网络接收输入图像，所述至少一层全连接神经网络接收第L层卷积神经网络的输出图像并输出所述人脸满足度评分。
13.一种人脸特征添加装置，包括：
待叠加图像生成模块，被配置为：基于给定人脸图像和在给定人脸图像上要添加的特征，生成待叠加图像；以及
合成人脸图像生成模块，被配置为：将待叠加图像与给定人脸图像叠加，生成带有所述要添加的特征的合成人脸图像，
其中，所述待叠加图像生成模块包括：
图像裁剪模块，被配置为：根据在给定人脸图像上要添加的特征，从所述给定人脸图像中裁剪出与所述要添加的特征相关的部分图像；
特征提取模块，被配置为：利用人脸特征图像提取网络，基于裁剪出的所述部分图像，提取出人脸特征图像，所述人脸特征图像的尺寸小于所述部分图像的尺寸；以及
待叠加图像合成模块，被配置为：基于所述人脸特征图像和与所述要添加的特征相对应的需求特征图像，生成所述待叠加图像。
14.如权利要求13所述的人脸特征添加装置，其中，所述部分图像的通道数量与所述给定人脸图像的通道数量相同，并且所述人脸特征图像的通道数量大于所述部分图像的通道数量，所述待叠加图像的通道数量与所述给定人脸图像的通道数量相同。
15.如权利要求13所述的人脸特征添加装置，其中，所述特征提取模块包括：
第一线性变换子模块，被配置为：对裁剪出的所述部分图像进行线性变换，得到第一预定尺寸的中间图像，所述中间图像的通道数量与所述部分图像的通道数量相同；以及
特征图像提取子模块，被配置为：利用所述人脸特征图像提取网络，基于所述第一预定尺寸的中间图像，提取出第二预定尺寸的人脸特征图像，所述第二预定尺寸小于所述第一预定尺寸，并且所述人脸特征图像的通道数量大于所述中间图像的通道数量。
16.如权利要求15所述的人脸特征添加装置，其中，所述人脸特征图像提取网络包括：级联的P层卷积神经网络，其中P为大于等于2的整数，
其中，利用第一层卷积神经网络接收所述第一预定尺寸的中间图像，利用第P层卷积神经网络输出所述第二预定尺寸的人脸特征图像，
其中，第p层卷积神经网络的输出图像的尺寸小于其输入图像的尺寸，并且其输出图像的通道数量大于其输入图像的通道数量，其中p为大于等于1且小于等于P的整数。
17.如权利要求15所述的人脸特征添加装置，其中，所述待叠加图像合成模块包括：
特征图像合成子模块，被配置为：利用合成特征图像生成网络，基于所述人脸特征图像和所述需求特征图像，生成第三预定尺寸的合成特征图像，所述第三预定尺寸大于所述第二预定尺寸，并且所述第三预定尺寸与所述第一预定尺寸相同或不同；以及
第二线性变换子模块，被配置为：对所述第三预定尺寸的合成特征图像进行线性变换，以生成部分待叠加图像，
其中，所述部分待叠加图像的尺寸与所述裁剪出的所述部分图像相同，所述部分待叠加图像的通道数量与所述给定人脸图像的通道数量相同，并且所述部分待叠加图像的任一通道唯一地与所述给定人脸图像的一个通道相对应。
18.如权利要求17所述的人脸特征添加装置，其中，所述合成特征图像生成网络包括级联的全连接神经网络和K层集成卷积神经网络，其中K为大于等于2的整数，
其中，利用所述全连接神经网络接收所述人脸特征图像和所述需求特征图像，利用第一层集成卷积神经网络接收所述全连接神经网络的输出图像，第K层集成卷积神经网络输出所述第三预定尺寸的合成特征图像，
其中，第k层集成卷积神经网络的输出图像的尺寸大于其输入图像的尺寸，并且其输出图像的通道数量小于其输入图像的通道数量，其中k为大于等于1且小于等于K的整数。
19.如权利要求17所述的人脸特征添加装置，其中，将所述部分待叠加图像作为所述待叠加图像，
与对所述给定人脸图像进行的裁剪相对应地，所述合成人脸图像生成模块将待叠加图像与所述给定人脸图像中对应的通道在裁剪位置处逐像素地叠加，或者将待叠加图像与所述给定人脸图像中对应的通道在裁剪位置处逐像素地进行加权叠加，以生成合成人脸图像，所述合成人脸图像的通道数量与所述给定人脸图像的通道数量相同。
20.如权利要求17所述的人脸特征添加装置，其中，所述待叠加图像生成模块还包括：
图像填充模块，被配置为：与对所述给定人脸图像进行的裁剪相对应地，对所述部分待叠加图像进行图像填充，以生成所述待叠加图像，
其中，所述待叠加图像的尺寸与所述给定人脸图像的尺寸相同，所述待叠加图像的通道数量与所述给定人脸图像的通道数量相同，并且所述待叠加图像的任一通道唯一地与所述给定人脸图像的一个通道相对应；
其中，所述合成人脸图像生成模块将待叠加图像与所述给定人脸图像中对应的通道逐像素地叠加，或者将待叠加图像与所述给定人脸图像中对应的通道逐像素地进行加权叠加，以生成合成人脸图像，所述合成人脸图像的通道数量与所述给定人脸图像的通道数量相同。
21.如权利要求18所述的人脸特征添加装置，其中，所述第k层集成卷积神经网络包括：放大网络和J层卷积神经网络，其中J为大于等于2的整数；
其中，利用第一层集成卷积神经网络的放大网络接收所述全连接神经网络的输出图像；
利用所述第k层集成卷积神经网络的第一层卷积神经网络接收放大网络的输出图像，并且利用第k层集成卷积神经网络的第J层卷积神经网络输出所述第k层集成卷积神经网络的输出图像；
其中，第j层卷积神经网络的输出图像的尺寸与其输入图像的尺寸相同，并且其输出图像的通道数量小于其输入图像的通道数量，其中j为大于等于1且小于等于J的整数。
22.如权利要求13所述的人脸特征添加装置，还包括：
人脸判定模块，被配置为：利用人脸判定深度卷积网络，基于所述合成人脸图像，生成第一人脸满足度评分；
范数计算模块，被配置为：计算所述待叠加图像的L1范数；以及
第一参数调整模块，被配置为：基于所述第一人脸满足度评分和所述待叠加图像的L1范数，更新所述人脸特征图像提取网络和所述合成特征图像生成网络的系数。
23.如权利要求22所述的人脸特征添加装置，其中，所述人脸判定模块还被配置为：利用人脸判定深度卷积网络，基于带有所述要添加的特征的真实图像，生成第二人脸满足度评分；
所述人脸特征添加装置还包括：
第二参数调整模块，被配置为：基于所述第一人脸满足度评分和所述第二人脸满足度评分，更新所述人脸判定深度卷积网络的系数。
24.如权利要求22或23所述的人脸特征添加装置，其中，所述人脸判定深度卷积网络包括：L层卷积神经网络和至少一层全连接神经网络；
其中，利用第一层卷积神经网络接收输入图像，所述至少一层全连接神经网络接收第L层卷积神经网络的输出图像并输出所述人脸满足度评分。
25.一种人脸特征添加设备，包括：
一个或多个处理器；
一个或多个存储器；其中存储了程序指令，在所述处理器执行所述程序指令时：
基于给定人脸图像和在给定人脸图像上要添加的特征，生成待叠加图像；以及
将待叠加图像与给定人脸图像叠加，生成带有所述要添加的特征的合成人脸图像，
其中，所述生成待叠加图像包括：
根据在给定人脸图像上要添加的特征，从所述给定人脸图像中裁剪出与所述要添加的特征相关的部分图像；
利用人脸特征图像提取网络，基于裁剪出的所述部分图像，提取出人脸特征图像，所述人脸特征图像的尺寸小于所述部分图像的尺寸；以及
基于所述人脸特征图像和与所述要添加的特征相对应的需求特征图像，生成所述待叠加图像。
26.如权利要求25所述的人脸特征添加设备，其中，所述部分图像的通道数量与所述给定人脸图像的通道数量相同，并且所述人脸特征图像的通道数量大于所述部分图像的通道数量，所述待叠加图像的通道数量与所述给定人脸图像的通道数量相同。
27.如权利要求25所述的人脸特征添加设备，其中，基于裁剪出的所述部分图像提取出人脸特征图像包括：
对裁剪出的所述部分图像进行线性变换，得到第一预定尺寸的中间图像，所述中间图像的通道数量与所述部分图像的通道数量相同；
利用所述人脸特征图像提取网络，基于所述第一预定尺寸的中间图像，提取出第二预定尺寸的人脸特征图像，所述第二预定尺寸小于所述第一预定尺寸，并且所述人脸特征图像的通道数量大于所述中间图像的通道数量。
28.如权利要求27所述的人脸特征添加设备，其中，基于所述人脸特征图像和需求特征图像生成所述待叠加图像包括：
利用合成特征图像生成网络，基于所述人脸特征图像和所述需求特征图像，生成第三预定尺寸的合成特征图像，所述第三预定尺寸大于所述第二预定尺寸，并且所述第三预定尺寸与所述第一预定尺寸相同或不同；以及
对所述第三预定尺寸的合成特征图像进行与裁剪处理之后的线性变换相对应的逆线性变换，以生成部分待叠加图像，
其中，所述部分待叠加图像的通道数量与所述合成特征图像的通道数量相同，并且所述部分待叠加图像的尺寸与裁剪出的所述部分图像的尺寸相同，并且所述部分待叠加图像的任一通道唯一地与所述给定人脸图像的一个通道相对应。
29.如权利要求26所述的人脸特征添加设备，其中，在所述处理器执行所述程序指令时还：
利用人脸判定深度卷积网络，基于所述合成人脸图像，生成第一人脸满足度评分；
计算所述待叠加图像的L1范数；以及
根据所述第一人脸满足度评分和所述待叠加图像的L1范数，更新所述人脸特征图像提取网络和所述合成特征图像生成网络的系数。
30.如权利要求29所述的人脸特征添加设备，其中，在所述处理器执行所述程序指令时还：
利用人脸判定深度卷积网络，基于带有所述要添加的特征的真实图像，生成第二人脸满足度评分；以及
根据所述第一人脸满足度评分和所述第二人脸满足度评分，更新所述人脸判定深度卷积网络的系数。
31.如权利要求25所述的人脸特征添加设备，还包括：
输入装置，用于输入给定人脸图像和带有所述要添加的特征的真实图像。
CN201611008892.5A 2016-11-16 2016-11-16 人脸特征添加方法、装置及设备 Active CN106780658B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201611008892.5A CN106780658B (zh) 2016-11-16 2016-11-16 人脸特征添加方法、装置及设备
US15/814,076 US10580182B2 (en) 2016-11-16 2017-11-15 Facial feature adding method, facial feature adding apparatus, and facial feature adding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611008892.5A CN106780658B (zh) 2016-11-16 2016-11-16 人脸特征添加方法、装置及设备

Publications (2)

Publication Number Publication Date
CN106780658A CN106780658A (zh) 2017-05-31
CN106780658B true CN106780658B (zh) 2021-03-09

Family

ID=58969363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611008892.5A Active CN106780658B (zh) 2016-11-16 2016-11-16 人脸特征添加方法、装置及设备

Country Status (2)

Country Link
US (1) US10580182B2 (zh)
CN (1) CN106780658B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10636175B2 (en) * 2016-12-22 2020-04-28 Facebook, Inc. Dynamic mask application
WO2019075656A1 (zh) * 2017-10-18 2019-04-25 腾讯科技（深圳）有限公司 图像处理方法、装置、终端和存储介质
CN107820096B (zh) * 2017-11-09 2019-12-03 京东方科技集团股份有限公司 图像处理装置及方法、图像处理系统及训练方法
CN108875336A (zh) * 2017-11-24 2018-11-23 北京旷视科技有限公司 人脸认证以及录入人脸的方法、认证设备和系统
US11127181B2 (en) * 2018-09-19 2021-09-21 XRSpace CO., LTD. Avatar facial expression generating system and method of avatar facial expression generation
CN110163829B (zh) * 2019-04-19 2021-07-13 北京沃东天骏信息技术有限公司 图像生成方法、装置和计算机可读存储介质
CN110807407B (zh) * 2019-10-30 2023-04-18 东北大学 一种用于视频中高度近似动态目标的特征提取方法
CN111402115B (zh) * 2020-03-10 2024-02-20 维沃移动通信有限公司 一种图像处理方法及电子设备
CN113011277B (zh) * 2021-02-25 2023-11-21 日立楼宇技术（广州）有限公司 基于人脸识别的数据处理方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1807804B1 (en) * 2004-11-05 2011-05-04 Intergraph Software Technologies Company A method for generating a composite image
CN106028136A (zh) * 2016-05-30 2016-10-12 北京奇艺世纪科技有限公司 一种图像处理方法及装置
CN106056562A (zh) * 2016-05-19 2016-10-26 京东方科技集团股份有限公司 一种人脸图像处理方法、装置及电子设备

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227976B1 (en) * 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
JP2006063794A (ja) 2004-08-20 2006-03-09 Unda Maris Bv 壁部材
US7486808B2 (en) * 2004-09-21 2009-02-03 Fujifilm Corporation Image processing device, image processing method and image processing program
US7634106B2 (en) * 2004-09-22 2009-12-15 Fujifilm Corporation Synthesized image generation method, synthesized image generation apparatus, and synthesized image generation program
JP4459788B2 (ja) * 2004-11-16 2010-04-28 パナソニック株式会社 顔特徴照合装置、顔特徴照合方法、及びプログラム
FI20070159A0 (fi) 2007-02-23 2007-02-23 Teknillinen Korkeakoulu Menetelmä informaation integrointiin, valintaan ja esityksen oppimiseen
JP2009211513A (ja) * 2008-03-05 2009-09-17 Toshiba Corp 画像処理装置及びその方法
US8457409B2 (en) 2008-05-22 2013-06-04 James Ting-Ho Lo Cortex-like learning machine for temporal and hierarchical pattern recognition
JP5709410B2 (ja) 2009-06-16 2015-04-30 キヤノン株式会社 パターン処理装置及びその方法、プログラム
JP5525923B2 (ja) * 2010-06-09 2014-06-18 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
JP5615088B2 (ja) 2010-08-18 2014-10-29 キヤノン株式会社 画像処理装置及びその方法、プログラム、並びに撮像装置
JP5645255B2 (ja) * 2010-11-11 2014-12-24 埼玉日本電気株式会社 画像処理装置および画像処理方法
JP5182352B2 (ja) * 2010-11-16 2013-04-17 カシオ計算機株式会社 撮像装置、画像合成方法、及びプログラム
CN102034097B (zh) 2010-12-21 2012-07-04 中国科学院半导体研究所 综合利用正面与侧面图像的人脸识别的方法
US11074495B2 (en) 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
JP5978639B2 (ja) * 2012-02-06 2016-08-24 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP6178048B2 (ja) * 2012-06-06 2017-08-09 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP6132232B2 (ja) * 2013-02-01 2017-05-24 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援システム、およびメイクアップ支援方法
US20140229476A1 (en) 2013-02-14 2014-08-14 SailMinders, Inc. System for Information Discovery & Organization
US9105119B2 (en) * 2013-05-02 2015-08-11 Emotient, Inc. Anonymization of facial expressions
EP3039990B1 (en) * 2013-08-30 2019-07-24 Panasonic Intellectual Property Management Co., Ltd. Makeup assistance device, makeup assistance system, makeup assistance method, and makeup assistance program
US10095917B2 (en) 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
KR101515928B1 (ko) 2013-11-29 2015-05-06 재단법인대구경북과학기술원 가변 가중치 결합을 이용하는 얼굴 인식 장치 및 방법
CN103914699B (zh) * 2014-04-17 2017-09-19 厦门美图网科技有限公司 一种基于色彩空间的自动唇彩的图像增强的方法
EP3134847A1 (en) * 2014-04-23 2017-03-01 Google, Inc. User interface control using gaze tracking
US9400919B2 (en) 2014-05-27 2016-07-26 Beijing Kuangshi Technology Co., Ltd. Learning deep face representation
US9967518B2 (en) * 2014-05-29 2018-05-08 Sharp Kabushiki Kaisha Video conference system
WO2015192263A1 (en) 2014-06-16 2015-12-23 Xiaoou Tang A method and a system for face verification
US10596451B2 (en) * 2014-11-21 2020-03-24 Sony Interactive Entertainment Inc. Program and information processing device
CN104361328B (zh) 2014-11-21 2018-11-02 重庆中科云丛科技有限公司 一种基于自适应多列深度模型的人脸图像正规化方法
US9928410B2 (en) 2014-11-24 2018-03-27 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object, and method and apparatus for training recognizer
US10346726B2 (en) 2014-12-15 2019-07-09 Samsung Electronics Co., Ltd. Image recognition method and apparatus, image verification method and apparatus, learning method and apparatus to recognize image, and learning method and apparatus to verify image
US9552510B2 (en) 2015-03-18 2017-01-24 Adobe Systems Incorporated Facial expression capture for character animation
CN105518709B (zh) 2015-03-26 2019-08-09 北京旷视科技有限公司 用于识别人脸的方法、系统和计算机程序产品
KR20170000748A (ko) 2015-06-24 2017-01-03 삼성전자주식회사 얼굴 인식 방법 및 장치
US9430697B1 (en) 2015-07-03 2016-08-30 TCL Research America Inc. Method and system for face recognition using deep collaborative representation-based classification
US10916044B2 (en) * 2015-07-21 2021-02-09 Sony Corporation Information processing apparatus, information processing method, and program
GB201522819D0 (en) 2015-12-23 2016-02-03 Apical Ltd Random projection
US20170236001A1 (en) * 2016-02-11 2017-08-17 Daniel M. McLean Device and method for transforming a facial image into a set of recognizable emoticons
US10043058B2 (en) 2016-03-09 2018-08-07 International Business Machines Corporation Face detection, representation, and recognition
US9886651B2 (en) 2016-05-13 2018-02-06 Microsoft Technology Licensing, Llc Cold start machine learning algorithm
JP7063823B2 (ja) 2016-06-01 2022-05-09 オハイオ・ステイト・イノベーション・ファウンデーション 表情の認識および注釈付けのためのシステムおよび方法
CN106127103B (zh) 2016-06-12 2019-06-25 广州广电运通金融电子股份有限公司 一种离线身份认证的方法和装置
US10268438B2 (en) * 2016-06-30 2019-04-23 Sony Interactive Entertainment Inc. Display screen front panel of HMD for viewing by users viewing the HMD player
US10083347B2 (en) 2016-07-29 2018-09-25 NTech lab LLC Face identification using artificial neural network
JP6448869B2 (ja) * 2016-08-05 2019-01-09 株式会社オプティム 画像処理装置、画像処理システム、及びプログラム
US10509952B2 (en) 2016-08-30 2019-12-17 Irida Labs S.A. Fast, embedded, hybrid video face recognition system
US10354362B2 (en) 2016-09-08 2019-07-16 Carnegie Mellon University Methods and software for detecting objects in images using a multiscale fast region-based convolutional neural network
US20180075317A1 (en) 2016-09-09 2018-03-15 Microsoft Technology Licensing, Llc Person centric trait specific photo match ranking engine
US10346464B2 (en) 2016-09-27 2019-07-09 Canon Kabushiki Kaisha Cross-modiality image matching method
US10902243B2 (en) 2016-10-25 2021-01-26 Deep North, Inc. Vision based target tracking that distinguishes facial feature targets

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1807804B1 (en) * 2004-11-05 2011-05-04 Intergraph Software Technologies Company A method for generating a composite image
CN106056562A (zh) * 2016-05-19 2016-10-26 京东方科技集团股份有限公司 一种人脸图像处理方法、装置及电子设备
CN106028136A (zh) * 2016-05-30 2016-10-12 北京奇艺世纪科技有限公司 一种图像处理方法及装置

Also Published As

Publication number Publication date
US10580182B2 (en) 2020-03-03
CN106780658A (zh) 2017-05-31
US20180137665A1 (en) 2018-05-17

Similar Documents

Publication Publication Date Title
CN106780658B (zh) 人脸特征添加方法、装置及设备
CN106780662B (zh) 人脸图像生成方法、装置及设备
CN106778928B (zh) 图像处理方法及装置
CN108121931B (zh) 二维码数据处理方法、装置及移动终端
WO2017092307A1 (zh) 模型渲染方法及装置
CN105474622B (zh) 用于产生全对焦图像的方法和设备
US10846836B2 (en) View synthesis using deep convolutional neural networks
CN108875523B (zh) 人体关节点检测方法、装置、系统和存储介质
CN107316286B (zh) 一种图像中雨雾同步合成、去除的方法和装置
JP5833507B2 (ja) 画像処理装置
CN109858333A (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN105096353A (zh) 一种图像处理方法及装置
US20240037898A1 (en) Method for predicting reconstructabilit, computer device and storage medium
US11436804B2 (en) Augmented reality system
CN112381707A (zh) 图像生成方法、装置、设备以及存储介质
Voronin et al. Missing area reconstruction in 3D scene from multi-view satellite images for surveillance applications
CN110622218A (zh) 一种图像显示方法、装置、存储介质和终端
CN114049491A (zh) 指纹分割模型训练、指纹分割方法、装置、设备及介质
US11830204B2 (en) Systems and methods for performing motion transfer using a learning model
CN114757822B (zh) 一种基于双目的人体三维关键点检测方法及系统
JP2007102478A (ja) 画像処理装置、画像処理方法、及び半導体集積回路
US11922649B2 (en) Measurement data calculation apparatus, product manufacturing apparatus, information processing apparatus, silhouette image generating apparatus, and terminal apparatus
CN115187846A (zh) 网络训练方法和图像处理方法、装置、设备以及存储介质
JP2014142810A (ja) 画像処理装置、画像処理方法およびプログラム
CN115760986B (zh) 基于神经网络模型的图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100190 room 313, block A, 2 South Road, Haidian District Academy of Sciences, Beijing, China

Applicant after: MEGVII INC.

Applicant after: Beijing maigewei Technology Co., Ltd.

Address before: 100080 room A, block, No. 2 South Road, Haidian District Academy of Sciences, Beijing, China

Applicant before: MEGVII INC.

Applicant before: Beijing aperture Science and Technology Ltd.

GR01 Patent grant
GR01 Patent grant