CN110415306A - 使用生成对抗网络的面部合成 - Google Patents

使用生成对抗网络的面部合成 Download PDF

Info

Publication number
CN110415306A
CN110415306A CN201910345658.9A CN201910345658A CN110415306A CN 110415306 A CN110415306 A CN 110415306A CN 201910345658 A CN201910345658 A CN 201910345658A CN 110415306 A CN110415306 A CN 110415306A
Authority
CN
China
Prior art keywords
face
output image
noise
image
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910345658.9A
Other languages
English (en)
Other versions
CN110415306B (zh
Inventor
V·沙玛
高耀宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN110415306A publication Critical patent/CN110415306A/zh
Application granted granted Critical
Publication of CN110415306B publication Critical patent/CN110415306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明题为“使用生成对抗网络的面部合成。”训练生成对抗网络(GAN)以用于面部识别，包括：将特定面部的输入图像提供到面部识别系统中以获取面纹；基于输入面纹和噪声值从GAN生成器获取一组输出图像；从GAN鉴别器获取反馈，其中获取反馈包括将每个输出图像输入到GAN鉴别器中并确定指示每个输出图像是否包括面部图像的一组似然值；基于每个输出图像确定经修改的噪声值；向第二面部识别网络中输入每个输出图像以确定一组经修改的面纹；基于每个经修改的噪声值和经修改的面纹定义针对GAN生成器的反馈，其中反馈包括第一值和第二值；以及修改GAN生成器的控制参数。

Description

使用生成对抗网络的面部合成
技术领域
本公开整体涉及数字图像处理领域，更具体地讲，涉及使用生成对抗网络的图像合成。
背景技术
面部识别系统需要来自要识别的用户的样本面部图像。一些面部识别系统使用在仔细控制的设置下，置于已知位置的，具有已知属性的大量相机来生成系统登记过程和训练所需的大量样本面部图像。除了昂贵和精细之外，此类系统对于一般使用者而言笨重而且不易获得。虽然面部识别精度得益于登记期间更多数量和多样性的样本面部图像，但提供此类图像会大大增加用户的负担。
发明内容
在一个实施方案中，描述了一种训练生成对抗网络(GAN)以用于面部识别的方法。在另一个实施方案中，描述了一种训练面部识别网络的方法。一种使用GAN生成面部图像的方法包括获取特定面部的输入图像；向面部识别网络中输入该输入图像；从面部识别网络获取基于输入图像的输入面纹；基于输入面纹和噪声值从GAN生成器获取一组输出图像；访问面部图像的数据库；从GAN鉴别器获取反馈，其中从GAN鉴别器获取反馈包括向GAN鉴别器中输入来自一组输出图像的每个输出图像；针对每个输出图像和面部图像的数据库确定指示输出图像的每个是否包括面部图像的一组似然值；基于每个输出图像确定经修改的噪声值；向第二面部识别网络中输入每个输出图像；基于每个输出图像从第二面部识别网络确定一组经修改的面纹；基于每个经修改的噪声值和经修改的面纹定义针对GAN生成器的反馈，其中反馈包括第一值和第二值；以及基于反馈修改GAN生成器的一个或多个控制参数。
训练面部识别网络的该方法包括获取特定面部的输入图像；向第一面部识别网络中输入该特定面部的输入图像；从第一面部识别网络获取输入面纹；基于输入面纹和噪声值，从功能上与GAN鉴别器解耦的预先训练的GAN生成器获取一组输出图像，其中预先训练的GAN生成器生成可被识别为特定面部的图像的输出图像；以及基于一组输出图像来训练第二面部识别网络以识别特定面部。
在其他实施方案中，本文描述的方法可以体现在计算机可执行程序代码中并存储在非暂态存储设备中。在另一些实施方案中，这些方法可在具有图像捕获能力的电子设备中实现。
附图说明
图1以框图形式示出了根据一个或多个实施方案的简化电子设备。
图2以流程图形式示出了根据一个或多个实施方案，使用GAN生成面部图像的示例方法。
图3以流程图形式示出了根据一个或多个实施方案，使用GAN生成面部图像的另一示例方法。
图4以流程图形式示出了根据一个或多个实施方案的包括所有输入和输出的面部识别网络和GAN生成器和鉴别器的示例设置。
图5以流程图形式示出了根据一个或多个实施方案的包括所有输入和输出的面部识别网络和GAN生成器的示例设置。
图6以框图形式示出了根据一个或多个实施方案的简化多功能电子设备。
具体实施方式
本公开涉及多种系统、方法和计算机可读介质，用于训练在面部识别和训练面部识别网络中使用的生成对抗网络(GAN)。通常，向面部识别网络中输入特定面部的图像以获取面纹。该面纹继而与噪声值一起被输入到GAN生成器以生成一组输出图像。然后将输出图像输入到GAN鉴别器中，该GAN鉴别器使用图像数据库来确定指示每个输出图像包括面部的似然值。然后将反馈从鉴别器发送到生成器，并且从生成器发送到鉴别器，以表示两者之间的对抗损失并修改生成器和鉴别器的操作以补偿这些对抗损失。传统的GAN无法在输出图像中保持特定面部的身份。
然而，在所公开的实施方案中，通过修改生成器和鉴别器之间的反馈，可以将特定面部的身份从输入图像保持到输出图像。为了保留身份，鉴别器确定经修改的噪声值以及指示输出图像包括面部的似然值，并且将输出图像输入面部识别系统以获取经修改的面纹。将经修改的噪声值和经修改的面纹与噪声值和面纹进行比较，以确定多样性损失和身份损失。将多样性损失和身份损失连同对抗损失一起发送给生成器，以提示修改生成器的控制参数，从而在生成输出图像时保留身份。将身份从输入图像保留到输出图像允许创建具有与输入图像相同的特定身份的所生成图像的肯定画廊以及与输入图像具有不同身份的所生成图像的否定画廊。这些肯定画廊和否定画廊可用于训练面部识别网络以识别来自单个输入图像的特定身份。通过这种方式，用户在面部识别登记期间的负担得以减轻。
在以下描述中，为了解释的目的，阐述了很多具体细节以便提供对所公开构思的彻底理解。作为本说明书的一部分，本公开的一些附图以框图形式表示结构和装置，以避免模糊所公开实施方案的新颖方面。在该上下文中，应该理解，对没有相关标识符(例如，510)的编号绘图元素的引用是指具有标识符(例如，510A、510B和510C)的绘图元素的所有实例。另外，作为本说明书的一部分，本公开的一些附图可以流程图的形式提供。任何特定流程图中的框可以特定顺序呈现。然而，应当理解，任何流程图的特定流程仅用于举例说明一个实施方案。在其他实施方案中，可删除流程图中描绘的任何各种组件，或者可以不同的顺序执行组件，或甚至同时执行组件。此外，其他实施方案可包括未被示为流程图的一部分的附加步骤。本公开中使用的语言主要是出于可读性和指导目的而选择的，并且可未选择它来描绘或限制所公开的主题。在本公开中提到“一个实施方案”或“实施方案”意指包括在至少一个实施方案中的结合该实施方案所述的特定特征、结构或特性，并且多次提到“一个实施方案”或“实施方案”不应被理解为必然地全部参考相同的实施方案。
应当理解，在任何实际具体实施的开发中(如在任何开发项目中)，必须要作出许多决策以实现开发者的特定目标(如，符合与系统和商务相关的约束)，并且这些目标将在不同具体实施之间变化。还应当理解，此类开发工作可能是复杂且费时的，但尽管如此，对于受益于本公开的图像捕获的那些普通技术人员而言，这仍然是他们的日常工作。
出于本公开的目的，术语“相机”指的是镜头组件以及传感器元件和用于捕获图像的其他电路。在一个或多个实施方案中，镜头组件可包括多个镜头。另外，在一个或多个实施方案中，可将镜头移动到各种位置以在多个深度处并从而在多个焦点处捕获图像。在一个或多个实施方案中，镜头可指任何种类的镜头，诸如可伸缩镜头或广角镜头。因此，镜头组件可以是指被配置为叠堆或其他布置的单个光学元件或多个元件。
图1以框图形式示出了用于根据本公开执行操作的简化电子设备。电子设备100可为多功能设备的一部分，多功能设备诸如移动电话、平板电脑、个人数字助理、便携式音乐/视频播放器、可穿戴设备或包括相机系统(在电子设备100内部或作为独立系统从外部连接到电子设备100)的任何其他电子设备。电子设备100可通过网络连接到其他电子设备，诸如移动设备、平板设备、台式设备，以及网络存储设备诸如服务器等。电子设备100还可经由无线连接或有线连接而连接到其他电子设备。电子设备100可包括处理器110。处理器110可以是片上系统，诸如存在于移动设备中的那些片上系统，并且可包括一个或多个中央处理单元(CPU)、专用图形处理单元(GPU)或两者。另外，处理器110可包括相同或不同类型的多个处理器。电子设备100还可包括存储器150。存储器150可包括一个或多个不同类型的存储器，其可用于结合处理器110执行设备功能。例如，存储器150可包括任何类型的非暂态存储设备，诸如高速缓存、只读存储器(ROM)、随机存取存储器(RAM)、固态存储设备等。存储器150可存储执行期间的各种编程模块，包括面部识别网络模块160、GAN模块170和面部图像生成模块180。然而，需注意，面部识别网络模块160、GAN模块170和面部图像生成模块180可存储在除存储器150之外的存储器中，包括其他电子设备上的存储器中。在一些实施方案中，面部识别网络模块160、GAN模块170和面部图像生成模块180可包括单独的可执行编程模块，但编程模块的功能可被组合为单个编程模块。
电子设备100还可包括一个或多个相机，诸如相机120。相机120可包括图像传感器、镜头堆栈和可用于捕获图像的其他部件。例如，相机120可被配置为捕获特定面部的图像。此外，相机120可包括被配置为从不同视角捕获图像的多个相机。电子设备100还可包括附加传感器130，例如，诸如接近传感器、环境光传感器、加速度计和陀螺仪传感器。在一个或多个实施方案中，电子设备100还可包括输入/输出(I/O)设备140。I/O设备140可以是任何类型的I/O设备，诸如用于语音控制输入的麦克风、用于音频数据输出的扬声器、用于视觉数据输入的相机、用于视觉数据输出的显示器、用于触觉输入的触摸屏，或它们的任何组合。例如，I/O设备140可以是任何种类的显示设备，诸如液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器等。此外，显示设备可为传统显示器或半不透明显示器，诸如平视显示器等。此外，根据一个或多个实施方案，显示器可以是头戴式显示器的一部分。虽然电子设备100被描述为包括上述众多部件，但在一个或多个实施方案中，各种部件作为分布式系统的部分而分布在多个设备间。此外，可使用附加部件，并且可组合任何部件的功能的一些。
图2以流程图形式示出了根据一个或多个实施方案，使用GAN的面部图像生成操作200。面部图像生成操作200训练GAN，用于创建面部图像，以用于训练面部识别系统。出于解释的目的，将在图1的上下文中描述以下步骤。在一些实施方案中，面部图像生成操作200在框205处开始，其中面部图像生成模块180获取特定面部的图像。面部图像生成模块180可以任意种方式，包括从相机120、从另一电子设备等，获取特定面部的图像。在一些实施方案中，相机120捕获特定面部的图像，图像被存储在存储器150中并由处理器110从存储器150中检索以供面部图像生成模块180使用。
面部图像生成操作200在框210处继续，其中面部图像生成模块180从诸如面部识别网络模块160的面部识别网络获取特定面部的图像的面纹。例如，面部图像生成模块180可将特定面部的图像输入面部识别网络模块160，该面部识别网络模块可将图像转换为面纹。面部图像生成模块180然后从面部识别网络模块160获取用于特定面部的图像的面纹。面纹可以是唯一表示特定面部的矢量或其他标识符。
在框215处，面部图像生成模块180向GAN生成器(诸如包括在GAN模块170的GAN生成器172)中输入面纹和噪声参数。在一个实施方案中，噪声参数可以是包括从均匀噪声分布选择的值的矢量。在另一个实施方案中，噪声参数可以是包括从正态噪声分布选择的值的矢量。GAN生成器172使用噪声参数和面纹来生成第一输出图像。
面部图像块生成操作200在框220处继续，其中面部图像生成模块180从GAN生成器172获取第一输出图像。在框225处，面部图像生成模块180获取对训练图像数据库的访问权，以供GAN鉴别器174使用。在一些实施方案中，训练图像数据库是由已训练的面部识别系统识别为面部图像的一个或多个人的面部的捕获图像的数据库。训练图像数据库可存储在存储器150中，或从另一电子设备获取。
面部图像块生成操作200在框230处继续，其中面部图像生成模块180将GAN生成器172生成的第一输出图像输入到GAN鉴别器，诸如包括在GAN模块170中的GAN鉴别器174。GAN鉴别器174使用训练图像数据库来识别与所捕获的面部图像相关联的特征，并将第一输出图像与训练图像数据库进行比较。GAN鉴别器174确定第一输出图像与训练图像的相似度，并预测第一输出图像为包括面部的所捕获图像，而非所生成的图像或不包括面部的图像的可能性。在框235处，面部图像生成模块180从GAN鉴别器174接收从第一输出图像提取的经修改的噪声参数和指示第一输出图像是否包括所捕获的面部图像的似然值。在框240处，面部图像生成模块180将GAN生成器172生成的第一输出图像输入到面部识别网络模块160并在框245处从面部识别网络模块160接收经修改的面纹。
在框250处，面部图像生成模块180比较从GAN鉴别器174接收的经修改的噪声参数和输入到GAN生成器172中的噪声参数。如果从GAN鉴别器174接收的经修改的噪声参数和输入到GAN生成器172中的噪声参数不满足预先确定的相似度阈值，面部图像生成模块180在框255处改变GAN生成器172的一个或多个控制参数。应当指出的是，所使用的具体“阈值”将基于每种特定应用的需要。在一些实施方案中，改变GAN生成器172的一个或多个控制参数可进一步基于对应于GAN生成器172生成的第一输出图像的经修改面纹与对应于特定面部的图像的面纹的比较。一旦GAN生成器172的控制参数被改变，面部图像生成操作200就返回到框215，并重复框215-255，直到从GAN鉴别器174接收的经修改噪声参数和输入到GAN生成器172的噪声参数满足预先确定的相似度阈值。
图3以流程图形式示出了根据一个或多个实施方案的另一个面部图像生成操作300，该操作包括使用由面部图像生成操作200生成的面部图像来训练面部识别网络。出于解释的目的，将在图1的上下文中描述以下步骤。
在一些实施方案中，面部图像生成操作300开始于框310，此时，面部图像生成模块180执行前面参考图2作为面部图像生成操作200所论述的操作。理想的是，由GAN生成器172生成的第一输出图像将可被识别为特定面部。如果不是，则从面部识别网络模块160接收的经修改的面纹将与该面纹相差超过预先确定的阈值，从而提示调节GAN生成器172的控制参数。
理想的是，GAN鉴别器174将不能够将GAN生成器172生成的第一输出图像与包括训练图像数据库中所包含的面部的所捕获图像区分开。如果GAN鉴别器174将GAN生成器172生成的第一输出图像识别为生成的而不是捕获的图像，或者确定GAN生成器172生成的第一输出图像不包括面部，GAN生成器172生成的第一输出图像在面部识别登记中没有用处，从GAN鉴别器174接收的经修改噪声参数和输入到GAN生成器172中的噪声参数将不满足预先确定的相似度阈值，提示调节GAN生成器172的控制参数。
当面部图像生成操作200完成时，由GAN生成器172生成的第一输出图像可被识别为特定面部并且可用于面部识别登记中。应当指出的是，所使用的具体“阈值”将基于特定应用的需要。面部图像块生成操作300继续进行至框320，其中面部图像生成模块180从GAN生成器172获取一个或多个附加输出图像。需注意，在一些实施方案中，GAN生成器172可用于生成不对应于特定面部的“否定”输出图像。通过这种方式，“否定”输出图像可用于训练面部不是特定面部的面部识别系统。面部图像生成模块180使用第一输出图像和一个或多个附加输出图像来训练面部识别系统以在框330处识别特定面部。面部识别系统可以是面部识别网络模块160或另一个面部识别系统。
如之前所论述的，改变GAN生成器172的一个或多个控制参数可进一步基于对应于GAN生成器172生成的第一输出图像的经修改面纹与对应于特定面部的图像的面纹的比较。在一些实施方案中，将经修改的面纹与该面纹进行比较按如下方式确定第一值：
first value＝-log Dreal(G(noise，f))+λID||R(G(noise，f))-f||2+λDV||noise-Dnoise(G(noise，f))||2。
在确定第一值时，-log Dreal(G(noise，f))表示所有GAN共有的对抗损失值，λID||R(G(noise，f))-f||2表示面纹和经修改面纹之间L2距离值的最小化，且λDV||noise-Dnoise(G(noise，f))||2表示由于噪声参数导致的多样性损失值。在该方程中，f表示面纹，noise代表噪声参数，G(noise，f)表示第一输出图像，Dreal(G(noise，f))表示第一输出图像包括由GAN鉴别器174确定的面部图像的概率，Dnoise(G(noise，f))表示经修改的噪声参数，λID表示从面纹到第一输出图像的身份保留函数，且λDV表示从噪声参数到经修改噪声参数的数据变化函数。此外，在一些实施方案中，改变GAN生成器172的一个或多个控制参数基于按如下方式确定的第二值：
second value＝-log Dreal(realSamples)+log Dreal(G(noise，f))+λDV||noise-Dnoise(G(noise，f))||2。
在确定第二值时，-log Dreal(realSamples)+log Dreal(G(noise，f))表示所有GAN共有的对抗损失值，且λDV||noise-Dnoise(G(noise，f))||2表示由于噪声参数造成的多样性损失值。在该方程中，Dreal(realSamples)表示训练图像数据库包括由GAN鉴别器174确定的面部图像的概率。
图4以流程图形式示出了根据一个或多个实施方案的包括所有输入和输出的面部识别网络模块160、GAN生成器172和GAN鉴别器174的示例设置。出于解释的目的，将在图1的上下文中描述图4。然而，应当理解，各种动作可由替代部件来执行。
将特定面部的图像405输入到面部识别网络模块160中以获取面纹410。将面纹410和噪声参数415输入到GAN生成器172以获取输出图像425。将输出图像425输入到面部识别网络模块160和GAN鉴别器174两者。将输出图像425输入到面部识别网络模块160中以获取经修改的面纹455。将输出图像425输入到GAN鉴别器174，GAN鉴别器使用训练图像数据库430来获取经修改的噪声参数450和指示输出图像425是否包括面部图像的似然值445。
可使用指示面部图像的似然值445、经修改的面纹455和经修改的噪声参数450向GAN生成器172提供反馈460。在一个实施方案中，反馈460可被表示为
LossGenerator＝adversarial loss+λID(identity loss)+λDV(diversity loss)
其中adversarial loss＝-log(Dreal(G(noise，f))和表示所有GAN共有的GAN生成器和鉴别器之间的对抗损失，λID(identity loss)＝||R(G(noise，f))-f||2和表示从面纹到经修改面纹的身份损失，λDV(diversity loss)＝λDV||noise-Dnoise(G(noise，f))||2和表示噪声参数和经修改噪声参数之间的多样性损失。在这些方程中，f表示面纹410，noise表示噪声参数415，G(noise，f)表示输出图像425，Dreal(G(noise,f))表示指示面部图像的似然值445，Dnoise(G(noise，f))表示经修改的噪声参数450，且R(G(noise，f))表示经修改的面纹455。反馈460可用于修改GAN生成器172的操作参数。
在一些实施方案中，GAN生成器172可向GAN鉴别器174提供表示为LossDiscriminator＝adversarial loss+λDV(diversity loss)的反馈，其中adversarial loss＝-log Dreal(realSamples)+log Dreal(G(noise，f))和表示所有GAN共有的GAN鉴别器174和生成器172之间的对抗损失，并且Dreal(realSamples)表示GAN鉴别器174将来自训练图像数据库430的图像识别为包括面部图像的似然值。GAN生成器172和GAN鉴别器174可以来回迭代任意次数以优化损失方程，直到方程稳定。在一个实施方案中，优化损失方程可包括最小化f和R(G(noise，f))之间以及noise和Dnoise(G(noise，f))之间的L2差异。
现在参考图5，流程图示出了根据一个或多个实施方案，包括所有输入和输出的面部识别网络160和GAN生成器172的示例设置。出于解释的目的，将在图1的上下文中描述图5。然而，应当理解，各种动作可由替代部件来执行。
将特定面部的图像505输入到面部识别网络模块160中以获取面纹510。面纹510可以包括特殊化属性，诸如微笑属性510A、胡须属性510B和眼镜属性510C。将面纹510和噪声参数515输入到GAN生成器172中。在面纹510包括特殊化属性的情况下，GAN生成器172可将噪声参数515瞄准那些特殊化属性，使得输出图像大致与特定面部的图像505相同，除了一个或多个属性之外。例如，除是否微笑之外，输出图像525A可能看起来与特定面部的图像505相同；除了没有胡须或具有稍微不同样式的胡须之外，输出图像525B可能看起来与特定面部的图像505相同；除了没有眼镜或具有不同样式的眼镜之外，输出图像525C可能看起来与特定面部的图像505相同。因此，可瞄准对面纹510的修改，以使得面部识别网络可被训练为使用具有来自特定面部的图像505的策略改变的图像来识别特定人员。
现在参考图6，其示出了根据一个实施方案的例示性多功能电子设备600的简化功能框图。多功能设备600可用于实现电子设备100并可包括处理器605、显示器610、用户界面615、图形硬件620、设备传感器625(例如，接近传感器/环境光传感器、加速计和/或陀螺仪)、麦克风630、一个或多个音频编解码器635、一个或多个扬声器640、通信电路645、数字图像捕获电路650、一个或多个视频编解码器655(例如，支持数字图像捕获单元650)、存储器660、存储设备665和通信总线670。多功能设备600可是例如个人电子设备，诸如个人数字助理(PDA)、移动电话或平板电脑。
用户界面615可允许用户与多功能设备600交互。例如，用户界面615可呈现多种形式，诸如按钮、小键盘、拨号盘、点击轮、键盘、显示屏和/或触摸屏。处理器605也可以是例如片上系统，诸如存在于移动设备中的那些片上系统并且包括专用图形处理单元(GPU)。图形硬件620可以是用于处理图形和/或辅助处理器605以处理图形信息的专用计算硬件。在一个实施方案中，图形硬件620可包括可编程GPU。
图像捕获电路650可包括镜头组件680。镜头组件680可具有关联的传感器元件690。图像捕获电路650可捕获静态图像和/或视频图像。通过以下设备至少部分地可处理来自图像捕获电路650的输出：一个或多个视频编解码器655和/或处理器605和/或图形硬件620、和/或结合在图像捕获电路650内的专用图像处理单元或管道。这样捕获的图像可被存储在存储器660和/或存储设备665中。图像捕获电路650可捕获可至少部分地由以下设备根据本公开处理的静态图像和视频图像：一个或多个视频编解码器655和/或处理器605和/或图形硬件620、和/或结合在图像捕获电路650内的专用图像处理单元。这样捕获的图像可被存储在存储器660和/或存储设备665中。麦克风630可捕获可至少部分地由一个或多个音频编解码器635和/或处理器605处理的音频记录。这样捕获的音频记录可被存储在存储器660和/或存储设备665中。
如上所述，本技术的一个方面在于收集和使用得自各种来源的数据，以改善面部识别系统。本公开预期，在一些实例中，这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、出生日期、或任何其他识别信息或个人信息。
本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于改善面部识别系统。此外，本公开还预期个人信息数据有益于用户的其他用途。
本公开设想负责采集，分析，公开，传输，存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类策略应该能被用户方便地访问，并应应当随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法使用之外共享或出售。此外，在收到用户知情同意后，应进行此类采集/共享。此外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保其他有权访问个人信息数据的人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和做法。此外，应当调整政策和实践，以便采集和/或访问的特定类型的个人信息数据，并适用于包括管辖范围的具体考虑的适用法律和标准。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险转移和责任法案(HIPAA)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此，在每个国家应为不同的个人数据类型保持不同的隐私实践。
不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，就面部识别服务而言，本发明的技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。用户可选择不提供图像数据来训练面部识别系统。除了提供“选择加入”和“选择退出”选项外，本公开设想提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。
此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据采集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用程序中，数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如，出生日期等)、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户上聚集数据)、和/或其他方法来促进去标识。
因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。
本发明所公开的主题的范围应该参考所附权利要求书以及权利要求书的等同物的全部范围来确定。在所附权利要求书中，术语“包括(including)”和“其中(in which)”被用作相应术语“包括(comprising)”和“其中(wherein)”的通俗英语等同形式。

Claims (20)

1.一种训练生成对抗网络(GAN)以用于面部识别的方法，包括：
向面部识别系统提供特定面部的输入图像；
从所述面部识别系统获取基于所述输入图像的输入面纹；
基于所述输入面纹和噪声值从GAN生成器获取一组输出图像；
访问面部图像数据库；
从GAN鉴别器获取反馈，其中从GAN鉴别器获取反馈包括：
向所述GAN鉴别器中输入来自所述一组输出图像的每个输出图像；
基于每个输出图像和所述面部图像数据库，确定指示所述输出图像的每个是否包括面部图像的一组似然值；
基于每个输出图像确定经修改的噪声值；
向第二面部识别系统中输入每个输出图像；
基于每个输出图像从所述第二面部识别系统确定一组经修改的面纹；以及
基于每个经修改的噪声值和经修改的面纹，定义第一值和第二值，其中所述第二值指示所述特定面部的所述输出图像和所述对应的输入图像之间的身份损失；以及
基于所述第一值和所述第二值，修改所述GAN生成器的一个或多个控制参数。
2.根据权利要求1所述的方法，其中所述第一值表示所有GAN共有的对抗损失。
3.根据权利要求2所述的方法，其中所述对抗损失可由下式表示：
adversarial loss＝-log＝log(Dreal(G(noise，f))
其中f表示输入面纹，noise表示噪声值，G(noise，f)表示来自所述一组输出图像的每个输出图像，并且Dreal(G(noise，f))表示每个输出图像包括面部图像的可能性。
4.根据权利要求1所述的方法，其中修改一个或多个控制参数包括减少身份损失。
5.根据权利要求1所述的方法，其中所述身份损失可由下式表示：
identity loss＝||R(G(noise，f))-f||2
其中f表示输入面纹，noise表示噪声值，G(noise，f)表示每个输出图像，并且R(G(noise，f))表示每个经修改的面纹。
6.根据权利要求1所述的方法，还包括：
基于每个经修改的噪声值和经修改的面纹，定义第三值，其中所述第三值表示所述特定面部的所述输出图像和所述输入图像之间的多样性损失；以及
基于所述第三值修改所述GAN生成器的一个或多个控制参数。
7.根据权利要求6所述的方法，其中修改一个或多个控制参数包括减少多样性损失。
8.根据权利要求6所述的方法，其中修改一个或多个控制参数包括增加多样性损失。
9.根据权利要求6所述的方法，其中所述多样性损失可由下式表示：
diversity loss＝||noise-Dnoise(G(noise，f))||2
其中f表示输入面纹，noise表示噪声值，G(noise，f)表示每个输出图像，并且Dnoise(G(noise，f))表示每个经修改的噪声值。
10.根据权利要求1所述的方法，其中所述输入面纹包括一个或多个特殊化属性。
11.根据权利要求10所述的方法，其中所述GAN生成器将所述噪声值仅与所述输入面纹的所述一个或多个特殊化属性组合。
12.根据权利要求11所述的方法，其中所述一个或多个特殊化属性包括微笑、眼镜、胡须和头发中的一者或多者。
13.根据权利要求1所述的方法，其中所述第二面部识别系统是所述第一面部识别系统。
14.根据权利要求1所述的方法，其中所述第二面部识别系统是不同于所述第一面部识别系统的面部识别系统。
15.一种训练面部识别系统的方法，包括：
向第一面部识别系统中提供特定面部的输入图像；
从第一面部识别系统获取输入面纹；
基于所述输入面纹和噪声值，从功能上与GAN鉴别器解耦的预先训练的生成对抗网络(GAN)生成器获取第一组输出图像和第二组输出图像，其中所述预先训练的GAN生成器生成可被识别为所述特定面部的图像的所述第一组输出图像，以及可被识别为所述特定面部的否定图像的所述第二组输出图像，并且其中所述特定面部的否定图像包括除了所述特定面部之外的面部的图像；以及
基于所述第一组输出图像和所述第二组输出图像，训练第二面部识别系统以识别所述特定面部。
16.一种训练面部识别系统的装置，包括：
一个或多个处理器；
存储器，所述存储器耦接到所述一个或多个处理器，并且包括能够由所述一个或多个处理器执行以使得所述装置执行以下操作的指令：
向第一面部识别系统中提供特定面部的输入图像；
从所述第一面部识别系统获取输入面纹；
基于所述输入面纹和噪声值，从功能上与GAN鉴别器解耦的预先训练的生成对抗网络(GAN)生成器获取第一组输出图像和第二组输出图像，其中所述预先训练的GAN生成器生成可被识别为所述特定面部的图像的所述第一组输出图像，以及可被识别为所述特定面部的否定图像的所述第二组输出图像，并且其中所述特定面部的否定图像包括除了所述特定面部之外的面部的图像；以及
基于所述第一组输出图像和所述第二组输出图像，训练第二面部识别系统以识别所述特定面部。
17.根据权利要求16所述的装置，其中所述装置还包括相机。
18.根据权利要求17所述的装置，其中能够由所述一个或多个处理器执行以使得所述装置向第一面部识别系统中提供特定面部的输入图像的所述指令还包括能够由所述一个或多个处理器执行以使得所述装置执行以下操作的指令：
通过所述相机捕获所述特定面部的输入图像；以及
从所述相机接收所述特定面部的所述输入图像。
19.根据权利要求16所述的装置，其中能够由所述一个或多个处理器执行以使得所述装置基于所述第一组输出图像和所述第二组输出图像训练第二面部识别系统来识别所述特定面部的指令还包括能够由所述一个或多个处理器执行以使得所述装置训练所述第二面部识别系统来执行以下操作的指令：
将所述第一组输出图像识别为所述特定面部的图像；以及
将所述第二组输出图像识别为除了所述特定面部之外的面部的图像。
20.根据权利要求16所述的装置，其中能够由所述一个或多个处理器执行以使得所述装置基于所述第一组输出图像和所述第二组输出图像训练第二面部识别系统来识别所述特定面部的指令还包括能够由所述一个或多个处理器执行以使得所述装置执行以下操作的指令：
在完成对所述第二面部识别系统的训练时呈现通知。
CN201910345658.9A 2018-04-27 2019-04-26 使用生成对抗网络的面部合成 Active CN110415306B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862663780P 2018-04-27 2018-04-27
US62/663,780 2018-04-27
US15/992,945 US10762337B2 (en) 2018-04-27 2018-05-30 Face synthesis using generative adversarial networks
US15/992,945 2018-05-30

Publications (2)

Publication Number Publication Date
CN110415306A true CN110415306A (zh) 2019-11-05
CN110415306B CN110415306B (zh) 2023-04-18

Family

ID=68292668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910345658.9A Active CN110415306B (zh) 2018-04-27 2019-04-26 使用生成对抗网络的面部合成

Country Status (2)

Country Link
US (1) US10762337B2 (zh)
CN (1) CN110415306B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275057A (zh) * 2020-02-13 2020-06-12 腾讯科技（深圳）有限公司 图像处理方法、装置及设备
CN114120412A (zh) * 2021-11-29 2022-03-01 北京百度网讯科技有限公司 图像处理方法和装置

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL252657A0 (en) 2017-06-04 2017-08-31 De Identification Ltd System and method for preventing image recognition
US10762337B2 (en) * 2018-04-27 2020-09-01 Apple Inc. Face synthesis using generative adversarial networks
JP7107441B2 (ja) * 2018-08-31 2022-07-27 日本電気株式会社 情報処理装置、方法およびプログラム
US11954191B2 (en) 2018-09-05 2024-04-09 De-Identification Ltd. System and method for performing identity authentication based on de-identified data
US10997464B2 (en) * 2018-11-09 2021-05-04 Adobe Inc. Digital image layout training using wireframe rendering within a generative adversarial network (GAN) system
JP7353032B2 (ja) * 2018-11-15 2023-09-29 株式会社Preferred Networks データ生成装置、データ生成方法及びプログラム
CN110148081B (zh) * 2019-03-25 2024-02-23 腾讯科技（深圳）有限公司 图像处理模型的训练方法、图像处理方法、装置及存储介质
KR102366777B1 (ko) * 2019-04-01 2022-02-24 한국전자통신연구원 도메인 적응 기반 객체 인식 장치 및 그 방법
US10628931B1 (en) * 2019-09-05 2020-04-21 International Business Machines Corporation Enhancing digital facial image using artificial intelligence enabled digital facial image generation
US11288408B2 (en) * 2019-10-14 2022-03-29 International Business Machines Corporation Providing adversarial protection for electronic screen displays
IL270116A (en) 2019-10-23 2021-04-29 De Identification Ltd A system and method for identifying and protecting against cyber attacks against classification systems
US11335128B2 (en) * 2019-11-19 2022-05-17 Visa International Service Association Methods and systems for evaluating a face recognition system using a face mountable device
US20230027309A1 (en) * 2019-12-16 2023-01-26 De-Identification Ltd. System and method for image de-identification to humans while remaining recognizable by machines
CN111145311B (zh) * 2019-12-30 2021-11-26 中国科学院自动化研究所 高分辨率人脸图像的多属性编辑方法、系统、装置
US11068750B1 (en) * 2020-03-30 2021-07-20 The Government of the United States of America, as represented by the Secretary of Homeland Security Testing and evaluating detection process by data augmentation
CN111489287B (zh) * 2020-04-10 2024-02-09 腾讯科技（深圳）有限公司 图像转换方法、装置、计算机设备和存储介质
US20210350223A1 (en) * 2020-05-07 2021-11-11 International Business Machines Corporation Digital content variations via external reaction
CN111461089B (zh) * 2020-06-17 2020-09-15 腾讯科技（深圳）有限公司 一种人脸检测的方法、人脸检测模型的训练方法及装置
US11526626B2 (en) 2020-07-10 2022-12-13 De-Identification Ltd. Facial anonymization with consistent facial attribute preservation in video
US11461948B2 (en) 2020-07-15 2022-10-04 De-Identification Ltd. System and method for voice driven lip syncing and head reenactment
US11436781B2 (en) 2020-07-15 2022-09-06 De-Identification Ltd. System and method for artificial neural-network based animation with three-dimensional rendering
US11276214B2 (en) 2020-07-15 2022-03-15 De-Ideniification Ltd. System and a method for artificial neural-network based animation
CN111967584A (zh) * 2020-08-19 2020-11-20 北京字节跳动网络技术有限公司 生成对抗样本的方法、装置、电子设备及计算机存储介质
CN112084962B (zh) * 2020-09-11 2021-05-25 贵州大学 基于生成式对抗网络脸部隐私保护方法
CN112330533A (zh) * 2020-11-13 2021-02-05 北京字跳网络技术有限公司 混血人脸图像生成方法、模型训练方法、装置和设备
CN112613445B (zh) * 2020-12-29 2024-04-30 深圳威富优房客科技有限公司 人脸图像生成方法、装置、计算机设备和存储介质
TWI802906B (zh) * 2021-01-28 2023-05-21 旺宏電子股份有限公司 資料識別裝置及辨識方法
US11763495B2 (en) * 2021-01-29 2023-09-19 Adobe Inc. Few-shot digital image generation using gan-to-gan translation
CN113111776B (zh) * 2021-04-12 2024-04-16 京东科技控股股份有限公司 对抗样本的生成方法、装置、设备及存储介质
US11308657B1 (en) * 2021-08-11 2022-04-19 Neon Evolution Inc. Methods and systems for image processing using a learning engine
CN113780084B (zh) * 2021-08-11 2024-05-31 上海藤核智能科技有限公司 基于生成式对抗网络的人脸数据扩增方法、电子设备和存储介质
CN114863527B (zh) * 2022-05-06 2024-03-19 杭州电子科技大学 一种基于fp-scgan模型的妆容风格迁移方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170076740A1 (en) * 2015-09-14 2017-03-16 Cogito Corporation Systems and methods for identifying human emotions and/or mental health states based on analyses of audio inputs and/or behavioral data collected from computing devices
CN107437077A (zh) * 2017-08-04 2017-12-05 深圳市唯特视科技有限公司 一种基于生成对抗网络的旋转面部表示学习的方法
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6671391B1 (en) * 2000-05-26 2003-12-30 Microsoft Corp. Pose-adaptive face detection system and process
US9183429B2 (en) * 2012-08-15 2015-11-10 Qualcomm Incorporated Method and apparatus for facial recognition
US10198624B2 (en) * 2016-02-18 2019-02-05 Pinscreen, Inc. Segmentation-guided real-time facial performance capture
US10902243B2 (en) * 2016-10-25 2021-01-26 Deep North, Inc. Vision based target tracking that distinguishes facial feature targets
US10474882B2 (en) * 2017-03-15 2019-11-12 Nec Corporation Video surveillance system based on larger pose face frontalization
CN106951867B (zh) 2017-03-22 2019-08-23 成都擎天树科技有限公司 基于卷积神经网络的人脸识别方法、装置、系统及设备
CA3000166A1 (en) * 2017-04-03 2018-10-03 Royal Bank Of Canada Systems and methods for cyberbot network detection
US10504268B1 (en) * 2017-04-18 2019-12-10 Educational Testing Service Systems and methods for generating facial expressions in a user interface
IL252657A0 (en) * 2017-06-04 2017-08-31 De Identification Ltd System and method for preventing image recognition
CN107609481B (zh) * 2017-08-14 2020-11-20 百度在线网络技术（北京）有限公司 为人脸识别生成训练数据的方法、装置和计算机存储介质
CN107578017B (zh) * 2017-09-08 2020-11-17 百度在线网络技术（北京）有限公司 用于生成图像的方法和装置
CN107491771A (zh) * 2017-09-21 2017-12-19 百度在线网络技术（北京）有限公司 人脸检测方法和装置
US10579785B2 (en) * 2017-09-29 2020-03-03 General Electric Company Automatic authentification for MES system using facial recognition
US11188783B2 (en) * 2017-10-19 2021-11-30 Nokia Technologies Oy Reverse neural network for object re-identification
US10535120B2 (en) * 2017-12-15 2020-01-14 International Business Machines Corporation Adversarial learning of privacy protection layers for image recognition services
US10937540B2 (en) * 2017-12-21 2021-03-02 International Business Machines Coporation Medical image classification based on a generative adversarial network trained discriminator
US10540578B2 (en) * 2017-12-21 2020-01-21 International Business Machines Corporation Adapting a generative adversarial network to new data sources for image classification
US10388002B2 (en) * 2017-12-27 2019-08-20 Facebook, Inc. Automatic image correction using machine learning
US10944767B2 (en) * 2018-02-01 2021-03-09 International Business Machines Corporation Identifying artificial artifacts in input data to detect adversarial attacks
US10825219B2 (en) * 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks
US10762337B2 (en) * 2018-04-27 2020-09-01 Apple Inc. Face synthesis using generative adversarial networks
US11361191B2 (en) * 2018-05-22 2022-06-14 Ebay Inc. Adversarial learning for finegrained image search
KR102184755B1 (ko) * 2018-05-31 2020-11-30 서울대학교 산학협력단 안면 특화 초 고화질 심층 신경망 학습 장치 및 방법
US10769414B2 (en) * 2018-06-03 2020-09-08 Apple Inc. Robust face detection
JP7010774B2 (ja) * 2018-06-26 2022-01-26 トヨタ自動車株式会社 中間工程状態推定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170076740A1 (en) * 2015-09-14 2017-03-16 Cogito Corporation Systems and methods for identifying human emotions and/or mental health states based on analyses of audio inputs and/or behavioral data collected from computing devices
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN107437077A (zh) * 2017-08-04 2017-12-05 深圳市唯特视科技有限公司 一种基于生成对抗网络的旋转面部表示学习的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张卫 等: "基于生成式对抗网络的人脸识别开发", 《电子世界》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275057A (zh) * 2020-02-13 2020-06-12 腾讯科技（深圳）有限公司 图像处理方法、装置及设备
CN111275057B (zh) * 2020-02-13 2023-06-20 腾讯科技（深圳）有限公司 图像处理方法、装置及设备
CN114120412A (zh) * 2021-11-29 2022-03-01 北京百度网讯科技有限公司 图像处理方法和装置

Also Published As

Publication number Publication date
US10762337B2 (en) 2020-09-01
CN110415306B (zh) 2023-04-18
US20190332850A1 (en) 2019-10-31

Similar Documents

Publication Publication Date Title
CN110415306A (zh) 使用生成对抗网络的面部合成
US10977595B2 (en) Security and content protection by continuous identity verification
CN109902659B (zh) 用于处理人体图像的方法和装置
CN111260545B (zh) 生成图像的方法和装置
US11250245B2 (en) Data-driven, photorealistic social face-trait encoding, prediction, and manipulation using deep neural networks
CN110954083B (zh) 移动设备的定位
US10964111B2 (en) Controlling content included in a spatial mapping
US20230206912A1 (en) Digital assistant control of applications
CN105960801A (zh) 增强视频会议
CN113939870A (zh) 为基于生成和检索的应用学习有效音乐特征的技术
EP4206871A1 (en) Method, device, and system for delivering recommendations
US10955911B2 (en) Gazed virtual object identification module, a system for implementing gaze translucency, and a related method
US20230081605A1 (en) Digital assistant for moving and copying graphical elements
US20200242332A1 (en) Integrating scanned business cards with identification of meeting attendees in a given seating arrangement
Frank et al. Visual Appropriation: A Self-reflexive Qualitative Method for Visual Analysis of the International.
US20240111894A1 (en) Generative machine learning models for privacy preserving synthetic data generation using diffusion
WO2020188924A1 (ja) 情報処理装置、検索方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
CN110619602A (zh) 一种图像生成方法、装置、电子设备及存储介质
US11366981B1 (en) Data augmentation for local feature detector and descriptor learning using appearance transform
JP7448664B2 (ja) メディアコンテンツを検索およびインデックス付けするための埋め込みを共有するためのプライバシー制御
WO2022040561A1 (en) Selectively using sensors for contextual data
US20240144590A1 (en) Virtual object placement based on referential expressions
JP2020037155A (ja) 仕草制御装置及び仕草制御プログラム
US12027166B2 (en) Digital assistant reference resolution
US11836179B1 (en) Multimedia query system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant