CN110796111B - 图像处理方法、装置、设备及存储介质 - Google Patents

图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110796111B
CN110796111B CN201911072470.8A CN201911072470A CN110796111B CN 110796111 B CN110796111 B CN 110796111B CN 201911072470 A CN201911072470 A CN 201911072470A CN 110796111 B CN110796111 B CN 110796111B
Authority
CN
China
Prior art keywords
image
expression
encoding
input image
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911072470.8A
Other languages
English (en)
Other versions
CN110796111A (zh
Inventor
孙天宇
黄浩智
刘威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911072470.8A priority Critical patent/CN110796111B/zh
Publication of CN110796111A publication Critical patent/CN110796111A/zh
Priority to PCT/CN2020/117455 priority patent/WO2021088556A1/zh
Application granted granted Critical
Publication of CN110796111B publication Critical patent/CN110796111B/zh
Priority to US17/497,883 priority patent/US20220028031A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像处理方法、装置、设备及存储介质，涉及人工智能的计算机视觉技术领域。所述方法包括：基于注意力机制对输入图像进行编码处理，得到输入图像的编码张量集合和注意力图集合；根据编码张量集合和注意力图集合，得到输入图像的编码结果，输入图像的编码结果中记录有输入图像中人脸的身份特征；对表情图像进行编码处理，得到表情图像的编码结果，表情图像的编码结果中记录有表情图像中人脸的表情特征；根据输入图像的编码结果和表情图像的编码结果，生成输出图像；其中，输出图像具有输入图像的身份特征以及表情图像的表情特征。本申请能够生成与输入图像具有较大表情差异的输出图像，提升了表情变换能力。

Description

图像处理方法、装置、设备及存储介质
技术领域
本申请实施例涉及人工智能技术中的计算机视觉技术领域，特别涉及一种图像处理方法、装置、设备及存储介质。
背景技术
人脸表情编辑(也称为人脸表情变换)是指将一张人脸图像中的表情进行调整，得到另一张图像。例如，原始图像中的表情为微笑，经过人脸表情编辑后得到的目标图像中的表情为哭泣。
在相关技术中，主要通过空间变换的方式将表情编码，通过对原始图像进行空间变换来得到目标图像。由于表情特征依赖于空间变换来编码进目标图像中，因此无法生成原始图像中没有出现的像素单元，例如，原始图像中没有牙齿则目标图像中也没有牙齿，这就导致无法生成与原始图像具有较大表情差异的目标图像，表情变换能力有限。
发明内容
本申请实施例提供了一种图像处理方法、装置、设备及存储介质，可用于解决相关技术无法生成与原始图像具有较大表情差异的目标图像，表情变换能力有限的技术问题。所述技术方案如下：
一方面，本申请实施例提供了一种图像处理方法，所述方法包括：
基于注意力机制对输入图像进行编码处理，得到所述输入图像的编码张量集合和注意力图集合；其中，所述编码张量集合包括n个编码张量，所述注意力图集合包括n个注意力图，所述n为大于1的整数；
根据所述编码张量集合和所述注意力图集合，得到所述输入图像的编码结果，所述输入图像的编码结果中记录有所述输入图像中人脸的身份特征；
对表情图像进行编码处理，得到所述表情图像的编码结果，所述表情图像的编码结果中记录有所述表情图像中人脸的表情特征；
根据所述输入图像的编码结果和所述表情图像的编码结果，生成输出图像；其中，所述输出图像具有所述输入图像的身份特征以及所述表情图像的表情特征。
另一方面，本申请实施例提供了一种图像处理装置，所述装置包括：
第一编码模块，用于基于注意力机制对输入图像进行编码处理，得到所述输入图像的编码张量集合和注意力图集合；其中，所述编码张量集合包括n个编码张量，所述注意力图集合包括n个注意力图，所述n为大于1的整数；
所述第一编码模块，还用于根据所述编码张量集合和所述注意力图集合，得到所述输入图像的编码结果，所述输入图像的编码结果中记录有所述输入图像中人脸的身份特征；
第二编码模块，用于对表情图像进行编码处理，得到所述表情图像的编码结果，所述表情图像的编码结果中记录有所述表情图像中人脸的表情特征；
图像生成模块，用于根据所述输入图像的编码结果和所述表情图像的编码结果，生成输出图像；其中，所述输出图像具有所述输入图像的身份特征以及所述表情图像的表情特征。
再一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述图像处理方法。
又一方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述图像处理方法。
还一方面，本申请实施例提供了一种计算机程序产品，当所述计算机程序产品在计算机设备上运行时，使得计算机设备执行上述图像处理方法。
本申请实施例提供的技术方案可以带来如下有益效果：
通过基于注意力机制对输入图像进行编码处理，得到输入图像的编码张量集合和注意力图集合，然后根据编码张量集合和注意力图集合，得到输入图像的编码结果，另外对表情图像进行编码处理得到该表情图像的编码结果，由于输入图像的编码结果中记录有输入图像中人脸的身份特征，表情图像的编码结果中记录有表情图像中人脸的表情特征，通过根据输入图像的编码结果和表情图像的编码结果，生成输出图像，能够使得输出图像具有输入图像的身份特征以及表情图像的表情特征，这样使得输出图像的表情特征由表情图像决定，而非由输入图像决定，从而能够生成与输入图像具有较大表情差异的输出图像，提升了表情变换能力。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的图像处理方法的流程图；
图2是本申请一个实施例提供的人脸表情编辑模型的示意图；
图3是本申请另一个实施例提供的人脸表情编辑模型的示意图；
图4是本申请一个实施例提供的图像处理装置的框图；
图5是本申请另一个实施例提供的图像处理装置的框图；
图6是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
AI(Artificial Intelligence，人工智能)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
ML(Machine Learning，机器学习)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的计算机视觉技术，提供了一种图像处理方法，通过基于注意力机制对输入图像进行编码处理，得到输入图像的编码张量集合和注意力图集合，然后根据编码张量集合和注意力图集合，得到输入图像的编码结果，另外对表情图像进行编码处理得到该表情图像的编码结果，由于输入图像的编码结果中记录有输入图像中人脸的身份特征，表情图像的编码结果中记录有表情图像中人脸的表情特征，通过根据输入图像的编码结果和表情图像的编码结果，生成输出图像，能够使得输出图像具有输入图像的身份特征以及表情图像的表情特征，这样使得输出图像的表情特征由表情图像决定，而非由输入图像决定，从而能够生成与输入图像具有较大表情差异的输出图像，提升了表情变换能力。
本申请实施例提供的方法，各步骤的执行主体可以是计算机设备，该计算机设备可以是任何具备处理和存储能力的电子设备，如手机、平板电脑、游戏设备、多媒体播放设备、电子相框、可穿戴设备、PC(Personal Computer)等电子设备，也可以是服务器等。为了便于说明，在下述方法实施例中，仅以各步骤的执行主体为计算机设备进行介绍说明，但对此不构成限定。
请参考图1，其示出了本申请一个实施例提供的图像处理方法的流程图，该方法可以包括如下几个步骤(101～104)：
步骤101，基于注意力机制对输入图像进行编码处理，得到输入图像的编码张量集合和注意力图集合。
在本申请实施例中，输入图像是一个人脸图像，也即包含有人脸的图像，基于注意力机制对输入图像进行多通道编码处理，得到输入图像的编码张量集合和注意力图集合。其中，编码张量集合包括n个编码张量，注意力图集合包括n个注意力图，n为大于1的整数。上述n的值可以结合实际需求预先进行设定，例如设定n的值为8。
通过第一编码器可以对输入图像进行编码处理，得到该输入图像的编码张量集合和注意力图集合。该第一编码器用于提取输入图像的图像特征，并对该图像特征进行编码，得到上述两个集合。在本申请实施例中，第一编码器是一个具有想象力的编码器，通过在该第一编码器中嵌入一个想象模块，使得第一编码器能够生成出输入图像的多个编码张量，该多个编码张量中编码了输入图像的多种可能表情，在像素单元的多样性上明显比相关技术更胜一筹。同时，在想象模块中，通过嵌入注意力机制使得每个子单元所编码的表情能够通过肉眼观察得到直观的理解。
注意力机制是深度学习中利用与人眼类似的注意力机制，实现对特征图谱中的特定目标的基于像素的信息增强机制。注意力机制是一种可以对特征图谱中的目标信息进行增强的机制。基于注意力机制对特征图谱进行处理后，特征图谱中的目标信息将被增强。注意力增强后的特征图谱能够实现基于目标的体素级信息的增强。
假设输入图像是一个256×256×3的图像，其中256×256表示输入图像的分辨率，3表示RGB共3个通道，则当n＝8时，经第一编码器对该输入图像进行编码后得到的编码张量集合中包括8个256×256×3的编码张量，注意力图集合中包括8个256×256×1的注意力图，且上述8个编码张量和8个注意力图一一对应。
可选地，第一编码器可以采用U-Net网络结构，U-Net网络是一个基于CNN(Convolutional Neural Networks，卷积神经网络)的图像分割模型，U-Net网络主要包括卷积层、最大池化层(下采样)、反卷积层(上采样)以及ReLU(Rectified Linear Unit，线性整流函数)层等。当然，在一些其它实施例中，第一编码器还可以采用其它网络架构，本申请实施例对此不作限定。
步骤102，根据编码张量集合和注意力图集合，得到输入图像的编码结果，输入图像的编码结果中记录有输入图像中人脸的身份特征。
身份特征是指用于区别不同人的人脸的特征信息。在本申请实施例中，输入图像的编码结果中除了记录有输入图像中人脸的身份特征之外，还记录有该输入图像中人脸的外貌特征，以使得最终生成的输出图像与输入图像具有相同的身份特征和外貌特征。其中，外貌特征是指用于反映人脸的外在样貌属性的特征信息。
可选地，对于编码张量集合和注意力图集合中每一组对应的编码张量和注意力图，将编码张量和注意力图相乘，得到n个处理后编码张量；其中，输入图像的编码结果包括该n个处理后编码张量。
假设输入图像为x，该输入图像的编码张量集合为E，注意力图集合为A，E和A中元素数量相等均为n，且n为大于1的整数。该输入图像x的编码结果ES(x)的表达式为：
Figure BDA0002261392040000061
其中，ei表示编码张量集合E中的第i个编码张量，ai表示注意力图集合中的第i个注意力图。
假设编码张量集合中包括8个256×256×3的编码张量，注意力图集合中包括8个256×256×1的注意力图，则经过上述运算得到的输入图像的编码结果包括8个256×256×3的处理后编码张量。
步骤103，对表情图像进行编码处理，得到表情图像的编码结果，表情图像的编码结果中记录有表情图像中人脸的表情特征。
表情图像是一个用于提供表情特征的人脸图像，在本申请实施例中，通过对表情图像进行编码，提取表情图像中人脸的表情特征，从而使得最终生成的输出图像与输入图像具有相同的身份特征和外貌特征，并与表情图像具有相同的表情特征。也即，将表情图像中人脸的表情变换到输入图像中，并保持输入图像中人脸的身份特征和外貌特征，得到最终的输出图像。
表情图像的编码结果包括一个位移图集合，该位移图集合中包括n个位移图，其中，第i个位移图用于对第i个处理后编码张量进行空间变换处理。假设表情图像为y，该表情图像y的编码结果ET(y)的表达式为：
ET(y)＝{Oi，1≤i≤n)；
其中，Oi表示位移图集合O中的第i个位移图。
示例性地，表情图像的编码结果可以包括8个256×256×2的位移图。以第i个256×256×2的位移图为例，其包括2张256×256的位移图，位置(x，y)的像素在上述2张256×256的位移图中的元素值记为x′和y′，则表示第i个处理后编码张量中位置(x，y)的像素移动至(x′，y′)处。
通过第二编码器可以对表情图像进行编码处理，得到该表情图像的编码结果。该第二编码器用于提取表情图像的图像特征，并对该图像特征进行编码，得到一个位移图集合作为表情图像的编码结果。
另外，第二编码器和第一编码器的网络结构可以相同，也可以不同，本申请实施例对此不作限定。
步骤104，根据输入图像的编码结果和表情图像的编码结果，生成输出图像；其中，输出图像具有输入图像的身份特征以及表情图像的表情特征。
通过将输入图像的编码结果中携带的身份特征与表情图像的编码结果中携带的表情特征进行混合，然后重构出输出图像，使得输出图像具有输入图像的身份特征以及表情图像的表情特征。
可选地，对于每一组对应的处理后编码张量和位移图，采用位移图对处理后编码张量做空间变换处理，得到n个变换后编码张量；对该n个变换后编码张量进行解码处理，生成输出图像。考虑到直接将表情图像和处理后编码向量拼接可能导致表情图像的身份特征逸散到最终的输出图像中，在本申请实施例中，通过将第二编码器的最终训练目标设定为学习一个合适的位移图，通过该位移图来对处理后编码张量做空间变换处理得到变换后编码张量，然后再对变换后编码张量进行解码处理生成输出图像，使得输出图像中仅记录有输入图像的身份特征，而不会记录有表情图像的身份特征。
可选地，变换后编码张量集合F的表达式为：
F＝ST(Es(x),O)
其中，ST表示空间变换处理。经过空间变换处理后，变换后编码张量集合F中包括n个变换后编码张量，最后通过解码器对该n个变换后编码张量进行解码处理，生成输出图像R：
R＝DR({Fi，1≤i≤n})；
其中，Fi表示第i个变换后编码张量，DR表示解码处理。
在示例性实施例中，上述步骤101～104的步骤流程可以由预先训练好的人脸表情编辑模型来完成，通过调用人脸表情编辑模型，由该人脸表情编辑模型根据输入图像和表情图像，生成输出图像。如图2所示，其示例性示出了一个人脸表情编辑模型的示意图，该人脸表情编辑模型包括：第一编码器21、第二编码器22和解码器23。其中，第一编码器21用于基于注意力机制对输入图像x进行编码处理，得到输入图像x的编码张量集合和注意力图集合；以及，根据编码张量集合和注意力图集合，得到输入图像x的编码结果。第二编码器22用于对表情图像y进行编码处理，得到表情图像y的编码结果。解码器23用于根据输入图像x的编码结果和表情图像y的编码结果，生成输出图像R。例如，如图2所示，输入图像x是一个带有微笑表情的女孩，表情图像y是一个带有悲伤表情的男孩，经过上述表情变换处理，最终生成的输出图像R具有输入图像x的身份特征以及表情图像y的表情特征，也即输出图像R是一个带有悲伤表情的女孩。
可选地，在对输入图像进行表情变换生成输出图像之后，可以生成包括该输出图像的视频或动态图片。例如，可以对多个输入图像进行上文介绍的表情变换处理，相应生成多个输出图像，然后将该多个输出图像组合成视频或动态图片。
综上所述，本申请实施例提供的技术方案中，通过基于注意力机制对输入图像进行编码处理，得到输入图像的编码张量集合和注意力图集合，然后根据编码张量集合和注意力图集合，得到输入图像的编码结果，另外对表情图像进行编码处理得到该表情图像的编码结果，由于输入图像的编码结果中记录有输入图像中人脸的身份特征，表情图像的编码结果中记录有表情图像中人脸的表情特征，通过根据输入图像的编码结果和表情图像的编码结果，生成输出图像，能够使得输出图像具有输入图像的身份特征以及表情图像的表情特征，这样使得输出图像的表情特征由表情图像决定，而非由输入图像决定，从而能够生成与输入图像具有较大表情差异的输出图像，提升了表情变换能力。
另外，通过对输入图像进行多通道编码处理，从而生成出输入图像的多个编码张量，该多个编码张量中编码了输入图像的多种可能表情，在像素单元的多样性上明显比相关技术更胜一筹。同时，通过嵌入注意力机制使得每个子单元所编码的表情能够通过肉眼观察得到直观的理解。
在示例性实施例中，上文介绍的人脸表情编辑模型是基于生成对抗网络构建的模型，如图3所示，人脸表情编辑模型30包括生成器31和判别器32，生成器31包括第一编码器21、第二编码器22和解码器23。
该人脸表情编辑模型30的训练过程如下：
1、获取至少一个训练样本，每个训练样本是一个包括原始图像和目标图像的图像对，原始图像和目标图像是同一人脸的两张图像，且原始图像和目标图像具有不同的表情；
其中，生成器用于根据原始图像和目标图像，生成该原始图像对应的输出图像。判别器用于判别目标图像和原始图像对应的输出图像是否为生成器生成的图像。
2、采用训练样本对人脸表情编辑模型进行训练。
在本申请实施例中，基于生成对抗网络构建人脸表情编辑模型，且训练样本中包含的图像对是同一人脸不同表情的两张图像，生成器用于执行上文介绍的人脸表情变换处理，生成原始图像对应的输出图像，判别器利用对抗学习来调整优化生成器的参数，使得生成器生成的原始图像对应的输出图像，尽可能地接近目标图像。可选地，上述生成对抗网络可以选用LSGAN(Least Squares Generative Adversarial Networks，最小二乘生成对抗网络)。
可选地，人脸表情编辑模型的损失函数Ltotal为：
Figure BDA0002261392040000101
其中，
Figure BDA0002261392040000102
表示一阶距离损失，也即像素维度的曼哈顿距离，LLSGAN、LP和LO分表表示最小平方生成对抗网络损失、感知损失和重叠惩罚损失，λLSGAN、λP和λO分别表示三种损失对应的权重，该三种损失对应的权重可以根据实际情况预先设定，本申请实施例对此不作限定。重叠惩罚损失
Figure BDA0002261392040000103
a∈A，A表示注意力图集合，σ(a)表示关于a的sigmoid函数。在本申请实施例中，为了使信道宽度得到充分利用，引入了一个重叠惩罚损失LO来鼓励不同的编码张量来编码图像中不同的部分。
综上所述，本申请实施例提供的技术方案中，采用自监督模式下的生成对抗网络来训练生成器，不需要额外的标注，实现从无标注数据中学习到人脸表情变换的规则，有助于降低模型的训练成本，提升模型的训练效率。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图4，其示出了本申请一个实施例提供的图像处理装置的框图。该装置具有实现上述方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是计算机设备，也可以设置在计算机设备中。该装置400可以包括：第一编码模块410、第二编码模块420和图像生成模块430。
第一编码模块410，用于基于注意力机制对输入图像进行编码处理，得到所述输入图像的编码张量集合和注意力图集合；其中，所述编码张量集合包括n个编码张量，所述注意力图集合包括n个注意力图，所述n为大于1的整数。
所述第一编码模块410，还用于根据所述编码张量集合和所述注意力图集合，得到所述输入图像的编码结果，所述输入图像的编码结果中记录有所述输入图像中人脸的身份特征。
第二编码模块420，用于对表情图像进行编码处理，得到所述表情图像的编码结果，所述表情图像的编码结果中记录有所述表情图像中人脸的表情特征。
图像生成模块430，用于根据所述输入图像的编码结果和所述表情图像的编码结果，生成输出图像；其中，所述输出图像具有所述输入图像的身份特征以及所述表情图像的表情特征。
在示例性实施例中，所述第一编码模块410，用于对于所述编码张量集合和所述注意力图集合中每一组对应的编码张量和注意力图，将所述编码张量和所述注意力图相乘，得到n个处理后编码张量。其中，所述输入图像的编码结果包括所述n个处理后编码张量。
在示例性实施例中，所述表情图像的编码结果包括n个位移图；
所述图像生成模块430，用于：
对于每一组对应的处理后编码张量和位移图，采用所述位移图对所述处理后编码张量做空间变换处理，得到n个变换后编码张量；
对所述n个变换后编码张量进行解码处理，生成所述输出图像。
在示例性实施例中，如图5所示，所述装置400还包括：
模型调用模块440，用于调用人脸表情编辑模型，所述人脸表情编辑模型包括：第一编码器、第二编码器和解码器；其中，
所述第一编码器用于基于注意力机制对所述输入图像进行编码处理，得到所述输入图像的所述编码张量集合和所述注意力图集合；根据所述编码张量集合和所述注意力图集合，得到所述输入图像的编码结果；
所述第二编码器用于对表情图像进行编码处理，得到所述表情图像的编码结果；
所述解码器用于根据所述输入图像的编码结果和所述表情图像的编码结果，生成所述输出图像。
在示例性实施例中，所述人脸表情编辑模型是基于生成对抗网络构建的模型，所述人脸表情编辑模型包括生成器和判别器，所述生成器包括所述第一编码器、所述第二编码器和所述解码器；
所述人脸表情编辑模型的训练过程如下：
获取至少一个训练样本，每个所述训练样本是一个包括原始图像和目标图像的图像对，所述原始图像和所述目标图像是同一人脸的两张图像，且所述原始图像和所述目标图像具有不同的表情；其中，所述生成器用于根据所述原始图像和所述目标图像生成所述原始图像对应的输出图像，所述判别器用于判别所述目标图像和所述原始图像对应的输出图像是否为所述生成器生成的图像；
采用所述训练样本对所述人脸表情编辑模型进行训练。
在示例性实施例中，所述人脸表情编辑模型的损失函数Ltotal为：
Figure BDA0002261392040000121
其中，
Figure BDA0002261392040000122
表示一阶距离损失，LLSGAN、LP和LO分表表示最小平方生成对抗网络损失、感知损失和重叠惩罚损失，λLSGAN、λP和λO分别表示三种损失对应的权重，所述重叠惩罚损失
Figure BDA0002261392040000123
a∈A，A表示注意力图集合，σ(a)表示关于a的sigmoid函数。
在示例性实施例中，如图5所示，所述装置400还包括：
图像处理模块450，用于生成包括所述输出图像的视频或动态图片。
综上所述，本申请实施例提供的技术方案中，通过基于注意力机制对输入图像进行编码处理，得到输入图像的编码张量集合和注意力图集合，然后根据编码张量集合和注意力图集合，得到输入图像的编码结果，另外对表情图像进行编码处理得到该表情图像的编码结果，由于输入图像的编码结果中记录有输入图像中人脸的身份特征，表情图像的编码结果中记录有表情图像中人脸的表情特征，通过根据输入图像的编码结果和表情图像的编码结果，生成输出图像，能够使得输出图像具有输入图像的身份特征以及表情图像的表情特征，这样使得输出图像的表情特征由表情图像决定，而非由输入图像决定，从而能够生成与输入图像具有较大表情差异的输出图像，提升了表情变换能力。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参考图6，其示出了本申请一个实施例提供的计算机设备的结构示意图。
具体来讲：
所述计算机设备600包括CPU(Central Processing Unit，中央处理单元)601、包括RAM(Random Access Memory，随机存取存储器)602和ROM(Read Only Memory，只读存储器)603的系统存储器604，以及连接系统存储器604和中央处理单元601的系统总线605。所述计算机设备600还包括帮助计算机内的各个器件之间传输信息的基本I/O(Input/Output输入/输出)系统606，和用于存储操作系统613、应用程序614和其他程序模块615的大容量存储设备607。
所述基本输入/输出系统606包括有用于显示信息的显示器608和用于用户输入信息的诸如鼠标、键盘之类的输入设备609。其中所述显示器608和输入设备609都通过连接到系统总线605的输入输出控制器610连接到中央处理单元601。所述基本输入/输出系统606还可以包括输入输出控制器610以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器610还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备607通过连接到系统总线605的大容量存储控制器(未示出)连接到中央处理单元601。所述大容量存储设备607及其相关联的计算机可读介质为计算机设备600提供非易失性存储。也就是说，所述大容量存储设备607可以包括诸如硬盘或者CD-ROM(Compact Disc Read-Only Memory，只读光盘)驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Erasable Programmable Read Only Memory，可擦除可编程只读存储器)、闪存或其他固态存储其技术，CD-ROM或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器604和大容量存储设备607可以统称为存储器。
根据本申请的各种实施例，所述计算机设备600还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备600可以通过连接在所述系统总线605上的网络接口单元611连接到网络612，或者说，也可以使用网络接口单元611来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集存储于存储器中，且经配置以由一个或者一个以上处理器执行，以实现上述图像处理方法。
在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被终端的处理器执行时以实现上述图像处理方法。
可选地，该计算机可读存储介质可以包括：ROM、RAM、SSD(Solid State Drives，固态硬盘)或光盘等。其中，随机存取记忆体可以包括ReRAM(Resistance Random AccessMemory，电阻式随机存取记忆体)和DRAM(Dynamic Random Access Memory，动态随机存取存储器)。
在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品被终端的处理器执行时，用于实现上述图像处理方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种图像处理方法，其特征在于，所述方法包括：
基于注意力机制对输入图像进行编码处理，得到所述输入图像的编码张量集合和注意力图集合；其中，所述编码张量集合包括n个编码张量，所述注意力图集合包括n个注意力图，所述n为大于1的整数；
对于所述编码张量集合和所述注意力图集合中每一组对应的编码张量和注意力图，将所述编码张量和所述注意力图相乘，得到所述输入图像的编码结果，所述输入图像的编码结果中记录有所述输入图像中人脸的身份特征，所述输入图像的编码结果包括n个处理后编码张量；
对表情图像进行编码处理，得到所述表情图像的编码结果，所述表情图像的编码结果中记录有所述表情图像中人脸的表情特征，所述表情图像的编码结果包括n个位移图；
对于每一组对应的所述处理后编码张量和所述位移图，采用所述位移图对所述处理后编码张量做空间变换处理，得到n个变换后编码张量；
对所述n个变换后编码张量进行解码处理，生成输出图像；其中，所述输出图像具有所述输入图像的身份特征以及所述表情图像的表情特征。
2.根据权利要求1所述的方法，其特征在于，所述基于注意力机制对输入图像进行编码处理，得到所述输入图像的编码张量集合和注意力图集合之前，还包括：
调用人脸表情编辑模型，所述人脸表情编辑模型包括：第一编码器、第二编码器和解码器；其中，
所述第一编码器用于基于注意力机制对所述输入图像进行编码处理，得到所述输入图像的所述编码张量集合和所述注意力图集合；根据所述编码张量集合和所述注意力图集合，得到所述输入图像的编码结果；
所述第二编码器用于对表情图像进行编码处理，得到所述表情图像的编码结果；
所述解码器用于根据所述输入图像的编码结果和所述表情图像的编码结果，生成所述输出图像。
3.根据权利要求2所述的方法，其特征在于，所述人脸表情编辑模型是基于生成对抗网络构建的模型，所述人脸表情编辑模型包括生成器和判别器，所述生成器包括所述第一编码器、所述第二编码器和所述解码器；
所述人脸表情编辑模型的训练过程如下：
获取至少一个训练样本，每个所述训练样本是一个包括原始图像和目标图像的图像对，所述原始图像和所述目标图像是同一人脸的两张图像，且所述原始图像和所述目标图像具有不同的表情；其中，所述生成器用于根据所述原始图像和所述目标图像生成所述原始图像对应的输出图像，所述判别器用于判别所述目标图像和所述原始图像对应的输出图像是否为所述生成器生成的图像；
采用所述训练样本对所述人脸表情编辑模型进行训练。
4.根据权利要求2所述的方法，其特征在于，所述人脸表情编辑模型的损失函数Ltotal为：
Figure FDA0002689523620000021
其中，
Figure FDA0002689523620000022
表示一阶距离损失，LLSGAN、LP和LO分表表示最小平方生成对抗网络损失、感知损失和重叠惩罚损失，λLSGAN、λP和λO分别表示三种损失对应的权重，所述重叠惩罚损失
Figure FDA0002689523620000023
A表示注意力图集合，σ(a)表示关于a的sigmoid函数。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述对所述n个变换后编码张量进行解码处理，生成输出图像之后，还包括：
生成包括所述输出图像的视频或动态图片。
6.一种图像处理装置，其特征在于，所述装置包括：
第一编码模块，用于基于注意力机制对输入图像进行编码处理，得到所述输入图像的编码张量集合和注意力图集合；其中，所述编码张量集合包括n个编码张量，所述注意力图集合包括n个注意力图，所述n为大于1的整数；
所述第一编码模块，还用于对于所述编码张量集合和所述注意力图集合中每一组对应的编码张量和注意力图，将所述编码张量和所述注意力图相乘，得到所述输入图像的编码结果，所述输入图像的编码结果中记录有所述输入图像中人脸的身份特征，所述输入图像的编码结果包括n个处理后编码张量；
第二编码模块，用于对表情图像进行编码处理，得到所述表情图像的编码结果，所述表情图像的编码结果中记录有所述表情图像中人脸的表情特征，所述表情图像的编码结果包括n个位移图；
图像生成模块，用于对于每一组对应的所述处理后编码张量和所述位移图，采用所述位移图对所述处理后编码张量做空间变换处理，得到n个变换后编码张量；对所述n个变换后编码张量进行解码处理，生成输出图像；其中，所述输出图像具有所述输入图像的身份特征以及所述表情图像的表情特征。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
模型调用模块，用于调用人脸表情编辑模型，所述人脸表情编辑模型包括：第一编码器、第二编码器和解码器；其中，
所述第一编码器用于基于注意力机制对所述输入图像进行编码处理，得到所述输入图像的所述编码张量集合和所述注意力图集合；根据所述编码张量集合和所述注意力图集合，得到所述输入图像的编码结果；
所述第二编码器用于对表情图像进行编码处理，得到所述表情图像的编码结果；
所述解码器用于根据所述输入图像的编码结果和所述表情图像的编码结果，生成所述输出图像。
8.根据权利要求7所述的装置，其特征在于，所述人脸表情编辑模型是基于生成对抗网络构建的模型，所述人脸表情编辑模型包括生成器和判别器，所述生成器包括所述第一编码器、所述第二编码器和所述解码器；
所述人脸表情编辑模型的训练过程如下：
获取至少一个训练样本，每个所述训练样本是一个包括原始图像和目标图像的图像对，所述原始图像和所述目标图像是同一人脸的两张图像，且所述原始图像和所述目标图像具有不同的表情；其中，所述生成器用于根据所述原始图像和所述目标图像生成所述原始图像对应的输出图像，所述判别器用于判别所述目标图像和所述原始图像对应的输出图像是否为所述生成器生成的图像；
采用所述训练样本对所述人脸表情编辑模型进行训练。
9.根据权利要求6至8任一项所述的装置，其特征在于，所述装置还包括：
图像处理模块，用于生成包括所述输出图像的视频或动态图片。
10.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至5任一项所述的方法。
11.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至5任一项所述的方法。
CN201911072470.8A 2019-11-05 2019-11-05 图像处理方法、装置、设备及存储介质 Active CN110796111B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911072470.8A CN110796111B (zh) 2019-11-05 2019-11-05 图像处理方法、装置、设备及存储介质
PCT/CN2020/117455 WO2021088556A1 (zh) 2019-11-05 2020-09-24 图像处理方法、装置、设备及存储介质
US17/497,883 US20220028031A1 (en) 2019-11-05 2021-10-08 Image processing method and apparatus, device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911072470.8A CN110796111B (zh) 2019-11-05 2019-11-05 图像处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110796111A CN110796111A (zh) 2020-02-14
CN110796111B true CN110796111B (zh) 2020-11-10

Family

ID=69442779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911072470.8A Active CN110796111B (zh) 2019-11-05 2019-11-05 图像处理方法、装置、设备及存储介质

Country Status (3)

Country Link
US (1) US20220028031A1 (zh)
CN (1) CN110796111B (zh)
WO (1) WO2021088556A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796111B (zh) * 2019-11-05 2020-11-10 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN111401216B (zh) * 2020-03-12 2023-04-18 腾讯科技（深圳）有限公司 图像处理、模型训练方法、装置、计算机设备和存储介质
CN113538604B (zh) * 2020-04-21 2024-03-19 中移(成都)信息通信科技有限公司 图像生成方法、装置、设备及介质
CN111553267B (zh) * 2020-04-27 2023-12-01 腾讯科技（深圳）有限公司 图像处理方法、图像处理模型训练方法及设备
CN111833238B (zh) * 2020-06-01 2023-07-25 北京百度网讯科技有限公司 图像的翻译方法和装置、图像翻译模型的训练方法和装置
CN111783603A (zh) * 2020-06-24 2020-10-16 有半岛(北京)信息科技有限公司 生成对抗网络训练方法、图像换脸、视频换脸方法及装置
CN113507608A (zh) * 2021-06-09 2021-10-15 北京三快在线科技有限公司 图像编码方法、装置、电子设备
CN113723480B (zh) * 2021-08-18 2024-03-05 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备和存储介质
CN114565941A (zh) * 2021-08-24 2022-05-31 商汤国际私人有限公司 纹理生成方法、装置、设备及计算机可读存储介质
CN113706388B (zh) * 2021-09-24 2023-06-27 上海壁仞智能科技有限公司 图像超分辨率重建方法及装置
CN114866345B (zh) * 2022-07-05 2022-12-09 支付宝(杭州)信息技术有限公司 一种生物识别的处理方法、装置及设备
CN117974853B (zh) * 2024-03-29 2024-06-11 成都工业学院 同源微表情图像自适应切换生成方法、系统、终端及介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9610510B2 (en) * 2015-07-21 2017-04-04 Disney Enterprises, Inc. Sensing and managing vehicle behavior based on occupant awareness
US10825219B2 (en) * 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks
US11074711B1 (en) * 2018-06-15 2021-07-27 Bertec Corporation System for estimating a pose of one or more persons in a scene
CN108921061B (zh) * 2018-06-20 2022-08-26 腾讯科技（深圳）有限公司 一种表情识别方法、装置和设备
CN109190472B (zh) * 2018-07-28 2021-09-14 天津大学 基于图像与属性联合引导的行人属性识别方法
CN109325422A (zh) * 2018-08-28 2019-02-12 深圳壹账通智能科技有限公司 表情识别方法、装置、终端及计算机可读存储介质
CN109508689B (zh) * 2018-11-28 2023-01-03 中山大学 一种对抗强化的表情识别方法
CN109934116B (zh) * 2019-02-19 2020-11-24 华南理工大学 一种基于生成对抗机制与注意力机制的标准人脸生成方法
CN109934767A (zh) * 2019-03-06 2019-06-25 中南大学 一种基于身份和表情特征转换的人脸表情转换方法
CN110008846B (zh) * 2019-03-13 2022-08-30 南京邮电大学 一种图像处理方法
US11074733B2 (en) * 2019-03-15 2021-07-27 Neocortext, Inc. Face-swapping apparatus and method
CN110222588B (zh) * 2019-05-15 2020-03-27 合肥进毅智能技术有限公司 一种人脸素描图像衰老合成方法、装置及存储介质
CN112233212A (zh) * 2019-06-28 2021-01-15 微软技术许可有限责任公司 人像编辑与合成
US10949715B1 (en) * 2019-08-19 2021-03-16 Neon Evolution Inc. Methods and systems for image and voice processing
CN110796111B (zh) * 2019-11-05 2020-11-10 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20220028031A1 (en) 2022-01-27
CN110796111A (zh) 2020-02-14
WO2021088556A1 (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN110796111B (zh) 图像处理方法、装置、设备及存储介质
CN111401216B (zh) 图像处理、模型训练方法、装置、计算机设备和存储介质
US20230072627A1 (en) Gaze correction method and apparatus for face image, device, computer-readable storage medium, and computer program product face image
CN112287820A (zh) 人脸检测神经网络及训练方法、人脸检测方法、存储介质
CN110852256B (zh) 时序动作提名的生成方法、装置、设备及存储介质
CN111553267B (zh) 图像处理方法、图像处理模型训练方法及设备
JP7337268B2 (ja) 三次元エッジ検出方法、装置、コンピュータプログラム及びコンピュータ機器
CN115565238B (zh) 换脸模型的训练方法、装置、设备、存储介质和程序产品
CN111325664A (zh) 风格迁移方法、装置、存储介质及电子设备
CN111833360B (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
CN117033609B (zh) 文本视觉问答方法、装置、计算机设备和存储介质
CN115205150A (zh) 图像的去模糊方法、装置、设备、介质及计算机程序产品
WO2023068953A1 (en) Attention-based method for deep point cloud compression
CN116958324A (zh) 图像生成模型的训练方法、装置、设备及存储介质
CN113762261A (zh) 一种对图像的字符识别方法、装置、设备及介质
CN117499711A (zh) 视频生成模型的训练方法、装置、设备及存储介质
CN113011320A (zh) 视频处理方法、装置、电子设备及存储介质
CN113538254A (zh) 图像恢复方法、装置、电子设备及计算机可读存储介质
CN114333069B (zh) 对象的姿态处理方法、装置、设备及存储介质
CN114581396A (zh) 三维医学图像的识别方法、装置、设备、存储介质及产品
CN115035559A (zh) 人脸活体检测方法、装置、电子设备及计算机存储介质
CN112966569B (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN116091675B (zh) 一种图像处理方法、装置、设备及存储介质
CN117540007B (zh) 基于相似模态补全的多模态情感分析方法、系统和设备
CN115731101A (zh) 超分辨率的图像处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022089

Country of ref document: HK