CN116844217B - 用于生成人脸数据的图像处理系统及方法 - Google Patents

用于生成人脸数据的图像处理系统及方法 Download PDF

Info

Publication number
CN116844217B
CN116844217B CN202311102935.6A CN202311102935A CN116844217B CN 116844217 B CN116844217 B CN 116844217B CN 202311102935 A CN202311102935 A CN 202311102935A CN 116844217 B CN116844217 B CN 116844217B
Authority
CN
China
Prior art keywords
face
image
feature vector
sequence
semantic feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311102935.6A
Other languages
English (en)
Other versions
CN116844217A (zh
Inventor
伍强
李佩剑
邓清凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Ruitong Technology Co ltd
Original Assignee
Chengdu Ruitong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Ruitong Technology Co ltd filed Critical Chengdu Ruitong Technology Co ltd
Priority to CN202311102935.6A priority Critical patent/CN116844217B/zh
Publication of CN116844217A publication Critical patent/CN116844217A/zh
Application granted granted Critical
Publication of CN116844217B publication Critical patent/CN116844217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种用于生成人脸数据的图像处理系统及方法。其首先对获取的目标对象的人脸图像进行图像预处理以去除所述目标对象的人脸图像中的背景部分，以得到预处理后人脸图像，接着对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列，然后将所述人脸局部图像块的序列通过包含嵌入层的ViT模型以得到人脸全局语义特征向量，接着对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到优化人脸全局语义特征向量，最后将所述优化人脸全局语义特征向量通过第一分类器以得到用于表示鼻梁优化的推荐等级是否超过预定阈值的第一分类结果。这样可以提升人脸分析的准确性和效率。

Description

用于生成人脸数据的图像处理系统及方法
技术领域
本申请涉及智能化图像处理领域，且更为具体地，涉及一种用于生成人脸数据的图像处理系统及方法。
背景技术
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号、图像处理等领域。人脸图像经过处理得到的人脸数据是一项重要的生物识别信息，深度学习以及神经网络的发展为挖掘所述人脸图像特征信息提供了新的解决思路和方案。
申请号为201711494694.9的中国专利公开了一种基于神经网络和积分图像的人脸定位方法，包括以下步骤：1.训练神经网络模型；2.使用训练好的模型对数字凸显进行人脸/非人脸的分类以及人脸区域的坐标定位。本发明利用单个简单的神经网络和积分图像以及数字图像处理的技术实现了对数字图像中的人脸进行分类和定位。该发明具有简单快速的特点，具有更好的鲁棒性，对训练样本的数量要求更小，使得训练工作成本更低，整体的实施成本也大大的降低，且对于多状态的人脸分类更具有优势。
申请号为201810946637.8的中国发明专利公开了一种基于卷积神经网络的人脸图像质量评估方法和系统。该方法步骤包括：1)构建一深度卷积网络作为大网络，以及一浅卷积层的小网络；2)利用已标注的训练样本分别训练该大网络和该小网络，直至该小网络输出的特征向量与该大网络输出的特征向量基本一致；其中，每次迭代训练时，将该大网络输出的特征向量与该小网络输出的特征向量一起作为该小网络的回归损失函数层的输入；3)将目标人脸图像输入步骤2)训练好的小网络，得到该目标人脸图像的特征向量并将其输入质量评估网络，利用质量评估网络计算得到该目标人脸图像图像质量。该发明极大优化了图像质量评估的准确度及实时性。
随着人工智能和计算机视觉技术的不断发展，人脸图像处理的应用场景也得到了广泛的应用。比如，在医疗整形行业中，通过对人脸图片进行分析和处理，可以提供更准确的面部优化和整形技术支持。而由于每个患者的脸型、面部特征以及医生的要求等因素都可能不同，导致对于人脸分析的准确性和效率较低，影响后续的医疗整形工作。
因此，期望一种优化的用于生成人脸数据的图像处理系统。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种用于生成人脸数据的图像处理系统及方法。其首先对获取的目标对象的人脸图像进行图像预处理以去除所述目标对象的人脸图像中的背景部分以得到预处理后人脸图像，接着对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列，然后将所述人脸局部图像块的序列通过包含嵌入层的ViT模型以得到人脸全局语义特征向量，接着对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到优化人脸全局语义特征向量，最后将所述优化人脸全局语义特征向量通过第一分类器以得到用于表示鼻梁优化的推荐等级是否超过预定阈值的第一分类结果。这样可以提升人脸分析的准确性和效率。
根据本申请的一个方面，提供了一种用于生成人脸数据的图像处理系统，其包括：
人脸图像数据采集模块，用于获取目标对象的人脸图像；
图像预处理模块，用于对所述目标对象的人脸图像进行图像预处理以去除所述目标对象的人脸图像中的背景部分以得到预处理后人脸图像；
图像分块模块，用于对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列；
人脸全局特征提取模块，用于将所述人脸局部图像块的序列通过包含嵌入层的ViT模型以得到人脸全局语义特征向量；
特征优化模块，用于对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到优化人脸全局语义特征向量；
以及鼻梁优化模块，用于将所述优化人脸全局语义特征向量通过第一分类器以得到第一分类结果，所述第一分类结果用于表示鼻梁优化的推荐等级是否超过预定阈值。
在上述的用于生成人脸数据的图像处理系统中，所述图像分块模块，用于对所述预处理后人脸图像进行均匀地图像分块处理以得到人脸局部图像块的序列。
在上述的用于生成人脸数据的图像处理系统中，所述人脸全局特征提取模块，包括：
嵌入化单元，用于使用所述ViT模型的所述嵌入层分别对所述人脸局部图像块的序列中各个人脸局部图像块进行嵌入化以得到人脸局部图像块嵌入向量的序列；
以及ViT编码单元，用于将所述人脸局部图像块嵌入向量的序列通过所述ViT模型以得到所述人脸全局语义特征向量。
在上述的用于生成人脸数据的图像处理系统中，所述嵌入化单元，用于将所述人脸局部图像块的序列中各个人脸局部图像块的二维像素值矩阵展开为一维像素值向量以得到一维像素值向量的序列；
以及使用所述嵌入层分别对所述一维像素值向量的序列中的各个一维像素值向量进行全连接编码以得到所述人脸局部图像块嵌入向量的序列。
在上述的用于生成人脸数据的图像处理系统中，所述特征优化模块，用于以如下优化公式对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到所述优化人脸全局语义特征向量；
其中，所述优化公式为：
其中，是所述人脸全局语义特征向量，/>是所述人脸全局语义特征向量的第/>个位置的特征值，/>是所述人脸全局语义特征向量的长度，/>表示所述人脸全局语义特征向量的二范数的平方，/>是加权超参数，/>是所述优化人脸全局语义特征向量的第/>个位置的特征值。
在上述的用于生成人脸数据的图像处理系统中，所述鼻梁优化模块，包括：
全连接编码单元，用于使用所述第一分类器的全连接层对所述优化人脸全局语义特征向量进行全连接编码以得到编码分类特征向量；
以及分类单元，用于将所述编码分类特征向量输入所述第一分类器的Softmax分类函数以得到所述第一分类结果。
根据本申请的另一个方面，提供了一种用于生成人脸数据的图像处理方法，其包括：
获取目标对象的人脸图像；
对所述目标对象的人脸图像进行图像预处理以去除所述目标对象的人脸图像中的背景部分以得到预处理后人脸图像；
对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列；
将所述人脸局部图像块的序列通过包含嵌入层的ViT模型以得到人脸全局语义特征向量；
对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到优化人脸全局语义特征向量；
以及将所述优化人脸全局语义特征向量通过第一分类器以得到第一分类结果，所述第一分类结果用于表示鼻梁优化的推荐等级是否超过预定阈值。
在上述的用于生成人脸数据的图像处理方法中，对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列，包括：
对所述预处理后人脸图像进行均匀地图像分块处理以得到人脸局部图像块的序列。
在上述的用于生成人脸数据的图像处理方法中，将所述人脸局部图像块的序列通过包含嵌入层的ViT模型以得到人脸全局语义特征向量，包括：
使用所述ViT模型的所述嵌入层分别对所述人脸局部图像块的序列中各个人脸局部图像块进行嵌入化以得到人脸局部图像块嵌入向量的序列；以及
将所述人脸局部图像块嵌入向量的序列通过所述ViT模型以得到所述人脸全局语义特征向量。
在上述的用于生成人脸数据的图像处理方法中，使用所述ViT模型的所述嵌入层分别对所述人脸局部图像块的序列中各个人脸局部图像块进行嵌入化以得到人脸局部图像块嵌入向量的序列，包括：
将所述人脸局部图像块的序列中各个人脸局部图像块的二维像素值矩阵展开为一维像素值向量以得到一维像素值向量的序列；
以及使用所述嵌入层分别对所述一维像素值向量的序列中的各个一维像素值向量进行全连接编码以得到所述人脸局部图像块嵌入向量的序列。
与现有技术相比，本申请提供的用于生成人脸数据的图像处理系统及方法，其首先对获取的目标对象的人脸图像进行图像预处理以去除所述目标对象的人脸图像中的背景部分以得到预处理后人脸图像，接着对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列，然后将所述人脸局部图像块的序列通过包含嵌入层的ViT模型以得到人脸全局语义特征向量，接着对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到优化人脸全局语义特征向量，最后将所述优化人脸全局语义特征向量通过第一分类器以得到用于表示鼻梁优化的推荐等级是否超过预定阈值的第一分类结果。这样可以提升人脸分析的准确性和效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。
图1为根据本申请实施例的用于生成人脸数据的图像处理系统的应用场景图。
图2为根据本申请实施例的用于生成人脸数据的图像处理系统的框图示意图。
图3为根据本申请实施例的用于生成人脸数据的图像处理系统中的所述人脸全局特征提取模块的框图示意图。
图4为根据本申请实施例的用于生成人脸数据的图像处理系统中的所述鼻梁优化模块的框图示意图。
图5为根据本申请实施例的用于生成人脸数据的图像处理方法的流程图。
图6为根据本申请实施例的用于生成人脸数据的图像处理方法的系统架构的示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
如上所述，在医疗整形行业中，通过对人脸图片进行分析和处理，可以提供更准确的面部优化和整形技术支持。然而，由于每个患者的脸型、面部特征以及医生的要求等因素都可能不同，导致对于人脸分析的准确性和效率较低，影响后续的医疗整形效果。因此，期望一种优化的用于生成人脸数据的图像处理系统。
具体地，在本申请的技术方案中，提出了一种用于生成人脸数据的图像处理系统，其能够基于图像识别和机器视觉技术来检测出目标对象的眼睛大小、位置以及各个人脸的特征信息，然后通过远程监测目标对象的眼睛度数和散光，以及目标对象的人脸面部表情，从而在不同的人脸特征情况下，自动分析生成目标对象的优化人脸结构，比如鼻梁需要增高，双眼皮等等，以此生成报告，提供更多可供医生参考的客观数据。
基于此，在本申请的技术方案中，考虑到在实际进行人脸图像数据的分析处理来进行人脸结构优化时，比如鼻梁需要增高，双眼皮等，关键在于对所述目标对象的人脸图像中关于目标对象的人脸特征进行充分表达。但是，由于所述目标对象的人脸图像中存在有较多的信息量，且还存在有背景干扰，而关于目标对象的人脸特征在图像中为小尺度的隐含特征信息，这对于目标对象的人脸结构分析带来了困难。因此，在此过程中，难点在于如何进行所述人脸图像中关于目标对象的人脸隐含小尺度特征信息的充分表达，以此来准确地进行目标对象的人脸结构分析，以生成人脸结构优化的报告，提供更多可供医生参考的客观数据。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述人脸图像中关于目标对象的人脸隐含小尺度特征信息提供了新的解决思路和方案。
具体地，在本申请的技术方案中，首先，获取目标对象的人脸图像。应可以理解，所述目标对象的人脸图像与背景颜色相近,会导致对比度不明显，也就是说，背景信息会影响到人脸特征的提取和识别。如果将所述人脸图像的原始图片直接放进编码器中进行图像特征提取,会影响最终的优化人脸图像的生成结果精准度。因此，为了提高所述目标对象的人脸图像的对比度,以提高目标对象人脸特征的表达能力，需要对原始图片进行图像预处理。也就是，对所述目标对象的人脸图像进行图像预处理以去除所述目标对象的人脸图像中的背景部分以得到预处理后人脸图像。
更具体地，对所述目标对象的人脸图像进行图像预处理方式可以为对图像进行灰度转换、图像标准化、对比度受限自适应直方图均衡化(CLAHE)和伽马校正处理。应可以理解，灰度转换能够将彩色图片转换成灰度图像，以降低图像数据量，使处理速度更快，并且简化后续的图像处理流程。同时，灰度图像也更具有鲁棒性，可以抑制光照变化等因素对人脸识别造成的影响。并且，由于人脸在不同角度、姿态、表情、光照条件下会产生不同形态的变化，因此对人脸图像进行标准化有助于保持尺度一致性，从而更好地提取出人脸的特征。标准化方法包括图像旋转和缩放等调整。CLAHE是一种对图像局部对比度进行自适应调整的方法，可以增强图像的细节和边缘信息，并且可以抑制局部背景亮度变化对人脸识别的影响。此外，CLAHE算法还可以避免全局直方图均衡化的不良影响，如噪声大大增加等问题。伽马校正是一种非线性方式处理图像亮度变化，可以在保持图像的颜色信息不变的情况下，对亮度传感器不同之处进行修正，从而优化图像的细节和清晰度。这种预处理方法也可以降低图像的噪声影响，为后续的特征提取和人脸识别提供更好的数据支持。
进一步地，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述预处理后人脸图像的特征挖掘，但是由于卷积运算的固有局限性，纯CNN的方法很难学习明确的全局和远程语义信息交互。并且，还考虑到由于所述预处理后人脸图像中关于目标对象人脸的隐含特征为小尺度的细微特征，难以进行捕捉提取。因此，为了能够提高所述标对象人脸隐含小尺度的细微特征的表达能力，以此来提高对目标对象人脸结构优化等级的控制精准度，在本申请的技术方案中，对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列后，将所述人脸局部图像块的序列通过包含嵌入层的ViT模型中进行编码，以提取出所述预处理后人脸图像中的各个人脸局部图像块的关于人脸特征的隐含上下文语义关联特征分布信息，从而得到人脸全局语义特征向量。
具体来说，在对于所述预处理后人脸图像进行图像分块处理后的各个人脸局部图像块中关于所述目标对象的人脸小尺度隐含特征不再是小尺度的特征信息，有利于后续进行人脸特征的充分刻画。特别地，这里，所述嵌入层通过可学习嵌入矩阵将所述各个人脸局部图像块线性投影为一维嵌入向量。嵌入化的实现过程是先分别将各个所述人脸局部图像块中所有像素位置的像素值排列为一维向量，然后使用全连接层对该一维向量进行全连接编码以实现嵌入化。并且，这里，所述ViT模型可以通过自注意机制处理所述各个人脸局部图像块，以此来分别提取出所述各个人脸局部图像块中基于所述预处理后人脸图像整体的关于所述目标对象的人脸隐含上下文语义关联特征信息。
然后，将所述人脸全局语义特征向量通过第一分类器以得到第一分类结果，所述第一分类结果用于表示鼻梁优化的推荐等级是否超过预定阈值。也就是说，以所述目标对象的人脸图像中关于目标对象的人脸全局上下文语义关联特征信息为基础来进行分类，从而对于人脸结构的各个参数数据进行调控，例如鼻梁优化的推荐等级和双眼皮优化的推荐等级等。在本申请的另一个具体示例中，还可以将所述人脸全局语义特征向量通过第二分类器以得到用于表示双眼皮优化的推荐等级是否超过预定阈值的第二分类结果，对此并不为本申请所局限。
特别地，在本申请的技术方案中，在将所述人脸局部图像块的序列通过包含嵌入层的ViT模型得到所述人脸全局语义特征向量时，考虑到本身所述预处理后人脸图像进行图像分块处理得到的多个人脸局部图像块就存在图像语义关联，而ViT模型会进一步对所述多个人脸局部图像块进行图像语义特征的上下文编码，这就使得由ViT模型得到的多个上下文人脸局部图像特征向量的特征分布之间的关联性较高，导致多个上下文人脸局部图像特征向量直接级联得到的所述人脸全局语义特征向量在高维特征空间内的概率密度表示下的维度区分度不够，影响所述人脸全局语义特征向量在分类任务下的类概率表达，降低了所述人脸全局语义特征向量通过分类器得到的分类结果的准确性。
由此，本申请的申请人考虑到如果将所述人脸局部图像块的图像语义特征作为前景对象特征，则ViT模型进行的上下文编码会引入针对前景对象特征的背景分布噪声，并且使得所述人脸全局语义特征向量具有所述人脸局部图像块的局部图像语义特征和序列间上下文关联的全局图像语义特征的空间分级语义，因此，对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益，表示为：
其中，是所述人脸全局语义特征向量，/>是所述人脸全局语义特征向量的第/>个位置的特征值，/>是所述人脸全局语义特征向量的长度，/>表示所述人脸全局语义特征向量的二范数的平方，/>是加权超参数，/>是优化人脸全局语义特征向量的第/>个位置的特征值。
这里，基于标准柯西分布对于自然高斯分布在概率密度上的特征模仿范式，所述基于概率密度特征模仿范式的分布增益将特征尺度作为模仿掩码，以在高维特征空间内区分前景对象特征和背景分布噪声，从而基于高维特征的空间分级语义来对高维空间进行特征空间映射的语义认知的分布软匹配，来获得高维特征分布的无约束的分布增益，提升优化后的人脸全局语义特征向量基于特征分布的表达效果，以提升所述优化后的人脸全局语义特征向量在分类任务下的类概率表达的准确性，从而改进优化后的人脸全局语义特征向量通过分类器得到的分类结果的准确性。这样，能够准确地进行目标对象的人脸结构分析，以生成人脸结构优化的报告，从而提供更多可供医生参考的客观数据。
图1为根据本申请实施例的用于生成人脸数据的图像处理系统的应用场景图。如图1所示，在该应用场景中，首先，获取目标对象的人脸图像（例如，图1中所示意的D），然后，将所述目标对象的人脸图像输入至部署有用于生成人脸数据的图像处理算法的服务器中（例如，图1中所示意的S），其中，所述服务器能够使用所述用于生成人脸数据的图像处理算法对所述目标对象的人脸图像进行处理以得到用于表示鼻梁优化的推荐等级是否超过预定阈值的第一分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
图2为根据本申请实施例的用于生成人脸数据的图像处理系统的框图示意图。如图2所示，根据本申请实施例的用于生成人脸数据的图像处理系统100，包括：人脸图像数据采集模块110，用于获取目标对象的人脸图像；图像预处理模块120，用于对所述目标对象的人脸图像进行图像预处理以去除所述目标对象的人脸图像中的背景部分以得到预处理后人脸图像；图像分块模块130，用于对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列；人脸全局特征提取模块140，用于将所述人脸局部图像块的序列通过包含嵌入层的ViT模型以得到人脸全局语义特征向量；特征优化模块150，用于对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到优化人脸全局语义特征向量；以及，鼻梁优化模块160，用于将所述优化人脸全局语义特征向量通过第一分类器以得到第一分类结果，所述第一分类结果用于表示鼻梁优化的推荐等级是否超过预定阈值。
更具体地，在本申请实施例中，所述人脸图像数据采集模块110，用于获取目标对象的人脸图像。在实际进行人脸图像数据的分析处理来进行人脸结构优化时，比如鼻梁需要增高，双眼皮等，关键在于对所述目标对象的人脸图像中关于目标对象的人脸特征进行充分表达。
更具体地，在本申请实施例中，所述图像预处理模块120，用于对所述目标对象的人脸图像进行图像预处理以去除所述目标对象的人脸图像中的背景部分以得到预处理后人脸图像。应可以理解，所述目标对象的人脸图像与背景颜色相近,会导致对比度不明显，也就是说，背景信息会影响到人脸特征的提取和识别。如果将所述人脸图像的原始图片直接放进编码器中进行图像特征提取,会影响最终的优化人脸图像的生成结果精准度。因此，为了提高所述目标对象的人脸图像的对比度,以提高目标对象人脸特征的表达能力，需要对原始图片进行图像预处理。
更具体地，在本申请实施例中，所述图像分块模块130，用于对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列。由于所述预处理后人脸图像中关于目标对象人脸的隐含特征为小尺度的细微特征，为了能够提高所述标对象人脸隐含小尺度的细微特征的表达能力，以此来提高对目标对象人脸结构优化等级的控制精准度，在本申请的技术方案中，对所述预处理后人脸图像进行图像分块处理。具体来说，在对于所述预处理后人脸图像进行图像分块处理后的各个人脸局部图像块中关于所述目标对象的人脸小尺度隐含特征不再是小尺度的特征信息，有利于后续进行人脸特征的充分刻画。
相应地，在一个具体示例中，所述图像分块模块130，用于：对所述预处理后人脸图像进行均匀地图像分块处理以得到人脸局部图像块的序列。
更具体地，在本申请实施例中，所述人脸全局特征提取模块140，用于将所述人脸局部图像块的序列通过包含嵌入层的ViT模型以得到人脸全局语义特征向量。将所述人脸局部图像块的序列通过包含嵌入层的ViT模型中进行编码，以提取出所述预处理后人脸图像中的各个人脸局部图像块的关于人脸特征的隐含上下文语义关联特征分布信息，从而得到人脸全局语义特征向量。
相应地，在一个具体示例中，如图3所示，所述人脸全局特征提取模块140，包括：嵌入化单元141，用于使用所述ViT模型的所述嵌入层分别对所述人脸局部图像块的序列中各个人脸局部图像块进行嵌入化以得到人脸局部图像块嵌入向量的序列；以及，ViT编码单元142，用于将所述人脸局部图像块嵌入向量的序列通过所述ViT模型以得到所述人脸全局语义特征向量。
相应地，在一个具体示例中，所述嵌入化单元141，用于将所述人脸局部图像块的序列中各个人脸局部图像块的二维像素值矩阵展开为一维像素值向量以得到一维像素值向量的序列；以及，使用所述嵌入层分别对所述一维像素值向量的序列中的各个一维像素值向量进行全连接编码以得到所述人脸局部图像块嵌入向量的序列。
更具体地，在本申请实施例中，所述特征优化模块150，用于对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到优化人脸全局语义特征向量。特别地，在本申请的技术方案中，在将所述人脸局部图像块的序列通过包含嵌入层的ViT模型得到所述人脸全局语义特征向量时，考虑到本身所述预处理后人脸图像进行图像分块处理得到的多个人脸局部图像块就存在图像语义关联，而ViT模型会进一步对所述多个人脸局部图像块进行图像语义特征的上下文编码，这就使得由ViT模型得到的多个上下文人脸局部图像特征向量的特征分布之间的关联性较高，导致多个上下文人脸局部图像特征向量直接级联得到的所述人脸全局语义特征向量在高维特征空间内的概率密度表示下的维度区分度不够，影响所述人脸全局语义特征向量在分类任务下的类概率表达，降低了所述人脸全局语义特征向量通过分类器得到的分类结果的准确性。
由此，本申请的申请人考虑到如果将所述人脸局部图像块的图像语义特征作为前景对象特征，则ViT模型进行的上下文编码会引入针对前景对象特征的背景分布噪声，并且使得所述人脸全局语义特征向量具有所述人脸局部图像块的局部图像语义特征和序列间上下文关联的全局图像语义特征的空间分级语义，因此，对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益。
相应地，在一个具体示例中，所述特征优化模块150，用于：以如下优化公式对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到所述优化人脸全局语义特征向量；其中，所述优化公式为：
其中，是所述人脸全局语义特征向量，/>是所述人脸全局语义特征向量的第/>个位置的特征值，/>是所述人脸全局语义特征向量的长度，/>表示所述人脸全局语义特征向量的二范数的平方，/>是加权超参数，/>是优化人脸全局语义特征向量的第/>个位置的特征值。
这里，基于标准柯西分布对于自然高斯分布在概率密度上的特征模仿范式，所述基于概率密度特征模仿范式的分布增益将特征尺度作为模仿掩码，以在高维特征空间内区分前景对象特征和背景分布噪声，从而基于高维特征的空间分级语义来对高维空间进行特征空间映射的语义认知的分布软匹配，来获得高维特征分布的无约束的分布增益，提升优化后的人脸全局语义特征向量基于特征分布的表达效果，以提升所述优化后的人脸全局语义特征向量在分类任务下的类概率表达的准确性，从而改进优化后的人脸全局语义特征向量通过分类器得到的分类结果的准确性。这样，能够准确地进行目标对象的人脸结构分析，以生成人脸结构优化的报告，从而提供更多可供医生参考的客观数据。
更具体地，在本申请实施例中，所述鼻梁优化模块160，用于将所述优化人脸全局语义特征向量通过第一分类器以得到第一分类结果，所述第一分类结果用于表示鼻梁优化的推荐等级是否超过预定阈值。也就是说，以所述目标对象的人脸图像中关于目标对象的人脸全局上下文语义关联特征信息为基础来进行分类，从而对于人脸结构的各个参数数据进行调控，例如鼻梁优化的推荐等级和双眼皮优化的推荐等级等。
应可以理解，分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类（或预测）。逻辑回归（logistics）、SVM等常用于解决二分类问题，对于多分类问题（multi-class classification），同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有Softmax分类函数。
相应地，在一个具体示例中，如图4所示，所述鼻梁优化模块160，包括：全连接编码单元161，用于使用所述第一分类器的全连接层对所述优化人脸全局语义特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元162，用于将所述编码分类特征向量输入所述第一分类器的Softmax分类函数以得到所述第一分类结果。
相应地，在另一个具体示例中，所述鼻梁优化模块160，用于：使用所述第一分类器以如下公式对所述优化人脸全局语义特征向量进行处理以获得所述第一分类结果；
其中，所述公式为：，其中/>表示所述优化人脸全局语义特征向量，/>表示全连接层的权重矩阵，/>表示全连接层的偏置向量，/>表示归一化指数函数，/>表示所述第一分类结果。
综上，基于本申请实施例的用于生成人脸数据的图像处理系统100被阐明，其首先对获取的目标对象的人脸图像进行图像预处理以去除所述目标对象的人脸图像中的背景部分以得到预处理后人脸图像，接着对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列，然后将所述人脸局部图像块的序列通过包含嵌入层的ViT模型以得到人脸全局语义特征向量，接着对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到优化人脸全局语义特征向量，最后将所述优化人脸全局语义特征向量通过第一分类器以得到用于表示鼻梁优化的推荐等级是否超过预定阈值的第一分类结果。这样可以提升人脸分析的准确性和效率。
如上所述，根据本申请实施例的基于本申请实施例的用于生成人脸数据的图像处理系统100可以实现在各种终端设备中，例如具有基于本申请实施例的用于生成人脸数据的图像处理算法的服务器等。在一个示例中，基于本申请实施例的用于生成人脸数据的图像处理系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于本申请实施例的用于生成人脸数据的图像处理系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于本申请实施例的用于生成人脸数据的图像处理系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于本申请实施例的用于生成人脸数据的图像处理系统100与该终端设备也可以是分立的设备，并且该用于生成人脸数据的图像处理系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图5为根据本申请实施例的用于生成人脸数据的图像处理方法的流程图。如图5所示，根据本申请实施例的用于生成人脸数据的图像处理方法，其包括：S110，获取目标对象的人脸图像；S120，对所述目标对象的人脸图像进行图像预处理以去除所述目标对象的人脸图像中的背景部分以得到预处理后人脸图像；S130，对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列；S140，将所述人脸局部图像块的序列通过包含嵌入层的ViT模型以得到人脸全局语义特征向量；S150，对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到优化人脸全局语义特征向量；以及，S160，将所述优化人脸全局语义特征向量通过第一分类器以得到第一分类结果，所述第一分类结果用于表示鼻梁优化的推荐等级是否超过预定阈值。
图6为根据本申请实施例的用于生成人脸数据的图像处理方法的系统架构的示意图。如图6所示，在所述用于生成人脸数据的图像处理方法的系统架构中，首先，获取目标对象的人脸图像；接着，对所述目标对象的人脸图像进行图像预处理以去除所述目标对象的人脸图像中的背景部分以得到预处理后人脸图像；然后，对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列；接着，将所述人脸局部图像块的序列通过包含嵌入层的ViT模型以得到人脸全局语义特征向量；然后，对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到优化人脸全局语义特征向量；最后，将所述优化人脸全局语义特征向量通过第一分类器以得到第一分类结果，所述第一分类结果用于表示鼻梁优化的推荐等级是否超过预定阈值。
在一个具体示例中，在上述用于生成人脸数据的图像处理方法中，对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列，包括：对所述预处理后人脸图像进行均匀地图像分块处理以得到人脸局部图像块的序列。
在一个具体示例中，在上述用于生成人脸数据的图像处理方法中，将所述人脸局部图像块的序列通过包含嵌入层的ViT模型以得到人脸全局语义特征向量，包括：使用所述ViT模型的所述嵌入层分别对所述人脸局部图像块的序列中各个人脸局部图像块进行嵌入化以得到人脸局部图像块嵌入向量的序列；以及，将所述人脸局部图像块嵌入向量的序列通过所述ViT模型以得到所述人脸全局语义特征向量。
在一个具体示例中，在上述用于生成人脸数据的图像处理方法中，使用所述ViT模型的所述嵌入层分别对所述人脸局部图像块的序列中各个人脸局部图像块进行嵌入化以得到人脸局部图像块嵌入向量的序列，包括：将所述人脸局部图像块的序列中各个人脸局部图像块的二维像素值矩阵展开为一维像素值向量以得到一维像素值向量的序列；以及，使用所述嵌入层分别对所述一维像素值向量的序列中的各个一维像素值向量进行全连接编码以得到所述人脸局部图像块嵌入向量的序列。
这里，本领域技术人员可以理解，上述用于生成人脸数据的图像处理方法中的各个步骤的具体操作已经在上面参考图1到图4的用于生成人脸数据的图像处理系统100的描述中得到了详细介绍，并因此，将省略其重复描述。
根据本申请的另一方面，还提供了一种非易失性的计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时可以执行如前所述的方法。
技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。
本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (8)

1.一种用于生成人脸数据的图像处理系统，其特征在于，包括：
人脸图像数据采集模块，用于获取目标对象的人脸图像；
图像预处理模块，用于对所述目标对象的人脸图像进行图像预处理以去除所述目标对象的人脸图像中的背景部分，以得到预处理后人脸图像；
图像分块模块，用于对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列；
人脸全局特征提取模块，用于将所述人脸局部图像块的序列通过包含嵌入层的ViT模型以得到人脸全局语义特征向量；
特征优化模块，用于对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到优化人脸全局语义特征向量；
以及鼻梁优化模块，用于将所述优化人脸全局语义特征向量通过第一分类器以得到第一分类结果，所述第一分类结果用于表示鼻梁优化的推荐等级是否超过预定阈值；
所述特征优化模块，用于以如下优化公式对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到所述优化人脸全局语义特征向量；
其中，所述优化公式为：
；
其中，是所述人脸全局语义特征向量，/>是所述人脸全局语义特征向量的第/>个位置的特征值，/>是所述人脸全局语义特征向量的长度，/>表示所述人脸全局语义特征向量的二范数的平方，/>是加权超参数，/>是所述优化人脸全局语义特征向量的第/>个位置的特征值；
所述鼻梁优化模块，包括：
全连接编码单元，用于使用所述第一分类器的全连接层对所述优化人脸全局语义特征向量进行全连接编码以得到编码分类特征向量；
以及分类单元，用于将所述编码分类特征向量输入所述第一分类器的Softmax分类函数以得到所述第一分类结果。
2.根据权利要求1所述的用于生成人脸数据的图像处理系统，其特征在于，所述图像分块模块，用于对所述预处理后人脸图像进行均匀地图像分块处理以得到人脸局部图像块的序列。
3.根据权利要求2所述的用于生成人脸数据的图像处理系统，其特征在于，所述人脸全局特征提取模块，包括：
嵌入化单元，用于使用所述ViT模型的所述嵌入层分别对所述人脸局部图像块的序列中各个人脸局部图像块进行嵌入化以得到人脸局部图像块嵌入向量的序列；
以及ViT编码单元，用于将所述人脸局部图像块嵌入向量的序列通过所述ViT模型以得到所述人脸全局语义特征向量。
4.根据权利要求3所述的用于生成人脸数据的图像处理系统，其特征在于，所述嵌入化单元，用于将所述人脸局部图像块的序列中各个人脸局部图像块的二维像素值矩阵展开为一维像素值向量以得到一维像素值向量的序列；
以及使用所述嵌入层分别对所述一维像素值向量的序列中的各个一维像素值向量进行全连接编码以得到所述人脸局部图像块嵌入向量的序列。
5.一种用于生成人脸数据的图像处理方法，其特征在于，包括：
获取目标对象的人脸图像；
对所述目标对象的人脸图像进行图像预处理以去除所述目标对象的人脸图像中的背景部分以得到预处理后人脸图像；
对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列；
将所述人脸局部图像块的序列通过包含嵌入层的ViT模型以得到人脸全局语义特征向量；
对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到优化人脸全局语义特征向量；以及
将所述优化人脸全局语义特征向量通过第一分类器以得到第一分类结果，所述第一分类结果用于表示鼻梁优化的推荐等级是否超过预定阈值；
以如下优化公式对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到所述优化人脸全局语义特征向量；
其中，所述优化公式为：
；
其中，是所述人脸全局语义特征向量，/>是所述人脸全局语义特征向量的第/>个位置的特征值，/>是所述人脸全局语义特征向量的长度，/>表示所述人脸全局语义特征向量的二范数的平方，/>是加权超参数，/>是所述优化人脸全局语义特征向量的第/>个位置的特征值；
所述将所述优化人脸全局语义特征向量通过第一分类器以得到第一分类结果，包括：
使用所述第一分类器的全连接层对所述优化人脸全局语义特征向量进行全连接编码以得到编码分类特征向量；
将所述编码分类特征向量输入所述第一分类器的Softmax分类函数以得到所述第一分类结果。
6.根据权利要求5所述的用于生成人脸数据的图像处理方法，其特征在于，对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列，包括：
对所述预处理后人脸图像进行均匀地图像分块处理以得到人脸局部图像块的序列。
7.根据权利要求6所述的用于生成人脸数据的图像处理方法，其特征在于，将所述人脸局部图像块的序列通过包含嵌入层的ViT模型以得到人脸全局语义特征向量，包括：
使用所述ViT模型的所述嵌入层分别对所述人脸局部图像块的序列中各个人脸局部图像块进行嵌入化以得到人脸局部图像块嵌入向量的序列；
以及将所述人脸局部图像块嵌入向量的序列通过所述ViT模型以得到所述人脸全局语义特征向量。
8.根据权利要求7所述的用于生成人脸数据的图像处理方法，其特征在于，使用所述ViT模型的所述嵌入层分别对所述人脸局部图像块的序列中各个人脸局部图像块进行嵌入化以得到人脸局部图像块嵌入向量的序列，包括：
将所述人脸局部图像块的序列中各个人脸局部图像块的二维像素值矩阵展开为一维像素值向量以得到一维像素值向量的序列；
以及使用所述嵌入层分别对所述一维像素值向量的序列中的各个一维像素值向量进行全连接编码以得到所述人脸局部图像块嵌入向量的序列。
CN202311102935.6A 2023-08-30 2023-08-30 用于生成人脸数据的图像处理系统及方法 Active CN116844217B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311102935.6A CN116844217B (zh) 2023-08-30 2023-08-30 用于生成人脸数据的图像处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311102935.6A CN116844217B (zh) 2023-08-30 2023-08-30 用于生成人脸数据的图像处理系统及方法

Publications (2)

Publication Number Publication Date
CN116844217A CN116844217A (zh) 2023-10-03
CN116844217B true CN116844217B (zh) 2023-11-14

Family

ID=88174619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311102935.6A Active CN116844217B (zh) 2023-08-30 2023-08-30 用于生成人脸数据的图像处理系统及方法

Country Status (1)

Country Link
CN (1) CN116844217B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117082700A (zh) * 2023-10-16 2023-11-17 永林电子股份有限公司 一种led灯光互动控制系统
CN117419828B (zh) * 2023-12-18 2024-05-03 南京品傲光电科技有限公司 基于光纤传感器的新能源电池温度监测方法
CN118212666B (zh) * 2024-05-21 2024-08-06 杭州名光微电子科技有限公司 基于多角度的活体掌静脉识别系统及其方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255630A (zh) * 2021-07-15 2021-08-13 浙江大华技术股份有限公司 一种运动目标识别训练方法、运动目标识别方法及装置
WO2021184898A1 (zh) * 2020-03-19 2021-09-23 支付宝(杭州)信息技术有限公司 一种人脸特征提取方法、装置及设备
CN114519877A (zh) * 2021-12-30 2022-05-20 深圳云天励飞技术股份有限公司 人脸识别方法、人脸识别装置、计算机设备及存储介质
CN114663957A (zh) * 2022-03-30 2022-06-24 杭州网易智企科技有限公司 人脸检测方法、人脸检测模型的训练方法及装置
CN115130493A (zh) * 2021-03-12 2022-09-30 腾讯科技（深圳）有限公司 基于图像识别的面部形变推荐方法、装置、设备和介质
CN115512420A (zh) * 2022-10-08 2022-12-23 杭州韵度信息科技有限公司 访客管理系统及其方法
CN115862108A (zh) * 2022-12-07 2023-03-28 中国电子科技集团公司第十研究所 一种适用于人脸识别的ViT模型优化方法
CN116168352A (zh) * 2023-04-26 2023-05-26 成都睿瞳科技有限责任公司 基于图像处理的电网障碍物识别处理方法及系统
CN116486465A (zh) * 2023-06-25 2023-07-25 成都睿瞳科技有限责任公司 用于人脸结构分析的图像识别方法及其系统
CN116645716A (zh) * 2023-05-31 2023-08-25 南京林业大学 基于局部特征和全局特征的表情识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514432B (zh) * 2012-06-25 2017-09-01 诺基亚技术有限公司 人脸特征提取方法、设备和计算机程序产品
CN113901904A (zh) * 2021-09-29 2022-01-07 北京百度网讯科技有限公司 图像处理方法、人脸识别模型训练方法、装置及设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021184898A1 (zh) * 2020-03-19 2021-09-23 支付宝(杭州)信息技术有限公司 一种人脸特征提取方法、装置及设备
CN115130493A (zh) * 2021-03-12 2022-09-30 腾讯科技（深圳）有限公司 基于图像识别的面部形变推荐方法、装置、设备和介质
CN113255630A (zh) * 2021-07-15 2021-08-13 浙江大华技术股份有限公司 一种运动目标识别训练方法、运动目标识别方法及装置
CN114519877A (zh) * 2021-12-30 2022-05-20 深圳云天励飞技术股份有限公司 人脸识别方法、人脸识别装置、计算机设备及存储介质
CN114663957A (zh) * 2022-03-30 2022-06-24 杭州网易智企科技有限公司 人脸检测方法、人脸检测模型的训练方法及装置
CN115512420A (zh) * 2022-10-08 2022-12-23 杭州韵度信息科技有限公司 访客管理系统及其方法
CN115862108A (zh) * 2022-12-07 2023-03-28 中国电子科技集团公司第十研究所 一种适用于人脸识别的ViT模型优化方法
CN116168352A (zh) * 2023-04-26 2023-05-26 成都睿瞳科技有限责任公司 基于图像处理的电网障碍物识别处理方法及系统
CN116645716A (zh) * 2023-05-31 2023-08-25 南京林业大学 基于局部特征和全局特征的表情识别方法
CN116486465A (zh) * 2023-06-25 2023-07-25 成都睿瞳科技有限责任公司 用于人脸结构分析的图像识别方法及其系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale;Alexey Dosovitskiy等;《arXiv》;1-22 *
基于镜像奇异值分解的单样本人脸识别;王梅花;班锦;;微型机与应用(16);37-39+43 *
真实感人脸的形状与表情空间;裴玉茹;查红彬;;计算机辅助设计与图形学学报(05);613-619 *

Also Published As

Publication number Publication date
CN116844217A (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
CN116844217B (zh) 用于生成人脸数据的图像处理系统及方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
Ye et al. Real-time no-reference image quality assessment based on filter learning
US20180253640A1 (en) Hybrid architecture system and method for high-dimensional sequence processing
CN109902662B (zh) 一种行人重识别方法、系统、装置和存储介质
CN112418032B (zh) 一种人体行为识别方法、装置、电子设备及存储介质
TWI792560B (zh) 資訊處理裝置及資訊處理方法
CN113963026A (zh) 基于非局部特征融合和在线更新的目标跟踪方法及系统
CN115995040A (zh) 一种基于多尺度网络的sar图像小样本目标识别方法
CN111126155B (zh) 一种基于语义约束生成对抗网络的行人再识别方法
CN114299567B (zh) 模型训练、活体检测方法、电子设备及存储介质
CN116168348A (zh) 基于图像处理的安全监控方法、系统及存储介质
CN116089648A (zh) 基于人工智能的档案管理系统及方法
CN117437426A (zh) 一种高密度代表性原型指引的半监督语义分割方法
CN116994049A (zh) 全自动针织横机及其方法
CN114627534A (zh) 活体判别方法及电子设备、存储介质
JP2023519527A (ja) アルファチャネルにおけるオートエンコーダに基づくセグメンテーションマスクの生成
CN113052132A (zh) 基于面部关键点轨迹特征图的视频情感识别方法
Huang et al. Generative Iris Prior Embedded Transformer for Iris Restoration
CN111652012B (zh) 一种基于ssd网络模型的曲面qr码定位方法
CN116933041B (zh) 力传感器编号校对系统及方法
CN117933346B (zh) 一种基于自监督强化学习的即时奖励学习方法
CN114743249B (zh) 识别模型训练方法、微表情识别方法、装置、设备及介质
CN118429692A (zh) 一种基于图对比学习和半监督原型网络的小样本图像分类方法及装置
CN118675212A (zh) 一种基于稀疏编码和字典学习的人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant