CN116403269A - 一种遮挡人脸解析方法、系统、设备及计算机存储介质 - Google Patents

一种遮挡人脸解析方法、系统、设备及计算机存储介质 Download PDF

Info

Publication number
CN116403269A
CN116403269A CN202310557850.0A CN202310557850A CN116403269A CN 116403269 A CN116403269 A CN 116403269A CN 202310557850 A CN202310557850 A CN 202310557850A CN 116403269 A CN116403269 A CN 116403269A
Authority
CN
China
Prior art keywords
target
image
layer
tanh
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310557850.0A
Other languages
English (en)
Other versions
CN116403269B (zh
Inventor
左勇
刘伟华
林超超
李娇娇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Athena Eyes Co Ltd
Original Assignee
Athena Eyes Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Athena Eyes Co Ltd filed Critical Athena Eyes Co Ltd
Priority to CN202310557850.0A priority Critical patent/CN116403269B/zh
Publication of CN116403269A publication Critical patent/CN116403269A/zh
Application granted granted Critical
Publication of CN116403269B publication Critical patent/CN116403269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种遮挡人脸解析方法、系统、设备及计算机存储介质，获取待解析的目标遮挡人脸图像；检测出目标遮挡人脸图像中的人脸感兴趣区域；以人脸感兴趣区域为基准，对目标遮挡人脸图像进行Tanh极坐标系转换，得到目标数量的目标转换图像，目标数量的值大于等于2；对各个目标转换图像中的像素类型进行解析，得到对应的目标解析图像；对所有的目标解析图像进行合并及Tanh笛卡尔坐标系转换，得到目标遮挡人脸图像的人脸皮肤解析结果，人脸皮肤解析结果用于表征目标遮挡人脸图像中各个像素的类型信息。本申请中，基于照明理论来将一个目标遮挡人脸图像转变为多个遮挡人脸图像进行人脸解析，降低了遮挡对人脸的解析影响，鲁棒性好。

Description

一种遮挡人脸解析方法、系统、设备及计算机存储介质
技术领域
本申请涉及计算机视觉技术领域，更具体地说，涉及一种遮挡人脸解析方法、系统、设备及计算机存储介质。
背景技术
当前，在人脸分析、人脸编辑、人脸交换或人脸识别等人脸图像处理过程中，需要对人脸图像进行人脸解析，人脸解析也即基于像素语义预测人脸图像中每个像素的标签。
在人脸解析过程中，可以通过全局方法或局部方法进行人脸解析，其中，基于全局的人脸解析方法分析整个图像并直接预测每个像素的语义标签，早期的工作集中于开发一个模型来表示整个图像的空间关系，随着CNN(Convolutional Neural Network，卷积神经网络)的快速发展，人脸解析模型倾向于使用具有多个损失函数的网络设计；基于局部的人脸解析方法分别为每个面部组件训练模型，以便分别预测每个部分的掩膜，基于局部的人脸解析方法的早期工作分别预测所有面部成分，然后根据空间相关性将它们组合起来。
虽然基于全局的人脸解析方法可以更好地标记背景和头发，但由于缺乏对面部成分的关注，这些基于全局的方法只能提供有限的准确性；虽然基于局部的人脸解析方法可以提高面部各个成分的准确性，但它们在预测头发和背景方面的准确性有限。此外，当人脸图像中存在面部遮挡时，比如存在口罩、眼罩、太阳镜等遮挡时，基于全局或局部的人脸解析方法很容易将遮挡错误地识别为具有相似位置的人脸成分，使得人脸图像的解析鲁棒性较差。
综上所述，如何提高人脸图像的解析鲁棒性是目前本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种遮挡人脸解析方法，其能在一定程度上解决如何提高人脸图像的解析鲁棒性的技术问题。本申请还提供了。
为了实现上述目的，本申请提供如下技术方案：
一种遮挡人脸解析方法，包括：
获取待解析的目标遮挡人脸图像；
检测出所述目标遮挡人脸图像中的人脸感兴趣区域；
以所述人脸感兴趣区域为基准，对所述目标遮挡人脸图像进行Tanh极坐标系转换，得到目标数量的目标转换图像，所述目标数量的值大于等于2；
对各个所述目标转换图像中的像素类型进行解析，得到对应的目标解析图像；
对所有的所述目标解析图像进行合并及Tanh笛卡尔坐标系转换，得到所述目标遮挡人脸图像的人脸皮肤解析结果，所述人脸皮肤解析结果用于表征所述目标遮挡人脸图像中各个像素的类型信息。
优选的，所述以所述人脸感兴趣区域为基准，对所述目标遮挡人脸图像进行Tanh极坐标系转换，得到目标数量的目标转换图像，包括：
将所述人脸感兴趣区域的四个角点均作为目标原点；
对于每个所述目标原点，将所述人脸感兴趣区域中所述目标原点所在的两条区域边界线的延伸线作为分割线，将所述目标遮挡人脸图像中所述分割线以内且包含所述人脸感兴趣区域的图像作为所述目标原点对应的待转换图像；
确定所述人脸感兴趣区域的宽度值及高度值；
对于每个所述待转换图像，基于所述宽度值及高度值，对所述待转换图像进行Tanh极坐标系转换，得到对应的所述目标转换图像。
优选的，所述对于每个所述待转换图像，基于所述宽度值及高度值，对所述待转换图像进行Tanh极坐标系转换，得到对应的所述目标转换图像，包括：
对于每个所述待转换图像，通过Tanh极坐标系转换公式，基于所述宽度值及高度值，对所述待转换图像进行Tanh极坐标系转换，得到对应的所述目标转换图像；
所述Tanh极坐标系转换公式包括：
Figure BDA0004244392170000031
w＝x2–x1；h＝y2–y1；
Figure BDA0004244392170000032
Figure BDA0004244392170000033
Figure BDA0004244392170000034
其中，I′表示所述目标转换图像；Ix表示所述待转换图像中的横坐标值；Iy表示所述待转换图像中的纵坐标值；w表示所述宽度值；h表示所述高度值；x1表示所述人脸感兴趣区域的最小横坐标值；x2表示所述人脸感兴趣区域的最大横坐标值；y1表示所述人脸感兴趣区域的最小纵坐标值；y2表示所述人脸感兴趣区域的最大纵坐标值；θ表示极角；ρ表示极径；(i,j)表示所述待转换图像中的一个像素点的坐标；(i′,j′)表示所述目标转换图像中与(i,j)对应的坐标；tanh表示双曲正切函数；P表示插值函数。
优选的，所述对各个所述目标转换图像中的像素类型进行解析，得到对应的目标解析图像，包括：
基于预先训练好的遮挡感知卷积神经网络对各个所述目标转换图像中的像素类型进行解析，得到对应的所述目标解析图像；
其中，所述遮挡感知卷积神经网络包括遮挡感知损失网络及与所述遮挡感知损失网络连接的解码器；所述遮挡感知卷积神经网络包括与第一输入层顺次连接的Stem层、ResBlock层、第一FPB层、第二FPB层、第三FPB层、第一Conv层、Up-sampling层；所述第一FPB层、第二FPB层、第三FPB层均包括与第二输入层连接的第二Conv层，与所述第二Conv层连接的Tanh笛卡尔坐标系转换层及第三Conv层，与所述Tanh笛卡尔坐标系转换层顺次连接的第四Conv层及Tanh极坐标系转换层；与所述Tanh极坐标系转换层及所述第三Conv层连接的点乘层，与所述点乘层连接的第五Conv层，与所述第二输入层及所述第五Conv层连接的元素加法层；所述解码器包括第六Conv层及连接的双线性上采样层。
优选的，所述Tanh笛卡尔坐标系转换层中的Tanh笛卡尔坐标系转换公式包括：
Figure BDA0004244392170000041
优选的，所述遮挡感知卷积神经网络在训练过程中的损失函数包括：
Figure BDA0004244392170000042
Figure BDA0004244392170000043
其中，LFTNet表示损失值；N表示总训练样本数；α表示约束的超参数；l表示设定的权重值；
Figure BDA0004244392170000044
表示第t个样本中c类的预测概率；f表示人脸皮肤类；/>
Figure BDA0004244392170000045
表示遮挡比例；/>
Figure BDA0004244392170000046
表示第t个样本中c类的真实概率；/>
Figure BDA0004244392170000047
表示第t个样本中所述人脸皮肤类的预测概率；/>
Figure BDA0004244392170000048
表示第t个样本中所述人脸皮肤类的真实概率。
优选的，所述对所有的所述目标解析图像进行合并及Tanh笛卡尔坐标系转换，包括：
通过恢复公式，对所有的所述目标解析图像进行合并及Tanh笛卡尔坐标系转换；
所述恢复公式包括：
Figure BDA0004244392170000049
其中，I表示所述人脸皮肤解析结果；P表示插值函数；
Figure BDA00042443921700000410
表示合并函数；I'x表示所述目标解析图像中的横坐标值；I'y表示所述目标解析图像中的纵坐标值；W-1(Ii',I'j,w,h)表示W(Ii,Ij,w,h)的逆运算。
一种遮挡人脸解析系统，包括：
获取模块，用于获取待解析的目标遮挡人脸图像；
检测模块，用于检测出所述目标遮挡人脸图像中的人脸感兴趣区域；
转换模块，用于以所述人脸感兴趣区域为基准，对所述目标遮挡人脸图像进行Tanh极坐标系转换，得到目标数量的目标转换图像，所述目标数量的值大于等于2；
解析模块，用于对各个所述目标转换图像中的像素类型进行解析，得到对应的目标解析图像；
恢复模块，用于对所有的所述目标解析图像进行合并及Tanh笛卡尔坐标系转换，得到所述目标遮挡人脸图像的人脸皮肤解析结果，所述人脸皮肤解析结果用于表征所述目标遮挡人脸图像中各个像素的类型信息。
一种遮挡人脸解析设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上任一所述遮挡人脸解析方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述遮挡人脸解析方法的步骤。
本申请提供的一种遮挡人脸解析方法，获取待解析的目标遮挡人脸图像；检测出目标遮挡人脸图像中的人脸感兴趣区域；以人脸感兴趣区域为基准，对目标遮挡人脸图像进行Tanh极坐标系转换，得到目标数量的目标转换图像，目标数量的值大于等于2；对各个目标转换图像中的像素类型进行解析，得到对应的目标解析图像；对所有的目标解析图像进行合并及Tanh笛卡尔坐标系转换，得到目标遮挡人脸图像的人脸皮肤解析结果，人脸皮肤解析结果用于表征目标遮挡人脸图像中各个像素的类型信息。本申请中，基于照明理论来以人脸感兴趣区域为基准，对目标遮挡人脸图像进行Tanh极坐标系转换，得到多个目标转换图像，且可以通过对多个目标转换图像的目标解析图像进行合并及Tanh笛卡尔坐标系转换，得到目标遮挡人脸图像的人脸皮肤解析结果，相当于将一个目标遮挡人脸图像转变为多个遮挡人脸图像进行人脸解析，降低了遮挡对人脸的解析影响，鲁棒性好。本申请提供的遮挡人脸解析系统、设备及计算机可读存储介质也解决了相应技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种遮挡人脸解析方法的第一流程图；
图2为本申请实施例提供的一种遮挡人脸解析方法的第二流程图；
图3为对图像进行Tanh极坐标系转换过程中的扭曲区域示意图；
图4为对图像进行Tanh极坐标系转换过程中的图像转换示意图
图5为遮挡感知卷积神经网络的结构示意图；
图6为本申请提供的遮挡人脸解析方法的解析效果图；
图7为本申请实施例提供的一种遮挡人脸解析系统的结构示意图；
图8为本申请实施例提供的一种遮挡人脸解析设备的结构示意图；
图9为本申请实施例提供的一种遮挡人脸解析设备的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1为本申请实施例提供的一种遮挡人脸解析方法的第一流程图。
本申请实施例提供的一种遮挡人脸解析方法，可以包括以下步骤：
步骤S101：获取待解析的目标遮挡人脸图像。
实际应用中，可以先获取待解析的目标遮挡人脸图像，目标遮挡人脸图像的具体信息可以根据实际需要确定，本申请在此不做具体限定，比如目标遮挡人脸图像可以为被口罩遮挡的人脸图像等。
步骤S102：检测出目标遮挡人脸图像中的人脸感兴趣区域。
实际应用中，在获取待解析的目标遮挡人脸图像之后，可以先检测出目标遮挡人脸图像中的人脸感兴趣区域，具体的，可以先基于标准多任务卷积神经网络(Multi-TaskConvolutional Neural Network，MTCNN)检测出目标遮挡人脸图像中的人脸边界框，再将人脸边界框乘以可变尺寸缩放因子来得到人脸感兴趣区域。
步骤S103：以人脸感兴趣区域为基准，对目标遮挡人脸图像进行Tanh极坐标系转换，得到目标数量的目标转换图像，目标数量的值大于等于2。
实际应用中，在检测出目标遮挡人脸图像中的人脸感兴趣区域之后，可以对每个未遮挡的部分进行重点关注，以降低遮挡对人脸解析的影响，具体的，可以先以人脸感兴趣区域为基准，对目标遮挡人脸图像进行Tanh极坐标系转换，得到目标数量的目标转换图像，目标数量的值大于等于2，这样，可以将单个的目标遮挡人脸图像转换为多个包含人脸信息的目标转换图像。
步骤S104：对各个目标转换图像中的像素类型进行解析，得到对应的目标解析图像。
实际应用中，在得到目标数量的目标转换图像之后，便可以对各个目标转换图像中的像素类型进行解析，得到对应的目标解析图像，以借助该目标解析图像确定各个目标转换图像中像素的类型，为后续确定目标遮挡人脸图像的人脸皮肤解析结果做准备。
步骤S105：对所有的目标解析图像进行合并及Tanh笛卡尔坐标系转换，得到目标遮挡人脸图像的人脸皮肤解析结果，人脸皮肤解析结果用于表征目标遮挡人脸图像中各个像素的类型信息。
实际应用中，在对各个目标转换图像中的像素类型进行解析，得到对应的目标解析图像之后，因为单个的目标解析图像反映的是Tanh极坐标系下各个目标转换图像中像素的类型，所以可以对所有的目标解析图像进行合并及Tanh笛卡尔坐标系转换，得到目标遮挡人脸图像的人脸皮肤解析结果。
本申请提供的一种遮挡人脸解析方法，获取待解析的目标遮挡人脸图像；检测出目标遮挡人脸图像中的人脸感兴趣区域；以人脸感兴趣区域为基准，对目标遮挡人脸图像进行Tanh极坐标系转换，得到目标数量的目标转换图像，目标数量的值大于等于2；对各个目标转换图像中的像素类型进行解析，得到对应的目标解析图像；对所有的目标解析图像进行合并及Tanh笛卡尔坐标系转换，得到目标遮挡人脸图像的人脸皮肤解析结果，人脸皮肤解析结果用于表征目标遮挡人脸图像中各个像素的类型信息。本申请中，基于照明理论来以人脸感兴趣区域为基准，对目标遮挡人脸图像进行Tanh极坐标系转换，得到多个目标转换图像，且可以通过对多个目标转换图像的目标解析图像进行合并及Tanh笛卡尔坐标系转换，得到目标遮挡人脸图像的人脸皮肤解析结果，相当于将一个目标遮挡人脸图像转变为多个遮挡人脸图像进行人脸解析，降低了遮挡对人脸的解析影响，鲁棒性好。
请参阅图2，图2为本申请实施例提供的一种遮挡人脸解析方法的第二流程图。
本申请实施例提供的一种遮挡人脸解析方法，可以包括以下步骤：
步骤S201：获取待解析的目标遮挡人脸图像。
步骤S202：检测出目标遮挡人脸图像中的人脸感兴趣区域。
步骤S203：将人脸感兴趣区域的四个角点均作为目标原点。
步骤S204：对于每个目标原点，将人脸感兴趣区域中目标原点所在的两条区域边界线的延伸线作为分割线，将目标遮挡人脸图像中分割线以内且包含人脸感兴趣区域的图像作为目标原点对应的待转换图像。
步骤S205：确定人脸感兴趣区域的宽度值及高度值。
步骤S206：对于每个待转换图像，基于宽度值及高度值，对待转换图像进行Tanh极坐标系转换，得到对应的目标转换图像。
实际应用中，在以人脸感兴趣区域为基准，对目标遮挡人脸图像进行Tanh极坐标系转换，得到目标数量的目标转换图像的过程中，可以基于人脸感兴趣区域的四个角点来对目标遮挡人脸图像进行Tanh极坐标系转换，具体的，可以将人脸感兴趣区域的四个角点均作为目标原点；对于每个目标原点，将人脸感兴趣区域中目标原点所在的两条区域边界线的延伸线作为分割线，将目标遮挡人脸图像中分割线以内且包含人脸感兴趣区域的图像作为目标原点对应的待转换图像；确定人脸感兴趣区域的宽度值及高度值；对于每个待转换图像，基于宽度值及高度值，对待转换图像进行Tanh极坐标系转换，得到对应的具有更高比例的人脸感兴趣区域的目标转换图像。其过程可以如图3和图4所示，不难理解，每个目标转换图像增强了非人脸感兴趣区域的压缩信息，便于后续对人脸特征进行提取等处理。
具体应用场景中，对于每个待转换图像，在基于宽度值及高度值，对待转换图像进行Tanh极坐标系转换，得到对应的目标转换图像的过程中，对于每个待转换图像，可以通过Tanh极坐标系转换公式，基于宽度值及高度值，对待转换图像进行Tanh极坐标系转换，得到对应的目标转换图像；
Tanh极坐标系转换公式包括：
Figure BDA0004244392170000081
w＝x2-x1；h＝y2-y1；
Figure BDA0004244392170000091
Figure BDA0004244392170000092
Figure BDA0004244392170000093
其中，I′表示目标转换图像；Ix表示待转换图像中的横坐标值；Iy表示待转换图像中的纵坐标值；w表示宽度值；h表示高度值；x1表示人脸感兴趣区域的最小横坐标值；x2表示人脸感兴趣区域的最大横坐标值；y1表示人脸感兴趣区域的最小纵坐标值；y2表示人脸感兴趣区域的最大纵坐标值；θ表示极角；ρ表示极径；(i,j)表示待转换图像中的一个像素点的坐标；(i′,j′)表示目标转换图像中与(i,j)对应的坐标；tanh表示双曲正切函数；P表示插值函数，具体的，可以为双线性插值函数，其可以使用典型的插值方法对图像的离散坐标进行重采样并将其线性投影到确定的坐标系上，需要说明的是，在具体应用场景中，插值函数可以将每个待转换图像插值为大小为目标遮挡人脸图像的四分之一大小的目标转换图像，这样，目标转换图像便成为了扭曲图像，但四个目标转换图像合并后仍为目标遮挡人脸图像的大小。
需要说明的是，如图4所示，待变化区域中的(i,j)的相对位置(i′,j′)定义为：
Figure BDA0004244392170000094
向量(x,y)平行于向量(i′,j′)，并由(x,y)椭圆的规范方差描述
Figure BDA0004244392170000095
其中主轴/>
Figure BDA0004244392170000096
和短轴/>
Figure BDA0004244392170000097
与边界框的高度/宽度有关，因此，x并y满足以下等式：
Figure BDA0004244392170000098
那么，通过映射函数定义的Tanh极坐标系便为：
Figure BDA0004244392170000101
不难理解，对目标遮挡人脸图像进行Tanh极坐标系转换后，目标遮挡人脸图像被变形为四个部分，然后合并在一起，此过程将每个原始笛卡尔坐标系像素映射到四个Tanh极坐标系，然后对未映射的像素进行插值，使得每个部分都集中在边界框的一个角上，其区域占据了图像的大部分。通过上述四点变换，可以生成具有更高比例的RoI(感兴趣)区域的固定大小的图像。变换后的图像包含边界框内的所有信息，在边界框外发生一些损失，同时增强了非RoI区域的压缩信息，便于后续进行特征提取。
步骤S207：对各个目标转换图像中的像素类型进行解析，得到对应的目标解析图像。
实际应用中，前述通过四点变换得到Tanh极坐标系的输入图像，压缩了更多的RoI关键信息和周围语义，为了融合Tanh笛卡尔坐标系和Tanh极坐标系表示的优点的更高质量的特征提取模块，在对各个目标转换图像中的像素类型进行解析，得到对应的目标解析图像的过程中，可以基于预先训练好的遮挡感知卷积神经网络对各个目标转换图像中的像素类型进行解析，得到对应的目标解析图像；其中，遮挡感知卷积神经网络包括遮挡感知损失网络及与遮挡感知损失网络连接的解码器，其结构可以如图5所示；遮挡感知卷积神经网络包括与第一输入层顺次连接的Stem层、ResBlock(Bottleneck ResBlock)层、第一FPB层、第二FPB(Four Point Block，四点块)层、第三FPB层、第一Conv(卷积)层、Up-sampling(上采样)层；第一FPB层、第二FPB层、第三FPB层均包括与第二输入层连接的第二Conv层，比如1X1的第二卷积层，与第二Conv层连接的Tanh笛卡尔坐标系转换层及第三Conv层，比如3X3的第三卷积层，与Tanh笛卡尔坐标系转换层顺次连接的第四Conv层及Tanh极坐标系转换层，比如1X1的第四卷积层；与Tanh极坐标系转换层及第三Conv层连接的点乘层，与点乘层连接的第五Conv层，比如1X1的第五卷积层，与第二输入层及第五Conv层连接的元素加法层，其中，Tanh笛卡尔坐标系转换层用于将图像转换到Tanh笛卡尔坐标系，Tanh极坐标系转换层用于将图像转换到Tanh极坐标系；解码器包括第六Conv层及连接的双线性上采样层，第六Conv层可以为3X3的卷积层等。
需要说明的是，如图5上方所示，FPB的输入是Xfp，残差连接在瓶颈设计之后使用1×1、3×3和1×1卷积的堆叠，第一个1×1conv层用于减少通道维度，它的输出特征图被分成两个分支，如上所述，在Tanh笛卡尔分支中，特征图被拆分回四个四点变形区域并分别转换到Tanh笛卡尔空间，在Tanh笛卡尔坐标系中，使用四个1×1conv层计算这些四点特征图，然后通过四点变换将其转换到Tanh极坐标空间并合并在一起，在四点分支中，一个3×3conv层用于计算Tanh极坐标空间中的特征图，然后，这两个分支的特征图在Tanh极坐标系中相乘，最后一个1×1conv层恢复通道维度，通过残差连接将输入Xfp与处理结果相加。
具体应用场景中，给定目标遮挡人脸图像通过四点变换得到包含整个图像压缩信息的扭曲人脸图像，部署主干特征提取模块以捕获Tanh极坐标系下的隐式特征。然而，虽然可以保留旋转等方差的信息，但四点变换可能面临丢失平移等方差的风险。因此，本申请将原来的特征提取残差块升级为一个新的构建块FPB，它能够在Tanh笛卡尔坐标系和Tanh极坐标系中更有效地提取特征。图5上方详细说明了FPB的分支结构。Tanh极坐标系中的四点分支学习旋转等变表示。Tanh笛卡尔分支将特征图变换到Tanh笛卡尔坐标系中，学习平移等变表示，从而达到互补学习的根本目的，相应的，Tanh笛卡尔坐标系转换层中的Tanh笛卡尔坐标系转换公式可以包括：
Figure BDA0004244392170000111
具体应用场景中，由于目前人脸解析领域使用的损失函数的重点主要集中在像素的分类上，而忽略了面具、眼镜等遮挡的不利影响，因此，本申请为了更好地训练遮挡感知卷积神经网络，引入了一种特殊的遮挡感知损失，以进一步解决人脸解析中的人脸遮挡问题。此外，为了更好地关注遮挡语义信息，不同的权重被分配给遮挡像素和非遮挡像素，而不是平等对待所有像素，因为解析的面部形状将被遮挡破坏，为此，增加了被遮挡人脸区域像素的损失权重，作为损失函数的约束，最终遮挡感知卷积神经网络在训练过程中的损失函数包括：
Figure BDA0004244392170000112
Figure BDA0004244392170000121
其中，LFTNet表示损失值；N表示总训练样本数；α表示约束的超参数；l表示设定的权重值；
Figure BDA0004244392170000122
表示第t个样本中c类的预测概率；f表示人脸皮肤类；/>
Figure BDA0004244392170000123
表示遮挡比例；/>
Figure BDA0004244392170000124
表示第t个样本中c类的真实概率；/>
Figure BDA0004244392170000125
表示第t个样本中人脸皮肤类的预测概率；/>
Figure BDA0004244392170000126
表示第t个样本中人脸皮肤类的真实概率。
步骤S208：对所有的目标解析图像进行合并及Tanh笛卡尔坐标系转换，得到目标遮挡人脸图像的人脸皮肤解析结果，人脸皮肤解析结果用于表征目标遮挡人脸图像中各个像素的类型信息。
实际应用中，在对所有的目标解析图像进行合并及Tanh笛卡尔坐标系转换的过程中，可以通过恢复公式，对所有的目标解析图像进行合并及Tanh笛卡尔坐标系转换；
恢复公式包括：
Figure BDA0004244392170000127
其中，I表示人脸皮肤解析结果；P表示插值函数；
Figure BDA0004244392170000128
表示合并函数，具体可以为均值函数等；I'x表示目标解析图像中的横坐标值；I'y表示目标解析图像中的纵坐标值；W-1(Ii',I'j,w,h)表示W(Ii,Ij,w,h)的逆运算。
按照本申请提供的遮挡人脸解析方法进行人脸解析的效果可以如图6所示，由此可见，本申请方案对各种形式的遮挡不敏感，可以得出在普通坐标下难以实现的稳定预测。
请参阅图7，图7为本申请实施例提供的一种遮挡人脸解析系统的结构示意图。
本申请实施例提供的一种遮挡人脸解析系统，可以包括：
获取模块101，用于获取待解析的目标遮挡人脸图像；
检测模块102，用于检测出目标遮挡人脸图像中的人脸感兴趣区域；
转换模块103，用于以人脸感兴趣区域为基准，对目标遮挡人脸图像进行Tanh极坐标系转换，得到目标数量的目标转换图像，目标数量的值大于等于2；
解析模块104，用于对各个目标转换图像中的像素类型进行解析，得到对应的目标解析图像；
恢复模块105，用于对所有的目标解析图像进行合并及Tanh笛卡尔坐标系转换，得到目标遮挡人脸图像的人脸皮肤解析结果，人脸皮肤解析结果用于表征目标遮挡人脸图像中各个像素的类型信息。
本申请实施例提供的一种遮挡人脸解析系统，转换模块可以包括：
设置单元，用于将人脸感兴趣区域的四个角点均作为目标原点；
分割单元，用于对于每个目标原点，将人脸感兴趣区域中目标原点所在的两条区域边界线的延伸线作为分割线，将目标遮挡人脸图像中分割线以内且包含人脸感兴趣区域的图像作为目标原点对应的待转换图像；
确定单元，用于确定人脸感兴趣区域的宽度值及高度值；
转换单元，用于对于每个待转换图像，基于宽度值及高度值，对待转换图像进行Tanh极坐标系转换，得到对应的目标转换图像。
本申请实施例提供的一种遮挡人脸解析系统，转换单元可以具体用于：
对于每个待转换图像，通过Tanh极坐标系转换公式，基于宽度值及高度值，对待转换图像进行Tanh极坐标系转换，得到对应的目标转换图像；
Tanh极坐标系转换公式包括：
Figure BDA0004244392170000131
w＝x2–x1；h＝y2–y1；
Figure BDA0004244392170000132
Figure BDA0004244392170000133
Figure BDA0004244392170000134
其中，I′表示目标转换图像；Ix表示待转换图像中的横坐标值；Iy表示待转换图像中的纵坐标值；w表示宽度值；h表示高度值；x1表示人脸感兴趣区域的最小横坐标值；x2表示人脸感兴趣区域的最大横坐标值；y1表示人脸感兴趣区域的最小纵坐标值；y2表示人脸感兴趣区域的最大纵坐标值；θ表示极角；ρ表示极径；(i,j)表示待转换图像中的一个像素点的坐标；(i′,j′)表示目标转换图像中与(i,j)对应的坐标；tanh表示双曲正切函数；P表示插值函数。
本申请实施例提供的一种遮挡人脸解析系统，解析模块可以包括：
解析单元，用于基于预先训练好的遮挡感知卷积神经网络对各个目标转换图像中的像素类型进行解析，得到对应的目标解析图像；
其中，遮挡感知卷积神经网络包括遮挡感知损失网络及与遮挡感知损失网络连接的解码器；遮挡感知卷积神经网络包括与第一输入层顺次连接的Stem层、ResBlock层、第一FPB层、第二FPB层、第三FPB层、第一Conv层、Up-sampling层；第一FPB层、第二FPB层、第三FPB层均包括与第二输入层连接的第二Conv层，与第二Conv层连接的Tanh笛卡尔坐标系转换层及第三Conv层，与Tanh笛卡尔坐标系转换层顺次连接的第四Conv层及Tanh极坐标系转换层；与Tanh极坐标系转换层及第三Conv层连接的点乘层，与点乘层连接的第五Conv层，与第二输入层及第五Conv层连接的元素加法层；解码器包括第六Conv层及连接的双线性上采样层。
本申请实施例提供的一种遮挡人脸解析系统，Tanh笛卡尔坐标系转换层中的Tanh笛卡尔坐标系转换公式包括：
Figure BDA0004244392170000141
本申请实施例提供的一种遮挡人脸解析系统，遮挡感知卷积神经网络在训练过程中的损失函数包括：
Figure BDA0004244392170000142
Figure BDA0004244392170000143
其中，LFTNet表示损失值；N表示总训练样本数；α表示约束的超参数；l表示设定的权重值；
Figure BDA0004244392170000144
表示第t个样本中c类的预测概率；f表示人脸皮肤类；/>
Figure BDA0004244392170000145
表示遮挡比例；/>
Figure BDA0004244392170000146
表示第t个样本中c类的真实概率；/>
Figure BDA0004244392170000147
表示第t个样本中人脸皮肤类的预测概率；/>
Figure BDA0004244392170000148
表示第t个样本中人脸皮肤类的真实概率。
本申请实施例提供的一种遮挡人脸解析系统，恢复模块可以包括：
恢复单元，用于通过恢复公式，对所有的目标解析图像进行合并及Tanh笛卡尔坐标系转换；
恢复公式包括：
Figure BDA0004244392170000151
其中，I表示人脸皮肤解析结果；P表示插值函数；
Figure BDA0004244392170000152
表示合并函数；I'x表示目标解析图像中的横坐标值；I'y表示目标解析图像中的纵坐标值；W-1(Ii',I'j,w,h)表示W(Ii,Ij,w,h)的逆运算。
本申请还提供了一种遮挡人脸解析设备及计算机可读存储介质，其均具有本申请实施例提供的一种遮挡人脸解析方法具有的对应效果。请参阅图8，图8为本申请实施例提供的一种遮挡人脸解析设备的结构示意图。
本申请实施例提供的一种遮挡人脸解析设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如上任一实施例所描述遮挡人脸解析方法的步骤。
请参阅图9，本申请实施例提供的另一种遮挡人脸解析设备中还可以包括：与处理器202连接的输入端口203，用于传输外界输入的命令至处理器202；与处理器202连接的显示单元204，用于显示处理器202的处理结果至外界；与处理器202连接的通信模块205，用于实现遮挡人脸解析设备与外界的通信。显示单元204可以为显示面板、激光扫描使显示器等；通信模块205所采用的通信方式包括但不局限于移动高清链接技术(HML)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线连接：无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如上任一实施例所描述遮挡人脸解析方法的步骤。
本申请所涉及的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本申请实施例提供的遮挡人脸解析系统、设备及计算机可读存储介质中相关部分的说明请参见本申请实施例提供的遮挡人脸解析方法中对应部分的详细说明，在此不再赘述。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种遮挡人脸解析方法，其特征在于，包括：
获取待解析的目标遮挡人脸图像；
检测出所述目标遮挡人脸图像中的人脸感兴趣区域；
以所述人脸感兴趣区域为基准，对所述目标遮挡人脸图像进行Tanh极坐标系转换，得到目标数量的目标转换图像，所述目标数量的值大于等于2；
对各个所述目标转换图像中的像素类型进行解析，得到对应的目标解析图像；
对所有的所述目标解析图像进行合并及Tanh笛卡尔坐标系转换，得到所述目标遮挡人脸图像的人脸皮肤解析结果，所述人脸皮肤解析结果用于表征所述目标遮挡人脸图像中各个像素的类型信息。
2.根据权利要求1所述的方法，其特征在于，所述以所述人脸感兴趣区域为基准，对所述目标遮挡人脸图像进行Tanh极坐标系转换，得到目标数量的目标转换图像，包括：
将所述人脸感兴趣区域的四个角点均作为目标原点；
对于每个所述目标原点，将所述人脸感兴趣区域中所述目标原点所在的两条区域边界线的延伸线作为分割线，将所述目标遮挡人脸图像中所述分割线以内且包含所述人脸感兴趣区域的图像作为所述目标原点对应的待转换图像；
确定所述人脸感兴趣区域的宽度值及高度值；
对于每个所述待转换图像，基于所述宽度值及高度值，对所述待转换图像进行Tanh极坐标系转换，得到对应的所述目标转换图像。
3.根据权利要求2所述的方法，其特征在于，所述对于每个所述待转换图像，基于所述宽度值及高度值，对所述待转换图像进行Tanh极坐标系转换，得到对应的所述目标转换图像，包括：
对于每个所述待转换图像，通过Tanh极坐标系转换公式，基于所述宽度值及高度值，对所述待转换图像进行Tanh极坐标系转换，得到对应的所述目标转换图像；
所述Tanh极坐标系转换公式包括：
Figure FDA0004244392160000011
w＝x2–x1；h＝y2–y1；
Figure FDA0004244392160000021
Figure FDA0004244392160000022
Figure FDA0004244392160000023
其中，I′表示所述目标转换图像；Ix表示所述待转换图像中的横坐标值；Iy表示所述待转换图像中的纵坐标值；w表示所述宽度值；h表示所述高度值；x1表示所述人脸感兴趣区域的最小横坐标值；x2表示所述人脸感兴趣区域的最大横坐标值；y1表示所述人脸感兴趣区域的最小纵坐标值；y2表示所述人脸感兴趣区域的最大纵坐标值；θ表示极角；ρ表示极径；(i,j)表示所述待转换图像中的一个像素点的坐标；(i′,j′)表示所述目标转换图像中与(i,j)对应的坐标；tanh表示双曲正切函数；P表示插值函数。
4.根据权利要求3所述的方法，其特征在于，所述对各个所述目标转换图像中的像素类型进行解析，得到对应的目标解析图像，包括：
基于预先训练好的遮挡感知卷积神经网络对各个所述目标转换图像中的像素类型进行解析，得到对应的所述目标解析图像；
其中，所述遮挡感知卷积神经网络包括遮挡感知损失网络及与所述遮挡感知损失网络连接的解码器；所述遮挡感知卷积神经网络包括与第一输入层顺次连接的Stem层、ResBlock层、第一FPB层、第二FPB层、第三FPB层、第一Conv层、Up-sampling层；所述第一FPB层、第二FPB层、第三FPB层均包括与第二输入层连接的第二Conv层，与所述第二Conv层连接的Tanh笛卡尔坐标系转换层及第三Conv层，与所述Tanh笛卡尔坐标系转换层顺次连接的第四Conv层及Tanh极坐标系转换层；与所述Tanh极坐标系转换层及所述第三Conv层连接的点乘层，与所述点乘层连接的第五Conv层，与所述第二输入层及所述第五Conv层连接的元素加法层；所述解码器包括第六Conv层及连接的双线性上采样层。
5.根据权利要求4所述的方法，其特征在于，所述Tanh笛卡尔坐标系转换层中的Tanh笛卡尔坐标系转换公式包括：
Figure FDA0004244392160000031
6.根据权利要求5所述的方法，其特征在于，所述遮挡感知卷积神经网络在训练过程中的损失函数包括：
Figure FDA0004244392160000032
Figure FDA0004244392160000033
其中，LFTNet表示损失值；N表示总训练样本数；α表示约束的超参数；l表示设定的权重值；
Figure FDA0004244392160000034
表示第t个样本中c类的预测概率；f表示人脸皮肤类；/>
Figure FDA0004244392160000035
表示遮挡比例；/>
Figure FDA0004244392160000036
表示第t个样本中c类的真实概率；/>
Figure FDA0004244392160000037
表示第t个样本中所述人脸皮肤类的预测概率；/>
Figure FDA0004244392160000038
表示第t个样本中所述人脸皮肤类的真实概率。
7.根据权利要求6所述的方法，其特征在于，所述对所有的所述目标解析图像进行合并及Tanh笛卡尔坐标系转换，包括：
通过恢复公式，对所有的所述目标解析图像进行合并及Tanh笛卡尔坐标系转换；
所述恢复公式包括：
Figure FDA0004244392160000039
其中，I表示所述人脸皮肤解析结果；P表示插值函数；
Figure FDA00042443921600000310
表示合并函数；I'x表示所述目标解析图像中的横坐标值；I'y表示所述目标解析图像中的纵坐标值；W-1(Ii',I'j,w,h)表示W(Ii,Ij,w,h)的逆运算。
8.一种遮挡人脸解析系统，其特征在于，包括：
获取模块，用于获取待解析的目标遮挡人脸图像；
检测模块，用于检测出所述目标遮挡人脸图像中的人脸感兴趣区域；
转换模块，用于以所述人脸感兴趣区域为基准，对所述目标遮挡人脸图像进行Tanh极坐标系转换，得到目标数量的目标转换图像，所述目标数量的值大于等于2；
解析模块，用于对各个所述目标转换图像中的像素类型进行解析，得到对应的目标解析图像；
恢复模块，用于对所有的所述目标解析图像进行合并及Tanh笛卡尔坐标系转换，得到所述目标遮挡人脸图像的人脸皮肤解析结果，所述人脸皮肤解析结果用于表征所述目标遮挡人脸图像中各个像素的类型信息。
9.一种遮挡人脸解析设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述遮挡人脸解析方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述遮挡人脸解析方法的步骤。
CN202310557850.0A 2023-05-17 2023-05-17 一种遮挡人脸解析方法、系统、设备及计算机存储介质 Active CN116403269B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310557850.0A CN116403269B (zh) 2023-05-17 2023-05-17 一种遮挡人脸解析方法、系统、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310557850.0A CN116403269B (zh) 2023-05-17 2023-05-17 一种遮挡人脸解析方法、系统、设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN116403269A true CN116403269A (zh) 2023-07-07
CN116403269B CN116403269B (zh) 2024-03-26

Family

ID=87018196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310557850.0A Active CN116403269B (zh) 2023-05-17 2023-05-17 一种遮挡人脸解析方法、系统、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN116403269B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019032304A1 (en) * 2017-08-07 2019-02-14 Standard Cognition Corp. IDENTIFICATION AND FOLLOW-UP OF THE SUBJECT USING IMAGE RECOGNITION
CN112101150A (zh) * 2020-09-01 2020-12-18 北京航空航天大学 一种基于朝向约束的多特征融合行人重识别方法
CN112528764A (zh) * 2020-11-25 2021-03-19 杭州欣禾圣世科技有限公司 人脸表情识别方法、系统、装置及可读存储介质
CN112594647A (zh) * 2020-12-30 2021-04-02 南京缤致光电科技有限公司 一种adb前大灯的灯光调节方法
CN113298736A (zh) * 2021-06-24 2021-08-24 河北工业大学 一种基于面部样式的人脸图像修复方法
CN113361431A (zh) * 2021-06-15 2021-09-07 山西大学 一种基于图推理的人脸遮挡检测的网络模型及方法
CN113487521A (zh) * 2021-09-08 2021-10-08 苏州浪潮智能科技有限公司 自编码器训练方法及组件，异常图像检测方法及组件
CN114764754A (zh) * 2022-03-25 2022-07-19 燕山大学 一种基于几何感知先验引导的遮挡人脸修复方法
WO2022174198A1 (en) * 2021-03-18 2022-08-18 Innopeak Technology, Inc. Self-supervised depth estimation framework for indoor environments
CN115620082A (zh) * 2022-09-29 2023-01-17 北京的卢深视科技有限公司 模型训练方法、头部姿态估计方法、电子设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019032304A1 (en) * 2017-08-07 2019-02-14 Standard Cognition Corp. IDENTIFICATION AND FOLLOW-UP OF THE SUBJECT USING IMAGE RECOGNITION
CN112101150A (zh) * 2020-09-01 2020-12-18 北京航空航天大学 一种基于朝向约束的多特征融合行人重识别方法
CN112528764A (zh) * 2020-11-25 2021-03-19 杭州欣禾圣世科技有限公司 人脸表情识别方法、系统、装置及可读存储介质
CN112594647A (zh) * 2020-12-30 2021-04-02 南京缤致光电科技有限公司 一种adb前大灯的灯光调节方法
WO2022174198A1 (en) * 2021-03-18 2022-08-18 Innopeak Technology, Inc. Self-supervised depth estimation framework for indoor environments
CN113361431A (zh) * 2021-06-15 2021-09-07 山西大学 一种基于图推理的人脸遮挡检测的网络模型及方法
CN113298736A (zh) * 2021-06-24 2021-08-24 河北工业大学 一种基于面部样式的人脸图像修复方法
CN113487521A (zh) * 2021-09-08 2021-10-08 苏州浪潮智能科技有限公司 自编码器训练方法及组件，异常图像检测方法及组件
CN114764754A (zh) * 2022-03-25 2022-07-19 燕山大学 一种基于几何感知先验引导的遮挡人脸修复方法
CN115620082A (zh) * 2022-09-29 2023-01-17 北京的卢深视科技有限公司 模型训练方法、头部姿态估计方法、电子设备及存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
PRUNE TRUONG等: "Probabilistic Warp Consistency for Weakly-Supervised Semantic Correspondences", 《2022 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, 27 September 2022 (2022-09-27), pages 8698 - 8708 *
WEIHUA LIU等: "Occlusion-Aware Deep Convolutional Neural Network for Face Parsing", 《AVAILABLE AT SSRN 4266588》, pages 7 - 12 *
WEIHUA LIU等: "Occlusion-Aware Deep Convolutional Neural Network via Homogeneous Tanh-transforms for Face Parsing", 《HTTPS://ARXIV.ORG/PDF/2308.15323.PDF》, 29 August 2023 (2023-08-29), pages 1 - 25 *
叶茂: "深度学习的人脸口罩识别算法研究", 《中国优秀硕士学位论文全文数据库 (基础科学辑)》, no. 02, 15 February 2023 (2023-02-15), pages 006 - 1371 *
姬东飞等: "基于自适应角度损失函数的深度人脸识别算法研究", 《计算机应用研究》, vol. 37, no. 10, 31 October 2020 (2020-10-31), pages 3169 - 3174 *
车瀚钰等: "基于深度学习的遮挡人脸快速检测识别算法", 《指挥信息系统与技术》, vol. 12, no. 05, 31 October 2021 (2021-10-31), pages 14 - 20 *

Also Published As

Publication number Publication date
CN116403269B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
US10614574B2 (en) Generating image segmentation data using a multi-branch neural network
WO2018166438A1 (zh) 图像处理方法、装置及电子设备
CN110674804A (zh) 文本图像的检测方法、装置、计算机设备和存储介质
CN110782420A (zh) 一种基于深度学习的小目标特征表示增强方法
JP7246104B2 (ja) テキスト行識別に基づくナンバープレート識別方法
US20230134967A1 (en) Method for recognizing activities using separate spatial and temporal attention weights
EP4006773A1 (en) Pedestrian detection method, apparatus, computer-readable storage medium and chip
US20220012612A1 (en) System, method, and program for predicting information
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN111968064B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN111160375A (zh) 三维关键点预测及深度学习模型训练方法、装置及设备
JP2018022360A (ja) 画像解析装置、画像解析方法およびプログラム
US20220358326A1 (en) Hand posture estimation method, apparatus, device, and computer storage medium
CN113807361B (zh) 神经网络、目标检测方法、神经网络训练方法及相关产品
CN113657409A (zh) 车辆损失检测方法、装置、电子设备及存储介质
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
US20240161304A1 (en) Systems and methods for processing images
CN112381107A (zh) 基于深度学习的物品x光检测方法、装置和计算机设备
CN115601820A (zh) 一种人脸伪造图像检测方法、装置、终端及存储介质
CN110503002B (zh) 一种人脸检测方法和存储介质
CN109919128B (zh) 控制指令的获取方法、装置及电子设备
Wang et al. Perception-guided multi-channel visual feature fusion for image retargeting
CN110580462B (zh) 一种基于非局部网络的自然场景文本检测方法和系统
CN116403269B (zh) 一种遮挡人脸解析方法、系统、设备及计算机存储介质
CN115861922B (zh) 一种稀疏烟火检测方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: No. 205, Building B1, Huigu Science and Technology Industrial Park, No. 336 Bachelor Road, Bachelor Street, Yuelu District, Changsha City, Hunan Province, 410000

Applicant after: Wisdom Eye Technology Co.,Ltd.

Address before: 410205, Changsha high tech Zone, Hunan Province, China

Applicant before: Wisdom Eye Technology Co.,Ltd.

Country or region before: China

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant