CN116453194B - 一种人脸属性判别方法及装置 - Google Patents

一种人脸属性判别方法及装置 Download PDF

Info

Publication number
CN116453194B
CN116453194B CN202310436040.XA CN202310436040A CN116453194B CN 116453194 B CN116453194 B CN 116453194B CN 202310436040 A CN202310436040 A CN 202310436040A CN 116453194 B CN116453194 B CN 116453194B
Authority
CN
China
Prior art keywords
face
image
loss
attribute
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310436040.XA
Other languages
English (en)
Other versions
CN116453194A (zh
Inventor
徐博勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Cheliantianxia Information Technology Co ltd
Original Assignee
Wuxi Cheliantianxia Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Cheliantianxia Information Technology Co ltd filed Critical Wuxi Cheliantianxia Information Technology Co ltd
Priority to CN202310436040.XA priority Critical patent/CN116453194B/zh
Publication of CN116453194A publication Critical patent/CN116453194A/zh
Application granted granted Critical
Publication of CN116453194B publication Critical patent/CN116453194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及图像识别技术领域，尤其涉及一种人脸属性判别方法及装置。该方法包括：获取车辆中目标人员的目标图像，所述目标图像包含彩色图像与红外图像；将所述目标人员的所述彩色图像输入至人脸检测模型，得到彩色人脸框；以及将所述红外图像输入至所述人脸检测模型，得到红外人脸框；将所述彩色人脸框和所述红外人脸框分别输入至目标多任务人脸属性判别模型中，得到所述目标人员的多个人脸属性；所述人脸属性为所述目标人员的面部相关特征信息。本申请通过目标多任务人脸属性判别模型进行多个人脸属性判别分类，不仅可以同时得到目标人员的多个人脸属性，还可以提升识别人脸属性的准确率。

Description

一种人脸属性判别方法及装置
技术领域
本申请涉及图像识别技术领域，尤其涉及一种人脸属性判别方法及装置。
背景技术
近几年，随着计算机视觉和智能汽车的不断发展，智能座舱成为汽车市场继智能驾驶后又一火爆的发展方向。智能座舱又称为智能汽车乘员监测系统，它不仅包含了ADAS(先进驾驶辅助系统)辅助驾驶的一些技术，也提出针对乘客的多项关键新技术，例如情绪识别、遗忘物监测、姿态识别和手势识别等智能技术。驾驶汽车除了需保证驾驶员安全和满足驾驶员的安全外，也要对车内乘客的安全和乘车体验等方面予以保证。因此，根据智能汽车乘员监测系统定义，切实从乘客的安全和坐车体验的角度考虑，准确的识别出座舱乘员的人脸属性，判断座舱乘员年龄、性别及安全状态，进而实现满足乘客的需求，拓展智能汽车乘员监测系统的关键技术体系成为热点。
目前视觉判定人脸属性的系统中，大多是使用多个模型，每个模型负责一项任务的方法，其通过采集人脸信息后，输入到不同的模型，经过深度神经网络的学习，得到相应的结果，这种方法计算量大，在实际应用中容易造成资源浪费，不能实时检测座舱乘客的人员属性。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此，本申请实施例至少提供一种人脸属性判别方法及装置，可以准确的识别出目标人员的多个人脸属性。
本申请主要包括以下几个方面：
第一方面，本申请实施例提供一种人脸属性判别方法，所述方法包括：
获取车辆中目标人员的目标图像，所述目标图像包含彩色图像与红外图像；
将所述目标人员的所述彩色图像输入至人脸检测模型，得到彩色人脸框；以及将所述红外图像输入至所述人脸检测模型，得到红外人脸框；
将所述彩色人脸框和所述红外人脸框分别输入至目标多任务人脸属性判别模型中，得到所述目标人员的多个人脸属性；所述人脸属性为所述目标人员的面部相关特征信息。
在一种可能的实施方式中，所述目标多任务人脸属性判别模型包括第一卷积层、第二卷积层和多个属性分类层；所述将所述彩色人脸框和红外人脸框分别输入至目标多任务人脸属性判别模型中，得到所述目标人员的多个人脸属性，包括：
将所述彩色人脸框输入至所述第一卷积层，得到彩色人脸特征；将所述红外人脸框输入至所述第一卷积层，得到红外人脸特征；
将所述彩色人脸特征与所述红外人脸特征输入至所述第二卷积层得到目标人脸特征；
将所述目标人脸特征输入至各个所述属性分类层，得到每个人脸属性的概率值，并根据各个人脸属性的概率值确定所述目标人员的多个人脸属性。
在一种可能的实施方式中，所述目标多任务人脸属性判别模型通过以下步骤训练得到：
将任一样本人脸框图像输入至初始化多任务人脸属性判别模型，得到所述样本人脸框图像的预测人脸属性；
针对每个人脸属性，计算所述样本人脸框图像的预测人脸属性和标签属性之间的损失值；
将所述样本人脸框图像的多个损失值进行融合，得到所述样本人脸框图像的总损失；
当所述总损失小于熵损阈值，完成对所述初始化多任务人脸属性判别模型的训练，生成目标多任务人脸属性判别模型。
在一种可能的实施方式中，将所述目标人员的所述彩色图像输入至人脸检测模型，得到彩色人脸框；以及将所述红外图像输入至所述人脸检测模型，得到红外人脸框，包括：
分别提取所述彩色图像与所述红外图像中所述目标人员的人脸关键点坐标；
根据所述人脸关键点坐标的坐标位置，按预设尺寸裁剪包含所述人脸关键点坐标的所述彩色人脸框和所述红外人脸框。
在一种可能的实施方式中，所述人脸检测模型是基于多个第一样本人脸图像进行训练得到的；根据以下步骤得到任一第一样本人脸图像：
获取到多个第二样本人脸图像；
针对任一第二样本人脸图像，对所述第二样本人脸图像进行样本扩充处理，得到所述第一样本人脸图像；所述样本扩充处理包括复制处理、旋转处理、仿射变化处理、灰度化处理、平移处理。
第二方面，本申请实施例还提供一种人脸属性判别装置，所述装置包括：
采集模块，所述采集模块被配置为获取车辆中目标人员的目标图像，所述目标图像包含彩色图像与红外图像；
获取模块，所述获取模块被配置为将所述目标人员的所述彩色图像输入至人脸检测模型，得到彩色人脸框；将所述红外图像输入至所述人脸检测模型，得到红外人脸框；
判断模块，所述判断模块被配置为将所述彩色人脸框和红外人脸框分别输入至目标多任务人脸属性判别模型中，得到所述目标人员的多个人脸属性；所述人脸属性为所述目标人员的面部相关特征信息。
在一种可能的实施方式中，所述判断模块中的目标多任务人脸属性判别模型通过以下步骤训练得到：
将任一样本人脸框图像输入至初始化多任务人脸属性判别模型，得到所述样本人脸框图像的预测人脸属性；
针对每个人脸属性，计算所述样本人脸框图像的预测人脸属性和标签属性之间的损失值；
将所述样本人脸框图像的多个损失值进行融合，得到所述样本人脸框图像的总损失；
当所述总损失小于熵损阈值，完成对所述初始化多任务人脸属性判别模型的训练，生成目标多任务人脸属性判别模型。
在一种可能的实施方式中，所述获取模块中将所述目标人员的所述彩色图像输入至人脸检测模型，得到彩色人脸框；将所述红外图像输入至所述人脸检测模型，得到红外人脸框，包括：
提取所述彩色图像与所述红外图像中所述目标人员的人脸关键点坐标；
根据所述人脸关键点坐标，按预设尺寸裁剪包含所述人脸关键点坐标的所述彩色人脸框和所述红外人脸框。
第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中所述方法的步骤。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中所述的步骤。
本申请实施例提供的一种人脸属性判别方法及装置，采用目标多任务人脸属性判别模型进行多个人脸属性判别分类，从而可以同时得到目标人员的多个人脸属性，与现有技术中判别人脸属性的系统中，使用多个模型，每个模型负责一项人脸属性判别的方法相比，其可以仅通过一个目标多任务人脸属性判别模型实现多个人脸属性的判别，还因为采用了彩色图像与红外图像两种图像，提高了对人脸属性判别的准确率。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种人脸属性判别方法的流程图；
图2示出了本申请实施例所提供的一种人脸属性判别方法中确定目标人员的多个人脸属性的流程图；
图3示出了本申请实施例所提供的一种人脸属性判别装置的功能模块图；
图4示出了本申请实施例所提供的一种电子设备的结构示意图。
主要元件符号说明：
图中：300-人脸属性判别装置；310-采集模块；320-获取模块；330-判断模块；400-电子设备；410-处理器；420-存储器；421-内存；422-外部存储器；430-总线。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中的附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的全部其他实施例，都属于本申请保护的范围。
为了使得本领域技术人员能够使用本申请内容，结合特定应用场景“车舱内”，给出以下实施方式，对于本领域技术人员来说，在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。
本申请实施例下述方法、装置、电子设备或计算机可读存储介质可以应用于任何需要进行人脸属性判别的场景，本申请实施例并不对具体的应用场景作限制，任何使用本申请实施例提供的一种人脸属性判别方法及装置的方案均在本申请保护范围内。
值得注意的是，在本申请提出之前，现有方案中大多是使用多个模型，每个模型负责一项人脸属性判别，其通过检测人脸信息后，输入到不同的模型，经过深度神经网络的学习，得到相应的结果，这种计算量大，在实际应用中容易造成资源浪费，不能实时检测座舱乘客的人员属性。
针对上述问题，本申请实施例提供了一种人脸属性判别方法及装置，获取车辆中目标人员的目标图像，所述目标图像包含彩色图像与红外图像；将所述目标人员的所述彩色图像输入至人脸检测模型，得到彩色人脸框；以及将所述红外图像输入至所述人脸检测模型，得到红外人脸框；将所述彩色人脸框和所述红外人脸框分别输入至目标多任务人脸属性判别模型中，得到所述目标人员的多个人脸属性；所述人脸属性为所述目标人员的面部相关特征信息。通过采用目标多任务人脸属性判别模型进行多个人脸属性判别分类，从而可以同时得到目标人员的多个人脸属性，还可以提升识别人脸属性的准确率。
为便于对本申请进行理解，下面结合具体实施例对本申请提供的技术方案进行详细说明。
图1为本申请实施例所提供的一种人脸属性判别方法的流程图。如图1所示，本申请实施例提供的方法，包括以下步骤：
S101：获取车辆中目标人员的目标图像，所述目标图像包含彩色图像与红外图像。
示例性的，本申请优选双目摄像头采集数据，同时为了防止光照较差的情况下，彩色相机采集到的图像太暗，导致模型的性能较差，本申请采用了彩色图片与红外图片，来共同判断人脸属性。
S102：将所述目标人员的所述彩色图像输入至人脸检测模型，得到彩色人脸框；以及将所述红外图像输入至所述人脸检测模型，得到红外人脸框。
需要说明的是，人脸检测模型是在采集到的彩色图像和红外图像中将人脸从背景中识别出来，并将人脸标注出来。而人脸检测方法主要分为三类：基于特征的检测、基于模板匹配的检测、基于图像的检测。本申请实施例中则采用基于人脸检测模型的图像检测方法，与通用的人脸检测方法并不相同。且人脸检测的特征宽高比变化很小，大概1:1到1:1.5，但是尺度变化非常大，从几个像素到几千个像素。目前最好的方法是关注于单级设计，在特征金字塔上进行密集的人脸位置和尺度采样，相比于两级级联方法，这种设计获得了不错的性能和速度提升。依据这种路线，本申请使用单级人脸检测框架，同时使用强监督和自监督型号的多任务损失，利用人脸特征点的监督信号辅助，提升人脸检测的准确率。
S103：将所述彩色人脸框和所述红外人脸框分别输入至目标多任务人脸属性判别模型中，得到所述目标人员的多个人脸属性；所述人脸属性为所述目标人员的面部相关特征信息。
示例性的，采集到人脸图像后，通过人脸检测模型将车舱内成员的面部进行提取，得到人脸框，然后将人脸框输入到目标多任务人脸属性判别模型中，以此来判断目标人员的性别、年龄、是否佩戴口罩、是否佩戴帽子、是否佩戴眼镜等多种与目标人员面部相关的特征信息。
在一些可能的实施方式中，在步骤S103中所述目标多任务人脸属性判别模型包括第一卷积层、第二卷积层和多个属性分类层；所述将所述彩色人脸框和红外人脸框分别输入至目标多任务人脸属性判别模型中，得到所述目标人员的多个人脸属性。
请参阅图2，图2示出了本申请实施例所提供的一种人脸属性判别方法中确定目标人员的多个人脸属性的流程图，所述确定目标人员的多个人脸属性的步骤具体如下：
S201：将所述彩色人脸框输入至所述第一卷积层，得到彩色人脸特征；将所述红外人脸框输入至所述第一卷积层，得到红外人脸特征。
S202：将所述彩色人脸特征与所述红外人脸特征输入至所述第二卷积层得到目标人脸特征。
S203：将所述目标人脸特征输入至各个所述属性分类层，得到每个人脸属性的概率值，并根据各个人脸属性的概率值确定所述目标人员的多个人脸属性。
示例性的，为了提高对人脸属性判别的准确率将通过人脸检测模型提取到的彩色人脸框和红外人脸框分别输入至目标多任务人脸属性判别模型的第一卷积层中进行卷积，得到彩色人脸特征和红外人脸特征，接着将两种特征通过目标多任务人脸属性判别模型的第二卷积层进行特征融合，得到目标人脸特征，本申请采用融合了彩色图像与红外图像数据来共同判断人脸属性，从而提高了对人脸属性判别的准确率。
在一些可能的实施例中，在步骤S103中所述目标多任务人脸属性判别模型通过以下步骤训练得到：
将任一样本人脸框图像输入至初始化多任务人脸属性判别模型，得到所述样本人脸框图像的预测人脸属性；针对每个人脸属性，计算所述样本人脸框图像的预测人脸属性和标签属性之间的损失值；将所述样本人脸框图像的多个损失值进行融合，得到所述样本人脸框图像的总损失；当所述总损失小于熵损阈值，完成对所述初始化多任务人脸属性判别模型的训练，生成目标多任务人脸属性判别模型。
示例性的，基于实际应用中的要求，本申请在训练时选择了AFAD数据集，其中采集并标注性别、年龄的数据，更加符合国内市场的需求，同时还选择了CelebA数据集，其中包含了口罩、帽子、眼镜以及性别等4种属性。由于数据集中并不包含所有的属性标签，因此本申请采用了加权损失函数的形式，当标签缺失时，不计算相应的数据属性的损失函数。并且本申请采用了内部采集数据，包含了性别、年龄、口罩、帽子以及眼镜等5种属性的数据。
在具体实施中，本申请使用的损失函数为：
Loss＝Loss性别*indice性别+Loss年龄*indice年龄+Loss口罩*indice口罩+Loss帽子*indice帽子+Loss眼镜*indice眼镜 (1)；
上式(1)中，Loss为样本人脸框图像的总损失，indice为该图像是否存在相应的标签，如图片0不存在性别标签，则indice性别＝0。
进一步的，性别、口罩、帽子、眼镜的损失函数使用交叉熵：
上式(2)中，N为输入的图片数量，yi为第i张图片真实类别，pi为第i张图片网络预测类别的概率值；
年龄的损失函数使用MSE(均方损失函数)：
上式(3)中，N为输入的图片数量，yi为第i张图片真实类别，xi为输入的第i张图片，f(xi)为网络预测的类别。
在一些可能的实施例中，在步骤S102中将所述目标人员的所述彩色图像输入至人脸检测模型，得到彩色人脸框；以及将所述红外图像输入至所述人脸检测模型，得到红外人脸框，包括：分别提取所述彩色图像与所述红外图像中所述目标人员的人脸关键点坐标；根据所述人脸关键点坐标的坐标位置，按预设尺寸裁剪包含所述人脸关键点坐标的所述彩色人脸框和所述红外人脸框。
在具体实施中，将采集到的彩色图像与红外图像输入至人脸检测模型，人脸检测模型对图像中目标人员的面部进行提取，即先提取目标人员的人脸关键点坐标，对目标人员的人脸进行标注，比如按照例如320*320的预设尺寸对人脸进行裁剪，从而得到彩色人脸框和红外人脸框。
在一些可能的实施例中，在步骤S102中所述人脸检测模型是基于多个第一样本人脸图像进行训练得到的；根据以下步骤得到任一第一样本人脸图像：获取到多个第二样本人脸图像；针对任一第二样本人脸图像，对所述第二样本人脸图像进行样本扩充处理，得到所述第一样本人脸图像；所述样本扩充处理包括复制处理、旋转处理、仿射变化处理、灰度化处理、平移处理。
在具体实施中，由于不同的人脸检测或人脸关键点提取会导致脸部图像的获取存在偏差，所以本申请在训练时针对训练的第二样本图像进行相应的复制、旋转、放射变化、灰度化、平移等处理以扩充数据，这样，训练样本数据足够多，可以使得人脸检测模型能更加准确的检测到目标人员的人脸。
示例性的，本申请基于公开数据集WIDERFACE与内部采集数据集获取第二样本人脸图像。
一示例中，通过视频抽帧技术，比如，选取6.9万图片，其中包括舱内单人、多人的情况，采用WIDERFACE相同的标注方法进行人脸标注，并包括性别、年龄、是否佩戴口罩、是否佩戴帽子、是否佩戴眼镜共5种属性。经过多轮训练、测试，比如最终选择学习率0.001，momentum为0.9，输入尺寸320*320，比如经过250轮次训练后，在测试数据集上(包含彩色图像、红外图像)的mAP可以达到98.9％，完全可以实现舱内的人员面部检测任务。而由于数据集中有些年龄段的数据较少，因此本申请中使用复制、旋转、仿射变换、灰度化、平移等多种数据增强方法，最终使数据量增加到比如2000左右，使得所有样本均衡和扩充。
基于同一申请构思，本申请实施例中还提供了与上述实施例提供的一种人脸属性判别方法对应的人脸属性判别装置，由于本申请实施例中的装置解决问题的原理与本申请上述实施例的人脸属性判别方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
如图3所示，图3为本申请实施例提供的一种人脸属性判别装置300的功能模块图，包括：
采集模块310，所述采集模块被配置为获取车辆中目标人员的目标图像，所述目标图像包含彩色图像与红外图像；
获取模块320，所述获取模块被配置为将所述目标人员的所述彩色图像输入至人脸检测模型，得到彩色人脸框；将所述红外图像输入至所述人脸检测模型，得到红外人脸框；
判断模块330，所述判断模块被配置为将所述彩色人脸框和红外人脸框分别输入至目标多任务人脸属性判别模型中，得到所述目标人员的多个人脸属性；所述人脸属性为所述目标人员的面部相关特征信息。
一些可选的实施方式中，所述判断模块330中的所述目标多任务人脸属性判别模型包括第一卷积层、第二卷积层和多个属性分类层；所述将所述彩色人脸框和红外人脸框分别输入至目标多任务人脸属性判别模型中，得到所述目标人员的多个人脸属性，包括：
将所述彩色人脸框输入至所述第一卷积层，得到彩色人脸特征；将所述红外人脸框输入至所述第一卷积层，得到红外人脸特征；
将所述彩色人脸特征与所述红外人脸特征输入至所述第二卷积层得到目标人脸特征；
将所述目标人脸特征输入至各个所述属性分类层，得到每个人脸属性的概率值，并根据各个人脸属性的概率值确定所述目标人员的多个人脸属性。
一些可选的实施方式中，所述判断模块330中的目标多任务人脸属性判别模型通过以下步骤训练得到：
将任一样本人脸框图像输入至初始化多任务人脸属性判别模型，得到所述样本人脸框图像的预测人脸属性；
针对每个人脸属性，计算所述样本人脸框图像的预测人脸属性和标签属性之间的损失值；
将所述样本人脸框图像的多个损失值进行融合，得到所述样本人脸框图像的总损失；
当所述总损失小于熵损阈值，完成对所述初始化多任务人脸属性判别模型的训练，生成目标多任务人脸属性判别模型。
一些可选的实施方式中，所述获取模块320中将所述目标人员的所述彩色图像输入至人脸检测模型，得到彩色人脸框；将所述红外图像输入至所述人脸检测模型，得到红外人脸框，包括：
提取所述彩色图像与所述红外图像中所述目标人员的人脸关键点坐标；
根据所述人脸关键点坐标，按预设尺寸裁剪包含所述人脸关键点坐标的所述彩色人脸框和所述红外人脸框。
一些可选的实施方式中，所述获取模块320中所述人脸检测模型是基于多个第一样本人脸图像进行训练得到的；根据以下步骤得到任一第一样本图像：
获取到多个第二样本人脸图像；
针对任一第二样本人脸图像，对所述第二样本人脸图像进行样本扩充处理，得到所述第一样本人脸图像；所述样本扩充处理包括复制处理、旋转处理、仿射变化处理、灰度化处理、平移处理。
本申请实施例公开的人脸属性判别装置可以通过目标多任务人脸属性判别模型进行多个人脸属性判别。
基于同一申请构思，参见图4所示，为本申请实施例提供的一种电子设备400的结构示意图，包括：处理器410、存储器420和总线430，所述存储器420包括内存421和外部存储器422，存储器420用于存储执行指令，当所述电子设备400运行时，所述处理器410与所述存储器420之间通过总线430通信，使得所述处理器410可以执行上述方法实施例中所示的建筑立面的分割方法的步骤。所述存储器420存储有所述处理器410可执行的机器可读指令，当电子设备400运行时，所述处理器410与所述存储器420之间通过所述总线430进行通信，所述机器可读指令被所述处理器410运行时执行如上述实施例中任一所述的人脸属性判别方法的步骤。
基于同一申请构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述实施例提供的人脸属性判别方法的步骤。
具体地，所述存储介质能够为通用的存储介质，如移动磁盘、硬盘等，所述存储介质上的计算机程序被运行时，能够执行上述人脸属性判别方法。
在本申请实施例中，该计算机程序被处理器运行时还可以执行其它机器可读指令，以执行如实施例中其它所述的方法，关于具体执行的方法步骤和原理参见实施例的说明，在此不再详细赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种人脸属性判别方法，其特征在于，所述方法包括：
获取车辆中目标人员的目标图像，所述目标图像包含彩色图像与红外图像；
将所述目标人员的所述彩色图像输入至人脸检测模型，得到彩色人脸框；以及将所述红外图像输入至所述人脸检测模型，得到红外人脸框；
将所述彩色人脸框和所述红外人脸框分别输入至目标多任务人脸属性判别模型中，得到所述目标人员的多个人脸属性；所述人脸属性为所述目标人员的面部相关特征信息；
所述目标多任务人脸属性判别模型通过以下步骤训练得到：
将任一样本人脸框图像输入至初始化多任务人脸属性判别模型，得到所述样本人脸框图像的预测人脸属性；
针对每个人脸属性，计算所述样本人脸框图像的预测人脸属性和标签属性之间的损失值；
将所述样本人脸框图像的多个损失值进行融合，得到所述样本人脸框图像的总损失；
当所述总损失小于熵损阈值，完成对所述初始化多任务人脸属性判别模型的训练，生成目标多任务人脸属性判别模型；
通过以下公式确定出样本人脸框图像的总损失：
Loss＝Loss性别*indice性别+Loss年龄*indice年龄+Loss口罩*indice口罩+Loss帽子*indice帽子+Loss眼镜*indice眼镜
其中，Loss为样本人脸框图像的总损失，indice为该图像是否存在相应的标签，若不存在性别标签，则indice性别＝0；
通过以下公式确定出性别、口罩、帽子、眼镜的损失值：
其中，N为输入的图片数量，yi为第i张图片真实类别，pi为第i张图片网络预测类别的概率值，Loss为损失值；
通过以下公式确定出年龄的损失值：
其中，N为输入的图片数量，yi为第i张图片真实类别，xi为输入的第i张图片，f(xi)为网络预测的类别。
2.根据权利要求1所述的方法，其特征在于，所述目标多任务人脸属性判别模型包括第一卷积层、第二卷积层和多个属性分类层；所述将所述彩色人脸框和红外人脸框分别输入至目标多任务人脸属性判别模型中，得到所述目标人员的多个人脸属性，包括：
将所述彩色人脸框输入至所述第一卷积层，得到彩色人脸特征；将所述红外人脸框输入至所述第一卷积层，得到红外人脸特征；
将所述彩色人脸特征与所述红外人脸特征输入至所述第二卷积层得到目标人脸特征；
将所述目标人脸特征输入至各个所述属性分类层，得到每个人脸属性的概率值，并根据各个人脸属性的概率值确定所述目标人员的多个人脸属性。
3.根据权利要求1所述的方法，其特征在于，将所述目标人员的所述彩色图像输入至人脸检测模型，得到彩色人脸框；以及将所述红外图像输入至所述人脸检测模型，得到红外人脸框，包括：
分别提取所述彩色图像与所述红外图像中所述目标人员的人脸关键点坐标；
根据所述人脸关键点坐标的坐标位置，按预设尺寸裁剪包含所述人脸关键点坐标的所述彩色人脸框和所述红外人脸框。
4.根据权利要求1所述的方法，其特征在于，所述人脸检测模型是基于多个第一样本人脸图像进行训练得到的；根据以下步骤得到任一第一样本人脸图像：
获取到多个第二样本人脸图像；
针对任一第二样本人脸图像，对所述第二样本人脸图像进行样本扩充处理，得到所述第一样本人脸图像；所述样本扩充处理包括复制处理、旋转处理、仿射变化处理、灰度化处理、平移处理。
5.一种人脸属性判别装置，其特征在于，所述装置包括：
采集模块，所述采集模块被配置为获取车辆中目标人员的目标图像，所述目标图像包含彩色图像与红外图像；
获取模块，所述获取模块被配置为将所述目标人员的所述彩色图像输入至人脸检测模型，得到彩色人脸框；将所述红外图像输入至所述人脸检测模型，得到红外人脸框；
判断模块，所述判断模块被配置为将所述彩色人脸框和红外人脸框分别输入至目标多任务人脸属性判别模型中，得到所述目标人员的多个人脸属性；所述人脸属性为所述目标人员的面部相关特征信息；
所述判断模块中的目标多任务人脸属性判别模型通过以下步骤训练得到：
将任一样本人脸框图像输入至初始化多任务人脸属性判别模型，得到所述样本人脸框图像的预测人脸属性；
针对每个人脸属性，计算所述样本人脸框图像的预测人脸属性和标签属性之间的损失值；
将所述样本人脸框图像的多个损失值进行融合，得到所述样本人脸框图像的总损失；
当所述总损失小于熵损阈值，完成对所述初始化多任务人脸属性判别模型的训练，生成目标多任务人脸属性判别模型；
通过以下公式确定出样本人脸框图像的总损失：
Loss＝Loss性别*indice性别+Loss年龄*indice年龄+Loss口罩*indice口罩+Loss帽子*indice帽子+Loss眼镜*indice眼镜
其中，Loss为样本人脸框图像的总损失，indice为该图像是否存在相应的标签，若不存在性别标签，则indice性别＝0；
通过以下公式确定出性别、口罩、帽子、眼镜的损失值：
其中，N为输入的图片数量，yi为第i张图片真实类别，pi为第i张图片网络预测类别的概率值，Loss为损失值；
通过以下公式确定出年龄的损失值：
其中，N为输入的图片数量，yi为第i张图片真实类别，xi为输入的第i张图片，f(xi)为网络预测的类别。
6.根据权利要求5所述的装置，其特征在于，所述获取模块中将所述目标人员的所述彩色图像输入至人脸检测模型，得到彩色人脸框；将所述红外图像输入至所述人脸检测模型，得到红外人脸框，包括：
提取所述彩色图像与所述红外图像中所述目标人员的人脸关键点坐标；
根据所述人脸关键点坐标，按预设尺寸裁剪包含所述人脸关键点坐标的所述彩色人脸框和所述红外人脸框。
7.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行如权利要求1至4任一所述方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至4任一所述方法的步骤。
CN202310436040.XA 2023-04-21 2023-04-21 一种人脸属性判别方法及装置 Active CN116453194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310436040.XA CN116453194B (zh) 2023-04-21 2023-04-21 一种人脸属性判别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310436040.XA CN116453194B (zh) 2023-04-21 2023-04-21 一种人脸属性判别方法及装置

Publications (2)

Publication Number Publication Date
CN116453194A CN116453194A (zh) 2023-07-18
CN116453194B true CN116453194B (zh) 2024-04-12

Family

ID=87133445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310436040.XA Active CN116453194B (zh) 2023-04-21 2023-04-21 一种人脸属性判别方法及装置

Country Status (1)

Country Link
CN (1) CN116453194B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523480A (zh) * 2020-04-24 2020-08-11 北京嘀嘀无限科技发展有限公司 一种面部遮挡物的检测方法、装置、电子设备及存储介质
CN111695462A (zh) * 2020-05-29 2020-09-22 平安科技（深圳）有限公司 一种人脸识别方法、装置、存储介质和服务器
CN113989870A (zh) * 2021-07-28 2022-01-28 奥比中光科技集团股份有限公司 一种活体检测方法、门锁系统及电子设备
CN114677730A (zh) * 2022-03-22 2022-06-28 北京市商汤科技开发有限公司 活体检测方法、装置、电子设备及存储介质
CN115240245A (zh) * 2022-06-27 2022-10-25 深圳市优必选科技股份有限公司 人脸活体检测方法、人脸活体检测装置及电子设备
CN115761834A (zh) * 2022-10-14 2023-03-07 奥比中光科技集团股份有限公司 人脸识别的多任务混合模型和人脸识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135263A (zh) * 2019-04-16 2019-08-16 深圳壹账通智能科技有限公司 人像属性模型构建方法、装置、计算机设备和存储介质
CN111275057B (zh) * 2020-02-13 2023-06-20 腾讯科技（深圳）有限公司 图像处理方法、装置及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523480A (zh) * 2020-04-24 2020-08-11 北京嘀嘀无限科技发展有限公司 一种面部遮挡物的检测方法、装置、电子设备及存储介质
CN111695462A (zh) * 2020-05-29 2020-09-22 平安科技（深圳）有限公司 一种人脸识别方法、装置、存储介质和服务器
CN113989870A (zh) * 2021-07-28 2022-01-28 奥比中光科技集团股份有限公司 一种活体检测方法、门锁系统及电子设备
CN114677730A (zh) * 2022-03-22 2022-06-28 北京市商汤科技开发有限公司 活体检测方法、装置、电子设备及存储介质
CN115240245A (zh) * 2022-06-27 2022-10-25 深圳市优必选科技股份有限公司 人脸活体检测方法、人脸活体检测装置及电子设备
CN115761834A (zh) * 2022-10-14 2023-03-07 奥比中光科技集团股份有限公司 人脸识别的多任务混合模型和人脸识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
薄一航.《虚拟空间交互艺术设计》.中国戏剧出版社,2020,第111-125页. *

Also Published As

Publication number Publication date
CN116453194A (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
Martin et al. Drive&act: A multi-modal dataset for fine-grained driver behavior recognition in autonomous vehicles
CN109784186B (zh) 一种行人重识别方法、装置、电子设备及计算机可读存储介质
JP6397144B2 (ja) 画像からの事業発見
Hoang Ngan Le et al. Robust hand detection and classification in vehicles and in the wild
Abdi et al. Deep learning traffic sign detection, recognition and augmentation
CN111241989A (zh) 图像识别方法及装置、电子设备
CN111260666B (zh) 图像处理方法及装置、电子设备、计算机可读存储介质
CN111325107B (zh) 检测模型训练方法、装置、电子设备和可读存储介质
CN111652035B (zh) 一种基于ST-SSCA-Net的行人重识别方法及系统
CN114202743A (zh) 自动驾驶场景下基于改进faster-RCNN的小目标检测方法
Li et al. Fall detection based on fused saliency maps
CN116071294A (zh) 一种光纤表面缺陷检测方法和装置
CN115861981A (zh) 基于视频姿态不变性的驾驶员疲劳行为检测方法及系统
Dhawan et al. Identification of traffic signs for advanced driving assistance systems in smart cities using deep learning
Mishra et al. Sensing accident-prone features in urban scenes for proactive driving and accident prevention
Jain et al. A hybrid approach for detection and recognition of traffic text sign using MSER and OCR
CN110427828B (zh) 人脸活体检测方法、装置及计算机可读存储介质
CN116453194B (zh) 一种人脸属性判别方法及装置
CN116310748A (zh) 一种自动驾驶场景恢复及自动驾驶原型测试方法和系统
CN116977260A (zh) 目标物的缺陷检测方法、装置、电子设备及存储介质
CN113378859B (zh) 一种具有可解释性的图像隐私检测方法
CN116258937A (zh) 基于注意力机制的小样本分割方法、装置、终端及介质
CN113343903B (zh) 一种自然场景下的车牌识别方法及系统
Gurkan et al. Evaluation of human and machine face detection using a novel distinctive human appearance dataset
Neiva et al. A dynamic gesture recognition system to translate between sign languages in complex backgrounds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant