CN116503842A - 一种面向智能座舱的戴口罩面部姿态识别方法和装置 - Google Patents
一种面向智能座舱的戴口罩面部姿态识别方法和装置 Download PDFInfo
- Publication number
- CN116503842A CN116503842A CN202310490784.XA CN202310490784A CN116503842A CN 116503842 A CN116503842 A CN 116503842A CN 202310490784 A CN202310490784 A CN 202310490784A CN 116503842 A CN116503842 A CN 116503842A
- Authority
- CN
- China
- Prior art keywords
- face
- preset
- image
- mask
- line drawing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000008030 elimination Effects 0.000 claims abstract description 41
- 238000003379 elimination reaction Methods 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 6
- 210000000887 face Anatomy 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种面向智能座舱的戴口罩面部姿态识别方法和装置，该方法包括：获取智能座舱中戴口罩的第一人脸图像，并将第一人脸图像输入预设口罩消除模型，生成消除口罩的第二人脸图像；基于预设线条画生成算法对第二人脸图像进行处理，生成人脸线条画图像；基于预设相似度算法确定人脸线条画图像分别与多个人脸姿态图像之间的相似度，并从各人脸姿态图像中确定相似度最高的目标人脸姿态图像；根据与目标人脸姿态图像对应的预设姿态参数确定面部姿态识别结果；其中，各人脸姿态图像是将预设人脸线条画3D模型分别按多个预设姿态参数旋转后生成的，从而实现更加准确的进行智能座舱内的戴口罩面部姿态识别。
Description
技术领域
本申请涉及智能汽车技术领域，更具体地，涉及一种面向智能座舱的戴口罩面部姿态识别方法和装置。
背景技术
智能座舱旨在集成多种IT和人工智能技术，打造全新的车内一体化数字平台，为驾驶员提供智能体验，促进行车安全。目前国内外已经有很多研究工作，例如在车辆的AB柱及后视镜安装摄像头，提供情绪识别、年龄检测、遗留物检测、安全带检测等。
通过进行智能座舱内的面部姿态识别，可以进行例如注意力监控、汽车驾驶员疲劳监测、口令式的人脸活体检测以及人机交互等控制过程。戴口罩时的面部姿态估计成为了一项急需解决且具有挑战的任务。
现有技术中，通常是直接使用戴口罩的人脸图像结合对应的姿态信息训练一个网络，通过提取深度特征的方式直接估计出戴口罩面部的姿态信息；或者通过人脸关键点定位的方法，预测出被口罩遮挡的人脸关键点信息，通过人脸关键点计算出姿态信息。第一种方式由于被口罩遮挡的面积较大，提取的特征信息缺失严重，使用此类特征得到的面部姿态信息也相对不够准确；第二种方式由于被遮挡部分的人脸关键点是预测的，而使用的人脸关键点算法没有针对戴口罩的情况单独研发，所以导致最终计算出的面部姿态信息也不够准确。
因此，如何更加准确的进行智能座舱内的戴口罩面部姿态识别，是目前有待解决的技术问题。
发明内容
本发明实施例提出了一种面向智能座舱的戴口罩面部姿态识别方法和装置，用以更加准确的进行智能座舱内的戴口罩面部姿态识别。
第一方面，提供一种面向智能座舱的戴口罩面部姿态识别方法，所述方法包括：获取智能座舱中戴口罩的第一人脸图像，并将所述第一人脸图像输入预设口罩消除模型，生成消除口罩的第二人脸图像；基于预设线条画生成算法对所述第二人脸图像进行处理，生成人脸线条画图像；基于预设相似度算法确定所述人脸线条画图像分别与多个人脸姿态图像之间的相似度，并从各所述人脸姿态图像中确定相似度最高的目标人脸姿态图像；根据与所述目标人脸姿态图像对应的预设姿态参数确定面部姿态识别结果；其中，各所述人脸姿态图像是将预设人脸线条画3D模型分别按多个预设姿态参数旋转后生成的。
第二方面，提供一种面向智能座舱的戴口罩面部姿态识别装置，所述装置包括：第一生成模块，用于获取智能座舱中戴口罩的第一人脸图像，并将所述第一人脸图像输入预设口罩消除模型，生成消除口罩的第二人脸图像；第二生成模块，用于基于预设线条画生成算法对所述第二人脸图像进行处理，生成人脸线条画图像；第一确定模块，用于基于预设相似度算法确定所述人脸线条画图像分别与多个人脸姿态图像之间的相似度，并从各所述人脸姿态图像中确定相似度最高的目标人脸姿态图像；第二确定模块，用于根据与所述目标人脸姿态图像对应的预设姿态参数确定面部姿态识别结果；其中，各所述人脸姿态图像是将预设人脸线条画3D模型分别按多个预设姿态参数旋转后生成的。
第三方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行第一方面所述的面向智能座舱的戴口罩面部姿态识别方法。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的面向智能座舱的戴口罩面部姿态识别方法。
通过应用以上技术方案，获取智能座舱中戴口罩的第一人脸图像，并将第一人脸图像输入预设口罩消除模型，生成消除口罩的第二人脸图像；基于预设线条画生成算法对第二人脸图像进行处理，生成人脸线条画图像；基于预设相似度算法确定人脸线条画图像分别与多个人脸姿态图像之间的相似度，并从各人脸姿态图像中确定相似度最高的目标人脸姿态图像；根据与目标人脸姿态图像对应的预设姿态参数确定面部姿态识别结果；其中，各人脸姿态图像是将预设人脸线条画3D模型分别按多个预设姿态参数旋转后生成的，以此基于表征人脸轮廓特征的人脸线条画图像和多个人脸姿态图像确定面部姿态，由于人脸轮廓是判定姿态的最直接特征，从而实现更加准确的进行智能座舱内的戴口罩面部姿态识别。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例提出的一种面向智能座舱的戴口罩面部姿态识别方法的流程示意图；
图2示出了本发明实施例中各人脸姿态图像的示意图；
图3示出了本发明实施例提出的一种面向智能座舱的戴口罩面部姿态识别装置的结构示意图；
图4示出了本发明实施例提出的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求部分指出。
应当理解的是，本申请并不局限于下面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
本申请可用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本申请实施例提供一种面向智能座舱的戴口罩面部姿态识别方法，如图1所示，该方法包括以下步骤：
步骤S101，获取智能座舱中戴口罩的第一人脸图像，并将所述第一人脸图像输入预设口罩消除模型，生成消除口罩的第二人脸图像。
本实施例中，可通过智能座舱中的至少一个摄像头对智能座舱中戴口罩的目标人进行拍摄，通过对拍摄的图像进行人脸检测，获取戴口罩的第一人脸图像，然后将第一人脸图像输入预先训练出的预设口罩消除模型，以使预设口罩消除模型对第一人脸图像中的口罩进行消除，生成消除口罩的第二人脸图像。
可选的，预设口罩消除模型为包括卷积神经网络模型、循环神经网络模型、生成对抗网络模型等网络模型中的任一种。
在本申请一些实施例中，在将所述第一人脸图像输入预设口罩消除模型，生成消除口罩的第二人脸图像之前，所述方法还包括：
获取一个可按欧拉角旋转的预设口罩图像，并按多种预设颜色和多种预设样式将所述预设口罩图像扩充为多个口罩图像；
基于各所述口罩图像和预设人脸数据集中的多个人脸数据生成多个戴口罩人脸数据；
根据各所述戴口罩人脸数据和各所述人脸数据对预设生成对抗网络进行训练，训练完成后得到所述预设口罩消除模型。
本实施例中，在将第一人脸图像输入预设口罩消除模型，生成消除口罩的第二人脸图像之前，需要先训练出预设口罩消除模型。具体的，先获取一个可按欧拉角(即pitch,roll,yaw)旋转的预设口罩图像，该预设口罩图像可以是用户实时创建的，也可以是用户上传或从其他服务器获取的；然后按多种预设颜色和多种预设样式改变预设口罩图像的颜色和样式，将预设口罩图像扩充为多个口罩图像，以生成足够的口罩图像数据；再基于各口罩图像和预设人脸数据集中的多个人脸数据生成多个戴口罩人脸数据，其中，预设人脸数据集可以为开源的人脸数据集。最后根据各戴口罩人脸数据和预设人脸数据集中的各人脸数据(未戴口罩)对预设生成对抗网络进行训练，在满足预设训练完成条件时，得到预设口罩消除模型，以此基于戴口罩的人脸数据和不戴口罩的人脸数据对预设生成对抗网络进行训练，从而提高了预设口罩消除模型的准确性。
需要说明的是，以上实施例的方案仅为本申请所提出的一种具体实现方案，其他生成预设口罩消除模型的方式均属于本申请的保护范围。
在本申请一些实施例中，所述基于各所述口罩图像和预设人脸数据集中的多个人脸数据生成多个戴口罩人脸数据，包括：
根据所述人脸数据的欧拉角调整所述口罩图像的角度，并将所述口罩图像匹配到所述人脸数据上，得到所述戴口罩人脸图像；
根据各所述戴口罩人脸图像生成各所述戴口罩人脸数据。
本实施例中，获取人脸数据的欧拉角，根据该欧拉角调整口罩图像的角度，使口罩图像的旋转角度与欧拉角匹配，并将口罩图像匹配到人脸数据上，得到戴口罩人脸图像。通过将不同的口罩图像与各人脸图像进行匹配，可得到多个戴口罩人脸图像，根据多个戴口罩人脸图像生成各戴口罩人脸数据，从而可高效的生成大量的戴口罩人脸数据，进而可在后续对预设生成对抗网络训练时，得到更加准确的预设口罩消除模型。
步骤S102，基于预设线条画生成算法对所述第二人脸图像进行处理，生成人脸线条画图像。
在获取消除了口罩的第二人脸图像后，通过预设线条画生成算法将第二人脸图像转换为人脸线条画图像。其中，预设线条画生成算法为包括基于三高斯模型的人脸线条画算法、基于Canny算子的边缘检测算法、基于径向基函数(RBF)的线条画生成算法、基于高斯内核函数的线条检测器算法等算法中的任一种。
步骤S103，基于预设相似度算法确定所述人脸线条画图像分别与多个人脸姿态图像之间的相似度，并从各所述人脸姿态图像中确定相似度最高的目标人脸姿态图像。
本实施例中，各人脸姿态图像是将预设人脸线条画3D模型分别按多个预设姿态参数旋转后生成的，预设姿态参数可以为基于欧拉角的姿态参数。在获取人脸线条画图像和人脸姿态图像后，基于预设相似度算法确定人脸线条画图像分别与多个人脸姿态图像之间的相似度，并将各人脸姿态图像中相似度最高人脸姿态图像作为目标人脸姿态图像。其中，预设相似度算法为包括欧式距离算法、余弦相似度算法中的任一种。
在本申请一些实施例中，在基于预设相似度算法确定所述人脸线条画图像分别与多个人脸姿态图像之间的相似度，并从各所述人脸姿态图像中确定相似度最高的目标人脸姿态图像之前，所述方法还包括：
根据预设三维人脸数据库中各三维人脸生成RGB-D平均人脸模型；
基于所述预设线条画生成算法对所述RGB-D平均人脸模型进行处理，得到所述预设人脸线条画3D模型；
将所述预设人脸线条画3D模型分别按多个预设姿态参数旋转，得到多个所述人脸姿态图像。
本实施例中，在确定人脸线条画图像分别与多个人脸姿态图像之间的相似度之前，需要先确定多个人脸姿态图像。具体的，先根据预设三维人脸数据库中各三维人脸生成RGB-D平均人脸模型，其中，RGB-D即网络三原色加距离；然后基于预设线条画生成算法将RGB-D平均人脸模型转换为预设人脸线条画3D模型，最后使预设人脸线条画3D模型分别按预设姿态参数(如欧拉角)旋转，得到多个人脸姿态图像，由于采用RGB-D平均人脸模型生成多个人脸姿态图像，从而提高了人脸姿态图像的准确性。
在本申请一些实施例中，所述根据预设三维人脸数据库中各三维人脸生成RGB-D平均人脸模型，包括：
基于预设人脸关键点定位算法对各所述三维人脸的预设关键点进行定位，并将其中一个所述三维人脸作为模板人脸；
将所述预设三维人脸数据库中的其他三维人脸按所述模板人脸中的预设关键点的位置对齐；
将各所述三维人脸按各顶点坐标位置相加并求平均值，得到所述RGB-D平均人脸模型。
本实施例中，在生成RGB-D平均人脸模型时，先基于预设人脸关键点定位算法对各三维人脸的预设关键点进行定位；然后将其中一个三维人脸作为模板人脸，并将预设三维人脸数据库中的其他三维人脸按模板人脸中的预设关键点的位置对齐；各三维人脸中包括多个顶点坐标，最后将各三维人脸按各顶点坐标位置相加并求平均值，得到RGB-D平均人脸模型，从而提高了RGB-D平均人脸模型的准确性。
可选的，本领域技术人员可根据需要选择不同的关键点作为预设关键点，例如，两个外眼角的点、或两个瞳孔的点、或两边嘴角的点、或鼻尖+一个指定位置的点等。
步骤S104，根据与所述目标人脸姿态图像对应的预设姿态参数确定面部姿态识别结果。
目标人脸姿态图像对应一个预设姿态参数，由于目标人脸姿态图像与人脸线条画图像的相似度最高，将与目标人脸姿态图像对应的预设姿态参数作为与第一人脸图像对应的面部姿态识别结果。
通过应用以上技术方案，获取智能座舱中戴口罩的第一人脸图像，并将第一人脸图像输入预设口罩消除模型，生成消除口罩的第二人脸图像；基于预设线条画生成算法对第二人脸图像进行处理，生成人脸线条画图像；基于预设相似度算法确定人脸线条画图像分别与多个人脸姿态图像之间的相似度，并从各人脸姿态图像中确定相似度最高的目标人脸姿态图像；根据与目标人脸姿态图像对应的预设姿态参数确定面部姿态识别结果；其中，各人脸姿态图像是将预设人脸线条画3D模型分别按多个预设姿态参数旋转后生成的，以此基于表征人脸轮廓特征的人脸线条画图像和多个人脸姿态图像确定面部姿态，由于人脸轮廓是判定姿态的最直接特征，从而实现更加准确的进行戴口罩面部姿态识别。
为了进一步阐述本发明的技术思想，现结合具体的应用场景，对本发明的技术方案进行说明。
本申请实施例提供一种面向智能座舱的戴口罩面部姿态识别方法，该方法包括以下步骤：
步骤S1，训练一个预设口罩消除模型。
具体的，获取一个可按欧拉角旋转的预设口罩图像，并按多种预设颜色和多种预设样式将预设口罩图像扩充为多个口罩图像。然后根据开源的预设人脸数据集进行处理，根据预设人脸数据集中人脸数据的欧拉角调整口罩图像的角度，并将口罩图像匹配到人脸数据上，得到戴口罩人脸图像，根据各戴口罩人脸图像生成各戴口罩人脸数据。最后根据各戴口罩人脸数据和预设人脸数据集中的各人脸数据(未戴口罩)对预设生成对抗网络进行训练，在满足预设训练完成条件时，得到预设口罩消除模型。
步骤S2，创建一个RGB-D平均人脸模型。
具体的，基于预设人脸关键点定位算法对预设三维人脸数据库各三维人脸的预设关键点进行定位，其中，预设关键点为两个瞳孔的点；然后将其中一个三维人脸作为模板人脸，并将预设三维人脸数据库中的其他三维人脸按模板人脸中的预设关键点的位置对齐；各三维人脸中包括多个顶点坐标，最后将各三维人脸按各顶点坐标位置相加并求平均值，得到RGB-D平均人脸模型。
步骤S3，根据RGB-D平均人脸模型生成多个人脸姿态图像。
具体的，使用基于三高斯模型的人脸线条画算法将RGB-D平均人脸模型转换为预设人脸线条画3D模型，并使预设人脸线条画3D模型分别按多个预设欧拉角(即预设姿态参数)旋转，得到多个人脸姿态图像，例如，若预设欧拉角为7个，可得到7个人脸姿态图像，如图2所示。
步骤S4，获取待识别的戴口罩的第一人脸图像，并生成人脸线条画图像。
具体的，通过智能座舱中的至少一个摄像头对智能座舱中戴口罩的目标人进行拍摄，通过对拍摄的图像进行人脸检测，获取戴口罩的第一人脸图像，然后将第一人脸图像输入预先训练出的预设口罩消除模型，以使预设口罩消除模型对第一人脸图像中的口罩进行消除，生成消除口罩的第二人脸图像；最后通过三高斯模型的人脸线条画算法将第二人脸图像转换为人脸线条画图像。
步骤S5，将人脸线条画图像分别与多个人脸姿态图像进行比对，确定面部姿态识别结果。
具体的，基于余弦相似度算法确定人脸线条画图像分别与多个人脸姿态图像之间的相似度，并将各人脸姿态图像中相似度最高人脸姿态图像作为目标人脸姿态图像，并将与目标人脸姿态图像对应的预设欧拉角作为面部姿态识别结果。
本申请实施例还提出了一种面向智能座舱的戴口罩面部姿态识别装置，如图3所示，所述装置包括：第一生成模块301，用于获取智能座舱中戴口罩的第一人脸图像，并将所述第一人脸图像输入预设口罩消除模型，生成消除口罩的第二人脸图像；第二生成模块302，用于基于预设线条画生成算法对所述第二人脸图像进行处理，生成人脸线条画图像；第一确定模块303，用于基于预设相似度算法确定所述人脸线条画图像分别与多个人脸姿态图像之间的相似度，并从各所述人脸姿态图像中确定相似度最高的目标人脸姿态图像；第二确定模块304，用于根据与所述目标人脸姿态图像对应的预设姿态参数确定面部姿态识别结果；其中，各所述人脸姿态图像是将预设人脸线条画3D模型分别按多个预设姿态参数旋转后生成的。
在具体的应用场景中，所述装置还包括第三生成模块，用于：根据预设三维人脸数据库中各三维人脸生成RGB-D平均人脸模型；基于所述预设线条画生成算法对所述RGB-D平均人脸模型进行处理，得到所述预设人脸线条画3D模型；将所述预设人脸线条画3D模型分别按多个预设姿态参数旋转，得到多个所述人脸姿态图像。
在具体的应用场景中，所述第三生成模块，还用于：基于预设人脸关键点定位算法对各所述三维人脸的预设关键点进行定位，并将其中一个所述三维人脸作为模板人脸；将所述预设三维人脸数据库中的其他三维人脸按所述模板人脸中的预设关键点的位置对齐；将各所述三维人脸按各顶点坐标位置相加并求平均值，得到所述RGB-D平均人脸模型。
在具体的应用场景中，所述装置还包括训练模块，用于：获取一个可按欧拉角旋转的预设口罩图像，并按多种预设颜色和多种预设样式将所述预设口罩图像扩充为多个口罩图像；基于各所述口罩图像和预设人脸数据集中的多个人脸数据生成多个戴口罩人脸数据；根据各所述戴口罩人脸数据和各所述人脸数据对预设生成对抗网络进行训练，训练完成后得到所述预设口罩消除模型。
在具体的应用场景中，所述训练模块，还具体用于：根据所述人脸数据的欧拉角调整所述口罩图像的角度，并将所述口罩图像匹配到所述人脸数据上，得到所述戴口罩人脸图像；根据各所述戴口罩人脸图像生成各所述戴口罩人脸数据。
本发明实施例还提供了一种电子设备，如图4所示，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信，
存储器403，用于存储处理器的可执行指令；
处理器401，被配置为经由执行所述可执行指令来执行：
获取智能座舱中戴口罩的第一人脸图像，并将所述第一人脸图像输入预设口罩消除模型，生成消除口罩的第二人脸图像；基于预设线条画生成算法对所述第二人脸图像进行处理，生成人脸线条画图像；基于预设相似度算法确定所述人脸线条画图像分别与多个人脸姿态图像之间的相似度，并从各所述人脸姿态图像中确定相似度最高的目标人脸姿态图像；根据与所述目标人脸姿态图像对应的预设姿态参数确定面部姿态识别结果；其中，各所述人脸姿态图像是将预设人脸线条画3D模型分别按多个预设姿态参数旋转后生成的。
上述通信总线可以是PCI(PeripheralComponentInterconnect，外设部件互连标准)总线或EISA(ExtendedIndustryStandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括RAM(RandomAccessMemory，随机存取存储器)，也可以包括非易失性存储器，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括CPU(CentralProcessingUnit，中央处理器)、NP(NetworkProcessor，网络处理器)等；还可以是DSP(DigitalSignal Processing，数字信号处理器)、ASIC(ApplicationSpecificIntegratedCircuit，专用集成电路)、FPGA(FieldProgrammableGateArray，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的面向智能座舱的戴口罩面部姿态识别方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如上所述的面向智能座舱的戴口罩面部姿态识别方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘)等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种面向智能座舱的戴口罩面部姿态识别方法，其特征在于，所述方法包括：
获取智能座舱中戴口罩的第一人脸图像，并将所述第一人脸图像输入预设口罩消除模型，生成消除口罩的第二人脸图像；
基于预设线条画生成算法对所述第二人脸图像进行处理，生成人脸线条画图像；
基于预设相似度算法确定所述人脸线条画图像分别与多个人脸姿态图像之间的相似度，并从各所述人脸姿态图像中确定相似度最高的目标人脸姿态图像；
根据与所述目标人脸姿态图像对应的预设姿态参数确定面部姿态识别结果；
其中，各所述人脸姿态图像是将预设人脸线条画3D模型分别按多个预设姿态参数旋转后生成的。
2.如权利要求1所述的方法，其特征在于，在基于预设相似度算法确定所述人脸线条画图像分别与多个人脸姿态图像之间的相似度，并从各所述人脸姿态图像中确定相似度最高的目标人脸姿态图像之前，所述方法还包括：
根据预设三维人脸数据库中各三维人脸生成RGB-D平均人脸模型；
基于所述预设线条画生成算法对所述RGB-D平均人脸模型进行处理，得到所述预设人脸线条画3D模型；
将所述预设人脸线条画3D模型分别按多个预设姿态参数旋转，得到多个所述人脸姿态图像。
3.如权利要求2所述的方法，其特征在于，所述根据预设三维人脸数据库中各三维人脸生成RGB-D平均人脸模型，包括：
基于预设人脸关键点定位算法对各所述三维人脸的预设关键点进行定位，并将其中一个所述三维人脸作为模板人脸；
将所述预设三维人脸数据库中的其他三维人脸按所述模板人脸中的预设关键点的位置对齐；
将各所述三维人脸按各顶点坐标位置相加并求平均值，得到所述RGB-D平均人脸模型。
4.如权利要求1所述的方法，其特征在于，在将所述第一人脸图像输入预设口罩消除模型，生成消除口罩的第二人脸图像之前，所述方法还包括：
获取一个可按欧拉角旋转的预设口罩图像，并按多种预设颜色和多种预设样式将所述预设口罩图像扩充为多个口罩图像；
基于各所述口罩图像和预设人脸数据集中的多个人脸数据生成多个戴口罩人脸数据；
根据各所述戴口罩人脸数据和各所述人脸数据对预设生成对抗网络进行训练，训练完成后得到所述预设口罩消除模型。
5.如权利要求4所述的方法，其特征在于，所述基于各所述口罩图像和预设人脸数据集中的多个人脸数据生成多个戴口罩人脸数据，包括：
根据所述人脸数据的欧拉角调整所述口罩图像的角度，并将所述口罩图像匹配到所述人脸数据上，得到所述戴口罩人脸图像；
根据各所述戴口罩人脸图像生成各所述戴口罩人脸数据。
6.一种面向智能座舱的戴口罩面部姿态识别装置，其特征在于，所述装置包括：
第一生成模块，用于获取智能座舱中戴口罩的第一人脸图像，并将所述第一人脸图像输入预设口罩消除模型，生成消除口罩的第二人脸图像；
第二生成模块，用于基于预设线条画生成算法对所述第二人脸图像进行处理，生成人脸线条画图像；
第一确定模块，用于基于预设相似度算法确定所述人脸线条画图像分别与多个人脸姿态图像之间的相似度，并从各所述人脸姿态图像中确定相似度最高的目标人脸姿态图像；
第二确定模块，用于根据与所述目标人脸姿态图像对应的预设姿态参数确定面部姿态识别结果；
其中，各所述人脸姿态图像是将预设人脸线条画3D模型分别按多个预设姿态参数旋转后生成的。
7.如权利要求6所述的装置，其特征在于，所述装置还包括第三生成模块，用于：
根据预设三维人脸数据库中各三维人脸生成RGB-D平均人脸模型；
基于所述预设线条画生成算法对所述RGB-D平均人脸模型进行处理，得到所述预设人脸线条画3D模型；
将所述预设人脸线条画3D模型分别按多个预设姿态参数旋转，得到多个所述人脸姿态图像。
8.如权利要求7所述的装置，其特征在于，所述第三生成模块，还用于：
基于预设人脸关键点定位算法对各所述三维人脸的预设关键点进行定位，并将其中一个所述三维人脸作为模板人脸；
将所述预设三维人脸数据库中的其他三维人脸按所述模板人脸中的预设关键点的位置对齐；
将各所述三维人脸按各顶点坐标位置相加并求平均值，得到所述RGB-D平均人脸模型。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～5中任意一项所述的面向智能座舱的戴口罩面部姿态识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～5中任意一项所述的面向智能座舱的戴口罩面部姿态识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310490784.XA CN116503842B (zh) | 2023-05-04 | 2023-05-04 | 一种面向智能座舱的戴口罩面部姿态识别方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310490784.XA CN116503842B (zh) | 2023-05-04 | 2023-05-04 | 一种面向智能座舱的戴口罩面部姿态识别方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116503842A true CN116503842A (zh) | 2023-07-28 |
| CN116503842B CN116503842B (zh) | 2023-10-13 |
Family
ID=87326273
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310490784.XA Active CN116503842B (zh) | 2023-05-04 | 2023-05-04 | 一种面向智能座舱的戴口罩面部姿态识别方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116503842B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102103756A (zh) * | 2009-12-18 | 2011-06-22 | 华为技术有限公司 | 支持姿态偏转的人脸数字图像漫画夸张方法、装置及系统 |
| CN110175558A (zh) * | 2019-05-24 | 2019-08-27 | 北京达佳互联信息技术有限公司 | 一种人脸关键点的检测方法、装置、计算设备及存储介质 |
| CN111695431A (zh) * | 2020-05-19 | 2020-09-22 | 深圳禾思众成科技有限公司 | 一种人脸识别方法、装置、终端设备及存储介质 |
| CN112446347A (zh) * | 2020-12-10 | 2021-03-05 | 深圳地平线机器人科技有限公司 | 人脸方向确定方法和装置、存储介质、电子设备 |
| CN112634125A (zh) * | 2020-12-16 | 2021-04-09 | 西安理工大学 | 一种基于离线人脸数据库的自动面部替换方法 |
| CN113222808A (zh) * | 2021-05-18 | 2021-08-06 | 东南大学 | 一种基于生成式对抗网络的人脸口罩移除方法 |
| CN113901884A (zh) * | 2021-09-15 | 2022-01-07 | 杭州欣禾圣世科技有限公司 | 基于特征匹配的人脸姿态估计方法、系统、装置及存储介质 |
-
2023
- 2023-05-04 CN CN202310490784.XA patent/CN116503842B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102103756A (zh) * | 2009-12-18 | 2011-06-22 | 华为技术有限公司 | 支持姿态偏转的人脸数字图像漫画夸张方法、装置及系统 |
| CN110175558A (zh) * | 2019-05-24 | 2019-08-27 | 北京达佳互联信息技术有限公司 | 一种人脸关键点的检测方法、装置、计算设备及存储介质 |
| CN111695431A (zh) * | 2020-05-19 | 2020-09-22 | 深圳禾思众成科技有限公司 | 一种人脸识别方法、装置、终端设备及存储介质 |
| CN112446347A (zh) * | 2020-12-10 | 2021-03-05 | 深圳地平线机器人科技有限公司 | 人脸方向确定方法和装置、存储介质、电子设备 |
| CN112634125A (zh) * | 2020-12-16 | 2021-04-09 | 西安理工大学 | 一种基于离线人脸数据库的自动面部替换方法 |
| CN113222808A (zh) * | 2021-05-18 | 2021-08-06 | 东南大学 | 一种基于生成式对抗网络的人脸口罩移除方法 |
| CN113901884A (zh) * | 2021-09-15 | 2022-01-07 | 杭州欣禾圣世科技有限公司 | 基于特征匹配的人脸姿态估计方法、系统、装置及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 李悦: "基于卷积神经网络人脸识别系统的安全性研究", 《硕士电子期刊》, pages 1 - 51 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116503842B (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP4361771A1 (en) | Gesture recognition method and apparatus, system, and vehicle | |
| CN109934065B (zh) | 一种用于手势识别的方法和装置 | |
| CN108595008B (zh) | 基于眼动控制的人机交互方法 | |
| CN112084856A (zh) | 一种人脸姿态检测方法、装置、终端设备及存储介质 | |
| US20190102044A1 (en) | Depth-Based Touch Detection | |
| JP2019040465A (ja) | 行動認識装置，学習装置，並びに方法およびプログラム | |
| CN106845416B (zh) | 障碍物识别方法及装置、计算机设备及可读介质 | |
| JP5895703B2 (ja) | 画像処理装置及び画像処理方法、並びにコンピューター・プログラム | |
| CN111797650A (zh) | 障碍物的识别方法、装置、计算机设备和存储介质 | |
| CN105205462A (zh) | 一种拍照提示方法及装置 | |
| WO2016089529A1 (en) | Technologies for learning body part geometry for use in biometric authentication | |
| CN112336342B (zh) | 手部关键点检测方法、装置及终端设备 | |
| CN111552368A (zh) | 一种车载人机交互方法及车载设备 | |
| CN111027628B (zh) | 一种模型确定方法和系统 | |
| US10945888B2 (en) | Intelligent blind guide method and apparatus | |
| CN110427849B (zh) | 人脸姿态确定方法、装置、存储介质和电子设备 | |
| CN112488067B (zh) | 人脸姿态估计方法、装置、电子设备和存储介质 | |
| CN110765843B (zh) | 人脸验证方法、装置、计算机设备及存储介质 | |
| US20220306311A1 (en) | Segmentation-based fuel receptacle localization for air-to-air refueling (a3r) | |
| US11036968B2 (en) | Method and apparatus for pattern recognition | |
| CN112528931B (zh) | 用于生成位置预测信息的方法、装置以及自动驾驶车辆 | |
| JP2021015479A (ja) | 行動認識装置、行動認識方法、及び行動認識プログラム | |
| CN116503842B (zh) | 一种面向智能座舱的戴口罩面部姿态识别方法和装置 | |
| CN111353325A (zh) | 关键点检测模型训练方法及装置 | |
| CN114074321A (zh) | 机器人标定方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |