CN112183449B - 一种驾驶员身份验证方法、装置、电子设备及存储介质 - Google Patents

一种驾驶员身份验证方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112183449B
CN112183449B CN202011103061.2A CN202011103061A CN112183449B CN 112183449 B CN112183449 B CN 112183449B CN 202011103061 A CN202011103061 A CN 202011103061A CN 112183449 B CN112183449 B CN 112183449B
Authority
CN
China
Prior art keywords
face
neural network
image
illumination
face detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011103061.2A
Other languages
English (en)
Other versions
CN112183449A (zh
Inventor
陈扬
金忠孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAIC Motor Corp Ltd
Shanghai Automotive Industry Corp Group
Original Assignee
SAIC Motor Corp Ltd
Shanghai Automotive Industry Corp Group
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAIC Motor Corp Ltd, Shanghai Automotive Industry Corp Group filed Critical SAIC Motor Corp Ltd
Priority to CN202011103061.2A priority Critical patent/CN112183449B/zh
Publication of CN112183449A publication Critical patent/CN112183449A/zh
Application granted granted Critical
Publication of CN112183449B publication Critical patent/CN112183449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本申请提供的驾驶员身份验证方法、装置、电子设备及存储介质，预先构建人脸检测模型和人脸识别模型，其中，人脸检测模型带有光照与背景环境自适应卷积神经网络层和人脸检测网络的神经网络架构，人脸识别模型带有活体识别神经网络层的神经网络架构，在需要进行驾驶员身份验证时，将待验证的目标图像输入至人脸检测模型和人脸识别模型，通过人脸检测模型针对驾驶室光照、背景环境相对固定的特点，提高人脸识别算法在相对固定的驾驶室环境的识别率，通过人脸识别模型针对活体检测，可以避免照片攻击，提高驾驶员监控系统的安全性和可靠性，满足用户对驾驶员监控系统更高的要求。

Description

一种驾驶员身份验证方法、装置、电子设备及存储介质
技术领域
本申请属于驾驶员监控系统技术领域，特别的涉及高级驾驶辅助系统领域，尤其涉及一种驾驶员身份验证方法、装置、电子设备及存储介质。
背景技术
驾驶员身份验证是DMS(Driver Monitoring System，驾驶员监控系统)，乃至ADAS(Advanced Driving Assistance System，高级辅助驾驶系统)中首要的环节。对于驾驶员监控系统来说，做好驾驶员身份验证，可以提供车辆防盗、驾驶责任追溯、定制化服务提供、驾驶环境自适应调整等一系列服务，极大提升整车的社会价值与经济价值。
然而，相关技术中，大多采用传统的触摸屏选取+密码验证方式来实现驾驶员身份验证，但极易受到破解与攻击，即使近期部分新车型采用常用的人脸识别技术验证方法，也未考虑实际驾驶室光照、背景环境等参数和照片攻击等因素，因此，无法满足用户对驾驶员监控系统更高的要求。
发明内容
本申请提供了一种驾驶员身份验证方法、装置、电子设备及存储介质，以提高驾驶员监控系统的安全性和可靠性，满足用户对驾驶员监控系统更高的要求。
为了实现上述目的，本申请提供了以下技术方案：
一种驾驶员身份验证方法，应用于驾驶员监控系统，该方法包括：
获取待验证目标图像，所述待验证目标图像中至少包括人脸区域；
将所述待验证目标图像输入至人脸检测模型中进行人脸检测，得到待识别图像，所述待识别图像中包含所述人脸区域，所述人脸检测模型为带有光照与背景环境自适应卷积神经网络层和人脸检测网络的神经网络架构；
将所述待识别图像输入至人脸识别模型中进行人脸识别，得到识别结果，所述识别结果包括人脸标识和活体检测结果，所述人脸识别模型为带有活体识别神经网络层的神经网络架构；
当所述活体检测结果为活体时，将所述人脸标识与预设数据库中存储的人脸标识进行比对，来确定驾驶员身份验证结果。
优选的，所述光照与背景环境自适应卷积神经网络层采用bottleneck卷积层结构，包括1×1×3×64的逐点卷积核、7×7×64的可分离卷积核和1×1×64×3的逐点卷积核，每个卷积操作均包含批标准化和线性整流函数。
优选的，所述将所述待验证目标图像输入至人脸检测模型中，得到待识别图像，所述待识别图像中包含所述人脸区域，所述人脸检测模型为带有光照与背景环境自适应卷积神经网络层和人脸检测网络的神经网络架构，具体为：
将所述待验证目标图像输入所述光照与背景环境自适应卷积神经网络层中的所述1×1×3×64的逐点卷积核，得到64维的特征图；
将所述64维的特征图输入所述光照与背景环境自适应卷积神经网络层中的所述7×7×64的可分离卷积核，提取局部特征，得到局部特征图；
将所述局部特征图输入所述光照与背景环境自适应卷积神经网络层中的所述1×1×64×3的逐点卷积核，将所述局部特征图压缩回与所述待验证目标图像同样大小的三通道图像，并与所述待验证目标图像作残差操作，得到抵消光照与背景环境影响的自适应补偿的特征图；
将所述抵消了光照与背景环境影响的局部特征图输入所述人脸检测网络，得到所述待识别图像，所述待识别图像中包含所述人脸区域。
优选的，所述活体识别神经网络层由Mobilefacenet V2的7×7×160层引出抽头，并接入多组神经网络卷积核。
优选的，所述将所述待识别图像输入至人脸识别模型中，得到识别结果，所述识别结果包括人脸标识和活体检测结果，所述人脸识别模型为带有活体识别神经网络层的神经网络架构，具体为：
将所述待识别图像输入至所述带有活体识别神经网络层的Mobilefacenet V2，并从Mobilefacenet V2的7×7×160层，引出抽头数据；
将所述抽头数据输入至所述带有活体识别神经网络层的多层bottleneck卷积层结构，提取活体信息；
将所述活体信息经过多层卷积神经网络结构映射到不同维度空间，得到不同维度空间的活体信息；
采用二分类网络对所述不同维度空间的活体信息进行分析，得到所述识别结果，所述识别结果包括人脸标识和活体检测结果。
优选的，在进行人脸检测和人脸识别步骤之前，还包括：
对所述人脸检测模型和所述人脸识别模型进行整型稀疏量化优化、通道间量化参数平衡与架构处理器扩展指令集优化。
优选的，所述整型稀疏量化优化、通道间量化参数平衡与架构处理器扩展指令集优化，具体为：
提取所述人脸检测模型和所述人脸识别模型每一层的多个通道的通道间参数；
对所述通道间参数进行平衡处理，得到平衡处理后的参数；
对所述平衡处理后的参数进行稀疏化处理，得到稀疏化处理后的参数；
将所述稀疏化处理后的参数进行整型量化处理，得到所述人脸检测模型和所述人脸识别模型；
将所述人脸检测模型和所述人脸识别模型针对部署的硬件平台进行架构处理器扩展指令集优化。
一种驾驶员身份验证装置，应用于驾驶员监控系统，该装置包括：
获取单元，用于获取待验证目标图像，所述待验证目标图像中至少包括人脸区域；
人脸检测单元，用于将所述待验证目标图像输入至人脸检测模型中进行人脸检测，得到待识别图像，所述待识别图像中包含所述人脸区域，所述人脸检测模型为带有光照与背景环境自适应卷积神经网络层和人脸检测网络的神经网络架构；
人脸识别单元，用于将所述待识别图像输入至人脸识别模型中进行人脸识别，得到识别结果，所述识别结果包括人脸标识和活体检测结果，所述人脸识别模型为带有活体识别神经网络层的神经网络架构；
身份验证单元，用于当所述活体检测结果为活体时，将所述人脸标识与预设数据库中存储的人脸标识进行比对，来确定驾驶员身份验证结果。
一种电子设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上述所述的驾驶员身份验证方法。
一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上述所述的驾驶员身份验证方法。
与传统技术相比，本申请所述的驾驶员身份验证方法、装置、电子设备及存储介质，应用于驾驶员监控系统，预先构建人脸检测模型和人脸识别模型，其中，人脸检测模型为带有光照与背景环境自适应卷积神经网络层和人脸检测网络的神经网络架构，人脸识别模型为带有活体识别神经网络层的神经网络架构，在需要进行驾驶员身份验证时，将待验证目标图像输入至人脸检测模型和人脸识别模型，通过人脸检测模型针对驾驶室光照、背景环境相对固定的特点，提高人脸识别算法在相对固定的驾驶室环境的识别率，通过人脸识别模型针对活体检测，可以避免照片攻击，提高驾驶员监控系统的安全性和可靠性，满足用户对驾驶员监控系统更高的要求。
进一步的，本申请针对车载处理系统资源匮乏的特点，通过对人脸检测模型和人脸识别模型进行整型稀疏量化优化、通道间量化参数平衡与架构处理器扩展指令集优化，极大提高了运算速度，进一步满足了用户对驾驶员监控系统更高的要求。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种驾驶员身份验证方法流程示意图；
图2为本申请实施例提供的光照、环境自适应卷积神经网络层的结构示意图；
图3为本申请实施例提供的步骤S102的一种具体实现方式流程示意图；
图4为本申请实施例提供的步骤S103的一种具体实现方式流程示意图；
图5为本申请实施例提供的整型稀疏量化优化、通道间量化参数平衡与架构处理器扩展指令集优化的一种具体实现方式流程示意图；
图6为本申请实施例提供的驾驶员身份验证系统框架及处理流程示意图；
图7为本申请实施例提供的一种驾驶员身份验证装置结构示意图；
图8为本申请实施例提供的一种电子设备结构示意图。
具体实施方式
本申请提供的一种驾驶员身份验证方法、装置、电子设备及存储介质，应用于驾驶员监控系统，乃至高级辅助驾驶系统，其发明目的在于：用于以提高驾驶员监控系统的安全性和可靠性，满足用户对驾驶员监控系统更高的要求。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1所示，为本申请实施例提供的一种驾驶员身份验证方法流程图，应用于驾驶员监控系统，该方法具体包括如下步骤：
S101：获取待验证目标图像，该待验证目标图像中至少包括人脸区域。
本申请实施例中，待验证目标图像可以是通过摄像头采集的视频流，经实时图像采样得到的，也可以是通过照相机等图像采集装置采集得到的，在此不做具体的限定。
S102：将待验证目标图像输入至人脸检测模型中进行人脸检测，得到待识别图像，该待识别图像中包含人脸区域，该人脸检测模型为带有光照与背景环境自适应卷积神经网络层和人脸检测网络的神经网络架构。
本申请实施例中，上述光照与背景环境自适应卷积神经网络层采用bottleneck卷积层结构，如图2所示，包括1×1×3×64的逐点卷积核、7×7×64的可分离卷积核和1×1×64×3的逐点卷积核，每个卷积操作均包含批标准化(batch normalization)和线性整流函数(Rectified Linear Unit，ReLU)。该卷积层结构可以自适应光照与环境信息的原理是：可分离卷积核有合适大小的感受野，既能提取局部的特征信息(如整体光照以及背景中座椅等相对固定的场景)，又能起到平滑抑制低光照条件下摄像头的噪点。在大量相同场景的图像训练后，该可分离卷积层可有效识别固定的场景参数并通过残差网络来降低固定场景的权重加以抑制，并通过权重的自动调节对不均匀的光照做补偿，而突出变化部分(如人脸所出现的重点区域)，从而提高人脸的检测率，并为后续人脸识别提供校准光照等信息的人脸区域样本。
需要说明的是，卷积核所采用的形如W×H×I×O的四位结构与广泛采用的卷积神经网络表示一致，W、H分别代表卷积核宽高，I代表输入通道数，O代表输出通道数即卷积核数量。
如图3所示，本申请实施例中，上述将待验证目标图像输入至人脸检测模型中，得到待识别图像，该待识别图像中包含人脸区域，该人脸检测模型为带有光照与背景环境自适应卷积神经网络层和人脸检测网络的神经网络架构，具体包括如下步骤：
S301：将待验证目标图像输入光照与背景环境自适应卷积神经网络层中的1×1×3×64的逐点卷积核，得到64维的特征图。
S302：将64维的特征图输入光照与背景环境自适应卷积神经网络层中的7×7×64的可分离卷积核，提取局部特征，得到局部特征图。
S303：将局部特征图输入光照与背景环境自适应卷积神经网络层中的1×1×64×3的逐点卷积核，将局部特征图压缩回与待验证目标图像同样大小的三通道图像，并与待验证目标图像作残差操作，得到抵消光照与背景环境影响的自适应补偿的特征图；
S304：将抵消了光照与背景环境影响的局部特征图输入人脸检测网络，得到所述待识别图像，该待识别图像中包含人脸区域。
本申请实施例通过人脸检测模型针对驾驶室光照、背景环境相对固定的特点，提高人脸识别算法在相对固定的驾驶室环境的识别率。
需要说明的是，人脸检测网络可以为现有网络出现的MTCNN人脸检测网络，也可以是RetinaFace网络或“现有成熟的人脸检测网络”，在此不再进行详细赘述。
S103：将待识别图像输入至人脸识别模型中进行人脸识别，得到识别结果，该识别结果包括人脸标识和活体检测结果，该人脸识别模型为带有活体识别神经网络层的神经网络架构。
本申请实施例中，上述活体识别神经网络层由Mobilefacenet V2的7×7×160层引出抽头，并接入多组神经网络卷积核。需要说明的是，以Mobilefacenet V2的结构为主干，并加入活体检测分支。活体检测分支由Mobilefacenet V2的7×7×160层引出抽头，而后接入多组神经网络卷积核。与Mobilefacenet V2共用的部分如表1所示。
表1.活体检测网络与Mobilefacenet V2共用神经网络卷积层
Input Operator t c n s Output
2242×3 conv2d 32 1 2 1122×32
1122×32 bottleneck 1 16 1 1 1122×16
1122×16 bottleneck 6 24 2 2 562×24
562×24 bottleneck 6 32 3 2 282×32
282×32 bottleneck 6 64 4 2 142×64
142×64 bottleneck 6 96 3 1 142×96
142×96 bottleneck 6 160 3 2 72×160
需要说明的是，引出抽头数据后，做进一步的活体识别神经网络操作。后续处理神经网络卷积层如表2所示，其中GDConv是全局可分离卷积神经网络层(global depthwiseseparable conv)。
表2.活体检测网络后续处理神经网络卷积层
Input Operator t c n s Output
72×160 GDConv7×7 160 1 1 12×160
12×160 bottleneck 6 160 3 1 12×160
12×160 conv1×1 960 1 1 12×960
12×960 conv1×1 320 1 1 12×320
12×320 conv1×1 960 1 1 12×960
12×960 softmax 2
如图4所示，本申请实施例中，上述所述将所述待识别图像输入至人脸识别模型中，得到识别结果，所述识别结果包括人脸标识和活体检测结果，所述人脸识别模型为带有活体识别神经网络层的神经网络架构，具体包括如下步骤：
S401：将所述待识别图像输入至所述带有活体识别神经网络层的MobilefacenetV2，并从Mobilefacenet V2的7×7×160层，引出抽头数据。
S402：将所述抽头数据输入至所述带有活体识别神经网络层的多层bottleneck卷积层结构，提取活体信息。
S403：将所述活体信息经过多层卷积神经网络结构映射到不同维度空间，得到不同维度空间的活体信息。
S404：采用二分类网络对所述不同维度空间的活体信息进行分析，得到所述识别结果，所述识别结果包括人脸标识和活体检测结果。
本申请实施例通过人脸识别模型针对活体检测，可以避免照片攻击，提高驾驶员监控系统的安全性和可靠性，满足用户对驾驶员监控系统更高的要求。
S104：当所述活体检测结果为活体时，将所述人脸标识与预设数据库中存储的人脸标识进行比对，来确定驾驶员身份验证结果。
本申请实施例提供的驾驶员身份验证方法，应用于驾驶员监控系统，预先构建人脸检测模型和人脸识别模型，其中，人脸检测模型为带有光照与背景环境自适应卷积神经网络层和人脸检测网络的神经网络架构，人脸识别模型为带有活体识别神经网络层的神经网络架构，在需要进行驾驶员身份验证时，将待验证目标图像输入至人脸检测模型和人脸识别模型，通过人脸检测模型针对驾驶室光照、背景环境相对固定的特点，提高人脸识别算法在相对固定的驾驶室环境的识别率，通过人脸识别模型针对活体检测，可以避免照片攻击，提高驾驶员监控系统的安全性和可靠性，满足用户对驾驶员监控系统更高的要求。
在上述图1公开的驾驶员身份验证方法中，在进行人脸检测和人脸识别步骤之前，还包括：
对所述人脸检测模型和所述人脸识别模型进行整型稀疏量化优化、通道间量化参数平衡与架构处理器扩展指令集优化。
如图5所示，上述整型稀疏量化优化、通道间量化参数平衡与架构处理器扩展指令集优化，具体包括如下步骤：
S501：提取人脸检测模型和人脸识别模型每一层的多个通道的通道间参数。
S502：对通道间参数进行平衡处理，得到平衡处理后的参数。
需要说明的是，为了避免部分通道参数过大，导致量化时占据过多能量，而使其他重要通道权重过小导致错误，在本申请实施例中，需要对通道间参数进行平衡处理。
具体的，本申请实施例中，取该层所有通道参数绝对值最大的数a，将其映射为相同正负符号的-127或127，即映射比例为|a/127|。将该层所有通道的其他参数均以该映射比例做映射，以使所有参数等比例缩放分布于-127～127范围内。
S503：对平衡处理后的参数进行稀疏化处理，得到稀疏化处理后的参数。
需要说明的是，为了提高计算速度，在本申请实施例中，需要对步骤S502中得到的所述平衡处理后的参数进行稀疏化处理，得到稀疏化处理后的参数。
具体的，本申请实施例中，舍去绝对值接近于0的部分，即可以将分布于-5～5范围内值均重置为0。
S504：将稀疏化处理后的参数进行整型量化处理，得到人脸检测模型和所述人脸识别模型。
需要说明的是，为了进一步提高计算速度，在本申请实施例中，需要对步骤S503中得到的所述稀疏化处理后的参数进行整型量化处理，即对所述稀疏化处理后的参数作四舍五入取整。
用多批次训练数据经多轮训练，直至网络收敛，最终得到所述人脸检测神经网络模型和所述人脸识别神经网络模型。
S505：将人脸检测模型和人脸识别模型针对部署的硬件平台进行架构处理器扩展指令集优化。
需要说明的是，当前采用统一的指令集优化平台NCNN进行优化部署，采用该平台的int8(8位整型量化)优化集进行加速。
本申请实施例针对车载处理系统资源匮乏的特点，通过对人脸检测模型和人脸识别模型进行整型稀疏量化优化、通道间量化参数平衡与架构处理器扩展指令集优化，极大提高了运算速度，进一步满足了用户对驾驶员监控系统更高的要求。
本申请实施例中，以市面主流的高通骁龙SA8155车载人工智能解决方案平台为测试平台，以某集团2020款概念车智能座舱为现场环境，具体的，现场总计采集472人，在高、中、低三种外部光照及夜晚车内灯等4种光照条件下，共6445张正常摄像截图，并采集其中275人在对应光照条件下的纸质照片与手机照片(即与测试光照完全相同条件下拍摄所得)，共计581张。
为便于比较，本申请实施例中，分为多模块组合成的网络进行测试。基础网络也就是传统人脸识别网络，包含图6中的视频输入、图像采样、MTCNN人脸检测神经网络、Mobilefacenet V2人脸识别神经网络和身份确认。基础网络+光照补偿网络表示在基础网络之上的图像采样和MTCNN人脸检测神经网络之间加入了图6所示的光照/环境自适应卷积神经网络。基础网络+光照补偿网络+活体检测网络则表示如图6所示的完整网络。
基础网络与基础网络+光照补偿网络的人脸识别成功率测试采用如上所述6445张正常图片进行。每种类(相同人，相同光照条件)图片随机选取1张共计1888作为测试样本，剩余图片作为训练样本，共进行100次随机选取测试。为贴合最终平台运算速度需求，此测试在平台上通过int8的8位量化，表3为测试的对比结果。
表3.网络人脸识别成功率测试对比
从表3中可以看出，光照补偿网络在车载场景可以极大提升识别成功率；而8位量化通过通道间量化参数平衡可以极大提升准确率。
另外，为比较传统车载系统人脸识别算法抵御攻击的可靠性，本申请实施例中，比较了基础网络+光照补偿网络与基础网络+光照补偿网络+活体检测网络对于识别如上所述581张攻击图片的对比。其中基础网络+光照补偿网络以输出未能比对成功数据库中的人脸作为抵御成功，基础网络+光照补偿网络+活体检测网络以输出检测为攻击作为抵御成功，测试结果见表4。
表4.网络抵御攻击成功率测试对比
基础网络+光照补偿网络 基础网络+光照补偿网络+活体检测网络
抵御照片攻击成功率 6.20％ 99.66％
从表4可以看出，未加入活体检测网络的识别系统很容易被攻击成功，无法应用于需求安全的场景，而加入活体检测网络的识别系统很难被攻击成功，适用于需要高安全性的场景。
更进一步的，为比较网络硬件优化效果，本申请实施例中，将各测试网络在高通骁龙SA8155平台上进行每帧耗时测试，做100幅输入图片测试取平均值，多图测试取平均值，耗时越短性能越好，测试结果见表5。
表5.高通骁龙SA8155平台多组网络每帧耗时
从表5可以看出，所加入光照补偿网络与活体检测网络占用资源很少。而经过针对性的处理器平台加速后，整体网络运算速度可以大幅提升，可以贴合车载嵌入式平台的应用需求。
请参阅图4，基于上述实施例公开的一种驾驶员身份验证方法，本实施例对应公开了一种驾驶员身份验证装置，应用于驾驶员监控系统，具体包括：
获取单元401，用于获取待验证目标图像，该待验证目标图像中至少包括人脸区域。
人脸检测单元402，用于将待验证目标图像输入至人脸检测模型中进行人脸检测，得到待识别图像，该待识别图像中包含所述人脸区域，该人脸检测模型为带有光照与背景环境自适应卷积神经网络层和人脸检测网络的神经网络架构。
人脸识别单元403，用于将待识别图像输入至人脸识别模型中进行人脸识别，得到识别结果，该识别结果包括人脸标识和活体检测结果，该人脸识别模型为带有活体识别神经网络层的神经网络架构。
身份验证单元404，用于当活体检测结果为活体时，将人脸标识与预设数据库中存储的人脸标识进行比对，来确定驾驶员身份验证结果。
所述驾驶员身份验证装置包括处理器和存储器，上述获取单元、人脸检测单元、人脸识别单元和身份验证单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来达到提高驾驶员监控系统的安全性和可靠性，满足用户对驾驶员监控系统更高的要求。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述驾驶员身份验证方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述驾驶员身份验证方法。
本发明实施例提供了一种电子设备，如图5所示，该电子设备50包括至少一个处理器501、以及与所述处理器连接的至少一个存储器502、总线503；其中，所述处理器501、所述存储器502通过所述总线503完成相互间的通信；处理器501用于调用所述存储器502中的程序指令，以执行上述的所述驾驶员身份验证方法。
本文中的电子设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：
获取待验证目标图像，所述待验证目标图像中至少包括人脸区域；
将所述待验证目标图像输入至人脸检测模型中进行人脸检测，得到待识别图像，所述待识别图像中包含所述人脸区域，所述人脸检测模型为带有光照与背景环境自适应卷积神经网络层和人脸检测网络的神经网络架构；
将所述待识别图像输入至人脸识别模型中进行人脸识别，得到识别结果，所述识别结果包括人脸标识和活体检测结果，所述人脸识别模型为带有活体识别神经网络层的神经网络架构；
当所述活体检测结果为活体时，将所述人脸标识与预设数据库中存储的人脸标识进行比对，来确定驾驶员身份验证结果。
优选的，所述光照与背景环境自适应卷积神经网络层采用bottleneck卷积层结构，包括1×1×3×64的逐点卷积核、7×7×64的可分离卷积核和1×1×64×3的逐点卷积核，每个卷积操作均包含批标准化和线性整流函数。
优选的，所述将所述待验证目标图像输入至人脸检测模型中，得到待识别图像，所述待识别图像中包含所述人脸区域，所述人脸检测模型为带有光照与背景环境自适应卷积神经网络层和人脸检测网络的神经网络架构，具体为：
将所述待验证目标图像输入所述光照与背景环境自适应卷积神经网络层中的所述1×1×3×64的逐点卷积核，得到64维的特征图；
将所述64维的特征图输入所述光照与背景环境自适应卷积神经网络层中的所述7×7×64的可分离卷积核，提取局部特征，得到局部特征图；
将所述局部特征图输入所述光照与背景环境自适应卷积神经网络层中的所述1×1×64×3的逐点卷积核，将所述局部特征图压缩回与所述待验证目标图像同样大小的三通道图像，并与所述待验证目标图像作残差操作，得到抵消光照与背景环境影响的自适应补偿的特征图；
将所述抵消了光照与背景环境影响的局部特征图输入MTCNN人脸检测网络，得到所述待识别图像，所述待识别图像中包含所述人脸区域。
优选的，所述活体识别神经网络层由Mobilefacenet V2的7×7×160层引出抽头，并接入多组神经网络卷积核。
优选的，所述将所述待识别图像输入至人脸识别模型中，得到识别结果，所述识别结果包括人脸标识和活体检测结果，所述人脸识别模型为带有活体识别神经网络层的神经网络架构，具体为：
将所述待识别图像输入至所述带有活体识别神经网络层的Mobilefacenet V2，并从Mobilefacenet V2的7×7×160层，引出抽头数据；
将所述抽头数据输入至所述带有活体识别神经网络层的多层bottleneck卷积层结构，提取活体信息；
将所述活体信息经过多层卷积神经网络结构映射到不同维度空间，得到不同维度空间的活体信息；
采用二分类网络对所述不同维度空间的活体信息进行分析，得到所述识别结果，所述识别结果包括人脸标识和活体检测结果。
优选的，在进行人脸检测和人脸识别步骤之前，还包括：
对所述人脸检测模型和所述人脸识别模型进行整型稀疏量化优化、通道间量化参数平衡与架构处理器扩展指令集优化。
优选的，所述整型稀疏量化优化、通道间量化参数平衡与架构处理器扩展指令集优化，具体为：
提取所述人脸检测模型和所述人脸识别模型每一层的多个通道的通道间参数；
对所述通道间参数进行平衡处理，得到平衡处理后的参数；
对所述平衡处理后的参数进行稀疏化处理，得到稀疏化处理后的参数；
将所述稀疏化处理后的参数进行整型量化处理，得到所述人脸检测模型和所述人脸识别模型；
将所述人脸检测模型和所述人脸识别模型针对部署的硬件平台进行架构处理器扩展指令集优化。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中，设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (10)

1.一种驾驶员身份验证方法，其特征在于，应用于驾驶员监控系统，该方法包括：
获取待验证目标图像，所述待验证目标图像中至少包括人脸区域；
将所述待验证目标图像输入至人脸检测模型中进行人脸检测，得到待识别图像，所述待识别图像中包含所述人脸区域，所述人脸检测模型为带有光照与背景环境自适应卷积神经网络层和人脸检测网络的神经网络架构；
将所述待识别图像输入至人脸识别模型中进行人脸识别，得到识别结果，所述识别结果包括人脸标识和活体检测结果，所述人脸识别模型为带有活体识别神经网络层的神经网络架构；
当所述活体检测结果为活体时，将所述人脸标识与预设数据库中存储的人脸标识进行比对，来确定驾驶员身份验证结果；
所述光照与背景环境自适应卷积神经网络层采用bottleneck卷积层结构，包括第一逐点卷积核、可分离卷积核和第二逐点卷积核，每个卷积操作均包含批标准化和线性整流函数；
所述将所述待验证目标图像输入至人脸检测模型中，得到待识别图像，所述待识别图像中包含所述人脸区域，所述人脸检测模型为带有光照与背景环境自适应卷积神经网络层和人脸检测网络的神经网络架构，具体为：
将所述待验证目标图像输入所述光照与背景环境自适应卷积神经网络层中的所述第一逐点卷积核，得到特征图；
将所述特征图输入所述光照与背景环境自适应卷积神经网络层中的所述可分离卷积核，提取局部特征，得到局部特征图；
将所述局部特征图输入所述光照与背景环境自适应卷积神经网络层中的所述第二逐点卷积核，将所述局部特征图压缩回与所述待验证目标图像同样大小的三通道图像，并与所述待验证目标图像作残差操作，得到抵消光照与背景环境影响的自适应补偿的特征图；
将所述抵消了光照与背景环境影响的局部特征图输入所述人脸检测网络，得到所述待识别图像，所述待识别图像中包含所述人脸区域。
2.根据权利要求1所述的方法，其特征在于，其中，第一逐点卷积核为1×1×3×64的逐点卷积核，可分离卷积核为7×7×64的可分离卷积核第二逐点卷积核为1×1×64×3的逐点卷积核。
3.根据权利要求2所述的方法，其特征在于，所述将所述待验证目标图像输入至人脸检测模型中，得到待识别图像，所述待识别图像中包含所述人脸区域，所述人脸检测模型为带有光照与背景环境自适应卷积神经网络层和人脸检测网络的神经网络架构，具体为：
将所述待验证目标图像输入所述光照与背景环境自适应卷积神经网络层中的所述1×1×3×64的逐点卷积核，得到64维的特征图；
将所述64维的特征图输入所述光照与背景环境自适应卷积神经网络层中的所述7×7×64的可分离卷积核，提取局部特征，得到局部特征图；
将所述局部特征图输入所述光照与背景环境自适应卷积神经网络层中的所述1×1×64×3的逐点卷积核，将所述局部特征图压缩回与所述待验证目标图像同样大小的三通道图像，并与所述待验证目标图像作残差操作，得到抵消光照与背景环境影响的自适应补偿的特征图；
将所述抵消了光照与背景环境影响的局部特征图输入所述人脸检测网络，得到所述待识别图像，所述待识别图像中包含所述人脸区域。
4.根据权利要求1所述的方法，其特征在于，所述活体识别神经网络层由Mobilefacenet V2的7×7×160层引出抽头，并接入多组神经网络卷积核。
5.根据权利要求4所述的方法，其特征在于，所述将所述待识别图像输入至人脸识别模型中，得到识别结果，所述识别结果包括人脸标识和活体检测结果，所述人脸识别模型为带有活体识别神经网络层的神经网络架构，具体为：
将所述待识别图像输入至所述带有活体识别神经网络层的Mobilefacenet V2，并从Mobilefacenet V2的7×7×160层，引出抽头数据；
将所述抽头数据输入至所述带有活体识别神经网络层的多层bottleneck卷积层结构，提取活体信息；
将所述活体信息经过多层卷积神经网络结构映射到不同维度空间，得到不同维度空间的活体信息；
采用二分类网络对所述不同维度空间的活体信息进行分析，得到所述识别结果，所述识别结果包括人脸标识和活体检测结果。
6.根据权利要求1所述的方法，其特征在于，在进行人脸检测和人脸识别步骤之前，还包括：
对所述人脸检测模型和所述人脸识别模型进行整型稀疏量化优化、通道间量化参数平衡与架构处理器扩展指令集优化。
7.根据权利要求6所述的方法，其特征在于，所述整型稀疏量化优化、通道间量化参数平衡与架构处理器扩展指令集优化，具体为：
提取所述人脸检测模型和所述人脸识别模型每一层的多个通道的通道间参数；
对所述通道间参数进行平衡处理，得到平衡处理后的参数；
对所述平衡处理后的参数进行稀疏化处理，得到稀疏化处理后的参数；
将所述稀疏化处理后的参数进行整型量化处理，得到所述人脸检测模型和所述人脸识别模型；
将所述人脸检测模型和所述人脸识别模型针对部署的硬件平台进行架构处理器扩展指令集优化。
8.一种驾驶员身份验证装置，其特征在于，应用于驾驶员监控系统，该装置包括：
获取单元，用于获取待验证目标图像，所述待验证目标图像中至少包括人脸区域；
人脸检测单元，用于将所述待验证目标图像输入至人脸检测模型中进行人脸检测，得到待识别图像，所述待识别图像中包含所述人脸区域，所述人脸检测模型为带有光照与背景环境自适应卷积神经网络层和人脸检测网络的神经网络架构；
人脸识别单元，用于将所述待识别图像输入至人脸识别模型中进行人脸识别，得到识别结果，所述识别结果包括人脸标识和活体检测结果，所述人脸识别模型为带有活体识别神经网络层的神经网络架构；
身份验证单元，用于当所述活体检测结果为活体时，将所述人脸标识与预设数据库中存储的人脸标识进行比对，来确定驾驶员身份验证结果；
所述光照与背景环境自适应卷积神经网络层采用bottleneck卷积层结构，包括第一逐点卷积核、可分离卷积核和第二逐点卷积核，每个卷积操作均包含批标准化和线性整流函数；
所述人脸检测单元将所述待验证目标图像输入至人脸检测模型中，得到待识别图像，所述待识别图像中包含所述人脸区域，所述人脸检测模型为带有光照与背景环境自适应卷积神经网络层和人脸检测网络的神经网络架构，具体为：
将所述待验证目标图像输入所述光照与背景环境自适应卷积神经网络层中的所述第一逐点卷积核，得到特征图；
将所述特征图输入所述光照与背景环境自适应卷积神经网络层中的所述可分离卷积核，提取局部特征，得到局部特征图；
将所述局部特征图输入所述光照与背景环境自适应卷积神经网络层中的所述第二逐点卷积核，将所述局部特征图压缩回与所述待验证目标图像同样大小的三通道图像，并与所述待验证目标图像作残差操作，得到抵消光照与背景环境影响的自适应补偿的特征图；
将所述抵消了光照与背景环境影响的局部特征图输入所述人脸检测网络，得到所述待识别图像，所述待识别图像中包含所述人脸区域。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-7中任一项所述的驾驶员身份验证方法。
10.一种非暂时性机器可读存储介质，其特征在于，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-7中任一项所述的驾驶员身份验证方法。
CN202011103061.2A 2020-10-15 2020-10-15 一种驾驶员身份验证方法、装置、电子设备及存储介质 Active CN112183449B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011103061.2A CN112183449B (zh) 2020-10-15 2020-10-15 一种驾驶员身份验证方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011103061.2A CN112183449B (zh) 2020-10-15 2020-10-15 一种驾驶员身份验证方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112183449A CN112183449A (zh) 2021-01-05
CN112183449B true CN112183449B (zh) 2024-03-19

Family

ID=73949638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011103061.2A Active CN112183449B (zh) 2020-10-15 2020-10-15 一种驾驶员身份验证方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112183449B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298008A (zh) * 2021-06-04 2021-08-24 杭州鸿泉物联网技术股份有限公司 基于活体检测的驾驶员人脸识别资质认证方法及装置
CN114241459B (zh) * 2022-02-24 2022-06-17 深圳壹账通科技服务有限公司 一种驾驶员身份验证方法、装置、计算机设备及存储介质
CN115953333A (zh) * 2023-03-15 2023-04-11 杭州魔点科技有限公司 一种动态背光补偿方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022313A (zh) * 2016-06-16 2016-10-12 湖南文理学院 一种能自动适应场景的人脸识别方法
WO2020001083A1 (zh) * 2018-06-30 2020-01-02 东南大学 一种基于特征复用的人脸识别方法
CN110929569A (zh) * 2019-10-18 2020-03-27 平安科技（深圳）有限公司 人脸识别方法、装置、设备及存储介质
CN111291739A (zh) * 2020-05-09 2020-06-16 腾讯科技（深圳）有限公司 面部检测、图像检测神经网络训练方法、装置和设备
CN111400535A (zh) * 2020-03-11 2020-07-10 广东宜教通教育有限公司 轻量级人脸识别方法、系统、计算机设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10592785B2 (en) * 2017-07-12 2020-03-17 Futurewei Technologies, Inc. Integrated system for detection of driver condition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022313A (zh) * 2016-06-16 2016-10-12 湖南文理学院 一种能自动适应场景的人脸识别方法
WO2020001083A1 (zh) * 2018-06-30 2020-01-02 东南大学 一种基于特征复用的人脸识别方法
CN110929569A (zh) * 2019-10-18 2020-03-27 平安科技（深圳）有限公司 人脸识别方法、装置、设备及存储介质
CN111400535A (zh) * 2020-03-11 2020-07-10 广东宜教通教育有限公司 轻量级人脸识别方法、系统、计算机设备及存储介质
CN111291739A (zh) * 2020-05-09 2020-06-16 腾讯科技（深圳）有限公司 面部检测、图像检测神经网络训练方法、装置和设备

Also Published As

Publication number Publication date
CN112183449A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN112183449B (zh) 一种驾驶员身份验证方法、装置、电子设备及存储介质
EP4300417A1 (en) Method and apparatus for evaluating image authenticity, computer device, and storage medium
CN110532746B (zh) 人脸校验方法、装置、服务器及可读存储介质
US11605210B2 (en) Method for optical character recognition in document subject to shadows, and device employing method
CN115620384B (zh) 模型训练方法、眼底图像预测方法及装置
JP2021531571A (ja) 証明書画像抽出方法及び端末機器
CN111401136A (zh) 一种柱塞泵空化程度检测方法、装置及终端
CN113837942A (zh) 基于srgan的超分辨率图像生成方法、装置、设备及存储介质
CN112597995B (zh) 车牌检测模型训练方法、装置、设备及介质
CN116091781B (zh) 一种用于图像识别的数据处理方法及装置
CN112084815A (zh) 一种基于摄像机焦距变换的目标检测方法、存储介质及处理器
CN113554685A (zh) 遥感卫星运动目标检测方法、装置、电子设备及存储介质
CN111259753A (zh) 人脸关键点处理方法及装置
CN110796112A (zh) 一种基于matlab的车内人脸识别系统
US11876945B2 (en) Device and method for acquiring shadow-free images of documents for scanning purposes
CN111126177A (zh) 人数统计的方法及装置
CN112949730B (zh) 少样本的目标检测方法、装置、存储介质及设备
CN109977646B (zh) 一种智能安全核验方法
CN117671332A (zh) 车辆定损方法、装置、计算机设备及存储介质
CN113496186A (zh) 移动端设备及其人脸识别方法
CN117688537A (zh) 基于人脸识别的身份登录认证方法及系统、设备、介质
CN116681654A (zh) 图像检测方法、装置、设备和介质
CN116681586A (zh) 一种基于识别特征保持的超分辨率重建方法及装置
CN116704342A (zh) 一种基于多尺度sar图像的舰船快速检测方法与系统
CN114648815A (zh) 结合注意力机制和残差网络的人脸活体检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant