CN110728234A - 驾驶员人脸识别方法、系统、设备及介质 - Google Patents

驾驶员人脸识别方法、系统、设备及介质 Download PDF

Info

Publication number
CN110728234A
CN110728234A CN201910965909.3A CN201910965909A CN110728234A CN 110728234 A CN110728234 A CN 110728234A CN 201910965909 A CN201910965909 A CN 201910965909A CN 110728234 A CN110728234 A CN 110728234A
Authority
CN
China
Prior art keywords
face
driver
image
face recognition
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910965909.3A
Other languages
English (en)
Inventor
张坚
张坤雷
陈学文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aiways Automobile Co Ltd
Original Assignee
Aiways Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aiways Automobile Co Ltd filed Critical Aiways Automobile Co Ltd
Priority to CN201910965909.3A priority Critical patent/CN110728234A/zh
Publication of CN110728234A publication Critical patent/CN110728234A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明提供了一种驾驶员人脸识别方法、系统、设备及介质，所述方法包括：获取驾驶员的人脸图像；从所述人脸图像中提取人脸识别区域，并将所述人脸识别区域调整至符合预设的识别条件；将所述人脸识别区域输入至基于深度学习构建的训练好的人脸特征提取模型，得到人脸特征向量；根据所述人脸特征提取模型输出的人脸特征向量和预存图像的人脸特征向量计算相似度，如果相似度大于指定的阈值，则判断是同一个人的人脸，如果有多个预存人脸图像的相似度大于阈值，则判定相似度最大的预存人脸图像与驾驶员的人脸图像是同一个人的人脸图像，从而确定了驾驶员的身份。本发明具有速度快、识别准确率高、算法鲁棒性好的特点，从而满足车载人脸识别的需求。

Description

驾驶员人脸识别方法、系统、设备及介质
技术领域
本发明涉及车辆控制技术领域，尤其涉及一种驾驶员人脸识别方法、系统、设备及介质。
背景技术
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。人脸识别系统的基本原理和流程为：采用摄像机或摄像头采集用户的含有人脸的图像，提取人脸图像的特征向量，然后将所提取的特征向量与资料库中的照片对应的特征向量进行相似度计算；如果计算所得到的相似度高于指定的阈值，那么可判定所采集到人脸图像为资料库中的人脸图像，进而确定出用户的身份。
近年来，人脸识别技术已被应用于小区门禁系统、考勤系统，防盗门、手机解锁等。当前，人脸识别技术正在进行面向汽车的应用落地，为车内的驾驶员身份认证、个性化设置调用等功能提供技术基础，这不仅会让这些车内功能方便易用，而且也会让汽车显得具有科技感和智能化。
对于车载环境，不仅车载系统中的嵌入式硬件运算资源较少，也存在用户人脸成像角度不正、光照变化大等复杂情况。车载人脸识别系统需要能够在这样的条件下仍具有正确度高、速度快(实时性)和鲁棒性强的特性。而现有的人脸识别方法为了在恶劣的环境下(比如光照不均匀、有遮挡等)获得很高的准确率往往会采用较庞大和复杂的算法模型，这不仅对系统资源的占用多而且运算速度也较慢，因此很难适用于车载环境下人脸识别系统的要求。
发明内容
针对现有技术中的问题，本发明的目的在于提供一种基于深度学习的驾驶员人脸识别方法、系统、设备及介质，具有速度快、识别准确率高、算法鲁棒性好的特点，从而满足车载人脸识别的需求。
本发明实施例提供一种驾驶员人脸识别方法，所述方法包括如下步骤：
获取驾驶员的人脸图像；
从所述人脸图像中提取人脸识别区域，并将所述人脸识别区域调整至符合预设的识别条件；
将所述人脸识别区域输入至基于深度学习构建的训练好的人脸特征提取模型，得到所述人脸特征提取模型输出的人脸特征向量；
根据所述人脸特征提取模型输出的人脸特征向量和预存图像的人脸特征向量计算所述驾驶员的人脸图像和所述预存图像的相似度，如果相似度大于指定阈值，则认为所述驾驶员的人脸图像和所述预存图像是同一个人的图像，且如果相似度大于指定阈值的预存图像多于一幅，则认为相似度最大的预存图像是驾驶员的人脸图像。
可选地，如果有多个预存人脸图像的相似度大于阈值，则判定相似度最大的预存人脸图像与驾驶员的人脸图像是同一个人的人脸图像，以确定了驾驶员的身份。
可选地，所述从所述人脸图像中提取人脸识别区域，包括采用MTCNN模型对所述人脸图像及人脸关键点进行检测，确定所述人脸图像中的人脸位置及人脸中两只眼睛的位置，提取所述人脸位置的人脸识别区域。
可选地，所述将所述人脸识别区域调整至符合预设的识别条件，包括如下步骤：
采用MTCNN模型对所述人脸识别区域及两只眼睛的位置进行关键点检测，检测到所述人脸识别区域及两个眼睛关键点的位置；
根据所述两个眼睛关键点的中间点在所述人脸识别区域中的位置，判断人脸的偏转角度是否大于预设角度阈值，如果是，则判定所述人脸识别区域不合格，通知驾驶员重新拍摄人脸图像。
可选地，所述将所述人脸识别区域调整至符合预设的识别条件中识别到所述人脸识别区域中两个眼睛关键点的位置之后，还包括如下步骤：
根据两个眼睛关键点的连线与画面水平线的夹角，旋转所述人脸识别区域，使得所述两个眼睛关键点的连线平行于所述画面水平线。
可选地，采用如下步骤计算两个眼睛关键点的连线与画面水平线的夹角：
计算两个眼睛关键点连线与水平线之间夹角的正切值为：
Figure BDA0002230460960000031
计算两个眼睛关键点的连线与画面水平线的夹角为：
Figure BDA0002230460960000032
其中，两只眼睛关键点的坐标分别为(x1，y1)和(x2，y2)，θ为两个眼睛关键点的连线与画面水平线的夹角。
可选地，所述确定所述人脸图像中的人脸位置之后，还包括如下步骤：
判断所述人脸图像中是否存在多个人脸，如果是，则选择最靠近所述人脸图像的中部且尺寸最大的人脸作为用于识别的人脸；
判断所述人脸图像的图像质量和光照强度是否满足预设条件，如果否，则通知驾驶员重新拍摄人脸图像。
可选地，所述将所述人脸识别区域调整至符合预设的识别条件之后，还包括如下步骤：
对所述人脸识别区域进行归一化处理，将所述人脸识别区域调整为上下框之间的距离等于左右框之间的距离；
将所述人脸识别区域调整至预设的尺寸。
可选地，所述人脸特征提取模型为MobilefaceNet模型。
可选地，所述MobilefaceNet模型采用ArcFace人脸识别损失函数进行训练。
可选地，所述计算所述驾驶员的人脸图像和所述预存图像的相似度，包括如下步骤：
计算所述人脸特征提取模型输出的人脸特征向量和一所述预存图像的人脸特征向量的余弦相似度，作为所述驾驶员的人脸图像和所述预存图像的相似度。
本发明实施例还提供一种驾驶员人脸识别系统，应用于所述的驾驶员人脸识别方法，所述系统包括：
人脸图像采集模块，用于获取驾驶员的人脸图像；
人脸区域提取模块，用于从所述人脸图像中提取人脸识别区域，并将所述人脸识别区域调整至符合预设的识别条件；
人脸特征提取模块，用于将所述人脸识别区域输入至基于深度学习构建的训练好的人脸特征提取模型，得到所述人脸特征提取模型输出的人脸特征向量；
相似图像匹配模块，用于根据所述人脸特征提取模型输出的人脸特征向量和预存图像的人脸特征向量计算所述驾驶员的人脸图像和所述预存图像的相似度，如果相似度大于指定阈值，则认为所述驾驶员的人脸图像和所述预存图像是同一个人的图像，且如果相似度大于阈值的预存图像多于一幅，则认为相似度最大的预存图像是驾驶员的人脸图像。
本发明实施例还提供一种驾驶员人脸识别设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行所述的驾驶员人脸识别方法的步骤。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现所述的驾驶员人脸识别方法的步骤。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
本发明所提供的驾驶员人脸识别方法、系统、设备及介质具有下列优点：
本发明解决了现有技术中的问题，提供了一种基于深度学习的驾驶员人脸识别方法，首先从驾驶员图像中提取出人脸识别区域，并且对人脸识别区域进行处理使得其符合预设的识别条件，然后采用深度学习模型计算其特征向量，该方法具有速度快、识别准确率高、算法鲁棒性好的特点，可以很好地满足车载人脸识别的需求，提高车载驾驶员人脸识别的效率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明一实施例的驾驶员人脸识别方法的流程图；
图2是本发明一实施例的对人脸图像进行预处理的流程图；
图3是本发明一实施例的调整人脸识别区域的流程图；
图4是本发明一实施例的驾驶员人脸识别系统的结构示意图；
图5是本发明一实施例的驾驶员人脸识别设备的示意图；
图6是本发明一实施例的计算机可读存储介质的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
如图1所示，为了解决现有技术的技术问题，本发明提供了一种驾驶员人脸识别方法，所述方法包括如下步骤：
S100：获取驾驶员的人脸图像，具体地，可以从车辆内部设置的面向驾驶位的车载摄像头中获取拍摄的驾驶员的人脸图像；
S200：对人脸图像进行处理，具体包括步骤S210：从所述人脸图像中提取人脸识别区域，和步骤S220：将所述人脸识别区域调整至符合预设的识别条件，从而可以提高人脸识别的效率和准确度；
S300：将所述人脸识别区域输入至基于深度学习构建的训练好的人脸特征提取模型，得到所述人脸特征提取模型输出的人脸特征向量；
S400：根据所述人脸特征提取模型输出的人脸特征向量和预存图像的人脸特征向量计算所述驾驶员的人脸图像和所述预存图像的相似度。
进一步地，如果相似度大于指定的阈值，则判断所提取特征向量的人脸和预存图像的人脸是同一个人的人脸，从而确定了驾驶员的身份。如果有多个预存人脸图像的相似度大于阈值，则判定相似度最大的预存人脸图像与驾驶员的人脸图像是同一个人的人脸图像。进一步地，根据驾驶员的人脸图像的相似图像对应的驾驶员身份来确定驾驶员的人脸图像所对应的驾驶员身份。例如，可以根据相似图像所对应的驾驶员ID确定当前车辆内部的驾驶员的ID。
本发明提供了一种基于深度学习的驾驶员人脸识别方法，首先通过步骤S100获取驾驶员的人脸图像，通过步骤S200从驾驶员图像中提取出人脸识别区域，并且通过步骤S200对人脸识别区域进行处理使得其符合预设的识别条件，然后通过步骤S300采用深度学习模型计算其特征向量，并通过步骤S400中根据特征向量计算相似度，从而对驾驶员进行人脸识别。该方法可以很好地满足车载人脸识别在准确度、实时性以及鲁棒性等方面的需求，并且具有模型小、运算耗时小的特点。
如图2所示，在该实施例中，所述步骤S210：从所述人脸图像中提取人脸识别区域，包括如下步骤：
S211：采用MTCNN模型对所述人脸图像及两只眼睛的位置进行检测，确定所述人脸图像中的人脸位置及两只眼睛的位置；MTCNN(多任务卷积神经网络)是在一个网络里实现了人脸检测与五点标定的模型，实现了人脸检测和对齐，主要是通过CNN(ConvolutionalNeural Networks，卷积神经网络)模型级联实现了多任务学习网络。整个模型分为三个阶段，第一阶段通过一个浅层的CNN网络快速产生一系列的候选窗口；第二阶段通过一个能力更强的CNN网络过滤掉绝大部分非人脸候选窗口；第三阶段通过一个能力更加强的网络找到人脸上面的五个关键点。此处，将五个关键点设定为两只人眼的关键点、鼻尖的关键点以及嘴巴两侧的关键点。因此，在采用MTCNN模型检测人脸的同时，输出两只人眼、鼻尖、嘴巴两侧的五个关键点。
S212：提取所述人脸位置的人脸识别区域。
MTCNN模型中对所要检测人脸的最小尺度的值根据需要进行调整，比如可设定为整个画面高度的五分之一，即只有大于画面五分之一的人脸图像才会被检测，而小于这个尺寸的人脸图像不会被检测。
进一步地，在应用到车载系统中时，根据车载系统给的特点，所处理的人脸图像的区域会比较大，另外只处理位于中央位置的最大的一张人脸。根据这两方面的特点，可以提高最小的人脸检测框的大小，另外，可以只选取概率值最大的几组人脸候选框，从而极大地减少MTCNN模型中候选人脸框的数目。由于车载系统对于人脸检测的数量和大小均有具体的要求，因此可以对MTCNN模型的网络结构进行优化，将三级网络减小为二级网络，从而减小MTCNN模型计算的网络耗时。进一步地，可以通过压缩MTCNN模型的网络参数，减少MTCNN模型网络运算量及耗时。
进一步地，如图2所示，在该实施例中，所述确定所述人脸图像中的人脸位置之后，还包括如下步骤：
S213：判断所述人脸图像中是否存在多个人脸，如果是，则继续步骤S214，否则继续步骤S215；
S214：选择最靠近所述人脸图像的中部且尺寸最大的人脸作为用于识别的人脸，然后继续步骤S215；
S215：判断所述人脸图像的图像质量和光照强度是否满足预设条件，如果是，则继续步骤S220：将所述人脸识别区域调整至符合预设的识别条件，否则继续步骤S216；
S216：通知驾驶员重新拍摄人脸图像，直到人脸图像的图像质量和光照强度符合预设条件为止。其中，图像质量的评价指标可以包括分辨率、色彩深度、图像失真程度等等，光照强度可以通过识别图像中像素亮度来判断。
如图3所示，在该实施例中，所述步骤S220：将所述人脸识别区域调整至符合预设的识别条件，包括人脸朝向检测，具体包括如下步骤：
S221：采用MTCNN模型对所述人脸识别区域进行关键点识别，识别到所述人脸识别区域中两个眼睛关键点的位置；
S222：根据所述两个眼睛关键点的中间点在所述人脸识别区域中的位置，判断人脸的偏转角度是否大于预设角度阈值，如果是，则继续步骤S223，否则，继续步骤S224；
S223：则判定所述人脸识别区域不合格，通知驾驶员重新拍摄人脸图像，直到人脸的偏转角度小于等于预设角度阈值为止。
例如，在设定预设角度阈值为30°时，在步骤S222中，将人脸识别区域沿水平方向分成三个尺寸相同的子区域，判断两只眼睛关键点的中间点是不是处于人脸识别区域的中间的子区域，如果两只眼睛关键点的中间点处于人脸识别区域的中间的子区域，则说明人脸的偏转角度小于等于30°，认为人脸识别区域的人脸朝向合格，如果两只眼睛关键点的中间点位于左侧的子区域或右侧的子区域，说明人脸的偏转角度大于30°，认为人脸识别区域的人脸朝向不合格，需要通知驾驶员重新拍摄。
进一步地，步骤S200还包括根据两眼连线的角度进行斜脸图像矫正，具体包括如下步骤：
S224：计算两个眼睛关键点的连线与画面水平线的夹角；
两只眼睛关键点的坐标分别为(x1，y1)和(x2，y2)，这两个关键点连线与水平线之间夹角的正切值为：
Figure BDA0002230460960000081
则夹角为：
Figure BDA0002230460960000082
S225：根据两个眼睛关键点的连线与画面水平线的夹角，旋转所述人脸识别区域，使得所述两个眼睛关键点的连线平行于所述画面水平线。具体地，将MTCNN模型检测到的人脸识别区域的中心点确定为新的人脸识别区域的中心点，将MTCNN模型检测到的人脸识别区域的角度旋转θ，从而获得新的人脸图像的人脸识别区域的位置和大小。
接着可以对人脸识别区域进行归一化处理。以人脸识别区域的上下框之间的距离为标准，将人脸识别区域的左右边框的距离调整为和上下框之间的距离相同的距离。将上下框之间的距离减去左右框之间的距离，获得距离的差值dist_diff；然后将这个差值除以2，获得左右框需要调整的距离的差值dist_adjust；接着将左边框的值减小dist_adjust，将右边框的值增加dist_adjust；最后将调整尺寸后的人脸边框resize至统一的尺寸，比如128x128。
由于本发明面向车载系统应用，因此需要尽量满足模型小、运算资源占用小、运算速度快、精度高等要求。综合这些因素，作为一种较优的实施方式，选取MobilefaceNet模型对人脸特征进行提取，以及采用余弦相似度进行相似度计算的方案。
MobilefaceNet是MobilenetV2的改进版本，针对人脸识别任务，MobilefaceNet从三个方面改进了MobileNetV2。
(1)即针对平均池化层，采用了可分离卷积代替平均池化层；
(2)针对人脸识别任务，采用ArcFace或Insightface的损失函数进行训练；
(3)针对网络结构，使用Prelu激活函数代替relu激活函数；使用batchNormalization(批量标准化)。
由于MobileNet V2中的平均池化层会使得网络表现下降，这是由于在最后一个7*7特征图中，虽然中心点的感知域和边角点的感知域是一样的，但是中心点的感知域包括了完整的图片，边角点的感知域却只有部分的图片，因此每个点的权重应该不一样，但是平均池化层却把他们当作一样的权重去考虑了，因此网络表现会下降。因此，Mobilefacenet中使用了可分离卷积代替平均池化层，即使用一个7*7*512(512表示输入特征图通道数目)的可分离卷积层代替了全局平均池化，这样可以让网络自己不同点的学习权重。
ArcFace人脸识别损失函数定义如下：
Figure BDA0002230460960000091
subject to
Figure BDA0002230460960000092
上式中，对输入xi用L2进行正则化处理，同时乘以一个scale参数s，另一方面将cos(θyi)用cos(θyi+m)代替，即在余弦计算中加入裕量。
步骤S400中，根据相似度选择至少一所述预存图像作为所述驾驶员的人脸图像的相似图像，可以选择相似度值最高的一副预存图像作为相似图像，也可以将相似度值高于预设阈值的预存图像作为相似图像。如果相似度大于阈值的预存图像多于一幅，那么认为相似度最大的预存图像是驾驶员的人脸图像。
在应用中，获得经过矫正的人脸识别区域内的人脸图像之后，将其输入用于人脸验证的MobilefaceNet模型网络中，并将模型所输出的128维向量或256维的固定长度的向量作为本张人脸图像的特征向量。接下来通过计算两个人脸图像的128的特征向量之间的余弦相似度作为两个人脸图像之间的相似度量：
Figure BDA0002230460960000101
假定a和b是两个n维向量，他们之间的余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，夹角等于0，即两个向量相等，这就叫"余弦相似性"。通常设置两张人脸图像的余弦相似度的阈值为0.60～0.68。例如，驾驶员的图像与一幅图像的余弦相似度为0.71，则认为这两幅图像是同一个人的人脸图像。
如图4所示，本发明实施例还提供一种驾驶员人脸识别系统，应用于所述的驾驶员人脸识别方法，所述系统包括：
人脸图像采集模块M100，用于获取驾驶员的人脸图像，具体地，可以从车辆内部设置的面向驾驶位的车载摄像头中获取拍摄的驾驶员的人脸图像；
人脸区域提取模块M200，用于从所述人脸图像中提取人脸识别区域，并将所述人脸识别区域调整至符合预设的识别条件；
人脸特征提取模块M300，用于将所述人脸识别区域输入至基于深度学习构建的训练好的人脸特征提取模型，得到所述人脸特征提取模型输出的人脸特征向量；
相似图像匹配模块M400，用于根据所述人脸特征提取模型输出的人脸特征向量和预存图像的人脸特征向量计算所述驾驶员的人脸图像和所述预存图像的相似度，根据相似度选择至少一所述预存图像作为所述驾驶员的人脸图像的相似图像，且如果相似度大于指定阈值的预存图像多于一幅，则认为相似度最大的预存图像是驾驶员的人脸图像。
本发明提供了一种基于深度学习的驾驶员人脸识别系统，首先通过人脸图像采集模块M100获取驾驶员的人脸图像，通过人脸区域提取模块M200从驾驶员图像中提取出人脸识别区域，并且通过人脸区域提取模块M200对人脸识别区域进行处理使得其符合预设的识别条件，然后通过人脸特征提取模块M300采用深度学习模型计算其特征向量，并通过相似图像匹配模块M400根据特征向量计算相似度，从而对驾驶员进行人脸识别。该方法可以很好地满足车载人脸识别在准确度、实时性以及鲁棒性等方面的需求，并且具有模型小、运算耗时小的特点。
本发明实施例还提供一种驾驶员人脸识别设备，包括处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行所述的驾驶员人脸识别方法的步骤。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
下面参照图5来描述根据本发明的这种实施方式的电子设备600。图5显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备600以通用计算设备的形式表现。电子设备600的组合可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组合(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现所述的驾驶员人脸识别方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图6所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上所述，与现有技术相比，本发明所提供的驾驶员人脸识别方法、系统、设备及介质具有下列优点：
本发明解决了现有技术中的问题，提供了一种基于深度学习的驾驶员人脸识别方法，首先从驾驶员图像中提取出人脸识别区域，并且对人脸识别区域进行处理使得其符合预设的识别条件，然后采用深度学习模型计算其特征向量，该方法具有速度快、识别准确率高、算法鲁棒性好的特点，可以很好地满足车载人脸识别的需求，提高车载驾驶员人脸识别的效率。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (14)

1.一种驾驶员人脸识别方法，其特征在于，所述方法包括如下步骤：
获取驾驶员的人脸图像；
从所述人脸图像中提取人脸识别区域，并将所述人脸识别区域调整至符合预设的识别条件；
将所述人脸识别区域输入至基于深度学习构建的训练好的人脸特征提取模型，得到所述人脸特征提取模型输出的人脸特征向量；
根据所述人脸特征提取模型输出的人脸特征向量和预存图像的人脸特征向量计算所述驾驶员的人脸图像和所述预存图像的相似度，如果相似度大于指定阈值，则认为所述驾驶员的人脸图像和所述预存图像是同一个人的图像，且如果相似度大于指定阈值的预存图像多于一幅，则认为相似度最大的预存图像是驾驶员的人脸图像。
2.根据权利要求1所述的驾驶员人脸识别方法，其特征在于，如果有多个预存人脸图像的相似度大于阈值，则判定相似度最大的预存人脸图像与驾驶员的人脸图像是同一个人的人脸图像，以确定了驾驶员的身份。
3.根据权利要求1所述的驾驶员人脸识别方法，其特征在于，所述从所述人脸图像中提取人脸识别区域，包括采用MTCNN模型对所述人脸图像及人脸关键点进行检测，确定所述人脸图像中的人脸位置及人脸中两只眼睛的位置，提取所述人脸位置的人脸识别区域。
4.根据权利要求3所述的驾驶员人脸识别方法，其特征在于，所述将所述人脸识别区域调整至符合预设的识别条件，包括如下步骤：
采用MTCNN模型对所述人脸识别区域及两只眼睛的位置进行关键点检测，检测到所述人脸识别区域及两个眼睛关键点的位置；
根据所述两个眼睛关键点的中间点在所述人脸识别区域中的位置，判断人脸的偏转角度是否大于预设角度阈值，如果是，则判定所述人脸识别区域不合格，通知驾驶员重新拍摄人脸图像。
5.根据权利要求4所述的驾驶员人脸识别方法，其特征在于，所述将所述人脸识别区域调整至符合预设的识别条件中识别到所述人脸识别区域中两个眼睛关键点的位置之后，还包括如下步骤：
根据两个眼睛关键点的连线与画面水平线的夹角，旋转所述人脸识别区域，使得所述两个眼睛关键点的连线平行于所述画面水平线。
6.根据权利要求5所述的驾驶员人脸识别方法，其特征在于，采用如下步骤计算两个眼睛关键点的连线与画面水平线的夹角：
计算两个眼睛关键点连线与水平线之间夹角的正切值为：
Figure FDA0002230460950000021
计算两个眼睛关键点的连线与画面水平线的夹角为：
Figure FDA0002230460950000022
其中，两只眼睛关键点的坐标分别为(x1，y1)和(x2，y2)，θ为两个眼睛关键点的连线与画面水平线的夹角。
7.根据权利要求3所述的驾驶员人脸识别方法，其特征在于，所述确定所述人脸图像中的人脸位置之后，还包括如下步骤：
判断所述人脸图像中是否存在多个人脸，如果是，则选择最靠近所述人脸图像的中部且尺寸最大的人脸作为用于识别的人脸；
判断所述人脸图像的图像质量和光照强度是否满足预设条件，如果否，则通知驾驶员重新拍摄人脸图像。
8.根据权利要求1所述的驾驶员人脸识别方法，其特征在于，所述将所述人脸识别区域调整至符合预设的识别条件之后，还包括如下步骤：
对所述人脸识别区域进行归一化处理，将所述人脸识别区域调整为上下框之间的距离等于左右框之间的距离；
将所述人脸识别区域调整至预设的尺寸。
9.根据权利要求1所述的驾驶员人脸识别方法，其特征在于，所述人脸特征提取模型为MobilefaceNet模型。
10.根据权利要求9所述的驾驶员人脸识别方法，其特征在于，所述MobilefaceNet模型采用ArcFace人脸识别损失函数进行训练。
11.根据权利要求1所述的驾驶员人脸识别方法，其特征在于，所述计算所述驾驶员的人脸图像和所述预存图像的相似度，包括如下步骤：
计算所述人脸特征提取模型输出的人脸特征向量和一所述预存图像的人脸特征向量的余弦相似度，作为所述驾驶员的人脸图像和所述预存图像的相似度。
12.一种驾驶员人脸识别系统，其特征在于，应用于权利要求1至11中任一项所述的驾驶员人脸识别方法，所述系统包括：
人脸图像采集模块，用于获取驾驶员的人脸图像；
人脸区域提取模块，用于从所述人脸图像中提取人脸识别区域，并将所述人脸识别区域调整至符合预设的识别条件；
人脸特征提取模块，用于将所述人脸识别区域输入至基于深度学习构建的训练好的人脸特征提取模型，得到所述人脸特征提取模型输出的人脸特征向量；
相似图像匹配模块，用于根据所述人脸特征提取模型输出的人脸特征向量和预存图像的人脸特征向量计算所述驾驶员的人脸图像和所述预存图像的相似度，如果相似度大于指定阈值，则认为所述驾驶员的人脸图像和所述预存图像是同一个人的图像，且如果相似度大于指定阈值的预存图像多于一幅，则认为相似度最大的预存图像是驾驶员的人脸图像。
13.一种驾驶员人脸识别设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至11中任一项所述的驾驶员人脸识别方法的步骤。
14.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至9中任一项所述的驾驶员人脸识别方法的步骤。
CN201910965909.3A 2019-10-12 2019-10-12 驾驶员人脸识别方法、系统、设备及介质 Pending CN110728234A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910965909.3A CN110728234A (zh) 2019-10-12 2019-10-12 驾驶员人脸识别方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910965909.3A CN110728234A (zh) 2019-10-12 2019-10-12 驾驶员人脸识别方法、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN110728234A true CN110728234A (zh) 2020-01-24

Family

ID=69220969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910965909.3A Pending CN110728234A (zh) 2019-10-12 2019-10-12 驾驶员人脸识别方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN110728234A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310657A (zh) * 2020-02-14 2020-06-19 北京远特科技股份有限公司 驾驶员人脸监控方法、装置、终端和计算机可读存储介质
CN111582224A (zh) * 2020-05-19 2020-08-25 湖南视觉伟业智能科技有限公司 人脸识别系统及方法
CN111626091A (zh) * 2020-03-09 2020-09-04 咪咕文化科技有限公司 人脸图像标注方法、装置及计算机可读存储介质
CN111652048A (zh) * 2020-04-17 2020-09-11 北京品恩科技股份有限公司 一种基于深度学习的1：n人脸比对方法
CN112052780A (zh) * 2020-09-01 2020-12-08 北京嘀嘀无限科技发展有限公司 人脸验证方法、装置、系统及存储介质
CN112101186A (zh) * 2020-09-11 2020-12-18 广州小鹏自动驾驶科技有限公司 用于车辆驾驶员识别的装置和方法及其应用
CN112149559A (zh) * 2020-09-22 2020-12-29 沈澈 人脸识别方法、装置、可读存储介质及计算机设备
CN112257693A (zh) * 2020-12-22 2021-01-22 湖北亿咖通科技有限公司 一种身份识别方法及设备
CN112257502A (zh) * 2020-09-16 2021-01-22 深圳微步信息股份有限公司 一种监控视频行人识别与跟踪方法、装置及存储介质
CN112434587A (zh) * 2020-11-16 2021-03-02 北京沃东天骏信息技术有限公司 一种图像处理方法及装置、存储介质
CN112580434A (zh) * 2020-11-25 2021-03-30 奥比中光科技集团股份有限公司 一种基于深度相机的人脸误检优化方法、系统及人脸检测设备
CN113591615A (zh) * 2021-07-14 2021-11-02 广州敏视数码科技有限公司 一种基于多模型的驾驶员抽烟检测方法
WO2022142375A1 (zh) * 2020-12-31 2022-07-07 亿咖通(湖北)技术有限公司 一种人脸识别方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101546376A (zh) * 2009-04-28 2009-09-30 上海银晨智能识别科技有限公司 人体生物信息采集系统、人脸照片采集、质检系统及方法
CN103795919A (zh) * 2014-01-13 2014-05-14 宇龙计算机通信科技(深圳)有限公司 图像处理方法及拍摄终端
CN103955675A (zh) * 2014-04-30 2014-07-30 上海华博信息服务有限公司 一种人脸特征提取方法
CN106815566A (zh) * 2016-12-29 2017-06-09 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法
CN107423690A (zh) * 2017-06-26 2017-12-01 广东工业大学 一种人脸识别方法及装置
CN107509024A (zh) * 2017-07-25 2017-12-22 维沃移动通信有限公司 一种拍照处理方法及移动终端
CN109948450A (zh) * 2019-02-22 2019-06-28 深兰科技（上海）有限公司 一种基于图像的用户行为检测方法、装置和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101546376A (zh) * 2009-04-28 2009-09-30 上海银晨智能识别科技有限公司 人体生物信息采集系统、人脸照片采集、质检系统及方法
CN103795919A (zh) * 2014-01-13 2014-05-14 宇龙计算机通信科技(深圳)有限公司 图像处理方法及拍摄终端
CN103955675A (zh) * 2014-04-30 2014-07-30 上海华博信息服务有限公司 一种人脸特征提取方法
CN106815566A (zh) * 2016-12-29 2017-06-09 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法
CN107423690A (zh) * 2017-06-26 2017-12-01 广东工业大学 一种人脸识别方法及装置
CN107509024A (zh) * 2017-07-25 2017-12-22 维沃移动通信有限公司 一种拍照处理方法及移动终端
CN109948450A (zh) * 2019-02-22 2019-06-28 深兰科技（上海）有限公司 一种基于图像的用户行为检测方法、装置和存储介质

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310657A (zh) * 2020-02-14 2020-06-19 北京远特科技股份有限公司 驾驶员人脸监控方法、装置、终端和计算机可读存储介质
CN111310657B (zh) * 2020-02-14 2023-07-07 北京远特科技股份有限公司 驾驶员人脸监控方法、装置、终端和计算机可读存储介质
CN111626091A (zh) * 2020-03-09 2020-09-04 咪咕文化科技有限公司 人脸图像标注方法、装置及计算机可读存储介质
CN111626091B (zh) * 2020-03-09 2023-09-22 咪咕文化科技有限公司 人脸图像标注方法、装置及计算机可读存储介质
CN111652048A (zh) * 2020-04-17 2020-09-11 北京品恩科技股份有限公司 一种基于深度学习的1：n人脸比对方法
CN111582224A (zh) * 2020-05-19 2020-08-25 湖南视觉伟业智能科技有限公司 人脸识别系统及方法
CN112052780A (zh) * 2020-09-01 2020-12-08 北京嘀嘀无限科技发展有限公司 人脸验证方法、装置、系统及存储介质
CN112101186A (zh) * 2020-09-11 2020-12-18 广州小鹏自动驾驶科技有限公司 用于车辆驾驶员识别的装置和方法及其应用
CN112257502A (zh) * 2020-09-16 2021-01-22 深圳微步信息股份有限公司 一种监控视频行人识别与跟踪方法、装置及存储介质
CN112149559A (zh) * 2020-09-22 2020-12-29 沈澈 人脸识别方法、装置、可读存储介质及计算机设备
CN112434587A (zh) * 2020-11-16 2021-03-02 北京沃东天骏信息技术有限公司 一种图像处理方法及装置、存储介质
CN112580434A (zh) * 2020-11-25 2021-03-30 奥比中光科技集团股份有限公司 一种基于深度相机的人脸误检优化方法、系统及人脸检测设备
CN112580434B (zh) * 2020-11-25 2024-03-15 奥比中光科技集团股份有限公司 一种基于深度相机的人脸误检优化方法、系统及人脸检测设备
CN112257693A (zh) * 2020-12-22 2021-01-22 湖北亿咖通科技有限公司 一种身份识别方法及设备
WO2022142375A1 (zh) * 2020-12-31 2022-07-07 亿咖通(湖北)技术有限公司 一种人脸识别方法、装置及电子设备
CN113591615A (zh) * 2021-07-14 2021-11-02 广州敏视数码科技有限公司 一种基于多模型的驾驶员抽烟检测方法

Similar Documents

Publication Publication Date Title
CN110728234A (zh) 驾驶员人脸识别方法、系统、设备及介质
US8867828B2 (en) Text region detection system and method
EP3564854A1 (en) Facial expression recognition method, apparatus, electronic device, and storage medium
US8351662B2 (en) System and method for face verification using video sequence
US8750573B2 (en) Hand gesture detection
US8792722B2 (en) Hand gesture detection
WO2019114036A1 (zh) 人脸检测方法及装置、计算机装置和计算机可读存储介质
CN111027504A (zh) 人脸关键点检测方法、装置、设备及存储介质
US11361587B2 (en) Age recognition method, storage medium and electronic device
CN103914676A (zh) 一种在人脸识别中使用的方法和装置
EP2370931B1 (en) Method, apparatus and computer program product for providing an orientation independent face detector
JP2006146626A (ja) パターン認識方法および装置
CN112528866A (zh) 跨模态人脸识别方法、装置、设备及存储介质
CN113490947A (zh) 检测模型训练方法、装置、检测模型使用方法及存储介质
CN110348289A (zh) 一种基于二值图的手指静脉识别方法
CN112507897A (zh) 跨模态人脸识别方法、装置、设备及存储介质
CN111931617B (zh) 基于图像处理的人眼图像识别方法、装置及自助终端
CN110688872A (zh) 基于唇部的人物识别方法、装置、程序、介质及电子设备
CN113591921A (zh) 图像识别方法及装置、电子设备、存储介质
CN111950546A (zh) 一种车牌识别方法、装置、计算机设备和存储介质
CN111091056A (zh) 图像中的墨镜识别方法及装置、电子设备、存储介质
CN108764121B (zh) 用于检测活体对象的方法、计算设备及可读存储介质
CN114882492B (zh) 一种车牌识别方法、装置、终端及计算机可读存储介质
US20220139113A1 (en) Method and device for detecting object in image
CN115798004A (zh) 基于局部区域的人脸打卡方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200124

RJ01 Rejection of invention patent application after publication