CN115700842A - 一种驾驶人自助体检机 - Google Patents

Abstract

本发明公开了一种驾驶人自助体检机，包括机体、设于机体上的摄像头、控制装置及数据处理装置，数据处理装置通过预设的基于全卷积神经网络的关键点检测系统，对接收到的驾驶人的不同部位的原图片进行处理得到不同的人体关键点位置，并基于不同的人体关键点位置进行包括转头检测、举手检测、手指检测以及遮掩检测的判断；关键点检测系统包括图片输入模块、预处理裁剪模块、全卷积网络特征提取模块和热图回归输出模块，全卷积网络特征提取模块用于提取特征后通过热图回归输出模块输出分辨率大小为输入图片的1/4且维数与关键点个数相同的多维热图，并进一步后处理得到原图相对应的关键点位置的坐标。

Description

一种驾驶人自助体检机

技术领域

本发明涉及自助体检技术领域，尤其涉及一种驾驶人自助体检机。

背景技术

为了节省驾驶人员的体检时间，市面上出现了自助检测系统。驾驶人员不必去医院进行检查，通过自助检测系统即可完成体检。

自助检测系统包括对驾驶人员的躯干、上肢、下肢、视力和身高等身体条件进行检查的装置。

现有技术的自助检测系统在对驾驶人员的躯干、上肢和视力等进行检测时，往往是通过体检人员按照显示屏上出现的提示动画做机组动作，然后通过摄像头拍摄体检人的动作分别比对分析然后判断出测试结果，这种处理方式存在检测结果准确率低的问题。

发明内容

本发明的目的在于提供一种驾驶人自助体检机，其能够有效解决现有技术中所存在的上述技术问题。

为了实现上述目的，本发明的一实施例提供了一种驾驶人自助体检机，其特征在于，包括机体、设于机体上的摄像头、控制装置及数据处理装置，所述控制装置用于控制所述摄像头对驾驶人的不同部位进行拍摄，并将拍摄得到的原图片发送给所述数据处理装置，所述数据处理装置通过预设的基于全卷积神经网络的关键点检测系统，对接收到的驾驶人的不同部位的原图片进行处理得到不同的人体关键点位置，并基于所述不同的人体关键点位置进行包括转头检测、举手检测、手指检测以及遮掩检测的判断；

所述关键点检测系统包括图片输入模块、预处理裁剪模块、全卷积网络特征提取模块和热图回归输出模块，所述图片输入模块用于输入驾驶人的不同部位的图片，所述预处理裁剪模块用于检测并裁剪图片的感兴趣区域后缩放到固定大小，所述全卷积网络特征提取模块用于提取特征后通过所述热图回归输出模块输出分辨率大小为输入图片的1/4且维数与关键点个数相同的多维热图，并进一步后处理得到原图相对应的关键点位置的坐标；

其中，所述关键点检测系统中设置有预先训练好的模型，用于对待测图片的关键点进行预测；所述预先训练好的模型通过如下方式得到：预先根据人体不同部位的图片特征训练出多个适用于不同场景的模型，并利用训练得到模型预测关键点信息，进行转头、举手和手指等动作的检测；分别收集人脸、人体和手指的样本图片，并人工标注关键点坐标，得到真值标签图；其中人脸标注68个关键点，人体和手指均标注21个关键点，构成三个不同训练数据集；根据不同数据集的输出维度，训练时修改网络模型对应参数，在三个数据集上分别进行训练，得到人脸、人体和手指关键点的模型；

其中，在模型训练过程中，优化损失目标如下：

I_gt(x_landmark,y_landmark)＝1

I_gt(x_{landmark_},y_{landmark_})＝0 (2-1)

上式(2-1)中I_gt表示与原图大小相一致的真值标签图，其中(x_landmark,y_landmark)表示关键点位置的坐标，其对应的像素值为1，其他非关键点位置(x_{landmark_},y_{landmark_})的像素值为0；在此基础之上，进行二维高斯核卷积处理，生成Heatmap概率图，记为H,如下式(2-2)、(2-3)所示：

H(x,y)＝G(x,y)*I_gt(x,y) (2-3)

其中，σ_x＝σ_y＝1.5,x_landmark,y_landmark为真实关键点的横纵坐标，(x,y)表示热图上一个点；总损失函数如下式(2-4)描述为：

其中H'_j和H_j表示预测和真实热图，j表示第j个关键点，N为关键点的个数；

由此，对上述损失目标进行梯度下降法迭代训练，找到最优解；之后将训练好的模型部署在关键点检测系统中，用于对待测图片的关键点预测。

进一步地，所述转头检测的判断过程如下：通过所述摄像头获取驾驶人的人脸的视频图片，通过所述关键点检测系统对于输入的每帧视频图片处理后进行人脸特征数据提取，从每张图片中提取68个人脸特征点，通过这68个人脸特征点的坐标数据固定选取鼻子关键点，以及鼻子水平距离对应的脸边缘关键点，计算鼻子关键点与脸边缘关键点距离，当鼻子关键点与脸边缘关键点距离超过设定距离阈值时，认为躯干检测的左右转头检测通过，其中距离阈值设置为整个脸宽的20％。

进一步地，所述举手检测的判断过程如下：通过所述摄像头获取驾驶人包括人脸、双手和双脚的整体视频图片，通过所述关键点检测系统对于输入的每帧视频图片处理后进行人体特征数据提取，从每张图片中提取21个人体特征点作为21个关键点，包括：头顶、左耳、右耳、左眼、右眼、鼻子、左嘴角、右嘴角、脖子、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左髋部、右髋部、左膝、右膝、左脚踝和右脚踝，通过这21个关键点的坐标数据计算左右手腕关键点高于左右肩关键点并且左右手肘坐标高于提示线时，则判定举手检测通过。

进一步地，所述手指检测的判断过程如下：通过所述摄像头获取驾驶人的手掌的视频图片，通过所述关键点检测系统对于输入的每帧视频图片处理后进行手掌特征数据提取，从每张图片中提取每个手掌的21个人体特征点作为21个关键点，包括：每根手指上的4个关键点以及手腕上的一个关键点，通过这21个关键点分别进行单独手指判断、长度判断和握拳判断，其中,

单独手指判断：手指除拇指外关键点形成一条直线，不弯曲；各手指指尖位置在上，且关节按正常顺序从上到下排列；

长度判断：双手各手指左右长度基本一致；

握拳判断：手指关节点符合握拳顺序，拇指尖在食指和小拇指中间。

进一步地，所述遮掩检测的判断过程如下：通过所述摄像头获取驾驶人的人脸的视频图片，通过所述关键点检测系统对于输入的每帧视频图片处理后进行人脸特征数据提取，从每张图片中提取68个人脸特征点，定位眼睛位置，再计算出遮眼板位置，最后根据二者位置关系判断是否遮眼，具体包括：

先确定眼睛区域，将眼睛周围的关键点依次连接起来得到眼睛轮廓，并进行填充，得到眼睛所在区域的二值掩码图像，计算最外围轮廓的邻接矩形,记为C1；然后定位遮眼板位置，将原图RGB色彩空间转换到YUV色彩空间；其中V层对蓝色比较敏感，取出第三通道图层V层用于判断蓝色遮眼板，将此图层进行二值化判断范围100-255；在二值化的基础上寻找轮廓，并定位到最大的一个闭合范围，最大的闭合范围即为遮眼板位置，计算其外接矩形，记为C2；最后将C1和C2,通过下面公式(3-1)计算两者之间交并比：

如果满足交并比大于0而且交集的面积不小于C1的面积的90％，判断为遮眼板有效遮眼；否则，判断为无效遮眼。

进一步地，所述摄像头包括设于升降模块上的抓拍摄像头，所述抓拍摄像头用于跟随所述升降模块移动以获取驾驶人的人脸的视频图片；所述摄像头还包括设于供驾驶人将双手张开放置的区域的上方的手掌摄像头，所述手掌摄像头用于获取驾驶人的手掌的视频图片；所述摄像头还包括设于所述机体上方用于获取驾驶人包括人脸、双手和双脚的整体视频图片的监控摄像头。

在一个实施例中，所述升降模块还设有显示屏和距离传感器，所述距离传感器用于视力测试时，测量体检人员与所述显示屏的距离，并通过距离反馈调节显示屏上的测试符号E。

在另一实施例中，所述升降模块还设有显示屏和距离传感器，所述距离传感器用于视力测试时确保驾驶人与显示屏之间的距离在大于40厘米，否则测试无效。

进一步地，所述驾驶人自助体检机还包括设于机体上的触控屏和身份证识别区，驾驶人根据触控屏上的指示将自己的身份证放在身份证识别区进行扫描，身份证识别区识别获取驾驶人的身份证件信息并发送至数据处理装置，所述控制装置控制升降模块根据驾驶人头部的位置自动升降，并控制升降模块上的拍照摄像头获取驾驶人的人脸图像或通过抓拍摄像头获取驾驶人的人脸视频图片后发给数据处理装置，数据处理装置针对接收到的人脸图像或视频帧，先做人脸检测及定位，并将裁剪、校正等一系列处理后的图片与获取的身份证件信息做比对分析，确保人脸和身份证上的信息相一致。

进一步地，所述由此对上述损失目标进行梯度下降法迭代训练，找到最优解；之后在测试推断阶段，通过全卷积操作过程的步长及预测热图推导出关键点在原图中的坐标位置，具体包括：

先将待测输入图像经模型推断得到N维预测热图，其每个维度的大小为输入的1/4，并找到预测分数最大的关键点坐标，实现粗略定位；之后，进一步做后处理，由N个关键点对应的热图，根据附近坐标的位置关系进一步修正，得到更加精确的坐标；最后，将处理后的图像缩放至原图大小，从而得到最终的关键点。

与现有技术相比，本发明实施例提供的一种驾驶人自助体检机，通过预设的基于全卷积神经网络的关键点检测系统，对接收到的驾驶人的不同部位的原图片进行处理得到不同的人体关键点位置，并基于所述不同的人体关键点位置进行包括转头检测、举手检测、手指检测以及遮掩检测的判断，不仅能够有效提高检测效率，而且准确度高，从而能够解决现有技术中存在的检测结果准确率低的问题。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种驾驶人自助体检机的结构示意图。

图2是本发明实施例提供的一种驾驶人自助体检机的另一个角度的结构示意图。

图3是本发明实施例提供的一种驾驶人自助体检机的另一个角度的结构示意图。

图4是本发明实施例提供的一种驾驶人自助体检机的另一个角度的结构示意图。

图5是本发明实施例提供的一种驾驶人自助体检机的升降模块的结构示意图。

图6是本发明实施例提供的一种驾驶人自助体检机在体检过程中所使用的关键点检测系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二“仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或可以互相通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

参考图1～图4，本发明实施例提供了一种驾驶人自助体检机，其特征在于，包括机体1、设于机体上的摄像头、设于机体上的触控屏100、身份证识别区200、升降模块2、控制装置及数据处理装置。

具体的，所述摄像头包括设于升降模块2上的抓拍摄像头21，所述抓拍摄像头21用于跟随所述升降模块2移动以获取驾驶人的人脸的视频图片。所述摄像头还包括设于供驾驶人将双手张开放置的区域310的上方的手掌摄像头31，所述手掌摄像头31用于获取驾驶人的手掌的视频图片。所述摄像头还包括设于所述机体上方用于获取驾驶人包括人脸、双手和双脚的整体视频图片的监控摄像头41。

参考图5，升降模块2包括显示屏20、抓拍摄像头21、距离传感器22、拍照摄像头23、滚珠丝杠25、伺服电机26，显示屏20通过伺服电机26驱动沿着滚珠丝杠25上下滑动，拍照摄像头23、抓拍摄像头21、距离传感器22安装于显示屏20上方。升降模块2根据身高自动识别体检人头部的位置核实信息和防止体检过程中作弊。升降模块2通过伺服电机26和滚珠丝杠25的作用，并结合在显示屏20上设置的拍照摄像头23、距离传感器22、抓拍摄像头21的共同作用，不仅能实现人脸识别，还能够达到调节体检坐姿和显示监控机体内的画面的目的。距离传感器22用于视力测试时确保驾驶人与显示屏之间的距离在大于40厘米，否则测试无效。另外，距离传感器22还用于视力测试时，测量体检人员与显示屏20的具体距离，并通过距离反馈调节显示屏20上的测试符号“E”。

体检之前首先需要采集体检人员的身份信息，体检人员根据触控屏100上的指示将自己的身份证放在身份证识别区进行扫描，身份证识别区识别获取驾驶人的身份证件信息并发送至数据处理装置，另外控制装置控制升降模块2根据驾驶人(待体检人员)头部的位置自动升降，调整到合适位置后，控制装置控制升降模块2上的拍照摄像头23获取驾驶人的人脸图像或通过抓拍摄像头21获取驾驶人的人脸视频图片后发给数据处理装置，数据处理装置针对接收到的人脸图像或视频帧，先做人脸检测及定位，并将裁剪、校正等一系列处理后的图片与获取的身份证件信息做比对分析，确保人脸和身份证上的信息相一致后，才对驾驶人进行各种检测。

在本实施例中，所述控制装置用于控制所述摄像头对驾驶人的不同部位进行拍摄，并将拍摄得到的原图片发送给所述数据处理装置进行数据处理。所述数据处理装置通过预设的基于全卷积神经网络的关键点检测系统，对接收到的驾驶人的不同部位的原图片进行处理得到不同的人体关键点位置，并基于所述不同的人体关键点位置进行包括转头检测、举手检测、手指检测以及遮掩检测的判断。

参考图6，所述关键点检测系统包括图片输入模块301、预处理裁剪模块302、全卷积网络特征提取模块303和热图回归输出模块304，所述图片输入模块用于输入驾驶人的不同部位的图片，所述预处理裁剪模块用于检测并裁剪图片的感兴趣区域后缩放到固定大小，所述全卷积网络特征提取模块用于提取特征后通过所述热图回归输出模块输出分辨率大小为输入图片的1/4且维数与关键点个数相同的多维热图，并进一步后处理得到原图相对应的关键点位置的坐标。

其中，所述关键点检测系统中设置有预先训练好的模型，用于对待测图片的关键点进行预测；所述预先训练好的模型通过如下方式得到：预先根据人体不同部位的图片特征，训练出多个适用于不同场景的模型，并利用训练得到模型预测关键点信息，进行转头、举手和手指等动作的检测。在本文中，分别收集人脸、人体和手指的样本图片，各2万张左右，并人工标注关键点坐标，即，真值标签图。其中人脸标注68个关键点，人体和手指均标注21个关键点，构成三个不同训练数据集。根据不同数据集的输出维度，训练时修改网络模型对应参数，在三个数据集上分别进行训练，得到人脸、人体和手指关键点的模型。

其中，在模型训练过程中，优化损失目标如下：

I_gt(x_landmark,y_landmark)＝1

I_gt(x_{landmark_},y_{landmark_})＝0 (2-1)

上式(2-1)中I_gt表示与原图大小相一致的真值标签图，其中(x_landmark,y_landmark)表示关键点位置的坐标，其对应的像素值为1，其他非关键点位置(x_{landmark_},y_{landmark_})的像素值为0；在此基础之上，进行二维高斯核卷积处理，生成Heatmap概率图，记为H，如下式(2-2)、(2-3)所示：

H(x,y)＝G(x,y)*I_gt(x,y) (2-3)

其中，σ_x＝σ_y＝1.5,x_landmark,y_landmark为真实关键点的横纵坐标，(x,y)表示热图上一个点；总损失函数如下式(2-4)描述为：

其中H'_j和H_j表示预测和真实热图，j表示第j个关键点，N为关键点的个数；

由此，对上述损失目标进行梯度下降法迭代训练，找到最优解；之后在测试推断阶段，通过全卷积操作过程的步长及预测热图反向推导出关键点在原图中的坐标位置。具体过程为：先将待测输入图像经模型推断得到N维的预测热图，其每个维度的大小为输入的1/4，并找到预测分数最大的关键点坐标，实现粗略定位；之后做后处理，由N个关键点对应的热图，根据附近坐标的位置关系进一步修正，得到更加精确的坐标；最后，将处理后的图像缩放至原图大小，从而得到最终的关键点。

具体的，所述转头检测的判断过程如下：通过所述摄像头获取驾驶人的人脸的视频图片，通过所述关键点检测系统对于输入的每帧视频图片处理后进行人脸特征数据提取，从每张图片中提取68个人脸特征点，通过这68个人脸特征点的坐标数据固定选取鼻子关键点，以及鼻子水平距离对应的脸边缘关键点，计算鼻子关键点与脸边缘关键点距离，当鼻子关键点与脸边缘关键点距离超过设定距离阈值时，认为躯干检测的左右转头检测通过，其中距离阈值设置为整个脸宽的20％。

具体的，所述举手检测的判断过程如下：通过所述摄像头获取驾驶人包括人脸、双手和双脚的整体视频图片，通过所述关键点检测系统对于输入的每帧视频图片处理后进行人体特征数据提取，从每张图片中提取21个人体特征点作为21个关键点，包括：头顶、左耳、右耳、左眼、右眼、鼻子、左嘴角、右嘴角、脖子、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左髋部、右髋部、左膝、右膝、左脚踝和右脚踝，通过这21个关键点的坐标数据计算左右手腕关键点高于左右肩关键点并且左右手肘坐标高于提示线时，则判定举手检测通过。

具体的，所述手指检测的判断过程如下：通过所述摄像头获取驾驶人的手掌的视频图片，通过所述关键点检测系统对于输入的每帧视频图片处理后进行手掌特征数据提取，从每张图片中提取每个手掌的21个人体特征点作为21个关键点，包括：每根手指上的4个关键点以及手腕上的一个关键点，通过这21个关键点分别进行单独手指判断、长度判断和握拳判断，其中,

单独手指判断：手指除拇指外关键点形成一条直线，不弯曲；各手指指尖位置在上，且关节按正常顺序从上到下排列；

长度判断：双手各手指左右长度基本一致；

握拳判断：手指关节点符合握拳顺序，拇指尖在食指和小拇指中间。

具体的，所述遮掩检测的判断过程如下：通过所述摄像头获取驾驶人的人脸的视频图片，通过所述关键点检测系统对于输入的每帧视频图片处理后进行人脸特征数据提取，从每张图片中提取68个人脸特征点，定位眼睛位置，再计算出遮眼板位置，最后根据二者位置关系判断是否遮眼，具体包括：

先确定眼睛区域，将眼睛周围的关键点依次连接起来得到眼睛轮廓，并进行填充，得到眼睛所在区域的二值掩码图像，计算最外围轮廓的邻接矩形,记为C1；然后定位遮眼板位置，将原图RGB色彩空间转换到YUV色彩空间；其中V层对蓝色比较敏感，取出第三通道图层V层用于判断蓝色遮眼板，将此图层进行二值化判断范围100-255；在二值化的基础上寻找轮廓，并定位到最大的一个闭合范围，最大的闭合范围即为遮眼板位置，计算其外接矩形，记为C2；最后将C1和C2,通过下面公式(3-1)计算两者之间交并比：

如果满足交并比大于0而且交集的面积不小于C1的面积的90％，判断为遮眼板有效遮眼；否则，判断为无效遮眼。

综上，本发明实施例提供的一种驾驶人自助体检机，通过预设的基于全卷积神经网络的关键点检测系统，对接收到的驾驶人的不同部位的原图片进行处理得到不同的人体关键点位置，并基于所述不同的人体关键点位置进行包括转头检测、举手检测、手指检测以及遮掩检测的判断，不仅能够有效提高检测效率，而且准确度高，从而能够解决现有技术中存在的检测结果准确率低的问题。

以上所揭露的仅为本发明一些较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (10)

1.一种驾驶人自助体检机，其特征在于，包括机体、设于机体上的摄像头、控制装置及数据处理装置，所述控制装置用于控制所述摄像头对驾驶人的不同部位进行拍摄，并将拍摄得到的原图片发送给所述数据处理装置，所述数据处理装置通过预设的基于全卷积神经网络的关键点检测系统，对接收到的驾驶人的不同部位的原图片进行处理得到不同的人体关键点位置，并基于所述不同的人体关键点位置进行包括转头检测、举手检测、手指检测以及遮眼检测的判断；

所述关键点检测系统包括图片输入模块、预处理裁剪模块、全卷积网络特征提取模块和热图回归输出模块，所述图片输入模块用于输入驾驶人的不同部位的图片，所述预处理裁剪模块用于检测并裁剪图片的感兴趣区域后缩放到固定大小，所述全卷积网络特征提取模块用于提取特征后通过所述热图回归输出模块输出分辨率大小为输入图片的1/4且维数与关键点个数相同的多维热图，并进一步后处理得到原图相对应的关键点位置的坐标；

其中，所述关键点检测系统中设置有预先训练好的模型，用于对待测图片的关键点进行预测；所述预先训练好的模型通过如下方式得到：预先根据人体不同部位的图片特征训练出多个适用于不同场景的模型，并利用训练得到模型预测关键点信息，进行转头、举手和手指等动作的检测；分别收集人脸、人体和手指的样本图片，并人工标注关键点坐标，得到真值标签图；其中人脸标注68个关键点，人体和手指均标注21个关键点，构成三个不同训练数据集；根据不同数据集的输出维度，训练时修改网络模型对应参数，在三个数据集上分别进行训练，得到人脸、人体和手指关键点的模型；

其中，在模型训练过程中，优化损失目标如下：

I_gt(x_landmark,y_landmark)＝1

I_gt(x_{landmark_},y_{landmark_})＝0 (2-1)

上式(2-1)中I_gt表示与原图大小相一致的真值标签图，其中(x_landmark,y_landmark)表示关键点位置的坐标，其对应的像素值为1，其他非关键点位置(x_{landmark_},y_{landmark_})的像素值为0；在此基础之上，进行二维高斯核卷积处理，生成Heatmap概率图，记为H，如下式(2-2)、(2-3)所示：

H(x,y)＝G(x,y)*I_gt(x,y) (2-3)

其中，σ_x＝σ_y＝1.5,x_landmark,y_landmark分别为真实关键点的横坐标和纵坐标，(x,y)表示热图上一个点；总损失函数如下式(2-4)描述为：

其中H'_j和H_j表示预测和真实热图，j表示第j个关键点，N为关键点的个数；

由此，对上述损失目标进行梯度下降法迭代训练，找到最优解；之后将训练好的模型部署在关键点检测系统中，用于对待测图片的关键点预测。

2.根据权利要求1所述的驾驶人自助体检机，其特征在于，所述转头检测的判断过程如下：通过所述摄像头获取驾驶人的人脸的视频图片，通过所述关键点检测系统对于输入的每帧视频图片处理后进行人脸特征数据提取，从每张图片中提取68个人脸特征点，通过这68个人脸特征点的坐标数据固定选取鼻子关键点，以及鼻子水平距离对应的脸边缘关键点，计算鼻子关键点与脸边缘关键点距离，当鼻子关键点与脸边缘关键点距离超过设定距离阈值时，认为躯干检测的左右转头检测通过，其中距离阈值设置为整个脸宽的20％。

3.根据权利要求1所述的驾驶人自助体检机，其特征在于，所述举手检测的判断过程如下：通过所述摄像头获取驾驶人包括人脸、双手和双脚的整体视频图片，通过所述关键点检测系统对于输入的每帧视频图片处理后进行人体特征数据提取，从每张图片中提取21个人体特征点作为21个关键点，包括：头顶、左耳、右耳、左眼、右眼、鼻子、左嘴角、右嘴角、脖子、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左髋部、右髋部、左膝、右膝、左脚踝和右脚踝，通过这21个关键点的坐标数据计算左右手腕关键点高于左右肩关键点并且左右手肘坐标高于提示线时，则判定举手检测通过。

4.根据权利要求1所述的驾驶人自助体检机，其特征在于，所述手指检测的判断过程如下：通过所述摄像头获取驾驶人的手掌的视频图片，通过所述关键点检测系统对于输入的每帧视频图片处理后进行手掌特征数据提取，从每张图片中提取每个手掌的21个人体特征点作为21个关键点，包括：每根手指上的4个关键点以及手腕上的一个关键点，通过这21个关键点分别进行单独手指判断、长度判断和握拳判断，其中,

单独手指判断：手指除拇指外关键点形成一条直线，不弯曲；各手指指尖位置在上，且关节按正常顺序从上到下排列；

长度判断：双手各手指左右长度基本一致；

握拳判断：手指关节点符合握拳顺序，拇指尖在食指和小拇指中间。

5.根据权利要求1所述的驾驶人自助体检机，其特征在于，所述遮掩检测的判断过程如下：通过所述摄像头获取驾驶人的人脸的视频图片，通过所述关键点检测系统对于输入的每帧视频图片处理后进行人脸特征数据提取，从每张图片中提取68个人脸特征点，定位眼睛位置，再计算出遮眼板位置，最后根据二者位置关系判断是否遮眼，具体包括：

先确定眼睛区域，将眼睛周围的关键点依次连接起来得到眼睛轮廓，并进行填充，得到眼睛所在区域的二值掩码图像，计算最外围轮廓的邻接矩形,记为C1；然后定位遮眼板位置，将原图RGB色彩空间转换到YUV色彩空间；其中V层对蓝色比较敏感，取出第三通道图层V层用于判断蓝色遮眼板，将此图层进行二值化判断范围100-255；在二值化的基础上寻找轮廓，并定位到最大的一个闭合范围，最大的闭合范围即为遮眼板位置，计算其外接矩形，记为C2；最后将C1和C2,通过下面公式(3-1)计算两者之间交并比：

如果满足交并比大于0而且交集的面积不小于C1的面积的90％，判断为遮眼板有效遮眼；否则，判断为无效遮眼。

6.根据权利要求1所述的驾驶人自助体检机，其特征在于，所述摄像头包括设于升降模块上的抓拍摄像头，所述抓拍摄像头用于跟随所述升降模块移动以获取驾驶人的人脸的视频图片；所述摄像头还包括设于供驾驶人将双手张开放置的区域的上方的手掌摄像头，所述手掌摄像头用于获取驾驶人的手掌的视频图片；所述摄像头还包括设于所述机体上方用于获取驾驶人包括人脸、双手和双脚的整体视频图片的监控摄像头。

7.根据权利要求6所述的驾驶人自助体检机，其特征在于，所述升降模块还设有显示屏和距离传感器，所述距离传感器用于视力测试时，测量体检人员与所述显示屏的距离，并通过距离反馈调节显示屏上的测试符号E。

8.根据权利要求6所述的驾驶人自助体检机，其特征在于，所述升降模块还设有显示屏和距离传感器，所述距离传感器用于视力测试时确保驾驶人与显示屏之间的距离在大于40厘米，否则测试无效。

9.根据权利要求6所述的驾驶人自助体检机，其特征在于，还包括设于机体上的触控屏和身份证识别区，驾驶人根据触控屏上的指示将自己的身份证放在身份证识别区进行扫描，身份证识别区识别获取驾驶人的身份证件信息并发送至数据处理装置，所述控制装置控制升降模块根据驾驶人头部的位置自动升降，并控制升降模块上的拍照摄像头获取驾驶人的人脸图像或通过抓拍摄像头获取驾驶人的人脸视频图片后发给数据处理装置，数据处理装置针对接收到的人脸图像或视频帧，先做人脸检测及定位，并将裁剪、校正等一系列处理后的图片与获取的身份证件信息做比对分析，确保人脸和身份证上的信息相一致。

10.根据权利要求1所述的驾驶人自助体检机，其特征在于，所述由此对上述损失目标进行梯度下降法迭代训练，找到最优解；之后在测试推断阶段，通过全卷积操作过程的步长及预测热图推导出关键点在原图中的坐标位置，具体包括：

先将待测输入图像经模型推断得到N维预测热图，其每个维度的大小为输入的1/4，并找到预测分数最大的关键点坐标，实现粗略定位；之后，进一步做后处理，由N个关键点对应的热图，根据附近坐标的位置关系进一步修正，得到更加精确的坐标；最后，将处理后的图像缩放至原图大小，从而得到最终的关键点。

Images