CN111231892A - 一种基于人脸和手势识别的汽车自动解锁控制方法及系统 - Google Patents

Abstract

本发明公开了一种基于人脸和手势识别的汽车自动解锁控制方法及系统，包括以下步骤，采集模块对外部环境进行监控并采集外部图像；人脸检测模块识别出人脸图像并进行匹配；判断是否为车主，若是则提示模块做出提示，并等待车主做出手势；采集模块捕获车主的手势；手势检测模块对车主的手势进行识别，并在识别到解锁动作时发送信号给车锁模块解锁车门。本发明的有益效果：本发明提供的人脸+设定手势的解锁方式可以保证车辆的安全性，同时也保证了解锁方式的唯一性，比传统的钥匙解锁更加安全便捷。

Description

一种基于人脸和手势识别的汽车自动解锁控制方法及系统

技术领域

本发明涉及智能识别的技术领域，尤其涉及一种基于人脸和手势识别的汽车自动解锁控制方法及系统。

背景技术

目前，在汽车的智能解锁中，常见的传统解锁方式包括蓝牙解锁或指纹识别解锁，而近年来飞速发展的AI识别技术并未普及到汽车领域，此前主要是由于摄像头的精度不够，且成本比较高，另外传统车辆的电源不足以对摄像头和系统进行长期供电，因此AI识别技术难以被利用至汽车的智能解锁问题中。但蓝牙解锁或指纹识别解锁均存在不同的问题，例如蓝牙解锁需要蓝牙钥匙配对，而指纹识别存在指纹模糊情况下不可识别的问题，并且难以确保解锁方式的唯一性，从而降低了车辆在解锁方面的安全性。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明解决的其中一个技术问题是：提出一种基于人脸和手势识别的汽车自动解锁控制方法，使车主能够使用人脸和解锁手势的方式对车辆进行解锁，保证了解锁方式的唯一性和安全性。

为解决上述技术问题，本发明提供如下技术方案：一种基于人脸和手势识别的汽车自动解锁控制方法，包括以下步骤，采集模块对外部环境进行监控并采集外部图像；人脸检测模块识别出人脸图像并进行匹配；判断是否为车主，若是则提示模块做出提示，并等待车主做出手势；采集模块捕获车主的手势；手势检测模块对车主的手势进行识别，并在识别到解锁动作时发送信号给车锁模块解锁车门。

作为本发明所述的基于人脸和手势识别的汽车自动解锁控制方法的一种优选方案，其中：停车且车主拔出钥匙下车关闭车门后，DILU监控系统控制车辆，并开启所述采集模块，开始对外部环境进行实时监控。

作为本发明所述的基于人脸和手势识别的汽车自动解锁控制方法的一种优选方案，其中：所述人脸检测模块的工作还包括以下步骤，采集模块采集车主的人脸图像并存储于人脸检测模块；人脸识别模块基于opencv4对采集模块采集的外部图像中的人脸进行识别追踪；将识别到的人脸图像传输至人脸匹配模块，基于人脸匹配算法与车主的人脸图像对比，判断识别到的人脸图像是否为车主的人脸图像。

作为本发明所述的基于人脸和手势识别的汽车自动解锁控制方法的一种优选方案，其中：所述人脸图像的对比还包括以下步骤，对脸部特征编码模型进行训练，输出训练后的脸部特征编码模型；利用训练后的脸部特征编码模型分别对输入的人脸图像和车主的人脸图像进行特征向量提取，得到输入的人脸图像和车主的人脸图像的128维特征向量；利用最近邻算法计算两张图像的128维特征向量的欧氏距离判断其相似度，若相似度大于某个阈值，则认为不是车主，否则判断为车主。

作为本发明所述的基于人脸和手势识别的汽车自动解锁控制方法的一种优选方案，其中：所述判断还包括以下步骤，若判断识别到的人脸图像是车主的人脸图像，则提示模块做出提示，且采集模块等待车主做出手势；若判断识别到的人脸图像不是车主的人脸图像，则采集模块继续对外部环境进行监控，并由人脸检测模块识别出其它人脸图像进行匹配。

作为本发明所述的基于人脸和手势识别的汽车自动解锁控制方法的一种优选方案，其中：所述手势检测模块的工作还包括以下步骤，通过采集模块采集预先设定的车辆解锁动作，并存储于手势检测模块中；手势识别模块基于opencv4对采集模块监控的外部环境中车主的整体动作进行追踪；将追踪到的动作图像传输至手势匹配模块基于手势匹配算法与预先设定的车辆解锁动作对比，判断车主意图。

作为本发明所述的基于人脸和手势识别的汽车自动解锁控制方法的一种优选方案，其中：所述手势匹配算法为Convolutional Pose Machine算法，由全卷积网络序列化组成，卷积网络直接在前一阶段的置信图操作，输出越来越精细化的关节点位置估计结果，对最终得到的车主动作与预先设定的车辆解锁动作，一致时判断为解锁意图。

作为本发明所述的基于人脸和手势识别的汽车自动解锁控制方法的一种优选方案，其中：所述判断车主意图还包括以下步骤，若手势匹配模块判断追踪到的动作图像是车辆解锁动作，则发送信号给车锁模块，令车辆自动解锁；若手势匹配模块判断追踪到的动作图像不是车辆解锁动作，则采集模块继续对车主的整体动作进行追踪并传输至手势检测模块。

因此，本发明解决的另一个技术问题是：提出一种基于人脸和手势识别的汽车自动解锁控制系统，使上述控制方法能够依托于本系统实现。

为解决上述技术问题，本发明提供如下技术方案：一种基于人脸和手势识别的汽车自动解锁控制系统，包括，采集模块，所述采集模块设置于车辆外侧，能够外部环境进行监控并采集外部图像；人脸检测模块，所述人脸检测模块用于对人脸图像进行识别和匹配，判断是否为车主；提示模块，所述提示模块能够在匹配到车主的人脸图像时做出反应，提示车主做解锁手势；手势检测模块，所述手势检测模块用于对车主的动作进行识别和匹配，判断车主是否做出解锁手势；车锁模块，所述车锁模块能够对车辆进行上锁和解锁；DILU监控系统，所述DILU监控系统能够在车辆上锁后开启采集模块使其工作。

作为本发明所述的基于人脸和手势识别的汽车自动解锁控制系统的一种优选方案，其中：所述人脸检测模块还包括人脸识别模块和人脸匹配模块，所述人脸识别模块用于对外部图像中的人脸进行识别追踪，所述人脸匹配模块用于判断人脸图像是否为车主的人脸图像；所述手势检测模块还包括手势识别模块和手势匹配模块，所述手势识别模块用于对车主的整体动作进行追踪，所述手势匹配模块用于判断车主是否做出了解锁手势。

本发明的有益效果：通过摄像头识别车主+车主做出解锁动作解锁汽车的方式，避免了需要蓝牙钥匙配对，或者是指纹模糊情况下不可识别的问题，该解锁方式可以保证车辆的安全性，同时也保证了解锁方式的唯一性。会比传统的钥匙解锁更加安全。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明第一个实施例所述基于人脸和手势识别的汽车自动解锁控制方法的整体流程示意图；

图2为本发明第一个实施例所述摄像头的位置设置示意图；

图3为本发明第一个实施例中facenet模型对图像的处理流程示意图；

图4为本发明第一个实施例中CPMs的网络结构示意图；

图5为本发明第一个实施例CPMs在不同阶段中对图像的处理示意图；

图6为本发明第二个实施例所述基于人脸和手势识别的汽车自动解锁控制系统的整体结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

随着新能源电动车的出现和普及，电池电量足以带动系统所需长时间供电；其次，目前随着摄像头技术发展，摄像头成本及精度在不断提高，足以将普通摄像的图像数据提供给AI进行图形识别，因此AI识别技术已经拥有了被普及到汽车领域的基本条件，若能够将AI识别技术与汽车解锁相结合，就能够提高解锁方式的唯一性和安全性。

参照图1，具体的，本实施例提出一种基于人脸和手势识别的汽车自动解锁控制方法，包括以下步骤，

S1：采集模块100对外部环境进行监控并采集外部图像；

其中，停车且车主拔出钥匙下车关闭车门后，DILU监控系统600控制车辆，并开启所述采集模块100，开始对外部环境进行实时监控。DILU监控系统600为车载全车监控系统，能够在确认停车、锁车且车主离开汽车后，使用python语言调用采集模块100，使其进入工作状态监控外部环境。

采集模块100可以为摄像头，固定在汽车的外部从而监控车辆的四周，参照图2，为了使采集模块100对汽车周围环境的监控更加全面，其设置的位置可以为汽车的左、右、前、后各一个，共设置四个摄像头分别朝向四个方位。当采集模块100能够将采集到的外部图像传输给人脸检测模块200以便进行人脸的识别和车主的匹配工作。

S2：人脸检测模块200识别出人脸图像并进行匹配；具体的，人脸检测模块200的工作还包括以下步骤，

S2-1：采集模块100采集车主的人脸图像并存储于人脸检测模块200；为了在后续的检测中对车主进行识别，首先需要采集车主本人的人脸图像，车主本人通过采集模块100对自己的人脸图像进行采集并存储于人脸检测模块200，以便后续进行对比匹配。

S2-2：人脸识别模块201基于opencv4对采集模块100采集的外部图像中的人脸进行识别追踪；

具体的，采集模块100开始监控外部环境后，通过opencv4对采集的外部图像中的人脸进行识别追踪，并将识别到的人脸图像存储变量中，传导给人脸匹配模块202进行人脸辨识。其中，opencv4调用的接口代码如下：

本领域技术人员可以理解的是，opencv4是一个基于BSD许可开源发行的跨平台计算机视觉库。拥有C++，Python和Java接口，并且支持Windows,Linux,Mac OS,iOS和Android系统。

S2-3：将识别到的人脸图像传输至人脸匹配模块202，基于人脸匹配算法与车主的人脸图像对比，判断识别到的人脸图像是否为车主的人脸图像。

在本实施例中，人脸匹配模块202对人脸的对比可以使用facenet模型，参照图3，facenet模型是一种人脸识别网络结构，采用深度卷积神经网络学习将图像映射到欧式空间。空间距离直接和图片相似度相关：同一个人的不同图像在空间距离很小，不同人的图像在空间中有较大的距离，可以用于人脸验证、识别和聚类。具体的，人脸图像的对比还包括以下步骤，

对脸部特征编码模型进行训练，输出训练后的脸部特征编码模型；其中，facenet模型采用了一个深度卷积网络对脸部特征编码，本实施例中可以采用LFW等公开的人脸识别数据集对脸部特征编码模型进行训练，具体的，

输入图像通过由Inception-v4作为特征编码模型产生128维的输出向量，通过L2regularization后得到128维Face Embedding vectors，选择有效的Anchor-PositivePairs和Anchor-Negative Pairs计算得到三元组损失函数(Triplet Loss)，并利用SGD对特征编码模型的网络参数进行更新，最终训练得到的是输入人脸图像到人脸的128维编码的脸部特征向量的脸部特征编码器。

考虑一个无效的特征编码器，它将所有图像都映射到某个向量在极小区域范围内的映射，就能够较好的满足上述条件，且得到的损失几乎为零。为了避免这种情况，额外加入marginα拉大Anchor-Positive Pairs和Anchor-Negative Pairs之间的差距，即：

取batch size＝N的批量图像，对上述式子进行变形，得到三元组损失函数如下：

其中x_i表示输入图像，f(k)表示Feature Encoder的映射函数，+表示L＝max(L,0)。将三元组损失函数作为损失函数反向传播并梯度下降更新，最终训练得到好的脸部特征编码模型。

利用训练后的脸部特征编码模型分别对输入的人脸图像和车主的人脸图像进行特征向量提取，得到输入的人脸图像和车主的人脸图像的128维特征向量；其中，输入的人脸图像来自人脸识别模块201识别到的人脸图像，车主的人脸图像来自采集模块100最初对车主的采集。

利用最近邻算法计算两张图像的128维特征向量的欧氏距离判断其相似度，若相似度大于某个阈值，则认为不是车主，否则判断为车主。其中，判断其相似度可以采用最近邻法，本实施例中，可以采用欧式距离公式求得两个样本间的距离。

S3：判断是否为车主，若是则提示模块300做出提示，并等待车主做出手势；具体的，判断还包括以下步骤，

若判断识别到的人脸图像是车主的人脸图像，则提示模块300做出提示，且采集模块100等待车主做出手势；其中，提示模块300可以为汽车上的灯，例如汽车尾灯、安装在后视镜下方的车灯等，当人脸匹配模块202判断出车主时，DILU监控系统600通过can信号令车灯闪烁，通常闪烁两次以提示车主通过了人脸识别，可以进行手势解锁。

若判断识别到的人脸图像不是车主的人脸图像，则采集模块100继续对外部环境进行监控，并由人脸检测模块200识别出其它人脸图像进行匹配。

S4：采集模块100捕获车主的手势；此处同样可以采用python语言调用采集模块100的摄像头，对外部环境进行监控，此时主要是对车主的手势动作进行捕捉。

S5：手势检测模块400对车主的手势进行识别，并在识别到解锁动作时发送信号给车锁模块500解锁车门。其中，手势检测模块400的工作还包括以下步骤，

S5-1：通过采集模块100采集预先设定的车辆解锁动作，并存储于手势检测模块400中；具体的，车辆解锁动作由车主本人自行设定，从而确保解锁动作只有车主知道，增加安全性，采集模块100采集完车主的人脸图像后即可进行车辆解锁动作的采集，车主也可以根据自身的需求更改车辆解锁动作。

S5-2：手势识别模块401基于opencv4对采集模块100监控的外部环境中车主的整体动作进行追踪；其原理可以参考基于opencv4对人脸图像的追踪。

S5-3：将追踪到的动作图像传输至手势匹配模块402基于手势匹配算法与预先设定的车辆解锁动作对比，判断车主意图。具体的，手势匹配算法可以采用ConvolutionalPose Machine算法，由全卷积网络序列化组成，卷积网络直接在前一阶段的置信图操作，输出越来越精细化的关节点位置估计结果，对最终得到的车主动作与预先设定的车辆解锁动作，一致时判断为解锁意图。

Convolutional Pose Machine算法简称为CPMs算法，将深度学习应用于人体姿态分析。该算法包含一种序列化的预测框架，可以学习信息丰富的空间信息模型，通过学习图像特征和图像相关的空间模型，估计人体姿态。算法由全卷积网络序列化组成，并重复输出每个关节点的2D置信图。每一个阶段采用图像特征和上一阶段输出的2D置信图作为输入，置信图为后面的阶段提供了每个关节点位置的空间不确定性的非参数编码，使得CPMs可以学习到丰富的与图像相关的关节点间关系的空间模型。参照图4～5，图4中(a)和(b)是序列化的预测框架中的结构，(c)和(d)是其对应的卷积网络结构，(e)展示了图片在网络中传输的不同阶段的感受野。第一阶段对输入图片做处理，其中XX代表经典的VGG结构，并且最后采用1×11×1卷积输出belief map，如果人体有kk个关键带来，则beliefmap的通道数为kk；对于第二阶段以后的阶段，其输入为上一个阶段的输出以及对原始图片的特征提取的联合，输出于第一阶段一致。

Convolutional Pose Machine算法对动作进行识别，并和预存的动作数据进行对比，从而判断出车主意图。其中，判断车主意图还包括以下步骤，

若手势匹配模块402判断追踪到的动作图像是车辆解锁动作，则发送信号给车锁模块500，令车辆自动解锁；具体的，此时DILU监控系统600发送can信号给车锁模块500，车锁模块500进行解锁，车主完成对车辆的解锁过程。

若手势匹配模块402判断追踪到的动作图像不是车辆解锁动作，则采集模块100继续对车主的整体动作进行追踪并传输至手势检测模块400。

场景一：

传统的汽车解锁方法为使用钥匙解锁，随着技术的发展还出现了人脸识别解锁和静态手势解锁的更加智能化的方式。通过钥匙进行解锁仍然是目前广泛使用的解锁方式，但是钥匙具有易丢失、不安全、不方便等缺点，而人脸识别解锁和静态手势虽然克服了需要随身携带钥匙的缺陷，但依旧具有易被破解等问题，例如若车主本身不需要解锁车辆，但由于进行了面部识别，车辆被解锁，反而增加了麻烦，智能化程度有待改进，此外，静态

而本实施例提出的基于人脸和手势识别的汽车自动解锁控制方法，结合人脸和手势识别，并且在适配手势过程中，会将人体线条画，并跟踪手势动作的行为轨迹路线，减少了静态手势的重复性，更加安全可靠。对比传统方法和本实施例终的解锁控制方法，得到如下的对比结果：

表1：方法需求和效果对比

可以看出，本实施例提供的方法不仅舍去了钥匙，更支持多种方式的手势，最大程度的提升了安全性，防止误识别。为了验证本实施例中提出的解锁控制方法的实际效果和传统方法的差异，选取20位车主，分别采用传统的人脸解锁和本实施例提出的方法进行车辆解锁，且每种方法下针对每位车主分别解锁20次，并记录解锁情况，解锁时由车主本人进行和非车主本人的其他人手持车主照片进行解锁各10次，并记录解锁是否成功，从而对比不同方法下解锁的安全性。当解锁者为车主本人且成功解锁时，认为准确，否则为不准确；当解锁者不是车主本人而是照片且解锁失败时，认为准确，否则为不准确。记录解锁的测试结果如下：

表2：测试结果

可以看出，对于传统的人脸识别解锁方式来说，虽然解决了带钥匙的麻烦问题，但是由于照片的存在极易破解，且误识别的场景较多，从安全性角度上看还不如传统钥匙。但是采用本方案解锁方法，车主可以设置特有的解锁动态手势，手势动作只有车主知道，大大的保证了车辆解锁的安全性，让不用钥匙也可以安全性快速解锁车辆成为现实。

实施例2

参照图6的示意，示意为本实施例中提出一种基于人脸和手势识别的汽车自动解锁控制系统，上述实施例的基于人脸和手势识别的汽车自动解锁控制方法能够依托于该系统进行实现和操作。具体的，该系统包括，采集模块100、人脸检测模块200、提示模块300、手势检测模块400、车锁模块500和DILU监控系统600。其中采集模块100设置于车辆外侧，能够外部环境进行监控并采集外部图像；人脸检测模块200用于对人脸图像进行识别和匹配，判断是否为车主；提示模块300能够在匹配到车主的人脸图像时做出反应，提示车主做解锁手势；手势检测模块400用于对车主的动作进行识别和匹配，判断车主是否做出解锁手势；车锁模块500能够对车辆进行上锁和解锁；DILU监控系统600能够在车辆上锁后开启采集模块100使其工作。

具体的，采集模块100可以为摄像头，数量根据实际需求设置，通常为4个，分别设置于车的前后左右，以便监控车辆四周的环境。人脸检测模块200还包括人脸识别模块201和人脸匹配模块202，其中人脸识别模块201于对外部图像中的人脸进行识别追踪，人脸匹配模块202用于判断人脸图像是否为车主的人脸图像。提示模块300通常可以采用车灯，通过闪烁的方式提示车主通过人脸匹配部分，可以开始做解锁动作进行车辆解锁。手势检测模块400还包括手势识别模块401和手势匹配模块402，其中手势识别模块401用于对车主的整体动作进行追踪，手势匹配模块402用于判断车主是否做出了解锁手势。DILU监控系统600是负责全车监控的系统，其能够监控并控制采集模块100、人脸检测模块200、提示模块300、手势检测模块400、车锁模块500的状态，并根据各个模块的当前状态、检测情况等，发送不同的信号给其它模块，从而改变其它模块的状态。

如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于人脸和手势识别的汽车自动解锁控制方法，其特征在于：包括以下步骤，

采集模块(100)对外部环境进行监控并采集外部图像；

人脸检测模块(200)识别出人脸图像并进行匹配；

判断是否为车主，若是则提示模块(300)做出提示，并等待车主做出手势；

采集模块(100)捕获车主的手势；

手势检测模块(400)对车主的手势进行识别，并在识别到解锁动作时发送信号给车锁模块(500)解锁车门。

2.如权利要求1所述的基于人脸和手势识别的汽车自动解锁控制方法，其特征在于：停车且车主拔出钥匙下车关闭车门后，DILU监控系统(600)控制车辆，并开启所述采集模块(100)，开始对外部环境进行实时监控。

3.如权利要求1或2所述的基于人脸和手势识别的汽车自动解锁控制方法，其特征在于：所述人脸检测模块(200)的工作还包括以下步骤，

采集模块(100)采集车主的人脸图像并存储于人脸检测模块(200)；

人脸识别模块(201)基于opencv4对采集模块(100)采集的外部图像中的人脸进行识别追踪；

将识别到的人脸图像传输至人脸匹配模块(202)，基于人脸匹配算法与车主的人脸图像对比，判断识别到的人脸图像是否为车主的人脸图像。

4.如权利要求3所述的基于人脸和手势识别的汽车自动解锁控制方法，其特征在于：所述人脸图像的对比还包括以下步骤，

对脸部特征编码模型进行训练，输出训练后的脸部特征编码模型；

利用训练后的脸部特征编码模型分别对输入的人脸图像和车主的人脸图像进行特征向量提取，得到输入的人脸图像和车主的人脸图像的128维特征向量；

利用最近邻算法计算两张图像的128维特征向量的欧氏距离判断其相似度，若相似度大于某个阈值，则认为不是车主，否则判断为车主。

5.如权利要求4所述的基于人脸和手势识别的汽车自动解锁控制方法，其特征在于：所述判断还包括以下步骤，

若判断识别到的人脸图像是车主的人脸图像，则提示模块(300)做出提示，且采集模块(100)等待车主做出手势；

若判断识别到的人脸图像不是车主的人脸图像，则采集模块(100)继续对外部环境进行监控，并由人脸检测模块(200)识别出其它人脸图像进行匹配。

6.如权利要求4或5所述的基于人脸和手势识别的汽车自动解锁控制方法，其特征在于：所述手势检测模块(400)的工作还包括以下步骤，

通过采集模块(100)采集预先设定的车辆解锁动作，并存储于手势检测模块(400)中；

手势识别模块(401)基于opencv4对采集模块(100)监控的外部环境中车主的整体动作进行追踪；

将追踪到的动作图像传输至手势匹配模块(402)基于手势匹配算法与预先设定的车辆解锁动作对比，判断车主意图。

7.如权利要求6所述的基于人脸和手势识别的汽车自动解锁控制方法，其特征在于：所述手势匹配算法为Convolutional Pose Machine算法，由全卷积网络序列化组成，卷积网络直接在前一阶段的置信图操作，输出越来越精细化的关节点位置估计结果，对最终得到的车主动作与预先设定的车辆解锁动作，一致时判断为解锁意图。

8.如权利要求7所述的基于人脸和手势识别的汽车自动解锁控制方法，其特征在于：所述判断车主意图还包括以下步骤，

若手势匹配模块(402)判断追踪到的动作图像是车辆解锁动作，则发送信号给车锁模块(500)，令车辆自动解锁；

若手势匹配模块(402)判断追踪到的动作图像不是车辆解锁动作，则采集模块(100)继续对车主的整体动作进行追踪并传输至手势检测模块(400)。

9.一种基于人脸和手势识别的汽车自动解锁控制系统，其特征在于：包括，

采集模块(100)，所述采集模块(100)设置于车辆外侧，能够外部环境进行监控并采集外部图像；

人脸检测模块(200)，所述人脸检测模块(200)用于对人脸图像进行识别和匹配，判断是否为车主；

提示模块(300)，所述提示模块(300)能够在匹配到车主的人脸图像时做出反应，提示车主做解锁手势；

手势检测模块(400)，所述手势检测模块(400)用于对车主的动作进行识别和匹配，判断车主是否做出解锁手势；

车锁模块(500)，所述车锁模块(500)能够对车辆进行上锁和解锁；

DILU监控系统(600)，所述DILU监控系统(600)能够在车辆上锁后开启采集模块(100)使其工作。

10.如权利要求9所述的基于人脸和手势识别的汽车自动解锁控制系统，其特征在于：所述人脸检测模块(200)还包括人脸识别模块(201)和人脸匹配模块(202)，所述人脸识别模块(201)用于对外部图像中的人脸进行识别追踪，所述人脸匹配模块(202)用于判断人脸图像是否为车主的人脸图像；

所述手势检测模块(400)还包括手势识别模块(401)和手势匹配模块(402)，所述手势识别模块(401)用于对车主的整体动作进行追踪，所述手势匹配模块(402)用于判断车主是否做出了解锁手势。

Images