CN209281498U - 一种基于Kinect的人脸识别车门控制系统 - Google Patents

Abstract

本实用新型涉及机动车车门自动开启装置，特别是一种基于Kinect的人脸识别车门控制系统，包括Kinect采集设备、图像处理模块、人脸存储模块和中央处理器，所述Kinect采集设备包括深度摄像头和彩色摄像头，用于采集人脸图像；所述图像处理模块用于对采集到的图像进行处理；所述人脸存储模块用于存储处理后的车主图像数据；所述中央处理器用于对各个模块的调用、进行功能模式的切换、将当前采集到的图像数据与车主图像数据进行比对、以及在比对成功后控制车门解锁。该系统通过Kinect人脸识别的方式来控制车门，可以有效的提高车门控制系统的安全性，Kinect人脸识别技术在获取样本方面有着很强的距离优势，可以减少目前主流车门控制系统的局限性，方便车主使用。

Description

一种基于Kinect的人脸识别车门控制系统

技术领域

本实用新型涉及机动车车门自动开启装置，特别是一种基于Kinect的人脸识别车门控制系统。

背景技术

模式识别是数学、计算机科学等多学科交叉的并以研究特征鉴别为目的的研究领域，在近几年模式识别的成果十分显著，其中字符识别，指纹识别，虹膜识别的研究都比较成熟，而人脸识别作为近几年的热点，也在算法和处理速度上取得了许多突破。随着当前汽车越来越智能化。现在的车门解锁方式一般是通过无线钥匙来解锁车门，或是通过加装指纹识别模块等方式来控制车门。钥匙需要随身携带，容易丢失，而指纹的识别容易出现识别困难，从用户使用的便利性和安全性考虑，都不是最理想。

Kinect是微软在2009年推出的游戏体感设备，由于其卓越的深度感知性能和亲民的价格，一经推出便成为深度获取最为广泛使用的设备。Kinect彻底展现了人机互动的理念，它是一种3D体感摄影机，同时导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。Kinect不需要使用任何控制器，依靠相机捕捉三维空间中玩家的互动，动态捕捉可以捕捉人脸信息和手势指令。继Kinect后微软又再次推出了Kinect V2，KinectV2采用了完全不同于Kinect V1的深度测量原理，使得其深度测量的精度得到大幅度提高。

如果能将Kinect识别技术应用于车门控制系统，将会极大提升用户体验，提高用户使用的方便程度，以及确保车主财产安全。

实用新型内容

针对以上不足，本实用新型提供了一种基于Kinect的人脸识别车门控制系统，该系统通过Kinect人脸识别的方式来控制车门，可以有效的提高车门控制系统的安全性，Kinect人脸识别技术在获取样本方面有着很强的距离优势，可以减少目前主流车门控制系统的局限性，方便车主使用。

本实用新型的技术方案为：

一种基于Kinect的人脸识别车门控制系统，包括Kinect采集设备、图像处理模块、人脸存储模块和中央处理器，所述Kinect采集设备包括深度摄像头和彩色摄像头，用于采集人脸图像；所述图像处理模块用于对采集到的图像进行处理；所述人脸存储模块用于存储处理后的车主图像数据；所述中央处理器用于对各个模块的调用、进行功能模式的切换、将当前采集到的图像数据与车主图像数据进行比对、以及在比对成功后控制车门解锁。

还包括手势存储模块和手势比对模块，所述Kinect采集设备还用于采集手势图像，所述手势存储模块用于存储车主手势图像，所述手势比对模块用于将当前的手势图像与存储的手势图像进行比对，并将比对结果传输到中央处理器；如果比对成功，所述中央处理器发送命令到Kinect采集设备，开始进行人脸图像采集。

所述中央处理器的功能模式包括4种：1、对车主信息的预采集模式，所述车主信息包括人脸图像信息和手势图像信息，分别存储于人脸存储模块和手势存储模块；2、手势比对模式，采集当前用户手势图像，并将当前用户图像与存储的车主手势图像进行比对，控制Kinect采集设备开始采集当前用户的人脸图像；3、人脸比对模式，采集当前用户人脸图像，并将当前用户图像与存储的车主人脸图像进行比对，控制车门解锁；4、人脸比对失败后的录制视频模式。

还包括视频存储模块，所述中央处理器在第4种模式下将录制到的视频信息存入视频存储模块。

所述中央处理器在第4种模式下同时向车主的手机发送报警短信。

所述图像处理模块的工作过程为：先通过公式算法将图像转变成点云，再将短时间内每次拍摄到的点云通过ICP算法融合形成一个完整的点云；所述人脸存储模块用于存储点云数据，所述中央处理器将点云数据通过泊松表面重建转化为三维网格数据，用于进行比对。

所述Kinect采集设备还包括红外线发射器，所述红外线发射器在环境光线昏暗时自动开启。

还包括无线传输模块，采用蓝牙适配器或车载wifi进行数据传输。

本实用新型通过Kinect优秀的硬件采集设备和机器视觉的相应算法提高了系统的响应速度和识别精度，相较于传统的钥匙识别或指纹识别技术，在安全性、智能化、便携性等方面都有着显著的提升。

由于人脸识别处理的信息量远超过虹膜识别和指纹识别，而且受到周围环境的影响，停靠车辆周围不断有行人经过，有可能误识别行人的人脸数据，导致Kinect采集设备始终处于工作状态，将会极大增加控制系统的负载，导致不必要的工作消耗。本实用新型通过同时附加手势识别，定义手势识别先于人脸识别的模式，根据手势识别结果来激活Kinect对人脸的采集。相较于单纯的人脸识别来说，附加的手势识别提升了识别的安全系数。同时，由于行人向采集设备做出特定手势的出现概率较低，由手势比对结果来激活Kinect对人脸的采集，避免了单纯的人脸识别所带来的巨大的图像传输和处理数据量，保证人脸识别系统得以高效地运转和及时的反馈。

另一方面，图像处理模块将采集到的图像数据转化为点云，存储到后台存储模块中，点云存储较为节省存储空间。中央处理器在比对前将点云重建为三维网格数据，点云处理图像数据较为高效，能够对一段时间内的高频次抓拍采集进行及时处理，确保理想的图像处理速度。最后，红外线发射器可以确保Kinect采集设备在环境光线条件比较差的情况下仍然保持高效的识别精度，在不同环境下确保一致的识别性能。

附图说明

图1为本实用新型模块关系示意图；

图2为本实用新型手势比对流程图；

图3为本实用新型人脸比对流程图；

图4为本实用新型整体运行流程图。

具体实施方式

以下将结合附图对本实用新型的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本实用新型的目的、特征和效果。

参考图1，本实用新型的基于Kinect的人脸识别车门控制系统，包括Kinect采集设备、手势存储模块、手势比对模块、图像处理模块、人脸存储模块、视频存储模块、无线传输模块和中央处理器。

Kinect采集设备包括一个深度摄像头和一个高清彩色摄像头，深度摄像头分辨率512*424，以深度图像中的每一个像素点的灰度值来表征目标距离摄像头的距离，提升后续人像跟踪的稳定性。彩色摄像头分辨率1920*1080，用来获取高质量的人脸特性，及后续录制视频。Kinect采集设备将采集到的人脸图像送到图像处理模块，进行图像处理。相较于传统的钥匙识别或指纹识别技术，Kinect识别在安全性、智能化、便携性等方面都有着显著的提升。

由于采集人脸图像的信息量巨大，为了方便存储，压缩存储空间，图像处理模块对采集到的图像进行处理，人脸存储模块存储处理后的车主图像数据。图像处理模块的工作过程为：将深度图与彩色图配准(RGB-D)，通过公式算法将图像转变成PCL点云，再将短时间内每次拍摄到的点云通过ICP算法融合形成一个完整的点云。中央处理器在进行人脸比对前，将点云通过泊松表面重建转化为三维网格数据，即将采集到的当前用户图像经过处理得到的点云，和存储于人脸存储模块中的点云，均重建为三维网格数据，再进行数据比对。点云处理图像数据较为高效，能够对一段时间内的高频次抓拍采集进行及时处理，确保理想的图像处理速度。

Kinect具有出色的姿势捕获功能，利用这一点，用户可以预定义一些手势，用于激活Kinect采集设备，使其进入对人脸的采集模式中，防止它一直处于工作模式。在未被激活的状态下，Kinect采集设备不对人脸图像进行采集，只处于手势图像的采集模式中。相较于单纯的人脸识别来说，附加的手势识别提升了识别的安全系数。同时，由于行人向采集设备做出特定手势的出现概率较低，利用手势比对结果来激活Kinect对人脸的采集，避免了单纯的人脸识别所带来的巨大的图像传输和处理数据量，保证人脸识别系统得以高效地运转和及时的反馈。

因此，本车门控制系统的Kinect采集设备还用于采集手势图像，预采集的车主手势图像存储于手势存储模块中。参考图2，手势比对模块将当前采集到的手势图像与存储的车主手势图像进行比对，并将比对结果传输到中央处理器。如果比对成功，中央处理器发送命令到Kinect采集设备，开始进行人脸图像采集。如果比对未成功，则Kinect仍处于手势采集模式当中。值得注意的是，手势图像无需经过图像处理，可直接储存于手势存储模块，原因在于手势图像通常较为简单，数据量较小，所需的储存空间较小，直接存储手势图像可加快存储及比对的时间，此种设计也充分体现了程序节约原则。

参考图3，在手势比对成功后，Kinect采集当前用户的人脸图像，中央处理器将采集到的当前用户人脸与存储的车主人脸图像进行比对。如果比对成功，中央处理器发送车门解锁信息，如果比对失败，中央处理器向车主的手机发送报警短信，同时发送指令给Kinect采集设备，将当前视频录制下来，用于后续车主对可疑人员的调查防范工作，录制的视频存储于视频存储模块中。

Kinect采集设备通过中央处理器进行功能的选择，中央处理器用于对各个模块的调用、进行功能模式的切换、将当前采集到的图像数据与预采集数据进行比对、以及在比对成功后控制车门解锁。中央处理器的功能模式包括4种：1、设置状态下对车主信息的预采集模式，车主信息包括人脸图像信息和手势图像信息，分别存储于人脸存储模块和手势存储模块；2、运行状态下手势比对模式，Kinect采集当前用户手势图像，中央处理器将当前用户图像与存储的车主手势图像进行比对，控制Kinect采集设备开始采集当前用户的人脸图像；3、运行状态下人脸比对模式，Kinect采集当前用户人脸图像，中央处理器将当前用户图像与存储的车主人脸图像进行比对，控制车门解锁；4、人脸比对失败后的录制视频模式。

Kinect采集设备还包括红外线发射器，红外线发射器在环境光线昏暗时自动开启，确保Kinect采集设备在光线条件比较差的情况下依旧保持高效的识别精度，在不同环境下确保一致的识别性能和反馈。车门控制系统的无线传输模块，采用蓝牙适配器或车载wifi进行数据传输，用于以无线方式传输各个模块之间的图像数据。

参考图4，本实用新型的车门解锁流程为：

S1：车主存入个人信息，包括人脸图像信息和手势图像信息，人脸图像信息经过图像处理模块的处理后，存储于人脸存储模块中，手势图像直接存储于手势存储模块中；

S2：Kinect采集用户手势图像；

S3：手势比对模块将当前采集到的手势图像与存储的车主手势图像比对，并将比对结果发送到中央处理器；比对成功，进入步骤S4，比对失败，进入步骤S2；

S4：中央处理器向Kinect发送指令，Kinect开始采集用户人脸图像；

S5：图像处理模块将当前采集到的人脸图像转化为点云；

S6：中央处理器调用人脸存储模块存储的车主人脸信息，并将车主人脸信息和当前采集到的用户人脸信息均进行重建；

S7：中央处理器对人脸信息进行比对，比对成功，进入步骤S8，比对失败，进入步骤S9；

S8：中央处理器控制车门解锁；

S9：中央处理器向Kinect发送指令，Kinect开始录制当前视频。

以上公开的仅为本实用新型的实施例，但是，本实用新型并非局限于此，任何本领域的技术人员能思之的变化，都应落入本实用新型的保护范围。

Claims (7)

1.一种基于Kinect的人脸识别车门控制系统，其特征在于，包括Kinect采集设备、图像处理模块、人脸存储模块和中央处理器，所述Kinect采集设备包括深度摄像头和彩色摄像头，用于采集人脸图像；所述图像处理模块用于对采集到的图像进行处理；所述人脸存储模块用于存储处理后的车主图像数据；所述中央处理器用于对各个模块的调用、进行功能模式的切换、将当前采集到的图像数据与车主图像数据进行比对、以及在比对成功后控制车门解锁。

2.根据权利要求1所述的基于Kinect的人脸识别车门控制系统，其特征在于，还包括手势存储模块和手势比对模块，所述Kinect采集设备还用于采集手势图像，所述手势存储模块用于存储车主手势图像，所述手势比对模块用于将当前的手势图像与存储的手势图像进行比对，并将比对结果传输到中央处理器；如果比对成功，所述中央处理器发送命令到Kinect采集设备，开始进行人脸图像采集。

3.根据权利要求2所述的基于Kinect的人脸识别车门控制系统，其特征在于，所述中央处理器的功能模式包括4种：1、对车主信息的预采集模式，所述车主信息包括人脸图像信息和手势图像信息，分别存储于人脸存储模块和手势存储模块；2、手势比对模式，采集当前用户手势图像，并将当前用户图像与存储的车主手势图像进行比对，控制Kinect采集设备开始采集当前用户的人脸图像；3、人脸比对模式，采集当前用户人脸图像，并将当前用户图像与存储的车主人脸图像进行比对，控制车门解锁；4、人脸比对失败后的录制视频模式。

4.根据权利要求3所述的基于Kinect的人脸识别车门控制系统，其特征在于，还包括视频存储模块，所述中央处理器在第4种模式下将录制到的视频信息存入视频存储模块。

5.根据权利要求3所述的基于Kinect的人脸识别车门控制系统，其特征在于，所述中央处理器在第4种模式下同时向车主的手机发送报警短信。

6.根据权利要求1所述的基于Kinect的人脸识别车门控制系统，其特征在于，所述Kinect采集设备还包括红外线发射器，所述红外线发射器在环境光线昏暗时自动开启。

7.根据权利要求1所述的基于Kinect的人脸识别车门控制系统，其特征在于，还包括无线传输模块，采用蓝牙适配器或车载wifi进行数据传输。