CN101949241A - 车门智能开关装置与方法 - Google Patents

Abstract

一种汽车工程中的控制技术领域的车门智能开关装置与方法。装置的针孔摄像头的输出接口通过视频电缆与信号处理器的图像输入接口连接，半导体指纹传感器的输出接口与信号处理器的指纹信号输入接口连接，信号处理器的输出接口与控制器的输入接口连接，控制器的输出接口与门锁的输入接口连接。方法，包括：车主人脸注册；车主指纹采集；车门开关处于待机状态，随时接受接近车门的人脸图像和指纹传感信息的测试；对接近车门者进行人脸识别；对欲打开车门者的指纹进行识别；车门解锁。本发明所提供的车门智能开关装置与方法，确保车辆仅对事先确认过的驾驶者能够自动开启车门，具有严密的排他性，因此能够防止车门被他人随意开启或车辆被盗。

Description

车门智能开关装置与方法

技术领域

本发明涉及的是一种汽车工程中的控制技术领域的装置与方法，具体是一种车门智能开关装置与方法。

背景技术

为了防止车辆被盗，车门的可靠开关问题已被车辆制造商们作为一项不容忽视的技术来考虑。就当前的技术现状，虽然车门开关的种类繁多，但是，大多数采用的是机械或电子密码技术。已有报道显示，因车门锁的密码被破解而使车内物品失窃或车辆被盗，屡见不鲜。因此，拥有一套智能开关车门的车辆显然日益成为人们希望的现实。

经对现有技术文献的检索发现，陈洪、范汉强的“高智能汽车防盗锁”(中国专利申请号：90108454.9)涉及一种汽车防盗锁，它包括解码电路、触发电路、误码识别电路、匙控识别电路、开门延时触发电路、触发驱动电路、蜂鸣器及驱动电路、指示电路、报警控制电路、报警线路、电源电路、密码盒、接线盒等组成。利用密码输入键盘及原汽车的车门开关车匙开关作为输入传感器，并与误码识别电路、匙控识别电路、开门延时触发电路等配合，增加了开车门定时报警、误按密码键报警、误插车匙报警、防破坏报警、防劫报警等功能。

必须指出，该技术仅是“增加了开车门定时报警、误按密码键报警、误插车匙报警、防破坏报警、防劫报警等功能”用以提高“防盗功能”，并不具备真正的智能防盗功能。

又对现有技术文献的检索发现，周振龙的“电器开关的智能控制方法”(中国专利申请号：200710144610.9)提出了电器开关的智能控制方法，其组成包括：控制器，所述的控制器运用通讯网络发出控制信号给计算机智能控制中心，所述的计算机智能控制中心接收到控制信号以后验证所要控制电器的智能开关的账号和密码，再发出控制信号给相应的接收器，所述的接收器安装于所控制电器的内部，所述的接收器收到控制信号后发出执行信号给执行机构实现电器的开关控制，所述的执行机构完成开关动作后，再发送相应的信息给所述的控制器。该方法适用于对电器及车门、门锁实现自动开启控制。

但是，该技术仍然停留在“智能开关的账号和密码”技术上，显然缺乏先进性，既不方便操作又容易遭到破解。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种车门智能开关装置与方法，即人脸加指纹识别门锁。车辆仅对事先确认过的驾驶者能够自动开启车门，具有严密的排他性，因此能够防止车门被他人随意开启或车辆被盗。

本发明是通过以下技术方案实现的：

本发明涉及车门智能开关装置，包括：针孔摄像头、半导体指纹传感器、信号处理器、控制器和门锁。针孔摄像头的输出接口通过视频电缆与信号处理器的图像输入接口连接，半导体指纹传感器的输出接口与信号处理器的指纹信号输入接口连接，信号处理器的输出接口与控制器的输入接口连接，控制器的输出接口与门锁的输入接口连接。

所述针孔摄像头，其内核为场效应半导体图像传感芯片，是一种场效应半导体图像传感器，简称CMOS摄像头。针孔摄像头安装于车身左侧驾驶室门框上沿，能够正对前来欲打开车门者的脸部，用于实时采集人脸视图。

所述半导体指纹传感器，分为电容式和电感式两种类型。其原理是，由大规模半导体单元集成为一块“平板式”接触传感器芯片，当手指贴在其上与其构成了电容(电感)的另一面时，由于手指平面凸凹不平，凸点处和凹点处接触平板的实际距离大小就不一样，形成的电容或电感数值也就不一样，传感器就根据这个原理将采集到的不同数值的电容或电感参数值予以序列组合，因此实现对指纹的数值采集。半导体指纹传感器安装于车身左侧车门的把手上。

所述信号处理器，包括：图像信号输入接口、指纹信号输入接口、第一模数转换模块、第二模数转换模块、图像处理模块、指纹处理模块、决策运算模块、输出接口。其中：图像信号输入接口的输入端经视频电缆与针孔摄像头输出接口相连，图像信号输入接口的输出端与第一模数转换模块的输入端连接，第一模数转换模块的输出端口与图像处理模块的第一输入端口连接；图像处理模块的输出端口与决策运算模块的第一输入端口连接；指纹信号输入接口的输入端口与半导体指纹传感器的输出接口连接，指纹信号输入接口的输出端口与第二模数转换模块的输入端口连接，第二模数转换模块的输出端口与指纹处理模块的输入端口连接，指纹处理模块的输出端口与决策运算模块的第二输入端口连接；决策运算模块的输出端口与输出接口的输入端口连接。

所述图像处理模块，承担图像信号的处理、识别与决策过程；所述指纹处理模块，承担指纹信号的处理、识别与决策过程。

所述门锁，包括：电子开关、继电器和机械门扣。电子开关的控制信号输入端口即门锁的输入接口，电子开关的源极(阳极)与车载24V直流电压的正极连接，电子开关的漏极(阴极)与继电器的正极连接，继电器的负极与车载24V直流电压的负极连接，继电器铁芯伺服机械门扣的动作。

本发明的信号处理器图像信号输入接口从针孔摄像头输出接口接收到人脸图像模拟信号后，将图像模拟信号送入第一模数转换模块的输入端，第一模数转换模块再将转换后的数字图像信号输至图像处理模块；图像处理模块对针孔摄像头采集到的人脸图像信号进行处理与分析后，确定当前人脸是车主(或指定人)时，信号处理器的指纹信号输入接口接收指纹信号，将指纹模拟信号送入第二模数转换模块的输入端，第二模数转换模块再将转换后的数字指纹信号输至指纹处理模块；指纹处理模块对指纹数字信号进行处理与分析后，又确定当前指纹正是车主(或指定人)时，即由信号处理器的运算决策模块作出控制车门决策，通过信号处理器的输出接口向控制器输出控制信号；当门锁的电子开关控制信号输入端口接收到信号处理器输出的控制信号后，电子开关被导通，因此24V直流电压正极能够通过电子开关的导通被加在继电器的正极，直流电流流经继电器线圈使其铁芯产生磁性，在磁力的作用下，机械门扣被拉起，此时车门处于被解锁状态，车门能够被车主(或指定人)所打开；否则，机械门扣始终处于锁定状态，使得车门不会轻易被打开。经过一定时间的延时(如30秒钟)，信号处理器输出至电子开关控制信号输入端口的控制信号会自动消失，使得电子开关截止(不导通)，继电器线圈失电导致其铁芯失磁，机械门扣恢复原状，车门重新被加锁，车门又不会被打开。

所述“指定人”，系指与车主具有同样开车权限者。为了叙述方便，以下将车主与“指定人”统称为“车主”。

本发明还涉及车门智能开关方法

车门智能开关方法，具体步骤如下：

步骤一、车主人脸注册

(1)采集车主人脸图像并进行预处理

采集多帧车主人脸图像，包括相隔几天的早、中、晚时间，以及穿着有所不同并有不同表情的被采集图像，如在一个月之内在不同时段里采集10帧图像。

对采集到的人脸图像进行几何归一化和灰度归一化预处理。几何归一化是指根据人脸定位结果将图像中人脸变换到同一位置和同样大小。灰度归一化是指对图像进行光照补偿等处理，光照补偿能够一定程度地克服光照变化的影响而提高识别率。

(2)导入人脸训练样本

导入人脸训练样本，即读入每一个二维的人脸图像数据并转化为一维的向量，对于不同表情的人脸，选择一定数量的图像构成训练集。

假定图像的大小是u×v(u和v分别为图像的行和列像素数)，用于训练的人脸样数是n，令m＝u×v，则训练集是一个m×n的矩阵。每幅原始图像均具有256个灰度级。

导入采集到的多帧车主人脸图像，并将人脸设定类别：第一位车主为第1类训练样本，简称1类；第二位车主为第2类测试样本，简称2类；既非第一位车主也非第二位车主，则为第3类测试样本，依次类推。

1类人脸第i图像可以表示为一维向量

$x_i^{\left(1\right)}={\left[\begin{array}{cccc}{x}_{i1}^{\left(1\right)}& x_{i2}^{\left(1\right)}& ...& x_{\mathrm{im}}^{\left(1\right)}\end{array}\right]}^T={\left[x_{\mathrm{ij}}^{\left(1\right)}\right]}^T$ (公式一)

式中，i＝1，2，...，n人脸样本；n为1类的人脸样本数；j＝1，2，...，m为每个样本图像所取像素数。

所述人脸样本，即特定类(人)每幅图像能够包含表情、姿态和尺度的变化，而且姿态微变、尺度变化在20％以内等属性的图像。

(3)计算训练样本特征值及特征向量

计算1类的均值

${\stackrel{\‾}{x}}_1=\frac{1}{n\×m}\underset{i=1}{\overset{n_1}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{x}_{\mathrm{ij}}^{\left(1\right)}$ (公式二)

式中，

表示1类第i个样本第j个像素灰度值；称由此求得的均值

为第1类平均脸。

对1类训练样本进行规范化后可以表达为

$v_i^{\left(1\right)}=x_i^{\left(1\right)}-\stackrel{\‾}{x};i=\mathrm{1,2},...,n$ (公式三)

由训练样本组成的第1类规范化向量v

$v_1={\left[\begin{array}{cccc}{v}_1^{\left(1\right)}& v_2^{\left(1\right)}& ...& v_n^{\left(1\right)}\end{array}\right]}^T$ (公式四)

此时，有1类协方差矩阵为

$Q_1={\left[\begin{array}{cccc}{v}_1^{\left(1\right)}& v_2^{\left(1\right)}& ...& v_n^{\left(1\right)}\end{array}\right]}^T\left[\begin{array}{cccc}{v}_1^{\left(1\right)}& v_2^{\left(2\right)}& ...& v_n^{\left(1\right)}\end{array}\right];Q_1\∈R^{n\×n}$ (公式五)

假如上述车辆属于多人共有，即有多位车主，则，同理可以获得第2类及更多类的人脸特征量，即平均脸和协方差矩阵等表达式，如

计算第l类的均值

${\stackrel{\‾}{x}}_l=\frac{1}{n_l\×m}\underset{i=1}{\overset{n_l}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{x}_{\mathrm{ij}}^{\left(l\right)}$ (公式六)

式中，

表示第l类第i个样本第j个像素灰度值；称由此求得的均值

为第l类平均脸。

对第l类训练样本进行规范化后可以表达为

$v_i^{\left(l\right)}=x_i^{\left(l\right)}-{\stackrel{\‾}{x}}_l;i=\mathrm{1,2},...,n_l$ (公式七)

由训练样本组成的第l类规范化向量v_l

$v_l={\left[\begin{array}{cccc}{v}_1^{\left(l\right)}& v_2^{\left(l\right)}& ...& v_{n_l}^{\left(l\right)}\end{array}\right]}^T$ (公式八)

此时，有第l类协方差矩阵为

$Q_l={\left[\begin{array}{cccc}{v}_1^{\left(l\right)}& v_2^{\left(l\right)}& ...& v_{n_l}^{\left(l\right)}\end{array}\right]}^T\left[\begin{array}{cccc}{v}_1^{\left(l\right)}& v_2^{\left(l\right)}& ...& v_{n_l}^{\left(l\right)}\end{array}\right];Q_l\∈R^{n_l\×n_l}$ (公式九)

继续计算总均值

当每类样本数相等的情况下

$\stackrel{\‾}{x}=\frac{1}{c}\underset{l=1}{\overset{c}{\mathrm{\Σ}}}{\stackrel{\‾}{x}}_l$ (公式十)

称总均值

为混合平均脸。

由混合平均脸进行类间规范化得类间规范化向量v

v＝[v⁽¹⁾v⁽²⁾...v^(c)]^T＝[v^(l)]^T    (公式十一)

其中，

由此又可获得类间协方差矩阵为

$Q={\left[\begin{array}{cccc}{v}^{\left(1\right)}& v^{\left(2\right)}& ...& v^{\left(c\right)}\end{array}\right]}^T\left[\begin{array}{cccc}{v}^{\left(1\right)}& v^{\left(2\right)}& ...& v^{\left(c\right)}\end{array}\right]=v^{T}v;Q\∈R^{c\×c}$ (公式十二)

利用公式(公式十一)求取Q的特征值λ_ll及其特征向量，并将其从大到小重新排列后生成特征向量

p_l＝[λ_l1 λ_l2 λ_l3...]^T    (公式十三)

其中，λ_l1≥λ_l2≥λ_l3≥...，并形成一个c×c特征空间阵P

(公式十四)

且P^TP＝I

(4)对训练样本进行线性变换后投影到特征空间

由于较大的特征值对应的特征向量包含了较多的人脸特征信息，因此可以选取前s_l个较大的特征值所对应的特征向量构成的向量空间就可以近似地表示人脸图像的主要信息。对于图像库中的n_l个图像

都可以向此特征空间投影，得到投影向量

从

中选取前s_l个较大的特征值所对应的规范化值构成新的规范化向量

${\hat{v}}_l={\left[\begin{array}{cccc}{v}_1^{\left(l\right)}& v_2^{\left(l\right)}& ...& v_{s_l}^{\left(l\right)}\end{array}\right]}^T$ (公式十五)

及所对应的n_l×c特征空间

(公式十六)

所以有

${\mathrm{\Ω}}^{\left(l\right)}=\left[\begin{array}{cccc}{\mathrm{\Ω}}_1^{\left(l\right)}& {\mathrm{\Ω}}_2^{\left(l\right)}& ...& {\mathrm{\Ω}}_{n_l}^{\left(l\right)}\end{array}\right]={\hat{P}}^T{\hat{v}}_l$ (公式十七)

因此，可以用

来代表第l类车主人脸，并将每类人脸特征存放于人脸特征数据库中。带脚标l的参数代表第l类对应参数。

步骤二、车主指纹注册

指纹注册就是指事先采集车主指纹、提取特征模板并保存到数据库中。被注册指纹称为注册指纹。

(1)车主指纹采集

根据开车的习惯，将车主的大拇指横向按在车门把手上的半导体指纹传感器上，车载信号处理器即会从半导体指纹传感器上读取指纹信息数据。

(2)车主指纹拼接

每次进行指纹采集时，可以从传感器得到一个滑动指纹片段序列，片段间具有比较多的重复区域，需要通过指纹片段序列拼接得到一幅完整指纹图像。由于相邻指纹片段之间基本上没有旋转变换和缩放变换，只是存在部分区域图像的重叠，因此指纹片段拼接中重要的工作是如何判断后得到的片段相对于前一个片段的平移。

平移的算法可以直接在时域中进行，即统计每行图像在水平方向上像素的灰度级变化，然后通过这些统计信息来确定平移。为了陈述方便，令，a为前一个片段，b为后一个片段，拼接步骤如下：

①分别对a、b进行中值滤波，以削弱噪声对于拼接的影响。

②分别计算a、b均值，并将其二值化。

③分别统计每行图像从左至右灰度级出现跳变的像素点所在列。

④将b在a上进行滑动，每滑动一列计算b和a重叠区域的相似度S，得到一个S的序列。S出现最大值时所对应的列数m就是b相对与a的平移。

⑤确定平移列数m后，以重叠区域的列数为依据，从a片段重叠区域的最后面一列往前推移

列作为a片段新的最后面一列；从b片段重叠区域的最前面一列往后推移列作为b片段新的最前面一列；然后将a片段新的最后面一列与b片段新的最前面一列进行拼接；以此类推，最终实现整个滑动指纹片段序列的拼接。其中，分别运算结果的向下和向上取整。

(3)车主指纹特征提取

对指纹图像的特征提取，包括以下过程：

①图像增强

由于实际采集到的指纹图像中可能有不包含脊线信息的背景区域，同时在包含脊线信息的图像区域中可能包含各种噪声，从而导致脊线粘连或者断裂；因此，需要对指纹图像进行增强，切割背景区，增加脊线和谷线的对比度，削弱噪声污染，分离粘连的脊线、连接断裂的脊线。

②二值化

对增强后的指纹图像进行二值化及其细化。

③指纹特征提取

从细化后的二值图像中寻找两类指纹特征点，即分叉点和端点，并计算特征点的方向角。最终将特征点的位置和方向角信息作为指纹特征存放于指纹特征空间数据库。

步骤三、车门开关处于待机状态

所述车门开关处于待机状态，即车门智能开关装置的硬件系统处于接受测试工作状态，亦即处于随时接受测试接近车门的人脸图像和指纹传感信息的工作状态。

步骤四、对接近车门者进行人脸识别

(1)采集接近车门者的人脸图像并进行预处理

采集接近车门者的人脸图像，并陆续采集n个测试样本，即多帧图像，如n＝3；对采集到的人脸图像进行几何归一化和灰度归一化预处理。

(2)导入测试样本

同样取图像的大小为u×v(u和v分别为图像的行和列像素数)，则m＝u×v，此时测试集是m×n的矩阵；图像具有256个灰度级。

(3)计算待测试样本图像特征向量

按照步骤一中的(3)与(4)的同样方法进行测试样本图像特征值及其特征向量的计算。

将测试样本投影到式(公式十七)所表达的特征空间中。此时，该幅人脸图像投影到特征空间以后，势必对应于子空间中的一个点。

(4)人脸识别

把投影到特征空间中的所有测试图像和训练图像的特征表达值一一进行比较，确定待识别的样本的所属类别。如采用最近邻距离分类函数进行识别

$G(\mathrm{\Ω},{\mathrm{\Ω}}^{\left(l\right)})=\underset{l}{\min }\left\{\right||\mathrm{\Ω}-{\mathrm{\Ω}}^{\left(l\right)}|\left|\right\}$ (公式十八)

此处的Ω即代表测试样本特征空间，通过式(公式十八)的运算，可确认待测试样本是否属于训练样本中的哪一类。

换句话说，如果接近车门者被测试过程，不属于训练样本集中的任何一类，即说明该“接近车门者”不是该车车主。

完成人脸测试并确认该人属于车主的情况下，本系统才会进一步对其进行指纹识别，否则，本系统工作中断，车门始终处于关闭状态。

步骤五、对欲打开车门者的指纹进行识别

(1)读取指纹传感信号

通过人脸确认后，车载信号处理器即从半导体指纹传感器的输出端口读取指纹传感信号；否则，信号处理器的模拟信号输入接口处于关闭状态，即不读取指纹传感信号。此时被采集到的指纹称为测试指纹。

(2)指纹拼接

采用与步骤二中的(2)相同的方法进行指纹拼接。

(3)指纹特征提取

采用与步骤二中的(3)相同的方法进行指纹特征提取。

(4)指纹特征点匹配

①脊线校准：完成测试指纹与注册指纹的指纹图像定位，消除平移和旋转的影响，确定对应特征点对作为特征点坐标计算的原点。

②特征匹配：在脊线校准的基础上，根据找到的对应特征点对，将特征空间上的注册指纹样本特征点集与被测试指纹采样输入特征点集转换到极坐标平面上，根据特征点位置极坐标与方向信息来寻找匹配两者的特征点对，并进行匹配点对的计数。当两者的匹配点对数量达到预先给定的阈值时，就认为匹配成功，终止匹配，认定当前被测试指纹属于特征空间上被匹配成功的指纹样本，即被测试指纹属于车主指纹；否则匹配失败，就认为被测试指纹不属于特征空间上的指纹样本，即被测试指纹不属于车主指纹。

步骤六、车门解锁

连续通过步骤四和步骤五的车主身份确认后，车载信号处理器即向控制器发送开锁指令；在控制器的驱动下，车门被解锁。此时，车门即可轻易被打开。否则，车门始终处于被加锁状态，未经确认的任何非车主(或指定人)均不可能利用正常途径来打开车门，除非破坏性开门。延长一定时间(如30秒钟)后，车门随即重新加锁，并返回步骤三，继续执行循环检控程序。

只要车辆不发生“过户”，或变更车主，或增加“指定人”，步骤一、步骤二的过程进行一遍即可，随后车辆始终工作于步骤三至步骤六的循环检控过程之中。

本发明为了增强车门锁的可靠性和置信冗余度，装置系统采取车主人脸图像及指纹的双重识别算法，经系统确认当前与欲开启车门者实为车主时，车门方能被打开；当车主(或他人)接近车门时，本系统就开始对当前人脸进行采集、处理与分析；当车主(或他人)的手握住车门把手时，必须将大拇指按在指纹传感器的感应面上，只有在两类传感(人脸图像传感与指纹传感)信息均通过本系统的认证，车门即被自动打开(或被轻易拉开)，否则，只要有一类传感信息不符合本系统的认证标准，车门就无法被打开。

本发明所提供的车门智能开关装置与方法，确保车辆仅对事先确认过的驾驶者能够自动开启车门，具有严密的排他性，因此能够防止车门被他人随意开启或车辆被盗。

附图说明

图1为本发明装置系统结构示意图；

图2为本发明中针孔摄像头和半导体指纹传感器在汽车上的设置位置示意图；

图3为本发明信号处理器结构示意图；

图4为本发明的门锁机构示意图；

图5为本发明中指纹传感图像示意图；

图6为本发明中拼接后的指纹图像示意图；

图7为本发明中测试指纹实例图；

图8为本发明对指纹实例进行增强后的图例；

图9为本发明对增强后指纹图像进行二值化后的图例；

图10为本发明对二值化指纹图像进行细化后的指纹图例；

图11为本发明对细化二值化指纹图像进行特征提取示意图；

图12为本发明方法的检控流程示意图。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例涉及车门智能开关装置

如图1、2所示，本实施例包括：针孔摄像头1、半导体指纹传感器2、信号处理器3、控制器4和门锁5。针孔摄像头1的输出接口通过视频电缆与信号处理器3的图像输入接口连接，半导体指纹传感器2的输出接口与信号处理器3的指纹信号输入接口连接，信号处理器3的输出接口与控制器4的输入接口连接，控制器4的输出接口与门锁5的输入接口连接。

如图3所示，所述信号处理器3，包括：图像信号输入接口31、指纹信号输入接口32、第一模数转换模块33、第二模数转换模块34、图像处理模块35、指纹处理模块36、决策运算模块37、输出接口38。其中：图像信号输入接口31的输入端经视频电缆与针孔摄像头1输出接口相连，图像信号输入接口31的输出端与第一模数转换模块33的输入端连接，第一模数转换模块33的输出端口与图像处理模块35的第一输入端口连接；图像处理模块35的输出端口与决策运算模块37的第一输入端口连接；指纹信号输入接口32的输入端口与半导体指纹传感器2的输出接口连接，指纹信号输入接口32的输出端口与第二模数转换模块34的输入端口连接，第二模数转换模块34的输出端口与指纹处理模块36的输入端口连接，指纹处理模块36的输出端口与决策运算模块37的第二输入端口连接；决策运算模块37的输出端口与输出接口38的输入端口连接。

如图4所示，所述门锁5，包括：电子开关51、继电器52和机械门扣53。电子开关51的控制信号输入端口即门锁5的输入接口，电子开关51的阳极与车载24V直流电压的正极连接，电子开关51的阴极与继电器52的正极连接，继电器52的负极与车载24V直流电压的负极连接，继电器铁芯伺服机械门扣53的动作。

本发明的信号处理器3图像信号输入接口31从针孔摄像头1输出接口接收到人脸图像模拟信号后，将图像模拟信号送入第一模数转换模块33的输入端，第一模数转换模块33再将转换后的数字图像信号输至图像处理模块35；图像处理模块35对针孔摄像头1采集到的人脸图像信号进行处理与分析后，确定当前人脸是车主(或指定人)时，信号处理器3的指纹信号输入接口32接收指纹信号，将指纹模拟信号送入第二模数转换模块34的输入端，第二模数转换模块34再将转换后的数字指纹信号输至指纹处理模块36；指纹处理模块36对指纹数字信号进行处理与分析后，又确定当前指纹正是车主(或指定人)时，即由信号处理器3的运算决策模块37作出控制车门决策，通过信号处理器3的输出接口38向控制器4输出控制信号；当门锁5的电子开关51控制信号输入端口接收到信号处理器3输出的控制信号后，电子开关51被导通，因此24V直流电压正极能够通过电子开关51的导通被加在继电器52的正极，直流电流流经继电器52线圈使其铁芯产生磁性，在磁力的作用下，机械门扣53被拉起，此时车门处于被解锁状态，车门能够被车主(或指定人)所打开；否则，机械门扣53始终处于锁定状态，使得车门不会轻易被打开。经过一定时间的延时(如3秒钟)，车门没有被打开，信号处理器3输出至电子开关51控制信号输入端口的控制信号会自动消失，使得电子开关截止(不导通)，继电器线圈失电导致其铁芯失磁，机械门扣回复原状，车门重新被加锁，车门又不会被打开。

本实施例还涉及车门智能开关方法，包括如下步骤；

步骤一、车主人脸注册

(1)采集车主人脸图像并进行预处理

采集10帧车主人脸图像，包括相隔几天的早、中、晚时间，以及穿着有所不同并有不同表情的被采集图像；并对采集到的人脸图像进行几何归一化和灰度归一化预处理。

(2)导入人脸训练样本

取每幅图像的u＝112、v＝92时，则m＝10304，表示第1类人脸第i图像的一维向量为

每幅原始图像均具有256个灰度级。

导入采集到的10帧车主人脸图像，并将人脸设定类别：第一位车主为第1类训练样本，简称1类；第二位车主为第2类测试样本，简称2类；既非第一位车主也非第二位车主，则为第3类测试样本。

(3)计算训练样本特征值及特征向量

①计算1类的平均脸

②对1类训练样本进行规范化后，即

并由训练样本组成的第1类规范化向量

有1类协方差矩阵为

$Q_1={\left[\begin{array}{cccc}{v}_1^{\left(1\right)}& v_2^{\left(1\right)}& ...& v_n^{\left(1\right)}\end{array}\right]}^T\left[\begin{array}{cccc}{v}_1^{\left(1\right)}& v_2^{\left(1\right)}& ...& v_n^{\left(1\right)}\end{array}\right];Q_1\∈R^{n\×n}$

③计算2类的平均脸

④对2类训练样本进行规范化后，即

并由训练样本组成的第2类规范化向量

有2类协方差矩阵为

$Q_2={\left[\begin{array}{cccc}{v}_1^{\left(2\right)}& v_2^{\left(2\right)}& ...& v_n^{\left(2\right)}\end{array}\right]}^T\left[\begin{array}{cccc}{v}_1^{\left(2\right)}& v_2^{\left(2\right)}& ...& v_n^{\left(2\right)}\end{array}\right];Q_2\∈R^{n\×n}$

⑤计算混合平均脸

由混合平均脸进行类间规范化得到类间规范化向量v＝[v⁽¹⁾ v⁽²⁾]^T和类间协方差矩阵Q＝[v⁽¹⁾ v⁽²⁾]^T[v⁽¹⁾ v⁽²⁾]＝v^Tv；Q∈R^2×2

因此求得Q的特征值λ₂₂及其特征向量，并将其从大到小重新排列后生成特征向量p_l＝[λ_l1 λ_l2 λ_l3...]^T；其中，λ_l1≥λ_l2≥λ_l3≥...，并形成一个c×c特征空间阵

$P=\left[\begin{array}{cc}{p}_1& p_2\end{array}\right]=\left[\begin{array}{cc}{\mathrm{\λ}}_{11}& {\mathrm{\λ}}_{21}\\ {\mathrm{\λ}}_{12}& {\mathrm{\λ}}_{22}\end{array}\right],$ 且P^TP＝I

(4)对训练样本进行线性变换后投影到特征空间

由于较大的特征值对应的特征向量包含了较多的人脸特征信息，因此可以选取前s_l个较大的特征值所对应的特征向量构成的向量空间就可以近似地表示人脸图像的主要信息。对于图像库中的n_l个图像

(i＝1，2，...，n_l)都可以向此特征空间投影，得到投影向量

从

中选取前s_l个较大的特征值所对应的规范化值构成新的规范化向量

及所对应的n_l×2特征空间

进而有

因此，可以用

来代表1类和2类车主人脸，并将两类人脸特征存放于人脸特征数据库中。

步骤二、车主指纹注册

即事先采集车主指纹、提取特征并保存到数据库中。

(1)车主指纹采集

根据开车的习惯，将车主的大拇指横向按在车门把手上的半导体指纹传感器上，车载信号处理器从半导体指纹传感器上读取指纹信息数据。

(2)车主指纹拼接

如图5、6所示，将指纹传感图像通过平移算法转换为拼接后的指纹图像。

(3)车主指纹特征提取

对指纹图像的特征提取，包括以下过程：

①图像增强

去除如图7所示的不包含脊线信息的背景区域和各种噪声，从而获得如图8所示的增强后的指纹图像。

②二值化

对如图8所示的增强后的指纹图像进行二值化后获得如图9所示二值化指纹图像和如图10所示的细化指纹图像。

③指纹特征提取

如图11所示，从如图10所示的细化后的二值图像中寻找两类指纹特征点，即分叉点和端点，并计算特征点的方向角。最终将特征点的位置和方向角信息作为指纹特征存放于指纹特征空间数据库。

本实施例注册了两位车主的指纹，即在指纹特征空间数据库中存放了两位车主的指纹。

步骤三、车门开关处于待机状态

车门智能开关装置的硬件系统处于接受测试工作状态，即处于随时测试接近车门的人脸图像和指纹传感信息的工作状态。

步骤四、对接近车门者进行人脸识别

(1)采集接近车门者的人脸图像并进行预处理

采集接近车门者的人脸图像，并陆续采集3个测试样本；对采集到的人脸图像进行几何归一化和灰度归一化预处理。

(2)导入测试样本

取每幅图像的u＝112、v＝92时，则m＝10304，每幅原始图像均具有256个灰度级。

(3)计算待测试样本图像特征向量

按照步骤一中的(3)与(4)同样方法进行测试样本图像特征值及其特征向量的计算。

将测试样本投影到式(公式十七)所表达的特征空间中。此时，该幅人脸图像投影到特征空间以后，势必对应于子空间中的一个点。

(4)人脸识别

把投影到特征空间中的特定测试图像和训练图像的特征表达值采用最近邻距离分类函数

一一进行比较，确定待识别的样本的所属类别。

如果接近车门者被测试过程，属于训练样本集中的1类或2类，即说明该“接近车门者”为第一位车主或第二位车主。

如果接近车门者被测试过程，不属于训练样本集中的任何一类，即说明该“接近车门者”不是该车车主。

完成人脸测试并确认该人属于车主的情况下，本系统才会进一步对其进行指纹识别，否则，本系统工作中断，车门式中处于关闭状态。

步骤五、对欲打开车门者的指纹进行识别

(1)读取指纹传感信号

通过人脸确认后，车载信号处理器即从半导体指纹传感器的输出端口读取指纹传感信号；否则，信号处理器的模拟信号输入接口处于关闭状态，即不读取指纹传感信号。

(2)指纹拼接

采用与步骤二中的(2)相同的方法进行指纹拼接。

(3)指纹特征提取

采用与步骤二中的(3)相同的方法进行指纹特征提取。

(4)指纹特征点匹配

①脊线校准：完成测试指纹与注册指纹的指纹图像定位，消除平移和旋转的影响，确定对应特征点对作为特征点坐标计算的原点。

②特征匹配：在脊线校准的基础上，根据找到的对应特征点对，将特征空间上的注册指纹样本特征点集与被测试指纹采样输入特征点集转换到极坐标平面上，根据特征点位置极坐标与方向信息来寻找匹配两者的特征点对，并进行匹配点对的计数。当两者的匹配点对数量到达预先给定的阈值时，就认为匹配成功，终止匹配，认定当前被测试指纹属于特征空间上被匹配成功的指纹样本，即被测试指纹属于车主指纹；否则匹配失败，就认为被测试指纹不属于特征空间上的指纹样本，即被测试指纹不属于车主指纹。

步骤六、车门解锁

连续通过步骤四和步骤五的车主身份确认后，车载信号处理器即控制器发送开锁指令；在控制器的驱动下，车门被解锁。此时，车门即可轻易被打开。否则，车门始终处于被加锁状态。

延长30秒钟后，车门随即重新加锁，并返回步骤三，继续执行循环检控程序。

如图12所示，显示了本实施例车门智能开关方法的检控流程。

本实施例实施车门智能开关装置与方法证实：车辆仅对事先确认过的驾驶者能够自动开启车门，具有严密的排他性，因此能够防止车门被他人随意开启或车辆被盗。

Claims (9)

1.一种车门智能开关装置，其特征在于，包括：针孔摄像头、半导体指纹传感器、信号处理器、控制器和门锁，针孔摄像头的输出接口通过视频电缆与信号处理器的图像输入接口连接，半导体指纹传感器的输出接口与信号处理器的指纹信号输入接口连接，信号处理器的输出接口与控制器的输入接口连接，控制器的输出接口与门锁的输入接口连接；

所述信号处理器，包括：图像信号输入接口、指纹信号输入接口、第一模数转换模块、第二模数转换模块、图像处理模块、指纹处理模块、决策运算模块、输出接口，其中：图像信号输入接口的输入端经视频电缆与针孔摄像头输出接口相连，图像信号输入接口的输出端与第一模数转换模块的输入端连接，第一模数转换模块的输出端口与图像处理模块的第一输入端口连接；图像处理模块的输出端口与决策运算模块的第一输入端口连接；指纹信号输入接口的输入端口与半导体指纹传感器的输出接口连接，指纹信号输入接口的输出端口与第二模数转换模块的输入端口连接，第二模数转换模块的输出端口与指纹处理模块的输入端口连接，指纹处理模块的输出端口与决策运算模块的第二输入端口连接；决策运算模块的输出端口与输出接口的输入端口连接；

所述图像处理模块，承担图像信号的处理、识别与决策过程；所述指纹处理模块，承担指纹信号的处理、识别与决策过程。

2.根据权利要求1所述的车门智能开关装置，其特征是，所述针孔摄像头，设置于车身左侧驾驶室门框上沿，实时采集人脸视图。

3.根据权利要求1所述的车门智能开关装置，其特征是，所述半导体指纹传感器，设置于车身左侧车门的把手上。

4.根据权利要求1所述的车门智能开关装置，其特征是，所述门锁，包括：电子开关、继电器和机械门扣，电子开关的控制信号输入端口即门锁的输入接口，电子开关的源极，即阳极与车载24V直流电压的正极连接，电子开关的漏极，即阴极与继电器的正极连接，继电器的负极与车载24V直流电压的负极连接，继电器铁芯伺服机械门扣的动作。

5.一种车门智能开关方法，其特征在于，包括如下步骤：

步骤一、车主人脸注册；

步骤二、车主指纹采集；

步骤三、车门开关处于待机状态，所述车门开关处于待机状态，即车门智能开关装置的硬件系统处于接受测试工作状态，亦即处于随时接受测试接近车门的人脸图像和指纹传感信息的工作状态；

步骤四、对接近车门者进行人脸识别；

步骤五、对欲打开车门者的指纹进行识别；

步骤六、车门解锁。

6.根据权利要求5所述的车门智能开关方法，其特征在于，步骤一中所述的车主人脸注册，包括：

(1)采集车主人脸图像并进行预处理，采集多帧车主人脸图像，包括相隔几天的早、中、晚时间，以及各种穿着、各种表情的被采集图像，对采集到的人脸图像进行几何归一化和灰度归一化预处理；

(2)导入人脸训练样本，即读入每一个二维的人脸图像数据并转化为一维的向量，选择图像构成训练集；

(3)计算训练样本特征值及特征向量；

(4)对训练样本进行线性变换后投影到特征空间，用

来代表第l类车主人脸，并将每类人脸特征存放于人脸特征数据库中。

7.根据权利要求5所述的车门智能开关方法，其特征是，步骤二中所述的车主指纹采集，包括：

(1)车主指纹采集，将车主的大拇指横向按在车门把手上的半导体指纹传感器上，车载信号处理器即会从半导体指纹传感器上读取指纹信息数据。

(2)车主指纹拼接，将指纹传感图像通过平移算法转换为拼接后的指纹图像；

(3)车主指纹特征提取，最终将特征点的位置和方向角信息作为指纹特征存放于到指纹特征空间数据库。

8.根据权利要求7所述的车门智能开关方法，其特征在于，所述的平移的算法直接在时域中进行，即统计每行图像在水平方向上像素的灰度级变化，然后通过这些统计信息来确定平移，令：a为前一个片段，b为后一个片段，拼接步骤如下：

①分别对a、b进行中值滤波，以削弱噪声对于拼接的影响。

②分别计算a、b均值，并将其二值化。

③分别统计每行图像从左至右灰度级出现跳变的像素点所在列。

④将b在a上进行滑动，每滑动一列计算b和a重叠区域的相似度S，得到一个S的序列。S出现最大值时所对应的列数m就是b相对与a的平移。

⑤确定平移列数m后，以重叠区域的列数为依据，从a片段重叠区域的最后面一列往前推移

列作为a片段新的最后面一列；从b片段重叠区域的最前面一列往后推移

列作为b片段新的最前面一列；然后将a片段新的最后面一列与b片段新的最前面一列进行拼接；以此类推，最终实现整个滑动指纹片段序列的拼接。其中，

分别运算结果的向下和向上取整。

9.根据权利要求7所述的车门智能开关方法，其特征在于，所述的特征提取，包括以下步骤：

①图像增强，由于实际采集到的指纹图像中可能有不包含脊线信息的背景区域，同时在包含脊线信息的图像区域中可能包含各种噪声，从而导致脊线粘连或者断裂；因此，需要对指纹图像进行增强，切割背景区，增加脊线和谷线的对比度，削弱噪声污染，分离粘连的脊线和连接断裂的脊线；

②利用二值化对增强后的指纹图像进行二值化及其细化；

③指纹特征提取，从细化后的二值图像中寻找两类指纹特征点，即分叉点和端点，并计算特征点的方向角，最终将特征点的位置和方向角信息作为指纹特征存放于到指纹特征空间数据库。

Images