CN103422764A

CN103422764A - 一种门控制系统及其控制方法

Info

Publication number: CN103422764A
Application number: CN2013103653734A
Authority: CN
Inventors: 刘晓; 徐向民; 范伟龙; 王奕森
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2013-08-20
Filing date: 2013-08-20
Publication date: 2013-12-04

Abstract

本发明公开了一种门控制系统，该控制系统包括信号采集单元、信号识别单元和外接设备单元信号采集单元信号识别单元外接设备单元；本发明还公开了一种用于控制门控制系统的控制方法，该控制方法包括以下步骤：步骤1、信号采集单元分别采集用户手势图像和语音指令并传送给信号识别单元，信号识别单元对采集到的用户手势图像和语音指令进行手势识别和语音识别；步骤2、启动器根据信号识别单元所识别的语音指令的语音识别结果控制摄像头的开启与关闭；步骤3、控制器根据信号识别单元所识别的手势图像的手势识别结果控制门的打开与关闭。具有使用方便和可靠安全等优点。

Description

一种门控制系统及其控制方法

技术领域

本发明涉及一种自动门的门控制技术，特别涉及一种门控制系统及其控制方法。

背景技术

门是现代家居中不可或缺的一部分，是安装在出入口能开关的常见装置，主要起到防卫及遮挡作用。随着现代技术的发展及智能化家居理念的提出，人们希望门也能成为智能家居人机交互的一部分,并实现门的智能化非接触式控制。目前，较前沿的控制门开合的技术主要是红外遥控、ID码匹配和声控等，然而他们都各自存在缺点，不能实现真正意义上的远距离非接触式操作。如红外遥控需要配备遥控器；ID码匹配方法需要使用者携带ID卡且匹配时非接触控制范围较小；声控技术由于声音在远距离传输中受环境影响较大且安全性不高，使其实用性大打折扣.经查询，专利公开号为JP10-211819A提出了一种使用遥控器的自动关闭车门的门控制系统，让使用者无法摆脱遥控器的束缚，而且容易与家里其他遥控器混淆。专利公开号为CN1970985提供了一种用于避免将便携装置（即遥控器）禁闭在车厢内的自动门控制系统及方法，使用了ID码匹配的方法，需要使用者使用ID卡且非接触控制范围有限，并不能在实际使用中为家居使用提供方便。另外，市面上存在的一种声控自动门语音控制开关，使用范围只有1～5米，使用不方便而且安全性很差。

发明内容

本发明的首要目的在于克服现有技术的缺点与不足，提供一种门控制系统，该控制系统使用方便。

本发明的另一目的在于克服现有技术的缺点与不足，提供一种用于控制门控制系统的控制方法，该控制方法的控制方式简单直接，可靠安全。

本发明的首要目的通过下述技术方案实现：一种门控制系统，包括信号采集单元、信号识别单元和外接设备单元；信号采集单元串接到信号处理单元，信号识别单元将输出控制信息给外接设备单元；所述信号采集单元包括手势采集和语音采集两部分，其中手势采集模块主要由安装在控制装置上的摄像头组成，摄像头采集控制装置前一定区域内用户的手势图像，并将采集到的图像传输到信号识别单元的手势控制接口；语音采集模块主要由安装在控制装置上的麦克风组成，通过麦克风采集用户发出的语音指令，并将采集到的语音指令传输到信号识别单元的语音接口。

上述的非接触式门控制系统中，信号识别单元实现的功能包括手势识别和语音识别，其中，手势识别是对摄像头采集到的用户手势图像进行识别，语音识别是对麦克风采集到的用户语音指令进行识别。

上述的非接触式门控制系统中，外接设备单元包括启动器、控制器、显示器、驱动装置和传动结构。

所述启动器，用于将语音识别得到的用户指令对控制装置摄像头进行激活，使之能正常采集用户手势图像；

所述控制器，用于将手势识别得到的用户指令转为硬件的中断指令，输出到驱动装置；

所述显示器，用于向用户显示任务的完成情况和自动门的开合状态以及门外的监控情况；

所述驱动装置，用于根据控制器传输的中断指令带动门体开、关。

所述传动结构，由于配合驱动装置实现门体开、关。

本发明的另一目的通过下述技术方案实现：一种用于控制门控制系统的控制方法，包括：分别对采集到的用户手势图像和语音指令进行手势识别和语音识别，启动器根据语音识别过程的判断结果对控制装置的摄像头的开启与否进行控制，控制器根据手势识别过程的判断结果对门的打开、关闭进行控制。

所述手势识别过程包括：

对采集的图像进行预处理，去除图像冗余信息，平滑处理和滤波处理；

对预处理后的图像进行检测，将检测到的手势区域和背景区域分离；

将分离后的手势图像提取手势特征值；

对提取的特征值实现训练和分类识别，将特征值与手势数据库中的相应手势进行匹配，得到手势识别结果；

根据识别结果输出控制信息流。

上述控制方法中，所述语音识别过程包括：

采集大量的语音数据组成语料库；

对采集到不平稳的语音信号进行处理，使之变成简短而平稳的信号；

提取每一个简短信号的多维特征向量；

在对语料库中的训练句子进行特征提取之后，利用语音多维特征向量进行声学模型训练；

在语法和语义层面上结合语言的规则建立语言模型，即在给出固定的词序列的前提下，设定每一个词序列与其前面所有词序列的相关性，从而排除某些不期望的词序列，结合声学模型构成完整的词网络，提高在模型库中搜索的效率；

在模型库中根据已建立的词网络中找到最佳路径，得到语音识别结果；

根据识别结果输出控制信息流。

上述控制方法中，所述手势数据库是通过采集大量的手势正样本和手势负样本进行特征值提取以及分类训练后所建立的；所述手势正样本是指只包含手势的的手势图像样本，手势负样本指不包含手势的手势图像样本，手势正样本和手势负样本都是用于对手势数据库的训练；所述分类训练指对于实现操作的不同对手势进行分类并进行训练。

上述控制方法中，所述模型库是通过构建控制门所需要的语料库，对语料库中的语音数据进行预处理和特征提取后，进行声学建模训练，再结合语法和语义所组成的。

本发明的工作原理：本发明的工作原理主要涉及两方面，即基于视觉的手势识别系统原理和语音识别技术原理。基于视觉的手势识别系统原理为：首先通过摄像头获取视频数据流，系统根据手势输入的交互模型检测数据流里是否有手势出现，如果有则把该手势从视频流中分割提取出来。然后选择手势进行手势分析，分析过程包括特征检测和模型参数估计。在手势识别过程中，根据模型参数对手势进行分类并根据需要生成手势描述。最后，系统根据生成的描述去驱动具体应用。语音识别技术原理主要包括训练和识别，训练是预先分析出语音特征参数，制作语音模板并保存于语音参数库中，识别是待识别语音经过与训练时相同的分析，得到语音参数，将它与库中的参考模板一一比较，并采用判决的方法找出最接近语音特征的模板，得出识别结果。

本发明相对于现有技术具有如下的优点及效果：

1、本发明实现了门的智能化控制，使用户与门的交互方式更加自然方便。用户在使用本发明时，无需亲自去操作，也不用配备遥控器，用户只需在控制装置前发出语音指令激活摄像头，然后在摄像头可视范围内做出对应的手势，即可轻松控制门的开、关，使用相当方便。

2、本发明优先考虑门的安全性，不是单纯以语音去控制门的张合，而是将语音与手势结合，双重识别来保障家居安全，可靠性高。

3、本发明用语音激活系统，用手势控制门的张合，语音可控制远距离开关门系统的启动，手势可控制门的开和关，主要是在保障家居安全的前提下，为忙于做事的人们提供一种为客人便捷开门的方法，减少了现代家庭中手动开关门所带来的不便；本发明的控制方式简单直接，充分体现现代智能家居的特点。

附图说明

图1为门控制系统框架图。

图2为手势识别控制流程图。

图3为语音识别控制流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，一种门控制系统,该控制系统包括:信号采集单元、信号识别单元、外接设备单元。如图1所示，信号采集单元中的手势采集模块和语音采集模块分别并行连接信号识别单元的图像和语音输入接口，所述信号识别单元连接外接设备单元。其中，手势识别模块主要通过摄像头采集用户手势图像，语音识别模块主要通过麦克风采集用户语音口令。手势识别模块用于对采集的有效用户手势进行实时跟踪，并对手势图像进行识别判断，语音识别模块用于接收用户发出的语音指令，并对语音进行识别判断。系统将语音识别判断结果传递给外接设备单元的启动器，启动器启动控制器；系统将手势识别判断结果传递给外接设备单元的控制器，在控制器已启动的前提下，控制器连接并作用于驱动装置，使驱动装置带动传动结构控制门的开、关。其中，启动器、控制器和驱动装置连接显示器，并分别把他们的当前状态实时反馈到显示器上。

如图2所示，手势识别的过程为：图像预处理、手势检测、区域分割和手势识别。

在系统启动之后，通过摄像头采集装置前用户的手势图像后进行A/D转换，将数据传输到信号识别单元的接口。

由于所采集的图像由于光照和背景等原因，可能会存在噪点，为了减小图像在区域分割时产生的误差，首先对采集的图像进行预处理，采用图像中值滤波对图像进行平滑和滤波处理。

手势检测和区域分割用于检测图像中是否有手势，若存在手势则将手势区域与背景分离，从而得到手势识别分析的具体区域，便于下一步对手势进行识别。具体方法如下：

为了削弱光照情况对手势的影响，采用转换色彩空间的方法将RGB空间转HSV空间，得到更为明显的肤色聚类特征。

从RGB到HSL或HSV的转换如下:

设（r,g,b）分别是一个颜色的红、绿和蓝坐标，它们的值是在0到1之间的实数。设max等价于r,g和b中的最大者。设min等于这些值中的最小值。要找到在HSL空间中的（h,s,l）值，这里的h∈[0，360)是角度的色相角，而s，l∈[0，1]是饱和度和亮度，计算公式为：

l = \frac{1}{2} (\max + \min),

s = \{\begin{matrix} 0, & if \max = 0 \\ \frac{\max - \min}{\max} = 1 - \frac{\min}{\max}, & otherwise \end{matrix}

v=max，

以上公式采用转换色彩空间的方法将RGB空间转HSV空间，以得到更为明显的肤色聚类特征。其中，（r,g,b）分别是一个颜色的红、绿和蓝坐标，它们的值是在0到1之间的实数。（h,s,l）分别是色相角，饱和度和亮度。色相角的值介于0到360度，饱和度和亮度的值介于0到1.max为r,g和b中的最大值。min为r,g和b中的最小值。

将RGB空间转化到HSV空间后，使用Hue色度分量来构建阈值分割模型并引入色度信息。在此实施例中，我们使用的分割模型为：

0<Hue<30，

350<Hue<360，

设置Hue色度分量用于构建阈值分割模型并引入色度信息。

应用这种阈值分割模型对一个手势图像进行分割。为了使分割效果进一步提升，在分割后进行连通性去噪，从而得到二值的手势图，实现复杂背景下的肤色分割。

手势识别即在获得分离的手势图像后，对其采用梯度方向直方图方法提取手势特征，具体步骤如下：

将二值化图像划分为2*2的单元；

分别在水平和垂直方向上，利用一维离散微分模板计算出每个单元的梯度；统计每一个单元的梯度直方图；

将若干个单元组成一个区间，一幅图像由若干个区间构成；

利用L2范数为因子在区间中进行梯度归一化：

f = \frac{1}{{\sqrt{| | V | |}}^{2} + e^{2}}

其中：

||V||表示V的一阶范数，e表示常数。

f表示以L2范数为因子进行上式梯度归一化得到的结果；

根据以上式子计算出每个手势图像的特征向量维数。

采用基于支持向量机（SVM）的动态手势识别的方法进行手势识别。SVM通过把特征向量映射到高维空间并建立能够充分区分不同种类的最大间隔超平面，从而可以实现对特征的非线性分类。对装置采用大量样本训练的方法，每一个手势采集700张不同背景、角度和光照的图像提取特征值，将特征值与手势数据库中的相应手势进行匹配并识别出手势。

如图3所示，语音识别过程包括：语音预处理、语音特征提取、声学模型与模式匹配和语音识别。

由麦克风采集到的语音信息传输到语音识别模块接口，为使语音信号变成简短而平稳的随机过程，需要对采集到的语音信号进行预处理，预处理包括：

A/D转换、预加重、分帧加窗和端点检测。

对预处理之后的信号采用基于快速傅里叶变换的特征提取方法提取语音多维特征向量。

特征提取后，进行声学建模，即利用语音特征数据进行HMM模型训练。采用前向后向算法和Baum-Welch算法对模型参数进行修正，最后用Viterbi算法解出产生输出序列的最佳状态转移序列X，这里所谓最佳是以X的最大条件后验概率为准则。模式匹配即在识别时将输入的语音特征与声学模式进行匹配和比较。

语音识别即用于在已有的HMM模型库的前提下，利用运算量相对较小的深度优先算法在已经利用语言模型建立的网络中找到最佳路径，达到最佳识别效果。

HMM模型库的建立是由事先建立的语料库，进行特征提取，以音素单元为基本语音单元组成序列后，分别为这些序列建立声学模型，结合语法和语义建立HMM模型库。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种门控制系统，其特征在于，包括信号采集单元、信号识别单元和外接设备单元；所述信号采集单元通过手势控制接口和语音接口与信号识别单元连接，所述信号识别单元通过控制接口和启动接口与外接设备单元连接；所述信号采集单元包括手势采集模块和语音采集模块，其中手势采集模块具有摄像头，所述摄像头用于采集用户的手势图像，并将采集到的手势图像传输到信号识别单元的手势控制接口；所述语音采集模块具有麦克风，所述麦克风用于采集用户发出的语音指令，并将采集到的语音指令传输到信号识别单元的语音接口；所述信号识别单元包括手势识别模块和语音识别模块，所述手势识别模块将手势采集模块传来的手势图像进行手势识别，并将识别结果作为控制信息传输到外接设备单元的控制接口，所述控制信息用于控制外接设备单元中的控制器；语音识别模块将手势采集模块传来的语音指令进行语音识别，并将识别结果作为启动信息传输到外接设备单元的启动接口，所述启动信息用于控制外接设备单元中的启动器。

2.根据权利要求1所述的门控制系统，其特征在于，所述信号识别单元用于手势识别和语音识别，所述手势识别是指对摄像头采集到的用户手势图像进行识别，语音识别是指对麦克风采集到的用户语音指令进行识别。

3.根据权利要求1所述的门控制系统，其特征在于，所述外接设备单元包括启动器、控制器、显示器、驱动装置和传动结构；

所述启动器用于将语音识别得到的用户指令对摄像头进行激活，使摄像头正常采集用户手势图像；

所述控制器用于将手势识别得到的用户指令转为硬件的中断指令，输出到驱动装置；

所述显示器用于向用户显示任务的完成情况和自动门的开合状态以及门外的监控情况；

所述驱动装置用于根据控制器传输的中断指令带动门体的打开和关闭；

所述传动结构用于配合驱动装置实现门体的打开和关闭。

4.一种用于控制权利要求1所述的门控制系统的控制方法，其特征在于，包括以下步骤：

步骤1、信号采集单元分别采集用户手势图像和语音指令并传送给信号识别单元，信号识别单元对采集到的用户手势图像和语音指令进行手势识别和语音识别；

步骤2、启动器根据信号识别单元所识别的语音指令的语音识别结果控制摄像头的开启与关闭；

步骤3、控制器根据信号识别单元所识别的手势图像的手势识别结果控制门的打开与关闭。

5.根据权利要求4所述的控制方法，其特征在于，所述步骤3中，识别所述手势图像的过程包括以下步骤：

A、对采集的图像进行预处理，去除图像冗余信息，并进行平滑处理和滤波处理；

B、对预处理后的图像进行检测，将检测到的手势区域与背景区域分离形成手势图像；

C、将分离出的手势图像提取手势特征值；

D、对提取的手势特征值进行训练和分类识别，将手势特征值与手势数据库中的手势进行匹配，得到手势识别结果；

E、根据手势识别结果输出控制信息。

6.根据权利要求4所述的控制方法，其特征在于，所述步骤2中，识别所述语音指令的过程包括以下步骤：

（1）采集语音数据并建立语料库；

（2）对采集到的语音信号进行处理；

（3）提取经过处理的语音信号的多维特征向量；

(4）在对语料库中的训练句子进行特征提取之后，利用语音信号的多维特征向量进行声学模型训练；

(5）在语法和语义层面上结合语言的规则建立语言模型；即在给出固定的词序列的前提下，设定每一个词序列与其前面所有词序列的相关性，从而排除某些不期望的词序列，结合声学模型构成完整的词网络；

(6）在模型库中根据已建立的词网络中找到与特征向量相匹配的路径，以得到语音识别结果；

(7）根据识别结果输出启动信息。

7.根据权利要求5所述的控制方法，其特征在于，所述步骤A中，建立所述手势数据库的方法是采集大量的手势正样本和手势负样本进行特征值提取与分类训练，所述手势正负样本用于对手势数据库进行训练。

8.根据权利要求6所述的控制方法，其特征在于，所述步骤(6)中，所述模型库的建立方法是对语料库中的语音数据进行预处理和特征提取以进行声学建模训练，并结合语法和语义建立模型库；所述步骤(4）中，所述训练句子指预先输入语料库的语音数据，所述训练句子用于训练声学模型。