CN114014111B - 一种无接触式的智能电梯控制系统和方法 - Google Patents

Abstract

本发明提供的一种无接触式的智能电梯控制系统和方法，包括基于手势识别技术和语音识别技术的电梯控制屏以及基于智能手机的网络应用程序。本发明提供的系统改变了传统接触式操控电梯的方式，通过利用图像识别、语音识别、无线通信、互联网+网络应用程序等技术融合，构建无需接触即可高效控制电梯的智能电梯控制方法及系统。本发明提供的系统在手势识别模块中通过简单手势识别、多用户手势识别以及动态手势识别，对用户做出的手势指令进行处理，使得电梯对用户收拾信息的录入更加高效。

Description

一种无接触式的智能电梯控制系统和方法

技术领域

本发明涉及电梯智能控制技术领域，尤其涉及一种无接触式的智能电梯控制系统和方法。

背景技术

疫情期间，传统电梯接触式的操作会导致人员间的间接碰触，存在潜在防控风险。若乘客在按键时使用一次性消毒纸巾，又会造成纸张的极大浪费、影响公共卫生环境。

电梯作为公共场所必不可少的公共设施，对于满足残疾人士、老人等弱势群体出行需要的服务水平有限。

传统接触式的电梯控制板与用户交互信息有限，无法实现前端场景的智能感知，一方面导致了乘客等梯、入梯时间慢等问题的发生，另一方面，影响了电梯的智能管理和运行效率。

就目前而言，我国目前已是全球最大的电梯市场，但仍存自主创新能力不足等问题。如何把握住“智能电梯”的发展机遇，构思设计更高效、安全、便利的智能电梯，对发展中国自主的电梯品牌，提升自主创新能力，具有重要的意义。

北京声智科技有限公司设计了一种电梯控制装置及方法，包括：外呼设备，安装在楼层电梯口，所述外呼设备包括语音识别模块、手势识别模块和图像采集模块中的至少一个；楼层控制模块，安装在电梯轿厢侧壁，所述楼层控制模块包括语音交互模块和非接触式感控面板中的至少一个；梯控模块，安装在电梯轿厢内，所述梯控模块与所述外呼设备电连接，且所述梯控模块与所述楼层控制模块电连接。

大连理工大学设计了一种基于手势识别技术的智能电梯控制交互装置及控制方法，包括智能电梯、智能手机、液晶显示屏、手势识别摄像头和红外传感器。智能电梯包含微控制器和电源模块，智能手机通过WiFi和微控制器的无线通讯模块进行数据通信，液晶显示屏、手势识别摄像头和红外传感器通过I/O数据接口和微控制器进行数据通信。液晶显示屏包含内置液晶显示屏和外置液晶显示屏，内置液晶显示屏和手势识别摄像头设在智能电梯的轿厢内部，外置液晶显示屏和红外传感器设在每个楼层电梯的外部。

发明内容

本发明的实施例提供了一种无接触式的智能电梯控制系统和方法，用于解决现有技术中存在的问题。

为了实现上述目的，本发明采取了如下技术方案。

一种无接触式的智能电梯控制系统，包括电梯控制屏和控制服务器；

电梯控制屏包括程序启动模块、手势识别模块、语音识别模块、信息推送模块和梯控模块；手势识别模块用于获得一人或多人的手势请求信息，并传输到程序启动模块；语音识别模块用于获得语音请求信息，并传输到程序启动模块；

程序启动模块用于：

基于获得的手势请求信息，通过简单手势识别算法、多用户手势识别算法和动态手势识别算法计算获得第一电梯上/下行指令信息、第一电梯开/闭门指令信息和第一电梯目标楼层指令信息；将该第一电梯上/下行指令信息、第一电梯开/闭门指令信息和第一电梯目标楼层指令信息发送到梯控模块；

基于语音请求信息，通过语音识别算法计算获得第二电梯上/下行指令信息、第二电梯开/闭门指令信息和第二电梯目标楼层指令信息；将该第二电梯上/下行指令信息、第二电梯开/闭门指令信息和第二电梯目标楼层指令信息发送到梯控模块；

梯控模块用于：

基于程序启动模块发送的指令信息，通过控制服务器控制电梯；

基于内置的安全运行机制解除电梯运行。

优选地，手势识别模块包括手势摄像头、手势分析模块和手势识别模块；

手势摄像头用于：获取手势图像，对该手势图像进行检测，获得手势请求信息；对该手势请求信息进行判断，若手势请求信息为数字指令时，传输到手势分析模块，若手势请求信息为挥手指令时，传输到手势识别模块；

手势分析模块对数字指令进行分析：当数字指令为单人单次指令时，通过简单手势识别算法计算获得第一电梯目标楼层指令信息并发送到梯控模块；当数字指令为单人多次指令时，通过动态手势识别算法和简单手势识别算法计算获得第一电梯目标楼层指令信息并发送到梯控模块；当数字指令为多人单次指令时，通过多用户手势识别算法和简单手势识别算法计算获得第一电梯目标楼层指令信息并发送到梯控模块；当数字指令为多人多次指令时，通过多用户手势识别算法、动态手势识别算法和简单手势识别算法计算获得第一电梯目标楼层指令信息并发送到梯控模块；

手势识别模块用于对挥手指令进行分析，获得第一电梯上/下行指令信息或第一电梯开/闭门指令信息并发送到梯控模块。

优选地，多用户手势识别算法的处理过程包括：

基于数字指令获得人体特征信息和用户第一次手势的位置信息；

若用户第一次手势的位置信息分布于多个区域，结合简单手势识别算法对每个区域的数字指令进行分析计算，获得多个第一电梯目标楼层指令信息；

动态手势识别算法的处理过程包括：

基于数字指令获得人体特征信息、相邻两次手势的相对位置信息和相邻两次手势的时间间隔信息；

若相邻两次手势的相对位置信息位于同一区域，相邻两次手势的时间间隔信息不大于预设阈值，结合简单手势识别算法对该个用户的数字指令进行分析计算，获得多个第一电梯目标楼层指令信息。

优选地，手势识别模块还包括灰度转换模块、高斯滤波模块、二值化处理模块和边缘检测模块；

灰度转换模块用于通过式

Gray＝R*0 .299+G*0 .587+B*0 .114 (1)

将手势摄像头发送的手势图像转换为灰阶图像；式中，R为红色，G为绿色，B为蓝色；

高斯滤波模块用于通过式

g(x,y)＝{f(x-1,y-1)+f(x-1,y+1)+f(x+1,y-1)+f(x+1,y+1)+f(x-1,y)+f(x,y-1)+f(x+1,y)+f(x,y+1)×2+f(x,y)×4}/16(2)

对灰阶图像进行高斯滤波；式中，f(x,y)为原图像中(x,y)的像素点的灰度值；g(x,y)为经过高斯滤波后的值，x为手势识别摄像头采集色彩数据的行值，y为手势识别摄像头采集色彩数据的列值；

二值化处理模块对进行了高斯滤波后的灰阶图像进行二值化处理，获得黑白图像；

边缘检测模块通过索贝尔算子对黑白图像进行边缘检测处理，获得第一电梯上/下行指令信息、第一电梯开/闭门指令信息和第一电梯目标楼层指令信息。

优选地，语音识别模块包括语音录入模块、语音提取模块、语音存储模块和指令处理模块；

语音录入模块用于：获取语音请求，并将该语音请求转换为数字的语音请求信息；对语音请求信息进行识别，获取有效请求信息；

语音提取模块基于有效请求信息，通过语音识别算法计算获得第二电梯上/下行指令信息、第二电梯开/闭门指令信息和第二电梯目标楼层指令信息；

语音存储模块用于存储参考语音特征序列，以及对参考语音特征序列进行模板训练；

指令处理模块用于判断第二电梯上/下行指令信息、第二电梯开/闭门指令信息和第二电梯目标楼层指令信息是否有效；若有效则将第二电梯上/下行指令信息、第二电梯开/闭门指令信息和第二电梯目标楼层指令信息中的任意一种或多种发送到梯控模块；若无效则进行语音播报。

优选地，语音提取模块基于有效请求信息，通过语音识别算法计算获得第二电梯上/下行指令信息、第二电梯开/闭门指令信息和第二电梯目标楼层指令信息包括：

S1对有效请求信息进行滤波、A/D转换、分帧操作和加窗操作；

S2基于执行了S1后的有效请求信息，通过短时傅里叶变换和取倒谱，对有效请求信息中的语音信号进行波形—数字转换操作，获得测试语音特征序列；

S3基于测试语音特征序列和预存在语音存储模块中的参考语音特征序列，通过前向后向训练和Viterbi训练，计算获得测试语音特征序列和参考语音特征序列的输出概率；

S4将测试语音特征序列的输出概率与参考语音特征序列的输出概率进行比较，选取输出概率差值最小的参考语音特征序列作为最佳序列，并基于该最佳序列获得第二电梯上/下行指令信息、第二电梯开/闭门指令信息和第二电梯目标楼层指令信息的源码；

语音存储模块对参考语音特征序列进行模板训练包括：

为参考语音特征序列中每个孤立词建立一个GMM-HMM模型；

基于孤立词的GMM-HMM模型建立语音样本库。

优选地，还包括智能移动终端，该智能移动终端能够通过无线通信单元与电梯控制屏和控制服务器交互信息，该交互的信息包括：电梯实时负载情况、电梯实时楼层位置信息、用户实时位置信息、用户所在的楼层、用户乘梯的方向和用户选择的目标楼层。

第二方面，本发明提供一种无接触式的智能电梯控制方法，包括：

获得手势请求信息或语音请求信息；

基于手势请求信息，通过简单手势识别算法、多用户手势识别算法和动态手势识别算法的一种或多种计算获得第一电梯上/下行指令信息、第一电梯开/闭门指令信息和第一电梯目标楼层指令信息；基于第一电梯上/下行指令信息、第一电梯开/闭门指令信息和第一电梯目标楼层指令信息对电梯进行运行控制；

基于语音请求信息，通过语音识别算法计算获得第二电梯上/下行指令信息、第二电梯开/闭门指令信息和第二电梯目标楼层指令信息，基于该第二电梯上/下行指令信息、第二电梯开/闭门指令信息和第二电梯目标楼层指令信息对电梯进行运行控制。

由上述本发明的实施例提供的技术方案可以看出，本发明提供的一种无接触式的智能电梯控制系统和方法，包括基于手势识别技术和语音识别技术的电梯控制屏以及基于智能手机的网络应用程序。本发明提供的系统改变了传统接触式操控电梯的方式，通过利用图像识别、语音识别、无线通信、互联网+网络应用程序等技术融合，构建无需接触即可高效控制电梯的智能电梯控制方法及系统。本发明提供的系统和方法还具有如下有益效果：

该无接触式的智能电梯控制系统在手势识别模块中通过简单手势识别、多用户手势识别以及动态手势识别，对用户做出的手势指令进行处理，使得电梯对用户收拾信息的录入更加高效；

可有效降低电梯用户间的间接接触而存在的细菌、病毒等感染风险，避免电梯内使用消毒纸巾的而存在的资源浪费，助力国家疫情防控政策，提升社会公共卫生服务水平；

有助于提升弱势群体的社会公共服务水平，有助于满足老人、残疾人等行动不便的用户的乘梯需要；

本发明提供的系统和方法积极把握“智能电梯”的发展机遇，立足于广阔的电梯市场，致力于促进发展中国自主的电梯品牌，提升中国电梯的自主创新能力。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种无接触式的智能电梯控制系统的结构示意图；

图2为本发明提供的一种无接触式的智能电梯控制系统的电梯控制屏的工作流程图；

图3为本发明提供的一种无接触式的智能电梯控制系统的手势识别模块的工作流程图；

图4为本发明提供的一种无接触式的智能电梯控制系统的简单手势识别算法的流程图；

图5为本发明提供的一种无接触式的智能电梯控制系统的语音识别模块的结构图；

图6为本发明提供的一种无接触式的智能电梯控制系统的语音识别模块的工作流程图；

图7为本发明提供的一种无接触式的智能电梯控制系统的基于智能手机的网络应用程序的工作流程图。

图中：

101.电梯控制屏102.控制服务器；

1011.程序启动模块1012.手势识别模块1013.语音识别模块1014.信息推送模块1015.梯控模块。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

本发明提供一种无接触式的智能电梯控制系统和方法，用于解决现有技术中存在的如下问题：

(1)不能同时录入多位用户的楼层信息，增加了用户的时间成本，降低了电梯的运行效率，不利于满足用户的需求。

(2)手势识别模块未含有对两位数楼层用户信息的录入方法，存在一定的局限性。

(3)人梯信息交互有限，用户不能够远程实时了解电梯运行情况，如负载量、实时楼层、运行方向等；

(4)手势识别模块未含有对两位数楼层用户信息的录入方法，存在一定的局限性。

(5)虽含有智能手机与电梯的无线通信模块，但其作用通过WIFI实现，不能有效避免因电梯内信号微弱而可能导致的通信困难的弊端。

参见图1，本发明提供一种无接触式的智能电梯控制系统，电梯控制屏101和控制服务器102；

电梯控制屏101包括程序启动模块1011、手势识别模块1012、语音识别模块1013、信息推送模块1014和梯控模块1015；手势识别模块1012用于获得一人或多人的手势请求信息，并传输到程序启动模块1011；语音识别模块1013用于获得语音请求信息，并传输到程序启动模块1011；

程序启动模块1011用于：

基于获得的手势请求信息，通过简单手势识别算法、多用户手势识别算法和动态手势识别算法计算获得第一电梯上/下行指令信息、第一电梯开/闭门指令信息和第一电梯目标楼层指令信息；将该第一电梯上/下行指令信息、第一电梯开/闭门指令信息和第一电梯目标楼层指令信息发送到梯控模块1015；

基于语音请求信息，通过语音识别算法计算获得第二电梯上/下行指令信息、第二电梯开/闭门指令信息和第二电梯目标楼层指令信息；将该第二电梯上/下行指令信息、第二电梯开/闭门指令信息和第二电梯目标楼层指令信息发送到梯控模块1015；

梯控模块1015用于：

基于程序启动模块1011发送的指令信息，通过控制服务器102控制电梯；

基于内置的安全运行机制解除电梯运行。

图1示出了一种无接触式的智能电梯控制装置结构示意图。这种基于无接触式的智能电梯控制装置主要由电梯控制屏101以及智能移动终端两部分构成。电梯控制屏101安装在电梯轿厢内和楼层电梯口两处，包括液晶显示屏、手势识别摄像头、声音采集器、扬声器、音箱、控制服务器102和电源。智能手机通过网络应用程序与电梯控制屏101单片机的无线通信模块进行数据通信。

如图2所示，电梯控制屏101包括程序启动模块1011、手势识别模块1012、语音识别模块1013、梯控模块1015和信息推送模块1014。当手势识别摄像头在识别范围内捕捉到带有手势的图像，或当声音采集器采集到语音信息时，启动程序，进入手势识别模块1012或语音识别模块1013处理用户信息。在用户指令信息处理完毕后，将用户指令传递到梯控模块1015，实现对电梯运行的控制。同时地，电梯控制屏101通过接入互联网，在液晶显示屏上显示当前时间，今日天气等内容，实现信息的推送，为用户提供便利。电梯控制屏101自带相应的无线通信装置，具体不再赘述。

在本发明提供的优选实施例中，手势识别模块1012包括手势摄像头、手势分析模块和手势识别模块1012；

如图3所示，手势摄像头用于：获取手势图像，对该手势图像进行检测，获得手势请求信息；对该手势请求信息进行判断，若手势请求信息为数字指令时，传输到手势分析模块，手势分析模块在屏幕上进行手势分割，划分区域识别，进一步通过手势分析判断是否有多个用户，以及是否有二次手势。若手势请求信息为挥手指令时，传输到手势识别模块1012，识别是上楼下楼开门关门。最终，每个手势的具体结果都须由简单手势识别得到，再将结果反馈给电梯控制屏101。

手势分析模块对数字指令进行分析：当数字指令为单人单次指令时，通过简单手势识别算法计算获得第一电梯目标楼层指令信息并发送到梯控模块1015；当数字指令为单人多次指令时，通过动态手势识别算法和简单手势识别算法计算获得第一电梯目标楼层指令信息并发送到梯控模块1015；当数字指令为多人单次指令时，通过多用户手势识别算法和简单手势识别算法计算获得第一电梯目标楼层指令信息并发送到梯控模块1015；当数字指令为多人多次指令时，通过多用户手势识别算法、动态手势识别算法和简单手势识别算法计算获得第一电梯目标楼层指令信息并发送到梯控模块1015；

手势识别模块1012用于对挥手指令进行分析，获得第一电梯上/下行指令信息或第一电梯开/闭门指令信息并发送到梯控模块1015。

进一步的，手势识别模块1012还包括灰度转换模块、高斯滤波模块、二值化处理模块和边缘检测模块，用于执行简单手势识别算法、多用户手势识别算法和动态手势识别算法。

其中，多用户手势识别算法的处理过程包括：

基于数字指令获得人体特征信息和用户第一次手势的位置信息；

若用户第一次手势的位置信息分布于多个区域，结合简单手势识别算法对每个区域(即每个用户)的数字指令进行分析计算，获得多个第一电梯目标楼层指令信息。

动态手势识别算法的处理过程包括：

基于数字指令获得人体特征信息、相邻两次手势的相对位置信息和相邻两次手势的时间间隔信息；

若相邻两次手势的相对位置信息位于同一区域，相邻两次手势的时间间隔信息不大于预设阈值，结合简单手势识别算法对该个用户的数字指令进行分析计算，获得多个第一电梯目标楼层指令信息。

简单手势识别算法对手势识别摄像头获取的图像可以进行如图4所示的处理过程。图像经灰度转换模块、高斯滤波模块、二值化处理模块和边缘检测模块处理后使得最终获取的手势信息更加准确、可靠，减少因手势图像不清晰导致的重复输入。举例说明如下：首先对图像进行灰度转换，将彩色的图像转换成256灰阶的图像。

灰度转换模块对于手势采集摄像头采集到的RGB彩色数据进行灰度转换，彩色转换灰度采用色彩心理学公式，具体为：

Gray＝R*0 .299+G*0 .587+B*0 .114 (1)

将手势摄像头发送的手势图像转换为灰阶图像；式中，R为红色，G为绿色，B为蓝色；

因为手势识别摄像头在进行手势采集或者数据传输的时候会混入噪声，因此需要对灰度转换后的256灰阶图像进行高斯滤波，高斯滤波采用3×3掩膜，具体公式如下：g(x,y)＝{f(x-1,y-1)+f(x-1,y+1)+f(x+1,y-1)+f(x+1,y+1)+f(x-1,y)+f(x,y-1)+f(x+1,y)+f(x,y+1)×2+f(x,y)×4}/16(2)

对灰阶图像进行高斯滤波；式中，f(x,y)为原图像中(x,y)的像素点的灰度值；

g(x,y)为经过高斯滤波后的值，x为手势识别摄像头采集色彩数据的行值，范围为：0-648，y为手势识别摄像头采集色彩数据的列值，范围为：0-480。

然后通过二值化处理模块对图像进行二值化处理，将256灰阶图像变成黑白图片之后通过边缘检测模块进行手势边缘检测，最终将处理过的数字图像的结果与已知手势模板比较。

边缘检测模块应用索贝尔算子来做边缘检测，它是一离散性差分算子，用来运算图像亮度函数的灰度之近似值。在图像任何一点处用此算子，都会产生相应的灰度矢量或是其法矢量。

Sobel卷积因子Gx,Gy如下表所示：

表1卷积因子Gx

-1	0	+1
			-2	0	+2
-1	0	+1

表2卷积因子Gy

+1	+2	+1
			0	0	0
-1	-2	-1

该算子包括两组3×3的矩阵，分别是横向和纵向，将之与图像做平面卷积，即可分别得出横向和纵向的亮度差分近似值。

通过手指关键点之间的角度与位置关系即可将手势转换为对应数字。

多用户手势识别算法通过判断肤色等人体特征信息和手势位置，识别不同用户的手势，可满足多个用户同时输入手势的需求。具体实现方式为当多个用户在屏幕前方进行手势识别时，每位用户每次只能使用一只手做出手势，将屏幕上的每个手势划分区域，即通过记录用户第一次手势的位置来划分区域，并在当前区域内继续识别该用户是否再次做出手势，并通过手势肤色、手势大小等辅助判断是否为同一用户的手势。每当用户的手势被成功识别时，则将每位用户的识别结果存入为该用户建立的数组中，进而通过数组中存储的数字进行楼层的运算。

动态手势识别算法通过肤色等人体特征信息、前后手势的相对位置和相对时间间隔的阙值，来判断是否为同一用户的手势，实现对两位数楼层信息的录入。相对时间间隔可通过设置变量每次自增1计数，并对设定的标准值取余。当该变量对标准值取余等于0时，则截取一次画面并对其进行处理，识别用户的手势结果，例如设变量从0开始，设定标准值为30，则计数器每隔30此算法截取一次画面并识别图片中的手势。如果识别到用户在规定时间内做了两次手势，例如第一次做出2，第二次做出1，则将其转化为两位数楼层21。如果用户仅进行一次手势2，则转化为个位数楼层2。在本发明提供的优选实施例中，语音识别模块1013包括语音录入模块、语音提取模块、语音存储模块和指令处理模块。当用户说出楼层指令时，首先进入语音录入单元进行声音录入，而后进入语音提取单元，在对语音信号预处理后，通过语音识别算法进行声音指令的识别与提取。经过语言存储单元，将识别出的语音指令与系统内存储的语言模型进行对比，同时进入指令处理单元，判断用户发出的语音指令是否正确。若一致，则将用户的语音指令从指令处理单元中输出出来，传递到所述梯控模块1015；若不是则进行语音播报，并提示用户指令错误。

语音录入模块用于：对用户发出的语音指令进行信号采集。通过声音采集器将声波转化为电压信号，然后再通过声卡进行采样，从而将连续的电压信号转换为计算机能够处理的数字信号；还能对语音请求信息进行识别，获取有效请求信息；

语音提取模块的工作过程包括语音信号预处理、特征提取和匹配识别三部分。

语音信号预处理，首先要对所采集到的声音信号进行滤波、A/D变换、分帧和加窗等操作过程，减少数据量。

特征提取，采用短时傅里叶变换和取倒谱，将语音信号从波形转换成可以描述其特征的数据信息，获得语音特征序列。

匹配识别，将测试语音特征序列的输出概率与参考语音特征序列的输出概率进行比较，选取与测试语音特征序列的输出概率差值最小的参考语音特征序列作为最佳序列，并基于该最佳序列获得第二电梯上/下行指令信息、第二电梯开/闭门指令信息和第二电梯目标楼层指令信息的源码。

语音存储模块用于存储参考语音特征序列。对参考语音信号进行预处理和特征提取后，进行模板训练。模板训练具体为：为参考语音特征序列“1”～“10”、“上”、“下”、“开”、“关”等每个孤立词建立一个GMM-HMM模型并存储在语音存储模块中作为样本库。其中GMM为协方差为对角阵的高斯混合模型，HMM为一个3状态、左右模型的隐马尔可夫模型；训练时通过EM算法的不断迭代更新并存储参考语音特征序列的GMM-HMM模型的参数。

指令处理模块用于判断所述第二电梯上/下行指令信息、第二电梯开/闭门指令信息和第二电梯目标楼层指令信息是否有效，若有效则将指令信号发送到梯控模块1015；若无效则进行语音播报，提示用户指令错误。

在本发明提供的优选实施例中，本系统还包括智能移动终端，由基于智能手机的网络应用程序通过蓝牙、WIFI、3G/4G/5G等无线通信功能实现与智能电梯的信息交互。其中，网络应用程序的主要功能包括：电梯预约、电梯当前状况显示、用户定位与信息推送。人梯间交互的信息包括但不限于：电梯实时负载情况、电梯实时楼层位置信息、用户实时位置信息、用户所在的楼层、用户乘梯的方向、用户选择的目标楼层。

电梯预约及当前状况显示功能，指用户通过网络应用程序查看电梯当前状况(即当前电梯负载量与电梯目前所在楼层)决定是否乘坐该趟电梯，并进行楼层预约。

用户定位功能，指电梯异常时可以及时提供用户位置信息以保障用户生命安全，并且可以通过用户位置信息判断该用户是否在电梯事先预定的有效范围内，以防止有人恶意远程操控电梯、滥用预约功能。例如通过智能手机的应用程序实现，其过程如图7所示，打开小程序后，立即获取当前位置信息，从而判断当前位置是否在电梯的预设范围里(如50米内)，如果是，则可以使用小程序内的选择楼层功能(用于已到达电梯前的情况)，或者预订功能(用于未到达电梯前的情况)。但不论是否进入电梯周边范围，都可以查看电梯当前负载量，以此决定是否乘坐该电梯。小程序为自主选择关闭类型。

信息推送功能，通过接入互联网，在网络应用程序页面显示日期，天气，公告等信息，为用户提供便利。

网络应用程序与智能电梯的无线通信功能，首先需要在电梯控制屏101的单片机上添加无线通信模块，使智能电梯控制系统搜索到来自智能手机的信号，执行网络应用程序上输入的相应指令。其次，打开网络应用程序的无线通信模块，搜索智能电梯对应的通信设备，获取并连接该设备。在与设备连接后，调用接口获取该设备的所有服务，订阅设备的特征值变化并对其设置监听。最后，通过向该设备写入数据与监听的返回，即可完成通信。同时，在通信完毕后，需要断开与设备的连接，并关闭网络应用程序的无线通信模块。

第二方面，本发明提供一种应用在上述的无接触式的智能电梯控制方法，包括如下过程：

获得手势请求信息或语音请求信息；

基于手势请求信息，通过简单手势识别算法、多用户手势识别算法和动态手势识别算法的一种或多种计算获得第一电梯上/下行指令信息、第一电梯开/闭门指令信息和第一电梯目标楼层指令信息；基于第一电梯上/下行指令信息、第一电梯开/闭门指令信息和第一电梯目标楼层指令信息对电梯进行运行控制；

基于语音请求信息，通过语音识别算法计算获得第二电梯上/下行指令信息、第二电梯开/闭门指令信息和第二电梯目标楼层指令信息，基于该第二电梯上/下行指令信息、第二电梯开/闭门指令信息和第二电梯目标楼层指令信息对电梯进行运行控制。

本发明还提供一个实施例，示例性地显示一个通过上述系统和方法控制电梯运行的过程。

用户处于等电梯状态；

a)用户可以通过楼层电梯口处的电梯控制屏，做出向上或向下挥手的手势，录入乘梯方向信息，等待电梯。

b)用户可以通过楼层电梯口处的电梯控制屏，说出带有“上”或“下”的语音指令，录入乘梯方向信息，等待电梯。

c)用户可以通过智能手机扫描楼层电梯口处的二维码，进入智能电梯网络应用程序，了解电梯内实时负载情况，点击向上或向下乘坐电梯的按钮，等待电梯。

用户进入电梯后；

a)多位用户可以同时通过电梯轿厢内的电梯控制屏，做出目标楼层数字的手势，录入目标楼层信息。

b)对于目标两位数楼层的用户，可以在电梯控制屏屏幕上的同一位置先后做出两次手势，录入两位数目标楼层信息。

c)用户可以在通过电梯控制屏，做出向左或向右挥手的手势(方向为电梯门开关的方向)，控制电梯门的开关。

d)用户做出指令后，可以通过电梯内的液晶显示屏观察到手势识别摄像头或声音采集器所识别出的楼层信息。如有误，可以再次通过手势、语音或进入智能电梯网络应用程序进行确认和修改。

e)用户可以通过电梯控制屏了解到时间、天气、物业通知等信息。

用户未到达楼层电梯口处时；

a)用户可以通过智能手机，进入智能电梯网络应用程序。在了解电梯内实时负载情况后，输入乘坐电梯的楼层以及目标楼层，进行智能电梯的预约。

在用户成功进入电梯后，需要再次通过网络应用程序进行确认，从而录入目标楼层信息。

综上所述，本发明提供的一种无接触式的智能电梯控制系统和方法，包括基于手势识别技术和语音识别技术的电梯控制屏以及基于智能手机的网络应用程序。本发明提供的系统改变了传统接触式操控电梯的方式，通过利用图像识别、语音识别、无线通信、互联网+网络应用程序等技术融合，构建无需接触即可高效控制电梯的智能电梯控制方法及系统。

本发明提供的系统和方法还具有如下有益效果：

该无接触式的智能电梯控制系统在手势识别模块中通过简单手势识别、多用户手势识别以及动态手势识别，对用户做出的手势指令进行处理，使得电梯对用户收拾信息的录入更加高效；

可有效降低电梯用户间的间接接触而存在的细菌、病毒等感染风险，避免电梯内使用消毒纸巾的而存在的资源浪费，助力国家疫情防控政策，提升社会公共卫生服务水平；

有助于提升弱势群体的社会公共服务水平，有助于满足老人、残疾人等行动不便的用户的乘梯需要；

本发明提供的系统和方法积极把握“智能电梯”的发展机遇，立足于广阔的电梯市场，致力于促进发展中国自主的电梯品牌，提升中国电梯的自主创新能力。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种无接触式的智能电梯控制系统，其特征在于，包括电梯控制屏和控制服务器；

所述电梯控制屏包括程序启动模块、手势识别模块、语音识别模块、信息推送模块和梯控模块；所述手势识别模块用于获得一人或多人的手势请求信息，并传输到所述程序启动模块；所述语音识别模块用于获得语音请求信息，并传输到所述程序启动模块；

所述程序启动模块用于：

基于获得的手势请求信息，通过所述手势识别模块的简单手势识别算法、多用户手势识别算法和动态手势识别算法计算获得第一电梯上/下行指令信息、第一电梯开/闭门指令信息和第一电梯目标楼层指令信息；将该第一电梯上/下行指令信息、第一电梯开/闭门指令信息和第一电梯目标楼层指令信息发送到所述梯控模块；

基于语音请求信息，通过语音识别算法计算获得第二电梯上/下行指令信息、第二电梯开/闭门指令信息和第二电梯目标楼层指令信息；将该第二电梯上/下行指令信息、第二电梯开/闭门指令信息和第二电梯目标楼层指令信息发送到所述梯控模块；

所述梯控模块用于：

基于所述程序启动模块发送的指令信息，通过控制服务器控制电梯；

基于内置的安全运行机制解除电梯运行；

所述手势识别模块包括手势摄像头、手势分析模块和手势识别模块；

所述手势摄像头用于：获取手势图像，对该手势图像进行检测，获得手势请求信息；对该手势请求信息进行判断，若手势请求信息为数字指令时，传输到所述手势分析模块，若手势请求信息为挥手指令时，传输到所述手势识别模块；

所述手势分析模块对数字指令进行分析：当数字指令为单人单次指令时，通过所述简单手势识别算法计算获得所述第一电梯目标楼层指令信息并发送到所述梯控模块；当数字指令为单人多次指令时，通过所述动态手势识别算法和简单手势识别算法计算获得所述第一电梯目标楼层指令信息并发送到所述梯控模块；当数字指令为多人单次指令时，通过所述多用户手势识别算法和简单手势识别算法计算获得所述第一电梯目标楼层指令信息并发送到所述梯控模块；当数字指令为多人多次指令时，通过所述多用户手势识别算法、动态手势识别算法和简单手势识别算法计算获得所述第一电梯目标楼层指令信息并发送到所述梯控模块；

所述手势识别模块用于对挥手指令进行分析，获得第一电梯上/下行指令信息或第一电梯开/闭门指令信息并发送到所述梯控模块；

所述多用户手势识别算法的处理过程包括：

基于数字指令获得人体特征信息和用户第一次手势的位置信息；

若用户第一次手势的位置信息分布于多个区域，结合简单手势识别算法对每个区域的数字指令进行分析计算，获得多个第一电梯目标楼层指令信息；

所述动态手势识别算法的处理过程包括：

基于数字指令获得人体特征信息、相邻两次手势的相对位置信息和相邻两次手势的时间间隔信息；

若相邻两次手势的相对位置信息位于同一区域，相邻两次手势的时间间隔信息不大于预设阈值，结合简单手势识别算法对数字指令进行分析计算，获得多个第一电梯目标楼层指令信息。

2.根据权利要求1所述的智能电梯控制系统，其特征在于，所述手势识别模块还包括灰度转换模块、高斯滤波模块、二值化处理模块和边缘检测模块；

所述灰度转换模块用于通过式

Gray＝R*0 .299+G*0 .587+B*0 .114 (1)

将所述手势摄像头发送的手势图像转换为灰阶图像；式中，R为红色，G为绿色，B为蓝色；

所述高斯滤波模块用于通过式

g(x,y)＝{f(x-1,y-1)+f(x-1,y+1)+f(x+1,y-1)+f(x+1,y+1)+f(x-1,y)+f(x,y-1)+f(x+1,y)+f(x,y+1)×2+f(x,y)×4}/16(2)

对所述灰阶图像进行高斯滤波；式中，f(x,y)为原图像中(x,y)的像素点的灰度值；g(x,y)为经过高斯滤波后的值，x为手势识别摄像头采集色彩数据的行值，y为手势识别摄像头采集色彩数据的列值；

所述二值化处理模块对进行了高斯滤波后的灰阶图像进行二值化处理，获得黑白图像；

所述边缘检测模块通过索贝尔算子对所述黑白图像进行边缘检测处理，获得第一电梯上/下行指令信息、第一电梯开/闭门指令信息和第一电梯目标楼层指令信息。

3.根据权利要求1所述的智能电梯控制系统，其特征在于，所述语音识别模块包括语音录入模块、语音提取模块、语音存储模块和指令处理模块；

所述语音录入模块用于：获取语音请求，并将该语音请求转换为数字的所述语音请求信息；对所述语音请求信息进行识别，获取有效请求信息；

所述语音提取模块基于有效请求信息，通过语音识别算法计算获得第二电梯上/下行指令信息、第二电梯开/闭门指令信息和第二电梯目标楼层指令信息；

所述语音存储模块用于存储参考语音特征序列，以及对参考语音特征序列进行模板训练；

所述指令处理模块用于判断所述第二电梯上/下行指令信息、第二电梯开/闭门指令信息和第二电梯目标楼层指令信息是否有效；若有效则将所述第二电梯上/下行指令信息、第二电梯开/闭门指令信息和第二电梯目标楼层指令信息中的任意一种或多种发送到所述梯控模块；若无效则进行语音播报。

4.根据权利要求3所述的智能电梯控制系统，其特征在于，所述的语音提取模块基于有效请求信息，通过语音识别算法计算获得第二电梯上/下行指令信息、第二电梯开/闭门指令信息和第二电梯目标楼层指令信息包括：

S1对有效请求信息进行滤波、A/D转换、分帧操作和加窗操作；

S2基于执行了S1后的有效请求信息，通过短时傅里叶变换和取倒谱，对有效请求信息中的语音信号进行波形—数字转换操作，获得测试语音特征序列；

S3基于测试语音特征序列和预存在所述语音存储模块中的参考语音特征序列，通过前向后向训练和Viterbi训练，计算获得测试语音特征序列和参考语音特征序列的输出概率；

S4将测试语音特征序列的输出概率与参考语音特征序列的输出概率进行比较，选取输出概率差值最小的参考语音特征序列作为最佳序列，并基于该最佳序列获得第二电梯上/下行指令信息、第二电梯开/闭门指令信息和第二电梯目标楼层指令信息的源码；

所述语音存储模块对参考语音特征序列进行模板训练包括：

为参考语音特征序列中每个孤立词建立一个GMM-HMM模型；

基于孤立词的GMM-HMM模型建立语音样本库。

5.根据权利要求1所述的智能电梯控制系统，其特征在于，还包括智能移动终端，该智能移动终端能够通过无线通信单元与所述电梯控制屏和控制服务器交互信息，该交互的信息包括：电梯实时负载情况、电梯实时楼层位置信息、用户实时位置信息、用户所在的楼层、用户乘梯的方向和用户选择的目标楼层。

6.一种无接触式的智能电梯控制方法，其特征在于，包括：

获得手势请求信息或语音请求信息，包括获取手势图像，对该手势图像进行检测，获得手势请求信息；

基于手势请求信息，通过简单手势识别算法、多用户手势识别算法和动态手势识别算法的一种或多种计算获得第一电梯上/下行指令信息、第一电梯开/闭门指令信息和第一电梯目标楼层指令信息；基于第一电梯上/下行指令信息、第一电梯开/闭门指令信息和第一电梯目标楼层指令信息对电梯进行运行控制；具体包括：

对该手势请求信息进行判断：若手势请求信息为数字指令时，对数字指令进行分析：当数字指令为单人单次指令时，通过所述简单手势识别算法计算获得所述第一电梯目标楼层指令信息；当数字指令为单人多次指令时，通过所述动态手势识别算法和简单手势识别算法计算获得所述第一电梯目标楼层指令信息；当数字指令为多人单次指令时，通过所述多用户手势识别算法和简单手势识别算法计算获得所述第一电梯目标楼层指令信息；当数字指令为多人多次指令时，通过所述多用户手势识别算法、动态手势识别算法和简单手势识别算法计算获得所述第一电梯目标楼层指令信息；若手势请求信息为挥手指令时，对挥手指令进行分析，获得第一电梯上/下行指令信息或第一电梯开/闭门指令信息；

基于语音请求信息，通过语音识别算法计算获得第二电梯上/下行指令信息、第二电梯开/闭门指令信息和第二电梯目标楼层指令信息，基于该第二电梯上/下行指令信息、第二电梯开/闭门指令信息和第二电梯目标楼层指令信息对电梯进行运行控制；

多用户手势识别算法的处理过程包括：

基于数字指令获得人体特征信息和用户第一次手势的位置信息；

若用户第一次手势的位置信息分布于多个区域，结合简单手势识别算法对每个区域的数字指令进行分析计算，获得多个第一电梯目标楼层指令信息；

所述动态手势识别算法的处理过程包括：

基于数字指令获得人体特征信息、相邻两次手势的相对位置信息和相邻两次手势的时间间隔信息；

若相邻两次手势的相对位置信息位于同一区域，相邻两次手势的时间间隔信息不大于预设阈值，结合简单手势识别算法对数字指令进行分析计算，获得多个第一电梯目标楼层指令信息。

Images