CN111591844B - 一种基于多模态识别的智能电梯控制系统及控制方法 - Google Patents

Abstract

本发明涉及一种基于多模态识别的智能电梯控制系统及控制方法，该系统包括：摄像装置、指静脉装置、语音通话装置、控制单元、桥连电路设备和通信单元，电梯控制方法包括：1)指静脉信息以及人脸信息注册，建立当前用户的信息数据库；根据安全等级，启动摄像装置、指静脉装置、语音通话装置中的一个或多个装置，对用户信息进行验证，若验证成功，控制单元启动电梯到达指定楼层，若验证失败，则进入下一步；3)验证失败后，转接物业或相关部门进行处理。本发明通过双重校验进行信息识别，提高了安全性，采用无接触控制方式，减少了接触式病原传播，实现了针对不同楼层的不同安全等级，提高了用户的使用体验。

Description

一种基于多模态识别的智能电梯控制系统及控制方法

技术领域

本发明属于指静脉识别技术领域，尤其涉及一种基于多模态识别的智能电梯控制系统及控制方法。

背景技术

指静脉识别技术是一种通过对测试对象的手指静脉成像特征进行研究来实现分类识别的先进技术。相比于传统的人脸识别和指纹识别等体外特征识别技术，具有唯一性强，不可复制，安全性高等优点。因此指静脉识别技术常常与军事工业或对安全性要求较高的银行系统。在其识别性能突飞猛进的今天，已经出现通过指静脉识别装置进行车辆解锁的技术。

同时，电梯已经是现代城市生活中不可缺少的一部分。为了上下楼层的安全，人们设计出来多种多样的电梯安全认证系统。

中国专利CN110745655A公开了一种掌静脉识别电梯预定系统，包括手掌静脉识别模块、用户停靠层建模模块、识别结果输出模块和电梯控制模块。该发明通过在电梯门厅上设置手掌静脉识别模块，摄录呼叫楼层的搭乘人员的手掌静脉数据和搭乘状况；通过设置用户停靠层建模模块，建立用户的和搭乘楼层数的对应关系；通过识别结果输出模块，向用户反馈识别结果；通过设置电梯控制模块，执行搭乘任务或及时调整搭乘信息。即控制了电梯的使用权限，提高了办公或居住环境的安全性，又通过识别自动设置用户的停靠楼层节省了用户的时间。

中国专利CN109095302A公开了一种人脸识别电梯安防管理系统，包括人脸识别电梯管理系统、云平台和楼层控制开关；云平台包括电梯管理系统、云平台服务器、云平台通讯模块。采集有权限使用电梯人员的脸部图像信息和对应的楼层权限，在接收到脸部图像信息后调用数据库进行身份匹配，身份匹配成功后将反馈对应的楼层权限。该发明基于人脸识别技术，提高楼宇安防。

中国专利CN110482341A公开了一种采用语音控制选择楼层的电梯系统，包括设置在墙体上的电梯口和电梯中控系统；所述电梯口的正面方向上设有供乘客下电梯的第一通道；所述电梯口的侧面方向上设有供乘客上电梯的第二通道；所述第二通道的地面上沿第二通道的长度方向间隔设有供行人站立的等待位；所述第二通道处设有供乘客语音选择楼层的语音选层装置；所述语音选层装置包括麦克风和语音识别芯片；对应每个等待位均设有麦克风。该发明能够规范电梯乘用秩序，有效提高电梯的使用效率。此外，在等待电梯的时间段，乘客即可通过语音方式选择楼层，操作便捷，有效提高电梯乘用体验。

中国专利CN108203030A公开了一种基于云计算的指纹识别电梯系统，包括智能电梯指纹认证的远端客服协助装置、指纹识别智能电梯控制装置、电梯、通信网络等。用于实现用户通过指纹认证结合网络通信模块，通过指纹的比对结果来决定电梯是否运行。当该装置检测到非活体时，则将图像传输到客服终端进行人工识别。

由于指纹为体外特征非常容易被模拟，且电梯系统配置后端进行比对的人工客服，在一定程度上会限制电子产品的运行效率，对于不法分子来说，指纹模块比较容易攻克，这大大降低了智能电梯的安全性。另外，电梯往往使用接触式按键，很容易导致交叉污染，电梯按键又为病毒在同一建筑内不同人群之间的传染提供了媒介，且电梯的按键不容易被清理干净，接触率较高，特别容易导致病菌的滋生，这也大大增加了用户患病的风险。

另外，在乘梯过程中单独的语音识别对于用户隐私的保护不够，容易造成用户目标楼层提前泄露，造成潜在的安全隐患；单独人脸识别容易发生误识，且当用户佩戴口罩或帽子时，由于面部受到遮挡识别准确率较差。在疫情状况下，摘掉口罩又会提高交叉感染的风险。因此迫切需要一种安全高效并能根据不同用户进行适配的智能电梯控制系统出现。

发明内容

为解决现有智能电梯控制指令单一，安全性能差，不存在多级校验，且必须通过接触才能进行控制的问题，本发明提供了一种基于多模态识别的智能电梯控制系统及控制方法。

为了达到目的，本发明提供的技术方案为：

本发明涉及的一种基于多模态识别的智能电梯控制系统，包括：

摄像装置，用于采集用户人脸信息，实现人脸信息注册和识别，同时满足用户的远程视频通话需求；

指静脉装置，用于采集用户指静脉信息，实现指静脉注册和识别；

语音通话装置，用于接收用户的控制指令信息及在紧急状态下与物业及相关部门进行沟通；

控制单元，用于存储用户的指静脉数据和人脸信息数据、进行人脸识别和指静脉识别并将识别结果进行反馈，以及接收语音控制指令并启动电梯，以及设置电梯目标楼层的安全等级；

桥连电路设备，用于为摄像装置、指静脉识别装置、语音通话装置和控制单元提供稳定的电源；

通信单元，用于将采集的信息或发出的命令传输到目标位置。

优选地，所述的摄像装置还用于为物业及相关部门提供电梯内的视频画面。

优选地，所述的指静脉装置包括：

指静脉设备读头，用于获取手指中指静脉信息；

打光装置，与指静脉设备读头配合，用于调整指静脉设备读头位置的亮度；

配套电路设备，用于为指静脉设备读头及打光装置供电。

优选地，所述的语音通话装置还包括两个拨号按钮：

紧急状况拨号按钮，用于电梯非正常状况下与物业及相关部门联系；

通话按钮，用于验证失败无法到达对应楼层时与目的楼层用户沟通使用，以开启远程控制权限。

本发明涉及一种基于多模态识别的智能电梯控制方法，包括以下步骤：

1)利用指静脉装置和摄像装置对用户进行指静脉信息以及人脸信息注册，依据注册信息建立当前用户的信息数据库；针对电梯到达的每个目标楼层设置相应的安全等级；

2)用户在使用电梯时，根据目标楼层的安全等级，启动摄像装置、指静脉装置、语音通话装置中的一个或多个装置，对用户信息进行验证，若验证成功，控制单元启动电梯到达指定楼层，若验证失败，则进入下一步；

3)当验证失败后，控制单元启动语音通话装置和摄像装置，并转接物业或相关部门进行处理，经物业或相关部门远端认证后解除控制电梯的控制限制。

优选地，所述的步骤1)中的安全等级包括高安全等级、中安全等级和低安全等级。

优选地，当目标楼层的安全等级为高安全等级时，摄像装置、指静脉装置和语音通话装置依次动作，所述的步骤2)的具体步骤包括：

2.1)用户靠近摄像装置，摄像装置捕捉到目标人脸进行人脸识别验证，如果人脸识别多次验证失败，直接进入步骤3)，如果人脸识别验证成功则播报用户信息，并提醒用户进行指静脉验证；

2.2)用户通过指静脉装置进行指静脉识别验证，如果指静脉多次验证失败，直接进入步骤3)，如果指静脉识别验证成功，则播报目标楼层信息，同时发送信号至目标楼层，提醒目标楼层管理员进行远端认证；

2.3)如果目标楼层管理员未进行指静脉验证或指静脉验证多次失败，直接进入步骤3)，如果目标楼层管理员指静脉验证成功，播报验证成功信息，同时控制单元启动电梯到达目标楼层。

优选地，当目标楼层的安全等级为中安全等级时，摄像装置、指静脉装置依次动作，所述的步骤2)的具体步骤包括：

2.1)用户靠近摄像装置，摄像装置捕捉到目标人脸进行人脸识别，如果人脸识别多次验证失败，则建议用户直接进行指静脉识别验证，如果人脸识别验证成功则播报用户信息，并提醒用户进行指静脉识别验证；

2.2)用户通过指静脉装置进行指静脉识别验证，如果指静脉多次验证失败，则直接进入步骤3)，如果指静脉识别验证成功，则播报目标楼层信息，控制单元启动电梯到达目标楼层。

优选地，当目标楼层的安全等级为低安全等级时，用户选择摄像装置进行人脸识别验证或者选择指静脉装置进行指静脉识别验证或者通过摄像装置和语音通话装置直接联系目标楼层管理员，通过远端认证的方式启动电梯；当用户选择人脸识别验证或指静脉识别验证时，如果选择的验证方式成功，则播报目标楼层信息，控制单元启动电梯到达目标楼层，如果选择的验证多次失败，则进入步骤3)。

优选地，当步骤2)的用户不是步骤1)的注册人员或者是多次验证失败的人员或者由于个人原因无法进行正常验证的人员时，用户通过摄像装置和语音通话装置直接联系目标楼层管理员，通过远端认证的方式启动电梯。

优选地，所述步骤1)中利用指静脉装置进行指静脉信息注册时，用户对一根或多根手指进行指静脉注册。

采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：

1、本发明针对电梯的不同目标楼层设置相应的安全等级，最高安全等级需要电梯内指静脉验证成功、目标楼层指静脉验证成功、乘梯人人脸识别验证成功，且乘梯人员人脸验证信息会被记录；中安全等级需要电梯内指静脉验证成功、乘梯人人脸识别验证成功；低安全等级仅需要人脸识别验证成功，即可启动电梯到达目标楼层。控制系统的安全性能明显高于普通电梯。

2、本发明利用指静脉识别技术结合人脸识别进行用户信息识别，通过双重验证进行信息识别，在保证识别准确度的情况下大大提高了安全性。

3、本发明采用无感信息采集，即通过语音通话装置获取用户想到到达的楼层，或者根据用户注册时的楼层信息判定用户的到达楼层，避免了人与人之间通过按键接触造成的交叉感染，减少因使用电梯造成的接触式病原传播。

4、本发明提供一种基于远程授权的方式进行电梯控制模式，即目标楼层人员通过指静脉授权，可以允许用户到达目标楼层，用于解决特殊情况下的用户乘梯需求。

5、本发明允许用户以语音形式进行到达楼层修改，简化了交互方式，便于非正常人群使用。

附图说明

图1为新用户注册时对应数据库建立流程图；

图2为高安全等级电梯运行流程图；

图3为中安全等级电梯运行流程图；

图4为低安全等级电梯运行流程图；

图5为目标楼层识别方法流程图；

图6为验证失败次数过多的处理流程图。

具体实施方式

为进一步了解本发明的内容，结合实施例对本发明作详细描述，以下实施例用于说明本发明，但不用来限制本发明的范围。

实施例一

本实施例涉及一种基于多模态识别的智能电梯控制系统，包括：

摄像装置，用于采集用户人脸信息，实现人脸信息注册和识别，同时满足用户的远程视频通话需求，还用于为物业及相关部门提供电梯内的视频画面；

指静脉装置，用于采集用户指静脉信息，实现指静脉注册和识别；

语音通话装置，用于接收用户的控制指令信息及在紧急状态下与物业及相关部门进行沟通；

控制单元，用于存储用户的指静脉数据和人脸信息数据，进行人脸识别和指静脉识别过程中将采集到的人脸信息和指静脉信息与数据库进行比对并将比对结果进行反馈，接收语音控制指令并启动电梯，设置电梯目标楼层的安全等级；

桥连电路设备，用于为摄像装置、指静脉识别装置、语音通话装置和控制单元提供稳定的电源；

通信单元，用于将采集的信息或发出的命令传输到目标位置。

上述的指静脉装置包括：

指静脉设备读头，用于获取手指中指静脉信息；

打光装置，与指静脉设备读头配合，用于调整指静脉设备读头位置的亮度；

配套电路设备，用于为指静脉设备读头及打光装置供电。

上述的语音通话装置还包括两个拨号按钮：紧急状况拨号按钮和通话按钮，紧急状况拨号按钮，用于电梯非正常状况下与物业及相关部门联系；

通话按钮，用于验证失败无法到达对应楼层时与目的楼层用户沟通使用，以开启远程控制权限。

实施例二

参照图2，本实施例涉及一种基于多模态识别的智能电梯控制方法，采用实施例一的智能电梯控制系统，包括以下步骤：

1)利用指静脉装置和摄像装置对用户进行指静脉信息以及人脸信息注册，依据注册信息建立当前用户的信息数据库。利用指静脉装置进行指静脉信息注册时，结合附图1所示，新用户注册时对应数据库建立流程图的具体步骤为：用户通过指静脉设备读头进行新用户注册，根据系统语音提示进行相应操作完成指静脉注册，然后在同一用户下进行人脸注册，注册后的用户应当包含人脸注册数据、指静脉注册数据，用户对一根或多根手指进行指静脉注册，以保证非常规状况下的识别率；针对电梯到达的每个目标楼层设置相应的安全等级，安全等级包括高安全等级、中安全等级和低安全等级；

需要注意的是，人脸注册和指静脉注册的用户信息必须对应，否则无法在较高权限下正常乘梯。用户注册完成后，可以根据自己的需要进行尝试性验证，以此来保证当前用户在乘坐电梯的过程中能够正常使用已经注册的人脸和指静脉。由于人脸和指静脉的验证系统存在自学习功能，多次验证可以提高用户在使用过程中的验证流畅度，但此过程用于提升用户体验非必须进行，可以根据用户的主观意愿进行选择，从而给与用户最大的自主决定权。

2)用户在使用电梯时，根据目标楼层的安全等级，启动摄像装置、指静脉装置、语音通话装置中的一个或多个装置，对用户信息进行验证，若验证成功，控制单元启动电梯到达指定楼层，若验证失败，则进入下一步，本实施例中当前电梯的安全等级为高安全等级，此时，摄像装置、指静脉装置和语音通话装置依次动作，结合附图2所示，高安全等级下电梯运行流程为：

2.1)用户靠近摄像装置，摄像装置捕捉到目标人脸进行人脸识别验证，如果人脸识别多次验证失败，直接进入步骤3)，如果人脸识别验证成功则播报用户信息，并提醒用户进行指静脉验证；

2.2)用户通过指静脉装置进行指静脉识别验证，如果指静脉多次验证失败，直接进入步骤3)，如果指静脉识别验证成功，则播报目标楼层信息，同时发送信号至目标楼层，打开单向视频系统进行单向视频通话，所述单向视频通话是指目标楼层用户通过摄像装置可以看到乘梯人但乘梯人无法看到目标楼层用户，以此来保证目标楼层用户的个人安全，以此提醒目标楼层管理员进行远端认证；

2.3)如果目标楼层管理员未进行指静脉验证或指静脉验证多次失败，直接进入步骤3)，如果目标楼层管理员指静脉验证成功，播报验证成功信息，同时控制单元启动电梯到达目标楼层。

3)当验证失败后，控制单元启动语音通话装置和摄像装置，并转接物业或相关部门进行处理，经物业或相关部门远端认证后解除控制电梯的控制限制。

上述步骤2)中，电梯可通过三种途径获取目标楼层，如图5所示：

(1)注册用户的注册信息中有目标楼层

如果注册用户的注册信息中包含目标楼层，则电梯通知用户目标楼层的层数，同时等待用户确认；如果用户修改目标楼层，则根据用户的修改结果进行目标楼层播报，经用户确认后启动电梯直至到达目标楼层。

(2)注册用户的注册信息中不包含目标楼层

如果注册用户的注册信息中不包含目标楼层，则通过语音询问用户所想要到达的目标楼层，然后播报目标楼层信息，如果需要修改则重新设定目标楼层，如果用户确认则启动电梯直至到达目标楼层，需要指出的是，由于人脸识别的不稳定性存在，人脸识别失败的用户会启动与物业的视频通话进行远程协助，指静脉认证用户可选择通过目标楼层远端认证的方式来进行电梯启动。

(3)通过远端认证的情况

对于通过目标楼层远端认证的情况，则直接根据确认的楼层进行目标楼层播报。在用户确认后启动电梯直至到达目标楼层，如果用户拒绝前往目标楼层，则根据用户的语音信息进行相应的操作。

如图6所示，当经过上述步骤进行身份验证且验证结果最终失败时，根据验证失败原因，智能电梯控制系统还会进行如下操作：

(1)人脸验证失败次数过多

如果用户在进行人脸验证时失败次数过多，则记录当前人脸信息，并提醒用户进行指静脉验证；如果此时指静脉验证成功，则将利用当前人脸信息刷新注册的人脸数据，从而保证用户在下一次验证时具有较好的通过率。

(2)指静脉验证失败次数过多

如果用户在进行指静脉验证时失败次数过多，则记录当前用户的人脸信息和指静脉信息进行留存，同时打开语音识别提醒乘梯用户输入目标楼层，然后发起目标楼层远程验证申请。如果目标楼层指静脉验证通过，则启动电梯直至到达目标楼层。如果目标楼层拒绝通过，则自动打开视频录像功能，通知安保单位介入。

(3)目标楼层验证失败次数过多

如果用户目标楼层验证失败次数较多，且当前目标楼层用户未通过其他注册用户介入，则自动通知物业管理人员进行介入处理。

实施例三

参照图3，本实施例涉及一种基于多模态识别的智能电梯控制方法，采用实施例一的智能电梯控制系统，包括以下步骤：

1)利用指静脉装置和摄像装置对用户进行指静脉信息以及人脸信息注册，依据注册信息建立当前用户的信息数据库。利用指静脉装置进行指静脉信息注册时，结合附图1所示，新用户注册时对应数据库建立流程图的具体步骤为：用户通过指静脉设备读头进行新用户注册，根据系统语音提示进行相应操作完成指静脉注册，然后在同一用户下进行人脸注册，注册后的用户应当包含人脸注册数据、指静脉注册数据，用户对一根或多根手指进行指静脉注册，以保证非常规状况下的识别率；针对电梯到达的每个目标楼层设置相应的安全等级，安全等级包括高安全等级、中安全等级和低安全等级；

需要注意的是，人脸注册和指静脉注册的用户信息必须对应，否则无法在较高权限下正常乘梯。用户注册完成后，可以根据自己的需要进行尝试性验证，以此来保证当前用户在乘坐电梯的过程中能够正常使用已经注册的人脸和指静脉。由于人脸和指静脉的验证系统存在自学习功能，多次验证可以提高用户在使用过程中的验证流畅度，但此过程用于提升用户体验非必须进行，可以根据用户的主观意愿进行选择，从而给与用户最大的自主决定权。

2)用户在使用电梯时，根据目标楼层的安全等级，启动摄像装置、指静脉装置、语音通话装置中的一个或多个装置，对用户信息进行验证，若验证成功，控制单元启动电梯到达指定楼层，若验证失败，则进入下一步，本实施例中当前电梯的安全等级为中安全等级，此时，摄像装置、指静脉装置依次动作，所述的步骤2)的具体步骤如图3所示，具体步骤包括：

2.1)用户靠近摄像装置，摄像装置捕捉到目标人脸进行人脸识别，如果人脸识别多次验证失败，则建议用户直接进行指静脉识别验证，如果人脸识别验证成功则播报用户信息，并提醒用户进行指静脉识别验证；

2.2)用户通过指静脉装置进行指静脉识别验证，如果指静脉多次验证失败，则直接进入步骤3)，如果指静脉识别验证成功，则播报目标楼层信息，控制单元启动电梯到达目标楼层。

3)当验证失败后，控制单元启动语音通话装置和摄像装置，并转接物业或相关部门进行处理，经物业或相关部门远端认证后解除控制电梯的控制限制。

本实施例中，电梯获取目标楼层的途径以及验证失败后智能电梯控制系统处理方式均与实施例二相同，本实施例不再阐述。

实施例四

参照图4，本实施例涉及一种基于多模态识别的智能电梯控制方法，采用实施例一的智能电梯控制系统，包括以下步骤：

1)利用指静脉装置和摄像装置对用户进行指静脉信息以及人脸信息注册，依据注册信息建立当前用户的信息数据库。利用指静脉装置进行指静脉信息注册时，结合附图1所示，新用户注册时对应数据库建立流程图的具体步骤为：用户通过指静脉设备读头进行新用户注册，根据系统语音提示进行相应操作完成指静脉注册，然后在同一用户下进行人脸注册，注册后的用户应当包含人脸注册数据、指静脉注册数据，用户对一根或多根手指进行指静脉注册，以保证非常规状况下的识别率；针对电梯到达的每个目标楼层设置相应的安全等级，安全等级包括高安全等级、中安全等级和低安全等级；

2)用户在使用电梯时，根据目标楼层的安全等级，启动摄像装置、指静脉装置、语音通话装置中的一个或多个装置，对用户信息进行验证，若验证成功，控制单元启动电梯到达指定楼层，若验证失败，则进入下一步，本实施例中当前电梯的安全等级为低安全等级，此时，用户选择摄像装置进行人脸识别验证或者选择指静脉装置进行指静脉识别验证或通过摄像装置和语音通话装置直接联系目标楼层管理员，通过远端认证的方式启动电梯。

具体步骤如图4所示，具体步骤包括：

当用户选择人脸识别验证或指静脉识别验证时，如果选择的验证方式成功，则播报目标楼层信息，控制单元启动电梯到达目标楼层，如果选择的验证多次失败，则进入步骤3)。

3)当验证失败后，控制单元启动语音通话装置和摄像装置，并转接物业或相关部门进行处理，经物业或相关部门远端认证后解除控制电梯的控制限制。

本实施例中，电梯获取目标楼层的途径以及验证失败后智能电梯控制系统处理方式均与实施例二相同，本实施例不再阐述。

实施例五

本实施例涉及一种基于多模态识别的智能电梯控制方法，包括以下步骤：

当步骤2)的用户不是步骤1)的注册人员或者是多次验证失败的人员或者由于个人原因无法进行正常验证的人员时，用户通过摄像装置和语音通话装置直接联系目标楼层管理员，通过远端认证的方式启动电梯。

其它与实施例二相同。

以上结合实施例对本发明进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍属于本发明的专利涵盖范围之内。

Claims (5)

1.一种基于多模态识别的智能电梯控制方法，其特征在于：所用的智能电梯控制系统包括：摄像装置，用于采集用户人脸信息，实现人脸信息注册和识别，同时满足用户的远程视频通话需求；指静脉装置，用于采集用户指静脉信息，实现指静脉注册和识别；语音通话装置，用于接收用户的控制指令信息及在紧急状态下与物业及相关部门进行沟通；控制单元，用于存储用户的指静脉数据和人脸信息数据、进行人脸识别和指静脉识别并将识别结果进行反馈，以及接收语音控制指令并启动电梯，以及设置电梯目标楼层的安全等级；桥连电路设备，用于为摄像装置、指静脉识别装置、语音通话装置和控制单元提供稳定的电源；通信单元，用于将采集的信息或发出的命令传输到目标位置；

其包括以下步骤：

1）利用指静脉装置和摄像装置对用户进行指静脉信息以及人脸信息注册，依据注册信息建立当前用户的信息数据库；针对电梯到达的每个目标楼层设置相应的安全等级，安全等级包括高安全等级、中安全等级和低安全等级；

2）用户在使用电梯时，根据目标楼层的安全等级，启动摄像装置、指静脉装置、语音通话装置中的一个或多个装置，对用户信息进行验证，若验证成功，控制单元启动电梯到达指定楼层，若验证失败，则进入下一步；

当目标楼层的安全等级为高安全等级时，摄像装置、指静脉装置和语音通话装置依次动作，所述的步骤2）的具体步骤包括：

2.1）用户靠近摄像装置，摄像装置捕捉到目标人脸进行人脸识别验证，如果人脸识别多次验证失败，直接进入步骤3），如果人脸识别验证成功则播报用户信息，并提醒用户进行指静脉验证；

2.2）用户通过指静脉装置进行指静脉识别验证，如果指静脉多次验证失败，直接进入步骤3），如果指静脉识别验证成功，则播报目标楼层信息，同时发送信号至目标楼层，提醒目标楼层管理员进行远端认证；

2.3）如果目标楼层管理员未进行指静脉验证或指静脉验证多次失败，直接进入步骤3），如果目标楼层管理员指静脉验证成功，播报验证成功信息，同时控制单元启动电梯到达目标楼层；

2.4）当经过上述步骤进行身份验证且验证结果最终失败时，根据验证失败

原因，智能电梯控制系统还会进行如下操作：如果用户在进行人脸验证时失败次数过多，则记录当前人脸信息，并提醒用户进行指静脉验证；如果此时指静脉验证成功，则将利用当前人脸信息刷新注册的人脸数据；如果用户在进行指静脉验证时失败次数过多，则记录当前用户的人脸信息和指静脉信息进行留存，同时打开语音识别提醒乘梯用户输入目标楼层，然后发起目标楼层远程验证申请，如果目标楼层指静脉验证通过，则启动电梯直至到达目标楼层，如果目标楼层拒绝通过，则自动打开视频录像功能，通知安保单位介入；如果用户目标楼层验证失败次数较多，且当前目标楼层用户未通过其他注册用户介入，则自动通知物业管理人员进行介入处理；

当目标楼层的安全等级为中安全等级时，摄像装置、指静脉装置依次动作，所述的步骤2）的具体步骤包括：

2.1）用户靠近摄像装置，摄像装置捕捉到目标人脸进行人脸识别，如果人脸识别多次验证失败，则建议用户直接进行指静脉识别验证，如果人脸识别验证成功则播报用户信息，并提醒用户进行指静脉识别验证；

2.2）用户通过指静脉装置进行指静脉识别验证，如果指静脉多次验证失败，则直接进入步骤3），如果指静脉识别验证成功，则播报目标楼层信息，控制单元启动电梯到达目标楼层；

当目标楼层的安全等级为低安全等级时，用户选择摄像装置进行人脸识别验证或者选择指静脉装置进行指静脉识别验证或者通过摄像装置和语音通话装置直接联系目标楼层管理员，通过远端认证的方式启动电梯；当用户选择人脸识别验证或指静脉识别验证时，如果选择的验证方式成功，则播报目标楼层信息，控制单元启动电梯到达目标楼层，如果选择的验证多次失败，则进入步骤3）；

3）当验证失败后，控制单元启动语音通话装置和摄像装置，并转接物业或相关部门进行处理，经物业或相关部门远端认证后解除控制电梯的控制限制。

2.根据权利要求1所述的基于多模态识别的智能电梯控制方法，其特征在于：所述的摄像装置还用于为物业及相关部门提供电梯内的视频画面。

3.根据权利要求1所述的基于多模态识别的智能电梯控制方法，其特征在于：所述的指静脉装置包括：

指静脉设备读头，用于获取手指中指静脉信息；

打光装置，与指静脉设备读头配合，用于调整指静脉设备读头位置的亮度；

配套电路设备，用于为指静脉设备读头及打光装置供电。

4.根据权利要求1所述的基于多模态识别的智能电梯控制方法，其特征在于：所述的语音通话装置还包括两个拨号按钮：

紧急状况拨号按钮，用于电梯非正常状况下与物业及相关部门联系；

通话按钮，用于验证失败无法到达对应楼层时与目的楼层用户沟通使用，以开启远程控制权限。

5.根据权利要求1所述的基于多模态识别的智能电梯控制方法，其特征在于：当步骤2）的用户不是步骤1）的注册人员或者是多次验证失败的人员或者由于个人原因无法进行正常验证的人员时，用户通过摄像装置和语音通话装置直接联系目标楼层管理员，通过远端认证的方式启动电梯。

Images