CN211479672U

CN211479672U - 基于离线虹膜识别和语音识别的工程设备控制系统

Info

Publication number: CN211479672U
Application number: CN201921839393.XU
Authority: CN
Inventors: 黎青; 邱锦波; 方彤; 张阳; 郭岱
Original assignee: Tiandi Shanghai Mining Equipment Technology Co Ltd; Tiandi Science and Technology Co Ltd Shanghai Branch; China Coal Technology and Engineering Group Corp
Current assignee: Tiandi Shanghai Mining Equipment Technology Co Ltd; Tiandi Science and Technology Co Ltd Shanghai Branch; China Coal Technology and Engineering Group Corp
Priority date: 2019-10-30
Filing date: 2019-10-30
Publication date: 2020-09-11
Anticipated expiration: 2029-10-30

Abstract

本实用新型提供了一种基于离线虹膜识别和语音识别的工程设备控制系统，该系统包括：虹膜识别单元，实时采集当前操作员的当前虹膜信息从而判断其身份是否合法，并进一步在身份合法时获取其操作权限语音指令集；语音识别单元，与虹膜识别单元相连接，采集当前操作员发出的待执行语音指令，并在该当前操作员的身份合法时将采集到的待执行语音指令转换为用于控制工程设备的控制指令；反馈单元，显示工程设备反馈的设备操作状态信息，通过虹膜实时采集验证身份以及语音识别指令代替原有声纹、指纹和面部识别等其他验证方式，提高了操作员身份及操作权限识别的准确度和安全性，而且在离线环境下进行，不需联网，操作便捷，适应性强，应用广泛。

Description

基于离线虹膜识别和语音识别的工程设备控制系统

技术领域

本实用新型涉及一种工程机械设备的控制技术领域，具体地涉及一种基于离线虹膜识别和语音识别的工程设备控制系统。

背景技术

在工程机械领域，由于所涉及的大多为大型重工设备，因此，对于设备的操作安全非常注重，往往在验证操作人员的身份后需要进一步确认操作人员的操作权限，以确认是由指定的人员在预定的权限内操作设备。关于操作员人身份识别以及操作权限识别的技术，目前已发展出现多种，例如、语音识别技术已日渐成熟并普及，通过语音向电子设备发出控制指令的功能已经成功地应用在不少消费电子产品中，例如苹果手机的Siri功能。然而，这些技术直接应用到工程机械领域却存在很多问题。

首先，由于语音自身容易受其他条件影响而导致的不稳定，而且，对于语音内容的确定，将其由自然语言转换为电子设备可接受的计算机语言往往要求相关设备在线连接一个用于语义转换的外部数据库等。这些问题都提高了基于语音的电子设备控制技术的使用成本。

其次，语音控制系统常常是基于声纹验证的方式确定操作人员的身份和权限，在接收到语音命令的时候，同时采集其声纹，并根据验证结果执行反馈。针对这种形式的身份验证型语音识别系统，每次接收到语音都会进行判断，信息经过判断和识别两个节点，增加了误执行或不执行的几率。同时，声纹识别无法保证在同一用户不同健康状态下声纹识别的准确性和安全性，声纹验证型的语音识别技术已经不再具有普适性。

另一种基于指纹识别的语音识别系统，但在工程机械领域，受污染程度较高，指纹很难采集，因此也不能适应更广的范围。还有一种带人脸识别的语音识别系统，其对环境光照和人脸距离要求较高，无法在某些较暗环境使用，且人脸识别的算法工程量大难以在离线或资源较少的嵌入式系统中高效运行，需要联网，增加了使用要求，限制了使用。

实用新型内容

本实用新型是为了解决上述问题而进行的，目的在于提供一种身份及操作权限识别准确度高、安全性强、并能够广泛应用于工程机械领域的基于离线虹膜识别和语音识别的工程设备控制系统。

本实用新型提供了一种基于离线虹膜识别和语音识别的工程设备控制系统，其特征在于，包括：虹膜识别单元，用于实时采集当前操作员的当前虹膜信息从而判断其身份是否合法，并进一步在身份合法时获取当前操作员的操作权限语音指令集；语音识别单元，与虹膜识别单元相连接，用于采集当前操作员发出的待执行语音指令，并在虹膜识别单元识别出该当前操作员的身份合法时将采集到的待执行语音指令转换为用于控制工程设备执行对应操作的控制指令；以及反馈单元，用于显示工程设备反馈的设备操作状态信息。

在本实用新型提供的基于离线虹膜识别和语音识别的工程设备控制系统中，还可以具有这样的特征，其中，虹膜识别单元包含：人员信息数据库，一一对应存储有预定至少一个操作员的标准虹膜信息、操作权限语音指令集；虹膜采集模块，用于实时采集当前操作员的当前虹膜信息；虹膜判断模块，将采集到的当前虹膜信息与人员信息数据库中存储的标准虹膜信息进行对比，从而判断出该当前操作员的身份是否合法；权限获取模块，在当前操作员的身份合法时获取其对应的操作权限语音指令集，语音识别单元包含：语音指令数据库，一一对应存储有所有语音指令对应的语音关键词；语音采集模块，用于采集当前操作员发出的语音信息；语音处理模块，根据语音指令数据库中存储的语音关键词对采集到的语音信息进行识别处理从而得到匹配的语音指令；执行判断模块，基于权限获取模块获取的操作权限语音指令集判断语音指令是否合法；命令转换模块，在执行判断模块判断为合法时将语音指令转换成对应的控制命令。

在本实用新型提供的基于离线虹膜识别和语音识别的工程设备控制系统中，还可以具有这样的特征，其中，人员信息数据库和语音指令数据库为本地离线数据库。

在本实用新型提供的基于离线虹膜识别和语音识别的工程设备控制系统中，还可以具有这样的特征，其中，虹膜识别单元还包含：语音使能模块，在虹膜判断模块判断出该当前操作员的身份合法时激活语音识别单元中的执行判断模块。

在本实用新型提供的基于离线虹膜识别和语音识别的工程设备控制系统中，还可以具有这样的特征，其中，虹膜识别单元还包含：计时模块，用于在虹膜采集模块未采集到当前虹膜信息时开始计时，警醒提示模块，用于在计时模块计时达到第一预设时间阈值时发出警示信息从而提醒当前操作员继续执行虹膜采集动作。

在本实用新型提供的基于离线虹膜识别和语音识别的工程设备控制系统中，还可以具有这样的特征，其中，警醒提示模块还用于在虹膜判断模块判断为该操作员不合法时或者在计时模块计时超出第二预设时间阈值时发出警告信息。

在本实用新型提供的基于离线虹膜识别和语音识别的工程设备控制系统中，还可以具有这样的特征，其中，语音识别单元还包含：语音唤醒模块，用于通过关键词识别、虹膜识别或者按键操作唤醒语音采集模块执行语音采集功能。

在本实用新型提供的基于离线虹膜识别和语音识别的工程设备控制系统中，还可以具有这样的特征，其中，控制单元，根据命令转换模块得到的控制指令控制工程设备执行对应操作。

在本实用新型提供的基于离线虹膜识别和语音识别的工程设备控制系统中，还可以具有这样的特征，还包括：操作面板单元，具有至少一个指令按键，一旦任意的指令按键被按下，控制单元控制工程设备执行对应操作。

在本实用新型提供的基于离线虹膜识别和语音识别的工程设备控制系统中，还可以具有这样的特征，其中，虹膜采集模块为双目摄像头，根据操作员所处于的驾驶座的位置朝向操作员的眼睛倾斜设置。

实用新型的作用与效果

根据本实用新型所涉及的基于离线虹膜识别和语音识别的工程设备控制系统，通过虹膜识别单元实时采集当前操作员的当前虹膜信息，从而判断其身份是否合法，并进一步在身份合法时获取当前操作员的操作权限语音指令集，进一步通过语音识别单元采集该操作员发出的待执行语音指令，并在其身份合法时将采集到的待执行语音指令转换为用于控制工程设备执行对应操作的控制指令，最终设备的操作状态信息显示在反馈单元上，通过虹膜实时采集验证身份以及语音识别指令代替原有声纹、指纹和面部识别等其他验证方式，提高了操作员身份及操作权限识别的准确度和安全性，而且身份识别与语音识别在离线环境下进行，不需要连接网络保持在线状态，因此不受任何工程环境困扰，具有很强的适应性，应用广泛。

附图说明

图1是本实用新型的实施例中基于离线虹膜识别和语音识别的工程设备控制系统的结构框图。

图2是本实用新型的实施例中基于离线虹膜识别和语音识别的工程设备控制系统的虹膜识别处理流程图。

图3是本实用新型的实施例中基于离线虹膜识别和语音识别的工程设备控制系统的语音识别处理流程图。

具体实施方式

下面通过实施例的方式进一步说明本实用新型，但并不因此将本实用新型限制在所述的实施例范围之中。

<实施例>

如图1所示，在本实施例中，基于离线虹膜识别和语音识别的工程设备控制系统100用于对工程设备的启停、运行进行控制，例如启、停、升、降等，尤其适用于对矿用工程机械的控制。首先通过虹膜识别来判断当前操作员200的身份是否合法，然后对语音命令进行采集并判断出其所做出的操作权限是否合法。基于离线虹膜识别和语音识别的工程设备控制系统100包括：虹膜识别单元10、语音识别单元20、反馈单元30、控制单元40以及操作面板单元50。

虹膜识别单元10用于实时采集当前操作员的当前虹膜信息，从而判断其身份是否合法，并进一步在身份合法时获取当前操作员的操作权限语音指令集。

虹膜识别单元10包含：人员信息数据库11、虹膜采集模块12、虹膜判断模块13、权限获取模块14、语音使能模块15、计时模块16以及警醒提示模块17。

人员信息数据库11一一对应存储有预定至少一个操作员的标准虹膜信息、操作权限语音指令集，在本实施例中，人员信息数据库11为本地离线数据库，优选地，标准虹膜信息包含每名操作员的左右眼各两个标准虹膜信息模板，这样无需联网即可在本地进行虹膜识别和操作权限获取操作。另外，操作权限语音指令集包含预定的至少一个语音指令。

虹膜采集模块12用于实时采集当前操作员的当前虹膜信息，在本实施例中，虹膜采集模块12为双目摄像头，根据操作员所处于的驾驶座的位置朝向操作员的眼睛倾斜设置，让操作员能够以舒适的姿势实时进行虹膜采集。另外，该双目摄像头被设置为以间隔预定时间循环进行采集的方式运行，从而实现实时采集虹膜信息，进一步实时判断操作员的身份是否合法，防止在合法的操作员离开时，其他非法的操作员进行非法不当操作。

虹膜判断模块13将虹膜采集模块12采集到的当前虹膜信息与人员信息数据库11中存储的标准虹膜信息进行虹膜生物特征对比，从而判断出该当前操作员的身份是否合法。具体地，若采集到的当前虹膜信息与任意的标准虹膜信息的比对结果为相匹配时，则该当前操作员的身份为合法；若不存在标准虹膜信息与采集到的当前虹膜信息匹配时，则该当前操作员的身份为不合法，也就是说其不具有任何操作权限。

权限获取模块14在虹膜判断模块13判断出当前操作员的身份合法时，从人员信息数据库11中获取该操作员对应的操作权限语音指令集。在本实施例中，不同的操作员可能具有不同的操作权限，只有通过虹膜识别操作员的身份后才能进一步获取其对应的操作权限语音指令集，从而获知其具体的操作权限内容。

语音使能模块15在虹膜判断模块13判断出该当前操作员的身份合法时激活语音识别单元20的语音指令执行功能，具体地，语音使能模块15向语音识别单元20发送激活信号或使能信号。

计时模块16用于在虹膜采集模块12未采集到任何当前虹膜信息时开始计时。

警醒提示模块17用于在计时模块16计时达到第一预设时间阈值时发出警示信息，从而提醒当前操作员继续执行虹膜采集动作。这样，防止操作人员中途离开太久导致本次的身份验证有效状态即将失效，提醒操作人员及时返回并通过虹膜识别验证身份合法性，从而维持操作权限的有效状态。

另外，警醒提示模块17还用于在虹膜判断模块13判断为该操作员身份不合法而不具有任何操作权限时，或者在计时模块16计时超出第二预设时间阈值时，发出警告信息，从而提醒操作员当前的身份验证为无效状态，具体包含两种情况：一是身份验证未通过，身份非法；二是因超时而导致身份验证从有效状态变为失效状态，都需重新进行身份识别、重新对设备进行操作，提高设备使用安全性。这里，第二预设时间阈值大于第一预设时间阈值。

语音识别单元20与虹膜识别单元10相连接，用于采集当前操作员发出的待执行语音指令，并在虹膜识别单元10识别出该当前操作员的身份合法时，将采集到的待执行语音指令转换为用于控制工程设备执行对应操作的控制指令。

语音识别单元20包含：语音指令数据库21、语音采集模块22、语音处理模块23、执行判断模块24、命令转换模25以及语音唤醒模块26。

语音指令数据库21一一对应存储有所有语音指令对应的语音关键词；在本实施例中，语音指令数据库21为本地离线数据库，所有语音指令对应的语音关键词所包含的命令词语模板是通过训练预先收集的语音生成的，这样无需联网即可在本地进行语音指令识别操作。

语音采集模块22用于采集当前操作员发出的语音信息。

语音处理模块23根据语音指令数据库21中存储的语音关键词对采集到的语音信息进行识别处理，从而得到匹配的语音指令。

执行判断模块24首先基于语音使能模块15发来的激活信号或使能信号执行判断动作，从而确保语音识别操作的安全合法性。执行判断模块24具体的判断动作为：基于虹膜识别单元10中的权限获取模块14获取的操作权限语音指令集判断语音指令是否合法。具体地，若识别到的语音指令与对应的操作权限语音指令集中包含的任意语音指令的比对结果为相匹配时，则该语音指令的操作权限为合法；若对应的操作权限语音指令集中不存在任意语音指令与识别到的语音指令匹配时，则该语音指令的操作权限为不合法。

命令转换模块25在执行判断模块24判断为合法时将语音指令转换成对应的控制命令。

语音唤醒模块26用于通过关键词识别、虹膜识别或者按键操作唤醒语音采集模块22执行语音采集功能。

反馈单元30用于显示工程设备反馈的设备操作状态信息。在本实施例中，反馈单元30为显示屏，实现显示功能即可。而且，反馈的设备操作状态信息可以为已执行、识别失败、验证超时重新验证等信息，同时可匹配语音提醒。

控制单元40根据命令转换模块25得到的控制指令控制工程设备执行对应操作。

操作面板单元50具有至少一个指令按键，一旦任意的指令按键被按下，控制单元40控制工程设备执行对应操作。在本实施例中，操作面板单元50 具有两个按键：急停按键和停止按键，设置该指令按键的目的是为了急停、停止等应急情况的需要，无需发出语音指令，只要按下对应的指令按键即可，快速准确。

基于以上具体结构，基于离线虹膜识别和语音识别的工程设备控制系统 100的虹膜识别处理流程和语音识别处理流程分别如下。

如图2所示，基于离线虹膜识别和语音识别的工程设备控制系统100的虹膜识别处理流程具体包含以下步骤：

步骤S101，虹膜采集模块12采集当前操作员的当前虹膜信息，然后进入步骤S102。

步骤S102，虹膜判断模块13将虹膜采集模块12采集到的当前虹膜信息与人员信息数据库11中存储的标准虹膜信息进行虹膜生物特征对比，从而判断出该当前操作员的身份是否合法，若是，则进入步骤S103；若否，则进入步骤S101。

步骤S103，权限获取模块14获取该操作员对应的操作权限语音指令集，然后进入步骤S104。

步骤S104，语音使能模块15发送激活信号或使能信号激活语音识别单元20的执行判断模块24中，然后进入步骤S105。

步骤S105，判断虹膜采集模块12是否采集到当前虹膜信息，若是，则进入步骤S102；若否，则进入步骤S106。

步骤S106，计时模块16开始计时，然后进入步骤S107。

步骤S107，判断计时模块16计时是否达到第一预设时间阈值，若是，则进入步骤S108；若否，则进入步骤S105。

步骤S108，警醒提示模块17发出警示信息，然后进入结束状态。

如图3所示，基于离线虹膜识别和语音识别的工程设备控制系统100的语音识别处理流程具体包含以下步骤：

上述实施例中的语音识别流程图如图3所示，语音识别控制的先决条件是虹膜状态有效S301，通过声音提示操作人员已进入语音控制等待状态 S302，由语音采集模块采集操作人员语音指令S303，从身份认证后进入的对应语音指令权限库中匹配对应指令S304，由执行模块执行相应语音代码 S305，任意状态下的操作失败由反馈模块提示S306。

步骤S201，语音采集模块22采集当前操作员发出的语音信息，然后进入步骤S202。

步骤S202，语音处理模块23根据语音指令数据库21中存储的语音关键词对采集到的语音信息进行识别处理，从而得到匹配的语音指令，然后进入步骤S203。

步骤S203，判断是否收到语音使能模块15发来的激活信号或使能信号，若是，则进入步骤S204；若否，则进入结束状态。

步骤S204，执行判断模块24基于虹膜识别单元10中的权限获取模块14获取的操作权限语音指令集判断处理得到的语音指令是否合法，若是，则进入步骤S205；若否，则进入结束状态。

步骤S205，命令转换模块25将语音指令转换成对应的控制命令，然后进入结束状态。

实施例的作用与效果

根据本实施例所涉及的基于离线虹膜识别和语音识别的工程设备控制系统，通过虹膜识别单元实时采集当前操作员的当前虹膜信息，从而判断其身份是否合法，并进一步在身份合法时获取当前操作员的操作权限语音指令集，进一步通过语音识别单元采集该操作员发出的待执行语音指令，并在其身份合法时将采集到的待执行语音指令转换为用于控制工程设备执行对应操作的控制指令，最终设备的操作状态信息显示在反馈单元上，通过虹膜实时采集验证身份以及语音识别指令代替原有声纹、指纹和面部识别等其他验证方式，提高了操作员身份及操作权限识别的准确度和安全性，而且身份识别与语音识别在离线环境下进行，不需要连接网络保持在线状态，因此不受任何工程环境困扰，具有操作便捷、对环境光照要求低、适应性强的特点，应用广泛，能尽量降低外部条件对语音识别的影响的效果。

虽然以上描述了本实用新型的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本实用新型的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本实用新型的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本实用新型的保护范围。

Claims

1.一种基于离线虹膜识别和语音识别的工程设备控制系统，其特征在于，包括：

虹膜识别单元，用于实时采集当前操作员的当前虹膜信息从而判断其身份是否合法，并进一步在身份合法时获取所述当前操作员的操作权限语音指令集；

语音识别单元，与所述虹膜识别单元相连接，用于采集所述当前操作员发出的待执行语音指令，并在所述虹膜识别单元识别出该当前操作员的身份合法时将采集到的所述待执行语音指令转换为用于控制工程设备执行对应操作的控制指令；以及

反馈单元，用于显示所述工程设备反馈的设备操作状态信息。

2.根据权利要求1所述的基于离线虹膜识别和语音识别的工程设备控制系统，其特征在于：

其中，所述虹膜识别单元包含：

人员信息数据库，一一对应存储有预定至少一个操作员的标准虹膜信息、操作权限语音指令集；

虹膜采集模块，用于实时采集当前操作员的所述当前虹膜信息；

虹膜判断模块，将采集到的所述当前虹膜信息与所述人员信息数据库中存储的所述标准虹膜信息进行对比，从而判断出该当前操作员的身份是否合法；

权限获取模块，在所述当前操作员的身份合法时获取其对应的所述操作权限语音指令集，

所述语音识别单元包含：

语音指令数据库，一一对应存储有所有语音指令对应的语音关键词；

语音采集模块，用于采集当前操作员发出的所述语音信息；

语音处理模块，根据所述语音指令数据库中存储的所述语音关键词对采集到的所述语音信息进行识别处理从而得到匹配的语音指令；

执行判断模块，基于所述权限获取模块获取的所述操作权限语音指令集判断所述语音指令是否合法；

命令转换模块，在所述执行判断模块判断为合法时将所述语音指令转换成对应的所述控制命令。

3.根据权利要求2所述的基于离线虹膜识别和语音识别的工程设备控制系统，其特征在于：

其中，所述人员信息数据库和所述语音指令数据库为本地离线数据库。

4.根据权利要求3所述的基于离线虹膜识别和语音识别的工程设备控制系统，其特征在于：

其中，所述虹膜识别单元还包含：

语音使能模块，在所述虹膜判断模块判断出该当前操作员的身份合法时激活所述语音识别单元中的所述执行判断模块。

5.根据权利要求4所述的基于离线虹膜识别和语音识别的工程设备控制系统，其特征在于：

其中，所述虹膜识别单元还包含：

计时模块，用于在所述虹膜采集模块未采集到所述当前虹膜信息时开始计时，

警醒提示模块，用于在所述计时模块计时达到第一预设时间阈值时发出警示信息从而提醒所述当前操作员继续执行虹膜采集动作。

6.根据权利要求5所述的基于离线虹膜识别和语音识别的工程设备控制系统，其特征在于：

其中，所述警醒提示模块还用于在所述虹膜判断模块判断为该操作员不合法时或者在所述计时模块计时超出第二预设时间阈值时发出警告信息。

7.根据权利要求6所述的基于离线虹膜识别和语音识别的工程设备控制系统，其特征在于：

其中，所述语音识别单元还包含：

语音唤醒模块，用于通过关键词识别、虹膜识别或者按键操作唤醒所述语音采集模块执行语音采集功能。

8.根据权利要求7所述的基于离线虹膜识别和语音识别的工程设备控制系统，其特征在于，还包括：

控制单元，根据所述命令转换模块得到的所述控制指令控制所述工程设备执行对应操作。

9.根据权利要求8所述的基于离线虹膜识别和语音识别的工程设备控制系统，其特征在于，还包括：

操作面板单元，具有至少一个指令按键，一旦任意的所述指令按键被按下，所述控制单元控制所述工程设备执行对应操作。

10.根据权利要求9所述的基于离线虹膜识别和语音识别的工程设备控制系统，其特征在于：

其中，所述虹膜采集模块为双目摄像头，根据操作员所处于的驾驶座的位置朝向操作员的眼睛倾斜设置。