CN106446861A

CN106446861A - 一种手语识别系统、装置及方法

Info

Publication number: CN106446861A
Application number: CN201610883613.3A
Authority: CN
Inventors: 石元博; 黄越洋; 刘洋洋; 慈火凤
Original assignee: Liaoning Shihua University
Current assignee: Liaoning Shihua University
Priority date: 2016-09-28
Filing date: 2016-09-28
Publication date: 2017-02-22

Abstract

本发明提供一种手语识别系统、装置及方法，其中所述手语识别系统包括图像获取模块、图像识别模块、存储模块、转换模块以及显示模块；图像获取模块用于获取手势图像；图像识别模块用于识别手势图像中的信息；存储模块用于存储预先的手势图像及其文字信息；转换模块用于将手势图像转换成文字信息或语音信息；其中，图像获取模块通过图像识别模块与图像处理单元连接；存储模块与图像处理单元连接；转换模块接收端与图像处理单元连接，转换模块输出端与显示模块连接；通过采用以上技术方案，能够有效实现手语识别，从而方便聋哑人交流沟通，提高聋哑人的生活质量；本发明提供的方案通俗实用、方便、可行性高，并且成本相对较低。

Description

一种手语识别系统、装置及方法

技术领域

本发明属于手语识别采集技术领域，具体涉及一种手语识别系统、装置及方法。

背景技术

当前为迎合现在人的生活需求，各种辅助设备孕育而生，例如专门针对聋哑人设计的手语识别装置，其应用不但具有深远的生活意义，而且市场前景较为广阔。当今社会聋哑人群体依然较为庞大，如何使聋哑人理解、明白交际用语，实现无障碍化沟通成为和谐社会重要的内容；现有的手语识别技术相对较为复杂，不方便聋哑人实用；再者手语识别装置相对价钱也高，在使用过程中容易出现手语动作不明确、混乱的问题；同时现有手势识别也存在识别不准确的问题造成翻译错误，严重影响到聋哑人沟通。

基于上述手语识别装置中存在的技术问题，尚未有相关的解决方案；因此迫切需要寻求有效方案以解决上述问题。

发明内容

本发明的目的是针对上述技术中存在的不足之处，提出一种手语识别系统，旨在解决现有聋哑人交流不方便、效率低的问题。

本发明提供一种手语识别系统，包括图像获取模块、图像识别模块、存储模块、转换模块以及显示模块；图像获取模块用于获取手势图像；图像识别模块用于识别手势图像中的信息；存储模块用于存储预先的手势图像及其文字信息；转换模块用于将手势图像转换成文字信息或语音信息；其中，图像获取模块通过图像识别模块与图像处理单元连接；存储模块与图像处理单元连接；转换模块接收端与图像处理单元连接，转换模块输出端与显示模块连接。

进一步地，模拟模块与图像识别模块连接；模拟模块根据图像识别模块获取的多个角度手势图像进行立体模拟。

进一步地，还包括加速度传感器或红外传感器；加速度传感器或红外传感器用于获取手势图像的手势信息，并通过处理器进一步调整手势图像信息。

相应地，本发明还提供一种手语识别装置，包括有本体、屏幕第一摄像头以及第二摄像头；本体内设有图像处理单元、图像识别模块、存储模块、转换模块以及模拟模块；存储模块存储预先的手势图像；第一摄像头设置于本体的正面，第二摄像头设置于本体的背面。

相应地，本发明还提供一种手语识别方法，包括以下步骤：

S1：图像获取模块获取手势图像，并传输于图像识别模块；

S2：图像识别模块根据手势图像通过像素识别判断手势图像是否满足要求；当手势图像的像素低于预设像素时，提示用户从新获取手势图像，当手势图像的像素不低于预设像素时，将手势图像传输于图像处理单元；

S3：图像处理单元接收手势图像并与存储模块中预先存储的手势图像进行匹配；当手势图像匹配一致时，通过转换模块将手势图像对应的文字信息输出于显示模块上。

通过采用以上技术方案，能够有效实现手语识别，从而方便聋哑人交流沟通，提高聋哑人的生活质量；同时通过多方向的模拟及调整手势图像增强手势识别的效果，避免存在误翻译的问题；本发明提供的方案通俗实用、方便、可行性高，并且成本相对较低。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

以下将结合附图对本发明作进一步说明：

图1为本发明一种手语识别装置的系统结构示意图；

图2为本发明一种手语识别装置的主视图；

图3为本发明一种手语识别装置的后视图；

图4为本发明一种手语识别装置的侧视图；

图5为本发明一种手语识别装置的仰视图；

图6为本发明一种手语识别方法的流程图。

图中：1、本体；2、屏幕；3、第一摄像头；4、扬声器；5、第二摄像头；6、第一按键；7、第二按键；8、USB接口。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

如图1所示，本发明提供一种手语识别系统，包括图像获取模块、图像识别模块、存储模块、转换模块以及显示模块；图像获取模块用于获取手势图像；图像识别模块用于识别手势图像中的信息，采用现有图像识别技术可有效采集手势图像中的具体信息，包括图像内容以及方位；存储模块用于存储预先的手势图像及其文字信息，即存储每个手语手势的图像，以及其对应的文字意思，为后续的对比分析提供支持；转换模块用于将手势图像转换成可供参考阅读的文字信息或语音信息；其中，图像获取模块通过图像识别模块与图像处理单元连接；存储模块与图像处理单元连接；转换模块接收端与图像处理单元连接，转换模块输出端与显示模块连接；进一步地，为能够实现语音识别或聆听，还包括有扬声器，扬声器与图像处理模块连接，可通过转换模块实现语音播放功能；通过采用上述方案，能够有效实现手语识别，从而方便聋哑人交流沟通，提高聋哑人的生活质量。

优选地，结合上述方案，本发明提供的手语识别系统还包括模拟模块，其中模拟模块与图像识别模块连接；图像获取模块获取不同角度的手势图像并传输于图像识别模块，模拟模块根据图像识别模块处理的多个角度手势图像进行立体模拟；并形成多个手势图像族，多个手势图像族可以多向与存储模块中的标准手势图像进行匹配，防止初步获取的手势图像角度不对影响翻译。

优选地，结合上述方案，本发明提供的手语识别系统还包括加速度传感器或红外传感器；加速度传感器或红外传感器主要用于获取手势图像的手势信息，其中手势信息包括手势的角度以及方位，这样有利于通过微型处理器进一步调整手势图像，避免存在误差。

结合上述方案，如图2至图5所示，本发明还提供一种手语识别装置，包括有本体1、屏幕2、扬声器4、第一摄像头3以及第二摄像头5，其中屏幕2设置于本体1上供用户识别和观看，本体1的侧边设有第一按键6和第二按键7，第一按键6主要用于调节音量，第二按键7主要用于锁屏和解锁，在本体1的底部还设有USB接口8主要用于充电或通讯连接；进一步地，在本体1内设有图像处理单元、图像识别模块、存储模块、转换模块以及模拟模块；存储模块存储预先的手势图像及其文字信息；第一摄像头3设置于本体1的正面，可以有效获取前面的手势图像，第二摄像头5设置于本体1的背面，可以有效获取后面的手势图像；进一步地，还包括扬声器4，扬声器4设置于本体1前面；通过上述方案可以有效进行手势的识别以及沟通，提高聋哑人的交流效果。

结合上述方案，如图6所示，本发明还提供一种手语识别方法，包括以下步骤：

S1：图像获取模块获取手势图像，其中包括获取多个方向及角度的手势图像，并将其传输于图像识别模块；

S2：图像识别模块根据手势图像通过像素识别判断手势图像是否满足要求，这个主要是防止图像像素较低时影响到匹配效果；当图像识别手势图像的像素低于预设像素时，提示用户需要从新获取手势图像，当图像识别手势图像的像素不低于预设像素时，将手势图像传输于图像处理单元；

S3：图像处理单元接收图像识别模块处理后的手势图像并与存储模块中预先存储的手势图像进行匹配；当手势图像匹配一致时，通过转换模块将手势图像对应的文字信息转换成显示模块上端可识别的文字信息。

优选地，结合上述方案，在S3步骤中，还包括当手势图像匹配一致时，通过转换模块将手势图像对应的文字信息转换成扬声器可识别的语音信息。

优选地，结合上述方案，在S1步骤中，还包括以下步骤：

S11：通过加速度传感器或红外传感器获取手势信息，包括手势的角度、方位以及距离，同时可以调整手势图像的像素效果，并且有利于通过微型处理器进一步调整手势图像、避免存在误差；进一步地，在通过处理器调整手势图像与预先存储的手势图像进行匹配，并可通过多个角度的图像进行匹配，提高识别效果。

优选地，在S3步骤之前，还包括：

S21：根据S11步骤中获取的手势信息将手势图像进行多角度调整；多角度调整包括手势的前方、左方、右方、上方、下方五个方向进行调整，并形成多个角度的图像信息，供后续进行匹配。

优选地，在S21步骤中还包括：

S22：将前方、左方、右方、上方、下方五个方向调整后的手势图像分别与预先存储的手势图像进行匹配，进一步提高匹配效果，防止错位存在的手势图像的影响。

通过采用以上技术方案，能够有效实现手语识别，从而方便聋哑人交流沟通，提高聋哑人的生活质量；同时通过多方向的模拟及调整手势图像可调手势识别的效果，避免存在误翻译的问题；本发明提供的方案通俗实用、方便、可行性高，并且成本相对较低。

以上所述，仅为本发明的较佳实施例，并非对本发明做任何形式上的限制。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述所述技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术对以上实施例所做的任何改动修改、等同变化及修饰，均属于本技术方案的保护范围。

Claims

1.一种手语识别系统，其特征在于，包括图像获取模块、图像识别模块、存储模块、转换模块以及显示模块；所述图像获取模块用于获取手势图像；所述图像识别模块用于识别所述手势图像中的信息；所述存储模块用于存储预先的手势图像及其文字信息；所述转换模块用于将所述手势图像转换成文字信息或语音信息；其中，所述图像获取模块通过所述图像识别模块与所述图像处理单元连接；所述存储模块与所述图像处理单元连接；所述转换模块接收端与所述图像处理单元连接，所述转换模块输出端与所述显示模块连接。

2.根据权利要求1所述的手语识别系统，其特征在于，还包括模拟模块，所述模拟模块与所述图像识别模块连接；所述模拟模块根据所述图像识别模块获取的多个角度手势图像进行立体模拟。

3.根据权利要求1所述的手语识别系统，其特征在于，还包括加速度传感器或红外传感器；所述加速度传感器或所述红外传感器用于获取手势图像的手势信息，并通过处理器进一步调整所述手势图像信息。

4.一种手语识别装置，其特征在于，包括有本体(1)、屏幕(2)、第一摄像头(3)以及第二摄像头(5)；所述本体(1)内设有图像处理单元、图像识别模块、存储模块、转换模块以及模拟模块；所述存储模块存储预先的手势图像；所述第一摄像头(3)设置于所述本体(1)的正面，所述第二摄像头(5)设置于所述本体(1)的背面。

5.根据权利要求4所述的手语识别装置，其特征在于，还包括扬声器(4)，所述扬声器(4)设置于所述本体(1)上。

6.一种手语识别方法，其特征在于，包括以下步骤：

S1：图像获取模块获取手势图像，并传输于图像识别模块；

S2：所述图像识别模块根据所述手势图像通过像素识别判断所述手势图像是否满足要求；当所述手势图像的像素低于预设像素时，提示用户从新获取手势图像，当所述手势图像的像素不低于预设像素时，将所述手势图像传输于图像处理单元；

S3：所述图像处理单元接收所述手势图像并与存储模块中预先存储的手势图像进行匹配；当手势图像匹配一致时，通过转换模块将手势图像对应的文字信息输出于显示模块上。

7.根据权利要求6所述的手语识别方法，其特征在于，所述S3步骤中，还包括当手势图像匹配一致时，通过转换模块将手势图像对应的文字信息输出于扬声器上。

8.根据权利要求6所述的手语识别方法，其特征在于，所述S1步骤中，还包括以下步骤：

S11：通过加速度传感器或红外传感器获取手势信息，并通过处理器调整所述手势图像与预先存储的手势图像进行匹配。

9.根据权利要求8所述的手语识别方法，其特征在于，所述S3步骤之前，还包括：

S21：根据所述S11步骤中获取的手势信息将所述手势图像进行多角度调整；所述多角度调整包括前、后、左、右、上、下六个方向。

10.根据权利要求9所述的手语识别方法，其特征在于，所述S21步骤中还包括：

S22：将前、左、右、上、下调整后的手势图像分别与预先存储的手势图像进行匹配。