CN102104670B - 手语识别系统及方法 - Google Patents

Abstract

一种手语识别系统，应用于移动通信设备。该移动通信设备包括摄像单元、输入单元和显示单元。该手语识别系统包括界面产生模块、影像处理模块和文本处理模块。影像处理模块通过控制摄像单元摄取目标人物的人体影像，根据人体特征从人体影像中抽取手语数据，并将手语数据通过网络发送给服务器进行手语解析并产生使用者可识别的手语识别信息。文本处理模块将使用者输入的文本、接收方使用语言和接收方号码进行压缩并打包成文本数据包，将文本数据包通过网络发送给服务器进行文本解析并产生接收方可识别的手语影像。实施本发明，能够对不同手语进行识别，方便聋哑人士或者不同语种人士利用移动通信设备进行有效地通信。

Description

手语识别系统及方法

技术领域

本发明涉及一种移动通信系统及方法，特别是关于一种应用于移动通信设备的手语识别系统及方法。

背景技术

移动通信设备(例如手机)是现代生活中必不可少的通信工具，人们可以通过拨打电话或发送短信息进行相互沟通。当聋哑人士想使用通信工具与对方通信时，他们通话时可能采用手语进行进行交流；或者，当移动通信的一方不懂得对方的语言时，例如汉语使用者不懂得俄语，他们通话时也可能采用手语进行交流。然而，一般的移动通信设备不具有手语识别功能，从而使得聋哑人士或者不同语种人士无法利用移动通信设备进行有效地通信，给他们在信息交流上带来不便。

发明内容

鉴于以上内容，有必要提供一种手语识别系统，能够对不同的手语进行识别，从而方便聋哑人士或者不同语种人士利用移动通信设备进行有效地通信。

此外，还有必要提供一种手语识别方法，能够对不同的手语进行识别，从而方便聋哑人士或者不同语种人士利用移动通信设备进行有效地通信。

一种手语识别系统，应用于移动通信设备。该移动通信设备通过网络与服务器连接。所述的移动通信设备包括摄像单元、输入单元、显示单元以及手语识别单元。该手语识别单元包括：界面产生模块，用于产生一个操作手语识别功能的主菜单界面，并将该主菜单界面显示在显示单元上；影像处理模块，用于当使用者选择主菜单界面的录像按钮时，控制摄像单元摄取目标人物的人体影像，根据人体特征从人体影像中抽取手语数据，将抽取的手语数据与移动通信设备的预设语言进行压缩并打包成手语数据包，将该手语数据包通过网络发送给服务器进行手语解析并产生使用者可识别的手语识别信息；文本处理模块，用于当使用者选择主菜单界面的文本输入按钮时，将使用者从输入单元输入的文本、接收方的使用语言以及接收方号码进行压缩并打包成文本数据包，将该文本数据包通过网络发送给服务器进行文本解析并产生接收方可识别的手语影像。

一种手语识别方法，通过使用移动通信设备进行手语识别。该移动通信设备通过网络与服务器连接，所述的移动通信设备包括摄像单元、输入单元以及显示单元。该方法包括步骤：产生一个用于操作手语识别功能的主菜单界面，并将该主菜单界面显示在显示单元上；当移动通信设备的使用者选择主菜单界面的录像按钮时，执行步骤(a1)至步骤(a5)：(a1)控制摄像单元摄取目标人物的人体影像；(a2)根据人体特征从人体影像中抽取手语数据；(a3)将抽取的手语数据与移动通信设备的预设语言信息进行压缩并打包成手语数据包；(a4)将手语数据包通过网络发送给服务器进行手语解析并产生使用者可识别的手语识别信息；(a5)接收服务器产生的手语识别信息，并将手语识别信息显示在显示单元上；当移动通信设备的使用者选择主菜单界面的文本输入按钮时，执行步骤(b1)至步骤(b3)：(b1)将使用者从输入单元输入的文本、接收方的使用语言以及接收方号码进行压缩并打包成文本数据包；(b2)将该文本数据包通过网络发送给服务器进行文本解析并产生接收方可识别的手语影像；(b3)将该手语影像按照接收方号码发送到接收方的接收终端上。

相较于现有技术，本发明所述的手语识别系统及方法，通过移动通信设备对不同的手语进行识别，从而方便聋哑人士或者不同语种人士利用该移动通信设备进行有效地通信。

附图说明

图1是本发明手语识别系统较佳实施例的架构图。

图2是本发明手语识别方法较佳实施例的流程图。

图3是主菜单界面的示意图。

图4是子菜单界面的示意图。

主要元件符号说明

移动通信设备    1

手语识别单元    10

界面产生模块    101

影像处理模块    102

文本处理模块    103

摄像单元        11

显示单元        12

输入单元        13

服务器          2

手语分析单元    21

文本分析单元    22

数据库          3

网络    4

具体实施方式

如图1所示，是本发明手语识别系统较佳实施例的架构图。在本实施例中，所述的手语识别系统应用于移动通信设备1，该移动通信设备1通过网络4与服务器2连接，该服务器2连接有数据库3。该数据库3用于存储识别手语的手语事件标准以及文本解析标准。所述的手语事件标准一般包括通用手语标准以及聋哑手语标准。例如，通用手语标准包括正常人士用手势表示数字0-9对应的手语，聋哑手语标准包括聋哑人士用手势表示数字0-9对应的手语。此外，所述的手语事件标准还可以为使用者自定义暗号事件，亦即使用者可以定义人体肢体的某一个动作或姿势作为事件暗号，例如双手抱头表示“急救120”，以及弯腰表示“火警119”等。

所述的移动通信设备1包括手语识别单元10、摄像单元11、显示单元12以及输入单元13。所述的手语识别单元10包括界面产生模块101、影像处理模块102以及文本处理模块103。所述的服务器2包括手语分析单元21以及文本分析单元22。

所述的界面产生模块101用于产生一个操作手语识别功能的主菜单界面110以及子菜单界面120，并将该主菜单界面110以及子菜单界面120显示在显示单元12上。参考图3所示，主菜单界面110包括录像按钮111、文本输入按钮112以及界面退出按钮113。本实施例中，当使用者选择录像按钮111时，则手语识别单元10启用影像处理模块102进行影像手语识别；当使用者选择文本输入按钮112时，则手语识别单元10启用文本处理模块103进行文本手语识别。参考图4所示，子菜单界面120包括文本输入框121、语言选择按钮122、号码输入按钮123、文本解析按钮124以及界面返回按钮125。文本输入框121用于供用户通过输入单元13输入文本以及接收方号码。语言选择按钮122用于选择接收方的使用语言，例如汉语、英语、法语、德语以及俄语等国际语言。文本解析按钮124用于将输入文本、接收方号码以及接收方的使用语言发送给服务器3进行文本解析。界面返回按钮125用于从子菜单界面120返回主菜单界面110。

所述的影像处理模块102用于控制摄像单元11摄取目标人物的人体影像，根据人体特征从人体影像中抽取手语数据。所述的手语数据包括手形、手势、头部、嘴巴、肩膀以及面部表情等人体肢体语言数据。影像处理模块102还用于将抽取的手语数据与移动通信设备1的预设语言信息进行压缩并打包成一个手语数据包，以及将该手语数据包通过网络4发送给服务器2进行手语解析。所述的预设语言是使用者在使用移动通信设备1时设置的使用语言，例如汉语、英语、法语、德语以及俄语等国际语言。

所述的文本处理模块103用于将从文本输入框121输入的文本、接收方的使用语言以及接收方号码进行压缩并打包成一个文本数据包，以及将该文本数据包通过网络4发送给服务器2进行文本解析。

所述的手语分析单元21当服务器报2接收到移动通信设备1发送过来的手语数据包时，根据存储在数据库3中的手语事件标准解析手语数据包，并产生手语解析结果。该手语分析单元21还用于根据移动通信设备1的预设语言将手语解析结果描述为使用者可识别的手语识别信息，以及将手语识别信息通过网络4发送给移动通信设备1。例如，使用者在使用移动通信设备1时设置的语言为汉语，手语分析单元21将手语解析结果用汉语描述成移动通信设备1的使用者可识别的手语识别信息，使用者通过该手语识别信息即可了解目标人物的手语或肢体语言。

所述的文本分析单元22用于当服务器报2接收到移动通信设备1发送过来的文本数据包时，根据存储在数据库3中的文本解析标准和接收方的使用语言解析文本数据包，并产生文本解析结果。该文本分析单元22根据文本解析结果产生接收方可识别的手语影像，将该手语影像按照接收方号码发送到接收方的接收终端上。由此，接收方可通过观看接收终端的手语影像即可了解移动通信设备1的使用者所输入的文本意思，从而完成使用者与接收方之间的相互沟通。

如图2所示，是本发明手语识别方法较佳实施例的流程图。步骤S201，移动通信设备1初始化手语识别单元10，该手语识别单元10包括界面产生模块101、影像处理模块102以及文本处理模块103。界面产生模块101产生一个操作手语识别功能的主菜单界面110，并将该主菜单界面110显示在显示单元20上。参考图3所示，主菜单界面110包括录像按钮111、文本输入按钮112以及界面退出按钮113。

步骤S202，手语识别单元10判断使用者启用的是影像手语识别功能还是文本手语识别功能。在本实施例中，如果使用者选择录像按钮111，则手语识别单元10启用影像处理模块102进行影像手语识别；如果使用者选择文本输入按钮112，则手语识别单元10启用文本处理模块103进行文本文本识别。

步骤S203，当移动通信设备1的使用者选择录像按钮111时，影像处理模块102控制摄像单元11摄取目标人物的人体影像。步骤S204，影像处理模块102根据人体特征从人体影像中抽取手语数据。所述的手语数据包括手形、手势、头部、嘴巴、肩膀以及面部表情等人体肢体语言数据。步骤S205，影像处理模块102将抽取的手语数据与移动通信设备1的预设语言信息进行压缩并打包成一个手语数据包。所述的预设语言是使用者在使用移动通信设备1时设置的使用语言，例如汉语、英语、法语、德语以及俄语等国际语言。如果使用者在使用移动通信设备1时设置的语言为汉语，则影像处理模块102将手语数据与汉语信息进行压缩并打包成手语数据包。

步骤S206，影像处理模块102将该手语数据包通过网络4发送给服务器2。步骤S207，当服务器2接收到移动通信设备1发送过来的手语数据包时，手语分析单元21根据存储在数据库3中的手语事件标准解析接收到的手语数据包，并产生手语解析结果。本实施例中，所述的手语事件标准一般包括通用手语标准以及聋哑手语标准。其中，通用手语标准包括正常人士用手势表示数字0-9对应的手语，聋哑手语标准包括聋哑人士用手势表示数字0-9对应的手语。此外，所述的手语事件标准还可以为一种使用者自定义暗号事件，亦即使用者可以定义人体肢体的某一个动作或姿势作为事件暗号，例如双手抱头表示“急救120”，以及弯腰表示“火警119”等。

步骤S208，手语分析单元21根据移动通信设备1的预设语言将手语解析结果描述为使用者可识别的手语识别信息。例如，使用者在使用移动通信设备1时设置的预设语言为汉语，手语分析单元21将手语解析结果用汉语描述成移动通信设备1的使用者可识别的手语识别信息。步骤S209，手语分析单元21将该手语识别信息通过网络4发送给移动通信设备1，显示单元12显示该手语识别信息，该移动通信设备1的使用者即可了解目标人物的手语或肢体语言。

在上述步骤S202中，当移动通信设备1的使用者选择主菜单界面110中的文本输入按钮112时，步骤S210，界面产生模块101产生一个操作文本识别功能的子菜单界面120，并将该子菜单界面120显示在显示单元20上。参考图4所示，子菜单界面120包括文本输入框121、语言选择按钮122、号码输入按钮123、文本解析按钮124以及界面返回按钮125。

步骤S211，使用者通过输入单元13在文本输入框121中输入文本以及接收方号码，并通过语言选择按钮122选择接收方的使用语言。步骤S212，文本处理模块103将输入文本、使用语言以及接收方号码进行压缩并打包成一个文本数据包。步骤S213，文本处理模块103将该文本数据包通过网络4发送给服务器2。步骤S214，当服务器2接收到移动通信设备1发送过来的文本数据包时，文本分析单元22根据存储在数据库3中的文本解析标准和使用语言解析接收到的文本数据包，并产生文本解析结果。步骤S215，文本分析单元21根据文本解析结果产生接收方可识别的手语影像。步骤S216，文本分析单元21将该手语影像按照接收方号码发送到接收方的接收终端上。因此，接收方可通过接收终端观看手语影像即可了解移动通信设备1的使用者所输入的文本意思，从而完成使用者与接收方之间的相互沟通。

Claims (8)

1.一种手语识别系统，应用于移动通信设备，该移动通信设备通过网络与服务器连接，所述的移动通信设备包括摄像单元、输入单元以及显示单元，其特征在于，所述的手语识别系统包括：

界面产生模块，用于产生一个操作手语识别功能的主菜单界面，并将该主菜单界面显示在显示单元上，该主菜单界面包括一个录像按钮和一个文本输入按钮，当使用者选择主菜单界面的文本输入按钮时产生一个子菜单界面，该子菜单界面包括一个用于供使用者选择接收方的使用语言的语言选择按钮、文本输入框、号码输入按钮、文本解析按钮以及界面返回按钮；

影像处理模块，用于当移动通信设备的使用者选择录像按钮时，控制摄像单元摄取目标人物的人体影像，根据人体特征从人体影像中抽取手语数据，将抽取的手语数据与移动通信设备的预设语言进行压缩并打包成手语数据包，将该手语数据包通过网络发送给服务器进行手语解析并产生移动通信设备的使用者可识别的手语识别信息；

文本处理模块，用于当移动通信设备的使用者选择文本输入按钮时，将使用者从输入单元输入的文本、接收方的使用语言以及接收方号码进行压缩并打包成文本数据包，将该文本数据包通过网络发送给服务器进行文本解析并产生接收方可识别的手语影像。

2.如权利要求1所述的手语识别系统，其特征在于，所述的服务器连接有数据库，该数据库用于存储手语事件标准以及文本解析标准，该手语事件标准包括通用手语标准以及聋哑手语标准。

3.如权利要求2所述的手语识别系统，其特征在于，所述的服务器包括手语分析单元，用于当服务器接收到手语数据包时，根据所述的手语事件标准解析手语数据包并产生手语解析结果，根据移动通信设备的预设语言将手语解析结果描述为使用者可识别的手语识别信息，以及将手语识别信息通过网络发送给移动通信设备。

4.如权利要求2所述的手语识别系统，其特征在于，所述的服务器包括文本分析单元，用于当服务器接收到文本数据包时，根据所述的文本解析标准和接收方的使用语言解析文本数据包并产生文本解析结果，根据文本解析结果产生接收方可识别的手语影像，将该手语影像按照接收方号码发送到接收方的接收终端上。

5.一种手语识别方法，通过使用移动通信设备进行手语识别，该移动通信设备通过网络与服务器连接，所述的移动通信设备包括摄像单元、输入单元以及显示单元，其特征在于，该方法包括步骤：

产生一个用于操作手语识别功能的主菜单界面，并将该主菜单界面显示在显示单元上，该主菜单界面包括一个录像按钮和一个文本输入按钮；

当移动通信设备的使用者选择录像按钮时，执行步骤(a1)至步骤(a5)：

（a1）控制摄像单元摄取目标人物的人体影像；

（a2）根据人体特征从人体影像中抽取手语数据；

（a3）将抽取的手语数据与移动通信设备的预设语言进行压缩并打包成手语数据包；

（a4）将手语数据包通过网络发送给服务器进行手语解析并产生使用者可识别的手语识别信息；

（a5）接收服务器产生的手语识别信息，并将手语识别信息显示在显示单元上；

当移动通信设备的使用者选择文本输入按钮时产生一个子菜单界面，该子菜单界面包括一个用于供使用者选择接收方的使用语言的语言选择按钮、文本输入框、号码输入按钮、文本解析按钮以及界面返回按钮，并执行步骤(b1)至步骤(b3)：

（b1）将使用者从输入单元输入的文本、接收方的使用语言以及接收方号码进行压缩并打包成文本数据包；

（b2）将该文本数据包通过网络发送给服务器进行文本解析并产生接收方可识别的手语影像；

（b3）将该手语影像按照接收方号码发送到接收方的接收终端上。

6.如权利要求5所述的手语识别方法，其特征在于，所述的服务器连接有数据库，该数据库用于存储手语事件标准以及文本解析标准，该手语事件标准包括通用手语标准以及聋哑手语标准。

7.如权利要求6所述的手语识别方法，其特征在于，所述的步骤（a4）包括如下步骤：

当服务器接收到手语数据包时，根据所述的手语事件标准解析手语数据包并产生手语解析结果；

根据移动通信设备的预设语言将手语解析结果描述为移动通信设备的使用者可识别的手语识别信息；

将手语识别信息通过网络发送给该移动通信设备。

8.如权利要求6所述的手语识别方法，其特征在于，所述的步骤（b2）包括如下步骤：

当服务器报接收到文本数据包时，根据所述的文本解析标准和接收方的使用语言解析文本数据包并产生文本解析结果；

根据文本解析结果产生接收方可识别的手语影像。

Images