CN112084846A - 一种无障碍手语交流系统 - Google Patents
一种无障碍手语交流系统 Download PDFInfo
- Publication number
- CN112084846A CN112084846A CN202010751080.XA CN202010751080A CN112084846A CN 112084846 A CN112084846 A CN 112084846A CN 202010751080 A CN202010751080 A CN 202010751080A CN 112084846 A CN112084846 A CN 112084846A
- Authority
- CN
- China
- Prior art keywords
- sign language
- module
- meaning
- text
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 14
- 210000001145 finger joint Anatomy 0.000 claims abstract description 8
- 230000002787 reinforcement Effects 0.000 claims abstract description 8
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims 1
- 206010011878 Deafness Diseases 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种无障碍手语交流系统，包括手语图像采集模块、手语识别模块、显示模块和数据库，数据库中存储有手语标准含义数据，手语图像采集模块用于对手语图像进行采集，并将采集到的数据传递至手语识别模块中，手语识别模块包括特征提取模块、语义分析模块、文本处理模块，特征提取模块对手语图像中的手指关节部分特征进行提取，并将提取后的数据发送至语义分析模块，语义分析模块根据数据库的手语标准含义数据对提取后的手指关节特征部分进行分类，输出手语含义。本发明通过手语识别模块对手势进行识别，并采用强化学习理解同一手势中不同的语义，可以精准的表达聋哑人的肢体语言，很好的改善聋哑人交流，且操作较为简洁。
Description
技术领域
本发明涉及通信交流技术领域，特别涉及一种无障碍手语交流系统。
背景技术
人机交互是当今重大科学技术之一，其中包括虚拟现实技术和智能感知技术，其中智能感知技术作为机器与人类的交互手段具有重要意义，然而目前的智能感知技术较为呆板，特别是手势语言方面无法做到精准识别，导致聋哑人在人机交互时极其不便。
发明内容
本发明要解决的技术问题是克服现有技术的缺陷，提供一种无障碍手语交流系统，通过手语识别模块对手势进行识别，并采用强化学习理解同一手势中不同的语义，可以精准的表达聋哑人的肢体语言，很好的改善聋哑人交流，且操作较为简洁。
为了解决上述技术问题，本发明提供了如下的技术方案：
本发明一种无障碍手语交流系统，包括手语图像采集模块、手语识别模块、显示模块和数据库，所述数据库中存储有手语标准含义数据，所述手语图像采集模块用于对手语图像进行采集，并将采集到的数据传递至手语识别模块中，所述手语识别模块包括特征提取模块、语义分析模块、文本处理模块，所述特征提取模块对手语图像中的手指关节部分特征进行提取，并将提取后的数据发送至语义分析模块，所述语义分析模块根据数据库的手语标准含义数据对提取后的手指关节特征部分进行分类，输出手语含义，并将手语含义发送至文本处理模块，所述文本处理模块采用机器学习模型输出手语含义在文本的意义，并将数据发送至显示模块，所述显示模块将手语含义在文本的意义显示出来。
作为本发明的一种优选技术方案，所述手语图像采集模块采用高清摄像头进行图像采集，所述高清摄像头将每一帧的图像进行收集，所述语义分析模块对每一帧的图像进行语义分析，无法识别语义的图像自动进行删除。
作为本发明的一种优选技术方案，所述文本处理模块采用强化学习模型将数据处理为策略、状态、策略评价值，将手语含义在文本的意义作为策略，将文本作为状态，若输出的手语含义在文本的意义与本身的含义一致，则提高该策略的策略评价值，若输出的手语含义在文本的意义与本身的含义不一致，则降低该策略的策略评价值。
作为本发明的一种优选技术方案，所述特征提取模块采用残差卷积神经网络进行特征提取，所述残差卷积神经网络采用卷积到批标准化到激活Relu函数的卷积单元形式的网络结构。
与现有技术相比，本发明的有益效果如下：
本发明通过手语识别模块对手势进行识别，并采用强化学习理解同一手势中不同的语义，可以精准的表达聋哑人的肢体语言，很好的改善聋哑人交流，且操作较为简洁。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明的整体结构示意图；
图中：1、手语图像采集模块；2、手语识别模块；3、显示模块；4、数据库；5、特征提取模块；6、语义分析模块；7、文本处理模块。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
此外，如果已知技术的详细描述对于示出本发明的特征是不必要的，则将其省略。
实施例1
如图1所示，本发明提供一种无障碍手语交流系统，包括手语图像采集模块1、手语识别模块2、显示模块3和数据库4，数据库4中存储有手语标准含义数据，手语图像采集模块1用于对手语图像进行采集，并将采集到的数据传递至手语识别模块2中，手语识别模块2包括特征提取模块5、语义分析模块6、文本处理模块7，特征提取模块5对手语图像中的手指关节部分特征进行提取，并将提取后的数据发送至语义分析模块6，语义分析模块6根据数据库4的手语标准含义数据对提取后的手指关节特征部分进行分类，输出手语含义，并将手语含义发送至文本处理模块7，文本处理模块7采用机器学习模型输出手语含义在文本的意义，并将数据发送至显示模块3，显示模块3将手语含义在文本的意义显示出来。
手语图像采集模块1采用高清摄像头进行图像采集，高清摄像头将每一帧的图像进行收集，语义分析模块6对每一帧的图像进行语义分析，无法识别语义的图像自动进行删除。
文本处理模块7采用强化学习模型将数据处理为策略、状态、策略评价值，将手语含义在文本的意义作为策略，将文本作为状态，若输出的手语含义在文本的意义与本身的含义一致，则提高该策略的策略评价值，若输出的手语含义在文本的意义与本身的含义不一致，则降低该策略的策略评价值。
特征提取模块5采用残差卷积神经网络进行特征提取，残差卷积神经网络采用卷积到批标准化到激活Relu函数的卷积单元形式的网络结构。
具体的，在对于动态手势识别的过程中，对每一帧的图像进行采集，将采集到的图像数据依次进行手语识别，通过手语识别中的特征提取模块5识别每个手语中的特征部分并与数据库4中的数据进行对照，未从数据库4中找到对应的语义则将该帧的图像删除，将图像中的语义依次连接起来形成文本，由于语义中每个语义存在着多种含义，因此，采用强化学习模型结合整体的文本识别每个手势的语义，从而形成文本发送至显示模块3进行显示。
本发明通过手语识别模块对手势进行识别，并采用强化学习理解同一手势中不同的语义，可以精准的表达聋哑人的肢体语言，很好的改善聋哑人交流，且操作较为简洁。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种无障碍手语交流系统，包括手语图像采集模块(1)、手语识别模块(2)、显示模块(3)和数据库(4)，其特征在于，所述数据库(4)中存储有手语标准含义数据，所述手语图像采集模块(1)用于对手语图像进行采集，并将采集到的数据传递至手语识别模块(2)中，所述手语识别模块(2)包括特征提取模块(5)、语义分析模块(6)、文本处理模块(7)，所述特征提取模块(5)对手语图像中的手指关节部分特征进行提取，并将提取后的数据发送至语义分析模块(6)，所述语义分析模块(6)根据数据库(4)的手语标准含义数据对提取后的手指关节特征部分进行分类，输出手语含义，并将手语含义发送至文本处理模块(7)，所述文本处理模块(7)采用机器学习模型输出手语含义在文本的意义，并将数据发送至显示模块(3)，所述显示模块(3)将手语含义在文本的意义显示出来。
2.根据权利要求1所述的一种无障碍手语交流系统，其特征在于，所述手语图像采集模块(1)采用高清摄像头进行图像采集，所述高清摄像头将每一帧的图像进行收集，所述语义分析模块(6)对每一帧的图像进行语义分析，无法识别语义的图像自动进行删除。
3.根据权利要求1所述的一种无障碍手语交流系统，其特征在于，所述文本处理模块(7)采用强化学习模型将数据处理为策略、状态、策略评价值，将手语含义在文本的意义作为策略，将文本作为状态，若输出的手语含义在文本的意义与本身的含义一致，则提高该策略的策略评价值，若输出的手语含义在文本的意义与本身的含义不一致，则降低该策略的策略评价值。
4.根据权利要求1所述的一种无障碍手语交流系统，其特征在于，所述特征提取模块(5)采用残差卷积神经网络进行特征提取，所述残差卷积神经网络采用卷积到批标准化到激活Relu函数的卷积单元形式的网络结构。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010751080.XA CN112084846A (zh) | 2020-07-30 | 2020-07-30 | 一种无障碍手语交流系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010751080.XA CN112084846A (zh) | 2020-07-30 | 2020-07-30 | 一种无障碍手语交流系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112084846A true CN112084846A (zh) | 2020-12-15 |
Family
ID=73735751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010751080.XA Pending CN112084846A (zh) | 2020-07-30 | 2020-07-30 | 一种无障碍手语交流系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112084846A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114120770A (zh) * | 2021-03-24 | 2022-03-01 | 张银合 | 一种听障人员无障碍交流的方法 |
| CN116805272A (zh) * | 2022-10-29 | 2023-09-26 | 武汉行已学教育咨询有限公司 | 一种可视化教育教学分析方法、系统及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101605399A (zh) * | 2008-06-13 | 2009-12-16 | 英华达(上海)电子有限公司 | 一种实现手语识别的移动终端及方法 |
| US20180101520A1 (en) * | 2016-10-11 | 2018-04-12 | The Japan Research Institute, Limited | Natural language processing apparatus, natural language processing method, and recording medium |
| CN108932500A (zh) * | 2018-07-09 | 2018-12-04 | 广州智能装备研究院有限公司 | 一种基于深度神经网络的动态手势识别方法及系统 |
| CN109993130A (zh) * | 2019-04-04 | 2019-07-09 | 哈尔滨拓博科技有限公司 | 一种基于深度图像动态手语语义识别系统及方法 |
-
2020
- 2020-07-30 CN CN202010751080.XA patent/CN112084846A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101605399A (zh) * | 2008-06-13 | 2009-12-16 | 英华达(上海)电子有限公司 | 一种实现手语识别的移动终端及方法 |
| US20180101520A1 (en) * | 2016-10-11 | 2018-04-12 | The Japan Research Institute, Limited | Natural language processing apparatus, natural language processing method, and recording medium |
| CN108932500A (zh) * | 2018-07-09 | 2018-12-04 | 广州智能装备研究院有限公司 | 一种基于深度神经网络的动态手势识别方法及系统 |
| CN109993130A (zh) * | 2019-04-04 | 2019-07-09 | 哈尔滨拓博科技有限公司 | 一种基于深度图像动态手语语义识别系统及方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114120770A (zh) * | 2021-03-24 | 2022-03-01 | 张银合 | 一种听障人员无障碍交流的方法 |
| CN116805272A (zh) * | 2022-10-29 | 2023-09-26 | 武汉行已学教育咨询有限公司 | 一种可视化教育教学分析方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102299764B1 (ko) | 전자장치, 서버 및 음성출력 방법 | |
| EP2630635B1 (en) | Method and apparatus for recognizing an emotion of an individual based on facial action units | |
| US20210057069A1 (en) | Method and device for generating medical report | |
| WO2019033573A1 (zh) | 面部情绪识别方法、装置及存储介质 | |
| CN106933807A (zh) | 备忘录事件提醒方法及系统 | |
| CN112084846A (zh) | 一种无障碍手语交流系统 | |
| WO2021047587A1 (zh) | 手势识别方法、电子设备、计算机可读存储介质和芯片 | |
| CN106898173A (zh) | 学生作业在线实时审阅系统 | |
| Hagargund et al. | Image to speech conversion for visually impaired | |
| Yuan et al. | Large scale sign language interpretation | |
| CN111382622A (zh) | 一种基于深度学习的药品识别系统及其实现方法 | |
| CN106873893A (zh) | 用于智能机器人的多模态交互方法及装置 | |
| CN108735198B (zh) | 基于医学疾病数据的语音合成方法、装置及电子设备 | |
| CN115661907A (zh) | 一种生物特征识别方法及系统 | |
| US20230401878A1 (en) | System for recognizing online handwriting | |
| CN113435335B (zh) | 微观表情识别方法、装置、电子设备及存储介质 | |
| CN110728287A (zh) | 图像识别方法及装置、电子设备、存储介质 | |
| CN111680670B (zh) | 一种跨模态人头检测方法及装置 | |
| CN109637291A (zh) | 一种手语翻译方法及系统 | |
| CN111144374B (zh) | 人脸表情识别方法及装置、存储介质和电子设备 | |
| CN110750673B (zh) | 图像处理方法、装置、设备及存储介质 | |
| WO2020224127A1 (zh) | 视频流截取方法、装置及存储介质 | |
| CN111753618A (zh) | 图像识别方法、装置、计算机设备及计算机可读存储介质 | |
| US20230035995A1 (en) | Method, apparatus and storage medium for object attribute classification model training | |
| CN115661037A (zh) | 一种胶囊内镜辅助检测方法、装置、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |