CN107785017A - 一种基于手语识别的交互系统 - Google Patents
一种基于手语识别的交互系统 Download PDFInfo
- Publication number
- CN107785017A CN107785017A CN201610714709.7A CN201610714709A CN107785017A CN 107785017 A CN107785017 A CN 107785017A CN 201610714709 A CN201610714709 A CN 201610714709A CN 107785017 A CN107785017 A CN 107785017A
- Authority
- CN
- China
- Prior art keywords
- module
- sign language
- image
- subsystem
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 13
- 206010011878 Deafness Diseases 0.000 claims abstract description 18
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- 238000004891 communication Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明一种适用于基于手语识别的交互系统，包括：基于图像的手语识别子系统和语音识别模块子系统。基于图像的手语识别子系统由图像采集模块、图像识别模块、语义转换模块和语义输出模块组成；语音识别模块子系统由语音采集模块、语音识别转换模块和图像输出模块组成。该系统可作为正常人和聋哑人进行正常交流的工具，基于图像的手语识别子系统用来将聋哑人的手语转换为电信号，按照用户需要转换为声音或者文字；语音识别模块子系统将正常人的语音信号转换为图像信号传递给聋哑人。本发明能进行手语和声音文字的双向转换，转换效率和识别程度高；使得正常人和聋哑人之间可以通过本设备进行高效无障碍的交流。
Description
技术领域
本发明是涉及一种通讯机器人技术领域，具体地说是涉及一种采用图像识别的基于手语识别的交互系统。
背景技术
手语是聋哑残疾人使用的语言，是一种靠动作和视觉进行交际的特殊语言。然而让大多数正常人掌握并运用手语直接与聋哑残疾人进行交流显然是不现实的。目前聋哑人与正常人之间的沟通仅仅限于以懂手语的正常人做翻译等手段，在很大程度上限制了不懂手语的正常人对聋哑残疾人的理解，给聋哑残疾人的日常生活、学习和工作带来极大的不便。
图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对像的技术。一般工业使用中，采用工业相机拍摄图片，然后再利用软件根据图片灰阶差做进一步识别处理。图像识别可能是以图像的主要特征为基础的。每个图像都有它的特征,如字母A有个尖，P有个圈、而Y的中心有个锐角等。对图像识别时眼动的研究表明，视线总是集中在图像的主要特征上，也就是集中在图像轮廓曲度最大或轮廓方向突然改变的地方，这些地方的信息量最大。
一种基于手语识别的交互系统建立实时视频采集识别模块，可实时对动作识别设备中的摄像头采集图像进行识别，通过计算机算法芯片对动作进行语义分析，进行语音文字等转换，同时也可进行逆向转换，将文字语音转换为手语动作，进行双向交流。
发明内容
本发明的目的是克服了现有技术中的不足，提供了一种基于手语识别的交互系统，该系统可作为正常人和聋哑人进行正常交流的工具，基于图像的手语识别子系统用来将聋哑人的手语转换为电信号，按照用户需要转换为声音或者文字，语音识别模块子系统将正常人的语音信号转换为图像信号。
为了解决上述技术问题，本发明是通过以下技术方案实现：
一种基于手语识别的交互系统包括基于图像的手语识别子系统和语音识别模块子系统。
基于图像的手语识别子系统由图像采集模块、图像识别模块、语义转换模块和语义输出模块组成。图像采集模块实时采集图像数据传入图像识别模块，采取TLD等高精度算法模块进行识别分析后将数据传入语义转换模块转换为数字形式文本，而后按照要求传入语义输出模块进行输出。
语音识别模块子系统有语音采集模块、语音识别转换模块和图像输出模块组成。语音采集模块实时采集声音数据传入语音识别转换模块进行语义转换，依托手语信息数据库通过图像输出模块进行手语图像输出。
与现有技术相比，本发明的有益效果是：能进行手语和声音文字的双向转换，转换效率和识别程度高；使得正常人和聋哑人之间可以通过本设备进行高效无障碍的交流；特别是针对不识字的聋哑人仍然有效。可以进行推广使用，对聋哑人配备以及在公共场所安装等。
附图说明
图1是本发明一种基于手语识别的交互系统的工作流程图
图2是本发明一种基于手语识别的交互系统的基于图像的手语识别子系统的原理框图
图3是本发明一种基于手语识别的交互系统的基于图像的语音识别模块子系统的原理框图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
一种基于手语识别的交互系统包括基于图像的手语识别子系统和语音识别模块子系统。
所述基于图像的手语识别子系统由图像采集模块、图像识别模块、语义转换模块和语义输出模块组成。
所述语音识别模块子系统有语音采集模块、语音识别转换模块和图像输出模块组成。
一种基于手语识别的交互系统的工作流程：
所述手语动画有专门对应数据库模块，一个语义对应关系分为精确对应和模糊对应两种。
所述语音视频输入设备设置相关参数。
所述操作者使设备对向聋哑人，启动设备开始识别，协助聋哑人和正常人进行沟通交流。
所述操作者进行手语交流时，视频采集模块实时分析，识别模块进行语义识别转换，实时输出。
所述操作者进行语言交流时，语音输入模块实时采集，通过转换模块转换为视频动画，实时输出。
所述对于可以识字的交流者可以在屏幕上实时以文字形式显示相关交流内容，可进行人工修正匹配，更准确进行辅助交流。
本发明中涉及的未说明部份与现有技术相同或采用现有技术加以实现。
Claims (2)
1.一种基于手语识别的交互系统，包括：基于图像的手语识别子系统和语音识别模块子系统，其特征是：所述基于图像的手语识别子系统用来将聋哑人的手语转换为电信号，按照用户需要转换为声音或者文字；所述语音识别模块子系统将正常人的语音信号转换为图像信号传递给聋哑人。
2.根据权利要求1所述的一种基于手语识别的交互系统，其特征是：所述基于图像的手语识别子系统由图像采集模块、图像识别模块、语义转换模块和语义输出模块组成；所述语音识别模块子系统有语音采集模块、语音识别转换模块和图像输出模块组成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610714709.7A CN107785017A (zh) | 2016-08-24 | 2016-08-24 | 一种基于手语识别的交互系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610714709.7A CN107785017A (zh) | 2016-08-24 | 2016-08-24 | 一种基于手语识别的交互系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107785017A true CN107785017A (zh) | 2018-03-09 |
Family
ID=61388434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610714709.7A Withdrawn CN107785017A (zh) | 2016-08-24 | 2016-08-24 | 一种基于手语识别的交互系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107785017A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919127A (zh) * | 2019-03-20 | 2019-06-21 | 邱洵 | 一种哑语语言转换系统 |
| CN110390239A (zh) * | 2018-04-17 | 2019-10-29 | 现代自动车株式会社 | 包括用于残疾人的通信系统的车辆及通信系统的控制方法 |
| CN110992783A (zh) * | 2019-10-29 | 2020-04-10 | 东莞市易联交互信息科技有限责任公司 | 一种基于机器学习的手语翻译方法及翻译设备 |
| WO2020193123A1 (de) * | 2019-03-25 | 2020-10-01 | Volkswagen Aktiengesellschaft | Verfahren zur bereitstellung eines sprachdialogs in gebärdensprache bei einem sprachdialog-system für ein fahrzeug |
-
2016
- 2016-08-24 CN CN201610714709.7A patent/CN107785017A/zh not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110390239A (zh) * | 2018-04-17 | 2019-10-29 | 现代自动车株式会社 | 包括用于残疾人的通信系统的车辆及通信系统的控制方法 |
| CN109919127A (zh) * | 2019-03-20 | 2019-06-21 | 邱洵 | 一种哑语语言转换系统 |
| CN109919127B (zh) * | 2019-03-20 | 2021-12-17 | 胡海明 | 一种哑语语言转换系统 |
| WO2020193123A1 (de) * | 2019-03-25 | 2020-10-01 | Volkswagen Aktiengesellschaft | Verfahren zur bereitstellung eines sprachdialogs in gebärdensprache bei einem sprachdialog-system für ein fahrzeug |
| CN113573938A (zh) * | 2019-03-25 | 2021-10-29 | 大众汽车股份公司 | 用于在车辆的语言对话系统中提供以手语的语言对话的方法 |
| CN110992783A (zh) * | 2019-10-29 | 2020-04-10 | 东莞市易联交互信息科技有限责任公司 | 一种基于机器学习的手语翻译方法及翻译设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101247482B (zh) | 一种实现动态图像处理的方法和装置 | |
| CN107785017A (zh) | 一种基于手语识别的交互系统 | |
| CN105957514A (zh) | 一种便携式聋哑人交流设备 | |
| CN104777911B (zh) | 一种基于全息技术的智能交互方法 | |
| CN109191939B (zh) | 一种基于智能设备的三维投影交互方法及智能设备 | |
| CN103279734A (zh) | 新型的智能手语翻译与人机交互系统及其使用方法 | |
| Duy Khuat et al. | Vietnamese sign language detection using Mediapipe | |
| CN111050017A (zh) | 图文拍照设备 | |
| WO2004059573A3 (en) | Face recognition system and method | |
| Jain et al. | Visual assistance for blind using image processing | |
| JP2002324076A5 (zh) | ||
| CN103240746B (zh) | 一种具有图像识别系统的猜拳机器人及猜拳手势识别方法 | |
| CN105677716A (zh) | 一种计算机数据采集处理分析系统 | |
| Ouali et al. | A new architecture based ar for detection and recognition of objects and text to enhance navigation of visually impaired people | |
| CN110473436A (zh) | 一种阅读辅助学习设备 | |
| CN111539408A (zh) | 基于拍照识物的智能点读方案 | |
| Nazim et al. | Smart glasses: A visual assistant for the blind | |
| KR20210018028A (ko) | 손동작 및 팔동작 학습기반 수화 번역 시스템 및 방법 | |
| Siby et al. | Hand gesture recognition | |
| CN210166754U (zh) | 一种虚拟现实头戴交流装置及虚拟现实头戴交流系统 | |
| CN108628454B (zh) | 基于虚拟人的视觉交互方法及系统 | |
| KR20160004561A (ko) | 수화 자동 인식 스마트 글라스 장치 | |
| CN201540535U (zh) | 一种基于蓝色点识别的非接触式人机交互系统 | |
| CN210606227U (zh) | 一种增强现实头戴交流装置及增强现实头戴交流系统 | |
| CN208538086U (zh) | 多通道控制组件及医疗设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180309 |