CN106981238A - 一种基于计算机视觉的手语交流装置 - Google Patents

一种基于计算机视觉的手语交流装置 Download PDF

Info

Publication number
CN106981238A
CN106981238A CN201710164757.8A CN201710164757A CN106981238A CN 106981238 A CN106981238 A CN 106981238A CN 201710164757 A CN201710164757 A CN 201710164757A CN 106981238 A CN106981238 A CN 106981238A
Authority
CN
China
Prior art keywords
raspberry
sign language
raspberry group
loudspeaker
usb interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710164757.8A
Other languages
English (en)
Inventor
廖庆洪
谌林
谢文军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang University
Original Assignee
Nanchang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang University filed Critical Nanchang University
Priority to CN201710164757.8A priority Critical patent/CN106981238A/zh
Publication of CN106981238A publication Critical patent/CN106981238A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种基于计算机视觉的手语交流装置，其特征是包括树莓派、显示器、麦克风、网络摄像头和扬声器；显示器与树莓派通过HDMI接口连接；麦克风与树莓派通过USB接口连接；网络摄像头与树莓派通过USB接口连接；扬声器与树莓派通过USB接口连接。本发明具有结构简单、成本低廉等特点，使用本发明装置，正常人与聋哑人能够进行无障碍交流，方便准确且高效友好，适合作为福利设施投入公共场合使用。

Description

一种基于计算机视觉的手语交流装置
技术领域
本发明涉及人机交互领域，尤其涉及一种基于计算机视觉的手语交流装置。
背景技术
据统计，我国聋哑症的发病率约2‰！按年均人口出生率计算，连同出生后2~3岁婴幼儿，每年总的群体达5700万，损听力伤的发病人数约为17万。随着人们物质生活的提高与社会人文的进步，聋哑人对生活质量的渴望也日渐增强，手语手势装置具有着很大的发展前景与市场。近年来，随着多功能感知、智能人机接口以及虚拟现实研究的兴起，手势识别及手语识别的研究开始越来越受到关注。现市面上，绝大多数手语交流装置是基于数据手套，其成本高，结构复杂，穿戴麻烦，功能单一。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于计算机视觉的手语交流装置。该装置将聋哑人的手语信息经过摄像头采集、图像处理、手语识别，最后通过扬声器进行语音播报，正常人就能很好的明白聋哑人的表达。该装置还能通过麦克风采集正常人的语音信息进而进行语音识别，最后转化为手语图片在显示屏上显示，聋哑人就能明白正常人说话的含义。
本发明是通过以下技术方案实现的。
本发明所述的一种基于计算机视觉的手语交流装置，包括树莓派、显示器、麦克风、网络摄像头和扬声器。
所述的显示器与树莓派通过HDMI接口连接；所述的麦克风与树莓派通过USB接口连接；所述的网络摄像头与树莓派通过USB接口连接；所述的扬声器与树莓派通过USB接口连接。
本发明工作流程是。
（1）树莓派对采集到的手势图像提取HOG（方向梯度直方图）特征来进行手势分割。
（2）树莓派训练SVM分类器对提取到的HOG特征进行分类，从而识别单一的静态手势。
（3）树莓派对于识别出的静态手势添加文本标签（即词根），建立基于词根的隐马尔科夫模型（HMM）来识别手语。
（4）树莓派对识别出的手语信息进行TTS（文本语音转换），并通过扬声器进行播放。
（5）树莓派对麦克风采集到的音频信息进行语音识别得到文本标签。
（6）树莓派将语音识别出的文本标签映射到相应的手语图片，并将这些识别出的手语图片在显示屏上显示。
本发明中各模块的作用是：摄像头将采集到的手语图像输入树莓派中，树莓派通过对手语图像进行手势分割、HOG特征提取、SVM分类器训练、隐马尔科夫模型（HMM）手语识别、文本语音转换，扬声器对语音信息进行播放。麦克风将采集到语音信号输入树莓派中，树莓派进行语音识别、文本-图片映射，显示屏现实识别出的手语图片。
本发明和已有的技术相比较，具有结构简单、成本低廉等特点，使用本发明装置，正常人与聋哑人能够进行无障碍交流，方便准确且高效友好，适合作为福利设施投入公共场合使用。
附图说明
图1为本发明的一种基于计算机视觉的手语交流装置的示意图。其中，1为树莓派，2为显示器，3为麦克风，4为网络摄像头，5为扬声器。
图2为本发明方法信号处理的流程框图。
具体实施方式
以下将结合附图和具体实施例，对本发明的技术方案作进一步的描述，但本发明的保护范围不局限于以下所述。
如图1所示，本发明的一种基于计算机视觉的手语交流装置，其包括：树莓派1、显示器2、麦克风3、网络摄像头4和扬声器5。显示器2与树莓派1通过HDMI接口连接；麦克风3与树莓派1通过USB接口连接；网络摄像4头与树莓派1通过USB接口连接；扬声器5与树莓派1通过USB接口连接；
其工作流程是。
（1）树莓派1对采集到的手势图像提取HOG特征（方向梯度直方图特征）来进行手势分割。
（2）树莓派1训练SVM分类器对提取到的HOG特征进行分类，从而识别单一的静态手势。
（3）树莓派1对于识别出的静态手势添加文本标签（即词根），建立基于词根的隐马尔科夫模型（HMM）来识别手语。
（4）树莓派1对识别出的手语信息进行TTS（文本语音转换），并通过扬声器5进行播放。
（5）树莓派1对麦克风3采集到的音频信息进行语音识别得到文本标签。
（6）树莓派1将语音识别出的文本标签映射到相应的手语图片，并将这些识别出的手语图片在显示器2上显示。
树莓派1中信号处理流程如图2所示。
本发明中所描述的具体实施例仅仅是对本发明作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种修改或补充或采用类似的方式替代，但不会偏离本发明的精神或超越所附权利要求书所确定的范围。

Claims (1)

1.一种基于计算机视觉的手语交流装置，其特征是包括树莓派、显示器、麦克风、网络摄像头和扬声器；显示器与树莓派通过HDMI接口连接；麦克风与树莓派通过USB接口连接；网络摄像头与树莓派通过USB接口连接；扬声器与树莓派通过USB接口连接；其工作流程是：
（1）树莓派对采集到的手势图像提取HOG特征来进行手势分割；
（2）树莓派训练SVM分类器对提取到的HOG特征进行分类，从而识别单一的静态手势；
（3）树莓派对于识别出的静态手势添加文本标签，建立基于词根的隐马尔科夫模型来识别手语；
（4）树莓派对识别出的手语信息进行TTS，并通过扬声器进行播放；
（5）树莓派对麦克风采集到的音频信息进行语音识别得到文本标签；
（6）树莓派将语音识别出的文本标签映射到相应的手语图片，并将这些识别出的手语图片在显示屏上显示。
CN201710164757.8A 2017-03-20 2017-03-20 一种基于计算机视觉的手语交流装置 Pending CN106981238A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710164757.8A CN106981238A (zh) 2017-03-20 2017-03-20 一种基于计算机视觉的手语交流装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710164757.8A CN106981238A (zh) 2017-03-20 2017-03-20 一种基于计算机视觉的手语交流装置

Publications (1)

Publication Number Publication Date
CN106981238A true CN106981238A (zh) 2017-07-25

Family

ID=59338759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710164757.8A Pending CN106981238A (zh) 2017-03-20 2017-03-20 一种基于计算机视觉的手语交流装置

Country Status (1)

Country Link
CN (1) CN106981238A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108091215A (zh) * 2018-01-09 2018-05-29 绥化学院 一种基于多媒体的听障学生用的教学器具
CN108091335A (zh) * 2017-12-06 2018-05-29 安徽省科普产品工程研究中心有限责任公司 一种基于语音识别的实时语音翻译系统
CN110009973A (zh) * 2019-04-15 2019-07-12 武汉灏存科技有限公司 基于手语的实时互译方法、装置、设备及存储介质
CN111783892A (zh) * 2020-07-06 2020-10-16 广东工业大学 一种机器人指令识别方法、装置及电子设备和存储介质
CN111901681A (zh) * 2020-05-04 2020-11-06 东南大学 一种基于人脸识别及手势识别的智能电视控制装置和方法
CN112116595A (zh) * 2020-10-27 2020-12-22 河北农业大学 一种端到端的植物根系特征自动分割系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105206123A (zh) * 2015-10-27 2015-12-30 苏州大学 一种聋哑患者交流装置
CN105957514A (zh) * 2016-07-11 2016-09-21 吉林宇恒光电仪器有限责任公司 一种便携式聋哑人交流设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105206123A (zh) * 2015-10-27 2015-12-30 苏州大学 一种聋哑患者交流装置
CN105957514A (zh) * 2016-07-11 2016-09-21 吉林宇恒光电仪器有限责任公司 一种便携式聋哑人交流设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈小柏: "基于视觉的连续手语识别系统的研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108091335A (zh) * 2017-12-06 2018-05-29 安徽省科普产品工程研究中心有限责任公司 一种基于语音识别的实时语音翻译系统
CN108091215A (zh) * 2018-01-09 2018-05-29 绥化学院 一种基于多媒体的听障学生用的教学器具
CN110009973A (zh) * 2019-04-15 2019-07-12 武汉灏存科技有限公司 基于手语的实时互译方法、装置、设备及存储介质
CN111901681A (zh) * 2020-05-04 2020-11-06 东南大学 一种基于人脸识别及手势识别的智能电视控制装置和方法
CN111901681B (zh) * 2020-05-04 2022-09-30 东南大学 一种基于人脸识别及手势识别的智能电视控制装置和方法
CN111783892A (zh) * 2020-07-06 2020-10-16 广东工业大学 一种机器人指令识别方法、装置及电子设备和存储介质
CN111783892B (zh) * 2020-07-06 2021-10-01 广东工业大学 一种机器人指令识别方法、装置及电子设备和存储介质
CN112116595A (zh) * 2020-10-27 2020-12-22 河北农业大学 一种端到端的植物根系特征自动分割系统

Similar Documents

Publication Publication Date Title
CN106981238A (zh) 一种基于计算机视觉的手语交流装置
CN108227903B (zh) 一种虚拟现实语言交互系统与方法
CN103810994B (zh) 基于情感上下文的语音情感推理方法及系统
CN105957514A (zh) 一种便携式聋哑人交流设备
Nishajith et al. Smart cap-wearable visual guidance system for blind
CN105160318A (zh) 基于面部表情的测谎方法及系统
CN107301820A (zh) 一种能够识别观众类型的智能广告机及其控制方法
CN105267013B (zh) 一种头戴式智能视障辅助系统
CN103530912A (zh) 一种具有情绪识别功能的考勤系统及方法
CN110120223A (zh) 一种基于时延神经网络tdnn的声纹识别方法
EP3890342A1 (en) Method and apparatus for awakening wearable device
CN109829499A (zh) 基于同一特征空间的图文数据融合情感分类方法和装置
CN109670457A (zh) 一种驾驶员状态识别方法及装置
CN208351494U (zh) 人脸识别系统
WO2020228059A1 (zh) 一种头戴式增强现实眼镜系统及其实现方法
CN103019381B (zh) 控制显示屏自动背光的方法
WO2021208677A1 (zh) 眼袋检测方法以及装置
CN110110058A (zh) 一种外呼机器人的意向打分方法及系统
CN109961789A (zh) 一种基于视频及语音交互服务设备
CN105824137A (zh) 可视化智能眼镜
Lv et al. Pornographic images detection using high-level semantic features
CN109977891A (zh) 一种基于神经网络的目标检测与识别方法
CN202694370U (zh) 一种基于数字图像处理的多人脸识别系统
CN110263741A (zh) 视频帧提取方法、装置及终端设备
CN214202843U (zh) 一种基于ocr和tts的视障者阅读装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170725

WD01 Invention patent application deemed withdrawn after publication