CN106125922B - 一种哑语与口语语音图像信息交流系统 - Google Patents

一种哑语与口语语音图像信息交流系统 Download PDF

Info

Publication number
CN106125922B
CN106125922B CN201610451163.0A CN201610451163A CN106125922B CN 106125922 B CN106125922 B CN 106125922B CN 201610451163 A CN201610451163 A CN 201610451163A CN 106125922 B CN106125922 B CN 106125922B
Authority
CN
China
Prior art keywords
sign language
camera
neck ring
display screen
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610451163.0A
Other languages
English (en)
Other versions
CN106125922A (zh
Inventor
陈淑鑫
罗阿理
崔栋良
闫奇
陶佰睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qiqihar University
Original Assignee
Qiqihar University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qiqihar University filed Critical Qiqihar University
Priority to CN201610451163.0A priority Critical patent/CN106125922B/zh
Publication of CN106125922A publication Critical patent/CN106125922A/zh
Application granted granted Critical
Publication of CN106125922B publication Critical patent/CN106125922B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种哑语与口语语音图像信息交流系统，该系统的安装载体为颈环腰带。颈环为空心体，内部装有手语/语音转换微处理器。颈环的前壁上装有弧形的图像显示屏支架，图像显示屏固定在图像显示屏支架上，图像显示屏底部配有对讲麦克，颈环侧壁上装有耳脉。腰带的前部装有摄像头支架安装座，摄像头支架安装座为U形支架，摄像头支架的底端通过旋转轴与摄像头支架安装座旋转连接。旋转轴的一端设有摄像头支架的旋转角度固定夹具。摄像头支架为套管结构，其顶端装有摄像头和照明灯。本发明的有益效果是：操作简单，实用性强，可控性高；智能集成高。能够为听力障碍人之间和听力障碍人与听力健康人之间的信息交流提供极大的方便。

Description

一种哑语与口语语音图像信息交流系统
技术领域
本发明涉及一种哑语与口语语音图像信息交流系统，该系统适合于听碍人之间和听障人与听力健康人之间的信息交流与语言沟通。
背景技术
发音受损群体是听力及发声因先天遗传或后天人为因素而受损的残疾人，根据最近的全国人口普查统计，全国大约有2075万听障人（包括弱听、重听、老化聋等）。伴随数字化时代及互联网+的应用，如果能够为听障人提供一种哑语手势与口语语音交流系统，可以极大提高这部分群体的精神生活质量。
发明内容
本发明目的在于提供一种哑语与口语语音图像信息交流系统，该系统能够为听力障碍人之间和听力障碍人与听力健康人之间信息交流提供极大的方便。
本发明提出的技术方案是：该系统的安装载体为颈环腰带。颈环为空心体，内部装有手语/语音转换微处理器。
颈环的前壁上装有弧形的图像显示屏支架，图像显示屏固定在图像显示屏支架上，图像显示屏底部配有对讲麦克，颈环侧壁上装有耳麦。
腰带的前部装有摄像头支架安装座，摄像头支架安装座为U形支架，摄像头支架的底端通过旋转轴与摄像头支架安装座旋转连接。旋转轴的一端设有摄像头支架的旋转角度固定夹具。摄像头支架为套管结构，其顶端装有摄像头和照明灯。
手语/语音转换微处理器外部设有手语图像输入插孔、语音输入插孔，以及经转换后的手语图像输出插孔、语音输出插孔。图像显示屏通过导线与手语/语音转换微处理器上的手语图像输出插孔连接。对讲麦克通过导线与手语/语音转换微处理器上的语音输入插孔连接。耳麦通过导线与手语/语音转换微处理器上的语音输出插孔连接。摄像头导线从摄像头支架和腰带内部穿过与颈环内手语/语音转换微处理器上的手语图像输入插孔连接。
本发明的设计原理是：应用到图像探测识别技术，采用高速的数据采集及处理设备，预先建立储存数据的手语资料库，通过摄像头进行手语输入，将手势信息转化成智能机能够识别的数据，并与资料库信息比对识别，以查询出对应的手语影像并记录存储被查询出的手语影像，把手语影像直接转换成文字信息或语音信息。再进而将它们以文字形式输出到液晶屏或以语音形式播放出来。同样声音采集卡数据或文字翻译也能转换成手语（部分发音受损者听力也同样受损）表示后告知，手语资料库以查询出与输入字词对应的手语影像并通过液显屏或蓝牙连接手机屏，输出手语影像完成交谈，方便人们之间的交流，达到与正常人群沟通交流的技术效果。
本发明有两种输出方式，其一是转换成音频信号通过模拟发声器播放内容，其二是转换文字（或音频）信号通过蓝牙传输到电子设备（手机、PC机等）进行交流（如QQ文字或语音聊天），发音受损者配戴此颈环后可以通过颈环的摄像头（如同手机的）识别手语的表述。
本发明有益效果是：操作简单，实用性强，可控性高；智能集成高。能够为听力障碍人之间和听力障碍人与听力健康人之间的信息交流提供极大的方便。
附图说明
以下结合附图和具体实施方式对本发明加以详细说明。
图1为本发明的结构示意图。
图2为本发明的线路连接图。
图中标号：
1、颈环2、腰带3、手语/语音转换微处理器4、手语图像输入插孔
5、语音输入插孔6、手语图像输出插孔
8、图像显示屏支架9、图像显示屏10、对讲麦克11、耳麦
12、摄像头支架安装座13、摄像头支架14、旋转轴
15、旋转角度固定夹具16、摄像头17、照明灯。
实施方式
如图1所示，本发明安装载体为颈环1腰带2。颈环1为空心体，内部装有手语/语音转换微处理器3。
颈环1的前壁上装有弧形的图像显示屏支架8，图像显示屏9固定在图像显示屏支架8上，图像显示屏9底部配有对讲麦克10，颈环1侧壁上装有耳麦11。
腰带2的前部装有摄像头支架安装座12，摄像头支架安装座12为U形支架，摄像头支架13的底端通过旋转轴14与摄像头支架安装座12旋转连接。旋转轴14的一端设有摄像头支架13的旋转角度固定夹具15。摄像头支架13为套管结构，其顶端装有摄像头16和照明灯17。
如图2所示，手语/语音转换微处理器3外部设有手语图像输入插孔4、语音输入插孔5，以及经转换后的手语图像输出插孔6、语音输出插孔。图像显示屏9通过导线与手语/语音转换微处理器3上的手语图像输出插孔6连接。对讲麦克10通过导线与手语/语音转换微处理器3上的语音输入插孔5连接。耳麦11过导线与手语/语音转换微处理器3上的语音输出插孔连接。摄像头导线从摄像头支架13和腰带2内部穿过与颈环1内手语/语音转换微处理器3上的手语图像输入插孔4连接。

Claims (1)

1.一种哑语与口语语音图像信息交流系统，其特征在于：该系统的安装载体为颈环（1）腰带（2）；颈环（1）为空心体，内部装有手语/语音转换微处理器（3）；颈环（1）的前壁上装有弧形的图像显示屏支架（8），图像显示屏（9）固定在图像显示屏支架（8）上，图像显示屏（9）底部配有对讲麦克（10），颈环（1）侧壁上装有耳麦（11）；腰带（2）的前部装有摄像头支架安装座（12），摄像头支架安装座（12）为U形支架，摄像头支架（13）的底端通过旋转轴（14）与摄像头支架安装座（12）旋转连接；旋转轴（14）的一端设有摄像头支架（13）的旋转角度固定夹具（15）；摄像头支架（13）为套管结构，其顶端装有摄像头（16）和照明灯（17）；手语/语音转换微处理器（3）外部设有手语图像输入插孔（4）、语音输入插孔（5），以及经转换后的手语图像输出插孔（6）、语音输出插孔；图像显示屏（9）通过导线与手语/语音转换微处理器（3）上的手语图像输出插孔（6）连接；对讲麦克（10）通过导线与手语/语音转换微处理器（3）上的语音输入插孔（5）连接；耳麦（11）通过导线与手语/语音转换微处理器（3）上的语音输出插孔连接；摄像头导线从摄像头支架（13）和腰带（2）内部穿过与颈环（1）内手语/语音转换微处理器（3）上的手语图像输入插孔（4）连接。
CN201610451163.0A 2016-06-22 2016-06-22 一种哑语与口语语音图像信息交流系统 Active CN106125922B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610451163.0A CN106125922B (zh) 2016-06-22 2016-06-22 一种哑语与口语语音图像信息交流系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610451163.0A CN106125922B (zh) 2016-06-22 2016-06-22 一种哑语与口语语音图像信息交流系统

Publications (2)

Publication Number Publication Date
CN106125922A CN106125922A (zh) 2016-11-16
CN106125922B true CN106125922B (zh) 2023-11-07

Family

ID=57471141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610451163.0A Active CN106125922B (zh) 2016-06-22 2016-06-22 一种哑语与口语语音图像信息交流系统

Country Status (1)

Country Link
CN (1) CN106125922B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106896914A (zh) * 2017-01-17 2017-06-27 珠海格力电器股份有限公司 信息的转换方法和装置
CN108595446A (zh) * 2018-04-28 2018-09-28 宁波力芯科信息科技有限公司 一种具有无线充电功能的智能翻译器

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6384591B1 (en) * 1997-09-11 2002-05-07 Comsonics, Inc. Hands-free signal level meter
US6766036B1 (en) * 1999-07-08 2004-07-20 Timothy R. Pryor Camera based man machine interfaces
CN201307357Y (zh) * 2008-12-05 2009-09-09 天津三星电子有限公司 语音、文字输入手语图像输出装置
CN101539994A (zh) * 2009-04-16 2009-09-23 西安交通大学 一种手语语音互译系统及手语语音互译方法
JP2014187616A (ja) * 2013-03-25 2014-10-02 Yuji Hosoi ステレオイヤホン
CN104464719A (zh) * 2014-12-16 2015-03-25 上海市共进通信技术有限公司 实现聋哑人智能通讯的系统
CN206209590U (zh) * 2016-06-22 2017-05-31 齐齐哈尔大学 一种哑语与口语语音图像信息交流系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6975991B2 (en) * 2001-01-31 2005-12-13 International Business Machines Corporation Wearable display system with indicators of speakers
US20120078628A1 (en) * 2010-09-28 2012-03-29 Ghulman Mahmoud M Head-mounted text display system and method for the hearing impaired

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6384591B1 (en) * 1997-09-11 2002-05-07 Comsonics, Inc. Hands-free signal level meter
US6766036B1 (en) * 1999-07-08 2004-07-20 Timothy R. Pryor Camera based man machine interfaces
CN201307357Y (zh) * 2008-12-05 2009-09-09 天津三星电子有限公司 语音、文字输入手语图像输出装置
CN101539994A (zh) * 2009-04-16 2009-09-23 西安交通大学 一种手语语音互译系统及手语语音互译方法
JP2014187616A (ja) * 2013-03-25 2014-10-02 Yuji Hosoi ステレオイヤホン
CN104464719A (zh) * 2014-12-16 2015-03-25 上海市共进通信技术有限公司 实现聋哑人智能通讯的系统
CN206209590U (zh) * 2016-06-22 2017-05-31 齐齐哈尔大学 一种哑语与口语语音图像信息交流系统

Also Published As

Publication number Publication date
CN106125922A (zh) 2016-11-16

Similar Documents

Publication Publication Date Title
EP2842055B1 (en) Instant translation system
US8909530B2 (en) Apparatus, method, and computer readable medium for expedited text reading using staged OCR technique
US20170303052A1 (en) Wearable auditory feedback device
US20190019512A1 (en) Information processing device, method of information processing, and program
US20110274311A1 (en) Sign language recognition system and method
CA2372061A1 (en) Real-time transcription correction system
KR101421046B1 (ko) 안경 및 그 제어방법
CN110415706A (zh) 一种在视频通话中实时叠加字幕的技术及其应用
US10453459B2 (en) Interpreting assistant system
CN206301081U (zh) 具有双麦克风的智能眼镜和智能交互系统
CN106125922B (zh) 一种哑语与口语语音图像信息交流系统
CN111128180A (zh) 一种听力障碍者的辅助对话系统
KR101846218B1 (ko) 근거리 무선 통신망을 기반으로 청각 장애인의 음성 대화를 지원하는 청각 장애인용 언어통역 보조장치, 음성합성서버, 음성인식서버, 알람 장치, 강연장 로컬 서버, 및 음성 통화 지원 어플리케이션
CN204242466U (zh) 手语互译装置
KR20100050959A (ko) 청각장애인을 위한 의사 소통 시스템
EP3286926A1 (en) A head mounted audio acquisition module
EP4418264A1 (en) Speech interaction method and terminal
CN111081120A (zh) 一种协助听说障碍人士交流的智能穿戴设备
CN106031135B (zh) 可穿戴设备和通信控制方法
CN215730426U (zh) 一种智能交流辅助眼镜
CN206892866U (zh) 具有情景分析功能的智能对话装置
CN206209590U (zh) 一种哑语与口语语音图像信息交流系统
KR20140006198A (ko) 무선캡션대화 서비스 시스템
US10936830B2 (en) Interpreting assistant system
CN210072245U (zh) 一种翻译眼镜

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Chen Shuxin

Inventor after: Luo Ali

Inventor after: Sha Lijuan

Inventor after: Cui Dongliang

Inventor after: Yan Qi

Inventor after: Tao Bairui

Inventor before: Chen Shuxin

Inventor before: Luo Ali

Inventor before: Cui Dongliang

Inventor before: Yan Qi

Inventor before: Tao Bairui

CB03 Change of inventor or designer information