CN105957514B - 一种便携式聋哑人交流设备 - Google Patents
一种便携式聋哑人交流设备 Download PDFInfo
- Publication number
- CN105957514B CN105957514B CN201610538192.0A CN201610538192A CN105957514B CN 105957514 B CN105957514 B CN 105957514B CN 201610538192 A CN201610538192 A CN 201610538192A CN 105957514 B CN105957514 B CN 105957514B
- Authority
- CN
- China
- Prior art keywords
- module
- voice
- text
- mute
- deaf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 206010011878 Deafness Diseases 0.000 title claims abstract description 73
- 230000010365 information processing Effects 0.000 claims abstract description 18
- 230000005236 sound signal Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 11
- 230000003321 amplification Effects 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 10
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 abstract description 9
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72475—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users
- H04M1/72478—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users for hearing-impaired users
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/027—Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L2021/065—Aids for the handicapped in understanding
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种便携式聋哑人交流设备，包括聋哑人输入信息处理模块及正常人输入信息处理模块；聋哑人通过所述聋哑人信息输入处理模块将输入的手语手势或文本翻译为语音；正常人通过正常人信息输入处理模块将输入的语音或输入的文本翻译为手语手势和文本并同时进行显示其能够将聋哑人的手语手势或输入的文本转换为语音，将正常人的语音或输入的文本转换为手语手势和文本。本发明是一款聋哑人可随身携带的用于和正常人现场交流的设备，其能够快速的进行信息处理转换，并具有深度学习功能，能够逐渐适应使用者的表达习惯，具有一定的实时性和实用性。
Description
技术领域
本发明涉及一种能够帮助聋哑人与正常人面对面交流的单机设备，具体涉及一种手语手势、语音、文本相互转换的设备，属于电子技术领域。
背景技术
根据全国统计局的统计，2015年我国听力语言残疾者即聋哑人居视力残疾、肢残、智残等五大残疾之首，为2057万人。他们与正常人进行交流时存在听、说障碍。传统的解决方案为手语和文字书写，具有一定的局限性。一方面，文字交流受到了阅读能力、纸笔书写等条件的制约。另一方面，手语只有部分聋哑人和极少数专业人士掌握，普通人对手语很陌生，很难与聋哑人交流。
国内的申请公开号为CN101115088A，名称为“聋哑人专用手机”的专利。其以智能型手机为载体，设置有信息输入处理模块、语音应用延伸模块和信息反馈处理模块；聋哑人通过信息输入处理模块可以直接将文字信息向外界或发送短信，或转换为语音传递给交流对象；交流对象的语音或其他反馈信息通过信息反馈处理模块转换为相应的文字或图形，反馈给聋哑人。其能够实现聋哑人与正常人之间的交流。但其不能识别聋哑人手语手势。
国内的申请公开号CN101605158A，名称为“聋哑人专用手机”的专利。其包括一显示屏，以及一用于采集聋哑人手语图像的信息采集模块及一与所述信息采集模块相连的手语翻译系统，所述手语翻译系统包括一信息输入模块及一信息输出模块，所述信息输入模块可将文字信息或语音信息转换为手语图片信息，并可显示于所述显示屏上，所述信息输出模块可将所述信息采集模块采集的手语图像转换为文字信息或语音信息。其能够实现聋哑人与外界的交流。
上述专利所涉及聋哑人专用手机在实现聋哑人与外界交流时至少使用两部手机。其只能与聋哑人专用手机通信，或通过专用技术设备与普通手机通信。其极大的限制了实用性。且其处理速度较慢，实时性较差。
发明内容
针对现有技术的不足，本发明的目的是提供一种便携式聋哑人交流设备，其为单机设备，能够将聋哑人的手语手势或输入的文本转换为语音，将正常人的语音或输入的文本转换为手语手势和文本，是一款聋哑人可随身携带的用于和正常人面对面现场交流的设备，能够快速的进行信息处理转换，并具有深度学习功能，能够逐渐适应使用者的表达习惯，具有一定的实时性和实用性。
本发明的目的是通过以下技术方案实现的：
一种便携式聋哑人交流设备，包括聋哑人输入信息处理模块及正常人输入信息处理模块；聋哑人通过所述聋哑人信息输入处理模块将输入的手语手势或文本翻译为语音；正常人通过正常人信息输入处理模块将输入的语音或输入的文本翻译为手语手势和文本并同时进行显示；
所述聋哑人信息输入处理模块包括：
聋哑人文本输入模块，其用于聋哑人输入文本信息，并将文本信息发送至语音合成模块；
手势识别处理模块，其用于对聋哑人的手语手势进行图像提取，并通过图像识别和处理后转换成文本信息，将文本信息发送至语音识别模块；
语音合成模块，其分别与聋哑人文本输入模块及手势识别处理模块的输出端连接，用于将接收的文本信息转换为语音进行播报；
所述正常人信息输入处理模块包括：
正常人文本输入模块，其用于正常人输入文本信息，并将文本信息发送至文本-图像存储器；
语音识别处理模块，其用于对正常人输入的语音进行提取，并通过识别和处理后转换问文本信息，将文本信息发送至文本-图像存储器；
文本-图像存储器，其分别与正常人文本输入模块和语音识别处理模块的输出端连接，其对文本和手势图像建立一一对应的存储模式，可查找出文本信息对应的手势图像，将与所识别的文本信息对应的手势图像输出至显示屏；
显示屏，其与文本-图像存储器的输出端连接，用于显示接收来的图像。
进一步地，所述聋哑人信息输入处理模块中的手势识别处理模块包括：
手势拾取模块，其用于对聋哑人的手语手势进行图像提取，并发送至第一图像识别模块；
第一图像识别模块，其与手势拾取模块的输出端连接，接收手势拾取模块提取的手势图像，调用图像标识存储器中的数据，对手势图像的分类标识进行识别，并对后续接收的手势图像进行归类；
图像标识存储器，其与第一图像识别模块连接，用于存储图像分类标识；
第二图像识别模块，其与第一图像识别模块的输出端连接，接收第一图像识别模块识别出的手势图像的分类标识，并根据此分类标示在文本-图像存储器指定存储区域对手势图像进行识别，并将手势图像对应的文本信息输出至所述语音合成模块；
文本-图像存储器，其与第二图像识别模块连接，对手语手势图像进行分类存储，并可查找各分类标识下的手势图像对应的文本信息。
进一步地，所述正常人输入信息处理模块的语音识别处理模块包括：
语音拾取模块，其用于拾取正常人输入的语音信息，并发送至语音特征提取模块；
语音特征提取-模块，其与语音拾取模块的输出端连接，用于对语音信息进行特征提取后发送至第一语音识别模块；
第一语音识别模块，其与语音特征提取模块的输出端连接，接收特征提取后的语音信息，调用语音标识存储器中的数据，对语音信息的语音分类标识进行识别，并对后续接收的语音信息进行归类；
语音标识存储器，其与第一语音识别模块连接，用于存储语音分类标识；
第二语音识别模块，其与第一语音识别模块的输出端连接，接收第一语音识别模块识别出的语音分类标识，并根据此语音分类标示在词库存储器的指定区域进行语音识别，并将识别出的语音对应的文本信息输出至文本-图像存储器；
词库存储器，其与第二语音识别模块连接，对语音信息进行分类存储，并可查找各语音信息对应的文本信息。更进一步地，所述语音特征提取模块包括语音滤波模块、与语音滤波模块连接的背景噪声去除模块、与背景噪声去除模块连接的语音放大模块，语音滤波模块允许300～3000Hz的音频信号通过，背景噪声去除模块去除背景噪声，语音放大模块对音频信号进行放大处理。
本发明所达到的有益效果是：能够将聋哑人的手语手势或输入的文本转换为语音，将正常人的语音或输入的文本转换为手语手势和文本。帮助聋哑人与正常人正常交流。通过语音特征提取模块，能够滤除原音频信号的噪声，确保语音识别的正确率。对聋哑人的手语手势以及正常人的语音进行分类识别，确保识别的速度。该设备为聋哑人随身携带的设备，不需其他设备，能够进行深度学习，逐渐适应使用者的表达习惯。
附图说明
图1是本发明的功能模块框图
其中：1-聋哑人，2-聋哑人输入信息处理模块，2A-文本输入模块，2B-手势拾取模块，2C-图像标识存储器，2D-第一图像识别模块，5-文本-图像存储器，2F-第二图像识别模块，2G-语音合成模块，3-正常人，4-正常人输入信息处理模块，4A-正常人文本输入模块，4B-语音拾取模块，4C-语音特征提取模块，4CA-语音滤波模块，4CB-背景噪声去除模块，4CC-语音放大模块，4D-第一语音识别模块，4E-语音标识存储器，4F-第二语音识别模块，4G-词库存储器，4H-显示屏。
具体实施方式
以下将结合附图对本发明提出的一种汽车自动驾驶仪实施例进行详细描述。
参见图1，一种便携式聋哑人交流设备，包括聋哑人输入信息处理模块2，正常人输入信息处理模块4。聋哑人1通过聋哑人信息输入处理模块2将输入的手语手势或文本翻译为可传递给正常人的语音；正常人3通过正常人信息输入处理模块4将输入的语音或输入的文本翻译为手语手势和文本并同时显示在显示屏上。
一.所述聋哑人信息输入处理模块2包括：
1.聋哑人文本输入模块2A，其用于聋哑人输入的文本信息，并将文本信息发送至语音合成模块。
2.手势识别处理模块，其用于对聋哑人的手语手势进行图像提取，并通过图像识别和处理后转换成文本信息，将文本信息发送至语音识别模块。
聋哑人信息输入处理模块中的手势识别处理模块包括：
1)手势拾取模块2B，其用于对聋哑人的手语手势进行图像提取，并发送至第一图像识别模块；
2)第一图像识别模块2D，其与手势拾取模块2B的输出端连接，接收手势拾取模块提取的手势图像，调用图像标识存储器中的数据，对手势图像的分类标识进行识别，并对后续的手势图像进行归类；
3)图像标识存储器2C，其与第一图像识别模块2D连接，用于存储图像分类标识；
4)第二图像识别模块2F，其与第一图像识别模块2D的输出端连接，接收第一图像识别模块2D识别出的手势图像的分类标识，并根据此分类标示在文本-图像存储器5指定存储区域对手势图像进行识别。并将手势图像对应的文本信息输出至所述语音合成模块2G；
5)文本-图像存储器5，其与第二图像识别模块2F连接，对手语手势图像进行分类存储，并可查找各分类标识下的手势图像对应的文本信息。
3.语音合成模块2G，其分别与聋哑人文本输入模块2A及手势识别处理模块的输出端连接，用于将接收的文本信息转换为语音进行播报。
二.所述正常人信息输入处理模块包括：
1.正常人文本输入模块4A，其用于正常人输入文本信息，并将文本信息发送至文本-图像存储器5。
2.语音识别处理模块，其用于对正常人输入的语音进行提取，并通过识别和处理后转换问文本信息，将文本信息发送至文本-图像存储器5。
正常人输入信息处理模块的语音识别处理模块包括：
1)语音拾取模块4B，其用于拾取正常人输入的语音信息，并发送至语音特征提取模块4C；
2)语音特征提取模块4C，其与语音拾取模块4B的输出端连接，用于对语音信息进行特征提取后发送至第一语音识别模块4D；
语音特征提取模块4C包括语音滤波模块4CA、与语音滤波模块4CA连接的背景噪声去除模块4CB、与背景噪声去除模块4CB连接的语音放大模块4CC，语音滤波模块4CA允许300～3000Hz的音频信号通过，背景噪声去除模块4CB去除背景噪声，语音放大模块4CC对音频信号进行放大处理。
3)第一语音识别模块4D，其与语音特征提取模块4C的输出端连接，接收特征提取后的语音信息，调用语音标识存储器中的数据，对语音信息的语音分类标识进行识别，并对后续的语音信息进行归类；
4)语音标识存储器4E，其与第一语音识别模块4D连接，用于存储语音分类标识；
5)第二语音识别模块4F，其与第一语音识别模块4D的输出端连接，接收第一语音识别模块识4D别出的语音分类标识，并根据此语音分类标示在词库存储器4G的指定区域进行语音识别，并将识别出的语音对应的文本信息输出至文本-图像存储器5；
6)词库存储器4G，其与第二语音识别模块4D连接，对语音信息进行分类存储，并可查找各语音信息对应的文本信息。
3.文本-图像存储器5，其分别与正常人文本输入模块4A和语音识别处理模块的输出端连接，其对文本和手势图像建立一一对应的存储模式，可查找出文本信息对应的手势图像，将与所识别的文本信息对应的手势图像输出至显示屏4H。
4.显示屏4H，其与文本-图像存储器5的输出端连接，用于显示接收来的图像。
聋哑人1可以通过聋哑人文本输入模块2A将文本输入给语音合成模块2G，语音合成模块2G将文本转换为语音。当聋哑人1使用手语时，手势拾取模块2B捕获手语手势，第一图像识别模块2D对手势拾取模块2B所捕获的手势图像标识进行识别，并对手势拾取模块2B捕获的后续图像进行归类，第二图像识别模块2F根据第一图像识别模块2D识别的手语手势图像类别在指定文本-图像存储器5存储区域内对手势图像进行针对性识别，直至手势拾取模块2B捕获新的手势图像标识，并将对应的文本传递给语音合成模块2G，最后通过语音合成模块2G将文本转换为语音。
正常人输入信息处理模块4包括正常人文本输入模块4A、语音识别处理模块、分别与正常人文本输入模块4A和语音识别处理模块的输出端连接的文本-图像存储器5、以及与文本-图像存储器5连接的显示屏4H。正常人输入信息处理模块4与聋哑人信息输入处理模块2共用一个文本-图像存储器5。其中，语音识别处理模块包括语音拾取模块4B、与语音拾取模块4B连接的语音特征提取模块4C、与语音特征提取模块4C连接的用于识别语音分类标识的第一语音识别模块4D、与第一语音识别模块4D连接的语音标识存储器4E、与第一语音识别模块4D连接的用于识别语音的第二语音识别模块4F、与第二语音识别模块4F连接的词库存储器4G、分别与正常人文本输入模块4A及第二语音识别模块4F的输出端连接的文本-图像存储器5。其中，语音特征提取模块4C包括语音滤波模块4CA、与语音滤波模块4CA连接的背景噪声去除模块4CB、与背景噪声去除模块4CB连接的语音放大模块4CC。
正常人可以直接通过正常人文本输入模块4A将文本输入给文本-图像存储器5，文本-图像存储器5同时输出手势图像和文本到显示屏4H上。此外语音拾取模块4B可以捕获正常人的语音，语音滤波模块4CA允许300～3000Hz的音频信号通过，背景噪声去除模块4CB可以去除背景噪声、语音放大模块4CC对音频信号进行放大处理；之后第一语音识别模块4D对语音特征提取模块4C所发送的语音信息的语音分类标识特征进行识别，对语音特征提取模块4C提取的后续语音进行归类，第二语音识别模块4F根据第一语音识别模块4D识别的语音类别在指定词库存储器4E存储区域内对语音针对性识别成文本信息，直至语音特征提取模块4C获得新的语音标识，并将对应的文本传递给文本-图像存储器5，文本-图像存储器5将文本和手势图像输出到显示屏4H上。
实施例
当聋哑人1通过聋哑人文本输入模块2A输入“你好”时，语音合成模块2G将该文本转换为语音“你好”。当聋哑人1使用手语表达“你好”时，手势拾取模块2B捕获该手语手势，之后第一图像识别模块2D对手势拾取模块2B所捕获的手势图像标识进行识别，对手势拾取模块2B捕获的后续图像“你好”归为问候类，第二图像识别模块2F根据第一图像识别模块2D识别的手语手势图像类别在文本-图像存储器5的问候类存储区域内对“你好”手势图像进行针对性识别，直至手势拾取模块2B捕获新的手势图像标识，之后将对应的“你好”文本传递给语音合成模块2G，最后通过语音合成模块2G输出“你好”语音。
当正常人4通过文本输入模块输入“你好”时，“你好”文本以及“你好”手语手势会直接在屏幕4H上展现。此外当正常人说出“你好”时，语音拾取模块4B可以捕获该语音，语音滤波模块4CA对该音频信号进行滤波，允许300～3000Hz的音频信号通过，背景噪声去除模块4CB可以去除该音频信号中的背景噪声、语音放大模块4CC对滤波后的音频信号进行放大处理，之后第一语音识别模块4D对语音特征提取模块4C所提取的语音分类标识特征进行识别，对语音特征提取模块4C提取的“你好”语音归为问候类，第二语音识别模块4F根据第一语音识别模块4D识别的语音类别在指定词库存储器4E问候类存储区域内对“你好”语音进行针对性识别，直至语音特征提取模块4C获得新的语音标识，之后将对应的文本传递给文本-图像存储器5，文本-图像存储器5将“你好”文本和“你好”手势图像输出到显示屏4H上。
Claims (3)
1.一种便携式聋哑人交流设备，其特征在于，包括聋哑人输入信息处理模块及正常人输入信息处理模块；聋哑人通过所述聋哑人输入信息处理模块将输入的手语手势或文本翻译为语音；正常人通过正常人输入信息处理模块将输入的语音或输入的文本翻译为手语手势和文本并同时进行显示；
所述聋哑人输入信息处理模块包括：
聋哑人文本输入模块，其用于聋哑人输入文本信息，并将文本信息发送至语音合成模块；
手势识别处理模块，其用于对聋哑人的手语手势进行图像提取，并通过图像识别和处理后转换成文本信息，将文本信息发送至语音合成模块；
语音合成模块，其分别与聋哑人文本输入模块及手势识别处理模块的输出端连接，用于将接收的文本信息转换为语音进行播报；
手势识别处理模块包括：
手势拾取模块，其用于对聋哑人的手语手势进行图像提取，并发送至第一图像识别模块；
第一图像识别模块，其与手势拾取模块的输出端连接，接收手势拾取模块提取的手势图像，调用图像标识存储器中的数据，对手势图像的分类标识进行识别，并对后续接收的手势图像进行归类；
图像标识存储器，其与第一图像识别模块连接，用于存储图像分类标识；
第二图像识别模块，其与第一图像识别模块的输出端连接，接收第一图像识别模块识别出的手势图像的分类标识，并根据此分类标识在文本-图像存储器指定存储区域对手势图像进行识别，并将手势图像对应的文本信息输出至所述语音合成模块；
文本-图像存储器，其与第二图像识别模块连接，对手语手势图像进行分类存储，并查找各分类标识下的手势图像对应的文本信息；
所述正常人输入信息处理模块模块包括：
正常人文本输入模块，其用于正常人输入文本信息，并将文本信息发送至文本-图像存储器；
语音识别处理模块，其用于对正常人输入的语音进行提取，并通过识别和处理后转换为文本信息，将文本信息发送至文本-图像存储器；
文本-图像存储器，其分别与正常人文本输入模块和语音识别处理模块的输出端连接，其对文本和手势图像建立一一对应的存储模式，查找出文本信息对应的手势图像，将与所识别的文本信息对应的手势图像输出至显示屏；
显示屏，其与文本-图像存储器的输出端连接，用于显示接收来的图像。
2.如权利要求1所述的一种便携式聋哑人交流设备，其特征在于，所述正常人输入信息处理模块的语音识别处理模块包括：
语音拾取模块，其用于拾取正常人输入的语音信息，并发送至语音特征提取模块；
语音特征提取模块，其与语音拾取模块的输出端连接，用于对语音信息进行特征提取后发送至第一语音识别模块；
第一语音识别模块，其与语音特征提取模块的输出端连接，接收特征提取后的语音信息，调用语音标识存储器中的数据，对语音信息的语音分类标识进行识别，并对后续接收的语音信息进行归类；
语音标识存储器，其与第一语音识别模块连接，用于存储语音分类标识；
第二语音识别模块，其与第一语音识别模块的输出端连接，接收第一语音识别模块识别出的语音分类标识，并根据此语音分类标识在词库存储器的指定区域进行语音识别，并将识别出的语音对应的文本信息输出至文本-图像存储器；
词库存储器，其与第二语音识别模块连接，对语音信息进行分类存储，并查找各语音信息对应的文本信息。
3.如权利要求2所述的一种便携式聋哑人交流设备，其特征在于，所述语音特征提取模块包括语音滤波模块、与语音滤波模块连接的背景噪声去除模块、与背景噪声去除模块连接的语音放大模块，语音滤波模块允许300～3000Hz的音频信号通过，背景噪声去除模块去除背景噪声，语音放大模块对音频信号进行放大处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610538192.0A CN105957514B (zh) | 2016-07-11 | 2016-07-11 | 一种便携式聋哑人交流设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610538192.0A CN105957514B (zh) | 2016-07-11 | 2016-07-11 | 一种便携式聋哑人交流设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105957514A CN105957514A (zh) | 2016-09-21 |
| CN105957514B true CN105957514B (zh) | 2019-07-26 |
Family
ID=56899614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610538192.0A Expired - Fee Related CN105957514B (zh) | 2016-07-11 | 2016-07-11 | 一种便携式聋哑人交流设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105957514B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106056994A (zh) * | 2016-08-16 | 2016-10-26 | 安徽渔之蓝教育软件技术有限公司 | 一种用于手语职业教育的辅助学习系统 |
| CN107967843A (zh) * | 2016-10-19 | 2018-04-27 | 河南省金拐杖医疗科技有限公司 | 一种聋哑人体外助讲机 |
| CN106372626A (zh) * | 2016-11-07 | 2017-02-01 | 包洋萱 | 一种基于手势识别的交流装置和方法 |
| US10854110B2 (en) | 2017-03-03 | 2020-12-01 | Microsoft Technology Licensing, Llc | Automated real time interpreter service |
| CN106981238A (zh) * | 2017-03-20 | 2017-07-25 | 南昌大学 | 一种基于计算机视觉的手语交流装置 |
| CN107492287A (zh) * | 2017-10-16 | 2017-12-19 | 重庆师范大学 | 哑巴说话仪 |
| CN108074569A (zh) * | 2017-12-06 | 2018-05-25 | 安徽省科普产品工程研究中心有限责任公司 | 一种智能化语音实时识别及展示方法 |
| KR102554934B1 (ko) * | 2018-04-17 | 2023-07-12 | 현대자동차주식회사 | 장애인을 위한 커뮤니케이션 시스템이 구비된 차량 및 장애인을 위한 커뮤니케이션 시스템 제어방법 |
| CN108877408A (zh) * | 2018-06-25 | 2018-11-23 | 贵州东仪医疗器械有限公司 | 手语翻译装置及方法 |
| CN108960126A (zh) | 2018-06-29 | 2018-12-07 | 北京百度网讯科技有限公司 | 手语翻译的方法、装置、设备及系统 |
| CN108920721A (zh) * | 2018-07-31 | 2018-11-30 | 锐嘉科集团有限公司 | 影像生成方法及影像生成装置 |
| CN109754677A (zh) * | 2019-02-26 | 2019-05-14 | 华南理工大学 | 一种双模式聋哑人交流设备 |
| CN109919127B (zh) * | 2019-03-20 | 2021-12-17 | 胡海明 | 一种哑语语言转换系统 |
| CN110534086A (zh) * | 2019-09-03 | 2019-12-03 | 北京佳珥医学科技有限公司 | 用于语言交互的配件、移动终端及交互系统 |
| CN111223369A (zh) * | 2020-01-15 | 2020-06-02 | 上海馨予信息技术有限公司 | 聋语翻译机及其交流方法 |
| CN111507256A (zh) * | 2020-04-16 | 2020-08-07 | 四川博源科技有限责任公司 | 一种用于柜台信息采集的人脸识别系统 |
| CN111933131A (zh) * | 2020-05-14 | 2020-11-13 | 联想(北京)有限公司 | 一种语音识别方法以及装置 |
| CN111768786B (zh) * | 2020-06-24 | 2022-12-13 | 重庆蓝岸科技股份有限公司 | 聋哑人通话智能终端平台及其通话方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09319297A (ja) * | 1996-05-29 | 1997-12-12 | Hitachi Ltd | 音声筆談器 |
| JP2000181333A (ja) * | 1998-12-21 | 2000-06-30 | Nippon Telegr & Teleph Corp <Ntt> | 発音訓練支援装置、その方法及びプログラム記録媒体 |
| CN101115088A (zh) * | 2007-08-07 | 2008-01-30 | 周运南 | 聋哑人专用手机 |
| CN101605158A (zh) * | 2008-06-13 | 2009-12-16 | 鸿富锦精密工业（深圳）有限公司 | 聋哑人专用手机 |
| CN102413249A (zh) * | 2010-09-20 | 2012-04-11 | 阿尔卡特朗讯 | 基于语音识别的通话 |
-
2016
- 2016-07-11 CN CN201610538192.0A patent/CN105957514B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN105957514A (zh) | 2016-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105957514B (zh) | 一种便携式聋哑人交流设备 | |
| CN109614628A (zh) | 一种基于智能硬件的翻译方法与翻译系统 | |
| CN103888581B (zh) | 一种通信终端及其记录通话信息的方法 | |
| CN109309804A (zh) | 一种智能会议系统 | |
| WO2017161741A1 (zh) | 聋哑人进行信息交流的方法、装置及智能终端 | |
| CN104966433A (zh) | 一种辅助聋哑人对话的智能眼镜 | |
| CN104021398A (zh) | 一种可穿戴智能设备及辅助身份识别的方法 | |
| CN205490994U (zh) | 一种多功能智能音响 | |
| CN110148418B (zh) | 一种场景记录分析系统、方法及其装置 | |
| CN107333090A (zh) | 视频会议数据处理方法和平台 | |
| CN105007557A (zh) | 一种具有语音识别和字幕显示功能的智能助听器 | |
| CN108510988A (zh) | 一种用于聋哑人的语言识别系统及方法 | |
| CN105267013B (zh) | 一种头戴式智能视障辅助系统 | |
| CN206115454U (zh) | 一种人脸识别平板 | |
| CN204968035U (zh) | 一种远程审讯系统 | |
| CN102890931A (zh) | 提高语音识别率的方法 | |
| CN108022466A (zh) | 一种基于多媒体技术的会议显示装置 | |
| CN103680223A (zh) | 辅助阅读设备及辅助阅读系统和辅助阅读方法 | |
| CN207718803U (zh) | 多信源语音区分识别系统 | |
| CN209571226U (zh) | 一种语音识别装置及系统 | |
| CN105916069A (zh) | 一种可将语音实时转换成文字的智能话筒 | |
| CN203070318U (zh) | 一种有声阅读机 | |
| CN104503572A (zh) | 语音文字交互转换装置 | |
| CN111985252A (zh) | 对话翻译方法及装置、存储介质和电子设备 | |
| CN203606871U (zh) | 考勤机 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190726 Termination date: 20210711 |