CN108256512A - 听障生融合教育课堂辅助系统及装置 - Google Patents
听障生融合教育课堂辅助系统及装置 Download PDFInfo
- Publication number
- CN108256512A CN108256512A CN201810237622.4A CN201810237622A CN108256512A CN 108256512 A CN108256512 A CN 108256512A CN 201810237622 A CN201810237622 A CN 201810237622A CN 108256512 A CN108256512 A CN 108256512A
- Authority
- CN
- China
- Prior art keywords
- module
- video
- data
- barrier
- processing module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004888 barrier function Effects 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 51
- 230000005540 biological transmission Effects 0.000 claims abstract description 22
- 230000001360 synchronised effect Effects 0.000 claims abstract description 17
- 230000033001 locomotion Effects 0.000 claims abstract description 15
- 230000001815 facial effect Effects 0.000 claims abstract description 12
- 238000013480 data collection Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 claims 1
- 238000012552 review Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 206010011878 Deafness Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 208000016354 hearing loss disease Diseases 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/009—Teaching or communicating with deaf persons
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
- G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Signal Processing (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明涉及听障生融合教育课堂辅助系统及装置,包括面部运动数据采集模块、视频识别处理模块、语音数据采集模块、语音识别模块、同步处理模块、数据传输模块、显示模块、资源存储模块、资源获取模块、数据播放模块;本发明提供具有音、视频识别系统,同时加入资源存储模块、资源获取模块,能够辅助听障生在课堂内实时接收教师授课内容,同时也可适用于课后复习视频课件,是听障生融合教育的课堂辅助系统。
Description
技术领域
本发明涉及听障生融合教育课堂辅助系统及装置。
背景技术
我国听力障碍学生(听力障碍学生下文简称听障生)人数众多。由于人类的语言认知过程是一个人多通道的感知过程,除声音信息通道外,唇动视觉信息可以作为语音理解源。对于听障儿童来讲唇动视觉即唇读是最主要的语音理解源,因此听障生主要通过观察说话人的口唇发音动作、肌肉活动及面部表情,形成连续的视知觉,并与头脑中储存的词语表象相比较和联系,进而理解说话者的内容。唇读作为语音的发音运动技能,可以帮助听障儿童利用唇读在口语交流过程中获取信息,有利于他们随班就读,融入主流社会。
目前大部分失聪和听障儿童都在聋哑学校或特殊教育学校学习,为了让听障儿童能接受高质量的普通教育,我国部分地区采取了融合教育课堂理念,即:融合指的是让大多数残障儿童进入普通班,并增进在普通班学习的方式。希望能合并普通及特教系统,建立一个统一完整的系统以便管理教育资源,并希望将不同种类班级的学生融合在一起。但其难点在于:普通教育无法对听障生提供高质量的个别化教学。听障生对教师授课过程中唇读及课后复习中存在很大的障碍。有鉴于此,有必要针对听障生的特殊需求,提供能辅助听障生在融合教育课堂上正常上课的系统平台及装置。
发明内容
本发明为辅助听障生融入融合教育课堂的辅助系统及装置,是具有音、视频识别及语音转文字的功能,同时该系统加入了资源存储模块、资源获取模块,提供能实时接收教师授课内容的辅助听障生在融合教育课堂上正常上课的系统平台,同时本系统可作为课后复习的视频资料辅助学习。
听障生融合教育课堂辅助系统,其特征在与:包括面部运动数据采集模块、视频识别处理模块、语音数据采集模块、语音识别模块、同步处理模块、数据传输模块、显示模块、资源存储模块、资源获取模块、数据播放模块。
所述面部运动数据采集模块用于采集说话人面部运动数据。
所述视频识别处理模块用于视频数据传输、视频数据接收、视频处理。
所述语音数据采集模块用于采集说话人语音数据。
所述语音识别模块用于将语音信息转至文字信息。
所述同步处理模块用于将文字、语音、视频信息同步传递。
所述数据传输模块用于将已同步的信息实时不间断传递。
所述资源存储模块用于将以获取的音频、视频、文字信息进行存储。
所述资源获取模块包括视频提取单元、协议分析单元、媒体解码单元、用户管理单元对以存储的信息进行提取。
所述数据播放模块用于对资源存储模块中存储的音频、视频、文字信息按照各协议划分进行播放。
所述显示模块用于显示说话人音频、视频、文字可视化信息。
本发明是利用移动互联网方式解决听障生在融合教育课堂问题的辅助系统及装置,系统通过视频识别处理模块、语音识别模块与同步处理模块后实时捕捉教师上课的唇形变化,听障生通过手机或者其他显示模块观看视频,了解教师授课知识点或通过资源存储模块、资源获取模块登录系统平台巩固复习课间教师授课知识点。
附图说明
图1是听障生融合教育课堂辅助系统及装置。
图2是视频识别处理模块102示意图。
图3是语音识别模块104示意图。
图4是同步处理模块105示意图。
图5是资源获取模块108示意图。
具体实施方案
下面结合附图详细说明本发明的技术方案。
图1是听障生融合教育课堂辅助系统及装置示意图。包括面部运动数据采集模块101、视频识别模块102、语音数据采集模块103语音识别模块104、同步处理模块105、数据传输模块106、资源存储模块107、资源获取模块108、数据播放模块109、显示模块110;
面部运动数据采集模块101用于采集说话人的面部运动数据。说话人面部数据可以是二维或三维数据。面部运动数据可以通过对说话人的面部运动进行录像的方式获得;
视频识别处理模块102所述视频识别处理模块用于视频数据传输、视频数据接收、视频处理。所述视频识别处理模块包括视频传输模块201、视频接收模块202、视频处理模块203。所述视频传输模块201用于对视频信息进行编码、压缩、打包并将流媒体数据传输给视频接收模块;视频接收模块202对接收的流媒体数据解包、解码、获得相应数字图像序列,并将其发送给视频处理模块203;视频处理模块203用于图像与处理、提取面部特征点。其中图像与处理包括原始图像进行滤波除噪、补光、增强灰度值。利用直方图均衡化技术将光照、背景等因素的影响表情图像的灰度的小范围区域进行外延扩展,加强像素灰度值的动态变化范围。其中提取面部特征点,采用Haar-Like特征值反映图像的灰度变化情况,对人唇部的主要特征的位置、大小、相对运动情况及其相互位置变化的进行特征提取,从而达到识别唇部发音动作的目的;
语音数据采集模块103用于采集说话人语音数据,说话人的语音数据可以通过对说话人的语音进行录音的方式直接获得;
语音识别模块104包括语音处理模块301、特征值提取模块302、解码模块303。所述语音处理模块包括转换单元、降噪单元。所述转换单元用于将语音信号模数转换。所述降噪单元用于降低信号噪声。所述特征值提取模块302用于将语音信号进行特征值提取。所述解码模块303根据声学模型数据库和语言模型数据库,对语音信号特征参数进行解码识别,语音信号特征参数解码识别后将语音信息转至文字信息。该语音识别模块支持回音消除(AEC)、静音检测(VAD)、噪音抑制(DENOISE)、自动增益(AGC)等网络语音技术,但对于低延迟融合教育课堂视频直播平台并不是网络直播,而是在课堂上使用,通话双方距离较近,可忽略该因素;
同步处理模块105用于将语音、文字、视频信息同步处理;
视频数据接收模块401接收到由视频识别处理模块102传送的数据视频;音频数据接收模块402接收到由语音处理模块301传送的音频数据;文字数据接收模块403接收到由语音识别模块104将语音数据转换的文字数据,同时将视频数据、语音数据、文字数据同步处理;
数据传输模块106用于将已同步的信息实时不间断传递;
资源存储模块107用于将以获取的音频、视频、文字信息进行存储。且对存储的信息信息按照协议种类进行划分,包括TP、UDP、TCP、HTTP和RTP协议;
资源获取模块108包括视频提取单元501、协议分析单元502、媒体解码单元503、用户管理单元504对已存储的信息进行提取;视频提取单元501用于对播放的音视频的传输协议进行提取并发送至协议分析单元502;协议分析单元502用于对接收的音视频信息传输协议进行分析并发送至媒体解码单元503;媒体解码单元503用于对接收的音视频信息的协议进行解码并发送至用户管理单元504;用户管理单元504用于对用户的信息进行管理,管理的内容包括用户注册和登录、查询及编辑;
数据播放模块109用于对资源存储模块中存储的音频、视频、文字信息按照各协议划分进行播放。播放的方式采用轮流播放、随机播放、重复播放;
显示模块110用于显示说话人音频、视频、文字可视化信息;显示模块110可以使显示器、手机等电子显示设备。
图2是视频识别处理模块102示意图。视频识别处理模块102的具体工作过程如下:
201视频传输模块:视频传输模块对视频信息进行编码、压缩、打包,将流媒体数据传输给视频接收模块;
202视频接收模块:视频接收模块对接收的流媒体数据进行解包、解码,获得数字图像序列,并将其发送给视频处理模块;
203视频处理模块:利用直方图均衡化技术将光照、背景等因素的影响表情图像的灰度的小范围区域进行外延扩展,加强像素灰度值的动态变化范围。其中提取面部特征点,采用Haar-Like特征值反映图像的灰度变化情况,对人类面部的主要特征(眼睛、鼻子、嘴巴)的位置、大小、相对运动情况及其相互位置变化的进行特征提取,从而达到人脸面部表情识别分类的目的。
图3是语音识别模块104示意图。语音别处理模块104的具体工作过程如下:
301语音处理模块:语音处理模块包括转换单元、降噪单元。转换单元用于将语音信号模数转换。所述降噪单元用于降低信号噪声。将经过处理的语音信息分别传送至同步处理模块105、特征值提取模块302;
302特征值提取模块:特征值提取模块用于将语音信号进行特征值提取。并将提取的特征值传送至解码模块;
303解码模块:解码模块根据声学模型数据库和语言模型数据库,对语音信号特征参数进行解码识别,语音信号特征参数解码识别后将语音信息转至文字信息,将文字信息传送至同步处理模块105。
图4是同步处理模块105示意图:视频数据接收模块401接收到由视频识别处理模块102传送的数据视频;音频数据接收模块402接收到由语处理模块301传送的音频数据;文字数据接收模块403接收到由语音识别模块104转换的文字数据;同时将视频数据、语音数据、文字数据同步处理。
图5是资源获取模块108示意图:资源获取模块108包括视频提取单元501、协议分析单元502、媒体解码单元503、用户管理单元504对已存储的信息进行提取;视频提取单元501用于对播放的音视频的传输协议进行提取并发送至协议分析单元502;协议分析单元502用于对接收的音视频信息传输协议进行分析并发送至媒体解码单元503;媒体解码单元503用于对接收的音视频信息的协议进行解码并发送至用户管理单元504;用户管理单元504用于对用户的信息进行管理,管理的内容包括用户注册和登录、查询及编辑。
综上所述本发明为辅助听障学生融入融合教育课堂的辅助系统及装置,是具有音、视频识别及语音转文字的功能,同时该系统加入了资源存储模块、资源获取模块,提供能实时接收教师授课内容的辅助听障生在融合教育课堂上正常上课的系统平台,同时本系统可作为课后复习的视频资料辅助学习。
应当理解的是,以上所示实施例仅表达本发明的几种实施方案,其描述较为具体和详细,但不能因此理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (7)
1.听障生融合教育课堂辅助系统及装置,其特征在于:包括面部运动数据采集模块、视频识别处理模块、语音数据采集模块、语音识别模块、同步处理模块、数据传输模块、显示模块、资源存储模块、资源获取模块、数据播放模块;
所述面部运动数据采集模块用于采集说话人面部运动特征数据;
所述视频识别处理模块用于视频数据传输、视频数据接收、视频数据处理;
所述语音数据采集模块用于采集说话人语音数据;
所述语音识别模块用于将语音信息转至文字信息;
所述同步处理模块用于将文字、语音、视频信息同步传递;
所述数据传输模块用于将已同步的信息实时不间断的传递;
所述资源存储模块用于将以获取的音频、视频、文字信息进行存储;
所述资源获取模块包括视频提取单元、协议分析单元、媒体解码单元、用户管理单元,对已存储的信息进行提取;
所述数据播放模块用于对资源存储模块中存储的音频、视频、文字信息按照各协议划分进行播放;
所述显示模块用于显示说话人音频、视频、文字可视化信息。
2.根据权利要求1所述的听障生融合教育课堂辅助系统及装置,其特征在于:该面部运动数据采集模块与视频识别处理模块相连接;该语音数据采集模块与语音识别模块相连接。
3.根据权利要求1所述的听障生融合教育课堂辅助系统及装置,其特征在于:该视频识别处理模块、语音识别模块与同步处理模块相连接;同步处理模块与数据传输模块相连接。
4.根据权利要求1所述的听障生融合教育课堂辅助系统及装置,其特征在于:所述语音识别模块包括语音处理模块、特征值提取模块、解码模块;所述语音处理模块包括转换单元、降噪单元;所述转换单元用于将语音信号模数转换;所述降噪单元用于降低信号噪声;
所述特征值提取模块用于将语音信号进行特征值提取;所述解码模块根据声学模型数据库和语言模型数据库,对语音信号特征参数进行解码识别,语音信号特征参数解码识别后将语音信息转至文字信息。
5.根据权利要求1所述的听障生融合教育课堂辅助系统及装置,其特征在于:所述视频识别处理模块包括视频传输模块、视频接收模块、视频处理模块;所述视频传输模块用于对视频信息进行编码、压缩、打包并将流媒体数据传输给视频接收模块;视频接收模块对接收的流媒体数据解码、解包、获得相应数字图像序列,并将其发送给视频处理模块。
6.根据权利要求1所述的听障生融合教育课堂辅助系统及装置,其特征在于:同步处理模块分别于视频识别处理模块、语音识别模块相连;
所述同步处理模块包括视频数据接收模块、音频数据接收模块、文字数据接收模块;
对接收到的视频数据、音频数据及语音识别模块提取出来的文字数据进行同步处理,并将同步处理的数据传输到数据传输模块。
7.根据权利要求1所述的听障生融合教育课堂辅助系统及装置,其特征在于:资源获取模块与视频播放模块相连;资源获取模块包括视频提取单元、协议分析单元、媒体解码单元、用户管理单元;视频提取单元用于对播放的音视频的传输协议进行提取并发送至协议分析单元;协议分析单元用于对接收的音视频信息传输协议进行分析;媒体解码单元用于对接收的音视频信息的协议进行解码;用户管理单元用于对用户的信息进行管理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810237622.4A CN108256512A (zh) | 2018-03-22 | 2018-03-22 | 听障生融合教育课堂辅助系统及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810237622.4A CN108256512A (zh) | 2018-03-22 | 2018-03-22 | 听障生融合教育课堂辅助系统及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108256512A true CN108256512A (zh) | 2018-07-06 |
Family
ID=62747250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810237622.4A Pending CN108256512A (zh) | 2018-03-22 | 2018-03-22 | 听障生融合教育课堂辅助系统及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108256512A (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1400541A (zh) * | 2002-08-20 | 2003-03-05 | 西安交通大学 | 基于ip网的多媒体实时授课系统 |
CN101493995A (zh) * | 2009-03-05 | 2009-07-29 | 无敌科技(西安)有限公司 | 一种视频交互式教学系统及方法 |
CN202872991U (zh) * | 2012-08-21 | 2013-04-10 | 杭州万达教育咨询有限公司 | 交互式远程教育点播系统 |
CN104537926A (zh) * | 2014-12-01 | 2015-04-22 | 上海交通大学 | 听障儿童语言训练辅助系统及方法 |
CN104882039A (zh) * | 2015-06-02 | 2015-09-02 | 阔地教育科技有限公司 | 一种基于移动终端的教学互动方法及服务器 |
CN105405325A (zh) * | 2015-12-22 | 2016-03-16 | 深圳市时尚德源文化传播有限公司 | 一种网络教学方法及系统 |
CN105957531A (zh) * | 2016-04-25 | 2016-09-21 | 上海交通大学 | 基于云平台的演讲内容提取方法及装置 |
CN106297453A (zh) * | 2016-08-26 | 2017-01-04 | 牡丹江师范学院 | 一种英语交互式教与学系统 |
CN106331566A (zh) * | 2015-06-30 | 2017-01-11 | 哈尔滨远卓科技开发有限公司 | 一种基于互联网即时通讯技术的教学终端 |
CN106851216A (zh) * | 2017-03-10 | 2017-06-13 | 山东师范大学 | 一种基于人脸和语音识别的课堂行为监控系统及方法 |
CN106971635A (zh) * | 2017-03-20 | 2017-07-21 | 厦门云开云科技有限公司 | 一种教学培训方法及系统 |
CN107492375A (zh) * | 2016-06-13 | 2017-12-19 | 深圳市巨龙科教高技术股份有限公司 | 一种课堂行为分析方法和系统 |
CN107564372A (zh) * | 2017-10-25 | 2018-01-09 | 绥化学院 | 一种听障学生的教学管理系统及方法 |
-
2018
- 2018-03-22 CN CN201810237622.4A patent/CN108256512A/zh active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1400541A (zh) * | 2002-08-20 | 2003-03-05 | 西安交通大学 | 基于ip网的多媒体实时授课系统 |
CN101493995A (zh) * | 2009-03-05 | 2009-07-29 | 无敌科技(西安)有限公司 | 一种视频交互式教学系统及方法 |
CN202872991U (zh) * | 2012-08-21 | 2013-04-10 | 杭州万达教育咨询有限公司 | 交互式远程教育点播系统 |
CN104537926A (zh) * | 2014-12-01 | 2015-04-22 | 上海交通大学 | 听障儿童语言训练辅助系统及方法 |
CN104882039A (zh) * | 2015-06-02 | 2015-09-02 | 阔地教育科技有限公司 | 一种基于移动终端的教学互动方法及服务器 |
CN106331566A (zh) * | 2015-06-30 | 2017-01-11 | 哈尔滨远卓科技开发有限公司 | 一种基于互联网即时通讯技术的教学终端 |
CN105405325A (zh) * | 2015-12-22 | 2016-03-16 | 深圳市时尚德源文化传播有限公司 | 一种网络教学方法及系统 |
CN105957531A (zh) * | 2016-04-25 | 2016-09-21 | 上海交通大学 | 基于云平台的演讲内容提取方法及装置 |
CN107492375A (zh) * | 2016-06-13 | 2017-12-19 | 深圳市巨龙科教高技术股份有限公司 | 一种课堂行为分析方法和系统 |
CN106297453A (zh) * | 2016-08-26 | 2017-01-04 | 牡丹江师范学院 | 一种英语交互式教与学系统 |
CN106851216A (zh) * | 2017-03-10 | 2017-06-13 | 山东师范大学 | 一种基于人脸和语音识别的课堂行为监控系统及方法 |
CN106971635A (zh) * | 2017-03-20 | 2017-07-21 | 厦门云开云科技有限公司 | 一种教学培训方法及系统 |
CN107564372A (zh) * | 2017-10-25 | 2018-01-09 | 绥化学院 | 一种听障学生的教学管理系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Gabbay et al. | Visual speech enhancement | |
US7676372B1 (en) | Prosthetic hearing device that transforms a detected speech into a speech of a speech form assistive in understanding the semantic meaning in the detected speech | |
Edlund et al. | Spontal: A Swedish Spontaneous Dialogue Corpus of Audio, Video and Motion Capture. | |
US8708702B2 (en) | Systems and methods for learning using contextual feedback | |
CN107112026A (zh) | 用于智能语音识别和处理的系统、方法和装置 | |
CN1679371B (zh) | 传声器和通信接口系统 | |
CN108702580A (zh) | 具有自动语音转录的听力辅助 | |
CN106653048B (zh) | 基于人声模型的单通道声音分离方法 | |
CN110148418B (zh) | 一种场景记录分析系统、方法及其装置 | |
JP2020166224A (ja) | 構音障害の音声明瞭度の改善システム及びその方法 | |
CN109448463A (zh) | 基于虚拟现实技术的外语发音自主学习训练系统及其方法 | |
CN113593601A (zh) | 基于深度学习的视听多模态语音分离方法 | |
CN116524791A (zh) | 一种基于元宇宙的唇语学习辅助训练系统及其应用 | |
CN208335209U (zh) | 听障生融合教育课堂辅助系统及装置 | |
CN109300478A (zh) | 一种听力障碍者的辅助对话装置 | |
CN108831472B (zh) | 一种基于唇语识别的人工智能发声系统及发声方法 | |
CN108256512A (zh) | 听障生融合教育课堂辅助系统及装置 | |
CN104010014A (zh) | 工作学习应用机器人 | |
Bigi et al. | CLeLfPC: a Large Open Multi-Speaker Corpus of French Cued Speech | |
Pan et al. | The Methods of Realizing Baby Crying Recognition and Intelligent Monitoring Based on DNN-GMM-HMM | |
FR2899097A1 (fr) | Systeme d'aide pour personne malentendante | |
RU2660600C2 (ru) | Способ общения глухих (слабослышащих) со слышащими | |
Peng et al. | AUDIOVISUAL EDUCATION CLASSROOM-AIDED PLATFORM VIDEO IMAGE PROCESSING TECHNOLOGY BASED ON FUSION EDUCATION | |
Pucher et al. | Conversion of Airborne to Bone-Conducted Speech with Deep Neural Networks. | |
JP2016095819A (ja) | 音声表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |