CN111462553A - 一种基于视频配音和纠音训练的语言学习方法及系统 - Google Patents

一种基于视频配音和纠音训练的语言学习方法及系统 Download PDF

Info

Publication number
CN111462553A
CN111462553A CN202010304733.XA CN202010304733A CN111462553A CN 111462553 A CN111462553 A CN 111462553A CN 202010304733 A CN202010304733 A CN 202010304733A CN 111462553 A CN111462553 A CN 111462553A
Authority
CN
China
Prior art keywords
dubbing
video
score
audio
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010304733.XA
Other languages
English (en)
Other versions
CN111462553B (zh
Inventor
刘勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Feizhu Technology Co ltd
Original Assignee
Hangzhou Feizhu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Feizhu Technology Co ltd filed Critical Hangzhou Feizhu Technology Co ltd
Priority to CN202010304733.XA priority Critical patent/CN111462553B/zh
Publication of CN111462553A publication Critical patent/CN111462553A/zh
Application granted granted Critical
Publication of CN111462553B publication Critical patent/CN111462553B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种基于视频配音和纠音训练的语言学习方法及系统，方法包括：显示用户选择的待配音视频；在获取到用户开始配音触发信号后，生成待配音视频的字幕列表；接收用户选择的字幕句子，播放字幕句子对应的视频画面，采集用户的配音内容；将配音内容的音素与标准音素进行比对，计算第一评分；计算所述配音内容与视频原音的相似度，作为第二评分；基于第一评分、第二评分计算各配音内容评测评分；基于所有字幕句子的评测评分，生成视频配音报告；提取视频配音报告中有待加强的单词，进入纠音模式。本发明使用户无论何时何地都可以学习，解决用户不敢开口说语言、发音不准问题，同时提高了配音评测的准确性。

Description

一种基于视频配音和纠音训练的语言学习方法及系统
技术领域
本发明涉及互联网在线教育技术领域，具体涉及一种基于视频配音和纠音训练的语言学习方法及系统。
背景技术
语言听说能力是中小学生及成人语言学习的难题，很多人只学会哑巴语言，不敢开口说语言。语言学习枯草无味，很多人不知如何练习口语。在家自己练习，无人指导，不知道自己读出的音是否正确，通过本发明能较好的在家自己练习并纠正发音。比如老师布置听说作业也没有很好的形式，以往老师检查听说作业，可以通过手机录音或录制视频发给老师来检查作业，缺点就是老师接收文件麻烦，还需要完全主观去听每一个人的发音情况，并给出指导建议，老师所花时间和精力都比较多，而且效果还不一定好。
公开号为CN 109817244A的发明专利申请公开了一种口语评测方法、装置、设备和存储介质，所述方法包括：显示目标内容的领主展示页面：在获取到对应于领主挑战控件的触发信号之后，显示目标内容的跟读内容，以及采集第一用户帐号的用户录入的目标内容的跟读内容对应的音频内容：对音频内容进行评测打分，得到第一用户帐号对应的评分：根据第一用户帐号对应的评分和领主帐号对应的评分，显示挑战结果。
上述申请虽然能对口语进行评测，但是是将用户口语与标准发音进行比对，逐音素、逐词进行评分，然而，对于不同的口语环境，同一音素、同一词语的发音也不尽相同。流利的口语发音通常是会进行词语间的连读，如果将每个音素、词语进行独立的判断，生硬的逐词发音往往比流利连贯的发音得分更高，显然是不符合实际的。此外，单纯的口语评测并不能有效指导用户的语言学习，不能从根本上提高用户的口语水平。
因此，如何针对现有技术的缺陷，提出一种适应于环境、更准确的语言评测与学习方法，是本领域亟待解决的问题。
发明内容
本发明的目的是针对现有技术的缺陷，提供了一种基于视频配音和纠音训练的语言学习方法及系统，本发明使用户无论何时何地都可以学习语言，解决用户不敢开口说语言、发音不准问题，同时提高了配音评测的准确性。
为了实现以上目的，本发明采用以下技术方案：
一种基于视频配音和纠音训练的语言学习方法，包括：
S1、显示用户选择的待配音视频；
S2、在获取到用户开始配音触发信号后，生成待配音视频的字幕列表，计算每句字幕对应的配音时长；
S3、接收用户选择的字幕句子，播放该字幕句子对应的视频画面，在获取到用户录音触发信号后，采集用户的配音内容；
S4、将所述配音内容的音素与标准音素进行比对，计算配音内容的第一评分；
S5、计算所述配音内容与视频原音的相似度，作为配音内容的第二评分；
S6、基于所述第一评分、第二评分计算各字幕句子对应的配音内容评测评分；
S7、基于所有字幕句子的评测评分，生成视频配音报告；
S8、提取视频配音报告中有待加强的单词，显示有待加强单词的纠音信息，进入纠音模式。
进一步地，所述步骤S4包括：
S41、获取配音内容对应字幕句子中音素的标准音频；
S42、根据配音内容中每个音素的声学特征，计算每个音素的评分；
S43、基于所述每个音素的评分计算配音内容中每个单词的评分；
S44、基于所述每个单词的评分计算配音内容的第一评分。
进一步地，所述步骤S5包括：
S51、采集配音内容、视频原音的音频信号；
S52、对配音内容、视频原音的音频信号进行同步压缩小波变换，得到对应的三维时频谱图；
S53、计算配音内容、视频原音对应的三维时频谱图间的相关系数；
S54、基于所述相关系数确定配音内容的第二评分。
进一步地，所述视频配音报告包含视频整体配音得分、各字幕句子配音内容评测评分、每个单词的评分；所述视频整体配音得分具体为：
V＝∑ω·C
其中，ω为各字幕句子对应的配音内容评测评分C的权重；
根据单词及句子的评分，视频配音报告中包括优秀的单词、有待加强的单词、优秀的句子、有待加强的句子。
进一步地，所述纠音信息包括该单词的音标、标准读音、配音音频、发音技巧、及舌位图；所述纠音模式包括：用户通过学习音标、反复听标准读音来纠音，对用户纠音结果进行录入，录入相应的音频，评测该音频，若与标准读音相符，则通过；若未通过，则持续举例讲解该音频的发音。
本发明还提出一种基于视频配音和纠音训练的语言学习系统，包括：
显示模块，用于显示用户选择的待配音视频；
字幕列表生成模块，用于在获取到用户开始配音触发信号后，生成待配音视频的字幕列表，计算每句字幕对应的配音时长；
字幕句子选择模块，用于接收用户选择的字幕句子，播放该字幕句子对应的视频画面，在获取到用户录音触发信号后，采集用户的配音内容；
第一评测模块，用于将所述配音内容的音素与标准音素进行比对，计算配音内容的第一评分；
第二评测模块，用于计算所述配音内容与视频原音的相似度，作为配音内容的第二评分；
第三评测模块，用于基于所述第一评分、第二评分计算各字幕句子对应的配音内容评测评分；
配音报告生成模块，用于基于所有字幕句子的评测评分，生成视频配音报告；
纠音模块，用于提取视频配音报告中有待加强的单词，显示有待加强单词的纠音信息，进入纠音模式。
进一步地，所述第一评测模块，包括：
获取模块，用于获取配音内容对应字幕句子中音素的标准音频；
音素评分模块，用于根据配音内容中每个音素的声学特征，计算每个音素的评分；
单词评分模块，用于基于所述每个音素的评分计算配音内容中每个单词的评分；
第一评分模块，用于基于所述每个单词的评分计算配音内容的第一评分。
进一步地，所述第二评测模块包括：
信号采集模块，用于采集配音内容、视频原音的音频信号；
变换模块，用于对配音内容、视频原音的音频信号进行同步压缩小波变换，得到对应的三维时频谱图；
相关系数计算模块，用于计算配音内容、视频原音对应的三维时频谱图间的相关系数；
第二评分模块，用于基于所述相关系数确定配音内容的第二评分。
进一步地，所述视频配音报告包含视频整体配音得分、各字幕句子配音内容评测评分、每个单词的评分；所述视频整体配音得分具体为：
V＝∑ω·C
其中，ω为各字幕句子对应的配音内容评测评分C的权重；
根据单词及句子的评分，视频配音报告中包括优秀的单词、有待加强的单词、优秀的句子、有待加强的句子。
进一步地，所述纠音信息包括该单词的音标、标准读音、配音音频、发音技巧、及舌位图；所述纠音模式包括：用户通过学习音标、反复听标准读音来纠音，对用户纠音结果进行录入，录入相应的音频，评测该音频，若与标准读音相符，则通过；若未通过，则持续举例讲解该音频的发音。
本发明的目的是针对现有技术的缺陷，提供了一种基于视频配音和纠音训练的语言学习方法及系统，与现有技术相比，具有如下优点：
1、本发明解决了现有的语言学习枯燥无味、大部分人不敢开口说语言、不知从何开始练习的问题，增加了用户语言学习的趣味性，让更多人爱上语言学习；
2、本发明为各用户的视频配音生成相应的配音报告，减轻了老师等进行语言评测的负担，同时克服了老师评测的主观性；
3、本发明基于生成的配音报告对用户进行针对性的纠音指导，使用户随时随地都能进行语言学习，同时克服了自主学习过程中发音不标准等问题，使用户在多次训练中提高自己的语音语速、流利度；
4、本发明将每个句子配音内容与视频原音进行音频信号对比，根据不同的视频类型与场景设置相应的权重，使配音评测适应于不同的口语环境，克服了现有的口语评测过程中仅基于配音与标准发音逐音素、逐词进行评分时固化的问题，大大提升了配音评测的准确性；
5、本发明根据每句字幕在原有视频中的起止时间计算该句字幕对应的配音时长，每句字幕对应的配音时长即为该句字幕对应的原有视频的时长，提高音频对比时的准确性；
6、本发明在正式的配音前、当用户遇到不会的单词时，用户都可以进行音频的学习、单词的查询，提高了用户的学习效率；
7、本发明采用音视频混播技术实现与多个配音音频文件的混合播放，降低存储消耗的同时降低了数据上传与下载的处理时长。
附图说明
图1是实施例一提供的一种基于视频配音和纠音训练的语言学习方法流程图；
图2是实施例二提供的一种基于视频配音和纠音训练的语言学习系统结构图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明实施例提供的技术方案，可适用于多个不同语种的语言学习，如英语、法语、德语、汉语、日语、韩语等。在本发明实施例中，主要以应用在英语中为例进行介绍说明，但并不构成对本发明技术方案的限定。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
实施例一
如图1所示，本实施例提出了一种基于视频配音和纠音训练的语言学习方法，包括：
S1、显示用户选择的待配音视频；
本发明为用户提供丰富的视频学习资源，视频可以为有趣的动漫视频，也可以为来自教材课本的英文视频，这些视频都需要精选制作，并符合学生学习，且健康的视频内容。具体地，预先设计了视频数据库，用于存储海量的视频学习资源，预先在视频数据库中设置多个视频分类。视频类别可以是动漫、动画、电影、英美剧、纪录片、名人演讲、流行英文歌曲、英文诗歌、教材等可用的学习资源。通过拥有丰富的学习资源，使用户的学习变得有趣。对于每一个视频，视频数据库包含该视频的视频名称、封面、难度、类别、年级、以及字幕子数据库，字幕子数据库中包含字幕的索引、英文字幕句子、对应的中文翻译、以及该句字幕在原有视频中的起止时间。一个视频对应一个字幕数据文件，通过视频ID进行对应。
用户进行语言学习时，可以根据兴趣选择相应的视频。具体地，可以输入具体的视频名称进行搜索，也可以根据年级、难度等进行视频的筛选。视频数据库根据用户输入视频的标题可以搜索出视频列表，根据标题的匹配度呈降序列出。此外，可以根据设置的难度级别来筛选推荐，或者勾选视频列表中的分类标签筛选出视频内容。此外，不同难度的视频适应于不同英语水平等级的用户，因此，用户可以设置自己的英语水平等级，本发明根据用户英语水平等级来推荐相关难度适宜的内容可供选择。此外，还可以根据用户历史的配音视频进行推荐，在此不作限定。根据用户的选择确定用户需要的待配音视频后，显示输出，供用户进行进一步的配音等操作。
S2、在获取到用户开始配音触发信号后，生成待配音视频的字幕列表，计算每句字幕对应的配音时长；
为了提高视频配音与学习的效率，本发明在触发配音信号前，可以播放待配音视频的原音。边听边看视频输出的英语字幕，在此过程中，可以多次循环听视频原音，练习听力，感受视频的场景，需要融入场景化的学习过程，而不是记住该字幕句子。
需要进行语言学习时，用户在视频播放页面点击“开始配音”按钮进入配音学习过程。当获取到用户开始配音触发信号后，通过待配音视频的ID获取该视频对应的字幕数据文件，根据字幕数据文件中的英文字幕句子、对应的中文翻译生成相应的字幕列表。字幕列表中的每一列包括一句英文字幕句子及对应的中文翻译。
如上所述，字幕子数据库中包含字幕的索引、英文字幕句子、对应的中文翻译、以及该句字幕在原有视频中的起止时间，因此，字幕列表中的每句字幕与其对应的起止时间的视频对应。生成的字幕列表是为进行视频配音做准备，当视频的配音音频与原音频的时长差异过大时，不能很好地进行音频对齐与比较，影响配音评测的准确性，因此，本发明根据每句字幕在原有视频中的起止时间计算该句字幕对应的配音时长，每句字幕对应的配音时长即为该句字幕对应的原有视频的时长。
S3、接收用户选择的字幕句子，播放该字幕句子对应的视频画面，在获取到用户录音触发信号后，采集用户的配音内容；
生成的待配音视频字幕列表可以是字幕句子纵向排列，与待配音视频一起显示在客户端界面。客户端可以为手机、平板电脑、多媒体播放设备、可穿戴设备、个人计算机等电子设备。具体地，可以显示在待配音视频左侧、右侧等各个位置，在此不作限定。本发明中，用户逐句进行视频配音，因此，用户可以滑动查看每一个字幕句子，从第一句开始，滑动到每一句，自主选择想要配音的字幕句子。因此，用户在进行视频配音过程中，不需要按照字幕句子的先后顺序进行配音。
当用户选择相应的字幕句子后，视频播放页面就会播放该字幕句子对应的视频画面，提高配音学习的趣味性。本发明根据视频字幕句子配音，点击句子列表选择配音句子，先听原音，准备跟读，点击录音按钮，开始录音。具体地，在用户进行正式的配音前，播放视频画面中的原音，具体地，循环播放该句原音，直到用户点击开始录音按钮，进入该句字幕配音。通过播放字幕句子的原音，使用户进行充分的学习。
在获取到用户录音触发信号后，采集用户的配音内容，进入单句录音操作。本发明计算每句字幕对应的配音时长，因此，用户需要在对应的配音时长内完成该句字幕的配音，当配音时长到达时，自动结束该局字幕的录音，生成相应字幕句子的配音音频。当用户对该字幕句子的配音音频不满意时，可以重新选择该字幕句子，点击开始录音按钮，重新进行该字幕句子的配音。此外，当用户在后续配音过程中，想到对之前的配音进行修正时，也可以滑动选择需要修正的配音，重新进行该字幕句子的配音录入。
对于每个配音音频，音频采样率为44100，双声道，文件格式为LPCM，文件时长为每一句字幕对应的音频时长。输入录音时必须按录音时长，否则与字幕的对应关系就不一致，配音的评测准确率会大大降低。
此外，为了提高用户的学习效率，当用户遇到不会的单词，可以点击该单词，进行单词查询，会显示单词的发音音标和翻译，此外还能收藏该单词到我的单词本，方便后续学习。因此，本发明还提前预置单词数据库。当完全准备好后，便可点击“录音”按钮开始录音。也就是说，本发明还接收用户的单词选择，输出该单词的发音及翻译。
本发明依次完成视频中所有字幕句子的配音音频录入，所有的字幕句子录音完成后，可以合成整个视频配音音频。各字幕句子对应的配音内容为PLCM格式，输入的多个录音文件按开始时间合并为一个PLCM文件，具备时间序列，同时文件时长等于视频时长，最后兼容Android系统和iOS系统都可以播放，需转换为AAC格式音频文件。
为了验证录音结果是否满意，本发明还可以将录入的音频使用音频播放器播放，播放器需要对音频文件解码，完成播放流程。当用户对某字幕句子不满意时，可以选择该字幕句子重新进行配音录入，每日一练，不断精进，提高自己的口语和听力能力。
S4、将所述配音内容的音素与标准音素进行比对，计算配音内容的第一评分；
本发明还包括标准数据库，用于存储各音素的标准音频。采集到字幕句子的配音内容后，将配音内容中的音素与标准音素逐个对比，以此计算配音内容的第一评分，具体为：
S41、获取配音内容对应字幕句子中音素的标准音频；
为了提高配音评测的准确度，本发明将配音内容的音素与标准音素进行比对。由于本发明中包括每个字幕句子的文字显示，因此本发明直接根据显示的字幕句子确定句子中所有的音素，并进一步根据确定的音素在标准数据库中获取音素对应的标准音频。
S42、根据配音内容中每个音素的声学特征，计算每个音素的评分；
音素的评分是用于指示该音素的朗读质量的评价参数。每个音素的评分可以采用百分制、也可以采用十分制或者采用其它计分方式，本发明实施例对此不作限定。本发明根据配音内容中每个音素的声学特征，计算每个音素的评分。具体地，可以采用GOP算法计算每个音素的评分。
S43、基于所述每个音素的评分计算配音内容中每个单词的评分；
每个单词可能包括一个或多个音素，当包括一个音素时，该音素的评分就是该单词的评分。当包括多个音素时，计算每个音素评分及各音素在该单词中对应权重的加权和，作为每个单词的评分。
S44、基于所述每个单词的评分计算配音内容的第一评分。
每个字幕句子包括多个单词，因此，计算配音内容的评分时，计算每个单词评分及各单词在该字幕句子中对应权重的加权和，作为每个句子的评分。单词对应的权重可以根据该单词中包括的元音数量等确定，在此不作限定。
S5、计算所述配音内容与视频原音的相似度，作为配音内容的第二评分；
在将配音音素与标准音素进行对比的基础上，本发明还将配音内容与视频原音进行比较。具体为：
S51、采集配音内容、视频原音的音频信号；
本发明将每个字幕句子的配音内容对应的音频信号与该字幕句子对应的视频原音音频信号进行比较，基于配音内容与视频原音的相似度对配音内容进行评价。具体地，视频原音的音频信号与相应的视频原音关联存储。培养内容的音频信号通过用户的录音设备实时采集，采集的音频信号可以与相应的字幕句子关联。
S52、对配音内容、视频原音的音频信号进行同步压缩小波变换，得到对应的三维时频谱图；
本发明对配音内容、视频原音的音频信号进行同步压缩小波变换，根据得到的三维时频谱图计算音频信号间的相似性。同步压缩小波变换的具体步骤在此不再赘述。
S53、计算配音内容、视频原音对应的三维时频谱图间的相关系数；
本发明配音内容的三维时频谱图wt与视频原音对应的三维时频谱图WT进行相似性计算。具体地，wt与WT的相关系数P具体为：
Figure BDA0002455365660000101
其中，σ(wt)、σ(WT)分别为wt与WT的方差，cov(wt,WT)为wt与WT的协方差。
S54、基于所述相关系数确定配音内容的第二评分。
与音素评分一样，配音内容的第二评分可以采用百分制、也可以采用十分制或者采用其它计分方式，本发明实施例对此不作限定。配音内容的音频信号与视频原音的音频信号相关系数越大，相应的第二评分值越高。具体地，本发明将相应分制的满分乘以配音内容、视频原音对应的三维时频谱图间的相关系数，作为配音内容的第二评分。
S6、基于所述第一评分、第二评分计算各字幕句子对应的配音内容评测评分；
基于第一评分、第二评分，计算各字幕句子对应的配音内容评测评分，具体为：
C＝η·C1+(1-η)C2
其中，η为第一评分C1的权重，C2为第二评分，C为配音内容评测评分。
第一评分、第二评分的权重可以根据实际需要进行设置。例如，当视频属于生活类视频时，相应的单词连读情形较多，此时需要适当增大第二评分的权重。当视频属于教育科普类视频时，相应的单词连读情形较少，此时需要适当降低第二评分的权重。本发明通过第一评分及第二评分对字幕句子的配音内容进行综合评定，能够适应不同的配音场景，提高配音内容评测的准确性。
S7、基于所有字幕句子的评测评分，生成视频配音报告；
本发明对视频配音进行评测的目的是为了提高用户学习语言的积极性。因此，本发明依次为所有的字幕句子进行评测评分。用户进行视频配音时，当有录音内容和单词读音，会返回综合测评结果，供用户参考，以针对性地进行学习。进行配音内容评测时，当录音文件无声或检测不到单词读音时返回提示，测评无结果。
因此，本发明在计算配音内容评测评分后，生成视频配音报告，配音报告中会返回综合测评结果分数：包含视频整体配音得分、各字幕句子配音内容评测评分、每个单词的评分。视频整体配音得分具体为：
V＝∑ω·C
其中，ω为各字幕句子对应的配音内容评测评分C的权重。
视频配音报告包含优秀的单词、有待加强的单词、优秀的句子、有待加强的句子。例如，对于百分制评分，其中，小于80分的单词都为待加强的单词，大于等于80分的单词为优秀的单词，小于80分的句子都为待加强的句子，大于等于80分的句子为优秀的句子。
此外，为了提高视频配音报告结果的直观性，本发明对每个单词根据相应的评分进行差异化显示。例如，使用红色标记小于60分的单词，表明急需努力；黑色标记60分至79分的单词，表示有待提高；绿色标记80分至100分的单词，表示优秀。若一次读得不好，可以多次重复练习。
S8、提取视频配音报告中有待加强的单词，显示有待加强单词的纠音信息，进入纠音模式。
对于视频配音报告中有待加强的单词，本发明显示相应的纠音信息。纠音信息包括该单词的音标、标准读音、配音音频、发音技巧、及舌位图。舌位图来源于纠音库，纠音库中包含可纠音的音标、发音技巧、舌位图等，配音报告中的有待加强单词发音错误的音标输入到纠音库查找，若有该音标，则显示纠音入口，可进入纠音。
进行纠音时，显示待加强的单词的音标、标准读音、配音音频、发音技巧、及舌位图等。用户通过学习音标、反复听标准读音等来纠音。对用户纠音结果进行录入，录入相应的音频，再次评测该音频，若与纠音库的发音相符，则通过。若未通过，则纠音模式会持续举例讲解该音频的发音。具体地，本发明需要预先置入纠音库中音标的发音、音标的应用场景、还有发音的技巧等。
随着用户数量的增加及用户使用次数的增多，越来越多的配音数据会占用大量的存储空间。如果将每个视频配音都与视频进行合成存储，存储空间消耗大。因此，为了解决视频资源大的问题，本发明在服务器中存储视频，用户生成视频配音音频后，仅上传视频配音音频文件，保存最后录入视频配音音频与原视频ID的对应关系。进行配音作品播放时，只需要下载一次原视频，采用音视频混播技术实现与多个配音音频文件的混合播放。对原视频进行缓存后，下次播放时只从服务器下载音频文件到本地与原视频混合播放，把原视频的音轨设置为无声，同时播放录音文件，即可达到画面与字幕同步的效果，降低存储消耗的同时降低了数据上传与下载的处理时长。
实施例二
如图2所示，本实施例提出了一种基于视频配音和纠音训练的语言学习系统，包括：
显示模块，用于显示用户选择的待配音视频；
本发明为用户提供丰富的视频学习资源，视频可以为有趣的动漫视频，也可以为来自教材课本的英文视频，这些视频都需要精选制作，并符合学生学习，且健康的视频内容。具体地，预先设计了视频数据库，用于存储海量的视频学习资源，预先在视频数据库中设置多个视频分类。视频类别可以是动漫、动画、电影、英美剧、纪录片、名人演讲、流行英文歌曲、英文诗歌、教材等可用的学习资源。通过拥有丰富的学习资源，使用户的学习变得有趣。对于每一个视频，视频数据库包含该视频的视频名称、封面、难度、类别、年级、以及字幕子数据库，字幕子数据库中包含字幕的索引、英文字幕句子、对应的中文翻译、以及该句字幕在原有视频中的起止时间。一个视频对应一个字幕数据文件，通过视频ID进行对应。
用户进行语言学习时，可以根据兴趣选择相应的视频。具体地，可以输入具体的视频名称进行搜索，也可以根据年级、难度等进行视频的筛选。视频数据库根据用户输入视频的标题可以搜索出视频列表，根据标题的匹配度呈降序列出。此外，可以根据设置的难度级别来筛选推荐，或者勾选视频列表中的分类标签筛选出视频内容。此外，不同难度的视频适应于不同英语水平等级的用户，因此，用户可以设置自己的英语水平等级，本发明根据用户英语水平等级来推荐相关难度适宜的内容可供选择。此外，还可以根据用户历史的配音视频进行推荐，在此不作限定。根据用户的选择确定用户需要的待配音视频后，显示输出，供用户进行进一步的配音等操作。
字幕列表生成模块，用于在获取到用户开始配音触发信号后，生成待配音视频的字幕列表，计算每句字幕对应的配音时长；
为了提高视频配音与学习的效率，本发明在触发配音信号前，可以播放待配音视频的原音。边听边看视频输出的英语字幕，在此过程中，可以多次循环听视频原音，练习听力，感受视频的场景，需要融入场景化的学习过程，而不是记住该字幕句子。
需要进行语言学习时，用户在视频播放页面点击“开始配音”按钮进入配音学习过程。当获取到用户开始配音触发信号后，通过待配音视频的ID获取该视频对应的字幕数据文件，根据字幕数据文件中的英文字幕句子、对应的中文翻译生成相应的字幕列表。字幕列表中的每一列包括一句英文字幕句子及对应的中文翻译。
如上所述，字幕子数据库中包含字幕的索引、英文字幕句子、对应的中文翻译、以及该句字幕在原有视频中的起止时间，因此，字幕列表中的每句字幕与其对应的起止时间的视频对应。生成的字幕列表是为进行视频配音做准备，当视频的配音音频与原音频的时长差异过大时，不能很好地进行音频对齐与比较，影响配音评测的准确性，因此，本发明根据每句字幕在原有视频中的起止时间计算该句字幕对应的配音时长，每句字幕对应的配音时长即为该句字幕对应的原有视频的时长。
字幕句子选择模块，用于接收用户选择的字幕句子，播放该字幕句子对应的视频画面，在获取到用户录音触发信号后，采集用户的配音内容；
生成的待配音视频字幕列表可以是字幕句子纵向排列，与待配音视频一起显示在客户端界面。客户端可以为手机、平板电脑、多媒体播放设备、可穿戴设备、个人计算机等电子设备。具体地，可以显示在待配音视频左侧、右侧等各个位置，在此不作限定。本发明中，用户逐句进行视频配音，因此，用户可以滑动查看每一个字幕句子，从第一句开始，滑动到每一句，自主选择想要配音的字幕句子。因此，用户在进行视频配音过程中，不需要按照字幕句子的先后顺序进行配音。
当用户选择相应的字幕句子后，视频播放页面就会播放该字幕句子对应的视频画面，提高配音学习的趣味性。本发明根据视频字幕句子配音，点击句子列表选择配音句子，先听原音，准备跟读，点击录音按钮，开始录音。具体地，在用户进行正式的配音前，播放视频画面中的原音，具体地，循环播放该句原音，直到用户点击开始录音按钮，进入该句字幕配音。通过播放字幕句子的原音，使用户进行充分的学习。
在获取到用户录音触发信号后，采集用户的配音内容，进入单句录音操作。本发明计算每句字幕对应的配音时长，因此，用户需要在对应的配音时长内完成该句字幕的配音，当配音时长到达时，自动结束该局字幕的录音，生成相应字幕句子的配音音频。当用户对该字幕句子的配音音频不满意时，可以重新选择该字幕句子，点击开始录音按钮，重新进行该字幕句子的配音。此外，当用户在后续配音过程中，想到对之前的配音进行修正时，也可以滑动选择需要修正的配音，重新进行该字幕句子的配音录入。
对于每个配音音频，音频采样率为44100，双声道，文件格式为LPCM，文件时长为每一句字幕对应的音频时长。输入录音时必须按录音时长，否则与字幕的对应关系就不一致，配音的评测准确率会大大降低。
此外，为了提高用户的学习效率，当用户遇到不会的单词，可以点击该单词，进行单词查询，会显示单词的发音音标和翻译，此外还能收藏该单词到我的单词本，方便后续学习。因此，本发明还提前预置单词数据库。当完全准备好后，便可点击“录音”按钮开始录音。也就是说，本发明还接收用户的单词选择，输出该单词的发音及翻译。
本发明依次完成视频中所有字幕句子的配音音频录入，所有的字幕句子录音完成后，可以合成整个视频配音音频。各字幕句子对应的配音内容为PLCM格式，输入的多个录音文件按开始时间合并为一个PLCM文件，具备时间序列，同时文件时长等于视频时长，最后兼容Android系统和iOS系统都可以播放，需转换为AAC格式音频文件。
为了验证录音结果是否满意，本发明还可以将录入的音频使用音频播放器播放，播放器需要对音频文件解码，完成播放流程。当用户对某字幕句子不满意时，可以选择该字幕句子重新进行配音录入，每日一练，不断精进，提高自己的口语和听力能力。
第一评测模块，用于将所述配音内容的音素与标准音素进行比对，计算配音内容的第一评分；
本发明还包括标准数据库，用于存储各音素的标准音频。采集到字幕句子的配音内容后，将配音内容中的音素与标准音素逐个对比，以此计算配音内容的第一评分，具体包括：
获取模块，用于获取配音内容对应字幕句子中音素的标准音频；
为了提高配音评测的准确度，本发明将配音内容的音素与标准音素进行比对。由于本发明中包括每个字幕句子的文字显示，因此本发明直接根据显示的字幕句子确定句子中所有的音素，并进一步根据确定的音素在标准数据库中获取音素对应的标准音频。
音素评分模块，用于根据配音内容中每个音素的声学特征，计算每个音素的评分；
音素的评分是用于指示该音素的朗读质量的评价参数。每个音素的评分可以采用百分制、也可以采用十分制或者采用其它计分方式，本发明实施例对此不作限定。本发明根据配音内容中每个音素的声学特征，计算每个音素的评分。具体地，可以采用GOP算法计算每个音素的评分。
单词评分模块，用于基于所述每个音素的评分计算配音内容中每个单词的评分；
每个单词可能包括一个或多个音素，当包括一个音素时，该音素的评分就是该单词的评分。当包括多个音素时，计算每个音素评分及各音素在该单词中对应权重的加权和，作为每个单词的评分。
第一评分模块，用于基于所述每个单词的评分计算配音内容的第一评分
每个字幕句子包括多个单词，因此，计算配音内容的评分时，计算每个单词评分及各单词在该字幕句子中对应权重的加权和，作为每个句子的评分。单词对应的权重可以根据该单词中包括的元音数量等确定，在此不作限定。
第二评测模块，用于计算所述配音内容与视频原音的相似度，作为配音内容的第二评分；
在将配音音素与标准音素进行对比的基础上，本发明还将配音内容与视频原音进行比较。具体包括：
信号采集模块，用于采集配音内容、视频原音的音频信号；
本发明将每个字幕句子的配音内容对应的音频信号与该字幕句子对应的视频原音音频信号进行比较，基于配音内容与视频原音的相似度对配音内容进行评价。具体地，视频原音的音频信号与相应的视频原音关联存储。培养内容的音频信号通过用户的录音设备实时采集，采集的音频信号可以与相应的字幕句子关联。
变换模块，用于对配音内容、视频原音的音频信号进行同步压缩小波变换，得到对应的三维时频谱图；
本发明对配音内容、视频原音的音频信号进行同步压缩小波变换，根据得到的三维时频谱图计算音频信号间的相似性。同步压缩小波变换的具体步骤在此不再赘述。
相关系数计算模块，用于计算配音内容、视频原音对应的三维时频谱图间的相关系数；
本发明配音内容的三维时频谱图wt与视频原音对应的三维时频谱图WT进行相似性计算。具体地，wt与WT的相关系数P具体为：
Figure BDA0002455365660000161
其中，σ(wt)、σ(WT)分别为wt与WT的方差，cov(wt,WT)为wt与WT的协方差。
第二评分模块，用于基于所述相关系数确定配音内容的第二评分。
与音素评分一样，配音内容的第二评分可以采用百分制、也可以采用十分制或者采用其它计分方式，本发明实施例对此不作限定。配音内容的音频信号与视频原音的音频信号相关系数越大，相应的第二评分值越高。具体地，本发明将相应分制的满分乘以配音内容、视频原音对应的三维时频谱图间的相关系数，作为配音内容的第二评分。
第三评测模块，用于基于所述第一评分、第二评分计算各字幕句子对应的配音内容评测评分；
基于第一评分、第二评分，计算各字幕句子对应的配音内容评测评分，具体为：
C＝η·C1+(1-η)C2
其中，η为第一评分C1的权重，C2为第二评分，C为配音内容评测评分。
第一评分、第二评分的权重可以根据实际需要进行设置。例如，当视频属于生活类视频时，相应的单词连读情形较多，此时需要适当增大第二评分的权重。当视频属于教育科普类视频时，相应的单词连读情形较少，此时需要适当降低第二评分的权重。本发明通过第一评分及第二评分对字幕句子的配音内容进行综合评定，能够适应不同的配音场景，提高配音内容评测的准确性。
配音报告生成模块，用于基于所有字幕句子的评测评分，生成视频配音报告；
本发明对视频配音进行评测的目的是为了提高用户学习语言的积极性。因此，本发明依次为所有的字幕句子进行评测评分。用户进行视频配音时，当有录音内容和单词读音，会返回综合测评结果，供用户参考，以针对性地进行学习。进行配音内容评测时，当录音文件无声或检测不到单词读音时返回提示，测评无结果。
因此，本发明在计算配音内容评测评分后，生成视频配音报告，配音报告中会返回综合测评结果分数：包含视频整体配音得分、各字幕句子配音内容评测评分、每个单词的评分。视频整体配音得分具体为：
V＝∑ω·C
其中，ω为各字幕句子对应的配音内容评测评分C的权重。
视频配音报告包含优秀的单词、有待加强的单词、优秀的句子、有待加强的句子。例如，对于百分制评分，其中，小于80分的单词都为待加强的单词，大于等于80分的单词为优秀的单词，小于80分的句子都为待加强的句子，大于等于80分的句子为优秀的句子。
此外，为了提高视频配音报告结果的直观性，本发明对每个单词根据相应的评分进行差异化显示。例如，使用红色标记小于60分的单词，表明急需努力；黑色标记60分至79分的单词，表示有待提高；绿色标记80分至100分的单词，表示优秀。若一次读得不好，可以多次重复练习。
纠音模块，用于提取视频配音报告中有待加强的单词，显示有待加强单词的纠音信息，进入纠音模式。
对于视频配音报告中有待加强的单词，本发明显示相应的纠音信息。纠音信息包括该单词的音标、标准读音、配音音频、发音技巧、及舌位图。舌位图来源于纠音库，纠音库中包含可纠音的音标、发音技巧、舌位图等，配音报告中的有待加强单词发音错误的音标输入到纠音库查找，若有该音标，则显示纠音入口，可进入纠音。
进行纠音时，显示待加强的单词的音标、标准读音、配音音频、发音技巧、及舌位图等。用户通过学习音标、反复听标准读音等来纠音。对用户纠音结果进行录入，录入相应的音频，再次评测该音频，若与纠音库的发音相符，则通过。若未通过，则纠音模式会持续举例讲解该音频的发音。具体地，本发明需要预先置入纠音库中音标的发音、音标的应用场景、还有发音的技巧等。
随着用户数量的增加及用户使用次数的增多，越来越多的配音数据会占用大量的存储空间。如果将每个视频配音都与视频进行合成存储，存储空间消耗大。因此，为了解决视频资源大的问题，本发明在服务器中存储视频，用户生成视频配音音频后，仅上传视频配音音频文件，保存最后录入视频配音音频与原视频ID的对应关系。进行配音作品播放时，只需要下载一次原视频，采用音视频混播技术实现与多个配音音频文件的混合播放。对原视频进行缓存后，下次播放时只从服务器下载音频文件到本地与原视频混合播放，把原视频的音轨设置为无声，同时播放录音文件，即可达到画面与字幕同步的效果，降低存储消耗的同时降低了数据上传与下载的处理时长。
本发明提出的一种基于视频配音和纠音训练的语言学习方法及系统，解决了现有的语言学习枯燥无味、大部分人不敢开口说语言、不知从何开始练习的问题，增加了用户语言学习的趣味性，让更多人爱上语言学习；为各用户的视频配音生成相应的配音报告，减轻了老师等进行语言评测的负担，同时克服了老师评测的主观性；基于生成的配音报告对用户进行针对性的纠音指导，使用户随时随地都能进行语言学习，同时克服了自主学习过程中发音不标准等问题，使用户在多次训练中提高自己的语音语速、流利度；将每个句子配音内容与视频原音进行音频信号对比，根据不同的视频类型与场景设置相应的权重，使配音评测适应于不同的口语环境，克服了现有的口语评测过程中仅基于配音与标准发音逐音素、逐词进行评分时固化的问题，大大提升了配音评测的准确性；根据每句字幕在原有视频中的起止时间计算该句字幕对应的配音时长，每句字幕对应的配音时长即为该句字幕对应的原有视频的时长，提高音频对比时的准确性；在正式的配音前、当用户遇到不会的单词时，用户都可以进行音频的学习、单词的查询，提高了用户的学习效率；采用音视频混播技术实现与多个配音音频文件的混合播放，降低存储消耗的同时降低了数据上传与下载的处理时长。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种基于视频配音和纠音训练的语言学习方法，其特征在于，包括：
S1、显示用户选择的待配音视频；
S2、在获取到用户开始配音触发信号后，生成待配音视频的字幕列表，计算每句字幕对应的配音时长；
S3、接收用户选择的字幕句子，播放该字幕句子对应的视频画面，在获取到用户录音触发信号后，采集用户的配音内容；
S4、将所述配音内容的音素与标准音素进行比对，计算配音内容的第一评分；
S5、计算所述配音内容与视频原音的相似度，作为配音内容的第二评分；
S6、基于所述第一评分、第二评分计算各字幕句子对应的配音内容评测评分；
S7、基于所有字幕句子的评测评分，生成视频配音报告；
S8、提取视频配音报告中有待加强的单词，显示有待加强单词的纠音信息，进入纠音模式。
2.根据权利要求1所述的语言学习方法，其特征在于，所述步骤S4包括：
S41、获取配音内容对应字幕句子中音素的标准音频；
S42、根据配音内容中每个音素的声学特征，计算每个音素的评分；
S43、基于所述每个音素的评分计算配音内容中每个单词的评分；
S44、基于所述每个单词的评分计算配音内容的第一评分。
3.根据权利要求1所述的语言学习方法，其特征在于，所述步骤S5包括：
S51、采集配音内容、视频原音的音频信号；
S52、对配音内容、视频原音的音频信号进行同步压缩小波变换，得到对应的三维时频谱图；
S53、计算配音内容、视频原音对应的三维时频谱图间的相关系数；
S54、基于所述相关系数确定配音内容的第二评分。
4.根据权利要求1所述的语言学习方法，其特征在于，所述视频配音报告包含视频整体配音得分、各字幕句子配音内容评测评分、每个单词的评分；所述视频整体配音得分具体为：
V＝∑ω·C
其中，ω为各字幕句子对应的配音内容评测评分C的权重；
根据单词及句子的评分，视频配音报告中包括优秀的单词、有待加强的单词、优秀的句子、有待加强的句子。
5.根据权利要求4所述的语言学习方法，其特征在于，所述纠音信息包括该单词的音标、标准读音、配音音频、发音技巧、及舌位图；所述纠音模式包括：用户通过学习音标、反复听标准读音来纠音，对用户纠音结果进行录入，录入相应的音频，评测该音频，若与标准读音相符，则通过；若未通过，则持续举例讲解该音频的发音。
6.一种基于视频配音和纠音训练的语言学习系统，其特征在于，包括：
显示模块，用于显示用户选择的待配音视频；
字幕列表生成模块，用于在获取到用户开始配音触发信号后，生成待配音视频的字幕列表，计算每句字幕对应的配音时长；
字幕句子选择模块，用于接收用户选择的字幕句子，播放该字幕句子对应的视频画面，在获取到用户录音触发信号后，采集用户的配音内容；
第一评测模块，用于将所述配音内容的音素与标准音素进行比对，计算配音内容的第一评分；
第二评测模块，用于计算所述配音内容与视频原音的相似度，作为配音内容的第二评分；
第三评测模块，用于基于所述第一评分、第二评分计算各字幕句子对应的配音内容评测评分；
配音报告生成模块，用于基于所有字幕句子的评测评分，生成视频配音报告；纠音模块，用于提取视频配音报告中有待加强的单词，显示有待加强单词的纠音信息，进入纠音模式。
7.根据权利要求6所述的语言学习系统，其特征在于，所述第一评测模块，包括：
获取模块，用于获取配音内容对应字幕句子中音素的标准音频；
音素评分模块，用于根据配音内容中每个音素的声学特征，计算每个音素的评分；
单词评分模块，用于基于所述每个音素的评分计算配音内容中每个单词的评分；
第一评分模块，用于基于所述每个单词的评分计算配音内容的第一评分。
8.根据权利要求6所述的语言学习系统，其特征在于，所述第二评测模块包括：
信号采集模块，用于采集配音内容、视频原音的音频信号；
变换模块，用于对配音内容、视频原音的音频信号进行同步压缩小波变换，得到对应的三维时频谱图；
相关系数计算模块，用于计算配音内容、视频原音对应的三维时频谱图间的相关系数；
第二评分模块，用于基于所述相关系数确定配音内容的第二评分。
9.根据权利要求6所述的语言学习系统，其特征在于，所述视频配音报告包含视频整体配音得分、各字幕句子配音内容评测评分、每个单词的评分；所述视频整体配音得分具体为：
V＝∑ω·C
其中，ω为各字幕句子对应的配音内容评测评分C的权重；
根据单词及句子的评分，视频配音报告中包括优秀的单词、有待加强的单词、优秀的句子、有待加强的句子。
10.根据权利要求9所述的语言学习系统，其特征在于，所述纠音信息包括该单词的音标、标准读音、配音音频、发音技巧、及舌位图；所述纠音模式包括：用户通过学习音标、反复听标准读音来纠音，对用户纠音结果进行录入，录入相应的音频，评测该音频，若与标准读音相符，则通过；若未通过，则持续举例讲解该音频的发音。
CN202010304733.XA 2020-04-17 2020-04-17 一种基于视频配音和纠音训练的语言学习方法及系统 Active CN111462553B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010304733.XA CN111462553B (zh) 2020-04-17 2020-04-17 一种基于视频配音和纠音训练的语言学习方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010304733.XA CN111462553B (zh) 2020-04-17 2020-04-17 一种基于视频配音和纠音训练的语言学习方法及系统

Publications (2)

Publication Number Publication Date
CN111462553A true CN111462553A (zh) 2020-07-28
CN111462553B CN111462553B (zh) 2021-03-30

Family

ID=71682582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010304733.XA Active CN111462553B (zh) 2020-04-17 2020-04-17 一种基于视频配音和纠音训练的语言学习方法及系统

Country Status (1)

Country Link
CN (1) CN111462553B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111901665A (zh) * 2020-08-28 2020-11-06 完美世界控股集团有限公司 教学资源播放方法、设备及存储介质
CN112002159A (zh) * 2020-09-16 2020-11-27 江苏安全技术职业学院 一种大学生英语翻译学习辅助装置
CN112261435A (zh) * 2020-11-06 2021-01-22 腾讯科技（深圳）有限公司 一种社交互动方法、装置、系统、设备及存储介质
CN112422999A (zh) * 2020-10-27 2021-02-26 腾讯科技（深圳）有限公司 直播内容处理方法及计算机设备
CN112929752A (zh) * 2021-01-26 2021-06-08 广州欢网科技有限责任公司 基于智能电视的配音方法、装置及计算机设备
CN113095071A (zh) * 2021-04-28 2021-07-09 杭州菲助科技有限公司 将英文视频或文本难度对标至国内年级的系统和方法
CN115346421A (zh) * 2021-05-12 2022-11-15 北京猿力未来科技有限公司 一种口语流利度评分方法、计算设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1910651A (zh) * 2004-07-01 2007-02-07 日本电信电话株式会社 特定音响信号含有区间检测系统及其方法以及程序
CN200990152Y (zh) * 2006-07-03 2007-12-12 北京华旗资讯数码科技有限公司 一种可以进行语音纠音的学习机
CN101770701A (zh) * 2008-12-30 2010-07-07 北京新学堂网络科技有限公司 一种用于外语学习的电影连环画制作方法
CN103136972A (zh) * 2011-11-21 2013-06-05 学习时代公司 针对年轻学习者的基于计算机的语言浸入式教学
CN103136971A (zh) * 2011-11-21 2013-06-05 学习时代公司 语言音素的练习引擎
CN105354331A (zh) * 2015-12-02 2016-02-24 深圳大学 基于在线视频的词汇学习辅助方法及词汇学习系统
CN110085261A (zh) * 2019-05-16 2019-08-02 上海流利说信息技术有限公司 一种发音纠正方法、装置、设备以及计算机可读存储介质
CN110650366A (zh) * 2019-10-29 2020-01-03 成都超有爱科技有限公司 互动配音方法、装置、电子设备及可读存储介质
CN110675672A (zh) * 2019-09-26 2020-01-10 刘奕男 原版影视外语教学系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1910651A (zh) * 2004-07-01 2007-02-07 日本电信电话株式会社 特定音响信号含有区间检测系统及其方法以及程序
CN200990152Y (zh) * 2006-07-03 2007-12-12 北京华旗资讯数码科技有限公司 一种可以进行语音纠音的学习机
CN101770701A (zh) * 2008-12-30 2010-07-07 北京新学堂网络科技有限公司 一种用于外语学习的电影连环画制作方法
CN103136972A (zh) * 2011-11-21 2013-06-05 学习时代公司 针对年轻学习者的基于计算机的语言浸入式教学
CN103136971A (zh) * 2011-11-21 2013-06-05 学习时代公司 语言音素的练习引擎
CN105354331A (zh) * 2015-12-02 2016-02-24 深圳大学 基于在线视频的词汇学习辅助方法及词汇学习系统
CN110085261A (zh) * 2019-05-16 2019-08-02 上海流利说信息技术有限公司 一种发音纠正方法、装置、设备以及计算机可读存储介质
CN110675672A (zh) * 2019-09-26 2020-01-10 刘奕男 原版影视外语教学系统
CN110650366A (zh) * 2019-10-29 2020-01-03 成都超有爱科技有限公司 互动配音方法、装置、电子设备及可读存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111901665A (zh) * 2020-08-28 2020-11-06 完美世界控股集团有限公司 教学资源播放方法、设备及存储介质
CN112002159A (zh) * 2020-09-16 2020-11-27 江苏安全技术职业学院 一种大学生英语翻译学习辅助装置
CN112422999A (zh) * 2020-10-27 2021-02-26 腾讯科技（深圳）有限公司 直播内容处理方法及计算机设备
CN112261435A (zh) * 2020-11-06 2021-01-22 腾讯科技（深圳）有限公司 一种社交互动方法、装置、系统、设备及存储介质
CN112261435B (zh) * 2020-11-06 2022-04-08 腾讯科技（深圳）有限公司 一种社交互动方法、装置、系统、设备及存储介质
CN112929752A (zh) * 2021-01-26 2021-06-08 广州欢网科技有限责任公司 基于智能电视的配音方法、装置及计算机设备
CN113095071A (zh) * 2021-04-28 2021-07-09 杭州菲助科技有限公司 将英文视频或文本难度对标至国内年级的系统和方法
CN115346421A (zh) * 2021-05-12 2022-11-15 北京猿力未来科技有限公司 一种口语流利度评分方法、计算设备及存储介质

Also Published As

Publication number Publication date
CN111462553B (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN111462553B (zh) 一种基于视频配音和纠音训练的语言学习方法及系统
Romero-Fresco Subtitling through speech recognition: Respeaking
US9812028B1 (en) Automated generation and presentation of lessons via digital media content extraction
US20180061256A1 (en) Automated digital media content extraction for digital lesson generation
CN109801193B (zh) 一种具有语音评价功能的跟随教学系统
CN101630448B (zh) 语言学习客户端及系统
CA2317359C (en) A method and apparatus for interactive language instruction
US20070011012A1 (en) Method, system, and apparatus for facilitating captioning of multi-media content
WO2016185289A1 (en) Device for language teaching with time dependent data memory
US7160112B2 (en) System and method for language education using meaning unit and relational question
JP6656529B2 (ja) 外国語の会話訓練システム
KR20140087956A (ko) 단어 및 문장과 이미지 데이터 그리고 원어민의 발음 데이터를 이용한 파닉스 학습장치 및 방법
CN114170856B (zh) 用机器实施的听力训练方法、设备及可读存储介质
JP2020038371A (ja) コンピュータプログラム、発音学習支援方法及び発音学習支援装置
KR20140075994A (ko) 의미단위 및 원어민의 발음 데이터를 이용한 언어교육 학습장치 및 방법
TW202103119A (zh) 知識點標記生成系統及其方法
Correia et al. Listening comprehension games for Portuguese: exploring the best features
Shukla Development of a Human-AI Teaming Based Mobile Language Learning Solution for Dual Language Learners in Early and Special Educations
KR102645783B1 (ko) 외국인 대상 한국어 교육 서비스 제공 시스템
Muna et al. An analysis of stressing words “a day with a stranger” in fathia izzati video
Kawahara et al. Classroom note-taking system for hearing impaired students using automatic speech recognition adapted to lectures
Mirzaei et al. Partial and synchronized caption generation to develop second language listening skill
CN112837679A (zh) 一种语言学习方法及系统
CN115273898A (zh) 发音训练方法、装置、电子设备和存储介质
KR20140074457A (ko) 의미단위와 이미지 데이터 및 원어민의 발음 데이터를 이용한 언어교육 학습장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant