CN110956859A - 基于深度学习的vr智能语音交互英语方法 - Google Patents
基于深度学习的vr智能语音交互英语方法 Download PDFInfo
- Publication number
- CN110956859A CN110956859A CN201911070199.4A CN201911070199A CN110956859A CN 110956859 A CN110956859 A CN 110956859A CN 201911070199 A CN201911070199 A CN 201911070199A CN 110956859 A CN110956859 A CN 110956859A
- Authority
- CN
- China
- Prior art keywords
- words
- voice
- sentence
- synthesizing
- english
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000013135 deep learning Methods 0.000 title claims abstract description 14
- 230000003993 interaction Effects 0.000 title claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 16
- 230000002452 interceptive effect Effects 0.000 claims abstract description 8
- 230000005236 sound signal Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 5
- 238000006243 chemical reaction Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 12
- 230000009471 action Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 235000008597 Diospyros kaki Nutrition 0.000 description 1
- 244000236655 Diospyros kaki Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开了基于深度学习的VR智能语音交互英语方法，涉及智能学习技术领域。本发明包括：采集语音信号，合成因素并将因素合成单词；从单词中提取关键信息以及特征信息；根据特征信息基于最小单元识别单词；根据不同语言的语法，按照先后次序识别单词；基于上下文语义作为辅助识别条件识别单词；根据上下文语义对不同段落识别出的单词进行调整获取当前语句；根据上下文语义对当前语句进行修正获取语句结果并与知识库内容配比相应回答语句。本发明可根据不同人的语音无需提前训练计算机即可以非常高的准确率识别出对应语音的语句文字；可实现通过语音输入直接对语音进行文本转换；可实现中文和英文的智能语音识别，提高语音识别效率。
Description
技术领域
本发明属于智能学习技术领域，特别是涉及一种基于深度学习的VR智能语音交互英语方法。
背景技术
国内的英语口语教学主要有以下几种方式：线下培训班、网上在线外教平台、英语教学视频、英语教学软件等等。而这几种方式，学生们在英语学习的过程中都面临着很多的问题，比如难以摆脱母语环境影响、学习兴趣低下、哑巴英语等。
线下培训班和网络在线外教平台中，真人外教教学质量良莠不齐，且价格单次较高，时间成本昂贵且无法随时随地的学习。普通英语多媒体教学类，也就是英语教学视频、英语教学软件等，对学员的对话语音识别正确率低，一般使用关键字识别，无语义识别；学习过程单调线性，每次对话内容固定机械；一般多媒体英语教学软件多为卡通2D场景，无法引起学员真实情境的感受；一般多媒体英语教学多为2D人物无面部表情，无法感受对话人情绪；一般多媒体英语教学多为2D人物，无法展现人物动作和肢体状态；传统多媒体英语教学多为2D画面，即使使用3D技术的高端教学软件也无沉浸感。
总结来说，国内真人口语教学价格高昂，质量无保证；智能平台教学，尚未完全智能化，教案死板无变化，教学质量低下；且目前国内尚未有同时使用AI、VR技术的智能英语口语训练。
发明内容
本发明的目的在于提供基于深度学习的VR智能语音交互英语方法，通过逼真模拟3D真实环境，学习者可以随时随地进行学习，并且无限次数可重复，成本低；本平台逼真模拟各类情境、可适应职场英语、生活日常英语、旅游英语、专业英语等不同情境。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明为基于深度学习的VR智能语音交互英语方法，包括如下步骤：
A00：采集语音信号并对语音信号预处理，进而合成因素并将因素合成单词；
A01：从所述单词中提取影响语音识别的关键信息以及表达语言含义的特征信息；
A02：根据所述特征信息基于最小单元识别单词；
A03：根据不同语言的语法，按照先后次序识别单词；
A04：基于上下文语义作为辅助识别条件识别单词；
A05：根据上下文语义将所述关键信息划分不同段落，提取每个段落识别出的单词，并对不同段落识别出的单词进行调整获取当前语句；
A06：根据上下文语义对当前语句进行修正获取语句结果；
A07：将所述语句结果传递至模型库中；
A08：人工智能识别结果并将识别结果与知识库内容配比相应回答语句，发送源代码数据至输出库；
A09：自然语言生成方法接收到源代码数据，解析回答语句并生成相应的自然语言描述语句。
优选地，A01中对语音信号预处理包括如下：
对所述语音信号进行采样、克服混叠滤波、去除部分由个体发音的差异和环境引起的噪声影响。
优选地，A01中合成因素并将因素合成单词包括如下：
对所述声音信号进行分析，用移动窗函数将声音信号分帧；再将得到的波形进行变换处理，将每一帧的波形变为一个多维向量；把帧识别成状态，使用隐马尔可夫模型建立状态网络，从所述状态网络中寻找与声音信号最匹配的路径，将状态合成音素进而将音素合成单词。
本发明具有以下有益效果：
1、本发明可根据不同人的语音无需提前训练计算机即可以非常高的准确率识别出对应语音的语句文字；可实现通过语音输入直接对语音进行文本转换；可实现中文和英文的智能语音识别，提高语音识别效率；
2、本发明通过语音或文字的输入智能分析语义，能结合上下文对语音/文字的含义做出正确分析和理解；系统支持中文和英文的语义识别，适用多语种、多语境识别，提高语音识别和语义理解的适用性；
3、本发明基于深度学习技术实现的智能对话；深度学习技术通过监督学习特定情境下的英语对白案例，分析获得不同对白输入条件下的不同输出结果，达到机器自主学习的目的，从而实现能接近真实人类的智能对话结果。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的基于深度学习的VR智能语音交互英语方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为基于深度学习的VR智能语音交互英语方法，包括：如下步骤：
A00：采集语音信号并对语音信号预处理，进而合成因素并将因素合成单词；
A01：从单词中提取影响语音识别的关键信息以及表达语言含义的特征信息；
A02：根据特征信息基于最小单元识别单词；
A03：根据不同语言的语法，按照先后次序识别单词；
A04：基于上下文语义作为辅助识别条件识别单词；
A05：根据上下文语义将关键信息划分不同段落，提取每个段落识别出的单词，并对不同段落识别出的单词进行调整获取当前语句；
A06：根据上下文语义对当前语句进行修正获取语句结果；
A07：将语句结果传递至模型库中；
A08：人工智能识别结果并将识别结果与知识库内容配比相应回答语句，发送源代码数据至输出库；
A09：自然语言生成方法接收到源代码数据，解析回答语句并生成相应的自然语言描述语句。
其中，A01中对语音信号预处理包括如下：
对语音信号进行采样、克服混叠滤波、去除部分由个体发音的差异和环境引起的噪声影响。
其中，A01中合成因素并将因素合成单词包括如下：
对声音信号进行分析，用移动窗函数将声音信号分帧；再将得到的波形进行变换处理，将每一帧的波形变为一个多维向量；把帧识别成状态，此处，将每一帧的波形变为一个多维向量，声音就成了一个12行(假设声学特征是12维)、N列的一个矩阵，称之为观察序列，这里N为总帧数；使用隐马尔可夫模型建立状态网络，从状态网络中寻找与声音信号最匹配的路径，将状态合成音素进而将音素合成单词；
单词的发音由音素构成；对英语，一种常用的音素集是卡内基梅隆大学的一套由39个音素构成的音素集，具体参见The CMU Pronouncing Dictionary；汉语一般直接用全部声母和韵母作为音素集；
本发明应用VR技术打造极具真实感的沉浸式英语对话VR环境；使用智能语音技术对参训人员的英语对话进行智能识别；利用AI技术让对话的NPC角色智能进行对话响应；采用逼真模拟3D真实环境，学习者可以随时随地进行学习，并且无限次数可重复，成本低；本平台逼真模拟各类情境、可适应职场英语、生活日常英语、旅游英语、专业英语等不同情境；
对整句进行语义识别，动态判别语义，根据识别的语义产生新的动态对话；深度学习支持，每次对话内容动态变化，学习者会认为是在和一个真实的人类进行英语对话；使用虚拟现实技术，逼真模拟各类真实英语对话情境和场景，视觉体验强烈，能产生深刻记忆；使用3D面部表情技术和语言智能表情技术，根据每一句英文句子的语义展现对应情绪和面部表情以及发音口型；使用3D动态动作技术可真实表达当前句子语义对应的人物动作和肢体状态；使用虚拟现实技术，学员完全沉浸在真实环境和场景中。
值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (3)
1.基于深度学习的VR智能语音交互英语方法，其特征在于，包括如下步骤：
A00：采集语音信号并对语音信号预处理，进而合成因素并将因素合成单词；
A01：从所述单词中提取影响语音识别的关键信息以及表达语言含义的特征信息；
A02：根据所述特征信息基于最小单元识别单词；
A03：根据不同语言的语法，按照先后次序识别单词；
A04：基于上下文语义作为辅助识别条件识别单词；
A05：根据上下文语义将所述关键信息划分不同段落，提取每个段落识别出的单词，并对不同段落识别出的单词进行调整获取当前语句；
A06：根据上下文语义对当前语句进行修正获取语句结果；
A07：将所述语句结果传递至模型库中；
A08：人工智能识别结果并将识别结果与知识库内容配比相应回答语句，发送源代码数据至输出库；
A09：自然语言生成方法接收到源代码数据，解析回答语句并生成相应的自然语言描述语句。
2.根据权利要求1所述的基于深度学习的VR智能语音交互英语方法，其特征在于，A01中对语音信号预处理包括如下：
对所述语音信号进行采样、克服混叠滤波、去除部分由个体发音的差异和环境引起的噪声影响。
3.根据权利要求1所述的基于深度学习的VR智能语音交互英语方法，其特征在于，A01中合成因素并将因素合成单词包括如下：
对所述声音信号进行分析，用移动窗函数将声音信号分帧；再将得到的波形进行变换处理，将每一帧的波形变为一个多维向量；把帧识别成状态，使用隐马尔可夫模型建立状态网络，从所述状态网络中寻找与声音信号最匹配的路径，将状态合成音素进而将音素合成单词。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911070199.4A CN110956859A (zh) | 2019-11-05 | 2019-11-05 | 基于深度学习的vr智能语音交互英语方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911070199.4A CN110956859A (zh) | 2019-11-05 | 2019-11-05 | 基于深度学习的vr智能语音交互英语方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110956859A true CN110956859A (zh) | 2020-04-03 |
Family
ID=69976495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911070199.4A Pending CN110956859A (zh) | 2019-11-05 | 2019-11-05 | 基于深度学习的vr智能语音交互英语方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110956859A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767912A (zh) * | 2020-12-28 | 2021-05-07 | 深圳市优必选科技股份有限公司 | 跨语言语音转换方法、装置、计算机设备和存储介质 |
| CN113055662A (zh) * | 2021-03-06 | 2021-06-29 | 深圳市达特文化科技股份有限公司 | 一种ai互动灯光艺术装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000043975A1 (en) * | 1999-01-26 | 2000-07-27 | Microsoft Corporation | Virtual challenge system and method for teaching a language |
| CN102867512A (zh) * | 2011-07-04 | 2013-01-09 | 余喆 | 自然语音识别方法和装置 |
| CN106548775A (zh) * | 2017-01-10 | 2017-03-29 | 上海优同科技有限公司 | 一种语音识别方法和系统 |
| CN107247750A (zh) * | 2017-05-26 | 2017-10-13 | 深圳千尘计算机技术有限公司 | 人工智能交互方法及系统 |
| CN108257597A (zh) * | 2017-12-28 | 2018-07-06 | 合肥凯捷技术有限公司 | 一种基于语音识别的音频数据检索系统 |
-
2019
- 2019-11-05 CN CN201911070199.4A patent/CN110956859A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000043975A1 (en) * | 1999-01-26 | 2000-07-27 | Microsoft Corporation | Virtual challenge system and method for teaching a language |
| CN102867512A (zh) * | 2011-07-04 | 2013-01-09 | 余喆 | 自然语音识别方法和装置 |
| CN106548775A (zh) * | 2017-01-10 | 2017-03-29 | 上海优同科技有限公司 | 一种语音识别方法和系统 |
| CN107247750A (zh) * | 2017-05-26 | 2017-10-13 | 深圳千尘计算机技术有限公司 | 人工智能交互方法及系统 |
| CN108257597A (zh) * | 2017-12-28 | 2018-07-06 | 合肥凯捷技术有限公司 | 一种基于语音识别的音频数据检索系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767912A (zh) * | 2020-12-28 | 2021-05-07 | 深圳市优必选科技股份有限公司 | 跨语言语音转换方法、装置、计算机设备和存储介质 |
| CN113055662A (zh) * | 2021-03-06 | 2021-06-29 | 深圳市达特文化科技股份有限公司 | 一种ai互动灯光艺术装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230042654A1 (en) | Action synchronization for target object | |
| US11908451B2 (en) | Text-based virtual object animation generation method, apparatus, storage medium, and terminal | |
| CN109065055A (zh) | 基于声音生成ar内容的方法、存储介质和装置 | |
| CN110808034A (zh) | 语音转换方法、装置、存储介质及电子设备 | |
| Cole | Tools for research and education in speech science | |
| CN116863038A (zh) | 一种文本生成数字人语音及面部动画的方法 | |
| CN109961777A (zh) | 一种基于智能机器人的语音交互方法 | |
| Wang et al. | Computer-assisted audiovisual language learning | |
| CN115953521B (zh) | 远程数字人渲染方法、装置及系统 | |
| CN110956859A (zh) | 基于深度学习的vr智能语音交互英语方法 | |
| CN111090726A (zh) | 一种基于nlp的电力行业文字客服交互方法 | |
| CN113314096A (zh) | 语音合成方法、装置、设备和存储介质 | |
| Reddy et al. | Speech-to-Text and Text-to-Speech Recognition Using Deep Learning | |
| Cosi et al. | Baldini: baldi speaks italian! | |
| KR102395702B1 (ko) | 문장을 이루는 단위를 단계별 확장하여 스텝화한 영어 교육 서비스 제공 방법 | |
| CN112242134A (zh) | 语音合成方法及装置 | |
| Dasare et al. | Text to speech system for lambani-a zero resource, tribal language of india | |
| Seljan et al. | Automatic word-level evaluation and error analysis of formant speech synthesis for Croatian | |
| Kasrani et al. | A Mobile Cloud Computing Based Independent Language Learning System with Automatic Intelligibility Assessment and Instant Feedback. | |
| Kacorri et al. | Evaluating a dynamic time warping based scoring algorithm for facial expressions in ASL animations | |
| CN113223513A (zh) | 语音转换方法、装置、设备和存储介质 | |
| Yu | A Model for Evaluating the Quality of English Reading and Pronunciation Based on Computer Speech Recognition | |
| Furui | Toward the ultimate synthesis/recognition system | |
| CN118410813B (zh) | 一种语言学习方法、系统及存储介质 | |
| Granström et al. | Modelling and evaluating verbal and non-verbal communication in talking animated interface agents |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200403 |