CN110276073A - 一种交互式英语口语校正方法 - Google Patents

Abstract

一种交互式英语口语校正方法。本发明首先对接收到的语音信号进行预处理，筛除其中的噪声，而后对预处理后的有效信号进行时域分割，对每一个时域分割结果分别进行语言识别，根据各组对应一致的识别结果获得输入语句。由此，本发明能够通过对输入语句进行抽象语句组合的分析，获得其对应的语法结构，综合使用者发音与训练数据库中对应单词的偏差进行提示。本发明能够在与用户交互的过程中，同步的指出语法结构以及使用者的发音问题，能够模拟口语交流的语言环境，在口语交流过程中进行发音和语法训练。这种训练矫正的方法由于具有实时性因而训练学习效果更好，并且易于操作，教学成本更低，容易推广接受。

Description

一种交互式英语口语校正方法

技术领域

本发明涉及英语教学领域，具体而言涉及一种交互式英语口语校正方法。

背景技术

英语学习，尤其其中对英语口语的学习需要创造语言环境，又需要在练习过程中能够及时指出练习者的错误，对错误予以指导。但是，现有大多数学习者并没有相应的语言环境。即使学习者刻意用英语交流，交流过程中又会面临没有人对交流中的错误进行专业指导的境地。

现有的交互学习系统，其原理是利用大数据或机器学习技术，收集相应的英语对话，根据学习者所说的语句进行机械的反馈。现有的交互学习系统并不能够保证应答的准确性，也无法判断学习者所说语句中的语法或发音错误。

发明内容

本发明针对现有技术的不足，提供一种交互式英语口语校正方法，本发明能够与学习者进行口语交流，并在口语交流中指出其发音和语法上的错误，能够提供良好的语言学习环境。本发明具体采用如下技术方案。

首先，为实现上述目的，提出一种交互式英语口语校正方法，其中，包括：第一步，接收语音信号e(t)，其中，所述语音信号e(t)的采样频率不低于6kHz；第二步，对所述语音信号e(t)进行预处理，滤除其中的噪音信号，并将所述语音信号e(t)的幅值调整至预设范围内，获得有效信号E(t)；第三步，对所述有效信号E(t)按照时间顺序进行时域分割，获得N组信号帧E_T1(t)，E_T2(t)，...，E_TN(t)，N≥2，其中，每组信号帧之间包括有至少1/2的部分相互重叠；第四步，对每一组信号帧E_Tn(t)，n∈[1，N]，分别进行语言识别，计算每一组信号帧E_Tn(t)相对语言识别所基于的训练数据库中对应单词的误差量ER_Tn(t)，并根据训练数据库中最接近所述信号帧的单词输出每一组信号帧所对应的语言识别结果w_Tn(t)，按照时间顺序拼接各组信号帧所对应的语言识别结果w_Tn(t)中对应一致的部分，获得输入语句s(m)，其中m∈[1，M],M为所述输入语句中的单词总数，m为所述输入语句中的单词序号；第五步，对所述输入语句s(m)进行特征识别，标记出其中的名词、代词、形容词、副词、动词、数词、冠词、介词、连词，标记出其顺序，将识别标记出的特征的顺序排列为抽象语序组合S(m)；第六步，对所述抽象语序组合S(m)进行拆分并对拆分后的各部分分别进行语法训练；第七步，输出语法训练结果，与所述抽象语序组合S(m)最接近的语法模型，以及误差量ER_Tn(t)超出预设值的对应单词。

可选的，上述交互式英语口语校正方法，其中，所述第二步中，对所述语音信号e(t)进行的预处理包括：滑动窗口滤波、频域均衡、自动增益调整以及预加重网络计算；其中，滑动窗口滤波的步骤包括：首先，确定滑动窗口所对应的时长至少达到16ms，而后，按照时间顺序以该滑动窗口遍历所述语音信号e(t)，遍历过程中分别计算滑动窗口两端语音信号的差值，若该差值大于预设差值范围，则选取所述滑动窗口内的语音信号中差值最小的至少2个数据替换其中差值超出预设差值范围的数据，输出替换后的语音信号作为滑动窗口滤波结果；其中，遍历过程中，所述滑动窗口的步长不超过所述滑动窗口所对应的时长的1/2。

可选的，上述交互式英语口语校正方法，其中，所述第三步中，时域分割具体按照如下步骤进行：步骤301，计算所述有效信号E(t)的时域包络，对其时域包络的幅值求平均数；步骤302，查找所述有效信号E(t)中幅值低于所述平均数，且持续时间超出预设时间间隔的停顿点；步骤303，以所述停顿点对所述有效信号E(t)进行分割，并将分割获得的N组信号帧E_T1(t)，E_T2(t)，...，E_TN(t)，N≥2，扩充为至少与其前一组信号帧之间相互重叠至少1/2。

可选的，上述交互式英语口语校正方法，其中，所述第四步中对每一组信号帧E_Tn(t)，n∈[1，N]，进行语言识别的具体步骤包括：步骤401，将所述信号帧E_Tn(t)进行DFFT变化，转化为频域信号帧E'_Tn(k),k∈[1，K]，K为DFFT变化后频域信号帧E'_Tn(k)频点范围；步骤402，对所述频域信号帧E'_Tn(k)进行频域滤波，计算滤波后频域信号帧其中，频域滤波响应函数其中f(i+1)＝N-2/f(i)，f(i)＝1；步骤403，计算所述滤波后频域信号帧的功率谱步骤404，对所述功率谱P_Tn(k)进行离散余弦变换得到特征系数步骤405，对所述特征系数C(t)进行卷积神经网络反向传播运算，比对筛选出预先训练所获得的训练数据库中误差量ER_Tn(t)最小的单词作为语言识别结果w_Tn(t)；步骤406，分别对每一组信号帧E_Tn(t)分别进行上述的计算，对信号帧之间重叠部分的单词进行一致性判断，按照时间顺序输出其中对应一致的单词得到输入语句s(m)。

可选的，上述交互式英语口语校正方法，其中，所述第六步中，对所述抽象语序组合S(m)进行拆分并对拆分后的各部分分别进行语法训练的步骤包括：步骤601，所对应的各个单词，在预先训练获得的语法模型中查找该单词是否存在对应的固定词组搭配，根据所述固定词组搭配查找所述抽象语序组合S(m)前后是否匹配该搭配；步骤602，若所述抽象语序组合S(m)匹配有该搭配则跳转至所述抽象语序组合S(m)所对应的下一个单词；否则，在语法训练结果中增加该固定词组搭配，然后跳转至所述抽象语序组合S(m)所对应的下一个单词；重复上述步骤601至步骤602，直至完成对所述抽象语序组合S(m的遍历；步骤603，筛除所述抽象语序组合S(m)中的修饰词，记筛除后的抽象语序组合为S'(m)；步骤604，计算筛除后的抽象语序组合S'(m)与预先训练获得的语法模型中不同句式顺序所对应的语序组合的汉明距离；查找预先训练获得的所述语法模型中汉明距离最小的句式顺序，在语法训练结果中增加该句式顺序。

可选的，上述交互式英语口语校正方法，其中，所述步骤603中的修饰词包括：形容词、副词、数词、冠词、连词。

可选的，上述交互式英语口语校正方法，其中，所述误差量的预设值根据先前误差量的大小而动态变化。

可选的，上述交互式英语口语校正方法，其中，所述误差量的预设值为同一使用者先前误差量ER_Tn(t)的均值。

有益效果

本发明首先对接收到的语音信号进行预处理，筛除其中的噪声，而后对预处理后的有效信号进行时域分割，对每一个时域分割结果分别进行语言识别，根据各组对应一致的识别结果获得输入语句。由此，本发明能够通过对输入语句进行抽象语句组合的分析，获得其对应的语法结构，综合使用者发音与训练数据库中对应单词的偏差进行提示。本发明能够在与用户交互的过程中，同步的指出语法结构以及使用者的发音问题，能够模拟口语交流的语言环境，在口语交流过程中进行发音和语法训练。这种训练矫正的方法由于具有实时性因而训练学习效果更好，并且易于操作，教学成本更低，容易推广接受。

尤其，上述的步骤中，通过窗口滑动的方式进行滤波计算，其计算成本更低，省去了频域转化的过程，延时少。其对时域有效信号E(t)进行的分割，分割过程中保留有前后信号帧的信息，能够在后续的语言识别阶段分别对至少两个相互重叠的信号单独进行识别，通过前后至少两次运算结果的比较获得更为准确的识别结果。

此外，本发明同时对单词发音、固定词组搭配和句式顺序进行识别，能够从单词到词组再到整体语句语法结构对使用者进行实时的辅导。更加贴合英语语言环境，具有实时、高效的特点。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明的交互式英语口语校正方法的流程示意图。

具体实施方式

为使本发明实施例的目的和技术方案更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

图1为根据本发明的一种交互式英语口语校正方法的流程示意图，其步骤包括：

第一步，接收语音信号e(t)，其中，所述语音信号e(t)可通过麦克风配合相应的采样电路和模数转换器实现采样频率不低于6kHz的采样，获得数字序列形式的语音信号e(t)。

第二步，对所述语音信号e(t)进行预处理，滤除其中的噪音信号，并将所述语音信号e(t)的幅值调整至预设范围内，获得有效信号E(t)。

在一种较为具体的方式下，这一步中对所述语音信号e(t)进行的预处理包括：滑动窗口滤波、频域均衡、自动增益调整以及预加重网络计算。其中，滑动窗口滤波的步骤包括：首先，确定滑动窗口所对应的时长至少达到16ms；而后，按照时间顺序以该滑动窗口遍历所述语音信号e(t)，遍历过程中分别计算滑动窗口两端语音信号的差值，若该差值大于预设差值范围，则选取所述滑动窗口内的语音信号中差值最小的至少2个数据替换其中差值超出预设差值范围的数据，输出替换后的语音信号作为滑动窗口滤波结果；其中，遍历过程中，所述滑动窗口的步长不超过所述滑动窗口所对应的时长的1/2。频域均衡通过均衡网络对信号的不同频段进行放大或缩小的均衡处理而实现，能够避免特定频段范围内的杂声和尖锐爆破声音。自动增益调整可以直接通过电路系统的正、负反馈设计而获得，或者通过电子电路的增益计算过程而调整。预加重网络可设计为高通滤波器，例如传递函数为H(z)＝1-μz^-1的滤波器。

第三步，对所述有效信号E(t)按照时间顺序进行时域分割，获得N组信号帧E_T1(t)，E_T2(t)，...，E_TN(t)，N≥2，其中，每组信号帧之间包括有至少1/2的部分相互重叠。具体而言，这一步中，时域分割可按照如下步骤进行：

步骤301，计算所述有效信号E(t)的时域包络，对其时域包络的幅值求平均数；

步骤302，查找所述有效信号E(t)中幅值低于所述平均数，且持续时间超出预设时间间隔，例如1ms，的停顿点；

步骤303，以所述停顿点为分割的断点对所述有效信号E(t)进行分割，并将分割获得的N组信号帧E_T1(t)，E_T2(t)，...，E_TN(t)，N≥2，向前/或向后扩充为至少与其前或后一组信号帧之间相互重叠至少1/2。

第四步，对每一组信号帧E_Tn(t)，n∈[1，N]，分别进行语言识别，计算每一组信号帧E_Tn(t)相对语言识别所基于的训练数据库中对应单词的误差量ER_Tn(t)，并根据训练数据库中最接近所述信号帧的单词输出每一组信号帧所对应的语言识别结果w_Tn(t)，按照时间顺序拼接各组信号帧所对应的语言识别结果w_Tn(t)中对应一致的部分，获得输入语句s(m)，其中m∈[1，M],M为所述输入语句中的单词总数，m为所述输入语句中的单词序号。

在一种更为具体的实现方式下，所述第四步中对每一组信号帧E_Tn(t)，n∈[1，N]，进行语言识别的具体步骤包括：

步骤401，将所述信号帧E_Tn(t)进行DFFT变化，转化为频域信号帧E'_Tn(k),k∈[1，K]，K为DFFT变化后频域信号帧E'_Tn(k)频点范围，通常可选取为1024；

步骤402，对所述频域信号帧E'_Tn(k)进行频域滤波，计算滤波后频域信号帧其中，频域滤波响应函数 其中f(i+1)＝N-2/f(i)，f(i)＝1；

步骤403，计算所述滤波后频域信号帧的功率谱

步骤404，对所述功率谱P_Tn(k)进行离散余弦变换得到特征系数

步骤405，对所述特征系数C(t)进行卷积神经网络反向传播运算得到其与各单词的误差量，比对筛选出预先训练所获得的训练数据库中误差量ER_Tn(t最小的单词作为语言识别结果w_Tn(t)；

步骤406，分别对每一组信号帧E_Tn(t)分别进行上述的计算，对信号帧之间重叠部分的单词进行一致性判断，按照时间顺序输出其中对应一致的单词得到输入语句s(m)。对于不一致的单词，可通过分别考察其误差量大小，选择最小误差量的单词填入输入语句s(m)中的相应部分。

第五步，对所述输入语句s(m)进行特征识别，标记出其中的名词、代词、形容词、副词、动词、数词、冠词、介词、连词，标记出其顺序，将识别标记出的特征的顺序排列为抽象语序组合S(m)。其中的形容词、副词、数词、冠词、连词可进一步标记为修饰词。

第六步，对所述抽象语序组合S(m)进行拆分并对拆分后的各部分分别进行语法训练。例如：

步骤601，所对应的各个单词，在预先训练获得的语法模型中查找该单词是否存在对应的固定词组搭配，根据所述固定词组搭配查找所述抽象语序组合S(m)前后是否匹配有该搭配；

步骤602，若所述抽象语序组合S(m)匹配有该搭配则跳转至所述抽象语序组合S(m)所对应的下一个单词；否则，在语法训练结果中增加该固定词组搭配，然后跳转至所述抽象语序组合S(m)所对应的下一个单词；重复上述步骤601至步骤602，直至完成对所述抽象语序组合S(m)的遍历；

步骤603，筛除所述抽象语序组合S(m)中的修饰词，包括形容词、副词、数词、冠词、连词等，记筛除后的抽象语序组合为S'(m)；

步骤604，计算筛除后的抽象语序组合S'(m)与预先训练获得的语法模型中不同句式顺序所对应的语序组合的汉明距离；查找预先训练获得的所述语法模型中汉明距离最小的句式顺序，在语法训练结果中增加该句式顺序。汉明距离的计算中，以不同语序顺序作为不同坐标维度，以筛除后的抽象语序组合S'(m)中的不同词性之间的可替代关系作为坐标点进行计算。例如，对于抽象语序组合S'(m)为“代词+动词+名词”的抽象语序组合，其与“动词+代词”的组合之间的汉明距离可表示为相互可替代的词性之间差值设计为较小，如，代词和名词之间；一般语序中不适宜相互替代的词性之间差值设计较大。

第七步，输出语法训练结果，所述语法训练结果中包括有所述抽象语序组合S(m)最接近的语法模型、固定词组搭配，以及误差量ER_Tn(t)超出预设值的对应单词。

优选方式下，学习者实用本发明的方法进行口语练习的过程中，所述误差量的预设值会自动根据先前误差量的大小而动态变化。由此，能够有效控制一开始练习的难度，又能够保证每次练习都能够以更高的标准进行要求，以提高训练效果。在一种具体的方式下，所述误差量的预设值可选择设置为同一使用者先前误差量ER_Tn(t)的均值或者先前x次训练过程中的误差量ER_Tn(t)的均值。

由此，本发明能能够与学习者进行口语交流，并在口语交流中指出其发音和语法上的错误，能够提供良好的语言学习环境，有效提高口语练习的学习效果。

以上仅为本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些均属于本发明的保护范围。

Claims (8)

1.一种交互式英语口语校正方法，其特征在于，包括：

第一步，接收语音信号e(t)，其中，所述语音信号e(t)的采样频率不低于6kHz；

第二步，对所述语音信号e(t)进行预处理，滤除其中的噪音信号，并将所述语音信号e(t)的幅值调整至预设范围内，获得有效信号E(t)；

第三步，对所述有效信号E(t)按照时间顺序进行时域分割，获得N组信号帧E_T1(t)，E_T2(t)，...，E_TN(t)，N≥2，其中，每组信号帧之间包括有至少1/2的部分相互重叠；

第四步，对每一组信号帧E_Tn(t)，n∈[1，N]，分别进行语言识别，计算每一组信号帧E_Tn(t)相对语言识别所基于的训练数据库中对应单词的误差量ER_Tn(t)，并根据训练数据库中最接近所述信号帧的单词输出每一组信号帧所对应的语言识别结果w_Tn(t)，按照时间顺序拼接各组信号帧所对应的语言识别结果w_Tn(t)中对应一致的部分，获得输入语句s(m)，其中m∈[1，M]，M为所述输入语句中的单词总数，m为所述输入语句中的单词序号；

第五步，对所述输入语句s(m)进行特征识别，标记出其中的名词、代词、形容词、副词、动词、数词、冠词、介词、连词，标记出其顺序，将识别标记出的特征的顺序排列为抽象语序组合S(m)；

第六步，对所述抽象语序组合S(m)进行拆分并对拆分后的各部分分别进行语法训练；

第七步，输出语法训练结果，与所述抽象语序组合S(m)最接近的语法模型，以及误差量ER_Tn(t)超出预设值的对应单词。

2.如权利要求1所述的交互式英语口语校正方法，其特征在于，所述第二步中，对所述语音信号e(t)进行的预处理包括：滑动窗口滤波、频域均衡、自动增益调整以及预加重网络计算；

其中，滑动窗口滤波的步骤包括：

首先，确定滑动窗口所对应的时长至少达到16ms，

而后，按照时间顺序以该滑动窗口遍历所述语音信号e(t)，遍历过程中分别计算滑动窗口两端语音信号的差值，若该差值大于预设差值范围，则选取所述滑动窗口内的语音信号中差值最小的至少2个数据替换其中差值超出预设差值范围的数据，输出替换后的语音信号作为滑动窗口滤波结果；

其中，遍历过程中，所述滑动窗口的步长不超过所述滑动窗口所对应的时长的1/2。

3.如权利要求1所述的交互式英语口语校正方法，其特征在于，所述第三步中，时域分割具体按照如下步骤进行：

步骤301，计算所述有效信号E(t)的时域包络，对其时域包络的幅值求平均数；

步骤302，查找所述有效信号E(t)中幅值低于所述平均数，且持续时间超出预设时间间隔的停顿点；

步骤303，以所述停顿点对所述有效信号E(t)进行分割，并将分割获得的N组信号帧E_T1(t)，E_T2(t)，...，E_TN(t)，N≥2，扩充为至少与其前一组信号帧之间相互重叠至少1/2。

4.如权利要求1-3所述的交互式英语口语校正方法，其特征在于，所述第四步中对每一组信号帧E_Tn(t)，n∈[1，N]，进行语言识别的具体步骤包括：

步骤401，将所述信号帧E_Tn(t)进行DFFT变化，转化为频域信号帧E′_Tn(k)，k∈[1，K]，K为DFFT变化后频域信号帧E′_Tn(k)频点范围；

步骤402，对所述频域信号帧E′_Tn(k)进行频域滤波，计算滤波后频域信号帧其中，频域滤波响应函数 其中f(i+1)＝N-2/f(i)，f(i)＝1；

步骤403，计算所述滤波后频域信号帧的功率谱

步骤404，对所述功率谱P_Tn(k)进行离散余弦变换得到特征系数

步骤405，对所述特征系数C(t)进行卷积神经网络反向传播运算，比对筛选出预先训练所获得的训练数据库中误差量ER_Tn(t)最小的单词作为语言识别结果w_Tn(t)；

步骤406，分别对每一组信号帧E_Tn(t)分别进行上述的计算，对信号帧之间重叠部分的单词进行一致性判断，按照时间顺序输出其中对应一致的单词得到输入语句s(m)。

5.如权利要求1-4所述的交互式英语口语校正方法，其特征在于，所述第六步中，对所述抽象语序组合S(m)进行拆分并对拆分后的各部分分别进行语法训练的步骤包括：

步骤601，所对应的各个单词，在预先训练获得的语法模型中查找该单词是否存在对应的固定词组搭配，根据所述固定词组搭配查找所述抽象语序组合S(m)前后是否匹配该搭配；

步骤602，若所述抽象语序组合S(m)匹配有该搭配则跳转至所述抽象语序组合S(m)所对应的下一个单词；否则，在语法训练结果中增加该固定词组搭配，然后跳转至所述抽象语序组合S(m)所对应的下一个单词；重复上述步骤601至步骤602，直至完成对所述抽象语序组合S(m)的遍历；

步骤603，筛除所述抽象语序组合S(m)中的修饰词，记筛除后的抽象语序组合为S′(m)；

步骤604，计算筛除后的抽象语序组合S′(m)与预先训练获得的语法模型中不同句式顺序所对应的语序组合的汉明距离；查找预先训练获得的所述语法模型中汉明距离最小的句式顺序，在语法训练结果中增加该句式顺序。

6.如权利要求1-5所述的交互式英语口语校正方法，其特征在于，所述步骤603中的修饰词包括：形容词、副词、数词、冠词、连词。

7.如权利要求1所述的交互式英语口语校正方法，其特征在于，所述误差量的预设值根据先前误差量的大小而动态变化。

8.如权利要求7所述的交互式英语口语校正方法，其特征在于，所述误差量的预设值为同一使用者先前误差量ER_Tn(t)的均值。