CN111276146A - 基于语音识别的教学实训系统 - Google Patents
基于语音识别的教学实训系统 Download PDFInfo
- Publication number
- CN111276146A CN111276146A CN202010229303.6A CN202010229303A CN111276146A CN 111276146 A CN111276146 A CN 111276146A CN 202010229303 A CN202010229303 A CN 202010229303A CN 111276146 A CN111276146 A CN 111276146A
- Authority
- CN
- China
- Prior art keywords
- teaching
- training
- data
- voice
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 269
- 230000005236 sound signal Effects 0.000 claims abstract description 78
- 238000012545 processing Methods 0.000 claims abstract description 51
- 230000002452 interceptive effect Effects 0.000 claims abstract description 49
- 230000003993 interaction Effects 0.000 claims abstract description 24
- 230000011218 segmentation Effects 0.000 claims description 39
- 238000007781 pre-processing Methods 0.000 claims description 36
- 230000009471 action Effects 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000000926 separation method Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 12
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 9
- 230000035945 sensitivity Effects 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000001755 vocal effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000029087 digestion Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明提供了一种基于语音识别的教学实训系统，该基于语音识别的教学实训系统通过获取关于教学实训场景的声音信号数据，以此确定关于教学实训相关对象的语音信号数据，并对该语音信号数据进行识别处理，以此获取关于该教学实训相关对象的语音识别相关信息，再根据该语音识别相关信息，从预设实训执行数据库中匹配确定相应的教学实训执行相关数据，最后根据该教学实训执行相关数据，与互动对象进行适应性的教学实训互动，其充分利用语音识别技术来对教学实训过程进行智能化的升级，以便于实训对象通过语音控制的方式就能够实现相应的教学实训互动，这有利于提升教学实训操作的可执行性和智能性。
Description
技术领域
本发明涉及智能教学实训的技术领域，特别涉及一种基于语音识别的教学 实训系统。
背景技术
教学实训环节是教学过程中必要的实践环节，通过该教学实训环节能够培 养学生的实践能力，以便于将课堂教学中学习到的知识应用到现实中，从而帮 助学生更好地和更快地理解和吸收知识。目前，教学实践环节通常是以教学实 验的形式来实现的，但是教学实验通常都需要在特定的场所并借助相应的实验 设备才能够进行，这对于教学实践环节提出了较严格的要求，并且也不利于进 行难度较高的教学实训操作。为了解决这一问题，现有技术提出了模拟教学实 训的模式，模拟教学实训通过在相应的模拟空间中提供虚拟的教学实训操作， 以便于学生对教学知识的梳理和消化，但是这种模式并没有充分利用语音识别 技术来提升教学实训操作的可执行性和智能性，这严重地阻碍了教学实训操作的升级和推广。
发明内容
针对现有技术存在的缺陷，本发明提供一种基于语音识别的教学实训系统， 该基于语音识别的教学实训系统包括语音获取模块、语音识别模块、语音-实 训匹配模块和教学实训执行模块；其中，该语音获取模块用于获取关于教学实 训场景的声音信号数据，以此确定关于教学实训相关对象的语音信号数据；该 语音识别模块用于对该语音信号数据进行识别处理，以此获取关于该教学实训 相关对象的语音识别相关信息；该语音-实训匹配模块用于根据该语音识别相 关信息，从预设实训执行数据库中匹配确定相应的教学实训执行相关数据；该 教学实训执行模块用于根据该教学实训执行相关数据，与互动对象进行适应性 的教学实训互动；可见，该基于语音识别的教学实训系统通过获取关于教学实训场景的声音信号数据，以此确定关于教学实训相关对象的语音信号数据，并 对该语音信号数据进行识别处理，以此获取关于该教学实训相关对象的语音识 别相关信息，再根据该语音识别相关信息，从预设实训执行数据库中匹配确定 相应的教学实训执行相关数据，最后根据该教学实训执行相关数据，与互动对 象进行适应性的教学实训互动，其充分利用语音识别技术来对教学实训过程进 行智能化的升级，以便于实训对象通过语音控制的方式就能够实现相应的教学 实训互动，这有利于提升教学实训操作的可执行性和智能性。
本发明提供一种基于语音识别的教学实训系统，其特征在于：
所述基于语音识别的教学实训系统包括语音获取模块、语音识别模块、语 音-实训匹配模块和教学实训执行模块；其中，
所述语音获取模块用于获取关于教学实训场景的声音信号数据，以此确定 关于教学实训相关对象的语音信号数据；
所述语音识别模块用于对所述语音信号数据进行识别处理，以此获取关于 所述教学实训相关对象的语音识别相关信息；
所述语音-实训匹配模块用于根据所述语音识别相关信息，从预设实训执 行数据库中匹配确定相应的教学实训执行相关数据；
所述教学实训执行模块用于根据所述教学实训执行相关数据，与互动对象 进行适应性的教学实训互动；
进一步，所述语音获取模块包括声音采集子模块、声音预处理子模块和语 音信号提取子模块；其中，
所述声音采集子模块用于根据预定声音采集模式，从所述教学实训场景中 记录采集所述声音信号数据；
所述声音预处理子模块用于对所述声音信号数据进行关于声音属性的预 处理，以此获得声音信号预处理数据；
所述语音信号生成子模块用于从所述声音信号预处理数据中生成得到所 述语音信号数据；
进一步，所述声音采集子模块包括教学实训场景检测单元、声音采集模式 确定单元和声音信号数据记录单元；其中，
所述教学实训场景检测单元用于检测当前教学实训场景中相应的人员数 量状态和/或人员相对位置分布状态；
所述声音采集模式确定单元用于根据所述人员数量状态和/或所述人员相 对位置分布状态，确定所述预定声音采集模式对应的声音采集频率、声音采集 灵敏度、声音采集上下极限值和声音采集空间角中的至少一者；
所述声音信号数据记录单元用于根据所述预定声音采集模式中对应的声 音采集频率、声音采集灵敏度、声音采集上下极限值和声音采集空间角中的至 少一者，从所述教学实训场景中记录采集所述声音信号数据；
或者，
所述声音预处理子模块包括背景噪声剔除单元、声纹辨识单元和声道标定 单元；其中，
所述背景噪声剔除单元用于根据预定背景噪声识别与分离模型，从所述声 音信号数据中识别相应的背景噪声成分，并将所述背景噪声成分从所述声音信 号数据中分离；
所述声纹辨识单元用于对分离所述背景噪声成分后的所述声音信号数据 进行声纹辨识处理，以此确定所述声音信号数据对应的声纹分布状态；
所述声道标定单元用于根据所述声纹分布状态，标定所述声音信号数据中 对应存在的所有声纹通道；
或者，
所述语音信号生成子模块包括声道分离单元和声道语音信号提取单元；其 中，
所述声道分离单元用于根据所述声音信号预处理数据中标定的所述声音 信号数据中对应存在的所有声纹通道，对所述声音信号预处理数据进行对应声 纹通道的分离处理；
所述声道语音信号提取单元用于从分离处理后的每一个声纹通道中提取 得到相应的语音信号数据；
进一步，所述语音识别模块包括语音识别模型构建子模块、语音识别模型 运行子模块和语音识别结果转换子模块；其中，
所述语音识别模型构建子模块用于根据预设教学实训历史大数据和数据 训练模式，构建相应的教学实训场景语音识别模型；
所述语音识别模型运行子模块用于通过所述教学实训场景语音识别模型， 对所述语音信号数据进行识别处理，以此获得相应的语音语义初步识别数据；
所述语音识别结果转换子模块用于根据语义语法解析算法，对所述语音语 义初步识别数据进行语法解析处理，以此获得所述语音识别相关信息；
进一步，所述语音识别结果转换子模块包括语义语法解析算法构建单元和 语法解析处理单元；其中，
所述语义语法解析算法构建单元用于根据教学实训场景中对应的教学相 关词汇大数据和/或教学相关词汇大数据，构建相应的所述语义语法解析算法；
所述语法解析处理单元用于根据所述语义语法解析算法，对所述语音语义 初步识别数据进行关于词汇、字段和语句中至少一者的所述语法解析处理，以 此获得所述语音识别相关信息；
进一步，所述语音-实训匹配模块包括语义定标子模块和实训执行动作数 据确定子模块；其中，
所述语义定标子模块用于对所述语音识别相关信息进行关于词汇、字段和 语句中至少一者的定标处理，此次获取对应的语义定标结果；
所述实训执行动作数据确定子模块用于根据所述语义定标结果，从所述预 设实训执行数据中确定满足预定匹配条件的所述教学实训执行相关数据；
进一步，所述语义定标子模块包括句段切分单元和定标处理单元；其中，
所述句段切分单元用于对所述语音识别相关信息进行关于词汇、字段或者 语句的细化切分处理，以此获得的对应的词汇切分集合、字段切分集合或者语 句切分集合；
所述定标处理单元用于根据所述词汇切分集合、所述字段切分集合或者所 述语句切分集合，对所述语音识别相关信息进行所述定标处理，以此获取对应 的所述语音定标结果；
或者，
所述实训执行动作数据确定子模块包括匹配度计算单元和教学实训执行 相关数据定位单元；其中，
所述匹配度计算单元用于根据所述语义定标结果，计算所述语音识别相关 信息中每一项相关数据对应的教学实训场景匹配度值；
所述教学实训执行相关数据定位单元用于根据所述教学实训场景匹配度 值和所述预定匹配条件，从所述预设实训执行数据中定位得到所述教学实训执 行相关数据；
进一步，所述教学实训执行模块包括教学实训互动对象确定子模块和实训 互动执行子模块；其中，
所述教学实训互动对象确定子模块用于根据所述语音识别相关数据，确定 当前所述教学实训执行相关数据对应的互动对象；
所述实训互动执行子模块用于根据所述教学实训执行相关数据对应的执 行指令，与所述互动对象进行适应性的教学实训互动；
进一步，所述教学实训互动对象确定子模块包括互动对象身份确定单元和 互动对象位置确定单元；其中，
所述互动对象身份确定单元用于根据所述语音识别相关数据，确定当前所 述教学实训执行相关数据对应的互动对象的身份信息；
所述互动对象位置确定单元用于根据所述语音识别相关数据，确定当前所 述教学实训执行相关数据对应的互动对象的位置信息；
进一步，所述实训互动执行子模块包括执行指令生成单元和实训动作确定 单元；其中，
所述执行指令生成单元用于根据所述教学实训执行相关数据生成所述执 行指令；
所述实训动作确定单元用于根据所述执行指令，确定相应的教学实训动作， 以此所述互动对象进行适应性的教学实训互动。
进一步，所述语音-实训匹配模块用于根据所述语音识别相关信息，从预 设实训执行数据库中匹配确定相应的教学实训执行相关数据；其中，
还包括根据数据处理获取的所述声音信号预处理关键特征数据及词汇切 分集合，与所述预设实训执行数据库匹配，根据比对结果，执行从预设实训执 行数据库中匹配确定相应的教学实训执行相关数据的操作；其具体实现步骤包 括：
步骤A1、根据所述声音采集子模块，获取教学实训场景的声音信号数据， 并进行随机抽样处理；
步骤A2、根据所述背景噪声剔除模型，对所述步骤A1随机抽样提取的声 音信号数据进行滤波处理，以消除噪音干扰，根据公式(1)相位展开处理， 获取声音信号预处理关键特征数据；
其中，e为自然常数，t为声音信号总时长，τ为声音信号的时间坐标，f 为所述声音采集频率，A为所述声音采集极限值，Amax为所述声音采集上极限 值，Amin为所述声音采集下极限值，w为所述声音采集灵敏度，v(t)为所述随机 抽样提取声音信号数据，f(τ-t)e-wftdt为在给定总时长t和时间坐标τ上进行的相 位展开，(Amax+Amin)为所确认的声音采集上、下极限值之和，
为所述声音 采集频率的补偿值，V(A，f,w)为所述获取声音信号预处理关键特征数据；
步骤A3、将所述获取声音信号预处理关键特征数据通过公式(2)进行所 述词汇细化切分处理，以获取所述词汇切分集合；
其中，arctan为反正切函数，m为正整数，i为随机抽样提取的声音信号 数据词汇数量，x为随机抽样提取的声音信号数据各词汇的笔画数量，J i为 所述词汇数量为i的词汇组，g x为所述词汇笔画数量为x的词汇组， 
为获取所述词汇数量数据集， 
为获取所述词汇笔画数据集，W J为获取所述 词汇切分集合；
步骤A4、将所述步骤A2获取的所述声音信号预处理关键特征数据与步骤 A3获取的词汇切分集合，与所述预设实训执行数据库D(o)进行比对，通过公 式(3)判断匹配结果，并执行从预设实训执行数据库中匹配确定相应的教学 实训执行相关数据的操作；
N＝N(μ,(W(J)*V(A，f,w)/D(o))2) (3)
其中，N表示在所述期望值为m，标准差为W(J)*V(A，f,w)/D(o)条件下的 正态分布结果，若N值大于99.74％，则表示所述随机抽样提取声音信号与所 述预设实训执行数据库匹配，执行从预设实训执行数据库中匹配确定相应的教 学实训执行相关数据的操作。
相比于现有技术，该基于语音识别的教学实训系统通过获取关于教学实训 场景的声音信号数据，以此确定关于教学实训相关对象的语音信号数据，并对 该语音信号数据进行识别处理，以此获取关于该教学实训相关对象的语音识别 相关信息，再根据该语音识别相关信息，从预设实训执行数据库中匹配确定相 应的教学实训执行相关数据，最后根据该教学实训执行相关数据，与互动对象 进行适应性的教学实训互动，其充分利用语音识别技术来对教学实训过程进行 智能化的升级，以便于实训对象通过语音控制的方式就能够实现相应的教学实 训互动，这有利于提升教学实训操作的可执行性和智能性。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明 书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可 通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获 得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付 出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于语音识别的教学实训系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，为本发明实施例提供的一种基于语音识别的教学实训系统的结 构示意图。该基于语音识别的教学实训系统包括语音获取模块、语音识别模块、 语音-实训匹配模块和教学实训执行模块；其中，
该语音获取模块用于获取关于教学实训场景的声音信号数据，以此确定关 于教学实训相关对象的语音信号数据；
该语音识别模块用于对该语音信号数据进行识别处理，以此获取关于该教 学实训相关对象的语音识别相关信息；
该语音-实训匹配模块用于根据该语音识别相关信息，从预设实训执行数 据库中匹配确定相应的教学实训执行相关数据；
该教学实训执行模块用于根据该教学实训执行相关数据，与互动对象进行 适应性的教学实训互动。
优选地，该语音获取模块包括声音采集子模块、声音预处理子模块和语音 信号提取子模块；其中，
该声音采集子模块用于根据预定声音采集模式，从该教学实训场景中记录 采集该声音信号数据；
该声音预处理子模块用于对该声音信号数据进行关于声音属性的预处理， 以此获得声音信号预处理数据；
该语音信号生成子模块用于从该声音信号预处理数据中生成得到该语音 信号数据。
优选地，该声音采集子模块包括教学实训场景检测单元、声音采集模式确 定单元和声音信号数据记录单元；其中，
该教学实训场景检测单元用于检测当前教学实训场景中相应的人员数量 状态和/或人员相对位置分布状态；
该声音采集模式确定单元用于根据该人员数量状态和/或该人员相对位置 分布状态，确定该预定声音采集模式对应的声音采集频率、声音采集灵敏度、 声音采集上下极限值和声音采集空间角中的至少一者；
该声音信号数据记录单元用于根据该预定声音采集模式中对应的声音采 集频率、声音采集灵敏度、声音采集上下极限值和声音采集空间角中的至少一 者，从该教学实训场景中记录采集该声音信号数据。
优选地，该声音预处理子模块包括背景噪声剔除单元、声纹辨识单元和声 道标定单元；其中，
该背景噪声剔除单元用于根据预定背景噪声识别与分离模型，从该声音信 号数据中识别相应的背景噪声成分，并将该背景噪声成分从该声音信号数据中 分离；
该声纹辨识单元用于对分离该背景噪声成分后的该声音信号数据进行声 纹辨识处理，以此确定该声音信号数据对应的声纹分布状态；
该声道标定单元用于根据该声纹分布状态，标定该声音信号数据中对应存 在的所有声纹通道。
优选地，该语音信号生成子模块包括声道分离单元和声道语音信号提取单 元；其中，
该声道分离单元用于根据该声音信号预处理数据中标定的该声音信号数 据中对应存在的所有声纹通道，对该声音信号预处理数据进行对应声纹通道的 分离处理；
该声道语音信号提取单元用于从分离处理后的每一个声纹通道中提取得 到相应的语音信号数据。
优选地，该语音识别模块包括语音识别模型构建子模块、语音识别模型运 行子模块和语音识别结果转换子模块；其中，
该语音识别模型构建子模块用于根据预设教学实训历史大数据和数据训 练模式，构建相应的教学实训场景语音识别模型；
该语音识别模型运行子模块用于通过该教学实训场景语音识别模型，对该 语音信号数据进行识别处理，以此获得相应的语音语义初步识别数据；
该语音识别结果转换子模块用于根据语义语法解析算法，对该语音语义初 步识别数据进行语法解析处理，以此获得该语音识别相关信息。
优选地，该语音识别结果转换子模块包括语义语法解析算法构建单元和语 法解析处理单元；其中，
该语义语法解析算法构建单元用于根据教学实训场景中对应的教学相关 词汇大数据和/或教学相关词汇大数据，构建相应的该语义语法解析算法；
该语法解析处理单元用于根据该语义语法解析算法，对该语音语义初步识 别数据进行关于词汇、字段和语句中至少一者的该语法解析处理，以此获得该 语音识别相关信息。
优选地，该语音-实训匹配模块包括语义定标子模块和实训执行动作数据 确定子模块；其中，
该语义定标子模块用于对该语音识别相关信息进行关于词汇、字段和语句 中至少一者的定标处理，此次获取对应的语义定标结果；
该实训执行动作数据确定子模块用于根据该语义定标结果，从该预设实训 执行数据中确定满足预定匹配条件的该教学实训执行相关数据。
优选地，该语义定标子模块包括句段切分单元和定标处理单元；其中，
该句段切分单元用于对该语音识别相关信息进行关于词汇、字段或者语句 的细化切分处理，以此获得的对应的词汇切分集合、字段切分集合或者语句切 分集合；
该定标处理单元用于根据该词汇切分集合、该字段切分集合或者该语句切 分集合，对该语音识别相关信息进行该定标处理，以此获取对应的该语音定标 结果。
优选地，该实训执行动作数据确定子模块包括匹配度计算单元和教学实训 执行相关数据定位单元；其中，
该匹配度计算单元用于根据该语义定标结果，计算该语音识别相关信息中 每一项相关数据对应的教学实训场景匹配度值；
该教学实训执行相关数据定位单元用于根据该教学实训场景匹配度值和 该预定匹配条件，从该预设实训执行数据中定位得到该教学实训执行相关数据。
优选地，该教学实训执行模块包括教学实训互动对象确定子模块和实训互 动执行子模块；其中，
该教学实训互动对象确定子模块用于根据该语音识别相关数据，确定当前 该教学实训执行相关数据对应的互动对象；
该实训互动执行子模块用于根据该教学实训执行相关数据对应的执行指 令，与该互动对象进行适应性的教学实训互动。
优选地，该教学实训互动对象确定子模块包括互动对象身份确定单元和互 动对象位置确定单元；其中，
该互动对象身份确定单元用于根据该语音识别相关数据，确定当前该教学 实训执行相关数据对应的互动对象的身份信息；
该互动对象位置确定单元用于根据该语音识别相关数据，确定当前该教学 实训执行相关数据对应的互动对象的位置信息。
优选地，该实训互动执行子模块包括执行指令生成单元和实训动作确定单 元；其中，
该执行指令生成单元用于根据该教学实训执行相关数据生成该执行指令；
该实训动作确定单元用于根据该执行指令，确定相应的教学实训动作，以 此该互动对象进行适应性的教学实训互动。
优选地，所述语音-实训匹配模块用于根据所述语音识别相关信息，从预 设实训执行数据库中匹配确定相应的教学实训执行相关数据；其中，
还包括根据数据处理获取的所述声音信号预处理关键特征数据及词汇切 分集合，与所述预设实训执行数据库匹配，根据比对结果，执行从预设实训执 行数据库中匹配确定相应的教学实训执行相关数据的操作；其具体实现步骤包 括：
步骤A1、根据所述声音采集子模块，获取教学实训场景的声音信号数据， 并进行随机抽样处理；
步骤A2、根据所述背景噪声剔除模型，对所述步骤A1随机抽样提取的声 音信号数据进行滤波处理，以消除噪音干扰，根据公式(1)相位展开处理， 获取声音信号预处理关键特征数据；
其中，e为自然常数，t为声音信号总时长，τ为声音信号的时间坐标，f 为所述声音采集频率，A为所述声音采集极限值，Amax为所述声音采集上极限 值，Amin为所述声音采集下极限值，w为所述声音采集灵敏度，v(t)为所述随机 抽样提取声音信号数据，f(τ-t)e-wftdt为在给定总时长t和时间坐标τ上进行的相 位展开，(Amax+Amin)为所确认的声音采集上、下极限值之和，
为所述声音 采集频率的补偿值，V(A，f,w)为所述获取声音信号预处理关键特征数据；
步骤A3、将所述获取声音信号预处理关键特征数据通过公式(2)进行所 述词汇细化切分处理，以获取所述词汇切分集合；
其中，arctan为反正切函数，m为正整数，i为随机抽样提取的声音信号 数据词汇数量，x为随机抽样提取的声音信号数据各词汇的笔画数量，J i为 所述词汇数量为i的词汇组，g x为所述词汇笔画数量为x的词汇组， 
为获取所述词汇数量数据集， 
为获取所述词汇笔画数据集，W J为获取所述词汇切分集合；
步骤A4、将所述步骤A2获取的所述声音信号预处理关键特征数据与步骤 A3获取的词汇切分集合，与所述预设实训执行数据库D(o)进行比对，通过公 式(3)判断匹配结果，并执行从预设实训执行数据库中匹配确定相应的教学 实训执行相关数据的操作；
N＝N(μ,(W(J)*V(A，f,w)/D(o))2) (3)
其中，N表示在所述期望值为m，标准差为W(J)*V(A，f,w)/D(o)条件下的 正态分布结果，若N值大于99.74％，则表示所述随机抽样提取声音信号与所 述预设实训执行数据库匹配，执行从预设实训执行数据库中匹配确定相应的教 学实训执行相关数据的操作。
上述技术方案的有益效果是：所述一种基于语音识别的教学实训系统，根 据目标对象实训期间反馈的声音信号数据，实时进行声音特征参数处理，并通 过对声音信号数据的具体词汇进行提炼分析，与所述预设实训执行数据库比对， 达到实时更换教学实训课程的目的，该技术方案为与互动对象进行适应性的教 学实训互动提供了技术支持，提升了教学实训操作的可执行性和智能性，同时 也提升了所述一种基于语音识别的教学实训系统的教学效率。
从上述实施例的内容可知，该基于语音识别的教学实训系统通过获取关于 教学实训场景的声音信号数据，以此确定关于教学实训相关对象的语音信号数 据，并对该语音信号数据进行识别处理，以此获取关于该教学实训相关对象的 语音识别相关信息，再根据该语音识别相关信息，从预设实训执行数据库中匹 配确定相应的教学实训执行相关数据，最后根据该教学实训执行相关数据，与 互动对象进行适应性的教学实训互动，其充分利用语音识别技术来对教学实训 过程进行智能化的升级，以便于实训对象通过语音控制的方式就能够实现相应 的教学实训互动，这有利于提升教学实训操作的可执行性和智能性。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发 明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及 其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (11)
1.基于语音识别的教学实训系统，其特征在于：
所述基于语音识别的教学实训系统包括语音获取模块、语音识别模块、语音-实训匹配模块和教学实训执行模块；其中，
所述语音获取模块用于获取关于教学实训场景的声音信号数据，以此确定关于教学实训相关对象的语音信号数据；
所述语音识别模块用于对所述语音信号数据进行识别处理，以此获取关于所述教学实训相关对象的语音识别相关信息；
所述语音-实训匹配模块用于根据所述语音识别相关信息，从预设实训执行数据库中匹配确定相应的教学实训执行相关数据；
所述教学实训执行模块用于根据所述教学实训执行相关数据，与互动对象进行适应性的教学实训互动。
2.如权利要求1所述的基于语音识别的教学实训系统，其特征在于：
所述语音获取模块包括声音采集子模块、声音预处理子模块和语音信号提取子模块；其中，
所述声音采集子模块用于根据预定声音采集模式，从所述教学实训场景中记录采集所述声音信号数据；
所述声音预处理子模块用于对所述声音信号数据进行关于声音属性的预处理，以此获得声音信号预处理数据；
所述语音信号生成子模块用于从所述声音信号预处理数据中生成得到所述语音信号数据。
3.如权利要求2所述的基于语音识别的教学实训系统，其特征在于：
所述声音采集子模块包括教学实训场景检测单元、声音采集模式确定单元和声音信号数据记录单元；其中，
所述教学实训场景检测单元用于检测当前教学实训场景中相应的人员数量状态和/或人员相对位置分布状态；
所述声音采集模式确定单元用于根据所述人员数量状态和/或所述人员相对位置分布状态，确定所述预定声音采集模式对应的声音采集频率、声音采集灵敏度、声音采集上下极限值和声音采集空间角中的至少一者；所述声音信号数据记录单元用于根据所述预定声音采集模式中对应的声音采集频率、声音采集灵敏度、声音采集上下极限值和声音采集空间角中的至少一者，从所述教学实训场景中记录采集所述声音信号数据；或者，
所述声音预处理子模块包括背景噪声剔除单元、声纹辨识单元和声道标定单元；其中，
所述背景噪声剔除单元用于根据预定背景噪声识别与分离模型，从所述声音信号数据中识别相应的背景噪声成分，并将所述背景噪声成分从所述声音信号数据中分离；
所述声纹辨识单元用于对分离所述背景噪声成分后的所述声音信号数据进行声纹辨识处理，以此确定所述声音信号数据对应的声纹分布状态；所述声道标定单元用于根据所述声纹分布状态，标定所述声音信号数据中对应存在的所有声纹通道；
或者，
所述语音信号生成子模块包括声道分离单元和声道语音信号提取单元；其中，
所述声道分离单元用于根据所述声音信号预处理数据中标定的所述声音信号数据中对应存在的所有声纹通道，对所述声音信号预处理数据进行对应声纹通道的分离处理；
所述声道语音信号提取单元用于从分离处理后的每一个声纹通道中提取得到相应的语音信号数据。
4.如权利要求1所述的基于语音识别的教学实训系统，其特征在于：
所述语音识别模块包括语音识别模型构建子模块、语音识别模型运行子模块和语音识别结果转换子模块；其中，
所述语音识别模型构建子模块用于根据预设教学实训历史大数据和数据训练模式，构建相应的教学实训场景语音识别模型；
所述语音识别模型运行子模块用于通过所述教学实训场景语音识别模型，对所述语音信号数据进行识别处理，以此获得相应的语音语义初步识别数据；
所述语音识别结果转换子模块用于根据语义语法解析算法，对所述语音语义初步识别数据进行语法解析处理，以此获得所述语音识别相关信息。
5.如权利要求4所述的基于语音识别的教学实训系统，其特征在于：
所述语音识别结果转换子模块包括语义语法解析算法构建单元和语法解析处理单元；其中，
所述语义语法解析算法构建单元用于根据教学实训场景中对应的教学相关词汇大数据和/或教学相关词汇大数据，构建相应的所述语义语法解析算法；
所述语法解析处理单元用于根据所述语义语法解析算法，对所述语音语义初步识别数据进行关于词汇、字段和语句中至少一者的所述语法解析处理，以此获得所述语音识别相关信息。
6.如权利要求1所述的基于语音识别的教学实训系统，其特征在于：
所述语音-实训匹配模块包括语义定标子模块和实训执行动作数据确定子模块；其中，
所述语义定标子模块用于对所述语音识别相关信息进行关于词汇、字段和语句中至少一者的定标处理，此次获取对应的语义定标结果；
所述实训执行动作数据确定子模块用于根据所述语义定标结果，从所述预设实训执行数据中确定满足预定匹配条件的所述教学实训执行相关数据。
7.如权利要求6所述的基于语音识别的教学实训系统，其特征在于：
所述语义定标子模块包括句段切分单元和定标处理单元；其中，
所述句段切分单元用于对所述语音识别相关信息进行关于词汇、字段或者语句的细化切分处理，以此获得的对应的词汇切分集合、字段切分集合或者语句切分集合；
所述定标处理单元用于根据所述词汇切分集合、所述字段切分集合或者所述语句切分集合，对所述语音识别相关信息进行所述定标处理，以此获取对应的所述语音定标结果；
或者，
所述实训执行动作数据确定子模块包括匹配度计算单元和教学实训执行相关数据定位单元；其中，
所述匹配度计算单元用于根据所述语义定标结果，计算所述语音识别相关信息中每一项相关数据对应的教学实训场景匹配度值；
所述教学实训执行相关数据定位单元用于根据所述教学实训场景匹配度值和所述预定匹配条件，从所述预设实训执行数据中定位得到所述教学实训执行相关数据。
8.如权利要求1所述的基于语音识别的教学实训系统，其特征在于：
所述教学实训执行模块包括教学实训互动对象确定子模块和实训互动执行子模块；其中，
所述教学实训互动对象确定子模块用于根据所述语音识别相关数据，确定当前所述教学实训执行相关数据对应的互动对象；
所述实训互动执行子模块用于根据所述教学实训执行相关数据对应的执行指令，与所述互动对象进行适应性的教学实训互动。
9.如权利要求8所述的基于语音识别的教学实训系统，其特征在于：
所述教学实训互动对象确定子模块包括互动对象身份确定单元和互动对象位置确定单元；其中，
所述互动对象身份确定单元用于根据所述语音识别相关数据，确定当前所述教学实训执行相关数据对应的互动对象的身份信息；
所述互动对象位置确定单元用于根据所述语音识别相关数据，确定当前所述教学实训执行相关数据对应的互动对象的位置信息。
10.如权利要求8所述的基于语音识别的教学实训系统，其特征在于：
所述实训互动执行子模块包括执行指令生成单元和实训动作确定单元；
其中，
所述执行指令生成单元用于根据所述教学实训执行相关数据生成所述执行指令；
所述实训动作确定单元用于根据所述执行指令，确定相应的教学实训动作，以此所述互动对象进行适应性的教学实训互动。
11.如权利要求1所述的一种基于语音识别的教学实训系统，其特征在于：
所述语音-实训匹配模块用于根据所述语音识别相关信息，从预设实训执行数据库中匹配确定相应的教学实训执行相关数据；
还包括根据数据处理获取的所述声音信号预处理关键特征数据及词汇切分集合，与所述预设实训执行数据库匹配，根据比对结果，执行从预设实训执行数据库中匹配确定相应的教学实训执行相关数据的操作；
其具体实现步骤包括：
步骤A1、根据所述声音采集子模块，获取教学实训场景的声音信号数据，并进行随机抽样处理；
步骤A2、根据所述背景噪声剔除模型，对所述步骤A1随机抽样提取的声音信号数据进行滤波处理，以消除噪音干扰，根据公式(1)相位展开处理，获取声音信号预处理关键特征数据；
其中，e为自然常数，t为声音信号总时长，τ为声音信号的时间坐标，f为所述声音采集频率，A为所述声音采集极限值，Amax为所述声音采集上极限值，Amin为所述声音采集下极限值，w为所述声音采集灵敏度，v(t)为所述随机抽样提取声音信号数据，f(τ-t)e-wftdt为在给定总时长t和时间坐标τ上进行的相位展开，(Amax+Amin)为所确认的声音采集上、下极限值之和，
为所述声音采集频率的补偿值，V(A，f,w)为所述获取声音信号预处理关键特征数据；
步骤A3、将所述获取声音信号预处理关键特征数据通过公式(2)进行所述词汇细化切分处理，以获取所述词汇切分集合；
其中，arctan为反正切函数，m为正整数，i为随机抽样提取的声音信号数据词汇数量，x为随机抽样提取的声音信号数据各词汇的笔画数量，Ji为所述词汇数量为i的词汇组，g x为所述词汇笔画数量为x的词汇组，
为获取所述词汇数量数据集，
为获取所述词汇笔画数据集，W J为获取所述词汇切分集合；
步骤A4、将所述步骤A2获取的所述声音信号预处理关键特征数据与步骤A3获取的词汇切分集合，与所述预设实训执行数据库D o进行比对，通过公式(3)判断匹配结果，并执行从预设实训执行数据库中匹配确定相应的教学实训执行相关数据的操作；
N＝N(μ,(W(J)*V(A，f,w)/D(o))2) (3)
其中，N表示在所述期望值为μ，标准差为W(J)*V(A，f,w)/D(o)条件下的正态分布结果，若N值大于99.74％，则表示所述随机抽样提取声音信号与所述预设实训执行数据库匹配，执行从预设实训执行数据库中匹配确定相应的教学实训执行相关数据的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010229303.6A CN111276146A (zh) | 2020-03-27 | 2020-03-27 | 基于语音识别的教学实训系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010229303.6A CN111276146A (zh) | 2020-03-27 | 2020-03-27 | 基于语音识别的教学实训系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111276146A true CN111276146A (zh) | 2020-06-12 |
Family
ID=71002688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010229303.6A Pending CN111276146A (zh) | 2020-03-27 | 2020-03-27 | 基于语音识别的教学实训系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111276146A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116820250A (zh) * | 2023-08-29 | 2023-09-29 | 小舟科技有限公司 | 基于元宇宙的用户互动方法、装置、终端及可读存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102890936A (zh) * | 2011-07-19 | 2013-01-23 | 联想(北京)有限公司 | 一种音频处理方法、终端设备及系统 |
| CN104123115A (zh) * | 2014-07-28 | 2014-10-29 | 联想(北京)有限公司 | 一种音频信息处理方法及电子设备 |
| CN106056996A (zh) * | 2016-08-23 | 2016-10-26 | 深圳市时尚德源文化传播有限公司 | 一种多媒体交互教学系统及方法 |
| CN108492830A (zh) * | 2018-03-28 | 2018-09-04 | 深圳市声扬科技有限公司 | 声纹识别方法、装置、计算机设备和存储介质 |
| CN109272998A (zh) * | 2018-09-07 | 2019-01-25 | 马鞍山问鼎网络科技有限公司 | 一种人工智能语音检测及控制方法 |
| CN109712626A (zh) * | 2019-03-04 | 2019-05-03 | 腾讯科技（深圳）有限公司 | 一种语音数据处理方法及装置 |
| CN110908518A (zh) * | 2019-12-03 | 2020-03-24 | 上海乂学教育科技有限公司 | 基于虚拟现实的数学教学系统 |
| CN110910874A (zh) * | 2019-11-08 | 2020-03-24 | 深圳明心科技有限公司 | 一种互动课堂语音控制方法、终端设备、服务器和系统 |
-
2020
- 2020-03-27 CN CN202010229303.6A patent/CN111276146A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102890936A (zh) * | 2011-07-19 | 2013-01-23 | 联想(北京)有限公司 | 一种音频处理方法、终端设备及系统 |
| CN104123115A (zh) * | 2014-07-28 | 2014-10-29 | 联想(北京)有限公司 | 一种音频信息处理方法及电子设备 |
| CN106056996A (zh) * | 2016-08-23 | 2016-10-26 | 深圳市时尚德源文化传播有限公司 | 一种多媒体交互教学系统及方法 |
| CN108492830A (zh) * | 2018-03-28 | 2018-09-04 | 深圳市声扬科技有限公司 | 声纹识别方法、装置、计算机设备和存储介质 |
| CN109272998A (zh) * | 2018-09-07 | 2019-01-25 | 马鞍山问鼎网络科技有限公司 | 一种人工智能语音检测及控制方法 |
| CN109712626A (zh) * | 2019-03-04 | 2019-05-03 | 腾讯科技（深圳）有限公司 | 一种语音数据处理方法及装置 |
| CN110910874A (zh) * | 2019-11-08 | 2020-03-24 | 深圳明心科技有限公司 | 一种互动课堂语音控制方法、终端设备、服务器和系统 |
| CN110908518A (zh) * | 2019-12-03 | 2020-03-24 | 上海乂学教育科技有限公司 | 基于虚拟现实的数学教学系统 |
Non-Patent Citations (1)
| Title |
|---|
| 杨志义, 西安电子科技大学出版社 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116820250A (zh) * | 2023-08-29 | 2023-09-29 | 小舟科技有限公司 | 基于元宇宙的用户互动方法、装置、终端及可读存储介质 |
| CN116820250B (zh) * | 2023-08-29 | 2023-11-17 | 小舟科技有限公司 | 基于元宇宙的用户互动方法、装置、终端及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109255113B (zh) | 智能校对系统 | |
| US10476872B2 (en) | Joint speaker authentication and key phrase identification | |
| US10074363B2 (en) | Method and apparatus for keyword speech recognition | |
| US8478591B2 (en) | Phonetic variation model building apparatus and method and phonetic recognition system and method thereof | |
| CN106297800B (zh) | 一种自适应的语音识别的方法和设备 | |
| CN107972028B (zh) | 人机交互方法、装置及电子设备 | |
| CN106601230B (zh) | 基于连续混合高斯hmm模型的物流分拣地名语音识别方法、系统及物流分拣系统 | |
| CN111696557A (zh) | 语音识别结果的校准方法、装置、设备及存储介质 | |
| CN107945805A (zh) | 一种智能化跨语言语音识别转化方法 | |
| CN102122507A (zh) | 一种运用人工神经网络进行前端处理的语音检错方法 | |
| CN113707125A (zh) | 一种多语言语音合成模型的训练方法及装置 | |
| CN112466287B (zh) | 一种语音分割方法、装置以及计算机可读存储介质 | |
| CN111462754B (zh) | 一种电力系统调度控制语音识别模型建立方法 | |
| JP6875819B2 (ja) | 音響モデル入力データの正規化装置及び方法と、音声認識装置 | |
| CN114999463B (zh) | 语音识别方法、装置、设备及介质 | |
| CN104538025A (zh) | 手势到汉藏双语语音转换方法及装置 | |
| Dave et al. | Speech recognition: A review | |
| CN110853669A (zh) | 音频识别方法、装置及设备 | |
| CN112863485A (zh) | 口音语音识别方法、装置、设备及存储介质 | |
| CN111276146A (zh) | 基于语音识别的教学实训系统 | |
| Ballard et al. | A multimodal learning interface for word acquisition | |
| CN113053358A (zh) | 一种分区域方言的语音识别客服系统 | |
| CN113990325A (zh) | 流式语音识别方法及装置、电子设备、存储介质 | |
| Mishra et al. | Challenges in spoken language diarization in code-switched scenario | |
| Gao et al. | A real-time Chinese speech recognition system with unlimited vocabulary |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 200237 9 / F and 10 / F, building 2, No. 188, Yizhou Road, Xuhui District, Shanghai Applicant after: Shanghai squirrel classroom Artificial Intelligence Technology Co.,Ltd. Address before: 200237 9 / F and 10 / F, building 2, No. 188, Yizhou Road, Xuhui District, Shanghai Applicant before: SHANGHAI YIXUE EDUCATION TECHNOLOGY Co.,Ltd. |
|
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200612 |