CN115691545B - 一种基于vr游戏的范畴知觉训练方法及系统 - Google Patents

Abstract

本发明涉及一种基于VR游戏的范畴知觉训练方法及系统，包括：创建范畴知觉语音素材库，用于提供若干组训练素材；获取训练素材，用于获取所述比对语音对并生成语音对标准发音，获取所述比对语音对画面信息生成比对语音对动态画面、比对语音对静态画面，获取所述语音连续体并生成语音连续体近似发音；展示训练内容，用于向用户展示所述语音对标准发音与所述比对语音对动态画面或所述语音对标准发音与所述比对语音对静态画面或所述比对语音对动态画面；训练结果验证，用于引导用户操作，并控制向用户重复展示对应训练素材或控制向用户更换展示训练素材或结束训练，具有生成标准化的训练方式以及通过多维度的演示训练增强训练效果的优点。

Description

一种基于VR游戏的范畴知觉训练方法及系统

技术领域

本发明涉及范畴知觉训练的技术领域，特别是涉及一种基于VR游戏的范畴知觉训练方法及系统。

背景技术

语音知觉是一种非连续性的、具有离散特点的范畴性知觉，在现有技术中，测试范畴性知觉的方式有多种，比如：常见的量表、问卷和系统的问答分析，均无法生成标准化的训练方式，也无法通过多维度的演示训练增强训练效果，例如CN202473015U公开的一种汉语声调发音演示装置，因此，对于现有范畴直觉语音训练以及测试方式的改良是值得我们思考的。

发明内容

本发明要解决的技术问题在于克服现有技术中的缺陷，从而提供一种基于VR游戏的范畴知觉训练方法。

为实现上述目的，本发明采用了如下技术方案：

一种基于VR游戏的范畴知觉训练方法，包括：创建范畴知觉语音素材库，用于提供若干组训练素材，每组所述训练素材均包括比对语音对、比对语音对画面信息和语音连续体；获取训练素材，用于获取所述比对语音对并生成语音对标准发音，获取所述比对语音对画面信息并生成比对语音对动态画面、比对语音对静态画面，获取所述语音连续体并生成语音连续体近似发音；展示训练内容，用于向用户展示所述语音对标准发音与所述比对语音对动态画面，或所述语音对标准发音与所述比对语音对静态画面，或所述比对语音对动态画面；训练结果验证，用于根据展示的训练内容，引导用户操作，并生成操作结果反馈信号，控制向用户重复展示对应训练素材或控制向用户更换展示训练素材或结束训练。

优选地，所述创建范畴知觉语音素材库包括：根据汉语拼音读音标准，录入语音数据；对所述语音数据进行分析，并根据分析结果生成与所述语音数据对应的比对语音对，所述比对语音对包括第一发音体、第二发音体；调整所述比对语音对的发音参数，并在所述第一发音体、所述第二发音体之间生成预设数值个连续变化的语音连续体；输入所述比对语音对的标准书写信息，并生成比对语音对画面信息；将所述比对语音对、所述语音连续体以及所述比对语音对画面信息存储于数据存储单元中；录入不同类所述语音数据，并生成对应的所述比对语音对、所述语音连续体以及所述比对语音对画面信息，分组存储于不同的所述数据存储单元中，构建成范畴知觉语音素材库。

优选地，根据汉语拼音读音标准，录入语音数据包括：根据汉语拼音的辅音字母分类，输入发音相似语音数据，其中，所述发音相似语音数据包括若干组发音相似语音组；对所述语音数据进行分析，并根据分析结果生成与所述语音数据对应的比对语音对包括：利用软件对所述发音相似语音组进行频谱分析，并根据频谱分析结果，筛选出范畴知觉上差异最明显的所述发音相似语音组作为VOT比对语音对，其中，所述VOT比对语音对包括VOT第一发音体、VOT第二发音体；调整所述比对语音对的发音参数，并在所述第一发音体、所述第二发音体之间生成预设数值个连续变化的语音连续体包括：调整所述VOT比对语音对的VOT的时长，并在所述VOT第一发音体、所述VOT第二发音体之间生成预设数值个连续变化的VOT语音连续体。

优选地，根据汉语拼音读音标准，录入语音数据包括：根据汉语拼音的种类，录入的拼音的声调语音数据；对所述语音数据进行分析，并根据分析结果生成与所述语音数据对应的比对语音对包括：利用软件对所述声调语音数据进行基频分析，并根据基频分析结果升高或降低所述声调语音数据的基频，生成声调比对语音对，其中，所述声调比对语音对包括声调第一发音体、声调第二发音体；调整所述比对语音对的发音参数，并在所述第一发音体、所述第二发音体之间生成预设数值个连续变化的语音连续体包括：通过升高或降低所述声调比对语音对的基频，并在所述声调第一发音体、所述声调第二发音体之间生成预设数值个连续变化的声调语音连续体。

优选地，还包括范畴知觉测试，具体包括：预设测试标准，用于在范畴知觉语音素材库中获取训练素材的类型，并设置获取的训练素材的展示内容；展示测试内容，用于展示获取的训练素材的展示内容，所述展示内容包括比对语音对静态画面、语音连续体近似发音；根据测试标准生成标准曲线；用户进行答案选择，用于用户根据播放的语音连续体近似发音，在比对语音对静态画面上进行选择，并生成测试结果；生成测试曲线，用于对所述结果进行计算，并生成测试曲线；测试结果比对，用于显示标准曲线与测试曲线之间的差异。

优选地，所述设置获取的训练素材的展示内容包括：根据获取的训练素材选择展示对应的比对语音对静态画面；根据获取的训练素材在预设数值个连续变化的语音连续体中间隔选择若干个；设定同一个语音连续体近似发音重复播放次数。

优选地，所述训练结果验证包括：根据展示的训练内容，输出交互信息，并生成交互提示画面，引导用户操作；获取用户操作结果，并生成操作结果反馈信号；根据所述操作结果反馈信号，控制向用户重复展示对应训练内容或控制向用户更换展示训练内容或结束训练。

一种基于VR游戏的范畴知觉训练系统，包括：范畴知觉语音素材库创建模块，用于创建范畴知觉语音素材库，所述范畴知觉语音素材库用于提供若干组训练素材，每组所述训练素材均包括比对语音对、比对语音对画面信息和语音连续体；训练素材获取模块，用于获取所述比对语音对并生成语音对标准发音，获取所述比对语音对画面信息并生成比对语音对动态画面、比对语音对静态画面，获取所述语音连续体并生成语音连续体近似发音；训练内容展示模块，用于向用户展示所述语音对标准发音与所述比对语音对动态画面，或所述语音对标准发音与所述比对语音对静态画面，或所述比对语音对动态画面；训练结果验证模块，所述训练结果验证模块包括用户交互模块，用于根据展示的训练内容，引导用户操作，并生成操作结果反馈信号，控制向用户重复展示对应训练素材或控制向用户更换展示训练素材或结束训练。

优选地，所述训练素材获取模块包括：数据库选择单元，用于输出数据库选择信号；数据库获取单元，用于根据所述数据库选择信号，获取所述训练素材，每组所述训练素材均包括比对语音对、比对语音对画面信息和语音连续体；数据转化单元，用于将所述比对语音对并生成语音对标准发音，用于将所述比对语音对画面信息并生成比对语音对动态画面、比对语音对静态画面，还用于将所述语音连续体并生成语音连续体近似发音。

优选地，还包括范畴知觉测试模块，所述范畴知觉测试模块包括：标准设定单元，用于设定在范畴知觉语音素材库中获取训练素材的类型，并生成标准设定信号，进而控制所述数据库选择单元输出数据库选择信号，并控制所述训练内容展示模块展示训练素材的展示内容；答案转化单元，获取所述用户交互模块输出的用户交互反馈信号，并转化成用户答案信号；计算单元，用于根据所述标准设定信号生成标准曲线，还用于根据所述用户答案信号，生成测试曲线；显示单元，用于显示标准曲线与测试曲线之间的差异。

相比现有技术，本发明的有益效果在于：

上述技术方案中所提供的一种基于VR游戏的范畴知觉训练方法，通过汉语拼音读音标准，录入语音数据后，利用软件对语音数据进行分析，进而生成第一发音体与第二发音体，又在第一发音体与第二发音体之间生成预设数值个连续变化的语音连续体，使得范畴知觉语音素材数据库既有明确的标准发音又有相似音，便于人员的训练引导以及测试识别，且范畴知觉语音素材数据库生成过程标准化，避免了人为主观随意更改的弊端，使得训练效果更好、测试结果更加准确。此外，本方法利用创建的范畴知觉语音素材数据库以及VR技术相互配合，使得范畴知觉的训练从单纯的听觉输入转变为可视化运动以及听觉语音训练，同时要求用户开口发音，多维度的训练方式，增强训练效果，也减少了人为主观因素的干涉，此外，本系统用于测试时，还有利于生成测试曲线与标准曲线图，使得医生能够快速诊断出用户的范畴知觉认知水平。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一种基于VR游戏的范畴知觉训练方法的流程图。

图2为基于VR游戏的范畴知觉训练测试系统的连接示意图。

图3为范畴知觉语音素材库创建系统的连接示意图。

图4为基于VR游戏的范畴知觉训练测试系统的训练界面示意图。

图5为基于VR游戏的范畴知觉训练测试系统的测试界面示意图。

1、范畴知觉语音素材库；11、语音数据录入模块；12、数据分析模块；13、数据参数调整模块；14、书写信息获取模块；15、标准书写信息转化模块；16、数据存储模块；2、训练素材获取模块；21、数据库选择单元；22、数据库获取单元；23、数据转化单元；3、训练内容展示模块；31、VR设备；32、VR控制单元；4、训练结果验证模块；40、用户交互模块；401、激光雷达单元；402、语音单元；5、范畴知觉测试模块；51、标准设定单元；52、答案转化单元；53、计算单元；54、显示单元。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

如图1所示，本发明提供以一种基于VR游戏的范畴知觉训练方法，旨在解决现有的范畴知觉训练，无法生成标准化的训练方式，也无法通过多维度的演示训练增强训练效果，进而导致训练效果差的缺陷。

请继续参阅图1，本发明提供的一种基于VR游戏的范畴知觉训练方法，包括：

S101步骤：创建范畴知觉语音素材库1，用于提供若干组训练素材，每组训练素材均包括比对语音对、比对语音对画面信息和语音连续体。具体地，通过建立的范畴知觉语音素材库1，能够实现在训练的过程中获取标准化的训练素材，进而可避免训练过程中人为主观输入训练素材以及随意更改训练素材，导致训练不够标准化进而影响训练效果的弊端。

S102步骤：获取训练素材，用于获取比对语音对并生成语音对标准发音，获取比对语音对画面信息并生成比对语音对动态画面、比对语音对静态画面，获取语音连续体并生成语音连续体近似发音。具体地，将训练素材转化为语音对标准发音、比对语音对动态画面、比对语音对静态画面以及语音连续体近似发音，使得能够从画面、标准语音以及近似语音等多方面对用户进行训练，实现多维度训练，能够增强训练效果。

S103步骤：展示训练内容，用于向用户展示语音对标准发音与比对语音对动态画面，或语音对标准发音与比对语音对静态画面，或比对语音对动态画面。具体地，通过展示语音对标准发音与比对语音对动态画面，能够将动态画面与标准发音进行结合展示，从而能过加深用户的记忆，使得训练效果更好，通过展示语音标准发音与语音静态画面，能够使得用户根据语音对标准发音去判别语音静态画面，进而能够辅助用户进行标准语音对于语音静态画面的匹配，进而增强用户对于语音信息的识别能力；通过展示比对语音对动态画面，能够通过动态触发用户记忆，进而引导用户进行发音训练，上述多维度的训练模式，不仅能够增强训练效果，还能通过多种训练方式的切换，增强用户的兴趣，避免单一训练容易导致用户疲劳的缺陷。

S104步骤：训练结果验证，用于根据展示的训练内容，引导用户操作，并生成操作结果反馈信号，控制向用户重复展示对应训练素材或控制向用户更换展示训练素材或结束训练。具体地说，训练结果验证步骤包括：根据展示的训练内容，输出交互信息，并生成交互提示画面，也可生成交互语音，引导用户操作；获取用户操作结果，并生成操作结果反馈信号；根据操作结果反馈信号，控制向用户重复展示对应训练内容或控制向用户更换展示训练内容或结束训练。进一步地说，此步骤配合展示训练内容步骤实施，使得用户根据语音对标准发音与比对语音对静态画面进行动作选择或判断操作时或根据比对语音对动态画面进行发音操作时，能够及时生成判别信息，并生成操作结果反馈信号，例如，当用户根据语音对标准发音判断比对语音对静态画面中的信息或当用户根据语音对动态画面进行发音时，若判断或发音错误，则可控制向用户重复展示对应训练素材，若判断或发音正确，则可控制向用户更换展示训练素材或结束训练，此方式使得能够便于治疗师及时获知用户的训练程度。

值得说明的是，创建范畴知觉语音素材库1包括：根据汉语拼音读音标准，录入语音数据；对语音数据进行分析，并根据分析结果生成与语音数据对应的比对语音对，比对语音对包括第一发音体、第二发音体；调整比对语音对的发音参数，并在第一发音体、第二发音体之间生成预设数值个连续变化的语音连续体，预设数值可设置为10个；输入比对语音对的标准书写信息，并生成比对语音对画面信息；将比对语音对、语音连续体以及比对语音对画面信息存储于数据存储单元中；录入不同类语音数据，并生成对应的比对语音对、语音连续体以及比对语音对画面信息，分组存储于不同的数据存储单元中，构建成范畴知觉语音素材库1。

虽然汉语拼音种类繁多，但可按照上述方式对录入的语音数据，并生成对应比对语音对、语音连续体以及比对语音对画面信息，并存储于范畴知觉语音素材库1的数据存储单元。

在其中一种实施例中，可根据汉语拼音的辅音字母分类，生成VOT训练（即发音相似语音训练）的素材，其中，VOT指的嗓音启动时间（Voice onset time, VOT），是区分辅音清/浊和送气/不送气的主要特征。具体地，根据汉语拼音读音标准，录入语音数据包括：根据汉语拼音的辅音字母分类，输入发音相似语音数据，其中，发音相似语音数据包括若干组发音相似语音组；对语音数据进行分析，并根据分析结果生成与语音数据对应的比对语音对包括：利用软件对发音相似语音组进行频谱分析，并根据频谱分析结果，筛选出范畴知觉上差异最明显的发音相似语音组作为VOT比对语音对，其中，VOT比对语音对包括VOT第一发音体、VOT第二发音体；调整比对语音对的发音参数，并在第一发音体、第二发音体之间生成预设数值个连续变化的语音连续体包括：调整VOT比对语音对的VOT的时长，并在VOT第一发音体、VOT第二发音体之间生成预设数值个连续变化的VOT语音连续体。

进一步地说，在汉语语音中，可根据VOT的时长不同区分辅音发音时是否送气，进而形成不同辅音的范畴知觉，进而可将辅音字母进行分类，共计6类辅音字母，分别为b/p、d/t、g/k、z/c、j/q、zh/ch，若干类发音相似语音数据分别对应b/p、d/t、g/k、z/c、j/q、zh/ch类别的发音数据；每类辅音字母又可组成若干组发音相似语音组，如以b/p类辅音字母为例，可录入 ba/pa、bo/po、bi\pi等发音相似语音组，利用Praat、Klatt和audition软件分析筛选后，可以将 ba/pa作为b/p类辅音字母的VOT比对语音对，此时，VOT第一发音体为ba，VOT第二发音体为pa，再通过改变VOT的时长，即可在ba与pa之间获取预设数值个（优选10个）连续变化的VOT语音连续体，最后，输入ba、pa的标准书写信息，并生成与 ba/pa比对语音对画面信息即可；可利用 ba/pa这一VOT比对语音对的生成方式，生成6类辅音字母的VOT比对语音对，即一类辅音字母选出2个语音（如：b/p对应的 ba/pa），6类辅音字母则共计6对VOT语音对，进而作为VOT训练（即发音相似语音训练）的素材。

在另一种实施例中，可根据汉语拼音的种类及声调，生成声调训练（即声调相似语音训练）的素材，具体为：根据汉语拼音读音标准，录入语音数据包括：根据汉语拼音的种类，录入的拼音的声调语音数据；对语音数据进行分析，并根据分析结果生成与语音数据对应的比对语音对包括：利用软件对声调语音数据进行基频分析，并根据基频分析结果升高或降低声调语音数据的基频，生成声调比对语音对，其中，声调比对语音对包括声调第一发音体、声调第二发音体；调整比对语音对的发音参数，并在第一发音体、第二发音体之间生成预设数值个连续变化的语音连续体包括：通过升高或降低声调比对语音对的基频，并在声调第一发音体、声调第二发音体之间生成预设数值个连续变化的声调语音连续体。

进一步地说，在汉语语音中，包括若干类拼音，例如mao、bao、hao等，每个拼音均由于包括一声、二声、三声、四声四个声调，以mao这一个拼音为例，其声调语音数据包括māo、máo、mǎo、mào四个声调，则其可组成6类声调变换，具体为从：māo至máo（一声至二声）、máo至mǎo（一声至三声）、māo至mào（一声至四声）、máo至mǎo（二声至三声）、máo至mào（二声至四声）、mǎo至mào（三声至四声），此过程可利用Praat、Klatt和audition软件进行基频分析以及基频改变，进而生成对应的声调比对语音对，即可生成：māo与máo声调比对语音对、máo与mǎo声调比对语音对、māo与mào声调比对语音对、máo与mǎo声调比对语音对、máo与mào声调比对语音对、mǎo与mào声调比对语音对，共计6类声调变换的情况，共计6对声调比对语音对。

值得说明的是，一种基于VR游戏的范畴知觉训练方法还包括范畴知觉测试，用于检验用户认知水平，具体地，此步骤也可设置于训练之前，判断用户认知水平，辅助治疗室了解用户的训练需求，此步骤还可在训练前后均设置，用于了解用户一轮训练后的训练效果。

范畴知觉测试具体包括：预设测试标准，用于在范畴知觉语音素材库1中获取训练素材的类型，并设置获取的训练素材的展示内容；展示测试内容，用于展示获取的训练素材的展示内容，展示内容包括比对语音对静态画面、语音连续体近似发音；根据测试标准生成标准曲线；用户进行答案选择，用于用户根据播放的语音连续体近似发音，在比对语音对静态画面上进行选择，并生成测试结果；生成测试曲线，用于对结果进行计算，并生成测试曲线；测试结果比对，用于显示标准曲线与测试曲线之间的差异。

进一步地说，设置获取的训练素材的展示内容包括：根据获取的训练素材选择展示对应的比对语音对静态画面；根据获取的训练素材在预设数值个连续变化的语音连续体中间隔选择若干个，并生成对应语音连续体近似发音，具体地，可在生成多个语音连续体中选择1、3、5、7、9或2、4、6、8、10号语音连续体进行测试；设定同一个语音连续体近似发音重复播放次数，具体为设置1、3、5、7、9或2、4、6、8、10号语音连续体中同一号语音连续体的播放次数。

如图2所示，值得说明的是，本发明还提供了一种基于VR游戏的范畴知觉训练系统，包括：范畴知觉语音素材库创建模块，用于创建范畴知觉语音素材库1，范畴知觉语音素材库1用于提供若干组训练素材，每组训练素材均包括比对语音对、比对语音对画面信息和语音连续体。具体地，如图3所示，范畴知觉语音素材库创建模块包括：语音数据录入模块11，用于录入语音数据；数据分析模块12，用于分析语音数据，并生成比对语音对，比对语音对包括第一发音体、第二发音体；数据参数调整模块13，用于调整比对语音对的发音参数，并生成预设数值个连续变化的语音连续体；书写信息获取模块14，用于输入比对语音对的标准书写信息；标准书写信息转化模块15，用于将比对语音对的标准书写信息转化为比对语音对画面信息；数据存储模块16，包括若干数据存储单元，数据存储单元用于存储比对语音对、比对语音对画面信息以及语音连续体。

范畴知觉训练系统还包括训练素材获取模块2，用于获取比对语音对并生成语音对标准发音，获取比对语音对画面信息并生成比对语音对动态画面、比对语音对静态画面，获取语音连续体并生成语音连续体近似发音。具体地，训练素材获取模块2包括：数据库选择单元21，用于输出数据库选择信号；数据库获取单元22，用于根据数据库选择信号，获取训练素材，每组训练素材均包括比对语音对、比对语音对画面信息和语音连续体；数据转化单元23，用于将比对语音对并生成语音对标准发音，用于将比对语音对画面信息并生成比对语音对动态画面、比对语音对静态画面，还用于将语音连续体并生成语音连续体近似发音。如图4所示，比对语音对动态画面表现形式如其中A图、C图、D图、F图所示，以pá、bá、māo、máo为例，“pá”的字形会以自远及近的运动形式、“bá”自远及近的运动明显缩短、māo伴随水平箭头线播放，máo伴随逐渐上扬箭头播放；比对语音对静态画面表现形式可入其中B图、E图所示，显示第一发音体、第二发音体的具体书写信息。如图5所示，语音连续体近似发音具体包括若干个，且连续排列，其中，自中间向两端，一端逐渐接近第一发音体的标准发音，另一端逐渐接近第二发音体的标准发音。

范畴知觉训练系统还包括训练内容展示模块3，用于向用户展示语音对标准发音与比对语音对动态画面，或语音对标准发音与比对语音对静态画面，或比对语音对动态画面。具体地，训练内容展示模块3包括VR设备31、VR控制单元32，其中，VR设备31用于获取VR控制单元32输入的VR控制信号，并根据VR控制信号向用户展示语音对标准发音与比对语音对动态画面，或语音对标准发音与比对语音对静态画面，或比对语音对动态画面。

范畴知觉训练系统还包括训练结果验证模块4，训练结果验证模块4包括用户交互模块40，用于根据展示的训练内容，引导用户操作，并生成操作结果反馈信号，操作结果反馈信号包括动作反馈信号、语音反馈信号，控制向用户重复展示对应训练素材或控制向用户更换展示训练素材或结束训练。具体地，用户交互模块40包括激光雷达单元401、语音单元402，其中，激光雷达单元401用于扫描到因用户身体交互而改变的激光扫描阵列变化，获取用户动作变化，形成动作反馈信号，用于获取用户的声音输入，形成语音反馈信号，VR控制单元32则接收动作反馈信号、语音反馈信号并生成VR控制信号，控制VR设备31重复向用户展示语音对标准发音与比对语音对动态画面，或语音对标准发音与比对语音对静态画面，或比对语音对动态画面，或结束训练。

范畴知觉训练系统还包括范畴知觉测试模块5，范畴知觉测试模块5包括：标准设定单元51，用于设定在范畴知觉语音素材库1中获取训练素材的类型，并生成标准设定信号，进而控制数据库选择单元21输出数据库选择信号，并控制训练内容展示模块3展示训练素材的展示内容；答案转化单元52，获取用户交互模块40输出的用户交互反馈信号，并转化成用户答案信号；计算单元53，用于根据标准设定信号生成标准曲线，还用于根据用户答案信号，生成测试曲线；显示单元54，用于显示标准曲线与测试曲线之间的差异。

综上所述，在利用本系统进行训练时，利用数据库选择单元21给数据库获取单元22一个数据库选择信号，进而获取训练素材，具体包括：比对语音对画面信息、比对语音对、语音连续体，数据转化单元23将预设数值个语音连续体转化为1-10号语音连续体，将比对语音对画面信息转化为比对语音对动态画面、比对语音对静态画面，将比对语音对转化为语音对标准发音，再根据训练模式利用VR控制单元32给VR设备31一个VR控制信号，进而控制VR设备31展示语音对标准发音与比对语音对动态画面，或语音对标准发音与比对语音对静态画面，或比对语音对动态画面，具体为：如图4中A图、D图所示，当需要进行识别训练验证时，VR设备31向用于展示语音对标准发音与比对语音对动态画面，使得用户能够获取比对语音对动态画面与比对语音对标准发音，以ba/pa 为例，其中第一发音体ba与第二发音体pa先后呈现；当需要对如图4所示的A图、D图所示的训练结果验证，例如需要根据发音判别画面时，如图4中B图、E图所示，VR设备31向用户展示语音对标准发音（此时可选择展示第一发音体标准发音或第二发音体标准发音或先后展示第一发音体标准发音、第二发音体标准发音）与比对语音对静态画面，以ba/pa 为例，比对语音对静态画面同时显示以ba/pa ，与此同时，用户交互模块40输出交互信息，数据转化单元23将交互信息转化为交互画面，交互画面可显示“播放的语音是下面哪一个”，用于指导用户操作，用户操作过程中，用户交互模块40的激光雷达单元401获取用户动作生成动作反馈信号，VR控制单元32根据动作反馈信号生成VR控制信号，并控制VR设备31重复展示对应训练素材或控制向用户更换展示训练素材或结束训练，实现训练过程中的训练效果验证；当需要对如图4中A图、D图所示的训练结果验证，例如，当需要进行读音验证时，如图4中C图、F图所示，VR设备31向用户展示比对语音对动态画面（第一发音体或第二发音体动态画面，可仅显示动态形式以及书写相似部分的内容如a），与此同时，用户交互模块40输出交互信息，数据转化单元23将交互信息转化为交互画面，交互画面可显示“上面出现的是第一发音体（如ba）还是第二发音体（如pa），请读出来”，用于指导用户操作，用户操作过程中，用户交互模块40的语音单元402获取用户声音并生成语音反馈信号，VR控制单元32根据语音反馈信号生成VR控制信号，并控制VR设备31重复展示对应训练素材或控制向用户更换展示训练素材或结束训练，如给出正确的发音指导、动态画面中的至少一种。

如图2，图5所示，当需要利用本系统进行测试用户认知能力时，根据训练需求，利用标准设定单元51设定在范畴知觉语音素材库中获取训练素材的类型，并生成标准设定信号，同时设置获取的训练素材的展示内容，具体为：设定获取的训练素材选择展示对应的比对语音对静态画面，根据获取的训练素材在预设数值个连续变化的语音连续体中间隔选择若干个，以及设定同一个语音连续体近似发音重复播放次数；标准设定好后，数据库选择单元21根据标准设定信号给数据库获取单元22一个数据库选择信号，进而获取训练素材，具体包括：比对语音对画面信息、比对语音对、语音连续体，数据转化单元23将预设数值个语音连续体转化为1-10号语音连续体，将比对语音对画面信息转化为比对语音对动态画面、比对语音对静态画面，将比对语音对转化为语音对标准发音；VR控制单元32根据标准设定信号给VR设备31一个VR控制信号，进而控制设置获取的训练素材的展示内容，具体为：根据获取的训练素材，控制VR设备31展示对应的比对语音对静态画面；根据获取的训练素材，控制VR设备31播放1、3、5、7、9或2、4、6、8、10号语音连续体进行测试，且根据标准设定信号，重复播放多次，此过程中，用户交互模块40输出交互信息，数据转化单元23将交互信息转化为交互画面，交互画面可显示“播放的语音是下面哪一个”，用于指导用户操作，用户操作过程中，用户交互模块40的激光雷达单元401获取用户动作生成动作反馈信号，答案转化单元52根据动作反馈信号生成用户答案信号，并传输到计算单元53，计算单元53计算同一个连续体选择正确的百分比，例如，以ba/pa为例，3号语音体发音近似于ba，则设定3号语音连续体重复播放五次，若用户判断为ba为4次，则百分比为80%，若判断为ba为2次，则百分比为40%，最后生成测试曲线，计算单元53还会根据标准设定信号生成标准曲线，最后利用显示单元54显示测试曲线与标准曲线的差异。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.一种基于VR游戏的范畴知觉训练方法，其特征在于，包括：

创建范畴知觉语音素材库，用于提供若干组训练素材，每组所述训练素材均包括比对语音对、比对语音对画面信息和语音连续体；所述创建范畴知觉语音素材库包括：获取所述比对语音对标准书写信息，并将所述标准书写信息转化为语音对画面信息；

获取训练素材，用于获取所述比对语音对并生成语音对标准发音，获取所述比对语音对画面信息并生成比对语音对动态画面、比对语音对静态画面，获取所述语音连续体并生成语音连续体近似发音；其中，所述比对语音对包括：第一发音体、第二发音体；所述获取所述比对语音对画面信息并生成比对语音对动态画面，包括：根据所述第一发音体、所述第二发音体的画面信息生成特定运动形式的动态画面，且所述第一发音体的特定运动形式与所述第二发音体的特定运动形式不同；

展示训练内容，用于向用户展示所述语音对标准发音与所述比对语音对动态画面，或所述语音对标准发音与所述比对语音对静态画面，或所述比对语音对动态画面；

训练结果验证，用于根据展示的训练内容，引导用户操作，并生成操作结果反馈信号，控制向用户重复展示对应训练素材或控制向用户更换展示训练素材或结束训练。

2.根据权利要求1所述的基于VR游戏的范畴知觉训练方法，其特征在于，所述创建范畴知觉语音素材库包括：

根据汉语拼音读音标准，录入语音数据；

对所述语音数据进行分析，并根据分析结果生成与所述语音数据对应的比对语音对；

调整所述比对语音对的发音参数，并在所述第一发音体、所述第二发音体之间生成预设数值个连续变化的语音连续体；

输入所述比对语音对的标准书写信息，并生成比对语音对画面信息；

将所述比对语音对、所述语音连续体以及所述比对语音对画面信息存储于数据存储单元中；

录入不同类所述语音数据，并生成对应的所述比对语音对、所述语音连续体以及所述比对语音对画面信息，分组存储于不同的所述数据存储单元中，构建成范畴知觉语音素材库。

3.根据权利要求2所述的基于VR游戏的范畴知觉训练方法，其特征在于，根据汉语拼音读音标准，录入语音数据包括：根据汉语拼音的辅音字母分类，输入发音相似语音数据，其中，所述发音相似语音数据包括若干组发音相似语音组；

对所述语音数据进行分析，并根据分析结果生成与所述语音数据对应的比对语音对包括：利用软件对所述发音相似语音组进行频谱分析，并根据频谱分析结果，筛选出范畴知觉上差异最明显的所述发音相似语音组作为VOT比对语音对，其中，所述VOT比对语音对包括VOT第一发音体、VOT第二发音体；

调整所述比对语音对的发音参数，并在所述第一发音体、所述第二发音体之间生成预设数值个连续变化的语音连续体包括：调整所述VOT比对语音对的VOT的时长，并在所述VOT第一发音体、所述VOT第二发音体之间生成预设数值个连续变化的VOT语音连续体。

4.根据权利要求2所述的基于VR游戏的范畴知觉训练方法，其特征在于，根据汉语拼音读音标准，录入语音数据包括：根据汉语拼音的种类，录入的拼音的声调语音数据；

对所述语音数据进行分析，并根据分析结果生成与所述语音数据对应的比对语音对包括：利用软件对所述声调语音数据进行基频分析，并根据基频分析结果升高或降低所述声调语音数据的基频，生成声调比对语音对，其中，所述声调比对语音对包括声调第一发音体、声调第二发音体；

调整所述比对语音对的发音参数，并在所述第一发音体、所述第二发音体之间生成预设数值个连续变化的语音连续体包括：通过升高或降低所述声调比对语音对的基频，并在所述声调第一发音体、所述声调第二发音体之间生成预设数值个连续变化的声调语音连续体。

5.根据权利要求2所述的基于VR游戏的范畴知觉训练方法，其特征在于，还包括范畴知觉测试，具体包括：

预设测试标准，用于在范畴知觉语音素材库中获取训练素材的类型，并设置获取的训练素材的展示内容；

展示测试内容，用于展示获取的训练素材的展示内容，所述展示内容包括比对语音对静态画面、语音连续体近似发音；

根据测试标准生成标准曲线；

用户进行答案选择，用于用户根据播放的语音连续体近似发音，在比对语音对静态画面上进行选择，并生成测试结果；

生成测试曲线，用于对所述结果进行计算，并生成测试曲线；

测试结果比对，用于显示标准曲线与测试曲线之间的差异。

6.根据权利要求5所述的基于VR游戏的范畴知觉训练方法，其特征在于，所述设置获取的训练素材的展示内容包括：

根据获取的训练素材选择展示对应的比对语音对静态画面；

根据获取的训练素材在预设数值个连续变化的语音连续体中间隔选择若干个；

设定同一个语音连续体近似发音重复播放次数。

7.根据权利要求1所述的基于VR游戏的范畴知觉训练方法，其特征在于，所述训练结果验证包括：

根据展示的训练内容，输出交互信息，并生成交互提示画面，引导用户操作；

获取用户操作结果，并生成操作结果反馈信号；

根据所述操作结果反馈信号，控制向用户重复展示对应训练内容或控制向用户更换展示训练内容或结束训练。

8.一种基于VR游戏的范畴知觉训练系统，其特征在于，包括：

范畴知觉语音素材库创建模块，用于创建范畴知觉语音素材库，所述范畴知觉语音素材库用于提供若干组训练素材，每组所述训练素材均包括比对语音对、比对语音对画面信息和语音连续体，其中所述语音对画面信息包括标准书写信息；

训练素材获取模块，用于获取所述比对语音对并生成语音对标准发音，获取所述比对语音对画面信息并生成比对语音对动态画面、比对语音对静态画面，获取所述语音连续体并生成语音连续体近似发音；其中，所述比对语音对包括：第一发音体、第二发音体；所述训练素材获取模块用于根据所述第一发音体、所述第二发音体的画面信息生成特定运动形式的动态画面，且所述第一发音体的特定运动形式与所述第二发音体的特定运动形式不同；

训练内容展示模块，用于向用户展示所述语音对标准发音与所述比对语音对动态画面，或所述语音对标准发音与所述比对语音对静态画面，或所述比对语音对动态画面；

训练结果验证模块，所述训练结果验证模块包括用户交互模块，用于根据展示的训练内容，引导用户操作，并生成操作结果反馈信号，控制向用户重复展示对应训练素材或控制向用户更换展示训练素材或结束训练。

9.根据权利要求8所述的基于VR游戏的范畴知觉训练系统，其特征在于，包括：所述训练素材获取模块包括：

数据库选择单元，用于输出数据库选择信号；

数据库获取单元，用于根据所述数据库选择信号，获取所述训练素材，每组所述训练素材均包括比对语音对、比对语音对画面信息和语音连续体；

数据转化单元，用于将所述比对语音对并生成语音对标准发音，用于将所述比对语音对画面信息并生成比对语音对动态画面、比对语音对静态画面，还用于将所述语音连续体并生成语音连续体近似发音。

10.根据权利要求9所述的基于VR游戏的范畴知觉训练系统，其特征在于，包括：还包括范畴知觉测试模块，所述范畴知觉测试模块包括：

标准设定单元，用于设定在范畴知觉语音素材库中获取训练素材的类型，并生成标准设定信号，进而控制所述数据库选择单元输出数据库选择信号，并控制所述训练内容展示模块展示训练素材的展示内容；

答案转化单元，获取所述用户交互模块输出的用户交互反馈信号，并转化成用户答案信号；

计算单元，用于根据所述标准设定信号生成标准曲线，还用于根据所述用户答案信号，生成测试曲线；

显示单元，用于显示标准曲线与测试曲线之间的差异。

Images