CN110675292A - 一种基于人工智能的儿童语言能力评测方法 - Google Patents

Abstract

一种基于人工智能的儿童语言能力评测方法，所述方法如下步骤:1)通过编写PYTHON爬虫程序来有针对获取所需音频、问答语料、百科知识，同时结合优学在项目实践中积累的专项场景语料并入优学语料库中以备调用；2)通过Deep Learning深度学习模块对抓取到的语音素材进行模型训练，以完成离线语音识别功能可对采集到的儿童语音进行STT转换，通过首选局域网离线STT进行语音识别之外，也可以通过接入互联网方式采用第三方语音识别作为第二选项；本发明语言采集分析系统；系统将采集到的音频数据，经过降噪、声纹分析之后，匹配到所属的儿童；儿童的音频数据经过音频转文本处理之后，通过人工智能系统进行分析，对孩子的发言的踊跃度、语言逻辑性、表达主动性、礼貌程度等进行评估。

Description

一种基于人工智能的儿童语言能力评测方法

技术领域

本发明涉及教育系统技术领域，具体涉及一种人工智能智的语言能力方法及系统。

背景技术

儿童的早期语言能力发展是为人的一生做准备的关键时期，这一阶段对儿童今后的德、智、体、美发展至关重要。然而，目前现状是缺乏系统性对儿童语言能力进行衡量的指标及横向对比方法。从而使儿童语言能力是否达标未能及时得到家长及相关教育机构的及时关注，有些情况下甚至耽误了孩子本身具有的优良天赋。

本发明所解决的问题是及时通过基于人工智能的系统对儿童语言能力进行科学评测，并输出评估报告给家长及教育机构形成有效建议。从而对语言能力较弱的孩子及时进行改善，对语言能力较好的孩子要引导和强化并及时因材施教使之语言能力得到充分发挥。同时帮助家长及教育机构了解系统了解孩子的天赋及优势，为孩子制定个性化发展方向并为孩子学业规划咨询提供科学依据。

发明内容

本发明是以麦克风为载体，通过音频方式记录幼儿的语言表现，并借助于人工智能模块从中分析、提炼和总结幼儿个性特征，为幼儿以后的发展方向对教育机构和家长提供相关参考依据，对早期教育具有重要的意义。主要体现在通过麦克风进行无感音频数据采集，运用人工智能进行整理提炼，为构建多维模型及分析评估提供数据支撑，具体方法为：如下步骤

1)通过编写PYTHON爬虫程序来有针对获取所需音频、问答语料、百科知识，同时结合优学在项目实践中积累的专项场景语料并入优学语料库中以备调用；

2)通过Deep Learning深度学习模块对抓取到的语音素材进行模型训练，以完成离线语音识别功能可对采集到的儿童语音进行STT转换，通过首选局域网离线STT进行语音识别之外，也可以通过接入互联网方式采用第三方语音识别作为第二选项；

3)获取到儿童语音数据并转换成文本后即存入后台数据库存档备查同时会将文本与优学语料库中的资源进行匹配并自动生成回答文本，用于交互场景时可通过TTS语音合成并通过优学机器人载体与儿童产生语音交谈互动，这样可更好的使儿童迅速产生交谈兴趣并能使之快速提高交谈能力；

4)系统获取到儿童语音转文本的数据后会结合语言评测模块对相关文本进行评测打分并存入后台数据库；

5)前端网页对后台相关数据读出后以可视化图表的形式将儿童语言能力及在一组儿童中的表现及排名实时呈现在投影或大屏之上以供家长或评测机构得到实时动态反馈。

2.根据权利要求1所述的基于人工智能的儿童语言能力评测方法，其特征在于所述语言评测模块中包含语言基础能力评估、用词准确与发音标准评估、语法复杂性评估、语言逻辑性评估、语言表达能力评估，所述语言基础能力评估由词汇量评估和词性使用评估组成；

所述用词准确与发音标准评估由用词准确判断和发音正误判断组成；

所述语法复杂性评分由句子长度评分、句子结构评分、句子级的词性丰富度评分、全文本级的词性丰富度评分组成；

所述语言逻辑性评分由语言情感分析评分、深度学习方式评分、文明用语检测评分、语言流畅性评分组成，所述语言理解能力评估由语言表达能力评分组成。

本发明语言采集分析系统；系统将采集到的音频数据，经过降噪、声纹分析之后，匹配到所属的儿童；儿童的音频数据经过音频转文本处理之后，通过人工智能系统进行分析，对孩子的发言的踊跃度、语言逻辑性、表达主动性、礼貌程度等进行评估。

附图说明：

图1是本发明流程示意图。

具体实施方式

下面将结合附图对本发明作详细的介绍：图1所述：包括如下步骤

1)通过编写PYTHON爬虫程序来有针对获取所需音频、问答语料、百科知识，同时结合优学在项目实践中积累的专项场景语料并入优学语料库中以备调用；

2)通过Deep Learning深度学习模块对抓取到的语音素材进行模型训练，以完成离线语音识别功能可对采集到的儿童语音进行STT转换，通过首选局域网离线STT进行语音识别之外，也可以通过接入互联网方式采用第三方语音识别作为第二选项；

3)获取到儿童语音数据并转换成文本后即存入后台数据库存档备查同时会将文本与优学语料库中的资源进行匹配并自动生成回答文本，用于交互场景时可通过TTS语音合成并通过优学机器人载体与儿童产生语音交谈互动，这样可更好的使儿童迅速产生交谈兴趣并能使之快速提高交谈能力；

4)系统获取到儿童语音转文本的数据后会结合语言评测模块对相关文本进行评测打分并存入后台数据库；

5)前端网页对后台相关数据读出后以可视化图表的形式将儿童语言能力及在一组儿童中的表现及排名实时呈现在投影或大屏之上以供家长或评测机构得到实时动态反馈，所述语言评测模块中包含语言基础能力评估、用词准确与发音标准评估、语法复杂性评估、语言逻辑性评估、语言表达能力评估，所述语言基础能力评估由词汇量评估和词性使用评估组成；

所述用词准确与发音标准评估由用词准确判断和发音正误判断组成；

所述语法复杂性评分由句子长度评分、句子结构评分、句子级的词性丰富度评分、全文本级的词性丰富度评分组成；

所述语言逻辑性评分由语言情感分析评分、深度学习方式评分、文明用语检测评分、语言流畅性评分组成，所述语言理解能力评估由语言表达能力评分组成。

具体评分方法如下:

进行数据预处理

计算句子长度需要去掉连续重复的词、短语、句子。在不删除连续重复句子的情况下，加权总分时，比较相同时间内儿童讲话的总词汇量或者总句子数量是不合理的。被去重内容蕴含一定的信息，讲话时由于心里因素或者思维混乱以及其他原因，会造成重复词语、短语、句子的现象。特别情况下，重复词语、短语或者句子是为了突出强调，如使用连续重复词加强情感表达。因此连续重复的句型类型、相应频率一定程度可以反应儿童的语言流畅性和思维的敏捷性。

删除文本当中连续重复出现的词语、短语、句子。例如：

1、词语：删除连续重复出现的词语。如‘啊啊啊好看好看’-->‘啊好看’

2、短语：删除连续重复出现的词语。如‘这是个美丽的地方，美丽的地方’-->‘这是个美丽的地方’

3、句子：删除连续重复出现的句子，删除句子余弦相似度或者编辑距离大于90％的句子。如‘这是一个非常美丽的地方，这确实是一个非常美丽的地方’-->‘这是一个非常美丽的地方’

语言基础能力评估词汇量评估

词汇使用的丰富度与儿童的语言能力的强弱呈现明显的关联关系。随着年龄的增加，儿童掌握的词汇量是递增的。

具体实现方法

评估各个分词器效果，选择最优分词器(LTP)对对话文本分词后统计。

删除同核多形词(同核多形词，是指核心词素相同而形式不同的词，如杯、杯子、杯杯。

由于词频统计的对象是词，因此这种同核多形词应该算作一个词)。

词汇量评分

总词汇量

词汇量

相对词汇量(相同年龄阶层，相对本院儿童、相对全国儿童)(参与评估的儿童词汇量会根据儿童评估历史数据逐步建立)

词汇重复指数＝词汇量/总词汇量

词性使用评估

选择最优分词器对对话文本分词。

对文本进行词性标注，统计名词、动词、形容词出现的频率，以及分析各个词汇类别的比例。

词性使用评分

实词、虚词的数量

实词、虚词的相对数量

词性归类后的每个类别的数量

词性归类后的每个类别的相对数

每个词性类别的数量

用词准确与发音标准评分

用词准确判断

使用文本纠正算法对原对话文本进行更正，然后对更正前的文本和更正后的文本分词。因为对未纠正的文本的切词结果可能是错误的，这里使用更正后文本分词集合与更正前文本分词集合的差集的数量作为文本被纠正的次数。

发音正误判断

儿童发音错误、发音不符合标准，那么语音识别的结果也将是错误的对话文本，通过中文文本纠正算法对其进行纠正，后面的实现方法同上。

另外一种有针对性的语音评估方法是：让儿童模仿机器人讲话，然后对语音识别的文本与标准文本进行分析。

用词准确与发音标准评测两种场景：普通对话场景，儿童模仿机器人讲话场景

1)被纠正的次数，即被纠正的词数量

2)句子的长度

对人机交互得到的儿童对话文本按照句子进行切分，先对一些碎碎念、语气词、不完整句子、短语等进行过滤。对过滤后的文本有两种统计方法，一种是以字为单位，一种是以词为单位，观察句子长度值得分布，统计最长句子长度，并计算平均句子长度。

在不分单复句的前提下，比较一个儿童单句的长度和另外一个儿童复句的长度是无意义的，因为简单的复句一般比单句句子长度长。

句子长度评分

单句

最长句子长度(以字统计、以词统计)

平均句子长度(以字统计、以词统计)

复句

最长句子长度(以字统计、以词统计)

平均句子长度(以字统计、以词统计)

总体平均句子长度

总体最长句子长度

句子完整性和语法正确性

首先使用标准的儿童语言文本和口语文本建立标准句法模板库，然后通过句法分析对儿童的对话文本进行句法分析，分析结果与标准句法模板库进行对比，如果标准句法模板库中存在相等的句法模板库，证明儿童语言句法正确、完整。

句子完整性和语法正确性评分

语法复杂性

单复句定义：去掉关联词后，被标点符合分开的两部分是否有结构关系，如果一部分是另外一部分的句子结构，可判断为单句，否则为复句。如‘只有他，才能忘记心中的不快’是单句；‘只有他离开，我才能忘记心中的不快’是复句。

首先需要识别单词句、单句和复句，对于复句来说，每个分句都有核心词结构，根据这个特性，通过语法规则可以区分单句和复句。

单复句的划分：根据复句的两个分句是并列关系来判断是否是复句。以及出现关联词直接判断为复句。

语法复杂性评分

各句型的数量

各句型的绝对数量

句子级的词性丰富度

文本级的词性丰富度

句子结构评分

Score(句子结构类型评分)＝单词句权重*单词句类型比例+单句权重*单句类型比例+复句权重*复句类型比例

句子级的词性丰富度评分

Score＝Max{词性丰富度得分值}or Average{词性丰富度得分值}

全文本级的词性丰富度评分

儿童掌握的复句类型复句类型：并列复句、递进复句、承接复句....。统计儿童掌握了哪些关联关系，如因果关系、递进关系、转折关系、并列关系等。

多重复句：是指两种或者两种以上关联关系的复句。

如‘小明不爱学习，又不愿交朋友，因此妈妈很担心他的成长’这是一个多重复句：并列复句+因果复句语言逻辑性直接分析儿童的对话文本

通过对儿童语言的逻辑用词情况来评估说话的逻辑性。当然，这种方法有一定的局限性，具有较强逻辑性的表达也可能使用了比较少的逻辑连词。

逻辑词大概分为一下两种：

时间标记

首先、其次、最后….，

逻辑连词

并列关系连词、承接关系连词、转折关系连词、顺承关系连词、选择关系连词、假设关系连词、比较关系连词、让步关系连词、递进关系连词、条件关系连词、目的关系连词语言逻辑性评分

语言情感分析

使用机器学习及深度学习的方法，来对无感情况下获取的儿童语言的情感进行分析，评测结果更加客观，可以真实地反映儿童内心的情感变化。也会对儿童情感波动进行分析，也是对儿童喜怒无常心理的一种监测。

对儿童对话文本的每句话进行情感分析，分析的方法有：关键字检索的方式、深度学习的方式。计算积极、中性、消极情感的语句占所有语句的比例，计算平均每句话的情感值，以及情感变化的标准差。

关键字检索方式情感极性值得计算方法出现否定词，且否定词出现在程度副词后，如“不很高兴”，直接判定情感为中性。

Value(情感极性值计算)＝0

如果出现否定词，且否定词出现在程度副词前，如“很不高兴”，计算公式如下。

Value(情感极性值计算)＝否定词判断{1，-1}*Value(程度副词)*Value(极性词)

深度学习方式

使用深度学习进行情感极性分析，本质是一种二分类判别。判断的结果是0-1的概率值，概率值越趋近于1，积极性情感越强，概率值越趋近于0，消极性情感越强。因此我们可以直接以概率值作为情感极性值。

情感波动分析＝Standard Deviation of Sentiment Value of Each Sentence

文明用语检测

这里使用关键字检索的方式进行不文明用语的检测，比如将不文明用语或者文明列举出来，然后对儿童语言进行切词匹配。

语言流畅性

平均语速＝1min内说话的字数

语言理解能力评估

语言表达能力评估

语言意思表达是能够准确的表达出自己的意思，是儿童语言能力评估的重要参考因素。测试的方法可以是，如给出图片，词语，话题，让儿童通过语言进行描述，然后将描述的文本与标准文本进行相似度计算。

通过文本相似度算法衡量标准答案和儿童表示的相似度，以相似度作为评分。计算文本相似度的算法有编辑距离，Jaccard相似度距离，cosine距离，汉明距离，还有基于深度学习语义匹配的pairwise相似度。

大部分文本匹配开源模型是短文本语义匹配，对于长文本，循环神经网络序列太长，不能够很好的进行表达。一种解决办法是，将文本中的每个句子使用doc2vec映射成低维稠密的向量，仍将映射后的向量按原文本中句子的原始顺序排列，后面的算法同短文本的语义匹配算法。

语言表达能力评分文本匹配相似度值范围[0,1]，两个文本越相似，其相似值越趋近于1。

特别情况是，如果Score1得分值低于给定阈值(如0.3)，需要参考儿童语言理解能力得分。如果儿童语言理解能力也低于给定阈值(如0.4)，可以认定Score1可以不能正确的评估儿童的语言表达能力，有可能没能理解要表达的主题，直接忽略该得分值。

2)关键字表达

Claims (2)

1.一种基于人工智能的儿童语言能力评测方法，其特征在于所述方法如下步骤

1)通过编写PYTHON爬虫程序来有针对获取所需音频、问答语料、百科知识，同时结合优学在项目实践中积累的专项场景语料并入优学语料库中以备调用；

2)通过Deep Learning深度学习模块对抓取到的语音素材进行模型训练，以完成离线语音识别功能可对采集到的儿童语音进行STT转换，通过首选局域网离线STT进行语音识别之外，也可以通过接入互联网方式采用第三方语音识别作为第二选项；

3)获取到儿童语音数据并转换成文本后即存入后台数据库存档备查同时会将文本与优学语料库中的资源进行匹配并自动生成回答文本，用于交互场景时可通过TTS语音合成并通过优学机器人载体与儿童产生语音交谈互动，这样可更好的使儿童迅速产生交谈兴趣并能使之快速提高交谈能力；

4)系统获取到儿童语音转文本的数据后会结合语言评测模块对相关文本进行评测打分并存入后台数据库；

5)前端网页对后台相关数据读出后以可视化图表的形式将儿童语言能力及在一组儿童中的表现及排名实时呈现在投影或大屏之上以供家长或评测机构得到实时动态反馈。

2.根据权利要求1所述的基于人工智能的儿童语言能力评测方法，其特征在于所述语言评测模块中包含语言基础能力评估、用词准确与发音标准评估、语法复杂性评估、语言逻辑性评估、语言表达能力评估，所述语言基础能力评估由词汇量评估和词性使用评估组成；

所述用词准确与发音标准评估由用词准确判断和发音正误判断组成；

所述语法复杂性评分由句子长度评分、句子结构评分、句子级的词性丰富度评分、全文本级的词性丰富度评分组成；

所述语言逻辑性评分由语言情感分析评分、深度学习方式评分、文明用语检测评分、语言流畅性评分组成，所述语言理解能力评估由语言表达能力评分组成。

Images