CN110727796B - 面向分级读物的多尺度难度向量分类方法 - Google Patents

面向分级读物的多尺度难度向量分类方法 Download PDF

Info

Publication number
CN110727796B
CN110727796B CN201910874324.0A CN201910874324A CN110727796B CN 110727796 B CN110727796 B CN 110727796B CN 201910874324 A CN201910874324 A CN 201910874324A CN 110727796 B CN110727796 B CN 110727796B
Authority
CN
China
Prior art keywords
sentence
word
vector
feature
difficulty
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910874324.0A
Other languages
English (en)
Other versions
CN110727796A (zh
Inventor
马千里
陈海斌
田帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910874324.0A priority Critical patent/CN110727796B/zh
Publication of CN110727796A publication Critical patent/CN110727796A/zh
Application granted granted Critical
Publication of CN110727796B publication Critical patent/CN110727796B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3343—Query execution using phonetics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种面向分级读物的多尺度难度向量分类方法，该分类方法首先构造词语搭配特征、上下文特征、主题特征等丰富了特征表示，结合之前研究中效果最突出的特征，获得一个轻量、全面的句子难度向量，再输入到分类器如梯度提升树(GBDT)中，在教育分级读物语料、通用语料上达到很好的效果。该发明简化了特征表示，只需要21个向量就能体现句子难度，引入了多尺度特征丰富了难度特征表示，增强了模型泛化性；结合新使用的上下文信息构建了对句子级别和文章级别都适用的难度向量表示系统，在句子级别和文章级别的两个数据集都获得了较好的效果；分类器使用梯度提升树，训练速度快，可以获得特征重要性排序。

Description

面向分级读物的多尺度难度向量分类方法
技术领域
本发明涉及自然语言处理中的明确性分析技术领域，具体涉及一种面向分级读物的多尺度难度向量分类方法。
背景技术
难度向量分类的任务是，给定一篇文本，通过对文本进行分析，给出该文本的难度值或判断该文本适合哪一水平的读者。应用在教育领域，可以为分级语料和课本素材的选取提供参考依据，对句子的理解难度、复杂性有定量的度量。在通用文本领域如新闻文本，也可对新闻阅读难度、专业性做分析。本难度向量可对文本的理解难度、复杂性做一个较为准确的度量,为句子简化和提炼提供重要的依据，同时也为教育领域分级语料的挑选提供参考。在如今自然语言处理的不断发展下，句子难度分析也有着重要的实践和应用价值。
在难度向量的特征提取方面，国内外使用的模型任务可分为基于可读性公式、基于分类、基于排序的方法。可读性公式综合特定文本因素输出文本难度分数，目前主要作为机器学习分类的特征之一。基于分类与排序的方法所使用的特征，主要可分为词汇特征与句法特征。在文献“Annie Louis and Ani Nenkova，“Automatic identification ofgeneral and specific sentences by leveraging discourse annotations.”，InProceedings of International Joint Conference on Natural Language Processing(IJCNLP).pp.605–613,2011”中，Louis等人首先提出了句子明确性分类问题，考虑了句子长度，词语极性，词性等基础特征应用在WSJ新闻语料库分类上。在文献“Jorge AlbertoWagner Filho，Rodrigo Wilkens and Aline Villavicencio.“Automatic Constructionof Large Readability Corpora”，in Proceedings of the Workshop on ComputationalLinguistics for Linguistic Complexity(CL4LC).pp.164–173,2016”中，Junyi JessyLi等人在原先基础上通过引入词聚类，TF-IDF数值为出现次数较少的单词提供了更多信息，提升了泛化性，并使用半监督方法扩充了语料，开源了speciteller项目。Jorge等人扩充了难度特征个数达到89个，包括词语音节数、句法树等其他语言学特征。这些词语特征反映了词语的复杂程度，句法特征反映了句法使用的复杂程度。在构造完句子的特征表示后，使用机器学习分类器如决策树、神经网络等进行分类。在已有的中文专利方面“范舟，白彬，袁敦龙，钱登胜，余夏婷，陈遥.一种评估文本难度的方法[P].中国发明专利，CN105068993A，2015-11-18”中，范舟等人结合统计学原理和中文汉字特点进行了文本难度评估，但其所使用的可读性公式只包含统计特征的线性和对数值的组合，缺乏对文本语义的挖掘，而本专利的研究过程中，发明人在统计语言学特征的基础上融入了句子结构、语义、句义等的多尺度语义的难度衡量信息，解决了教育分级读物和新闻文本分类的需求。目前该领域存在的问题是，为了获得丰富的句子特征，构造特征、模型学习需要花费较多的时间，使用的特征大多局限于词汇与句法级别，对句子信息的提取不够全面。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种面向分级读物的多尺度难度向量分类方法，该分类方法首先构造词语搭配特征、上下文特征、主题特征等丰富了特征表示，结合之前研究中效果最突出的特征，获得一个轻量、全面的句子难度向量，再输入到分类器如梯度提升树(GBDT)中，可以在教育分级读物语料、通用语料上达到很好的效果。
与现有技术相比，本发明侧重于提取轻量、全面的句子难度向量，使用机器学习方法拟合已有的分类数据，从而具有更好的泛化性和准确性，且对于不同语言均适用。
本发明的目的可以通过采取如下技术方案达到：
一种面向分级读物的多尺度难度向量分类方法，该方法包括以下步骤：
S1、预先对web html文本格式的原始文本数据进行清洗，再进行分句，分类每一个样本；
S2、将文本切分为句子s＝(s1,s2,…sT)(T为分句后的句子数量)，每个句子切分为词w＝(w1,w2,…ws)(S为每个句子的词语数量)；
S3、将文本句子输入到特征提取器m1中，特征提取器m1提取先前研究提出的特征中12个效果上最为显著的基础词法特征向量和句法特征(词频(出现频次)、音节数(发音时的音节数)、单词字符个数、词极性(情感词典分数)、IDF值(逆文档概率)、词向量(Word2vec向量)、词聚类(词向量的聚类标签)、单词含义个数、句子长度、特殊符号个数(标点、数字等)、停用词个数、句子中特性词个数(名词、形容词、动词、连词))，将以上基础特征中的词法特征向量求和并用句子长度做归一化得到第一词法特征向量ew，与以上基础特征中的第一句法特征es拼接，得到每个句子的基础特征表示
Figure GDA0002668869610000031
为特征向量，上标为向量维度；
S4、将文本句子输入到特征提取器m2中，特征提取器m2提取本专利新提出来的6个特征：句子困惑度(度量一个概率分布或概率模型预测样本的好坏程度)、句子主题类型(通过主题模型隐含狄利克雷分布获得)、词语学会年龄(人学会该单词的平均年龄)、句法树宽度(依存句法分析树的宽度)、前后句子相似度(前后句词向量的余弦相似度)、前后句子使用词汇的重叠度，将以上的词法特征向量求和并用句子长度做归一化得到第二词法特征向量ew，与第二句法特征es拼接，得到每个句子的多尺度特征表示
Figure GDA0002668869610000041
S5、将句子的基础特征表示
Figure GDA0002668869610000042
和多尺度特征表示
Figure GDA0002668869610000043
拼接起来，获得句子最终的特征表示
Figure GDA0002668869610000044
S6、将特征表示输入梯度提升树(GBDT)(梯度提升树是用于回归和分类问题的机器学习技术，其以弱预测模型(通常是决策树)的集合的形式产生预测模型)中，根据模型输出结果和训练数据真实结果训练模型，利用训练好的模型在测试数据上得到最终结果的准确率accuracy值，并计算特征重要性排序。
进一步地，所述的步骤S3中，将句子中每个词的词法特征向量求和并用句子长度做归一化得到第一词法特征向量ew的过程如下：
遍历每一个单词，获取每一个单词的以下信息：词频(出现频次)、音节数(发音时的音节数)、单词字符个数、词极性(情感词典分数)、IDF值(逆文档概率)、词向量(Word2vec向量)、词聚类(词向量的聚类标签)、单词含义个数，将以上信息求和并用句子长度做归一化得到第一词法特征向量ew。
进一步地，所述的步骤S3中，第一句法特征es的获取过程如下：
遍历每一个句子，统计以下信息：句子长度、特殊符号个数(标点、数字等)、停用词个数、句子中特性词个数(名词、形容词、动词、连词)，获得第一句法特征es。
进一步地，所述的步骤S3中，部分特征(词频(出现频次)、单词字符个数、词极性(情感词典分数)、IDF值(逆文档概率)、词聚类(词向量的聚类标签)、特殊符号个数(标点、数字等)、停用词个数))使用工具speciteller获取，单词相关特征单词含义个数、单词音节数使用NLTK库获取，句法相关特征句子中特性词个数使用spaCy包获取。
进一步地，所述的步骤S4中，使用在英国国家语料库(British National Corpus)上预训练的SRILM工具(语言模型训练工具)产生每个句子的句子困惑度，衡量每一个N-gram窗口(句子中连续的N个单词)搭配在语言模型中的困惑程度。困惑度体现了词语搭配的好坏程度。
遍历每一个单词，通过外部词典获取词语学会年龄，求和并用句子长度做归一化得到第二词法特征向量ew。词语学会年龄体现为越晚学会的单词会相对复杂。
遍历每一个句子，统计以下信息：词语学会年龄(人学会该单词的平均年龄，通过外部词典获得)、句子困惑度(N-gram窗口搭配的好坏程度，通过SRILM工具获得)、句法树宽度(构建的依存句法分析树的宽度，通过spaCy包获得)、前后句子相似度(词向量余弦相似度)、前后句子使用词汇的重叠度、句子主题模型(通过隐含狄利克雷分布获得)，获得第二句法特征es。
其中句法树宽度体现了句法结构的复杂程度。前后句子相似度和前后句子用词重叠度是引入了上下文信息。句子主题模型体现在若语料库中包含不同话题和风格的文章会影响难度向量，如Louis等人曾提到新闻类文章总体为写得更加笼统，难度相对简单。
进一步地，所述的步骤S5中，句子的基础特征表示
Figure GDA0002668869610000051
和多尺度特征表示
Figure GDA0002668869610000052
通过同时遍历句子、遍历单词获得。
进一步地，所述的步骤S6中，将向量输入到分类器梯度提升树(GBDT)中，训练模型后获取准确率，并且计算每个特征对节点分裂的收益，节点分裂时收益越大，该节点对应的特征的重要度越高。通过计算特征重要性排序，可以获得每个难度特征对模型的重要程度，也可以根据语料情况进行动态调整。
本发明相对于现有技术具有如下的优点及效果：
本发明公开的面向分级读物的多尺度难度向量分类方法，简化了特征表示，只需要21个向量就能体现句子难度，引入了多尺度特征丰富了难度特征表示，增强了模型泛化性；结合新使用的上下文信息构建了对句子级别和文章级别都适用的难度向量表示系统，在句子级别和文章级别的两个数据集都获得了较好的效果；分类器使用梯度提升树，训练速度快，可以获得特征重要性排序。
附图说明
图1是本发明公开的面向分级读物的多尺度难度向量分类方法的流程图；
图2是本发明公开的面向分级读物的多尺度难度向量分类方法的概要图；
图3是特征重要性示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
图1是本发明的流程图，如图1所示，本实施例公开的一种面向分级读物的多尺度难度向量分类方法包括以下步骤：数据清洗、分句，分词、提取单词级别特征，提取句子级别特征，提取多尺度特征、拼接、GBDT模型训练、特征重要性分析，具体如下：
T1、预先对web html文本格式的原始文本数据进行清洗，再进行分句，分类每一个样本。中文语句可以用jieba工具进行分词，但不限于此。在这里以英文数据为例，如图2下方分句与分词层的句子缩写“And it was...said”所示将句子“<p>‘And it was only10rubles for all this,’she said.‘I'm taking it back for the girls at thefactory to try.’<p>”去除html标签后切分为两个句子“‘And it was only 10rublesfor all this,’she said.”和“I'm taking it back for the girls at the factory totry.”，句子内再进行分词，如第一句可分为该句的词语列表：[And，it,was,only,10,rubles,for,all,this,she,said]，对应图2下方分句与分词层，每一个矩形表示每一个词语。
T2、遍历句子s＝(s1,s2,…sT)中的每个单词w＝(w1,w2,…wT)，获取基础特征和多尺度特征中单词级别的属性。以第一句“‘And it was only10rubles for all this,’shesaid.”为例，其中部分特征使用工具speciteller获取，该句的复杂度得分是0.11(0到1)，单词相关特征使用NLTK库获取，如词频累计值为4.00，单词平均含义数为3.91，单词平均音节数为1.00，获取单词级别属性ew[0.11,4.00,3.91,1.00...]，对应图2特征提取层左侧词法特征向量矩形和右侧多尺度特征矩形的一部分。
T3、遍历样本中的每个句子s＝(s1,s2,…sT)，获取基础特征和多尺度特征中词语搭配级别、句子级别、主题级别的属性。以新提出的特征为例：通过SRILM工具产生示例句子的句子困惑度为85，主题模型超参数主题个数为3的情况下产生的主题向量为[0.08,0.82,0.08]，句法树宽度为0.45，前后句子词汇重叠度为2，前后句子词向量的余弦相似度为0.93，由此获得句法特征es，对应图2特征提取层中间的句法特征矩形和右侧多尺度特征矩形除词语多尺度特征外的剩余部分。
T4、将词法特征向量ew和句法特征es拼接起来，得到难度向量
Figure GDA0002668869610000071
对应图2拼接层中连接起来的特征矩形。
表1.WSJ+AP+NYT新闻语料中句子明确性分类的准确率
Figure GDA0002668869610000072
Figure GDA0002668869610000081
表2.wikibooks语料中文章明确性分类的准确率
作者+难度特征数(个) 准确率(％)
Jorge+89个 75.00
本专利+21个 81.48
表3.WSJ+AP+NYT新闻语料多尺度消融实验
难度特征 准确率(％)
本专利提出的模型 87.15
去掉词语学会年龄特征 86.03
去掉句法树宽度特征 86.15
去掉句子困惑度特征 86.59
去掉主题模型特征 87.15
表4.wikibooks语料多尺度消融实验
Figure GDA0002668869610000082
T5、将难度向量
Figure GDA0002668869610000091
和难度标签输入梯度提升树(GBDT)中训练，获取最佳模型，计算模型在测试集上分类准确率，对应图2中模型训练与分类层中的GBDT分类器。在本具体实施方式中选取的语料库，分类任务为区分句子为general(通用性文本)或specific(包含较难理解的信息)，所使用的训练语料为WSJ+AP+NYT新闻语料句子明确性分类和wikibooks语料文章明确性分类。在表1中，在句子明确性分类任务中本专利使用21个难度特征在训练后的准确率达到了87.15％，超过了现有的技术。在表2中，在文章明确性分类任务中本专利使用21个难度特征在训练后的准确率达到了87.15％，同样得到了最佳结果81.48％，可见本专利提出的方法能较好地提取句子难度和文章难度。表3和表4为明确性分类任务的多尺度消融实验，在本专利模型的基础上去掉不同多尺度特征，准确率都有不同程度的下降，说明本专利新提出的多尺度特征对准确率都有一定的贡献。上述例句“<p>‘And it was only10rubles for all this,’she said.‘I'm taking it back for the girls at thefactory to try.’<p>”的分类标签为general，即难度较低，可作为较低年级的分类读物选择。而例句“<p>Thousands of queue-hardened Soviets on Wednesday cheerfullylined up to get a taste of‘gamburgers’,‘chizburgers’and‘Filay-o-feesh’sandwiches as McDonald's opened in the land of Lenin for the first time.<p>”的分类标签为specific，即理解难度较高，可作为较高年级的分类读物选择。
T6、计算特征重要性排序，可以获得每个难度特征对模型的重要程度，也可以根据语料情况进行动态调整。以上述语料集为例，重要的特征包括speciteller工具输出得分、词语频次、句子长度、词语平均音节数等。
综上所述，本实施例提出的多尺度难度向量提取方法先构造了词语搭配特征，上下文特征，主题特征等丰富了特征表示，结合之前研究中效果最突出的特征，获得一个轻量、全面的句子难度向量，再输入到分类器如梯度提升树(GBDT)中，可以在教育分级读物语料、通用语料上达到很好的效果。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种面向分级读物的多尺度难度向量分类方法，其特征在于，所述的分类方法包括以下步骤：
S1、预先对web html文本格式的原始文本数据进行清洗，再进行分句，分类每一个样本；
S2、将文本切分为句子s＝(s1,s2,…sT)，T为分句后的句子数量，每个句子切分为词w＝(w1,w2,…wS)，S为每个句子的词语数量；
S3、将文本句子输入到特征提取器m1中，特征提取器m1提取12个效果最为显著的基础词法特征向量和句法特征，该词法特征向量包括用于表示出现频次的词频、音节数、单词字符个数、用于表示情感词典分数的词极性、用于表示逆文档概率的IDF值、用于表示Word2vec向量的词向量、用于表示词向量的聚类标签的词聚类、单词含义个数，将以上词法特征向量求和并用句子长度做归一化得到第一词法特征向量ew；该句法特征包括句子长度、特殊符号个数、停用词个数、句子中特性词个数，将以上句法特征拼接得到第一句法特征es，第一词法特征向量ew和第一句法特征es拼接得到每个句子的基础特征表示
Figure FDA0002668869600000011
Figure FDA0002668869600000012
为特征向量，上标为向量维度；
S4、将文本句子输入到特征提取器m2中，特征提取器m2提取6个词法特征向量，包括：用于度量一个概率分布或概率模型预测样本的好坏程度的句子困惑度、通过主题模型隐含狄利克雷分布获得的句子主题类型、用于表示人学会该单词的平均年龄的词语学会年龄、用于体现句法结构的复杂程度的句法树宽度、用于表示前后句词向量的余弦相似度的前后句子相似度、前后句子使用词汇的重叠度，将以上的词法特征向量求和并用句子长度做归一化得到第二词法特征向量ew，与第二句法特征es拼接，得到每个句子的多尺度特征表示
Figure FDA0002668869600000013
S5、将句子的基础特征表示
Figure FDA0002668869600000021
和多尺度特征表示
Figure FDA0002668869600000022
拼接起来，获得句子最终的特征表示
Figure FDA0002668869600000023
S6、将特征表示
Figure FDA0002668869600000024
输入梯度提升树模型中，其中梯度提升树模型是用于回归和分类问题的机器学习技术，其以弱预测模型的集合的形式产生预测模型，根据梯度提升树模型输出结果和训练数据真实结果训练梯度提升树模型，利用训练好的模型在测试数据上得到最终结果的准确率accuracy值，并计算特征重要性排序。
2.根据权利要求1所述的面向分级读物的多尺度难度向量分类方法，其特征在于，所述的步骤S3中，将句子中每个词的词法特征向量求和并用句子长度做归一化得到第一词法特征向量ew的过程如下：
遍历每一个单词，获取每一个单词的以下信息：词频、音节数、单词字符个数、词极性、IDF值、词向量、词聚类、单词含义个数，将以上信息求和并用句子长度做归一化得到第一词法特征向量ew。
3.根据权利要求1所述的面向分级读物的多尺度难度向量分类方法，其特征在于，所述的步骤S3中，第一句法特征es的获取过程如下：
遍历每一个句子，统计以下信息：句子长度、特殊符号个数、停用词个数、句子中特性词个数，获得第一句法特征es。
4.根据权利要求1所述的面向分级读物的多尺度难度向量分类方法，其特征在于，所述的步骤S3中，使用工具speciteller获取词频、单词字符个数、用于表示情感词典分数的词极性、IDF值、词聚类、特殊符号个数、停用词个数，使用NLTK库获取单词相关特征，所述的取单词相关特征包括单词含义个数、单词音节数；使用spaCy包获取句法相关特征，所述的句法相关特征包括句子中特性词个数。
5.根据权利要求1所述的面向分级读物的多尺度难度向量分类方法，其特征在于，所述的步骤S4中，使用在英国国家语料库上预训练的SRILM工具作为语言模型训练工具产生每个句子的句子困惑度，衡量每一个N-gram窗口搭配在语言模型中的困惑程度，其中N-gram窗口指句子中连续的N个单词；
遍历每一个单词，通过外部词典获取词语学会年龄，求和并用句子长度做归一化得到第二词法特征向量ew；
遍历每一个句子，统计以下信息：词语学会年龄、句子困惑度、句法树宽度、前后句子相似度、前后句子使用词汇的重叠度、句子主题模型，获得第二句法特征es。
6.根据权利要求1所述的面向分级读物的多尺度难度向量分类方法，其特征在于，所述的步骤S5中，句子的基础特征表示
Figure FDA0002668869600000031
和多尺度特征表示
Figure FDA0002668869600000032
通过同时遍历句子、遍历单词获得。
CN201910874324.0A 2019-09-17 2019-09-17 面向分级读物的多尺度难度向量分类方法 Active CN110727796B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910874324.0A CN110727796B (zh) 2019-09-17 2019-09-17 面向分级读物的多尺度难度向量分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910874324.0A CN110727796B (zh) 2019-09-17 2019-09-17 面向分级读物的多尺度难度向量分类方法

Publications (2)

Publication Number Publication Date
CN110727796A CN110727796A (zh) 2020-01-24
CN110727796B true CN110727796B (zh) 2020-12-22

Family

ID=69218992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910874324.0A Active CN110727796B (zh) 2019-09-17 2019-09-17 面向分级读物的多尺度难度向量分类方法

Country Status (1)

Country Link
CN (1) CN110727796B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581396B (zh) * 2020-05-06 2023-03-31 西安交通大学 一种基于多维特征融合与依存句法的事件图谱构建系统及方法
US20220138422A1 (en) * 2020-10-30 2022-05-05 Microsoft Technology Licensing, Llc Determining lexical difficulty in textual content
CN112612889B (zh) * 2020-12-28 2021-10-29 中科院计算技术研究所大数据研究院 一种多语种文献分类方法、装置及存储介质
CN112632386A (zh) * 2020-12-29 2021-04-09 广州视源电子科技股份有限公司 诗词推荐方法、装置、设备及存储介质
CN113343690B (zh) * 2021-06-22 2024-03-12 北京语言大学 一种文本可读性自动评估方法及装置
CN113761898A (zh) * 2021-08-30 2021-12-07 杭州菲助科技有限公司 将英文视频或文本难度对标至国内1-9年级的方法和系统
US11556183B1 (en) 2021-09-30 2023-01-17 Microsoft Technology Licensing, Llc Techniques for generating data for an intelligent gesture detector
CN114120060A (zh) * 2021-11-25 2022-03-01 海信集团控股股份有限公司 图书分级方法及设备
CN115687617B (zh) * 2022-10-14 2023-10-27 荣耀终端有限公司 一种数据处理方法和数据处理装置
CN118013053A (zh) * 2024-04-08 2024-05-10 深圳市规划和自然资源数据管理中心(深圳市空间地理信息中心) 一种改进的三维文本分析系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1673996A (zh) * 2004-03-24 2005-09-28 无敌科技股份有限公司 一种识别语言文本难易度的系统及其方法
CN106127397A (zh) * 2016-06-30 2016-11-16 成都生辉电子科技有限公司 一种信息分类分级处理方法
CN107506346A (zh) * 2017-07-10 2017-12-22 北京享阅教育科技有限公司 一种基于机器学习的中文阅读难度分级方法及系统
CN107977449A (zh) * 2017-12-14 2018-05-01 广东外语外贸大学 一种用于简体中文可读性测度的线性模型方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11080304B2 (en) * 2017-11-29 2021-08-03 International Business Machines Corporation Feature vector profile generation for interviews

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1673996A (zh) * 2004-03-24 2005-09-28 无敌科技股份有限公司 一种识别语言文本难易度的系统及其方法
CN106127397A (zh) * 2016-06-30 2016-11-16 成都生辉电子科技有限公司 一种信息分类分级处理方法
CN107506346A (zh) * 2017-07-10 2017-12-22 北京享阅教育科技有限公司 一种基于机器学习的中文阅读难度分级方法及系统
CN107977449A (zh) * 2017-12-14 2018-05-01 广东外语外贸大学 一种用于简体中文可读性测度的线性模型方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
通过词表覆盖率评测法语文本难度的方法;刘潇;《理论月刊》;20171231;第68-74页 *

Also Published As

Publication number Publication date
CN110727796A (zh) 2020-01-24

Similar Documents

Publication Publication Date Title
CN110727796B (zh) 面向分级读物的多尺度难度向量分类方法
Banko et al. Mitigating the paucity-of-data problem: Exploring the effect of training corpus size on classifier performance for natural language processing
US8131539B2 (en) Search-based word segmentation method and device for language without word boundary tag
Broda et al. Measuring Readability of Polish Texts: Baseline Experiments.
Zeroual et al. A new Quranic Corpus rich in morphosyntactical information
Mohammed Using machine learning to build POS tagger for under-resourced language: the case of Somali
KR102188739B1 (ko) 감정 온톨로지에 기반을 둔 이모티콘 추천 장치 및 방법
Alhindi et al. " Sharks are not the threat humans are": Argument Component Segmentation in School Student Essays
CN111832281A (zh) 作文评分方法、装置、计算机设备及计算机可读存储介质
Utomo et al. Text classification of british english and American english using support vector machine
Hsiao et al. The nature and frequency of relative clauses in the language children hear and the language children read: A developmental cross-corpus analysis of English complex grammar
Čermáková et al. Expressing place in children’s literature
Imperial et al. Application of Lexical Features Towards Improvement of Filipino Readability Identification of Children's Literature
Hao et al. SCESS: a WFSA-based automated simplified chinese essay scoring system with incremental latent semantic analysis
Sheng et al. Chinese prosodic phrasing with extended features
Alqrainy A morphological-syntactical analysis approach for Arabic textual tagging
Akinlotan A corpus-based study of the structure of the noun phrase in Nigerian English
Trye et al. A hybrid architecture for labelling bilingual māori-english tweets
Hrytsiv et al. Corpus Technologies in Translation Studies: Fiction as Document.
CN113569560A (zh) 一种汉语二语作文自动评分方法
Luong et al. Building a corpus for vietnamese text readability assessment in the literature domain
Amanov TEXT UNIT ANALYSIS IN TURKIC LANGUAGE FAMILY
McCauley et al. Multiword Units Predict Non-inversion Errors in Children's Wh-questions:" What Corpus Data Can Tell Us?".
Hasegawa-Johnson et al. Arabic speech and language technology
Luong et al. Assessing vietnamese text readability using multi-level linguistic features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant