CN107977449A - 一种用于简体中文可读性测度的线性模型方法 - Google Patents

一种用于简体中文可读性测度的线性模型方法 Download PDF

Info

Publication number
CN107977449A
CN107977449A CN201711335437.0A CN201711335437A CN107977449A CN 107977449 A CN107977449 A CN 107977449A CN 201711335437 A CN201711335437 A CN 201711335437A CN 107977449 A CN107977449 A CN 107977449A
Authority
CN
China
Prior art keywords
feature
document
word
accounting
sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711335437.0A
Other languages
English (en)
Inventor
丘心颖
邓可斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Foreign Studies
Original Assignee
Guangdong University of Foreign Studies
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Foreign Studies filed Critical Guangdong University of Foreign Studies
Priority to CN201711335437.0A priority Critical patent/CN107977449A/zh
Publication of CN107977449A publication Critical patent/CN107977449A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种用于简体中文可读性测度的线性模型方法，步骤包括：构建简体中文文本及其可读性级别语料库；对文本进行预处理，包括分词、分句、词性标注、命名实体识别、成分句法分析、依存句法分析、子句标注、笔画统计；提取并计算文本语言特征；依据语言特征和回归算法构建最佳特征组合；构建可读性测度的线性回归模型。该模型所采用的文本语言特征涵盖浅层特征、词性标注特征(亦称为语义或词法特征)、语法特征、和篇章特征等四个方面，可以自动预测简体汉语文本对于汉语母语学习者的可读性等级，填补了基于简体汉语文本的可读性预测模型的空白。该模型拟合度高，可解释性强，并且对于评测应用文本的可读性具有可扩展性和重要参考价值。

Description

一种用于简体中文可读性测度的线性模型方法
技术领域
本发明涉及可读性测度技术领域，具体涉及一种用于简体中文的可读性测度的线性模型方法。
背景技术
语言复杂性(linguistic complexity)是多维度跨学科的学术概念，可以从自然语言处理、二语习得、心理语言学、认知学、和对比语言学等角度研究。语言复杂性的界定可以从两个方面展开：严格意义的语言复杂性，即语言结构复杂性研究，多用于跨语言比较研究和作文自动评分；相对意义的语言复杂性研究，例如可读性、语言难度、认知成本等，多用于服务于语言学习和文本理解的应用研究。本项目研究相对意义的语言复杂性，即文本的可读性或易读性(readability)。可读性指标的研究多集中于英语(Gunning 1969；Feng etal.2010)、法语(Todirascu et al.2016)、瑞典语(Pilan et al.2016)、日语(Sato 2008)等语种的研究。可读性评价方法旨在发现影响文本阅读难度的语言特征，或者基于有效特征构建数学公式或者模型来表示文本的语言难度或者理解难度。
与其他语种相比，对于汉语文本的可读性研究相对较少，并且以繁体汉字和文本为研究数据。汉字是汉语的书写符号系统，是一种表意文字，与拼音文字差别巨大。Yang(1970)是少数较早研究汉语可读性指标并较多被其他学者应用于特定领域的研究成果。Yang定义了7因素和3因素两种可读性指标，包含的汉语特征包括：完整句比例、基础词汇比例、平均笔画数等。Su和Samuels(2010)从汉字构成的角度(如偏旁部首、字词结构等)研究不同汉字特征对于不同阶段汉语学习者的学习效果的影响。Sung et al.(2015)构建了一个符合CEFR(欧洲共同语言教学与评价参考框架)标准的中文可读性评价系统，用于自动判断汉语教学文本的语言难度等级。值得注意的是以上研究所采用的实验数据或研究对象均为繁体字或繁体汉语文本。少数国内学者针对汉语二语学习文本的可读性测定研究，从语言特征分析、变量计算、和公式草创等方面做出了有意义和有成效的探索(王蕾2005；杨金余2008；郭望皓2009；左虹&朱勇2014)。但仍然存在许多不足，例如研究数据的规模非常小(比如二三十篇文章或者几十个句子)，针对性过强(比如面向个别语种的留学生)，变量选择主观性较强(比如省略自动化学习的变量)，实证检验不充分(比如缺乏拟合优度检验)，各种测度公式之间在变量类别的具体设计方面也差异较大。与其他语种可读性研究的丰富性和系统性相比，基于较大规模简体字文本和计算语言学技术的中文可读性指标实证研究尚未全面系统地展开。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种用于简体中文可读性测度的线性模型方法。
本发明的目的可以通过采取如下技术方案达到：
一种用于简体中文可读性测度的线性模型方法，所述的方法包括下列步骤：
S1、构建简体中文文本及其可读性级别语料库；
S2、对语料库文本进行预处理，包括分词、分句、词性标注、命名实体识别、成分句法分析、依存句法分析、子句标注、和/或笔画统计；
S3、提取并计算文本语言特征；
S4、依据语言特征和回归算法构建最佳特征组合；
S5、构建可读性测度的线性回归模型。
进一步地，所述的文本语言特征的特征类别包括：浅层特征、词性标注特征、语法特征和/或篇章特征，
其中，所述的浅层特征包括字的复杂度特征、词的复杂度特征、句子复杂度特征和/或文本长度特征，所述的字的复杂度特征包括：特征1.文档最常用字的占比、特征2.文档次常用字的占比、特征3.文档总常用字的占比、特征4.低笔画占比、特征5.中笔画占比、特征6.高笔画占比和/或特征7.平均笔画数；所述的词的复杂度特征包括：特征8.不去重时文档的词汇平均字数、特征9.去重时文档的词汇平均字数、特征10.文档的两字词语的个数、特征11.文档的两字词语在总词数的占比、特征12.文档的三字词语的个数、特征13.文档的三字词语在总词数的占比、特征14.文档的四字词语的个数、特征15.文档的四字词语在总词数的占比、特征16.文档的四字以上词语的个数和/或特征17.文档的四字以上词语在总词数的占比；所述的句子复杂度特征包括特征18.单句的平均多字词语的个数、特征19.单句的平均词数、特征20.仅针对汉字的单句的平均字数和/或特征21.针对所有字符的句子的平均字数；所述的文本长度特征包括特征包括：22.文档的汉字总字数和/或特征23.针对所有字符的文档的总字符数；
其中，所述的词性标注特征包括形容词特征、功能词特征、动词特征、名词特征、实词特征、习语/成语特征和/或副词特征，
所述的形容词特征包括特征24.文档的形容词在总词数的占比、特征25.文档的唯一的形容词在去重后总词数的占比、特征26.文档的唯一形容词个数、特征27.单句平均形容词个数和/或特征28.单句平均唯一形容词个数；
所述的功能词特征包括特征29.文档的功能词在总词数的占比、特征30.文档的唯一的功能词在去重后总词数的占比、特征31.文档的唯一功能词个数、特征32.文档的单句平均功能词个数和/或特征33、单句平均唯一功能词个数；
所述的动词特征包括特征34.文档的动词在总词数的占比、特征35.文档的唯一动词个数、特征36.文档的唯一动词在去重后总词数的占比、特征37.单句平均动词个数和/或特征38.单句平均唯一动词个数；
所述的名词特征包括特征39.文档的普通名词占比、特征40.文档的唯一普通名词个数、特征41.文档的唯一普通名词在去重后总词数的占比、特征42.单句平均普通名词个数、特征43.单句平均唯一普通名词个数、特征44.文档的所有名词在总词数的占比、特征45.文档的唯一所有名词个数、特征46.文档的唯一所有名词在去重后总词数的占比、特征47.单句平均所有名词个数和/或特征48.单句平均唯一所有名词个数；
所述的实词特征包括特征49.文档的实词在总词数的占比、特征50.文档的唯一实词个数、特征51.文档的唯一实词在去重后总词数的占比、特征52.单句平均实词个数和/或特征53.单句平均唯一实词个数；
所述的习语/成语特征包括特征54.文档的习语在总词数的占比、特征55.文档的唯一习语个数、特征56.文档的唯一习语在去重后总词数的占比、特征57.单句平均习语个数和/或特征58.单句平均唯一习语个数；
所述的副词特征包括特征59.文档的副词在总词数的占比、特征60.文档的唯一副词个数、特征61.文档的唯一副词在去重后总词数的占比、特征62.单句平均副词个数和/或特征63.单句平均唯一副词个数；
所述的语法特征包括词组特征、子句特征和/或完整句特征，
其中，所述的词组特征包括特征64.单句平均名词短语个数、特征65.单句平均动词短语个数、特征66.文档的名词短语总数、特征67.文档的动词短语总数、特征68.文档的介词短语总数、特征69.文档的名词短语的平均长度、特征70.文档的动词短语的平均长度和/或特征71.文档的介词短语的平均长度；
所述的子句特征包括特征72.文档的含有子句的句子的个数、特征73.文档的不含有子句的句子占句子总数的占比和/或特征74.文档的句子的平均子句个数；
所述的完整句特征包括特征75.文档完整句句子数和/或特征76.文档完整句平均句法树高度；
所述的篇章特征包括实体密度特征和/或篇章连贯性特征，
其中，所述的实体密度特征包括特征77.文档的实体词总数、特征78.文档的唯一实体词总数、特征79.文档的实体词在文档总词数的占比、特征80.文档的唯一实体词在文档总单词数量的占比、特征81.文档的单句平均实体词数量、特征82.文档的单句平均唯一实体词数量、特征83.文档的命名实体词在文档总词数的占比、特征84.文档的单句平均命名实体词数量、特征85.文档的命名实体词在文档总实体词的占比、特征86.文档的普通名词在总词数的占比、特征87.文档的非命名实体名词在总词数的占比、特征88.文档的单句平均普通名词数量、特征89.文档的单句非命名实体词的数量和/或特征90.文档的单句平均非实体词数量；
其中，所述的篇章连贯性特征包括特征91.文档的连词在总词数的占比、特征92.文档的唯一连词个数、特征93.文档的唯一连词在去重后总词数的占比、特征94.单句平均连词个数、特征95.单句平均唯一连词个数、特征96.文档的代词在总词数的占比、特征97.文档的唯一代词个数、特征98.文档的唯一代词在去重后总词数的占比、特征99.单句平均代词个数和/或特征100.单句平均唯一代词个数。
进一步地，所述的线性回归模型为基于18个显著特征的可读性测度线性回归模型或基于22个显著特征的可读性测度线性回归模型，具体如下：
(1)基于18个显著特征的可读性测度线性回归模型，如下：
y＝-7.9291+1.2441x1+0.0408x2+1.7763x3+0.7466x4-29.5241x5+0.1073x6+3.7729x7
-0.5338x8-0.0677x9+36.4785x10+1.533x11-7.7032x12+6.2422x13
-5.9512x14-0.3011x15-0.3609x16+0.3473x17+1.4679x18
其中：
X1:文档的单句平均唯一实体词数量；
X2：文档的介词短语的平均长度；
X3：文档的不含有子句的句子占句子总数的占比；
X4：文档的句子的平均子句个数；
X5:文档的唯一的功能词在去重后总词数的占比；
X6：文档的唯一功能词个数；
X7：文档的唯一普通名词在去重后总词数的占比；
X8：单句平均唯一普通名词个数；
X9:文档的唯一连词个数；
X10：文档的唯一连词在去重后总词数的占比；
X11：单句平均连词个数；
X12：不去重时文档的词汇平均字数；
X13：去重时文档的词汇平均字数；
X14:文档的三字词语在总词数的占比；
X15：单句的平均多字词语的个数；
X16：句子的平均词数；
X17:句子的平均字数；
X18:文档的平均笔画数；
(2)基于22个显著特征的可读性测度线性回归模型，如下：
y＝-8.9283+1.1216Y1-0.0083Y2+0.0531Y3+1.6339Y4+0.7545Y5-2.0576Y6-27.6036Y7+0.0826Y8+3.8044Y9-0.5288Y10-0.0672Y11+37.7010Y12+1.6960Y13-7.2546Y14+5.8566Y15-6.1643Y16-0.2996Y17-0.3681Y18+0.3550Y19-0.0024Y20+0.0023Y21+1.611Y22；
其中：
Y1:文档的单句平均唯一实体词数量；
Y2:文档平均句法树高度；
Y3:文档的介词短语的平均长度；
Y4:文档的不含有子句的句子占句子总数的占比；
Y5:文档的句子的平均子句个数；
Y6:文档的形容词在总词数的占比；
Y7:文档的唯一的功能词在去重后总词数的占比；
Y8:文档的唯一功能词个数；
Y9:文档的唯一普通名词在去重后总词数的占比；
Y10:单句平均唯一普通名词个数；
Y11:文档的唯一连词个数；
Y12:文档的唯一连词在去重后总词数的占比；
Y13:单句平均连词个数；
Y14:不去重时文档的词汇平均字数；
Y15:去重时文档的词汇平均字数；
Y16:文档的三字词语在总词数的占比；
Y17:单句的平均多词词语的个数；
Y18:句子的平均词数；
Y19:句子的平均字数；
Y20:文档的汉字总字数；
Y21:针对所有字符的文档的总字符数；
Y22:平均笔画数。
进一步地，所述的特征4、特征5、特征6中的低笔画、中笔画、高笔画定义如下：
低笔画字为笔画数在1到5之间的字；中笔画字为笔画数在6到15之间的字；高笔画字为笔画数在16以上的字；
所述的特征18中的多字词语是指：两个及两个以上字组成的词语。
进一步地，所述的特征29、特征30、特征31、特征32、特征33中的功能词是指：除了实词之外的其他词，即：连词、感叹词、前缀、象声词、后缀、助动词、非词素；
所述的特征39、特征40、特征41、特征42、特征43、特征86、特征88中的普通名词是指：词性标注为名词的词；
所述的特征44、特征45、特征46、特征47、特征48定义中的所有名词是指：普通名词、机构名、地理名、位置名词、方位名词、时间名词、人名、专有名词；
所述的特征49、特征50、特征51、特征52、特征53定义中的实词是指：名词、动词、数词、形容词、副词、习语/成语、缩略语、量词、代词、区别词、状态词、外来词、词素。
进一步地，所述的特征72、特征73、特征74中的子句是指：取消了独立性的单句、或者分句、或者小句；
所述的特征75、特征76中的完整句是指：主谓结构或非主谓结构的单句，以及复句。
进一步地，所述的特征77、特征78、特征79、特征80、特征81、特征82、特征83定义中的实体词是指：机构名、地理名、人名、时间名词、专有名词；
所述的特征83、特征84、特征85中的命名实体词是指：机构名、地理名、人名；
所述的特征87、特征89中的非命名实体词是指：普通名词、时间名词、专有名词、位置名词、方位名词；
所述的特征90中的非实体词是指：普通名词、位置名词、方位名词。
本发明相对于现有技术具有如下的优点及效果：
1)该预测模型涵盖了浅层特征、词性标注特征(亦称为词法或者语义特征)、语法特征、和篇章特征。
2)该预测模型采用来自于被广泛使用的三个出版社的(人民教育出版社、江苏教育出版社、北京师范大学出版社)，涵盖小学、初中、高中共十个年级的义务教育简体汉语课本文本作为训练数据。语料标准并具有权威性。可读性等级具有规范性并被广泛使用。可读性等级分为10级，覆盖面广。是已知首个基于简体汉语文本构建的可读性测度模型。
3)该预测模型拟合度高，简便易行，有较强的可解释性。
4)该预测模型对于评测应用文本的可读性具有较好的可扩展性，适应性，以及重要的指导意义和参考价值。
附图说明
图1是本发明中公开的一种用于简体中文可读性测度的线性模型方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如附图1所示，本实施例公开了一种用于简体中文可读性测度的线性模型方法。包括下列步骤：
S1、构建简体中文文本及其可读性级别语料库；
S2、对语料库文本进行预处理，包括分词、分句、词性标注、命名实体识别、成分句法分析、依存句法分析、子句标注、和/或笔画统计；
S3、提取并计算文本语言特征；
S4、依据语言特征和回归算法构建最佳特征组合；
S5、构建可读性测度的线性回归模型。
其中，文本语言特征具体如下表：
表1.文本语言特征表
上表中，特征4、5、6定义中的低笔画、中笔画、高笔画具体如下：
低笔画字为笔画数在1到5之间的字；中笔画字为笔画数在6到15之间的字；高笔画字为笔画数在16以上的字。
特征18定义中的多词词语是指：两个及两个以上字组成的词语。
特征29、30、31、32、33定义中的功能词是指：除了实词之外的其他词，即：连词、感叹词、前缀、象声词、后缀、助动词、非词素，等。
特征39、40、41、42、43、86、88定义中的普通名词是指：词性标注为名词的词。
特征44、45、46、47、48定义中的所有名词是指：普通名词、机构名、地理名、位置名词、方位名词、时间名词、人名、专有名词。
特征49、50、51、52、53定义中的实词是指：名词、动词、数词、形容词、副词、习语/成语、缩略语、量词、代词、区别词、状态词、外来词、词素。
特征72、73、74定义中的子句是指：取消了独立性的单句、或者分句、或者小句。
特征75、76定义中的完整句是指：主谓结构或非主谓结构的单句，以及复句。
特征77、78、79、80、81、82、83定义中的实体词是指：机构名、地理名、人名、时间名词、专有名词。
特征83、84、85定义中的命名实体词是指：机构名、地理名、人名。
特征87、89定义中的非命名实体词是指：普通名词、时间名词、专有名词、位置名词、方位名词。
特征90定义中的非实体词是指：普通名词、位置名词、方位名词。
其中，所述的线性回归模型为基于18个显著特征的可读性测度线性回归模型或基于22个显著特征的可读性测度线性回归模型，具体如下：
(1)基于18个显著特征的可读性测度线性回归模型如下：
y＝-7.9291+1.2441x1+0.0408x2+1.7763x3+0.7466x4-29.5241x5+0.1073x6+3.7729x7
-0.5338x8-0.0677x9+36.4785x10+1.533x11-7.7032x12+6.2422x13
-5.9512x14-0.3011x15-0.3609x16+0.3473x17+1.4679x18
其中：
X1:文档的单句平均唯一实体词数量；
X2：文档的介词短语的平均长度；
X3：文档的不含有子句的句子占句子总数的占比；
X4：文档的句子的平均子句个数；
X5:文档的唯一的功能词在去重后总词数的占比；
X6：文档的唯一功能词个数；
X7：文档的唯一普通名词在去重后总词数的占比；
X8：单句平均唯一普通名词个数；
X9:文档的唯一连词个数；
X10：文档的唯一连词在去重后总词数的占比；
X11：单句平均连词个数；
X12：文档的词汇平均字数(不去重)；
X13：文档的词汇平均字数(去重)；
X14:文档的三字词语在总词数的占比；
X15：单句的平均多字词语的个数；
X16：句子的平均词数；
X17:句子的平均字数；
X18:文档的平均笔画数。
(2)基于22个显著特征的可读性测度线性回归模型，如下：
y＝-8.9283+1.1216Y1-0.0083Y2+0.0531Y3+1.6339Y4+0.7545Y5-2.0576Y6-27.6036Y7+0.0826Y8+3.8044Y9-0.5288Y10-0.0672Y11+37.7010Y12+1.6960Y13-7.2546Y14+5.8566Y15-6.1643Y16-0.2996Y17-0.3681Y18+0.3550Y19-0.0024Y20+0.0023Y21+1.611Y22；
其中：
Y1:文档的单句平均唯一实体词数量；
Y2:文档平均句法树高度；
Y3:文档的介词短语的平均长度；
Y4:文档的不含有子句的句子占句子总数的占比；
Y5:文档的句子的平均子句个数；
Y6:文档的形容词在总词数的占比；
Y7:文档的唯一的功能词在去重后总词数的占比；
Y8:文档的唯一功能词个数；
Y9:文档的唯一普通名词在去重后总词数的占比；
Y10:单句平均唯一普通名词个数；
Y11:文档的唯一连词个数；
Y12:文档的唯一连词在去重后总词数的占比；
Y13:单句平均连词个数；
Y14:不去重时文档的词汇平均字数；
Y15:去重时文档的词汇平均字数；
Y16:文档的三字词语在总词数的占比；
Y17:单句的平均多词词语的个数；
Y18:句子的平均词数；
Y19:句子的平均字数；
Y20:文档的汉字总字数；
Y21:针对所有字符的文档的总字符数；
Y22:平均笔画数。
综上所述，该预测模型涵盖了浅层特征、词性标注特征(亦称为词法或者语义特征)、语法特征、和篇章特征,并采用来自于被广泛使用的三个出版社的(人民教育出版社、江苏教育出版社、北京师范大学出版社)，涵盖小学、初中、高中共十个年级的义务教育简体汉语课本文本作为训练数据，语料标准并具有权威性。可读性等级具有规范性并被广泛使用。可读性等级分为10级，覆盖面广，是已知首个基于简体汉语文本构建的可读性测度模型。该预测模型拟合度高，简便易行，有较强的可解释性，并且该预测模型对于评测应用文本的可读性具有较好的可扩展性，适应性，以及重要的指导意义和参考价值。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种用于简体中文可读性测度的线性模型方法，其特征在于，所述的方法包括下列步骤：
S1、构建简体中文文本及其可读性级别语料库；
S2、对语料库文本进行预处理，包括分词、分句、词性标注、命名实体识别、成分句法分析、依存句法分析、子句标注、和/或笔画统计；
S3、提取并计算文本语言特征；
S4、依据语言特征和回归算法构建最佳特征组合；
S5、构建可读性测度的线性回归模型。
2.根据权利要求1所述的一种用于简体中文可读性测度的线性模型方法，其特征在于，所述的文本语言特征的特征类别包括：浅层特征、词性标注特征、语法特征和/或篇章特征，
其中，所述的浅层特征包括字的复杂度特征、词的复杂度特征、句子复杂度特征和/或文本长度特征，所述的字的复杂度特征包括：特征1.文档最常用字的占比、特征2.文档次常用字的占比、特征3.文档总常用字的占比、特征4.低笔画占比、特征5.中笔画占比、特征6.高笔画占比和/或特征7.平均笔画数；所述的词的复杂度特征包括：特征8.不去重时文档的词汇平均字数、特征9.去重时文档的词汇平均字数、特征10.文档的两字词语的个数、特征11.文档的两字词语在总词数的占比、特征12.文档的三字词语的个数、特征13.文档的三字词语在总词数的占比、特征14.文档的四字词语的个数、特征15.文档的四字词语在总词数的占比、特征16.文档的四字以上词语的个数和/或特征17.文档的四字以上词语在总词数的占比；所述的句子复杂度特征包括特征18.单句的平均多字词语的个数、特征19.单句的平均词数、特征20.仅针对汉字的单句的平均字数和/或特征21.针对所有字符的句子的平均字数；所述的文本长度特征包括特征包括：22.文档的汉字总字数和/或特征23.针对所有字符的文档的总字符数；
其中，所述的词性标注特征包括形容词特征、功能词特征、动词特征、名词特征、实词特征、习语/成语特征和/或副词特征，
所述的形容词特征包括特征24.文档的形容词在总词数的占比、特征25.文档的唯一的形容词在去重后总词数的占比、特征26.文档的唯一形容词个数、特征27.单句平均形容词个数和/或特征28.单句平均唯一形容词个数；
所述的功能词特征包括特征29.文档的功能词在总词数的占比、特征30.文档的唯一的功能词在去重后总词数的占比、特征31.文档的唯一功能词个数、特征32.文档的单句平均功能词个数和/或特征33、单句平均唯一功能词个数；
所述的动词特征包括特征34.文档的动词在总词数的占比、特征35.文档的唯一动词个数、特征36.文档的唯一动词在去重后总词数的占比、特征37.单句平均动词个数和/或特征38.单句平均唯一动词个数；
所述的名词特征包括特征39.文档的普通名词占比、特征40.文档的唯一普通名词个数、特征41.文档的唯一普通名词在去重后总词数的占比、特征42.单句平均普通名词个数、特征43.单句平均唯一普通名词个数、特征44.文档的所有名词在总词数的占比、特征45.文档的唯一所有名词个数、特征46.文档的唯一所有名词在去重后总词数的占比、特征47.单句平均所有名词个数和/或特征48.单句平均唯一所有名词个数；
所述的实词特征包括特征49.文档的实词在总词数的占比、特征50.文档的唯一实词个数、特征51.文档的唯一实词在去重后总词数的占比、特征52.单句平均实词个数和/或特征53.单句平均唯一实词个数；
所述的习语/成语特征包括特征54.文档的习语在总词数的占比、特征55.文档的唯一习语个数、特征56.文档的唯一习语在去重后总词数的占比、特征57.单句平均习语个数和/或特征58.单句平均唯一习语个数；
所述的副词特征包括特征59.文档的副词在总词数的占比、特征60.文档的唯一副词个数、特征61.文档的唯一副词在去重后总词数的占比、特征62.单句平均副词个数和/或特征63.单句平均唯一副词个数；
所述的语法特征包括词组特征、子句特征和/或完整句特征，
其中，所述的词组特征包括特征64.单句平均名词短语个数、特征65.单句平均动词短语个数、特征66.文档的名词短语总数、特征67.文档的动词短语总数、特征68.文档的介词短语总数、特征69.文档的名词短语的平均长度、特征70.文档的动词短语的平均长度和/或特征71.文档的介词短语的平均长度；
所述的子句特征包括特征72.文档的含有子句的句子的个数、特征73.文档的不含有子句的句子占句子总数的占比和/或特征74.文档的句子的平均子句个数；
所述的完整句特征包括特征75.文档完整句句子数和/或特征76.文档完整句平均句法树高度；
所述的篇章特征包括实体密度特征和/或篇章连贯性特征，
其中，所述的实体密度特征包括特征77.文档的实体词总数、特征78.文档的唯一实体词总数、特征79.文档的实体词在文档总词数的占比、特征80.文档的唯一实体词在文档总单词数量的占比、特征81.文档的单句平均实体词数量、特征82.文档的单句平均唯一实体词数量、特征83.文档的命名实体词在文档总词数的占比、特征84.文档的单句平均命名实体词数量、特征85.文档的命名实体词在文档总实体词的占比、特征86.文档的普通名词在总词数的占比、特征87.文档的非命名实体名词在总词数的占比、特征88.文档的单句平均普通名词数量、特征89.文档的单句非命名实体词的数量和/或特征90.文档的单句平均非实体词数量；
其中，所述的篇章连贯性特征包括特征91.文档的连词在总词数的占比、特征92.文档的唯一连词个数、特征93.文档的唯一连词在去重后总词数的占比、特征94.单句平均连词个数、特征95.单句平均唯一连词个数、特征96.文档的代词在总词数的占比、特征97.文档的唯一代词个数、特征98.文档的唯一代词在去重后总词数的占比、特征99.单句平均代词个数和/或特征100.单句平均唯一代词个数。
3.根据权利要求1所述的一种用于简体中文可读性测度的线性模型方法，其特征在于，所述的线性回归模型为基于18个显著特征的可读性测度线性回归模型或基于22个显著特征的可读性测度线性回归模型，具体如下：
(1)基于18个显著特征的可读性测度线性回归模型，如下：
y＝-7.9291+1.2441x1+0.0408x2+1.7763x3+0.7466x4-29.5241x5+0.1073x6+3.7729x7-0.5338x8-0.0677x9+36.4785x10+1.533x11-7.7032x12+6.2422x13-5.9512x14-0.3011x15-0.3609x16+0.3473x17+1.4679x18
其中：
X1:文档的单句平均唯一实体词数量；
X2：文档的介词短语的平均长度；
X3：文档的不含有子句的句子占句子总数的占比；
X4：文档的句子的平均子句个数；
X5:文档的唯一的功能词在去重后总词数的占比；
X6：文档的唯一功能词个数；
X7：文档的唯一普通名词在去重后总词数的占比；
X8：单句平均唯一普通名词个数；
X9:文档的唯一连词个数；
X10：文档的唯一连词在去重后总词数的占比；
X11：单句平均连词个数；
X12：不去重时文档的词汇平均字数；
X13：去重时文档的词汇平均字数；
X14:文档的三字词语在总词数的占比；
X15：单句的平均多字词语的个数；
X16：句子的平均词数；
X17:句子的平均字数；
X18:文档的平均笔画数；
(2)基于22个显著特征的可读性测度线性回归模型，如下：
y＝-8.9283+1.1216Y1-0.0083Y2+0.0531Y3+1.6339Y4+0.7545Y5-2.0576Y6-27.6036Y7+0.0826Y8+3.8044Y9-0.5288Y10-0.0672Y11+37.7010Y12+1.6960Y13-7.2546Y14+5.8566Y15-6.1643Y16-0.2996Y17-0.3681Y18+0.3550Y19-0.0024Y20+0.0023Y21+1.611Y22；
其中：
Y1:文档的单句平均唯一实体词数量；
Y2:文档平均句法树高度；
Y3:文档的介词短语的平均长度；
Y4:文档的不含有子句的句子占句子总数的占比；
Y5:文档的句子的平均子句个数；
Y6:文档的形容词在总词数的占比；
Y7:文档的唯一的功能词在去重后总词数的占比；
Y8:文档的唯一功能词个数；
Y9:文档的唯一普通名词在去重后总词数的占比；
Y10:单句平均唯一普通名词个数；
Y11:文档的唯一连词个数；
Y12:文档的唯一连词在去重后总词数的占比；
Y13:单句平均连词个数；
Y14:不去重时文档的词汇平均字数；
Y15:去重时文档的词汇平均字数；
Y16:文档的三字词语在总词数的占比；
Y17:单句的平均多词词语的个数；
Y18:句子的平均词数；
Y19:句子的平均字数；
Y20:文档的汉字总字数；
Y21:针对所有字符的文档的总字符数；
Y22:平均笔画数。
4.根据权利要求2所述的一种用于简体中文可读性测度的线性模型方法，其特征在于，所述的特征4、特征5、特征6中的低笔画、中笔画、高笔画定义如下：
低笔画字为笔画数在1到5之间的字；中笔画字为笔画数在6到15之间的字；高笔画字为笔画数在16以上的字；
所述的特征18中的多字词语是指：两个及两个以上字组成的词语。
5.根据权利要求2所述的一种中文简体中文可读性测度的线性模型方法，其特征在于，所述的特征29、特征30、特征31、特征32、特征33中的功能词是指：除了实词之外的其他词，即：连词、感叹词、前缀、象声词、后缀、助动词、非词素；
所述的特征39、特征40、特征41、特征42、特征43、特征86、特征88中的普通名词是指：词性标注为名词的词；
所述的特征44、特征45、特征46、特征47、特征48定义中的所有名词是指：普通名词、机构名、地理名、位置名词、方位名词、时间名词、人名、专有名词；
所述的特征49、特征50、特征51、特征52、特征53定义中的实词是指：名词、动词、数词、形容词、副词、习语/成语、缩略语、量词、代词、区别词、状态词、外来词、词素。
6.根据权利要求2所述的一种简体中文可读性测度的线性模型方法，其特征在于，所述的特征72、特征73、特征74中的子句是指：取消了独立性的单句、或者分句、或者小句；
所述的特征75、特征76中的完整句是指：主谓结构或非主谓结构的单句，以及复句。
7.根据权利要求2所述的一种简体中文可读性测度的线性模型方法，其特征在于，所述的特征77、特征78、特征79、特征80、特征81、特征82、特征83定义中的实体词是指：机构名、地理名、人名、时间名词、专有名词；
所述的特征83、特征84、特征85中的命名实体词是指：机构名、地理名、人名；
所述的特征87、特征89中的非命名实体词是指：普通名词、时间名词、专有名词、位置名词、方位名词；
所述的特征90中的非实体词是指：普通名词、位置名词、方位名词。
CN201711335437.0A 2017-12-14 2017-12-14 一种用于简体中文可读性测度的线性模型方法 Pending CN107977449A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711335437.0A CN107977449A (zh) 2017-12-14 2017-12-14 一种用于简体中文可读性测度的线性模型方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711335437.0A CN107977449A (zh) 2017-12-14 2017-12-14 一种用于简体中文可读性测度的线性模型方法

Publications (1)

Publication Number Publication Date
CN107977449A true CN107977449A (zh) 2018-05-01

Family

ID=62006359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711335437.0A Pending CN107977449A (zh) 2017-12-14 2017-12-14 一种用于简体中文可读性测度的线性模型方法

Country Status (1)

Country Link
CN (1) CN107977449A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109408829A (zh) * 2018-11-09 2019-03-01 北京百度网讯科技有限公司 文章可读性确定方法、装置、设备和介质
CN109933668A (zh) * 2019-03-19 2019-06-25 北京师范大学 简体汉语文本可读性的分级评估建模方法
CN110727796A (zh) * 2019-09-17 2020-01-24 华南理工大学 面向分级读物的多尺度难度向量分类方法
CN113569560A (zh) * 2021-08-05 2021-10-29 北京师范大学 一种汉语二语作文自动评分方法
CN113743085A (zh) * 2021-08-27 2021-12-03 华中师范大学 一种文本质量评价系统及方法
CN115147013A (zh) * 2022-08-31 2022-10-04 南京复保科技有限公司 保险产品可读性计算方法、装置、计算机设备及存储介质
CN115859962A (zh) * 2022-12-26 2023-03-28 北京师范大学 一种基于《国际中文教育中文水平等级标准》的文本可读性评估方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103207854A (zh) * 2012-01-11 2013-07-17 宋曜廷 中文文本可读性计量系统及其方法
US20140012569A1 (en) * 2012-07-03 2014-01-09 National Taiwan Normal University System and Method Using Data Reduction Approach and Nonlinear Algorithm to Construct Chinese Readability Model
CN103530280A (zh) * 2012-07-03 2014-01-22 宋曜廷 以数据降维法及非线性算则建构中文文本可读性模型的系统及其方法
JP2016206603A (ja) * 2015-04-28 2016-12-08 京セラドキュメントソリューションズ株式会社 画像形成装置及び画像処理プログラム
CN106951406A (zh) * 2017-03-13 2017-07-14 广西大学 一种基于文本语言变量的汉语阅读能力的分级方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103207854A (zh) * 2012-01-11 2013-07-17 宋曜廷 中文文本可读性计量系统及其方法
US20140012569A1 (en) * 2012-07-03 2014-01-09 National Taiwan Normal University System and Method Using Data Reduction Approach and Nonlinear Algorithm to Construct Chinese Readability Model
CN103530280A (zh) * 2012-07-03 2014-01-22 宋曜廷 以数据降维法及非线性算则建构中文文本可读性模型的系统及其方法
JP2016206603A (ja) * 2015-04-28 2016-12-08 京セラドキュメントソリューションズ株式会社 画像形成装置及び画像処理プログラム
CN106951406A (zh) * 2017-03-13 2017-07-14 广西大学 一种基于文本语言变量的汉语阅读能力的分级方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙刚: "基于线性回归的中文文本可读性预测方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109408829A (zh) * 2018-11-09 2019-03-01 北京百度网讯科技有限公司 文章可读性确定方法、装置、设备和介质
CN109933668A (zh) * 2019-03-19 2019-06-25 北京师范大学 简体汉语文本可读性的分级评估建模方法
CN109933668B (zh) * 2019-03-19 2021-03-26 北京师范大学 简体汉语文本可读性的分级评估建模方法
CN110727796A (zh) * 2019-09-17 2020-01-24 华南理工大学 面向分级读物的多尺度难度向量分类方法
CN110727796B (zh) * 2019-09-17 2020-12-22 华南理工大学 面向分级读物的多尺度难度向量分类方法
CN113569560A (zh) * 2021-08-05 2021-10-29 北京师范大学 一种汉语二语作文自动评分方法
CN113743085A (zh) * 2021-08-27 2021-12-03 华中师范大学 一种文本质量评价系统及方法
CN113743085B (zh) * 2021-08-27 2023-08-01 华中师范大学 一种文本质量评价系统及方法
CN115147013A (zh) * 2022-08-31 2022-10-04 南京复保科技有限公司 保险产品可读性计算方法、装置、计算机设备及存储介质
CN115859962A (zh) * 2022-12-26 2023-03-28 北京师范大学 一种基于《国际中文教育中文水平等级标准》的文本可读性评估方法和系统

Similar Documents

Publication Publication Date Title
CN107977449A (zh) 一种用于简体中文可读性测度的线性模型方法
Yu et al. New perspectives on transfer in second language learning
Scott The vertical dimension and time in Mandarin
Joyce The significance of the morphographic principle for the classification of writing systems
Silva The pluricentricity of Portuguese: A sociolectometrical approach to divergence between European and Brazilian Portuguese
Muryasov The Pronouns in the system of the parts of speech
Dušková Parallel corpora and contrastive linguistics: Where to look for pitfalls in the translation of information structure
Junaid A Syntactic Analysis of The English Noun Phrase (A Study at the Fifth Semester of English Department Faculty of Teacher Training and Education University of Muhammadiyah Makassar)
Esser Medium-transferability and presentation structure in speech and writing
Rimkutė et al. Morphological annotation of the Lithuanian corpus
Al-qrainy et al. Developing a tagset for automated POS tagging in Arabic
Xamroyevna et al. Homonyms In The Uzbek And English Languages
Fredsted Convergence in verb phrases
Fang et al. Tagging the Survey Corpus: a LOB to ICE Experiment using AUTASYS
Reilly-Thornton Gender-neutrality and clitics
Riha Lettered words in Chinese: Roman letters as morpheme-syllables
KR102433904B1 (ko) 중국어 문장을 쉽게 이해하는 색깔있는 선
Nozimakhon CONSIDERATION OF LEXICOGRAPHY RULES, DICTIONARY FUNCTIONS AND PROBLEMS OF THEIR TYPOLOGY
Kurdyumov Chinese Language Theory Textbook: Challenges and Solutions
Joyce The significance of the morphographic principle for the classification of writing systems
Whitelock et al. The Sharp intelligent dictionary
Jamolatdinovna COMPARATIVE ANALYSIS OF PHRASEOLOGICAL UNITS IN COGNITIVE ASPECTS
Kasempremchit A Comparative Study of Comparative Sentences “bubi” and “mai…… kwa”
Schroten Clitic doubling in Spanish
Dilshoda COMPARATIVE ANALYSIS OF PARTS OF SPEECH IN ENGLISH AND UZBEK LANGUAGES

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180501