CN102136006A - 基于人类概念学习的文本理解复杂度的度量方法 - Google Patents

基于人类概念学习的文本理解复杂度的度量方法 Download PDF

Info

Publication number
CN102136006A
CN102136006A CN2011100771477A CN201110077147A CN102136006A CN 102136006 A CN102136006 A CN 102136006A CN 2011100771477 A CN2011100771477 A CN 2011100771477A CN 201110077147 A CN201110077147 A CN 201110077147A CN 102136006 A CN102136006 A CN 102136006A
Authority
CN
China
Prior art keywords
text
complexity
keyword
correlation rule
understanding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011100771477A
Other languages
English (en)
Inventor
张俊
骆祥峰
蔡传亮
张顺香
胡庆亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN2011100771477A priority Critical patent/CN102136006A/zh
Publication of CN102136006A publication Critical patent/CN102136006A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于人类概念学习的文本理解复杂度的度量方法。它先保留文本中的名词和名词短语,作为文本的关键词集合,然后将出现次数多的关键词作为文本断言,再挖掘文本中的关联规则,最后根据人类概念学习过程计算文本理解的复杂度。本发明其本质为将文本的理解过程抽象为人类概念学习的过程,通过对概念中属性(关键词)以及属性间关系(关联规则)的算术运算来度量文本的理解复杂度。本发明从人类概念学习的角度出发,通过分析词以及词之间逻辑关系对文本的理解复杂度进行度量,从而为基于机器的文本理解提供技术支持。

Description

基于人类概念学习的文本理解复杂度的度量方法
技术领域
本发明涉及一种基于人类概念学习的文本理解复杂度的度量方法,更为具体的说,涉及一种依据人类概念学习的过程来计算文本中的词被人所理解的难易程度以及词之间逻辑关系被理解的难易程度,并以此来度量文本理解复杂度的方法。
背景技术
人类学习概念的过程与理解文本的过程非常相似,都离不开对词以及词和词之间逻辑关系的理解。传统的文本理解复杂度度量方法往往局限于对文本进行简单的语法分析和语义分析,而没有从机器理解的角度对文本进行分析,或者仅仅对文本中的句子进行简单的逻辑分析,而并未对文本中的词或者词之间的逻辑关系进行定量的分析。本发明从人类概念学习的角度出发,通过分析词以及词之间逻辑关系对文本的理解复杂度进行度量,从而为基于机器的文本理解提供技术支持。
发明内容
本发明的目的在于针对目前在机器理解文本过程中存在的不足,提供一种基于人类概念学习的文本理解复杂度的度量方法。其本质为将文本的理解过程抽象为人类概念学习的过程,通过对概念中属性(关键词)以及属性间关系(关联规则)的算术运算来度量文本的理解复杂度,从而为基于机器的文本理解提供技术支持。
为实现上述目的,本发明的构思是:首先提取文本中能够表达该篇文本的关键词(名词和名词短语),再根据每个关键词在文本中出现的频数确定文本断言,文本断言即文本中具有常识性知识的关键词;然后根据经典的关联规则挖掘方法提取文本中的关联规则;再依据人类概念代数复杂度的计算方法,计算该文本的理解复杂度。
根据上述的发明构思,本发明采用下述技术方案:
(1)  利用词性标注工具,对文本中的词进行词性标注,提取关键词,即保留文本中的名词和名词短语;
(2)  计算文本中关键词出现的频数,按照频数从大到小排序,将排名靠前的关键词作为文本断言;
(3)  用Apriori关联规则挖掘算法提取文本中的关联规则;
(4)  根据上述步骤得到的文本断言和关联规则,依照人类概念代数复杂度的计算方法,计算文本的理解复杂度。
上述步骤(4)中所述的人类概念代数复杂度(记作                                                
Figure 2011100771477100002DEST_PATH_IMAGE001
,表示文本T的人类概念代数复杂度)的计算方法如下:
Figure 937583DEST_PATH_IMAGE002
上述计算方法中的K表示文本T中关联规则的阶数,亦即关联规则的前键中关键词词的数量,且K为0时表示文本断言;D-1表示在文本T中关联规则的最大阶数;
Figure 2011100771477100002DEST_PATH_IMAGE003
表示阶数为K的关联规则中前键与后键中关键词的个数之和;
Figure 386145DEST_PATH_IMAGE004
表示在关键词集合X(通过步骤(1)获得)上,阶数为K的关联规则个数。
本发明与现有的文本理解复杂度度量方法相比,具有如下的优点:本发明先将文本表示为由文本断言与关联规则组成的形式,再依据人类概念代数复杂度计算方法计算文本理解的复杂度,其本质为将文本的理解过程抽象为人类概念学习的过程,通过对概念中属性(关键词)以及属性间关系(关联规则)的算术运算来度量文本的理解复杂度,本方法计算文本中关键词和关联规则来计算文本理解复杂度,不但符合人类概念学习的过程,而其便于计算进行处理。
具体实施方式
本发明的一个优选实例详述如下:本基于人类概念学习的文本理解复杂度的度量方法的具体实施操作步骤如下:
1.        利用词性标注工具,对文本中的词进行词性标注,提取关键词,即保留文本中的名词和名词短语,得到该文本的关键词集合X={keyword1, keyword2,…, keywordn};
2.        计算文本中关键词出现的频数,按照频数从大到小排序。关键词出现的频数越高,说明该关键词越容易让人理解,可以将其理解为一种常识性知识。因此,按照频数排序得到的关键词排名,将排名靠前的关键词作为该文本的文本断言。并且,根据人类学习的特点,文本断言的个数不超过九个。通过本步骤可得到形如{keyword1, keyword2,…, keywordm}(m<n)的文本断言集合;
3.        用Apriori关联规则挖掘算法提取文本中的关联规则,关联规则是形如X→Y的蕴含式,其中X和Y具有较高的共现度。选取合适的支持度(关键词共同出现的频率)和置信度(关键词出现的条件概率)阈值。在本发明中,根据人类概念学习的过程,发现置信度高于0.5的关联规则能较好的表示文本内容,故而在此基础上,挖掘基于关键词集合X上的文本关联规则,得到形如{keywordi→keywordj, keywords→keywordk,…, keywords, keywordn, keywordf→keywordm}的关联规则集合;
4.        根据上述步骤得到的文本断言和关联规则,基于人类概念学习的过程,计算人类概念代数复杂度
Figure 653178DEST_PATH_IMAGE002
 ,作为文本理解的复杂度。其中,K表示文本T中关联规则的阶数,当 K为0时表示文本断言;D-1表示在文本T中关联规则的最大阶数;
Figure 976712DEST_PATH_IMAGE003
表示阶数为K的关联规则中前键与后键中关键词的个数之和;
Figure 645590DEST_PATH_IMAGE004
表示在关键词集合X上,阶数为K的关联规则个数。
一个基于人类概念学习的文本理解复杂度的度量方法实例如下:
1.    假设一篇文本中有这样两个句子:
S1:That boy stands on the left, whose t-shirt is red.
S2: Two girls stand on the right, whose skirts are also red.
从该文本中提取关键词集合X={boy, left, t-shirt, red, girls, red, skirts}。
2.    计算关键词在文本中出现的频数,可得文本断言集合{red}。
3.    挖掘文本中的关联规则,可得到关联规则集合{boy→left,t-shirt→red,girls→right,skirts→red }。
4.  基于人类概念学习的过程,计算人类概念代数复杂度,可得由这2个句子组成的文本的理解复杂度为1*1+2*4=10。

Claims (4)

1.一种基于人类概念学习的文本理解复杂度的度量方法,其特征在于操作步骤如下:
(1)利用词性标注工具,对文本中的词进行词性标注,提取关键词,即保留文本中的名词和名词短语;
(2)计算文本中关键词出现的频数,按照频数从大到小排序,将排名靠前的关键词作为文本断言;
(3)用Apriori关联规则挖掘算法提取文本中的关联规则;
(4)根据上述步骤得到的文本断言和关联规则,依照人类概念代数复杂度的计算方法,计算文本的理解复杂度。
2.根据权利要求1所述的基于人类概念学习的文本理解复杂度的度量方法,其特征在于步骤(2)中的文本断言为出现频数较高的关键词,这些关键词能够普遍地被人们所理解,属于常识性知识范畴,其理解复杂度较低;根据人类概念学习的过程,文本断言数不超过九个。
3.根据权利要求2所述的基于人类概念学习的文本理解复杂度的度量方法,其特征在于步骤(3)中的关联规则挖掘是根据人类概念学习过程的经验总结,提取置信度至少大于0.5的关联规则,这类关联规则能够充分地表达文本中所表达的知识。
4.根据权利要求3所述的基于人类概念学习的文本理解复杂度的度量方法,其特征在于步骤(4)中人类概念代数复杂度的计算,其计算方法为:                                                
Figure 2011100771477100001DEST_PATH_IMAGE001
,其中K表示文本T中关联规则的阶数,当 K为0时表示文本断言;D-1表示在文本T中关联规则的最大阶数;
Figure 757618DEST_PATH_IMAGE002
表示阶数为K的关联规则中前键与后键中关键词的个数之和;
Figure 2011100771477100001DEST_PATH_IMAGE003
表示在关键词集合X上,阶数为K的关联规则个数。
CN2011100771477A 2011-03-30 2011-03-30 基于人类概念学习的文本理解复杂度的度量方法 Pending CN102136006A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011100771477A CN102136006A (zh) 2011-03-30 2011-03-30 基于人类概念学习的文本理解复杂度的度量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011100771477A CN102136006A (zh) 2011-03-30 2011-03-30 基于人类概念学习的文本理解复杂度的度量方法

Publications (1)

Publication Number Publication Date
CN102136006A true CN102136006A (zh) 2011-07-27

Family

ID=44295792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100771477A Pending CN102136006A (zh) 2011-03-30 2011-03-30 基于人类概念学习的文本理解复杂度的度量方法

Country Status (1)

Country Link
CN (1) CN102136006A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436480A (zh) * 2011-10-15 2012-05-02 西安交通大学 一种面向文本的知识单元关联关系挖掘方法
CN106030570A (zh) * 2014-12-23 2016-10-12 微软技术许可有限责任公司 显现数据集间的关系
CN109086363A (zh) * 2018-07-19 2018-12-25 百度在线网络技术(北京)有限公司 文件信息维护度确定方法、装置及设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436480A (zh) * 2011-10-15 2012-05-02 西安交通大学 一种面向文本的知识单元关联关系挖掘方法
CN106030570A (zh) * 2014-12-23 2016-10-12 微软技术许可有限责任公司 显现数据集间的关系
US11256687B2 (en) 2014-12-23 2022-02-22 Microsoft Technology Licensing, Llc Surfacing relationships between datasets
CN109086363A (zh) * 2018-07-19 2018-12-25 百度在线网络技术(北京)有限公司 文件信息维护度确定方法、装置及设备
CN109086363B (zh) * 2018-07-19 2021-03-16 百度在线网络技术(北京)有限公司 文件信息维护度确定方法、装置及设备

Similar Documents

Publication Publication Date Title
Rajagopal et al. A graph-based approach to commonsense concept extraction and semantic similarity detection
Hamouda et al. Reviews classification using sentiwordnet lexicon
CN103455562A (zh) 一种文本倾向性分析方法及基于该方法的商品评论倾向判别器
Wu et al. Chinese micro-blog sentiment analysis based on multiple sentiment dictionaries and semantic rule sets
CN104933027A (zh) 一种利用依存分析的开放式中文实体关系抽取方法
Hamouda et al. Building machine learning based senti-word lexicon for sentiment analysis
CN107305539A (zh) 一种基于Word2Vec网络情感新词发现的文本倾向性分析方法
CN103617157A (zh) 基于语义的文本相似度计算方法
CN103365867A (zh) 一种对用户评价进行情感分析的方法和装置
WO2015032301A1 (zh) 一种基于新核函数Luke核的专利文献相似度检测方法
CN110362678A (zh) 一种自动提取中文文本关键词的方法与装置
Wu et al. Community answer generation based on knowledge graph
CN102136006A (zh) 基于人类概念学习的文本理解复杂度的度量方法
Malandrakis et al. DeepPurple: Estimating sentence semantic similarity using n-gram regression models and web snippets
Mandal et al. A novel dictionary-based classification algorithm for opinion mining
Quan et al. Combine sentiment lexicon and dependency parsing for sentiment classification
WO2023060910A1 (zh) 信息抽取方法及装置
Vakare et al. Sentence semantic similarity using dependency parsing
Yang et al. Court similar case recommendation model based on word embedding and word frequency
Liu et al. Research on the construction of sentiment lexicon based on Chinese microblog
Tavan et al. Identifying Ironic Content Spreaders on Twitter using Psychometrics, Contextual and Ironic Features with Gradient Boosting Classifier.
Tsumuraya et al. Semantic search of Japanese sentences using distributed representations
An et al. Adjective-based estimation of short sentence’s impression
Chen et al. Chinese keyword extraction using semantically weighted network
Wang et al. Cluster analysis based on opinion mining

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20110727