CN111090997B

CN111090997B - 一种基于分级词项的地质文档特征词项排序方法与装置

Info

Publication number: CN111090997B
Application number: CN201911322154.1A
Authority: CN
Inventors: 邓吉秋; 路馥毓; 刘文毅; 李晨菡; 何美香
Original assignee: Central South University
Current assignee: Central South University
Priority date: 2019-12-20
Filing date: 2019-12-20
Publication date: 2021-07-20
Anticipated expiration: 2039-12-20
Also published as: CN111090997A

Abstract

本发明涉及一种基于分级词项的地质文档特征词项排序方法，包括：获取范围类型参数信息；判断范围类型参数是否与预先设定的第一参数或第二参数或第三参数相同；若是，则获取范围参数信息；基于范围类型参数信息和范围参数信息，获取预先设定的与类型参数信息和范围参数信息相应的第一文档集或第二文档集或第三文档集；获取第一文档集或第二文档集或第三文档集中的特征词项的词频；基于第一文档集或第二文档集或第三文档集中特征词项的词频，和预先设定的与特征词项对应的词项级别、级别权重，获取第一文档集或第二文档集或第三文档集中特征词项的特征值；基于特征词项的特征值，获取特征值中前N个特征值所对应的特征词项。

Description

一种基于分级词项的地质文档特征词项排序方法与装置

技术领域

本发明涉及语言处理领域，尤其涉及一种基于分级词项的地质文档特征词项排序方法与装置。

背景技术

地质文档的主题(或特征)由文档中所有词项及其文法、上下文依存关系等确定，其中词项发挥着重要作用。

地质文档中的词项包括“某某断层”、“某某矿”、“某某岩”等地质命名实体，“正断层”、“流纹构造”等地质性质词项，“二零一九年十月十日”、“湖南省地质科学研究院”等普通命名实体，“地层”、“构造”、“岩体”等基本地质词项称，及控制”、“根据”、“区域”、“特征”等普通分词，不同词项对地质文档的表征作用不同。

目前大多数中文文本分类系统都采用词作为特征项，称作特征词。这些特征词作为文档的中间表示形式，用来实现文档与文档、文档与用户目标之间的相似度计算。通常根据某个特征评估函数计算各个特征的评分值，然后按评分值对这些特征进行排序，选取若干个评分值最高的作为特征词。

最常用、效果比较好的文本表征方法是建立词项-文档矩阵。词项-文档矩阵中的每个元素值代表了相应行上的词项对应于相应列上的文档的权重，即这个词对于该文档来说的重要程度。一个词对于一个文档是否重要，体现在两个方面：一个词项在一个文档中出现次数越多，则相对于文档的重要性就越大；若词项在整个语料库中出现的次数越多，那么对于该文档而言这个词就越没有意义，即越不重要。

基于TextRank的关键词提取是另一类方法，可针对单文档实现关键词提取。TextRank关键词抽取的任务就是从一段给定的文本中自动抽取出若干有意义的词语或词组，TextRank算法是利用局部词汇之间的关系(共现窗口)对后续关键词进行排序，直接从文本本身抽取。

文档中的同一词项所包含的实际语义在不同主题或类型文档中体现不同，另外地质文档中各种地质命名实体比一般非地质实体的词项对特定文档来说更能表征文档的主题特征，在表征文档的主题时应考虑词项在语义上对文档重要性的差异。而一般的词项-文档矩阵中纯粹地采用词项的出现次数来表示词项对文档主题的表征，TextRank算法利用局部词汇之间的关系(共现窗口)对后续特征词进行排序，均无法体现不同词项对主题的重要性的差异。

发明内容

(一)要解决的技术问题

为了解决现有技术的没有考虑不同级别词项在主题词排序中权重的问题，本发明提供一种基于分级词项的地质文档特征词项排序方法与装置。

(二)技术方案

为了达到上述目的，本发明提供一种基于分级词项的地质文档特征词项排序方法，包括步骤：

A1、获取范围类型参数信息；

A2、判断所述范围类型参数是否与预先设定的第一参数或第二参数或第三参数相同；

若是，则获取范围参数信息；

所述范围参数信息包括：第一范围参数或第二范围参数；

A3、基于所述范围类型参数信息和所述范围参数信息，获取预先设定的与所述范围类型参数信息和范围参数信息相应的第一文档集或第二文档集或第三文档集；

所述第一文档集包括多篇第一规则文档；所述第一规则文档为可能被抽取的任一文档；

所述第二文档集包括多篇第二规则文档；所述第二规则文档为属于特定资料包的任一文档；

所述第三文档集包括多篇第三规则文档；所述第三规则文档为特定编号文档；

A4、基于与所述范围类型参数信息和范围参数信息相应的第一文档集或第二文档集或第三文档集和预先设定的与所述第一文档集或第二文档集或第三文档集相应的特征词项，获取所述第一文档集或第二文档集或第三文档集中的特征词项的词频；

A5、基于所述第一文档集或第二文档集或第三文档集中特征词项的词频，和预先设定的与所述特征词项对应的词项级别、级别权重，获取所述第一文档集或第二文档集或第三文档集中特征词项的特征值；

A6、基于所述特征词项的特征值，获取所述特征值中前N个特征值所对应的特征词项；

N为预先设定值。

优选的，所述第一文档集或第二文档集或第三文档集中特征词项的特征值为所述第一文档集或第二文档集或第三文档集中的特征词项的词频与所述特征词项相应的级别权重的乘积。

优选的，步骤A6包括：

A6-1、基于所述特征词项的特征值，对所述特征词项进行排序，得到所述特征词项的第一排列顺序；

所述第一排列顺序为特征词项的特征值由高到低的顺序；

A6-2、获取所述特征词项的第一排列顺序中对应的前N个特征词项；

优选的，所述步骤A3中具体包括：

若所述范围类型参数与预先设定的第一参数相同，且所述范围参数信息为第一范围参数时，则获取预先设定的第一文档集；

若所述范围类型参数与预先设定的第二参数相同，且所述范围参数信息为第二范围参数时，则获取预先设定的第二文档集；

若所述范围类型参数与预先设定的第三参数相同，且所述范围参数信息为第二范围参数时，则获取预先设定的第三文档集。

一种基于分级词项的地质文档特征词项排序装置，其特征在于，所述基于分级词项的地质文档特征词项排序装置存储第一指令；

所述第一指令使所述基于分级词项的地质文档特征词项排序装置执行上述任一项所述的基于分级词项的地质文档特征词项排序方法。

(三)有益效果

本发明的有益效果是：本发明顾及了不同级别词项对文档主题表征的差异性，使对可灵活指定的特定范围内地质文档词项特征值的计算更有效，由此能得到更准确、可靠的特定范围地质文档特征词项排序。

附图说明

图1为本发明中基于分级词项的地质文档特征词项排序方法流程图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

实施例一

参见附图1，本实施例的方法具体包括：

A1、获取范围类型参数信息。

A2、判断所述类型参数是否与预先设定的第一参数或第二参数或第三参数相同。

若是，则获取范围参数信息。

所述范围参数信息包括：第一范围参数或第二范围参数。

A3、基于所述范围类型参数信息和所述范围参数信息，获取预先设定的与所述范围类型参数信息和范围参数信息相应的第一文档集或第二文档集或第三文档集。

所述第一文档集包括多篇第一规则文档，本实施例中所述第一规则文档为可能被抽取的任一文档。

所述第二文档集包括多篇第二规则文档，本实施例中所述第二规则文档为属于特定资料包的任一文档。

所述第三文档集包括多篇第三规则文档，本实施例中所述第三规则文档为特定编号文档。

在本实施例中若所述类型参数与预先设定的第一参数相同，且所述范围参数信息为第一范围参数时，则获取预先设定的第一文档集。

若所述范围类型参数与预先设定的第二参数相同，且所述范围参数信息为第二范围参数时，则获取预先设定的第二文档集。

A4、基于与所述范围类型参数信息和范围参数信息相应的第一文档集或第二文档集或第三文档集和预先设定的与所述第一文档集或第二文档集或第三文档集相应的特征词项，获取所述第一文档集或第二文档集或第三文档集中的特征词项的词频。

A5、基于所述第一文档集或第二文档集或第三文档集中特征词项的词频，和预先设定的与所述特征词项对应的词项级别、级别权重，获取所述第一文档集或第二文档集或第三文档集中特征词项的特征值。

本实施例中的第一文档集或第二文档集或第三文档集中特征词项的特征值为所述第一文档集或第二文档集或第三文档集中的特征词项的词频与所述特征词项相应的级别权重的乘积。

A6、基于所述特征词项的特征值，获取所述特征值中前N个特征值所对应的特征词项；N为预先设定值。

本实施例中顾及了不同级别词项对文档主题表征的差异性，使对可灵活指定的特定范围内地质文档词项特征值的计算更有效，由此能得到更准确、可靠的特定范围地质文档特征词项排序。

实施例二

(1)输入说明

输入包括词项分级表words_list、词项级别权重表levels_weights、文档词项表files_words，及特征值排序参数列表orders。

(1-1)词项分级表words_list：是包含从特定范围文档中提取出的所有词项基本信息的数据库表，具体字段定义见表1。

表1词项分级表定义

level取值说明：地质文档中最高级词项为表述特定地质对象的地质命名实体，如“岳麓山组”、“万古金矿”、“望湘花岗岩体”等；表述特定地质对象类型与性质的地质性质词项，如“正断层”、“流纹构造”等为次一级；表述人名、机构名、地名、时间等内容的通用命名实体，如“中南大学”、“2019年10月”等为更次一级；表述地质基本概念的基本地质词项，如“地层”、“构造”、“岩体”等为更次一级；其它不重要命名实体与分词为最低级；从高至低可定义5个级别：依次为5级、4级、3级、2级、1级。

(1-2)词项级别权重表levels_weights：是包含词项各级别与权重对应关系的数据库表，具体字段定义见表2。

表2词项级别权重表定义

字段名称	字段含义	字段类型	字段说明
				level	词项级别	INTEGER	词项的数字等级，见表1
weight	级别权重	INTEGER	相应级别的权重值，

weight取值说明：level数字越大、级别越高，相应地weight权重也高；如：对应于1-1)所述5级、4级、3级、2级、1级，其权重可分别设置为625、125、25、5、1。

(1-3)文档词项表files_words：是包含从文档中提取出的词项在文档中每一具体位置信息的数据库表，具体字段定义见表3。

本实施例中的第一文档集为表3中的与词项编号对应的特定范围所有文档，第二文档集为表3中资料包编号对应的资料包，第三文档集为与表3中文档编号对应的特定文档。

表3文档词项表定义

(1-4)词项排序参数列表orders：包含用于地质文档词项特征值排序的目标条件，列表orders包含3元素，具体元素说明见表4。

本实施例中，预设的第一参数为表4中特征待抽取范围限定类型的值为0，预设的第二参数为表4中特征待抽取范围限定类型的值为1，预设的第三参数为表4中特征待抽取范围限定类型的值为2。

表4特征值排序参数列表元素说明

(2)输出说明

输出为排序词项表words_orders，是用于存储满足排序条件的词项信息的数据库表，具体字段定义见表5。

表5排序词项表定义

字段名称	字段含义	字段说明
			word_id	词项编号	特定词项的编号
level	词项级别	特定词项的级别
			value	词项特征值	特定范围中排序词项的特征值

(3)词项特征值计算与排序过程

读取词项排序参数列表orders，根据主题提取范围，从文档词项表files_words抽取特定范围词项信息，统计特定范围词项词频、结合词项分级表words_list中的词项分级、再关联词项权重，计算特定范围词项特征值，对词项进行排序，由此确定满足要求的排序词项表words_orders。

具体过程如下：

(3-1)进入系统初始化，定义数据库操作语句执行函数sql_execute，函数sql_execute的输入参数为文本sql，文本sql为满足SQL-92标准的数据库操作语句；函数调用数据库系统功能执行文本sql，文本sql的执行结果是数据库中表、或表中数据的改变，函数本身不直接输出结果；之后进入3-2)。

(3-2)将文本sql设为：DELETE FROM words_orders，通过调用函数sql_execute将排序词项表words_orders清空，进入3-3)。

(3-3)获取词项排序参数列表orders，将orders的3个元素依次赋值给：范围限定类型scope_type、范围编号scope_id、输出词项数words_num；如果范围限定类型scope_type大于等于0、且小于等于2则进入3-4)，否则进入3-7)。

(3-4)则将文本sql赋值为：SELECT word_id,level,COUNT(*)*weight as word_value INTO words_orders FROM files_words,words_list,levels_weights WHEREfiles_words.word_id＝words_list.id ANDwords_list.level＝levels_weights.levelGROUP BY files_words.word_id ORDER BY word_value LIMIT，在文本sql最后一个字符之后插入一个空格，将words_num转换成字符串、再插入至文本sql最后一个字符之后，进入3-5)。

(3-5)如果scope_id大于0，初始化范围字符串scope_str为空字符串，当scope_id等于1时将范围字符串scope_str赋值为字符串files_words.doc_id＝，当scope_id等于2时将将范围字符串scope_str赋值为字符串files_words.file_id＝；在范围字符串scope_str最后一个字符之后插入一个空格，将范围编号scope_id转换成字符串、再插入到范围字符串scope_str最后一个字符之后；在范围字符串scope_str第一个字符之前插入一个空格，再将范围字符串scope_str插入到文本sql中WHERE之后，进入3-6)。

(3-6)将文本sql作为输入参数，调用函数sql_execute，实现将满足词项排序参数条件的词项及其特征值插入到排序词项表words_orders；之后，进入3-7)。

(3-7)输出排序词项表words_orders。

以上结合具体实施例描述了本发明的技术原理，这些描述只是为了解释本发明的原理，不能以任何方式解释为对本发明保护范围的限制。基于此处解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims

1.一种基于分级词项的地质文档特征词项排序方法，其特征在于，包括步骤：

A1、获取范围类型参数信息；

若是，则获取范围参数信息；

所述范围参数信息包括：第一范围参数或第二范围参数；

所述第一文档集包括多篇第一规则文档；

所述第二文档集包括多篇第二规则文档；

所述第三文档集包括一篇第三规则文档；

N为预先设定值；

所述步骤A3中具体包括：

2.根据权利要求1所述的方法，其特征在于，所述第一文档集或第二文档集或第三文档集中特征词项的特征值为所述第一文档集或第二文档集或第三文档集中的特征词项的词频与所述特征词项相应的级别权重的乘积。

3.根据权利要求2所述的方法，其特征在于，步骤A6包括：

所述第一排列顺序为特征词项的特征值由高到低的顺序；

A6-2、获取所述特征词项的第一排列顺序中对应的前N个特征词项。

4.一种基于分级词项的地质文档特征词项排序装置，其特征在于，所述基于分级词项的地质文档特征词项排序装置存储第一指令；

所述第一指令使所述基于分级词项的地质文档特征词项排序装置执行如权利要求1至3任一项所述的基于分级词项的地质文档特征词项排序方法。