CN117172322B - 一种建立数字乡村知识图谱的方法 - Google Patents

Abstract

本发明提供一种建立数字乡村知识图谱的方法，通过基于规则和字典的方法分别抽取数字乡村和数字城市的知识元素，根据预设的语义模型提取通用命名实体集；计算各元素的词频和逆文档频率，确定数字乡村的专属命名实体集；建立知识元素间关联度矩阵，基于矩阵完全一致性条件调整知识元素间的关联度，最终构建出数字乡村知识图谱，该方法对数字乡村的建设具有参考价值。

Description

一种建立数字乡村知识图谱的方法

技术领域

本发明涉及数字乡村技术领域，特别是涉及一种建立数字乡村知识图谱的方法。

背景技术

数字乡村是指利用信息通信技术和数字化手段，推动乡村地区的经济、社会和环境可持续的过程。它旨在通过数字技术的应用，提升乡村地区的产业结构、提高农业生产效率、改善乡村居民生活、促进乡村文化传承和保护、加强生态环境保护等方面的。数字乡村的核心是数字化和信息化，由于数字乡村是一个相对较新的概念，因此，对数字乡村的研究相对较少，数字乡村知识图谱的构建方法鲜有报道。

知识图谱（Knowledge graph）己经成为通过建立实体间关系以结构化知识的一种重要的知识组织方法，也是整合从多个数据源提取到的信息的一种有效方式，从本质上看，知识图谱可以被看作是一种揭示了实体之间关系的语义网络；运用知识图谱可以构建大规模知识库，将海量多来源数据进行有效关联，并形成信息和知识融合模式、机制、体系，全面支持数字乡村运营。

数字乡村知识图谱的建立需要综合考虑多个方面的因素，由于数字乡村的概念是基于数字城市而来，在建立数字乡村知识图谱时，应该参考数字城市知识谱图的节点并以通用的节点为基础实体，增加数字乡村专属实体进行构建，目前的构建方法可能偏重于某个方面或某些指标，缺少数字乡村和数字城市建设之间的互通性，缺乏综合性和系统性，结果可能不能全面反映乡村的综合情况以及城乡融合发展情况。另外在知识图谱的实体选取过程中，往往主观因素过多导致实体选择随意性较大，不能真实反应当前乡村数字化的现状，使得结果出现不准确或不完整的情况。因此，亟需一种科学有效的数字乡村知识图谱的构建方法。

发明内容

为解决现有技术存在的问题，建立一种科学有效的数字乡村知识图谱构建方法，本发明提供一种建立数字乡村知识图谱的方法。

所述方法具体包括以下步骤：

步骤S1，基于规则和字典的方法分别抽取数字乡村和数字城市的知识元素，然后基于预设的语义模型从知识元素中提取通用命名实体集。

步骤S2，计算抽取的数字乡村知识元素中各元素的词频和逆文档频率，确定数字乡村的专属命名实体集。

步骤S3，根据获取的命名实体集建立知识元素间关联度矩阵，基于矩阵完全一致性条件调整知识元素间的关联度，最终构建出数字乡村知识图谱。

进一步地，步骤S1具体包括：

通过规则和字典的方法分别抽取数字乡村和数字城市的知识元素，其中，数字乡村的知识元素集合，数字城市的知识元素集合。

基于预先设定的语义分析模型，对集合R和Q分别进行预处理，得到预处理后的集合和/>。

比较集合和集合/>，将两个集合中的相同知识元素提取出来形成共同集，计算共同集中每一个知识元素分别在集合中/>和集合/>中出现的频次F1和F2

判断F1和F2是否满足预设阈值条件，当F1和F2都满足预设阈值条件时，表示该知识元素为数字城市和数字乡村的通用命名实体，进而得到通用命名实体集。

所述预设阈值条件为F1≥0.3，且F2≥0.3。

进一步地，步骤S2具体包括：

将集合减去集合/>，/>得到集合/>。

利用Chrome浏览器，使用插件Web-Scraper，爬取互联网上涉及数字乡村的文章，形成语料库。

使用中文分词包jieba对爬取的文章进行分词处理，对分词结果进行停用词和过滤词处理。

根据分词处理后的文本T和集合中的元素，通过TF-IDF算法来计算集合/>中的元素的词频TF和逆文档频率IDF：

其中，为文本T中的特征词/>出现的次数，/>为特征词综述；/>为语料库中的全部文档数目，/>为含有/>的文档个数。计算每个元素的TF-IDF值：。

进一步地，根据TF-IDF值由高到低对集合中的元素进行排序，选取前15-50项形成专属命名实体集/>。

进一步地，将通用命名实体集和专属命名实体集/>合并，得到最终的命名实体集合/>。

，/>。

进一步地，步骤S3具体包括：

根据命名实体集合构建知识元素间关联度矩阵/>。

其中，表示集合/>中第/>项相较于第/>项的关联度，/>，根据知识元素间关联度矩阵计算被比较元素/>对于其他元素的相对权重。

进一步地，计算知识元素间关联度矩阵的最大特征根及其对应的特征向量，并进行一致性检验。

各个元素的权重向量。

则，知识元素间关联度矩阵的最大特征根：

进一步地，当时，矩阵/>具有完全一致性，而一致性不完全时，/>；

采用其余个特征根的平均值来作为关联度的一致性指标/>;

关联度的平均随机一致性指标为与矩阵阶数相关的常数，关联度的相对一致性指标/>；

进一步地，当关联度的相对一致性指标CR≤0.1时，判断矩阵基本符合完全一致性条件；当关联度的相对指标CR＞0.1时，判断矩阵是不符合完全一致性条件的，需要重新修正各知识元素间关联度，直到各个知识元素之间达到相对一致性条件。

进一步地，所述最终构建出数字乡村知识图谱是基于关联度的计算结果。

基于预设关联度条件生成命名实体之间的连线基于各个命名实体的词频大小生成不同半径的圆代表命名实体，命名实体之间的连线基于知识元素之间的关联度确定。

对步骤S3计算的第项知识元素与其他元素之间的关联度结果/>进行筛选，当两个知识元素之间的关联度满足所述预设关联度条件，则生成对应命名实体之间的连线，否则，不展示两者之间的连线关系；所述预设关联度条件为关联度/>。

本发明与现有技术相比，具有如下的优点和有益效果：

本发明基于自然语言处理对数字乡村的知识图谱进行了构建，在命名实体的筛选过程中，即考虑了城市数字化进行和乡村数字化进程中的一下通用知识元素，也通过知识元素的文档频率对其命名实体的数量进行了综合选取，该方法在减少计算量的同时，能够科学系统的建立数字乡村的知识图谱，对数字乡村的建设具有参考价值。

附图说明

图1为本发明的一种建立数字乡村知识图谱的方法的流程图。

图2为本发明的一种数字乡村知识图谱的结构示意图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下。

为了使本发明的目的，技术方案及优点更加清楚明白，结合附图及实施例，对本发明进行进一步详细说明，应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例

如图1-2所示，本实施提供一种建立数字乡村知识图谱的方法，数字乡村知识图谱不仅应全面反映当下乡村数字化的基础支撑条件、发展脉络，还要注重基于知识图谱的数据的可得性和可靠性，因此，在构建数字乡村知识图谱时首先应注重科学性原则，应能准确反映数字乡村建设情况和数字技术的先进性，以及城乡数字化建设差距；其次要符合全面性原则，不能遗漏重要实体节点，要从不同角度切入，全面反映数字乡村的特征；第三要保证可操作性原则。

数字乡村知识图谱所对应数据要易于收集处理和量化计算，本实施例的具体步骤如下：

步骤S1，基于规则和字典的方法分别抽取数字乡村和数字城市的知识元素，然后基于预设的语义模型从知识元素中提取通用命名实体集。

需要说明的是，知识元素主要指构成条文且为研究所关注的数字乡村术语所属的概念类别的词语，可以理解为关键词；对知识元素的筛选即为命名实体的识别过程，通过筛选后的知识元素组成了知识图谱的命名实体，也就是知识图谱的各个节点。

步骤S1具体包括：

通过规则和字典的方法分别抽取数字乡村和数字城市的知识元素，其中，数字乡村的知识元素集合，数字城市的知识元素集合。

需要说明的是，基于规则和字典的方法以编写的抽取模板和规则为基础，进而通过文本匹配的方式来实现命名实体的抽取，该方法的优势在于方法实现相对简单，规则符合对领域内知识的理解、改动更方便，在小规模文本中能获得较好的效果，非常适合数字乡村领域的知识元素抽取；将节点类型设置为关键词，本实施例运用CiteSpace软件对知网收录的1657篇与数字乡村研究相关的文献和2306篇知网收录的与数字城市研究相关的文献分别进行了研究细分领域和领域关键词的抽取，形成知识元素集合。

基于预先设定的语义分析模型，对集合R和Q分别进行预处理，得到预处理后的集合和/>。

比较集合和集合/>，将两个集合中的相同知识元素提取出来形成共同集计算共同集中每一个知识元素分别在集合中/>和集合/>中出现的频次F1和F2，预设阈值条件根据实验最终确定为F1≥0.3，且F2≥0.3，此时，抽取的结果数量合适，满足后续关联度的计算。

判断F1和F2是否满足预设阈值条件，当F1和F2都满足预设阈值条件时，表示该知识元素为数字城市和数字乡村的通用命名实体，进而得到通用命名实体集。

步骤S2，计算抽取的数字乡村知识元素中各元素的词频和逆文档频率，确定数字乡村的专属命名实体集。

步骤S2具体包括：

将集合减去集合/>，/>得到集合/>。

利用Chrome浏览器，使用插件Web-Scraper，爬取互联网上涉及数字乡村的文章，形成语料库。

需要说明的是，通过爬虫技术，可以从各个数据源（如政府公开数据、社交媒体、新闻报道等）中获取相关数据，并进行清洗和整理。然后，通过语义分析模型，可以对这些数据进行分析和处理，提取出有用的信息，包括关键词构成的知识元素，通用命名实体是指适用数字城市和数字乡村的普遍性命名实体，可以反映基础设施、经济、社会服务等方面的情况，例如，道路质量、通讯网络的覆盖率、教育和医疗资源的供给等。专属命名实体集反映乡村乡村建设的独特性，可以反映乡村地区的特色产业、文化传承、生态环境等方面的情况。例如，特色农产品、传统手工艺的传承度、生态农业等。

使用中文分词包jieba对爬取的文章进行分词处理，对分词结果进行停用词和过滤词处理。

需要说明的是，预处理是指基于语义词库去除预先设定的限定词和未登录词，然后分别对两个集合中的元素进行同义词替换，主谓语结合。限定词中包括与地域相关的词汇以及“智慧”、“数字”、“智能”等限定性词汇。

例如：对“乡村的WiFi覆盖率”进行分词后：“乡村”、“的”、“WiFi”、“覆盖率”，其中，“乡村”为限定词，“的”为未登录词，预处理结果为：“WiFi覆盖率”，又如：“数字城市互联网普及率”进行分词后：“数字”、“城市”、“互联网”、“普及率”，“数字”和“城市”为限定词，分词结果为：“互联网普及率”。

同义词替换是基于平行语料进行同义词改写，获得平行语料对齐样本。例如：“WiFi”的同义词包括：无线网络、WiFi信号、WiFi网络等，基于同义词替换将样本进行统一。

根据分词处理后的文本T和集合中的元素，通过TF-IDF算法来计算集合/>中的元素的词频TF和逆文档频率IDF：

其中，为文本T中的特征词/>出现的次数，/>为特征词综述；/>为语料库中的全部文档数目，/>为含有/>的文档个数。计算每个元素的TF-IDF值：。

根据TF-IDF值由高到低对集合中的元素进行排序，选取前15-50项形成专属命名实体集/>。

需要说明的是，按照基于规则和字典的方法分别抽取的数字乡村知识元素，为了后续的关联度计算，需要进行排序筛选，根据TF-IDF值由高到低对选取前15-50项。

将通用命名实体集和专属命名实体集/>合并，得到最终的命名实体集合/>：

，/>。

步骤S3，根据获取的命名实体集建立知识元素间关联度矩阵，基于矩阵完全一致性条件调整知识元素间的关联度，最终构建出数字乡村知识图谱。

步骤S3具体包括：

根据命名实体集合构建知识元素间关联度矩阵/>。

其中，表示集合/>中第/>项相较于第/>项的关联度，/>，根据知识元素间关联度矩阵计算被比较元素/>对于其他元素的相对权重。

计算知识元素间关联度矩阵的最大特征根及其对应的特征向量，并进行一致性检验。

各个元素的权重向量。

则，知识元素间关联度矩阵的最大特征根：

当时，矩阵/>具有完全一致性，而一致性不完全时，/>；

采用其余个特征根的平均值来作为关联度的一致性指标/>;

关联度的平均随机一致性指标为与矩阵阶数相关的常数，关联度的相对一致性指标/>；

当关联度的相对一致性指标CR≤0.1时，判断矩阵基本符合完全一致性条件；当关联度的相对指标CR＞0.1时，判断矩阵是不符合完全一致性条件的，需要重新修正各知识元素间关联度，直到各个知识元素之间达到相对一致性条件。

应用本实施例的方法，我们对某目标区域的数字乡村进行知识图谱建立，部分可视化结果如图2所示，最终构建出数字乡村知识图谱是基于关联度的计算结果。

基于预设关联度条件生成命名实体之间的连线基于各个命名实体的词频大小生成不同半径的圆代表命名实体，命名实体之间的连线基于知识元素之间的关联度确定。

对步骤S3计算的第项知识元素与其他元素之间的关联度结果/>进行筛选，当两个知识元素之间的关联度满足预设关联度条件，则生成对应命名实体之间的连线，否则，不展示两者之间的连线关系；预设关联度条件为关联度/>。

基于构建的数字乡村知识图谱，后续可以还采用模糊综合评判法对读取的多源数据进行计算，得到数字乡村的定量结果。例如：对采集的各个可定量化的命名实体的数据进行归一化处理，得到每个数据的归一化结果,/>，然后获得单个命名实体的定量表征/>，最终获得能够数字乡村建设的定量结果/>。

另外，基于建立的数字乡村知识图谱还可以通过图算法的知识挖掘发现知识图图谱中的重要知识来源以及知识间的继承性路径，为连续性、可解释性的数字乡村应用提供新思路，基于图算法对其中隐含的关联性进行挖掘能够协助发现知识图谱中的重点条文、核心知识，为数字乡村的建设提供参考。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种建立数字乡村知识图谱的方法，其特征在于，所述方法包括以下步骤：

步骤S1，基于规则和字典的方法分别抽取数字乡村和数字城市的知识元素，然后基于预设的语义模型从知识元素中提取通用命名实体集；

所述步骤S1具体包括：

通过规则和字典的方法分别抽取数字乡村和数字城市的知识元素，其中，数字乡村的知识元素集合，数字城市的知识元素集合；

基于预先设定的语义分析模型，对集合R和Q分别进行预处理，得到预处理后的集合和/>;

比较集合和集合/>，将两个集合中的相同知识元素提取出来形成共同集，计算共同集中每一个知识元素分别在集合中/>和集合/>中出现的频次F1和F2；

判断F1和F2是否满足预设阈值条件，当F1和F2都满足预设阈值条件时，表示该知识元素为数字城市和数字乡村的通用命名实体，进而得到通用命名实体集；

所述预设阈值条件为F1≥0.3，且F2≥0.3；

步骤S2，计算抽取的数字乡村知识元素中各元素的词频和逆文档频率，确定数字乡村的专属命名实体集；

所述步骤S2具体包括：

将集合减去集合/>，/>得到集合/>；

利用Chrome浏览器，使用插件Web-Scraper，爬取互联网上涉及数字乡村的文章，形成语料库；

使用中文分词包jieba对爬取的文章进行分词处理，对分词结果进行停用词和过滤词处理；

根据分词处理后的文本T和集合中的知识元素，通过TF-IDF算法来计算集合/>中的知识元素的词频TF和逆文档频率IDF：

；

；

其中，为文本T中的特征词/>出现的次数，/>为特征词综述；/>为语料库中的全部文档数目，/>为含有/>的文档个数；计算每个元素的TF-IDF值：；

根据TF-IDF值由高到低对集合中的知识元素进行排序，选取前15-50项形成专属命名实体集/>；

将通用命名实体集和专属命名实体集/>合并，得到最终的命名实体集合/>：

，/>；

步骤S3，根据获取的命名实体集建立知识元素间关联度矩阵，基于矩阵完全一致性条件调整知识元素间的关联度，最终构建出数字乡村知识图谱。

2.根据权利要求1所述的建立数字乡村知识图谱的方法，其特征在于，所述步骤S3具体包括：

根据命名实体集合构建知识元素间关联度矩阵/>：

；

其中，矩阵的元表示集合/>中第/>项相较于第/>项的关联度，/>，根据知识元素间关联度矩阵计算被比较元素/>对于其他元素的相对权重；

计算知识元素间关联度矩阵的最大特征根及其对应的特征向量，并进行关联度的一致性检验；

各个元素的权重向量，

则，知识元素间关联度矩阵的最大特征根：

；

当时，矩阵/>具有完全一致性，而一致性不完全时，/>；

采用其余个特征根的平均值来作为关联度的一致性指标/>;

关联度的平均随机一致性指标为与矩阵阶数相关的常数，关联度的相对一致性指标；

当关联度的相对一致性指标时，判断矩阵基本符合完全一致性条件；当关联度的相对指标/>时，判断矩阵是不符合完全一致性条件的，需要重新修正各知识元素间关联度，直到各个知识元素之间达到相对一致性条件。

3.根据权利要求1所述的建立数字乡村知识图谱的方法，其特征在于，所述最终构建出数字乡村知识图谱是基于关联度的计算结果，具体是基于预设关联度条件生成命名实体之间的连线构建出数字乡村知识图谱；

基于各个命名实体的词频大小生成不同半径的圆代表命名实体，命名实体之间的连线基于知识元素之间的关联度确定；

对步骤S3计算的第项知识元素与其他元素之间的关联度结果/>进行筛选，当两个知识元素之间的关联度满足所述预设关联度条件，则生成对应命名实体之间的连线，否则，不展示两者之间的连线关系；所述预设关联度条件为关联度/>。