CN112527915A

CN112527915A - 线性文化遗产知识图谱构建方法、系统、计算设备和介质

Info

Publication number: CN112527915A
Application number: CN202011287833.2A
Authority: CN
Inventors: 王雨晨
Original assignee: University of Science and Technology Beijing USTB
Current assignee: University of Science and Technology Beijing USTB
Priority date: 2020-11-17
Filing date: 2020-11-17
Publication date: 2021-03-19
Anticipated expiration: 2040-11-17
Also published as: CN112527915B

Abstract

本发明的实施例公开了一种线性文化遗产知识图谱构建方法、系统、计算设备和存储介质。所述方法包括：S20、获取线性文化遗产的原始数据，其中所述原始数据包括图像数据、语音数据和文本数据；S22、对所述图像数据、语音数据和文本数据分别采用不同的网络模型进行实体和关系抽取；S24、通过知识表示将得到的实体和关系进行表示，建立基于语义网的知识标识框架；S26、基于所述知识标识框架，构建线性文化遗产可视化知识图谱展示单元。通过本发明的知识图谱构建方法、知识图谱系统，大大减少了考古工作人员的工作量，提高了工作效率，降低了工作难度。

Description

线性文化遗产知识图谱构建方法、系统、计算设备和介质

技术领域

本发明涉及线性文化遗产研究领域，更具体地，涉及一种线性文化遗产知识图谱构建方法、系统、计算设备和存储介质。

背景技术

从文化遗产的视角，对古代交通遗产进行研究和保护，是近几年的发展趋势。线性文化遗产是一类具有显著形态分布特征的文化遗产类型，是由人工营造的线状遗迹串联起来，或沿自然形成的线形边界排列起来的点状遗产所组成。对于线性文化遗产本体进行文献阅读、田野踏查，并基于田野踏查数据，全面系统地对古道进行分级以及对古道相关遗存进行分类，是进行线性文化遗产的保护与研究的先决条件。

线性文化遗产包含的遗存本体种类多、数量大，田野踏查获得的数据相应地也种类多、数量大，传统方法高度依赖专业技术人员的人工作业，难以快速、批量地对于古道进行分级以及对于其它相关遗存进行分类。随着现代化进程的推进和人类活动对于地形地貌的改变，线性文化遗产面临的威胁也日益增大，古道路面和相关遗存不断消失。尽快进行研究和保护变得更为迫切。

发明内容

本发明第一方面提供一种线性文化遗产知识图谱构建方法，包括：

获取线性文化遗产的原始数据，其中所述原始数据包括图像数据、语音数据和文本数据；

对所述图像数据、语音数据和文本数据分别采用不同的网络模型进行实体和关系抽取；

通过知识表示将得到的实体和关系进行表示，建立基于语义网的知识标识框架；

基于所述知识标识框架，构建线性文化遗产可视化知识图谱展示单元。

在一个具体实施例中，对所述图像数据进行实体和关系抽取包括：

第一卷积层将图像数据进行第一卷积操作，得到第一特征提取数据；

第二卷积层将所述第一特征提取数据进行第二卷积操作，得到第二特征提取数据；

最大池化层将所述第二特征提取数据进行下采样操作，得到下采样数据；

注意力机制单元对所述下采样数据进行图谱特征挖掘，得到图谱特征数据；

第三卷积层将所述图谱特征数据进行第三卷积操作，得到第三特征提取数据；

第四卷积层将所述第三特征提取数据进行第四卷积操作，得到第四特征提取数据；

全连接层接收所述四特征提取数据并由第一分类器输出识别结果。

在一个具体实施例中，所述注意力机制单元对所述下采样数据进行图谱特征挖掘，得到图谱特征数据包括：

第五卷积层，接收经过所述下采样操作的历史图像数据特征或相关遗迹图像数据特征，并输出第五特征提取数据；

第六卷积层，接收当下古道图像数据特征，并输出第六特征提取数据；

第一乘法加权单元，用于将第五特征提取数据乘法加权到第六特征提取数据，得到第一乘法加权输出数据；

第七卷积层，用于接收所述第一乘法加权输出数据，输出第七特征提取数据；

加法加权单元，用于将第七特征提取数据加权到来自最大池化层输出的经过下采样的当下古道图像数据特征，获取获得注意力机制作用下的输出结果。

在一个具体实施例中，对所述语音数据进行实体和关系抽取包括：

语音特征提取单元提取语音数据的语音特征向量；

语音知识提取单元根据所述特征向量，提取语音数据的实体和关系。

其中，所述语音知识提取单元根据所述特征向量，提取语音数据的实体和关系包括：

GRU神经网络接收所述特征向量，输出第一识别结果；

BiLSTM神经网络接收所述特征向量，输出第二识别结果；

深度神经网络接收所述特征向量，输出第三识别结果；

融合单元对第一至第三识别结果的优劣进行排序从而输出最优识别结果。

在一个具体实施例中，对所述文本数据进行实体和关系抽取包括：

Seq2seq翻译单元将文本数据向量化，对输入文本的词语进行映射，将词语转换为相应的词向量并将向量化的词进行拼接，得到输入向量；

由循环神经网络构成的编码器将所述输入向量编码为一个定长的语义向量；

由循环神经网络构成的解码器利用所述语义向量初始化解码器，使用特定的开始符，作为第一时刻的输入，开始解码直至输出停止符。

在一个具体实施例中，所述方法还包括：

在图像数据关系提取时将所述图像数据进行实体和关系抽取的识别结果和所述文本数据进行实体和关系抽取的识别结果进行融合。

本发明第二方面提供一种性文化遗产知识图谱系统，包括：

数据获取模块，用于获取线性文化遗产相关数据，包括图像数据、语音数据和文本数据；

知识抽取模块，用于对所述相关数据进行实体和关系抽取；

知识表示模块，用于对通过知识表示将得到的实体和关系进行表示，建立语义网框架表示；

存储模块，用于对语义网框架的三元组数据进行存储；

知识图谱展示模块，用于可视化展示三元组数据对应的知识图谱。

在一个具体实施例中，所述知识抽取模块还包括：

图像知识提取模型，包括：

第一卷积层，用于将图像数据进行第一卷积操作，得到第一特征提取数据；

第二卷积层，用于将所述第一特征提取数据进行第二卷积操作，得到第二特征提取数据；

最大池化层，用于将所述第二特征提取数据进行下采样操作，得到下采样数据；

注意力机制单元，用于对所述下采样数据进行图谱特征挖掘，得到图谱特征数据；

第三卷积层，用于将所述图谱特征数据进行第三卷积操作，得到第三特征提取数据；

第四卷积层，用于将所述第三特征提取数据进行第四卷积操作，得到第四特征提取数据；

顺序连接的全连接层和第一分类器，其中全连接层接收所述四特征提取数据，第一分类器输出识别结果，语音知识提取模型，包括：

语音特征提取单元，用于提取语音数据的语音特征向量；

语音知识提取单元，用于根据所述特征向量，提取语音数据的实体和关系，文本知识提取模型，包括：

Seq2seq翻译单元，将文本数据向量化，对输入文本的词语进行映射，将词语转换为相应的词向量并将向量化的词进行拼接，得到输入向量；

由循环神经网络构成的编码器，将所述输入向量编码为一个定长的语义向量；

由循环神经网络构成的解码器，利用所述语义向量初始化解码器，使用特定的开始符，作为第一时刻的输入，开始解码直至输出停止符。

在一个具体实施例中，所述注意力机制单元包括：

乘法加权单元，用于将第五特征提取数据乘法加权到第六特征提取数据，得到第一乘法加权输出数据；

在一个具体实施例中，所述语音知识提取单元包括：

GRU神经网络，用于接收所述特征向量，输出第一识别结果；

BiLSTM神经网络，用于接收所述特征向量，输出第二识别结果；

深度神经网络，用于接收所述特征向量，输出第三识别结果；

融合单元，用于对第一至第三识别结果的优劣进行排序从而输出最优识别结果。

在一个具体实施例中，所述知识图谱展示模块还包括：

数据输入单元，用于对待知识提取的线性文化遗产数据进行输入，发送到所述数据获取模块，进而由知识抽取模块进行实体和关系抽取，由知识表示模块110进行表示，存储在存储模块中，并由知识图谱展示模块可视化呈现。

在一个具体实施例中，所述知识图谱展示模块还包括：知识图谱区、GIS接口单元和GIS显示区，其中

知识图谱区响应于用户在知识图谱区显示的语义网上点选实体并点击所述GIS接口单元，调用GIS地图，在GIS显示区根据知识图谱所存储的实体的地理位置数据，在地图对应位置处显示所述实体及相关实体及属性。

在一个具体实施例中，知识图谱区响应于用户在知识图谱区显示的语义网上点选两个非古道实体并点击所述GIS接口单元，在GIS显示区根据知识图谱所存储的所述两个非古道实体的地理位置数据，在地图对应位置处描绘出所述两个非古道实体之间的古道实体走势，并标注出古道级别以及沿途相关非古道实体。

本发明第三方面提供一种计算设备，包括处理器和存储有程序的存储器，其特征在于，所述处理器执行所述程序时，实现本发明第一方面所述的方法。

本发明第四方法提供一种存储介质，存储有程序，所述程序被执行时，实现本发明第一方面所述的方法。

本发明的有益效果如下：

通过本发明的知识图谱构建方法、知识图谱系统，大大减少了考古工作人员的工作量，提高了工作效率，降低了工作难度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出根据本发明一个实施例的知识图谱构建方法的应用架构图。

图2示出根据本发明一个实施例的线性文化遗产的原始数据来源。。

图3示出根据本发明一个实施例的线性文化遗产知识图谱构建方法。

图4示出根据本发明一个实施例的古道实地勘测照片。

图5示出根据本发明一个实施例的工作人员根据收集的资料进行的手绘示意图。

图6示出根据本发明一个实施例的图像知识提取模型示意图。

图7示出根据本发明一个实施例的注意力机制单元示意图。

图8示出根据本发明一个实施例的语音知识提取模型示意图。

图9示出根据本发明一个实施例的文本知识提取模型示意图。

图10示出根据本发明一个实施例的知识图谱结构示意图。

图11示出根据本发明一个实施例的线性文化遗产知识图谱系统示意图。

图12示出根据本发明一个实施例的线性文化遗产知识图谱系统的可视化界面示意图。

图13示出图12中GIS显示区中显示图片的放大示意图。

图14示出根据本发明一个实施例的计算设备示意图。

具体实施方式

为使本发明的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

知识图谱是前沿人工智能技术，其基本思想来自于知识库技术，能够挖掘、管理和分析大量的知识。知识图谱技术是一种交叉领域技术，涉及到信息检索、语义网、大数据、自然语言处理、可视化技术、机器学习等领域。对于知识图谱，可以使用多种分析方法进行深度的挖掘和分析。基于知识图谱的这些特点，发明人认为适合于线性文化遗产的数字化存储、检索和展示。

尽管在文化遗产领域，已经利用知识图谱实现了对应的方案，如公开号为CN107122399A和CN111143574A所披露的。然而，这些方案针对的对象均是静态的不变的，这不适用于线性文化遗产的研究，因为线性文化遗产的数据来源复杂，有例如地方志这样的文字资料、有图画和照片这样的图像数据、有对遗产所在地人员的采访录音。

为此，本发明一方面提供一种线性文化遗产知识图谱构建方法。

图1示出根据本发明一个实施例的知识图谱构建方法的应用架构图，包括计算设备10和终端12，两者之间通过网络建立通信连接，网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等。

其中，计算设备10，例如为服务器，基于获取的数据，包括结构化数据、半结构化数据以及非结构化数据等，对数据进行知识抽取，根据抽取得到的实体和关系构建基于语义网的知识表示框架从而得到知识图谱，而知识图谱用于发送至终端12，供终端12根据用户需求指示展示知识图谱中不同区域范围的图谱情况，并响应于用户对知识图谱中要素的点击调用GIS(地理信息系统)软件对该要素相关的空间分布、保存情况进行可视化呈现。

在一个具体示例中，终端12具体可以是台式终端或移动终端，移动终端具体可以是手机、平板电脑、笔记本电脑等中的至少一种。

需要说明的是，图1中的网络、计算设备、终端的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端、网络和计算设备。例如服务器10可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

为了解决背景技术中所提及的技术问题，在本发明的一个实施例中，提供一种线性文化遗产知识图谱构建方法。本实施例以该方法应用于上述图1中的计算设备10来举例说明。如图3所示，该方法具体包括如下步骤：

S20、获取线性文化遗产的原始数据，其中所述原始数据包括图像数据、语音数据和文本数据；

其中，如图2所示，所述原始数据除了可以包括像古墓葬这样的考古资料等传统文化遗产理论框架下的数据外，考虑到线性文化遗产是一种交通遗产，有大量的文字资料(例如正史/近现代研究著作/诗文笔记等)、图像资料(例如志书插图和近现代测绘图等)和实地勘查获得的资料均能够得到线性文化遗产的线索。为此，需要将这些资料也作为数据源考虑进来。

在一个具体示例中，以云南大理州永平县曲硐至大花桥前古道路线为例。

在文字资料方面，例如清代《滇西兵要界务图注》有关于曲硐的记载：

“曲硐距新白土铺七十里，旧驻永昌协守备今裁。居民五百余户，多回民，汉人占四分之一。人、马店八家，能容混成协住宿……

例如在诗文中，对于曲硐有如下记载：

曲硐(民国)张自明

黄连铺外晓风清，叫狗山头月尚明。

旧路迂回新路直，永平曲硐两堪行。

在实地勘察方面，如图4所示，为铁厂至小花桥古道起点处古道路面的实际情况。

在传统的研究方法中，考古工作人员首先收集这样的资料，并结合这些资料进行实地踏查，并根据实地踏查结果对该段道路进行道路分类和相关遗迹进行记录说明，填入调查表中。

接下来，以铁厂至大小花桥至大花桥路段为例说明。

其实地测得的GPS坐标为北纬(25.384230；25.383929；25.379994；25.380653)，东经(99.455581；99.454969；99.451322；99.451858)，海拔高程(906m-1968m)。

古道长度约3.47km，宽度3.7m。

修建年代：清至近代。

古道结构为石块路面杂铺，中间较大石块为引马石。

现存情况：此段古道保存状况良好，地面上依旧可见石板路面和中间的引马石。铁厂至小花桥村一段古道未经过现代整修，引马石两侧石板凹陷，推测周边农田使用道路石块做挡土墙。小花桥村内古道路段保存状况类似于铁厂至小花桥段，凹陷情况较轻微。小花桥至大花桥中间古道已被现代农田、水泥道路取代、叠压，两村之间古道上仅存大花桥关壁一座，推测原也作为大花桥村寨门。2015年依照旧有道路重新整修大花橋古道，路基已改为水泥。路面80％為原有古道石塊，剩餘20％取材自附近河谷，路基已改为水泥。普照寺旧址在今天的博南古道博物馆，前方有古道通过进入博南山脉。

为此，对于该古道的等级为：铁厂至小花桥段为一级古道，小花桥村内古道为一级古道，小花桥至大花桥为四级，大花桥村内古道为一级和二级。

同周边相关联遗迹间的关系：大花桥村古道边商铺保存状况良好，普照寺旧址在今天的博南古道博物馆，前方有古道经过进入博南山脉。

文献记载明代时永平境内有“上甸、花桥二关”，说明自明代起花桥村就是古道上的重要关隘和据点。

综合上面的信息，工作人员可以画出如图5所示的示意图。

这里，需要说明的是，根据预定规则，古道路面分级标准为：第一级为路面路基保存完好的古道；第二级为路面不存，路基保存完好的古道；第三级为路面路基不存，但根据相关遗存可以推知具体路线的古道。第四级为无法得知确切的道路走向，为推测古道。

可见，在传统方式中，对于这些数据的采集和研究均需要人工来完成，任务艰巨并且非常耗时。

为此，本发明中对于作为知识图谱训练集的素材，原始数据的获取至少部分可通过网络爬虫方式得到，例如爬取地方志等文字资料，一部分数据通过实地踏查获得的采访音频、拍摄图片、文字记录等数据。

具体地，获取原始数据的过程如下：

选取线性文化遗产的部分路段，该路段应满足以下几个条件：总长度不少于200千米；至少包含不同级别(一、二、三级)的路段各10段；至少包含各类相关遗存(古代桥梁、古代关隘、古代渡口、古代碑刻、古代建筑)各5处。

对选取路段的古道路面进行图像数据的采集。在路段的不同位置拍摄照片，每个路段至少采集10张照片。

对选取的路段进行地理信息的采集。从线性文化遗产的一个端点出发，向另一个端点的方向，顺序采集路线走向的GPS信息。

详细记录选取路段的具体走向、宽度、路面、路基和周边地形条件等方面信息；并将这些信息与已经完成的考古材料和历史文献研究进行比对。

对选取路段经行的相关遗存点进行图像数据的采集，主要对象包括：古代桥梁、古代关隘、古代渡口、古代碑刻、古代建筑。对于每项遗存至少采集10张照片，尤其注意对其特征点照片的采集，如古代石拱桥的拱券部分，古代建筑的檐口部分等。结合遗存功能、年代、形制对相关遗存进行分类整理。

对选取路段经行的相关遗存点进行地理信息的采集。

如图2所述，除了上述现场踏查获得的资料，地理位置信息等，还有文字资料、图像资料均是原始数据。

然而，对于知识图谱来说，能够获得的原始数据中仅有少量结构化数据存在(工作人员前期对上述数据按照线性文化遗产领域专家制定的知识模板进行加工后的数据)，而前文提及的各类数据均为半结构化数据或非结构化数据。

S22、对所述图像数据、语音数据和文本数据分别采用不同的网络模型进行实体和关系抽取；

具体地，对于结构化数据，由于按照预设的模板进行的数据采集，所以对于数据中包含的实体和关系已经存在，可直接将结构化数据导入例如mysql数据库中。当然也可以将结构化数据输入本发明的知识抽取模型进行知识抽取。

对于半结构化数据和结构化数据而言，需要经过本发明的知识抽取模型进行知识抽取。

在一个具体实施例中，实体抽取可通过可以使用机器学习中公知的CNN(卷积神经网络)、BiLSTM(双向长短期循环神经网络)和CRF(条件随机场)等知识抽取模型进行迭代训练，技术成熟，使用效果好，直至结果的loss不再往下降。关系抽取采用自助法(bootstrapping方法)或基于触发词的方法。

例如，可以构成这样的CNN网络模型对图像数据进行知识提取：

第一卷积层C1，即特征提取层，对经过灰度化处理的如图4那样的图像灰度图求取灰度图中每个像素点特征构成的特征图以获得图片的低层特征。

激活函数层，卷积得到的结果使用激活函数进行计算，再将计算所得作为特征值赋予C1层的某个神经元。

下采样层S1，对C1层的输出提取特征，提取该图像的特征。

第二卷积层C2，即第二个特征提取层，输入S1中的特征图，再作卷积计算，抽象化原始图像，进一步提取深度卷积特征。

重复建立更多的S层和C层，进一步抽象化提取的特征，获取图片的局部或整体的语义特征，即高层特征。

输出层，输出层与最深一层的S层全连接。最深一层的S层的每一个神经元都与输出层的一个神经元相连接。

利用该CNN模型，能够提取图像的特征，从而得到图像数据的实体和关系。

然而，考虑到线性文化遗产的原始数据类型繁多，例如包括当地人的采访音频、拍摄的图像、文字资料等，所以在进行知识抽取的过程中，本发明采用多模态深度学习网络架构。即发明人针对语音、图像和文字资料分别构建不同的深度学习模型进行抽取。

构建图像知识提取模型

利用已经做过标注的图像资料中的图片数据以及实地踏查所得到的图片数据进行图像知识提取模型的训练。

如图6所示，图像知识提取模型40包括：

第一卷积层400，用于将图像数据进行第一卷积操作，得到第一特征提取数据；

在一个具体示例中，将如一系列如图4所示的图像数据作为输入第一卷积层中。

第二卷积层405，用于将所述第一特征提取数据进行第二卷积操作，得到第二特征提取数据；

最大池化层410，用于将所述第二特征提取数据进行下采样操作，得到下采样数据；

注意力机制单元415，用于对所述下采样数据进行图谱特征挖掘，得到图谱特征数据；

由于在古道级别的判断上，需要提取诸多细节，例如其长度、宽度、古道结构以及现存状况等，故对于线性文化遗产，在本发明中特别引入了注意力机制模型，对于图谱特征进一步进行深度挖掘。

第三卷积层420，用于将所述图谱特征数据进行第三卷积操作，得到第三特征提取数据；

第四卷积层425，用于将所述第三特征提取数据进行第四卷积操作，得到第四特征提取数据；

顺序连接的全连接层430和第一分类器435，其中全连接层接收所述四特征提取数据，第一分类器输出识别结果。

在训练时，识别结果即从图4的图像中可以提取出的实体：古道、属性：古道长度、宽度、级别等等。

在一个具体实施例中，这4个串联式卷积层全部采用3×3大小的卷积核，通道数分别为64、128、256、512。

在一个可选实施例中，每个卷积操作后通过批归一化(Batch normalization)处理避免过拟合并提高网络的泛化能力。进一步，可以采用ReLU函数进行非线性变换。

在一个具体实施例中，第一分类器435采用核极限学习机(KELM)作为分类器。

在一个具体实施例中，第一分类器435采用交叉熵函数作为整体网络的代价函数(Cost)，采用梯度下降法优化网络模型参数，迭代训练过程中根据Cost结果变化趋势获得最优网络模型。

在上述网络中，为了提取古道的细节，引入图像域注意力机制模块。

然而，对于当下已经不存在古道，例如第三级古道和推测古道，需要知识图谱对其也能够提取并推测，这就要借助于相关遗迹或古道在历史古籍上的记录来进行提取或推测。

例如，该古道在清代绘制的画卷上存在，那么在本模型中将以对不同时间出现的相关画卷信息作为加权因子对现有的图片数据进行加权。

具体地，如图7所示，历史图像数据和当下实地勘察图像数据分别经过如图7所示的最大池化层后，分别得到第一下采样数据和第二下采样数据。

本发明的注意力机制单元415包括：

第五卷积层Conv-5 4151，其接收历史图像数据特征，并输出第五特征提取数据，其中，第五卷积层卷积核大小为3×3×128/k，相当于其中k为缩减率；

第六卷积层Conv-6 4154，其中第六卷积层接收当下图像数据特征，并输出第六特征提取数据，其中，第六卷积层卷积核大小为3×3×128/k；

乘法加权单元4155，用于将第五特征提取数据乘法加权到第六特征提取数据，得到第一乘法加权输出数据。也就是将历史图像特征作为权重因子乘法加权到当下图像特征中。

在这种情况下，如果历史图像中也不存在该古道或，则古道特征被在第一乘法加权输出数据中“抹去”；若存在，则在第一乘法加权输出数据中被“记下痕迹”。

第七卷积层Conv-8 4156，用于接收所述第一乘法加权输出数据，输出第七特征提取数据，其中第七卷积层卷积核大小为1×1×128；

加法加权单元4157，用于将第七特征提取数据加权到来自图4中最大池化层410输出的下采样数据(即当下图像数据特征)，获取获得注意力机制作用下的输出结果。这时候，如果历史图像中也不存在该古道，则由于古道特征被在第一乘法加权输出数据中“抹去”，通过加法加权，并不影响当下图像特征的正确提取。

由于古道的情况复杂，有保存完好的(一级古道)、有路面不存路路基保存完好的(二级古道)；有路面路基不存，但根据相关遗存可以推知具体路线的古道(三级古道)等等，通过在深度学习网络中引入注意力机制单元415，聚焦古道局部特征信息的深度挖掘，以深度模型逐层分布式特征表达能力替代传统人工设计的特征提取方式，构建快速无损判别模型，以解决古道相关数据结构多样化、复杂、非线性等因素带来的模型识别精度低、过拟合、稳定性和鲁棒性差的问题。并且实现了无边框进行监督的物体自动定位，缓解目标检测对数据的依赖性。

在一个具体示例中，k可以取1、2、4、8，根据网络收敛趋势及稳定性结果确定出本实例最佳缩减率k为4。

构建语音知识提取模型50

将语音数据输入语音知识提取模型50中。语音数据例如当地人民群众的采访，例如，“听老辈子说，曲硐村中在清朝年级有一条古道，由北门清真寺门前经过，从桃园村中心通过。”

如图8所示，语音知识提取模型包括：

语音特征提取单元500，用于提取语音数据的语音特征向量；

语音知识提取单元505，用于根据所述特征向量，提取语音数据的实体和关系。

具体地，语音知识提取单元505包括：

GRU(Gated Recurrent Unit)神经网络5050，用于接收所述特征向量，输出第一识别结果，例如提取出实体：曲硐村，属性(古道走向)：由北门清真寺门前经过，从桃园村中心通过；相关遗迹：清真寺。

BiLSTM神经网络5053，用于接收所述特征向量，输出第二识别结果；

深度神经网络(DNN)5056，用于接收所述特征向量，输出第三识别结果；

融合单元508，用于对第一至第三识别结果的优劣进行排序从而输出最优识别结果。在一个示例中，可采用softmax实现。

组合不同模型的结果能够带来显著的改进，从而降低了多个模型中个别较差的模型对整体结果的影响。

考虑到被采访的当地人员可能说的是方言，这给实地踏查工作带来了很大的不便，为此在对上述模型进行训练时，可以采用方言语料对上述模型进行训练。为此，语音知识提取单元505还可以包括方言语料库，例如可以从市场上购买。利用这样的方言语料库提供的语音样本对上述模型进行训练。

构建文本知识提取模型

对于文本数据来源，包括现有的古籍例如地方志及互联网上的文字。例如清代《滇西兵要界务图注》有关于曲硐的记载：“曲硐距新白土铺七十里，旧驻永昌协守备今裁。”。考虑到地方志等文本中的文字是古文而不是现代文，对于考古工作人员人工标注工作造成不便，因此构造本发明的文本知识提取模型60，如图9所示，包括：

Seq2seq翻译单元601，将文本数据向量化，对输入文本的词语进行映射，将词语转换为相应的词向量并将向量化的词进行拼接，得到输入向量；

由循环神经网络构成的编码器603，将所述输入向量编码为一个定长的语义向量；

由循环神经网络构成的解码器607，利用所述语义向量初始化解码器607，使用特定的开始符，作为第一时刻的输入，开始解码直至输出停止符。

利用编码器-解码器网络构成文本知识提取模型，可以从待翻译文本中选择对该时刻最重要的子集进行额外关注，以提升翻译效果。

在一个优选实施例中，本发明的文本知识提取模型还包括注意力单元，接收t时刻解码器的输出，输出注意力向量，将注意力向量和解码器t-1时刻的输出得到t+1时刻解码器的输入，解码直至输出停止符。

在一个优选实施例中，考虑到图像数据中关系提取相比于文本数据提取困难，然而在图像中也包含了很多关系，故本发明在图像数据关系提取时可以将图6所示图像知识提取模型40和图9所示的文本知识提取模型60的识别结果进行融合，即将视觉特征和词向量融合在一起，来“帮助”图像知识提取模型的关系提取。

例如，在如4所示的图像中，存在的古道上铺有石块，中间较大石块为引马石。在图像数据的知识提取时，提取出古道结构这个属性及其属性值石块杂铺，尤其是引马石，有时候是困难的。但若有古籍记载了该古道是由石块铺成，则由文本知识提取模型60提取的属性值更准确。

在一个具体示例中，采用mysql数据库存储实体和关系。利用mysql表结构，设定属性的domain和range；指定属性的特性，用于知识的推理。

本领域技术人员能够明了，在知识图谱构建中，对于信息抽取获得的结果中可能存在大量的冗余和错误信息，因此需要清理和整合，为了剔除冗余信息，首先需要进行实体对齐与消歧。实体对齐是知识图谱构建过程中的重要步骤之一，通过实体对齐，将同一个知识图谱内部的实体进行精简，从而实现知识图谱之间的链接与合并，由此构建一个规模更大，服务范围更广泛的知识图谱系统。实体对齐是对于物理世界中的同一个对象，要识别出它在不同语言，不同地域，不同数据源下不同的表示形式，之后用一个全局唯一的编号来标识。实体对齐算法的主要过程是根据具体的知识图谱的特点和处理方法，利用不同的实体识别方法，例如传统概率模型的方法、以及机器学习的方法，来完成实体对齐的任务。实体消歧是专门用于解决同名实体产生歧义问题的技术。通过实体消歧，就可以根据当前的语境，准确建立实体链接。同义关系是指在概念层面上相同或相似的实体。本发明可以采用现有的技术来实现这些步骤，在此不再赘述。

S24、通过知识表示将得到的实体和关系进行表示。

在一个具体示例中，可建立基于语义网的知识表示框架，可采用资源描述框架RDF(Resource Description Framework)作为数据模型，将关系型数据库的数据转换成RDF的三元组数据。RDF提出了一个简单的二元关系模型来表示事物之间的语义关系，即使用三元组集合的方式来描述事物和关系。三元组被用来表示实体与实体之间的关系或者实体的某个属性的属性值是什么。

可采用W3C在2012年推出的映射语言标准Direct Mapping，将关系数据库表结构和数据直接输出为RDF图，在RDF图中所用到的用于表示类和谓词的属于与关系数据库中的表名和字段名保持一致。

在一个具体示例中，结合上述mysql数据库进行说明。

创建映射文件采用开源软件d2rq的数据映射配置规范；生成配置文件，将mysql数据库的表映射到RDF对应的类别下；其次，针对该表的每个字段，编写映射代码将其映射到RDF中对应的属性；对数据库的每个表结构执行上述相同的操作流程；数据转换借用d2rq提供的转换工具dump-rdf，结合所撰写的配置文件，将mysql中的结构化数据转换为RDF格式的数据。

在一个具体示例中，可以使用Neo4j等图数据库将得到的三元组进行存储。

另外，构建好的知识图谱可能会有一些错误，主要集中在三元组(实体-属性-属性值或实体-关系-实体，例如古道-古道级别-三级)的：上下位问题：使图谱中出现环状结构，一般来说，知识图谱是树状结构。属性问题：实体属性出现偏差。逻辑问题，指关系间的逻辑不符合客观事实。本发明可以采用现有的技术来实现这些步骤，在此不再赘述。

S26，构建线性文化遗产可视化知识图谱展示单元。

如图10所示，在上述线性文化遗产的示例中，可以构建的可视化知识图谱包括道路及沿线相关遗迹，包括建筑、城市、墓地、碑。这些作为实体，与线性遗产的关系为所属关系。

知识图谱还保存并可视化地显示这些实体的地理位置属性(经纬度、高程)及其属性值及拍摄的照片。

进一步，例如对于道路本体，知识图谱可还可显示各种属性，例如道路级别、长度、宽度、材质、年代等及其属性值；类似地，对于建筑，知识图谱还可显示年代、保存情况等属性及其属性值；类似地，对于城市，可显示面积、墙体高度等属性及其属性值；类似地，对于墓地和碑，可显示年代、规格、布局等属性及其属性值。

另外，在结构化和半结构化的数据源中的知识有更新时，知识图谱也需要相应地更新，此时主要是数据模式层更新，数据模式层的更新指概念层次的更新，包括概念的层次关系，同义关系和概念的属性定义等。

线性文化遗产知识图谱系统

本发明第二方面提供一种线性文化遗产知识图谱系统，如图11所示，包括：

数据获取模块90，用于获取线性文化遗产相关数据，包括图像数据、语音数据和文本数据；

知识抽取模块92，用于对所述相关数据进行实体和关系抽取；

知识表示模块94，用于对通过知识表示将得到的实体和关系进行表示，建立语义网框架表示；

存储模块96，用于对语义网框架的三元组数据进行存储；

知识图谱展示模块98，用于可视化展示三元组数据对应的知识图谱。

在一个具体实施例中，知识抽取模块92包括如图6所述的图像知识提取模型、如图8所示的语音知识提取模型以及如图9所示的文本知识提取模型。

其中，图像知识提取模型具体包括：

其中，注意力机制单元415包括：

具体地，语音知识提取模型包括：

语音特征提取单元500，用于提取语音数据的语音特征向量；

其中，语音知识提取单元505包括：

GRU(Gated Recurrent Unit)神经网络5050，用于接收所述特征向量，输出第一识别结果；

融合单元5059，用于对第一至第三识别结果的优劣进行排序从而输出最优识别结果。

具体地，文本知识提取模型包括：

作为本发明的知识图谱，需要实现对新的数据进行知识提取的能力，即知识推理能力。为此，如图12以可视化界面形式表示的知识图谱展示模块98中还包括数据输入单元980，管理员可以设置权限，使得该单元仅对考古工作人员可见。工作人员点击该数据输入单元980，弹出输入对话框，上传工作人员获取的新地域的线性文化遗产数据，作为输入发送到该系统的数据获取模块100，进而由知识抽取模块105进行实体和关系抽取，由知识表示模块110进行表示，并存储在存储模块115中，并可以由知识图谱展示模块120可视化呈现。

另外，知识图谱展示模块98还可以包括查询单元985，公众用户可以(考古工作人员当然也可以)在该单元中输入询问信息，例如“云南古道”，则系统经过语义分析，通过图数据库的Cypher查询语句进行实体和关系的检索，若存在相关信息，最终展示出所有云南古道的知识图谱。

在线性文化遗产的考古工作中，往往需要结合GIS地图显示出古道及相关遗迹信息。

为此，知识图谱展示模块98还可以包括GIS接口单元987，用户通过点击知识图谱展示界面上的知识图谱区中的实体，例如上述实施例中的“大花桥”，再点击GIS接口单元，该接口单元通过GIS软件的API接口与其通信，并调用GIS地图，在GIS显示区根据知识图谱所存储的实体的地理位置数据，在地图对应位置处显示大花桥这一实体及其相关实体及属性。

例如系统根据知识图谱存储的大花桥的经纬度及高程，在GIS显示区的地图上进行标注，如果还存储有照片数据，还可将照片加载在标注的旁边位置。

又例如，用户通过点击知识图谱展示界面上的知识图谱区988中的“大花桥”以及“曲硐”两个非古道实体，再点击GIS接口单元，在GIS显示区989根据知识图谱所存储的非古道实体和之间的古道实体的地理位置数据，在地图对应位置处描绘出大花桥至曲硐之间的古道走势，并标注出古道级别以及沿途相关遗迹。如果还存储有照片数据，还可将照片加载在标注的旁边位置。

图13为GIS显示区的放大示意图，其中曲硐至大花桥前古道路线呈东北—西南走向，沿线经过的乡镇村落有：曲硐、桃园村、铁厂村、小花桥村、大花桥村。古道穿越村落中心位置，例如曲硐村中古道由北门清真寺门前经过，从桃园村中心通过，而铁厂、小花桥、大花桥皆沿着古道走向兴建聚落。过桃园村(文献中之桃园铺)后，开始上坡进入山脉，此路段因其路面多乱石而被称为石子坡，约有780米。过石子坡后开始沿着山脊行走，万马归槽即位在此段路线中最高处，两边土壁高耸，因而有“槽”之名，约有130米。出万马归槽即开始下坡，下坡后进入铁厂村，古道沿山间槽谷开辟，先过小花桥村，再进入大花桥村。

曲硐(北门清真寺25.422213°N,99.529212°E)至桃园铺村北口(25.413362°N,99.520417°E)道路线段不存，为推测古道(第四级)。桃园铺村内至石子坡古道起点(25.410772°N,99.517806°E)这一段古道位置已被现代建设覆盖，为第二级古道。

石子坡古道起点至万马归槽石铺路面结束点(25.403292°N,99.494790°E)，此段古道没有经过现代建设或者整修，路面和路基维持状况良好，为第一级古道(在GIS图中插入实地踏查拍摄的照片)，约2.57千米。过万马归槽后(25.401860°N,99.492610°E)，至铁厂村(25.393459°N,99.485467°E)为推测古道，为第四级古道路段，约1.22千米。铁厂村内有一段保存完整的古道路段(起：25.393459°N,99.485467°E；终：25.394215°N,99.483857°E)，有路面石块，路基两侧有现代排水沟，轻微凹陷，但整体状况良好，为第一级古道，长约190米。

铁厂至小花桥古道起点处(25.393385°N,99.466849°E)这一段路面无石块，但宽度不变，路基为土质路面，为第二级古道。小花桥村内古道起点至小花桥村西口石铺路面结束点(25.392896°N,99.463810°E)，路面石块杂铺，保存状况略差于铁厂村的古道，但整体状况和路线仍清晰，为第一级古道，约长180米。小花桥村石铺古道结束点至大花桥关壁(25.386878°N,99.454183°E)，此段古道路线已被农田取代，无法得知确切的道路走向，为推测古道(第四级)。

优选地，可以以不同颜色描绘不同级别的古道走势。

本发明另一方面提供一种计算设备，如图14所示。

图14示出了本申请的另一个实施例提供的一种计算机设备的结构示意图。图12显示的计算机设备120(也即图1中的计算设备10)仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。如图14所示，计算机设备120以通用计算设备的形式表现。计算机设备120的组件可以包括但不限于：一个或者多个处理器或者处理单元1201，系统存储器1202，连接不同系统组件(包括系统存储器1202和处理单元1201)的总线1203。

总线1203表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备120典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备120访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器1202可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)和/或高速缓存存储器1204。计算机设备120可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统1205可以用于读写不可移动的、非易失性磁介质(图12未显示，通常称为“硬盘驱动器”)。尽管图12中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线1203相连。存储器1202可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行实施例一的功能。

具有一组(至少一个)程序模块1206的程序/实用工具1207，可以存储在例如存储器1202中，这样的程序模块1206包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块1206通常执行本申请所描述的实施例中的功能和/或方法。

计算机设备120也可以与一个或多个外部设备1208(例如键盘、指向设备、显示器等)通信，还可与一个或者多个使得用户能与该计算机设备120交互的设备通信，和/或与使得该计算机设备120能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1209进行。并且，计算机设备120还可以通过网络适配器1210与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图12所示，网络适配器1210通过总线1203与计算机设备120的其它模块通信。应当明白，尽管图14中未示出，可以结合计算机设备120使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器单元1201通过运行存储在系统存储器1202中的程序，从而执行各种功能应用以及数据处理，例如实现本申请第一方面的构建方法。

本申请的另一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面所提供的方法。在实际应用中，所述计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。

计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

在本发明的描述中，需要说明的是，在本发明的描述中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims

1.一种线性文化遗产知识图谱构建方法，其特征在于，包括：

S24、通过知识表示将得到的实体和关系进行表示，建立基于语义网的知识标识框架；

S26、基于所述知识标识框架，构建线性文化遗产可视化知识图谱展示单元。

2.根据权利要求1所述的方法，其特征在于，对所述图像数据进行实体和关系抽取包括：

3.根据权利要求1所述的方法，其特征在于，对所述语音数据进行实体和关系抽取包括：

语音特征提取单元提取语音数据的语音特征向量；

语音知识提取单元根据所述特征向量，提取语音数据的实体和关系，

GRU神经网络接收所述特征向量，输出第一识别结果；

BiLSTM神经网络接收所述特征向量，输出第二识别结果；

深度神经网络接收所述特征向量，输出第三识别结果；

4.根据权利要求1所述的方法，其特征在于，对所述文本数据进行实体和关系抽取包括：

5.一种性文化遗产知识图谱系统，其特征在于，包括：

知识抽取模块，用于对所述相关数据进行实体和关系抽取；

存储模块，用于对语义网框架的三元组数据进行存储；

6.根据权利要求5所述的系统，其特征在于，所述知识抽取模块还包括：

图像知识提取模型，包括：

顺序连接的全连接层和第一分类器，其中全连接层接收所述四特征提取数据，第一分类器输出识别结果，

语音知识提取模型，包括：

语音特征提取单元，用于提取语音数据的语音特征向量；

语音知识提取单元，用于根据所述特征向量，提取语音数据的实体和关系，

文本知识提取模型，包括：

7.根据权利要求6所述的系统，其特征在于，所述语音知识提取单元包括：

GRU神经网络，用于接收所述特征向量，输出第一识别结果；

8.根据权利要求5-7中任一项所述的系统，其特征在于，所述知识图谱展示模块还包括：

数据输入单元，用于对待知识提取的线性文化遗产数据进行输入，发送到所述数据获取模块，进而由知识抽取模块进行实体和关系抽取，由知识表示模块进行表示，存储在存储模块中，并由知识图谱展示模块可视化呈现。

9.根据权利要求5-7中任一项所述的系统，其特征在于，所述知识图谱展示模块还包括：知识图谱区、GIS接口单元和GIS显示区，其中

10.根据权利要求9所述的系统，其特征在于，

知识图谱区响应于用户在知识图谱区显示的语义网上点选两个非古道实体并点击所述GIS接口单元，在GIS显示区根据知识图谱所存储的所述两个非古道实体的地理位置数据，在地图对应位置处描绘出所述两个非古道实体之间的古道实体走势，并标注出古道级别以及沿途相关非古道实体。

11.一种计算设备，包括处理器和存储有程序的存储器，其特征在于，所述处理器执行所述程序时，实现权利要求1-4中任一项所述的方法。

12.一种存储介质，存储有程序，其特征在于，所述程序被执行时，实现权利要求1-4中任一项所述的方法。