CN111460080B - 用于开源数据热度分析的事件图谱构建与查询方法及系统 - Google Patents

Abstract

本发明公开一种用于开源数据热度分析的事件图谱构建与查询方法及系统，该方法包括：通过哈希表构建事件图谱的表示模型并根据导入开源事件数据初始化，更新图谱的顶点哈希表和边哈希表；根据新到达事件数据递增维护事件图谱，更新图谱的边属性哈希表；基于更新的顶点哈希表、边哈希表或边属性哈希表实现热度查询。用于解决现有技术中由于全球开源时间数据规模大导致图谱对不同事件记录存在冗余和重叠等问题，实现精简表示关联时空事件，高效支持国际关系事件热度分析等查询。

Description

用于开源数据热度分析的事件图谱构建与查询方法及系统

技术领域

本发明涉及数据分析处理技术领域，具体是一种用于开源数据热度分析的事件图谱构建与查询方法及系统。

背景技术

开源国际关系事件数据已经成为重要的大数据资源，能有效辅助开展国际关系精准研判。以GDELT为例，其提供的开源事件数据涉及了全球不同地理区域、不同时间段的海量事件。热度分析统计特定事件实体、事件类型、时间区间、空间区域的热度，支持热点事件挖掘分析，是数据挖掘的常用功能。然而，由于事件数据规模大，事件相互关联性强，高效存储和挖掘国际关系事件热度，快速提供查询结果是热度分析的核心。

随着大规模知识获取和知识推理技术的进步，知识图谱技术已经成为知识存储和分析的主流工具。知识图谱利用网络拓扑结构描述实体和实体之间的相互关系，具有结构灵活，表达能力强，适用范围广的特点。目前的知识图谱通常用于编码静态的实体和实体之间关联关系的知识，然而，全球开源事件数据规模大，覆盖范围涉及不同空间和不同时间段，不同的事件记录可能存在冗余和重叠属性域，要求知识图谱构建系统能够精简表示关联时空事件，高效支持国际关系事件热度分析等查询。

发明内容

本发明提供用于开源数据热度分析的事件图谱构建与查询方法及系统，用于克服现有技术中由于全球开源时间数据规模大导致图谱对不同事件记录存在冗余和重叠等缺陷，实现精简表示关联时空事件，高效支持国际关系事件热度分析等查询。

为实现上述目的，本发明提供一种用于开源数据热度分析的事件图谱递增构建与查询方法，包括：

步骤1，通过哈希表构建事件图谱的表示模型并根据导入开源事件数据初始化，更新图谱的顶点哈希表和边哈希表；

步骤2，根据新到达事件数据递增维护事件图谱，更新图谱的边属性哈希表；

步骤3，基于更新的顶点哈希表、边哈希表或边属性哈希表实现热度查询。

为实现上述目的，本发明还提供一种用于开源数据热度分析的事件图谱递增构建与查询系统，包括处理器及与所述处理器连接的存储器，所述存储器存储有用于开源数据热度分析的事件图谱递增构建与查询程序，所述处理器运行用于开源数据热度分析的事件图谱递增构建与查询程序时执行上述方法的步骤。

本发明提供的用于全球开源事件数据热度分析的事件图谱递增精简构建与查询方法及系统，采取哈希表精简存储顶点集合与边集合的属性并实现动态递增维护，提供边热度、顶点热度、时间范围热度、空间范围热度等在线查询功能。与现有的静态知识图谱方法相比，能够避免存储原始事件记录的冗余信息，支持常数时间的键值对访问，支持全球范围的开源事件数据的深度热度分析。

附图说明

图1为本发明实施例一提供用于全球开源事件数据热度分析的事件图谱递增精简构建与查询方法的流程图。

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

实施例一

如图1所示，本发明实施例提供一种用于全球开源事件数据热度分析的事件图谱递增精简构建与查询方法，设计一种事件图谱哈希表存储表示模型和一种递增构建方法。递增构建方法分为图谱结构定义阶段、图谱属性维护阶段、在线查询等三个过程。图谱结构定义阶段初始化图谱的表示模型，提取事件的主动方和被动方编码，更新图谱的顶点和边集合。图谱属性维护阶段提取事件的主动方和被动方的名称、国别、地理位置、影响力属性，更新图谱的顶点属性集合；提取事件的类型、事件的时间、事件的地理位置、事件的影响等重要属性，更新图谱的边属性集合。在线查询过程提供高效的事件热度查询、实体热度查询、时间范围热度查询、空间范围热度查询。

具体包括如下步骤：

步骤S1，通过哈希表构建事件图谱的表示模型并根据导入开源事件数据更新图谱的顶点哈希表和边哈希表；

图谱结构定义阶段：定义事件图谱哈希表存储表示模型，主要分为根据GDELT1.0和2.0编码规范提取事件核心要素，采用哈希表分别索引图谱的顶点集合和边集合，采用K-D tree建立顶点和边的地理位置索引。

步骤S11，建立顶点哈希表索引图谱中的顶点集合。顶点哈希表的主键对应GDELT1.0和2.0编码规范中的事件的主动方actor1Name和事件被动方actor2Name域。顶点哈希表的值对应一个顶点属性哈希表，记录顶点的属性集合。顶点属性哈希表的主键预先确定，包括(1)顶点的热度hotness，定义为该事件实体参与事件集合被报道的次数numMentions累积和；(2)顶点的启动时间start，定义为该事件实体参与事件集合的首次报道的时间；(3)顶点的截止时间end，定义为该事件实体参与事件集合的最后一次报道的时间；(4)顶点的国别country，对应事件实体的国别actor1CountryCode或actor2CountryCode；(5)顶点的地理位置Location，对应事件实体的经纬度actor1GeoLat、actor1GeoLong或actor2GeoLat、actor2GeoLong。

步骤S12，建立边哈希表构建图谱中边的索引。边哈希表的主键对应事件的主动方actor1Name、事件被动方actor2Name、事件基础编码eventBaseCode的连接字符串，即[actor1Name]-[actor2Name]-[eventBaseCode]。边哈希表的值对应一个边属性哈希表，记录边的属性集合。边属性哈希表的主键预先确定，包括(1)边的热度hotness，定义为该连接字符串参与事件集合被报道的次数numMentions累积和；(2)边的启动时间start，定义为该连接字符串参与事件集合的首次报道的时间；(3)边的截止时间end，定义为该连接字符串参与事件集合的最后一次报道的时间；(4)事件的地理位置Location，对应事件的经纬度actionGeoLat、actionGeoLong。

步骤S13，建立两个位置K-D树，分别索引图谱中顶点和边的地理区域。位置K-D树的输入是事件记录的地理位置，输出是编码地理位置区域的二叉树结构。

步骤S2，根据新到达事件数据递增维护事件图谱，更新图谱的边属性哈希表；

图谱属性维护阶段：设定事件导入的起始时间和结束时间范围，递增维护图谱的顶点属性、边属性、地理位置索引。

步骤S21，读取时间范围内每个GDELT事件文件的事件记录，根据GDELT1.0和2.0编码规范定义解析事件记录的核心要素，包括事件的主动方actor1Name、事件被动方actor2Name域、事件被报道的次数numMentions、事件的报道时间eventDate、事件实体的国别actor1CountryCode和actor2CountryCode、事件实体的经纬度actor1GeoLat、actor1GeoLong和actor2GeoLat、actor2GeoLong、事件基础编码eventBaseCode、事件的经纬度actionGeoLat、actionGeoLong。

步骤S22，根据事件记录维护顶点哈希表。

步骤S221，若顶点哈希表中不包含事件的主动方actor1Name(事件被动方actor2Name域)，则以当前事件的actor1Name(actor2Name)为主键，以当前事件被报道的次数numMentions为顶点属性哈希表的顶点热度hotness，以当前事件的报道时间eventDate为顶点属性哈希表的顶点启动时间start，以当前事件的报道时间eventDate为顶点属性哈希表的顶点的截止时间end，以当前事件实体的actor1CountryCode(actor2CountryCode)为顶点属性哈希表的顶点国别country，以当前事件实体的经纬度actor1GeoLat、actor1GeoLong(actor2GeoLat、actor2GeoLong)作为顶点地理位置Location。

步骤S222，若顶点哈希表中包含事件的主动方actor1Name(事件被动方actor2Name域)，则更新对应的顶点属性哈希表：将当前事件被报道的次数numMentions累加到顶点属性哈希表的顶点热度hotness，选择当前事件的报道时间eventDate和顶点属性哈希表的顶点启动时间start的最小值作为顶点属性哈希表的顶点启动时间start，选择当前事件的报道时间eventDate和顶点的截止时间end的最大值作为顶点属性哈希表的顶点的截止时间end。

步骤S23，根据事件记录维护边哈希表。

步骤S231，若边哈希表不包含当前事件的主动方actor1Name、事件被动方actor2Name、事件基础编码eventBaseCode形成的连接字符串[actor1Name]-[actor2Name]-[eventBaseCode]，则以其为主键，以当前事件被报道的次数numMentions为边热度hotness，以当前事件的报道时间eventDate为边启动时间start，以当前事件的报道时间eventDate为边截止时间end，以当前事件的经纬度actionGeoLat、actionGeoLong作为事件地理位置Location。

步骤S232，若边哈希表包含[actor1Name]-[actor2Name]-[eventBaseCode]，则更新对应的边属性哈希表：将当前事件被报道的次数numMentions累加到边热度hotness，选择当前事件的报道时间eventDate和边启动时间start的最小值作为边启动时间start，选择当前事件的报道时间eventDate和边截止时间end的最大值作为边截止时间end。

步骤S24，将当前事件实体的经纬度actor1GeoLat、actor1GeoLong(actor2GeoLat、actor2GeoLong)插入到顶点位置K-D树，将当前事件的经纬度actionGeoLat、actionGeoLong插入到边位置K-D树。

步骤S25，将顶点哈希表、边哈希表、顶点位置K-D树、边位置K-D树缓存到磁盘文件系统。

步骤S3，基于更新的顶点哈希表、边哈希表或边属性哈希表实现热度查询；

在线查询过程：根据递增维护的顶点哈希表、边哈希表、顶点位置K-D树、边位置K-D树提供边热度、顶点热度、时间范围热度、空间范围热度的在线查询功能。

步骤S31，边热度查询：给定一个事件的名称，将其作为主键查询边哈希表，若命中，则返回对应边属性哈希表中的边热度hotness作为事件的热度，查询过程只需要两次哈希计算过程。此外，边热度查询支持字符串匹配查询，给定一个任意字符串，遍历边哈希表，选择所有包含输入字符串的主键及对应的边热度。

步骤S32，顶点热度查询：给定一个事件实体的名称，将其作为主键查询顶点哈希表，若命中，则返回对应顶点属性哈希表中顶点热度hotness作为事件实体的热度。查询过程只需要两次哈希计算过程。此外，顶点热度查询支持字符串匹配查询，给定一个任意字符串，遍历顶点哈希表，选择所有包含输入字符串的主键及对应的边热度。

步骤S33，时间范围热度查询：给定一个起始时间和结束时间范围，遍历边哈希表，筛选边属性哈希表中边的启动时间与边结束时间的范围和输入的时间范围存在交叉的边，返回筛选命中的边的热度。

步骤S34，空间范围热度查询：给定一个地理区域的经纬度范围，遍历边位置K-D树，筛选位于输入经纬度范围的地理位置，若筛选命中的地理位置集合非空，则遍历边哈希表，查询边属性哈希表中边的位置是否位于筛选命中的地理位置集合，返回所有命中的边的热度。

与现有技术相比，本发明取得的有益效果是：

本发明用于全球开源事件数据热度分析的事件图谱递增精简构建与查询方法，采取哈希表精简存储顶点集合与边集合的属性，提供边热度、顶点热度、时间范围热度、空间范围热度等在线查询功能。与现有的静态知识图谱方法相比，能够避免存储原始事件记录的冗余信息，支持常数时间的键值对访问，支持全球范围的开源事件数据的深度热度分析。

作为示意案例，以递增更新的方式导入Gdelt开源数据库中2019年1月1日至2019年4月1日的事件记录，导入后的哈希表的顶点数目9547个，边数目2185693个。以CHINA为主键进行顶点热度查询，获得以CHINA为顶点的热度数值为41602524；边热度查询时，首先以CHINA为源顶点的有向边的总数为15961个；以CHINA为目的顶点的有向边数为15137个；时间范围热度查询时，符合2019年3月21日至2019年3月31日的有向边的总数为188034个。空间范围查询时，以中国的经纬度范围纬度3.86-53.55，经度73.66-135.05为范围查询有向边数目为31098，符合以CHINA为源顶点和目的顶点的数目。结果显示，本发明能够以低空间成本会聚大规模的时空事件记录热度，并灵活支持针对性的热点查询方式，为事件图谱的深入挖掘分析提供高效的工具支撑。

实施例二

基于上述实施例一，本发明还提供一种用于全球开源事件数据热度分析的事件图谱递增精简构建与查询系统，包括处理器，以及与所述处理器连接的存储器，所述存储器存储有用于全球开源事件数据热度分析的事件图谱递增精简构建与查询的程序，所述用于全球开源事件数据热度分析的事件图谱递增精简构建与查询的程序被所述处理器执行时实现上述方法任意实施例的步骤。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (7)

1.一种用于开源数据热度分析的事件图谱构建与查询方法，其特征在于，包括：

步骤1，通过哈希表构建事件图谱的表示模型并根据导入开源事件数据更新图谱的顶点哈希表和边哈希表；

步骤2，根据新到达事件数据递增维护事件图谱，更新图谱的边属性哈希表；

步骤3，基于更新的顶点哈希表、边哈希表或边属性哈希表实现热度查询；

所述步骤1中事件图谱的表示模型的构建步骤包括：

根据GDELT1.0和2.0编码规范提取事件核心要素，采用哈希表分别索引图谱的顶点集合和边集合，采用K-D树建立顶点和边的地理位置索引；

所述步骤3包括：

根据递增维护的顶点哈希表、边哈希表、顶点位置K-D树、边位置K-D树提供边热度、顶点热度、时间范围热度、空间范围热度的在线查询功能；

所述步骤1包括：

步骤11，建立顶点哈希表索引图谱中的顶点集合，顶点哈希表的主键对应GDELT1.0和2.0编码规范中的事件主动方actor1Name和事件被动方actor2Name域，顶点哈希表的值对应一个主键预定的顶点属性哈希表，记录顶点的属性集合；

步骤12，建立边哈希表构建图谱中边的索引，边哈希表的主键对应事件的主动方actor1Name、事件被动方actor2Name、事件基础编码eventBaseCode的连接字符串，边哈希表的值对应一个主键预定的边属性哈希表，记录边的属性集合；

步骤13，建立两个位置K-D树，分别索引图谱中顶点和边的地理区域，位置K-D树的输入是事件记录的地理位置，输出是编码地理位置区域的二叉树结构。

2.如权利要求1所述的用于开源数据热度分析的事件图谱构建与查询方法，其特征在于，所述步骤11中顶点属性哈希表的主键包括：

顶点的热度hotness，定义为该事件实体参与事件集合被报道的次数numMentions累积和；

顶点的启动时间start，定义为该事件实体参与事件集合的首次报道的时间；

顶点的截止时间end，定义为该事件实体参与事件集合的最后一次报道的时间；

顶点的国别country，在事件实体为事件主动方时，定义为该事件实体的国别actor1CountryCode，否则可知此时事件实体为事件被动方，则顶点的国别country定义为该事件实体的国别actor2CountryCode；

顶点的地理位置Location，在事件实体为事件主动方时，定义为该事件实体的经度actor1GeoLat、该事件实体的纬度actor1GeoLong，否则可知此时事件实体为事件被动方，顶点的地理位置Location定义为该事件实体的经度actor2GeoLat、该事件实体的纬度actor2GeoLong；

所述步骤12中边属性哈希表的主键包括：

边的热度hotness，定义为连接字符串参与事件集合被报道的次数numMentions累积和；

边的启动时间start，定义为该接字符串参与事件集合的首次报道的时间；

边的截止时间end，定义为该接字符串参与事件集合的最后一次报道的时间；

事件的地理位置Location，对应事件的经度actionGeoLat、事件的纬度actionGeoLong。

3.如权利要求1或2任一项所述的用于开源数据热度分析的事件图谱构建与查询方法，其特征在于，所述步骤2包括：

根据设定的事件导入的起始时间和结束时间范围，递增维护图谱的顶点属性、边属性、地理位置索引。

4.如权利要求3所述的用于开源数据热度分析的事件图谱构建与查询方法，其特征在于，所述步骤2包括：

步骤21，读取时间范围内每个GDELT事件文件的事件记录，根据GDELT1.0和2.0编码规范定义解析事件记录的核心要素；

步骤22，根据事件记录维护顶点哈希表；

步骤23，根据事件记录维护边哈希表；

步骤24，将当前事件实体的经纬度插入到顶点位置K-D树，将当前事件的经纬度插入到边位置K-D树；

步骤25，将顶点哈希表、边哈希表、顶点位置K-D树、边位置K-D树缓存到磁盘文件系统。

5.如权利要求4所述的用于开源数据热度分析的事件图谱构建与查询方法，其特征在于，所述步骤21中事件记录的核心要素包括事件的主动方actor1Name、事件被动方actor2Name域、事件被报道的次数numMentions、事件的报道时间eventDate、事件实体的国别actor1CountryCode/actor2CountryCode、事件实体的经度actor1GeoLat/actor2GeoLat、事件实体的纬度actor1GeoLong/actor2GeoLong、事件基础编码eventBaseCode、事件的经度actionGeoLat、事件的纬度actionGeoLong；所述步骤22包括：

步骤221，在顶点哈希表中不包含事件的主动方actor1Name或事件被动方actor2Name域时，则以当前事件的主动方actor1Name或被动方actor2Name为主键，以当前事件被报道的次数numMentions为顶点属性哈希表的顶点热度hotness，以当前事件的报道时间eventDate为顶点属性哈希表的顶点启动时间start，以当前事件的报道时间eventDate为顶点属性哈希表的顶点的截止时间end，以当前事件实体的国别actor1CountryCode/actor2CountryCode为顶点属性哈希表的顶点国别country，以当前事件实体的经度actor1GeoLat/actor2GeoLat、当前事件实体的纬度actor1GeoLong/actor2GeoLong作为顶点地理位置Location；

步骤222，若顶点哈希表中包含事件的主动方actor1Name或事件被动方actor2Name域，则更新对应的顶点属性哈希表：将当前事件被报道的次数numMentions累加到顶点属性哈希表的顶点热度hotness，选择当前事件的报道时间eventDate和顶点属性哈希表的顶点启动时间start的最小值作为顶点属性哈希表的顶点启动时间start，选择当前事件的报道时间eventDate和顶点的截止时间end的最大值作为顶点属性哈希表的顶点的截止时间end；

所述步骤23包括：

步骤231，在边哈希表不包含当前事件的主动方actor1Name、事件被动方actor2Name、事件基础编码eventBaseCode形成的连接字符串[actor1Name]-[actor2Name]-[eventBaseCode]时，则以所述连接字符串为主键，以当前事件被报道的次数numMentions为边热度hotness，以当前事件的报道时间eventDate为边启动时间start，以当前事件的报道时间eventDate为边截止时间end，以当前事件的经度actionGeoLat、当前事件的纬度actionGeoLong作为事件地理位置Location；

步骤232，在边哈希表包含连接字符串[actor1Name]-[actor2Name]-[eventBaseCode]时，则更新对应的边属性哈希表：将当前事件被报道的次数numMentions累加到边热度hotness，选择当前事件的报道时间eventDate和边启动时间start的最小值作为边启动时间start，选择当前事件的报道时间eventDate和边截止时间end的最大值作为边截止时间end。

6.如权利要求1所述的用于开源数据热度分析的事件图谱构建与查询方法，其特征在于，所述步骤3包括：

步骤31，边热度查询：将给定的一个事件的名称作为主键查询边哈希表，若命中，则返回对应边属性哈希表中的边热度hotness作为事件的热度；

步骤32，顶点热度查询：将给定的一个事件实体的名称作为主键查询顶点哈希表，若命中，则返回对应顶点属性哈希表中顶点热度hotness作为事件实体的热度；

步骤33，时间范围热度查询：根据给定的一个起始时间和结束时间范围，遍历边哈希表，筛选边属性哈希表中边的启动时间与边结束时间的范围和输入的时间范围存在交叉的边，返回筛选命中的边的热度；

步骤34，空间范围热度查询：根据给定的一个地理区域的经纬度范围，遍历边位置K-D树，筛选位于输入经纬度范围的地理位置，若筛选命中的地理位置集合非空，则遍历边哈希表，查询边属性哈希表中边的位置是否位于筛选命中的地理位置集合，返回所有命中的边的热度。

7.一种用于开源数据热度分析的事件图谱构建与查询系统，包括处理器及与所述处理器连接的存储器，所述存储器存储有用于开源数据热度分析的事件图谱构建与查询程序，所述处理器运行用于开源数据热度分析的事件图谱构建与查询程序时执行权利要求1～6任一项所述的方法的步骤。

Images