CN116166849A - 一种数据管理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供了一种数据管理方法、装置、设备及存储介质，能够解决格式不统一的元数据管理相关联的数据时发生错误的问题。该方法包括：根据元数据模板，获取数据源中至少一个字段下的数据用于构建元数据，其中所述元数据模板记录了所述数据源中所述至少一个字段与所述元数据的至少一项属性的对应关系，所述元数据的至少一项属性的值根据所述数据源中所述至少一个字段下的数据确定；根据所述元数据，构建图数据库中的标签。

Description

一种数据管理方法、装置、设备及存储介质

技术领域

本申请涉及图数据库领域，尤其涉及一种数据管理方法、装置、设备及存储介质。

背景技术

随着大数据时代的到来，数据量大幅增加并且数据之间的关系也更为复杂。将所有数据存储在一个服务器上的方式显然已经不能满足现在人们的需求，为了能够存储并管理更庞大的数据，现在通常使用分布式图数据库存储并管理数据。分布式图数据库将数据进行分类后存储到不同的服务器上再由主服务器进行数据的运维管理，能够很好地解决现有数据量庞大的情况，并且图数据库由于本身的特点能够很好地保存数据之间的关系，保证关系数据的快速查询。

另外，图数据库主要依赖元数据描述图数据库中的数据以及数据之间的关系，得以有效地管理庞大的数据。但随着业务的不断增加以及演变，图数据库中的元数据也需要不断地增加并更新以适应最新的业务需求，然而由于业务数量的庞大，图数据库中的元数据也常常来自于不同的数据源，使得在不同数据源下获取的元数据存在格式、规范不统一的情况，进而导致在使用格式、规范不统一的元数据管理图数据库中相关联的数据时可能发生错误，而现有通过人工整理元数据的方式效率低下且易出现二次错误，因此现缺乏一种有效管理图数据库中元数据的方式。

发明内容

本申请提供了一种数据管理方法、装置、设备及存储介质，避免使用格式不一致的元数据管理相关联的数据时发生错误，影响图数据库的性能。

第一方面，本申请提供了一种数据管理方法，该方法包括：

根据元数据模板，获取数据源中至少一个字段下的数据用于构建元数据，其中所述元数据模板记录了所述数据源中所述至少一个字段与所述元数据的至少一项属性的对应关系，所述元数据的至少一项属性的值根据所述数据源中所述至少一个字段下的数据确定；

根据所述元数据，构建图数据库中的标签。

进一步地，所述元数据模板包括：点元数据的模板和边元数据的模板；

若所述元数据中包含根据所述点元数据的模板构建的点元数据时，所述根据所述元数据，构建图数据库中的标签，包括：

根据所述点元数据构建所述图数据库中的点标签；

若所述元数据中包含根据所述边元数据的模板构建的边元数据时，所述根据所述元数据，构建图数据库中的标签，包括：

根据所述边元数据构建所述图数据库中的边标签。

进一步地，所述点元数据的模板中点元数据的属性包括：点标签的名称以及点标签的生命周期，其中根据所述点元数据构建的所述图数据库中的点标签中包含所述点标签的名称以及生命周期；

所述边元数据的模板中边元数据的属性包括：边标签的名称、边标签的生命周期、边标签向左关联的点标签的名称、边标签向右关联的点标签的名称，其中根据所述边元数据构建的所述图数据库中的边标签中包含所述边标签的名称、生命周期、向左关联的点标签的名称以及向右关联的点标签的名称。

进一步地，所述点元数据的模板中点元数据的属性还包括：点标签的名称、点标签关联的属性名称、属性数据类型、属性基数类型；所述根据所述点元数据构建所述图数据库中的点标签之后，所述方法还包括：

根据所述点元数据构建所述点标签关联的属性；

所述边元数据的模板中边元数据的属性还包括：边标签的名称、边标签关联的属性名称、属性数据类型、属性基数类型；所述根据所述元数据构建所述图数据库中的边标签之后，所述方法还包括：

根据所述边元数据构建所述边标签关联的属性。

进一步地，所述点元数据的模板和所述边元数据的模板中点元数据的属性和边元数据的属性还包括：是否创建组合索引和/或是否创建混合索引的第一指示信息；

所述根据所述点元数据构建所述点标签关联的属性之后，所述方法还包括：

根据所述点元数据中的第一指示信息为所述点标签关联的属性创建组合索引和/或混合索引；

所述根据所述边元数据构建所述边标签关联的属性之后，所述方法还包括：

根据所述边元数据中的第一指示信息为所述边标签关联的属性创建组合索引和/或混合索引。

进一步地，所述边元数据的模板中边元数据的属性还包括：是否创建联合索引和/或是否创建频次索引的第二指示信息；

所述根据所述边元数据构建所述边标签关联的属性之后，所述方法还包括：

根据所述边元数据中的第二指示信息，为所述边标签创建联合索引和/或频次索引。

进一步地，所述方法还包括：

根据所述点标签的生命周期，清除所述图数据库中超出生命周期的点标签；

根据所述边标签的生命周期，清除所述图数据库中超出生命周期的边标签。

第二方面，本申请提供了一种数据管理装置，所述装置包括：

获取模块，用于元数据模板，获取数据源中至少一个字段下的数据用于构建元数据，其中所述元数据模板记录了所述数据源中所述至少一个字段与所述元数据的至少一项属性的对应关系，所述元数据的至少一项属性的值根据所述数据源中所述至少一个字段下的数据确定；

处理模块，用于根据所述元数据，构建图数据库中的标签。

进一步地，所述元数据模板包括：点元数据的模板和边元数据的模板；若所述元数据中包含根据所述点元数据的模板构建的点元数据时，所述处理模块根据所述元数据，构建图数据库中的标签，具体用于：根据所述点元数据构建所述图数据库中的点标签；若所述元数据中包含根据所述边元数据的模板构建的边元数据时，所述处理模块根据所述元数据，构建图数据库中的标签，具体用于：根据所述边元数据构建所述图数据库中的边标签。

进一步地，所述点元数据的模板中点元数据的属性包括：点标签的名称以及点标签的生命周期，其中所述处理模块根据所述点元数据构建的所述图数据库中的点标签中包含所述点标签的名称以及生命周期；

所述边元数据的模板中边元数据的属性包括：边标签的名称、边标签的生命周期、边标签向左关联的点标签的名称、边标签向右关联的点标签的名称，其中所述处理模块根据所述边元数据构建的所述图数据库中的边标签中包含所述边标签的名称、生命周期、向左关联的点标签的名称以及向右关联的点标签的名称。

进一步地，所述点元数据的模板中点元数据的属性还包括：点标签的名称、点标签关联的属性名称、属性数据类型、属性基数类型；所述处理模块根据所述点元数据构建所述图数据库中的点标签之后，还用于根据所述点元数据构建所述点标签关联的属性；

所述边元数据的模板中边元数据的属性还包括：边标签的名称、边标签关联的属性名称、属性数据类型、属性基数类型；所述处理模块根据所述边元数据构建所述图数据库中的边标签之后，还用于根据所述边元数据构建所述边标签关联的属性。

进一步地，所述点元数据的模板和所述边元数据的模板中点元数据的属性和边元数据的属性还包括：是否创建组合索引和/或是否创建混合索引的第一指示信息；

所述处理模块根据所述点元数据构建所述点标签关联的属性之后，还用于根据所述点元数据中的第一指示信息为所述点标签关联的属性创建组合索引和/或混合索引；

所述处理模块根据所述边元数据构建所述边标签关联的属性之后，还用于根据所述边元数据中的第一指示信息为所述边标签关联的属性创建组合索引和/或混合索引。

进一步地，所述边元数据的模板中边元数据的属性还包括：是否创建联合索引和/或是否创建频次索引的第二指示信息；

所述处理模块根据所述边元数据构建边标签关联的属性之后，还用于根据所述元数据中的第二指示信息，为所述边标签创建联合索引和/或频次索引。

进一步地，所述处理模块还用于：

根据所述点标签的生命周期，清除所述图数据库中超出生命周期的点标签；并根据所述边标签的生命周期，清除所述图数据库中超出生命周期的边标签。

第三方面，本申请提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器执行所述存储器中存储的计算机程序或指令时，实现上述第一方面的方法。

第四方面，本申请提供了一种计算机可读存储介质，其存储有计算机程序或指令，所述计算机程序或指令被处理器执行时，实现上述第一方面的方法。

本申请中通过根据记录了数据源中的至少一个字段与元数据的至少一项属性的对应关系的元数据模板，获取数据源中至少一个字段下的数据用于构建元数据，其中元数据的至少一项属性的值根据数据源中至少一个字段下的数据确定，使得以统一格式规范的元数据构建、管理图数据库中的点标签以及边标签，避免使用格式不统一的元数据管理图数据库中相关联的数据时发生错误的问题，同时使用格式统一的元数据高效地构建和管理图数据库中的数据，能够提高图数据库的性能。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请中提供的一种数据管理方法的流程图。

图2为本申请中提供的一种可能的点、边元数据的模板示例图。

图3为本申请中提供的另一种可能的点、边元数据的模板示例图。

图4为本申请中提供的一种边标签偷车事件关联信息的示意图。

图5为本申请中提供的一种可能的构建图数据库中点标签、边标签的构建流程示意图。

图6为本申请中提供的一种可能的添加新的关联属性的流程图。

图7为本申请中提供的一种可能的图数据库构建方法。

图8为本申请中提供的一种数据管理装置的结构示意图。

图9为本申请中提供的一种电子设备结构示意图。

具体实施方式

为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或文本实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

图数据库中主要包括点标签、边标签以及属性。其中点标签也可以称作图数据库中的点或顶点，其类似于知识图谱中的实体和概念，用于代表人、车等这类具体事物以及代表盗窃案件、诈骗案件等概念，边标签也可以称作图数据库中的边，其类似于知识图谱中的关系，即每个点标签之间存在的关联关系例如某个人偷了某辆车、某个人去过某个地方等，而属性则可以对应为点标签或边标签关联的一些特性、特征例如人关联的属性有年龄、性别、父亲、就读学校等，而某个人偷了某辆车关联的属性可以有偷车地点、偷车事件等。

为了有效地管理图数据库中的数据，通常依赖元数据来描述图数据库中数据以及数据之间的关系也即通过元数据来构建、管理图数据库中的点标签、边标签以及属性。但随着业务的不点增加以及演变，图数据库中的元数据也需要相应的增加或更新以适应最新的业务需求，然而由于业务数量的庞大，图数据库中的元数据也常常来自于不同的数据源，使得在不同数据源下获取的元数据存在格式、规范不统一的情况，进而导致在使用格式、规范不统一的元数据管理图数据库中相关联的数据时可能发生错误(例如在数据源1中用于构建点标签A的点元数据包括英文名称描述和生命周期，电子设备在根据数据源1中的点元数据创建点标签A后，导致用户无法使用相应的中文名称描述查询点标签A。数据源2中用于构建点标签A的点元数据包括中文名称描述、英文名称描述以及数据类型等，电子设备在使用数据源2的点元数据创建点标签A后，导致电子设备无法根据生命周期自动清理点标签A，并且构建的点标签A可能包含数据类型等其它不必要的限制条件)，影响图数据库的性能、用户的体验。基于此，本申请提供一个数据管理方法及装置，以期有效地管理图数据库的元数据，保证图数据库的性能。

图1为一种数据管理方法的流程图，该方法可以应用于一种电子设备中，该方法包括：

S101：根据元数据模板，获取数据源中至少一个字段下的数据用于构建元数据，其中所述元数据模板记录了所述数据源中所述至少一个字段与所述元数据的至少一项属性的对应关系，所述元数据的至少一项属性的值根据所述数据源中所述至少一个字段下的数据确定。

元数据模板可以是一种元数据的构建格式、或一种元数据的构建规范，具体地，由于图数据库中主要包含的是点标签和边标签，而在本申请中用于构建点标签的元数据称作点元数据，用于构建边标签的元数据称作边元数据，因此元数据模板可以包括点元数据的模板和边元数据的模板，点元数据的模板记录的数据源中至少一个字段与元数据的至少一项属性的对应关系可以包括数据源中至少一个第一字段与点元数据的至少一项属性的第一对应关系，边元数据的模板记录了数据源中至少一个第二字段与边元数据的至少一项属性的第二对应关系。将元数据模板预先导入电子设备中，电子设备可以根据点元数据的模板中记录的第一字段，从数据源中获取第一字段下的数据，并根据各个第一字段与点元数据的各项属性的第一对应关系将获取的数据与点元数据的各项属性一一对应，同样地，电子设备可以根据边元数据的模板中记录的第二字段，从数据源中获取与第二字段下的数据，并根据各个第二字段与边元数据的各项属性的第二对应关系将获取的数据与边元数据的各项属性一一对应。其中数据源可以为依照元数据模板中记录的第一对应关系和第二对应关系构建的excel文件或json文件等其它记录了包含图数据库元数据信息的文件，其excel文件或json文件等其它记录了包含图数据库元数据信息的文件可以包含至少一个第一字段和/或至少一个第二字段，当然也可以包含除第一字段和第二字段以外的其它字段。数据源也可以为网络上的资源或旧图数据库等，电子设备可以根据元数据的模板从网络上或者或旧图数据库中相应地抓取符合元数据模板中记录的字段下的数据用于构建元数据。

在一种可能的实施方式中，本申请实施例提供一种可能的元数据模板，所述点元数据的模板中点元数据的属性包括：点标签的名称以及点标签的生命周期，其中根据所述点元数据构建的所述图数据库中的点标签中包含所述点标签的名称以及生命周期；

所述边元数据的模板中边元数据的属性包括：边标签的名称、边标签的生命周期、边标签向左关联的点标签的名称、边标签向右关联的点标签的名称，其中根据所述边元数据构建的所述图数据库中的边标签中包含所述边标签的名称、生命周期、向左关联的点标签的名称以及向右关联的点标签的名称。

以图2为例，图2为本申请实施例提供的一种可能的点、边元数据的模板示例图。如图2所示，其中图2中的上图为点元数据模板、下图为边元数据模板。点元数据的模板记录的第一对应关系可以包括第一字段NODE.CN与点标签的中文描述、第一字段NODE.EN与点标签的英文名称、以及第一字段TTL(D/W/M)与点标签的生命周期等，相应的，边元数据的模板记录的第二对应关系可以包括第二字段RELATIONSHIP.CN与边标签的中文描述、第二字段RELATIONSHIP.EN与边标签的英文名称、第二字段TTL(D/W/M)与边标签的生命周期、第二字段LEFTNODE.CN与边标签向左关联的点标签的中文描述、第二字段RIGHTNODE.CN与边标签向左关联的点标签的英文名称、以及第二字段LEFTNODE.EN与边标签向右关联的点标签的中文描述、第二字段RIGHTNODE.EN与边标签向右关联的点标签的英文名称等。其中标签的英文名称用于在图数据库中构建点标签或边标签，而标签的中文描述用于描述标签的实际含义，以便于用户查看。另外，标签的生命周期用于管理相应的元数据的时效性，对数据进行有效地清理，减少电子设备存储的压力，提高图数据库的性能。

以excel文件为例，电子设备仅获取与元数据的模板中记录的第一字段或第二字段相同字段下的数据，其中获取的点标签的元数据可以有点标签中文描述(NODE.CN)、点标签英文名称(NODE.EN)以及生命周期(TTL)下的数据，并整理形成最终的元数据。例如表1为根据元数据模板整理数据源中的数据得到的点标签的元数据。如下表1所示，其中获取的点标签包括人、车、盗窃案件以及诈骗案件，对应人的点标签英文描述为person、生命周期为3个月，对应车的点标签英文描述为vehicle、生命周期为3个月，对应盗窃案件的点标签英文描述为stealCase、生命周期为6个月，对应诈骗案件的点标签英文描述为defraudCase、生命周期为6个月。

表1：点标签的元数据示例

若数据源为json文件，同样的电子设备可以获取json文件中NODE.CN、NODE.EN以及TTL字段下的数据，以得到用于构建点标签的元数据，边标签的元数据的获取方式可以与上述获取点标签的元数据方式相同。另外，用于描述与点相关联的属性的元数据信息也可以包含在点元数据的模板中，用于描述与边相关联的属性的元数据信息也可以包含在边元数据的模板中。

需要理解的是，本申请中并不限制点元数据或边元数据的一个属性唯一对应的一个字段，例如点标签的中文描述对应的字段可以是NODE.CN，也可以是Vertex.CN等其它用于代表点标签的中文描述的字段。

可选地，电子设备可以为服务器、计算机等具有一定的计算能力且能够管理图数据库的元数据的电子设备。

S102：根据所述元数据，构建图数据库中的标签。

其中，若元数据中包含根据点元数据的模板构建的点元数据时，则根据点元数据构建图数据库中的点标签。

当根据点元数据的模板，从数据源中获取到点元数据后，由于点元数据的模板中至少包括点标签的英文名称，可以根据点标签的英文名称在图数据库中对应构建点标签。例如获取的点元数据中包括：person、vehicle以及stealCase三个不同的点标签的英文名称，电子设备可以在图数据库中对应创建person、vehicle以及stealCase三个不同的点标签以表示人、车以及偷窃案件三个不同的实体。

若元数据中包含根据边元数据的模板构建的边元数据时，则根据边元数据构建图数据库中的边标签。

同样的，当根据边元数据的模板，从数据源中获取到边元数据后，由于边元数据的模板中至少包括边标签的英文名称，可以根据边标签的英文名称在图数据库中对应构建边标签。其中边标签可以代表任意两个实体之间的关系，例如偷车事件(hasPersonStealVehicleEvent)可以代表人和车两个实体(也即点标签)之间的关系。

在本申请中，通过根据记录了数据源中的至少一个字段与元数据的至少一项属性的对应关系的元数据模板，获取数据源中至少一个字段下的数据用于构建元数据，其中元数据的至少一项属性的值根据数据源中至少一个字段下的数据确定，使得以统一的格式规范构建、管理图数据库的元数据，避免使用格式不统一的元数据管理图数据库中相关联的数据时发生错误的问题，同时使用格式统一的元数据能够高效地构建和管理图数据库中的数据，进而提高图数据库的性能。

进一步地，在上述实施例的基础上，所述点元数据的模板中点元数据的属性还包括：点标签的名称、点标签关联的属性名称、属性数据类型、属性基数类型；

所述根据所述点元数据构建所述图数据库中的点标签之后，还包括根据所述点元数据构建所述点标签所关联的属性；

所述边元数据的模板中边元数据的属性还包括：边标签的名称、边标签关联的属性名称、属性数据类型、属性基数类型；

所述根据所述边元数据构建所述图数据库中的边标签之后，还包括根据所述边元数据构建所述边标签所关联的属性。

其中，点标签或者边标签可以关联零个或任意整数个属性，当点标签或边标签关联零个属性时，表明该标签此时在图数据库中仅起标识作用，当点标签或边标签关联至少一个属性时，标签关联的每一个属性分别对应一种属性数据类型和一种属性基数类型，属性数据类型可以有字符串(String)、短整型(Integer)长整型(Long)、单精度浮点型(Single)、双精度浮点型(Double)等。属性基数类型可以有单一(Single)、一组(Set)以及列表(List)三种，Single表示当前属性只能有一个值，例如人的身份证号、性别、年龄等，Set表示当前的属性可以有多个不同的值，例如一个人就读过的学校名称等，List表示当前的属性可以有多个可以重复的值。

进一步地，为了实现高效搜索点、边标签管理的数据，所述元数据的模板中点元数据的属性和边元数据的属性还包括：是否创建组合索引和/或是否创建混合索引的第一指示信息；

所述根据所述点元数据构建所述点标签关联的属性之后，还包括根据所边述元数据中的第一指示信息为所述点标签关联的属性创建组合索引和/或混合索引；

所述根据所述边元数据构建所述边标签关联的属性之后，还包括根据所述边元数据中的第一指示信息为所述边标签关联的属性创建组合索引和/或混合索引。

点标签关联的属性可以为该点标签代表的实体所具有的一些特征信息，特征信息可以是值、字符串以及标识等，例如一个代表车(vehicle)的点标签关联的属性可以有车牌号、车辆品牌、车辆颜色以及车辆图片等。同样的，边标签关联的属性也可以是该边标签代表的关系所具有的一些特征信息，例如一个带代表偷车事件的边标签关联的属性可以有偷车发生时间、偷车发生地点以及事件性质等。为了能够快速找到相应的点标签、边标签，可以针对点标签、边标签构建相应的组合索引和/或混合索引。组合索引可以在点标签或边标签关联的属性中定义一个或多个关键属性，例如为代表人的点标签关联的年龄和姓名创建组合索引，电子设备会将构建了组合索引年龄和姓名以及对应的人存到一个组合索引列表中，在使用年龄和/或姓名为查询语句作等值检索时，电子设备可以从组合索引列表中快速找到符合查询语句的人。与组合索引的等值检索相对的也可以为点标签或边标签关联的属性创建混合索引，混合索引在组合索引的基础上可以进行范围检索、模糊检索等，例如为代表车的边标签关联的车牌号创建了混合索引，在查询“车牌号以浙A123开头的车主信息”、“车牌号包含浙X45的所有车辆”等包含部分确定车牌号信息时，电子设备都可以根据构建的混合索引高效地找出符合查询条件的车及其关联的属性信息。另外，创建混合索引需要借助外部搜索引擎例如弹性搜索引擎(ElasticSearch)、全文搜素引擎(Solr)以及垂直搜索引擎(Lucene)等，也即构建了混合索引的属性数据需要写入外部搜索引擎中，由外部搜索引擎实现混合索引检索。

可选地，为了进一步提高检索的效率，所述边元数据的模板中边元数据的属性还包括：是否创建联合索引和/或是否创建频次索引的第二指示信息；

根据所述边元数据构建边标签关联的属性以及根据所述点元数据构建点标签关联的属性之后，还包括根据所述元数据中的第二指示信息，为所述边标签创建联合索引和/或频次索引。

其中，联合索引和频次索引同样需要借助外部搜索引擎来实现。与只注重点标签关联的属性的混合索引不同的是，联合索引针对边标签关联的属性以及边标签关联的点标签所关联的属性作为索引的关键属性，以创建了联合索引的偷车事件为例，边标签偷车事件关联的点标签有人和被偷的车，在使用人关联的属性、被偷的车关联的属性以及偷车事件关联的属性作为查询语句例如“发生在河边的男性偷车事件”、“一名大约30岁左右的男性在凌晨2:00偷了一辆车”，电子设备能够快速检索出与查询语句相关的偷车事件的边标签以及该边标签关联的属性数据。与之类似的，频次索引的实现基于电子设备将边标签代表的关系的发生次数存储到频次索引统计表中，通过频次索引统计表快速找到符合查询次数的边标签以及边标签关联的点标签。

图3为本申请实施例提供的另一种可能的点、边元数据的模板示例图。如图3所示，其中图3中的上图为点元数据模板、下图为边元数据模板。点元数据的模板中点元数据的属性包括点标签的中文描述与英文名称、点标签关联的属性的中文描述、点标签关联的属性的英文名称、属性数据类型、属性基数类型、以及是否创建组合索引和/或是否创建混合索引的第一指示信息，点元数据的模板中记录的与上述各项属性依次对应的第一字段分别为NODE.CN、NOD E.EN、PROPERTYKEY.CN、PROPERTYKEY.EN、PROPERTYKEY.DATATYP E、PROPERTYKEY.CARDINALITY以及ISCOMPOSITEINDEX与ISMIXEDI NDEX。相应的，边元数据的模板中边元数据的属性包括边标签的中文描述与英文名称、边标签向左关联的点标签的中文描述与英文名称、边标签向右关联的点标签的中文描述与英文名称、以及边标签关联的属性的中文描述与英文名称、属性数据类型、属性基数类型、以及是否创建组合索引和/或是否创建混合索引的第一指示信息、是否创建联合索引和/或是否创建频次索引的第二指示信息、是否为点中心索引排序键的第三指示信息，边元数据的模板中记录的与上述各项属性依次对应的第二字段分别为RELATIONSHIP.CN、RELATIONSHIP.EN、TTL、ISUNITEINDEX、ISFREQUENCYINDEX、PROPERTKEY.CN、P ROPERTKEY.EN、PROPERTKEY.DATATYPE、ISCOMPOSITEINDEX、ISMI XEDINDEX、ISVERTEXCENTRICINDSEXSORTKEY、LEFTNODE.CN、RIGHTNODE.CN、LEFTNODE.EN、RIGHTNODE.EN。

以数据源为excel为例，根据元数据模板整理得到的点标签关联的属性的元数据、边标签及其关联的属性的元数据依次由下面的表2、表3所示。

表2：点标签关联的属性的元数据示例

表3：边标签以及边标签关联的属性的元数据示例

其中，电子设备可以根据点元数据的模板从表1中至少获取到人、车、盗窃案件以及诈骗案件四个点标签的中文描述与英文名称以及各个点标签对应的生命周期。另外，电子设备也可以从表2中至少获取到点标签车关联的属性有车牌号、能源种类、车辆类型、车辆品牌、车辆型号、车辆颜色以及车辆标签，并且也可以获取到每个属性对应的中文描述与英文名称、数据类型以及数据基数。再者，电子设备还可以从表3中至少获取到边标签偷车事件关联的属性有关系发生地址(relationStartAddress)、关系开始事件(relationStartTime)、相对经度(relationLongitude)、相对纬度(relationLatitude)、关系类型(relationType)以及关系地理哈希(relationGeohash)，并为边标签偷车事件创建了联合索引和频次索引，为边标签关联的关系发生地址创建了联合索引等。以表3中的偷车事件为例，图4为本申请提供一种边标签偷车事件关联信息的示意图。如图4所示，点标签人(person)关联的属性如姓名(name)、年龄(age)、身高(height)等与点标签车(vehicle)关联的属性如车牌号(brand)、车辆颜色(color)等，都与边标签偷车事件(hasPersonStealVehicleEvent)相关联，并且边标签偷车事件关联的属性可以有偷车地点(relationStartAddress)、偷车时间(relationStarTime)等，使得电子设备在根据其中任意标签的任一属性都能找到与之相关联的标签及属性信息。

以获取excel文件中的元数据并构建图数据库中的点标签及其属性、边标签及其属性为例，图5为本申请提供一种可能的构建图数据库中点标签、边标签的构建流程示意图。如图5所示：

S501：校验excel文件。

电子设备校验excel文件是否包含点元数据的模板中的第一字段或边元数据的模板中的第二字段，并且校验excel文件中第一字段或第二字段下的数据是否为空、数据类型是否正确例如点标签的中文描述或英文名称下的数据应该为字符串，生命周期下的数据应该为数值等。

S502：根据元数据模板，从excel文件中获取元数据。

电子设备根据元数据模板，在excel文件中寻找并获取与元数据模板中记录的第一字段或第二字段相同字段下的数据，其中电子设备可以获取到点标签、边标签以及属性的中文描述与英文名称，点标签与属性的关联关系、边标签与属性的关联关系、点标签与边标签的关联关系，还可以读取点、边标签的生命周期，以及是否创建组合索引、混合索引、联合索引、频次索引的命令信息等元数据的属性。

S503：创建点标签、边标签以及属性。

电子设备可以根据从excel文件中读取到的若干个点标签、边标签以及属性的英文名称，在图数据库中相应构建若干个点标签、边标签以及属性。

S504：在图数据库中，为点标签、边标签以及属性添加关联关系。

电子设备根据从元数据中读取的点标签与属性的关联关系、边标签与属性的关联关系、点标签与边标签的关联关系，相应地为S503步骤中构建的点标签、边标签以及属性添加关联关系，完成图数据库的基本构建。当然，还可以根据点、边标签的生命周期，以及是否创建组合索引、混合索引、联合索引、频次索引的命令信息等元数据，为点标签、边标签以及属性添加生命周期，创建索引等。

在上述各个实施例的基础上，在本申请实施例中，所述方法还包括：

根据所述点标签的生命周期，清除所述图数据库中超出生命周期的点标签；

根据所述边标签的生命周期，清除所述图数据库中超出生命周期的边标签。

具体地，电子设备将元数据中点标签以及边标签的生命周期对应写入配置文件(configfile)中，通过shell命令执行根据配置文件设置的脚本文件清除图数据库中超出生命周期的点标签或边标签。其中，可以在点标签或边标签创建时计算生命周期，也可以根据用户录入的指定开始时间计算指定的点标签或边标签的生命周期。

为了说明当图数据库中点标签或边标签需要新增属性时的流程，以图6为例，图6为本申请实施例提供一种可能的添加新的关联属性的流程图。如图6所示，电子设备在获取新增属性的元数据后，首先会遍历图数据库中已有的属性来判断新增属性是否已经存在，若不存在与新增属性相同的属性，则在图数据库中构建该新增的属性，并将新增的属性关联到对应点标签或边标签上。若新增的属性关联的是点标签A，则需要更新与点标签A关联的所有边标签下的联合索引，再更新与点标签A关联的组合索引以及混合索引，若新增的属性关联的是边标签B，则直接更新与边标签B关联的组合索引以及混合索引。可选地，更新索引的任务将执行于后台中，前端显示更新索引的状态已完成，以使索引更新进程中用户可以继续使用前端。

图7为本申请实施例提供的一种可能的图数据库构建方法。如图7所示，电子设备接收根据元数据模板设计的excel文件或json文件，其excel文件或json文件中包括至少一个第一字段和/或至少一个第二字段，以及每个第一字段下对应的点元数据的属性与每个第二字段下对应的边元数据的属性。之后，电子设备会校验excel文件或json文件的文件头信息，也即校验文件中是否包含元数据模板中记录的第一字段或第二字段，第一字段下和第二字段下的数据是否为空或者是否为预设的数据类型等。之后，获取excel文件或json文件中符合元数据模板的点元数据以及边元数据，其中点元数据以及边元数据中包含用于构建图数据库中的点标签、边标签以及属性的元数据信息，还包含点标签与属性的关联关系、边标签与属性的关联关系、点标签与边标签的关联关系、点、边标签的生命周期，以及是否创建组合索引、混合索引、联合索引、频次索引的命令信息等元数据信息。如果上述获取的元数据用于新建图数据库，则根据元数据依次构建点标签、边标签以及属性，并添加点标签与属性的关联关系、边标签与属性的关联关系以及点标签与边标签的关联关系，之后再针对点标签关联的属性、边标签及边标签关联的属性对应创建组合索引、混合索引与联合索引等索引，最后为点标签、边标签配置对应的生命周期以定期清除数据，提高图数据库的性能。如果上述获取的元数据用于更新图数据库，则需要遍历图数据库中已有的点标签、边标签及属性，判断当前的元数据是否已经在图数据库中已经构建对应的点标签、边标签，若为图数据库中已有的点标签或边标签，将新增的属性关联到已有的点标签或边标签上，并对应更新索引，若为图数据库中还未构建的点标签或边标签，和新构建图数据库的方式一样，对应在图数据库中创建点标签、边标签及属性，并添加关联关系、创建索引、配置生命周期等。

基于上述数据管理方法，本申请提供了一种数据管理装置，图8为本申请实施例提供的一种数据管理装置的结构示意图，该装置包括：

获取模块801，用于根据元数据模板，获取数据源中至少一个字段下的数据用于构建元数据，其中所述元数据模板记录了所述数据源中所述至少一个字段与所述元数据的至少一项属性的对应关系，所述元数据的至少一项属性的值根据所述数据源中所述至少一个字段下的数据确定；

处理模块802，用于根据所述元数据，构建图数据库中的标签。

进一步地，所述元数据模板包括：点元数据的模板和边元数据的模板；若所述元数据中包含根据所述点元数据的模板构建的点元数据时，所述处理模块802根据所述元数据，构建图数据库中的标签，具体用于：根据所述点元数据构建所述图数据库中的点标签；若所述元数据中包含根据所述边元数据的模板构建的边元数据时，所述处理模块802根据所述元数据，构建图数据库中的标签，具体用于：根据所述边元数据构建所述图数据库中的边标签。

进一步地，所述点元数据的模板中点元数据的属性包括：点标签的名称以及点标签的生命周期，其中所述处理模块802根据所述点元数据构建的所述图数据库中的点标签中包含所述点标签的名称以及生命周期；

所述边元数据的模板中边元数据的属性包括：边标签的名称、边标签的生命周期、边标签向左关联的点标签的名称、边标签向右关联的点标签的名称，其中所述处理模块802根据所述边元数据构建的所述图数据库中的边标签中包含所述边标签的名称、生命周期、向左关联的点标签的名称以及向右关联的点标签的名称。

进一步地，所述点元数据的模板中点元数据的属性还包括：点标签的名称、点标签关联的属性名称、属性数据类型、属性基数类型；所述处理模块802在图数据库中根据所述点元数据构建所述图数据库中的点标签之后，还用于根据所述点元数据构建所述点标签关联的属性；

所述边元数据的模板中边元数据的属性还包括：边标签的名称、边标签关联的属性名称、属性数据类型、属性基数类型；所述处理模块802在图数据库中根据所述边元数据构建所述图数据库中的边标签之后，还用于根据所述边元数据构建所述边标签关联的属性。

进一步地，所述点元数据的模板和边元数据的模板中点元数据的属性和边元数据的属性还包括：是否创建组合索引和/或是否创建混合索引的第一指示信息；

所述处理模块802根据所述点元数据构建所述点标签关联的属性之后，还用于根据所述点元数据中的第一指示信息为所述点标签关联的属性创建组合索引和/或混合索引；

所述处理模块802根据所述边元数据构建所述边标签关联的属性之后，还用于根据所述边元数据中的第一指示信息为所述边标签关联的属性创建组合索引和/或混合索引。

进一步地，所述边元数据的模板中边元数据的属性还包括：是否创建联合索引和/或是否创建频次索引的第二指示信息；

所述处理模块802根据所述边元数据构建边标签关联的属性之后，还用于根据所述元数据中的第二指示信息，为所述边标签创建联合索引和/或频次索引。

进一步地，所述处理模块802还用于：

根据所述点标签的生命周期，清除所述图数据库中超出生命周期的点标签；并根据所述边标签的生命周期，清除所述图数据库中超出生命周期的边标签。

图9为一种电子设备结构示意图。如图9所示，该电子设备包括：处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信。

所述存储器903中存储有计算机程序，当所述程序被所述处理器901执行时，使得所述处理器901实现上述任一所述一种数据管理方法的步骤。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口902用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字指令处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

在上述各实施例的基础上，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现上述任一所述一种数据管理方法的步骤。

上述计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(MO)等、光学存储器如CD、DVD、BD、HVD等、以及半导体存储器如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD)等。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种数据管理方法，其特征在于，该方法包括：

根据元数据模板，获取数据源中至少一个字段下的数据用于构建元数据，其中所述元数据模板记录了所述数据源中所述至少一个字段与所述元数据的至少一项属性的对应关系，所述元数据的至少一项属性的值根据所述数据源中所述至少一个字段下的数据确定；

根据所述元数据，构建图数据库中的标签。

2.根据权利要求1所述的方法，其特征在于，所述元数据模板包括：点元数据的模板和边元数据的模板；

若所述元数据中包含根据所述点元数据的模板构建的点元数据时，所述根据所述元数据，构建图数据库中的标签，包括：

根据所述点元数据构建所述图数据库中的点标签；

若所述元数据中包含根据所述边元数据的模板构建的边元数据时，所述根据所述元数据，构建图数据库中的标签，包括：

根据所述边元数据构建所述图数据库中的边标签。

3.根据权利要求2所述的方法，其特征在于，所述点元数据的模板中点元数据的属性包括：点标签的名称以及点标签的生命周期，其中根据所述点元数据构建的所述图数据库中的点标签中包含所述点标签的名称以及生命周期；

所述边元数据的模板中边元数据的属性包括：边标签的名称、边标签的生命周期、边标签向左关联的点标签的名称、边标签向右关联的点标签的名称，其中根据所述边元数据构建的所述图数据库中的边标签中包含所述边标签的名称、生命周期、向左关联的点标签的名称以及向右关联的点标签的名称。

4.根据权利要求3所述的方法，其特征在于，所述点元数据的模板中点元数据的属性还包括：点标签的名称、点标签关联的属性名称、属性数据类型、属性基数类型；所述根据所述点元数据构建所述图数据库中的点标签之后，所述方法还包括：

根据所述点元数据构建所述点标签关联的属性；

所述边元数据的模板中边元数据的属性还包括：边标签的名称、边标签关联的属性名称、属性数据类型、属性基数类型；所述根据所述边元数据构建所述图数据库中的边标签之后，所述方法还包括：

根据所述边元数据构建所述边标签关联的属性。

5.根据权利要求4所述的方法，其特征在于，所述点元数据的模板和所述边元数据的模板中点元数据的属性和边元数据的属性还包括：是否创建组合索引和/或是否创建混合索引的第一指示信息；

所述根据所述点元数据构建所述点标签关联的属性之后，所述方法还包括：

根据所述点元数据中的第一指示信息为所述点标签关联的属性创建组合索引和/或混合索引；

所述根据所述边元数据构建所述边标签关联的属性之后，所述方法还包括：

根据所述边元数据中的第一指示信息为所述边标签关联的属性创建组合索引和/或混合索引。

6.根据权利要求4所述的方法，其特征在于，所述边元数据的模板中边元数据的属性还包括：是否创建联合索引和/或是否创建频次索引的第二指示信息；

所述根据所述边元数据构建所述边标签关联的属性之后，所述方法还包括：

根据所述边元数据中的第二指示信息，为所述边标签创建联合索引和/或频次索引。

7.根据权利要求3所述的方法，其特征在于，所述方法还包括：

根据所述点标签的生命周期，清除所述图数据库中超出生命周期的点标签；

根据所述边标签的生命周期，清除所述图数据库中超出生命周期的边标签。

8.一种数据管理装置，其特征在于，该装置包括：

获取模块，用于根据元数据模板，获取数据源中至少一个字段下的数据用于构建元数据，其中所述元数据模板记录了所述数据源中所述至少一个字段与所述元数据的至少一项属性的对应关系，所述元数据的至少一项属性的值根据所述数据源中所述至少一个字段下的数据确定；

处理模块，用于根据所述元数据，构建图数据库中的标签。

9.一种电子设备，其特征在于，所述电子设备至少包括处理器和存储器，所述处理器执行所述存储器中存储的计算机程序或指令时，实现如上述权利要求1-7中任一所述的方法。

10.一种计算机可读存储介质，其特征在于，其存储有计算机程序或指令，所述计算机程序或指令被处理器执行时，实现如上述权利要求1-7中任一项所述的方法。

Images