CN111353046B

CN111353046B - 图谱数据存储方法、装置、电子设备及可读存储介质

Info

Publication number: CN111353046B
Application number: CN201811563541.XA
Authority: CN
Inventors: 葛挺; 浦世亮; 姜伟浩; 闫春
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2018-12-20
Filing date: 2018-12-20
Publication date: 2023-05-26
Anticipated expiration: 2038-12-20
Also published as: WO2020125772A1; CN111353046A

Abstract

本申请提供一种图谱数据存储方法、装置、电子设备及可读存储介质，该方法包括：将目标图谱的边数据以目标图谱数据存储结构的形式导入存储介质；其中，所述目标图谱数据存储结构包括多个行存储结构，一个所述行存储结构对应一个结点，所述行存储结构用于存储对应的结点的数据以及该结点的相邻边的数据；在所述多个行存储结构中分别导入对应的结点数据。该方法可以提高图谱的完整性，并可以提高图谱数据查询效率。

Description

图谱数据存储方法、装置、电子设备及可读存储介质

技术领域

本申请涉及大数据技术，尤其涉及一种图谱数据存储方法、装置、电子设备及可读存储介质。

背景技术

随着大数据时代的来临，图数据结构的应用日益广泛。尽管目前市场上已经有很多图谱数据存储方案，但是目前的图谱数据存储方案通常以结点为中心，在导入边数据之前，需要保证边数据的两个相邻结点必须均已经导入。

然而实践发现，在实际应用中，经常会出现边数据所对应的两个结点数据中至少一个无法成功导入的情况，从而导致边数据也无法成功导入。

发明内容

有鉴于此，本申请提供一种图谱数据存储方法及其装置。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种图谱数据存储方法，包括：

将目标图谱的边数据以目标图谱数据存储结构的形式导入存储介质；其中，所述目标图谱数据存储结构包括多个行存储结构，一个所述行存储结构对应一个结点，所述行存储结构用于存储对应的结点的数据以及该结点的相邻边的数据；

在所述多个行存储结构中分别导入对应的结点数据。

根据本申请实施例的第二方面，提供一图谱数据存储装置，包括：

第一存储单元，用于将目标图谱的边数据以目标图谱数据存储结构的形式导入存储介质；其中，所述目标图谱数据存储结构包括多个行存储结构，一个所述行存储结构对应一个结点，所述行存储结构用于存储对应的结点的数据以及该结点的相邻边的数据；

第二存储单元，用于在所述多个行存储结构中分别导入对应的结点数据。

根据本申请实施例的第三方面，提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述图谱数据存储方法。

根据本申请实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述图谱数据存储方法。

本申请实施例的图谱数据存储方法，通过将目标图谱的边数据以目标图谱数据存储结构的形式导入存储介质，并在目标图谱数据存储结构的多个行存储结构中分别导入对应的结点数据，实现了以边为中心的图谱数据存储，提高了图谱的完整性，并可以提高图谱数据查询效率。

附图说明

图1是本申请一示例性实施例示出的一种图谱数据存储方法的流程示意图；

图2是本申请一示例性实施例示出的一种目标图谱数据存储结构的示意图；

图3是本申请一示例性实施例示出的一种行存储结构的示意图；

图4A是本申请一示例性实施例示出的一种属性元组的示意图；

图4B是本申请一示例性实施例示出的一种边元组的示意图；

图5A是本申请一示例性实施例示出的一种边的示意图；

图5B是本申请一示例性实施例示出的一种边数据导入的流程示意图；

图6A是本申请一示例性实施例示出的结点1对应的行存储结构中的边1的属性元组的示意图；

图6B是本申请一示例性实施例示出的结点1对应的行存储结构中的边1的属性元组的示意图；

图7是本申请一示例性实施例示出的一种图谱数据存储装置的结构示意图；

图8是本申请有一示例性实施例示出的一种图谱数据存储装置的结构示意图；

图9是本申请有一示例性实施例示出的一种图谱数据存储装置的结构示意图；

图10是本申请一示例性实施例示出的一种电子设备的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

请参见图1，为本申请实施例提供的一种图谱数据存储方法的流程示意图，如图1所示，该图谱数据存储方法可以包括以下步骤：

步骤S100、将目标图谱的边数据以目标图谱数据存储结构的形式导入存储介质。

本申请实施例中，目标图谱并不特指某一固定图谱，而是可以指代任一需要导入存储介质的图谱，本申请实施例后续不再复述。

其中，图谱是指点和边构成的知识网络。

本申请实施例中，考虑到传统以结点为中心的图谱数据存储方案可能会由于结点数据无法成功导入而导致对应的边数据无法导入的情况，从而导致所构建的图谱的完整性较差，为了提高图谱的完整性，可以采用以边数据为中心的图谱数据存储方案，即先导入图谱的边数据，然后再导入结点数据。

相应地，在本申请实施例中，当需要进行目标图谱数据的存储时，可以先将目标图谱的边数据导入存储介质。

其中，本申请实施例中，可以目标图谱数据存储结构的形式存储图谱数据。

其中，目标图谱数据存储结构可以包括多个行存储结构，一个行存储结构对应一个结点，该行存储结构用于存储对应的结点的数据以及该结点的相邻边(以该结点作为其中一个端结点的边)的数据。

步骤S110、在该多个行存储结构中分别导入对应的结点数据。

本申请实施例中，将目标图谱的边数据以目标图谱数据存储结构的形式导入存储介质之后，可以得到一个包括目标图谱的全部边数据的表，该表的每一行对应目标图谱的一个结点，但此时，各行仅导入了对应的结点的相邻边的数据，而结点数据尚未导入，因此，为了实现完整的图谱数据导入，可以在目标图谱数据存储结构的各行存储结构中分别导入对应的结点数据。

可见，在图1所示方法流程中，通过先导入边数据，后导入结点数据的方式实现图谱数据存储，避免了由于部分结点数据无法成功导入，而导致的该部分结点的相邻边的数据无法成功导入的问题，提高了图谱的完整性。

此外，由于采用行存储结构存储结点以及结点的相邻边的数据，实现了结点和其相邻边的一体化存储，由于结点和相邻边数据存在同一行中，查询结点的同时就查询到其所有相邻边，同理，查询边也可以同时查询到其所相邻的两个结点，提高了图谱数据查询效率。

在本申请其中一个实施例中，上述将目标图谱的边数据以目标图谱数据存储结构的形式导入存储介质，可以包括：

对于目标图谱的任一条边，确定该边的两个相邻结点对应的行存储结构是否存在；

若存在，则将该边的数据分别导入该边的两个相邻结点对应的行存储结构。

在该实施例中，由于一条边存在两个相邻结点(即该边的两个端结点)，而目标图谱数据存储结构中一个行存储结构对应一个结点，因此，一条边的数据需要分别导入该边的两个相邻结点对应的行存储结构。

同时，由于一个结点可能会存在多个相邻边，因此，当导入某一条边的数据时，该边的相邻结点对应的行存储结构可能会已经存在，在该情况下，可以直接将边数据导入对应的行存储结构；而若该边的相邻结点中至少一个相邻结点对应的行存储结构不存在，则需要先创建对应的行存储结构，并导入该边数据。

相应地，在该实施例中，对于目标图谱的任一条边，当需要导入该边的数据时，可以先确定该边的两个相邻结点对应的行存储结构是否存在。

若存在，即该边的两个相邻结点对应的行存储结构均存在，则可以将该边的数据分别导入该边的两个相邻结点对应的行存储结构。

进一步地，在该实施例中，若该边的两个相邻结点中的其中一个相邻结点对应的行存储结构存在(即另一个相邻结点对应的行存储结构不存在)，则一方面可以将该边的数据导入该其中一个相邻结点对应的行存储结构；另一方面可以创建该另一个相邻结点对应的行存储结构，并将该边的数据导入该另一个相邻结点对应的行存储结构。

进一步地，在该实施例中，若该边的两个相邻结点对应的行存储结构均不存在，则可以分别创建该两个相邻结点对应的行存储结构，并将该边的数据分别导入该两个相邻结点对应的行存储结构。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面结合具体实例对本申请实施例提供的技术方案进行说明。

请参见图2，在该实施例中，目标图谱数据存储结构为列存储结构，进而，一个图谱对应一张表，表的每一行均采用行存储结构，每一行对应图谱的一个结点。

请参见图3，在该实施例中，行存储结构以对应的结点的标识(Vertex ID)为主键，通过属性元组存储该结点的属性信息，并通过边元组存储该结点的相邻边的属性信息，即一个行存储结构中包括多个元组，并通过该多个元组存储对应的结点的属性信息和该结点的相邻边的属性信息。

其中，元组包括column(列)key(主键)和value(值)两个部分。存储结点的属性信息的元组(本文中称为property(属性)元组)和存储边的属性信息的元组(本文中称为edge(边)元组)的具体结构并不完全相同，下面分别进行说明。

请参见图4A，property元组的column key部分存储着被存储的结点的property的property ID(属性标识)和label ID(标签标识)。其中property ID是分配给该property的唯一标识，label ID是用来存储该property的类型(如系统定义或用户自定义等)。value部分存储的是对应property的属性值。

举例来说，假设结点是人物，则结点的属性可以包括姓名、性别、年龄以及身份证信息等，一个属性可以对应一个property元组。

请参见图4B，edge元组的column key部分存储的元素可以包括edge ID(边标识)、vertex ID(结点标识)、label ID以及direction(方向)。其中，edge ID为edge的唯一标识；vertex ID为该edge元组所在行对应的vertex的主键；label ID为用于标识该vertex的起始结点或目标结点，其中，若该vertex为该edge的起始结点，label ID的值为source(源)，若该vertex为该edge的目标结点，label ID的值为target(目标)；direction用于标识edge的方向；其中，若该vertex为该edge的起始结点，则direction的值为出方向(outgoing)，若该vertex为该edge的目标结点，则direction的值为入方向(incoming)。edge元组的value部分用于存储edge的具体属性。

在该实施例中，图谱数据导入流程可以包括：

1、导入图谱的全部边数据

以图谱的任一条边(假设为edge1)的数据导入为例。

请参见图5A，假设vertex1和vertex2通过edge1相连，edge1的起始结点是vertex1，目标结点是vertex 2，则edge1的数据流程可以如图5B所示，其中：

可以先查询edge1的两个相邻结点(即vertex1和vertex2)所对应的行存储结构是否存在；其中，查询结构可以包括下面三种情况：

a)、两个相邻结点所对应的行存储结构均存在；

b)、有且只有一个相邻结点对应的行存储结构存在(以vertex 1对应的行存储结构存在，而vertex 2对应的行存储结构不存在为例)；

c)、两个相邻结点对应的行存储结构均不存在。

对于情况a)，可以分别在已经存在的vertex 1和vertex 2对应的行存储结构中导入edge1对应的edge元组。

其中，对于vertex 1所对应的行存储结构，edge 1所对应的edge元组内部结构可以如图6A所示。

对于vertex 2所在行，edge 1所对应的edge元组内部结构可以如图6B所示。

对于情况b)，一方面可以在vertex1对应的行存储结构中导入edge1所对应的edge元组；另一方面，可以创建vertex 2对应的行存储结构该行存储结构以vertex 2的ID为主键，并在该行存储结构中导入edge1对应的edge元组。

其中，edge1对应的edge元组在vertex1或vertex2对应的行存储结构中的结构可以分别参见图6A和图6B，在此不再赘述。

对于情况c)，可以分别在表中创建vertex 1和vertex 2所对应的行存储结构，并分别在各行存储结构中导入edge 1对应的edge元组，其结构可以分别参见图6A和图6B，在此不再赘述。

在该实施例中，导入了图谱的边数据之后，可以得到一张包括图谱的全部边数据的表，该表的特点是表中的所有行都只有edge元组，无该行所对应结点的property元组。

其中，可以称该未导入结点的property元组的行称为虚拟结点所对应的行。这样的行和完整的结点所对应的行的区别是没有结点的属性元组，故这样的行可以表示为一个虚拟结点。虚拟结点没有属性，但是有边将两个虚拟结点相连，而且这样的虚拟结点可以由边数据独立生成。

通过上述边数据导入，可以得到一张由虚拟结点构成的表，其与完整的表的区别为表中没有结点所对应的属性，但其结构是和完整的表是相同的，结点之间的联通性也是相同的且是以相同的边联通。因此，向这种网络结构添加对应结点的属性就能得到完整的表。

2、导入结点属性

向所有虚拟结点所在行存储结构导入其对应结点的属性构成的property元组。

其中，对于那些特殊的边数据，即边数据所对应的结点数据无法成功导入的，表中有这样边数据生成的虚拟结点，只不过这样的结点没有属性，但这些特殊边数据是被成功导入到表中的。

可见，相对于以节点为中心的图谱数据存储方案，以边为中心的图谱数据存储方案生成的图更完整，可以确保所有的边数据被成功导入。即以节点为中心的图谱数据存储方案生成的图是以边为中心的图谱数据存储方案生成的图的子图。

本申请实施例中，通过将目标图谱的边数据以目标图谱数据存储结构的形式导入存储介质，并在目标图谱数据存储结构的多个行存储结构中分别导入对应的结点数据，实现了以边为中心的图谱数据存储，提高了图谱的完整性，并可以提高图谱数据查询效率。

以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述：

请参见图7，为本申请实施例提供的一种图谱数据存储装置的结构示意图，如图7所示，该图谱数据存储装置可以包括：

第一存储单元710，用于将目标图谱的边数据以目标图谱数据存储结构的形式导入存储介质；其中，所述目标图谱数据存储结构包括多个行存储结构，一个所述行存储结构对应一个结点，所述行存储结构用于存储对应的结点的数据以及该结点的相邻边的数据；

第二存储单元720，用于在所述多个行存储结构中分别导入对应的结点数据。

在一种可选的实施方式中，如图8所示，所述装置还包括：

确定单元730，用于对于所述目标图谱的任一条边，确定该边的两个相邻结点对应的行存储结构是否存在；

所述第一存储单元710，具体用于若该边的两个相邻结点对应的行存储结构存在，则将该边的数据分别导入该边的两个相邻结点对应的行存储结构。

在一种可选的实施方式中，所述第一存储单元710，还用于若该边的其中一个相邻结点对应的行存储结构存在，则将该边的数据导入该其中一个相邻结点对应的行存储结构；

如图9所示，所述装置还包括：

创建单元740，用于创建该边的另一个相邻节点对应的行存储结构；

所述第一存储单元710，还用于将该边的数据导入该另一个相邻结点对应的行存储结构。

在一种可选的实施方式中，所述创建单元740，还用于若该边的两个相邻结点对应的行存储结构均不存在，则分别创建该两个相邻结点对应的行存储结构；

所述第一存储单元710，还用于将该边的数据分别导入该两个相邻结点对应的行存储结构。

在一种可选的实施方式中，对于任一行存储结构，当该行存储结构中未导入结点数据时，该行存储结构对应结点为虚拟结点；

所述第二存储单元720，具体用于向虚拟结点对应的行存储结构导入对应的结点数据。

在一种可选的实施方式中，所述行存储结构以对应的结点的标识为主键，通过属性元组存储该结点的属性信息，并通过边元组存储该结点的相邻边的属性信息。

请参见图10，为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可以包括处理器1001、通信接口1002、存储器1003和通信总线1004。处理器1001、通信接口1002以及存储器1003通过通信总线1004完成相互间的通信。其中，存储器1003上存放有计算机程序；处理器1001可以通过执行存储器1003上所存放的程序，执行上文描述的图谱数据存储方法。

本文中提到的存储器1003可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，存储器1002可以是：RAM(Radom AccessMemory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

本申请实施例还提供了一种存储有计算机程序的机器可读存储介质，例如图10中的存储器1003，所述计算机程序可由图10所示电子设备中的处理器1001执行以实现上文描述的图谱数据存储方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims

1.一种图谱数据存储方法，其特征在于，包括：

在所述多个行存储结构中分别导入对应的结点数据。

2.根据权利要求1所述的方法，其特征在于，所述将目标图谱的边数据以目标图谱数据存储结构的形式导入存储介质，包括：

对于所述目标图谱的任一条边，确定该边的两个相邻结点对应的行存储结构是否存在；

3.根据权利要求2所述的方法，其特征在于，所述将目标图谱的边数据以目标图谱数据存储结构的形式导入存储介质，还包括：

若该边的其中一个相邻结点对应的行存储结构存在，则将该边的数据导入该其中一个相邻结点对应的行存储结构；

创建该边的另一个相邻节点对应的行存储结构，并将该边的数据导入该另一个相邻结点对应的行存储结构。

4.根据权利要求2所述的方法，其特征在于，所述将目标图谱的边数据以目标图谱数据存储结构的形式导入存储介质，还包括：

若该边的两个相邻结点对应的行存储结构均不存在，则分别创建该两个相邻结点对应的行存储结构，并将该边的数据分别导入该两个相邻结点对应的行存储结构。

5.根据权利要求1-4任一项所述的方法，其特征在于，对于任一行存储结构，当该行存储结构中未导入结点数据时，该行存储结构对应结点为虚拟结点；

所述在所述多个行存储结构中分别导入对应的结点数据，包括：

向虚拟结点对应的行存储结构导入对应的结点数据。

6.根据权利要求1-4任一项所述的方法，其特征在于，所述行存储结构以对应的结点的标识为主键，通过属性元组存储该结点的属性信息，并通过边元组存储该结点的相邻边的属性信息。

7.一种图谱数据存储装置，其特征在于，包括：

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

确定单元，用于对于所述目标图谱的任一条边，确定该边的两个相邻结点对应的行存储结构是否存在；

所述第一存储单元，具体用于若该边的两个相邻结点对应的行存储结构存在，则将该边的数据分别导入该边的两个相邻结点对应的行存储结构。

9.根据权利要求8所述的装置，其特征在于，

所述第一存储单元，还用于若该边的其中一个相邻结点对应的行存储结构存在，则将该边的数据导入该其中一个相邻结点对应的行存储结构；

所述装置还包括：

创建单元，用于创建该边的另一个相邻节点对应的行存储结构；

所述第一存储单元，还用于将该边的数据导入该另一个相邻结点对应的行存储结构。

10.根据权利要求9所述的装置，其特征在于，

所述创建单元，还用于若该边的两个相邻结点对应的行存储结构均不存在，则分别创建该两个相邻结点对应的行存储结构；

所述第一存储单元，还用于将该边的数据分别导入该两个相邻结点对应的行存储结构。

11.根据权利要求7-10任一项所述的装置，其特征在于，对于任一行存储结构，当该行存储结构中未导入结点数据时，该行存储结构对应结点为虚拟结点；

所述第二存储单元，具体用于向虚拟结点对应的行存储结构导入对应的结点数据。

12.根据权利要求7-10任一项所述的装置，其特征在于，所述行存储结构以对应的结点的标识为主键，通过属性元组存储该结点的属性信息，并通过边元组存储该结点的相邻边的属性信息。

13.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一项所述的方法步骤。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一项所述的方法步骤。