CN114996234A - 数据获取方法和装置、计算机存储介质、电子设备 - Google Patents

Abstract

本公开是关于一种数据获取方法和装置、计算机存储介质、电子设备，涉及计算机技术领域。该方法包括：访问分布式文件存储系统，获取所述分布式文件存储系统中的图元数据，对所述图元数据进行反序列化，得到目标数据；获取所述分布式文件存储系统中的业务数据文件，对所述业务数据文件进行解析，得到目标业务数据；对所述目标业务数据与所述目标数据进行匹配，生成匹配结果集。本公开简化了图数据库中数据获取流程，提高了业务数据获取的效率。

Description

数据获取方法和装置、计算机存储介质、电子设备

技术领域

本公开实施例涉及计算机技术领域，具体而言，涉及一种数据获取方法、数据获取装置、计算机可读存储介质以及电子设备。

背景技术

JanusGraph是一种开源的图数据库，具有良好的扩展性。支持Hbase、cassandra等多种存储介质存储数据，当其采用Hbase存储数据，获取JanusGraph图数据库中的数据时，相关技术中可以通过两种方式来离线加载数据。

方式一，通过调用Hbase客户端应用程序接口，将数据获取请求发送至Hbase集群运行在每个工作节点上的服务，通过Hbase集群运行在每个工作节点上的服务来获取数据；方式二，通过读取Hbase的Hfile文件，对Hfile文件进行反序列化来获取数据。

但是，方式一会导致JanusGraph图数据库的在线读写服务的性能下降；方式二相比方式一，可以避免对Hbase集群运行在每个工作节点上的服务产生较大的压力，但是，上述两种方式都依赖JanusGraph API接口获取图元信息，通过图元信息解析实体关系，会频繁跨网络请求图元数据，导致数据获取效率低。

因此，需要提供一种新的数据获取方法。

需要说明的是，在上述背景技术部分发明的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的目的在于提供一种数据获取方法、数据获取装置、计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的数据获取效率低的问题。

根据本公开的一个方面，提供一种数据获取方法，包括：

访问分布式文件存储系统，获取所述分布式文件存储系统中的图元数据，对所述图元数据进行反序列化，得到目标数据；

获取所述分布式文件存储系统中的业务数据文件，对所述业务数据文件进行解析，得到目标业务数据；

对所述目标业务数据与所述目标数据进行匹配，生成匹配结果集。

在本公开的一种示例性实施例中，访问分布式文件存储系统，获取所述分布式文件存储系统中的图元数据，包括：

通过图数据库的应用程序编程接口，访问所述分布式文件存储系统，获取所述分布式文件存储系统中存储的序列化的图元数据。

在本公开的一种示例性实施例中，对所述图元数据进行反序列化，得到目标数据，包括：

确定自定义图元数据解析类，对所述图元数据解析类进行初始化；

通过所述初始化的图元数据解析类对所述序列化的图元数据进行反序列化，得到目标数据；其中，所述目标数据包括自定义实体类型、自定义关系类型、自定义属性类型、保留属性以及保留关系。

在本公开的一种示例性实施例中，在得到目标数据之后，所述数据获取方法还包括：

将所述目标数据存储至基于内存的计算引擎中。

在本公开的一种示例性实施例中，获取所述分布式文件存储系统中的业务数据文件，对所述业务数据文件进行解析，得到目标业务数据，包括：

确定与所述图数据库对应的后端数据存储介质；

在所述分布式存储系统中获取所述数据存储介质存储的第一文件，生成所述第一文件的快照；

通过所述数据存储介质的快照解析类，对所述第一文件的快照进行读取，得到所述第一文件中序列化的业务数据文件；

对所述序列化的业务数据文件进行解析，得到所述目标业务数据。

在本公开的一种示例性实施例中，对所述序列化的业务数据文件进行解析，得到所述目标业务数据，包括：

对所述序列化的业务数据文件进行反序列化，得到反序列化业务数据文件；

对所述反序列化业务数据文件进行单行解析，得到所述目标业务数据。

在本公开的一种示例性实施例中，对所述目标业务数据与所述目标数据进行匹配，生成匹配结果集，包括：

从所述基于内存的计算引擎中获取所述目标数据；

对所述目标数据中包括的所述目标数据的唯一标识与所述目标业务数据进行匹配；

在匹配成功时，根据匹配成功的所述目标数据与所述目标业务数据，生成所述匹配结果集；

将所述匹配结果集存储至数据仓库中。

根据本公开的一个方面，提供一种数据获取装置，包括：

元数据获取模块，用于访问分布式文件存储系统，获取所述分布式文件存储系统中的图元数据，对所述图元数据进行反序列化，得到目标数据；

业务数据获取模块，用于获取所述分布式文件存储系统中的业务数据文件，对所述业务数据文件进行解析，得到目标业务数据；

数据匹配模块，用于对所述目标业务数据与所述目标数据进行匹配，生成匹配结果集。

根据本公开的一个方面，提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的数据获取方法。

根据本公开的一个方面，提供一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的数据获取方法。

本公开实施例提供的一种数据获取方法，访问分布式文件存储系统，获取所述分布式文件存储系统中的图元数据，对所述图元数据进行反序列化，得到目标数据；获取所述分布式文件存储系统中的业务数据文件，对所述业务数据文件进行解析，得到目标业务数据；对所述目标业务数据与所述目标数据进行匹配，生成匹配结果集；一方面，前置获取图元数据，对图元数据进行反序列化，得到目标数据，然后获取业务数据文件，解析得到目标业务数据，并对前置获取的目标数据与解析得到的目标业务数据进行匹配，得到匹配结果集，解决了相关技术中在目标业务数据的同时频繁跨网络请求图元数据的问题，提高了数据获取的效率；另一方面，简化了业务数据加载以及解析的流程，提高了在图数据库中获取大规模图数据的性能。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出根据本公开示例实施例的一种相关技术中获取业务数据的方法流程图。

图2示意性示出根据本公开示例实施例的一种相关技术中获取业务数据的方法流程图。

图3示意性示出根据本公开示例实施例的一种数据获取的方法流程图。

图4示意性示出根据本公开示例实施例的一种对图元数据进行反序列化得到目标数据的方法流程图。

图5示意性示出根据本公开示例实施例的一种获取分布式文件存储系统中的业务数据文件，对业务数据文件进行解析，得到目标业务数据的方法流程图。

图6示意性示出根据本公开示例实施例的一种对序列化的业务数据文件进行解析，得到目标业务数据的方法流程图。

图7示意性示出根据本公开示例实施例的一种对目标业务数据与目标数据进行匹配，生成匹配结果集的方法流程图。

图8示意性示出根据本公开示例实施例的一种数据获取方法的流程图。

图9示意性示出根据本公开示例实施例的一种数据获取装置的框图。

图10示意性示出根据本公开示例实施例的一种用于实现上述分布式事务处理方法的电子设备。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本发明的各方面变得模糊。

此外，附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

相关技术中，可以通过JanusGraph图数据库提供的HBaseInputFormat类来获取数据，也可以通过JanusGraph图数据库提供的HbaseSnapshotInputFormat类来获取数据。在通过HBaseInputFormat类来获取数据时，HbaseInputFormat类是MapReduce(面向大数据并行处理的计算模型、框架和平台)中InputFormat接口的实现类，其中，该InputFormat用于创建RecordReader，当创建RecordReader之后，参考图1所示，在步骤S110中，通过RecordReader读取图数据库所使用的存储介质Hbase中存储的表数据，在读取表数据时，通过步骤S120，将读取请求发送给RegionServer(HBase集群运行在每个工作节点上的服务)，RegionServer通过TableScanMR会将读取请求拆分成多个子读取请求，并利用多个子读取请求浏览Hbase表数据。获取到读取结果后，根据步骤S130，通过JanusGraph图数据库的应用程序编程接口获取图元数据，使用图元数据解析数据，并利用JanusGraphVertexDeserializer类将数据解析成VertexWritable(结点)类型的结果，最后，在步骤S140中，从VertexWritable中获取实体及关系。

在通过HbaseSnapshotInputFormat类来获取数据时，该HbaseSnapshotInputFormat类为MapReduce框架中InputFormat接口的实现类。在获取数据时，参考图2所示，首先，在步骤S210中，通过TableSnapshotRegionRecordReader读取hbase表数据；然后，在步骤S220中，snapshotScanMR通过ClientSideRegionScanner类，会在客户端直接打开region(region是Hbase数据管理的基本单位)扫描HDFS(Hadoop分布式文件系统)中的文件，获取到扫描结果后，在步骤S230中，JanusGraph图数据库的应用程序编程接口不断获取图元数据，使用图元数据解析扫描结果，并利用JanusGraphVertexDeserializer类将通过图元数据解析到的数据再次解析成VertexWritable类型的结果；最后，在步骤S240中，从VertexWritable中获取实体及关系。

上述两种方法，均可以获取数据，但是均是先获取业务数据，针对获取到的业务数据，多次依赖JanusGraph图数据库的应用程序编程接口获取图元数据对该获取到的业务数据进行解析，频繁跨网络请求图元信息，降低了数据获取的效率。

基于上述一个或者多个问题，本示例实施方式首先，提供了一种数据获取方法，该方法可以运行于服务器、服务器集群或者云服务器等等；当然，本领域技术人员也可以根据需求在其他平台运行本发明的方法，本示例性实施例中对此不做特殊限定。参考图3所示，该数据获取方法可以包括以下步骤：

步骤S310.访问分布式文件存储系统，获取所述分布式文件存储系统中的图元数据，对所述图元数据进行反序列化，得到目标数据；

步骤S320.获取所述分布式文件存储系统中的业务数据文件，对所述业务数据文件进行解析，得到目标业务数据；

步骤S330.对所述目标业务数据与所述目标数据进行匹配，生成匹配结果集。

上述数据获取方法，访问分布式文件存储系统，获取所述分布式文件存储系统中的图元数据，对所述图元数据进行反序列化，得到目标数据；获取所述分布式文件存储系统中的业务数据文件，对所述业务数据文件进行解析，得到目标业务数据；对所述目标业务数据与所述目标数据进行匹配，生成匹配结果集；一方面，前置获取图元数据，对图元数据进行反序列化，得到目标数据，然后获取业务数据文件，解析得到目标业务数据，并对前置获取的目标数据与解析得到的目标业务数据进行匹配，得到匹配结果集，解决了相关技术中在目标业务数据的同时频繁跨网络请求图元数据的问题，提高了数据获取的效率；另一方面，简化了业务数据加载以及解析的流程，提高了在图数据库中获取大规模图数据的性能。

以下，对本公开示例实施例的数据获取方法中涉及的各步骤进行详细的解释以及说明。

首先，对本公开示例实施例的应用场景以及发明目的进行解释以及说明。

具体的，本公开示例实施例可以用于获取图数据库中的业务数据，主要用于简化业务数据的获取流程，提高业务数据的获取效率。

在本公开示例实施例中，当要获取到图数据库中包括的业务数据时，首先，从分布式文件存储系统中获取图元数据，对获取到的图元数据进行反序列化，得到目标数据，对目标数据进行存储；然后，加载分布式文件存储系统中存储的第一文件，对第一文件进行读取，得到存储业务数据的业务数据文件，对该业务数据文件进行解析，得到目标业务数据；最后，从内存中获取目标数据，对目标数据与目标业务数据进行匹配，得到匹配结果集，该匹配结果集中包括了需要获取到的业务数据，简化了数据获取的流程，提高了数据获取的效率。

其次，对步骤S310-步骤S330进行解释以及说明。

在步骤S310中，访问分布式文件存储系统，获取所述分布式文件存储系统中的图元数据，对所述图元数据进行反序列化，得到目标数据。

在本示例实施例中，图数据库为JanusGraph，该与该JanusGraph图数据库对应的后端存储介质为Hbase，Hbase为Hadoop database，即Hadoop数据库，HBase利用HDFS(Hadoop Distributed File System，分布式文件存储系统)作为其文件存储系统，即，分布式文件系统为Hadoop HDFS；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据。当在Hbase中存储图元数据时，该存储的图元数据是经过序列化的以自定义格式存储的。

访问分布式文件存储系统，获取所述分布式文件存储系统中的图元数据，包括：

通过图数据库的应用程序编程接口，访问所述分布式文件存储系统，获取所述分布式文件存储系统中存储的序列化的图元数据。

具体的，首先，通过JanusGraph图数据库的API(Application ProgrammingInterface，应用程序编程接口)从分布式文件存储系统的Hbase中获取图数据库中的schema(图元数据)，该图元数据中包括标签和属性。

当获取到JanusGraph图数据库的图元数据之后，可以对获取到的图元数据进行反序列化，参考图4所示，对所述图元数据进行反序列化，得到目标数据，可以包括步骤S410以及步骤S420：

步骤S410.确定自定义图元数据解析类，对所述图元数据解析类进行初始化；

步骤S420.通过所述初始化的图元数据解析类对所述序列化的图元数据进行反序列化，得到目标数据；其中，所述目标数据包括自定义实体类型、自定义关系类型、自定义属性类型、保留属性以及保留关系。

以下，将对步骤S410、步骤S420进行进一步的解释以及说明。具体的，可以确定自定义图元数据解析类SchemaDef，该自定义图元数据解析类可以为预先定义好的，也可以为当获取到图元数据后，根据获取到的图元数据定义图元数据解析类，在本示例实施例中对此不做具体限定。当确定自定义图元数据解析类之后，对该自定义图元数据解析类进行初始化，通过初始化的自定义图元数据解析类对获取到的图元数据进行反序列化，得到目标数据，该目标数据为图元数据中包括的标签和属性。其中，标签和属性可以包括：自定义实体类型(VertexLabel)、自定义关系类型(EdgeLabel)、自定义属性类型(PropertyKey)、保留属性(BaseKey)以及保留关系类型(BaseLabel)。保留属性(VertexExists)，表示实体是否存在，在JanusGraph图数据库中实体类型定义、关系类型定义以及属性定义都是一个单独的点，除了系统创建的点，还有用户创建的点，实体到点之间的关系类型为系统保留的关系类型、该保留关系类型可以包括VertexLabel以及SchemaRelated。

在本示例实施例中，在得到目标数据之后，所述数据获取方法还包括：

将所述目标数据存储至基于内存的计算引擎中。

具体的，当得到目标数据之后，可以将该目标数据存储至Spark(基于内存的计算引擎)内存中。

在步骤S320中，获取所述分布式文件存储系统中的业务数据文件，对所述业务数据文件进行解析，得到目标业务数据。

其中，当JanusGraph图数据库采用的存储介质为Hbase时，JanusGraph图数据库中的数据以HFile的形式存储在HDFS中，HFile是Hbase存储数据的文件组织形式。

在本示例实施例中，参考图5所示，获取所述分布式文件存储系统中的业务数据文件，对所述业务数据文件进行解析，得到目标业务数据，可以包括步骤S510-步骤S540：

步骤S510.确定与所述图数据库对应的后端数据存储介质；

步骤S520.在所述分布式存储系统中获取所述数据存储介质存储的第一文件，生成所述第一文件的快照；

步骤S530.通过所述数据存储介质的快照解析类，对所述第一文件的快照进行读取，得到所述第一文件中序列化的业务数据文件；

步骤S540.对所述序列化的业务数据文件进行解析，得到所述目标业务数据。

以下，将对步骤S510-步骤S540进行进一步的解释以及说明。具体的，首先确定与图数据库对应的后端数据存储介质，当该后端数据存储介质为Hbase时，首先，在分布式存储系统中获取数据存储介质Hbase存储的第一文件，其中，该第一文件为HFile文件，并生成该第一文件的快照；然后，通过数据存储介质的快照解析类，即，通过Hbase的TableSnapshotInputFormat类对第一文件HFile进行读取，得到该HFile中的业务数据文件，该业务数据在存储至Hbase时，是经过序列化的；最后，当得到业务数据文件之后，对该业务数据文件进行解析，得到目标业务数据。

在本示例实施例中，参考图6所示，对所述序列化的业务数据文件进行解析，得到所述目标业务数据，可以包括步骤S610以及步骤S620：

步骤S610.对所述序列化的业务数据文件进行反序列化，得到反序列化业务数据文件；

步骤S620.对所述反序列化业务数据文件进行单行解析，得到所述目标业务数据。

以下，将对步骤S610、步骤S620进行进一步的解释以及说明。具体的，当获取到业务数据文件之后，由于该业务数据文件在存储至Hbase时是经过序列化的，因此，需要对该业务数据文件进行反序列化，得到反序列化业务数据文件；然后，对反序列化业务数据文件进行单行解析，在JanusGraph图数据库中，数据是以点为中心，按切边的方式进行存储，在Hbase的单行数据中，以实体的唯一标识作为每一行的rowkey，实体上的属性和边作为rowkey对应的cell，其中，rowkey用来表示唯一一行记录，在Hbase中进行查询时只能通过rowkey来进行查询；Hbase中的cell表示表中的单元格，通过Hbase中的每一行以及每一列都可以确定一个cell，cell中的数据是没有类型的，全部都是字节码，因此对反序列化业务数据文件进行单行解析，将字节码转换为字符串，以得到反序列化业务数据文件中包括的目标业务数据。

在步骤S330中，对所述目标业务数据与所述目标数据进行匹配，生成匹配结果集。

在本示例实施例中，参考图7所示，对所述目标业务数据与所述目标数据进行匹配，生成匹配结果集，可以包括步骤S710-步骤S740：

步骤S710.从所述基于内存的计算引擎中获取所述目标数据；

步骤S720.对所述目标数据中包括的所述目标数据的唯一标识与所述目标业务数据的唯一标识进行匹配；

步骤S730.在匹配成功时，根据匹配成功的所述目标数据与所述目标业务数据，生成所述匹配结果集；

步骤S740.将所述匹配结果集存储至数据仓库中。

以下，将对步骤S710-步骤S740进行进一步的解释以及说明。具体的，当获取到目标业务数据之后，需要对目标业务数据与目标数据进行匹配，首先，从Spark内存中获取存储的目标数据；然后，对目标业务数据与目标数据进行匹配，由于在存储图元数据时，该图元数据中的每个元素都有唯一标识，因此，在进行匹配时，可以根据解析得到的目标数据中每个实体类型的唯一标识与解析得到的目标业务数据进行匹配，即，在业务数据中进行查找，确定每一条业务数据中是否包括任一实体类型的唯一标识，当包含时，可以认为该目标业务数据与该目标数据匹配成功；在匹配成功时，可以根据匹配成功的目标数据与目标业务数据生成匹配结果集，其中，该匹配结果集为RDD(Resilient Distributed Datasets，弹性分布式数据集)结果集，该结果集中包括为反序列化后的实体以及关系数据。RDD结果集具备数据流模型的容错特性，并且允许在大型集群上执行基于内存的计算。最后，在得到匹配结果集之后，可以将该匹配结果集存储至Hive表中，其中，Hive基于数据仓库，提供静态数据的动态查询，但是不支持更改数据的操作。

本公开示例实施例提供的数据获取方法具有以下优点：一方面，前置获取图元数据，对图元数据进行反序列化，得到目标数据，然后获取业务数据文件，解析得到目标业务数据，并对前置获取的目标数据与解析得到的目标业务数据进行匹配，得到匹配结果集，解决了相关技术中在目标业务数据的同时频繁跨网络请求图元数据的问题，提高了数据获取的效率；另一方面，简化了业务数据加载以及解析的流程，提高了在图数据库中获取大规模图数据的性能。

以下，结合图8对公开示例实施例的数据获取方法进行进一步的解释以及说明。其中，数据获取方法可以包括以下步骤：

步骤S810.通过JanusGraph图数据的应用程序编程接口，在分布式文件存储系统中获取图数据库的图元数据；

步骤S820.自定义图元数据解析类，通过图元数据解析类对获取到的图元数据进行反序列化，得到目标数据；

步骤S830.将目标数据存储至Spark内存中；

步骤S840.从分布式文件存储系统中获取HFile文件，生成HFile文件的快照，通过Hbase的快照解析类对HFile文件的快照进行读取，得到HFile文件中的业务数据文件；

步骤S850.对业务数据文件进行反序列化，得到反序列化业务数据文件；

步骤S860.对反序列化业务数据文件进行单行解析，得到目标业务数据；

步骤S870.从Spark内存中获取目标数据，对目标数据与目标业务数据进行匹配；

步骤S880.在匹配成功时，根据匹配成功的目标数据与目标业务数据生成匹配结果集；

步骤S890.将匹配结果集存储至数据仓库。

本公开示例实施例提供了一种数据获取装置，参考图9所示，该数据获取装置可以包括：元数据获取模块910、业务数据获取模块920以及数据匹配模块930。其中：

元数据获取模块910，用于访问分布式文件存储系统，获取所述分布式文件存储系统中的图元数据，对所述图元数据进行反序列化，得到目标数据；

业务数据获取模块920，用于获取所述分布式文件存储系统中的业务数据文件，对所述业务数据文件进行解析，得到目标业务数据；

数据匹配模块930，用于对所述目标业务数据与所述目标数据进行匹配，生成匹配结果集。

在本公开的一种示例性实施例中，访问分布式文件存储系统，获取所述分布式文件存储系统中的图元数据，包括：

通过图数据库的应用程序编程接口，访问所述分布式文件存储系统，获取所述分布式文件存储系统中存储的序列化的图元数据。

在本公开的一种示例性实施例中，对所述图元数据进行反序列化，得到目标数据，包括：

确定自定义图元数据解析类，对所述图元数据解析类进行初始化；

通过所述初始化的图元数据解析类对所述序列化的图元数据进行反序列化，得到目标数据；其中，所述目标数据包括自定义实体类型、自定义关系类型、自定义属性类型、保留属性以及保留关系。

在本公开的一种示例性实施例中，在得到目标数据之后，所述数据获取方法还包括：

将所述目标数据存储至基于内存的计算引擎中。

在本公开的一种示例性实施例中，获取所述分布式文件存储系统中的业务数据文件，对所述业务数据文件进行解析，得到目标业务数据，包括：

确定与所述图数据库对应的后端数据存储介质；

在所述分布式存储系统中获取所述数据存储介质存储的第一文件，生成所述第一文件的快照；

通过所述数据存储介质的快照解析类，对所述第一文件的快照进行读取，得到所述第一文件中序列化的业务数据文件；

对所述序列化的业务数据文件进行解析，得到所述目标业务数据。

在本公开的一种示例性实施例中，对所述序列化的业务数据文件进行解析，得到所述目标业务数据，包括：

对所述序列化的业务数据文件进行反序列化，得到反序列化业务数据文件；

对所述反序列化业务数据文件进行单行解析，得到所述目标业务数据。

在本公开的一种示例性实施例中，对所述目标业务数据与所述目标数据进行匹配，生成匹配结果集，包括：

从所述基于内存的计算引擎中获取所述目标数据；

对所述目标数据中包括的所述目标数据的唯一标识与所述目标业务数据进行匹配；

在匹配成功时，根据匹配成功的所述目标数据与所述目标业务数据，生成所述匹配结果集；

将所述匹配结果集存储至数据仓库中。

上述数据获取装置中各模块的具体细节已经在对应的数据获取方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本发明中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

在本发明的示例性实施例中，还提供了一种能够实现上述数据转换方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参考图10来描述根据本发明的这种实施方式的电子设备1000。图10显示的电子设备1000仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图10所示，电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：上述至少一个处理单元1010、上述至少一个存储单元1020、连接不同系统组件(包括存储单元1020和处理单元1010)的总线1030以及显示单元1040。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1010执行，使得所述处理单元1010执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元1010可以执行如图1中所示的步骤S110：访问分布式文件存储系统，获取所述分布式文件存储系统中的图元数据，对所述图元数据进行反序列化，得到目标数据；步骤S120：获取所述分布式文件存储系统中的业务数据文件，对所述业务数据文件进行解析，得到目标业务数据；步骤S130：对所述目标业务数据与所述目标数据进行匹配，生成匹配结果集。

存储单元1020可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)10201和/或高速缓存存储单元10202，还可以进一步包括只读存储单元(ROM)10203。

存储单元1020还可以包括具有一组(至少一个)程序模块10205的程序/实用工具10204，这样的程序模块10205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1030可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1000也可以与一个或多个外部设备1100(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1300交互的设备通信，和/或与使得该电子设备1000能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1050进行。并且，电子设备1000还可以通过网络适配器1060与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1060通过总线1030与电子设备1000的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1000使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本发明实施方式的方法。

在本发明的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

根据本发明的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本发明的其他实施例。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。

Claims (10)

1.一种数据获取方法，其特征在于，包括：

访问分布式文件存储系统，获取所述分布式文件存储系统中的图元数据，对所述图元数据进行反序列化，得到目标数据；

获取所述分布式文件存储系统中的业务数据文件，对所述业务数据文件进行解析，得到目标业务数据；

对所述目标业务数据与所述目标数据进行匹配，生成匹配结果集。

2.根据权利要求1所述的数据获取方法，其特征在于，访问分布式文件存储系统，获取所述分布式文件存储系统中的图元数据，包括：

通过图数据库的应用程序编程接口，访问所述分布式文件存储系统，获取所述分布式文件存储系统中存储的序列化的图元数据。

3.根据权利要求2所述的数据获取方法，其特征在于，对所述图元数据进行反序列化，得到目标数据，包括：

确定自定义图元数据解析类，对所述图元数据解析类进行初始化；

通过所述初始化的图元数据解析类对所述序列化的图元数据进行反序列化，得到目标数据；其中，所述目标数据包括自定义实体类型、自定义关系类型、自定义属性类型、保留属性以及保留关系。

4.根据权利要求3所述的数据获取方法，其特征在于，在得到目标数据之后，所述数据获取方法还包括：

将所述目标数据存储至基于内存的计算引擎中。

5.根据权利要求4所述的数据获取方法，其特征在于，获取所述分布式文件存储系统中的业务数据文件，对所述业务数据文件进行解析，得到目标业务数据，包括：

确定与所述图数据库对应的后端数据存储介质；

在所述分布式存储系统中获取所述数据存储介质存储的第一文件，生成所述第一文件的快照；

通过所述数据存储介质的快照解析类，对所述第一文件的快照进行读取，得到所述第一文件中序列化的业务数据文件；

对所述序列化的业务数据文件进行解析，得到所述目标业务数据。

6.根据权利要求5所述的数据获取方法，其特征在于，对所述序列化的业务数据文件进行解析，得到所述目标业务数据，包括：

对所述序列化的业务数据文件进行反序列化，得到反序列化业务数据文件；

对所述反序列化业务数据文件进行单行解析，得到所述目标业务数据。

7.根据权利要求6所述的数据获取方法，其特征在于，对所述目标业务数据与所述目标数据进行匹配，生成匹配结果集，包括：

从所述基于内存的计算引擎中获取所述目标数据；

对所述目标数据中包括的所述目标数据的唯一标识与所述目标业务数据进行匹配；

在匹配成功时，根据匹配成功的所述目标数据与所述目标业务数据，生成所述匹配结果集；

将所述匹配结果集存储至数据仓库中。

8.一种数据获取装置，其特征在于，包括：

元数据获取模块，用于访问分布式文件存储系统，获取所述分布式文件存储系统中的图元数据，对所述图元数据进行反序列化，得到目标数据；

业务数据获取模块，用于获取所述分布式文件存储系统中的业务数据文件，对所述业务数据文件进行解析，得到目标业务数据；

数据匹配模块，用于对所述目标业务数据与所述目标数据进行匹配，生成匹配结果集。

9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的数据获取方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任一项所述的数据获取方法。

Images