CN111858730A - 一种图数据库的数据导入导出装置、方法、设备及介质 - Google Patents

一种图数据库的数据导入导出装置、方法、设备及介质 Download PDF

Info

Publication number
CN111858730A
CN111858730A CN202010664286.9A CN202010664286A CN111858730A CN 111858730 A CN111858730 A CN 111858730A CN 202010664286 A CN202010664286 A CN 202010664286A CN 111858730 A CN111858730 A CN 111858730A
Authority
CN
China
Prior art keywords
data
export
import
target
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010664286.9A
Other languages
English (en)
Inventor
韩国国
张东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010664286.9A priority Critical patent/CN111858730A/zh
Publication of CN111858730A publication Critical patent/CN111858730A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种图数据库的数据导入导出装置、方法、电子设备及计算机可读存储介质，该装置包括：参数配置模块，用于根据操作指令生成数据导入操作或数据导出操作的配置文件；数据摄取模块，用于根据配置文件摄取对应目标数据；数据转换模块，用于根据配置文件对目标数据建立数据属性映射和数据关系映射，并进行对应的数据关系结构转换；数据关系结构转换包括属性数据与顶点数据、边数据之间的转换；数据导入模块，用于在操作指令为数据导入指令时将转换后的目标数据导入至目标图数据库中；数据导出模块，用于在操作指令为数据导出指令时将转换后的目标数据从目标图数据库中导出。本申请可高效自动地完成针对图数据库的批量数据导入或导出。

Description

一种图数据库的数据导入导出装置、方法、设备及介质
技术领域
本申请涉及图数据库技术领域，特别涉及一种图数据库的数据导入导出装置、方法、电子设备及计算机可读存储介质。
背景技术
相关技术中，对于如JanusGraph等图数据库，行业内尚未提供有成熟的数据导入导出方案。针对数据的导入导出操作，往往需要依据个案进行定制，编写特定代码进行操作，不仅效率低下，而且不便于用户使用，更不利于推广。鉴于此，提供一种解决上述技术问题的方案，已经是本领域技术人员所亟需关注的。
发明内容
本申请的目的在于提供一种图数据库的数据导入导出装置、方法、电子设备及计算机可读存储介质，以便有效提高数据导入导出操作的效率和便利性，提高用户体验。
为解决上述技术问题，第一方面，本申请公开了一种图数据库的数据导入导出装置，包括：
参数配置模块，用于根据输入的操作指令生成数据导入操作或数据导出操作的配置文件；
数据摄取模块，用于根据所述配置文件摄取对应的目标数据；
数据转换模块，用于根据所述配置文件对所述目标数据建立数据属性映射和数据关系映射，并进行对应的数据关系结构转换；所述数据关系结构转换包括属性数据与顶点数据、边数据之间的转换；
数据导入模块，用于在所述操作指令为数据导入指令时，根据所述配置文件将转换后的所述目标数据导入至目标图数据库中；
数据导出模块，用于在所述操作指令为数据导出指令时，根据所述配置文件将转换后的所述目标数据从目标图数据库中导出。
可选地，所述配置文件中记录有数据摄取配置参数、数据转换配置参数、数据导入配置参数和数据导出配置参数；
所述参数配置模块包括：
数据摄取配置单元，用于根据所述操作指令确定所述数据摄取配置参数；
数据转换配置单元，用于根据所述操作指令确定所述数据转换配置参数；
数据导入配置单元，用于在所述操作指令为数据导入指令时，根据所述操作指令确定所述数据导入配置参数；
数据导出配置单元，用于在所述操作指令为数据导出指令时，根据所述操作指令确定所述数据导出配置参数。
可选地，所述数据摄取模块、所述数据转换模块、所述数据导入模块和所述数据导出模块均采用并行工作模式。
可选地，所述数据转换模块还用于：
根据所述配置文件，将完成数据关系结构转换后的所述目标数据转换为目标数据格式。
可选地，还包括：
数据校验模块，用于对执行完数据导入操作或数据导出操作后的所述目标数据进行数据完整性校验。
可选地，所述数据摄取模块具体用于：
根据所述配置文件，基于Hadoop应用程序接口并行摄取对应的所述目标数据。
第二方面，本申请还公开了一种图数据库的数据导入导出方法，包括：
接收输入的操作指令；
根据所述操作指令生成数据导入操作或数据导出操作的配置文件；
根据所述配置文件摄取对应的目标数据；
根据所述配置文件对所述目标数据建立数据属性映射和数据关系映射，并进行对应的数据关系结构转换；所述数据关系结构转换包括属性数据与顶点数据、边数据之间的转换；
若所述操作指令为数据导入指令，则根据所述配置文件将转换后的所述目标数据导入至目标图数据库中；
若所述操作指令为数据导出指令，则根据所述配置文件将转换后的所述目标数据从目标图数据库中导出。
可选地，所述根据所述操作指令生成数据导入操作或数据导出操作的配置文件，包括：
根据所述操作指令确定数据摄取配置参数、数据转换配置参数、数据导入配置参数、数据导出配置参数；
根据所述数据摄取配置参数、所述数据转换配置参数、所述数据导入配置参数、所述数据导出配置参数生成所述配置文件。
可选地，在所述根据所述配置文件对所述目标数据进行对应的数据关系结构转换之后，还包括：
根据所述配置文件，将完成数据关系结构转换后的所述目标数据转换为目标数据格式。
可选地，所述根据所述配置文件摄取对应的目标数据，包括：
根据所述配置文件，基于Hadoop应用程序接口并行摄取对应的所述目标数据。
可选地，在所述根据所述配置文件将转换后的所述目标数据导入至目标图数据库中，或者所述根据所述配置文件将转换后的所述目标数据从目标图数据库中导出之后，还包括：
对执行完数据导入操作或数据导出操作后的所述目标数据进行数据完整性校验。
第三方面，本申请还公开了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如上所述的任一种图数据库的数据导入导出方法的步骤。
第四方面，本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如上所述的任一种图数据库的数据导入导出方法的步骤。
本申请所提供的图数据库的数据导入导出装置包括：参数配置模块，用于根据输入的操作指令生成数据导入操作或数据导出操作的配置文件；数据摄取模块，用于根据所述配置文件摄取对应的目标数据；数据转换模块，用于根据所述配置文件对所述目标数据建立数据属性映射和数据关系映射，并进行对应的数据关系结构转换；所述数据关系结构转换包括属性数据与顶点数据、边数据之间的转换；数据导入模块，用于在所述操作指令为数据导入指令时，根据所述配置文件将转换后的所述目标数据导入至目标图数据库中；数据导出模块，用于在所述操作指令为数据导出指令时，根据所述配置文件将转换后的所述目标数据从目标图数据库中导出。
可见，本申请利用一系列预先开发设置的相关功能模块，可自动解析用户的操作指令生成导入或导出操作的配置文件，并进行相应的数据关系结构转换操作，进而根据生成的配置文件高效、快速、自动地完成批量数据的导入或导出操作，极大地提高了图数据库的数据导入导出操作的效率和便利性，提高了用户体验。本申请所提供的图数据库的数据导入导出方法、电子设备及计算机可读存储介质同样具有上述有益效果。
附图说明
为了更清楚地说明现有技术和本申请实施例中的技术方案，下面将对现有技术和本申请实施例描述中需要使用的附图作简要的介绍。当然，下面有关本申请实施例的附图描述的仅仅是本申请中的一部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图，所获得的其他附图也属于本申请的保护范围。
图1为本申请实施例公开的一种图数据库的数据导入导出装置的结构框图；
图2为本申请实施例公开的一种图数据库的数据导入导出方法的流程图；
图3为本申请实施例公开的一种电子设备的结构框图。
具体实施方式
本申请的核心在于提供一种图数据库的数据导入导出装置、方法、电子设备及计算机可读存储介质，以便有效提高数据导入导出操作的效率和便利性，提高用户体验。
为了对本申请实施例中的技术方案进行更加清楚、完整地描述，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行介绍。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
JnausGraph是一种高度可扩展的分布式图数据库，专门用于存储和查询包含数千亿个分布在多机群集中的极点和边缘的图形。JanusGraph是一个事务处理型数据库，可以支持数千个并发用户实时执行复杂的图遍历。
当前，相关技术中，对于如JanusGraph等图数据库，行业内尚未提供有成熟的数据导入导出方案。针对数据的导入导出操作，往往需要依据个案进行定制，编写特定代码进行操作，不仅效率低下，而且不便于用户使用，更不利于推广。鉴于此，本申请提供了一种图数据库的数据导入导出方案，可有效解决上述问题。
参见图1所示，本申请实施例公开了一种图数据库的数据导入导出装置，主要包括：
参数配置模块101，用于根据输入的操作指令生成数据导入操作或数据导出操作的配置文件；
数据摄取模块102，用于根据配置文件摄取对应的目标数据；
数据转换模块103，用于根据配置文件对目标数据建立数据属性映射和数据关系映射，并进行对应的数据关系结构转换；数据关系结构转换包括属性数据与顶点数据、边数据之间的转换；
数据导入模块104，用于在操作指令为数据导入指令时，根据配置文件将转换后的目标数据导入至目标图数据库中；
数据导出模块105，用于在操作指令为数据导出指令时，根据配置文件将转换后的目标数据从目标图数据库中导出。
具体地，本申请实施例所提供的图数据库的数据导入导出装置，可具体应用于如JnausGraph等图数据库的数据导入导出操作中。该装置中具体包括有参数配置模块101，在用户使用时，参数配置模块101可对输入的操作指令进行解析，进而生成对应的配置文件。
操作指令可具体包括数据导入指令和数据导出指令，其中，数据导入操作即将数据导入至图数据库中，数据导出操作即将数据从图数据库中导出。针对于数据导入指令，参数配置模块101可生成数据导入操作的配置文件；针对于数据导出指令，参数配置模块101可生成数据导出操作的配置文件。
根据生成的配置文件，数据摄取模块102、数据转换模块103、数据导入模块104和数据导出模块105即可自动进行后续相应的数据处理操作，有效提高针对图数据库的数据处理效率。
其中，需要说明的是，数据摄取模块102可自动完成对目标数据的批量摄取操作，包括图数据库中的数据，以及其他数据源中的数据。
数据转换模块103具备两个基础功能：首先，本申请针对的是图数据库的导入导出操作，因此，数据转换模块103的第一方面功能是为目标数据建立适用于图数据库的相关映射操作，包括数据的属性映射和数据关系映射；其次，数据转换模块103的第二方面功能是根据用户需求，对导入或者导出的目标数据进行数据关系结构上的相应转换，包括将属性数据转换为顶点数据或者边数据，和/或，将顶点数据或者边数据转换为属性数据。
其中需要说明的是，如JanusGraph等可扩展的图形数据库，用于存储和查询分析分布在多机集群中的数千亿个顶点(Vertex)和关系边(Edge)的图形。这类图数据库使用顶点、边与属性来表示和存储数据。顶点和边是图数据库中的关键概念，通过表征关系的边可将不同顶点联系在一起，用于进行快速的图检索操作。因此，本申请中的数据转换模块103可进一步对导入或者导出图数据库的目标数据的数据关系结构进行相应转换，以适应用户的不同需求。
例如，以如下的目标数据为例：
Person(Vertex)：
id_no name age lives
400***1123 Zhang San 25 Beijing
310***1256 Qin Tao 26 Shanghai
310***1246 Li lin 26 Shanghai
310***1546 Zheng Shu 26 Shanghai
Company(Vertex)：
Figure BDA0002579765820000061
Figure BDA0002579765820000071
WorkersFor(Edge)：
person company years_worked type
400***1123 Company1 2 T
310***1256 Company1 3 M
310***1246 Company2 2 T
310***1546 Company3 4 M
上述目标数据分别记录了顶点数据Person、Company以及边数据WorkersFor各自的各种属性数据。在将这些目标数据导入到图数据库前，可先建立属性映射和数据关系映射，以完成数据整合。例如，完成映射后的数据可具体如下：
Person(Vertex)：
person_id_no person_name person_age lives
400***1123 Zhang San 25 Beijing
310***1256 Qin Tao 26 Shanghai
310***1246 Li lin 26 Shanghai
310***1546 Zheng Shu 26 Shanghai
Company(Vertex)：
company_name since location employees
Company1 2009 Beijing 1000
Company2 2005 Shenzhen 3000
Company3 2003 Shanghai 1500
WorkersFor(Edge)：
Figure BDA0002579765820000072
Figure BDA0002579765820000081
对于上述完成了映射操作后的数据，根据用户在不同场景下的具体需求，数据转换模块可进一步进行数据关系结构转换。例如，通过增设一个顶点数据City，可将顶点数据Person中的属性数据lives转换为连接City和Person的一个边数据Lives，将顶点数据Company中的属性数据location转换为连接City和Company的一个边数据LocationAt：
Person(Vertex)：
person_id_no person_name person_age
400***1123 Zhang San 25
310***1256 Qin Tao 26
310***1246 Li lin 26
310***1546 Zheng Shu 26
Company(Vertex)：
name since employees
Company1 2009 1000
Company2 2005 3000
Company3 2003 1500
City(Vertex)：
name
Beijing
Shanghai
Shenzhen
Zhengzhou
Lives(Edge)：
Figure BDA0002579765820000082
Figure BDA0002579765820000091
LocationAt(Edge)：
company_name city_name
Company1 Beijing
Company2 Shenzhen
Company3 Shanghai
当用户输入数据导入指令后，参数配置模块101生成数据导入操作的配置文件，数据摄取模块102从配置文件指定的数据源位置摄取目标数据，数据转换模块103将目标数据进行相应的转换处理，数据导入模块104将经转换后的目标数据导入至图数据库中。
当用户输入数据导出指令后，参数配置模块101生成数据导出操作的配置文件，数据摄取模块102从配置文件指定的图数据库的数据存储位置摄取目标数据，数据转换模块103将目标数据进行相应的转换处理，数据导出模块105将经转换后的目标数据导出至配置文件指定的存储位置。
其中，需要说明的是，本申请所提供的数据导入导出装置，具体可支持多种数据源，例如CSV文件、关系型数据库、Hive等数据源，与图数据库间的数据导入导出操作。其中，Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表。Hadoop是一个分布式系统基础架构，充分利用集群的威力高速运算和存储。
可见，本申请实施例所公开的图数据库的数据导入导出装置，利用一系列预先开发设置的相关功能模块，可自动解析用户的操作指令生成导入或导出操作的配置文件，并进行相应的数据关系结构转换操作，进而根据生成的配置文件高效、快速、自动地完成批量数据的导入或导出操作，极大地提高了图数据库的数据导入导出操作的效率和便利性，提高了用户体验。
作为一种具体实施例，本申请实施例所公开的图数据库的数据导入导出装置在上述内容的基础上，配置文件中记录有数据摄取配置参数、数据转换配置参数、数据导入配置参数和数据导出配置参数；
参数配置模块101包括：
数据摄取配置单元，用于根据操作指令确定数据摄取配置参数；
数据转换配置单元，用于根据操作指令确定数据转换配置参数；
数据导入配置单元，用于在操作指令为数据导入指令时，根据操作指令确定数据导入配置参数；
数据导出配置单元，用于在操作指令为数据导出指令时，根据操作指令确定数据导出配置参数。
具体地，本实施例中，参数配置模块101具体包括有多个单元，分别用于生成不同的配置参数。容易理解的是，数据摄取配置参数、数据转换配置参数、数据导入配置参数、数据导出配置参数均为写入配置文件中的相关参数。
其中，数据摄取配置参数用于限定数据摄取操作，例如可具体包括目标数据的存储位置、文件名称、文件属性等等。数据转换配置参数用于限定如何进行数据转换操作。数据导入配置参数用于限定数据导入操作，例如可具体包括导入数据在图数据库中的存储位置等。数据导出配置参数用于限定数据导出操作，例如可具体包括导出后数据的存储位置。
作为一种具体实施例，本申请实施例所公开的图数据库的数据导入导出装置在上述内容的基础上，数据摄取模块102、数据转换模块103、数据导入模块104和数据导出模块105均采用并行工作模式。
具体地，本实施例中，各个模块在进行相关处理时均具体以并行方式进行，以进一步提高数据导入导出效率。
作为一种具体实施例，本申请实施例所公开的图数据库的数据导入导出装置在上述内容的基础上，数据导入配置参数包括数据导入方式参数，数据导入方式包括全量导入或者增量导入；数据导出配置参数包括数据导出方式参数，数据导出方式包括全量导出或者增量导出。
作为一种具体实施例，本申请实施例所公开的图数据库的数据导入导出装置在上述内容的基础上，数据转换模块103还用于：
根据配置文件，将完成数据关系结构转换后的目标数据转换为目标数据格式。
具体地，为了进一步便于用户直接阅览和使用，提高用户体验，本申请实施例还可进一步对目标数据进行格式转换，即将目标数据转换为便于用户阅读使用的目标数据格式。
作为一种具体实施例，本申请实施例所公开的图数据库的数据导入导出装置在上述内容的基础上，还包括：
数据校验模块，用于对执行完数据导入操作或数据导出操作后的目标数据进行数据完整性校验。
具体地，为了确保被导入导出的数据完整，本申请实施例还进一步在导入导出操作完成后进行了数据完整性校验，以便验证用户指定的目标数据是否完全被成功导入或者被导出。
作为一种具体实施例，本申请实施例所公开的图数据库的数据导入导出装置在上述内容的基础上，数据摄取模块102具体用于：
根据配置文件，基于Hadoop应用程序接口并行摄取对应的目标数据。
具体地，基于Hadoop实现的分布式文件系统，即Hadoop Distributed FileSystem(HDFS)，有着高容错性的特点，并且被设计部署在低廉硬件上因而成本较低，而且，HDFS可提供高传输率来访问应用程序的数据，适合用于有着超大数据集的应用程序。当然，本领域技术人员也可以根据实际需要而选用其他类型的文件系统，本申请对此并不进行限定。
参见图2所示，本申请实施例公开了一种图数据库的数据导入导出方法，主要包括：
S201：接收输入的操作指令。
S202：根据操作指令生成数据导入操作或数据导出操作的配置文件。
S203：根据配置文件摄取对应的目标数据。
S204：根据配置文件对目标数据建立数据属性映射和数据关系映射，并进行对应的数据关系结构转换；数据关系结构转换包括属性数据与顶点数据、边数据之间的转换；若操作指令为数据导入指令，则进入S205；若操作指令为数据导出指令，则进入S206。
S205：根据配置文件将转换后的目标数据导入至目标图数据库中。
S206：根据配置文件将转换后的目标数据从目标图数据库中导出。
可见，本申请利用一系列预先开发设置的相关功能模块，可自动解析用户的操作指令生成导入或导出操作的配置文件，并进行相应的数据关系结构转换操作，进而根据生成的配置文件高效、快速、自动地完成批量数据的导入或导出操作，极大地提高了图数据库的数据导入导出操作的效率和便利性，提高了用户体验。
作为一种具体实施例，本申请实施例所提供的图数据库的数据导入导出方法在上述内容的基础上，根据操作指令生成数据导入操作或数据导出操作的配置文件，包括：
根据操作指令确定数据摄取配置参数、数据转换配置参数、数据导入配置参数、数据导出配置参数；
根据数据摄取配置参数、数据转换配置参数、数据导入配置参数、数据导出配置参数生成配置文件。
作为一种具体实施例，本申请实施例所提供的图数据库的数据导入导出方法在上述内容的基础上，在根据配置文件对目标数据进行对应的数据关系结构转换之后，还包括：
根据配置文件，将完成数据关系结构转换后的目标数据转换为目标数据格式。
作为一种具体实施例，本申请实施例所提供的图数据库的数据导入导出方法在上述内容的基础上，根据配置文件摄取对应的目标数据，包括：
根据配置文件，基于Hadoop应用程序接口并行摄取对应的目标数据。
作为一种具体实施例，本申请实施例所提供的图数据库的数据导入导出方法在上述内容的基础上，在根据配置文件将转换后的目标数据导入至目标图数据库中，或者根据配置文件将转换后的目标数据从目标图数据库中导出之后，还包括：
对执行完数据导入操作或数据导出操作后的目标数据进行数据完整性校验。
关于上述图数据库的数据导入导出方法的具体内容，可参考前述关于图数据库的数据导入导出装置的详细介绍，这里就不再赘述。
参见图3所示，本申请实施例公开了一种电子设备，包括：
存储器301，用于存储计算机程序；
处理器302，用于执行所述计算机程序以实现如上所述的任一种图数据库的数据导入导出方法的步骤。
进一步地，本申请实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如上所述的任一种图数据库的数据导入导出方法的步骤。
关于上述电子设备和计算机可读存储介质的具体内容，可参考前述关于图数据库的数据导入导出装置的详细介绍，这里就不再赘述。
本申请中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的设备而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需说明的是，在本申请文件中，诸如“第一”和“第二”之类的关系术语，仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。此外，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的技术方案进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请的保护范围内。

Claims (10)

1.一种图数据库的数据导入导出装置，其特征在于，包括：
参数配置模块，用于根据输入的操作指令生成数据导入操作或数据导出操作的配置文件；
数据摄取模块，用于根据所述配置文件摄取对应的目标数据；
数据转换模块，用于根据所述配置文件对所述目标数据建立数据属性映射和数据关系映射，并进行对应的数据关系结构转换；所述数据关系结构转换包括属性数据与顶点数据、边数据之间的转换；
数据导入模块，用于在所述操作指令为数据导入指令时，根据所述配置文件将转换后的所述目标数据导入至目标图数据库中；
数据导出模块，用于在所述操作指令为数据导出指令时，根据所述配置文件将转换后的所述目标数据从目标图数据库中导出。
2.根据权利要求1所述的数据导入导出装置，其特征在于，所述配置文件中记录有数据摄取配置参数、数据转换配置参数、数据导入配置参数和数据导出配置参数；
所述参数配置模块包括：
数据摄取配置单元，用于根据所述操作指令确定所述数据摄取配置参数；
数据转换配置单元，用于根据所述操作指令确定所述数据转换配置参数；
数据导入配置单元，用于在所述操作指令为数据导入指令时，根据所述操作指令确定所述数据导入配置参数；
数据导出配置单元，用于在所述操作指令为数据导出指令时，根据所述操作指令确定所述数据导出配置参数。
3.根据权利要求1所述的数据导入导出装置，其特征在于，所述数据摄取模块、所述数据转换模块、所述数据导入模块和所述数据导出模块均采用并行工作模式。
4.根据权利要求1所述的数据导入导出装置，其特征在于，所述数据转换模块还用于：
根据所述配置文件，将完成数据关系结构转换后的所述目标数据转换为目标数据格式。
5.根据权利要求1至4任一项所述的数据导入导出装置，其特征在于，还包括：
数据校验模块，用于对执行完数据导入操作或数据导出操作后的所述目标数据进行数据完整性校验。
6.根据权利要求5所述的数据导入导出装置，其特征在于，所述数据摄取模块具体用于：
根据所述配置文件，基于Hadoop应用程序接口并行摄取对应的所述目标数据。
7.一种图数据库的数据导入导出方法，其特征在于，包括：
接收输入的操作指令；
根据所述操作指令生成数据导入操作或数据导出操作的配置文件；
根据所述配置文件摄取对应的目标数据；
根据所述配置文件对所述目标数据建立数据属性映射和数据关系映射，并进行对应的数据关系结构转换；所述数据关系结构转换包括属性数据与顶点数据、边数据之间的转换；
若所述操作指令为数据导入指令，则根据所述配置文件将转换后的所述目标数据导入至目标图数据库中；
若所述操作指令为数据导出指令，则根据所述配置文件将转换后的所述目标数据从目标图数据库中导出。
8.根据权利要求7所述的数据导入导出方法，其特征在于，在所述根据所述配置文件将转换后的所述目标数据导入至目标图数据库中，或者所述根据所述配置文件将转换后的所述目标数据从目标图数据库中导出之后，还包括：
对执行完数据导入操作或数据导出操作后的所述目标数据进行数据完整性校验。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求7或8所述的图数据库的数据导入导出方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如权利要求7或8所述的图数据库的数据导入导出方法的步骤。
CN202010664286.9A 2020-07-10 2020-07-10 一种图数据库的数据导入导出装置、方法、设备及介质 Withdrawn CN111858730A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010664286.9A CN111858730A (zh) 2020-07-10 2020-07-10 一种图数据库的数据导入导出装置、方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010664286.9A CN111858730A (zh) 2020-07-10 2020-07-10 一种图数据库的数据导入导出装置、方法、设备及介质

Publications (1)

Publication Number Publication Date
CN111858730A true CN111858730A (zh) 2020-10-30

Family

ID=72983006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010664286.9A Withdrawn CN111858730A (zh) 2020-07-10 2020-07-10 一种图数据库的数据导入导出装置、方法、设备及介质

Country Status (1)

Country Link
CN (1) CN111858730A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326276A (zh) * 2021-06-23 2021-08-31 北京金山数字娱乐科技有限公司 一种图数据库更新方法及装置
CN113468275A (zh) * 2021-07-28 2021-10-01 浙江大华技术股份有限公司 图数据库的数据导入方法和装置、存储介质及电子设备
CN113553458A (zh) * 2021-08-10 2021-10-26 北京明略软件系统有限公司 图数据库中的数据导出方法及装置
CN113886482A (zh) * 2021-12-07 2022-01-04 北京华云安信息技术有限公司 面向图数据库的数据自动入库方法、装置和设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326276A (zh) * 2021-06-23 2021-08-31 北京金山数字娱乐科技有限公司 一种图数据库更新方法及装置
CN113468275A (zh) * 2021-07-28 2021-10-01 浙江大华技术股份有限公司 图数据库的数据导入方法和装置、存储介质及电子设备
CN113553458A (zh) * 2021-08-10 2021-10-26 北京明略软件系统有限公司 图数据库中的数据导出方法及装置
CN113886482A (zh) * 2021-12-07 2022-01-04 北京华云安信息技术有限公司 面向图数据库的数据自动入库方法、装置和设备
CN113886482B (zh) * 2021-12-07 2022-03-08 北京华云安信息技术有限公司 面向图数据库的数据自动入库方法、装置和设备

Similar Documents

Publication Publication Date Title
CN111858730A (zh) 一种图数据库的数据导入导出装置、方法、设备及介质
CN103440288A (zh) 一种大数据存储方法及装置
CN111324610A (zh) 一种数据同步的方法及装置
CN102426609A (zh) 一种基于MapReduce编程架构的索引生成方法和装置
CN103500196A (zh) 多并发大数据量环境下excel数据导出方法及其导出装置
CN102236672A (zh) 一种数据导入方法及装置
CN107766541B (zh) 配用电全局全量数据传输及存储方法、装置、电子设备
CN112347071B (zh) 一种配电网云平台数据融合方法及配电网云平台
CN110851511A (zh) 数据同步的方法及装置
CN113177090A (zh) 数据处理方法及装置
CN111125199B (zh) 一种数据库访问方法、装置及电子设备
CN104516985A (zh) 一种基于HBase数据库的海量数据快速导入方法
CN111897828A (zh) 数据批处理实现方法、装置、设备及存储介质
CN113010542B (zh) 业务数据处理方法、装置、计算机设备及存储介质
CN110569230A (zh) 数据库设计模型与设计文档互相转换方法、系统及设备
CN111984745B (zh) 数据库字段动态扩展方法、装置、设备及存储介质
CN113778947A (zh) 一种kafka流处理平台的数据导入方法、装置及设备
CN109697234B (zh) 实体的多属性信息查询方法、装置、服务器和介质
CN104714956A (zh) 一种异构记录集对比方法及装置
CN115858322A (zh) 日志数据处理方法、装置和计算机设备
CN103164532A (zh) 电网模型数据的分类分块抽取方法及系统
CN115757174A (zh) 一种数据库的差异检测方法及装置
CN115757642A (zh) 一种基于归档日志文件的数据同步方法及装置
CN115114297A (zh) 数据轻量存储及查找方法、装置、电子设备及存储介质
CN113722296A (zh) 一种农业信息处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201030

WW01 Invention patent application withdrawn after publication