CN115599764A - 一种表格数据的迁移方法、设备及介质 - Google Patents
一种表格数据的迁移方法、设备及介质 Download PDFInfo
- Publication number
- CN115599764A CN115599764A CN202211171933.8A CN202211171933A CN115599764A CN 115599764 A CN115599764 A CN 115599764A CN 202211171933 A CN202211171933 A CN 202211171933A CN 115599764 A CN115599764 A CN 115599764A
- Authority
- CN
- China
- Prior art keywords
- data
- node
- relationship
- unique identification
- application interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
Abstract
本申请公开了一种表格数据的迁移方法、设备及介质,其中,方法包括:对图形数据库中各数据节点添加唯一标识属性,并将唯一标识属性对应的唯一标识值与数据节点的节点标签作为第一联合标识,以构建用于将表格数据转换为图形数据库数据的数据转换模型;通过预设的格式转换公式或表格加载项,将表格数据转换为数据转换模型设定的预设格式数据;调用预设的应用接口,通过数据转换模型,将预设格式数据向图形数据库进行迁移。
Description
技术领域
本申请涉及数据处理技术领域,具体涉及一种表格数据的迁移方法、设备及介质。
背景技术
随着互联网应用的高速发展,业务需求变更得越来越频繁,数据量在飞速增长的同时,也就对数据库的适应能力提出了更高要求。在此发展趋势下,诞生了除关系模型外的另一种网络结构,也就是非关系数据库中的图形数据库。图形数据库相较于传统的关系型数据库来说,最大的优势就在于,它是以图的结构形式来存储数据,可以使用户更直观的看出数据之间的联系,不但具有很强的适应能力,而且能够保持高效的查询性能。
随着大数据时代的到来,很多应用面临着检索速度较慢、数据存储不足等问题,使得越来越多的用户选择将原来存储于表格或关系型数据库的数据存储到图形数据库中,从而利用网络存储的优势来提高查询的效率,同时提供更灵活的存储。目前通常是通过图形数据库的cypher语句或ETL工具进行数据迁移,但是前者无法实现数据迁移过程的流程化,在处理大量数据时效率较低,而后者容易在数据迁移过程中发生误差。
发明内容
为了解决上述问题,本申请提出了一种表格数据的迁移方法,包括:
对图形数据库中各数据节点添加唯一标识属性,并将所述唯一标识属性对应的唯一标识值与所述数据节点的节点标签作为第一联合标识,以构建用于将表格数据转换为图形数据库数据的数据转换模型;
通过预设的格式转换公式或表格加载项,将所述表格数据转换为所述数据转换模型设定的预设格式数据;
调用预设的应用接口,通过所述数据转换模型,将所述预设格式数据向所述图形数据库进行迁移。
在本申请的一种实现方式中,对图形数据库中各数据节点添加唯一标识属性之前,所述方法还包括:
对待迁移的表格数据进行预处理,以确定所述表格数据对应的第一数据描述信息;所述第一数据描述信息至少包括表格名称、列名称、数据格式、与所述表格数据适应设置的自增标识值;
获取所述数据节点对应的第二数据描述信息,并确定所述第一数据描述信息与所述第二数据描述信息之间的映射关系,以便根据所述映射关系,实现所述表格数据的迁移;其中,所述第二数据描述信息至少包括节点标签、节点属性,所述表格名称、所述列名称各自与所述节点标签、所述节点属性之间具有所述映射关系。
在本申请的一种实现方式中,构建用于将所述表格数据转换为图形数据库数据的数据转换模型之前,所述方法还包括:
获取预设的图形数据库;所述图形数据库中存在已完成表格数据迁移的多个数据节点;
从所述多个数据节点中,确定若干数据节点对;所述数据节点对由第一数据节点和第二数据节点组成,所述第一数据节点和所述第二数据节点之间存在关系;
将所述数据节点对之间的关系抽象为数据节点关系描述,以根据所述数据节点描述,生成第二联合标识;所述数据节点关系描述由若干属性字段组成。
在本申请的一种实现方式中,将所述数据节点对之间的关系抽象为数据节点关系描述,以根据所述数据节点描述,生成第二联合标识,具体包括:
获取所述数据节点对的关系描述信息;所述关系描述信息至少包括第一数据节点对应的第一节点标签和第一唯一标识值,所述第二数据节点对应的第二节点标签和第二唯一标识值,以及所述关系对应的关系类型、关系属性;
针对至少部分所述关系描述信息,分别生成相对应的关系属性字段,以得到抽象后的数据节点关系描述;所述数据节点关系描述包括所述第一节点标签、所述第一唯一标识值、所述第二节点标签、所述第二唯一标识值和所述关系类型对应的关系属性字段;
将所述数据节点关系描述对应的字段值,作为第二联合标识。
在本申请的一种实现方式中,构建用于将所述表格数据转换为图形数据库数据的数据转换模型,具体包括:
根据所述数据节点对应的第二数据描述信息和所述唯一标识值,生成所述数据节点对应的节点属性字段;
根据所述节点属性字段和所述第一联合标识,生成用于迁移所述表格数据的数据节点模型,以及根据所述关系属性字段和所述第二联合标识,生成用于表示所述表格数据之间关联关系的关系模型;
根据所述数据节点模型、所述关系模型和预设的映射关系,构建用于将所述表格数据转换为图形数据库数据的数据转换模型。
在本申请的一种实现方式中,所述应用接口包括应用于所述数据节点的第一应用接口,以及应用于关系的第二应用接口,调用预设的应用接口,通过所述数据转换模型,将所述预设格式数据向所述图形数据库进行迁移,具体包括:
确定所述表格数据所要进行的数据迁移类型;所述数据迁移类型包括数据新增、数据更新和数据删除;
根据所述数据迁移类型,从所述第一应用接口和所述第二应用接口中,分别确定所需调用的第一目标应用接口和第二目标应用接口;
调用所述第一目标应用接口和所述第二目标应用接口,通过所述数据转换模型,将所述预设格式数据向所述图形数据库进行迁移。
在本申请的一种实现方式中,调用所述第一目标应用接口和所述第二目标应用接口之前,所述方法还包括:
添加针对所述第一目标应用接口和所述第二目标应用接口的请求配置信息,并在完成配置后,接收客户端发起的接口调用请求。
在本申请的一种实现方式中,所述数据节点以列表的形式存在,且支持批量操作。
本申请实施例提供了一种表格数据的迁移设备,其特征在于,所述设备包括:至少一个处理器;
以及,与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
对图形数据库中各数据节点添加唯一标识属性,并将所述唯一标识属性对应的唯一标识值与所述数据节点的节点标签作为第一联合标识,以构建用于将表格数据转换为图形数据库数据的数据转换模型;
通过预设的格式转换公式或表格加载项,将所述表格数据转换为所述数据转换模型设定的预设格式数据;
调用预设的应用接口,通过所述数据转换模型,将所述预设格式数据向所述图形数据库进行迁移。
本申请实施例提供了一种非易失性计算机存储介质,存储有计算机可执行指令,其特征在于,所述计算机可执行指令设置为:
对图形数据库中各数据节点添加唯一标识属性,并将所述唯一标识属性对应的唯一标识值与所述数据节点的节点标签作为第一联合标识,以构建用于将表格数据转换为图形数据库数据的数据转换模型;
通过预设的格式转换公式或表格加载项,将所述表格数据转换为所述数据转换模型设定的预设格式数据;
调用预设的应用接口,通过所述数据转换模型,将所述预设格式数据向所述图形数据库进行迁移。
通过本申请实施例提供的一种表格数据的迁移方法能够带来如下有益效果:
通过调用应用接口,能够将转换为预设格式的表格数据传输至应用接口中,从而将表格数据迁移至图形数据库中,实现了表格数据迁移的流程化处理,无需再针对某一表格数据单独编写查询语句,有效提高了传输效率。对图形数据库添加唯一标识属性,根据唯一标识属性所得到的的第一联合标识能够使得图形数据库与表格数据之间能够有所关联,且在数据迁移过程中,第一联合标识可以起到标识作用,有效降低了误差率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的一种表格数据的迁移方法的流程示意图;
图2为本申请实施例提供的一种表格数据格式转换流程示意图;
图3为本申请实施例提供的一种表格数据的迁移设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本说明书实施例提供一种表格数据的迁移方法,需要说明的是,本说明书实施例中的执行主体可以是服务器,也可以是任意一种具备数据处理能力的设备。
以下结合附图,详细说明本申请各实施例提供的技术方案。
如图1所示,本申请实施例提供的一种表格数据的迁移方法,包括:
S101:对图形数据库中各数据节点添加唯一标识属性,并将唯一标识属性对应的唯一标识值与数据节点的节点标签作为第一联合标识,以构建用于将表格数据转换为图形数据库数据的数据转换模型。
图形数据库是非关系型数据库的一种,通过图这种数据结构存储了实体之间的关系,包括Neo4j、InfoGrid等。以Neo4j为例,图形数据库中包含着两个重要元素:节点和关系。Neo4j的每个数据都被存储在节点和关系上,其中每个数据节点都包含了节点标签和节点属性,节点标签指的是数据的类型或角色,它可以类比于mysql数据库中的表的概念,比如,mysql数据库中的人口表、房屋表,分别对应Neo4j节点的人口标签、房屋标签。关系则是由关系类型和关系属性构成,能够把各个数据节点之间的联系以有向图的形式表示出来。
若要实现表格数据的迁移,需对待迁移的表格数据进行预处理,将表格数据转换为统一的格式,以此确定表格数据对应的第一数据描述信息。第一数据描述信息至少包括包括表格名称、列名称、数据格式、与表格数据适应设置的自增标识值。其中,自增标识值所在列可根据表格数据的数据量确定。在确定出第一数据描述信息后,获取图形数据库中数据节点对应的第二数据描述信息,并确定第一数据描述信息与所述第二数据描述信息之间的映射关系,以便根据映射关系,实现表格数据的迁移。第二数据描述信息至少包括节点标签、节点属性。映射关系表示在进行数据迁移时,表格数据与图形数据库数据之间的对应关系,其中,表格名称、列名称各自与节点标签、节点属性之间具有映射关系。在确定出表格数据和图形数据库之间的映射关系后,在后续进行数据迁移时,便可直接根据该映射关系,实现不同类型数据之间的转换。
由于表格数据中存在自增标识值这一属性,本申请实施例在图形数据库中也为各数据节点添加上了唯一标识属性,并将唯一标识属性对应的唯一标识值与数据节点的节点标签作为第一联合标识,这样,第一联合标识便建立起了表格数据与数据节点之间的关联关系,根据第一联合标识所构建的数据转换模型就能够更为方便地进行数据查询、修改和删除,且第一联合标识在数据迁移的过程中起到标识作用,能够尽可能避免数据误差的产生,提高可操作性。通过第一联合标识进一步所构建的数据转换模型也能够改善表格数据迁移过程中数据误差大的问题。
在本申请实施例中,由于表格数据之间可能存在联系,在将其转换为图形数据库数据时,也需保证数据节点之间存在联系。数据节点之间的联系通过关系来表示,关系是能够建立两个数据节点之间关系,由源节点指向目标节点的实体,其中,具有关系的两个数据节点构成一个数据节点对,数据节点对根据关系指向,可划分为作为源节点的第一数据节点和作为目标节点的第二数据节点。除此之外,关系作为实体,也具有属性和对应的属性值。
也就是说,在进行不同类型数据库之间的数据迁移时,不仅需要实现数据的迁移,也要实现数据关系的迁移,因此,为完善数据治理体系,还需使得各数据表之间有所关联,方便关系型数据与非关系型数据之间的转化。本申请通过生成第二联合标识的方式对关系进行标识,以使得在表格数据迁移时,能够同时对表格数据之间的关联有所体现,降低误差的同时,也易于操作。
具体地,获取预设的图形数据库,图形数据库中存在已完成表格数据迁移的多个数据节点。从多个数据节点中,确定若干数据节点对,数据节点对由第一数据节点和第二数据节点组成,第一数据节点和第二数据节点之间存在关系。在确定出数据节点对之后,将数据节点对之间的关系抽象为数据节点关系描述,以根据数据节点描述,生成第二联合标识。数据节点关系描述是对关系的一种抽象描述,可将其看作是由若干属性字段组成的字段集合。
若要生成第二联合标识,需先获取数据节点对的关系描述信息。关系描述信息至少包括第一数据节点对应的第一节点标签和第一唯一标识值,第二数据节点对应的第二节点标签和第二唯一标识值,以及关系对应的关系类型、关系属性。比如,第一数据节点标签为学生A,第二数据节点标签为学校B,第一数据节点和第二数据节点之间的关系类型为学生,关系属性为用于指示学生A与学校B关系的属性信息,也就是学生A在学校B中所在的班级。在获取到关系描述信息后,针对至少部分关系描述信息,分别生成相对应的关系属性字段,以得到抽象后的数据节点关系描述;数据节点关系描述包括第一节点标签、第一唯一标识值、第二节点标签、第二唯一标识值和关系类型对应的关系属性字段。至此,便生成了用于抽象描述数据节点之间关系的关系属性字段,此时需将数据节点关系描述对应的字段值,作为第二联合标识。这样在进行数据迁移的过程中,不仅能够保证表格数据的正常转换,同时还可更加直观地获取到不同表格数据之间的联系,提高数据治理的效果。
在本申请实施例中,服务器可根据数据节点对应的第二数据描述信息和唯一标识值,生成该数据节点对应的节点属性字段。在生成节点属性字段后,可根据前面提到的第一联合标识和节点属性字段,生成用于迁移表格数据的数据节点模型,以及根据关系属性字段和第二联合标识,生成用于表示表格数据之间关联关系的关系模型。由于图形数据库对于数据表示的特殊性,在迁移表格数据时,需将数据划分为两种类型进行转换,一是节点,二是关系。因此,为简化迁移流程,可根据上述得到的数据节点模型、关系模型和预设的映射关系,构建结合了两种转换功能的数据转换模型,用以实现表格数据向图形数据库数据的迁移。需要说明的是,数据转换模型还需设定好表格数据的具体传输格式,通常情况下,表格数据以json格式进行迁移。
S102:通过预设的格式转换公式或表格加载项,将表格数据转换为数据转换模型设定的预设格式数据。
在构建完数据转换模型后,为实现表格数据的顺利传输,需将其转换为数据转换模型所规定的预设格式数据。该过程可通过预设的格式转换公式,比如excel公式,或是表格加载项即excel to json实现,如图2所示的一种表格数据格式转换流程示意图,表格数据包括表格名称、列名称、自增标识值,对表格数据进行转换后,其能够以json格式存在。在此过程中,格式的转换是基于表格数据和图形数据库数据之间的映射关系所实现的。
S103:调用预设的应用接口,通过数据转换模型,将预设格式数据向图形数据库进行迁移。
本申请实施例通过python中的flask框架和py2neo库,可预先编写用于实现数据迁移的应用接口。其中,应用接口被划分为应用于迁移数据节点的第一应用接口,以及应用于迁移数据节点关系的第二应用接口。
在将表格数据转换为预设格式后,可调用上述编写好的应用接口,根据数据转换模型设定的转换规则,将以json格式存在的数据迁移至图形数据库中,具体的执行逻辑可通过应用接口实现。第一应用接口和第二应用接口根据数据迁移类型的不同,可划分为数据新增、数据更新和数据删除这些类型,即新增节点接口,更新节点接口,删除节点接口,新增关系接口,更新关系接口,删除关系接口。因此,在调用应用接口前,需先确定表格数据所要进行的数据迁移类型,进而根据数据迁移类型,从第一应用接口和第二应用接口中,分别确定所需调用的第一目标应用接口和第二目标应用接口。此时,将json格式数据作为应用接口的传输参数,调用第一目标应用接口和第二目标应用接口,便能够通过数据转换模型,将预设格式数据向图形数据库进行迁移。json格式数据与图形数据库中的数据格式相对应,第一联合标识和第二联合标识在迁移过程中始终起到标识作用,更便于数据节点的新增、删除和修改。在迁移过程中,json格式数据作为节点属性字段值可自动填充到图形数据库的数据节点中,同时,服务器能够识别表格数据中存在关联的数据表,并确定二者之间的关系,以此确定对应的第一节点标签、第一唯一标识值、第二节点标签、第二唯一标识值和关系类型、关系属性。进而,服务器可根据上述确定出的信息,添加或修改数据节点之间的关系,至此,便实现了表格数据向图形数据库的迁移。
需要说明的是,在对应用接口进行调用前,服务器需先添加针对第一目标应用接口和第二目标应用接口的请求配置信息(post信息和host信息),并在完成配置后,接收客户端发起的接口调用请求。服务器只有在接收到接口调用请求后,才会响应于接口调用请求,调用相应的应用接口进行表格数据的迁移。
在本申请实施例中,数据节点以列表的形式存在,且支持批量操作。既实现了表格数据的流程化迁移,还能够进行批量处理,有效提高了迁移效率。在数据量过大导致新增数据节点速率过慢时,可通过内置模块(比如,bluk模块)对迁移过程进行优化,以提高传输效率。
以上为本申请提出的方法实施例。基于同样的思路,本说明书一个或多个实施例还提供了上述方法对应的设备及介质。
图3为本申请实施例提供的一种表格数据的迁移设备的结构示意图,设备包括:至少一个处理器;
以及,与至少一个处理器通信连接的存储器;其中,
存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够:
对图形数据库中各数据节点添加唯一标识属性,并将唯一标识属性对应的唯一标识值与数据节点的节点标签作为第一联合标识,以构建用于将表格数据转换为图形数据库数据的数据转换模型;
通过预设的格式转换公式或表格加载项,将表格数据转换为数据转换模型设定的预设格式数据;
调用预设的应用接口,通过数据转换模型,将预设格式数据向图形数据库进行迁移。
本申请实施例提供了一种非易失性计算机存储介质,存储有计算机可执行指令,计算机可执行指令设置为:
对图形数据库中各数据节点添加唯一标识属性,并将唯一标识属性对应的唯一标识值与数据节点的节点标签作为第一联合标识,以构建用于将表格数据转换为图形数据库数据的数据转换模型;
通过预设的格式转换公式或表格加载项,将表格数据转换为数据转换模型设定的预设格式数据;
调用预设的应用接口,通过数据转换模型,将预设格式数据向图形数据库进行迁移。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备和介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请实施例提供的设备和介质与方法是一一对应的,因此,设备和介质也具有与其对应的方法类似的有益技术效果,由于上面已经对方法的有益技术效果进行了详细说明,因此,这里不再赘述设备和介质的有益技术效果。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种表格数据的迁移方法,其特征在于,所述方法包括:
对图形数据库中各数据节点添加唯一标识属性,并将所述唯一标识属性对应的唯一标识值与所述数据节点的节点标签作为第一联合标识,以构建用于将表格数据转换为图形数据库数据的数据转换模型;
通过预设的格式转换公式或表格加载项,将所述表格数据转换为所述数据转换模型设定的预设格式数据;
调用预设的应用接口,通过所述数据转换模型,将所述预设格式数据向所述图形数据库进行迁移。
2.根据权利要求1所述的一种表格数据的迁移方法,其特征在于,对图形数据库中各数据节点添加唯一标识属性之前,所述方法还包括:
对待迁移的表格数据进行预处理,以确定所述表格数据对应的第一数据描述信息;所述第一数据描述信息至少包括表格名称、列名称、数据格式、与所述表格数据适应设置的自增标识值;
获取所述数据节点对应的第二数据描述信息,并确定所述第一数据描述信息与所述第二数据描述信息之间的映射关系,以便根据所述映射关系,实现所述表格数据的迁移;其中,所述第二数据描述信息至少包括节点标签、节点属性,所述表格名称、所述列名称各自与所述节点标签、所述节点属性之间具有所述映射关系。
3.根据权利要求1所述的一种表格数据的迁移方法,其特征在于,构建用于将所述表格数据转换为图形数据库数据的数据转换模型之前,所述方法还包括:
获取预设的图形数据库;所述图形数据库中存在已完成表格数据迁移的多个数据节点;
从所述多个数据节点中,确定若干数据节点对;所述数据节点对由第一数据节点和第二数据节点组成,所述第一数据节点和所述第二数据节点之间存在关系;
将所述数据节点对之间的关系抽象为数据节点关系描述,以根据所述数据节点描述,生成第二联合标识;所述数据节点关系描述由若干属性字段组成。
4.根据权利要求3所述的一种表格数据的迁移方法,其特征在于,将所述数据节点对之间的关系抽象为数据节点关系描述,以根据所述数据节点描述,生成第二联合标识,具体包括:
获取所述数据节点对的关系描述信息;所述关系描述信息至少包括第一数据节点对应的第一节点标签和第一唯一标识值,所述第二数据节点对应的第二节点标签和第二唯一标识值,以及所述关系对应的关系类型、关系属性;
针对至少部分所述关系描述信息,分别生成相对应的关系属性字段,以得到抽象后的数据节点关系描述;所述数据节点关系描述包括所述第一节点标签、所述第一唯一标识值、所述第二节点标签、所述第二唯一标识值和所述关系类型对应的关系属性字段;
将所述数据节点关系描述对应的字段值,作为第二联合标识。
5.根据权利要求4所述的一种表格数据的迁移方法,其特征在于,构建用于将所述表格数据转换为图形数据库数据的数据转换模型,具体包括:
根据所述数据节点对应的第二数据描述信息和所述唯一标识值,生成所述数据节点对应的节点属性字段;
根据所述节点属性字段和所述第一联合标识,生成用于迁移所述表格数据的数据节点模型,以及根据所述关系属性字段和所述第二联合标识,生成用于表示所述表格数据之间关联关系的关系模型;
根据所述数据节点模型、所述关系模型和预设的映射关系,构建用于将所述表格数据转换为图形数据库数据的数据转换模型。
6.根据权利要求1所述的一种表格数据的迁移方法,其特征在于,所述应用接口包括应用于所述数据节点的第一应用接口,以及应用于关系的第二应用接口,调用预设的应用接口,通过所述数据转换模型,将所述预设格式数据向所述图形数据库进行迁移,具体包括:
确定所述表格数据所要进行的数据迁移类型;所述数据迁移类型包括数据新增、数据更新和数据删除;
根据所述数据迁移类型,从所述第一应用接口和所述第二应用接口中,分别确定所需调用的第一目标应用接口和第二目标应用接口;
调用所述第一目标应用接口和所述第二目标应用接口,通过所述数据转换模型,将所述预设格式数据向所述图形数据库进行迁移。
7.根据权利要求6所述的一种表格数据的迁移方法,其特征在于,调用所述第一目标应用接口和所述第二目标应用接口之前,所述方法还包括:
添加针对所述第一目标应用接口和所述第二目标应用接口的请求配置信息,并在完成配置后,接收客户端发起的接口调用请求。
8.根据权利要求1所述的一种表格数据的迁移方法,其特征在于,所述数据节点以列表的形式存在,且支持批量操作。
9.一种表格数据的迁移设备,其特征在于,所述设备包括:至少一个处理器;
以及,与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
对图形数据库中各数据节点添加唯一标识属性,并将所述唯一标识属性对应的唯一标识值与所述数据节点的节点标签作为第一联合标识,以构建用于将表格数据转换为图形数据库数据的数据转换模型;
通过预设的格式转换公式或表格加载项,将所述表格数据转换为所述数据转换模型设定的预设格式数据;
调用预设的应用接口,通过所述数据转换模型,将所述预设格式数据向所述图形数据库进行迁移。
10.一种非易失性计算机存储介质,存储有计算机可执行指令,其特征在于,所述计算机可执行指令设置为:
对图形数据库中各数据节点添加唯一标识属性,并将所述唯一标识属性对应的唯一标识值与所述数据节点的节点标签作为第一联合标识,以构建用于将表格数据转换为图形数据库数据的数据转换模型;
通过预设的格式转换公式或表格加载项,将所述表格数据转换为所述数据转换模型设定的预设格式数据;
调用预设的应用接口,通过所述数据转换模型,将所述预设格式数据向所述图形数据库进行迁移。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211171933.8A CN115599764A (zh) | 2022-09-26 | 2022-09-26 | 一种表格数据的迁移方法、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211171933.8A CN115599764A (zh) | 2022-09-26 | 2022-09-26 | 一种表格数据的迁移方法、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115599764A true CN115599764A (zh) | 2023-01-13 |
Family
ID=84844338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211171933.8A Pending CN115599764A (zh) | 2022-09-26 | 2022-09-26 | 一种表格数据的迁移方法、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115599764A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116483808A (zh) * | 2023-06-16 | 2023-07-25 | 北京国电通网络技术有限公司 | 数据迁移方法、装置、电子设备和计算机可读介质 |
CN117076431A (zh) * | 2023-10-13 | 2023-11-17 | 云筑信息科技(成都)有限公司 | 一种用于系统升级数据迁移的方法 |
-
2022
- 2022-09-26 CN CN202211171933.8A patent/CN115599764A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116483808A (zh) * | 2023-06-16 | 2023-07-25 | 北京国电通网络技术有限公司 | 数据迁移方法、装置、电子设备和计算机可读介质 |
CN116483808B (zh) * | 2023-06-16 | 2023-09-12 | 北京国电通网络技术有限公司 | 数据迁移方法、装置、电子设备和计算机可读介质 |
CN117076431A (zh) * | 2023-10-13 | 2023-11-17 | 云筑信息科技(成都)有限公司 | 一种用于系统升级数据迁移的方法 |
CN117076431B (zh) * | 2023-10-13 | 2024-03-12 | 云筑信息科技(成都)有限公司 | 一种用于系统升级数据迁移的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106649788B (zh) | 一种数据库数据传输方法与装置 | |
CN115599764A (zh) | 一种表格数据的迁移方法、设备及介质 | |
CN108959510B (zh) | 一种分布式数据库的分区级连接方法和装置 | |
CN106951231B (zh) | 一种计算机软件开发方法及装置 | |
CN107016016B (zh) | 一种数据处理的方法及装置 | |
JP6636647B2 (ja) | ランダム文字列を生成する方法および装置 | |
CN110019111B (zh) | 数据处理方法、装置、存储介质以及处理器 | |
US11775507B2 (en) | Methods and apparatuses for reading and updating data structures, and electronic devices | |
CN112230934B (zh) | 一种转换代码语言的方法及装置 | |
WO2016188280A1 (zh) | 数据库分表的写入方法及装置 | |
CN111142849B (zh) | 流程处理方法、装置、存储介质及处理器 | |
CN108241620B (zh) | 查询脚本的生成方法及装置 | |
CN115659920A (zh) | 一种将Excel工艺转换成cxp工艺的方法及装置 | |
EP3910877A2 (en) | Evm-based transaction processing method and apparatus, device, program and medium | |
CN111159192B (zh) | 基于大数据的数据入库方法、装置、存储介质和处理器 | |
CN110019518B (zh) | 数据处理方法及设备 | |
CN109582938B (zh) | 报表生成方法和装置 | |
CN112948389A (zh) | 基于md5的数据库表数据比对方法及设备 | |
CN112749229A (zh) | 数据转换方法、装置、存储介质及电子设备 | |
CN111580938A (zh) | 一种工作单元的事务处理方法、装置、设备及介质 | |
CN115455035B (zh) | 数据查询模型构建方法和计算机可读存储介质 | |
CN117215537A (zh) | 确定代码文件的方法、装置、存储介质和电子设备 | |
CN110874353A (zh) | 一种数据模型的创建、数据表的访问方法和装置 | |
CN116755691A (zh) | 一种基于标识解析的数据对比方法、设备及介质 | |
CN113485682A (zh) | 一种基于需求信息生成配置文件的方法与设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |