CN113672596A - 项目配置表处理方法、装置、设备及存储介质 - Google Patents

项目配置表处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113672596A
CN113672596A CN202111005994.2A CN202111005994A CN113672596A CN 113672596 A CN113672596 A CN 113672596A CN 202111005994 A CN202111005994 A CN 202111005994A CN 113672596 A CN113672596 A CN 113672596A
Authority
CN
China
Prior art keywords
target
data
verification
script
configuration table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111005994.2A
Other languages
English (en)
Inventor
万光平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202111005994.2A priority Critical patent/CN113672596A/zh
Publication of CN113672596A publication Critical patent/CN113672596A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/214Database migration support
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/70Software maintenance or management
    • G06F8/71Version control; Configuration management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Stored Programmes (AREA)

Abstract

本发明涉及人工智能领域,公开了一种项目配置表处理方法、装置、设备及存储介质,用于提高项目配置表的处理效率。所述项目配置表处理方法包括:获取项目配置表中的目标校验信息;根据目标校验信息创建目标建表脚本和目标迁移脚本,并对目标建表脚本和目标迁移脚本进行关联存储;对目标建表脚本和目标迁移脚本进行迁移处理,得到目标数据表,目标数据表用于指示目标校验数据;对目标校验数据进行数据校验,得到配置表校验结果;若配置表校验结果为归档成功,则对待校验数据表进行数据删减处理;若配置表校验结果为归档失败,则对待校验数据进行归档异常处理。此外,本发明还涉及区块链技术,配置表校验结果可存储于区块链节点中。

Description

项目配置表处理方法、装置、设备及存储介质
技术领域
本发明涉及人工智能领域,尤其涉及一种项目配置表处理方法、装置、设备及存储介质。
背景技术
在项目的运行过程中,有许许多多的项目配置表,这些项目配置表对程序的运行起到十分关键的作用,因此项目配置表中数据的正确率直接关系到整个结果的完整性以及数据的准确性。
现有方案在项目配置表记录的数据量较大,达到千万级以上时,项目配置表的增删查改操作性能会急剧下降,使得项目配置表的增删查改操作效率降低,即现有方案的处理效率低。
发明内容
本发明提供了一种项目配置表处理方法、装置、设备及存储介质,用于提高项目配置表的处理效率。
本发明第一方面提供了一种项目配置表处理方法,所述项目配置表处理方法包括:查询预置的项目配置表,并获取所述项目配置表中的目标校验信息,所述项目配置表用于指示待校验数据表对应的初始校验信息;根据所述目标校验信息创建目标建表脚本和目标迁移脚本,并对所述目标建表脚本和所述目标迁移脚本进行关联存储;对所述目标建表脚本和所述目标迁移脚本进行迁移处理,得到目标数据表,所述目标数据表用于指示目标校验数据;对所述目标校验数据进行数据校验,得到配置表校验结果,所述配置表校验结果包括归档成功和归档失败;若所述配置表校验结果为归档成功,则对所述待校验数据表进行数据删减处理;若所述配置表校验结果为归档失败,则对所述待校验数据进行归档异常处理。
可选的,在本发明第一方面的第一种实现方式中,在所述查询预置的项目配置表之前,所述项目配置表处理方法还包括:扫描预置数据库中的初始数据表,并提取所述初始数据表对应的初始数据量和初始字段;基于所述初始数据量和所述初始字段确定待校验数据表;爬取所述待校验数据表对应的初始校验信息,将所述初始校验信息存储至预置的项目配置表。
可选的,在本发明第一方面的第二种实现方式中,所述根据所述目标校验信息创建目标建表脚本和目标迁移脚本,并对所述目标建表脚本和所述目标迁移脚本进行关联存储,包括:接收终端发送的脚本创建请求,并基于所述目标校验信息和所述脚本创建请求爬取数据库信息、目标数据库信息和待校验数据表信息;查询所述待校验数据表信息对应的目标字段信息,并通过预置的建表脚本创建工具对所述目标字段信息进行处理,得到目标建表脚本;通过预置的迁移脚本创建工具对所述数据库信息、所述目标数据库信息对应的目标字段信息进行处理,得到目标迁移脚本;将所述目标建表脚本和所述目标迁移脚本进行关联存储。
可选的,在本发明第一方面的第三种实现方式中,所述对所述目标建表脚本和所述目标迁移脚本进行迁移处理,得到目标数据表,所述目标数据表用于指示目标校验数据,包括:构建所述数据库信息和所述目标数据库信息的目标通信通道;基于所述目标通信通道执行所述目标建表脚本,并在所述目标数据库中创建目标数据表;执行所述目标迁移脚本,并通过所述目标通信通道对目标校验数据进行迁移存储,得到目标校验数据。
可选的,在本发明第一方面的第四种实现方式中,所述对所述目标校验数据进行数据校验,得到配置表校验结果,所述配置表校验结果包括归档成功和归档失败,包括:提取所述目标校验数据对应的归档数据量,并对所述归档数据量进行数量校验,得到数量校验结果;提取所述目标校验数据对应的归档校验值,并对所述归档校验值进行数值校验,得到数值校验结果;基于所述数量校验结果和所述数值校验结果生成所述配置表校验结果,所述配置表校验结果包括归档成功和归档失败。
可选的,在本发明第一方面的第五种实现方式中,所述若所述配置表校验结果为归档成功,则对所述待校验数据表进行数据删减处理,包括:若所述配置表校验结果为归档成功,则查询所述待校验数据表对应的数据表类型,所述数据表类型包括可删除类型和不可删除类型;若所述数据表类型为可删除类型,则对所述待校验数据表中的所有已归档数据进行删减处理;若所述数据表类型为不可删除类型,则获取所述待校验数据表的历史访问记录,并根据所述访问记录对所述待校验数据表进行删减处理。
本发明第二方面提供了一种项目配置表处理装置,所述项目配置表处理装置包括:获取模块,用于查询预置的项目配置表,并获取所述项目配置表中的目标校验信息,所述项目配置表用于指示待校验数据表对应的初始校验信息;存储模块,用于根据所述目标校验信息创建目标建表脚本和目标迁移脚本,并对所述目标建表脚本和所述目标迁移脚本进行关联存储;处理模块,用于对所述目标建表脚本和目标迁移脚本进行迁移处理,得到目标数据表,所述目标数据表用于指示目标校验数据;校验模块,用于对所述目标校验数据进行数据校验,得到配置表校验结果,所述配置表校验结果包括归档成功和归档失败;删除模块,用于若所述配置表校验结果为归档成功,则对所述待校验数据表进行数据删减处理;归档模块,用于若所述配置表校验结果为归档失败,则对所述待校验数据进行归档异常处理。
可选的,在本发明第二方面的第一种实现方式中,所述项目配置表处理装置还包括:提取模块,用于扫描预置数据库中的初始数据表,并提取所述初始数据表对应的初始数据量和初始字段;基于所述初始数据量和所述初始字段确定待校验数据表;爬取所述待校验数据表对应的初始校验信息,将所述初始校验信息存储至预置的项目配置表。
可选的,在本发明第二方面的第二种实现方式中,所述存储模块具体用于:接收终端发送的脚本创建请求,并基于所述目标校验信息和所述脚本创建请求爬取数据库信息、目标数据库信息和待校验数据表信息;查询所述待校验数据表信息对应的目标字段信息,并通过预置的建表脚本创建工具对所述目标字段信息进行处理,得到目标建表脚本;通过预置的迁移脚本创建工具对所述数据库信息、所述目标数据库信息对应的目标字段信息进行处理,得到目标迁移脚本;将所述目标建表脚本和所述目标迁移脚本进行关联存储。
可选的,在本发明第二方面的第三种实现方式中,所述处理模块具体用于:构建所述数据库信息和所述目标数据库信息的目标通信通道;基于所述目标通信通道执行所述目标建表脚本,并在所述目标数据库中创建目标数据表;执行所述目标迁移脚本,并通过所述目标通信通道对目标校验数据进行迁移存储,得到目标校验数据。
可选的,在本发明第二方面的第四种实现方式中,所述校验模块具体用于:提取所述目标校验数据对应的归档数据量,并对所述归档数据量进行数量校验,得到数量校验结果;提取所述目标校验数据对应的归档校验值,并对所述归档校验值进行数值校验,得到数值校验结果;基于所述数量校验结果和所述数值校验结果生成所述配置表校验结果,所述配置表校验结果包括归档成功和归档失败。
可选的,在本发明第二方面的第五种实现方式中,所述删除模块具体用于:若所述配置表校验结果为归档成功,则查询所述待校验数据表对应的数据表类型,所述数据表类型包括可删除类型和不可删除类型;若所述数据表类型为可删除类型,则对所述待校验数据表中的所有已归档数据进行删减处理;若所述数据表类型为不可删除类型,则获取所述待校验数据表的历史访问记录,并根据所述访问记录对所述待校验数据表进行删减处理。
本发明第三方面提供了一种项目配置表处理设备,包括:存储器和至少一个处理器,所述存储器中存储有指令;所述至少一个处理器调用所述存储器中的所述指令,以使得所述项目配置表处理设备执行上述的项目配置表处理方法。
本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的项目配置表处理方法。
本发明提供的技术方案中,通过获取项目配置表中的目标校验信息;根据目标校验信息创建目标建表脚本和目标迁移脚本,并对目标建表脚本和目标迁移脚本进行关联存储;对目标建表脚本和目标迁移脚本进行迁移处理,得到目标数据表,通过对目标数据表进行分析,得到目标校验数据;对目标校验数据进行数据校验,得到配置表校验结果;若配置表校验结果为归档成功,则对待校验数据表进行数据删减处理;若配置表校验结果为归档失败,则对待校验数据进行归档异常处理。本发明通过对项目配置表进行迁移处理,有效的提高了项目配置表的处理效率。
附图说明
图1为本发明实施例中项目配置表处理方法的一个实施例示意图;
图2为本发明实施例中项目配置表处理方法的另一个实施例示意图;
图3为本发明实施例中项目配置表处理装置的一个实施例示意图;
图4为本发明实施例中项目配置表处理装置的另一个实施例示意图;
图5为本发明实施例中项目配置表处理设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种项目配置表处理方法、装置、设备及存储介质,用于提高项目配置表的处理效率。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中项目配置表处理方法的第一个实施例包括:
101、查询预置的项目配置表,并获取项目配置表中的目标校验信息,项目配置表用于指示待校验数据表对应的初始校验信息;
可以理解的是,本发明的执行主体可以为项目配置表处理装置,还可以是终端或者服务器,具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
本发明实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
需要说明的是,项目配置表用于存储待校验数据表关键信息对应的数据表;待校验数据表用于存储待校验数据的数据表;项目配置表中至少包括一个初始校验信息,其中,每一初始校验信息与一待校验数据表相关联。初始校验信息包括待校验数据表对应的归档频率、数据库信息、目标数据库信息和待校验数据表信息。此外,服务器查询预置的项目配置表,服务器通过扫描预置的项目配置表中的初始校验信息,服务器基于归档频率将扫描得到的初始校验信息确定为目标校验信息,服务器根据目标校验信息确定待校验数据并执行归档操作。
102、根据目标校验信息创建目标建表脚本和目标迁移脚本,并对目标建表脚本和目标迁移脚本进行关联存储;
具体的,服务器根据目标校验信息执行迁移脚本创建工具,迁移脚本创建工具用于执行数据迁移处理逻辑,数据迁移处理逻辑包括特定数据的形式参数;服务器将数据库信息、目标数据库信息和待校验数据表对应的全表字段信息作为实际参数,服务器通过实际参数对形式参数进行替换,得到目标迁移脚本,进而生成对应的目标迁移脚本,此外,迁移脚本创建工具通过实际参数替换形式参数生成目标迁移脚本,提高了目标迁移脚本的获取效率。
103、对目标建表脚本和目标迁移脚本进行迁移处理,得到目标数据表,目标数据表用于指示目标校验数据;
具体的,服务器确定目标校验信息之后基于目标校验信息查询脚本数据库,服务器判断脚本数据库中是否存在目标校验信息对应的目标建表脚本和目标迁移脚本;若存在,则服务器获取目标建表脚本和目标迁移脚本;若不存在,则服务器通过脚本创建工具对目标校验信息进行处理,得到目标建表脚本和目标迁移脚本,服务器将目标建表脚本和目标迁移脚本关联存储到脚本数据库中,其中,脚本创建工具包括建表脚本创建工具和迁移脚本创建工具。服务器获取目标建表脚本和目标迁移脚本之后,服务器先执行目标建表脚本,以在目标数据库中创建目标数据表;服务器执行目标迁移脚本,以目标待校验数据从待校验数据表迁移到目标数据表中,完成目标校验数据的归档操作。
104、若配置表校验结果为归档成功,则对待校验数据表进行数据删减处理;
具体的,服务器在将数据库中的目标校验数据迁移到目标数据表后,服务器对已经迁移到目标数据表中的目标校验数据进行数据校验,以验证目标数据表中迁入的目标校验数据和待校验数据表中的迁出的目标校验数据是否相同,服务器获取配置表校验结果,以保证目标校验数据迁移和归档的准确性。
105、若配置表校验结果为归档失败,则对待校验数据进行归档异常处理。
具体的,服务器对待校验数据表中的已归档数据进行删减处理的逻辑,其中,已归档数据是指已经迁入目标数据表且配置表校验结果为归档成功的数据,若配置表校验结果为归档成功,则说明待校验数据表中的迁出的待校验数据和目标数据表中迁入的待校验数据相同,服务器执行数据删减逻辑,对待校验数据表中的已归档数据进行数据删减处理,有效降低待校验数据表中的数据量,降低待校验数据在数据库中的存储成本,避免数据库中待校验数据的数据量较大,影响数据表的增删查改等操作的操作性能。
进一步地,服务器将配置表校验结果存储于区块链数据库中,具体此处不做限定。
本发明实施例中,通过获取项目配置表中的目标校验信息;根据目标校验信息创建目标建表脚本和目标迁移脚本,并对目标建表脚本和目标迁移脚本进行关联存储;对目标建表脚本和目标迁移脚本进行迁移处理,得到目标数据表,通过对目标数据表进行分析,得到目标校验数据;对目标校验数据进行数据校验,得到配置表校验结果;若配置表校验结果为归档成功,则对待校验数据表进行数据删减处理;若配置表校验结果为归档失败,则对待校验数据进行归档异常处理。本发明通过对项目配置表进行迁移处理,有效的提高了项目配置表的处理效率。
请参阅图2,本发明实施例中项目配置表处理方法的第二个实施例包括:
201、查询预置的项目配置表,并获取项目配置表中的目标校验信息,项目配置表用于指示待校验数据表对应的初始校验信息;
可选的,服务器扫描预置数据库中的初始数据表,并提取初始数据表对应的初始数据量和初始字段;服务器基于初始数据量和初始字段确定待校验数据表;服务器爬取待校验数据表对应的初始校验信息,将初始校验信息存储至预置的项目配置表。
具体的,服务器扫描预置数据库中的初始数据表,服务器读取初始数据表对应的初始数据量和初始字段,其中,初始数据表是数据库中用于存储待校验数据的数据表,初始数据量为初始数据表中记录待校验数据的数据量;初始字段是指初始数据表中对应的初始字段。此外,服务器实时或定时扫描数据库中存储的所有初始数据表,服务器读取每一初始数据表对应的初始数据量和初始字段,服务器根据初始数据量和初始字段确定是否满足归档条件,服务器将满足归档条件的初始数据表确定为待校验数据表。
202、根据目标校验信息创建目标建表脚本和目标迁移脚本,并对目标建表脚本和目标迁移脚本进行关联存储;
可选的,服务器接收终端发送的脚本创建请求,并基于目标校验信息和脚本创建请求爬取数据库信息、目标数据库信息和待校验数据表信息;服务器查询待校验数据表信息对应的目标字段信息,并通过预置的建表脚本创建工具对目标字段信息进行处理,得到目标建表脚本;服务器通过预置的迁移脚本创建工具对数据库信息、目标数据库信息对应的目标字段信息进行处理,得到目标迁移脚本;服务器将目标建表脚本和目标迁移脚本进行关联存储。
具体的,服务器接收到终端发送的脚本创建请求,服务器基于脚本创建请求进行创建目标建表脚本和目标迁移脚本之后,将数据库信息、目标数据库信息、待校验数据表信息、目标建表脚本和目标迁移脚本关联存储在脚本数据库中,以便后续在数据归档过程中,服务器基于数据库信息、目标数据库信息和待校验数据表信息确定目标建表脚本和目标迁移脚本,服务器将目标建表脚本和目标迁移脚本关联存储到预置的数据库中,以便后续快速获取目标建表脚本和目标迁移脚本进行数据归档处理。此外,服务器通过预置的建表脚本创建工具和预置的迁移脚本创建工具对脚本创建请求中的数据库信息、目标数据库信息和待校验数据表信息进行处理,得到目标建表脚本和目标迁移脚本,服务器将目标建表脚本和目标迁移脚本关联存储到脚本数据库,以便后续快速获取目标建表脚本和目标迁移脚本进行数据归档处理。
203、对目标建表脚本和目标迁移脚本进行迁移处理,得到目标数据表,目标数据表用于指示目标校验数据;
可选的,服务器构建数据库信息和目标数据库信息的目标通信通道;服务器基于目标通信通道执行目标建表脚本,并在目标数据库中创建目标数据表;服务器执行目标迁移脚本,并通过目标通信通道对目标校验数据进行迁移存储,得到目标校验数据。
具体的,服务器创建数据库与目标数据库之间的目标通信通道,为待校验数据迁移提供硬件基础,服务器根据数据迁移任务中的数据库信息、目标数据库信息和待校验数据表信息,服务器确定预先创建的目标建表脚本和目标迁移脚本,或者服务器实时创建目标建表脚本和目标迁移脚本并存储在脚本数据库中,以便后续快速确定预先创建的目标建表脚本和目标迁移脚本,从而保证待校验数据迁移效率。此外,服务器执行目标建表脚本创建目标数据表,并执行目标迁移脚本将待校验数据表信息对应的待校验数据表中的待校验数据迁移到目标数据表中,完成待校验数据的迁移操作,服务器通过预先创建的目标建表脚本和目标迁移脚本进行数据迁移处理,有助于保障待校验数据的迁移效率。
204、提取目标校验数据对应的归档数据量,并对归档数据量进行数量校验,得到数量校验结果;
具体的,服务器将与归档频率相对应的目标校验数据迁移到目标数据表过程中,服务器计算数据迁移的目标校验数据对应的归档数据量;服务器将数据迁移的目标校验数据存储在目标数据表之后,服务器获取目标数据表中的新增数据量;服务器将归档数据量与新增数据量进行比较,判断两者是否相同,得到数量校验结果,其中,数量校验结果包括校验相同和校验不相同两种。
205、提取目标校验数据对应的归档校验值,并对归档校验值进行数值校验,得到数值校验结果;
具体的,服务器通过校验迁移的目标校验数据是否准确的字段,例如,校验字段可以为每一条目标校验数据中的数据字段,服务器先从待校验数据表迁出的目标校验数据,服务器确定与校验字段相对应的数值为归档校验值,服务器从目标数据表中迁入的目标校验数据中确定与校验字段相对应的数值为目标校验值;服务器基于归档校验值和目标校验值进行相同性判断,得到数值校验结果,其中,数值校验结果包括校验相同和校验不相同。
206、基于数量校验结果和数值校验结果生成配置表校验结果,配置表校验结果包括归档成功和归档失败;
具体的,服务器在数量校验结果和数值校验结果均为校验相同时,服务器从数据库迁移到目标数据库进行归档处理的待校验数据准确无误,此时,服务器获取归档成功的配置表校验结果,反映大数据迁移和归档的准确性;并且,服务器通过对待校验数据进行数量校验和校验字段的数值校验,在数量校验结果和数值校验结果均为校验相同时,得到归档成功的配置表校验结果,使得其校验处理过程所需对比的信息量较少,有助于提高数据校验效率。
207、若配置表校验结果为归档成功,则对待校验数据表进行数据删减处理;
可选的,若配置表校验结果为归档成功,则服务器查询待校验数据表对应的数据表类型,数据表类型包括可删除类型和不可删除类型;若数据表类型为可删除类型,则服务器对待校验数据表中的所有已归档数据进行删减处理;若数据表类型为不可删除类型,则服务器获取待校验数据表的历史访问记录,并根据访问记录对待校验数据表进行删减处理。
具体的,服务器根据历史访问记录,确定数据留存周期,具体包括:服务器根据已归档数据的历史访问记录,确定已归档数据的最近访问时间和历史访问频率,服务器再根据最近访问时间和历史访问频率查询留存周期表,确定数据留存周期,服务器通过对历史访问记录的数据分析,确定其对应的数据留存周期,有助于保障待校验数据表中保存的数据留存周期以内的已归档数据可基本满足业务系统的需求,对业务系统正常运行较小的情况下,删除待校验数据表中存储的已归档数据,释放数据存储空间,有助于节省数据存储成本。需要说明的是,留存周期表用于反映最近访问时间和历史访问频率相对应的数据留存周期之间匹配关系的数据表。
208、若配置表校验结果为归档失败,则对待校验数据进行归档异常处理。
具体的,若配置表校验结果为归档失败,则服务器待校验数据表中的迁出的目标校验数据和目标数据表中迁入的待校验数据不相同,服务器执行异常检测逻辑,获取目标校验数据对应的目标日志,该目标日志为目标校验数据从数据库迁移到目标数据库过程形成的日志;服务器对待校验数据的归档日志进行分析,以确定归档异常类型;服务器执行与归档异常类型相对应的纠错处理逻辑。若归档异常类型为数据迁移程序中断,如数据迁移平台因停电、断网等数据迁移程序中断,导致目标校验数据迁移过程出现异常时,其纠错处理逻辑是执行回滚处理逻辑,以保证归档到目标数据库中的已归档数据的准确性。
进一步地,服务器将配置表校验结果存储于区块链数据库中,具体此处不做限定。
本发明实施例中,通过获取项目配置表中的目标校验信息;根据目标校验信息创建目标建表脚本和目标迁移脚本,并对目标建表脚本和目标迁移脚本进行关联存储;对目标建表脚本和目标迁移脚本进行迁移处理,得到目标数据表,通过对目标数据表进行分析,得到目标校验数据;对目标校验数据进行数据校验,得到配置表校验结果;若配置表校验结果为归档成功,则对待校验数据表进行数据删减处理;若配置表校验结果为归档失败,则对待校验数据进行归档异常处理。本发明通过对项目配置表进行迁移处理,有效的提高了项目配置表的处理效率。
上面对本发明实施例中项目配置表处理方法进行了描述,下面对本发明实施例中项目配置表处理装置进行描述,请参阅图3,本发明实施例中项目配置表处理装置第一个实施例包括:
获取模块301,用于查询预置的项目配置表,并获取所述项目配置表中的目标校验信息,所述项目配置表用于指示待校验数据表对应的初始校验信息;
存储模块302,用于根据所述目标校验信息创建目标建表脚本和目标迁移脚本,并对所述目标建表脚本和所述目标迁移脚本进行关联存储;
处理模块303,用于对所述目标建表脚本和目标迁移脚本进行迁移处理,得到目标数据表,所述目标数据表用于指示目标校验数据;
校验模块304,用于对所述目标校验数据进行数据校验,得到配置表校验结果,所述配置表校验结果包括归档成功和归档失败;
删除模块305,用于若所述配置表校验结果为归档成功,则对所述待校验数据表进行数据删减处理;
归档模块306,用于若所述配置表校验结果为归档失败,则对所述待校验数据进行归档异常处理。
本发明实施例中,通过获取项目配置表中的目标校验信息;根据目标校验信息创建目标建表脚本和目标迁移脚本,并对目标建表脚本和目标迁移脚本进行关联存储;对目标建表脚本和目标迁移脚本进行迁移处理,得到目标数据表,通过对目标数据表进行分析,得到目标校验数据;对目标校验数据进行数据校验,得到配置表校验结果;若配置表校验结果为归档成功,则对待校验数据表进行数据删减处理;若配置表校验结果为归档失败,则对待校验数据进行归档异常处理。本发明通过对项目配置表进行迁移处理,有效的提高了项目配置表的处理效率。
请参阅图4,本发明实施例中项目配置表处理装置第二个实施例包括:
获取模块301,用于查询预置的项目配置表,并获取所述项目配置表中的目标校验信息,所述项目配置表用于指示待校验数据表对应的初始校验信息;
存储模块302,用于根据所述目标校验信息创建目标建表脚本和目标迁移脚本,并对所述目标建表脚本和所述目标迁移脚本进行关联存储;
处理模块303,用于对所述目标建表脚本和目标迁移脚本进行迁移处理,得到目标数据表,所述目标数据表用于指示目标校验数据;
校验模块304,用于对所述目标校验数据进行数据校验,得到配置表校验结果,所述配置表校验结果包括归档成功和归档失败;
删除模块305,用于若所述配置表校验结果为归档成功,则对所述待校验数据表进行数据删减处理;
归档模块306,用于若所述配置表校验结果为归档失败,则对所述待校验数据进行归档异常处理。
可选的,项目配置表处理装置还包括:
提取模块307,用于扫描预置数据库中的初始数据表,并提取所述初始数据表对应的初始数据量和初始字段;基于所述初始数据量和所述初始字段确定待校验数据表;爬取所述待校验数据表对应的初始校验信息,将所述初始校验信息存储至预置的项目配置表。
可选的,存储模块302具体用于:
接收终端发送的脚本创建请求,并基于所述目标校验信息和所述脚本创建请求爬取数据库信息、目标数据库信息和待校验数据表信息;查询所述待校验数据表信息对应的目标字段信息,并通过预置的建表脚本创建工具对所述目标字段信息进行处理,得到目标建表脚本;通过预置的迁移脚本创建工具对所述数据库信息、所述目标数据库信息对应的目标字段信息进行处理,得到目标迁移脚本;将所述目标建表脚本和所述目标迁移脚本进行关联存储。
可选的,处理模块303具体用于:
构建所述数据库信息和所述目标数据库信息的目标通信通道;基于所述目标通信通道执行所述目标建表脚本,并在所述目标数据库中创建目标数据表;执行所述目标迁移脚本,并通过所述目标通信通道对目标校验数据进行迁移存储,得到目标校验数据。
可选的,校验模块304具体用于:
提取所述目标校验数据对应的归档数据量,并对所述归档数据量进行数量校验,得到数量校验结果;提取所述目标校验数据对应的归档校验值,并对所述归档校验值进行数值校验,得到数值校验结果;基于所述数量校验结果和所述数值校验结果生成所述配置表校验结果,所述配置表校验结果包括归档成功和归档失败。
可选的,删除模块305具体用于:
若所述配置表校验结果为归档成功,则查询所述待校验数据表对应的数据表类型,所述数据表类型包括可删除类型和不可删除类型;若所述数据表类型为可删除类型,则对所述待校验数据表中的所有已归档数据进行删减处理;若所述数据表类型为不可删除类型,则获取所述待校验数据表的历史访问记录,并根据所述访问记录对所述待校验数据表进行删减处理。
本发明实施例中,通过获取项目配置表中的目标校验信息;根据目标校验信息创建目标建表脚本和目标迁移脚本,并对目标建表脚本和目标迁移脚本进行关联存储;对目标建表脚本和目标迁移脚本进行迁移处理,得到目标数据表,通过对目标数据表进行分析,得到目标校验数据;对目标校验数据进行数据校验,得到配置表校验结果;若配置表校验结果为归档成功,则对待校验数据表进行数据删减处理;若配置表校验结果为归档失败,则对待校验数据进行归档异常处理。本发明通过对项目配置表进行迁移处理,有效的提高了项目配置表的处理效率。
上面图3和图4从模块化功能实体的角度对本发明实施例中的项目配置表处理装置进行详细描述,下面从硬件处理的角度对本发明实施例中项目配置表处理设备进行详细描述。
图5是本发明实施例提供的一种项目配置表处理设备的结构示意图,该项目配置表处理设备500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)510(例如,一个或一个以上处理器)和存储器520,一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中,存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对项目配置表处理设备500中的一系列指令操作。更进一步地,处理器510可以设置为与存储介质530通信,在项目配置表处理设备500上执行存储介质530中的一系列指令操作。
项目配置表处理设备500还可以包括一个或一个以上电源540,一个或一个以上有线或无线网络接口550,一个或一个以上输入输出接口560,和/或,一个或一个以上操作系统531,例如Windows Serve,Mac OS X,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图5示出的项目配置表处理设备结构并不构成对项目配置表处理设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供一种项目配置表处理设备,所述项目配置表处理设备包括存储器和处理器,存储器中存储有计算机可读指令,计算机可读指令被处理器执行时,使得处理器执行上述各实施例中的所述项目配置表处理方法的步骤。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行所述项目配置表处理方法的步骤。
进一步地,计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种项目配置表处理方法,其特征在于,所述项目配置表处理方法包括:
查询预置的项目配置表,并获取所述项目配置表中的目标校验信息,所述项目配置表用于指示待校验数据表对应的初始校验信息;
根据所述目标校验信息创建目标建表脚本和目标迁移脚本,并对所述目标建表脚本和所述目标迁移脚本进行关联存储;
对所述目标建表脚本和所述目标迁移脚本进行迁移处理,得到目标数据表,所述目标数据表用于指示目标校验数据;
对所述目标校验数据进行数据校验,得到配置表校验结果,所述配置表校验结果包括归档成功和归档失败;
若所述配置表校验结果为归档成功,则对所述待校验数据表进行数据删减处理;
若所述配置表校验结果为归档失败,则对所述待校验数据进行归档异常处理。
2.根据权利要求1所述的项目配置表处理方法,其特征在于,在所述查询预置的项目配置表之前,所述项目配置表处理方法还包括:
扫描预置数据库中的初始数据表,并提取所述初始数据表对应的初始数据量和初始字段;
基于所述初始数据量和所述初始字段确定待校验数据表;
爬取所述待校验数据表对应的初始校验信息,将所述初始校验信息存储至预置的项目配置表。
3.根据权利要求1所述的项目配置表处理方法,其特征在于,所述根据所述目标校验信息创建目标建表脚本和目标迁移脚本,并对所述目标建表脚本和所述目标迁移脚本进行关联存储,包括:
接收终端发送的脚本创建请求,并基于所述目标校验信息和所述脚本创建请求爬取数据库信息、目标数据库信息和待校验数据表信息;
查询所述待校验数据表信息对应的目标字段信息,并通过预置的建表脚本创建工具对所述目标字段信息进行处理,得到目标建表脚本;
通过预置的迁移脚本创建工具对所述数据库信息、所述目标数据库信息对应的目标字段信息进行处理,得到目标迁移脚本;
将所述目标建表脚本和所述目标迁移脚本进行关联存储。
4.根据权利要求1所述的项目配置表处理方法,其特征在于,所述对所述目标建表脚本和所述目标迁移脚本进行迁移处理,得到目标数据表,所述目标数据表用于指示目标校验数据,包括:
构建所述数据库信息和所述目标数据库信息的目标通信通道;
基于所述目标通信通道执行所述目标建表脚本,并在所述目标数据库中创建目标数据表;
执行所述目标迁移脚本,并通过所述目标通信通道对目标校验数据进行迁移存储,得到目标校验数据。
5.根据权利要求1所述的项目配置表处理方法,其特征在于,所述对所述目标校验数据进行数据校验,得到配置表校验结果,所述配置表校验结果包括归档成功和归档失败,包括:
提取所述目标校验数据对应的归档数据量,并对所述归档数据量进行数量校验,得到数量校验结果;
提取所述目标校验数据对应的归档校验值,并对所述归档校验值进行数值校验,得到数值校验结果;
基于所述数量校验结果和所述数值校验结果生成所述配置表校验结果,所述配置表校验结果包括归档成功和归档失败。
6.根据权利要求1-5中任一项所述的项目配置表处理方法,其特征在于,所述若所述配置表校验结果为归档成功,则对所述待校验数据表进行数据删减处理,包括:
若所述配置表校验结果为归档成功,则查询所述待校验数据表对应的数据表类型,所述数据表类型包括可删除类型和不可删除类型;
若所述数据表类型为可删除类型,则对所述待校验数据表中的所有已归档数据进行删减处理;
若所述数据表类型为不可删除类型,则获取所述待校验数据表的历史访问记录,并根据所述访问记录对所述待校验数据表进行删减处理。
7.一种项目配置表处理装置,其特征在于,所述项目配置表处理装置包括:
获取模块,用于查询预置的项目配置表,并获取所述项目配置表中的目标校验信息,所述项目配置表用于指示待校验数据表对应的初始校验信息;
存储模块,用于根据所述目标校验信息创建目标建表脚本和目标迁移脚本,并对所述目标建表脚本和所述目标迁移脚本进行关联存储;
处理模块,用于对所述目标建表脚本和目标迁移脚本进行迁移处理,得到目标数据表,所述目标数据表用于指示目标校验数据;
校验模块,用于对所述目标校验数据进行数据校验,得到配置表校验结果,所述配置表校验结果包括归档成功和归档失败;
删除模块,用于若所述配置表校验结果为归档成功,则对所述待校验数据表进行数据删减处理;
归档模块,用于若所述配置表校验结果为归档失败,则对所述待校验数据进行归档异常处理。
8.根据权利要求7所述的项目配置表处理装置,其特征在于,所述存储模块具体用于:
接收终端发送的脚本创建请求,并基于所述目标校验信息和所述脚本创建请求爬取数据库信息、目标数据库信息和待校验数据表信息;
查询所述待校验数据表信息对应的目标字段信息,并通过预置的建表脚本创建工具对所述目标字段信息进行处理,得到目标建表脚本;
通过预置的迁移脚本创建工具对所述数据库信息、所述目标数据库信息对应的目标字段信息进行处理,得到目标迁移脚本;
将所述目标建表脚本和所述目标迁移脚本进行关联存储。
9.一种项目配置表处理设备,其特征在于,所述项目配置表处理设备包括:存储器和至少一个处理器,所述存储器中存储有指令;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述项目配置表处理设备执行如权利要求1-6中任一项所述的项目配置表处理方法。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现如权利要求1-6中任一项所述的项目配置表处理方法。
CN202111005994.2A 2021-08-30 2021-08-30 项目配置表处理方法、装置、设备及存储介质 Pending CN113672596A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111005994.2A CN113672596A (zh) 2021-08-30 2021-08-30 项目配置表处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111005994.2A CN113672596A (zh) 2021-08-30 2021-08-30 项目配置表处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113672596A true CN113672596A (zh) 2021-11-19

Family

ID=78547630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111005994.2A Pending CN113672596A (zh) 2021-08-30 2021-08-30 项目配置表处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113672596A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190266134A1 (en) * 2017-01-11 2019-08-29 Tencent Technology (Shenzhen) Company Limited Data migration method, apparatus, and storage medium
CN110784353A (zh) * 2019-10-30 2020-02-11 武汉虹信通信技术有限责任公司 网元设备配置数据迁移方法及装置
WO2020232884A1 (zh) * 2019-05-20 2020-11-26 平安科技(深圳)有限公司 数据表迁移方法、装置、计算机设备和存储介质
CN112181945A (zh) * 2020-09-28 2021-01-05 中国平安人寿保险股份有限公司 数据归档处理方法、装置、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190266134A1 (en) * 2017-01-11 2019-08-29 Tencent Technology (Shenzhen) Company Limited Data migration method, apparatus, and storage medium
WO2020232884A1 (zh) * 2019-05-20 2020-11-26 平安科技(深圳)有限公司 数据表迁移方法、装置、计算机设备和存储介质
CN110784353A (zh) * 2019-10-30 2020-02-11 武汉虹信通信技术有限责任公司 网元设备配置数据迁移方法及装置
CN112181945A (zh) * 2020-09-28 2021-01-05 中国平安人寿保险股份有限公司 数据归档处理方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
US11068449B2 (en) Data migration method, apparatus, and storage medium
CN109656934B (zh) 基于日志解析的源端Oracle数据库DDL同步方法及设备
CN110569214B (zh) 用于日志文件的索引构建方法、装置及电子设备
JP6711884B2 (ja) ソースデータベースの負荷を最小化したデータ整合性検証方法およびシステム
CN111708794B (zh) 基于大数据平台的数据比对方法、装置和计算机设备
CN114911830B (zh) 基于时序数据库的索引缓存方法、装置、设备及存储介质
CN111737271A (zh) 数据同步更新方法、装置、设备及存储介质
CN112953983A (zh) Sftp传输方法及装置
CN113420537A (zh) 电子表格数据处理方法、装置、设备及存储介质
CN112612506A (zh) 代码变更通知方法、装置、设备及存储介质
CN113986880A (zh) 业务系统的数据库适配方法、装置、设备及存储介质
CN113709162A (zh) 内网数据的获取方法、装置、设备及存储介质
CN114385668A (zh) 冷数据清理方法、装置、设备及存储介质
CN112395281B (zh) 一种异构多源数据融合系统
CN113420046A (zh) 非关系型数据库的数据操作方法、装置、设备及存储介质
CN111176901B (zh) 一种hdfs删除文件恢复方法、终端设备及存储介质
CN114676126B (zh) 基于数据库的数据校验方法、装置、设备及存储介质
CN113672596A (zh) 项目配置表处理方法、装置、设备及存储介质
CN111737349A (zh) 数据一致性校验方法及装置
CN115277677B (zh) 批量档案挂接方法、装置、计算机设备及存储介质
CN113656183A (zh) 任务处理方法、装置、设备及存储介质
CN115396159A (zh) 一种容器镜像的检测方法及客户端、服务端
CN112925536A (zh) 虚拟机系统镜像处理方法、装置、设备及存储介质
CN114385656A (zh) 脚本检测方法、装置、计算机设备及存储介质
JP2005250819A (ja) レプリケーションdb整合性確認方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination