CN116756129A - 数据补录方法、装置、存储介质及电子设备 - Google Patents
数据补录方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN116756129A CN116756129A CN202310615680.7A CN202310615680A CN116756129A CN 116756129 A CN116756129 A CN 116756129A CN 202310615680 A CN202310615680 A CN 202310615680A CN 116756129 A CN116756129 A CN 116756129A
- Authority
- CN
- China
- Prior art keywords
- filling
- file
- data
- complement
- files
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000295 complement effect Effects 0.000 title claims abstract description 147
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012795 verification Methods 0.000 claims description 43
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 description 34
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000013508 migration Methods 0.000 description 4
- 230000005012 migration Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000012797 qualification Methods 0.000 description 3
- 238000012550 audit Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/186—Templates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/226—Validation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据补录方法、装置、存储介质及电子设备，其中方法包括：基于待补录信息的业务类型，确定所述待补录信息的填报模板；将所述填报模板发送至第一系统，并接收所述第一系统输出的填报文件；所述填报文件是基于所述填报模板和所述待补录信息对应的补录数据生成的；基于各个填报文件的填报模板对各个填报文件进行合并，得到各个填报模板对应的入库文件；将所述入库文件导入至第二系统的数据库中；其中，所述第一系统用于采集所述补录数据；所述第二系统用于汇总所述补录数据。本申请提供的方法和装置，提高了数据补录的效率和准确性。
Description
技术领域
本申请涉及大数据技术领域，具体而言，涉及一种数据补录方法、装置、存储介质及电子设备。
背景技术
大型企业一般有诸多的分支机构，可以将企业的各个分支机构的系统作为第一系统，将企业总部的系统作为第二系统。当企业总部的新线系统上线前，往往涉及到将各个第一系统的数据迁移到第二系统中，包含各个第一系统的旧线系统数据和线下数据的迁移。其中旧线系统数据可以通过第一系统和第二系统进行系统对接的方式来完成数据迁移，而线下数据一般只能通过数据补录的方式完成第一系统到第二系统的数据迁移。数据补录过程中会涉及到人工在第一系统和第二系统的填报、收集、数据核验和入库等一系列复杂工作，需要消耗大量的人力，效率低下。
因此，如何简单高效地实现大量数据的补录成为业界亟待解决的技术问题。
发明内容
本申请提供一种数据补录方法、装置、存储介质及电子设备，用以解决现有技术中如何简单高效地实现大量数据的补录的技术问题。
第一方面，本申请提供了一种数据补录方法，包括：
基于待补录信息的业务类型，确定所述待补录信息的填报模板；
将所述填报模板发送至第一系统，并接收所述第一系统输出的填报文件；所述填报文件是基于所述填报模板和所述待补录信息对应的补录数据生成的；
基于各个填报文件的填报模板对各个填报文件进行合并，得到各个填报模板对应的入库文件；
将所述入库文件导入至第二系统的数据库中；
其中，所述第一系统用于采集所述补录数据；所述第二系统用于汇总所述补录数据。
在一些实施例中，所述基于待补录信息的业务类型，确定所述待补录信息的填报模板，包括：
确定所述待补录信息；
基于所述业务类型对所述待补录信息进行分类，生成各类待补录信息的初始填报模板；
基于所述待补录信息的数据填写规则，对所述初始填报模板进行处理，得到各类待补录信息的填报模板。
在一些实施例中，所述基于各个填报文件的填报模板对各个填报文件进行合并，包括：
遍历各个填报文件，确定各个填报文件对应的填报模板；
将对应同一填报模板的填报文件进行合并。
在一些实施例中，所述第一系统的数量为多个，所述基于各个填报文件的填报模板对各个填报文件进行合并，包括：
在预设时间段内接收各个第一系统输出的填报文件，基于各个填报文件的填报模板对各个填报文件进行合并；
或者，在接收到所有第一系统输出的所有填报文件后，基于各个填报文件的填报模板对各个填报文件进行合并。
在一些实施例中，所述得到各个填报模板对应的入库文件之后，还包括：
确定所述入库文件中各个字段的属性信息；
基于所述属性信息及预设校验规则库中的属性信息与校验规则之间的对应关系，分别为各个字段添加第一校验规则；
基于所述第一校验规则，对所述入库文件中的各个字段进行校验。
在一些实施例中，所述对所述入库文件中的各个字段进行校验，包括：
确定同一入库文件中各个字段间的关联关系，以及不同入库文件中各个字段间的关联关系；
分别为具有关联关系的字段添加第二校验规则；
基于所述第一校验规则和所述第二校验规则对各个入库文件中的字段进行校验。
在一些实施例中，所述将所述入库文件导入至所述第二系统的数据库中，包括
确定当前入库文件中字段的校验结果；所述校验结果包括合格和不合格；
在所述校验结果为不合格的情况下，对所述当前入库文件中的补录数据进行修正，得到新的入库文件；
基于所述新的入库文件对所述当前入库文件进行更新，直至所述当前入库文件中字段的校验结果为合格；
将更新后的当前入库文件导入至所述第二系统的数据库中。
第二方面，本申请提供了一种数据补录装置，包括：
确定模块，用于基于待补录信息的业务类型，确定所述待补录信息的填报模板；
接收模块，用于将所述填报模板发送至第一系统，并接收所述第一系统输出的填报文件；所述填报文件是基于所述填报模板和所述待补录信息对应的补录数据生成的；
合并模块，用于基于各个填报文件的填报模板对各个填报文件进行合并，得到各个填报模板对应的入库文件；
入库模块，用于将所述入库文件导入至第二系统的数据库中；
其中，所述第一系统用于采集所述补录数据；所述第二系统用于汇总所述补录数据。
第三方面，本申请提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法。
第四方面，本申请提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述程序时实现上述的方法。
本申请提供的数据补录方法、装置、存储介质及电子设备，通过第一系统采集补录数据，第二系统接收第一系统发送的由补录数据和填报模板构成的填报文件，根据各个填报文件的填报模板对各个填报文件进行自动合并，可以得到各个填报模板对应的入库文件，使得第二系统对待补录信息的补录数据进行汇总，能高效地对第一系统的线下数据进行补录和汇总，减少了人工的参与，提高了数据补录的准确性，提高了数据补录的效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一个实施例提供的数据补录方法的流程示意图；
图2是本申请另一个实施例提供的数据补录方法的流程示意图；
图3是本申请一个实施例提供的数据补录装置的结构示意图；
图4是本申请一个实施例提供的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
在本申请的技术方案中，所涉及的个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
图1是本申请一个实施例提供的数据补录方法的流程示意图，如图1所示，该方法包括步骤110、步骤120、步骤130和步骤140。该方法流程步骤仅仅作为本申请一个可能的实现方式。
步骤110、基于待补录信息的业务类型，确定待补录信息的填报模板。
具体地，本申请实施例提供的数据补录方法用于将第一系统的线下数据进行补录，得到补录数据，然后将补录数据迁移至第二系统。第一系统和第二系统均可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于服务器、智能手机、平板电脑、膝上型便携计算机和台式计算机等。第二系统可以为企业总部的系统，第一系统可以为企业的各个分支机构的系统。
本申请实施例提供的数据补录方法的执行主体为数据补录装置，该装置可以为第二系统中独立设置的硬件设备，也可以为运行在第二系统中的软件程序。例如，当第二系统为台式计算机时，数据补录装置可以体现为台式计算机中的软件等应用程序。
待补录信息为通过第一系统进行线下数据补录的信息，例如用户抵押物品信息和存取款信息等。业务类型可以包括抵押业务和存取款业务等。业务类型可以根据实际的业务场景来划分。
为了便于数据补录装置对收集的待补录信息进行管理，本申请实施例为待补录信息构建了填报模板。填报模板可以为表格的形式，可以通过Excel工具根据待补录信息的业务类型来构建待补录信息的填报模板。一个填报模板可以对应一个或多个待补录信息。
步骤120、将填报模板发送至第一系统，并接收第一系统输出的填报文件；填报文件是基于填报模板和待补录信息对应的补录数据生成的；第一系统用于采集补录数据。
具体地，第一系统用于采集待补录信息对应的补录数据，第一系统的数量可以为多个。补录数据为线下数据，例如各个分支机构的线下数据。
数据补录装置在创建好填报模板后，将填报模板发送至第一系统。第一系统可以根据待填写的待补录信息向用户展示该待补录信息的填报模板，用户可以在填报模板上填写该待补录信息对应的补录数据。
当填报模板中的补录数据填写完成后，就可以得到填报文件。填报文件是由填报模板和补录数据构成的。
步骤130、基于各个填报文件的填报模板对各个填报文件进行合并，得到各个填报模板对应的入库文件。
具体地，第二系统中的数据补录装置在接收到第一系统发送的多个填报文件后，会根据各个填报文件的类别对填报文件中的补录数据进行合并。可以将使用同一填报模板的填报文件作为同一类别。
例如，数据补录装置可以遍历各个填报文件，确定各个填报文件对应的填报模板；将对应同一填报模板的填报文件进行合并。
将填报文件进行合并后，可以得到各个填报模板对应的入库文件。
入库文件为即将导入第二系统的数据库的文件。入库文件的文件形式可以与合并的填报文件的文件形式相同，例如入库文件和填报文件均可以为Excel表。任一入库文件中包括了其合并的填报文件中的所有补录数据。
入库文件的数量与填写了补录数据的填报模板的数量相同。例如，数据补录装置接收到了第一系统发送的6个填报文件，6个填报文件分别为S1、S2、S3、S4、S5和S6，其中S1和S2使用的是A填报模板，S3、S4、S5和S6使用的是B填报模板。将S1和S2中的补录数据进行合并，得到A填报文件对应的入库文件；将S3、S4、S5和S6中的补录数据进行合并，得到B填报文件对应的入库文件，最终可以得到两个入库文件。
填报文件合并结束后，将原始的填报文件存储在预设位置，防止后续入库文件异常无法找寻到相关数据。
步骤140、将入库文件导入至第二系统的数据库中；第二系统用于汇总补录数据。
具体地，第二系统主要是用于汇总从各个第一系统中接收的补录数据。
在得到入库文件后，可以将入库文件直接导入至第二系统中预先设定的数据库中；也可以根据入库文件的大小，在第二系统中生成新的数据库，将入库文件存入在新的数据库中。
可以将所有入库文件均存储在一个数据库中，也可以将各个入库文件存储在不同的数据库中，具体的存储方式可以根据实际场景来设定。
本申请实施例提供的数据补录方法，通过第一系统采集补录数据，第二系统接收第一系统发送的由补录数据和填报模板构成的填报文件，根据各个填报文件的填报模板对各个填报文件进行自动合并，可以得到各个填报模板对应的入库文件，使得第二系统对待补录信息的补录数据进行汇总，能高效地对第一系统的线下数据进行补录和汇总，减少了人工的参与，提高了数据补录的准确性，提高了数据补录的效率。
需要说明的是，本申请每一个实施方式可以自由组合、调换顺序或者单独执行，并不需要依靠或依赖固定的执行顺序。
在一些实施例中，步骤110包括：
确定待补录信息；
基于业务类型对待补录信息进行分类，生成各类待补录信息的初始填报模板；
基于待补录信息的数据填写规则，对初始填报模板进行处理，得到各类待补录信息的填报模板。
具体地，数据补录装置首先确定待补录信息具体有哪些，然后根据业务类型对这些待补录信息进行分类，将属于同一业务类型的待补录信息作为一类，生成各类待补录信息的初始填报模板。
初始填报模板中可以包括待补录信息的名称，以及待填写的空格。
部分待补录信息可能存在数据填写规则，例如任一待补录信息为日期，需填写年月日，则该条待补录信息的数据填写规则为填写内容为填写年月日；又例如任一待补录信息只能填写是或否，则该条待补录信息的数据填写规则为填写内容必须为是或否；还例如多个待补录信息是相互关联的，则一部分待补录信息的数据填写规则需随着其相互关联的待补录信息的补录数据的改变而改变。
因此，需要根据待补录信息的数据填写规则，对初始填报模板进行处理，才能得到各类待补录信息的填报模板。
例如，可以根据任一待补录信息的数据填写规则在初始填报模板中对该待补录信息项的字段添加相关的校验或者枚举值下拉框，从而生成该类待补录信息项的填报模板。
填报模板与初始填报模板的形式相同，以填报模板与初始填报模板均为Excel表为例。不同类别的填报模板可以在不同的Excel表中；不同类别的填报模板还可以在一个Excel表的不同sheet中。
本申请实施例提供的数据补录方法，通过待补录信息的数据填写规则对初始填报模板进行处理，可以得到各类待补录信息的填报模板，提高了数据补录的填写效率，提高了后续填报文件的合并效率。
在一些实施例中，步骤130包括：
在预设时间段内接收各个第一系统输出的填报文件，基于各个填报文件的填报模板对各个填报文件进行合并；
或者，在接收到所有第一系统输出的所有填报文件后，基于各个填报文件的填报模板对各个填报文件进行合并。
具体地，第一系统的数量可能为多个，因各个第一系统的使用场景不同，以及各个待补录数据的来源不同，因此可能存在短期内无法获取所有第一系统的填报文件，或者存在短期内无法获取第一系统的所有填报文件。为了提高在这种场景下的数据补录效率，本申请实施例设置了预设时间段，在该预设时间段内接收各个第一系统输出的填报文件，并各个填报文件的填报模板对各个填报文件进行合并。
预设时间段可以根据实际场景来进行设定，例如可以为一周或一个月等。
若想要一次完成所有填报文件的采集，也可以在接收到所有第一系统输出的所有填报文件后，根据各个填报文件的填报模板对各个填报文件进行合并。
本申请实施例提供的数据补录方法，可以根据实际场景，来选择是将预设时间段内接收的各个第一系统输出的填报文件进行合并；还是在接收到所有第一系统输出的所有填报文件后对其进行合并，提高了数据补录的效率，适用于更多的场景。
在一些实施例中，步骤130之后，还包括：
确定入库文件中各个字段的属性信息；
基于属性信息及预设校验规则库中的属性信息与校验规则之间的对应关系，分别为各个字段添加第一校验规则；
基于第一校验规则，对入库文件中的各个字段进行校验。
具体地，本申请实施例在将入库文件导入数据库前，对入库文件中的各个字段进行了校验。入库文件中包括多个填报文件的补录数据，对入库文件中的各个字段进行校验，实质是对入库文件中的补录数据进行校验，防止补录数据存在错误。
每一条补录数据是按照数据表结构进行存储的，数据表结构的中各个字段的数据构成了补录数据。字段的属性信息可以包括字段名称、字段类型、字段长度、字段格式和字段索引等。
预设校验规则库中存储了字段属性信息与其对应的校验规则，一个字段的一个属性信息可以与一个或多个校验规则相对应。根据预设校验规则库中属性信息与校验规则之间的对应关系，分别为各个字段添加第一校验规则。
第一校验规则是针对各个字段的，不考虑字段间的关联情况。通过第一校验规则可以对入库文件中的各个字段的字段类型、字段长度和字段空值等进行校验。
本申请实施例提供的数据补录方法，通过第一校验规则对入库文件中的各个字段进行校验，提高了数据补录的准确性。
在一些实施例中，对入库文件中的各个字段进行校验，包括：
确定同一入库文件中各个字段间的关联关系，以及不同入库文件中各个字段间的关联关系；
分别为具有关联关系的字段添加第二校验规则；
基于第一校验规则和第二校验规则对各个入库文件中的字段进行校验。
具体地，同一入库文件中的各个字段间可能存在关联，不同入库文件间的各个字段也可能存在关联。
为了对同一入库文件内的字段，以及不同入库文件间的字段进行校验，本申请实施例获取同一入库文件中各个字段间的关联关系，以及不同入库文件间的各个字段的关联关系。根据字段间的关联关系为具有关联关系的字段添加第二校验规则。
关联关系可以包括稽核关系，若两个字段存在稽核关系则表明这两个字段能够相互校验。例如，两个字段对应的数值相同，则两个字段存在稽核关系。
第二校验规则是针对具有关联关系的字段，且第二校验规则是根据字段间的关联关系来设定的。
数据补录装置根据第一校验规则和第二校验规则，来对入库文件中的各个字段进行校验，并输出校验结果。
本申请实施例提供的数据补录方法，通过第一校验规则和第二校验规则对各个入库文件中的字段进行校验，不仅可以实现字段类型、字段长度和字段空值等单字段的校验，还可以实现任一入库文件内的字段，以及入库文件间的字段的校验，提高了数据补录的准确性。
在一些实施例中，步骤140包括：
确定当前入库文件中字段的校验结果；校验结果包括合格和不合格；
在校验结果为不合格的情况下，对当前入库文件中的补录数据进行修正，得到新的入库文件；
基于新的入库文件对当前入库文件进行更新，直至当前入库文件中字段的校验结果为合格；
将更新后的当前入库文件导入至第二系统的数据库中。
具体地，对入库文件中的各个字段进行校验后，会得到一个校验结果，校验结果包括合格和不合格。
若入库文件中的各个字段均符合校验规则，则校验结果为合格。校验规则包括第一校验规则和第二校验规则。
若入库文件中存在字段不符合校验规则，则校验结果为不合格，数据补录装置会输出校验不合格的字段对应的补录数据，以及不合格原因。
数据补录装置会根据不合格原因对该字段对应的补录数据进行修正，例如对补录数据进行补缺、删除或格式调整等。
为了提高入库文件的准确性，可以对入库文件进行多轮的修正和校验。
例如，在对当前入库文件中的补录数据进行修正后，可以得到新的入库文件，将新的入库文件作为下一轮的当前入库文件，对当前入库文件中的各个字段进行校验，若校验结果为不合格，则会继续进行修正，得到新的入库文件并进行下下轮的校验，直至校验结果为合格。
将修正后的校验结果为合格的当前入库文件导入到第二系统的数据库中，从而完成第二系统的补录数据的汇总。
本申请实施例提供的数据补录方法，通过根据各个入库文件中字段的校验结果对入库文件中的补录数据进行修正，提高了补录数据的准确性。
图2是本申请另一个实施例提供的数据补录方法的流程示意图，如图2所示，该方法包括：
步骤210、制作填报模板
利用Excel工具制作各类待补录信息的填报模板，填报模板为Excel表。不同业务类型的待补录信息的填报模板放在不同的Excel表中或同一个Excel表中的不同sheet中。
在Excel表中限定各个字段的数据填写规则，数据填写规则可以包括字段含义、字段类型、字段长度和是否必填等。还可以根据数据填写规则对各个字段增加相关的校验或者枚举值下拉框，形成填报模板。
步骤220、合并填报文件
将填报模板下发至各个第一系统，各个第一系统收集到线下填报的补录数据并审核完成后，第二系统将各个第一系统上传的填报文件根据不同业务类型进行合并，得到入库文件。
步骤230、校验入库文件
设置校验规则自动校验任一入库文件内以及入库文件间的字段的合理性。
校验规则设置完成后，可以通过校验工具来对各个字段进行校验，数据补录装置输出校验结果。
步骤240、存储入库文件
根据校验结果对入库文件中的补录数据进行多次修正后，将最终的入库文件自动导入第二系统的数据库中，完成数据补录。
本申请实施例提供的数据补录方法，能够快速实现第一系统的线下数据的补录，并将补录数据迁移至第二系统，减少了人力的投入，提高了数据补录的准确性和补录效率。
下面对本申请实施例提供的数据补录装置进行描述，下文描述的数据补录装置与上文描述的数据补录方法可相互对应参照。
图3是本申请一个实施例提供的数据补录装置的结构示意图，如图3所示，该装置包括确定模块310、接收模块320、合并模块330和入库模块340。
确定模块，用于基于待补录信息的业务类型，确定待补录信息的填报模板；
接收模块，用于将填报模板发送至第一系统，并接收第一系统输出的填报文件；填报文件是基于填报模板和待补录信息对应的补录数据生成的；
合并模块，用于基于各个填报文件的填报模板对各个填报文件进行合并，得到各个填报模板对应的入库文件；
入库模块，用于将入库文件导入至第二系统的数据库中；
其中，第一系统用于采集补录数据；第二系统用于汇总补录数据。
具体地，根据本申请的实施例，确定模块、接收模块、合并模块和入库模块中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。
或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。
根据本申请的实施例，确定模块、接收模块、合并模块和入库模块中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。
或者，确定模块、接收模块、合并模块和入库模块中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
本申请实施例提供的数据补录装置，通过第一系统采集补录数据，第二系统接收第一系统发送的由补录数据和填报模板构成的填报文件，根据各个填报文件的填报模板对各个填报文件进行自动合并，可以得到各个填报模板对应的入库文件，使得第二系统对待补录信息的补录数据进行汇总，能高效地对第一系统的线下数据进行补录和汇总，减少了人工的参与，提高了数据补录的准确性，提高了数据补录的效率。
在一些实施例中，确定模块具体用于：
确定待补录信息；基于业务类型对待补录信息进行分类，生成各类待补录信息的初始填报模板；基于待补录信息的数据填写规则，对初始填报模板进行处理，得到各类待补录信息的填报模板。
在一些实施例中，合并模块具体用于：
遍历各个填报文件，确定各个填报文件对应的填报模板；将对应同一填报模板的填报文件进行合并。
在一些实施例中，合并模块还具体用于：
在预设时间段内接收各个第一系统输出的填报文件，基于各个填报文件的填报模板对各个填报文件进行合并；或者，在接收到所有第一系统输出的所有填报文件后，基于各个填报文件的填报模板对各个填报文件进行合并。
在一些实施例中，数据补录装置还包括校验模块，用于确定入库文件中各个字段的属性信息；基于属性信息及预设校验规则库中的属性信息与校验规则之间的对应关系，分别为各个字段添加第一校验规则；基于第一校验规则，对入库文件中的各个字段进行校验。
在一些实施例中，校验模块具体用于：
确定同一入库文件中各个字段间的关联关系，以及不同入库文件中各个字段间的关联关系；
分别为具有关联关系的字段添加第二校验规则；
基于第一校验规则和第二校验规则对各个入库文件中的字段进行校验。
在一些实施例中，入库模块具体用于：
确定当前入库文件中字段的校验结果；校验结果包括合格和不合格；
在校验结果为不合格的情况下，对当前入库文件中的补录数据进行修正，得到新的入库文件；
基于新的入库文件对当前入库文件进行更新，直至当前入库文件中字段的校验结果为合格；
将更新后的当前入库文件导入至第二系统的数据库中。
在此需要说明的是，本申请实施例提供的数据补录装置，能够实现上述数据补录方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
图4为本申请一个实施例提供的电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器(Processor)410、通信接口(Communications Interface)420、存储器(Memory)430和通信总线(Communications Bus)440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑命令，以执行数据补录方法，该方法包括：
基于待补录信息的业务类型，确定待补录信息的填报模板；
将填报模板发送至第一系统，并接收第一系统输出的填报文件；填报文件是基于填报模板和待补录信息对应的补录数据生成的；
基于各个填报文件的填报模板对各个填报文件进行合并，得到各个填报模板对应的入库文件；
将入库文件导入至第二系统的数据库中；
其中，第一系统用于采集补录数据；第二系统用于汇总补录数据。
此外，上述的存储器中的逻辑命令可以通过软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器可以调用存储器中的逻辑指令，实现上述方法，其具体的实施方式与前述方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
本申请实施例还提供一种非暂态计算机可读的存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法。
其具体的实施方式与前述方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
本申请实施例提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如上述方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种数据补录方法，其特征在于，包括：
基于待补录信息的业务类型，确定所述待补录信息的填报模板；
将所述填报模板发送至第一系统，并接收所述第一系统输出的填报文件；所述填报文件是基于所述填报模板和所述待补录信息对应的补录数据生成的；
基于各个填报文件的填报模板对各个填报文件进行合并，得到各个填报模板对应的入库文件；
将所述入库文件导入至第二系统的数据库中；
其中，所述第一系统用于采集所述补录数据；所述第二系统用于汇总所述补录数据。
2.根据权利要求1所述的数据补录方法，其特征在于，所述基于待补录信息的业务类型，确定所述待补录信息的填报模板，包括：
确定所述待补录信息；
基于所述业务类型对所述待补录信息进行分类，生成各类待补录信息的初始填报模板；
基于所述待补录信息的数据填写规则，对所述初始填报模板进行处理，得到各类待补录信息的填报模板。
3.根据权利要求1所述的数据补录方法，其特征在于，所述基于各个填报文件的填报模板对各个填报文件进行合并，包括：
遍历各个填报文件，确定各个填报文件对应的填报模板；
将对应同一填报模板的填报文件进行合并。
4.根据权利要求1所述的数据补录方法，其特征在于，所述第一系统的数量为多个，所述基于各个填报文件的填报模板对各个填报文件进行合并，包括：
在预设时间段内接收各个第一系统输出的填报文件，基于各个填报文件的填报模板对各个填报文件进行合并；
或者，在接收到所有第一系统输出的所有填报文件后，基于各个填报文件的填报模板对各个填报文件进行合并。
5.根据权利要求1所述的数据补录方法，其特征在于，所述得到各个填报模板对应的入库文件之后，还包括：
确定所述入库文件中各个字段的属性信息；
基于所述属性信息及预设校验规则库中的属性信息与校验规则之间的对应关系，分别为各个字段添加第一校验规则；
基于所述第一校验规则，对所述入库文件中的各个字段进行校验。
6.根据权利要求5所述的数据补录方法，其特征在于，所述对所述入库文件中的各个字段进行校验，包括：
确定同一入库文件中各个字段间的关联关系，以及不同入库文件中各个字段间的关联关系；
分别为具有关联关系的字段添加第二校验规则；
基于所述第一校验规则和所述第二校验规则对各个入库文件中的字段进行校验。
7.根据权利要求5或6所述的数据补录方法，其特征在于，所述将所述入库文件导入至所述第二系统的数据库中，包括
确定当前入库文件中字段的校验结果；所述校验结果包括合格和不合格；
在所述校验结果为不合格的情况下，对所述当前入库文件中的补录数据进行修正，得到新的入库文件；
基于所述新的入库文件对所述当前入库文件进行更新，直至所述当前入库文件中字段的校验结果为合格；
将更新后的当前入库文件导入至所述第二系统的数据库中。
8.一种数据补录装置，其特征在于，包括：
确定模块，用于基于待补录信息的业务类型，确定所述待补录信息的填报模板；
接收模块，用于将所述填报模板发送至第一系统，并接收所述第一系统输出的填报文件；所述填报文件是基于所述填报模板和所述待补录信息对应的补录数据生成的；
合并模块，用于基于各个填报文件的填报模板对各个填报文件进行合并，得到各个填报模板对应的入库文件；
入库模块，用于将所述入库文件导入至第二系统的数据库中；
其中，所述第一系统用于采集所述补录数据；所述第二系统用于汇总所述补录数据。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据补录方法。
10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求1至7任一项所述的数据补录方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310615680.7A CN116756129A (zh) | 2023-05-29 | 2023-05-29 | 数据补录方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310615680.7A CN116756129A (zh) | 2023-05-29 | 2023-05-29 | 数据补录方法、装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116756129A true CN116756129A (zh) | 2023-09-15 |
Family
ID=87952394
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310615680.7A Pending CN116756129A (zh) | 2023-05-29 | 2023-05-29 | 数据补录方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116756129A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117608536A (zh) * | 2023-12-20 | 2024-02-27 | 杭州明佑电子有限公司 | 缺口数据在线模版定制补录系统及其方法 |
| CN117608536B (zh) * | 2023-12-20 | 2024-05-28 | 杭州明佑电子有限公司 | 缺口数据在线模版定制补录系统及其方法 |
-
2023
- 2023-05-29 CN CN202310615680.7A patent/CN116756129A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117608536A (zh) * | 2023-12-20 | 2024-02-27 | 杭州明佑电子有限公司 | 缺口数据在线模版定制补录系统及其方法 |
| CN117608536B (zh) * | 2023-12-20 | 2024-05-28 | 杭州明佑电子有限公司 | 缺口数据在线模版定制补录系统及其方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105005532B (zh) | 一种自动化测试应用程序接口稳定性的系统及方法 | |
| WO2016141491A1 (en) | Systems and methods for managing data | |
| CN108509392B (zh) | 多机构对账方法、系统、计算机设备和存储介质 | |
| CN103309907A (zh) | 对不同来源的业务数据进行规范化处理的方法及系统 | |
| CN104346365A (zh) | 确定与特定业务相关的关联日志的方法和装置 | |
| WO2012048555A1 (zh) | 数据入库方法和装置 | |
| US20210334239A1 (en) | System and Method for Re-Synchronizing a Portion of or an Entire Source Database and a Target Database | |
| CN107633015A (zh) | 一种数据处理方法、装置及设备 | |
| CN115237852A (zh) | 基于mes系统的数据归档和还原的方法、系统、介质及装置 | |
| CN106708648A (zh) | 一种文本数据的存储校验方法和系统 | |
| CN111737351A (zh) | 分布式管理系统事务管理方法及装置 | |
| CN116756129A (zh) | 数据补录方法、装置、存储介质及电子设备 | |
| CN111241082B (zh) | 数据修正方法及装置 | |
| US8660917B2 (en) | Multipoint billing quality control and certification | |
| CN110807037B (zh) | 一种数据修改方法、装置、电子设备及存储介质 | |
| CN106991029A (zh) | 一种sequence数据的获取方法及装置 | |
| CN105989021A (zh) | 一种文件处理方法和装置 | |
| CN111625586A (zh) | 一种通用业务数据的导入方法和系统 | |
| CN113538147B (zh) | 股权详情数据生成方法、装置及电子设备 | |
| US20230325587A1 (en) | Table column operations for spreadsheets | |
| CN116010349B (zh) | 基于元数据的数据检核方法和装置、电子设备和存储介质 | |
| CN117194531A (zh) | 保险监管报送数据的处理方法、装置、存储介质及处理器 | |
| WO2023196082A1 (en) | Table column operations for spreadsheets | |
| CN116881164A (zh) | 金融信息系统中测试数据的校验修正方法、装置和设备 | |
| CN107087266B (zh) | 一种行业客户短信局数据制作方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |