CN118154131A - 数据处理方法、装置、电子设备及存储介质 - Google Patents
数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN118154131A CN118154131A CN202410379368.7A CN202410379368A CN118154131A CN 118154131 A CN118154131 A CN 118154131A CN 202410379368 A CN202410379368 A CN 202410379368A CN 118154131 A CN118154131 A CN 118154131A
- Authority
- CN
- China
- Prior art keywords
- data
- auditing
- audit
- data table
- item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 18
- 238000012550 audit Methods 0.000 claims abstract description 153
- 230000000295 complement effect Effects 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000004044 response Effects 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 33
- 238000004891 communication Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提出了一种数据处理方法、装置、电子设备及存储介质,涉及数据处理技术领域。该数据处理方法包括:对采集的数据和补录的数据进行拼接,生成第一数据表;向用于人工审核的第一设备发送第一数据表进行人工审核;接收第一设备发送的第一审核结果;响应于第一审核结果指示人工审核通过,根据数据自动审核模式的审核任务,确定勾稽审核内容,其中勾稽审核内容包括表内勾稽内容和表间勾稽内容;按照表内勾稽内容,对第一数据表内各数据项之间的勾稽关系进行审核,并按照表间勾稽内容,对第一数据表与其所关联的数据表之间的勾稽关系进行审核;本公开实施例能够确保第一数据表中数据的正确性和完整性,提高报送质量。
Description
技术领域
本公开涉及数据处理技术领域,尤其涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
在金融机构日常运营工作中,随着数据重要性越来越高,运营人员报送数据表的数量和频率都在不断上升,因为不同机构的信息化程度不同,并非所有数据都可以实现自动化加工,如何在不能自动化加工的情况下提升数据报送的效率,减少人工操作的情况下保证数据报送质量,成为了急需要解决的问题。
发明内容
本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
本公开第一方面实施例提出了一种数据处理方法,包括:对采集的数据和补录的数据进行拼接,生成第一数据表;向用于人工审核的第一设备发送所述第一数据表进行人工审核;接收所述第一设备发送的第一审核结果;响应于所述第一审核结果指示人工审核通过,根据数据自动审核模式的审核任务,确定勾稽审核内容,其中所述勾稽审核内容包括表内勾稽内容和表间勾稽内容;按照所述表内勾稽内容,对所述第一数据表内各数据项之间的勾稽关系进行审核,并按照所述表间勾稽内容,对所述第一数据表与其所关联的数据表之间的勾稽关系进行审核。
本公开第二方面实施例提出了一种数据处理装置,包括:拼接模块,用于对采集的数据和补录的数据进行拼接,生成第一数据表;发送模块,用于向用于人工审核的第一设备发送所述第一数据表进行人工审核;接收模块,用于接收所述第一设备发送的第一审核结果;处理模块,用于响应于所述第一审核结果指示人工审核通过,根据数据自动审核模式的审核任务,确定勾稽审核内容,其中所述勾稽审核内容包括表内勾稽内容和表间勾稽内容;审核模块,用于按照所述表内勾稽内容,对所述第一数据表内各数据项之间的勾稽关系进行审核,并按照所述表间勾稽内容,对所述第一数据表与其所关联的数据表之间的勾稽关系进行审核。
本公开第三方面实施例提出了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本公开第一方面实施例中提供的数据处理方法。
本公开第四方面实施例提出了一种计算机可读存储介质,其上存储有计算机指令,其中,计算机指令用于使计算机执行根据本公开第一方面实施例中提供的数据处理方法。
本公开第五方面实施例提出了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现本公开第一方面实施例中提供的数据处理方法。
本申请可以通过补录和采集获取完整的第一数据表,并将第一数据表进行人工审核和自动化的勾稽审核,确保第一数据表中数据的完整性和正确性,以提升后续将第一数据表报送或传输的效率和报送质量。
附图说明
图1是本公开实施例提供的一种数据处理方法的流程图;
图2是本公开实施例提供的一种对第一数据表审核的流程图;
图3是本公开实施例提供的一种勾稽审核过程的流程图;
图4是本公开实施例提供的另一种数据处理方法的流程图;
图5是本公开实施例提供的一种数据处理装置的结构框图;
图6是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本公开的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本公开,而不能理解为对本公开的限制。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是,本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号,均为经用户授权或者经过各方充分授权的,且本申请技术方案中对数据的获取、存储、使用、处理等均符合相关法律法规的相关规定。
需要说明的是,在本申请实施例中,可能提及某些软件、组件、模型等业界已有方案,应当将它们认为是示范性的,其目的仅仅是为了说明本申请技术方案实施中的可行性,但并不意味着申请人已经或者必然用到了该方案。
下面结合附图来描述本公开实施例的数据处理方法、装置、电子设备及存储介质。
图1是本公开实施例提供的一种数据处理方法的流程图,如图1所示,该方法包括以下步骤:
S101,对采集的数据和补录的数据进行拼接,生成第一数据表。
在一些实现中,数据是待报送或待传输的数据,服务端可以从数据库中直接读取得到,还可以基于实时情况进行采集并上传至服务端的数据。
在一些实现中,考虑到在数据的采集或读取过程中,可能存在无法自动化获取的数据,因此可以对数据进行补录,例如由工作人员对采集的数据进行补充录入,以确保数据传输或者报送的完整性,将自动化采集的数据和补录的数据进行拼接,生成完整的待传输或待报送的第一数据表。
在一些实现中,可以对待报送数据进行采集,并对采集数据进行数据项的缺失识别,获取待录入数据项;接收录入指令,并基于录入指令对缺失数据项进行数据补录;对采集的数据和补录的数据进行拼接,生成第一数据表。也就是说,在数据采集之后进行数据项的缺失识别,将存在缺失的数据项作为待录入数据项,然后在接受录入指令后,由工作人员对待录入数据项进行数据补录,以解决数据缺失的问题,将采集的数据和补录的数据进行拼接,得到完整的第一数据表。
S102,向用于人工审核的第一设备发送第一数据表进行人工审核。
可以理解的是,第一数据表中可能存在数据错误或者数据不符合报送和传输要求,为了提高数据报送效率,可以对第一数据表进行审核,以确保第一数据表中的数据满足基本要求,确保报送效率。
在一些实现中,可以对该第一数据表进行人工审核,在获取到第一数据表之后,将第一数据表发送至第一设备,该第一设备是用于人工审核的设备,例如笔记本电脑、平板电脑或手机等设备,由工作人员利用该第一设备对第一数据表进行审核。
可选地,人工审核可以是对数据的格式、数据的类型以及数据的正确性进行审核,将存在异常或错误的数据进行修订或删除,以确保第一数据表中数据的正确性。
S103,接收第一设备发送的第一审核结果。
在第一设备对第一数据表人工审核后,接收第一设备发送的第一审核结果。
可选地,第一审核结果可以指示人工审核通过或者人工审核不通过。可以理解的是,人工审核不通过可以是由于第一数据表中数据的准确性较差,例如出现大量的数据错误,无法进行更改的情况;相应地,人工审核通过可以是第一数据表中数据正确,或者是数据错误量较少,可以基于人工解决确保数据的准确性。
S104,响应于第一审核结果指示人工审核通过,根据数据自动审核模式的审核任务,确定勾稽审核内容。
在第一审核结果指示人工审核通过时,表明当前第一数据表中的数据本身的取值和格式不存在较大错误,因此可以基于自动化审核对第一数据表再次进行审核确认,自动审核模式中可以包括对应的审核任务,例如对第一数据表报送时的勾稽关系进行审核。
在一些实现中,勾稽审核内容包括表内勾稽内容和表间勾稽内容;也就是说可以根据数据自动审核模式的审核任务,确定表内勾稽审核和/或表间勾稽审核;其中勾稽一般指勾稽关系,是指账簿和会计报表中有关数字之间存在的,可据以相互考察、核对的关系;表内勾稽是指表内数据之间的关系,表间勾稽是不同表中数据之间的关系。示例性说明,假设审核任务是审核表内数据之间的关系,则可以确定为表内勾稽审核,当审核任务是审核表间数据的关系,则可以确定为表间勾稽审核。
S105,按照表内勾稽内容,对第一数据表内各数据项之间的勾稽关系进行审核,并按照表间勾稽内容,对第一数据表与其所关联的数据表之间的勾稽关系进行审核。
可选地,可以在确定勾稽审核内容后,确定对应的勾稽规则,该勾稽规则也就是第一数据表需要满足的规则,通过勾稽规则对第一数据表进行勾稽审核,当第一数据表满足该勾稽规则时,可以确定第一数据表审核通过。
可以理解的是,勾稽审核内容包括表内勾稽内容和表间勾稽内容,表内勾稽内容和表间勾稽内容可以分别对应不同的勾稽规则,对第一数据表内各数据项之间的勾稽关系进行审核,也就是判断该第一数据表内各数据项之间数据关系是否符合勾稽规则。
在一些实现在,获取与第一数据表存在关联的数据表,例如是与第一数据表中数据项存在勾稽关系的数据表,按照表间勾稽内容,对第一数据表与其所关联的数据表之间的勾稽关系进行审核,也就是对第一数据表与其所关联的数据表之间的关系是否符合勾稽规则。通过表内勾稽内容和表间勾稽内容对第一数据表进行勾稽审核,能够确保第一数据表内数据项之间的关系正确以及第一数据表与其所关联的数据表之间的表间关系正确。
在一些实现中,可以开发相应的检查结构化查询(Structured Query Language,SQL)语句,并将检查SQL语句进行存储,当接受到第一数据表时,通过检查SQL语句对第一数据表进行勾稽审核,也就是进行表内勾稽审核或者表间勾稽审核,以确保第一数据表在报送时数据的正确性。
本实施例中,基于采集的数据和补录的数据得到完整的第一数据表,并对第一数据表进行人工审核,在人工审核通过时进行自动审核,按照自动审核模式确定的勾稽审核内容对第一数据表中数据的表内勾稽关系和表间勾稽关系进行审核,确保第一数据表中数据的正确性和完整性,确保数据报送和传输的完整,提升数据报送的效率。
在上述实施例的基础之上,在对第一数据表进行人工审核之前,还可以确定该第一数据表是否需要进行人工审核,图2是本公开实施例提供的一种对第一数据表审核的的流程图,如图2所示,该方法包括以下步骤:
S201,获取第一数据表所属业务的业务配置信息。
在一些实现中,业务类型与具体使用场景相关,例如在银行等金融机构中,业务可以分为信贷、利率报备、存款以及支付统计等不同类型业务;不同类型业务的信息关键度不同,部分业务类型的数据可以不需要进行人工审核,因此可以获取第一数据表所述业务的业务配置信息。
可选地,该业务配置信息中至少包括第一数据表是否需要人工审核的指示信息;也就是说根据业务配置信息可以确定该第一数据表是否需要进行人工审核。
可选地,业务配置信息中还可以包括数据表的报表编号、报表名称以及报表类型等信息。
S202,根据业务配置信息,确定第一数据表的审核流程。
其中,审核流程至少包括两种审核模式。
在一些实现中,当业务配置信息中包括的指示信息指示第一数据表需要人工审核时,审核流程中包括人工审核模式和自动审核模式;当业务配置信息中包括的指示信息指示第一数据表不需要人工审核时,审核流程中包括自动审核模式。
S203,按照审核流程对第一数据表进行审核。
可以理解的是,若审核流程中包括人工审核模式和自动审核模式,则基于人工审核模式和自动审核模式依次对第一数据表进行审核。若审核流程中不包括人工审核模式,则基于自动审核模式对第一数据表进行审核。
可以理解的是,可以根据自送审核模式的审核任务,确定勾稽审核内容,并根据勾稽审核内容中的表内勾稽内容或表间勾稽内容,对第一数据表内各数据项之间勾稽关系进行审核,或者对第一数据表与其所关联的数据表之间的勾稽关系进行审核。
在一些实现中,响应于审核流程包括人工审核模式,还可以基于业务配置信息,生成第一数据表的审核任务,审核任务包括至少一个审核节点和审核节点间的关联关系;向第一设备发送第一数据表和审核任务。也就是根据第一数据表的业务配置信息,生成对第一数据表的审核任务,审核任务可以是对该第一数据表进行审核的任务要求,例如审核是否有数据缺失、数据异常或者数据间关系是否正确等任务,审核节点可以表征不同的审核数据项,也就是不同的审核阶段,因此审核任务中可以包括审核数据项和审核数据项之间的关联关系,也就是对数据项之间关联关系进行审核,关联关系例如数据项之间的汇总关系或分支关系等,将第一数据表以及包括各审核数据项之间关联关系的审核任务发送给第一设备,由第一设备对该第一数据表进行人工审核,实现对第一数据表中数据项以及数据项关联关系的正确性识别。
本实施例中,基于第一数据表所属业务的业务配置信息确定第一数据表是否需要人工审核,减少不必要的人工操作,提高审核效率;当确定第一数据表需要人工审核时,根据业务配置信息确定审核任务,将审核任务和第一数据表发送到第一设备进行审核,提高第一数据表审核的效率和审核质量。
在上述实施例的基础之上,对按照勾稽审核内容对第一数据表进行勾稽审核的过程进行说明,图3为本公开实施例所提供的一种勾稽审核过程的流程图,如图3所示,该方法包括以下步骤:
S301,对第一数据表内的数据项进行遍历,获取当前遍历到的数据项i涉及的一个或多个数据项j。
可以理解的是,第一数据表中存在一个或多个数据项,对第一数据表中的每个数据项进行遍历分析,获取当前遍历到的数据项i涉及的一个或多个数据项j,也就是与数据项i相关的一个或多个数据项j;其中i和j均为正整数且取值小于或等于第一数据表内数据项数量。
在一些实现中,与数据项i相关可以指与数据项i属性相似的数据项,例如数据项A和数据项B均为贷款相关的数据项,则数据项B可以为数据项A涉及的数据项。在一些实现中,与数据项i相关还可以是指与数据项i之间存在关联关系的数据项,例如数据项i与数据项j之间的取值会相互影响,随着数据项i的增大数据项j进行增大或减小,或者数据项i与数据项j的求和为固定值等关系。
S302,根据数据项i和数据项j之间的第一关联关系,对数据项i和所述数据项j之间的勾稽关系进行审核。
在一些实现中,第一关联关系是指数据项之间正确的关系,例如对于数据项A、数据项B和数据项C,数据项C为数据项A和数据项B的求和,则数据项C=数据项A+数据项B也就是数据项之间的第一数据关系。
可选地,数据项之间的关联关系可以为固有的关系或者规定的关系,例如每月贷款额度和总贷款额度之间存在求和关系,或者规定信誉度和可贷款额度之间存在正相关关系,信誉度越高可贷款额度越大。可选地,第一关联关系可以获取第一数据表时直接得到,还可以将第一关联关系存储到存储器中,从存储器中进行读取确定数据项之间的第一关联关系。
进一步地,在确定数据项之间的第一关联关系之后,可以根据数据项i和数据项j之间的第一关联关系对数据项i和数据项j之间的勾稽关系进行审核,也就是对第一数据表内数据项的勾稽关系进行表内勾稽审核。
可以理解的是,第一关联关系是第一数据表中各数据项本身具有的关系,例如数据项C=数据项A+数据项B,第一数据表内各数据项之间的勾稽关系是在当前第一数据表中数据项之间实际存在的关系,可以通过判断该勾稽关系是否与第一关联关系一致,从而确定当前第一数据表中数据项之间的勾稽关系是否正确。
也就是说,判断数据项i和数据项j之间的勾稽关系是否与数据项i和数据项j之间的第一关联关系一致,从而确定数据项i和数据项j之间的勾稽关系是否正确,对第一数据表内各数据项之间的勾稽关系进行审核,达到对第一数据表进行表内勾稽审核的目的,确保第一数据表中的数据项在数据本身正确的同时,数据项之间的勾稽关系也正确。
S303,获取与第一数据表关联的第二数据表,并对第一数据表和第二数据表中的数据项进行遍历,获取当前遍历到的第一数据表中数据项m涉及的一个或多个第二数据表中的数据项n。
在一些实现中,第二数据表是与第一数据表存在关联的数据表,例如是存在勾稽关系的数据表,该数据表中的数据项与第一数据表中的数据项存在勾稽关系,对此类数据表进行提取,得到与第一数据表关联的第二数据表。
进一步地,对第一数据表中每个数据项进行遍历,获取数据项所涉及到的一个或多个数据项,例如当前遍历到第一数据表中的数据项m,获取数据项m所涉及到的一个或多个数据项n,数据项n为第二数据表中的数据项;其中m和n均为正整数,且m的取值小于或等于第一数据表内数据项数量,n的取值小于或等于第二数据表内数据项数量。可以理解的是,数据项m与其涉及到的数据项n之间可能存在相应的勾稽关系。
S304,根据数据项m和数据项n之间的第二关联关系,对数据项m和数据项n之间的勾稽关系进行审核。
可以理解的是,数据项m和数据项n之间的第二关联关系是数据项m和数据项n之间存在的正确关联关系,数据项m和数据项n之间的勾稽关系是当前第一数据表和第二数据表中存在的关联关系,可以根据数据项m和数据项n之间的第二关联关系,对数据项m和数据项n之间的勾稽关系进行审核,也就是判断数据项m和数据项n之间的勾稽关系是否与对应的第二关联关系一致,在数据项m和数据项n之间的勾稽关系和第二关联关系一致时,表明当前表间勾稽关系正确;对第一数据表和第二数据表中所有的数据项之间的勾稽关系进行审核,以完成对第一数据表和第二数据表之间的表间勾稽关系审核。
在一些实现中,响应于第一数据表的勾稽审核通过,确定用于接收第一数据表的第二设备;确定与第二设备进行通信时采用的通信接口,并根据通信接口确定第一数据表的目标格式;按照目标格式对第一数据表进行格式转换生成第三数据表,并向第二设备发送第三数据表。也就是说,在对第一数据表的勾稽关系审核通过后,也就是表内勾稽审核和表间勾稽审核通过后,确定接收数据的第二设备以及第二设备通信时采用的通信接口,通信接口是电子设备之间或者电子设备与通信网络之间进行数据传输和交换的媒介,定义了设备间通信的规范、协议以及物理连接方式,因此可以根据通信接口确定第二设备可以接受的目标格式,将第一数据表转换为目标格式下的第三数据表进行数据报送,以确保第二设备可以接收到数据,实现数据的成功报送。
本实施例中,通过第一数据表内数据项之间的第一关联关系进行表内勾稽审核,通过第一数据表以及关联的第二数据表之间的第二关联关系进行表间勾稽审核,从第一数据表自身以及与关联数据表之间的关系确保第一数据表中数据的准确,在保障数据自身正确的同时确保数据勾稽关系正确,并且在发送第一数据表时,基于接收的第二设备的通信接口确定第一数据表的目标格式,进而将第一数据表进行目标格式的转换,以确保第二设备可以接收到数据,实现数据的成功报送。
图4为本公开实施例所提供的另一种数据处理方法的流程图,如图4所示,该方法包括以下步骤:
S401,对采集的数据和补录的数据进行拼接,生成第一数据表。
本公开实施例中,步骤S401的实现方法可以分别采用本公开的各实施例中的任一种方式实现,在此并不对此作出限定,也不再赘述。
S402,获取第一数据表所属业务的业务配置信息。
本公开实施例中,步骤S402的实现方法可以分别采用本公开的各实施例中的任一种方式实现,在此并不对此作出限定,也不再赘述。
S403,根据业务配置信息,确定第一数据表的审核流程。
本公开实施例中,步骤S403的实现方法可以分别采用本公开的各实施例中的任一种方式实现,在此并不对此作出限定,也不再赘述
S404,按照审核流程对第一数据表进行审核。
本公开实施例中,步骤S404的实现方法可以分别采用本公开的各实施例中的任一种方式实现,在此并不对此作出限定,也不再赘述。
S405,向用于人工审核的第一设备发送第一数据表进行人工审核。
本公开实施例中,步骤S405的实现方法可以分别采用本公开的各实施例中的任一种方式实现,在此并不对此作出限定,也不再赘述。
S406,接收第一设备发送的第一审核结果。
本公开实施例中,步骤S406的实现方法可以分别采用本公开的各实施例中的任一种方式实现,在此并不对此作出限定,也不再赘述。
S407,响应于第一审核结果指示人工审核通过,根据数据自动审核模式的审核任务,确定勾稽审核内容。
本公开实施例中,步骤S407的实现方法可以分别采用本公开的各实施例中的任一种方式实现,在此并不对此作出限定,也不再赘述。
S408,对第一数据表内的数据项进行遍历,获取当前遍历到的数据项i涉及的一个或多个数据项j。
本公开实施例中,步骤S408的实现方法可以分别采用本公开的各实施例中的任一种方式实现,在此并不对此作出限定,也不再赘述。
S409,根据数据项i和数据项j之间的第一关联关系,对数据项i和所述数据项j之间的勾稽关系进行审核。
本公开实施例中,步骤S409的实现方法可以分别采用本公开的各实施例中的任一种方式实现,在此并不对此作出限定,也不再赘述。
S410,获取与第一数据表关联的第二数据表,并对第一数据表和第二数据表中的数据项进行遍历,获取当前遍历到的第一数据表中数据项m涉及的一个或多个第二数据表中的数据项n。
本公开实施例中,步骤S410的实现方法可以分别采用本公开的各实施例中的任一种方式实现,在此并不对此作出限定,也不再赘述。
S411,根据数据项m和数据项n之间的第二关联关系,对数据项m和数据项n之间的勾稽关系进行审核。
本公开实施例中,步骤S411的实现方法可以分别采用本公开的各实施例中的任一种方式实现,在此并不对此作出限定,也不再赘述。
本实施例中,基于采集的数据和补录的数据得到完整的第一数据表,并根据第一数据表所属业务的业务配置信息确定第一数据表是否需要人工审核,减少不必要的人工操作,提高审核效率;当确定第一数据表需要人工审核时,根据业务配置信息确定审核任务,将审核任务和第一数据表发送到第一设备进行审核,提高第一数据表审核的效率和审核质量,并通过第一数据表内数据项之间的第一关联关系进行表内勾稽审核,通过第一数据表以及关联的第二数据表之间的第二关联关系进行表间勾稽审核,从第一数据表自身以及与关联数据表之间的关系确保第一数据表中数据的准确,在保障数据自身正确的同时确保数据勾稽关系正确,同时基于第二设备的目标格式将第一数据表进行目标格式的转换,以确保第二设备可以接收到数据,实现数据的成功报送。
图5为本公开实施例提供的一种数据处理装置的结构框图,如图5所示,本公开实施例的数据处理装置500,包括:
拼接模块501,用于对采集的数据和补录的数据进行拼接,生成第一数据表;
发送模块502,用于向用于人工审核的第一设备发送第一数据表进行人工审核;
接收模块503,用于接收第一设备发送的第一审核结果;
处理模块504,用于响应于第一审核结果指示人工审核通过,根据数据自动审核模式的审核任务,确定勾稽审核内容,其中勾稽审核内容包括表内勾稽内容和表间勾稽内容;
审核模块505,用于按照表内勾稽内容,对所述第一数据表内各数据项之间的勾稽关系进行审核,并按照表间勾稽内容,对第一数据表与其所关联的数据表之间的勾稽关系进行审核。
在一些实现中,发送模块502,还包括:
获取第一数据表所属业务的业务配置信息;
根据业务配置信息,确定第一数据表的审核流程,审核流程至少包括两种审核模式;
按照审核流程对第一数据表进行审核。
在一些实现中,发送模块502,包括:
响应于审核流程包括人工审核模式,基于业务配置信息,生成第一数据表的审核任务,审核任务包括至少一个审核节点和审核节点间的关联关系;
向第一设备发送第一数据表和审核任务。
在一些实现中,审核模块505,包括:
对所述第一数据表内的数据项进行遍历,获取当前遍历到的数据项i涉及的一个或多个数据项j,其中i和j均为正整数且取值小于或等于第一数据表内数据项数量;
根据所述数据项i和所述数据项j之间的第一关联关系,对所述数据项i和所述数据项j之间的勾稽关系进行审核。
在一些实现中,审核模块505,包括:
获取与所述第一数据表关联的第二数据表,并对所述第一数据表和所述第二数据表中的数据项进行遍历,获取当前遍历到的第一数据表中数据项m涉及的一个或多个第二数据表中的数据项n,其中m和n均为正整数,且m的取值小于或等于第一数据表内数据项数量,n的取值小于或等于第二数据表内数据项数量;
根据所述数据项m和所述数据项n之间的第二关联关系,对所述数据项m和所述数据项n之间的勾稽关系进行审核。
在一些实现中,拼接模块501,包括:
对待报送数据进行采集,并对采集数据进行数据项的缺失识别,获取待录入数据项;
接收录入指令,并基于录入指令对缺失数据项进行数据补录;
对采集的数据和补录的数据进行拼接,生成第一数据表。
在一些实现中,审核模块505,还包括:
响应于第一数据表的勾稽审核通过,确定用于接收第一数据表的第二设备;
确定与第二设备进行通信时采用的通信接口,并根据通信接口确定第一数据表的目标格式;
按照目标格式对第一数据表进行格式转换生成第三数据表,并向第二设备发送第三数据表。
本实施例中,基于采集的数据和补录的数据得到完整的第一数据表,并根据第一数据表所属业务的业务配置信息确定第一数据表是否需要人工审核,减少不必要的人工操作,提高审核效率;当确定第一数据表需要人工审核时,根据业务配置信息确定审核任务,将审核任务和第一数据表发送到第一设备进行审核,提高第一数据表审核的效率和审核质量,并通过第一数据表内数据项之间的第一关联关系进行表内勾稽审核,通过第一数据表以及关联的第二数据表之间的第二关联关系进行表间勾稽审核,从第一数据表自身以及与关联数据表之间的关系确保第一数据表中数据的准确,在保障数据自身正确的同时确保数据勾稽关系正确,同时基于第二设备的目标格式将第一数据表进行目标格式的转换,以确保第二设备可以接收到数据,实现数据的成功报送。
图6是根据一示例性实施例示出的一种电子设备的框图。如图6所示,上述电子设备600包括:
存储器610及处理器620,连接不同组件(包括存储器610和处理器620)的总线630,存储器610存储有计算机程序,当处理器620执行所述程序时实现本公开实施例所述的数据处理方法。
总线630表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备600典型地包括多种电子设备可读介质。这些介质可以是任何能够被电子设备600访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器610还可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)640和/或高速缓存存储器650。电子设备600可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统660可以用于读写不可移动的、非易失性磁介质(图6未显示,通常称为“硬盘驱动器”)。尽管图6中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线630相连。存储器610可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本公开各实施例的功能。
具有一组(至少一个)程序模块670的程序/实用工具680,可以存储在例如存储器610中,这样的程序模块670包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块670通常执行本公开所描述的实施例中的功能和/或方法。
电子设备600也可以与一个或多个外部设备690(例如键盘、指向设备、显示器691等)通信,还可与一个或者多个使得用户能与该电子设备600交互的设备通信,和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口692进行。并且,电子设备600还可以通过网络适配器693与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图6所示,网络适配器693通过总线630与电子设备600的其它模块通信。应当明白,尽管图6中未示出,可以结合电子设备600使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器620通过运行存储在存储器610中的程序,从而执行各种功能应用以及数据处理。
需要说明的是,本实施例的电子设备的实施过程和技术原理参见前述对本公开实施例的数据处理方法的解释说明,此处不再赘述。
为了实现上述实施例,本公开还提出一种计算机可读存储介质。
其中,该计算机可读存储介质中的指令由业务服务器的处理器执行时,使得业务服务器能够执行如前所述的数据处理方法。可选的,计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
为了实现上述实施例,本公开还提供一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如前所述的数据处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (11)
1.一种数据处理方法,其特征在于,包括:
对采集的数据和补录的数据进行拼接,生成第一数据表;
向用于人工审核的第一设备发送所述第一数据表进行人工审核;
接收所述第一设备发送的第一审核结果;
响应于所述第一审核结果指示人工审核通过,根据数据自动审核模式的审核任务,确定勾稽审核内容,其中所述勾稽审核内容包括表内勾稽内容和表间勾稽内容;
按照所述表内勾稽内容,对所述第一数据表内各数据项之间的勾稽关系进行审核,并按照所述表间勾稽内容,对所述第一数据表与其所关联的数据表之间的勾稽关系进行审核。
2.根据权利要求1所述的方法,其特征在于,所述向用于人工审核的第一设备发送所述第一数据表进行人工审核之前,还包括:
获取所述第一数据表所属业务的业务配置信息;
根据所述业务配置信息,确定所述第一数据表的审核流程,所述审核流程至少包括两种审核模式;
按照所述审核流程对所述第一数据表进行审核。
3.根据权利要求2所述的方法,其特征在于,所述按照所述审核流程对所述第一数据表进行审核,包括:
响应于所述审核流程包括人工审核模式,基于所述业务配置信息,生成所述第一数据表的审核任务,所述审核任务包括至少一个审核节点和审核节点间的关联关系;
向所述第一设备发送所述第一数据表和所述审核任务。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述按照所述表内勾稽内容,对所述第一数据表内各数据项之间的勾稽关系进行审核,包括:
对所述第一数据表内的数据项进行遍历,获取当前遍历到的数据项i涉及的一个或多个数据项j,其中i和j均为正整数且取值小于或等于第一数据表内数据项数量;
根据所述数据项i和所述数据项j之间的第一关联关系,对所述数据项i和所述数据项j之间的勾稽关系进行审核。
5.根据权利要求1-3中任一项所述的方法,其特征在于,按照所述表间勾稽内容,对所述第一数据表与其所关联的数据表之间的勾稽关系进行审核,包括:
获取与所述第一数据表关联的第二数据表,并对所述第一数据表和所述第二数据表中的数据项进行遍历,获取当前遍历到的第一数据表中数据项m涉及的一个或多个第二数据表中的数据项n,其中m和n均为正整数,且m的取值小于或等于第一数据表内数据项数量,n的取值小于或等于第二数据表内数据项数量;
根据所述数据项m和所述数据项n之间的第二关联关系,对所述数据项m和所述数据项n之间的勾稽关系进行审核。
6.根据权利要求1-3中任一项所述的方法,其特征在于,所述对采集的数据和补录的数据进行拼接,生成第一数据表,包括:
对待报送数据进行采集,并对采集数据进行数据项的缺失识别,获取待录入数据项;
接收录入指令,并基于所述录入指令对所述缺失数据项进行数据补录;
对所述采集的数据和所述补录的数据进行拼接,生成所述第一数据表。
7.根据权利要求1-3中任一项所述的方法,其特征在于,所述按照所述勾稽审核内容对所述第一数据表进行勾稽审核之后,还包括:
响应于所述第一数据表的勾稽审核通过,确定用于接收所述第一数据表的第二设备;
确定与所述第二设备进行通信时采用的通信接口,并根据所述通信接口确定所述第一数据表的目标格式;
按照所述目标格式对所述第一数据表进行格式转换生成第三数据表,并向所述第二设备发送所述第三数据表。
8.一种数据处理装置,其特征在于,包括:
拼接模块,用于对采集的数据和补录的数据进行拼接,生成第一数据表;
发送模块,用于向用于人工审核的第一设备发送所述第一数据表进行人工审核;
接收模块,用于接收所述第一设备发送的第一审核结果;
处理模块,用于响应于所述第一审核结果指示人工审核通过,根据数据自动审核模式的审核任务,确定勾稽审核内容,其中所述勾稽审核内容包括表内勾稽内容和表间勾稽内容;
审核模块,用于按照所述表内勾稽内容,对所述第一数据表内各数据项之间的勾稽关系进行审核,并按照所述表间勾稽内容,对所述第一数据表与其所关联的数据表之间的勾稽关系进行审核。
9.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-7中任一项所述的方法。
11.一种计算机程序产品,其特征在于,包括计算机程序,该计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410379368.7A CN118154131A (zh) | 2024-03-29 | 2024-03-29 | 数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410379368.7A CN118154131A (zh) | 2024-03-29 | 2024-03-29 | 数据处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118154131A true CN118154131A (zh) | 2024-06-07 |
Family
ID=91294817
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410379368.7A Pending CN118154131A (zh) | 2024-03-29 | 2024-03-29 | 数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118154131A (zh) |
-
2024
- 2024-03-29 CN CN202410379368.7A patent/CN118154131A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20090271764A1 (en) | System and method for managing computer environment setup requests | |
CN110060139B (zh) | 账务处理方法及装置 | |
CN111797019B (zh) | 一种交易核算测试方法、装置、电子设备及存储介质 | |
CN112488652A (zh) | 工单审核方法、系统、终端和存储介质 | |
CN109670943B (zh) | 一种结算系统、方法、计算机设备及存储介质 | |
CN109815039A (zh) | 业务软件的测试方法及装置、存储介质、计算机设备 | |
CN111340584A (zh) | 一种资金方的确定方法、装置、设备及存储介质 | |
CN112052285A (zh) | 一种业务数据的记账管理方法、系统和介质 | |
CN111258832B (zh) | 一种接口参数校验方法、装置、设备及介质 | |
CN111353763B (zh) | 处理数据的方法、装置、服务器及存储介质 | |
CN117194242A (zh) | 交易系统的日志回放方法及其装置、电子设备、存储介质 | |
CN117036062A (zh) | 一种结算资源计算方法及装置 | |
CN118154131A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN115600972A (zh) | 一种不良资产的核销方法、装置、设备及存储介质 | |
CN114266637A (zh) | 自动对账方法、系统、电子设备及计算机可读存储介质 | |
CN114037523A (zh) | 函证业务测试方法、装置、设备、介质及程序产品 | |
CN112801688A (zh) | 估值失败原因的定位方法和装置 | |
CN111625455A (zh) | 一种程序测试方法、装置、设备和介质 | |
US20080004827A1 (en) | Externalized metric calculation engine | |
CN111461891A (zh) | 订单审批的系统、方法、计算机设备及存储介质 | |
CN114997977B (zh) | 一种数据处理方法、装置、电子设备及计算机可读介质 | |
CN114329188A (zh) | 整合商户信息的方法、系统及计算机可读介质 | |
CN112700322B (zh) | 订单抽样检测方法、装置、电子设备和存储介质 | |
CN117172935A (zh) | 保险业务中台的建立方法 | |
CN114331746A (zh) | 一种理赔预警方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |