CN112800040A - 业务数据校验方法、装置、计算机设备及存储介质 - Google Patents
业务数据校验方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112800040A CN112800040A CN202110089962.9A CN202110089962A CN112800040A CN 112800040 A CN112800040 A CN 112800040A CN 202110089962 A CN202110089962 A CN 202110089962A CN 112800040 A CN112800040 A CN 112800040A
- Authority
- CN
- China
- Prior art keywords
- data
- preset
- target
- checking
- service data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012795 verification Methods 0.000 claims description 181
- 238000012216 screening Methods 0.000 claims description 38
- 238000013524 data verification Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 20
- 238000012217 deletion Methods 0.000 claims description 9
- 230000037430 deletion Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 abstract description 7
- 230000002159 abnormal effect Effects 0.000 abstract description 4
- 238000007405 data analysis Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请属于数据分析技术领域，本申请提供了一种业务数据校验方法、装置、计算机设备及计算机可读存储介质。本申请通过从预设后置系统的初始业务数据中，筛选出预设数量的初始业务数据，以得到目标校验数据，将目标校验数据回流至预设前置系统所包含的预设中间表，基于预设中间表，将目标校验数据进行实时校验，以得到目标校验数据相对应的校验结果，从而将大数据量的业务数据进行校验，避免了大数据量校验查询超时，降低了系统异常的概率，提高了对大数据量进行校验的灵活性，能够提高将大数据量的业务数据进行校验的校验效率，可以更快的对异常业务进行响应，以保证整个系统功能的正常使用。
Description
技术领域
本申请涉及数据分析技术领域，尤其涉及一种业务数据校验方法、装置、计算机设备及计算机可读存储介质。
背景技术
目前业务系统中对于大数据量的客户表的校验比较困难，业务上又经常用到客户信息，对于某些字段如果采用加索引的方式，可能识别性不高，而且对亿级别以上的表加索引耗时巨大，同时加索引会导致锁表，会影响线上正常功能的使用，因此，如何对于大数据量校验，成为一个亟待解决的问题。
发明内容
本申请提供了一种业务数据校验方法、装置、计算机设备及计算机可读存储介质，能够解决传统技术中对业务数据校验效率较低的问题。
第一方面，本申请提供了一种业务数据校验方法，包括：从预设后置系统的初始业务数据中，筛选出预设数量的初始业务数据，以得到目标校验数据；将所述目标校验数据回流至预设前置系统所包含的预设中间表；基于所述预设中间表，将所述目标校验数据进行实时校验，以得到所述目标校验数据相对应的校验结果。
第二方面，本申请还提供了一种业务数据校验装置，包括：筛选单元，用于从预设后置系统的初始业务数据中，筛选出预设数量的初始业务数据，以得到目标校验数据；回流单元，用于将所述目标校验数据回流至预设前置系统所包含的预设中间表；校验单元，用于基于所述预设中间表，将所述目标校验数据进行实时校验，以得到所述目标校验数据相对应的校验结果。
第三方面，本申请还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现所述业务数据校验方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器执行所述业务数据校验方法的步骤。
本申请提供了一种业务数据校验方法、装置、计算机设备及计算机可读存储介质。本申请通过从预设后置系统的初始业务数据中，筛选出预设数量的初始业务数据，以得到目标校验数据，将所述目标校验数据回流至预设前置系统所包含的预设中间表，基于所述预设中间表，将所述目标校验数据进行实时校验，以得到所述目标校验数据相对应的校验结果，从而将大数据量的业务数据校验进行校验，避免了大数据量校验查询超时，降低了系统异常的概率，提高了对大数据量进行校验的灵活性，能够提高将大数据量的业务数据进行校验的校验效率，可以更快的对异常业务进行响应，以保证整个系统功能的正常使用。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的业务数据校验方法的一个流程示意图；
图2为本申请实施例提供的业务数据校验方法的第一个子流程示意图；
图3为本申请实施例提供的业务数据校验方法的第二个子流程示意图；
图4为本申请实施例提供的业务数据校验方法的第三个子流程示意图；
图5为本申请实施例提供的业务数据校验方法的第四个子流程示意图；
图6为本申请实施例提供的业务数据校验装置的一个示意性框图；以及
图7为本申请实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
请参阅图1，图1为本申请实施例提供的业务数据校验方法的一个流程示意图。如图1所示，该方法包括以下步骤S11-S13：
S11、从预设后置系统的初始业务数据中，筛选出预设数量的初始业务数据，以得到目标校验数据。
具体地，针对处理业务数据的业务系统，设置用于存储业务数据相对应的后置系统，及对业务数据进行校验相对应的前置系统。
将已确定的所有业务数据均存储于后置系统，并将所述后置系统所包含的业务数据作为初始业务数据。例如，在养老险业务中，已确定的所有业务数据包括新投保的保单数据，例如业务员通过前端管理系统(比如保全系统)，录入保单等保单数据，或者是经过保全服务的保单数据，及上一次校验过的保单数据进行更新后的保单数据等所有业务数据，将上述所有已确定的业务数据均存储于后置系统中，若业务量大或者业务种类多，则会产生大数据量的业务数据。
需要对后置系统中的大数据量的业务数据进行校验时，从预设后置系统的初始业务数据中，按照预先设定的数据量大小及预先设定的筛选方式，筛选出预设数量的增量数据，将所述预设数量的增量数据作为进行校验的目标数据，即得到目标校验数据。
S12、将所述目标校验数据回流至预设前置系统所包含的预设中间表。
具体地，在设置的前置系统中，新增预设中间表，所述预设中间表用来存放待校验的目标校验数据。从预设后置系统中得到目标校验数据后，将所述目标校验数据回流至预设前置系统所包含的预设中间表中，从而使对所述目标校验数据进行的校验脱离开预设后置系统的大量的原始的初始业务数据，只对少量的局部的目标校验数据进行校验。
S13、基于所述预设中间表，将所述目标校验数据进行实时校验，以得到所述目标校验数据相对应的校验结果。
具体地，将所述目标校验数据回流至预设前置系统所包含的预设中间表后，基于所述预设中间表，将所述目标校验数据进行实时校验，判断所述目标校验数据是否存在问题或者是否满足预设条件，从而得到所述目标校验数据相对应的校验结果。
在本申请实施例中，实现基于大数据量的业务数据校验时，通过从预设后置系统的初始业务数据中，筛选出预设数量的初始业务数据，以得到目标校验数据，将所述目标校验数据回流至预设前置系统所包含的预设中间表，基于所述预设中间表，将所述目标校验数据进行实时校验，以得到所述目标校验数据相对应的校验结果，从而将大数据量的业务数据校验以化整为零的方式筛选出少量的局部的目标校验数据进行校验，避免了大数据量校验查询超时，降低了系统异常的概率，提高了对大数据量进行校验的灵活性，且将目标校验数据脱离大数据量的预设后置系统的初始业务数据，进而通过预设前置系统所包含的预设中间表将所述目标校验数据进行实时校验，通过将业务数据的校验过程从预设后置系统进行分散，既避免了预设后置系统中大数据量对业务数据进行校验的干扰，同时避免了预设后置系统进行校验的功能臃肿导致的预设后置系统的性能瓶颈，集中的业务数据校验有利于更快的发现系统所有的异常数据，能够提高将大数据量的业务数据进行校验的校验效率，可以更快的对异常业务进行响应，以保证整个系统功能的正常使用。
请参阅图2，图2为本申请实施例提供的业务数据校验方法的第一个子流程示意图。如图2所示，在该实施例中，所述筛选出预设数量的初始业务数据，以得到目标校验数据的步骤包括：
S21、获取所述初始业务数据中所包含的目标增量数据；
S22、根据所述目标增量数据，筛选出预设数量的目标增量数据，并将所述预设数量的目标增量数据作为目标校验数据。
具体地，针对大数据量的业务数据，为了进一步提高将大数据量的业务数据进行校验的效率，可以根据业务的实际需求，可以仅针对更新的业务数据进行数据校验，即针对增量数据进行校验，而不针对预设后置系统中所有初始业务数据进行校验，例如，在养老险业务中，更新的业务数据包括新投保的保单数据，或者是经过保全服务的保单数据，及上一次校验过的保单数据进行更新后的保单数据等所有的增量数据，将上述所有已确定的增量业务数据均存储于后置系统后，仅针对增量业务数据进行数据校验。
可以根据预设业务类型所限定的增量业务数据范围，或者根据预设时间周期所限定的增量业务数据范围，将所述预设后置系统的初始业务数据进行筛选，从而获取所述初始业务数据中所包含的目标增量数据，然后根据所述目标增量数据，筛选出预设数量的目标增量数据，并将所述预设数量的目标增量数据作为目标校验数据，相比传统技术中，基于预设后置系统的所有初始业务数据对业务数据进行校验，本申请实施例中，由于过滤掉了不需要考虑的已固定的确定业务数据，而只对增量数据进行校验，尤其是只对目标增量数据进行校验，进一步缩小了进行校验的业务数据的范围，从而能够缩短对大数据量的业务数据进行校验的校验过程，提高对大数据量的业务数据进行校验的校验效率，并且能够节省系统资源，提升系统性能。
请参阅图3，图3为本申请实施例提供的业务数据校验方法的第二个子流程示意图。如图3所示，在该实施例中，所述从预设后置系统的初始业务数据中，筛选出预设数量的初始业务数据，以得到目标校验数据的步骤包括：
S31、根据预设定时任务，定时触发进行业务数据校验的校验指令；
S32、根据所述校验指令，从预设后置系统的初始业务数据中，定时筛选出预设数量的初始业务数据，以得到目标校验数据。
具体地，实现定时任务时，可以通过Quartz-job实现定时任务配置，也可以通过Oracle中DBjob实现定时任务，从而可以通过预设时间周期对大数据量的业务数据进行校验，例如，可以，每几分钟、几个小时、一个星期或者一个月的时间周期对大数据量的业务数据进行校验。
在通过定时任务对大数据量的业务数据进行校验时，根据预设定时任务，定时触发进行业务数据校验的校验指令，根据所述校验指令，从预设后置系统的初始业务数据中，定时筛选出预设数量的初始业务数据，以得到目标校验数据。例如，可以根据业务指定的预设需求范围，筛选数据，从而得到目标数据，例如获取目标增量数据，根据数据的更新时间(更新时间发生变化)将所述目标增量数据通过定时任务定时回流到预设中间表。
在一实施例中，所述从预设后置系统的初始业务数据中，筛选出预设数量的初始业务数据，以得到目标校验数据的步骤包括：
从预设后置系统的初始业务数据中，并行筛选出多个数据集，每个所述数据集包含预设数量的初始业务数据，以得到相对应的多个目标校验数据集；
所述将所述目标校验数据回流至预设前置系统所包含的预设中间表的步骤包括：
将每个所述目标校验数据集回流至预设前置系统所包含的相对应预设中间表。
具体地，从预设后置系统的初始业务数据中，可以并行执行多个筛选出预设数量的初始业务数据的过程，多个筛选出预设数量的初始业务数据的过程可以为对不同类型的业务数据的筛选，也可以为对不同数量的业务数据的筛选，每个筛选出预设数量的初始业务数据的过程各自相对应的得到各自的筛选结果，每个筛选结果可以对应一个数据集，即每个数据集各自包含相对应的预设数量的初始业务数据，将每个数据集作为相对应的目标校验数据集，从而相对应的得到多个个目标校验数据集，同时，在预设前置系统中设置相对应的多个预设中间表，将每个所述目标校验数据集回流至预设前置系统所包含的相对应预设中间表，从而并行执行多个部分的业务数据校验，在预设数量的业务数据的基础上，并行执行多个预设中间表的校验过程，可以实现对大数据量的业务数据的高频率小数量的批量校验，从而提高对大数据量的业务数据进行校验的校验效率。
请参阅图4，图4为本申请实施例提供的业务数据校验方法的第三个子流程示意图。如图4所示，在该实施例中，所述基于所述预设中间表，将所述目标校验数据进行实时校验，以得到所述目标校验数据相对应的校验结果的步骤包括：
S41、基于所述预设中间表，将所述目标校验数据建立目标索引；
S42、根据所述目标索引，将所述目标校验数据进行实时校验，以得到所述目标校验数据相对应的校验结果。
具体地，在对预设中间表中的目标校验数据进行校验时，可以对预设中间表需要校验的字建立索引，可以通过MySQL创建索引，例如根据业务需求指定的校验字段建立索引，将所述目标校验数据建立目标索引，进而根据所述目标索引，将所述目标校验数据进行实时校验，以得到所述目标校验数据相对应的校验结果，基于索引对预设中交表中的目标校验数据进行校验，由于索引的匹配很快，可以提高对预设中间表中的目标校验数据的校验效率，从而进一步提高对基于大数据量的业务数据进行校验的校验效率。
请参阅图5，图5为本申请实施例提供的业务数据校验方法的第四个子流程示意图。如图5所示，在该实施例中，所述基于所述预设中间表，将所述目标校验数据进行实时校验，以得到所述目标校验数据相对应的校验结果的步骤包括：
S51、判断所述目标校验数据是否为预设无效数据；
S52、若所述目标校验数据为预设无效数据，将所述目标校验数据进行标注；
S53、若所述目标校验数据不为预设无效数据，不将所述目标校验数据进行标注。
具体地，判断所述目标校验数据是否为预设无效数据，若所述目标校验数据为预设无效数据，将所述目标校验数据进行标注，例如将无效的目标校验数据进行突出显示，可以为高亮显示，也可以以预设颜色方式进行显示，以便于数据维护人员维护业务数据，若所述目标校验数据不为预设无效数据，不将所述目标校验数据进行标注，若所述目标校验数据为正常状态，不需要对所述目标校验数据进行处理，不将所述目标校验数据进行标注。
在一实施例中，所述若所述目标校验数据为预设无效数据，将所述目标校验数据进行标注的步骤包括：
若所述目标校验数据为预设无效数据，将所述目标校验数据进行删除，并将删除的目标校验数据及将所述目标校验数据进行删除所对应的删除原因进行标注。
具体地，在判断所述目标校验数据为无效数据时，可以将判定为无效数据的目标校验数据进行删除，并将删除的数据及相对应的删除原因进行标注，既能实现对无效数据的清理，又便于后续业务数据维护人员清楚删除该无效目标校验数据的原因，以便于对所述目标校验数据进行追溯。例如，在养老险业务中，可以通过定时任务每天对中间失效的保单或者已经退保等数据进行清理，定时任务每天识别中预设中间表中已失效的保单(已退保、过期或者超过理赔时效等的保单)，进行剔除，从而实现对业务数据的及时校验及清理，提高对业务数据维护的有效性，能够节省数据存储空间，又对清理的数据及删除的原因进行了标注，也便于后续对删除数据的追溯。
需要说明的是，上述各个实施例所述的业务数据校验方法，可以根据需要将不同实施例中包含的技术特征重新进行组合，以获取组合后的实施方案，但都在本申请要求的保护范围之内。
请参阅图6，图6为本申请实施例提供的业务数据校验装置的一个示意性框图。对应于上述所述业务数据校验方法，本申请实施例还提供一种业务数据校验装置。如图6所示，该业务数据校验装置包括用于执行上述所述业务数据校验方法的单元，该业务数据校验装置可以被配置于计算机设备中。具体地，请参阅图6，该业务数据校验装置60包括筛选单元61、回流单元62及校验单元63。
其中，筛选单元61，用于从预设后置系统的初始业务数据中，筛选出预设数量的初始业务数据，以得到目标校验数据；
回流单元62，用于将所述目标校验数据回流至预设前置系统所包含的预设中间表；
校验单元63，用于基于所述预设中间表，将所述目标校验数据进行实时校验，以得到所述目标校验数据相对应的校验结果。
在一实施例中，所述筛选单元61包括：
第一获取子单元，用于获取所述初始业务数据中所包含的目标增量数据；
第一筛选子单元，用于根据所述目标增量数据，筛选出预设数量的目标增量数据，并将所述预设数量的目标增量数据作为目标校验数据。
在一实施例中，所述筛选单元61包括：
触发子单元，用于根据预设定时任务，定时触发进行业务数据校验的校验指令；
第二筛选子单元，用于根据所述校验指令，从预设后置系统的初始业务数据中，定时筛选出预设数量的初始业务数据，以得到目标校验数据。
在一实施例中，所述筛选单元61，具体用于从预设后置系统的初始业务数据中，并行筛选出多个数据集，每个所述数据集包含预设数量的初始业务数据，以得到相对应的多个目标校验数据集；
所述回流单元62，具体用于将每个所述目标校验数据集回流至预设前置系统所包含的相对应预设中间表。
在一实施例中，所述校验单元63包括：
建立子单元，用于基于所述预设中间表，将所述目标校验数据建立目标索引；
校验子单元，用于根据所述目标索引，将所述目标校验数据进行实时校验，以得到所述目标校验数据相对应的校验结果。
在一实施例中，所述校验单元63包括：
判断子单元，用于判断所述目标校验数据是否为预设无效数据；
标注子单元，用于若所述目标校验数据为预设无效数据，将所述目标校验数据进行标注；
在一实施例中，所述标注子单元，具体用于若所述目标校验数据为预设无效数据，将所述目标校验数据进行删除，并将删除的目标校验数据及将所述目标校验数据进行删除所对应的删除原因进行标注。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述业务数据校验装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
同时，上述业务数据校验装置中各个单元的划分和连接方式仅用于举例说明，在其他实施例中，可将业务数据校验装置按照需要划分为不同的单元，也可将业务数据校验装置中各单元采取不同的连接顺序和方式，以完成上述业务数据校验装置的全部或部分功能。
上述业务数据校验装置可以实现为一种计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。
请参阅图7，图7是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是台式机电脑或者服务器等计算机设备，也可以是其他设备中的组件或者部件。
参阅图7，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504，所述存储器也可以为易失性存储介质。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行一种上述业务数据校验方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种上述业务数据校验方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图7所示实施例一致，在此不再赘述。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：从预设后置系统的初始业务数据中，筛选出预设数量的初始业务数据，以得到目标校验数据；将所述目标校验数据回流至预设前置系统所包含的预设中间表；基于所述预设中间表，将所述目标校验数据进行实时校验，以得到所述目标校验数据相对应的校验结果。
在一实施例中，所述处理器502在实现所述筛选出预设数量的初始业务数据，以得到目标校验数据的步骤时，具体实现以下步骤：
获取所述初始业务数据中所包含的目标增量数据；
根据所述目标增量数据，筛选出预设数量的目标增量数据，并将所述预设数量的目标增量数据作为目标校验数据。
在一实施例中，所述处理器502在实现所述从预设后置系统的初始业务数据中，筛选出预设数量的初始业务数据，以得到目标校验数据的步骤时，具体实现以下步骤：
根据预设定时任务，定时触发进行业务数据校验的校验指令；
根据所述校验指令，从预设后置系统的初始业务数据中，定时筛选出预设数量的初始业务数据，以得到目标校验数据。
在一实施例中，所述处理器502在实现所述从预设后置系统的初始业务数据中，筛选出预设数量的初始业务数据，以得到目标校验数据的步骤时，具体实现以下步骤：
从预设后置系统的初始业务数据中，并行筛选出多个数据集，每个所述数据集包含预设数量的初始业务数据，以得到相对应的多个目标校验数据集；
所述处理器502在实现所述将所述目标校验数据回流至预设前置系统所包含的预设中间表的步骤时，具体实现以下步骤：
将每个所述目标校验数据集回流至预设前置系统所包含的相对应预设中间表。
在一实施例中，所述处理器502在实现所述基于所述预设中间表，将所述目标校验数据进行实时校验，以得到所述目标校验数据相对应的校验结果的步骤时，具体实现以下步骤：
基于所述预设中间表，将所述目标校验数据建立目标索引；
根据所述目标索引，将所述目标校验数据进行实时校验，以得到所述目标校验数据相对应的校验结果。
在一实施例中，所述处理器502在实现所述基于所述预设中间表，将所述目标校验数据进行实时校验，以得到所述目标校验数据相对应的校验结果的步骤时，具体实现以下步骤：
判断所述目标校验数据是否为预设无效数据；
若所述目标校验数据为预设无效数据，将所述目标校验数据进行标注；
在一实施例中，所述处理器502在实现所述若所述目标校验数据为预设无效数据，将所述目标校验数据进行标注的步骤时，具体实现以下步骤：
若所述目标校验数据为预设无效数据，将所述目标校验数据进行删除，并将删除的目标校验数据及将所述目标校验数据进行删除所对应的删除原因进行标注。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来完成，该计算机程序可存储于一计算机可读存储介质。该计算机程序被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本申请还提供一种计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质，也可以为易失性的计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时使处理器执行如下步骤：
一种计算机程序产品，当其在计算机上运行时，使得计算机执行以上各实施例中所描述的所述业务数据校验方法的步骤。
所述计算机可读存储介质可以是前述设备的内部存储单元，例如设备的硬盘或内存。所述计算机可读存储介质也可以是所述设备的外部存储设备，例如所述设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述存储介质为实体的、非瞬时性的存储介质，例如可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储计算机程序的实体存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本申请实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，终端，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
以上所述，仅为本申请的具体实施方式，但本申请明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种业务数据校验方法，其特征在于，包括：
从预设后置系统的初始业务数据中，筛选出预设数量的初始业务数据，以得到目标校验数据；
将所述目标校验数据回流至预设前置系统所包含的预设中间表；
基于所述预设中间表，将所述目标校验数据进行实时校验，以得到所述目标校验数据相对应的校验结果。
2.根据权利要求1所述业务数据校验方法，其特征在于，所述筛选出预设数量的初始业务数据，以得到目标校验数据的步骤包括：
获取所述初始业务数据中所包含的目标增量数据；
根据所述目标增量数据，筛选出预设数量的目标增量数据，并将所述预设数量的目标增量数据作为目标校验数据。
3.根据权利要求1所述业务数据校验方法，其特征在于，所述从预设后置系统的初始业务数据中，筛选出预设数量的初始业务数据，以得到目标校验数据的步骤包括：
根据预设定时任务，定时触发进行业务数据校验的校验指令；
根据所述校验指令，从预设后置系统的初始业务数据中，定时筛选出预设数量的初始业务数据，以得到目标校验数据。
4.根据权利要求1所述业务数据校验方法，其特征在于，所述从预设后置系统的初始业务数据中，筛选出预设数量的初始业务数据，以得到目标校验数据的步骤包括：
从预设后置系统的初始业务数据中，并行筛选出多个数据集，每个所述数据集包含预设数量的初始业务数据，以得到相对应的多个目标校验数据集；
所述将所述目标校验数据回流至预设前置系统所包含的预设中间表的步骤包括：
将每个所述目标校验数据集回流至预设前置系统所包含的相对应预设中间表。
5.根据权利要求1所述业务数据校验方法，其特征在于，所述基于所述预设中间表，将所述目标校验数据进行实时校验，以得到所述目标校验数据相对应的校验结果的步骤包括：
基于所述预设中间表，将所述目标校验数据建立目标索引；
根据所述目标索引，将所述目标校验数据进行实时校验，以得到所述目标校验数据相对应的校验结果。
6.根据权利要求1所述业务数据校验方法，其特征在于，所述基于所述预设中间表，将所述目标校验数据进行实时校验，以得到所述目标校验数据相对应的校验结果的步骤包括：
判断所述目标校验数据是否为预设无效数据；
若所述目标校验数据为预设无效数据，将所述目标校验数据进行标注。
7.根据权利要求6所述业务数据校验方法，其特征在于，所述若所述目标校验数据为预设无效数据，将所述目标校验数据进行标注的步骤包括：
若所述目标校验数据为预设无效数据，将所述目标校验数据进行删除，并将删除的目标校验数据及将所述目标校验数据进行删除所对应的删除原因进行标注。
8.一种业务数据校验装置，其特征在于，包括：
筛选单元，用于从预设后置系统的初始业务数据中，筛选出预设数量的初始业务数据，以得到目标校验数据；
回流单元，用于将所述目标校验数据回流至预设前置系统所包含的预设中间表；
校验单元，用于基于所述预设中间表，将所述目标校验数据进行实时校验，以得到所述目标校验数据相对应的校验结果。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器以及与所述存储器相连的处理器；所述存储器用于存储计算机程序；所述处理器用于运行所述计算机程序，以执行如权利要求1-7任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110089962.9A CN112800040B (zh) | 2021-01-22 | 2021-01-22 | 业务数据校验方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110089962.9A CN112800040B (zh) | 2021-01-22 | 2021-01-22 | 业务数据校验方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112800040A true CN112800040A (zh) | 2021-05-14 |
| CN112800040B CN112800040B (zh) | 2024-02-06 |
Family
ID=75811274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110089962.9A Active CN112800040B (zh) | 2021-01-22 | 2021-01-22 | 业务数据校验方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112800040B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117435630A (zh) * | 2023-12-21 | 2024-01-23 | 杭银消费金融股份有限公司 | 一种基于规则前置的数据校验方法与系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016034061A1 (zh) * | 2014-09-01 | 2016-03-10 | 国家电网公司 | 一种基于数据包的移动数据同步冲突预处理与消解方法 |
| CN109359939A (zh) * | 2018-09-26 | 2019-02-19 | 中国平安人寿保险股份有限公司 | 业务数据校验方法、装置、计算机设备和存储介质 |
| CN110309160A (zh) * | 2019-05-22 | 2019-10-08 | 平安科技（深圳）有限公司 | 数据入链事务处理方法、装置、计算机设备及存储介质 |
| CN112199355A (zh) * | 2020-12-09 | 2021-01-08 | 北京易真学思教育科技有限公司 | 数据迁移方法、装置、电子设备及存储介质 |
| WO2021003968A1 (zh) * | 2019-07-09 | 2021-01-14 | 深圳壹账通智能科技有限公司 | 数据核对方法、装置、计算机设备和存储介质 |
-
2021
- 2021-01-22 CN CN202110089962.9A patent/CN112800040B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016034061A1 (zh) * | 2014-09-01 | 2016-03-10 | 国家电网公司 | 一种基于数据包的移动数据同步冲突预处理与消解方法 |
| CN109359939A (zh) * | 2018-09-26 | 2019-02-19 | 中国平安人寿保险股份有限公司 | 业务数据校验方法、装置、计算机设备和存储介质 |
| CN110309160A (zh) * | 2019-05-22 | 2019-10-08 | 平安科技（深圳）有限公司 | 数据入链事务处理方法、装置、计算机设备及存储介质 |
| WO2020232885A1 (zh) * | 2019-05-22 | 2020-11-26 | 平安科技（深圳）有限公司 | 数据入链事务处理方法、装置、计算机设备及存储介质 |
| WO2021003968A1 (zh) * | 2019-07-09 | 2021-01-14 | 深圳壹账通智能科技有限公司 | 数据核对方法、装置、计算机设备和存储介质 |
| CN112199355A (zh) * | 2020-12-09 | 2021-01-08 | 北京易真学思教育科技有限公司 | 数据迁移方法、装置、电子设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117435630A (zh) * | 2023-12-21 | 2024-01-23 | 杭银消费金融股份有限公司 | 一种基于规则前置的数据校验方法与系统 |
| CN117435630B (zh) * | 2023-12-21 | 2024-03-29 | 杭银消费金融股份有限公司 | 一种基于规则前置的数据校验方法与系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112800040B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11178029B2 (en) | Systems and methods of specifying service level criteria | |
| CN110399380B (zh) | 一种数据处理方法、电子装置及存储介质 | |
| CN111447150A (zh) | 访问请求限流方法、服务器及存储介质 | |
| JP2020161147A (ja) | データ品質分析 | |
| CN107798031B (zh) | 保单信息查询方法和装置 | |
| CN110445828A (zh) | 一种基于Redis的数据分布式处理方法及其相关设备 | |
| CN114757639A (zh) | 数据处理方法、装置、设备和存储介质 | |
| CN110191097B (zh) | 登录页面安全性的检测方法、系统、设备及存储介质 | |
| CN112860808A (zh) | 基于数据标签的用户画像分析方法、装置、介质和设备 | |
| CN108073707B (zh) | 金融业务数据更新方法、装置及计算机可读取存储介质 | |
| CN112800040A (zh) | 业务数据校验方法、装置、计算机设备及存储介质 | |
| CN111159183B (zh) | 报表生成方法、电子装置及计算机可读存储介质 | |
| CN113407525B (zh) | K线数据检查方法、装置、计算机设备及可读存储介质 | |
| CN108805725B (zh) | 风险事件确认方法、服务器及计算机可读存储介质 | |
| CN112084262A (zh) | 数据信息筛选方法、装置、计算机设备及存储介质 | |
| CN106708869B (zh) | 一种群组数据处理的方法及装置 | |
| CN111553803A (zh) | 理赔处理方法和装置 | |
| CN111131393B (zh) | 用户活跃度数据统计方法、电子装置及存储介质 | |
| CN114721945A (zh) | 基于图数据库的分配方法及其装置、电子设备及存储介质 | |
| CN111640005A (zh) | 数据分析方法、装置、计算机设备及存储介质 | |
| CN111356097A (zh) | 一种短信解析方法、装置以及可读存储介质 | |
| CN108881591A (zh) | 一种多平台信息推荐方法、装置及存储介质 | |
| CN113342861B (zh) | 业务场景下数据治理方法及装置 | |
| CN116382924B (zh) | 资源配置的推荐方法、装置、电子设备及存储介质 | |
| CN110602737B (zh) | 区域性拆迁识别方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |