CN113220777A - 业务数据处理方法、装置、计算机设备及存储介质 - Google Patents

业务数据处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113220777A
CN113220777A CN202110268912.7A CN202110268912A CN113220777A CN 113220777 A CN113220777 A CN 113220777A CN 202110268912 A CN202110268912 A CN 202110268912A CN 113220777 A CN113220777 A CN 113220777A
Authority
CN
China
Prior art keywords
data
business
financial
issued
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110268912.7A
Other languages
English (en)
Other versions
CN113220777B (zh
Inventor
罗裕崇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Property and Casualty Insurance Company of China Ltd
Original Assignee
Ping An Property and Casualty Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Property and Casualty Insurance Company of China Ltd filed Critical Ping An Property and Casualty Insurance Company of China Ltd
Priority to CN202110268912.7A priority Critical patent/CN113220777B/zh
Publication of CN113220777A publication Critical patent/CN113220777A/zh
Application granted granted Critical
Publication of CN113220777B publication Critical patent/CN113220777B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本发明涉及大数据技术领域，尤其涉及一种业务数据处理方法、装置、设备及存储介质。该业务数据处理方法包括获取过去第一预设时间段内原始业务数据以及目标财务数据；对原始业务数据中的待转换数据进行打批汇总处理，得到汇总数据；去除原始业务数据中的待转换数据，得到待下发数据；合并汇总数据和待下发数据,得到模拟业务数据；判断模拟业务数据和目标财务数据中是否存在比对异常的差异数据；若模拟业务数据和目标财务数据比对异常，则校验失败，将校验失败的结果返回至财务系统，该方法可有效避免由于业务系统端下发异常或者业务系统和财务系统两端的数据不一致的问题。本发明还涉及区块链技术领域，目标财务数据还可进一步存储至区块链中。

Description

业务数据处理方法、装置、计算机设备及存储介质
技术领域
本发明涉及大数据技术领域，尤其涉及一种业务数据处理方法、装置、计算机设备及存储介质。
背景技术
目前，业务系统所产生的业务数据(如保单数据)需要下发给财务系统，以便财务系统针对上述业务数据制作财务报表。但是，业务系统下发业务数据到财务系统的过程中会出现漏下发或者下发错误等现象，导致业务系统的业务数据和财务系统的财务数据不一致，从而造成财务系统后续的会计核算过程以及财务报表制作的不准确性。
发明内容
本发明实施例提供一种业务数据处理方法、装置、计算机设备及存储介质，以解决业务系统下发业务数据到财务系统的过程中会出现漏下发或者下发错误等现象，导致财务系统后续的会计核算过程以及财务报表制作不准确的问题。
一种业务数据处理方法，包括：
从大数据平台中获取过去第一预设时间段内全量的原始业务数据以及目标财务数据；
通过模拟执行业务系统下发业务数据至财务系统的下发任务，对所述原始业务数据中的待转换数据进行打批汇总处理，得到汇总数据；其中，所述待转换数据为不需要下发至所述财务系统的原始业务数据；以及，
对所述原始业务数据进行过滤处理，去除所述原始业务数据中的待转换数据，得到过滤后的不需要打批汇总的待下发数据；其中，所述待下发数据为需要下发至所述财务系统的原始业务数据；
合并所述汇总数据和所述待下发数据,得到全量的需要下发至财务系统的模拟业务数据；
基于所述模拟业务数据对所述目标财务数据的准确性进行校验，判断所述模拟业务数据和所述目标财务数据中是否存在比对异常的差异数据；
若存在，则确定所述目标财务数据校验失败，并将所述目标财务数据校验失败的结果返回至所述财务系统。
一种业务数据处理装置，包括：
数据获取模块，用于从大数据平台中获取过去第一预设时间段内全量的原始业务数据以及目标财务数据；
打批汇总模块，用于通过模拟执行业务系统下发业务数据至财务系统的下发任务，对所述原始业务数据中的待转换数据进行打批汇总处理，得到汇总数据；其中，所述待转换数据为不需要下发至所述财务系统的原始业务数据；以及，
过滤模块，用于对所述原始业务数据进行过滤处理，去除所述原始业务数据中的待转换数据，得到过滤后的不需要打批汇总的待下发数据；其中，所述待下发数据为需要下发至所述财务系统的原始业务数据；
合并模块，用于合并所述汇总数据和所述待下发数据,得到全量的需要下发至财务系统的模拟业务数据；
数据校验模块，用于基于所述模拟业务数据对所述目标财务数据的准确性进行校验，判断所述模拟业务数据和所述目标财务数据中是否存在比对异常的差异数据；
校验结果返回模块，用于若存在，则确定所述目标财务数据校验失败，并将所述目标财务数据校验失败的结果返回至所述财务系统。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述业务数据处理方法的步骤。
一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述业务数据处理方法的步骤。
上述业务数据处理方法、装置、计算机设备及存储介质中，在财务系统针对业务系统下发的业务数据进行核算得到财务数据后，通过从大数据平台中获取过去第一预设时间段内全量的原始业务数据以及目标财务数据，以模拟执行业务系统下发业务数据至财务系统的下发任务，得到模拟业务数据，再通过对比模拟业务数据以及目标财务数据，以对财务数据的准确性进行核对校验，得到校验结果并返回至财务系统，避免由于业务系统端下发异常或者财务系统端人工手动修改数据，导致业务系统和财务系统两端的数据不一致的问题，保证后续财务系统基于该财务数据进行其他业务过程的准确性。此外，通过进一步优化下发逻辑，即对原始业务数据中的待转换数据进行打批汇总处理，得到汇总数据，无需每一原始业务数据都执行下发逻辑，提高下发任务的执行效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中业务数据处理方法的一应用环境示意图；
图2是本发明一实施例中业务数据处理方法的一流程图；
图3是图2中步骤S205的一具体流程图；
图4是图2中步骤S202的一具体流程图；
图5是图4中步骤S402的一具体流程图；
图6是本发明一实施例中业务数据处理方法的一流程图；
图7是本发明一实施例中业务数据处理方法的一流程图；
图8是本发明一实施例中业务数据处理方法的一流程图；
图9是本发明一实施例中业务数据处理装置的一示意图；
图10是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
该业务数据处理方法可应用在如图1的应用环境中，其中，计算机设备通过网络与服务器进行通信。计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器来实现。
在一实施例中，如图2所示，提供一种业务数据处理方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：
S201：从大数据平台中获取过去第一预设时间段内全量的原始业务数据以及目标财务数据。
其中，本方法可在业务系统下发业务数据给财务系统后，通过模拟执行放下发逻辑，得到模拟业务数据，以通过对模拟业务数据以及财务系统财务数据进行核对校验，以避免由于业务系统端下发异常或者财务系统端人工手动修改数据，导致业务系统和财务系统两端的数据不一致的问题，保证后续财务系统基于该财务数据进行其他业务过程的准确性。为进一步了解技术方案，以下以本方法应用在保险领域进行说明。
其中，业务系统可指出单系统和批改系统。目标财务数据为实际已下发至财务系统并结算的财务数据。的由于业务数据量较大且动态变化，故为保证数据核对的效率以及准确性，本实施例是采集过去第一预设时间段内的财务系统全量的财务数据以及业务系统全量的原始业务数据。该第一预设时间段。该第一预设时间段可根据实际情况进行自定义设置，本实施例中由于同步采集批改系统中的数据，会出现某业务数据不断变化的，但由于出现漏发或未及时下发的情况，导致财务数据与业务数据不一致，故为进一步保证最终输出的差异数据(业务数据/财务数据)的准确性，故需要采集过去的全量数据，即该第一预设时间段为本年度的1月1日至当前时间的前一天所形成的时间区间，例如，当前时间为2020年12月4日，则采集2020年1月1日-2020年12月3日的期间的全量数据。
具体地，由于目前各个业务系统的数据处在不同类型的数据库中，在传统的关系型数据库进行业财数据核对时，需要将不同类型的数据库的数据整合在一起，实现起来较为困难繁琐，故本实施例规避掉传统数据库的缺点，利用大数据平台，将不同数据库的业务数据以及财务数据同步至大数据端，实现了不同数据库数据的整合。此外，现有的业务系统监控是基于中心库表数据与财务系统的数据进行核对，但是，业务系统在同步保单数据至中心库的过程中可能由于某种原因，导致保单漏同步中心库的问题。上述基于中心库的业财核对是无法保证每一业务系统都可及时地发现未下发保单，同时，也发现不了财务系统有而业务系统没有的差异数据。故本实施例通过将各业务系统数据整合以及财务系统的财务数据存储至大数据平台，以便后续核对出财有业无的差异数据。
需要强调的是，为进一步保证上述目标财务数据的私密和安全性，上述目标财务数据还可以存储于一区块链的节点中。
S202：通过模拟执行业务系统下发业务数据至财务系统的下发任务，对原始业务数据中的待转换数据进行打批汇总处理，得到汇总数据；其中，待转换数据为不需要下发至财务系统的原始业务数据；以及，
其中，由于保单数据量庞大，如果每一单都下发财务，则对系统性能以及数据库的存储空间都具有较高的要求，且会造成任务运行时间长，故本实施例在出单时，会对业务数据中的待转换数据进行打批汇总处理，得到打批数据，再将打批后的数据下发至财务系统。
示例性地，本实施例在出单时，会将部分数量较多且金额较小的小保单(即待转换数据)打批成一个大金额的大保单即打批数据，然后再将大保单下发至财务系统，以提高下发效率。
S203：对原始业务数据进行过滤处理，去除原始业务数据中的待转换数据，得到过滤后的不需要打批汇总的待下发数据；其中，待下发数据为需要下发至财务系统的原始业务数据。
其中，由于业务数据中的待转换数据是不需要下发至财务系统的，故需要过滤掉该业务数据中的待转换数据，得到过滤后的不需要打批汇总的待下发数据(例如大金额保单)，以保证业务数据中需要下发至财务系统的数据全量下发，避免出现漏发的情况。
可以理解地是，由于业务数据此时仍包括待转换数据和不需要打批汇总的待下发数据，故此时业务数据是无法下发至财务系统的，故需要对业务数据进行过滤处理，去除业务数据中的待转换数据，得到过滤后的不需要打批汇总的待下发数据，从而保证业务数据中需要下发至财务系统的数据全量下发，避免出现漏发的情况。
S204：合并汇总数据和待下发数据,得到全量的需要下发至财务系统的模拟业务数据。
具体地，通过将打批数据和待下发数据合并,即可得到模拟业务数据据，该模拟业务数据据即为最终需要下发至财务系统的业务数据。需要说明的是，步骤S202-S204实质是模拟业务系统下发业务数据给财务系统的执行逻辑，得到需要下发至财务系统的模拟业务数据据，以便后续比对模拟业务数据据和财务系统当前的财务数据是否一致。
S205：基于模拟业务数据对目标财务数据的准确性进行校验，判断模拟业务数据和目标财务数据中是否存在比对异常的差异数据。
具体地，通过对比模拟业务数据与目标财务数据，以对目标财务数据的准确性校验，分析差异数据。
本实施例中，在判断模拟业务数据据和财务数据中是否存在比对异常的差异数据时，可按照包括但不限于如下几种差异类型进行对比：1)业有财无：业务系统中存储的业务数据在财务系统中不存在；2)财有业无：财务系统中核算的财务数据在业务系统中不存在；3)业财金额不一致：业务系统中的保单金额与财务系统中的保单金额不一致(由于本实施例中是对财务数据进行核对，故此处需重点关注保单金额的部分，在其他应用场景下可适应性设置，此处不做限定)。
S206：若存在，则确定目标财务数据校验失败，并将目标财务数据校验失败的结果返回至财务系统。
具体地，若根据上述比对策略，若确定存在比对异常的差异数据，则认为目标财务数据的校验失败，并将目标财务数据校验失败的结果返回至财务系统，以及时提醒业务人员跟进异常点。
本实施例中，在财务系统针对业务系统下发的业务数据进行核算得到财务数据后，通过从大数据平台中获取过去第一预设时间段内全量的原始业务数据以及目标财务数据，以模拟执行业务系统下发业务数据至财务系统的下发任务，得到模拟业务数据，再通过对比模拟业务数据以及目标财务数据，以对财务数据的准确性进行核对校验，得到校验结果并返回至财务系统，避免由于业务系统端下发异常或者财务系统端人工手动修改数据，导致业务系统和财务系统两端的数据不一致的问题，保证后续财务系统基于该财务数据进行其他业务过程的准确性。此外，通过进一步优化下发逻辑，即对原始业务数据中的待转换数据进行打批汇总处理，得到汇总数据，无需每一原始业务数据都执行下发逻辑，提高下发任务的执行效率。
在一实施例中，如图3所示，步骤205中，即判断模拟业务数据和目标财务数据中是否存在比对异常的差异数据，具体包括如下步骤：
S301：若某一业务数据在模拟业务数据中存在，且在目标财务数据中不存在时，则确定存在差异数据。
S302：若某一业务数据在目标财务数据中存在，且在模拟业务数据中不存在，则将业务数据作为差异数据。
S303：若相同的业务数据在模拟业务数据中与在目标财务数据中的属性值不同，则将业务数据作为差异数据。
S304：将差异数据同步至业务系统和财务系统。
本实施例中，在对比模拟业务数据据和财务数据时，可按照包括但不限于如下几种差异类型进行对比：1)业有财无：业务系统中存储的保单在财务系统中不存在；2)财有业无：财务系统中核算的保单在业务系统中不存在；3)业财金额不一致：业务系统中的保单金额与财务系统中的保单金额不一致(由于本实施例中是对财务数据进行核对，故此处需重点关注保单金额的部分，在其他应用场景下可适应性设置，此处不做限定)。
进一步地，由于对比数据量较大，于本实施例的应用场景下，可单独按照对比保单标识这一维度进行对比，例如财务数据中存在保单标识为0001的保单，通过判断该保单标识在业务数据是否存在；或者业务数据中存在保单标识为0002的保单，通过判断该保单标识在财务数据中是否存在，即可确定是否存在业有财无或财有业无这两种差异类型的差异数据，若两个系统均存在，则可进一步判断该保单标识在业务系数据中对应的保单金额与在财务数据中的保单金额是否一致，以有效避免传统基于中心库的数据核对，只能监控到下发失败的保单，对于后续手工修改错误等原因导致业务保单金额和财务保单金额不一致的情况无法监控到的问题。
具体地，以该业务数据为保单数据为例，通过将模拟业务数据中的每一条保单数据的保单标识与财务数据进行双向对比，若出现模拟业务数据中存在且在财务数据中不存在的业务数据，则将其作为差异数据；若出现在财务数据中存在且在模拟业务数据中不存在的业务数据，则将其作为差异数据记录；若出现相同业务数据在模拟业务数据和财务数据中的属性值(例如保单金额)不同，则将其作为差异数据。
在一实施例中，如图4所示，该步骤S202中，即对原始业务数据中的待转换数据进行打批汇总处理，得到汇总数据，具体包括如下步骤：
S401：按照预设打批维度对待转换数据进行批次划分，得到多个批次的待处理数据。
S402：对每一批次的待处理数据进行汇总处理，得到汇总数据。
其中，预设打批维度包括但不限于机构、出单时间以及业务类型等等。该业务类型包括但不限于个非车的小金额保单打批、互联网小金额保单、赠险类型保单下发添加赠险类型、自助卡保单以及常规保单(不需要进行额外处理)等等。
具体地，通过按照上述预设打批维度中的一个或多个，对待转换数据进行批次划分，以得到多个批次的待处理数据，然后对每一批次的待处理数据进行打批汇总处理，实现对多批次的待处理数据并行转换的目的，从而提高转换效率。
在一实施例中，如图5所示，待处理数据包括保单标识和保单状态；步骤S402中，即每一批次的待处理数据进行汇总处理，得到汇总数据，具体包括如下步骤：
S501：对待处理数据进行过滤处理，获取保单状态为非注销状态的目标处理数据。
其中，对于保单状态处于注销状态的待处理数据，由于其为注销状态，故在财务结算时，不需要对该部分保单数据进行核算。
S502：调用聚合函数对目标处理数据进行聚合处理，以去除重复的保单标识，得到每一批次对应的纯净数据；其中，纯净数据至少包括金额字段。
具体地，由于同一批次的待转换的小金额保单对应的打批单号相同，故需要去除重复的保单标识，合并为一个打批单号进行标识。此外，由于保单状态包括承保、注销等，对于注销状态的保单则需要过滤，即不需要下发该保单数据至财务系统进行核算。
S503：对每一批次的纯净数据中的金额字段的属性值进行汇总处理，得到每一批次对应的汇总数据。
具体地，由于本实施例中的业财核对重点关注保单金额等数据，故此处需要汇总每一批次的纯净数据中的金额字段的属性值，得到每一批次对应的打批数据，即将多个批次的小金额保单合并为对应的大金额保单。
其中，聚合函数可采用group by函数实现对保单标识的聚合处理，去除重复的保单标识，并将聚合后的纯净数据与该批次对应的批次标识关联。
示例性地，存在如下待处理数据：
互联网小保单标识00001，状态是承保，金额3元，批次标识为P00112；
互联网小保单标识00002，状态是承保，金额2元，批次标识为P00112；
互联网小保单标识00156，状态是注销，金额10元，批次标识为P00242；
互联网小保单标识00116，状态是承保，金额8元，批次标识为P00242；
由于00156是已注销的，故该保单数据会被过滤不进行汇总，此时得到承保状态的保单即00001、00002和00116，然后对同一批次(即打批单号相同)的保单的保单标识以及保单金额汇总去重，得到汇总数据即批次标识P00112，汇总金额为5元；以及批次标识P00242，汇总金额为8元。
在一实施例中，如图6所示，该方法还包括如下步骤：
S601：对差异数据进行划分，确定差异数据的差异类型，并根据差异类型对差异数据进行标注。
S602：将标注有差异类型的差异数据同步至业务系统和财务系统。
其中，对差异数据进行划分，确定差异数据的差异类型，以便根据差异类型对差异数据进行标注，即对于模拟业务数据据中存在且在财务数据中不存在的差异数据标记为业有财务，对于在财务数据中存在且在模拟业务数据据中不存在的差异数据标记为财有业无，对于同业务数据(如相同保单标识)在模拟业务数据据和财务数据中的属性值不同的差异数据标记为业财金额不一致，通过将标注有差异类型的差异数据同步至上游系统，以便开发人员或业务人员直观确认该差异类型，从而进行针对性处理。进一步地，还可在将差异数据同步至上游系统(业务系统和财务系统)后，邮件通知开发人员，以便开发人员及时跟进。
可以理解地是，业务系统在对该算法所发现的差异数据的处理与迭代中，同时也会发现自身系统存在的相关缺陷并进行整改优化，提升自身系统的鲁棒性和可用性。
在一实施例中，如图7所示，步骤S201之前，该方法还包括如下步骤：
S701：配置定时任务；其中，定时任务对应一定时时间。
S702：根据定时任务，在系统当前时间为定时时间时，执行步骤S201-S206。
具体地，由于财务数据在每月月底进行汇总，若出现业财核对不一致且得不到及时处理的情况，会造成产品线保费收入情况的描述不准确，还需要重新制作财务报表，耗费人力，故本实施例中通过在每日定时执行步骤S201-S206，即采集当前时间之前的财务数据以及业务数据进行核对，每日得到全量的差异数据，以确保每月月底的差异数据可及时处理。
在一实施例中，如图8所示，步骤S701之后，该方法还包括如下步骤：
S801：获取过去第二预设时间段内的实际下发任务的任务完成时间。
S802：在任务完成时间大于定时时间时，根据任务完成时间，动态调整定时时间。
其中，第二预设时间段可为24小时，可根据实际需要设定，此处不做限定。此处的下发任务指下发在过去24小时之内的业务数据至财务系统的任务，例如当前时间为2020年12月25日，则可监控2020年12月24日的业务数据是否完成下发至财务系统的任务，并记录最终完成时间。
可以理解地是，由于每个系统对应不同的产品(比如车险，个人非车险，团体财产险等)，不同的产品的下发任务的执行逻辑不同。比如，对于见费出单，其对应的下发任务的执行逻辑为，用户缴费后，经核保生成保单标识，并异步下发至财务系统；对于非见费出单，在客户提交投保单后，投保单即下发至财务系统，(此时未生成保单标识)，经缴费保后，出单承保，然后再下发包含保单标识的保单至财务系统，因此，由于不同下发任务的下发逻辑不同，有可能出现当前时间之前下发任务的最终完成时间(最晚完成时间)有可能会晚于当日的核算任务的定时时间，故为保证核算任务的有效执行，本实施例中通过获取业务系统完成下发业务数据给财务系统的任务完成时间，以便在任务完成时间大于定时时间时，根据任务完成时间，动态调整定时时间，例如在原来的定时时间的基础上延长一定单位时间。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种业务数据处理装置，该业务数据处理装置与上述实施例中业务数据处理方法一一对应。如图9所示，该业务数据处理装置包括数据获取模块10、打批汇总模块20、过滤模块30、合并模块40、数据校验模块50和校验结果返回模块60。各功能模块详细说明如下：
数据获取模块10，用于从大数据平台中获取过去第一预设时间段内全量的原始业务数据以及目标财务数据。
打批汇总模块20，用于通过模拟执行业务系统下发业务数据至财务系统的下发任务，对原始业务数据中的待转换数据进行打批汇总处理，得到汇总数据；其中，待转换数据为不需要下发至财务系统的原始业务数据；以及，
过滤模块30，用于对原始业务数据进行过滤处理，去除原始业务数据中的待转换数据，得到过滤后的不需要打批汇总的待下发数据；其中，待下发数据为需要下发至财务系统的原始业务数据。
合并模块40，用于合并汇总数据和待下发数据,得到全量的需要下发至财务系统的模拟业务数据。
数据校验模块50，用于用于基于模拟业务数据对目标财务数据的准确性进行校验，判断模拟业务数据和目标财务数据中是否存在比对异常的差异数据。
校验结果返回模块60，用于若存在，则确定目标财务数据校验失败，并将目标财务数据校验失败的结果返回至财务系统。
具体地，数据校验模块包括第一校验单元、第二校验单元、第三校验单元以及差异数据同步单元。
第一校验单元，用于若某一业务数据在模拟业务数据中存在，且在目标财务数据中不存在时，则将业务数据作为差异数据。
第二校验单元，用于若某一业务数据在目标财务数据中存在，且在模拟业务数据中不存在，则将业务数据作为差异数据。
第三校验单元，用于若相同的业务数据在模拟业务数据中与在目标财务数据中的属性值不同，则将业务数据作为差异数据。
差异数据同步单元，用于将差异数据同步至业务系统和财务系统。
具体地，打批汇总模块包括批次划分单元和汇总单元。
批次划分单元，用于按照预设打批维度对待转换数据进行批次划分，得到多个批次的待处理数据。
汇总单元，用于对每一批次的待处理数据进行汇总处理，得到汇总数据。
具体地，待处理数据包括保单标识和保单状态；汇总单元包括过滤子单元、聚合子单元以及汇总子单元。
过滤子单元，用于对待处理数据进行过滤处理，获取保单状态为非注销状态的目标处理数据。
聚合子单元，用于调用聚合函数对目标处理数据进行聚合处理，以去除重复的保单标识，得到每一批次对应的纯净数据；其中，纯净数据至少包括金额字段。
汇总子单元，用于对每一批次的纯净数据中的金额字段的属性值进行汇总处理，得到每一批次对应的汇总数据。
具体地，该业务处理装置还包括差异数据划分模块和数据同步模块。
差异数据划分模块，用于对差异数据进行划分，确定差异数据的差异类型，并根据差异类型对差异数据进行标注。
数据同步模块，用于将标注有差异类型的差异数据同步至业务系统和财务系统。
具体地，该业务处理装置还包括任务配置模块和定时任务执行模块。
任务配置模块，用于配置定时任务；其中，定时任务对应一定时时间。
定时任务执行模块，用于根据定时任务，在系统当前时间为定时时间时，执行从大数据平台中获取过去第一预设时间段内全量的原始业务数据以及目标财务数据的步骤。
具体地，该业务处理装置还包括任务完成时间获取模块和定时时间动态调整模块。
任务完成时间获取模块，用于获取过去第二预设时间段内的实际下发任务的任务完成时间。
定时时间动态调整模块，用于在任务完成时间大于定时时间时，根据任务完成时间，动态调整定时时间。
关于业务数据处理装置的具体限定可以参见上文中对于业务数据处理方法的限定，在此不再赘述。上述业务数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括计算机存储介质、内存储器。该计算机存储介质存储有操作系统、计算机程序和数据库。该内存储器为计算机存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储执行业务数据处理方法过程中生成或获取的数据，如目标页面。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种业务数据处理方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中的业务数据处理方法的步骤，例如图2所示的步骤S201-S206，或者图3至图8中所示的步骤。或者，处理器执行计算机程序时实现业务数据处理装置这一实施例中的各模块/单元的功能，例如图9所示的各模块/单元的功能，为避免重复，这里不再赘述。
在一实施例中，提供一计算机存储介质，该计算机存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中业务数据处理方法的步骤，例如图2所示的步骤S201-S206，或者图3至图8中所示的步骤，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现上述业务数据处理装置这一实施例中的各模块/单元的功能，例如图9所示的各模块/单元的功能，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种业务数据处理方法，其特征在于，包括：
从大数据平台中获取过去第一预设时间段内全量的原始业务数据以及目标财务数据；
通过模拟执行业务系统下发业务数据至财务系统的下发任务，对所述原始业务数据中的待转换数据进行打批汇总处理，得到汇总数据；其中，所述待转换数据为不需要下发至所述财务系统的原始业务数据；以及，
对所述原始业务数据进行过滤处理，去除所述原始业务数据中的待转换数据，得到过滤后的不需要打批汇总的待下发数据；其中，所述待下发数据为需要下发至所述财务系统的原始业务数据；
合并所述汇总数据和所述待下发数据,得到全量的需要下发至财务系统的模拟业务数据；
基于所述模拟业务数据对所述目标财务数据的准确性进行校验，判断所述模拟业务数据和所述目标财务数据中是否存在比对异常的差异数据；
若存在，则确定所述目标财务数据校验失败，并将所述目标财务数据校验失败的结果返回至所述财务系统。
2.如权利要求1所述业务数据处理方法，其特征在于，所述判断所述模拟业务数据和所述目标财务数据中是否存在比对异常的差异数据，包括；
若某一业务数据在所述模拟业务数据中存在，且在所述所述目标财务数据中不存在时，则将所述业务数据作为所述差异数据；
若某一业务数据在所述目标财务数据中存在，且在所述模拟业务数据中不存在，则将所述业务数据作为所述差异数据；
若相同的业务数据在所述模拟业务数据中与在所述目标财务数据中的属性值不同，则将所述业务数据作为所述差异数据；
在所述将所述目标财务数据校验失败的结果返回至所述财务系统之后，所述业务数据处理方法还包括：将所述差异数据同步至所述业务系统和财务系统。
3.如权利要求1所述业务数据处理方法，其特征在于，所述对所述业务数据中的待转换数据进行打批汇总处理，得到打批后的汇总数据，包括；
按照预设打批维度对所述待转换数据进行批次划分，得到多个批次的待处理数据；
对每一批次的所述待处理数据进行汇总处理，得到所述汇总数据。
4.如权利要求3所述业务数据处理方法，其特征在于，所述待处理数据包括保单标识和保单状态；所述对每一批次的所述待处理数据进行汇总处理，得到所述汇总数据，包括：
对所述待处理数据进行过滤处理，获取所述保单状态为非注销状态的目标处理数据；
调用聚合函数对所述目标处理数据进行聚合处理，以去除重复的保单标识，得到每一批次对应的纯净数据；其中，所述纯净数据至少包括金额字段；
对每一批次的纯净数据中的金额字段的属性值进行汇总处理，得到每一批次对应的汇总数据。
5.如权利要求2所述业务数据处理方法，其特征在于，在所述将所述差异数据同步至所述业务系统和财务系统之前，所述业务数据处理方法还包括：
对所述差异数据进行划分，确定所述差异数据的差异类型，并根据所述差异类型对所述差异数据进行标注；
所述将所述差异数据同步至所述业务系统和财务系统，包括：
将标注有差异类型的差异数据同步至所述业务系统和财务系统。
6.如权利要求1所述业务数据处理方法，其特征在于，在所述从大数据平台中获取过去第一预设时间段内全量的原始业务数据以及目标财务数据之前，所述业务数据处理方法还包括：
配置定时任务；其中，所述定时任务对应一定时时间；
根据所述定时任务，在系统当前时间为所述定时时间时，执行所述从大数据平台中获取过去第一预设时间段内全量的原始业务数据以及目标财务数据的步骤。
7.如权利要求6所述业务数据处理方法，其特征在于，在所述配置定时任务之后，所述业务数据处理方法还包括：
获取过去第二预设时间段内的实际下发任务的任务完成时间；
在所述任务完成时间大于所述定时时间时，根据所述任务完成时间，动态调整所述定时时间。
8.一种业务数据处理装置，其特征在于，包括：
数据获取模块，用于从大数据平台中获取过去第一预设时间段内全量的原始业务数据以及目标财务数据；
打批汇总模块，用于通过模拟执行业务系统下发业务数据至财务系统的下发任务，对所述原始业务数据中的待转换数据进行打批汇总处理，得到汇总数据；其中，所述待转换数据为不需要下发至所述财务系统的原始业务数据；以及，
过滤模块，用于对所述原始业务数据进行过滤处理，去除所述原始业务数据中的待转换数据，得到过滤后的不需要打批汇总的待下发数据；其中，所述待下发数据为需要下发至所述财务系统的原始业务数据；
合并模块，用于合并所述汇总数据和所述待下发数据,得到全量的需要下发至财务系统的模拟业务数据；
数据校验模块，用于基于所述模拟业务数据对所述目标财务数据的准确性进行校验，判断所述模拟业务数据和所述目标财务数据中是否存在比对异常的差异数据；
校验结果返回模块，用于若存在，则确定所述目标财务数据校验失败，并将所述目标财务数据校验失败的结果返回至所述财务系统。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述业务数据处理方法的步骤。
10.一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述业务数据处理方法的步骤。
CN202110268912.7A 2021-03-12 2021-03-12 业务数据处理方法、装置、计算机设备及存储介质 Active CN113220777B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110268912.7A CN113220777B (zh) 2021-03-12 2021-03-12 业务数据处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110268912.7A CN113220777B (zh) 2021-03-12 2021-03-12 业务数据处理方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113220777A true CN113220777A (zh) 2021-08-06
CN113220777B CN113220777B (zh) 2023-06-30

Family

ID=77083644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110268912.7A Active CN113220777B (zh) 2021-03-12 2021-03-12 业务数据处理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113220777B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114219596A (zh) * 2021-12-14 2022-03-22 中国平安财产保险股份有限公司 一种基于决策树模型的数据处理方法及相关设备
CN115239486A (zh) * 2022-09-20 2022-10-25 华控清交信息科技(北京)有限公司 一种联合数据统计方法、装置、系统和可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004070406A (ja) * 2002-08-01 2004-03-04 Daido Life Insurance Co 財務データ管理システム及び財務データ管理方法、並びにコンピュータ・プログラム
CN107767242A (zh) * 2016-08-15 2018-03-06 平安科技（深圳）有限公司 账务数据处理方法及账务数据处理装置
CN110458678A (zh) * 2019-08-08 2019-11-15 潍坊工程职业学院 一种基于hadoop校验的财务数据校验方法和系统
CN111127178A (zh) * 2019-11-26 2020-05-08 泰康保险集团股份有限公司 数据处理方法与装置、存储介质、电子设备
CN111949720A (zh) * 2020-08-24 2020-11-17 陈顺发 基于大数据和人工智能的数据分析方法及云端数据服务器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004070406A (ja) * 2002-08-01 2004-03-04 Daido Life Insurance Co 財務データ管理システム及び財務データ管理方法、並びにコンピュータ・プログラム
CN107767242A (zh) * 2016-08-15 2018-03-06 平安科技（深圳）有限公司 账务数据处理方法及账务数据处理装置
CN110458678A (zh) * 2019-08-08 2019-11-15 潍坊工程职业学院 一种基于hadoop校验的财务数据校验方法和系统
CN111127178A (zh) * 2019-11-26 2020-05-08 泰康保险集团股份有限公司 数据处理方法与装置、存储介质、电子设备
CN111949720A (zh) * 2020-08-24 2020-11-17 陈顺发 基于大数据和人工智能的数据分析方法及云端数据服务器

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114219596A (zh) * 2021-12-14 2022-03-22 中国平安财产保险股份有限公司 一种基于决策树模型的数据处理方法及相关设备
CN114219596B (zh) * 2021-12-14 2024-04-12 中国平安财产保险股份有限公司 一种基于决策树模型的数据处理方法及相关设备
CN115239486A (zh) * 2022-09-20 2022-10-25 华控清交信息科技(北京)有限公司 一种联合数据统计方法、装置、系统和可读存储介质

Also Published As

Publication number Publication date
CN113220777B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN109254969A (zh) 数据表处理方法、装置、设备及存储介质
CN109474578A (zh) 报文消息校验方法、装置、计算机设备和存储介质
CN113220777A (zh) 业务数据处理方法、装置、计算机设备及存储介质
CN110941630A (zh) 一种数据库运维方法、装置及系统
WO2012048555A1 (zh) 数据入库方法和装置
CN110472895B (zh) 财务系统风控方法、装置、计算机设备和存储介质
CN112232818A (zh) 数据对账方法、装置、计算机设备和存储介质
CN112181967B (zh) 源数据质量的监测方法、装置、计算机设备及介质
CN115409590A (zh) 一种统一对账方法、装置、设备及存储介质
CN113590432A (zh) 数据库的巡检方法与装置
CN111259791A (zh) 核电站物资验收方法、装置、计算机设备及存储介质
CN103440460A (zh) 一种应用系统变更验证方法及验证系统
US11036761B1 (en) Configurable database management
CN111367754A (zh) 数据监控方法、装置、计算机设备及存储介质
WO2020211233A1 (zh) 批量数据编辑方法、装置、计算机设备及存储介质
CN110942314A (zh) 异常账户监管方法及装置
CN109947797B (zh) 一种数据检查装置及方法
CN113706092A (zh) 工程项目监管方法及系统
CN111708802B (zh) 网络请求防重处理方法及装置
CN112765168A (zh) 星型数据治理存储方法、装置、终端设备及存储介质
CN113157583B (zh) 一种测试方法、装置及设备
US11681670B1 (en) Systems and methods for data verification
CN113254520B (zh) 一种处理征信数据漏报并自动生成补充报文的方法
CN114723533A (zh) 一种房租收入的结算数据生成方法、装置和电子设备
CN115660875A (zh) 账目数据处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant