CN110647544A - 基于流数据的账务检核方法 - Google Patents

基于流数据的账务检核方法 Download PDF

Info

Publication number
CN110647544A
CN110647544A CN201910853501.7A CN201910853501A CN110647544A CN 110647544 A CN110647544 A CN 110647544A CN 201910853501 A CN201910853501 A CN 201910853501A CN 110647544 A CN110647544 A CN 110647544A
Authority
CN
China
Prior art keywords
data
checking
account
accounting
business
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910853501.7A
Other languages
English (en)
Inventor
田浩兵
张奎
陈思成
李群
严雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan XW Bank Co Ltd
Original Assignee
Sichuan XW Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan XW Bank Co Ltd filed Critical Sichuan XW Bank Co Ltd
Priority to CN201910853501.7A priority Critical patent/CN110647544A/zh
Publication of CN110647544A publication Critical patent/CN110647544A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本发明涉及基于流数据的账务检核方法，包括：A.实时采集账务的数据库日志和/或账务系统的流水日志，将得到的账务数据分别输出到消息队列和ES搜索引擎中；B.将消息队列中的账务数据进行预处理后，按照账务数据对应的业务规则分发到对应的业务系统中；C.通过Flink实时计算框架，根据设置好的对账方式，对单个业务系统，以及不同的业务系统之间进行账务检核，将检核后异常数据形成的检核结果集发送到相关人员的终端设备中，同时在ES搜索引擎中保存所述的检核结果集。本发明具有极强的实时性检核，通过对流数据的校验，能够做到秒级甚至毫秒级反馈账务中存在的问题，并且不需要人工干预，自动将有问题的账务通过发送给相关人员。

Description

基于流数据的账务检核方法
技术领域
本发明涉及数据处理的方法，具体讲是基于流数据的账务检核方法。
背景技术
在目前的大数据金融领域中，存在的一个很简单的问题是，由于现在的金融转账等一系列金额类的交易，用户大多是通过移动端来操作的。当金融系统软件出问题时，会造成极大的影响，给用户和银行带来极大的损失。因此，对账务的正确性检验显得尤其重要。
目前银行业是基于日终批量和日间批量的方式来进行跑批校对，做准实时的账务核对校验。将各种业务场景产生的交易类数据存于HDFS(大数据分布式数据存储)服务器上，通过编写HiveSql程序(一种用于HDFS的可以通过sql语句查询的接口)，运行在大数据平台，然后底层将Hive(基于Hadoop的一个数据仓库工具)转换为MapReduce任务(大数据中处理海量数据的一种方法，是将海量数据划分几个数据集，然后对这些小数据集进行处理后，最后再将处理后的结果整合在一起。这些操作都是在多台服务器同时进行)运行在集群中。在客户端，一般是通过定时调度器来将事先编写好的SQL程序定时调度跑批，由于数据量大，一般会执行数个小时才会出结果，而对于日终批量，在夜间执行时，中途失败后，会延迟第二天得到结果的时间。而跑批的结果是不可控的，系统的资源、数据量、任务的多少都会影响跑批结束的时间。成功跑批后的结果存于数据库中，将有问题的账务存于单独的数据库中，便于后期的修数，减少用户和银行的损失。
很显然，从跑批到跑批结束，再到后期修数，时间是漫长而且是不定的，在这期间如果账务出现问题，用户和银行都将面临损失，因此目前的这种账务检核的方式是非常低效的。
并且，现有技术是通过批量方式来处理账务校验，处理的数据源是固定的一批数据，就是静态的数据，这种方法明显的缺点包括:
(1)实时性极低，对有问题账务数据不能及时发现。
(2)夜间跑批资源不可控，同一批耗时任务同时执行，会相互抢占资源，导致系统假死。
发明内容
本发明提供了一种基于流数据的账务检核方法，对账务实时进行检核，并且减少人工干预，提高检核效率。
本发明基于流数据的账务检核方法，包括：
A.实时采集账务的数据库日志和/或账务系统的流水日志，并将得到的账务数据分别输出到消息队列和ES搜索引擎(一种可视化搜索框架，可快速从海量数据中搜索出需要检索的内容)中；
B.将所述消息队列中的账务数据进行预处理后，按照账务数据对应的业务规则分发到对应的业务系统中。由于在采集的日志数据中包含了源系统使用的日志框架中嵌入的线程数等无用的信息，因此需要通过预处理将采集的日志数据转换为标准Json格式；
C.通过Flink实时计算框架，根据设置好的对账方式，对单个业务系统，以及不同的业务系统之间进行账务检核，Flink是一种实时计算引擎，能够对实时的数据流进行处理，然后将检核后异常数据形成的检核结果集发送到相关人员的终端设备中，使相关人员能够实时了解账务问题，同时在ES搜索引擎中保存所述的检核结果集，用于与步骤A保存在ES搜索引擎中原始的流水日志进行查询和对比，也便于数据流的可回溯。
本发明打破了常规的静态账务数据校验方式，采用流数据来校验账务，将传统的通过人为配置来调度任务，改为了全自动化的流程校验，并且还提供了可视化实时性明细数据的查询，而非人为编写SQL语句从数据库查询，减少人工干预的同时，大幅度提高了账务检核的实时性。
进一步的，步骤A所述的数据库日志为数据库的binlog日志，所述的账务系统的流水日志为账务系统的各环节输出的日志。
进一步的，步骤C中，在对两个业务系统之间进行账务检核时，通过流水号将其中一个业务系统的账务数据关联后，如果在设置的时长内没有得到另一个业务系统相同流水号的数据，则输出异常数据。
具体的，步骤C中，所述的账务检核包括：
C1.记录间对账，实时的按照已有的规则将不同的账务数据按字段进行匹配；例如在间对账时，一条账务数据中的某两个字段的值加起来应当等于第三个字段的值，如果不相等，则该条账务数据有问题。
C2.对单个业务系统或多个业务系统之间进行账务检核时，将先收到的账务数据存入内存，然后设置定时器，当收到与该账务数据对应的另外一条或多条数据之后，清除定时器，检核的该账务数据为正确数据；如果定时器过时没有清除，将输出该账务数据的流水号，该账务数据为异常数据。
优选的，所述相关人员的终端设备为手机或邮箱。
本发明基于流数据的账务检核方法，具有极强的实时性检核，通过对流数据的校验，能够做到秒级甚至毫秒级反馈账务中存在的问题，并且不需要人工干预，自动将有问题的账务通过发送给相关人员。同时，账务明细是存储在ES搜索引擎中的，通过ES搜索引擎提供界面搜索功能，当对账务校验结果存疑时，可能通过ES搜索引擎可视化界面实时查询明细数据。
以下结合实施例的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明上述技术思想情况下，根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本发明的范围内。
附图说明
图1为本发明基于流数据的账务检核方法的流程图。
图2为图1中账务检核的框图。
具体实施方式
如图1所示本发明基于流数据的账务检核方法，包括：
A.实时采集账务的Mysql或Oracle数据库的binlog日志，以及账务系统各环节的流水日志，并将得到的账务数据分别输出到kafka消息队列和ES搜索引擎中。通过kafka消息队列将账务数据从一个数据源传输到另外一个数据源，kafka消息队列具有很强的实时性，数据不丢失，并且效率高。可以将不同的业务分到不同的kafka消息队列的主题中。
B.将所述消息队列中的账务数据进行预处理后，按照账务数据对应的业务规则分发到对应的业务系统中；通过预处理，将包含源系统使用的日志框架中嵌入的线程数等无用信息的日志数据转换为标准Json格式。
C.如图2所示，通过Flink实时计算框架，根据设置好的对账方式，对单个业务系统，以及不同的业务系统之间进行账务检核，Flink是一种实时计算引擎，能够对实时的数据流进行处理。当对两个业务系统之间进行账务检核时，通过流水号将其中一个业务系统的账务数据关联后，如果在设置的时长内没有得到另一个业务系统相同流水号的数据，则输出异常数据。其中所述的对账务检核包括：
C1.记录间对账，实时的按照已有的规则将不同的账务数据按字段进行匹配；
C2.对单个业务系统或多个业务系统之间进行账务检核时，将先收到的账务数据存入内存，然后设置定时器，当收到与该账务数据对应的另外一条或多条数据之后，清除定时器，检核的该账务数据为正确数据；如果定时器过时没有清除，将输出该账务数据的流水号，该账务数据为异常数据。
然后将检核后所有异常数据形成的检核结果集再通过kafka消息队列发送到相关人员的手机或邮箱等终端设备中，使相关人员能够实时了解账务问题，同时在ES搜索引擎中保存所述的检核结果集，用于与步骤A保存在ES搜索引擎中原始的流水日志进行查询和对比，也便于数据流的可回溯。对检核结果集中的异常数据，可以根据异常数据对应的ID去步骤A保存的原始流水日志数据里去具体查询。其中检核结果集中的数据和原始的流水日志中的字段并不完全对应，检核结果集的数据中可以只设置数据ID，因为相关人员的手机中能够显示的信息字数是有限制的，因此可以只显示数据ID和时间来作为报警的提示，具体是哪些数据导致的报警，可以通过数据ID到原始流水日志中去匹配。同时，保存在ES搜索引擎中的原始流水日志和检核结果集的数据可以根据不同的权限进行区分查询，一种权限只能查到原始的流水日志，另一种权限只能看检核结果集。根据用户的不同对一个用户分配一种或两种权限。
通过本发明的方法，实现了实时对账务进行检核，而且做到了秒级甚至毫秒级便能反馈账务中存在的问题，不需要人为干预。当需要查询明细数据时，还可以通过ES搜索引擎提供的可视化界面进行搜索和查询。

Claims (5)

1.基于流数据的账务检核方法，其特征包括：
A.实时采集账务的数据库日志和/或账务系统的流水日志，并将得到的账务数据分别输出到消息队列和ES搜索引擎中；
B.将所述消息队列中的账务数据进行预处理后，按照账务数据对应的业务规则分发到对应的业务系统中；
C.通过Flink实时计算框架，根据设置好的对账方式，对单个业务系统，以及不同的业务系统之间进行账务检核，将检核后异常数据形成的检核结果集发送到相关人员的终端设备中，同时在ES搜索引擎中保存所述的检核结果集，用于与步骤A保存在ES搜索引擎中原始的流水日志进行查询和对比。
2.如权利要求1所述的基于流数据的账务检核方法，其特征为：步骤A所述的数据库日志为数据库的binlog日志，所述的账务系统的流水日志为账务系统的各环节输出的日志。
3.如权利要求1所述的基于流数据的账务检核方法，其特征为：步骤C中，在对两个业务系统之间进行账务检核时，通过流水号将其中一个业务系统的账务数据关联后，如果在设置的时长内没有得到另一个业务系统相同流水号的数据，则输出异常数据。
4.如权利要求3所述的基于流数据的账务检核方法，其特征为：步骤C中，所述的账务检核包括：
C1.记录间对账，实时的按照已有的规则将不同的账务数据按字段进行匹配；
C2.对单个业务系统或多个业务系统之间进行账务检核时，将先收到的账务数据存入内存，然后设置定时器，当收到与该账务数据对应的另外一条或多条数据之后，清除定时器，检核的该账务数据为正确数据；如果定时器过时没有清除，将输出该账务数据的流水号，该账务数据为异常数据。
5.如权利要求1至4之一所述的基于流数据的账务检核方法，其特征为：所述相关人员的终端设备为手机或邮箱。
CN201910853501.7A 2019-09-10 2019-09-10 基于流数据的账务检核方法 Pending CN110647544A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910853501.7A CN110647544A (zh) 2019-09-10 2019-09-10 基于流数据的账务检核方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910853501.7A CN110647544A (zh) 2019-09-10 2019-09-10 基于流数据的账务检核方法

Publications (1)

Publication Number Publication Date
CN110647544A true CN110647544A (zh) 2020-01-03

Family

ID=69010272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910853501.7A Pending CN110647544A (zh) 2019-09-10 2019-09-10 基于流数据的账务检核方法

Country Status (1)

Country Link
CN (1) CN110647544A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340147A (zh) * 2020-05-22 2020-06-26 四川新网银行股份有限公司 基于决策树的决策行为生成方法及系统
CN112308513A (zh) * 2020-10-30 2021-02-02 广州市汇聚支付电子科技有限公司 一种基于大数据自动对账系统及方法
CN112540996A (zh) * 2020-11-12 2021-03-23 Oppo（重庆）智能科技有限公司 一种业务数据的校验方法、装置、电子设备及存储介质
CN113626527A (zh) * 2021-08-12 2021-11-09 北京滴普科技有限公司 一种财务数据处理方法及系统
CN115601195A (zh) * 2022-10-17 2023-01-13 桂林电子科技大学（Cn） 基于电力用户实时标签的交易双向推荐系统及其方法
CN117609315A (zh) * 2024-01-22 2024-02-27 中债金融估值中心有限公司 一种数据处理方法、装置、设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447246A (zh) * 2015-08-06 2017-02-22 阿里巴巴集团控股有限公司 库存数据对账方法及装置
CN107783975A (zh) * 2016-08-24 2018-03-09 北京京东尚科信息技术有限公司 分布式数据库同步处理的方法和装置
CN108920659A (zh) * 2018-07-03 2018-11-30 广州唯品会信息科技有限公司 数据处理系统及其数据处理方法、计算机可读存储介质
CN109034993A (zh) * 2018-09-29 2018-12-18 深圳前海微众银行股份有限公司 对账方法、设备、系统及计算机可读存储介质
CN109254982A (zh) * 2018-08-31 2019-01-22 杭州安恒信息技术股份有限公司 一种流数据处理方法、系统、装置及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447246A (zh) * 2015-08-06 2017-02-22 阿里巴巴集团控股有限公司 库存数据对账方法及装置
CN107783975A (zh) * 2016-08-24 2018-03-09 北京京东尚科信息技术有限公司 分布式数据库同步处理的方法和装置
CN108920659A (zh) * 2018-07-03 2018-11-30 广州唯品会信息科技有限公司 数据处理系统及其数据处理方法、计算机可读存储介质
CN109254982A (zh) * 2018-08-31 2019-01-22 杭州安恒信息技术股份有限公司 一种流数据处理方法、系统、装置及计算机可读存储介质
CN109034993A (zh) * 2018-09-29 2018-12-18 深圳前海微众银行股份有限公司 对账方法、设备、系统及计算机可读存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340147A (zh) * 2020-05-22 2020-06-26 四川新网银行股份有限公司 基于决策树的决策行为生成方法及系统
CN112308513A (zh) * 2020-10-30 2021-02-02 广州市汇聚支付电子科技有限公司 一种基于大数据自动对账系统及方法
CN112540996A (zh) * 2020-11-12 2021-03-23 Oppo（重庆）智能科技有限公司 一种业务数据的校验方法、装置、电子设备及存储介质
CN112540996B (zh) * 2020-11-12 2023-11-24 Oppo（重庆）智能科技有限公司 一种业务数据的校验方法、装置、电子设备及存储介质
CN113626527A (zh) * 2021-08-12 2021-11-09 北京滴普科技有限公司 一种财务数据处理方法及系统
CN113626527B (zh) * 2021-08-12 2024-09-24 北京滴普科技有限公司 一种财务数据处理方法及系统
CN115601195A (zh) * 2022-10-17 2023-01-13 桂林电子科技大学（Cn） 基于电力用户实时标签的交易双向推荐系统及其方法
CN115601195B (zh) * 2022-10-17 2023-09-08 桂林电子科技大学 基于电力用户实时标签的交易双向推荐系统及其方法
CN117609315A (zh) * 2024-01-22 2024-02-27 中债金融估值中心有限公司 一种数据处理方法、装置、设备及可读存储介质
CN117609315B (zh) * 2024-01-22 2024-04-16 中债金融估值中心有限公司 一种数据处理方法、装置、设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN110647544A (zh) 基于流数据的账务检核方法
CN109034993A (zh) 对账方法、设备、系统及计算机可读存储介质
US11151660B1 (en) Intelligent routing control
CN110704231A (zh) 一种故障处理方法及装置
CN112506743A (zh) 一种日志监控方法、装置和服务器
CN111400011B (zh) 一种实时任务调度方法、系统、设备及可读存储介质
US20190228342A1 (en) Systems and methods for automated incident response
US11755663B2 (en) Search activity prediction
AU2017378245B2 (en) Systems and methods for aggregating, filtering, and presenting streaming data
CN107123046A (zh) 基于债券交易的处理系统及其日志处理方法
CN113570468A (zh) 一种企业支付风控服务平台
CN109902747A (zh) 一种身份识别方法、装置、设备及计算机可读存储介质
CN114090529A (zh) 一种日志管理方法、装置、系统和存储介质
CN111831682A (zh) 处理公积金业务的方法、装置、设备和计算机可读介质
CN110689424B (zh) 资金供需匹配方法和系统
CN116260703A (zh) 分布式消息服务节点cpu性能故障自恢复方法及装置
US11062391B2 (en) Data stream processing framework
CN114610769A (zh) 数据分析方法、装置、设备及存储介质
CN114565451A (zh) 批量数据报送方法、装置、电子设备和介质
CN115168297A (zh) 绕行日志审计方法及装置
CN113450208A (zh) 贷款风险变动预警、模型训练方法和装置
CN114048512A (zh) 一种处理敏感数据的方法及装置
CN113435789A (zh) 一种信息考核方法、装置、计算机设备及存储介质
CN110956385A (zh) 商业银行对公预警方法、装置、系统及存储介质
CN111062800A (zh) 数据处理方法、装置、电子设备及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200103

RJ01 Rejection of invention patent application after publication