CN114490137A - 业务数据实时统计方法、装置、电子设备及可读存储介质 - Google Patents

业务数据实时统计方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN114490137A
CN114490137A CN202210141441.8A CN202210141441A CN114490137A CN 114490137 A CN114490137 A CN 114490137A CN 202210141441 A CN202210141441 A CN 202210141441A CN 114490137 A CN114490137 A CN 114490137A
Authority
CN
China
Prior art keywords
data
field
key
preset
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210141441.8A
Other languages
English (en)
Inventor
余莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Puhui Enterprise Management Co Ltd
Original Assignee
Ping An Puhui Enterprise Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Puhui Enterprise Management Co Ltd filed Critical Ping An Puhui Enterprise Management Co Ltd
Priority to CN202210141441.8A priority Critical patent/CN114490137A/zh
Publication of CN114490137A publication Critical patent/CN114490137A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/546Message passing systems or structures, e.g. queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/466Transaction processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/54Indexing scheme relating to G06F9/54
    • G06F2209/547Messaging middleware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/54Indexing scheme relating to G06F9/54
    • G06F2209/548Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及人工智能技术,揭露了一种业务数据实时统计方法,包括:对业务流程数据进行数据分发以及获取分发的流程分发数据,根据时间筛选条件和字段筛选条件对流程分发数据进行筛选,得到过滤数据,根据过滤数据中的字段属性和字段属性对应的字段值构建键值对集合,按照预设的更新周期对键值对集合进行更新,对更新后的键值对集合进行字段拆分,根据预设的调用周期对字段拆分数据进行统计,得到流程数据统计结果。此外,本发明还涉及区块链技术,所述流程数据统计结果可以存储在区块链的节点中。本发明还提出一种业务数据实时统计方法、装置、电子设备以及计算机可读存储介质。本发明可以解决业务数据难以实时进行统计的问题。

Description

业务数据实时统计方法、装置、电子设备及可读存储介质
技术领域
本发明涉及人工智能技术领域,尤其涉及一种业务数据实时统计方法、装置、电子设备及计算机可读存储介质。
背景技术
目前,数据的统计对于各个领域都是至关重要的事。例如,很多公司销售部门在向上级汇报销售业绩时,通常是通过SAS、数据采集等方式汇总数据进行统计分析,再向上级汇报。对于离线数据,通过这种方式确实可行,但是想要实时的对销售流程业绩进行统计,显然很难实现,因此亟需一种对每个业务流程实时监控并统计的方法。
发明内容
本发明提供一种业务数据实时统计方法、装置、电子设备及可读存储介质,其主要目的在于解决业务数据难以实时进行统计的问题。
为实现上述目的,本发明提供的一种业务数据实时统计方法,包括:
从原始数据库中同步业务流程数据,利用预设的消息中间件对所述业务流程数据进行数据分发以及获取分发的流程分发数据;
根据时间筛选条件和字段筛选条件对所述流程分发数据进行筛选,得到过滤数据;
根据所述过滤数据中的字段属性和字段属性对应的字段值构建键值对集合,并按照预设的更新周期对所述键值对集合进行更新,得到更新后的键值对集合;
对所述更新后的键值对集合进行字段拆分,得到字段拆分数据,根据预设的调用周期对所述字段拆分数据进行统计,得到流程数据统计结果。
可选地,所述从原始数据库中同步业务流程数据,利用预设的消息中间件对所述业务流程数据进行数据分发以及获取分发的流程分发数据,包括:
利用预设的数据同步方法将所述原始数据库中不同业务流程节点的所述业务流程数据同步至所述消息中间件;
在所述消息中间件的集群中根据所述业务流程节点构建分类节点;
利用所述消息中间件将所述业务流程数据分发至不同的集群,并在所述集群中将所述业务流程数据推送至不同的分类节点,得到分类节点信息;
将各分类节点的分类节点信息按照先后顺序进行排列,得到消息队列,将各分类节点的消息队列作为所述流程分发数据。
可选地,所述根据时间筛选条件和字段筛选条件对所述流程分发数据进行筛选,得到过滤数据,包括:
判断各分类节点的消息队列中的分类节点信息到达各分类节点的时间是否满足预设的时间段;
若分类节点信息到达分类节点的时间不满足预设的时间段,则将所述流程分发数据存储至预设的不完整数据表中;
若分类节点信息到达分类节点的时间满足预设的时间段,则判断所述分类节点信息中的预设字段是否为空;
若所述分类节点信息中的预设字段为空,则将所述分类节点信息存储至所述不完整数据表中;
若所述分类节点信息中的预设字段不为空,则将所述分类节点信息作为所述过滤数据。
可选地,所述根据所述过滤数据中的字段属性和字段属性对应的字段值构建键值对集合,包括:
接收字段生成指令,获取系统时间,根据所述字段生成指令拼接所述系统时间及所述预设字段得到拼接字段,对所述拼接字段进行编码;
将编码后的业务字段作为字段键,将所述业务字段中各预设字段对应的字段值作为所述字段键对应的值,汇总所有的字段键及所述字段键对应的值,得到所述键值对集合。
可选地,所述按照预设的更新周期对所述键值对集合进行更新,得到更新后的键值对集合,包括:
根据所述更新周期获取新的过滤数据,判断所述键值对集合中的字段键是否有锁;
若所述键值对集合中的字段键没有锁,利用所述新的过滤数据对所述字段键对应的值进行更新;
若所述键值对集合中的字段键有锁,则利用循环写入的方式对所述字段键对应的值进行更新;
汇总所有的字段键及字段键对应的更新值,得到所述更新后的键值对集合。
可选地,所述对所述更新后的键值对集合进行字段拆分,得到字段拆分数据,包括:
接收用户拆分指令,根据所述用户拆分指令从所述字段键中选取的目标字段作为拆分字段;
汇总所述拆分字段及所述拆分字段对应的值得到所述字段拆分数据。
可选地,所述根据预设的调用周期对所述字段拆分数据进行统计,得到流程数据统计结果,包括:
根据所述字段拆分数据中的拆分字段构建接口入参及接口出参;
根据所述接口入参及接口出参生成数据调用接口;
根据所述调用周期依次缓存所述数据调用接口中的字段拆分数据,得到所述流程数据统计结果。
为了解决上述问题,本发明还提供一种业务数据实时统计装置,所述装置包括:
数据同步分发模块,用于从原始数据库中同步业务流程数据,利用预设的消息中间件对所述业务流程数据进行数据分发以及获取分发的流程分发数据;
数据筛选模块,用于根据时间筛选条件和字段筛选条件对所述流程分发数据进行筛选,得到过滤数据;
数据更新模块,用于根据所述过滤数据中的字段属性和字段属性对应的字段值构建键值对集合,并按照预设的更新周期对所述键值对集合进行更新,得到更新后的键值对集合;
数据统计模块,用于对所述更新后的键值对集合进行字段拆分,得到字段拆分数据,根据预设的调用周期对所述字段拆分数据进行统计,得到流程数据统计结果。
为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:
存储器,存储至少一个计算机程序;及
处理器,执行所述存储器中存储的计算机程序以实现上述所述的业务数据实时统计方法。
为了解决上述问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个计算机程序,所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的业务数据实时统计方法。
本发明通过同步业务流程数据,利用预设的消息中间件对业务流程数据进行数据分发,得到流程分发数据,并对流程分发数据按照时间筛选条件和字段筛选条件进行过滤,得到过滤数据,通过字段筛选及时间筛选可以降低数据量并筛选出实时的数据,从而提高数据统计的实时性。同时根据过滤数据中的字段属性和字段属性对应的字段值构建键值对集合,并按照预设的更新周期对所述键值对集合进行更新,仅利用简单的键值对可以对数据进行更新,提高了数据更新的效率。并且根据预设的调用周期对字段拆分数据进行缓存统计,只要设置较小的调用周期,便可以实现数据的实时统计。因此本发明提出的业务数据实时统计方法、装置、电子设备及计算机可读存储介质,可以解决业务数据难以实时进行统计的问题。
附图说明
图1为本发明一实施例提供的业务数据实时统计方法的流程示意图;
图2为本发明一实施例提供的业务数据实时统计装置的功能模块图;
图3为本发明一实施例提供的实现所述业务数据实时统计方法的电子设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本申请实施例提供一种业务数据实时统计方法。所述业务数据实时统计方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之,所述业务数据实时统计方法可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图1所示,为本发明一实施例提供的业务数据实时统计方法的流程示意图。在本实施例中,所述业务数据实时统计方法包括:
S1、从原始数据库中同步业务流程数据,利用预设的消息中间件对所述业务流程数据进行数据分发以及获取分发的流程分发数据。
本发明实施例中,所述原始数据库可以为关系型数据库,包括Oracle、DB2、MySQL等。所述业务流程数据包括不同业务流程各节点中数据,例如,在金融领域,从Oracle中同步出贷款业务流程各节点的数据,包括申请节点的总件数、进入签约节点的件数、放款节点的件数等。所述预设的消息中间件可以为Kafka处理平台,所述Kafka处理平台是一种高吞吐量的分布式发布订阅消息系统,包括类别(Topic)、分类节点(broker)、集群(kafkacluster)等结构。
具体地,所述从原始数据库中同步业务流程数据,利用预设的消息中间件对所述业务流程数据进行数据分发以及获取分发的流程分发数据,包括:
利用预设的数据同步方法将所述原始数据库中不同业务流程节点的所述业务流程数据同步至所述消息中间件;
在所述消息中间件的集群中根据所述业务流程节点构建分类节点;
利用所述消息中间件将所述业务流程数据分发至不同的集群,并在所述集群中将所述业务流程数据推送至不同的分类节点,得到分类节点信息;
将各分类节点的分类节点信息按照先后顺序进行排列,得到消息队列,将各分类节点的消息队列作为所述流程分发数据。
本发明实施例中,所述业务流程数据在Kafka处理平台被分发至不同的集群(kafka cluster),并在所述集群(kafka cluster)中的分类节点处(broker)进行分类,得到所述分类节点信息,所述分类节点信息以类别(Topic)的形式进行存储,并按照先后顺序进行排列,得到消息队列,并将各分类节点的消息队列作为所述流程分发数据。例如,所述业务流程数据来源于业务流程1及业务流程2,则在集群中构建分类节点1及分类节点2,将业务流程1的数据推送至分类节点1,将业务流程2的数据推送至分类节点2。当所述业务流程数据来自于多个服务器的原始数据库时,利用所述Kafka处理平台的多集群处理可以降低各个服务器间的耦合性。同时,所述Kafka处理平台使用消息队列作为缓冲,在一段时间内对所述消息队列进行分发处理,提供高峰期业务处理能力。
本发明一可选实施例中,所述预设的数据同步方法可以为GG初始化同步方法,用来将数据库中的数据同步加载至目标库(消息中间件)中。
S2、根据时间筛选条件和字段筛选条件对所述流程分发数据进行筛选,得到过滤数据。
本发明实施例中,由于业务流程数据的数据量较大,为了保证数据的实时性及准确性,通过时间筛选条件和字段筛选条件可以降低数据量并筛选出实时的数据,从而提高数据统计的实时性。
具体地,所述根据时间筛选条件和字段筛选条件对所述流程分发数据进行筛选,得到过滤数据,包括:
判断各分类节点的消息队列中的分类节点信息到达各分类节点的时间是否满足预设的时间段;
若分类节点信息到达分类节点的时间不满足预设的时间段,则将所述流程分发数据存储至预设的不完整数据表中;
若分类节点信息到达分类节点的时间满足预设的时间段,则判断所述分类节点信息中的预设字段是否为空;
若所述分类节点信息中的预设字段为空,则将所述分类节点信息存储至所述不完整数据表中;
若所述分类节点信息中的预设字段不为空,则将所述分类节点信息作为所述过滤数据。
本发明实施例中,所述预设的时间段可以为24小时。例如,贷款业务中,根据到达各分类节点的时间过滤出今天数据,再校验预设字段是否为空,所述预设字段主要包括申请单号、节点开始时间、金额、产品类型、渠道、业绩城市等,若不是今天数据,且预设字段为空,则不进行计算,并直接将数据写入hbase的不完整数据表中。
S3、根据所述过滤数据中的字段属性和字段属性对应的字段值构建键值对集合,并按照预设的更新周期对所述键值对集合进行更新,得到更新后的键值对集合。
本发明实施例中,所述键值对集合可以为key-value键值对,其中,可以根据预设字段构建key,将所述预设字段对应的字段值作为value,建立所述预设字段及所述预设字段对应的字段值间的字段映射关系,从而实现预设字段和对应数据间的一一对应。
具体地,所述根据所述过滤数据中的字段属性和字段属性对应的字段值构建键值对集合,包括:
接收字段生成指令,获取系统时间,根据所述字段生成指令拼接所述系统时间及所述预设字段得到拼接字段,对所述拼接字段进行编码;
将编码后的业务字段作为字段键,将所述业务字段中各预设字段对应的字段值作为所述字段键对应的值,汇总所有的字段键及所述字段键对应的值,得到所述键值对集合。
本发明实施例中,例如,所述拼接字段可以为系统时间+产品类型+渠道+业绩归属城市,则对应的字段键key为编码后的系统时间+产品类型+渠道+业绩归属城市。
本发明实施例中,所述键值对集合可存储至redis中。
详细地,所述按照预设的更新周期对所述键值对集合进行更新,得到更新后的键值对集合,包括:
根据所述更新周期获取新的过滤数据,判断所述键值对集合中的字段键是否有锁;
若所述键值对集合中的字段键没有锁,利用所述新的过滤数据对所述字段键对应的值进行更新;
若所述键值对集合中的字段键有锁,则利用循环写入的方式对所述字段键对应的值进行更新;
汇总所有的字段键及字段键对应的更新值,得到所述更新后的键值对集合。
本发明一可选实施例中,更新redis中key对应的值时,存在分布式竞争关系,所以写入时需加锁,如果写入时对应key存在锁,则循环等待20次,如果超过20次,还是没有抢到锁,则直接返回失败,并将数据写入redis中预设的hbase表,可以定时每隔10分钟,重新进行更新,提高了数据更新效率。
S4、对所述更新后的键值对集合进行字段拆分,得到字段拆分数据,根据预设的调用周期对所述字段拆分数据进行统计,得到流程数据统计结果。
本发明实施例中,由于键值对集合中的字段键key由多个字段拼接,在实际应用中,为方便统计,需要根据实际要求进行拆分。例如,贷款业务中,根据产品类型、渠道等字段进行拆分。
详细地,所述对所述更新后的键值对集合进行字段拆分,得到字段拆分数据,包括:
接收用户拆分指令,根据所述用户拆分指令从所述字段键中选取的目标字段作为拆分字段;
汇总所述拆分字段及所述拆分字段对应的值得到所述字段拆分数据。
具体地,所述根据预设的调用周期对所述字段拆分数据进行统计,得到流程数据统计结果,包括:
根据所述字段拆分数据中的拆分字段构建接口入参及接口出参;
根据所述接口入参及接口出参生成数据调用接口;
根据所述调用周期依次缓存所述数据调用接口中的字段拆分数据,得到所述流程数据统计结果。
本发明一可选实施例中,基于所述用户拆分指令选取的目标字段对redis中的key按不同的维度进行拆解分析,如按业绩城市进行拆分、按渠道进行拆分或按产品类型进行拆分等。
详细地,所述根据预设的调用周期对所述字段拆分数据进行统计,得到流程数据统计结果,包括:
根据所述字段拆分数据中的拆分字段构建接口入参及接口出参;
根据所述接口入参及接口出参生成数据调用接口;
根据所述调用周期依次缓存所述数据调用接口中的字段拆分数据,得到所述流程数据统计结果。
本发明实施例中,由于数据调用接口就是根据前面拆分的维度构建的,比如,城市、类型等,所以通过数据调用接口调用的数据相当于已经被分类,直接缓存就可以当做统计结果,提高了业务数据统计的效率。
本发明一可选实施例中,根据拆分字段构建接口,通过构建的接口便于调用拆分字段对应的值进行统计汇报。例如,接口入参为:查询日期,接口出参为:处理编码、处理编码信息、处理结果:业绩城市、渠道、产品类型、销售各流程的件数和金额(如:申请的总件数、进入签约的件数和金额、积压的件数和金额、放款的件数和金额)。同时,由于实时接口访问量大,会对接口响应造成很大压力,所以可以采用周期调度,在可以接受的范围里,从某时间点(如8点)开始,每隔10分钟调用一次接口,将结果缓存在redis中。
本发明通过同步业务流程数据,利用预设的消息中间件对业务流程数据进行数据分发,得到流程分发数据,并对流程分发数据按照时间筛选条件和字段筛选条件进行过滤,得到过滤数据,通过字段筛选及时间筛选可以降低数据量并筛选出实时的数据,从而提高数据统计的实时性。同时根据过滤数据中的字段属性和字段属性对应的字段值构建键值对集合,并按照预设的更新周期对所述键值对集合进行更新,仅利用简单的键值对可以对数据进行更新,提高了数据更新的效率。并且根据预设的调用周期对字段拆分数据进行缓存统计,只要设置较小的调用周期,便可以实现数据的实时统计。因此本发明提出的业务数据实时统计方法,可以解决业务数据难以实时进行统计的问题。
如图2所示,是本发明一实施例提供的业务数据实时统计装置的功能模块图。
本发明所述业务数据实时统计装置100可以安装于电子设备中。根据实现的功能,所述业务数据实时统计装置100可以包括数据同步分发模块101、数据筛选模块102、数据更新模块103及数据统计模块104。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本实施例中,关于各模块/单元的功能如下:
所述数据同步分发模块101,用于从原始数据库中同步业务流程数据,利用预设的消息中间件对所述业务流程数据进行数据分发以及获取分发的流程分发数据;
所述数据筛选模块102,用于根据时间筛选条件和字段筛选条件对所述流程分发数据进行筛选,得到过滤数据;
所述数据更新模块103,用于根据所述过滤数据中的字段属性和字段属性对应的字段值构建键值对集合,并按照预设的更新周期对所述键值对集合进行更新,得到更新后的键值对集合;
所述数据统计模块104,用于对所述更新后的键值对集合进行字段拆分,得到字段拆分数据,根据预设的调用周期对所述字段拆分数据进行统计,得到流程数据统计结果。
详细地,所述业务数据实时统计装置100各模块的具体实施方式如下:
步骤一、从原始数据库中同步业务流程数据,利用预设的消息中间件对所述业务流程数据进行数据分发以及获取分发的流程分发数据。
本发明实施例中,所述原始数据库可以为关系型数据库,包括Oracle、DB2、MySQL等。所述业务流程数据包括不同业务流程各节点中数据,例如,在金融领域,从Oracle中同步出贷款业务流程各节点的数据,包括申请节点的总件数、进入签约节点的件数、放款节点的件数等。所述预设的消息中间件可以为Kafka处理平台,所述Kafka处理平台是一种高吞吐量的分布式发布订阅消息系统,包括类别(Topic)、分类节点(broker)、集群(kafkacluster)等结构。
具体地,所述从原始数据库中同步业务流程数据,利用预设的消息中间件对所述业务流程数据进行数据分发以及获取分发的流程分发数据,包括:
利用预设的数据同步方法将所述原始数据库中不同业务流程节点的所述业务流程数据同步至所述消息中间件;
在所述消息中间件的集群中根据所述业务流程节点构建分类节点;
利用所述消息中间件将所述业务流程数据分发至不同的集群,并在所述集群中将所述业务流程数据推送至不同的分类节点,得到分类节点信息;
将各分类节点的分类节点信息按照先后顺序进行排列,得到消息队列,将各分类节点的消息队列作为所述流程分发数据。
本发明实施例中,所述业务流程数据在Kafka处理平台被分发至不同的集群(kafka cluster),并在所述集群(kafka cluster)中的分类节点处(broker)进行分类,得到所述分类节点信息,所述分类节点信息以类别(Topic)的形式进行存储,并按照先后顺序进行排列,得到消息队列,并将各分类节点的消息队列作为所述流程分发数据。例如,所述业务流程数据来源于业务流程1及业务流程2,则在集群中构建分类节点1及分类节点2,将业务流程1的数据推送至分类节点1,将业务流程2的数据推送至分类节点2。当所述业务流程数据来自于多个服务器的原始数据库时,利用所述Kafka处理平台的多集群处理可以降低各个服务器间的耦合性。同时,所述Kafka处理平台使用消息队列作为缓冲,在一段时间内对所述消息队列进行分发处理,提供高峰期业务处理能力。
本发明一可选实施例中,所述预设的数据同步方法可以为GG初始化同步方法,用来将数据库中的数据同步加载至目标库(消息中间件)中。
步骤二、根据时间筛选条件和字段筛选条件对所述流程分发数据进行筛选,得到过滤数据。
本发明实施例中,由于业务流程数据的数据量较大,为了保证数据的实时性及准确性,通过时间筛选条件和字段筛选条件可以降低数据量并筛选出实时的数据,从而提高数据统计的实时性。
具体地,所述根据时间筛选条件和字段筛选条件对所述流程分发数据进行筛选,得到过滤数据,包括:
判断各分类节点的消息队列中的分类节点信息到达各分类节点的时间是否满足预设的时间段;
若分类节点信息到达分类节点的时间不满足预设的时间段,则将所述流程分发数据存储至预设的不完整数据表中;
若分类节点信息到达分类节点的时间满足预设的时间段,则判断所述分类节点信息中的预设字段是否为空;
若所述分类节点信息中的预设字段为空,则将所述分类节点信息存储至所述不完整数据表中;
若所述分类节点信息中的预设字段不为空,则将所述分类节点信息作为所述过滤数据。
本发明实施例中,所述预设的时间段可以为24小时。例如,贷款业务中,根据到达各分类节点的时间过滤出今天数据,再校验预设字段是否为空,所述预设字段主要包括申请单号、节点开始时间、金额、产品类型、渠道、业绩城市等,若不是今天数据,且预设字段为空,则不进行计算,并直接将数据写入hbase的不完整数据表中。
步骤三、根据所述过滤数据中的字段属性和字段属性对应的字段值构建键值对集合,并按照预设的更新周期对所述键值对集合进行更新,得到更新后的键值对集合。
本发明实施例中,所述键值对集合可以为key-value键值对,其中,可以根据预设字段构建key,将所述预设字段对应的字段值作为value,建立所述预设字段及所述预设字段对应的字段值间的字段映射关系,从而实现预设字段和对应数据间的一一对应。
具体地,所述根据所述过滤数据中的字段属性和字段属性对应的字段值构建键值对集合,包括:
接收字段生成指令,获取系统时间,根据所述字段生成指令拼接所述系统时间及所述预设字段得到拼接字段,对所述拼接字段进行编码;
将编码后的业务字段作为字段键,将所述业务字段中各预设字段对应的字段值作为所述字段键对应的值,汇总所有的字段键及所述字段键对应的值,得到所述键值对集合。
本发明实施例中,例如,所述拼接字段可以为系统时间+产品类型+渠道+业绩归属城市,则对应的字段键key为编码后的系统时间+产品类型+渠道+业绩归属城市。
本发明实施例中,所述键值对集合可存储至redis中。
详细地,所述按照预设的更新周期对所述键值对集合进行更新,得到更新后的键值对集合,包括:
根据所述更新周期获取新的过滤数据,判断所述键值对集合中的字段键是否有锁;
若所述键值对集合中的字段键没有锁,利用所述新的过滤数据对所述字段键对应的值进行更新;
若所述键值对集合中的字段键有锁,则利用循环写入的方式对所述字段键对应的值进行更新;
汇总所有的字段键及字段键对应的更新值,得到所述更新后的键值对集合。
本发明一可选实施例中,更新redis中key对应的值时,存在分布式竞争关系,所以写入时需加锁,如果写入时对应key存在锁,则循环等待20次,如果超过20次,还是没有抢到锁,则直接返回失败,并将数据写入redis中预设的hbase表,可以定时每隔10分钟,重新进行更新,提高了数据更新效率。
步骤四、对所述更新后的键值对集合进行字段拆分,得到字段拆分数据,根据预设的调用周期对所述字段拆分数据进行统计,得到流程数据统计结果。
本发明实施例中,由于键值对集合中的字段键key由多个字段拼接,在实际应用中,为方便统计,需要根据实际要求进行拆分。例如,贷款业务中,根据产品类型、渠道等字段进行拆分。
详细地,所述对所述更新后的键值对集合进行字段拆分,得到字段拆分数据,包括:
接收用户拆分指令,根据所述用户拆分指令从所述字段键中选取的目标字段作为拆分字段;
汇总所述拆分字段及所述拆分字段对应的值得到所述字段拆分数据。
具体地,所述根据预设的调用周期对所述字段拆分数据进行统计,得到流程数据统计结果,包括:
根据所述字段拆分数据中的拆分字段构建接口入参及接口出参;
根据所述接口入参及接口出参生成数据调用接口;
根据所述调用周期依次缓存所述数据调用接口中的字段拆分数据,得到所述流程数据统计结果。
本发明一可选实施例中,基于所述用户拆分指令选取的目标字段对redis中的key按不同的维度进行拆解分析,如按业绩城市进行拆分、按渠道进行拆分或按产品类型进行拆分等。
详细地,所述根据预设的调用周期对所述字段拆分数据进行统计,得到流程数据统计结果,包括:
根据所述字段拆分数据中的拆分字段构建接口入参及接口出参;
根据所述接口入参及接口出参生成数据调用接口;
根据所述调用周期依次缓存所述数据调用接口中的字段拆分数据,得到所述流程数据统计结果。
本发明实施例中,由于数据调用接口就是根据前面拆分的维度构建的,比如,城市、类型等,所以通过数据调用接口调用的数据相当于已经被分类,直接缓存就可以当做统计结果,提高了业务数据统计的效率。
本发明一可选实施例中,根据拆分字段构建接口,通过构建的接口便于调用拆分字段对应的值进行统计汇报。例如,接口入参为:查询日期,接口出参为:处理编码、处理编码信息、处理结果:业绩城市、渠道、产品类型、销售各流程的件数和金额(如:申请的总件数、进入签约的件数和金额、积压的件数和金额、放款的件数和金额)。同时,由于实时接口访问量大,会对接口响应造成很大压力,所以可以采用周期调度,在可以接受的范围里,从某时间点(如8点)开始,每隔10分钟调用一次接口,将结果缓存在redis中。
本发明通过同步业务流程数据,利用预设的消息中间件对业务流程数据进行数据分发,得到流程分发数据,并对流程分发数据按照时间筛选条件和字段筛选条件进行过滤,得到过滤数据,通过字段筛选及时间筛选可以降低数据量并筛选出实时的数据,从而提高数据统计的实时性。同时根据过滤数据中的字段属性和字段属性对应的字段值构建键值对集合,并按照预设的更新周期对所述键值对集合进行更新,仅利用简单的键值对可以对数据进行更新,提高了数据更新的效率。并且根据预设的调用周期对字段拆分数据进行缓存统计,只要设置较小的调用周期,便可以实现数据的实时统计。因此本发明提出的业务数据实时统计装置,可以解决业务数据难以实时进行统计的问题。
如图3所示,是本发明一实施例提供的实现业务数据实时统计方法的电子设备的结构示意图。
所述电子设备可以包括处理器10、存储器11、通信接口12和总线13,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如业务数据实时统计程序。
其中,所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元,例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备,例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(SecureDigital,SD)卡、闪存卡(Flash Card)等。进一步地,所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据,例如业务数据实时统计程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如业务数据实时统计程序等),以及调用存储在所述存储器11内的数据,以执行电子设备的各种功能和处理数据。
所述通信接口12用于上述电子设备与其他设备之间的通信,包括网络接口和用户接口。可选地,所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
所述总线13可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线13可以分为地址总线、数据总线、控制总线等。所述总线13被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图3仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图3示出的结构并不构成对所述电子设备的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
例如,尽管未示出,所述电子设备还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
进一步地,所述电子设备还可以包括网络接口,可选地,所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备与其他电子设备之间建立通信连接。
可选地,该电子设备还可以包括用户接口,用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
所述电子设备中的所述存储器11存储的业务数据实时统计程序是多个指令的组合,在所述处理器10中运行时,可以实现:
从原始数据库中同步业务流程数据,利用预设的消息中间件对所述业务流程数据进行数据分发以及获取分发的流程分发数据;
根据时间筛选条件和字段筛选条件对所述流程分发数据进行筛选,得到过滤数据;
根据所述过滤数据中的字段属性和字段属性对应的字段值构建键值对集合,并按照预设的更新周期对所述键值对集合进行更新,得到更新后的键值对集合;
对所述更新后的键值对集合进行字段拆分,得到字段拆分数据,根据预设的调用周期对所述字段拆分数据进行统计,得到流程数据统计结果。
具体地,所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述,在此不赘述。
进一步地,所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的,也可以是非易失性的。例如,所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
本发明还提供一种计算机可读存储介质,所述可读存储介质存储有计算机程序,所述计算机程序在被电子设备的处理器所执行时,可以实现:
从原始数据库中同步业务流程数据,利用预设的消息中间件对所述业务流程数据进行数据分发以及获取分发的流程分发数据;
根据时间筛选条件和字段筛选条件对所述流程分发数据进行筛选,得到过滤数据;
根据所述过滤数据中的字段属性和字段属性对应的字段值构建键值对集合,并按照预设的更新周期对所述键值对集合进行更新,得到更新后的键值对集合;
对所述更新后的键值对集合进行字段拆分,得到字段拆分数据,根据预设的调用周期对所述字段拆分数据进行统计,得到流程数据统计结果。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种业务数据实时统计方法,其特征在于,所述方法包括:
从原始数据库中同步业务流程数据,利用预设的消息中间件对所述业务流程数据进行数据分发以及获取分发的流程分发数据;
根据时间筛选条件和字段筛选条件对所述流程分发数据进行筛选,得到过滤数据;
根据所述过滤数据中的字段属性和字段属性对应的字段值构建键值对集合,并按照预设的更新周期对所述键值对集合进行更新,得到更新后的键值对集合;
对所述更新后的键值对集合进行字段拆分,得到字段拆分数据,根据预设的调用周期对所述字段拆分数据进行统计,得到流程数据统计结果。
2.如权利要求1所述的业务数据实时统计方法,其特征在于,所述从原始数据库中同步业务流程数据,利用预设的消息中间件对所述业务流程数据进行数据分发以及获取分发的流程分发数据,包括:
利用预设的数据同步方法将所述原始数据库中不同业务流程节点的所述业务流程数据同步至所述消息中间件;
在所述消息中间件的集群中根据所述业务流程节点构建分类节点;
利用所述消息中间件将所述业务流程数据分发至不同的集群,并在所述集群中将所述业务流程数据推送至不同的分类节点,得到分类节点信息;
将各分类节点的分类节点信息按照先后顺序进行排列,得到消息队列,将各分类节点的消息队列作为所述流程分发数据。
3.如权利要求2中所述的业务数据实时统计方法,其特征在于,所述根据时间筛选条件和字段筛选条件对所述流程分发数据进行筛选,得到过滤数据,包括:
判断各分类节点的消息队列中的分类节点信息到达各分类节点的时间是否满足预设的时间段;
若分类节点信息到达分类节点的时间不满足预设的时间段,则将所述流程分发数据存储至预设的不完整数据表中;
若分类节点信息到达分类节点的时间满足预设的时间段,则判断所述分类节点信息中的预设字段是否为空;
若所述分类节点信息中的预设字段为空,则将所述分类节点信息存储至所述不完整数据表中;
若所述分类节点信息中的预设字段不为空,则将所述分类节点信息作为所述过滤数据。
4.如权利要求3所述的业务数据实时统计方法,其特征在于,所述根据所述过滤数据中的字段属性和字段属性对应的字段值构建键值对集合,包括:
接收字段生成指令,获取系统时间,根据所述字段生成指令拼接所述系统时间及所述预设字段得到拼接字段,对所述拼接字段进行编码;
将编码后的业务字段作为字段键,将所述业务字段中各预设字段对应的字段值作为所述字段键对应的值,汇总所有的字段键及所述字段键对应的值,得到所述键值对集合。
5.如权利要求4所述的业务数据实时统计方法,其特征在于,所述按照预设的更新周期对所述键值对集合进行更新,得到更新后的键值对集合,包括:
根据所述更新周期获取新的过滤数据,判断所述键值对集合中的字段键是否有锁;
若所述键值对集合中的字段键没有锁,利用所述新的过滤数据对所述字段键对应的值进行更新;
若所述键值对集合中的字段键有锁,则利用循环写入的方式对所述字段键对应的值进行更新;
汇总所有的字段键及字段键对应的更新值,得到所述更新后的键值对集合。
6.如权利要求4所述的业务数据实时统计方法,其特征在于,所述对所述更新后的键值对集合进行字段拆分,得到字段拆分数据,包括:
接收用户拆分指令,根据所述用户拆分指令从所述字段键中选取的目标字段作为拆分字段;
汇总所述拆分字段及所述拆分字段对应的值得到所述字段拆分数据。
7.如权利要求6所述的业务数据实时统计方法,其特征在于,所述根据预设的调用周期对所述字段拆分数据进行统计,得到流程数据统计结果,包括:
根据所述字段拆分数据中的拆分字段构建接口入参及接口出参;
根据所述接口入参及接口出参生成数据调用接口;
根据所述调用周期依次缓存所述数据调用接口中的字段拆分数据,得到所述流程数据统计结果。
8.一种业务数据实时统计装置,其特征在于,所述装置包括:
数据同步分发模块,用于从原始数据库中同步业务流程数据,利用预设的消息中间件对所述业务流程数据进行数据分发以及获取分发的流程分发数据;
数据筛选模块,用于根据时间筛选条件和字段筛选条件对所述流程分发数据进行筛选,得到过滤数据;
数据更新模块,用于根据所述过滤数据中的字段属性和字段属性对应的字段值构建键值对集合,并按照预设的更新周期对所述键值对集合进行更新,得到更新后的键值对集合;
数据统计模块,用于对所述更新后的键值对集合进行字段拆分,得到字段拆分数据,根据预设的调用周期对所述字段拆分数据进行统计,得到流程数据统计结果。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的业务数据实时统计方法。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的业务数据实时统计方法。
CN202210141441.8A 2022-02-16 2022-02-16 业务数据实时统计方法、装置、电子设备及可读存储介质 Pending CN114490137A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210141441.8A CN114490137A (zh) 2022-02-16 2022-02-16 业务数据实时统计方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210141441.8A CN114490137A (zh) 2022-02-16 2022-02-16 业务数据实时统计方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN114490137A true CN114490137A (zh) 2022-05-13

Family

ID=81479808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210141441.8A Pending CN114490137A (zh) 2022-02-16 2022-02-16 业务数据实时统计方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114490137A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174555A (zh) * 2022-06-28 2022-10-11 平安科技(深圳)有限公司 文件传输方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174555A (zh) * 2022-06-28 2022-10-11 平安科技(深圳)有限公司 文件传输方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN112052370A (zh) 报文生成方法、装置、电子设备及计算机可读存储介质
CN113590632B (zh) 数据库索引创建方法、装置、设备及介质
CN112115145A (zh) 数据采集方法、装置、电子设备及存储介质
CN112464619B (zh) 大数据处理方法、装置、设备及计算机可读存储介质
CN111897856A (zh) 监管报文生成方法、装置、电子设备及可读存储介质
CN114881616A (zh) 业务流程执行方法、装置、电子设备及存储介质
CN114491047A (zh) 多标签文本分类方法、装置、电子设备及存储介质
CN113868528A (zh) 资讯推荐方法、装置、电子设备及可读存储介质
CN112949278A (zh) 数据核对方法、装置、电子设备及可读存储介质
CN112579621A (zh) 数据展示方法、装置、电子设备及计算机存储介质
CN114185895A (zh) 数据导入导出方法、装置、电子设备及存储介质
CN113032403A (zh) 数据洞察方法、装置、电子设备及存储介质
CN115480748A (zh) 业务编排方法、设备及存储介质
CN114880368A (zh) 数据查询方法、装置、电子设备及可读存储介质
CN114490137A (zh) 业务数据实时统计方法、装置、电子设备及可读存储介质
CN113468175A (zh) 数据压缩方法、装置、电子设备及存储介质
CN115759746A (zh) 可配置化的用户预警方法、装置、电子设备及存储介质
CN115033605A (zh) 数据查询方法、装置、电子设备及存储介质
CN112486957A (zh) 数据库迁移检测方法、装置、设备及存储介质
US20230334068A1 (en) Data processing method and apparatus thereof, electronic device, and computer-readable storage medium
CN114036174B (zh) 数据更新方法、装置、设备及存储介质
CN116932554A (zh) 数据看板生成方法、装置、设备及介质
CN115409581A (zh) 基于用户行为配置化的产品推荐方法、装置、设备及介质
CN115659026A (zh) 客户推荐方法、装置、电子设备及存储介质
CN114840595A (zh) 数据异步链路加工方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination