CN112905635A - 一种业务的处理方法、装置、设备及存储介质 - Google Patents

一种业务的处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112905635A
CN112905635A CN202110265469.8A CN202110265469A CN112905635A CN 112905635 A CN112905635 A CN 112905635A CN 202110265469 A CN202110265469 A CN 202110265469A CN 112905635 A CN112905635 A CN 112905635A
Authority
CN
China
Prior art keywords
service
processed
processing
data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110265469.8A
Other languages
English (en)
Inventor
蒋友鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Fenqile Network Technology Co ltd
Original Assignee
Shenzhen Fenqile Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Fenqile Network Technology Co ltd filed Critical Shenzhen Fenqile Network Technology Co ltd
Priority to CN202110265469.8A priority Critical patent/CN112905635A/zh
Publication of CN112905635A publication Critical patent/CN112905635A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种业务的处理方法、装置、设备及存储介质,该方法包括:获取当前时刻待处理的目标批处理业务组,并获取目标批处理业务组中的目标待处理业务;根据目标待处理业务,在至少一个业务数据库中获取匹配的业务数据,并根据业务数据生成业务数据表;其中,业务数据表与业务数据库一一对应;根据目标待处理业务,获取匹配的业务处理逻辑,并根据业务处理逻辑对业务数据表进行数据处理,以获取目标待处理业务的数据处理结果,实现了对待处理业务的批量处理,同时通过根据业务数据生成对应业务数据表,进而对业务数据表进行数据处理,以获取数据处理结果,减少了进行批量业务处理需要的时间,提升了批量业务处理效率。

Description

一种业务的处理方法、装置、设备及存储介质
技术领域
本发明实施例涉及网络技术领域,尤其涉及一种业务的处理方法、装置、设备及存储介质。
背景技术
随着互联网技术的高速发展,互联网用户基数不断上升,相关业务数据也越来越复杂。实现批量业务的高效处理与分析,对为用户提供需要的服务具有重要意义。
现有的业务处理方法,通常是将相关业务的数据信息存储在MySQL业务数据库中;在对匹配的业务数据进行处理时,需要把业务数据从MySQL业务数据库读取至线上程序;然后执行对应的处理逻辑对业务数据进行处理,以获取对应的数据处理结果,再将数据处理结果回写至MySQL业务数据库中。然而,在待处理业务数据量过大的情况下,这种方法需要耗费大量时间成本,数据处理效率低。
发明内容
本发明实施例提供了一种业务的处理方法、装置、设备及存储介质,以实现对批量业务的高效率处理。
第一方面,本发明实施例提供了一种业务的处理方法,包括:
获取当前时刻待处理的目标批处理业务组,并获取所述目标批处理业务组中的目标待处理业务;
根据所述目标待处理业务,在至少一个业务数据库中获取匹配的业务数据,并根据所述业务数据生成业务数据表;其中,所述业务数据表与所述业务数据库一一对应;
根据所述目标待处理业务,获取匹配的业务处理逻辑,并根据所述业务处理逻辑对所述业务数据表进行数据处理,以获取所述目标待处理业务的数据处理结果。
第二方面,本发明实施例提供了一种业务的处理装置,包括:
目标待处理业务获取模块,用于获取当前时刻待处理的目标批处理业务组,并获取所述目标批处理业务组中的目标待处理业务;
业务数据表生成模块,用于根据所述目标待处理业务,在至少一个业务数据库中获取匹配的业务数据,并根据所述业务数据生成业务数据表;其中,所述业务数据表与所述业务数据库一一对应;
数据处理结果获取模块,用于根据所述目标待处理业务,获取匹配的业务处理逻辑,并根据所述业务处理逻辑对所述业务数据表进行数据处理,以获取所述目标待处理业务的数据处理结果。
第三方面,本发明实施例还提供了一种电子设备,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例所述的业务的处理方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明任意实施例所述的业务的处理方法。
本发明实施例提供的技术方案,在获取当前时刻待处理的目标批处理业务组,并获取目标批处理业务组中的目标待处理业务后;根据目标待处理业务,在至少一个业务数据库中获取匹配的业务数据,并根据业务数据生成业务数据表;根据目标待处理业务,获取匹配的业务处理逻辑,并根据业务处理逻辑对业务数据表进行数据处理,以获取目标待处理业务的数据处理结果,实现了对待处理业务的批量处理,同时通过根据业务数据生成对应业务数据表,进而对业务数据表进行数据处理,以获取数据处理结果,减少了进行批量业务处理需要的时间,提升了批量业务处理效率。
附图说明
图1是本发明实施例一提供的一种业务的处理方法的流程图;
图2A是本发明实施例二提供的一种业务的处理系统的结构示意图;
图2B是本发明实施例二提供的一种业务的处理方法的流程示意图;
图3是本发明实施例三提供的一种业务的处理装置的结构框图;
图4是本发明实施例四提供的一种电子设备的结构框图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种业务的处理方法的流程图,本实施例可适用于在获取到包含大量待处理数据的业务时,对业务进行高效处理,该方法可以由本发明实施例二中的业务的处理装置来执行,该装置可以通过软件和/或硬件实现,并集成在电子设备上,典型地,可以集成在业务处理平台的服务器中,该方法具体包括如下步骤:
S110、获取当前时刻待处理的目标批处理业务组,并获取所述目标批处理业务组中的目标待处理业务。
批处理业务,是指不需要人工参与,即可对复杂数据进行自动高效地处理与分析的业务;例如,银行对账和利率的调整、跨数据库/系统的数据同步;通过批处理业务,可根据系统设定的工作步骤,定时(例如,每天、每周或每月)自动执行对大量业务数据的处理,可以极大提升业务处理的效率;其中,批处理业务的业务数据量可以达到千万甚至上亿的业务量级,在本发明实施例中,对批处理业务的业务数据的量级不作具体限定。
目标批处理业务组,是指当前时刻对应的所有待处理的批处理业务的集合,特别的,对于同一时刻待处理的批处理业务,其处理逻辑相同;目标批处理业务组中,批处理业务的数量可以是一个,也可以是多个。当目标批处理业务组中仅包含一个批处理业务时,表示当前时刻仅对应一个待处理的批处理业务;当目标批处理业务组中包含多个批处理业务时,表示存在多个批处理业务需要在当前时刻进行处理。特别的,在本发明实施例中,每一个待处理的批处理业务均对应一个执行时间与执行周期,例如,批处理业务A,对应执行时间为3:00,执行周期为一天,则在每天的3:00,定时执行批处理业务A。每个待处理的批处理业务在执行结束后,可能会仍然保留在该批处理业务组中,因此,对待处理的批处理业务的处理存在执行周期,不会在批处理业务组中将该业务移出;通过相同的处理逻辑,对同一时刻待处理的批处理业务进行集中处理,可以进一步提升业务处理的效率。
目标待处理业务,是指当前需要进行处理的批处理业务;其中,当目标批处理业务组中包含的待处理业务数量较少(例如,小于10个),未超过服务器的最大处理能力时,将当前时刻所有待处理业务确定为目标待处理业务,即同时对所有待处理业务进行处理;当目标批处理业务组中包含的待处理业务数量较多(例如,大于100个),超过服务器的最大处理能力,此时待处理业务的数量超出了业务处理系统的最大负荷能力,可以对所有待处理业务进行分批,按批次分别对待处理业务进行处理,例如,目标批处理业务组中包含的待处理业务数量为300个,而系统最大同时业务处理数量为100个,则将待处理业务分为3批依次进行处理,当前待处理批次的待处理业务即为目标待处理业务;通过在目标批处理业务组中确定目标待处理业务,可确保对目标待处理业务的有效处理。
可选的,在本发明实施例中,还可以包括:当获取到待处理业务时,配置所述待处理业务的执行时间,并根据所述待处理业务的执行时间,将所述待处理业务加入对应的批处理业务组中。具体的,当获取到待处理业务时,根据获取到待处理业务的时间,为待处理业务配置对应的执行时间,例如,在1:00至2:00内获取的待处理业务,统一配置执行时间为2:00,即对于这个时间段内获取到的待处理业务,均配置同一个执行时间;此外,当获取到待处理业务时,也可以根据待处理业务的业务类型,配置对应的执行时间,即相同类型的待处理业务,配置同一执行时间,不同的业务类型对应不同的执行时间;此时,每一个目标批处理业务组中包含的待处理业务,均属于同一个业务类型。通过为每一个待处理业务配置对应的执行时间,实现了待处理业务对应执行时间的获取,进而实现了对待处理业务的有序处理。
S120、根据所述目标待处理业务,在至少一个业务数据库中获取匹配的业务数据,并根据所述业务数据生成业务数据表;其中,所述业务数据表与所述业务数据库一一对应。
数据库,又称为数据管理系统,是将数据按照一定的方式储存在一起,能够让多个用户共享和尽可能减小冗余度的数据集合,用户可以对数据库中的数据运行新增、删除、修改以及查找等操作;本发明实施例中,数据库包括MySQL;MySQL,是一个开源的小型数据库管理系统,具有体积小、速度快以及总体拥有成本低的特点;通过采用MySQL储存业务数据,可以实现业务数据的快速查找与提取,进而可以提升业务处理的效率。
业务数据库,即所包含的数据信息为业务数据的数据库;其中,业务数据,是指与相关业务对应的数据信息,例如,用户的订单信息。业务数据的数据量通常非常庞大,通过业务数据库可实现对大量业务数据的储存与高效管理。特别的,一个待处理业务可以对应一个业务数据库,表示当前待处理业务对应的业务数据均储存在一个业务数据库中;也可以对应多个业务数据库,表示当前待处理业务对应的业务数据储存在多个不同的业务数据库中。在获取到目标待处理业务后,可根据每一个目标待处理业务,逐个在所有业务数据库中进行匹配业务数据的查找,以获取与当前目标待处理业务匹配的所有业务数据,实现了匹配业务数据的准确获取。
业务数据表,是指通过对业务数据进行ETL(Extraction TransformationLoading,抽取、转换和加载)处理,以获取的表格形式的数据;具体的,本发明实施例中,采用数据提取工具对匹配的业务数据进行数据抽取、数据转换以及数据加载,将分散和标准不统一的数据整合到一起,进而生成与业务数据对应的业务数据表。其中,数据提取工具包括Hive,Hive是一种数据仓库工具,可以存储、查询和分析存储在数据库中的大规模数据,通过Hive可以将结构化的业务数据文件映射为一张业务数据表;特别的,一个业务数据表对应一个数据库,即来自同一个数据库的业务数据对应形成一个业务数据表,也即业务数据表的数量与匹配数据库的数量一致;通过业务数据表,可以提升相关业务数据查找与处理的速度,进而进一步提升业务处理的效率。可选的,在本发明实施例中,在根据业务数据生成业务数据表后,可以将业务数据表在前端展示页面进行展示,以使用户可以直观的观察对应的业务数据;此外,还可以在生成业务数据表前,预先建立一定数量的预设格式(行和列的数量)的表格,在获取到对应的业务数据表后,将相关数据填入预设表格,可以提升获取业务数据表的速度。
可选的,在本发明实施例中,所述根据所述目标待处理业务,在至少一个业务数据库中获取匹配的业务数据,可以包括:获取与所述目标待处理业务对应的业务权限,并根据所述业务权限判断所述目标待处理业务是否具备业务数据库访问权限;若确定所述目标待处理业务具备业务数据库访问权限,则在至少一个业务数据库中获取匹配的业务数据。具体的,在根据目标待处理业务,在至少一个业务数据库中获取匹配的业务数据前,根据目标待处理业务,在预设权限信息中查找目标待处理业务对应的权限信息;并根据对应的权限信息判断当前目标待处理业务是否具有对应业务数据库的访问权限;只有在确定当前目标待处理业务具有相关访问权限时,才可以在对应的至少一个数据库中提取匹配的业务数据;其中,可预先为不同类型的业务配置对应的业务权限信息,并存储在本地。通过对目标待处理业务匹配的业务权限进行判断,避免了无权限业务对业务数据库的访问,提升了业务处理系统的安全性。
可选的,在本发明实施例中,在根据所述业务权限判断所述目标待处理业务是否具备业务数据库访问权限后,还可以包括:若确定所述目标待处理业务不具备业务数据库访问权限,则放弃所述目标待处理业务。具体的,若在预设权限信息中未查找到目标待处理业务对应的权限信息,或当前目标待处理业务对应的权限信息不包括对相应业务数据库的访问权限,则放弃当前目标待处理业务,即不执行任何数据处理操作;可选的,若确定当前目标待处理业务不具备业务数据库的访问权限,可上报提示信息,告知当前目标待处理业务无相关业务数据库的访问权限,可进一步提升业务处理系统的安全性。
S130、根据所述目标待处理业务,获取匹配的业务处理逻辑,并根据所述业务处理逻辑对所述业务数据表进行数据处理,以获取所述目标待处理业务的数据处理结果。
业务处理逻辑,是指对业务数据进行处理所采用的数学逻辑,可以是一系列数学运算的组合;其中,业务处理逻辑,可以在进行业务处理前,预先配置完成。具体的,在获取到目标待处理业务后,根据业务处理逻辑的预先配置信息,获取与目标待处理业务匹配的业务处理逻辑;并调用快速计算引擎,按照获取的匹配的业务处理逻辑对业务数据表进行数据处理,以获取数据处理结果。其中,计算引擎,包括Apache Spark;Apache Spark,是一种专为大规模数据处理而设计的快速计算引擎,可以在较短的时间内执行完成对亿级数据的处理,降低了对目标待处理业务进行处理所花费的时间,进一步提升了业务处理的效率。此外,用户可通过预设的调用接口,获取目标待处理对应的数据处理结果,其中,调用接口可基于远程过程调用协议(Remote Procedure Call Protocol,RPC);通过采用远程过程调用协议,将本地数据处理结果传输至用户端,实现了用户对数据处理结果的快速获取。
可选的,在本发明实施例中,可以根据时间信息,为不同的时刻或时间段预先配置对应的业务处理逻辑,即同一时刻或同一时间段内的待处理业务均按照同一个业务处理逻辑进行处理;也可以根据待处理业务的业务类型,为不同类型的待处理业务预先配置对应不同的业务处理逻辑,实现了对业务处理逻辑的灵活配置。对应的,根据目标待处理业务,获取匹配的业务处理逻辑,可以包括:根据目标待处理业务对应的当前时刻,获取与当前时刻对应的预先配置的业务处理逻辑,作为匹配的业务处理逻辑;或获取当前目标待处理业务对应的业务类型,并根据业务类型在多个预先配置的业务处理逻辑中,获取与当前业务类型匹配的业务处理逻辑,实现了根据目标待处理业务,对匹配的业务处理逻辑的灵活获取。
可选的,在本发明实施例中,在获取所述目标待处理业务的数据处理结果后,还可以包括:判断所述数据处理结果是否存在异常;若确定所述数据处理结果不存在异常,则根据所述数据处理结果更新所述业务数据表和所述业务数据库。具体的,由于对目标待处理业务的处理涉及到大量业务数据的处理,数据处理结果难免出现异常情况;故在获取到数据处理结果后,采用安全管理模块,对数据处理结果进行异常监控,以实现对数据处理结果的异常判断,只有在确定数据处理结果不存在任何异常情况时,即表示当前目标待处理业务的数据处理结果正常时,将数据处理结果添加至对应的业务数据表和业务数据库,以实现对业务处理表和业务数据库的更新。通过对数据处理结果的异常判断,获取正确的数据处理结果,实现了对目标待处理业务的准确处理,提升了业务处理的准确性。
可选的,在本发明实施例中,在判断所述数据处理结果是否存在异常后,还可以包括:若确定所述数据处理结果存在异常,则根据所述数据处理结果的异常类型,对所述业务数据表继续进行业务处理,直至获取的数据处理结果不存在异常时,根据不存在异常的数据处理结果更新所述业务数据表和所述业务数据库。具体的,若在对数据结果进行异常判断后,若发现数据处理结果不存在异常,将数据处理结果作为业务数据标识,对业务数据表和业务数据库进行更新;例如,将用户订单支付信息作为业务数据,通过对应的数据处理,数据处理结果为用户对应的信用等级,则将用户信用等级作为标识,对用户业务数据进行标记。
此外,若发现数据处理结果存在异常情况,例如,结果数值超过预设结果阈值,不符合常理,则可以将当前数据处理结果对应的业务数据表标记为异常业务数据表;进一步的,对数据处理结果的异常类型进行分析判断,以获取当前数据处理结果对应的异常类型;其中,数据处理结果的异常类型,包括:业务处理逻辑异常和数据处理执行异常;针对不同的异常类型,对标记的异常业务数据表采取对应不同的处理方式重新进行处理,直至获取的数据处理结果通过异常判断,并消除对异常业务数据表的标记。通过对存在异常的数据处理结果对应的业务数据表,重新进行业务处理,直至获取正常的数据处理结果,保证了最终获取的数据处理结果的准确性,进一步提升了业务处理的准确性。
其中,对数据处理结果的异常类型进行分析判断,以获取当前数据处理结果对应的异常类型,可以包括:在业务处理逻辑模块和计算引擎模块设置报警功能,当出现处理异常时,对应的模块发送告警信息,由此获取数据处理结果对应的异常类型;和/或对数据处理结果进行数值分析,若数据处理结果的数值超过预设结果阈值,表示当前数据处理结果为计算错误,对应的异常类型为数据处理执行异常;若数据处理结果的数值的格式与预设结果格式不一致,表示对应的业务处理逻辑存在问题,对应的异常类型为业务处理逻辑异常。通过上述方法对数据处理结果的异常类型进行判断,实现了异常类型的获取,进而根据异常类型对对应的业务数据表进行后续的处理,进一步提升了业务处理的准确性。
可选的,在本发明实施例中,所述根据所述数据处理结果的异常类型,对所述业务数据表继续进行业务处理,可以包括:若所述数据处理结果的异常类型为业务处理逻辑异常,则根据所述目标待处理业务,获取匹配的备用业务处理逻辑,并根据所述备用业务处理逻辑对所述业务数据进行数据处理,直至获取的数据处理结果不存在异常,或者无法获取到与所述目标待处理业务匹配的备用业务处理逻辑。业务处理逻辑异常,是指当前目标待处理业务匹配的业务处理逻辑错误,由此导致的数据处理结果异常。备用业务处理逻辑,是指预先配置的,在目标业务处理逻辑出现异常时所执行的业务处理逻辑;其中,每一个目标业务处理逻辑可对应一个或多个备用业务处理逻辑。
具体的,在目标待处理业务匹配的业务处理逻辑出现异常时,获取当前业务处理逻辑对应的备用业务处理逻辑;并逐个按照备用业务处理逻辑对目标待处理业务进行新的业务处理,当根据某一个备用业务处理逻辑,获取到正常的数据处理结果,则结束对当前目标待处理业务的处理;或者当所有的备用业务处理逻辑均执行完毕,但仍然未获取到正常的数据处理结果,则结束对当前待处理业务的处理,并发送告警信息。通过设置备用业务处理逻辑,避免了由业务处理逻辑错误导致的无法获取正确的数据处理结果,提升了业务处理系统的抗风险能力,同时提升了获取的数据处理结果的准确性。
可选的,在本发明实施例中,所述根据所述数据处理结果的异常类型,对所述业务数据表继续进行业务处理,还可以包括:若所述数据处理结果的异常类型为数据处理执行异常,则根据所述业务处理逻辑对所述业务数据表继续进行数据处理,直至获取的数据处理结果不存在异常,或者数据处理次数超过预设数量阈值。数据处理执行异常,是指对业务数据的计算过程存在异常。具体的,当数据处理结果的异常类型为数据处理执行异常时,表示数据计算存在错误,则根据当前的业务处理逻辑重新对业务数据表进行数据处理,直至获取到正常的数据处理结果;或者在经过预设数量阈值次数的重新计算后,仍然无法获取到正确的数据处理结果,则结束对当前目标待处理业务的处理,并发送告警信息;通过在发生数据处理执行异常时,重新进行对业务数据表的处理,极大程度的避免了由数据处理执行异常导致的数据处理结果错误,进一步提升了业务处理系统的抗风险能力,以及获取到的数据处理结果的准确性。
本发明实施例提供的技术方案,在获取当前时刻待处理的目标批处理业务组,并获取目标批处理业务组中的目标待处理业务后;根据目标待处理业务,在至少一个业务数据库中获取匹配的业务数据,并根据业务数据生成业务数据表;根据目标待处理业务,获取匹配的业务处理逻辑,并根据业务处理逻辑对业务数据表进行数据处理,以获取目标待处理业务的数据处理结果,实现了对待处理业务的批量处理,同时通过根据业务数据生成对应业务数据表,进而对业务数据表进行数据处理,以获取数据处理结果,减少了进行批量业务处理需要的时间,提升了批量业务处理效率。
实施例二
图2A是本发明实施例二所提供的一种业务的处理系统的结构示意图,该系统可以执行本发明实施例一所提供的一种业务的处理方法,业务的处理系统,包括:业务层、门面层、接入层、核心层和数据层;
业务层,用于获取待处理的批处理业务;门面层,包括ETL配置模块、任务调度配置模块和权限管理模块,其中,ETL配置模块,用于对数据库中的业务数据进行数据抽取、转换和加载操作,以生成对应的业务数据表;任务调度模块,用于为待处理业务配置对应的执行时间;权限管理模块,用于对待处理业务进行权限判断,以确定当前待处理业务是否具有访问相关数据库的权限;接入层,包括接口调用模块,其中,接口调用模块,用于通过预设调用接口将数据处理结果发送至对应用户;核心层,包括业务逻辑模块、处理引擎模块和调度模块,其中,业务逻辑模块,用于根据当前待处理业务获取匹配的业务处理逻辑,处理引擎模块,用于按照匹配的业务处理逻辑,对数据库中获取的业务数据进行计算;调度模块,用于调度对应的处理引起模块执行数据处理操作;数据层,用于存储与管理业务的处理系统中的所有数据,包括数据库中的业务数据和业务数据表。此外,在接入层、核心层以及数据层中还存在异常监控模块,用于监控业务接入和数据处理过程中的异常情况,并发送对应的告警信息。
具体的,图2B是应用于上述业务的处理系统中的一种业务的处理方法的流程示意图;ETL配置模块在MySQL数据库中提取与当前待处理业务对应的业务数据,并根据业务数据生成对应的Hive业务数据表;调度模块通过调用对应的处理引擎模块开始进行对当前目标待处理业务的处理;同时,调用模块可根据不同业务对应的不同数据库,对Hive业务数据表的数据源进行更新;在开始对当前目标待处理业务进行处理后,通过业务逻辑模块确定匹配的业务处理逻辑,并由处理引擎模块根据匹配的业务处理逻辑对Hive业务数据表进行处理,以获取数据处理结果;在获取到数据处理结果后,由异常监控模块判断当前数据处理结果是否存在异常;若确定当前数据处理结果存在异常,则继续对当前Hive业务数据表进行数据处理,直至获取的数据处理结果为正确数据处理结果,并采用获取的正确数据处理结果对Hive业务数据表和MySQL数据库进行更新;若确定当前数据处理结果不存在异常,则直接根据当前正确数据处理结果对Hive业务数据表和MySQL数据库进行更新。
本发明实施例提供的技术方案,在获取当前时刻待处理的目标批处理业务组,并获取目标批处理业务组中的目标待处理业务后;根据目标待处理业务,在至少一个业务数据库中获取匹配的业务数据,并根据业务数据生成业务数据表;根据目标待处理业务,获取匹配的业务处理逻辑,并根据业务处理逻辑对业务数据表进行数据处理,以获取目标待处理业务的数据处理结果,实现了对待处理业务的批量处理,同时通过根据业务数据生成对应业务数据表,进而对业务数据表进行数据处理,以获取数据处理结果,减少了进行批量业务处理需要的时间,提升了批量业务处理效率。
实施例三
图3是本发明实施例三所提供的一种业务的处理装置的结构框图,该装置具体包括:目标待处理业务获取模块310、业务数据表生成模块320和数据处理结果获取模块330;
目标待处理业务获取模块310,用于获取当前时刻待处理的目标批处理业务组,并获取所述目标批处理业务组中的目标待处理业务;
业务数据表生成模块320,用于根据所述目标待处理业务,在至少一个业务数据库中获取匹配的业务数据,并根据所述业务数据生成业务数据表;其中,所述业务数据表与所述业务数据库一一对应;
数据处理结果获取模块330,用于根据所述目标待处理业务,获取匹配的业务处理逻辑,并根据所述业务处理逻辑对所述业务数据表进行数据处理,以获取所述目标待处理业务的数据处理结果。
本发明实施例提供的技术方案,在获取当前时刻待处理的目标批处理业务组,并获取目标批处理业务组中的目标待处理业务后;根据目标待处理业务,在至少一个业务数据库中获取匹配的业务数据,并根据业务数据生成业务数据表;根据目标待处理业务,获取匹配的业务处理逻辑,并根据业务处理逻辑对业务数据表进行数据处理,以获取目标待处理业务的数据处理结果,实现了对待处理业务的批量处理,同时通过根据业务数据生成对应业务数据表,进而对业务数据表进行数据处理,以获取数据处理结果,减少了进行批量业务处理需要的时间,提升了批量业务处理效率。
可选的,在上述技术方案的基础上,业务的处理装置,还包括:
时间配置模块,用于当获取到待处理业务时,配置所述待处理业务的执行时间,并根据所述待处理业务的执行时间,将所述待处理业务加入对应的批处理业务组中。
可选的,在上述技术方案的基础上,业务的处理装置,还包括:
异常判断模块,用于判断所述数据处理结果是否存在异常;
数据库更新模块,用于若确定所述数据处理结果不存在异常,则根据所述数据处理结果更新所述业务数据表和所述业务数据库。
可选的,在上述技术方案的基础上,业务的处理装置,还包括:
业务处理模块,用于若确定所述数据处理结果存在异常,则根据所述数据处理结果的异常类型,对所述业务数据表继续进行业务处理,直至获取的数据处理结果不存在异常时,根据不存在异常的数据处理结果更新所述业务数据表和所述业务数据库。
可选的,在上述技术方案的基础上,业务处理模块,包括:
第一处理单元,用于若所述数据处理结果的异常类型为业务处理逻辑异常,则根据所述目标待处理业务,获取匹配的备用业务处理逻辑,并根据所述备用业务处理逻辑对所述业务数据进行数据处理,直至获取的数据处理结果不存在异常,或者无法获取到与所述目标待处理业务匹配的备用业务处理逻辑;
第二处理单元,用于若所述数据处理结果的异常类型为数据处理执行异常,则根据所述业务处理逻辑对所述业务数据表继续进行数据处理,直至获取的数据处理结果不存在异常,或者数据处理次数超过预设数量阈值。
可选的,在上述技术方案的基础上,业务数据表生成模块320,包括:
权限获取单元,用于获取与所述目标待处理业务对应的业务权限,并根据所述业务权限判断所述目标待处理业务是否具备业务数据库访问权限;
数据获取单元,用于若确定所述目标待处理业务具备业务数据库访问权限,则在至少一个业务数据库中获取匹配的业务数据。
可选的,在上述技术方案的基础上,业务数据表生成模块320,还包括:
业务放弃单元,用于若确定所述目标待处理业务不具备业务数据库访问权限,则放弃所述目标待处理业务。
上述装置可执行本发明任意实施例所提供的业务的处理方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明任意实施例提供的方法。
实施例四
图4为本发明实施例四提供的一种电子设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图4显示的电子设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示,电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,存储器28,连接不同系统组件(包括存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示,通常称为“硬盘驱动器”)。尽管图4中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该电子设备12交互的设备通信,和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与电子设备12的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明任意实施例提供的业务的处理方法。也即:获取当前时刻待处理的目标批处理业务组,并获取所述目标批处理业务组中的目标待处理业务;根据所述目标待处理业务,在至少一个业务数据库中获取匹配的业务数据,并根据所述业务数据生成业务数据表;其中,所述业务数据表与所述业务数据库一一对应;根据所述目标待处理业务,获取匹配的业务处理逻辑,并根据所述业务处理逻辑对所述业务数据表进行数据处理,以获取所述目标待处理业务的数据处理结果。
实施例五
本发明实施例五还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任意实施例所述的业务的处理方法;该方法包括:
获取当前时刻待处理的目标批处理业务组,并获取所述目标批处理业务组中的目标待处理业务;
根据所述目标待处理业务,在至少一个业务数据库中获取匹配的业务数据,并根据所述业务数据生成业务数据表;其中,所述业务数据表与所述业务数据库一一对应;
根据所述目标待处理业务,获取匹配的业务处理逻辑,并根据所述业务处理逻辑对所述业务数据表进行数据处理,以获取所述目标待处理业务的数据处理结果。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种业务的处理方法,其特征在于,包括:
获取当前时刻待处理的目标批处理业务组,并获取所述目标批处理业务组中的目标待处理业务;
根据所述目标待处理业务,在至少一个业务数据库中获取匹配的业务数据,并根据所述业务数据生成业务数据表;其中,所述业务数据表与所述业务数据库一一对应;
根据所述目标待处理业务,获取匹配的业务处理逻辑,并根据所述业务处理逻辑对所述业务数据表进行数据处理,以获取所述目标待处理业务的数据处理结果。
2.根据权利要求1所述的方法,其特征在于,还包括:
当获取到待处理业务时,配置所述待处理业务的执行时间,并根据所述待处理业务的执行时间,将所述待处理业务加入对应的批处理业务组中。
3.根据权利要求1所述的方法,其特征在于,在获取所述目标待处理业务的数据处理结果后,还包括:
判断所述数据处理结果是否存在异常;
若确定所述数据处理结果不存在异常,则根据所述数据处理结果更新所述业务数据表和所述业务数据库。
4.根据权利要求3所述的方法,其特征在于,在判断所述数据处理结果是否存在异常后,还包括:
若确定所述数据处理结果存在异常,则根据所述数据处理结果的异常类型,对所述业务数据表继续进行业务处理,直至获取的数据处理结果不存在异常时,根据不存在异常的数据处理结果更新所述业务数据表和所述业务数据库。
5.根据权利要求4所述的方法,其特征在于,所述根据所述数据处理结果的异常类型,对所述业务数据表继续进行业务处理,包括:
若所述数据处理结果的异常类型为业务处理逻辑异常,则根据所述目标待处理业务,获取匹配的备用业务处理逻辑,并根据所述备用业务处理逻辑对所述业务数据进行数据处理,直至获取的数据处理结果不存在异常,或者无法获取到与所述目标待处理业务匹配的备用业务处理逻辑;
若所述数据处理结果的异常类型为数据处理执行异常,则根据所述业务处理逻辑对所述业务数据表继续进行数据处理,直至获取的数据处理结果不存在异常,或者数据处理次数超过预设数量阈值。
6.根据权利要求1所述的方法,其特征在于,所述根据所述目标待处理业务,在至少一个业务数据库中获取匹配的业务数据,包括:
获取与所述目标待处理业务对应的业务权限,并根据所述业务权限判断所述目标待处理业务是否具备业务数据库访问权限;
若确定所述目标待处理业务具备业务数据库访问权限,则在至少一个业务数据库中获取匹配的业务数据。
7.根据权利要求6所述的方法,其特征在于,在根据所述业务权限判断所述目标待处理业务是否具备业务数据库访问权限后,还包括:
若确定所述目标待处理业务不具备业务数据库访问权限,则放弃所述目标待处理业务。
8.一种业务的处理装置,其特征在于,包括:
目标待处理业务获取模块,用于获取当前时刻待处理的目标批处理业务组,并获取所述目标批处理业务组中的目标待处理业务;
业务数据表生成模块,用于根据所述目标待处理业务,在至少一个业务数据库中获取匹配的业务数据,并根据所述业务数据生成业务数据表;其中,所述业务数据表与所述业务数据库一一对应;
数据处理结果获取模块,用于根据所述目标待处理业务,获取匹配的业务处理逻辑,并根据所述业务处理逻辑对所述业务数据表进行数据处理,以获取所述目标待处理业务的数据处理结果。
9.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的业务的处理方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的业务的处理方法。
CN202110265469.8A 2021-03-11 2021-03-11 一种业务的处理方法、装置、设备及存储介质 Pending CN112905635A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110265469.8A CN112905635A (zh) 2021-03-11 2021-03-11 一种业务的处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110265469.8A CN112905635A (zh) 2021-03-11 2021-03-11 一种业务的处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112905635A true CN112905635A (zh) 2021-06-04

Family

ID=76104818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110265469.8A Pending CN112905635A (zh) 2021-03-11 2021-03-11 一种业务的处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112905635A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590634A (zh) * 2021-08-18 2021-11-02 深圳鼎盛电脑科技有限公司 业务数据处理方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106649796A (zh) * 2016-12-28 2017-05-10 中国建设银行股份有限公司 一种数据处理方法及装置
CN107291720A (zh) * 2016-03-30 2017-10-24 阿里巴巴集团控股有限公司 一种实现批量数据处理的方法、系统和计算机集群
CN108062356A (zh) * 2017-11-27 2018-05-22 口碑(上海)信息技术有限公司 批量数据处理系统和方法
CN108196977A (zh) * 2017-11-28 2018-06-22 口碑(上海)信息技术有限公司 批量数据回滚方法以及装置
CN110308980A (zh) * 2019-06-27 2019-10-08 深圳前海微众银行股份有限公司 数据的批量处理方法、装置、设备及存储介质
CN110765102A (zh) * 2019-09-25 2020-02-07 苏宁云计算有限公司 业务数据的处理方法、装置、计算机设备和存储介质
CN110910238A (zh) * 2019-11-21 2020-03-24 中国银行股份有限公司 一种银行系统的数据处理方法及装置
CN111061715A (zh) * 2019-12-16 2020-04-24 北京邮电大学 基于Web和Kafka的分布式数据集成系统及方法
CN111506410A (zh) * 2020-04-21 2020-08-07 北京思特奇信息技术股份有限公司 一种后台批量处理业务的优化方法、系统和存储介质
CN112860706A (zh) * 2021-03-11 2021-05-28 深圳鼎盛电脑科技有限公司 一种业务的处理方法、装置、设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291720A (zh) * 2016-03-30 2017-10-24 阿里巴巴集团控股有限公司 一种实现批量数据处理的方法、系统和计算机集群
CN106649796A (zh) * 2016-12-28 2017-05-10 中国建设银行股份有限公司 一种数据处理方法及装置
CN108062356A (zh) * 2017-11-27 2018-05-22 口碑(上海)信息技术有限公司 批量数据处理系统和方法
CN108196977A (zh) * 2017-11-28 2018-06-22 口碑(上海)信息技术有限公司 批量数据回滚方法以及装置
CN110308980A (zh) * 2019-06-27 2019-10-08 深圳前海微众银行股份有限公司 数据的批量处理方法、装置、设备及存储介质
CN110765102A (zh) * 2019-09-25 2020-02-07 苏宁云计算有限公司 业务数据的处理方法、装置、计算机设备和存储介质
CN110910238A (zh) * 2019-11-21 2020-03-24 中国银行股份有限公司 一种银行系统的数据处理方法及装置
CN111061715A (zh) * 2019-12-16 2020-04-24 北京邮电大学 基于Web和Kafka的分布式数据集成系统及方法
CN111506410A (zh) * 2020-04-21 2020-08-07 北京思特奇信息技术股份有限公司 一种后台批量处理业务的优化方法、系统和存储介质
CN112860706A (zh) * 2021-03-11 2021-05-28 深圳鼎盛电脑科技有限公司 一种业务的处理方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
金琦;刘宗凡;邱元阳;倪俊杰;杨磊;邵建勋;: "漫谈大数据时代的数据架构设计", 中国信息技术教育, no. 4, 15 August 2020 (2020-08-15), pages 121 - 126 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590634A (zh) * 2021-08-18 2021-11-02 深圳鼎盛电脑科技有限公司 业务数据处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US9009175B2 (en) System and method for database migration and validation
CN112860706A (zh) 一种业务的处理方法、装置、设备及存储介质
CN112162980A (zh) 数据质量管控方法及系统、存储介质、电子设备
CN110555072A (zh) 数据访问方法、装置、设备和介质
CN110737594A (zh) 自动生成测试用例的数据库标准符合性测试方法及装置
CN113011653A (zh) 一种刀具管理方法、系统及计算机可读存储介质
CN110990445A (zh) 一种数据处理方法、装置、设备和介质
CN112948396A (zh) 数据存储方法、装置、电子设备及存储介质
CN112905635A (zh) 一种业务的处理方法、装置、设备及存储介质
CN109669977A (zh) 跨数据库的数据接入方法、装置、计算机设备及存储介质
CN111367813B (zh) 决策引擎自动化测试方法、装置、服务器及存储介质
CN111324653B (zh) 一种离线数据的采集方法、装置、设备及存储介质
CN112579632A (zh) 一种数据核验方法、装置、设备和介质
CN111367982A (zh) 导入tririga基础数据的方法、装置、计算机设备及存储介质
CN111784176A (zh) 一种数据处理方法、装置、服务器及介质
CN113010208B (zh) 一种版本信息的生成方法、装置、设备及存储介质
CN113792138B (zh) 报表生成方法、装置、电子设备及存储介质
CN115438056A (zh) 一种数据获取方法、装置、设备以及存储介质
CN112035159B (zh) 一种稽核模型的配置方法、装置、设备及存储介质
CN110515954B (zh) 一种数据处理方法、装置、设备和存储介质
CN114925050A (zh) 基于知识库的数据核查方法、装置、电子设备及存储介质
CN113138906A (zh) 一种调用链数据采集方法、装置、设备及存储介质
CN113139881A (zh) 双电源用户主供电源识别方法、装置、设备及存储介质
CN113850454A (zh) 基于工业神经网络的零件制造方法、装置、设备及介质
CN111079991A (zh) 一种业务指标预测方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination