CN116737753A - 业务数据处理方法、装置、计算机设备和存储介质 - Google Patents
业务数据处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN116737753A CN116737753A CN202310689070.1A CN202310689070A CN116737753A CN 116737753 A CN116737753 A CN 116737753A CN 202310689070 A CN202310689070 A CN 202310689070A CN 116737753 A CN116737753 A CN 116737753A
- Authority
- CN
- China
- Prior art keywords
- resource interaction
- field
- mapping relation
- sql
- unified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 16
- 230000003993 interaction Effects 0.000 claims abstract description 186
- 238000013507 mapping Methods 0.000 claims abstract description 138
- 238000004590 computer program Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 26
- 230000002452 interceptive effect Effects 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013497 data interchange Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种业务数据处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取业务计量规则和映射关系，所述映射关系包括资源交互元数据表字段与统一字段的映射关系；根据所述业务计量规则和所述映射关系生成目标资源交互系统的结构化查询语言SQL统计语句；基于所述目标资源交互系统的SQL统计语句，获取所述资源交互元数据表字段对应的资源交互元数据，并进行计算。采用本方法能够读取更多的数据，提高数据的丰富程度；同时便于修改业务计量规则和实施统一的业务计量规则。
Description
技术领域
本申请涉及大数据技术领域，特别是涉及一种业务数据处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
在互联网金融大数据信息时代下，数据处理有了新的涵义，云计算等数字化技术的产生，数据处理成为数据和信息的一种技术性手段。伴随着计算机的发展，出现了多源异构数据同化的技术，海量分散的多源异构数据存在于不同的系统中，数据的分散加大增加了数据处理与统计的难度，且各个系统之间的数据定义往往存在很大差异，数据很难有效地被查找和使用。
传统技术中通过拆分、重组数据处理脚本、算法解析数据对象和对象关系以及转化数据格式等方式对多源异构数据进行处理，然而现有技术存在着数据读取不全面的问题，无法有效地查询源数据，限制了源数据的使用。
发明内容
基于此，有必要针对上述技术问题，提供一种能够增强扩展性的业务数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种业务数据处理方法。所述方法包括：
获取业务计量规则和映射关系，所述映射关系包括资源交互元数据表字段与统一字段的映射关系；
根据所述业务计量规则和所述映射关系生成目标资源交互系统的结构化查询语言SQL统计语句；
基于所述目标资源交互系统的SQL统计语句，获取所述资源交互元数据表字段对应的资源交互元数据，并进行计算。
在其中一个实施例中，所述根据所述业务计量规则和所述映射关系生成目标资源交互系统的结构化查询语言SQL统计语句，包括，根据所述业务计量规则和所述映射关系中的统一字段生成初始SQL统计语句；将用于表征目标资源交互系统的数据库表标识替换所述初始SQL统计语句中的表标识，以及将表征目标资源交互系统的数据库表中的字段替换所述初始SQL统计语句中的统一字段，生成目标资源交互系统的SQL统计语句。
在其中一个实施例中，所述映射关系包括同一资源交互系统中资源交互元数据在不同数据库表所属的字段和统一字段之间的映射关系、及不同资源交互系统中资源交互元数据在数据库表所属的字段和统一字段之间的映射关系。
在其中一个实施例中，所述映射关系还包括同一资源交互系统中两个数据库表通过相同字段建立关联关系，以及位于不同资源交互系统的两个数据库表通过相同字段建立关联关系。
在其中一个实施例中，当获取到新增资源交互元数据的信息，则重新执行所述获取业务计量规则和映射关系，并生成新的目标资源交互系统的SQL统计语句。
在其中一个实施例中，若存在相同所述资源交互元数据时，保留其中一个所述资源交互元数据，并将除保留外的所述资源交互元数据设置为无效。
第二方面，本申请还提供了一种业务数据处理装置。所述装置包括：
获取模块，用于获取业务计量规则和映射关系，所述映射关系包括资源交互元数据表字段与统一字段的映射关系；
生成模块，用于根据所述业务计量规则和所述映射关系生成目标资源交互系统的结构化查询语言SQL统计语句；
计算模块，用于基于所述目标资源交互系统的SQL统计语句，获取所述资源交互元数据表字段对应的资源交互元数据，并进行计算。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取业务计量规则和映射关系，所述映射关系包括资源交互元数据表字段与统一字段的映射关系；
根据所述业务计量规则和所述映射关系生成目标资源交互系统的结构化查询语言SQL统计语句；
基于所述目标资源交互系统的SQL统计语句，获取所述资源交互元数据表字段对应的资源交互元数据，并进行计算。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取业务计量规则和映射关系，所述映射关系包括资源交互元数据表字段与统一字段的映射关系；
根据所述业务计量规则和所述映射关系生成目标资源交互系统的结构化查询语言SQL统计语句；
基于所述目标资源交互系统的SQL统计语句，获取所述资源交互元数据表字段对应的资源交互元数据，并进行计算。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取业务计量规则和映射关系，所述映射关系包括资源交互元数据表字段与统一字段的映射关系；
根据所述业务计量规则和所述映射关系生成目标资源交互系统的结构化查询语言SQL统计语句；
基于所述目标资源交互系统的SQL统计语句，获取所述资源交互元数据表字段对应的资源交互元数据，并进行计算。
上述业务数据处理方法、装置、计算机设备、存储介质和计算机程序产品，获取业务计量规则和映射关系，所述映射关系包括资源交互元数据表字段与统一字段的映射关系；根据所述业务计量规则和所述映射关系生成目标资源交互系统的结构化查询语言SQL统计语句；基于所述目标资源交互系统的SQL统计语句，获取所述资源交互元数据表字段对应的资源交互元数据，并进行计算。通过获取预设的业务计量规则和资源交互元数据表字段与统一字段的映射关系，实现了同一系统不同数据库表的以及不同系统数据库表中字段的关联，由此根据字段映射关系，动态的生成SQL统计语句并进行业务任务的计算，通过映射关系在处理过程中的使用，可以读取更多的数据，提高数据的丰富程度；同时将变化的业务计量规则配置化，既便于修改业务计量规则又便于实施统一的业务计量规则。
附图说明
图1为一个实施例中业务数据处理方法的应用环境图；
图2为一个实施例中业务数据处理方法的流程示意图；
图3为一个实施例中根据业务计量规则和映射关系生成SQL统计语句的流程示意图；
图4为另一个实施例中业务数据处理方法的流程示意图；
图5为单系统中字段映射关系的示意图；
图6为多系统中字段映射关系的示意图
图7一个实施例中业务数据处理装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的业务数据处理方法，可以应用于如图1所示的应用环境中。其中，数据存储系统102可以是存储服务器104需要处理的数据，也可以是储存服务器104处理完成的数据。数据存储系统102可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端106通过网络与服务器104进行通信。服务器104从数据存储系统102获取业务计量规则和映射关系，所述映射关系包括资源交互元数据表字段与统一字段的映射关系；根据所述业务计量规则和所述映射关系生成目标资源交互系统的结构化查询语言SQL统计语句；基于所述目标资源交互系统的SQL统计语句，获取所述资源交互元数据表字段对应的资源交互元数据，并进行计算，将计算结果储存在数据存储系统102。其中，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。终端106可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等。
在一个实施例中，如图2所示，提供了一种业务数据处理方法，包括以下步骤S202至步骤S206。其中：
S202，获取业务计量规则和映射关系，所述映射关系包括资源交互元数据表字段与统一字段的映射关系。
其中，业务计量规则是指预设的计算业务活动的逻辑，业务计量规则可以针对不同的业务应用场景下进行修改，即业务计量规则随着业务的重心调整而变化。映射关系是指元数据表字段与统一字段之间的关系，其中，元数据是指从信息资源中抽取出来的用于说明其特征、内容的结构化的数据，用于组织、描述、检索、保存、管理信息和知识资源。统一字段是从不同资源交易系统中针对数据提取类似标识特征的字段。
可选地，处理器可以从数据仓库中获取业务计量规则和映射关系；处理器也可以从分布式文件系统中获取业务计量规则和映射关系。
可选地，该方法应用在金融业务数据场景下，批量计算系统可以获取存储在数据仓库中的业务计量规则和交易数据元数据表字段与统一交易字段之间的映射关系，其中业务计量规则可以是给业务类型设定计算权重，也可以是排除特定的业务类型。交易数据元数据表字段可以包括转账、缴费、贷款等。统一交易字段信息可以包括交易金额、交易时间、交易类型等，映射关系可以是统一字段和资源交互元数据之间的关系。
可选地，该方法还可以应用到其他场景下，如统计图片消息推送情况，计量规则可以是排除某格式的图片，图片元数据表字段可以是图片的文件类型、图片拍摄的时间、图片拍摄的设备类型、图片分辨率等，统一字段信息可以是设备型号、图片格式等，映射关系是统一字段和图片元数据字段之间的关系。如统计学生成绩，计量规则可以是不同科目设置有不同的权重，成绩元数据字段可以包括期中考试成绩、期末考试成绩、常规测试成绩，统一字段可以是考试成绩、考试科目、考试时间等，映射关系可以是统一字段和成绩元数据之间的关系。
S204，根据所述业务计量规则和所述映射关系生成目标资源交互系统的结构化查询语言SQL统计语句。
其中，结构化查询语言是指用于定义和处理关系数据库中的数据的一种标准化语言。资源交互系统是资源进行流转的平台，资源交互系统可以是一个，可以是多个。
可选地，处理器根据不同的业务计量规则和映射关系动态生成不同至少一个目标资源交互系统的结构化查询语言SQL统计语句。处理器可以根据一个目标资源交互系统提供的数据，根据业务计量规则和映射关系，生成目标资源交互系统的SQL统计语句；处理器也可以根据两个目标资源交互系统提供的数据，根据业务计量规则和映射关系，生成这两个目标资源交互系统的SQL统计语句。
S206，基于所述目标资源交互系统的SQL统计语句，获取所述资源交互元数据表字段对应的资源交互元数据，并进行计算。
可选地，处理器基于所述目标资源交互系统的SQL统计语句，从数据库表中获取述资源交互元数据表字段对应的资源交互元数据，使用组件读取目标资源交互数据，对目标资源交互数据相应SQL统计语句进行编码，将SQL统计语句转换成业务计算任务并进行计算。在一个可选地实施例中可以使用Spark sql组件进行计算，还可以使用MapReduce进行计算。Spark SQL是通用的分布式数据处理引擎，spark套件中一个模板，将数据的计算任务通过SQL的形式转换成了弹性分布式数据集(Resilient Distributed Dataset，简称RDD)的计算。MapReduce是面向大数据并行处理的计算模型、框架和平台。
上述业务数据处理方法中，通过获取预设的业务计量规则和资源交互元数据表字段与统一字段的映射关系，实现了同一系统不同数据库表的以及不同系统数据库表中字段的关联，由此根据字段映射关系，动态的生成SQL统计语句并进行业务任务的计算，通过映射关系在处理过程中的使用，可以读取更多的数据，提高数据的丰富程度；同时将变化的业务计量规则配置化，既便于修改业务计量规则又便于实施统一的业务计量规则。
在一个实施例中，如图3所示，所述根据所述业务计量规则和所述映射关系生成目标资源交互系统的结构化查询语言SQL统计语句包括：
S302，根据所述业务计量规则和所述映射关系中的统一字段生成初始SQL统计语句；
可选地，将业务计量规则、统一字段信息、存在不同系统中的元数据以及唯一系统编号的系统信息、统一字段信息和元数据字段之间的映射关系维护进计量系统，并同步至数据仓库；批量计算系统可以根据获取到的业务计量规则和所述映射关系生成初始SQL统计语句模板，业务计量规则的不同，生成初始SQL统计语句模板不同；统一字段的不同，生成初始SQL统计语句模板也不同。
S304，将用于表征目标资源交互系统的数据库表标识替换所述初始SQL统计语句中的表标识，以及将表征目标资源交互系统的数据库表中的字段替换所述初始SQL统计语句中的统一字段，生成目标资源交互系统的SQL统计语句。
在可选地一个实施例中，统一字段如，交易金额、员工编号和交易类型，要计算员工(员工编号为1234)的业绩分数，先计算各交易类型的业绩分数，业绩统计SQL为：SELECTSUM(交易金额)*业绩权重系数FROM(表名称)WHERE(员工编号)＝1234GROUP BY(交易类型)，再将各交易类型的业绩分数求和即可得到最终业绩分数。在具体计算时将表名称替换为要计算的表名称，并根据字段映射信息，用交易数据的具体字段替代SQL中的统一字段，这样就针对不同的系统表数据动态生成了SQL统计语句，可以统计其他员工业绩，如累计交易笔数、累计交易金额、活跃客户数、业绩排名等。具体统计交易金额如，若映射关系中的统一字段来自两个不同表，表之间通过某一字段如交易流水号关联，生成的业绩统计SQL将包括表关联关系，以业绩统计SQL为例：SELECT SUM(表1.交易金额)*业绩权重系数FROM表1INNER JOIN表2ON(表1.交易流水号)＝(表2.交易流水号)WHERE(表2.员工编号)＝1234GROUP BY(表1.交易类型)。
本实施例中，通过对初始SQL统计语句表标识以及统一字段的替换，能够达到动态生成不同的目标资源交互系统的SQL统计语句，实现了查询来源于不同资源交互系统的数据。
在一个实施例中，所述映射关系包括同一资源交互系统中资源交互元数据在不同数据库表所属的字段和统一字段之间的映射关系、及不同资源交互系统中资源交互元数据在数据库表所属的字段和统一字段之间的映射关系。
可选地，字段映射关系包括同一资源交互系统中资源交互元数据在不同数据库表所属的字段和统一字段之间的映射关系，如资源交互系统中存在数据库表1和数据库表2，数据库表1中的字段信息可以和统一字段建立映射关系，数据库表2中的字段信息也可以和统一字段建立映射关系。
可选地，不同资源交互系统中资源交互元数据在数据库表所属的字段和统一字段之间的映射关系，如资源交互系统1中数据库表字段信息可以和统一字段建立映射关系，资源交互系统2中数据库表字段信息也可以和统一字段建立映射关系。
本实施例中，通过建立相同的资源交互系统以及不同资源交互系统数据库表字段与统一字段的映射关系，能够查找和使用多个资源交互系统的数据。
在一个实施例中，所述映射关系还包括同一资源交互系统中两个数据库表通过相同字段建立关联关系，以及位于不同资源交互系统的两个数据库表通过相同字段建立关联关系。
可选地，所述映射关系可以是同一资源交互系统中两个数据库表中的任意相同字段建立关联关系，也可以是位于不同资源交互系统的两个数据库表通过任意相同字段建立关联关系。其中，相同字段既可以是与统一字段关联的字段，也可以是除统一字段外其他字段。
在一个示例性的实施例中，如图5所示，系统1将业绩计量所需的统一字段分别存储在数据库表1的字段2和数据库表2的字段3和字段4中，数据库表1和数据库表2通过各自相同的字段1建立关联关系。
在一个示例性的实施例中，如图6所示，统一字段分别存储在系统1数据库表1的字段1和字段3，及系统2数据库表1的字段4中，系统1数据库表1和系统2数据库表2通过系统1数据库表1字段4和系统2数据库表1字段1建立关联关系。
本实施例中，通过建立数据库表之间的关联关系，能够查找和使用存在相同资源交互系统不同数据库表以及不同资源交互系统的数据库表中的数据实现了跨系统跨数据库的业务数据的处理，同时将变化的业务计量规则配置化，避免了接入新的数据来源系统时需要单独开发业务计量统计逻辑的情况，既便于修改业务计量规则又便于实施统一的业务计量规则。
在一个实施例中，所述方法还包括：当获取到新增资源交互元数据的信息，则重新执行所述获取业务计量规则和映射关系，并生成新的目标资源交互系统的SQL统计语句。
可选地，资源交互系统定时推送增量数据至数据仓库；当获取到新增资源交互元数据的信息，则重新执行所述获取业务计量规则和映射关系。
可选地，各个资源交互系统是在不间断运行，定时以文本文件形式推送增量元数据信息至数据仓库；数据仓库使用Hive工具将增量元数据信息以数据库表形式存储；处理器获取到新增资源交互元数据的信息时，需要再次获取业务计量所需的业务计量规则和映射关系，所述映射关系包括资源交互元数据表字段与统一字段的映射关系；根据所述业务计量规则和所述映射关系生成目标资源交互系统的结构化查询语言SQL统计语句；基于所述目标资源交互系统的SQL统计语句，获取所述资源交互元数据表字段对应的资源交互元数据，并进行计算。
本实施例中，通过对增量数据的处理，能够在不断产生增量数据时，对系统数据进行更新。
在一个实施例中，所述方法还包括：若存在相同所述资源交互元数据时，保留其中一个所述资源交互元数据，并将除保留外的所述资源交互元数据设置为无效。
在一个具体的实施例中，出现两个完全相同的资源交互数据时，如字段名称、字段类型、字段长度均完全一致，则保留其中一个资源交互数据，将另一个资源交互数据设置为无效。
本实施例中，通过保留唯一资源交互数据，能够排除重复数据的干扰。
在一个实施例应用在金融场景中，如图4所示，通过计量系统提供的规则维护服务维护业绩计算所需的统一交易字段信息、业绩计算规则、交易系统信息、交易数据的元数据信息以及元数据信息中的交易字段与统一交易字段进行映射，并同步至数据仓库。
可选地，统一交易字段信息可以包括交易金额、交易时间、交易类型等。
可选地，业绩计算规则可以是各交易类型业绩计算权重或者排除特定的交易类型。
可选地，交易系统信息可以是唯一的系统编号。
可选地，交易数据的元数据信息可以包括业务表名称、字段名称、字段类型、字段长度等。
可选地，若交易数据涉及多张数据表，还需提供多张表之间的关联关系，如可关联两表唯一数据的关联字段。
可选地，交易数据的元数据信息以及元数据信息中的交易字段与统一交易字段的映射关系可以是同一系统的数据库表中字段映射关系；也可以是多个系统的数据库表中字段映射关系。
可选地，同一系统的数据库表中字段映射关系如图5所示，系统1将业绩计量所需的统一字段分别存储在数据库表1的字段2和数据库表2的字段3和字段4中，数据库表1和数据库表2通过各自的字段1建立关联关系。此时，计量系统将存储的关系有：系统1表1与表2的关联关系，系统1表1字段2与统一字段1的映射关系，系统1表2字段3与统一字段2的映射关系，系统1表2字段4与统一字段3的映射关系。
可选地，多个系统间的数据库表可建立关联关系，也可支持跨系统的字段映射，如图6所示，计量所需的统一字段分别存储在系统1数据库表1的字段1和字段3，及系统2数据库表1的字段4中，系统1数据库表1和系统2数据库表2通过系统1数据库表1字段4和系统2数据库表1字段1建立关联关系。此时，计量系统将存储的关系有：系统1表1字段4和系统2表1字段1的关联关系，系统1表1字段1与统一字段1的映射关系，系统1表1字段3与统一字段2的映射关系，系统2表1字段4与统一字段3的映射关系。
各个交易系统以文本文件的形式定时推送增量数据，定时可以是每天固定某个时间点从交易系统数据库中卸载前一天的交易数据，文本文件的形式可以是文本文件(TXT)、轻量级数据交换格式(JSON)或者逗号分隔值文件(CSV)。文本文件的名称需包含数据日期、系统信息及表信息，文件数据内容为业绩计量所需的字段值，如文本文件名可以是：系统编号_业务表名称_数据日期；如数据文件每行内容格式可以是：交易流水号|交易时间|交易金额|交易类型|推荐员工编号。
数据仓库接收各交易系统推送的以文本文件形式存在的增量数据，解析所述增量数据的文件名称，获取系统编号及表信息，判断所述系统信息及元数据信息与所述文件名称是否匹配，若匹配，则通过初步校验，若不匹配，则拒绝处理；通过初步校验后，判断根据所述交易数据元数据信息与所述增量数据的内容格式是否匹配，若匹配，则通过校验；若不匹配，则拒绝处理。通过校验后，使用Hive对所述增量数据进行提取转化，将所述增量数据映射为数据库表，表名称如：系统编号_业务表名称，若数据库表已存在，则直接将本次所述增量数据加载至该表中。
批量计算系统进行业绩计算时根据表名称从数据仓库中获取相应的规则配置信息，根据字段映射关系及计量规则动态生成业绩统计sql语句，Spark SQL读取数据仓库中的数据，并将sql语句转换成计算任务并进行计算。比如要计算员工(员工编号为1234)的业绩分数，先计算各交易类型的业绩分数，账务类业绩统计SQL为：SELECT SUM(交易金额)*业绩权重系数FROM(表名称)WHERE(员工编号)＝1234GROUP BY(交易类型)，非账务类业绩统计SQL为：SELECT COUNT(1)*业绩权重系数FROM(表名称)WHERE(员工编号)＝1234GROUP BY(交易类型)，再将各交易类型的业绩分数求和即可得到最终业绩分数。在具体计算时将表名称替换为要计算的表名称，并根据字段映射信息，用交易数据的具体字段替代SQL中的统一字段，如交易金额、员工编号和交易类型，这样就针对不同的交易系统表数据动态生成了SQL统计语句。若映射关系中的统一字段来自两个不同表，表之间通过某一字段如交易流水号关联，生成的业绩统计SQL将包括表关联关系，以账务类业绩统计SQL为例：SELECT SUM(表1.交易金额)*业绩权重系数FROM表1INNER JOIN表2ON(表1.交易流水号)＝(表2.交易流水号)WHERE(表2.员工编号)＝1234GROUP BY(表1.交易类型)，还可以统计交易笔数、交易金额、活跃客户数、业绩分数、业绩排名等。将计算出的业绩结果数据存储至HBase中，存储时使用数据日期拼接员工编号作为该条统计数据在HBase中的行键，格式如：数据日期|员工编号，此种行键设计方便对员工的历史业绩数据进行查询，具体的统计业绩数据如交易笔数、交易金额、活跃客户数、业绩分数、业绩排名等，将存储至HBase列簇中。
计量系统提供业绩查询界面，通过查询界面提交查询请求，查询请求需要包含数据日期与员工编号，业绩计量系统从业绩数据存储查询当前员工的业绩数据，并返回结果至查询界面显示。员工可查询当前最新的业绩数据，也可选择具体的日期查询指定日期的历史业绩数据。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的业务数据处理方法的业务数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个业务数据处理装置实施例中的具体限定可以参见上文中对于业务数据处理方法的限定，在此不再赘述。
在一个实施例中，如图7所示，提供了一种业务数据处理装置，包括：获取模块701、生成模块702和计算模块703，其中：
获取模块701，用于获取业务计量规则和映射关系，所述映射关系包括资源交互元数据表字段与统一字段的映射关系；
生成模块702，用于根据所述业务计量规则和所述映射关系生成目标资源交互系统的结构化查询语言SQL统计语句；
计算模块703，用于基于所述目标资源交互系统的SQL统计语句，获取所述资源交互元数据表字段对应的资源交互元数据，并进行计算。
在一个实施例中，所述生成模块702还包括：
替换单元，将用于表征目标资源交互系统的数据库表标识替换所述初始SQL统计语句中的表标识，以及将表征目标资源交互系统的数据库表中的字段替换所述初始SQL统计语句中的统一字段，生成目标资源交互系统的SQL统计语句。
在一个实施例中，业务数据处理装置包括获取模块701、生成模块702和计算模块703，还包括：
更新模块，用于当获取到新增资源交互元数据的信息，则重新执行所述获取业务计量规则和映射关系，并生成新的目标资源交互系统的SQL统计语句。
在一个实施例中，业务数据处理装置包括获取模块701、生成模块702和计算模块703，还包括：
判断模块，用于判断若存在相同所述资源交互元数据时，保留其中一个所述资源交互元数据，并将除保留外的所述资源交互元数据设置为无效。
上述业务数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储业务数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种业务数据处理方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取业务计量规则和映射关系，所述映射关系包括资源交互元数据表字段与统一字段的映射关系；
根据所述业务计量规则和所述映射关系生成目标资源交互系统的结构化查询语言SQL统计语句；
基于所述目标资源交互系统的SQL统计语句，获取所述资源交互元数据表字段对应的资源交互元数据，并进行计算。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据所述业务计量规则和所述映射关系中的统一字段生成初始SQL统计语句；将用于表征目标资源交互系统的数据库表标识替换所述初始SQL统计语句中的表标识，以及将表征目标资源交互系统的数据库表中的字段替换所述初始SQL统计语句中的统一字段，生成目标资源交互系统的SQL统计语句。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：当获取到新增资源交互元数据的信息，则重新执行所述获取业务计量规则和映射关系，并生成新的目标资源交互系统的SQL统计语句。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：若存在相同所述资源交互元数据时，保留其中一个所述资源交互元数据，并将除保留外的所述资源交互元数据设置为无效。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取业务计量规则和映射关系，所述映射关系包括资源交互元数据表字段与统一字段的映射关系；
根据所述业务计量规则和所述映射关系生成目标资源交互系统的结构化查询语言SQL统计语句；
基于所述目标资源交互系统的SQL统计语句，获取所述资源交互元数据表字段对应的资源交互元数据，并进行计算。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据所述业务计量规则和所述映射关系中的统一字段生成初始SQL统计语句；将用于表征目标资源交互系统的数据库表标识替换所述初始SQL统计语句中的表标识，以及将表征目标资源交互系统的数据库表中的字段替换所述初始SQL统计语句中的统一字段，生成目标资源交互系统的SQL统计语句。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当获取到新增资源交互元数据的信息，则重新执行所述获取业务计量规则和映射关系，并生成新的目标资源交互系统的SQL统计语句。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：若存在相同所述资源交互元数据时，保留其中一个所述资源交互元数据，并将除保留外的所述资源交互元数据设置为无效。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取业务计量规则和映射关系，所述映射关系包括资源交互元数据表字段与统一字段的映射关系；
根据所述业务计量规则和所述映射关系生成目标资源交互系统的结构化查询语言SQL统计语句；
基于所述目标资源交互系统的SQL统计语句，获取所述资源交互元数据表字段对应的资源交互元数据，并进行计算。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据所述业务计量规则和所述映射关系中的统一字段生成初始SQL统计语句；将用于表征目标资源交互系统的数据库表标识替换所述初始SQL统计语句中的表标识，以及将表征目标资源交互系统的数据库表中的字段替换所述初始SQL统计语句中的统一字段，生成目标资源交互系统的SQL统计语句。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当获取到新增资源交互元数据的信息，则重新执行所述获取业务计量规则和映射关系，并生成新的目标资源交互系统的SQL统计语句。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：若存在相同所述资源交互元数据时，保留其中一个所述资源交互元数据，并将除保留外的所述资源交互元数据设置为无效。
需要说明的是，本申请所涉及的数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种业务数据处理方法，其特征在于，所述方法包括：
获取业务计量规则和映射关系，所述映射关系包括资源交互元数据表字段与统一字段的映射关系；
根据所述业务计量规则和所述映射关系生成目标资源交互系统的结构化查询语言SQL统计语句；
基于所述目标资源交互系统的SQL统计语句，获取所述资源交互元数据表字段对应的资源交互元数据，并进行计算。
2.根据权利要求1所述的方法，其特征在于，所述根据所述业务计量规则和所述映射关系生成目标资源交互系统的结构化查询语言SQL统计语句，包括：
根据所述业务计量规则和所述映射关系中的统一字段生成初始SQL统计语句；
将用于表征目标资源交互系统的数据库表标识替换所述初始SQL统计语句中的表标识，以及将表征目标资源交互系统的数据库表中的字段替换所述初始SQL统计语句中的统一字段，生成目标资源交互系统的SQL统计语句。
3.根据权利要求1所述的方法，其特征在于，所述映射关系包括同一资源交互系统中资源交互元数据在不同数据库表所属的字段和统一字段之间的映射关系、及不同资源交互系统中资源交互元数据在数据库表所属的字段和统一字段之间的映射关系。
4.根据权利要求3所述的方法，其特征在于，所述映射关系还包括同一资源交互系统中两个数据库表通过相同字段建立关联关系，以及位于不同资源交互系统的两个数据库表通过相同字段建立关联关系。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当获取到新增资源交互元数据的信息，则重新执行所述获取业务计量规则和映射关系，并生成新的目标资源交互系统的SQL统计语句。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若存在相同所述资源交互元数据时，保留其中一个所述资源交互元数据，并将除保留外的所述资源交互元数据设置为无效。
7.一种业务数据处理装置，其特征在于，所述装置包括：
获取模块，用于获取业务计量规则和映射关系，所述映射关系包括资源交互元数据表字段与统一字段的映射关系；
生成模块，用于根据所述业务计量规则和所述映射关系生成目标资源交互系统的结构化查询语言SQL统计语句；
计算模块，用于基于所述目标资源交互系统的SQL统计语句，获取所述资源交互元数据表字段对应的资源交互元数据，并进行计算。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310689070.1A CN116737753A (zh) | 2023-06-12 | 2023-06-12 | 业务数据处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310689070.1A CN116737753A (zh) | 2023-06-12 | 2023-06-12 | 业务数据处理方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116737753A true CN116737753A (zh) | 2023-09-12 |
Family
ID=87909163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310689070.1A Pending CN116737753A (zh) | 2023-06-12 | 2023-06-12 | 业务数据处理方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116737753A (zh) |
-
2023
- 2023-06-12 CN CN202310689070.1A patent/CN116737753A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10558659B2 (en) | Techniques for dictionary based join and aggregation | |
| Costa et al. | Big Data: State-of-the-art concepts, techniques, technologies, modeling approaches and research challenges | |
| US11989176B2 (en) | Data query method and apparatus, device, and computer-readable storage medium | |
| US20130166552A1 (en) | Systems and methods for merging source records in accordance with survivorship rules | |
| US9747349B2 (en) | System and method for distributing queries to a group of databases and expediting data access | |
| US10452639B2 (en) | Processing joins in a database system using zero data records | |
| US9477974B2 (en) | Method and systems for flexible and scalable databases | |
| US10877995B2 (en) | Building a distributed dwarf cube using mapreduce technique | |
| CN111506621B (zh) | 一种数据统计方法及装置 | |
| US20230024345A1 (en) | Data processing method and apparatus, device, and readable storage medium | |
| CN107506464A (zh) | 一种基于ES实现HBase二级索引的方法 | |
| US9652740B2 (en) | Fan identity data integration and unification | |
| US20150169656A1 (en) | Distributed database system | |
| CN112434015B (zh) | 数据存储的方法、装置、电子设备及介质 | |
| CN111427911A (zh) | 数据查询方法、装置、计算机设备和存储介质 | |
| US11436656B2 (en) | System and method for a real-time egocentric collaborative filter on large datasets | |
| WO2020190176A1 (ru) | Рекомендательная система подбора персонала с использованием машинного обучения и с понижением размерности многомерных данных и способ подбора персонала с использованием машинного обучения и с понижением размерности многомерных данных | |
| CN113127741B (zh) | 兼职岗位推荐系统中海量用户和岗位数据读写的缓存方法 | |
| CN111737537A (zh) | 基于图数据库的poi推荐方法、设备及介质 | |
| Hasan et al. | Data transformation from sql to nosql mongodb based on r programming language | |
| CN115658680A (zh) | 数据存储方法、数据查询方法和相关装置 | |
| Bao et al. | Query optimization of massive social network data based on hbase | |
| CN116737753A (zh) | 业务数据处理方法、装置、计算机设备和存储介质 | |
| CN111723129B (zh) | 报表生成方法、报表生成装置和电子设备 | |
| CN114048219A (zh) | 图数据库更新方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |