CN110851424A - 一种数据服务系统 - Google Patents

一种数据服务系统 Download PDF

Info

Publication number
CN110851424A
CN110851424A CN201911101496.0A CN201911101496A CN110851424A CN 110851424 A CN110851424 A CN 110851424A CN 201911101496 A CN201911101496 A CN 201911101496A CN 110851424 A CN110851424 A CN 110851424A
Authority
CN
China
Prior art keywords
data
service
layer
module
engine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911101496.0A
Other languages
English (en)
Inventor
苏志锋
张峰
郑积聪
林文奇
陈铭新
李晓敦
赵世辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp, CCB Finetech Co Ltd filed Critical China Construction Bank Corp
Priority to CN201911101496.0A priority Critical patent/CN110851424A/zh
Publication of CN110851424A publication Critical patent/CN110851424A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24552Database cache management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/252Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/283Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stored Programmes (AREA)

Abstract

本发明实施例公开了一种数据服务系统。包括:数据源层、维度模型抽象OLAP层、引擎层、服务层;所述数据源层包括多种数据库;所述多种数据库用于存放业务数据;所述业务数据包括离线数据和实时数据;所述OLAP层用于将从所述数据源层和/或缓存中获得的数据按照业务需求抽象为设定维度模型;所述引擎层包括函数接口和有向无环图DAG引擎,所述函数接口用于调用业务所需的函数,所述DAG引擎用于执行调用的函数,以实现对业务数据的逻辑计算;所述服务层用于对数据服务进行管理及提供运行维护。可以实现大型商业银行的数据服务,既可以满足数据类应用的要求,也可以满足在线交易类应用的要求。

Description

一种数据服务系统
技术领域
本发明实施例涉及数据服务技术领域,尤其涉及一种数据服务系统。
背景技术
在大数据平台中,数据经过实时流式处理和离线批量处理后,存放在Hadoop、关系数据库、MPP数据库或者Apache HBase等不同的数据库中,满足不同终端、不同场景和不同展示工具的用数需求。数据服务访问不同数据源中的数据,为数据报表、BI工具、仪表盘、数据挖掘工具等数据分析展现工具,提供统一的数据查询计算接口。在大型商业银行中,数据服务需要具备以下4个能力:1、统一的数据访问接口,屏蔽底层不同的存储和技术差异;2、满足复杂的数据分析和可视化需求,提供指标访问、报文、API、SDK等调用方式;3、提供MDX、SQL、Scala、Java等多种开发语言;4、兼容已有系统,避免重复开发和大批量迁移。
同时,大型商业银行的数据服务还有以下4个特点:1、作为全球化企业,内部员工数量大,因此,数据服务的用户数和并发量大;2、各个数据服务存在明显峰值;3、准确性要求高,不能使用近似算法,比如top-K近似排序算法;4、安全稳定性要求高,而数据类项目经常存在内存溢出,Perm区缓慢上涨等问题;也就是说,数据服务既要满足数据类应用的要求,也要满足在线交易类应用的要求。
现存数据服务开发存在3种方案:1、基于SQL的服务开发模式;2、基于自定义语言的开发模式;3、直接Java开发模式;但是,面对大型商业银行中多样的业务场景,严格的要求,复杂的用户需求,海量的业务条线;已经存在的三种解决方案很难满足实际应用需求。
发明内容
本发明实施例提供一种数据服务系统,以实现大型商业银行的数据服务,既可以满足数据类应用的要求,也可以满足在线交易类应用的要求。
第一方面,本发明实施例提供了一种数据服务系统,数据源层、维度模型抽象OLAP层、引擎层、服务层;
所述数据源层包括多种数据库;所述多种数据库用于存放业务数据;所述业务数据包括离线数据和实时数据;
所述OLAP层用于将从所述数据源层和/或缓存中获得的数据按照业务需求抽象为设定维度模型;
所述引擎层包括函数接口和有向无环图DAG引擎,所述函数接口用于调用业务所需的函数,所述DAG引擎用于执行调用的函数,以实现对业务数据的逻辑计算;
所述服务层用于对数据服务进行管理及提供运行维护。
进一步地,所述数据源层对所述业务数据按照业务领域进行分类,将分类后的数据按照类别存放至对应的数据库;所述多种数据库以宽表和窄表的形式存放数据。
进一步地,所述设定维度模型包括如下至少一种数据元素:维度、度量、聚合数据、成员数据、元组和立方体。
进一步地,所述OLAP层从数据源层和/或缓存中获取数据,包括:
按照数据查询条件依次从内存、Redis、汇总数据及明细数据中获取数据,直到获得满足查询条件的数据;
若没有获得满足查询条件的数据,则根据查询条件从数据源层获取数据。
进一步地,在所述OLAP层从数据源层和/或缓存中获取数据之后,还包括:
将获得的数据按照粒度缓存至内存或Redis中;
当检测到数据更新时,采用事件通知机制分别删除缓存至内存或或Redis与更新数据相关的各个粒度的数据。
进一步地,所述引擎层包括限流降级模块、认证授权模块、监控模块、配置管理模块、资源管理及缓存模块、测试及发布模块、可视化开发模块及数据资产模块;
所述限流降级模块用于当访问服务器的用户超过设定阈值或者满足设定条件时,对数据服务进行限流或者降低操作;
所述认证授权模块用于对资源权限的认证及授权;
所述监控模块用于根据服务器的访问记录生成日志,以对服务器进行监控;
所述配置管理模块用于调用配置参数,以实现数据服务;
所述资源管理及缓存模块用于根据访问量动态分配资源,并对行列数据、函数计算结果、API调用结果及数据服务返回值进行缓存;
所述测试及发布模块用于对新版本的测试及发布;
所述可视化开发模块用于数据服务接口的开发;
所述数据资产模块用于提供通用数据服务接口。
进一步地,还包括:服务网关;
所述服务网关为外部工具调用数据服务的入口,用于注册发布数据服务API及提供寻址服务。
本发明实施例提供的数据服务系统,包括:数据源层、维度模型抽象OLAP层、引擎层、服务层;数据源层包括多种数据库;多种数据库用于存放业务数据;业务数据包括离线数据和实时数据;OLAP层用于将从数据源层和/或缓存中获得的数据按照业务需求抽象为设定维度模型;引擎层包括函数接口和有向无环图DAG引擎,函数接口用于调用业务所需的函数,DAG引擎用于执行调用的函数,以实现对业务数据的逻辑计算;服务层用于对数据服务进行管理及提供运行维护。可以实现大型商业银行的数据服务,既可以满足数据类应用的要求,也可以满足在线交易类应用的要求。
附图说明
图1是本发明实施例一中的一种数据服务系统的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种数据服务系统的结构示意图,如图1所示,该系统由下向上包括:数据源层、维度模型抽象OLAP层、引擎层、服务层。其中,数据源层包括多种数据库;多种数据库用于存放业务数据;业务数据包括离线数据和实时数据;OLAP层用于将从数据源层和/或缓存中获得的数据按照业务需求抽象为设定维度模型;引擎层包括函数接口和有向无环图DAG引擎,函数接口用于调用业务所需的函数,DAG引擎用于执行调用的函数,以实现对业务数据的逻辑计算;服务层用于对数据服务进行管理及提供运行维护。
本实施例中,数据源层包括的数据库有Mysql/Oracle、Apache HBase、ApacheSolr和Apache Kylin等数据库。数据源层对业务数据按照业务领域进行分类,将分类后的数据按照类别存放至对应的数据库,同时可以存放明细数据和不同粒度的汇总数据。在数据库中,数据还可以以维度模型存放。数据源中的数据库可以以宽表和窄表的形式存放数据。
本实施例中,设定维度模型包括如下至少一种数据元素:维度、度量、聚合数据、成员数据、元组和立方体。OLAP层执行数据服务计算逻辑。内存或Redis中可以存储多维立方体完整模型,并采用查找表、索引、稀疏矩阵、分布式外部缓存等技术,解决大维度和海量事实表数据的内存存储问题。
具体的,OLAP层从数据源层和/或缓存中获取数据的过程可以是:按照数据查询条件依次从内存、Redis、汇总数据及明细数据中获取数据,直到获得满足查询条件的数据;若没有获得满足查询条件的数据,则根据查询条件从数据源层获取数据。在所述OLAP层从数据源层和/或缓存中获取数据之后,还包括如下步骤:将获得的数据按照粒度缓存至内存或Redis中;当检测到数据更新时,采用事件通知机制分别删除缓存至内存或或Redis与更新数据相关的各个粒度的数据。其中,数据粒度包括行列结果、汇总结果、函数调用结果及API调用结果等。
本实施例中,引擎层中的抽象函数接口和执行函数的有向无环图(DAG)引擎,实现数据计算逻辑,是跨数据源、多语言支持、多工具集成、API调用、计算逻辑复用的关键。SQL执行、Java函数、Scala函数、MDX、API调用、各种外部工具例如规则引擎调用等等,全部以插件形式,实现抽象函数接口,用户可以采用统一的编码逻辑使用不同数据源、不同工具、不同接口的功能。
本实施例中,引擎层包括限流降级模块、认证授权模块、监控模块、配置管理模块、资源管理及缓存模块、测试及发布模块、可视化开发模块及数据资产模块。限流降级模块用于当访问服务器的用户超过设定阈值或者满足设定条件时,对数据服务进行限流或者降低操作;认证授权模块用于对资源权限的认证及授权;监控模块用于根据服务器的访问记录生成日志,以对服务器进行监控;配置管理模块用于调用配置参数,以实现数据服务;资源管理及缓存模块用于根据访问量动态分配资源,并对行列数据、函数计算结果、API调用结果及数据服务返回值进行缓存;测试及发布模块用于对新版本的测试及发布;可视化开发模块用于数据服务接口的开发;数据资产模块用于提供通用数据服务接口。
对于限流降级模块,在数据服务系统中,对于热点数据服务,会在Redis中进行缓存。对于开门报表服务,存在数万用户同时访问同一个数据服务的情况,限流降级模块可以保证极端情况下服务器的正常运行。对于监控模块,一个服务接口,可以访问多个数据库,执行多条SQL语句,调用不同API,因此,生成的日志对于系统健康状况、性能调优、问题排查至关重要。对于可视化开发模块,通过界面操作既可完成数据服务接口开发,对于复杂逻辑计算需要在线编写SQL、Java、Scala等代码。对于数据资产模块,按照业务领域提供通用数据服务接口,应用只需要传递参数调用,或者简单组合就能够满足需求,降低数据服务接口数量。
本实施例中,数据服务系统还包括服务网关;服务网关为外部工具调用数据服务的入口,用于注册发布数据服务API及提供寻址服务。
其中,外部工具可以包括BI工具、仪表盘、短信及邮件等
本实施例的数据服务系统具有的效果是:丰富了数据服务功能,使其能够满足更多业务场景,充分发掘数据资产价值;不仅能够复用数据,也复用数据加工和计算逻辑的结果,降低项目实施成本;针对商业银行的业务场景复杂的特点,提供丰富的金融业务函数,并支持开发人员自定义函数,加快业务需求的实现;基于OLAP理论和标准SQL、MDX、Scala等语言,便于集成其他工具,降低升级维护难度。
本发明实施例提供的数据服务系统,包括:数据源层、维度模型抽象OLAP层、引擎层、服务层;数据源层包括多种数据库;多种数据库用于存放业务数据;业务数据包括离线数据和实时数据;OLAP层用于将从数据源层和/或缓存中获得的数据按照业务需求抽象为设定维度模型;引擎层包括函数接口和有向无环图DAG引擎,函数接口用于调用业务所需的函数,DAG引擎用于执行调用的函数,以实现对业务数据的逻辑计算;服务层用于对数据服务进行管理及提供运行维护。可以实现大型商业银行的数据服务,既可以满足数据类应用的要求,也可以满足在线交易类应用的要求。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (7)

1.一种数据服务系统,其特征在于,包括:数据源层、维度模型抽象OLAP层、引擎层和服务层;
所述数据源层包括多种数据库;所述多种数据库用于存放业务数据;所述业务数据包括离线数据和实时数据;
所述OLAP层用于将从所述数据源层和/或缓存中获得的数据按照业务需求抽象为设定维度模型;
所述引擎层包括函数接口和有向无环图DAG引擎,所述函数接口用于调用业务所需的函数,所述DAG引擎用于执行调用的函数,以实现对业务数据的逻辑计算;
所述服务层用于对数据服务进行管理及提供运行维护。
2.根据权利要求1所述的系统,其特征在于,所述数据源层对所述业务数据按照业务领域进行分类,将分类后的数据按照类别存放至对应的数据库;所述多种数据库以宽表和窄表的形式存放数据。
3.根据权利要求1所述的系统,其特征在于,所述设定维度模型包括如下至少一种数据元素:维度、度量、聚合数据、成员数据、元组和立方体。
4.根据权利要求1所述的系统,其特征在于,所述OLAP层从数据源层和/或缓存中获取数据,包括:
按照数据查询条件依次从内存、Redis、汇总数据及明细数据中获取数据,直到获得满足查询条件的数据;
若没有获得满足查询条件的数据,则根据查询条件从数据源层获取数据。
5.根据权利要求4所述的系统,其特征在于,在所述OLAP层从数据源层和/或缓存中获取数据之后,还包括:
将获得的数据按照粒度缓存至内存或Redis中;
当检测到数据更新时,采用事件通知机制分别删除缓存至内存或或Redis与更新数据相关的各个粒度的数据。
6.根据权利要求1所述的系统,其特征在于,所述引擎层包括限流降级模块、认证授权模块、监控模块、配置管理模块、资源管理及缓存模块、测试及发布模块、可视化开发模块及数据资产模块;
所述限流降级模块用于当访问服务器的用户超过设定阈值或者满足设定条件时,对数据服务进行限流或者降低操作;
所述认证授权模块用于对资源权限的认证及授权;
所述监控模块用于根据服务器的访问记录生成日志,以对服务器进行监控;
所述配置管理模块用于调用配置参数,以实现数据服务;
所述资源管理及缓存模块用于根据访问量动态分配资源,并对行列数据、函数计算结果、API调用结果及数据服务返回值进行缓存;
所述测试及发布模块用于对新版本的测试及发布;
所述可视化开发模块用于数据服务接口的开发;
所述数据资产模块用于提供通用数据服务接口。
7.根据权利要求1所述的系统,其特征在于,还包括:服务网关;
所述服务网关为外部工具调用数据服务的入口,用于注册发布数据服务API及提供寻址服务。
CN201911101496.0A 2019-11-12 2019-11-12 一种数据服务系统 Pending CN110851424A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911101496.0A CN110851424A (zh) 2019-11-12 2019-11-12 一种数据服务系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911101496.0A CN110851424A (zh) 2019-11-12 2019-11-12 一种数据服务系统

Publications (1)

Publication Number Publication Date
CN110851424A true CN110851424A (zh) 2020-02-28

Family

ID=69600028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911101496.0A Pending CN110851424A (zh) 2019-11-12 2019-11-12 一种数据服务系统

Country Status (1)

Country Link
CN (1) CN110851424A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767093A (zh) * 2020-06-29 2020-10-13 北京字节跳动网络技术有限公司 数据处理方法、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704608A (zh) * 2017-10-17 2018-02-16 北京览群智数据科技有限责任公司 一种olap多维分析和数据挖掘系统
CN107786379A (zh) * 2017-11-15 2018-03-09 四川省龙逸凤集网络科技有限公司 一种基于微服务架构的分层云管理平台
CN109344186A (zh) * 2018-08-23 2019-02-15 成都四方伟业软件股份有限公司 一种bi系统多源数据库跨源跨库融合系统和融合方法
CN109992246A (zh) * 2017-12-30 2019-07-09 广州明领基因科技有限公司 基于Web架构的海量网络大数据挖掘系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704608A (zh) * 2017-10-17 2018-02-16 北京览群智数据科技有限责任公司 一种olap多维分析和数据挖掘系统
CN107786379A (zh) * 2017-11-15 2018-03-09 四川省龙逸凤集网络科技有限公司 一种基于微服务架构的分层云管理平台
CN109992246A (zh) * 2017-12-30 2019-07-09 广州明领基因科技有限公司 基于Web架构的海量网络大数据挖掘系统
CN109344186A (zh) * 2018-08-23 2019-02-15 成都四方伟业软件股份有限公司 一种bi系统多源数据库跨源跨库融合系统和融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李柯: "基于数据仓库和OLAP的民航灾害预警决策支持系统", 《西南交通大学学报》 *
田萍芳: "《面向云出版的语义关键技术》", 30 April 2015, 武汉大学出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767093A (zh) * 2020-06-29 2020-10-13 北京字节跳动网络技术有限公司 数据处理方法、设备和存储介质
CN111767093B (zh) * 2020-06-29 2023-08-08 抖音视界有限公司 数据处理方法、设备和存储介质

Similar Documents

Publication Publication Date Title
US11620306B2 (en) Low-latency predictive database analysis
US10216782B2 (en) Processing of updates in a database system using different scenarios
US9218408B2 (en) Method for automatically creating a data mart by aggregated data extracted from a business intelligence server
US20130191523A1 (en) Real-time analytics for large data sets
US11921750B2 (en) Database systems and applications for assigning records to chunks of a partition in a non-relational database system with auto-balancing
US10275484B2 (en) Managing sparsity in a multidimensional data structure
CN109033113B (zh) 数据仓库和数据集市的管理方法及装置
US8386445B2 (en) Reorganizing database tables
US11520740B2 (en) Efficiently deleting data from objects in a multi-tenant database system
US11416477B2 (en) Systems and methods for database analysis
US11074267B2 (en) Staged approach to automatic data discovery and performance
CN112434015B (zh) 数据存储的方法、装置、电子设备及介质
US20170140160A1 (en) System and method for creating, tracking, and maintaining big data use cases
US10248668B2 (en) Mapping database structure to software
US8965879B2 (en) Unique join data caching method
CN110851424A (zh) 一种数据服务系统
CN110781205A (zh) 一种基于jdbc的数据库直查方法、装置及系统
US9305066B2 (en) System and method for remote data harmonization
US20180285536A1 (en) Determining a database signature
US10936984B2 (en) System for mitigating exposure associated with identified impacts of technological system changes based on solution data modelling
CN116703184B (zh) 数据处理方法、数据处理装置、电子设备及可读存储介质
McGlothlin et al. Scalable queries for large datasets using cloud computing: a case study
US20230035166A1 (en) Compacted Table Data Files Validation
Ozawa et al. A Hybrid Event-Processing Architecture based on the Model-driven Approach for High Performance Monitoring
Fernández Casaní et al. Big Data Analytics for the ATLAS EventIndex Project with Apache Spark

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220920

Address after: 25 Financial Street, Xicheng District, Beijing 100033

Applicant after: CHINA CONSTRUCTION BANK Corp.

Address before: 25 Financial Street, Xicheng District, Beijing 100033

Applicant before: CHINA CONSTRUCTION BANK Corp.

Applicant before: Jianxin Financial Science and Technology Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200228