CN113515499B - 一种数据库服务方法及系统 - Google Patents

Abstract

本发明提供一种数据库服务方法及系统，所述方法包括：接收业务子系统发送的申请数据库请求；根据申请数据库请求创建审批流程并发送至一个或多个审批单元进行展示以按照设定标准审核；接收审批单元返回的审核通过信息，并根据申请数据库请求在主数据库服务器中进行资源配置以创建第一数据库实例；接收业务子系统录入的数据源或在所述主数据库服务器中指定的现有数据源，并将所述数据源存储或关联在第一数据库实例中，业务子系统通过装载业务应用查询和管理所述第一数据库实例；以及基于多个业务子系统的申请数据库请求分别建立多各数据库实例并集中管控，避免库表重复建设，数据汇聚统筹难处理，打破信息壁垒，避免产生信息孤岛。

Description

一种数据库服务方法及系统

技术领域

本发明涉及数据库技术领域，尤其涉及一种数据库服务方法及系统。

背景技术

政务部门存在行政主体多样化，行政职能多样化，业务数据类型多样化的特点。现有技术中，各政务部门通常单独建立数据库，电子政务经过多年发展，建成工商、税收、金融、交通、财政、审计、人口、公共安全等核心政务系统，绝大部分委办局的核心业务都自建数据库支撑，很多公共数据库存在重复建设，数据重复采集的问题。

传统城市中各级政府所建立的数据库、系统网站和业务服务在数据结构、数据标准、技术架构、表现形式上都存在较大差别，缺少一套数据库服务的标准规范，包括资源分配、权限管理、字段定义和数据标准都存在差异，使得信息交换融合复杂，导致产生“信息孤岛”。

相应的，大型企事业单位，工程项目主体由于涉及业务量复杂，也会存在各部分单位独立构建数据库从而导致产生“信息孤岛”的现象，因此，亟待一种解决方案以解决这种弊端。

发明内容

本发明实施例提供了一种数据库服务方法及系统，以消除或改善现有技术中存在的一个或更多个缺陷，以防止出现信息孤岛的问题。

本发明的技术方案如下：

一方面，本发明提供一种数据库服务方法，基于多个业务子系统的申请数据库请求分别建立相应的多个数据库实例并集中管控，其中，根据每一业务子系统的申请数据库请求建立相应的数据库实例包括：

接收业务子系统发送的申请数据库请求，所述申请数据库请求包括数据库类型、数据库版本、资源环境、服务器规格以及存储空间大小；

根据所述申请数据库请求创建审批信息并发送至至少一个审批单元进行审核；

接收审核通过信息，并根据所述申请数据库请求在主数据库服务器中进行资源配置以创建第一数据库实例；

接收所述业务子系统录入的数据源或在所述主数据库服务器中指定的现有数据源，并将所述数据源存储或关联在所述第一数据库实例中，所述业务子系统通过装载业务应用查询和管理所述第一数据库实例。

在一些实施例中，所述申请数据库请求中还包括预设账号和密码，并在创建第一数据库实例时根据所述预设账号和密码建立验证信息，以供所述业务子系统查询和管理时进行安全认证。

在一些实施例中，所述主数据库服务器至少支持MySQL、Oracle、SQL Server、MongoDB、Redis和OSS数据库。

在一些实施例中，所述方法还包括：

对各数据库实例中的数据按照全量备份或增量备份的方式存储至预设存储设备上，并定期进行有效性校验。

在一些实施例中，所述方法还包括：

对各数据库实例分别建立多个主数据库节点、从数据库节点和备用数据库节点，并对各节点进行秒级监控，包括性能指标监控和硬件故障监控；其中，各主数据库节点和从数据库节点通过网络负载均衡服务器实现只读访问的负载均衡，所述性能指标包括响应时间、每秒查询率、吞吐量和/或每秒传输的事物处理个数；

若检测到主数据库节点或从数据库节点性能指标波动高于设定值，则在所述主数据库节点和所述从数据库节点之间进行切换；

若检测到主数据库节点或从数据库节点硬件故障，则采用备用数据库节点对所述主数据库节点或所述从数据库节点进行切换。

在一些实施例中，所述方法还包括：

按照指定间隔时长获取各数据库实例作为服务器的性能指标并生成曲线图以供查询特定时间区间内的数据进行比对，所述性能指标包括响应时间、每秒查询率、吞吐量和/或每秒传输的事物处理个数；

和/或对各数据库实例分别设置活跃会话警戒线，当活跃会话数高于所述活跃会话警戒线时，进行报警提示；

和/或对各数据库实例进行磁盘空间分析，包括存储空间使用量指示、空间碎片分析、无用冗余索引提示。

在一些实施例中，所述方法还包括：

接收业务子系统发送的源数据库实例信息和目标数据库实例信息；

配置表对应关系和主键对应关系，并基于所述表对应关系和所述主键对应关系将源数据库实例中的数据迁移至目标域数据库实例。

在一些实施例中，所述方法还包括：

将源数据库实例中的存量数据迁移至目标数据库实例；

建立日志读取模块，所述日志读取模块基于预设数据库协议连接所述源数据库实例，并读取源数据库实例的增量日志；

根据所述增量日志对所述目标数据库实例进行同步。

另一方面，本发明还提供一种数据库服务系统，包括：

主数据库服务器，用于执行如上述数据库服务方法；

至少一个业务子系统，用于生成并向所述主数据库服务器发送申请数据库请求，以在所述主数据库服务器端创建与各业务子系统对应的数据库实例，所述业务子系统装载业务应用查询和管理所述数据库实例。

另一方面，一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上述方法的步骤。

本发明的有益效果至少是：

所述数据库服务方法及系统中，各业务子系统统一在主数据库服务器端建立数据库实例，基于主数据库服务器的标准进行管理和运行，服务流程规范化，实现资源、权限的集中动态管理，数据源可以通过录入或从现有数据中指定的方式建立，避免库表重复建设。同时，业务子系统运行业务应用，主数据库服务器存储和管理数据，使业务应用与数据库分离，统一提供多种数据库日常的库表管理服务、运维管理服务、性能监测服务，实现“生产即汇聚”，解决数据汇聚统筹难问题，打破信息壁垒。同时，统一数据库建库建表标准及库表规范自动化校验，把数据标准化工作前置到库表建设环节，便于数据融合调用。

本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1为本发明一实施例所述数据库服务方法的流程示意图。

图2为本发明一实施例所述数据库服务方法中主数据库节点、从数据库节点和备用数据库节点切换流程示意图；

图3为本发明一实施例所述数据库服务方法中数据传输流程示意图；

图4为本发明另一实施例所述数据库服务方法中数据传输流程示意图；

图5为本发明一实施例所述数据库服务系统的功能架构图；

图6为本发明一实施例所述数据库服务系统的结构示意图；

图7为本发明一实施例所述数据库服务方法中资源分配管理服务流程图；

图8为本发明一实施例所述数据库服务方法中管理查询服务流程图；

图9为本发明一实施例所述数据库服务方法中村里数据迁移流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。

信息孤岛是指相互之间在功能上不关联互助、信息不共享互换以及信息与业务流程和应用相互脱节的计算机应用系统。信息孤岛会在一定程度上导致不同应用主体之间数据重复，造成整体的数据冗余，由于不同应用主体之间所构建数据库的标准不统一，导致数据不能迁移应用，需要重复采集。

政务系统、大型企事业单位中涉及多个部门和业务内容，传统方法中由各个业务主体独立构建数据库，标准不统一，数据不联通，导致大量数据需要重复采集，必然会产生信息孤岛。

本发明中，让各政府部门系统或企事业单位各部门通过块数据平台建设自己的业务数据库，并由块数据平台提供统筹管理和日常的数据库运维服务，杜绝重复建设的问题，节约行政成本和社会资源。块数据库服务提供对服务器资源统一的管理；支持各业务系统对关系型数据库、非关系型数据库和半结构化数据存储和建库的需求；提供一套数据库服务的标准规范从源头解决数据库重复建设、重复采集问题，并统筹全域数据；提供多种数据库的运维管理、性能监测服务；同时支持从生产环境到数据仓库环境的数据动态传输服务。

块数据平台为各政府部门系统或企事业单位提供基于通用的MySQL、Oracle、SQLServer、Redis、MongoDB、对象存储和国产达梦数据库等多种数据库的稳定可靠的数据库服务，应支持各业务系统对关系型数据库、非关系型数据库和半结构化数据存储和建库需求。这种数据库服务方法，自上而下分为4层，应用层、中间层、数据库层和大数据层。本发明中，应用层通过自动化流程管理建立严格的数据库服务审批流程，对各业务系统数据库资源和权限等进行统一集中管理、合理分配和自助开发；提供一套数据库服务的标准规范从源头解决数据库重复建设、重复采集问题；中间层提供数据库的可扩展及可用性代理。数据库层提供多种数据库的运维管理方法，支持各类数据库简部署、管理和扩展，默认支持主从热备架构，提供数据备份、故障恢复，并为各数据库实例提供性能监测和异常告警服务；大数层支持从生产环境到数据仓库环境的数据动态传输服务。

需要预先说明的是，本发明中业务子系统设置在各政府部门或企事业单位具体职能部门处，运行应用层用于访问、查询和管理数据库，主数据库服务器单独设置并运行。主数据库服务器和业务子系统可以采用计算机、单片机或其他可以存储和运行计算机程序的电子设备。本发明提供一种数据库服务方法，用于在主数据库服务器上运行，基于多个业务子系统的申请数据库请求分别建立相应的数据库实例并集中管控，其中，根据每一业务子系统的申请数据库请求建立相应的数据库实例，如图1所示，包括步骤S101～S104：

其中，步骤S101～S104并不是对各步骤先后顺序的限定，应当认为，在特定场景下，各步骤可以平行或调换顺序。

步骤S101：接收业务子系统发送的申请数据库请求，申请数据库请求包括数据库类型、数据库版本、资源环境、服务器规格以及存储空间大小。

步骤S102：根据申请数据库请求创建审批信息并发送至至少一个审批单元进行审核。

步骤S103：接收审核通过信息，并根据申请数据库请求在主数据库服务器中进行资源配置以创建第一数据库实例。

步骤S104：接收业务子系统录入的数据源或在主数据库服务器中指定的现有数据源，并将数据源存储或关联在第一数据库实例中，业务子系统通过装载业务应用查询和管理第一数据库实例。

在步骤S101中，业务子系统根据需要创建的数据库的配置需求生成申请数据库请求，业务系统用户可自主选择数据类型、版本号、服务器规格、存储空间大小等规格参数；业务子系统可以自主选择可用网络、部署方式以及配置数据库账号密码等基本信息。同时，通过设置访问数据库的IP地址白名单对数据库安全进行保障，或按其他实际需求提起申请数据库请求。

在一些实施例中，业务子系统可以填写数据库信息，包括数据库名称、用户名。填写后，在运行过程中主数据库服务器将对数据库名称和用户名等进行重复校验。

在一些实施例中，申请数据库请求中还可以包括预设账号和密码，并在创建第一数据库实例时根据预设账号和密码建立验证信息，以供业务子系统查询和管理时进行安全认证。

步骤S102中，对于业务子系统创建数据库实例的请求，需要核验是否符合主数据库服务器的格式和标准。因此，需要建立审批流程，服务端管理员应根据业务子系统实际情况和需求，结合主数据库服务器剩余资源情况，对需求的合理性进行审核。此外，管理员应遵循数据库建库规范对用户数据库建设的标准程度进行审验。各部分需求的审核权限可能分布在不同的端口，因此，可以将需求发送至相应的审批单元进行审批。具体的，审批信息基于申请数据库请求中对数据库的需求产生，例如可以根据业务子系统要求的存储空间大小生成与数据库存储空间相关的审批信息。进一步的，将审批信息发送至相应的审批单元进行审批，审批单元可以由数据库管理员审核，也可以通过程序自动审核，例如，可以通过程序自动比对业务子系统要求的存储空间与服务器剩余存储空间的大小，若服务器剩余存储空间大于或等于业务子系统要求的存储空间则审核通过，否则不通过。基于申请数据库请求中不同要求生成的审核信息，以发送至不同权限的审批单元进行审批，也可以由同一个审批单元统一进行审批。在一些实施例中，可以根据申请数据库请求建立审批流，根据审批流中的顺序，各审批单元依次对审批信息进行多级审核，例如，由三个审批单元A、B和C构建多级审批时，可以由服务器将审批信息先发送至审批单元A，若审批单元A审批通过，由审批单元A将审批信息发送至审批单元B，否则直接向服务器发送审核不通过信息，以结束步骤。进一步地，若审批单元B审批通过，由审批单元B将审批信息发送至审批单元C，否则直接向服务器发送审核不通过信息，以结束步骤。进一步地，若审批单元C审批通过，则向服务器发送审核通过信息，否则发送审核不通过信息，以结束步骤。在另一些实施例中，审批信息可以按照相应的审核权限或业务内容并行发送至多个审批单元，只有当所有审批单元均返回审核通过信息时，才能进一步在服务器上进行数据库的资源配置。

在步骤S103中，主数据库服务器接收审批单元返回的审核通过信息，表明业务子系统所提出的需求符合主数据库服务器中数据库的格式和标准，则可以基于申请数据库请求中的需求进行资源配置。具体的，在多级审批的情况下，服务器接收最后一级审批单元发送审核通过信息。在多个审批单元并行的情况下，服务器分别接收各审批单元的审核通过信息。在另一些实施例中，若一个或多个审批单元返回审核不通过信息，则将审核不通过信息发送至相应的业务子系统，以提示进行需求调整。

在资源配置过程中，可以又数据库管理员在审批单元进行资源配置操作，也可以由主数据库服务器根据需求自动创建。需要强调的是，资源审核及资源配置应作为互斥权限分配至两个角色，且资源审核应是资源配置的前置环节。

具体的，主数据库服务器上配置有一较大的存储空间以及相应的处理器、接口等设备，可供建立和运行多个数据库实例，以面向不同的业务子系统。根据业务子系统的申请数据库请求配置资源，在主数据库服务器上按照所要求的数据库类型、版本号、服务器规格和存储空间等自动化部署和建立第一数据库实例，将用户从繁琐的硬件申请、服务部署中解放。

在一些实施例中，所述主数据库服务器至少支持MySQL、Oracle、SQL Server、MongoDB、Redis和OSS数据库。

在步骤S104中，基于业务子系统的需求构建完成第一数据库实例后，需要向第一数据库实例中导入数据源以供查询和使用，具体的，数据源可以由业务子系统录入，也可以在主数据库服务器中指定现有数据源，将数据源存储或关联在第一数据库实例中，构成完整可运行的数据库。由于主数据库服务器内的数据格式和标准通用，不同业务子系统之间内容相同的数据源可以通用，将不同业务子系统建立的数据库实例之间的数据进行转用，能够有效杜绝信息孤岛的现象，减少不同业务子系统对相同数据的重复采集和存储，极大地提高了效率。

进一步地，根据多个业务子系统的请求，分别在主数据库服务器上配置相应的数据库实例，并集中管控，集中运维。

在步骤S101～S104中，将数据库的业务应用与数据库分离，对于政务系统或大型企事业单位而言，将业务应用设置在相应部门主体的业务子系统上进行运营，各业务子系统所需的数据库在主数据库服务器上集中存储、管控和运行。各数据库实例中的数据源可以录入，也可以引用其他数据库实例中已有的数据源。能够减少数据的重复录入，防止数据冗余，提高管理效率。

在一些实施例中，所述方法还包括：对各数据库实例中的数据按照全量备份或增量备份的方式存储至预设存储设备上，并定期进行有效性校验。

在数据库系统崩溃或遭遇自然灾害导致数据毁损的时候，没有数据就没有办法实现业务运行，在数据库损毁或丢失时，使用数据库备份还原数据库是恢复数据库代价最小的方案，如果让客户重新填报数据，代价太大，也无法快速恢复。本实施例中，通过全量备份和增量备份两种形式将各数据库实例中的数据备份到预设存储设备上，该存储设备与主数据库服务器分开设置，并定期进行有效性校验，以便可以随时调用。具体的，全量备份就是指对某一个时间点上的所有数据或应用进行的一个完全拷贝；增量备份是指在一次全备份或上一次增量备份后，以后每次的备份只需备份与前一次相比增加和者被修改的文件。

在一些实施例中，如图2所示，所述方法还包括步骤S201～S202：

步骤S201：对各数据库实例分别建立多个主数据库节点、从数据库节点和备用数据库节点，并对各节点进行秒级监控，包括性能指标监控和硬件故障监控；其中，各主数据库节点和从数据库节点通过网络负载均衡服务器实现只读访问的负载均衡，性能指标包括响应时间、每秒查询率、吞吐量和/或每秒传输的事物处理个数。

步骤S202：若检测到主数据库节点或从数据库节点性能指标波动高于设定值，则在所述主数据库节点和所述从数据库节点之间进行切换。

步骤S203：若检测到主数据库节点或从数据库节点硬件故障，则采用备用数据库节点对所述主数据库节点或所述从数据库节点进行切换。

数据库节点用于连接外部设备以及接受外部访问，在运行过程中，为了保证业务子系统与相应数据库实例的连接稳定，本实施例步骤S201对各数据库实例均设置多个用于访问的节点，包括主数据库节点、从数据库节点和备用数据库节点。其中，正常情况下，主要采用主数据库节点对数据库进行访问，但是当主数据库节点出现性能波动，或由于访问量增大产生访问量压力时，则可以通过从数据库节点连接。其中，各主数据库节点和从数据库节点通过网络负载均衡服务器实现只读访问的负载均衡，以保障主从节点访问效率平衡和一致。

在步骤S202中，基于对主数据库节点或从数据库节点的性能监测，当某一节点的性能指标波动高于设定值时，则表示该节点连接不稳定，则将该节点切换至其他主数据库节点或从数据库节点，以保证稳定的访问效率。具体的，可以设置一个或多个性能指标的波动阈值，当某一主数据库节点或从数据库节点的一个或多个性能指标的波动量高于相应的波动阈值时，则将该主数据库节点或从数据库节点切换至其他节点。

在步骤S203中，基于对主数据库节点或从数据库节点的硬件故障监测，当某一主数据库节点或从数据库节点发生硬件故障时，如发生连接断路、系统板，内存和CPU服务器故障等问题时，则将发生故障的节点切换至备用数据库节点，以保障运行和访问的稳定。

在一些实施例中，所述方法还包括：按照指定间隔时长获取各数据库实例作为服务器的性能指标并生成曲线图以供查询特定时间区间内的数据进行比对，性能指标包括响应时间、每秒查询率、吞吐量和/或每秒传输的事物处理个数。

和/或对各数据库实例分别设置活跃会话警戒线，当活跃会话数高于所述活跃会话警戒线时，进行报警提示。

和/或对各数据库实例进行磁盘空间分析，包括存储空间使用量指示、空间碎片分析、无用冗余索引提示。

在本实施例中，可以对数据库进行性能分析，通过检测性能指标并生成曲线图进行展示以供用户对各数据库实例性能进行分析，方便对比。其中，响应时间为数据库实例处理一次请求所需要的平均处理时间；每秒查询率为一个特定的查询服务器在规定时间内所处理的流量；吞吐量指对网络、设备、端口、虚电路或其他设施单位时间内成功地传送数据的数量；每秒传输的事物处理个数为服务器每秒处理的事务数。

进一步的，可以对数据库进行会话分析，通过统计活跃会话数量表现各数据库实例的繁忙状态，若活跃会话数量持续高于警戒线则代表性能出现了异常，则进行报警提示。

在一些实施例中，如图3所示，所述方法还包括步骤S301～S302：

步骤S301：接收业务子系统发送的源数据库实例信息和目标数据库实例信息。

步骤S302：配置表对应关系和主键对应关系，并基于表对应关系和主键对应关系将源数据库实例中的数据迁移至目标域数据库实例。

本实施例提供一种数据传输服务，数据传输服务是一种支持关系型数据库之间数据交互的数据服务，表现为关系型数据库数据源之间的数据交互的数据流服务。步骤S301中，基于业务子系统选择确定的源数据库实例信息和目标数据库实例信息确定需要传输的数据的来源和去向，源数据库实例信息和目标数据库实例信息可以采用相应数据库实例的名称或ID信息。步骤S301～S302中，在确定源数据库实例和目标数据库实例的基础上，对两个数据库实例中的数据配置表对应关系和主键对应关系，其中表对应关系也即不同数据表之间的对应关系，主键对应关系是表之间一列或多列数据的对应关系。通过这种对应关系，将源域的数据迁移至目标域。

在一些实施例中，如图4所示，所述方法还包括步骤S303～S305：

步骤S303：将源数据库实例中的存量数据迁移至目标数据库实例。

步骤S304：建立日志读取模块，日志读取模块基于预设数据库协议连接源数据库实例，并读取源数据库实例的增量日志。

步骤S305：根据增量日志对目标数据库实例进行同步。

在本实施例中，步骤S303～305基于上述步骤S301～302实现增量数据的实时同步，具体的，步骤S303将源数据库实例中的存量数据迁移至目标数据库实例实现初始化。步骤S304中，基于建立的日志读取模块连接源数据库实例，读取源数据库实例的增量日志，步骤S305中，基于增量日志将源数据库实例中的新增或变更的数据并不断同步至目标数据库实例。

另一方面，本发明还提供一种数据库服务系统，包括：

主数据库服务器，用于执行如上述步骤S101～S105、S201～S203以及S301～S305所述的数据库服务方法。

至少一个业务子系统，用于生成并向主数据库服务器发送申请数据库请求，以在主数据库服务器端创建与各业务子系统对应的数据库实例，业务子系统装载业务应用查询和管理数据库实例。

在本实施例中，主数据库服务器和业务子系统可以采用计算机、单片机或其他可以存储和运行计算机程序的电子设备。主数据库服务器单独设置和运行，业务子系统设置在各业务主体处，通过互联网或专用线路连接主数据库服务器。业务子系统仅用于运行业务应用，各业务子系统对应的数据库实例都在主数据库服务器上建立和运行，实现业务应用和数据库的分离。

另一方面，一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上述方法的步骤。

下面结合一政务系统中的数据库服务方法进行详细说明，所述方法基于块数据平台运行，块数据就是以一个物理空间或行政区域形成的涉及人、事、物的各类数据的总和。块数据不只是“条集合”更是“条集构”。块数据可分为人块数据、物块数据、事件块数据和区域位置块数据。本实施例中，块数据平台也即主数据库服务器。

如图5所示，块数据库服务方法服务自上而下分为4层，应用层、中间层、数据库层和大数据层，应用层通过自动化流程管理建立严格的数据库服务审批流程，对各业务系统数据库资源和权限等进行统一集中管理、合理分配和自助开发，提供一套数据库服务的标准规范从源头解决数据库重复建设、重复采集问题，可以包括数据库资源管理和数据库管理服务；中间层提供数据库的可扩展及可用性代理，包括水平拆分、动态扩容和读写分离。数据库层提供多种数据库的运维管理方法，支持各类数据库简部署、管理和扩展，默认支持主从热备架构，提供数据备份、故障恢复，并为各数据库实例提供性能监测和异常告警服务；大数层支持从生产环境到数据仓库环境的数据动态传输服务，包括离线数据迁移、数据实时同步和数据订阅。

如图6所示，块数据平台包括主数据库区域和备数据库区域，主数据库区域中，包括多个数据库实例(DB1及DB2等)，各数据库实例通过数据库代理连接多个业务子系统(APP)以运行业务管理软件，对各数据库实例还可以备份存储。备数据库区域包括对各数据库实例的备份以及业务子系统的备份。

块数据平台为各业务系统提供统一数据库服务的流程图，包含五大环节，分别是数据库资源分配管理服务、数据库查询管理服务、数据库运维服务、数据库性能监测服务、数据库传输服务。

1、数据库资源分配管理服务

如图7所示，数据库资源分配系统是用户对资源、权限等进行申请的通道，集中管控用户行为，提供MySQL、Oracle、SQL Server、Redis、MongoDB、对象存储和国产达梦数据库等至少6种数据库的统一建库建表资源分配管理，具体包括如下步骤：

1.1申请时，业务子系统的用户可在块数据平台上自主配置数据类型、版本号、服务器规格、存储空间大小等规格参数，自主配置可用网络、部署方式、数据库账号密码等基本信息。同时，通过设置访问数据库的IP地址白名单对数据库安全进行保障。其中，用户申请资源时，按实际需求提起资源申请。

1.2申请中，用户还可以填写数据库信息，包括数据库名称、用户名。填写后，进一步检查主数据库服务器，进行数据库名称重复校验。在测试环境中，主数据库服务器存在多个单机数据库实例的同时部署的情况，因此需要重复校验测试环境下的数据库名称及用户名。

1.3申请提交后，主数据库服务器将远程调用工作流相关服务，创建一个审批流程依次进行资源审核及资源配置等流程。其中，资源审核及资源配置应作为互斥权限分配至两个角色，且资源审核应是资源配置的前置环节。

1.4资源审核环节，服务端管理员应根据业务系统实际情况，结合剩余资源情况，对需求合理性进行审核。此外，管理员应遵循数据库建库规范对用户数据库建设的标准程度进行审验。

1.5资源审核通过后，应该由数据库管理员进行资源配置操作。数据库管理员应根据用户的申请，从主数据库服务器的云资源池中调配资源，初始化主机。

1.6配置资源时，应对生产环境进行严格权限控制，确保数据库开发流程的标准化。再连接数据库运维服务，选择数据库配置，同时根据业务需要，配置好数据库架构(主备设置)。基于数据库运维服务，完成数据库自动化部署。完成数据库自动化部署后，由数据库管理员应进行权限配置。此外，根据业务需求，可以进行高可用配置及安全组限定，用户只可在固定的IP访问对应的数据库实例的服务器，通过JDBC接口向proxy发送数据库管理请求。

1.7部署完成后，为确保数据库服务的可用，数据库管理员在向用户提供前数据库前，应根据测试用例对创建完成的数据库进行测试。测试通过后，在工作流中提供数据库详细连接信息，由工作流通知用户及其他关联服务。

2、数据库管理查询服务

为提高数据库设计的合理性和数据访问高效性，提高数据共享的质量和效率，促进数据库编码的标准化，以及块数据平台对新区数据的集中管理，业务子系统在块数据平台建库需要遵循块数据平台相应的基础标准及规范，并将各业务子系统的数据存储在块数据平台数据库中对应政府及下属的各委办局、企业、团体的数据库实例中。

数据库管理系统提供关系型数据库MySQL、Oracle、SQL Server、MongoDB和国产达梦数据库的实例创建、数据库开发、数据库SQL查询、数据库创建/变更/订正记录管理和数据查询、DDL语句执行和权限分配等操作，如图8所示，进入数据库管理系统后，可以基于不同的数据库类型查询数据库实例，并查询数据库实例信息、数据库实例状态并进行数据库实例管理，数据库实例管理分为用户模块和数据管理员模块，可以分别进行如图示的管理操作，具体服务包括如下内容：

2.1创建数据库实例，在开发环境中，用户通过业务子系统根据需求自行创建数据库、表，并随时根据业务变化进行修改。主要创建流程包括创建切分表、为切分表创建序列、创建索引、列的增删改等操作。支持根据分配的资源通过数据库管理系统将测试环境中创建的数据库实例变更到正式环境的实例。

2.2数据源录入，用户使用前需要先录入数据源，录入数据源采用的用户名和密码必须对所录入的集群的各个分库具有只读权限或更高权限。

2.3数据源分配，被分配的用户可以对相应的数据源进行查询操作。在分配数据源之前用户名必须已经存在，数据源必须已经录入，方可分配成功，用户名和数据源均有自动匹配功能，若匹配失败，则分配失败。

2.4数据库开发，以提供数据表操作、表结构操作、表数据变更、表数据查询等操作功能。数据库建设依据块数据平台相应的基础标准及规范，支持对SQL语句(结构化查询语言，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统)进行校验、补全、提示等操作，确保建设过程有序可控。

2.5数据库SQL语句查询，数据源查询功能包括SQL执行、设置执行快捷键、查询历史SQL、数据导出等功能。对SQL语句进行校验、补全、提示等操作。

2.6DDL数据(数据库模式定义语言DDL，用于描述数据库中要存储的现实世界实体的语言)订正，数据库变更中的数据订正是指对数据源执行数据订正的操作，主要包括SQL含切分键单表更新切分、批量数据订正、标签式无切分键单表更新、全表更新、订正全局自增表、对聚簇表执行插入操作和插入切分表等。

2.7DDL创建/变更记录管理，DDL变更记录管理支持对数据库中相关的创建记录、变更记录和配置项信息等进行查询，用户可查看表中的示例数据，查看历史执行的SQL语句以及将表中的数据导出，支持对数据库中相关的创建记录、变更记录和配置项信息等进行查询、导出等操作。

2.8权限分配，根据用户角色及审批状态为不同用户分配不同的数据库操作权限，数据库管理系统中的用户分为超级管理员以及普通用户两种，超级管理员不仅能够看到所有菜单，还能够为普通用户分配相应权限。

3、数据库运维服务

数据库运维服务(针对业务子系统数据库开展的数据库安装、实例创建、配置优化、备份策略选择及实施、数据恢复、数据迁移、故障排除、预防性巡检等一系列服务。)提供数据库资源规划与管理，实现数据库资源的自动化运维，包括提供专业的数据库备份、恢复、容灾、迁移及优化方案，为业务系统提供便捷的数据库服务，使业务系统能专注于应用开发和业务发展。本实施例中，块数据平台支持对MySQL、Oracle、国产达梦数据库、MongoDB、Redis和OSS共6种类型的数据库运维管理服务，包括如下内容：

3.1实现自动化部署，通过简单的页面操作即可在分钟级时间内获得一个经过参数优化、可供线上访问的MySQL数据库实例，可以将用户从繁琐的硬件申请、服务部署与维护中解放。

3.2数据库备份，数据库服务默认开启备份，用户可自行修改备份策略，包括全备、增量备份和日志备份，备份文件存储到安全的文件存储设备上，定期进行备份有效性校验。

3.2数据恢复，数据库服务提供连续数据保护的同时，还提供任意时间点的数据恢复功能。恢复适用多种场景，扩容，灾备，迁移，误操作恢复等，可作为其他业务流程的独立功能单元，避免误操作带来的业务损失。

3.3数据库节点主备切换，通过故障自动检测，保证主从数据一致的前提下进行秒级切换完成故障转移，极端故障可进行机房整体迁移切换，避免业务受影响。

3.4数据库节点只读设置，用户可单独部署从库节点，来缓解业务读访问压力，通过SLB可以实现只读访问的负载均衡功能。

3.5数据库节点秒级监控，所有数据库实例均开启秒级监控，快速感知性能波动和硬件故障，为自动切换和性能优化提供数据依据。

4、数据库性能监测服务

数据库性能监测系统采用大数据计算和机器学习技术，通过会话、空间、性能、慢SQL等维度分析实现对关系型数据库性能进行全方位诊断，以用户视角，进行性能指标的多维展示，主要包括以下能力：大盘统计功能、数据库智能画像、性能分析功能、慢查询分析功能、会话分析功能、空间分析功能，帮助用户快速了解数据库运行状况、自动定位问题和故障解决，致力于为用户提供专业的数据库运维服务。同时对非关系型数据库MongoDB、Redis和OSS系统性能监测服务，监测维度与关系型数据库指标维度略有不同。通过数据库性能监测服务，使用者能完整、详尽地了解数据库的状态指标。平台提供大盘统计概览、慢查询多维度分析、性能曲线展示、会话事务分析、实例空间分析、实时监控等功能，用户可以通过平台迅速找到数据库实例的性能隐患，快速排查并解决问题。具体性能监测服务可以包括如下内容：

4.1数据库服务概览，可以查看所有数据库实例当前评分热力图，同时可以查看用户所属所有数据库的IP，域名，业务线等信息。可以按照主从分组，也可以按照业务线分组。通过点击主从按钮查看当前数据库的主从拓扑结构，以及主从复制延迟情况。

4.2性能分析，通过主机性能趋势详细展示数据库所在服务器的核心指标的历史曲线图。用户可以自行选择时间区间查看数据库所在服务器的性能历史数据，同时还支持时间区间历史数据对比查询，方便对比数据，查询问题。

4.3慢查询分析，全量概览列表针对最高SQL查询量列表、一天内慢查询次数趋势，以及一天内慢查询耗时分布比例等信息进行详尽展示。在刚上新SQL的时候，有可能该SQL并不慢，但是存在巨大隐患，当表数据逐渐增多的时候，有问题的SQL会导致实例变得很慢很慢，影响正常业务执行。所以，在慢查询之外，提供了全量SQL的概览，选取全表扫SQL、响应时间较长的SQL、使用了临时表的SQL和最经常访问的SQL等内容，全方位的对SQL进行体检，及早发现隐患。慢查询实时性能为用户提供了数据库性能监控的实时更新数据，用户可以实时关注数据库的性能，尤其是在压测的时候，更方便快捷地了解实例对于测试量级的反馈。

4.4会话分析，直观的表现出当前实例的繁忙状态，对不同配置的实例设置活跃会话警戒线，异常告警，以及未提交事务、事务锁、MDL锁、活跃会话数和多维度连接数展示。活跃会话飙升代表着性能急速下降，用户可以对不同配置的实例设置活跃会话警戒线，若持续高于警戒线则代表性能出现了异常。同时，活跃会话的增加会影响总连接数，导致数据库停止提供服务，针对这一特性，性能分析平台定制了总连接数的警戒线，以示提醒。

4.5空间分析，对当前数据库实例的物理空间进行分析，包括空间使用量预测、空间碎片分析、无用冗余索引提示。支持提取出数据文件、日志文件、备份文件等目录的大小，并分析空间的增长率。通过对历史空间增长率的分析，数据库管理员能够智能预测当前机器存储的剩余使用时间；对于单机多数据库实例的MySQL，性能分析平台提供了针对各个数据库实例的磁盘分析，这样用户可以根据不同数据库实例的空间占比大小进行有效、合理的空间分配；同时，性能分析平台对磁盘空间碎片率进行分析，并在达到阈值时给出预警，做到让每一块磁盘空间都得到充分的利用。

5、数据库传输服务

数据传服务是一种支持关系型数据库之间数据交互的数据服务，数据传输系统提供一种关系型数据库数据源之间的数据交互的数据流服务。提供数据迁移、实时数据订阅及数据实时同步等多种数据传输能力。通过数据传输可实现不停服数据迁移、数据异地灾备、缓存更新策略等多种业务应用场景，帮助构建安全、可扩展、高可用的数据架构。数据传输服务的目标是将复杂的数据交互工作承担下来，让数据库管理员专注于上层的业务开发。数据传输服务支持多种数据源类型MySQL、Oracle等。

5.1存量数据迁移

如图9所示，存量数据迁移支持关系型数据库之间的数据迁移，源端数据源域名和端口要求在数据库传输系统已经存在，系统会和已有数据源进行自动匹配。用户需选择已有系统已有的数据源作为迁移源，同时输入目标数据库地址，并配置相应的表对应关系以及主键对应关系。

5.2增量数据实时同步

数据同步功能可应用于异地多活、数据异地灾备、本地数据灾备、数据异地多活、查询与报表分流、实时数据仓库等多种业务场景；支撑Oracle到Oracle，MySQL到MySQL，以及MySQL与Oracle之间的数据同步，具体功能包括动态新增、减少、修改、查看同步对象。数据实时同步支持MySQL以及Oracle之间的数据同步，同时支持在同步过程中，动态增减同步对象。

如图9所示，数据传输服务的实时同步功能能够实现任何两个RDS实例之间的增量数据实时同步。实时同步的创建过程包括：1)同步初始化：配置数据库源信息，主要将源实例的历史存量数据在目标实例初始化一份。2)增量数据实时同步：当初始化完成后进入两边增量数据实时同步阶段，在这个阶段数据传输服务会实现源实例跟目标实例之间数据动态同步过程。

增量数据实时同步过程中，数据传输服务的底层实现模块主要包括：

1)日志读取模块，日志读取模块从源实例读取原始数据，经过解析、过滤及标准格式化，最终将数据在本地持久化。日志读取模块通过数据库协议连接并读取源实例的增量日志。

2)日志回放模块，日志回放模块从日志读取模块中请求增量数据，并根据用户配置的同步对象进行数据过滤，然后在保证事务时序性及事务一致性的前提下，将日志记录同步到目标实例。

3)增量数据订阅，数据订阅支持的源端数据库类型包括：MySQL、Oracle。数据订阅粒度可以细化为库、表、列三级对象名映射及订阅数据过滤。用户可以根据需要订阅某个表的增量数据。数据传输系统支持数据变更(Data Manipulation Language简称DML)和结构变更(Data Definition Language，简称DDL)。

用户通过API接口方式配置消费节点，通过引入依赖的方式配置消费节点，节点启动后在相应系统配置消费相关信息，选择要订阅的数据并提交，以实现数据订阅。

综上所述，所述数据库服务方法及系统，是为了解决传统政务或企事业单位数据库服务场景下，各政府部门系统的数据库自建自维、孤岛现象突出，数据库冗余建设、数据重复采集，数据库标准不一、融合应用困难等问题。通过对数据库资源的统一管理，流程引擎编排，根据不同的业务场景，进行灵活的编排，实现不同的业务逻辑流程组合，服务流程规范化，实现资源、权限的集中动态管理，避免库表重复建设。通过业务应用与数据库分离，统一提供多种数据库日常的库表管理服务、运维管理服务、性能监测服务，实现“生产即汇聚”，解决汇聚统筹难问题，打破信息壁垒，实现新区全域数据统筹管理；当业务子系统通过数据库服务建库表时，通过提供统一建库建表标准及库表规范自动化校验，把数据标准化工作前置到库表建设环节，从源头上避免数据标准不一带来的融合应用困难的问题。

本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种数据库服务方法，其特征在于，基于多个业务子系统的申请数据库请求分别建立相应的多个数据库实例并集中管控，其中，根据每一业务子系统的申请数据库请求建立相应的数据库实例包括：

接收业务子系统发送的申请数据库请求，所述申请数据库请求包括数据库类型、数据库版本、资源环境、服务器规格以及存储空间大小；

根据所述申请数据库请求创建审批信息并发送至至少一个审批单元进行审核；

接收审核通过信息，并根据所述申请数据库请求在主数据库服务器中进行资源配置以创建第一数据库实例；

接收所述业务子系统录入的数据源或在所述主数据库服务器中指定的现有数据源，并将所述数据源存储或关联在所述第一数据库实例中，所述业务子系统通过装载业务应用查询和管理所述第一数据库实例；

所述方法还包括：对各数据库实例分别建立多个主数据库节点、从数据库节点和备用数据库节点，并对各节点进行秒级监控，包括性能指标监控和硬件故障监控；其中，各主数据库节点和从数据库节点通过网络负载均衡服务器实现只读访问的负载均衡，所述性能指标包括响应时间、每秒查询率、吞吐量和/或每秒传输的事物处理个数；若检测到主数据库节点或从数据库节点性能指标波动高于设定值，则在所述主数据库节点和所述从数据库节点之间进行切换；若检测到主数据库节点或从数据库节点硬件故障，则采用备用数据库节点对所述主数据库节点或所述从数据库节点进行切换；

所述方法还包括：按照指定间隔时长获取各数据库实例作为服务器的性能指标并生成曲线图以供查询特定时间区间内的数据进行比对，所述性能指标包括响应时间、每秒查询率、吞吐量和/或每秒传输的事物处理个数；和/或对各数据库实例分别设置活跃会话警戒线，当活跃会话数高于所述活跃会话警戒线时，进行报警提示；和/或对各数据库实例进行磁盘空间分析，包括存储空间使用量指示、空间碎片分析、无用冗余索引提示。

2.根据权利要求1所述的数据库服务方法，其特征在于，所述申请数据库请求中还包括预设账号和密码，并在创建第一数据库实例时根据所述预设账号和密码建立验证信息，以供所述业务子系统查询和管理时进行安全认证。

3.根据权利要求1所述的数据库服务方法，其特征在于，所述主数据库服务器至少支持MySQL、Oracle、SQL Server、MongoDB、Redis和OSS数据库。

4.根据权利要求1所述的数据库服务方法，其特征在于，所述方法还包括：

对各数据库实例中的数据按照全量备份或增量备份的方式存储至预设存储设备上，并定期进行有效性校验。

5.根据权利要求1所述的数据库服务方法，其特征在于，所述方法还包括：

接收业务子系统发送的源数据库实例信息和目标数据库实例信息；

配置表对应关系和主键对应关系，并基于所述表对应关系和所述主键对应关系将源数据库实例中的数据迁移至目标域数据库实例。

6.根据权利要求5所述的数据库服务方法，其特征在于，所述方法还包括：

将源数据库实例中的存量数据迁移至目标数据库实例；

建立日志读取模块，所述日志读取模块基于预设数据库协议连接所述源数据库实例，并读取源数据库实例的增量日志；

根据所述增量日志对所述目标数据库实例进行同步。

7.一种数据库服务系统，其特征在于，包括：

主数据库服务器，用于执行如权利要求1至6任意一项所述数据库服务方法；

至少一个业务子系统，用于生成并向所述主数据库服务器发送申请数据库请求，以在所述主数据库服务器端创建与各业务子系统对应的数据库实例，所述业务子系统装载业务应用查询和管理所述数据库实例。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述方法的步骤。

Images