CN112311893B - 跨区域、业务、系统数据服务中间件及数据验证方法 - Google Patents

Abstract

本发明公开了跨区域、业务、系统数据服务中间件，包括：数据接入层、表现层、API服务层、业务层、数据服务层、数据存储层；同时公开了跨区域、业务、系统数据验证方法，包括步骤：获取第三方应用平台数据接入请求，进行认证，适配数据源，进行接口适配，进行参数组装，生成数据通道请求，调用服务中间件，获得数据通道服务，数据验证后发送至第三方接入平台。本发明数据接入风险低、成本低，统计信息安全、有效、全面，能够为第三方统计平台提供全面、准确有效的数据统计服务。

Description

跨区域、业务、系统数据服务中间件及数据验证方法

技术领域

本发明涉及信息技术领域，尤其涉及跨区域、业务、系统数据服务中间件及数据验证方法。

背景技术

科学、信息化管理关系到企业的生死存亡和发展，提高科学有效的生产和管理是现代企业赖以生存和发展的重要基础。

企业现有信息化系统，由于市场需求的变化、技术限制和设计缺陷，导致传统系统只能完成数据采集、管理和最基本的数据分析工作。系统只能统计分析自身已有数据内容，不能从全局、多维度统计分析数据。从而不能为企业管理层在做重大决策时，提供全面、多维度、跨业务、跨系统数据统计服务。

企业管理的本质是对信息的掌握、控制和有效利用。统计数据的准确性、全面性、多维度是对企业做重大决策影响巨大，如何从现有不同区域、不同业务、不同环境、不同业务系统中采集到基础分析数据，是中大型企业和政务服务部门做更高层决策必不可少的步骤，形成全面、客观、多维决策数据报表。

目前，市场上已有的技术解决方案有两种：一是协调原系统开发商重新开发接口，进行数据对接，另一种是直接与前置数据库对连接获取数据。这都需要原系统开发商对原系统进行调整，这在一定程度上会影响原系统的稳定和安全。同时，由于原系统算法的多样性、复杂性等情况，可能导致新平台算法不一致问题，这很容易出现统计分析结果不一致的情况，导致统计报告失效、失真，这在数据接口对接中完全依赖原系统开发商的技术支持配合度和自身开发团队的技术势力，从而加大新项目建设风险和成本。

发明内容

本发明的目的就在于为了解决上述问题而提供跨区域、业务、系统数据服务中间件，包括：

数据接入层，用于第三方应用平台数据接入；

表现层，用于第三方应用平台接入显示与服务展示；

API服务层，用于第三方应用平台请求安全认证、数据源数据获取、接口适配与网关协议适配；

业务层，包括第三方应用平台接入管理单元、配置监控单元、服务监控单元、与系统监控单元，第三方应用平台接入管理单元用于第三方应用平台接入审核以及开发者模式开通；配置监控单元用于数据源适配、接口分析与审核；服务监控单元用于接口通道数据验证；系统监控单元用于配置管理员权限；

数据服务层，包括用于获得数据源安全认证信息进行认证的安全认证服务单元、用于第三方应用平台数据接入的第三方接入服务单元和用于通过定时任务、模拟登录获取认证、认证重连、安全认证保持、动态认证获取的数据通道服务单元以及用于根据接口参数与配置信息从数据源获得数据并组装成标准格式数据返回给第三方应用平台的数据源通道服务单元；

数据存储层，包括服务器集群，用于数据存储、数据库存储、缓存与分布式文件存储。

跨区域、业务、系统数据验证方法，包括如下步骤：

S1:获取第三方应用平台数据接入请求，包括第三方应用平台申请数据服务接入许可，获得开发者权限，获得数据通道中间件的数据通道服务，同时数据通道中间件提供日志监控服务；

S2:获取认证参数和请求参数，进行开发者认证，若认证成功则转S3，否则重复S2；开发者认证包括：第三方应用平台申请开启开发者模式，判断第三方应用平台接入资料认证是否成功，若是正确的则分配开发者账号、密码、开发key，否则重新认证；分配完成后分配访问接口权限，完成第三方应用平台接入认证；

S3:对认证参数和请求参数进行解析，通过数据通道配置获得接口配置信息和数据源配置信息；数据通道配置包括根据业务部门授权的账号密码访问权限，访问数据源系统、查看系统结构、分析系统、配置数据源适配信息，打通数据通道；

S4:根据接口配置信息和数据源配置信息适配数据源，并获得数据源安全认证信息，判断数据源是否已有连接池，若是则转S5,否则根据数据源配置重新建立数据连接池对象并存入数据源连接池，转S5；

S5:根据接口配置信息进行接口适配；通过对原系统数据进行接口清理，根据用户对数据统计需求，配置采集数据项接口，用于数据通道接口的打通；

S6:进行参数组装，生成数据通道请求，调用服务中间件，获得数据通道服务，数据通道中间件读取接口配置项信息，根据接口信息的不同种类调用不同的数据通道服务；数据通道中间件通过设置的定时任务自动与数据源系统进行连接，通过分配的账号和密码，模拟浏览器相关行为动作，实现模拟人工自动登录，完成对数据源系统的登录认证，获得认证权限key，并将认证权限key保存到数据通道配置表里，在下一次通道接口调用时，中间件就不用再进行登录认证验证，直接拿到验证key，去获得原系统接口数据，第三方统计平台可以通过调用登录接口重新获得认证，实现数据通道中间件与数据源系统的论证适配需求；

S7:系统进行数据验证处理，将验证后的数据发送至第三方应用平台。

本发明通过以下技术方案来实现上述目的：

本发明的有益效果在于：

(1)数据接入风险低、成本低：通过本发明的数据通道服务，能够使得企业在现有信息化基础上，不改变原系统、原业务流程，在对原系统开发商零依赖配合情况下，根据企业数据统计需求，业务部门授权账号权限，采集不同区域、不同业务、不同系统、不同平台上对企业决策有价值的结果数据，为企业决策提供更全面、更精准的数据，形成企业安全发展驾驶舱，本发明适应企业不同应用系统和平台环境，包括BS、CS、云架构平台和系统级数据对接；本中间件也可以应用于政务一体化接入服务。

(2)统计信息安全、有效、全面：通过本发明的数据通道服务，采集的数据来源于各业务系统展示的数据，是最终有效的数据；避免了常规数据库采集的数据很大一部份为未处理的数据导致统计出来的数据存在偏差，提高了数据准确性；同时，避免了直接数据库采集造成数据源安全问题，提高了数据源系统的稳定性与安全性；

(3)简单易用：通过本发明的数据通道服务，只需要通过对数据源系统的分析，获得账号权限认证，完成数据通道配置，就可以实现与不同区域、不同业务系统进行对接，完成跨区域、跨业务、跨系统、跨平台数据整合服务，完成企业数据治理，为第三方统计平台提供全面、有效的数据统计服务。

附图说明

图1是本发明的系统图；

图2是数据交互过程示意图；

图3是第三方介入申请流程图；

图4是本发明的流程图；

图5是本发明应用场景的原理图；

图6是分布式部署结构图；

图7分布式通信架构图。

图中：1-防火墙；2-路由器；3-交换机；4-API网关服务器；5-代理服务器集群；6-分布式中心服务器集群；7-redis高速缓存服务器集群；8-RabbitMQ消息服务器集群；9-FastDFS文件服务器集群；10-Mysql数据库服务器集群；11-Mongdb数据库服务器集群；12-日志服务器集群。

具体实施方式

下面结合附图对本发明作进一步说明：

如附图1所示，本发明跨区域、业务、系统数据服务中间件，包括：

数据接入层，用于第三方应用平台数据接入，应用于不同场景、领域需要从基础平台采集基础分析数据，形成综合大数据分析平台的数据；

表现层，用于第三方应用平台接入显示与服务展示，展示内容包括数据源适配、接口清理、接口适配、安全认证、统一API网关、服务响应、认证保持、认证申请等的状态表现层服务，让配置管理人员能动态化配置管理；

API服务层，用于第三方应用平台请求安全认证、数据源数据获取、接口适配与网关协议适配，采用springboot框架，基于spring cloud框架体系提供服务治理、服务监控、服务断路熔断与服务降级、配置中心、消息总线、负载均衡等微服务能力；

业务层，包括第三方应用平台接入管理单元、配置监控单元、服务监控单元、与系统监控单元，第三方应用平台接入管理单元用于第三方应用平台接入审核以及开发者模式开通；配置监控单元用于数据源适配、接口分析与审核；服务监控单元用于接口通道数据验证；系统监控单元用于配置管理员权限；

数据服务层，包括用于获得数据源安全认证信息进行认证的安全认证服务单元、用于第三方应用平台数据接入的第三方接入服务单元和用于通过定时任务、模拟登录获取认证、认证重连、安全认证保持、动态认证获取的数据通道服务单元以及用于根据接口参数与配置信息从数据源获得数据并组装成标准格式数据返回给第三方应用平台的数据源通道服务单元；本发明服务中间件提供规则数据、不规则数据(nosql)、高速缓存redis，保障服务中间件的服务能力；将规则数据存入规则数据库mysql集群中，如数据源适配信息、接口适配信息、接口清理信息等中间件管理信息；对于接口获取到的外部数据(可配置存入)、系统监控数据、通道日志数据等存入不规则数据存储(mongdb集群和elasticsearch集群)；对于本服务中间件需要频繁使用的信息(如数据源配置信息)，可以一次获得并存入redis集群高速缓存，从而提高本服务中间件的服务能力。

数据存储层，包括服务器集群，用于数据存储、数据库存储、缓存与分布式文件存储；本服务中间件基于云服务能力提供的存储器，构建本服务中间件部署结构，通过集群部署方案保障服务中间件的服务能力。

如附图4所示流程图，跨区域、业务、系统数据验证方法，包括如下步骤：

S1:获取第三方应用平台数据接入请求，包括第三方应用平台申请数据服务接入许可，获得开发者权限，获得数据通道中间件的数据通道服务，同时数据通道中间件提供日志监控服务；

S2:获取认证参数和请求参数，进行开发者认证，若认证成功则转S3，否则重复S2；开发者认证包括：第三方应用平台申请开启开发者模式，判断第三方应用平台接入资料认证是否成功，若是正确的则分配开发者账号、密码、开发key，否则重新认证；分配完成后分配访问接口权限，完成第三方应用平台接入认证；

S3:对认证参数和请求参数进行解析，通过数据通道配置获得接口配置信息和数据源配置信息；数据通道配置包括根据业务部门授权的账号密码访问权限，访问数据源系统、查看系统结构、分析系统、配置数据源适配信息，打通数据通道；

S4:根据接口配置信息和数据源配置信息适配数据源，并获得数据源安全认证信息，判断数据源是否已有连接池，若是则转S5,否则根据数据源配置重新建立数据连接池对象并存入数据源连接池，转S5；

S5:根据接口配置信息进行接口适配；通过对原系统数据进行接口清理，根据用户对数据统计需求，配置采集数据项接口，用于数据通道接口的打通；

S6:进行参数组装，生成数据通道请求，调用服务中间件，获得数据通道服务，数据通道中间件读取接口配置项信息，根据接口信息的不同种类调用不同的数据通道服务；数据通道中间件通过设置的定时任务自动与数据源系统进行连接，通过分配的账号和密码，模拟浏览器相关行为动作，实现模拟人工自动登录，完成对数据源系统的登录认证，获得认证权限key，并将认证权限key保存到数据通道配置表里，在下一次通道接口调用时，中间件就不用再进行登录认证验证，直接拿到验证key，去获得原系统接口数据，第三方统计平台可以通过调用登录接口重新获得认证，实现数据通道中间件与数据源系统的论证适配需求；

S7:系统进行数据验证处理，将验证后的数据发送至第三方应用平台。

具体的，所述服务器集群包括Nginx代理服务集群、API服务网关集群、分布式中心服务集群、redis高速缓存服务集群、RabbitMQ消息服务集群、FastDFS文件服务集群、Mysql数据库服务集群、mongdb数据库服务集群、elasticsearch日志服务器集群。

具体的，所述第三方应用平台包括工业互联网标识解决平台、生产经营大数据分析平台、决策分析平台、安全监管平台与政务一体化平台。

如附图6所示分布式部署结构图，服务器集群均与交换机相连；如附图7所示分布式通信架构图。其中服务器集群包括：

Nginx代理服务集群，提供第一层安全防护与软负载服务；

API服务网关集群，实现统一入口、身份认证与安全、审查与监控、动态路由、压力测试、负载均衡、流量控制，提供系统第二层安全防护与负载能力；

分布式中心服务集群，提供统一中心服务能力，包括配置、网关、安全验证等服务能力；

redis高速缓存服务集群，将经常使用且需要高速响应的不常变的数据存入高速缓存，提高服务响应能力，提供系统第三层安全防护与负载能力；RabbitMQ消息服务集群，提供统一消息服务能力，以消息队列方式解决高并发访问瓶颈；FastDFS文件服务集群，提供文件服务能力，对本中间相关所有文件统一存入FastDFS文件服务集群；Mysql数据库服务集群，用于存储本服务中间件相关规则数据，包括注册信息、配置信息、适配信息、核心监控信息、分析报告信息等；mongdb数据库服务集群，用于存储非规则数据，包括接口对接过来的数据缓存信息；日志服务器集群，用于存储与本服务中间件相关的操作日志信息，用于对本服务中间件所有服务提供监控能力，保障本服务中间件所有操作都有据可查。

如附图3所示第三方应用平台认证流程图，具体包括：第三方应用平台申请开启开发者模式，判断第三方应用平台接入资料认证是否成功，若是则分配开发者账号、密码、开发key，否则重新认证；分配完成后分配访问接口权限，完成第三方应用平台接入认证。

本发明中间件系统能够实现以下功能：

(1)接入应用申请与开通：第三方统计平台注册申请开通权限，获得开发者权限，获得数据通道中间件的数据通道服务，同时数据通道中间件提供日志监控服务，从而保障中间件数据通道安全、服务安全与数据安全；

(2)数据通道配置：根据业务部门授权的账号密码访问权限，访问数据源系统(采集数据的原业务系统数据)、查看系统结构、分析系统、配置数据源适配信息，实现数据通道的打通；

(3)数据通道适配：数据通道中间件根据数据通道配置项信息，通过设置的定时任务自动与数据源系统进行连接，通过分配的账号和密码，实现模拟人工登录，完成对数据源系统的登录认证，获得认证权限key，并将认证权限key保存到数据通道配置表里；在下一次通道接口调用时，中间件就不用再进行登录认证验证，直接拿到验证key，去获得原系统接口数据；认证权限key的安全是通过安全认证方式保障，认证权限key拥有一定的时效性，在时效性结束后，第三方统计平台可以通过调用登录接口重新获得认证，实现数据通道中间件与数据源系统的论证适配需求，数据通道中间件从而在第三方统计平台与数据源系统间搭建数据通道桥梁，解决跨区域、跨业务、跨系统数据采集需求；

(4)数据通道接口配置：通过对原系统数据进行接口清理，根据用户对数据统计需求，配置采集数据项接口，实现数据通道接口的打通；

(5)安全认证服务：第三方统计平台根据接口帮助文档，传递参数请求对应数据接口服务，数据通道中间件获得请求，调用用户安全认证服务验证用户信息，合法的用户接入中间件数据通道服务，不合法的用户接口请求，返回错误信息，提示用户无权限，不能获得数据通道服务；

(6)中间件数据通道服务：通过安全认证服务的接口请求，数据通道中间件根据请求接口，读取接口配置项信息，根据接口信息的不同种类调用不同的数据通道服务。

本发明数据通道中间件提供三种数据通道解决方案，适应企业不同业务场景的应用系统，可接入实现流的数据通道系统。

(1)API数据通道接口服务：本服务主要针对企业、政务服务部们已有业务系统并提供有API接口，从现有不同业务系统接口中获取有价值数据，再进行全面、多维度分析，为重要决策做数据支撑；本服务完成接入接口统一管理、统一认证、统一入口和出口等操作，保障数据接口安全、原系统安全、数据安全。基于javaEE平台，使用开源框架，对post、get请求连接技术进行封装扩展，通过http或https协议，适应不同区域、不同应用场景、不同应用系统的不同API接口，完成API接口的适配、接口连接、接口认证，实现API接口数据获取与处理等操作，最终形成API数据通道服务，实现对API接口统一管理，形成API标准网关，方便接入；

(2)数据通道接口服务：本服务主要是针对企业现有BS业务系统，在不影响原业务系统稳定、安全和使用；在原系统开发商不配合，只知道账号密码情况下，实现企业区域、业务、系统、行业数据贯通，为企业建立自身综合大数据分析平台提供数据支撑；本服务基于API数据通道接口服务实现原理进行扩展，重点解决数据通道的安全认证问题；企业现有使用系统都拥有自身的安全认证体系，如何通过授权的账号、密码通过安全认证，从原业务系统获得页面上的统计数据是数据通道服务重点解决的问题；数据通道接口服务通过授权的账号、密码，对post、get请求连接技术进行封装扩展，通过定时任务、模拟登录获取认证、认证重连、安全认认证保持、动态认证获取等技术解决安全认证问题。

(3)数据源DB通道接口服务：本服务针对企业现有老旧系统的CS版客户端安装系统，企业只知道数据源(数据库)在哪，但又需要将这些数据抽取出来，建立自身综合大数据分析平台。本服务采用数据库连接池进行封装，形成多数据源连接池解决方案；本服务根据请求接口的不同，在不同数据源连接池中获得连接；根据接口参数与配置信息，去对应数据源中获得数据并组装成标准json格式数据返回给第三方应用平台进行应用。

以上三种解决方案适应企业不同业务场景系统，适应不同架构的业务系统，包括BS、CS、云架构等业务系统，能够广泛适应于政务一体化、智慧城市、政务大数据、企业大数据、工业互联网等综合分析领域平台建设。如附图5所示实现政务数据统一管理。

本发明对核心技术进行封装，模拟人工登录，获得认证权限并通过统一认证池进行管理。在不影响原业务系统使用、不需要原系统开发商完全配合情况下，仅需业务部门授权账号密码访问权限，实现跨业务数据贯通，解决企业跨区域、业务、跨系统数据贯通瓶颈，为综合大数据分析提供有力数据资源；适应企业、政务部门现有不同场景、不同环境下的系统和平台，包括BS、CS、云架构平台和系统。

本发明存在以下优点：

(1)数据接入风险低、成本低：通过本发明的数据通道服务，能够使得企业在现有信息化基础上，不改变原系统、原业务流程，在对原系统开发商零依赖配合情况下，根据企业数据统计需求，业务部门授权账号密码访问权限，采集不同区域、不同业务、不同系统、不同平台上对企业决策有价值的结果数据，为企业决策提供更全面、更精准的数据，形成企业安全发展驾驶舱，本发明适应企业不同应用系统和平台环境，包括BS、CS、云架构平台和系统数据对接；

(2)统计信息安全、有效、全面：通过本发明的数据通道服务，采集的数据来源于各业务系统展示的数据，是最终有效的数据；避免了常规数据库采集的数据很大一部份为未处理的数据导致统计出来的数据存在偏差，提高了数据准确性；同时，避免了直接数据库采集造成数据源安全问题，提高了数据源系统的稳定性与安全性；

(3)简单易用：通过本发明的数据通道服务，只需要通过对数据源系统的分析，获得账号权限认证，完成数据通道配置，就可以实现与不同区域、不同业务系统进行对接，完成跨区域、跨业务、跨系统、跨平台数据整合服务，完成企业数据治理，为第三方统计平台提供全面、有效的数据统计服务。

本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。

Claims (4)

1.跨区域、业务、系统数据服务中间件，其特征在于，包括：

数据接入层，用于第三方应用平台数据接入；

表现层，用于第三方应用平台接入显示与服务展示；

API服务层，用于第三方应用平台请求安全认证、数据源数据获取、接口适配与网关协议适配；

业务层，包括第三方应用平台接入管理单元、配置监控单元、服务监控单元、与系统监控单元，第三方应用平台接入管理单元用于第三方应用平台接入审核以及开发者模式开通；配置监控单元用于数据源适配、接口分析与审核；服务监控单元用于接口通道数据验证；系统监控单元用于配置管理员权限；

数据服务层，包括用于获得数据源安全认证信息进行认证的安全认证服务单元、用于第三方应用平台数据接入的第三方接入服务单元和用于通过定时任务、模拟登录获取认证、认证重连、安全认证保持、动态认证获取的数据通道服务单元以及用于根据接口参数与配置信息从数据源获得数据并组装成标准格式数据返回给第三方应用平台的数据源通道服务单元；

数据存储层，包括服务器集群，用于数据存储、数据库存储、缓存与分布式文件存储。

2.根据权利要求1所述跨区域、业务、系统数据服务中间件，其特征在于，所述服务器集群包括Nginx代理服务集群、API服务网关集群、分布式中心服务集群、redis高速缓存服务集群、RabbitMQ消息服务集群、FastDFS文件服务集群、Mysql数据库服务集群、mongdb数据库服务集群、elasticsearch日志服务器集群。

3.根据权利要求1所述跨区域、业务、系统数据服务中间件，其特征在于，所述第三方应用平台包括工业互联网标识解决平台、生产经营大数据分析平台、决策分析平台、安全监管平台与政务一体化平台。

4.跨区域、业务、系统数据验证方法，其特征在于，包括如下步骤：

S1:获取第三方应用平台数据接入请求，包括第三方应用平台申请数据服务接入许可，获得开发者权限，获得数据通道中间件的数据通道服务，同时数据通道中间件提供日志监控服务；

S2:获取认证参数和请求参数，进行开发者认证，若认证成功则转S3，否则重复S2；开发者认证包括：第三方应用平台申请开启开发者模式，判断第三方应用平台接入资料认证是否成功，若是正确的则分配开发者账号、密码、开发key，否则重新认证；分配完成后分配访问接口权限，完成第三方应用平台接入认证；

S3:对认证参数和请求参数进行解析，通过数据通道配置获得接口配置信息和数据源配置信息；数据通道配置包括根据业务部门授权的账号密码访问权限，访问数据源系统、查看系统结构、分析系统、配置数据源适配信息，打通数据通道；

S4:根据接口配置信息和数据源配置信息适配数据源，并获得数据源安全认证信息，判断数据源是否已有连接池，若是则转S5,否则根据数据源配置重新建立数据连接池对象并存入数据源连接池，转S5；

S5:根据接口配置信息进行接口适配；通过对原系统数据进行接口清理，根据用户对数据统计需求，配置采集数据项接口，用于数据通道接口的打通；

S6:进行参数组装，生成数据通道请求，调用服务中间件，获得数据通道服务，数据通道中间件读取接口配置项信息，根据接口信息的不同种类调用不同的数据通道服务；数据通道中间件通过设置的定时任务自动与数据源系统进行连接，通过分配的账号和密码，模拟浏览器相关行为动作，实现模拟人工自动登录，完成对数据源系统的登录认证，获得认证权限key，并将认证权限key保存到数据通道配置表里，在下一次通道接口调用时，中间件就不用再进行登录认证验证，直接拿到验证key，去获得原系统接口数据，第三方统计平台可以通过调用登录接口重新获得认证，实现数据通道中间件与数据源系统的论证适配需求；

S7:系统进行数据验证处理，将验证后的数据发送至第三方应用平台。

Images