CN116089121A - 一种数据共享交互平台及其应用方法 - Google Patents

一种数据共享交互平台及其应用方法 Download PDF

Info

Publication number
CN116089121A
CN116089121A CN202310051166.5A CN202310051166A CN116089121A CN 116089121 A CN116089121 A CN 116089121A CN 202310051166 A CN202310051166 A CN 202310051166A CN 116089121 A CN116089121 A CN 116089121A
Authority
CN
China
Prior art keywords
data
service
module
monitoring
api
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310051166.5A
Other languages
English (en)
Inventor
马跃
张茜
周峰屹
王雪艳
张微微
皇甫显华
李莫
涂武强
曹洁
刘健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siling Robot Technology Harbin Co ltd
Huaneng Jilin Power Generation Co ltd
Original Assignee
Siling Robot Technology Harbin Co ltd
Huaneng Jilin Power Generation Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siling Robot Technology Harbin Co ltd, Huaneng Jilin Power Generation Co ltd filed Critical Siling Robot Technology Harbin Co ltd
Priority to CN202310051166.5A priority Critical patent/CN116089121A/zh
Publication of CN116089121A publication Critical patent/CN116089121A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/547—Messaging middleware
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及一种数据共享交互平台及其应用方法，属于计算机信息技术领域，本发明包括一种数据共享交互平台，所述一种数据共享交互平台包括：数据存储模块，用以将数据源进行存储；数据服务模块，用以提供存储数据的修改服务；数据监控模块，用以监控各服务接口的访问信息；接口监控模块，用以对API链路调用的过程；数据源管理模块，用以进行数据源的查看、新建、修改、删除等管理维护操作。所述数据服务模块包括服务列表管理组件和API管理组件，所述服务列表管理组件用以所有的微服务以及服务健康状态；所述API管理组件用以生成API并进行管理。

Description

一种数据共享交互平台及其应用方法
技术领域
本发明涉及一种数据共享交互平台及其应用方法，属于计算机信息技术领域。
背景技术
随着公司集团的逐渐发展，公司内部的数据量逐渐增加，为了方便数据源的存储与各部门的数据调用，需要利用数据共享交互平台将各部门的数据进行存储与调度，常见的数据共享交互平台只能适配采用相同技术建设的相关系统之间的接口，对于不同时期采用不同技术平台建设的相关系统之间的接口及异构信息交换与同步问题无法解决。
发明内容
本发明为解决不同时期采用不同技术平台建设的相关系统之间的接口及异构信息交换与同步问题，进而提出一种数据共享交互平台及其应用方法
本发明为解决上述问题采取的技术方案是：本发明包括一种数据共享交互平台，所述一种数据共享交互平台包括：
数据存储模块，用以将数据源进行存储；
数据服务模块，用以提供存储数据的修改服务；
数据监控模块，用以监控各服务接口的访问信息；
接口监控模块，用以对API链路调用的过程；
数据源管理模块，用以进行数据源的查看、新建、修改、删除等管理维护操作。
进一步的，所述数据服务模块包括服务列表管理组件和API管理组件，所述服务列表管理组件用以所有的微服务以及服务健康状态；所述API管理组件用以生成API并进行管理。
进一步的，所述服务列表管理组件支持YAML、Properties、TEXT、JSON、XML和HTML等常见配置格式。
进一步的，所述API管理组件提供REST、RPC(DUBBO)和Open Fengin的三类服务调用方式。
进一步的，所述数据监控模块包括实时监控组件、流量控制组件、异常熔断管理组件和服务监控组件，所述实时监控组件用以显示前服务各个接口的访问信息；所述流量控制组件用以监控应用流量的QPS(每秒查询率)或并发线程数等指标并进行控制；所述异常熔断管理组件用以链路中某个资源不稳定时，对该资源的调用进行限制；所述服务监控组件用以对已注册的服务访问情况进行监控。
进一步的，所述接口监控模块通过集成Skywalking插件实现对API链路调用的过程监控管理。
进一步的，所述数据源管理模块提供JDBC和ODBC两种数据源连接方式，并支持关系型数据库、NoSQL数据库和分布式数据库的链接方式。
进一步的，所述一种数据共享交互平台及其应用方法包括以下步骤：
步骤一、利用数据存储模块对数据源进行存储，并利用数据服务模块与数据存储模块相连；
步骤二、将数据监控模块和接口监控模块分别与数据存储模块相连；
步骤三、将数据源管理模块与数据服务模块相连。
本发明的有益效果是：本发明以RocketMQ作为消息中间件，支持多种共享交换方式和交换策略、多种会话模式和策略，支持文件交换间的数据交换、基于服务的交换等多种信息资源的共享交换方式，以此来解决不同时期采用不同技术平台建设的相关系统之间的接口及异构信息交换与同步问题。
附图说明
图1是本发明的架构示意图。
具体实施方式
具体实施方式一：结合图1说明本实施方式，本实施方式所述一种数据共享交互平台包括：
数据存储模块，用以将数据源进行存储；
数据服务模块，用以提供存储数据的修改服务；
数据监控模块，用以监控各服务接口的访问信息；
接口监控模块，用以对API链路调用的过程；
数据源管理模块，用以进行数据源的查看、新建、修改、删除等管理维护操作。
通过上述组件完成平台构架。
具体实施方式二：结合图1说明本实施方式，所述数据服务模块包括服务列表管理组件和API管理组件，所述服务列表管理组件用以所有的微服务以及服务健康状态；所述API管理组件用以生成API并进行管理。
通过上述组件完成数据服务模块的架构。
具体实施方式三：结合图1说明本实施方式，所述服务列表管理组件支持YAML、Properties、TEXT、JSON、XML和HTML等常见配置格式，支持在线编辑、语法高亮、格式校验，帮助用户高效编辑的同时大幅降低格式错误带来的风险。同时支持编辑DIFF能力，帮助用户校验修改内容，降低改错带来的风险。
具体实施方式四：结合图1说明本实施方式，所述API管理组件提供REST、RPC(DUBBO)和Open Fengin的三类服务调用方式。主要功能内容包含生成API并管理，配置数据源，支持通过脚本模式生成API，通过松散耦合设计，可以对功能和API信息进行灵活扩展，快速创建响应接口。
具体实施方式五：结合图1说明本实施方式，所述数据监控模块包括实时监控组件、流量控制组件、异常熔断管理组件和服务监控组件，所述实时监控组件用以显示前服务各个接口的访问信息；所述流量控制组件用以监控应用流量的QPS(每秒查询率)或并发线程数等指标并进行控制；所述异常熔断管理组件用以链路中某个资源不稳定时，对该资源的调用进行限制；所述服务监控组件用以对已注册的服务访问情况进行监控。
通过上述组件完成数据监控模块的架构。
具体实施方式六：结合图1说明本实施方式，所述接口监控模块通过集成Skywalking插件实现对API链路调用的过程监控管理，实现跨系统日志跟踪查询的方法及应用,输出带有跟踪信息的日志信息的功能；并通过数据展示平台进行过滤与接收。根据过滤所得的跟踪信息最终在数据展示平台上显示接口和各个服务的调用情况。
具体实施方式七：结合图1说明本实施方式，所述数据源管理模块提供JDBC和ODBC两种数据源连接方式，并支持关系型数据库、NoSQL数据库和分布式数据库的链接方式。进行数据源的查看、新建、修改、删除等管理维护操作。
具体实施方式八：结合图1说明本实施方式，所述一种数据共享交互平台及其应用方法包括以下步骤：
步骤一、利用数据存储模块对数据源进行存储，并利用数据服务模块与数据存储模块相连；
步骤二、将数据监控模块和接口监控模块分别与数据存储模块相连；
步骤三、将数据源管理模块与数据服务模块相连。
以此完成数据平台的搭建。
实施例
为解决不同时期采用不同技术平台建设的相关系统之间的接口及异构信息交换与同步问题，构建本数据共享交互平台，用以实时高效的传递数据，达到数据共享的目的，本平台支撑主流的RocketMQ消息中间件，支持多种共享交换方式和交换策略、多种会话模式和策略，支持文件交换间的数据交换、基于服务的交换等多种信息资源的共享交换方式；支持数据交换日志功能，能够对所有的数据交换任务记录详细的日志信息，确保能够对数据交换任务进行追踪和事后审计；支持基于面向服务的架构，支持Oauth2的权限标准和工业互联网平台的租户用户体系；通过REST,Web Service等访问接口方式进行数据接受服务。其中工作人员对数据存储模块内存储的数据进行管理并赋予租户临时使用平台的权限，利用数据服务模块通过友好的界面来查看服务的注册情况，包括当前系统注册的所有服务和每个服务的详情。并在有权限控制的情况下，进行服务的一些配置的编辑操作，其中服务列表管理组件负责以统一的视图管理其所有的微服务以及服务健康状态，API管理组件负责快速的配置出一个API接口。利用数据监控模块对访问信息进行监控，其中实时监控组件用以显示当前服务各个接口的访问信息，以图表的形式展示给用户，包含访问时间、通过QPS、拒绝QPS、响应时间(ms)等信息；流量控制组件用以监控应用流量的QPS(每秒查询率)或并发线程数等指标，当达到指定的阈值时对流量进行控制，以避免被瞬时的流量高峰冲垮，从而保障应用的高可用性；异常熔断管理组件用以对链路中不稳定的资源进行熔断降级是保障高可用的重要措施之一，由于调用关系的复杂性，如果调用链路中的某个资源不稳定，最终会导致请求发生堆积，Sentinel熔断降级会在调用链路中某个资源出现不稳定状态时，对这个资源的调用进行限制，让请求快速失败，避免影响到其它的资源而导致级联错误，当资源被降级后，在接下来的降级时间窗口之内，对该资源的调用都自动熔断；其中，熔断降级处理模块利用熔断降级规则判断被调用的微服务组件是否超过异常数量阈值，若超过阈值，则判断被调用的微服务组件下一次被调用时是否不小于异常数量阈值，若不小于阈值，则针对被调用的异常的微服务组件进行熔断降级处理，配置模块网关获取熔断降级规则和流量控制规则之前，配置模块配置熔断降级规则，其中所述的熔断降级规则包括相应的熔断降级规则信息，以及配置流量控制规则，其中所述的流量控制规则包括相应的流量控制规则信息；服务监控组件用以显示对已注册的服务访问情况进行监控，通过各种报表和图表的显示方式，直观的对服务的使用情况进行全方位的监控信息。利用接口监控模块用以跨系统日志跟踪查询的方法及应用,输出带有跟踪信息的日志信息的功能，并通过数据展示平台进行过滤与接收，根据过滤所得的跟踪信息最终在数据展示平台上显示接口和各个服务的调用情况，通过集成Skywalking插件实现上述功能。利用数据源管理模块进行数据源的查看、新建、修改、删除等管理维护操作，提供JDBC和ODBC两种数据源连接方式，支持关系型数据库、NoSQL数据库、分布式数据库的链接方式。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (9)

1.一种数据共享交互平台，其特征在于：所述一种数据共享交互平台包括：
数据存储模块，用以将数据源进行存储；
数据服务模块，用以提供存储数据的修改服务；
数据监控模块，用以监控各服务接口的访问信息；
接口监控模块，用以对API链路调用的过程；
数据源管理模块，用以进行数据源的查看、新建、修改、删除等管理维护操作。
2.根据权利要求1所述的一种数据共享交互平台，其特征在于：所述数据服务模块包括服务列表管理组件和API管理组件，所述服务列表管理组件用以微服务以及服务健康状态；所述API管理组件用以生成API并进行管理。
3.根据权利要求2所述的一种数据共享交互平台，其特征在于：所述服务列表管理组件支持YAML、Properties、TEXT、JSON、XML和HTML等常见配置格式。
4.根据权利要求2所述的一种数据共享交互平台，其特征在于：所述API管理组件提供REST、RPC(DUBBO)和Open Fengin的三类服务调用方式。
5.根据权利要求1所述的一种数据共享交互平台，其特征在于：所述数据监控模块包括实时监控组件、流量控制组件、异常熔断管理组件和服务监控组件，所述实时监控组件用以显示前服务各个接口的访问信息；所述流量控制组件用以监控应用流量的QPS(每秒查询率)或并发线程数等指标并进行控制；所述异常熔断管理组件用以链路中某个资源不稳定时，对该资源的调用进行限制；所述服务监控组件用以对已注册的服务访问情况进行监控。
6.根据权利要求5所述的一种数据共享交互平台，其特征在于：所述异常熔断管理组件包括熔断降级处理模块和配置模块，熔断降级处理模块用于对熔断降级规则进行处理判断，配置模块用于对熔断降级规则和六里昂控制规则进行配置。
7.根据权利要求1所述的一种数据共享交互平台，其特征在于：所述接口监控模块通过集成Skywalking插件实现对API链路调用的过程监控管理。
8.根据权利要求1所述的一种数据共享交互平台，其特征在于：所述数据源管理模块提供JDBC和ODBC两种数据源连接方式，并支持关系型数据库、NoSQL数据库和分布式数据库的链接方式。
9.根据权利要求1所述的一种数据共享交互平台及其应用方法，其特征在于：所述一种数据共享交互平台及其应用方法包括以下步骤：
步骤一、利用数据存储模块对数据源进行存储，并利用数据服务模块与数据存储模块相连；
步骤二、将数据监控模块和接口监控模块分别与数据存储模块相连；
步骤三、将数据源管理模块与数据服务模块相连。
CN202310051166.5A 2023-02-02 2023-02-02 一种数据共享交互平台及其应用方法 Pending CN116089121A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310051166.5A CN116089121A (zh) 2023-02-02 2023-02-02 一种数据共享交互平台及其应用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310051166.5A CN116089121A (zh) 2023-02-02 2023-02-02 一种数据共享交互平台及其应用方法

Publications (1)

Publication Number Publication Date
CN116089121A true CN116089121A (zh) 2023-05-09

Family

ID=86204073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310051166.5A Pending CN116089121A (zh) 2023-02-02 2023-02-02 一种数据共享交互平台及其应用方法

Country Status (1)

Country Link
CN (1) CN116089121A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116996505A (zh) * 2023-09-27 2023-11-03 天津神舟通用数据技术有限公司 一种基于调度引擎的文件交换控制方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116996505A (zh) * 2023-09-27 2023-11-03 天津神舟通用数据技术有限公司 一种基于调度引擎的文件交换控制方法和系统
CN116996505B (zh) * 2023-09-27 2023-12-15 天津神舟通用数据技术有限公司 一种基于调度引擎的文件交换控制方法和系统

Similar Documents

Publication Publication Date Title
CN109118347B (zh) 一种自动化协作方法及系统
US8984535B2 (en) System and method for facilitating the exchange of information among applications
CN104239132B (zh) 一种唤醒对齐的方法、装置及终端
EP1361761A1 (en) Telecommunications network management system and method for service monitoring
US20150026022A1 (en) Billing device and processing method
US20050015619A1 (en) Integration infrastrucuture
TWI519965B (zh) Flexible assembly system and method for cloud service service for telecommunication application
CN104639654A (zh) 海量用电信息采集终端一体化接入系统及方法
CN113992769B (zh) 一种工业互联网信息交换方法
CN116089121A (zh) 一种数据共享交互平台及其应用方法
CN101494551A (zh) 业务割接的方法、装置及系统
CN109840144B (zh) 一种针对跨机构批量服务请求的信息服务调度方法及系统
CN110096545A (zh) 一种基于大数据平台数据处理域构架方法
CN100499473C (zh) 实现业务请求的方法以及联机指令系统
CN111027284B (zh) 一种基于数据灵活接入标准化输出方法
CN111309691A (zh) 基于总线架构的数据共享交换系统和交换方法
CN114443468A (zh) 一种基于Excel表格的测试对比方法及系统
CN107896242B (zh) 一种服务共享方法及装置
CN105933396B (zh) 一种协同各渠道系统接口实现长流程的方法及系统
CN114841678B (zh) 岗位数据交换方法、数据交换系统，服务器及存储介质
KR20140037605A (ko) Ｃｉｍ 스키마 및 시스템 토폴로지 정보를 이용한 ａｍｉ의 동적 운영 방법
CN113783882B (zh) 一种边缘应用的信息获取方法、装置、电子设备及介质
CN112732683B (zh) 一种基于电力行业数据标准自动化监管系统和方法
CN111930690A (zh) 文件生成方法及装置
CN105678447A (zh) 电网上下级调度间cim模型校验服务化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination