CN101986624A - 一种核心处理基于服务流机制的服务架构集成系统 - Google Patents
一种核心处理基于服务流机制的服务架构集成系统 Download PDFInfo
- Publication number
- CN101986624A CN101986624A CN2010105475174A CN201010547517A CN101986624A CN 101986624 A CN101986624 A CN 101986624A CN 2010105475174 A CN2010105475174 A CN 2010105475174A CN 201010547517 A CN201010547517 A CN 201010547517A CN 101986624 A CN101986624 A CN 101986624A
- Authority
- CN
- China
- Prior art keywords
- core
- service
- adapter
- language
- core data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 22
- 230000007246 mechanism Effects 0.000 title claims abstract description 9
- 230000006870 function Effects 0.000 claims abstract description 10
- 239000010979 ruby Substances 0.000 claims abstract description 5
- 229910001750 ruby Inorganic materials 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 17
- 238000012423 maintenance Methods 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 abstract description 5
- 239000008358 core component Substances 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 abstract description 2
- 239000000306 component Substances 0.000 abstract 1
- 238000007726 management method Methods 0.000 description 25
- 238000013461 design Methods 0.000 description 14
- 238000012544 monitoring process Methods 0.000 description 5
- 208000010119 wrinkly skin syndrome Diseases 0.000 description 5
- 239000012141 concentrate Substances 0.000 description 3
- 238000013497 data interchange Methods 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000677635 Tuxedo Species 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Landscapes
- Stored Programmes (AREA)
Abstract
一种核心处理基于服务流机制的服务架构集成系统，系统结构为：核心数据交换处理器两端通过数据分别与适配器和流程协同管理单元连接；而核心数据交换处理器、适配器又分别通过控制与信号与集中管理控制台连接；集中管理控制台又通过控制与信号与流程协同管理单元连接；其中：核心数据交换处理器为系统核心部件，它采用C语言实现；适配器是对核心数据交互处理平台的功能扩展部件，它通过Java或C或C#语言实现；集中管理控制台实现对系统进行管理维护，采用Ruby语言基于Rails框架实现。本发明支持目前主流的各种操作系统，并可针对不同的操作系统和硬件设备环境进行性能优化调优，使系统达到最优性能，具有统一、高效、简单和规范的数据交换平台。
Description
技术领域
本发明是一种符合服务架构(以下简称SOA)设计的基于服务流(以下简称WSS)技术的集成系统，针对企业间信息孤岛和数据共享、业务交互等进行处理的实施SOA系统，为用户、系统提供了透明的数据、业务交互支持，特别是对大数据量(一次传输处理在1GBytes以上)的处理能力，规范各个应用系统的服务接入方式，提高各个应用系统内部面向服务架构的能力，增强应用系统构建业务功能的灵活度和应变敏捷程度。
背景技术
长期以来企业间各系统采用了不同的技术架构和硬件支持实现，以至于各系统间存在各种数据的不一致性，包括数据内容、结构和格式的不一致，导致了企业间存在“信息孤岛”问题存在。当前业界传统的相关产品或解决方案多数基于消息机制(MQ或JMS)，对数据交换和大数据量处理相对较弱，多数产品来自国外。要么系统功能集中于单一的数据交换处理，对SOA的理念支持不够，在国内相关成熟的产品也不多见。解决这一序列的问题，为企业系统、用户提供了一个基于SOA的统一、高效、简单和规范的数据交换平台，本系统遵循了SOA的体系架构和设计理念，本着为用户提供统一、透明的交互接口为设计理念，设计和开发了本系统。
发明内容
本发明正是为了克服上述现有技术存在的不足之处而提供一种统一、高效、简单和规范的数据交换平台；本系统遵循了SOA的体系架构和设计理念，本着为用户提供统一、透明的交互接口为设计理念，设计和开发了本发明系统。
本发明的目的是通过如下技术方案实现的。
一种核心处理基于服务流机制的服务架构集成系统，其特征是：系统结构为：核心数据交换处理器两端通过数据分别与适配器和流程协同管理单元连接；而核心数据交换处理器、适配器又分别通过控制与信号与集中管理控制台连接；集中管理控制台又通过控制与信号与流程协同管理单元连接；其中：核心数据交换处理器为系统核心部件，它采用C语言实现；适配器是对核心数据交互处理平台的功能扩展部件，它通过Java或C或C#语言实现；集中管理控制台实现对系统进行管理维护，采用Ruby语言基于Rails框架实现。
本发明中，核心数据交换处理器为业务处理的核心，它采用C语言实现，支持跨平台，通过WSS技术实现并负责提供数据、业务交互过程中的中间流程，包括数据的校验、转换、加工、过滤、路由等从适配器或标准Web Service服务间相互交互的所有服务的处理，实现高效数据交换。内核采用核心的WSS处理机制，采用C语言编写，与业界采用的MQ或JMS机制不同。在数据量为100kB、并发用户数为200的网络条件下测得：处理吞吐量为11558.5kB/秒，处理时间最小值为83毫秒，最大值为6511毫秒，非网络环境下核心数据交换的净处理能力将是该指标的3倍以上。适配器是对核心数据交互处理平台的功能扩展部件，采用适配器接入的模式来实现对平台灵活、可扩展功能；适配器实现对不同的数据源、传输协议和消息格式的接入处理能力，它通过Java、C、C#等各种语言实现，无实现方式限制，能支持WEB服务、J2EE、数据库、套接字、消息队列、交易中间件应用协议和技术的接入和部署。集中管理控制台实现对系统进行管理维护，是对服务和服务目录库以及服务生命周期管理、系统监控和日志审计等功能的统一实现平台，采用Ruby语言基于Rails框架实现，通过此平台可以实现对系统平台的服务生命周期的管理和服务相关资源管理、服务目录库管理、系统维护和监控过程的处理，利用UDDI等技术手段对外提供发布、搜索、集成等功能。
本发明核心数据交换处理器是该系统的核心，内部基于服务流技术实现，采用近似多工处理的优化算法的实时系统，接受服务的调用请求、进行数据的处理和路由，承担后台引擎作用；适配器解决各类数据的连接、获取和可靠送达处理，并支持扩展；集中管理控制台是系统的主要人机交互系统，承担了对服务的配置、管理、维护等监控等功能。
本发明的有益效果是，由于采用跨平台的思路设计，支持目前主流的各种操作系统，包括如：Windows、Linux、Hp-unix、Solaris等，并可以针对不同的操作系统和硬件设备环境进行性能优化调优，使系统能够达到最优性能，具有统一、高效、简单和规范的数据交换平台，本系统遵循了SOA的体系架构和设计理念，本着为用户提供统一、透明的交互接口形成的设计理念。
附图说明
图1为本发明系统总体结构图；
图2为本发明的部署架构图；
图3为本发明总体架构图；
图4为本系统数据交换处理器设计架构图；
图5为本系统数据交换处理器流处理关键算法流程；
图6为本系统性能测试指标图；
图7为本系统接入适配器设计架构图；
图8为系统实时监控指标图。
具体实施方式
下面结合说明书附图进一步阐述本发明内容。
本发明系统结构为：核心数据交换处理器两端通过数据分别与适配器和流程协同管理单元连接；而核心数据交换处理器、适配器又分别通过控制与信号与集中管理控制台连接；集中管理控制台又通过控制与信号与流程协同管理单元连接；其中：核心数据交换处理器为系统核心部件，它采用C语言实现；适配器是对核心数据交互处理平台的功能扩展部件，它通过Java或C或C#语言实现；集中管理控制台实现对系统进行管理维护，采用Ruby语言基于Rails框架实现。
本系统的实施可以采用分布式、集中式或分布集中混合的方式实现，多个核心数据交换处理器可以通过设置联邦管理机制来实现对企业总线联邦的支持，系统可以通过LVS方式实现系统集群。
本系统的部署模式一般采用将适配器分别部署到各地数据采集点，而核心数据交换处理器集中部署(可以采用集群模式)的方式实现，部署结构图如图2所示。
对于业务系统而言，通过一个透明的访问网络对SOA平台进行服务调用，它并不需要知道这个服务具体发布的位置，服务的业务逻辑，它只需要知道该服务开放的标准接口即可。本系统的总体结构设计分为了三大子系统而设计，各子系统间的交互都是通过标准的WebService接口进行处理。具体架构图如图3所示。
核心数据交换处理器是本发明专利实现的核心部件，其内部实现了对任务调度、任务监控、核心处理队列和事件、定时调度、安全验证等的管理维护。内部基于WSS技术实现，完成了对系统核心的业务处理能力，系统实现体系架构图如图4所示。
由于核心交换处理器内部采用了WSS技术实现，系统可以实现对数据的实时处理能力，保证了系统能够达到实时系统的要求并且支持对海量数据的处理。系统内部的业务处理通过动态表达式方式实现，支持自定义规则和动态规则的处理能力。系统完全采用C语言实现，且内部完全可以根据具体部署环境(操作系统、硬件环境)进行内核参数调整，以达到较高的性能要求。核心关键算法如图5所示：
图6所示是在系统进行核心性能测试达到的性能指标
接入适配器作为系统功能和业务处理能力的扩展部件，支持对HTTP、SOCKET、TUXEDO、FTP、EMAIL、DATABASE和URI等资源适配器的实现，支持对文本、XML、HTML、EXCEL和二进制格式数据的相互转换处理能力。接入适配器的实现架构图如图7所示。
接入适配器支持进行灵活的可扩展能力，系统提供了标准的适配器实现接口，可以将任何需要的业务扩展为适配器进行实现。
集中管理控制台对整个SOA系统的统一管理维护提供支持，包括了对服务的整个生命周期(从服务的发现、设计、创建、开发到服务的运行管理、维护和注销等过程)、服务目录库以及系统的监控管理过程等。集中管理控制台为用户提供了服务设计、开发过程中的图形化配置接口，可以通过组件图形化配置方式就实现服务的编排和管理工作。
运行监视主要包括：服务调用的最大、最小和平均响应时间(s)；调用次数、成功次数；服务队列总数、CPU占用率(与系统占用比较)、内存占用率与系统占用比较)以及适配器数据流量等指标。实时监视图如图8所示。
Claims (1)
1.一种核心处理基于服务流机制的服务架构集成系统，其特征是，系统结构为：核心数据交换处理器两端通过数据分别与适配器和流程协同管理单元连接；而核心数据交换处理器、适配器又分别通过控制与信号与集中管理控制台连接；集中管理控制台又通过控制与信号与流程协同管理单元连接；其中：核心数据交换处理器为系统核心部件，它采用C语言实现；适配器是对核心数据交互处理平台的功能扩展部件，它通过Java或C或C#语言实现；集中管理控制台实现对系统进行管理维护，采用Ruby语言基于Rails框架实现。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010105475174A CN101986624B (zh) | 2010-11-17 | 2010-11-17 | 一种核心处理基于服务流机制的服务架构集成系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010105475174A CN101986624B (zh) | 2010-11-17 | 2010-11-17 | 一种核心处理基于服务流机制的服务架构集成系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101986624A true CN101986624A (zh) | 2011-03-16 |
| CN101986624B CN101986624B (zh) | 2013-07-31 |
Family
ID=43710928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010105475174A Active CN101986624B (zh) | 2010-11-17 | 2010-11-17 | 一种核心处理基于服务流机制的服务架构集成系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101986624B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102929613A (zh) * | 2012-10-16 | 2013-02-13 | 无锡江南计算技术研究所 | 操作系统的调优装置和方法 |
| CN102968443A (zh) * | 2012-10-22 | 2013-03-13 | 上海富欣智能交通控制有限公司 | 优化列车自动监控系统ats界面资源管理系统 |
| CN103812768A (zh) * | 2014-01-26 | 2014-05-21 | 蓝盾信息安全技术股份有限公司 | 一种高性能网络数据处理平台系统 |
| CN108304462A (zh) * | 2017-12-26 | 2018-07-20 | 江苏润和软件股份有限公司 | EasyAdaptor通用数据交换平台 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101364924A (zh) * | 2008-09-26 | 2009-02-11 | 广州市聚晖电子科技有限公司 | 一种基于企业服务总线的数据采集自适应体系结构 |
| WO2009070412A1 (en) * | 2007-11-27 | 2009-06-04 | The Boeing Company | Integrating service-orientated architecture applications with a common messaging interface |
| WO2009086616A1 (en) * | 2008-01-08 | 2009-07-16 | International Business Machines Corporation | Validation framework for service oriented architecture (soa) application adoption |
-
2010
- 2010-11-17 CN CN2010105475174A patent/CN101986624B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009070412A1 (en) * | 2007-11-27 | 2009-06-04 | The Boeing Company | Integrating service-orientated architecture applications with a common messaging interface |
| WO2009086616A1 (en) * | 2008-01-08 | 2009-07-16 | International Business Machines Corporation | Validation framework for service oriented architecture (soa) application adoption |
| CN101364924A (zh) * | 2008-09-26 | 2009-02-11 | 广州市聚晖电子科技有限公司 | 一种基于企业服务总线的数据采集自适应体系结构 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102929613A (zh) * | 2012-10-16 | 2013-02-13 | 无锡江南计算技术研究所 | 操作系统的调优装置和方法 |
| CN102929613B (zh) * | 2012-10-16 | 2016-08-10 | 无锡江南计算技术研究所 | 操作系统的调优装置和方法 |
| CN102968443A (zh) * | 2012-10-22 | 2013-03-13 | 上海富欣智能交通控制有限公司 | 优化列车自动监控系统ats界面资源管理系统 |
| CN103812768A (zh) * | 2014-01-26 | 2014-05-21 | 蓝盾信息安全技术股份有限公司 | 一种高性能网络数据处理平台系统 |
| CN108304462A (zh) * | 2017-12-26 | 2018-07-20 | 江苏润和软件股份有限公司 | EasyAdaptor通用数据交换平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101986624B (zh) | 2013-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109492040B (zh) | 一种适用于数据中心海量短报文数据处理的系统 | |
| Khriji et al. | Design and implementation of a cloud-based event-driven architecture for real-time data processing in wireless sensor networks | |
| CN102938731B (zh) | 一种基于代理缓存适配模型的交换集成装置及方法 | |
| CN101986624B (zh) | 一种核心处理基于服务流机制的服务架构集成系统 | |
| CN102043837A (zh) | 数据整合系统和方法 | |
| CN101277212B (zh) | 资源管理平台及资源管理方法 | |
| CN108881408A (zh) | 一种基于物联网平台的多业务运行系统 | |
| CN112667683B (zh) | 流计算系统及其电子设备和存储介质 | |
| CN116089036B (zh) | 多线程多模块的业务流编排处理方法、设备及存储介质 | |
| Ma et al. | Design and implementation of smart city big data processing platform based on distributed architecture | |
| CN114095537A (zh) | 一种物联网应用中基于Netty的海量数据接入方法及系统 | |
| CN102043836A (zh) | 数据适配装置和方法 | |
| CN101276269B (zh) | 可扩展资源管理平台 | |
| CN110083457A (zh) | 一种数据获取方法、装置以及数据分析方法、装置 | |
| Melnik et al. | Distributed library model based on distributed ledger technology for monitoring and diagnostics system | |
| CN117950628A (zh) | 一种基于grpc的插件构建方法及系统 | |
| Badidi | Towards a message broker based platform for real-time streaming of urban iot data | |
| Guo et al. | Design of iec-61968-based distribution network information exchange interface | |
| Mikkelsen et al. | Architectural Principles for Autonomous Microservices. | |
| Karagiannidis et al. | A novel and interoperable communication gateway implementation for evacuation systems | |
| Duravkin | Using SOA for development of information system “Smart city” | |
| CN117667965B (zh) | 管理电池储能系统大数据的方法和系统及计算设备 | |
| Repplinger et al. | Stream processing on GPUs using distributed multimedia middleware | |
| Xu et al. | A middleware for environmental monitoring and control | |
| Banerjee et al. | OPC UA and Dynamic Web Services: A generic flexible Industrial Communication Approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240808 Address after: Yunsheng Science Park, No. 11 Spectral Middle Road, Huangpu District, Guangzhou City, Guangdong Province, 510700 Patentee after: China Southern Power Grid Digital Enterprise Technology (Guangdong) Co.,Ltd. Country or region after: China Address before: 650217 yundian science and Technology Park, Yunda West Road, Kunming Economic and Technological Development Zone, Yunnan Province Patentee before: YUNNAN POWER GRID CORPORATION TONGFANG TECHNOLOGY Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |