CN116828035A - 一种基于云计算的数据集成系统 - Google Patents
一种基于云计算的数据集成系统 Download PDFInfo
- Publication number
- CN116828035A CN116828035A CN202310635709.8A CN202310635709A CN116828035A CN 116828035 A CN116828035 A CN 116828035A CN 202310635709 A CN202310635709 A CN 202310635709A CN 116828035 A CN116828035 A CN 116828035A
- Authority
- CN
- China
- Prior art keywords
- data
- service
- application
- integration module
- message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010354 integration Effects 0.000 title claims abstract description 92
- 230000006870 function Effects 0.000 claims abstract description 37
- 238000003860 storage Methods 0.000 claims abstract description 20
- 238000012544 monitoring process Methods 0.000 claims abstract description 19
- 230000004044 response Effects 0.000 claims abstract description 10
- 238000011161 development Methods 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 238000004140 cleaning Methods 0.000 claims abstract description 8
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 230000005540 biological transmission Effects 0.000 claims abstract description 4
- 238000004806 packaging method and process Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 25
- 230000000007 visual effect Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 230000015556 catabolic process Effects 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000002955 isolation Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000013475 authorization Methods 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/133—Protocols for remote procedure calls [RPC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
Abstract
本申请提供一种基于云计算的数据集成系统，包括：服务集成模块，用于在多个异构应用系统之间进行互联互通、应用集成，提供服务开发、寻址、路由、转换、编排、安全、监控功能；数据集成模块，将数据采集、清洗、汇聚、计算、存储各环节封装成组件；消息集成模块，通过点对点、发布订阅方式进行分布式应用程序或组件间的消息、文件的异步传输；资源目录模块，按预设的标准规范将各类数据资源进行整合和组织，形成数据资源目录；统一管理控制模块，基于前后端分离式微服务框架，提供完全响应式界面布局等功能。本申请无缝打通企业内外应用和数据连接，让数据自由流动，实现数据精准匹配、业务高效协同、服务敏捷响应，全面提升企业竞争力。
Description
技术领域
本申请涉及云计算、数据集成技术领域，尤其涉及一种基于云计算的数据集成系统。
背景技术
制造业是国民经济的基础，随着国家和制造业数字化转型政策集中出台，国内外市场的剧烈竞争，以及新技术变革，开展数字化转型已经成为企业谋求生存发展的必由之路。而制造业数字化转型必须依靠“数字工程+管理创新”双轮驱动共同推进，其中数据工程中，数据流动价值是基础，因此以数据流动价值为切入点，建设支撑数字化转型的基础设施，成为迫在眉睫的需求。
发明内容
有鉴于此，本申请的目的在于提出一种基于云计算的数据集成系统，本申请能够针对性的解决现有的问题。
基于上述目的，本申请还提出了一种基于云计算的数据集成系统，包括：
服务集成模块，用于在多个异构应用系统之间进行互联互通、应用集成，提供服务开发、寻址、路由、转换、编排、安全、监控功能；
数据集成模块，将数据采集、清洗、汇聚、计算、存储各环节封装成组件，以所见即所得方式配置数据集成处理流程，并自定义数据处理模型；
消息集成模块，通过点对点、发布订阅方式进行分布式应用程序或组件间的消息、文件的异步传输；
资源目录模块，按预设的标准规范将各类数据资源进行整合和组织，形成数据资源目录，并挂接所述服务集成模块、数据集成模块、消息集成模块的数据资源，提供用户查询、按需申请和授权使用功能；
统一管理控制模块，基于前后端分离式微服务框架，提供完全响应式界面布局、一键生成功能、自定义工作流、可视化大屏、单点登录、统一认证、用户权限、监控告警、任务调度功能。
进一步地，所述服务集成模块，包括：
多个包装器，通过具有相似功能的服务来注册和管理服务，所述多个包装器分别对应提供服务开发、寻址、路由、转换、编排、安全、监控功能；
通过所述包装器发现服务，并在接收到多个异构应用系统的应用程序请求服务的消息时调用服务后，将服务的执行结果传递给应用程序；
在应用程序和包装器之间传输消息的消息代理；和
转换协议以满足所述包装器的规范。
进一步地，所述数据集成模块，包括：
构建源数据交换元素和目标数据交换元素的图形表示，在所述图形表示之间仅传输所述元素的信息内容；
在选定的源数据交换元素和目标数据交换元素之间建立图形连接，以便生成数据集成模块的图形表示；
使用与源数据交换元素、目标数据交换元素以及所述信息内容相关联的第一输入/输出需求模型来确定图形连接的有效性；
将所述数据集成模块的图形表示转换为数据集成模块的组件，以将数据采集、清洗、汇聚、计算、存储各环节封装成组件；和
使用多个用户可选择的视觉视图之一向用户呈现从数据集成模块的组件开发的选定信息。
进一步地，对于不能在源数据交换元素和目标数据交换元素之间传输的信息内容，使用关联的第二输入/输出需求模型手动映射源数据交换元素和目标数据交换元素之间的图形连接以交换元素。
进一步地，所述消息集成模块，包括：
在第一应用程序和第二应用程序中启用服务代理活动；
在第一应用程序和第二应用程序中创建消息类型、消息契约、消息队列，所述消息队列绑定到一个或者多个消息契约上，使用消息队列和消息契约用来定义一个或一组任务；
启动第一应用程序和第二应用程序之间的消息交换，第一应用程序创建新的会话、发送消息；
第二应用程序从消息队列中读取消息，使用第一应用程序的既有会话句柄，发送相应消息给第一应用程序，结束当前会话。
进一步地，所述资源目录模块，包括：
数据注册单元，用以注册所述数据集成模块的数据资源；
核心数据库，连接所述数据注册单元，存储所述数据集成模块的数据资源；
目录服务器，连接所述核心数据库，提取所述数据集成模块的数据资源的目录并通过调用接口实现人机交换查询；
服务资源数据库，存储所述服务集成模块的数据；
消息资源数据库，存储消息集成模块的数据；
数据编目单元，其输入端连接所述服务资源数据库和消息资源数据库，其输出端连接所述数据注册单元，提取所述服务资源数据库和消息资源数据库的数据信息以进行编目，其输出端输出已作编目的数据给数据注册单元。
进一步地，所述统一管理控制模块，包括：
展现层，用于兼容浏览器和展示所述统一管理控制模块的各功能界面，实现完全响应式界面布局；
网关层，用于为所述服务集成模块、数据集成模块、消息集成模块包含的各种服务功能提供统一入口，进行用户权限设置、监控告警、任务调度；
业务层，用于为所述统一管理控制模块运行提供基础系统功能服务和业务系统功能服务；所述基础系统功能服务包括一键生成功能、自定义工作流、可视化大屏，所述业务系统功能服务包括单点登录、统一认证；所述统一认证，用于设置用户登录统计周期，并根据用户在所述用户登录统计周期内的登录频率和次数进行登录安全验证；
数据层，用于通过存储云存储和计算所述统一管理控制模块运行过程中产生的业务数据、图片视频及文件数据和日志数据，其中，展现层和数据层完全分离，通过跨域实现前端数据和后端数据之间的通信。
进一步地，所述统一管理控制模块，还可以进一步包括：微服务架构基础支撑单元，用于对所述统一管理控制模块的微服务架构进行功能支撑；服务监控单元，用于对所述统一管理控制模块运行过程中的服务调用、应用吞吐量以及服务降级、熔断和微服务运行情况进行监控；业务支撑单元，用于控制所述网关层根据所述统一管理控制模块的应用方式进行API接口隔离，并对应用进行调用次数限制。
总的来说，本申请的优势及给用户带来的体验在于：
本申请是全栈式的应用与数据集成平台，提供轻量级快速集成数据、服务、消息的能力，无缝打通企业内外应用和数据连接，让数据自由流动，实现数据精准匹配、业务高效协同、服务敏捷响应，全面提升企业竞争力。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。
图1示出根据本申请实施例的基于云计算的数据集成系统的构成图。
图2示出根据本申请实施例的服务集成模块的具体实现方法示意图。
图3示出根据本申请实施例的数据集成模块的具体实现方法示意图。
图4示出根据本申请实施例的消息集成模块的具体实现方法示意图。
图5示出根据本申请实施例的资源目录模块的具体实现方法示意图。
图6示出根据本申请实施例的统一管理控制模块的具体实现方法示意图。
图7示出了本申请一实施例所提供的一种电子设备的结构示意图。
图8示出了本申请一实施例所提供的一种存储介质的示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示，申请实施例提供了一种基于云计算的数据集成系统，该系统包括：
服务集成模块，支持快速实现多个异构应用系统的互联互通、应用集成，支持跨云跨网跨域跨部门多级互联和功能级松耦合协作，提供服务开发、寻址、路由、转换、编排、安全、监控等；
数据集成模块，将数据采集、清洗、汇聚、计算、存储等各环节封装成组件，支持以所见即所得方式配置数据集成处理流程，提供一百多种数据处理组件，并能快速自定义数据处理模型；
消息集成模块，通过点对点、发布订阅方式进行分布式应用程序或组件间高可靠的消息、文件的异步传输，并提供持久化保障机制；
资源目录模块，按统一的标准规范将各类数据资源进行整合和组织，形成数据资源目录，并挂接服务、库表、文件、消息等数据资源，提供用户快速查找、按需申请和授权使用；
统一管理控制模块，基于前后端分离式微服务框架，支持完全响应式界面布局、一键生成功能、自定义工作流、可视化大屏、单点登录、统一认证、用户和权限、监控告警、任务调度等。
以下详细介绍每个模块的具体实现方式及技术细节：
服务集成模块，如图2所示，包括：
多个包装器，通过具有相似功能的服务来注册和管理服务，所述多个包装器分别对应提供服务开发、寻址、路由、转换、编排、安全、监控功能；
通过所述包装器发现服务，并在接收到多个异构应用系统的应用程序请求服务的消息时调用服务后，将服务的执行结果传递给应用程序；
在应用程序和包装器之间传输消息的消息代理；和
转换协议以满足所述包装器的规范。规范包括：使用所有服务必须保持的规范，以及为应用程序和外部模块服务之间的信息交换而保持的规范。
另外，服务集成模块还包括调度发现和调用应用所请求的服务的过程流引擎，响应于过程流程引擎的输出信号调用包装器。
数据集成模块，如图3所示，包括：
S1、构建源数据交换元素和目标数据交换元素的图形表示，在所述图形表示之间仅传输所述元素的信息内容；在这个步骤中，还可以将分别代表源数据交换元素和目标数据交换元素的图标从可视界面的第一区域移动到可视界面的第二个区域。
S2、在选定的源数据交换元素和目标数据交换元素之间建立图形连接，以便生成数据集成模块的图形表示；
S3、使用与源数据交换元素、目标数据交换元素以及所述信息内容相关联的第一输入/输出需求模型来确定图形连接的有效性；
S4、将所述数据集成模块的图形表示转换为数据集成模块的组件，以将数据采集、清洗、汇聚、计算、存储各环节封装成组件；和
S5、使用多个用户可选择的视觉视图之一向用户呈现从数据集成模块的组件开发的选定信息。
对于不能在源数据交换元素和目标数据交换元素之间传输的信息内容，使用关联的第二输入/输出需求模型手动映射源数据交换元素和目标数据交换元素之间的图形连接以交换元素。
消息集成模块，如图4所示，包括：
S41、在第一应用程序和第二应用程序中启用服务代理活动；
S42、在第一应用程序和第二应用程序中创建消息类型、消息契约、消息队列，所述消息队列绑定到一个或者多个消息契约上，使用消息队列和消息契约用来定义一个或一组任务；
S43、启动第一应用程序和第二应用程序之间的消息交换，第一应用程序创建新的会话、发送消息；
S44、第二应用程序从消息队列中读取消息，使用第一应用程序的既有会话句柄，发送相应消息给第一应用程序，结束当前会话。
资源目录模块，如图5所示，包括：
数据注册单元，用以注册所述数据集成模块的数据资源；
核心数据库，连接所述数据注册单元，存储所述数据集成模块的数据资源；
目录服务器，连接所述核心数据库，提取所述数据集成模块的数据资源的目录并通过调用接口实现人机交换查询；
服务资源数据库，存储所述服务集成模块的数据；
消息资源数据库，存储消息集成模块的数据；
数据编目单元，其输入端连接所述服务资源数据库和消息资源数据库，其输出端连接所述数据注册单元，提取所述服务资源数据库和消息资源数据库的数据信息以进行编目，其输出端输出已作编目的数据给数据注册单元。
统一管理控制模块，如图6所示，包括：
展现层，用于兼容浏览器和展示所述统一管理控制模块的各功能界面，实现完全响应式界面布局；
网关层，用于为所述服务集成模块、数据集成模块、消息集成模块包含的各种服务功能提供统一入口，进行用户权限设置、监控告警、任务调度；
业务层，用于为所述统一管理控制模块运行提供基础系统功能服务和业务系统功能服务；所述基础系统功能服务包括一键生成功能、自定义工作流、可视化大屏，所述业务系统功能服务包括单点登录、统一认证；所述统一认证，用于设置用户登录统计周期，并根据用户在所述用户登录统计周期内的登录频率和次数进行登录安全验证；
数据层，用于通过存储云存储和计算所述统一管理控制模块运行过程中产生的业务数据、图片视频及文件数据和日志数据，其中，展现层和数据层完全分离，通过跨域实现前端数据和后端数据之间的通信。
统一管理控制模块，还可以进一步包括：微服务架构基础支撑单元，用于对所述统一管理控制模块的微服务架构进行功能支撑；服务监控单元，用于对所述统一管理控制模块运行过程中的服务调用、应用吞吐量以及服务降级、熔断和微服务运行情况进行监控；业务支撑单元，用于控制所述网关层根据所述统一管理控制模块的应用方式进行API接口隔离，并对应用进行调用次数限制。
请参考图7，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图7所示，所述电子设备20包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的基于云计算的数据集成系统。
其中，存储器201可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述基于云计算的数据集成系统可以应用于处理器200中，或者由处理器200实现。
处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的基于云计算的数据集成系统出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的基于云计算的数据集成系统对应的计算机可读存储介质，请参考图8，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的基于云计算的数据集成系统。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的基于云计算的数据集成系统出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备有固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的虚拟机的创建系统中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者系统程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干系统的单元权利要求中，这些系统中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于云计算的数据集成系统，其特征在于，包括：
服务集成模块，用于在多个异构应用系统之间进行互联互通、应用集成，提供服务开发、寻址、路由、转换、编排、安全、监控功能；
数据集成模块，将数据采集、清洗、汇聚、计算、存储各环节封装成组件，以所见即所得方式配置数据集成处理流程，并自定义数据处理模型；
消息集成模块，通过点对点、发布订阅方式进行分布式应用程序或组件间的消息、文件的异步传输；
资源目录模块，按预设的标准规范将各类数据资源进行整合和组织，形成数据资源目录，并挂接所述服务集成模块、数据集成模块、消息集成模块的数据资源，提供用户查询、按需申请和授权使用功能；
统一管理控制模块，基于前后端分离式微服务框架，提供完全响应式界面布局、一键生成功能、自定义工作流、可视化大屏、单点登录、统一认证、用户权限、监控告警、任务调度功能。
2.根据权利要求1所述的系统，其特征在于，
所述服务集成模块，包括：
多个包装器，通过具有相似功能的服务来注册和管理服务，所述多个包装器分别对应提供服务开发、寻址、路由、转换、编排、安全、监控功能；
通过所述包装器发现服务，并在接收到多个异构应用系统的应用程序请求服务的消息时调用服务，然后将服务的执行结果传递给应用程序；
在应用程序和包装器之间传输消息的消息代理；和
转换协议以满足所述包装器的规范。
3.根据权利要求2所述的系统，其特征在于，
所述数据集成模块，包括：
将数据采集、清洗、汇聚、计算、存储各环节封装成组件，构建源数据交换元素和目标数据交换元素的图形表示，在所述图形表示之间仅传输所述元素的信息内容；
在选定的源数据交换元素和目标数据交换元素之间建立图形连接，以便生成数据集成模块的图形表示；
使用与源数据交换元素、目标数据交换元素以及所述信息内容相关联的第一输入/输出需求模型来确定图形连接的有效性；
将所述数据集成模块的图形表示转换为数据集成模块的组件，以将数据采集、清洗、汇聚、计算、存储各环节封装成组件；和
使用多个用户可选择的视觉视图之一向用户呈现从数据集成模块的组件开发的选定信息。
4.根据权利要求3所述的系统，其特征在于，
对于不能在源数据交换元素和目标数据交换元素之间传输的信息内容，使用关联的第二输入/输出需求模型手动映射源数据交换元素和目标数据交换元素之间的图形连接以交换元素。
5.根据权利要求4所述的系统，其特征在于，
所述消息集成模块，包括：
在第一应用程序和第二应用程序中启用服务代理活动；
在第一应用程序和第二应用程序中创建消息类型、消息契约、消息队列，所述消息队列绑定到一个或者多个消息契约上，使用消息队列和消息契约用来定义一个或一组任务；
启动第一应用程序和第二应用程序之间的消息交换，第一应用程序创建新的会话、发送消息；
第二应用程序从消息队列中读取消息，使用第一应用程序的既有会话句柄，发送相应消息给第一应用程序，结束当前会话。
6.根据权利要求5所述的系统，其特征在于，
所述资源目录模块，包括：
数据注册单元，用以注册所述数据集成模块的数据资源；
核心数据库，连接所述数据注册单元，存储所述数据集成模块的数据资源；
目录服务器，连接所述核心数据库，提取所述数据集成模块的数据资源的目录并通过调用接口实现人机交换查询；
服务资源数据库，存储所述服务集成模块的数据；
消息资源数据库，存储所述消息集成模块的数据；
数据编目单元，其输入端连接所述服务资源数据库和消息资源数据库，其输出端连接所述数据注册单元，提取所述服务资源数据库和消息资源数据库的数据信息以进行编目，其输出端输出已作编目的数据给数据注册单元。
7.根据权利要求6所述的系统，其特征在于，
所述统一管理控制模块，包括：
展现层，用于兼容浏览器和展示所述统一管理控制模块的各功能界面，实现完全响应式界面布局；
网关层，用于为所述服务集成模块、数据集成模块、消息集成模块包含的各种服务功能提供统一入口，进行用户权限设置、监控告警、任务调度；
业务层，用于为所述统一管理控制模块运行提供基础系统功能服务和业务系统功能服务；所述基础系统功能服务包括一键生成功能、自定义工作流、可视化大屏，所述业务系统功能服务包括单点登录、统一认证；所述统一认证，用于设置用户登录统计周期，并根据用户在所述用户登录统计周期内的登录频率和次数进行登录安全验证；
数据层，用于通过存储云存储和计算所述统一管理控制模块运行过程中产生的业务数据、图片视频及文件数据和日志数据，其中，展现层和数据层完全分离，通过跨域实现前端数据和后端数据之间的通信。
8.根据权利要求7所述的系统，其特征在于，
所述统一管理控制模块，还进一步包括：微服务架构基础支撑单元，用于对所述统一管理控制模块的微服务架构进行功能支撑；服务监控单元，用于对所述统一管理控制模块运行过程中的服务调用、应用吞吐量以及服务降级、熔断和微服务运行情况进行监控；业务支撑单元，用于控制所述网关层根据所述统一管理控制模块的应用方式进行API接口隔离，并对应用进行调用次数限制。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现如权利要求1-8任一项所述的系统。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现如权利要求1-8中任一项所述的系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310635709.8A CN116828035A (zh) | 2023-05-31 | 2023-05-31 | 一种基于云计算的数据集成系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310635709.8A CN116828035A (zh) | 2023-05-31 | 2023-05-31 | 一种基于云计算的数据集成系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116828035A true CN116828035A (zh) | 2023-09-29 |
Family
ID=88111903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310635709.8A Pending CN116828035A (zh) | 2023-05-31 | 2023-05-31 | 一种基于云计算的数据集成系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116828035A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117312434A (zh) * | 2023-10-08 | 2023-12-29 | 北京皓宽网络科技有限公司 | 一种数据交换方法以及平台 |
-
2023
- 2023-05-31 CN CN202310635709.8A patent/CN116828035A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117312434A (zh) * | 2023-10-08 | 2023-12-29 | 北京皓宽网络科技有限公司 | 一种数据交换方法以及平台 |
| CN117312434B (zh) * | 2023-10-08 | 2024-03-19 | 北京皓宽网络科技有限公司 | 一种数据交换方法以及平台 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10439987B2 (en) | Systems and methods for securing network traffic flow in a multi-service containerized application | |
| CN110191063B (zh) | 服务请求的处理方法、装置、设备及存储介质 | |
| JP3965185B2 (ja) | ウェブ・サービス呼び出しをサポートするスケジューラ | |
| US8271609B2 (en) | Dynamic service invocation and service adaptation in BPEL SOA process | |
| CN106663033B (zh) | 在事务中间件机器环境支持绕域和代理模型并更新服务信息以跨域消息传送的系统和方法 | |
| US8800055B2 (en) | Node controller for an endpoint in a cloud computing environment | |
| CN111290865A (zh) | 一种服务调用方法、装置、电子设备和存储介质 | |
| US20180157543A1 (en) | System and method for a generic actor system container application | |
| US11194572B2 (en) | Managing external feeds in an event-based computing system | |
| CN102710793B (zh) | 一种基于云计算的网络印刷系统以及用于该系统中的数据存储方法 | |
| CN110413822B (zh) | 离线图像结构化分析方法、装置、系统和存储介质 | |
| US11005718B2 (en) | Determining capabilities of cognitive entities in a distributed network based on application of cognitive protocols | |
| CN114265703B (zh) | 云服务器跨区域算力调度方法、系统及设备 | |
| CN116828035A (zh) | 一种基于云计算的数据集成系统 | |
| CN112787999A (zh) | 跨链调用方法、装置、系统与计算机可读存储介质 | |
| Li et al. | Blockchain-enabled workflow management system for fine-grained resource sharing in E-commerce logistics | |
| CN112256406A (zh) | 作业流程平台化调度方法 | |
| CN114489954A (zh) | 基于虚拟化平台的租户创建方法、租户访问方法及设备 | |
| US7657590B2 (en) | Load balancing system and method | |
| CN112039985B (zh) | 一种异构云管理方法及系统 | |
| CN102054213A (zh) | 一种信息集成方法、装置及系统 | |
| CN111447273A (zh) | 云处理系统及基于云处理系统的数据处理方法 | |
| CN111353766A (zh) | 分布式业务系统的业务流程处理系统及方法 | |
| Dyatmika et al. | Untethering the Queue based on Multi-Channel Access (MCA) Technology at Hospital Radiology Section | |
| CN108234349A (zh) | 提高soa系统健壮性的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |