CN108123994B - 一种面向工业领域的云平台架构 - Google Patents

Abstract

本发明涉及一种面向工业领域的云平台架构，该架构基于云计算技术，包括数据接入层、基础设施层、开发平台层、应用服务层和虚拟机市场；各层次分别承担数据采集、资源提供、应用开发和应用管理功能。基于该云平台可以搭建面向工业领域的业务管理、数据采集和数据分析等应用。本发明能够实现搭建面向工业领域的云平台，并基于该平台进行工业数据的采集分析和工业云应用的开发、测试和部署等操作。

Description

一种面向工业领域的云平台架构

技术领域

本发明涉及面向工业领域的云平台的设计和搭建，具体的说是一种面向工业领域的云平台架构。

背景技术

云计算技术是一种革新的信息技术与商业服务的消费与交付模式。在这种模式中，用户可以采用按需的自助模式，通过访问无处不在的网络获得来自于与地理无关的资源池中快速分配的资源。这种模式的主体是所有连接着互联网的实体，包括人、设备或程序。客体是服务本身，包括我们现在接触到的，以及会在不远的将来出现的各种信息与商业服务。其核心原则是：硬件和软件都是资源并被封装为服务，用户可以通过网络按需地访问和使用。

目前，业界推出和许多不同层次的、不同功能的云服务。包括提供IaaS(Infrastructure as a Service,基础设施及服务)云服务，如亚马逊的AWS、阿里巴巴的阿里云等；提供PaaS(Plateform as a Service，平台及服务)云服务，如Pivotal的PWS，新浪的SAE，百度的BAE等；具有特定行业特点的云平台服务，如GE的Predix，IBM的BlueMix等；也有提供特定软件功能的SaaS(Software as a Service)云服务，如用于人脸识别的Face++等。而许多企业在使用公有云服务的同时，也会出于保密性、功能性等到特殊要求，存在搭建私有云和混合云的需求。

针对这种情况，业界提出了多种技术方案以从不同角度满足企业此类需求。比如针对IaaS层的技术方案，主要包括VMWare公司的vSphere平台、开源的OpenStack平台等；针对PaaS层的技术方案主要包括Pivotal公司的Pivotal CloudFoundry平台、RedHat公司的OpenShift平台以及众多基于Docker的技术方案。

这些方案在构建通用云平台方面发挥了重要作用，并且已经在很多商业项目中投入实际应用。但由于工业领域相对于其它领域存在着很大的特殊性，比如数据采集协议的复杂性和多样性、工业领域行业应用和数据分析的专业性和定制性，以及其他对于安全性、稳定性的要求，都使得市场上绝大多数的云平台产品难以满足工业领域实际需求。

发明内容

针对现有技术的不足，本发明提供一种面向工业领域的云平台架构，可以搭建针对工业领域的云平台。

本发明为实现上述目的所采用的技术方案是：一种面向工业领域的云平台架构，包括：

数据采集层，通过以集群方式在数据源本地部署多个数据聚合节点,实现对工业现场不同协议的原始数据进行采集、过滤、聚合、分析和上传给基础设施层；

基础设施层，通过部署四类物理集群，实现对云平台物理服务器集群的分布式管理，并将集群资源以服务的形式提供给开发平台层的应用调用；

开发平台层，通过部署多个虚拟节点，为应用服务层的云应用提供开发、运行和管控环境，以及相关通用服务；

应用服务层，通过行业套件或定制开发的云应用提供面向工业领域的软件解决方案；

虚拟机市场，用于在云平台中提供虚拟机镜像集合，所述虚拟机镜像集合用于基础设施层基于集合中的虚拟机镜像实现快速创建虚拟机。

对所述每个数据聚合节点均进行如下操作：

通过配置和定制开发将Modbus，TCP，HTTP，OPC DA，OPC UA协议的工业原始数据汇总到数据聚合节点，并生成基于XML或JSON的统一数据格式；

临时存储数据格式统一后的工业原始数据，并提供数据加密和数据备份；

通过对临时存储的工业原始数据进行数据分析，提供现场数据可视化、数据预警、实时反馈、实时控制；

通过对临时存储数据进行噪点过滤、数据格式统一、主数据统一、敏感数据加密或剔出、以及数据统计聚合，实现数据整合；并按周期或者按触发条件的方式自动将整合后数据发送给云平台的基础设施层。

所述四类物理集群包括；

控制节点集群，用于提供时间同步服务、后台数据库服务、身份认证服务、镜像服务、网络管理服务、计算服务、块存储服务、文件共享服务、对象存储服务，以及管理上述服务的命令行工具或图形化管理工具；

计算节点集群，用于提供虚拟机运行环境，控制节点集群根据虚拟机市场中的虚拟镜像在计算节点集群创建和管理虚拟机；所述虚拟机用于创建开发平台层的虚拟节点集群环境和应用服务层的云应用运行环境；

块存储节点集群，用于为计算节点集群提供扩展用虚拟硬盘；

对象存储节点集群，用于以冗余方式存储数据接入层输出的整合后数据。

所述多个虚拟节点是开发平台层通过基础设施层创建的虚拟机部署的，所述多个虚拟节点包括：

代码编辑节点，通过虚拟机市场中预先配置好的虚拟镜像提供编程的集成开发环境，实现代码编写、编译以及单元测试，输出代码源文件给版本控制节点；

版本控制节点，用于对代码源文件进行版本控制管理，并输出给持续集成节点，所述版本控制管理包括代码提交、撤销、对比、合并以及历史查看；

持续集成节点，对代码源文件进行自动化的编译、集成、发布，生成部署文件并输出给测试节点集群；

测试节点集群：提供与生产环境一致的测试环境及专业测试工具，实现对使用部署文件部署的云应用进行测试，检验部署文件的正确性；

部署节点集群：通过检验后部署文件快速创建满足程序运行要求的虚拟环境并部署云应用、动态调配虚拟资源、监控并收集云应用运行日志并反馈给云平台基础设施层的控制节点集群。

所述行业套件包括：行业方案类套件、数据集成类套件和数据分析类套件；

所述行业方案类套件，用于实现企业ERP、MES、CRM系统的业务操作并将生成的业务表单数据存储到云平台的基础设施层中；

所述数据集成类套件，用于实现企业中不同数据源的采集数据向云平台的集成，以及在集成过程中对不同数据源的采集数据进行集成、存储和标准化处理；

所述数据分析类套件，用于对业务表单数据和不同数据源的采集数据进行数理统计、大数据分析和数据挖掘，并提供可视化的分析结果或数据反馈接口给用户或第三方系统。

所述行业方案类套件包括：主数据管理套件、企业诊断套件、客户管理套件、企业资源套件、生产管理套件、仓储管理套件、产品管理套件。

所述数据集成类套件包括：数据采集套件、数据融合套件。

所述虚拟机市场提供虚拟机镜像集合，所述虚拟机镜像用于快速创建满足需求的虚拟机。

本发明具有以下优点及有益效果：

1.本发明降低工业制造企业构建和部署工业云的难度。

2.本发明的框架提供了层次化的云平台架构，通过不同层次的云平台组件逐级实现从物理服务器集群到虚拟机集群、再到运行节点集群以及软件应用的抽象和分解。

3.本发明通过层次化的系统框架，可以将技术架构变更局限在较小的范围内。

4.本发明通过数据采集层实现了对工业现场不同协议数据的采集和数据整合、数据缓存和本地分析。

5.本发明通过基础设施层实现了对物理服务器集群基础资源如CPU、硬盘、内存的统一管理和调度。

6.本发明通过开发平台层实现了对软件运行环境节点集群和通用服务的统一管理。

7.本发明通过虚拟机市场实现了成套软件应用环境的快速创建和复用。

附图说明

图1为本发明的分层应用技术框架示意图；

图2为本发明的开发平台层开发流程示意图；

图3为本发明应用层的功能划分示意图；

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

1.数据采集层：数据采集实现外部物理世界与云平台之间的数据交互，数据交互的方向是双向的，数据交互的对象包括物理设备、第三方系统和人。接入层的核心组件是数据聚合节点，为了保证数据聚合的稳定性、效率以及数据保密性，数据聚合节点以集群的方式部署在数据源本地。数据聚合节点实现的功能包括五个方面：

(1)数据收集。数据聚合节点收集物理设备、第三方系统以及人员操作产生的数据。由于生产现场复杂多样，数据聚合节点需要通过配置或定制开发的方式解决通信协议不统一、数据格式不统一、主数据不一致以及数据更新周期不一致等问题，最终将数据汇总到数据聚合节点上。数据采集支持多种协议，如Modbus，TCP，HTTP，OPC DA，OPC UA等，数据采集后将不同协议的数据统一为基于XML或JSON格式的统一数据协议，JSON数据格式如下所示：

{

"设备1":[

{"温度":25},

{"速度":"25"},

{"湿度":"45％"}

]

}

(2)数据存储。数据聚合节点可以临时存储一定时间范围内的原始数据，存储数据量的大小视物理资源配置和业务需求而定，并根据实际情况提供数据加密和数据备份功能。本地数据存储采用轻量级数据库，根据业务需要选择配置关系数据库MariaDB或文档数据库MongoDB。

(3)数据分析。数据聚合节点可以实现基于本地数据的数据分析，并根据规则要求提供数据可视化、数据预警、实时反馈、实时控制等功能。

(4)数据整合。通过数据聚合节点整合原始数据集合，实现数据噪点过滤、数据格式统一、主数据统一、敏感数据加密或剔出以及数据统计聚合等功能，将原始数据整理成格式规范、主数据一致、数据量更小的平台可用数据集合。

(5)数据提交。自动按周期或者按触发条件的方式将整合后数据发送给智能制造云平台。

2.基础设施层：基础设施层提供基础设施及服务(IaaS)功能，平台开发通用API，集成OpenStack等主流平台，主要提供计算即服务、存储即服务和网络即服务三大核心功能，同时提供认证、镜像管理、计费管理等其它服务。为了实现基础设施及服务，基础设施层需要部署四类物理集群：

(1)控制节点集群：控制节点集群是整个云平台的中枢系统，云平台中的各种功能服务都需要在控制节点进行安装配置，其中比较关键的服务包括时间同步服务、后台数据库服务、身份认证服务、镜像服务、网络管理服务、计算服务、块存储服务、文件共享服务、对象存储服务等，以及用于管理整个云平台的命令行工具或图形化管理工具。

(2)计算节点集群：计算节点用于创建和管理虚拟机，云平台中所有的虚拟机都运行在计算节点上，所以计算节点的配置和规模决定了云平台可提供计算资源的能力。计算节点集群提供的虚拟机可用于提供云应用运行环境，云应用是通过云平台开发并部署的微服务应用，云平台通过计算节点集群提供的虚拟机创建开发平台层的虚拟节点集群环境和应用服务层的微服务运行环境。

(3)块存储节点集群：块存储节点集群为计算节点集群提供扩展用虚拟硬盘，虚拟硬盘文件可以保存在块存储节点的文件系统中(应用于小规模集群场景)，也可以保存在对象存储节点中(应用于大规模集群场景)。

(4)对象存储节点集群：对象存储节点集群属于可选配置，用于提供冗余方式的文件存储服务。对象存储可以直接提供给用户存储文件，也可以作为平台的后台文件存储服务用以存储虚拟机镜像、虚拟硬盘文件等。

3.开发平台层：开发平台层开发通用API，集成CloudFoundry等平台和众多开源功能组件，提供平台即服务(PaaS)功能，包括代码开发、代码版本控制、持续集成、代码测试与代码部署等操作。开发平台层不要求部署物理节点，可以通过基础设施层创建的虚拟机实现开发平台层的部署，主要包括如下虚拟节点：

(1)代码编辑节点：提供编程的集成开发环境，包括代码编写、编译以及单元测试等功能。代码编辑环境支持用户本地开发，也可以通过云平台虚拟机市场快速创建代码编辑节点虚拟机，虚拟机中包含Eclipse，IntelliJ IDEA，Visual Studio等集成软件开发环境和Maven，Gradle等构建工具。

(2)版本控制节点：平台基于GitLab创建本地分布式版本控制节点。提供源代码的版本控制管理，包括代码提交、撤销、对比、合并以及历史查看等功能。

(3)持续集成节点：平台基于Jenkins提供持续集成服务，每次集成通过自动化的构建(包括编译、发布和自动化测试)来快速验证，从而尽快地发现集成错误，减少代码集成产生的问题，提高团队开发效率。

(4)测试节点集群：提供与生产环境一致的测试环境及专业测试工具，帮助用户在实际部署前尽可能多的发现并解决问题，保证代码质量和系统的稳定性。

(5)部署节点集群：平台基于CloudFoundry平台提供云应用部署工具，实现根据部署指令快速创建满足程序运行要求的虚拟环境并部署云应用，动态调配虚拟资源，监控并收集云应用运行日志并反馈给云平台。

在开发平台进行软件开发流程图2所示。开发人员在代码编辑节点编写代码并完成代码编译。编译测试通过后，将代码提交到版本控制节点，然后通过持续集成节点实现代码的编译、发布和自动化测试功能。待产品开发完毕后，发布到测试节点集群进行集成测试，测试通过后部署到部署节点集群投入使用。在部署过程中，平台自动为应用创建虚拟机并配置运行环境，然后完成应用的安装和部署操作。

4.应用服务层：由部署节点集群创建的虚拟环境组成，其中的虚拟环境可能是虚拟机或容器。在每一个虚拟环境中运行一个或数个微服务，一定数量的具有特定关系的微服务共同构成了一个云应用，一定数量的具有特定关系的云应用共同构成了一个功能套件，这些功能套件集合最终形成智能制造云平台整体解决方案。根据企业实际需求情况，平台提供定制化软件开发方案。同时，平台也提供针对特定行业、特定功能的行业解决套件。如图3所示。

平台提供的服务可以分为三大类功能套件：行业方案类套件、数据集成类套件和数据分析类套件。

(1)行业方案类套件的主要功能是实现企业的业务操作并将业务数据存储到平台中，比如ERP、MES、CRM等系统所实现的功能。要求系统响应时间在5秒以内，所处理的数据一般为3年以内的数据，数据量在TB级别，对存储资源要求较高。包括：

(a)主数据管理套件：一组维护企业基础数据的服务及应用。

(b)企业诊断套件：一组实现企业管理咨询评估的服务及应用。

(c)客户管理套件：一组实现CRM系统功能的服务及应用，也可以是第三方开发的CRM云应用，或者是运行第三方CRM系统的虚拟机。

(d)企业资源套件：一组实现ERP系统功能的服务及应用，也可以是第三方开发的ERP云应用，或者是运行第三方ERP系统的虚拟机。

(e)生产管理套件：一组实现MES系统功能的服务及应用，也可以是第三方开发的MES云应用，或者是运行第三方MES系统的虚拟机。

(f)仓储管理套件：一组实现WMS系统功能的服务及应用，也可以是第三方开发的WMS云应用，或者是运行第三方WMS系统的虚拟机。

(g)产品管理套件：一组实现PLM系统功能的服务及应用，也可以是第三方开发的PLM云应用，或者是运行第三方PLM系统的虚拟机。

(2)数据集成类套件的主要功能是实现企业中大量种类不同的数据向云平台的集成，以及在集成过程中对数据的采集、存储和处理。要求系统响应时间在1秒以内，所处理的数据一般为1周以内的数据，数据量在MB级别，对云主机的对存储资源、网络资源要求高。需要保证网络的带宽和稳定性，能够处理各种网络通信协议，也要保证数据存储的一致性、有效性。

(a)数据采集套件：包括数据采集节点和数据聚合节点。数据采集节点负责采集设备数据，并将采集数据实时转发给数据聚合节点。数据聚合节负责对数据采集节点的数据进行过滤、分析、整合等操作，然后将处理后的数据发送给云主机。

(b)数据融合套件：实现接收来自不同数据源的数据，包括云应用、第三方应用以及数据聚合节点等，对这些数据进行规范化处理并永久性存储。

(3)数据分析类套件的主要功能是应用数理统计、大数据分析、数据挖掘等方法分析平台中的数据，并提供可视化的分析结果或是数据反馈接口。要求系统响应时间可以是几分钟、几小时或者几天，所处理的数据可大可小，可能是数十年的数据，数据量可能在PB级别，对云主机的计算资源要求高。

(a)离线数据分析套件：基于Hadoop框架提供海量离线数据分析服务。

(b)在线数据分析套件：基于Spark框架提供大数据在线分析服务。

(c)数据可视化套件：基于HTML5技术开发支持多终端、自适应的数据可视化服务。

5.虚拟机市场：虚拟机市场提供虚拟机镜像列表，可以快速创建满足特定需求的虚拟机。客户需求一般体现在两个方面：一是虚拟机资源配额，二是操作系统及软件环境。通过虚拟机市场，云平台可以实现以出租的方式个性化销售第三方软件，也可以为云应用快速创建第三方服务。

基本概念：

云计算：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池(资源包括网络，服务器，存储，应用软件，服务)，这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互；

IaaS(Infrastructure as a Service，基础设施即服务)：提供给消费者的服务是对所有计算基础设施的利用，包括处理CPU、内存、存储、网络和其它基本的计算资源，用户能够部署和运行任意软件，包括操作系统和应用程序。消费者不管理或控制任何云计算基础设施，但能控制操作系统的选择、存储空间、部署的应用，也有可能获得有限制的网络组件(例如路由器、，防火墙，、负载均衡器等)的控制；

PaaS(Plateform as a Service，平台即服务)：提供给消费者的服务是把客户采用提供的开发语言和工具(例如Java，python,.Net等)开发的或收购的应用程序部署到供应商的云计算基础设施上去。客户不需要管理或控制底层的云基础设施，包括网络、服务器、操作系统、存储等，但客户能控制部署的应用程序，也可能控制运行应用程序的托管环境配置；

SaaS(Software as a Service，软件即服务)：提供给客户的服务是运营商运行在云计算基础设施上的应用程序，用户可以在各种设备上通过客户端界面访问，如浏览器。消费者不需要管理或控制任何云计算基础设施，包括网络、服务器、操作系统、存储等。

通过本架构实现针对工业领域的云平台数据采集、IaaS云、Pass云、SaaS云的整合，快速搭建满足工业需求的行业云平台。

以上实施方式仅用于说明本发明，并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变形，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应有权利要求限定。

Claims (7)

1.一种面向工业领域的云平台架构，其特征在于，包括：

数据采集层，通过以集群方式在数据源本地部署多个数据聚合节点,实现对工业现场不同协议的原始数据进行采集、过滤、聚合、分析和上传给基础设施层；

基础设施层，通过部署四类物理集群，实现对云平台物理服务器集群的分布式管理，并将集群资源以服务的形式提供给开发平台层的应用调用；所述四类物理集群包括；

控制节点集群，用于提供时间同步服务、后台数据库服务、身份认证服务、镜像服务、网络管理服务、计算服务、块存储服务、文件共享服务、对象存储服务，以及管理上述服务的命令行工具或图形化管理工具；

计算节点集群，用于提供虚拟机运行环境，控制节点集群根据虚拟机市场中的虚拟镜像在计算节点集群创建和管理虚拟机；所述虚拟机用于创建开发平台层的虚拟节点集群环境和应用服务层的云应用运行环境；

块存储节点集群，用于为计算节点集群提供扩展用虚拟硬盘；

对象存储节点集群，用于以冗余方式存储数据接入层输出的整合后数据；

开发平台层，通过部署多个虚拟节点，为应用服务层的云应用提供开发、运行和管控环境，以及相关通用服务；

应用服务层，通过行业套件或定制开发的云应用提供面向工业领域的软件解决方案；

虚拟机市场，用于在云平台中提供虚拟机镜像集合，所述虚拟机镜像集合用于基础设施层基于集合中的虚拟机镜像实现快速创建虚拟机。

2.根据权利要求1所述的一种面向工业领域的云平台架构，其特征在于，对每个数据聚合节点均进行如下操作：

通过配置和定制开发将Modbus，TCP，HTTP，OPC DA，OPC UA协议的工业原始数据汇总到数据聚合节点，并生成基于XML或JSON的统一数据格式；

临时存储数据格式统一后的工业原始数据，并提供数据加密和数据备份；

通过对临时存储的工业原始数据进行数据分析，提供现场数据可视化、数据预警、实时反馈、实时控制；

通过对临时存储数据进行噪点过滤、数据格式统一、主数据统一、敏感数据加密或剔出、以及数据统计聚合，实现数据整合；并按周期或者按触发条件的方式自动将整合后数据发送给云平台的基础设施层。

3.根据权利要求1所述的一种面向工业领域的云平台架构，其特征在于，所述多个虚拟节点是开发平台层通过基础设施层创建的虚拟机部署的，所述多个虚拟节点包括：

代码编辑节点，通过虚拟机市场中预先配置好的虚拟镜像提供编程的集成开发环境，实现代码编写、编译以及单元测试，输出代码源文件给版本控制节点；

版本控制节点，用于对代码源文件进行版本控制管理，并输出给持续集成节点，所述版本控制管理包括代码提交、撤销、对比、合并以及历史查看；

持续集成节点，对代码源文件进行自动化的编译、集成、发布，生成部署文件并输出给测试节点集群；

测试节点集群：提供与生产环境一致的测试环境及专业测试工具，实现对使用部署文件部署的云应用进行测试，检验部署文件的正确性；

部署节点集群：通过检验后部署文件快速创建满足程序运行要求的虚拟环境并部署云应用、动态调配虚拟资源、监控并收集云应用运行日志并反馈给云平台基础设施层的控制节点集群。

4.根据权利要求1所述的一种面向工业领域的云平台架构，其特征在于，所述行业套件包括：行业方案类套件、数据集成类套件和数据分析类套件；

所述行业方案类套件，用于实现企业ERP、MES、CRM系统的业务操作并将生成的业务表单数据存储到云平台的基础设施层中；

所述数据集成类套件，用于实现企业中不同数据源的采集数据向云平台的集成，以及在集成过程中对不同数据源的采集数据进行集成、存储和标准化处理；

所述数据分析类套件，用于对业务表单数据和不同数据源的采集数据进行数理统计、大数据分析和数据挖掘，并提供可视化的分析结果或数据反馈接口给用户或第三方系统。

5.根据权利要求4所述的一种面向工业领域的云平台架构，其特征在于，所述行业方案类套件包括：主数据管理套件、企业诊断套件、客户管理套件、企业资源套件、生产管理套件、仓储管理套件、产品管理套件。

6.根据权利要求4所述的一种面向工业领域的云平台架构，其特征在于，所述数据集成类套件包括：数据采集套件、数据融合套件。

7.根据权利要求1所述的一种面向工业领域的云平台架构，其特征在于，所述虚拟机市场提供虚拟机镜像集合，所述虚拟机镜像用于快速创建满足需求的虚拟机。

Images