CN111182017B - 一种数据传输方法、装置、存储介质和电子设备 - Google Patents
一种数据传输方法、装置、存储介质和电子设备 Download PDFInfo
- Publication number
- CN111182017B CN111182017B CN201811345888.7A CN201811345888A CN111182017B CN 111182017 B CN111182017 B CN 111182017B CN 201811345888 A CN201811345888 A CN 201811345888A CN 111182017 B CN111182017 B CN 111182017B
- Authority
- CN
- China
- Prior art keywords
- buffer machine
- container
- container buffer
- real
- machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据传输方法及装置，包括，将物理buffer机中的数据迁移到云计算容器环境中运行的容器buffer机中，通过容器buffer机采集本地数据库中的实时数据，并将所述实时数据经过至少两级容器buffer机传输到远程数据库，采用Kubernetes技术管理所述容器buffer机。所述数据传输方法及装置中，远程管理层了解实时数据，不需要远程访问本地数据库实现，可以经多级容器buffer机实现实时数据的远程传输，从而满足远程管理层对实时数据进行分析处理的需求，便于远程管理层根据分析处理结果进行更优的生产管理。
Description
技术领域
本发明涉及通信技术领域，更具体的说，是涉及一种数据传输方法、装置、存储介质和电子设备。
背景技术
在一些生产型企业中，生产现场的设备状态信息是企业生产管理的重要内容，为了满足企业总部及下属单位的领导能在远程实时了解生产现场的设备状态，目前通用的方法是为生产装置的DCS(Distributed Control System，分布式控制系统)/PLC(Programmable Logic Controller，可编辑逻辑控制器)系统安装OPC((OLE for ProcessControl,用于过程控制的OLE))server(服务器)，在OPC server旁边设置一台buffer(缓冲区)机。该buffer机可以采集OPC server的实时生产数据，然后将采集到的实时数据传输至地区公司的实时数据库服务器，满足下属单位和企业总部领导远程访问或监控实时生产数据。
但是上述方案，企业总部只能远程访问下属单位的实时数据库，不能按照业务需求对下属单位实时数据库中的数据进行分析处理。
发明内容
有鉴于此，本发明提供了一种数据传输方法、装置、存储介质和电子设备，以实现将实时数据远程传输给企业总部，便于对实时数据进行进一步的分析处理。
为实现上述目的，本发明提供如下技术方案：
一种数据传输方法，包括：
将物理buffer机中的数据迁移到云计算容器环境中运行的容器buffer机中；
通过容器buffer机采集本地数据库中的实时数据，并将所述实时数据经过至少两级容器buffer机传输到远程数据库；
采用Kubernetes技术管理所述容器buffer机。
可选的，所述本地数据库和所述远程数据库采用OPC协议传输数据，且所述通过容器buffer机采集本地数据库中的实时数据，并将所述实时数据经过至少两级容器buffer机传输到远程数据库，包括：
第一容器buffer机采集本地数据库中的实时数据；
第一容器buffer机将所述实时数据发送至第一数据库；
第二容器buffer机从所述第一数据库中获取经过处理的实时数据；
第二容器buffer机将所述经过处理的实时数据发送至远程数据库。
可选的，所述将物理buffer机中的数据迁移到云计算容器环境中运行的容器buffer机中，包括：
基于物理buffer机准备docker镜像源文件；
根据所述docker镜像源文件创建docker镜像文件；
测试所述docker镜像文件是否能够以容器方式运行；
如果是，发布所述docker镜像文件，以使其存储在镜像仓库；
根据所述镜像仓库中的所述docker镜像文件构建一个容器buffer机，使其像所述物理buffer机一样运行。
可选的，所述采用Kubernetes技术管理容器buffer机，包括：
将每个容器buffer机配置为至少两个，且相同的容器buffer机运行在不同的物理节点上，其中，一个容器buffer机为工作容器buffer机，其他的容器buffer机为备用容器buffer机。
可选的，还包括：
当工作容器buffer机故障时，将其他物理节点上的所述工作容器buffer机的一个备用容器buffer机设置为工作容器buffer机。
可选的，还包括：
创建一个新的容器buffer机，并将其配置为所述工作容器buffer机的备用容器buffer机。
可选的，所述工作容器buffer机和其备用容器buffer机通过共享数据存储系统实现数据同步。
一种数据传输装置，包括：
数据迁移装置，用于将物理buffer机中的数据迁移到云计算容器环境中运行的容器buffer机中；
数据传输装置，用于通过容器buffer机采集本地数据库中的实时数据，并将所述实时数据经过至少两级容器buffer机传输到远程数据库；
容器管理装置，用于采用Kubernetes技术管理所述容器buffer机。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任意一种数据传输方法。
一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一种数据传输方法。
经由上述的技术方案可知，与现有技术相比，本发明实施例公开了一种数据传输方法及装置，包括，将物理buffer机中的数据迁移到云计算容器环境中运行的容器buffer机中，通过容器buffer机采集本地数据库中的实时数据，并将所述实时数据经过至少两级容器buffer机传输到远程数据库，采用Kubernetes技术管理所述容器buffer机。所述数据传输方法及装置中，远程管理层了解实时数据，不需要远程访问本地数据库实现，可以经多级容器buffer机实现实时数据的远程传输，从而满足远程管理层对实时数据进行分析处理的需求，便于远程管理层根据分析处理结果进行更优的生产管理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种数据传输方法的流程图；
图2为本发明实施例公开的容器buffer机进行数据传输的流程图；
图3为本发明实施例公开的物理buffer机转换为容器buffer机的流程图；
图4为本发明实施例公开的一种数据传输装置的结构示意图；
图5为本发明实施例公开的数据传输装置的结构示意图；
图6为本发明实施例公开的容器管理装置的结构示意图。
具体实施方式
为了引用和清楚起见，下文中使用的技术名词的说明、简写或缩写总结如下：
DCS系统：(Distributed Control System，分布式控制系统)，DCS通常采用若干个控制器(过程站)对一个生产过程中的众多控制点进行控制，各控制器间通过网络连接并可进行数据交换。
PLC系统：(Programmable Logic Controller，可编程逻辑控制器)，专为工业生产设计的一种数字运算操作的电子装置，广泛应用于钢铁、石油、化工等行业。
OPC：用于过程控制的OLE(OLE for Process Control)，是一个工业标准，OPC包括一整套接口、属性和方法的标准集，用于过程控制和制造业自动化系统。
物理Buffer机：用于接收OPC服务器传输的实时数据，执行本地缓存的同时，将实时数据上传到实时数据库。
容器Buffer机：将物理Buffer机迁移到云计算容器环境中运行的Buffer机。
Docker：是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口。
Kubernetes：是一个基于容器技术的分布式架构方案。同时是自动化容器操作的开源平台，这些操作包括部署，调度和节点集群间扩展。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例公开的一种数据传输方法的流程图，参见图1所示，数据传输方法可以包括：
步骤101：将物理buffer机中的数据迁移到云计算容器环境中运行的容器buffer机中。
所述将物理buffer机中数据迁移到云计算容器环境中运行的容器buffer机中，即将物理buffer机转化为容器buffer机运行。
具体的，所述将物理buffer机中的数据迁移到容器buffer机中可以包括以下内容：
编辑Dockerfile文件，包括：linux操作系统镜像名称，环境变量，OPC软件和组态软件的拷贝命令，ssh安装命令，软件的解压命令，创建挂载点，暴露端口，启动sshd服务。
准备Docker镜像源文件：将Dockerfile文件拷贝到某一目录下；在该目录下新建子目录，并将OPC软件和组态软件、linux操作系统镜像拷贝到该子目录。
制作Docker镜像文件：执行docker build命令创建镜像。
测试Docker镜像文件：执行docker run命令测试镜像。
发布Docker镜像文件：将所自作的镜像文件发布到镜像仓库。
从镜像仓库中部署OPC软件和组态软件。
软件定义网络，并配置为不同装置的容器Buffer机之间网络隔离。
以容器方式启动OPC软件和组态软件。
步骤102：通过容器buffer机采集本地数据库中的实时数据，并将所述实时数据经过至少两级容器buffer机传输到远程数据库。
其中，所述本地数据库可以为采用OPC协议传输数据的服务器。
在一些生产现场，需要采集生产实时数据，其具体实现是在现场生产装置的DCS/PLC系统安装OPC server，在OPC server旁边设置一台容器buffer机，用于实时采集OPCsercer中的实时数据。
由于本地数据库的实时数据后续在不同的数据库中的存储、展现形式和分析处理不同，因此，本实施例中，本地数据库的实时数据需要经过至少两级容器buffer机传输到远程数据库。
步骤103：采用Kubernetes技术管理所述容器buffer机。
采用Kubernetes技术管理所述容器buffer机，以使得至少两个容器buffer机能够保持正常的工作状态，保证本地数据库中的实时数据能够快速准确传输到远程数据库。
采用本实施例记载的数据传输方法，远程管理层了解实时数据，不需要远程访问本地数据库实现，可以经多级容器buffer机实现实时数据的远程传输，从而满足远程管理层对实时数据进行分析处理的需求，便于远程管理层根据分析处理结果进行更优的生产管理。
上述实施例中，所述本地数据库和所述远程数据库可以采用OPC协议传输数据，则所述通过容器buffer机采集本地数据库中的实时数据，并将所述实时数据经过至少两级容器buffer机传输到远程数据库的具体过程可以参见图2，图2为本发明实施例公开的容器buffer机进行数据传输的流程图，如图2所示，可以包括：
步骤201：第一容器buffer机采集本地数据库中的实时数据。
所述第一容器buffer机可以以容器形式运行，作为OPC客户端和OPC服务器端，完成数据的采集和传输。本实施例中，所述第一容器buffer机可以运行在生产企业的下属单位的容器平台上，即生产现场侧的容器平台上。
具体的，所述第一容器buffer机可以连接生产现场的OPC server和下属单位的生产实时数据库。在所述第一容器buffer机与所述OPC server的连接关系中，所述第一容器buffer机为OPC客户端。
步骤202：第一容器buffer机将所述实时数据发送至第一数据库。
其中，所述第一数据库可以是上述内容中所述的下属单位的生产实时数据库。在所述第一容器与所述第一数据库的连接关系中，所述第一容器buffer机为OPC服务器端。
在所述第一容器buffer机从生产现场的所述OPC server中采集到实时数据后，可以将所述实时数据发送至下属单位的生产实时数据库，以供展示和处理。
步骤203：第二容器buffer机从所述第一数据库中获取经过处理的实时数据。
所述第二容器buffer机和所述第一容器buffer机具有相同的动能，也可以运行在生产企业的下属单位的容器平台上，但其完成数据采集和数据传输的对象和路径不同。
本实施例中，所述第二容器buffer机可以连接所述第一数据库和不同于所述第一数据库的第二数据库，所述第二数据库可以为所述远程数据库。在所述第二容器buffer机与所述第一数据库的连接关系中，所述第二容器buffer机为OPC客户端。
如上所述，所述第一数据库可以是下属单位的生产实时数据库，所述生产实时数据库在接收到生产现场的实时数据后，可以对所述实时数据进行展示，同时也可以对所述实时数据进行一些相关的处理计算，得到一些数值，如实时生产效率、日累计生产值等，计算得到的这些数据也可以根据要求在下属单位的相关展示页面进行展示。
步骤204：第二容器buffer机将所述经过处理的实时数据发送至远程数据库。
由于在一些包括多个级别单位的企业中，总部或高级别单位也需要了解下属单位的生产情况，因此，本实施例中，所述第二容器buffer机需要将一些生产数据从下属单位传送到总部单位。其中，所述生产数据可以包括部分或全部的实时数据，还可以包括经过一些预设处理的实时数据，例如去除噪音数据的实时处理、根据实时数据计算得到的汇总值、平均值、速率值等。
本实施例中，所述远程数据库可以是总部单位的数据库。所述总部单位在接收到所述经过处理的实时数据后，可以对所述经过处理的实时数据进行展示和分析处理，所述分析处理可以但不限制为包括：将来自各个下属单位的数据进行汇总、比较，分析生产规律等，后续也可以将分析处理的结果进行展示。
本实施例所述数据传输方法中，远程管理层了解实时数据，不需要远程访问本地数据库实现，可以经多级容器buffer机实现实时数据的远程传输，从而满足远程管理层对实时数据进行分析处理的需求，便于远程管理层根据分析处理结果进行更优的生产管理。
上述各实施例中，所述将物理buffer机中的数据迁移到云计算容器环境中运行的容器buffer机中的一种具体实现可以参见图3，图3为本发明实施例公开的物理buffer机转换为容器buffer机的流程图，参见图3所示，可以包括：
步骤301：基于物理buffer机准备docker镜像源文件。
步骤302：根据所述docker镜像源文件创建docker镜像文件。
步骤303：测试所述docker镜像文件是否能够以容器方式运行，如果是，进入步骤304。
步骤304：发布所述docker镜像文件，以使其存储在镜像仓库。
步骤305：根据所述镜像仓库中的所述docker镜像文件构建一个容器buffer机，使其像所述物理buffer机一样运行。
上述各实施例中，所述采用Kubernetes技术管理容器buffer机，可以包括：将每个容器buffer机配置为至少两个，且相同的容器buffer机运行在不同的物理节点上，其中，一个容器buffer机为工作容器buffer机，其他的容器buffer机为备用容器buffer机。
例如，每个容器buffer机配置为3个，则这3个容器buffer机分别部署在3台物理服务器上，每台物理服务器部署1个容器buffer机。正常情况下，1个容器buffer机处于工作状态，为工作容器buffer机，另外2个容器buffer机作为备用容器buffer机。如果布置同一个容器buffer机的3台物理服务器中有2台物理服务器同时损坏时，则剩下的1台物理服务器上的容器buffer机还可以正常工作。
进一步的，在其他实施例中，还可以包括：当工作容器buffer机故障时，将其他物理节点上的所述工作容器buffer机的一个备用容器buffer机设置为工作容器buffer机。
在工作容器buffer机出现故障不能再继续工作时，通过kubernetes技术可以将其他物理节点上的所述工作容器buffer机的一个备用容器buffer机设置为工作容器buffer机，以接替故障的工作容器buffer机继续进行正常的数据采集和数据发送工作。
将其他物理节点上的所述工作容器buffer机的一个备用容器buffer机设置为工作容器buffer机的同时或之后，还可以创建一个新的容器buffer机，并将其配置为所述工作容器buffer机的备用容器buffer机。
这样操作是为了保证备用容器buffer机数量不变，或每一个容器buffer机的总数量不变。
所述工作容器buffer机和其备用容器buffer机可以通过共享后端的数据存储系统实现数据同步。本实施例中，容器bufffer机需要不断的采集实时数据，并不断的将实时数据在自身缓存并发送给数据库，由于容器buffer机存储空间固定，因此本实施例中，在容器buffer机工作过程中，可以周期性的覆盖之前缓存的数据。
上述实施例中，采用Kubernetes技术管理容器buffer机，将每一个容器buffer机配置为至少两个，当某个容器buffer机失效时，自动创建新的容器buffer机，使每一个容器buffer机的数量保持不变，能够从根本上避免物理buffer机发生故障时实时数据采集中断的情况发生。
对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
上述本发明公开的实施例中详细描述了方法，对于本发明的方法可采用多种形式的装置实现，因此本发明还公开了一种装置，下面给出具体的实施例进行详细说明。
图4为本发明实施例公开的一种数据传输装置的结构示意图，如图4所示，数据传输装置40可以包括：
数据迁移装置401，用于将物理buffer机中的数据迁移到云计算容器环境中运行的容器buffer机中。
所述将物理buffer机中数据迁移到云计算容器环境中运行的容器buffer机中，即将物理buffer机转化为容器buffer机运行。
数据传输装置402，用于通过容器buffer机采集本地数据库中的实时数据，并将所述实时数据经过至少两级容器buffer机传输到远程数据库。
其中，所述本地数据库可以为采用OPC协议传输数据的服务器。
在一些生产现场，需要采集生产实时数据，其具体实现是在现场生产装置的DCS/PLC系统安装OPC server，在OPC server旁边设置一台容器buffer机，用于实时采集OPCsercer中的实时数据。
由于本地数据库的实时数据后续在不同的数据库中的存储、展现形式和分析处理不同，因此，本实施例中，本地数据库的实时数据需要经过至少两级容器buffer机传输到远程数据库。
容器管理装置403，用于采用Kubernetes技术管理所述容器buffer机。
采用Kubernetes技术管理所述容器buffer机，以使得至少两个容器buffer机能够保持正常的工作状态，保证本地数据库中的实时数据能够快速准确传输到远程数据库。
采用本实施例记载的数据传输装置，远程管理层了解实时数据，不需要远程访问本地数据库实现，可以经多级容器buffer机实现实时数据的远程传输，从而满足远程管理层对实时数据进行分析处理的需求，便于远程管理层根据分析处理结果进行更优的生产管理。
上述实施例中，所述本地数据库和所述远程数据库可以采用OPC协议传输数据，则所述数据传输装置402的具体结构可以参见图5，图5为本发明实施例公开的数据传输装置的结构示意图，如图5所示，所述数据传输装置402可以包括第一容器buffer机501和第二容器buffer机502。
其中，所述第一容器buffer机501用于采集本地数据库中的实时数据，并将所述实时数据发送至第一数据库。
所述第一容器buffer机可以以容器形式运行，作为OPC客户端和OPC服务器端，完成数据的采集和传输。本实施例中，所述第一容器buffer机可以运行在生产企业的下属单位的容器平台上，即生产现场侧的容器平台上。
具体的，所述第一容器buffer机可以连接生产现场的OPC server和下属单位的生产实时数据库。在所述第一容器buffer机与所述OPC server的连接关系中，所述第一容器buffer机为OPC客户端。
其中，所述第一数据库可以是上述内容中所述的下属单位的生产实时数据库。在所述第一容器与所述第一数据库的连接关系中，所述第一容器buffer机为OPC服务器端。
在所述第一容器buffer机从生产现场的所述OPC server中采集到实时数据后，可以将所述实时数据发送至下属单位的生产实时数据库，以供展示和处理。
所述第二容器buffer机502可以用于：从所述第一数据库中获取经过处理的实时数据，并将所述经过处理的实时数据发送至远程数据库。
所述第二容器buffer机和所述第一容器buffer机具有相同的动能，也可以运行在生产企业的下属单位的容器平台上，但其完成数据采集和数据传输的对象和路径不同。
本实施例中，所述第二容器buffer机可以连接所述第一数据库和不同于所述第一数据库的第二数据库，所述第二数据库可以为所述远程数据库。在所述第二容器buffer机与所述第一数据库的连接关系中，所述第二容器buffer机为OPC客户端。
如上所述，所述第一数据库可以是下属单位的生产实时数据库，所述生产实时数据库在接收到生产现场的实时数据后，可以对所述实时数据进行展示，同时也可以对所述实时数据进行一些相关的处理计算，得到一些数值，如实时生产效率、日累计生产值等，计算得到的这些数据也可以根据要求在下属单位的相关展示页面进行展示。
由于在一些包括多个级别单位的企业中，总部或高级别单位也需要了解下属单位的生产情况，因此，本实施例中，所述第二容器buffer机需要将一些生产数据从下属单位传送到总部单位。其中，所述生产数据可以包括部分或全部的实时数据，还可以包括经过一些预设处理的实时数据，例如去除噪音数据的实时处理、根据实时数据计算得到的汇总值、平均值、速率值等。
本实施例中，所述远程数据库可以是总部单位的数据库。所述总部单位在接收到所述经过处理的实时数据后，可以对所述经过处理的实时数据进行展示和分析处理，所述分析处理可以但不限制为包括：将来自各个下属单位的数据进行汇总、比较，分析生产规律等，后续也可以将分析处理的结果进行展示。
本实施例所述数据传输系统中，远程管理层了解实时数据，不需要远程访问本地数据库实现，可以经多级容器buffer机实现实时数据的远程传输，从而满足远程管理层对实时数据进行分析处理的需求，便于远程管理层根据分析处理结果进行更优的生产管理。
上述各实施例中，所述数据迁移装置401的一种具体实现可以参见图6，图6为本发明实施例公开的数据迁移装置的结构示意图，参见图6所示，所述数据迁移装置401可以包括：
源文件准备模块601，用于基于物理buffer机准备docker镜像源文件。
镜像创建模块602，用于根据所述docker镜像源文件创建docker镜像文件。
镜像测试模块603，用于测试所述docker镜像文件是否能够以容器方式运行。
镜像发布模块604，用于在所述镜像测试模块603测试结果为是时，发布所述docker镜像文件，以使其存储在镜像仓库。
Buffer机构建模块605，用于根据所述镜像仓库中的所述docker镜像文件构建一个容器buffer机，使其像所述物理buffer机一样运行。
上述各实施例中，所述容器管理装置403具体可用于：将每个容器buffer机配置为至少两个，且相同的容器buffer机运行在不同的物理节点上，其中，一个容器buffer机为工作容器buffer机，其他的容器buffer机为备用容器buffer机。
例如，每个容器buffer机配置为3个，则这3个容器buffer机分别部署在3台物理服务器上，每台物理服务器部署1个容器buffer机。正常情况下，1个容器buffer机处于工作状态，为工作容器buffer机，另外2个容器buffer机作为备用容器buffer机。如果布置同一个容器buffer机的3台物理服务器中有2台物理服务器同时损坏时，则剩下的1台物理服务器上的容器buffer机还可以正常工作。
进一步的，在其他实施例中，所述容器管理装置403还可以用于：当工作容器buffer机故障时，将其他物理节点上的所述工作容器buffer机的一个备用容器buffer机设置为工作容器buffer机。
在工作容器buffer机出现故障不能再继续工作时，通过kubernetes技术可以将其他物理节点上的所述工作容器buffer机的一个备用容器buffer机设置为工作容器buffer机，以接替故障的工作容器buffer机继续进行正常的数据采集和数据发送工作。
将其他物理节点上的所述工作容器buffer机的一个备用容器buffer机设置为工作容器buffer机的同时或之后，所述容器管理装置403还可以创建一个新的容器buffer机，并将其配置为所述工作容器buffer机的备用容器buffer机。
这样操作是为了保证备用容器buffer机数量不变，或每一个容器buffer机的总数量不变。
所述工作容器buffer机和其备用容器buffer机可以通过共享后端的数据存储系统实现数据同步。本实施例中，容器bufffer机需要不断的采集实时数据，并不断的将实时数据在自身缓存并发送给数据库，由于容器buffer机存储空间固定，因此本实施例中，在容器buffer机工作过程中，可以周期性的覆盖之前缓存的数据。
上述实施例中，采用Kubernetes技术管理容器buffer机，将每一个容器buffer机配置为至少两个，当某个容器buffer机失效时，自动创建新的容器buffer机，使每一个容器buffer机的数量保持不变，能够从根本上避免物理buffer机发生故障时实时数据采集中断的情况发生。
上述实施例中的所述的所有装置包括处理器和存储器，上述实施例中的数据迁移装置、数据传输装置、容器管理装置、源文件准备模块、镜像创建模块、镜像测试模块、镜像发布模块、Buffer机构建模块等均作为程序模块存储在存储器中，由处理器执行存储在所述存储器中的上述程序模块来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序模块。内核可以设置一个或多个，通过调整内核参数来实现回访数据的处理。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现上述实施例中所述的数据传输方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述实施例中所述的数据传输方法。
进一步，本实施例提供了一种电子设备，包括处理器以及存储器。其中存储器用于存储所述处理器的可执行指令，所述处理器配置为经由执行所述可执行指令来执行上述实施例中所述的数据传输方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种数据传输方法，其特征在于，包括：
将物理buffer机中的数据迁移到云计算容器环境中运行的容器buffer机中，包括：基于物理buffer机准备docker镜像源文件，根据所述docker镜像源文件构建一个容器buffer机，使其像所述物理buffer机一样运行；
通过容器buffer机采集本地数据库中的实时数据，并将所述实时数据经过至少两级容器buffer机传输到远程数据库；
采用Kubernetes技术管理所述容器buffer机；
所述本地数据库和所述远程数据库采用OPC协议传输数据，且所述通过容器buffer机采集本地数据库中的实时数据，并将所述实时数据经过至少两级容器buffer机传输到远程数据库，包括：
第一容器buffer机采集本地数据库中的实时数据；
第一容器buffer机将所述实时数据发送至第一数据库；
第二容器buffer机从所述第一数据库中获取经过处理的实时数据；
第二容器buffer机将所述经过处理的实时数据发送至远程数据库。
2.根据权利要求1所述的数据传输方法，其特征在于，所述基于物理buffer机准备docker镜像源文件，根据所述docker镜像源文件构建一个容器buffer机，使其像所述物理buffer机一样运行，包括：
基于物理buffer机准备docker镜像源文件；
根据所述docker镜像源文件创建docker镜像文件；
测试所述docker镜像文件是否能够以容器方式运行；
如果是，发布所述docker镜像文件，以使其存储在镜像仓库；
根据所述镜像仓库中的所述docker镜像文件构建一个容器buffer机，使其像所述物理buffer机一样运行。
3.根据权利要求1所述的数据传输方法，其特征在于，所述采用Kubernetes技术管理容器buffer机，包括：
将每个容器buffer机配置为至少两个，且相同的容器buffer机运行在不同的物理节点上，其中，一个容器buffer机为工作容器buffer机，其他的容器buffer机为备用容器buffer机。
4.根据权利要求3所述的数据传输方法，其特征在于，还包括：
当工作容器buffer机故障时，将其他物理节点上的所述工作容器buffer机的一个备用容器buffer机设置为工作容器buffer机。
5.根据权利要求4所述的数据传输方法，其特征在于，还包括：
创建一个新的容器buffer机，并将其配置为所述工作容器buffer机的备用容器buffer机。
6.根据权利要求3所述的数据传输方法，其特征在于，所述工作容器buffer机和其备用容器buffer机通过共享数据存储系统实现数据同步。
7.一种数据传输装置，其特征在于，包括：
数据迁移装置，用于将物理buffer机中的数据迁移到云计算容器环境中运行的容器buffer机中，包括：基于物理buffer机准备docker镜像源文件，根据所述docker镜像源文件构建一个容器buffer机，使其像所述物理buffer机一样运行；
数据传输装置，用于通过容器buffer机采集本地数据库中的实时数据，并将所述实时数据经过至少两级容器buffer机传输到远程数据库；
容器管理装置，用于采用Kubernetes技术管理所述容器buffer机；
所述本地数据库和所述远程数据库采用OPC协议传输数据；
所述数据传输装置具体用于：
通过第一容器buffer机采集本地数据库中的实时数据；
通过第一容器buffer机将所述实时数据发送至第一数据库；
通过第二容器buffer机从所述第一数据库中获取经过处理的实时数据；
通过第二容器buffer机将所述经过处理的实时数据发送至远程数据库。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～6任一项所述的数据传输方法。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～6任一项所述的数据传输方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811345888.7A CN111182017B (zh) | 2018-11-13 | 2018-11-13 | 一种数据传输方法、装置、存储介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811345888.7A CN111182017B (zh) | 2018-11-13 | 2018-11-13 | 一种数据传输方法、装置、存储介质和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111182017A CN111182017A (zh) | 2020-05-19 |
| CN111182017B true CN111182017B (zh) | 2022-09-09 |
Family
ID=70649967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811345888.7A Active CN111182017B (zh) | 2018-11-13 | 2018-11-13 | 一种数据传输方法、装置、存储介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111182017B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102367742A (zh) * | 2011-10-08 | 2012-03-07 | 北京华通伟业科技发展有限公司 | 监控系统 |
| CN108121636A (zh) * | 2017-12-15 | 2018-06-05 | 安徽长泰信息安全服务有限公司 | 一种异地数据库容灾备份方法及装置 |
| CN108614870A (zh) * | 2018-04-18 | 2018-10-02 | 国网湖北省电力有限公司 | 电力设备外采数据信息的快速批量入库系统及方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104238509A (zh) * | 2014-09-02 | 2014-12-24 | 北京同力华盛环保供水科技股份有限公司 | 一种数据采集远程监控系统 |
| WO2016155857A1 (en) * | 2015-03-27 | 2016-10-06 | Bühler AG | Adaptive cross plant control and steering system, and corresponding method thereof |
| US10411974B2 (en) * | 2016-03-20 | 2019-09-10 | CloudBolt Software Inc. | Cloud computing service catalog |
| CN106888254B (zh) * | 2017-01-20 | 2020-08-18 | 华南理工大学 | 一种基于Kubernetes的容器云架构及其各模块之间的交互方法 |
-
2018
- 2018-11-13 CN CN201811345888.7A patent/CN111182017B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102367742A (zh) * | 2011-10-08 | 2012-03-07 | 北京华通伟业科技发展有限公司 | 监控系统 |
| CN108121636A (zh) * | 2017-12-15 | 2018-06-05 | 安徽长泰信息安全服务有限公司 | 一种异地数据库容灾备份方法及装置 |
| CN108614870A (zh) * | 2018-04-18 | 2018-10-02 | 国网湖北省电力有限公司 | 电力设备外采数据信息的快速批量入库系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 煤矿现场数据库采集器设计;李晓蕴;《神华科技》;20180326(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111182017A (zh) | 2020-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3285127B1 (en) | Remote industrial automation site operation in a cloud platform | |
| EP2924572B1 (en) | Cloud-level analytics for boiler networks | |
| EP3037901B1 (en) | Cloud-based emulation and modeling for automation systems | |
| JP2021121954A (ja) | データモデリングスタジオ、コンピュータシステム、及びコンピュータで実装される方法 | |
| US10095202B2 (en) | Multiple controllers configuration management interface for system connectivity | |
| CN107566165B (zh) | 一种发现及部署电力云数据中心可用资源的方法及系统 | |
| JP2006236314A (ja) | センサネットワークのモデリングおよび配置 | |
| CN111611054B (zh) | 一种应用部署方法及装置 | |
| CN103188088A (zh) | 设备信息采集系统及方法 | |
| CN105577475A (zh) | 自动化性能测试系统及方法 | |
| US20150012141A1 (en) | Method and system to support technical tasks in distributed control systems | |
| CN113055478A (zh) | 一种设备数据的处理方法、装置、设备及介质 | |
| CN105580007A (zh) | 监控计算网络 | |
| US10466686B2 (en) | System and method for automatic configuration of a data collection system and schedule for control system monitoring | |
| CN110971464A (zh) | 一种适合灾备中心的运维自动化系统 | |
| CN103377101A (zh) | 一种测试系统和测试方法 | |
| CN113778486A (zh) | 一种代码流水线的容器化处理方法、装置、介质及设备 | |
| US20160274646A1 (en) | System and Method for a Database Layer for Managing a Set of Energy Consuming Devices | |
| EP3550501A1 (en) | On-demand service provision system and on-demand service provision method | |
| CN111586022A (zh) | 防火墙开墙验证方法、电子装置、计算机设备及存储介质 | |
| US8687213B2 (en) | Data filtering for print service providers | |
| US20180164764A1 (en) | Apparatus and Method for Analysis of Machine Performance | |
| US20220237090A1 (en) | Autonomous organization and role selection of homogenous workers | |
| CN114745409A (zh) | 一种智慧物联网设备远程控制方法 | |
| CN111182017B (zh) | 一种数据传输方法、装置、存储介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |