CN112104726A - 一种工业物联网对象存储实时监测系统 - Google Patents

一种工业物联网对象存储实时监测系统 Download PDF

Info

Publication number
CN112104726A
CN112104726A CN202010941031.2A CN202010941031A CN112104726A CN 112104726 A CN112104726 A CN 112104726A CN 202010941031 A CN202010941031 A CN 202010941031A CN 112104726 A CN112104726 A CN 112104726A
Authority
CN
China
Prior art keywords
file
module
bucket
real
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010941031.2A
Other languages
English (en)
Inventor
王星宇
旷黎明
林大
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Weiyi Intelligent Manufacturing Technology Co ltd
Changzhou Weiyizhi Technology Co Ltd
Original Assignee
Shanghai Weiyi Intelligent Manufacturing Technology Co ltd
Changzhou Weiyizhi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Weiyi Intelligent Manufacturing Technology Co ltd, Changzhou Weiyizhi Technology Co Ltd filed Critical Shanghai Weiyi Intelligent Manufacturing Technology Co ltd
Priority to CN202010941031.2A priority Critical patent/CN112104726A/zh
Publication of CN112104726A publication Critical patent/CN112104726A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/562—Brokering proxy services

Abstract

本发明公开了一种工业物联网对象存储实时监测系统，包括：配置模块，用于读取配置文件，并完成配置信息初始化；文件桶管理模块，用于接收所述Minio client对象，并基于所述Minio client对象管理文件对象的存储空间；对象管理模块，用于对文件对象的管理操作，其中，所述管理操作包括不限于文件对象的上传、下载和删除操作，并基于所述管理操作产生文件对象信息；消息中间件模块，用于接收所述文件对象信息的实施信息，以进行监测管理。结合对象存储及分布式消息中间件实现对文件对象存储实时监测，保障了工业现场海量数据文件被集中管理、实时监测，并极大提高了数据使用的可复用性并降低维护成本。

Description

一种工业物联网对象存储实时监测系统
技术领域
本发明涉及工业互联网的文件存储技术领域，尤其涉及一种工业物联网对象存储实时监测系统。
背景技术
工业互联网是全球工业系统与高级计算、分析、感应技术以及互联网连接融合的一种结果。可以是通过开放的、全球化的工业级网络平台把设备、生产线、工厂、供应商、产品和客户紧密地连接和融合起来，高效共享工业经济中的各种要素资源，帮助制造业延长产业链。由于每一个环节都会产生大量的数据，因此工业互联网中将会产生大量的工业数据；或者需要将数据在各个环节之间进行传递。
目前，工业现场海量机器数据文件被存放在本地机器不能被有效管理及内部共享使用，需要人为主动定期检查整理及分发使用，随着项目推进数据爆发式增长，此过程需要耗费大量人力物力。
发明内容
本发明的目的在于提供一种工业物联网对象存储实时监测系统，旨在结合对象存储及分布式消息中间件实现对文件对象存储实时监测，保障了工业现场海量数据文件被集中管理、实时监测，并极大提高了数据使用的可复用性并降低维护成本。
为了实现上述目的，提供了一种工业物联网对象存储实时监测系统，所述方法包括：
配置模块，用于读取配置文件，并完成配置信息初始化，所述配置文件包含MinioServer安装部署完成后获得的对象存储服务的URL和对象存储及Web访问的服务地址验证凭据，并根据所述URL、所述服务地址验证凭据创建一个Minio client对象的配置信息初始化；
文件桶管理模块，用于接收所述Minio client对象，并基于所述Minio client对象管理文件对象的存储空间；
对象管理模块，用于对文件对象的管理操作，其中，所述管理操作包括不限于文件对象的上传、下载和删除操作，并基于所述管理操作产生文件对象信息；
消息中间件模块，用于接收所述文件对象信息的实施信息，以进行监测管理。
一种实现方式中，所述对象管理模块包括：解析请求流子模块、校验预处理子模块和对象存储子模块；
所述解析请求流子模块，用于创建FileItem工厂并创建文件对象解析核心组件，通过所述对象解析核心组件解析从Web浏览器客户端发出的上传文件的request请求并获取文件对象；并通过所述FileItem工厂遍历所述文件对象对应表单项，筛选得到对应文件的FileItem对象，以根据FileItem对象获取合法的文件对象；
所述校验预处理子模块，用于对文件对象进行记录，以形成文件的唯一性；
所述对象存储子模块，用于通过FileItem对象将所述校验预处理子模块处理后得到的所述合法的文件对象上传到Minio文件系统并同时指定文件桶，以支持对所述文件对象进行管理操作。
一种实现方式中，还包括业务模块，
所述业务模块，与所述消息中间件模块相连，用于对包含有文件对象信息的消息实时分发处理。
一种实现方式中，所述消息中间件模块还用于将本身业务和业务调用方业务解耦，以降低应用服务之间的依赖。
一种实现方式中，所述消息中间件模块为kafka消息中间件。
一种实现方式中，所述文件桶管理模块还包括桶判断模块和桶创建模块；
所述桶判断模块用于根据配置信息判断是否存在与文件对象对应的文件桶；
所述桶创建模块，用于在所述桶判断模块的判断结果为否的情况下，创建文件桶；在所述桶判断模块的判断结果为是的情况下，启动对象管理模块。
应用本发明实施例提供的工业物联网对象存储实时监测系统，具有有益效果如下：
(1)系统采用Minio作为对象存储服务,实现了工业现场海量数据文件集中管理，提高数据可复用性及私有部署同时保证了数据文件安全性。
(2)系统采用kafka消息中间件,实现了本系统与其它业务系统的业务解耦，同时利用kafka生产消息保证了文件对象存储管理的实时监测。
(3)工业现场海量数据文件存储后结合消息中间件实现实时监测并与其它业务解耦，以实现集中有效管理，提高数据可重用性，降低工业现场维护成本。
附图说明
图1是本发明实施例工业物联网对象存储实时监测系统的一个具体实施例；
图2是本发明实施例工业物联网对象存储实时监测系统的另一个具体实施例。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
请参阅图1-2。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1和图2本发明提供了一种工业物联网对象存储实时监测系统，包括：
配置模块，用于读取配置文件，并完成配置信息初始化。
需要说明的是，主要配置文件指Minio Server安装部署完成后获得的对象存储服务的URL(endpoint)和对象存储及Web访问的服务地址验证凭据(access key和secretkey)，使用给定的endpoint、access key和secret key创建一个Minio client对象即完成配置信息初始化。
远程主机是指Minio Server安装部署的服务器主机；配置模块远程主机的连接状态的目的是确认目标主机服务是否正常可用，配置文件包含对象存储服务的URL(endpoint)和对象存储及Web访问的服务地址验证凭据(access key和secret key)。
文件桶管理模块，用于接收所述Minio client对象，并基于所述Minio client对象管理文件对象的存储空间。
需要说明的是，文件桶(bucket)，是用户用来管理所文件对象的存储空间。文件桶内部对象数量不限，默认提供三种访问权限：私有读写、公有读私有写和公有读写。进入文件桶管理模块前需要检查确认文件桶是否存在，如果不存在需要先新增文件桶；确认存在后进入对象管理模块。因此，为了确保文件桶的存在，本发明的一个实施例中，所述文件桶管理模块还包括桶判断模块和桶创建模块；
所述桶判断模块用于根据配置信息判断是否存在与文件对象对应的文件桶；
所述桶创建模块，用于在所述桶判断模块的判断结果为否的情况下，创建文件桶；在所述桶判断模块的判断结果为是的情况下，启动对象管理模块。
应用本发明实施例，在文件桶缺失的情况下能够及时创建，而在文件桶存在的额情况下则能够直接进行下一步作业。
对象管理模块，用于对文件对象的管理操作，其中，所述管理操作包括不限于文件对象的上传、下载和删除操作，并基于所述管理操作产生文件对象信息。
需要说明的是，由于每个文件对象都必须被文件桶所管理。对象是OSS存储的基本单位，所上传的任何文件都可以被视为对象，所以所上传的文件可以被称之为文件对象；对于对象的管理包括对象上传、对象下载及对象删除，对象上传文件成功后根据指定的主体发送含有文件对象的信息。
一种实现方式中，所述对象管理模块包括：解析请求流子模块、校验预处理子模块和对象存储子模块；
所述解析请求流子模块，用于创建FileItem工厂并创建文件对象解析核心组件，通过所述对象解析核心组件解析从Web浏览器客户端发出的上传文件的request请求并获取文件对象；并通过所述FileItem工厂遍历所述文件对象对应表单项，筛选得到对应文件的FileItem对象，以根据FileItem对象获取合法的文件对象。
所述校验预处理子模块，用于对文件对象进行记录，以形成文件的唯一性。
需要说明的是，在根据解析请求流子模块获取到的FileItem对象校验文件对象类型、文件对象大小、文件对象名称是否在业务允许范围内，如果在，就通过预处理过程对文件进行分类记录，保证后续文件唯一可追溯性。
所述对象存储子模块，用于通过FileItem对象将所述校验预处理子模块处理后得到的所述合法的文件对象上传到Minio文件系统并同时指定文件桶，以支持对所述文件对象进行管理操作。
本发明实施例汇总，由于系统采用Minio作为对象存储服务,实现了工业现场海量数据文件集中管理，提高数据可复用性及私有部署同时保证了数据文件安全性。
消息中间件模块，用于接收所述文件对象信息的实施信息，以进行监测管理。一种实现方式中，所述消息中间件模块为kafka消息中间件。
依据校验预处理子模块处理完毕得到的FileItem对象获取合法的文件流上传到Minio文件系统并同时指定文件桶，同时可以对其进行下载、删除操作，然后根据主体发送包含有文件对象信息的Kafka消息到消息中间件模块。
因此，本发明实施例，系统采用kafka消息中间件,实现了本系统与其它业务系统的业务解耦，同时利用kafka生产消息保证了文件对象存储管理的实时监测
一种实现方式中，还包括业务模块，所述业务模块，与所述消息中间件模块相连，用于对包含有文件对象信息的消息实时分发处理。
本发明实施例中，具体业务模块通过与消息中间件相连，能够监听消费处理具体业务，实现系统文件处理的监听。
一种实现方式中，所述消息中间件模块还用于将本身业务和业务调用方业务解耦，以降低应用服务之间的依赖。
应用本发明实施例，在工业现场海量数据文件存储后结合消息中间件实现实时监测并与其它业务解耦，以实现集中有效管理，提高数据可重用性，降低工业现场维护成本。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (6)

1.一种工业物联网对象存储实时监测系统，其特征在于，所述系统包括：
配置模块，用于读取配置文件，并完成配置信息初始化；所述配置文件包含MinioServer安装部署完成后获得的对象存储服务的URL和对象存储及Web访问的服务地址验证凭据，并根据所述URL、所述服务地址验证凭据创建一个Minio client对象的配置信息初始化；
文件桶管理模块，用于接收所述Minio client对象，并基于所述Minio client对象管理文件对象的存储空间；
对象管理模块，用于对文件对象的管理操作，其中，所述管理操作包括不限于文件对象的上传、下载和删除操作，并基于所述管理操作产生文件对象信息；
消息中间件模块，用于接收所述文件对象信息的实施信息，以进行监测管理。
2.根据权利要求1所述的一种工业物联网对象存储实时监测系统，其特征在于，所述对象管理模块包括：解析请求流子模块、校验预处理子模块和对象存储子模块；
所述解析请求流子模块，用于创建FileItem工厂并创建文件对象解析核心组件，通过所述对象解析核心组件解析从Web浏览器客户端发出的上传文件的request请求并获取文件对象；并通过所述FileItem工厂遍历所述文件对象对应表单项，筛选得到对应文件的FileItem对象，以根据FileItem对象获取合法的文件对象；
所述校验预处理子模块，用于对文件对象进行记录，以形成文件的唯一性；
所述对象存储子模块，用于通过FileItem对象将所述校验预处理子模块处理后得到的所述合法的文件对象上传到Minio文件系统并同时指定文件桶，以支持对所述文件对象进行管理操作。
3.根据权利要求2所述的一种工业物联网对象存储实时监测系统，其特征在于，还包括业务模块，
所述业务模块，与所述消息中间件模块相连，用于对包含有文件对象信息的消息实时分发处理。
4.根据权利要求1-3任一项所述的一种工业物联网对象存储实时监测系统，其特征在于，所述消息中间件模块还用于将本身业务和业务调用方业务解耦，以降低应用服务之间的依赖。
5.根据权利要求4所述的一种工业物联网对象存储实时监测系统，其特征在于，所述消息中间件模块为kafka消息中间件。
6.根据权利要求5所述的一种工业物联网对象存储实时监测系统，其特征在于，所述文件桶管理模块还包括桶判断模块和桶创建模块；
所述桶判断模块用于根据配置信息判断是否存在与文件对象对应的文件桶；
所述桶创建模块，用于在所述桶判断模块的判断结果为否的情况下，创建文件桶；在所述桶判断模块的判断结果为是的情况下，启动对象管理模块。
CN202010941031.2A 2020-09-09 2020-09-09 一种工业物联网对象存储实时监测系统 Pending CN112104726A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010941031.2A CN112104726A (zh) 2020-09-09 2020-09-09 一种工业物联网对象存储实时监测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010941031.2A CN112104726A (zh) 2020-09-09 2020-09-09 一种工业物联网对象存储实时监测系统

Publications (1)

Publication Number Publication Date
CN112104726A true CN112104726A (zh) 2020-12-18

Family

ID=73752599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010941031.2A Pending CN112104726A (zh) 2020-09-09 2020-09-09 一种工业物联网对象存储实时监测系统

Country Status (1)

Country Link
CN (1) CN112104726A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112835591A (zh) * 2021-02-19 2021-05-25 南京莱斯网信技术研究院有限公司 一种支持跨语言跨平台的运维配置管理方法及系统
CN115442206A (zh) * 2022-08-25 2022-12-06 浪潮云信息技术股份公司 一种在云环境下针对go微服务远程部署的方法及系统
CN115496749A (zh) * 2022-11-14 2022-12-20 江苏智云天工科技有限公司 基于目标检测训练预处理的产品缺陷检测方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102255974A (zh) * 2011-08-24 2011-11-23 无锡中科方德软件有限公司 一种云计算服务器的云存储方法
WO2017107616A1 (zh) * 2015-12-24 2017-06-29 华为技术有限公司 一种检测终端安全状况方法、装置及系统
CN108597600A (zh) * 2018-03-19 2018-09-28 武汉大学人民医院 单导心贴数据智能诊断云计算系统及其处理方法
CN109753813A (zh) * 2019-01-28 2019-05-14 恒峰信息技术有限公司 一种文件安全处理方法
CN110704192A (zh) * 2019-09-30 2020-01-17 的卢技术有限公司 一种多元化数据云存储方法及系统
CN110888848A (zh) * 2018-09-07 2020-03-17 珠海横琴盛达兆业科技投资有限公司 一种跨服务器文件上传的方法
US20200136943A1 (en) * 2019-12-27 2020-04-30 Intel Corporation Storage management in a data management platform for cloud-native workloads
CN111147869A (zh) * 2019-12-25 2020-05-12 新浪网技术(中国)有限公司 一种基于分布式对象存储的视频转码系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102255974A (zh) * 2011-08-24 2011-11-23 无锡中科方德软件有限公司 一种云计算服务器的云存储方法
WO2017107616A1 (zh) * 2015-12-24 2017-06-29 华为技术有限公司 一种检测终端安全状况方法、装置及系统
CN108597600A (zh) * 2018-03-19 2018-09-28 武汉大学人民医院 单导心贴数据智能诊断云计算系统及其处理方法
CN110888848A (zh) * 2018-09-07 2020-03-17 珠海横琴盛达兆业科技投资有限公司 一种跨服务器文件上传的方法
CN109753813A (zh) * 2019-01-28 2019-05-14 恒峰信息技术有限公司 一种文件安全处理方法
CN110704192A (zh) * 2019-09-30 2020-01-17 的卢技术有限公司 一种多元化数据云存储方法及系统
CN111147869A (zh) * 2019-12-25 2020-05-12 新浪网技术(中国)有限公司 一种基于分布式对象存储的视频转码系统及方法
US20200136943A1 (en) * 2019-12-27 2020-04-30 Intel Corporation Storage management in a data management platform for cloud-native workloads

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
好雨科技: ""通过Minio搭建私有化对象存储服务"", 《HTTPS://WWW.SOHU.CAM/A/229503119_515888》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112835591A (zh) * 2021-02-19 2021-05-25 南京莱斯网信技术研究院有限公司 一种支持跨语言跨平台的运维配置管理方法及系统
CN112835591B (zh) * 2021-02-19 2023-07-28 南京莱斯网信技术研究院有限公司 一种支持跨语言跨平台的运维配置管理方法及系统
CN115442206A (zh) * 2022-08-25 2022-12-06 浪潮云信息技术股份公司 一种在云环境下针对go微服务远程部署的方法及系统
CN115496749A (zh) * 2022-11-14 2022-12-20 江苏智云天工科技有限公司 基于目标检测训练预处理的产品缺陷检测方法及系统
CN115496749B (zh) * 2022-11-14 2023-01-31 江苏智云天工科技有限公司 基于目标检测训练预处理的产品缺陷检测方法及系统

Similar Documents

Publication Publication Date Title
Paniagua et al. Industrial frameworks for internet of things: A survey
WO2022022477A1 (zh) 一种管理运维平台及数据处理方法
CN112104726A (zh) 一种工业物联网对象存储实时监测系统
CN110933187B (zh) 基于区块链共识加密机制的物联网数据传输系统
US20170093700A1 (en) Device platform integrating disparate data sources
US11170118B2 (en) Network system and method for access management authentication and authorization
US8250185B2 (en) Semantic matching of federation intents and services capabilities in a planning system for automatic service federation
CN112631614B (zh) 应用部署方法、装置、计算机设备和存储介质
CN112989330B (zh) 容器的入侵检测方法、装置、电子设备及存储介质
US20150128130A1 (en) Method and system for providing and dynamically deploying hardened task specific virtual hosts
US20210152433A1 (en) Systems and methods for determining entry points for mapping a network
KR102435498B1 (ko) 계층형 엔진 프레임워크에 기반한 크로스 도메인 워크플로우 제어 시스템 및 방법
JP2023500669A (ja) クロス・クラウド・オペレーションのためのクラウド・サービス
CN109582809A (zh) 一种基于数据库的三维模型管理系统及方法
US20190253458A1 (en) System and method for configuration of a connected device connection
CN115129423A (zh) 资源管理方法、装置、设备及存储介质
US20100325244A1 (en) Real time data network
CN114819998A (zh) 一种基于工业互联网标识解析的数据共享权限管理系统
CN105224594A (zh) 一种面向服务体系架构数据互联查询系统及查询方法
Sherlekar et al. Provisioned data distribution for intelligent manufacturing via fog computing
CN105592130A (zh) 一种服务部署方法、服务管理方法及装置
Zhang et al. An optimal container update method for edge‐cloud collaboration
CN115037757B (zh) 一种多集群服务管理系统
CN111045928A (zh) 一种接口数据测试方法、装置、终端及存储介质
CN103425707A (zh) 数据分析方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201218