CN115208914A - 一种工业数据采集分析系统及方法 - Google Patents
一种工业数据采集分析系统及方法 Download PDFInfo
- Publication number
- CN115208914A CN115208914A CN202210719371.XA CN202210719371A CN115208914A CN 115208914 A CN115208914 A CN 115208914A CN 202210719371 A CN202210719371 A CN 202210719371A CN 115208914 A CN115208914 A CN 115208914A
- Authority
- CN
- China
- Prior art keywords
- data
- analysis
- industrial
- analysis model
- industrial equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000007405 data analysis Methods 0.000 claims description 70
- 238000012360 testing method Methods 0.000 claims description 44
- 230000002159 abnormal effect Effects 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 28
- 238000013480 data collection Methods 0.000 claims description 16
- 238000012544 monitoring process Methods 0.000 claims description 15
- 238000007619 statistical method Methods 0.000 claims description 8
- 238000013499 data model Methods 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 11
- 230000005540 biological transmission Effects 0.000 abstract description 7
- 230000015654 memory Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000007726 management method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013523 data management Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出一种工业数据采集分析系统及方法，通过发送第一数据采集请求至物联网服务网关，从所述第一数据采集请求中获取身份验证信息，进行身份验证；身份验证通过后，生成第一数据采集指令并发送至工业设备和/或采集终端；采集第一数据并发送至云服务器，并将所述第一数据进行分类后得到多个第一子数据，将多个所述第一子数据分区存储；将多个所述第一子数据的数据索引和存储信息反馈至所述物联网服务网关；根据所述数据索引和存储信息生成下载信息数据并将所述下载信息数据添加至第一消息队列，不仅能实时高效地采集工业数据，还通过预先的数据加工处理节约了数据处理时间和资源，还能保证数据在采集、传输和使用过程中的安全。
Description
技术领域
本发明涉及工业控制技术领域，具体涉及一种工业数据采集分析系统及方法。
背景技术
随着智能工业制造技术的发展，在产品生产过程中产生大量的工业数据，而工业数据又是整个智能工业中的核心资产，具有很高的价值，是提高企业的管理效率和竞争力的一个重要基础。大型工业现场的数据源庞大而分散。例如要通过实时采集工业现场上关键位置的数据来实时监控整个工厂的运作情况。这些数据通常包括了待装配线上装配零件的条码扫描信息(零件名称、批次等)、仓库的温度和湿度、质量检测部关节臂式测量机检测数据等等。在这种监控面向多元化，系统面向分散化的总体趋势下，传统的数据采集方式暴露出效率低下、安全性不高、时效性不强等弱点。
发明内容
本发明正是基于上述问题，提出了一种工业数据采集分析系统及方法，通过本方案的实施，不仅能实时高效地采集工业数据，还通过预先的数据加工处理节约了数据处理时间和资源，还能保证数据在采集、传输和使用过程中的安全。
有鉴于此，本发明的一方面提出了一种工业数据采集分析系统，包括：远程控制终端、物联网服务网关、工业设备、采集终端和云服务器；
所述远程控制终端被配置为：发送第一数据采集请求至所述物联网服务网关；
所述物联网服务网关被配置为：从所述第一数据采集请求中获取身份验证信息，进行身份验证；
身份验证通过后，生成第一数据采集指令并发送至所述工业设备和/或所述采集终端；
所述工业设备和/或所述采集终端被配置为：采集第一数据并发送至所述云服务器；
所述云服务器被配置为：将所述第一数据进行分类后得到多个第一子数据，将多个所述第一子数据分区存储；
将多个所述第一子数据的数据索引和存储信息反馈至所述物联网服务网关；
根据所述数据索引和存储信息生成下载信息数据并将所述下载信息数据添加至第一消息队列。
可选地，还包括监测模块、下载模块、包含第一分布式组件的第一分布式文件系统、第一分布式数据库和数据处理模块；
所述监测模块被配置为：监测所述第一消息队列中的所述下载信息数据更新情况；
所述下载模块被配置为：当所述下载信息数据已更新时，根据所述下载信息数据下载对应的数据文件；并将所述数据文件上传到所述第一分布式文件系统；
所述第一分布式文件系统被配置为：利用所述第一分布式组件对所述数据文件进行处理；
将处理后的数据文件存储至所述第一分布式数据库；
所述数据处理模块被配置为：接收数据分析指令，从所述第一分布式数据库中提取对应的第二数据；
将所述第二数据输入对应的数据分析模型，得到分析结果。
可选地，所述第一子数据包括工业设备历史状态数据、工业设备最新状态数据、工业设备上下行消息数据、环境数据、车间数据和操作人员数据。
可选地，所述第二数据包括所述工业设备历史状态数据和所述工业设备最新状态数据；
所述将所述第二数据输入对应的数据分析模型，得到分析结果的步骤中，所述数据处理模块被配置为：
将所述工业设备历史状态数据预处理后设置数据标签得到第三数据，所述数据标签包括正常数据、第一级异常数据、第二级异常数据和第三级异常数据；
按照预设的比例将所述第三数据分成训练数据与测试数据；
将所述训练数据输入预置的第一算法训练后生成异常分析模型；
将所述测试数据输入所述异常分析模型，得到测试结果；
根据测试结果优化所述异常分析模型；
将所述工业设备最新状态数据输入优化后的所述异常分析模型，得到异常分析结果。
可选地，所述将所述第二数据输入对应的数据分析模型，得到分析结果的步骤中，所述数据处理模块被配置为：
提供数据分析需求选择项供用户选择；
接收用户输入的选择指令，确定数据分析需求；
根据所述数据分析需求确定对应的数据分析模型；
将所述第二数据输入所述数据模型，得到分析结果；
其中，所述数据分析模型包括异常分析模型、进度预测模型、决策分析模型和统计分析模型。
本发明的另一方面提供一种工业数据采集分析方法，包括：
发送第一数据采集请求至物联网服务网关；
从所述第一数据采集请求中获取身份验证信息，进行身份验证；
身份验证通过后，生成第一数据采集指令并发送至工业设备和/或采集终端；
采集第一数据并发送至云服务器；
将所述第一数据进行分类后得到多个第一子数据，将多个所述第一子数据分区存储；
将多个所述第一子数据的数据索引和存储信息反馈至所述物联网服务网关；
根据所述数据索引和存储信息生成下载信息数据并将所述下载信息数据添加至第一消息队列。
可选地，所述方法还包括：
监测所述第一消息队列中的所述下载信息数据更新情况；
当所述下载信息数据已更新时，根据所述下载信息数据下载对应的数据文件；
将所述数据文件上传到第一分布式文件系统；
利用第一分布式组件对所述数据文件进行处理；
将处理后的数据文件存储至第一分布式数据库；
接收数据分析指令，从所述第一分布式数据库中提取对应的第二数据；
将所述第二数据输入对应的数据分析模型，得到分析结果。
可选地，所述第一子数据包括工业设备历史状态数据、工业设备最新状态数据、工业设备上下行消息数据、环境数据、车间数据和操作人员数据。
可选地，所述第二数据包括所述工业设备历史状态数据和所述工业设备最新状态数据；
所述将所述第二数据输入对应的数据分析模型，得到分析结果的步骤，具体是：
将所述工业设备历史状态数据预处理后设置数据标签得到第三数据，所述数据标签包括正常数据、第一级异常数据、第二级异常数据和第三级异常数据；
按照预设的比例将所述第三数据分成训练数据与测试数据；
将所述训练数据输入预置的第一算法训练后生成异常分析模型；
将所述测试数据输入所述异常分析模型，得到测试结果；
根据测试结果优化所述异常分析模型；
将所述工业设备最新状态数据输入优化后的所述异常分析模型，得到异常分析结果。
可选地，所述将所述第二数据输入对应的数据分析模型，得到分析结果的步骤，包括：
提供数据分析需求选择项供用户选择；
接收用户输入的选择指令，确定数据分析需求；
根据所述数据分析需求确定对应的数据分析模型；
将所述第二数据输入所述数据模型，得到分析结果；
其中，所述数据分析模型包括异常分析模型、进度预测模型、决策分析模型和统计分析模型。
采用本发明的技术方案，所述工业数据采集分析系统包括远程控制终端、物联网服务网关、工业设备、采集终端和云服务器。通过发送第一数据采集请求至物联网服务网关，从所述第一数据采集请求中获取身份验证信息，进行身份验证；身份验证通过后，生成第一数据采集指令并发送至工业设备和/或采集终端；采集第一数据并发送至云服务器，并将所述第一数据进行分类后得到多个第一子数据，将多个所述第一子数据分区存储；将多个所述第一子数据的数据索引和存储信息反馈至所述物联网服务网关；根据所述数据索引和存储信息生成下载信息数据并将所述下载信息数据添加至第一消息队列，不仅能实时高效地采集工业数据，还通过预先的数据加工处理节约了数据处理时间和资源，还能保证数据在采集、传输和使用过程中的安全。
附图说明
图1是本发明一个实施例提供的工业数据采集分析系统的示意框图；
图2是本发明另一个实施例提供的工业数据采集分析方法流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
下面参照图1至图2来描述根据本发明一些实施方式提供的一种工业数据采集分析系统及方法。
如图1所示，本发明一个实施例提供一种工业数据采集分析系统，包括：远程控制终端、物联网服务网关、工业设备、采集终端和云服务器；
所述远程控制终端被配置为：发送第一数据采集请求至所述物联网服务网关；
所述物联网服务网关被配置为：从所述第一数据采集请求中获取身份验证信息，进行身份验证；
身份验证通过后，生成第一数据采集指令并发送至所述工业设备和/或所述采集终端；
所述工业设备和/或所述采集终端被配置为：采集第一数据并发送至所述云服务器；
所述云服务器被配置为：将所述第一数据进行分类后得到多个第一子数据，将多个所述第一子数据分区存储；
将多个所述第一子数据的数据索引和存储信息反馈至所述物联网服务网关；
根据所述数据索引和存储信息生成下载信息数据并将所述下载信息数据添加至第一消息队列。
可以理解的是，所述远程控制终端可以是能接入互联网的电脑、手机、工作台等终端。具有管理/操作权限的人员可以通过所述远程控制终端管理/操作工业设备、采集终端及其他终端，并可以获取工业设备历史状态数据/工业设备最新状态数据(包括但不局限于操作对象、操作角色、工作功率、工作温度、部件间的作用力、声音频率/大小、震动幅度等)、工业设备上下行消息数据、环境数据、车间数据和操作人员数据等，以及工业设备的测试数据(包括但不限于测试对象、测试时间、测试环境数据、测试次数、测试效果等)、工业设备出厂参数(包括但不限于设备名称、型号、重量、体积、工作负荷等)等。
所述远程控制终端还可以是支持虚拟现实功能的终端，如智能虚拟现实眼镜，可以通过此终端投影操作台和所述工业设备/采集终端或其他终端的三维虚拟图像，通过识别操作人员的手势动作，从而对所述工业设备/采集终端或其他终端进行管理。
所述物联网服务网关，从所述第一数据采集请求中获取身份验证信息，进行身份验证。物联网服务网关可以通过不同的连接类型与不同的工业设备和终端进行通信，然后将该数据转换为标准协议发送到云服务器；还可以对工业设备生成的数据进行预处理和过滤，以减少传输、处理和存储要求。在本发明的实施例中，还所述物联网服务网关还被配置为从所述第一数据采集请求中获取身份验证信息，进行身份验证，以保证数据的安全，避免发生非法采集数据的情况。
所述工业设备和/或所述采集终端采集第一数据后，可以通过通信网络发送至云服务器；更佳地是，所述工业设备和/或所述采集终端采集第一数据后，将第一数据发送至物联网服务网关，收其进行初步处理后再发送至所述云服务器，可以提高资源利用率，并保证数据的安全。
所述云服务器将所述第一数据进行分类后得到多个第一子数据，将多个所述第一子数据分区存储，方便数据的管理，为数据查找与下载提供了便利；然后，将多个所述第一子数据的数据索引和存储信息反馈至所述物联网服务网关。
需要说明的是，本发明实施例中，可以通过云服务器创建第一消息队列，把下载信息数据放到第一消息队列中，可以减低业务的响应时间，提高用户体验。
采用该实施例的技术方案，所述工业数据采集分析系统包括远程控制终端、物联网服务网关、工业设备、采集终端和云服务器。通过发送第一数据采集请求至物联网服务网关，从所述第一数据采集请求中获取身份验证信息，进行身份验证；身份验证通过后，生成第一数据采集指令并发送至工业设备和/或采集终端；采集第一数据并发送至云服务器，并将所述第一数据进行分类后得到多个第一子数据，将多个所述第一子数据分区存储；将多个所述第一子数据的数据索引和存储信息反馈至所述物联网服务网关；根据所述数据索引和存储信息生成下载信息数据并将所述下载信息数据添加至第一消息队列，不仅能实时高效地采集工业数据，还通过预先的数据加工处理节约了数据处理时间和资源，还能保证数据在采集、传输和使用过程中的安全。
应当知道的是，图1所示的工业数据采集分析系统的框图仅作示意，其所示出的各模块的数量并不对本发明的保护范围进行限定。
在本发明一些可能的实施方式中，还包括监测模块、下载模块、包含第一分布式组件的第一分布式文件系统、第一分布式数据库和数据处理模块；
所述监测模块被配置为：监测所述第一消息队列中的所述下载信息数据更新情况；
所述下载模块被配置为：当所述下载信息数据已更新时，根据所述下载信息数据下载对应的数据文件；并将所述数据文件上传到所述第一分布式文件系统；
所述第一分布式文件系统被配置为：利用所述第一分布式组件对所述数据文件进行处理；
将处理后的数据文件存储至所述第一分布式数据库；
所述数据处理模块被配置为：接收数据分析指令，从所述第一分布式数据库中提取对应的第二数据；
将所述第二数据输入对应的数据分析模型，得到分析结果。
可以理解的是，因工业数据产生的量大且产生频率高，为了实现采集数据的及时存储以防止数据丢失，以及能及时进行分析以免错过异常事件的处理时间，本发明的实施例中，还可以设置监测模块(可以设置于云服务器上)，以监测所述第一消息队列中的所述下载信息数据更新情况。同时，在本发明的实施例中，采用分布式文件系统对数据文件进行处理、采用分布式数据库对数据文件进行存储，可以提高系统运行的并行能力以及安全性，还可以实现对数据的分类存储。
应当说明的是，在本发明的实施例中，可以利用云服务器的储存能力和计算能力，构建多个不同用途的数据分析模型，以满足不同的数据分析需求。
在本发明一些可能的实施方式中，所述第一子数据包括工业设备历史状态数据、工业设备最新状态数据、工业设备上下行消息数据、环境数据、车间数据和操作人员数据。
可以理解的是，本发明的实施例中，可以用操作人员信息表来存储操作人员数据，包括工号、密码、姓名、手机号、性别、所属车间、员工类型、上次登录时间等数据。通过车间信息表存储车间数据，包括车间编号、车间名称、车间位置、负责人工号、车间内设备编号等基本信息。通过设备信息表存储工业设备数据，包括设备名称、设备编号、所属车间、生产厂家、工作时长等设备基本信息；以及设备运行状态、设备故障原因、设备故障时间、设备维护人员编号、维护时间等状态信息。工业设备上下行消息数据包括多种，如生产任务数据，本发明中通过任务进度信息表存储所有任务的基本信息，包括任务序号、任务名称、任务流程、任务所需设备、任务操作人员、任务计划时间、任务开始时间、任务进度等数据。
在本发明一些可能的实施方式中，所述第二数据包括所述工业设备历史状态数据和所述工业设备最新状态数据；
所述将所述第二数据输入对应的数据分析模型，得到分析结果的步骤中，所述数据处理模块被配置为：
将所述工业设备历史状态数据预处理后设置数据标签得到第三数据，所述数据标签包括正常数据、第一级异常数据、第二级异常数据和第三级异常数据；
按照预设的比例将所述第三数据分成训练数据与测试数据；
将所述训练数据输入预置的第一算法训练后生成异常分析模型；
将所述测试数据输入所述异常分析模型，得到测试结果；
根据测试结果优化所述异常分析模型；
将所述工业设备最新状态数据输入优化后的所述异常分析模型，得到异常分析结果。
可以理解的是，在本发明的实施例中，通过将所述工业设备历史状态数据预处理后设置数据标签得到第三数据，而所述数据标签包括正常数据(与预设标准数据有差异，但在预设的容错范围内)、第一级异常数据(数据存在异常，但不影响工业设备的运行效果)、第二级异常数据(数据存在异常，影响工业设备的运行效果，对良品率的影响在预设的可控范围内)和第三级异常数据(数据存在异常，较大程度影响工业设备的运行效果，导致良品率出现超出预设范围的波动)，这样为对后续新产生的数据进行判断提供了依据，也为了工业设备的精细化管理提供了数据支持。
因所有的第三数据都关联了所述数据标签，故从中任意挑选出的数据都能归入前述四种数据标签对应的数据集合中。为了更合理地得到异常分析模型，可以将所述第三数据按预设的比例(如5：5、6：4或者7：3等)分成训练数据与测试数据，此比例可以的数据量比例，可以产生数据的时间长度比例。将所述训练数据输入预置的第一算法(如XGBoost算法、、AdaBoost算法、GBDT算法等)训练后生成异常分析模型，再将所述测试数据输入所述异常分析模型，得到测试结果，根据测试结果优化所述异常分析模型以使得异常分析模型的运行更精确更智能。最后，将所述工业设备最新状态数据输入优化后的所述异常分析模型，即可得到异常分析结果。
通过本实施例训练的异常分析模型，训练过程简单、高效，训练结果优异。
在本发明一些可能的实施方式中，所述将所述第二数据输入对应的数据分析模型，得到分析结果的步骤中，所述数据处理模块被配置为：
提供数据分析需求选择项供用户选择；
接收用户输入的选择指令，确定数据分析需求；
根据所述数据分析需求确定对应的数据分析模型；
将所述第二数据输入所述数据模型，得到分析结果；
其中，所述数据分析模型包括异常分析模型、进度预测模型、决策分析模型和统计分析模型。
可以理解的是，工业数据涉及的数据量大，具有极高的价值，对于工业数据的分析利用也存在于企业生产经营的方方面面，为了满足多种数据分析需求，在本发明的实施例中，所述数据分析模型包括但不限于异常分析模型、进度预测模型、决策分析模型和统计分析模型等，基于能提供的多种数据分析模型，可以生成对应的数据分析需求选择项供用户选择以确定数据分析需求，再根据所述数据分析需求确定对应的数据分析模型，将所述第二数据输入所述数据模型，得到分析结果。
参见图2，本发明的另一实施例提供一种工业数据采集分析方法，包括：
发送第一数据采集请求至物联网服务网关；
从所述第一数据采集请求中获取身份验证信息，进行身份验证；
身份验证通过后，生成第一数据采集指令并发送至工业设备和/或采集终端；
采集第一数据并发送至云服务器；
将所述第一数据进行分类后得到多个第一子数据，将多个所述第一子数据分区存储；
将多个所述第一子数据的数据索引和存储信息反馈至所述物联网服务网关；
根据所述数据索引和存储信息生成下载信息数据并将所述下载信息数据添加至第一消息队列。
可以理解的是，所述远程控制终端可以是能接入互联网的电脑、手机、工作台等终端。具有管理/操作权限的人员可以通过所述远程控制终端管理/操作工业设备、采集终端及其他终端，并可以获取工业设备历史状态数据/工业设备最新状态数据(包括但不局限于操作对象、操作角色、工作功率、工作温度、部件间的作用力、声音频率/大小、震动幅度等)、工业设备上下行消息数据、环境数据、车间数据和操作人员数据等，以及工业设备的测试数据(包括但不限于测试对象、测试时间、测试环境数据、测试次数、测试效果等)、工业设备出厂参数(包括但不限于设备名称、型号、重量、体积、工作负荷等)等。
所述远程控制终端还可以是支持虚拟现实功能的终端，如智能虚拟现实眼镜，可以通过此终端投影操作台和所述工业设备/采集终端或其他终端的三维虚拟图像，通过识别操作人员的手势动作，从而对所述工业设备/采集终端或其他终端进行管理。
所述物联网服务网关，从所述第一数据采集请求中获取身份验证信息，进行身份验证。物联网服务网关可以通过不同的连接类型与不同的工业设备和终端进行通信，然后将该数据转换为标准协议发送到云服务器；还可以对工业设备生成的数据进行预处理和过滤，以减少传输、处理和存储要求。在本发明的实施例中，还所述物联网服务网关还被配置为从所述第一数据采集请求中获取身份验证信息，进行身份验证，以保证数据的安全，避免发生非法采集数据的情况。
所述工业设备和/或所述采集终端采集第一数据后，可以通过通信网络发送至云服务器；更佳地是，所述工业设备和/或所述采集终端采集第一数据后，将第一数据发送至物联网服务网关，收其进行初步处理后再发送至所述云服务器，可以提高资源利用率，并保证数据的安全。
所述云服务器将所述第一数据进行分类后得到多个第一子数据，将多个所述第一子数据分区存储，方便数据的管理，为数据查找与下载提供了便利；然后，将多个所述第一子数据的数据索引和存储信息反馈至所述物联网服务网关。
需要说明的是，本发明实施例中，可以通过云服务器创建第一消息队列，把下载信息数据放到第一消息队列中，可以减低业务的响应时间，提高用户体验。
采用该实施例的技术方案，所述工业数据采集分析系统包括远程控制终端、物联网服务网关、工业设备、采集终端和云服务器。通过发送第一数据采集请求至物联网服务网关，从所述第一数据采集请求中获取身份验证信息，进行身份验证；身份验证通过后，生成第一数据采集指令并发送至工业设备和/或采集终端；采集第一数据并发送至云服务器，并将所述第一数据进行分类后得到多个第一子数据，将多个所述第一子数据分区存储；将多个所述第一子数据的数据索引和存储信息反馈至所述物联网服务网关；根据所述数据索引和存储信息生成下载信息数据并将所述下载信息数据添加至第一消息队列，不仅能实时高效地采集工业数据，还通过预先的数据加工处理节约了数据处理时间和资源，还能保证数据在采集、传输和使用过程中的安全。
在本发明一些可能的实施方式中，所述方法还包括：
监测所述第一消息队列中的所述下载信息数据更新情况；
当所述下载信息数据已更新时，根据所述下载信息数据下载对应的数据文件；
将所述数据文件上传到第一分布式文件系统；
利用第一分布式组件对所述数据文件进行处理；
将处理后的数据文件存储至第一分布式数据库；
接收数据分析指令，从所述第一分布式数据库中提取对应的第二数据；
将所述第二数据输入对应的数据分析模型，得到分析结果。
可以理解的是，因工业数据产生的量大且产生频率高，为了实现采集数据的及时存储以防止数据丢失，以及能及时进行分析以免错过异常事件的处理时间，本发明的实施例中，还可以设置监测模块(可以设置于云服务器上)，以监测所述第一消息队列中的所述下载信息数据更新情况。同时，在本发明的实施例中，采用分布式文件系统对数据文件进行处理、采用分布式数据库对数据文件进行存储，可以提高系统运行的并行能力以及安全性，还可以实现对数据的分类存储。
应当说明的是，在本发明的实施例中，可以利用云服务器的储存能力和计算能力，构建多个不同用途的数据分析模型，以满足不同的数据分析需求。
在本发明一些可能的实施方式中，所述第一子数据包括工业设备历史状态数据、工业设备最新状态数据、工业设备上下行消息数据、环境数据、车间数据和操作人员数据。
可以理解的是，本发明的实施例中，可以用操作人员信息表来存储操作人员数据，包括工号、密码、姓名、手机号、性别、所属车间、员工类型、上次登录时间等数据。通过车间信息表存储车间数据，包括车间编号、车间名称、车间位置、负责人工号、车间内设备编号等基本信息。通过设备信息表存储工业设备数据，包括设备名称、设备编号、所属车间、生产厂家、工作时长等设备基本信息；以及设备运行状态、设备故障原因、设备故障时间、设备维护人员编号、维护时间等状态信息。工业设备上下行消息数据包括多种，如生产任务数据，本发明中通过任务进度信息表存储所有任务的基本信息，包括任务序号、任务名称、任务流程、任务所需设备、任务操作人员、任务计划时间、任务开始时间、任务进度等数据。
在本发明一些可能的实施方式中，所述第二数据包括所述工业设备历史状态数据和所述工业设备最新状态数据；
所述将所述第二数据输入对应的数据分析模型，得到分析结果的步骤，具体是：
将所述工业设备历史状态数据预处理后设置数据标签得到第三数据，所述数据标签包括正常数据、第一级异常数据、第二级异常数据和第三级异常数据；
按照预设的比例将所述第三数据分成训练数据与测试数据；
将所述训练数据输入预置的第一算法训练后生成异常分析模型；
将所述测试数据输入所述异常分析模型，得到测试结果；
根据测试结果优化所述异常分析模型；
将所述工业设备最新状态数据输入优化后的所述异常分析模型，得到异常分析结果。
可以理解的是，在本发明的实施例中，通过将所述工业设备历史状态数据预处理后设置数据标签得到第三数据，而所述数据标签包括正常数据(与预设标准数据有差异，但在预设的容错范围内)、第一级异常数据(数据存在异常，但不影响工业设备的运行效果)、第二级异常数据(数据存在异常，影响工业设备的运行效果，对良品率的影响在预设的可控范围内)和第三级异常数据(数据存在异常，较大程度影响工业设备的运行效果，导致良品率出现超出预设范围的波动)，这样为对后续新产生的数据进行判断提供了依据，也为了工业设备的精细化管理提供了数据支持。
因所有的第三数据都关联了所述数据标签，故从中任意挑选出的数据都能归入前述四种数据标签对应的数据集合中。为了更合理地得到异常分析模型，可以将所述第三数据按预设的比例(如5：5、6：4或者7：3等)分成训练数据与测试数据，此比例可以的数据量比例，可以产生数据的时间长度比例。将所述训练数据输入预置的第一算法(如XGBoost算法、、AdaBoost算法、GBDT算法等)训练后生成异常分析模型，再将所述测试数据输入所述异常分析模型，得到测试结果，根据测试结果优化所述异常分析模型以使得异常分析模型的运行更精确更智能。最后，将所述工业设备最新状态数据输入优化后的所述异常分析模型，即可得到异常分析结果。
通过本实施例训练的异常分析模型，训练过程简单、高效，训练结果优异。
在本发明一些可能的实施方式中，所述将所述第二数据输入对应的数据分析模型，得到分析结果的步骤，包括：
提供数据分析需求选择项供用户选择；
接收用户输入的选择指令，确定数据分析需求；
根据所述数据分析需求确定对应的数据分析模型；
将所述第二数据输入所述数据模型，得到分析结果；
其中，所述数据分析模型包括异常分析模型、进度预测模型、决策分析模型和统计分析模型。
可以理解的是，工业数据涉及的数据量大，具有极高的价值，对于工业数据的分析利用也存在于企业生产经营的方方面面，为了满足多种数据分析需求，在本发明的实施例中，所述数据分析模型包括但不限于异常分析模型、进度预测模型、决策分析模型和统计分析模型等，基于能提供的多种数据分析模型，可以生成对应的数据分析需求选择项供用户选择以确定数据分析需求，再根据所述数据分析需求确定对应的数据分析模型，将所述第二数据输入所述数据模型，得到分析结果。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，可轻易想到变化或替换，均可作各种更动与修改，包含上述不同功能、实施步骤的组合，包含软件和硬件的实施方式，均在本发明的保护范围。
Claims (10)
1.一种工业数据采集分析系统，其特征在于，包括：远程控制终端、物联网服务网关、工业设备、采集终端和云服务器；
所述远程控制终端被配置为：发送第一数据采集请求至所述物联网服务网关；
所述物联网服务网关被配置为：从所述第一数据采集请求中获取身份验证信息，进行身份验证；
身份验证通过后，生成第一数据采集指令并发送至所述工业设备和/或所述采集终端；
所述工业设备和/或所述采集终端被配置为：采集第一数据并发送至所述云服务器；
所述云服务器被配置为：将所述第一数据进行分类后得到多个第一子数据，将多个所述第一子数据分区存储；
将多个所述第一子数据的数据索引和存储信息反馈至所述物联网服务网关；
根据所述数据索引和存储信息生成下载信息数据并将所述下载信息数据添加至第一消息队列。
2.根据权利要求1所述的工业数据采集分析系统，其特征在于，还包括监测模块、下载模块、包含第一分布式组件的第一分布式文件系统、第一分布式数据库和数据处理模块；
所述监测模块被配置为：监测所述第一消息队列中的所述下载信息数据更新情况；
所述下载模块被配置为：当所述下载信息数据已更新时，根据所述下载信息数据下载对应的数据文件；并将所述数据文件上传到所述第一分布式文件系统；
所述第一分布式文件系统被配置为：利用所述第一分布式组件对所述数据文件进行处理；
将处理后的数据文件存储至所述第一分布式数据库；
所述数据处理模块被配置为：接收数据分析指令，从所述第一分布式数据库中提取对应的第二数据；
将所述第二数据输入对应的数据分析模型，得到分析结果。
3.根据权利要求2所述的工业数据采集分析系统，其特征在于，所述第一子数据包括工业设备历史状态数据、工业设备最新状态数据、工业设备上下行消息数据、环境数据、车间数据和操作人员数据。
4.根据权利要求3所述的工业数据采集分析系统，其特征在于，所述第二数据包括所述工业设备历史状态数据和所述工业设备最新状态数据；
所述将所述第二数据输入对应的数据分析模型，得到分析结果的步骤中，所述数据处理模块被配置为：
将所述工业设备历史状态数据预处理后设置数据标签得到第三数据，所述数据标签包括正常数据、第一级异常数据、第二级异常数据和第三级异常数据；
按照预设的比例将所述第三数据分成训练数据与测试数据；
将所述训练数据输入预置的第一算法训练后生成异常分析模型；
将所述测试数据输入所述异常分析模型，得到测试结果；
根据测试结果优化所述异常分析模型；
将所述工业设备最新状态数据输入优化后的所述异常分析模型，得到异常分析结果。
5.根据权利要求1-3所述的工业数据采集分析系统，其特征在于，
所述将所述第二数据输入对应的数据分析模型，得到分析结果的步骤中，所述数据处理模块被配置为：
提供数据分析需求选择项供用户选择；
接收用户输入的选择指令，确定数据分析需求；
根据所述数据分析需求确定对应的数据分析模型；
将所述第二数据输入所述数据模型，得到分析结果；
其中，所述数据分析模型包括异常分析模型、进度预测模型、决策分析模型和统计分析模型。
6.一种工业数据采集分析方法，其特征在于，包括：
发送第一数据采集请求至物联网服务网关；
从所述第一数据采集请求中获取身份验证信息，进行身份验证；
身份验证通过后，生成第一数据采集指令并发送至工业设备和/或采集终端；
采集第一数据并发送至云服务器；
将所述第一数据进行分类后得到多个第一子数据，将多个所述第一子数据分区存储；
将多个所述第一子数据的数据索引和存储信息反馈至所述物联网服务网关；
根据所述数据索引和存储信息生成下载信息数据并将所述下载信息数据添加至第一消息队列。
7.根据权利要求6所述的工业数据采集分析方法，其特征在于，所述方法还包括：
监测所述第一消息队列中的所述下载信息数据更新情况；
当所述下载信息数据已更新时，根据所述下载信息数据下载对应的数据文件；
将所述数据文件上传到第一分布式文件系统；
利用第一分布式组件对所述数据文件进行处理；
将处理后的数据文件存储至第一分布式数据库；
接收数据分析指令，从所述第一分布式数据库中提取对应的第二数据；
将所述第二数据输入对应的数据分析模型，得到分析结果。
8.根据权利要求7所述的工业数据采集分析方法，其特征在于，所述第一子数据包括工业设备历史状态数据、工业设备最新状态数据、工业设备上下行消息数据、环境数据、车间数据和操作人员数据。
9.根据权利要求8所述的工业数据采集分析方法，其特征在于，所述第二数据包括所述工业设备历史状态数据和所述工业设备最新状态数据；
所述将所述第二数据输入对应的数据分析模型，得到分析结果的步骤，具体是：
将所述工业设备历史状态数据预处理后设置数据标签得到第三数据，所述数据标签包括正常数据、第一级异常数据、第二级异常数据和第三级异常数据；
按照预设的比例将所述第三数据分成训练数据与测试数据；
将所述训练数据输入预置的第一算法训练后生成异常分析模型；
将所述测试数据输入所述异常分析模型，得到测试结果；
根据测试结果优化所述异常分析模型；
将所述工业设备最新状态数据输入优化后的所述异常分析模型，得到异常分析结果。
10.根据权利要求8所述的工业数据采集分析方法，其特征在于，所述将所述第二数据输入对应的数据分析模型，得到分析结果的步骤，包括：
提供数据分析需求选择项供用户选择；
接收用户输入的选择指令，确定数据分析需求；
根据所述数据分析需求确定对应的数据分析模型；
将所述第二数据输入所述数据模型，得到分析结果；
其中，所述数据分析模型包括异常分析模型、进度预测模型、决策分析模型和统计分析模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210719371.XA CN115208914A (zh) | 2022-06-23 | 2022-06-23 | 一种工业数据采集分析系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210719371.XA CN115208914A (zh) | 2022-06-23 | 2022-06-23 | 一种工业数据采集分析系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115208914A true CN115208914A (zh) | 2022-10-18 |
Family
ID=83578072
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210719371.XA Pending CN115208914A (zh) | 2022-06-23 | 2022-06-23 | 一种工业数据采集分析系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115208914A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116400627A (zh) * | 2023-04-13 | 2023-07-07 | 深圳市丰源升科技有限公司 | 一种基于5g的工业远程控制系统及方法 |
| CN116614527A (zh) * | 2023-05-22 | 2023-08-18 | 深圳市三希软件科技有限公司 | 一种基于人工智能的信用数据嗅探和采集系统及其方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6289012B1 (en) * | 1998-08-03 | 2001-09-11 | Instanton Corporation | High concurrency data download apparatus and method |
| JP2003050762A (ja) * | 2001-08-06 | 2003-02-21 | Matsushita Electric Ind Co Ltd | ダウンロード方法並びにマネージャプログラム及びエージェントプログラム |
| CN106487922A (zh) * | 2016-11-18 | 2017-03-08 | 山东省科学院情报研究所 | 一种物联网的跨平台移动访问系统 |
| CN108390916A (zh) * | 2018-01-24 | 2018-08-10 | 福建省天奕网络科技有限公司 | 一种图片下载的方法及终端 |
| CN112787806A (zh) * | 2020-12-17 | 2021-05-11 | 国网浙江省电力有限公司信息通信分公司 | 一种基于ibe的工业互联网终端通用安全服务系统 |
| CN112995022A (zh) * | 2021-02-23 | 2021-06-18 | 中工互联(北京)智能科技有限公司 | 工业物联网网关 |
| CN113726906A (zh) * | 2021-09-06 | 2021-11-30 | 苏州莱锦机电自动化有限公司 | 一种工业物联网盒子激活方法和系统 |
| CN113918526A (zh) * | 2021-10-12 | 2022-01-11 | 平安国际智慧城市科技股份有限公司 | 日志处理方法、装置、计算机设备和存储介质 |
-
2022
- 2022-06-23 CN CN202210719371.XA patent/CN115208914A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6289012B1 (en) * | 1998-08-03 | 2001-09-11 | Instanton Corporation | High concurrency data download apparatus and method |
| JP2003050762A (ja) * | 2001-08-06 | 2003-02-21 | Matsushita Electric Ind Co Ltd | ダウンロード方法並びにマネージャプログラム及びエージェントプログラム |
| CN106487922A (zh) * | 2016-11-18 | 2017-03-08 | 山东省科学院情报研究所 | 一种物联网的跨平台移动访问系统 |
| CN108390916A (zh) * | 2018-01-24 | 2018-08-10 | 福建省天奕网络科技有限公司 | 一种图片下载的方法及终端 |
| CN112787806A (zh) * | 2020-12-17 | 2021-05-11 | 国网浙江省电力有限公司信息通信分公司 | 一种基于ibe的工业互联网终端通用安全服务系统 |
| CN112995022A (zh) * | 2021-02-23 | 2021-06-18 | 中工互联(北京)智能科技有限公司 | 工业物联网网关 |
| CN113726906A (zh) * | 2021-09-06 | 2021-11-30 | 苏州莱锦机电自动化有限公司 | 一种工业物联网盒子激活方法和系统 |
| CN113918526A (zh) * | 2021-10-12 | 2022-01-11 | 平安国际智慧城市科技股份有限公司 | 日志处理方法、装置、计算机设备和存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116400627A (zh) * | 2023-04-13 | 2023-07-07 | 深圳市丰源升科技有限公司 | 一种基于5g的工业远程控制系统及方法 |
| CN116614527A (zh) * | 2023-05-22 | 2023-08-18 | 深圳市三希软件科技有限公司 | 一种基于人工智能的信用数据嗅探和采集系统及其方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10713307B2 (en) | Dynamic search engine for an industrial environment | |
| US20170351226A1 (en) | Industrial machine diagnosis and maintenance using a cloud platform | |
| CN112052111B (zh) | 服务器异常预警的处理方法、装置、设备及存储介质 | |
| CN115208914A (zh) | 一种工业数据采集分析系统及方法 | |
| CN110971666A (zh) | 一种物联网管理系统及其通讯方法 | |
| CN102609428B (zh) | 用于从设备获取反馈的方法和装置 | |
| CN111835582B (zh) | 物联网巡检设备的配置方法、装置、计算机设备 | |
| CN111835585B (zh) | 物联网设备的巡检方法、装置、计算机设备和存储介质 | |
| US20160179993A1 (en) | Predictive analysis having data source integration for industrial automation | |
| CN112491602B (zh) | 行为数据的监控方法、装置、计算机设备及介质 | |
| CN106126388A (zh) | 监控事件的方法、规则引擎装置和规则引擎系统 | |
| CN1751278A (zh) | 用于过程控制系统的基于开放网络的数据获取、集合和优化 | |
| CN1756250A (zh) | 微服务器测试端口改型工具 | |
| CN110932918B (zh) | 日志数据采集方法、装置及存储介质 | |
| JP6860530B2 (ja) | データ管理装置、データ管理方法及びデータ管理プログラム | |
| CN111383130A (zh) | 一种全生命周期管控平台、移动运维客户端及终端 | |
| CN113472787A (zh) | 一种告警信息处理方法、装置、设备及存储介质 | |
| CN115063118A (zh) | 一种基于工业互联网的智能车间设备管理方法及系统 | |
| US6574522B1 (en) | System and method of collecting statistically analyzing and graphically displaying quality control data for a manufacturing process | |
| CN113572757B (zh) | 服务器访问风险监测方法及装置 | |
| CN109376981B (zh) | 数据处理方式的确定方法、装置、服务器和数据处理方法 | |
| CN114090380A (zh) | 一种终端监控的方法、装置、设备及存储介质 | |
| CN116843395A (zh) | 一种业务系统的告警分级方法、装置、设备及存储介质 | |
| CN115292580A (zh) | 数据查询方法、装置、计算机设备及存储介质 | |
| CN114138762A (zh) | 数据加工方法、装置、存储介质以及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |