CN113641509A - 一种物联网数据处理方法及装置 - Google Patents
一种物联网数据处理方法及装置 Download PDFInfo
- Publication number
- CN113641509A CN113641509A CN202010391491.2A CN202010391491A CN113641509A CN 113641509 A CN113641509 A CN 113641509A CN 202010391491 A CN202010391491 A CN 202010391491A CN 113641509 A CN113641509 A CN 113641509A
- Authority
- CN
- China
- Prior art keywords
- data
- message
- internet
- things
- execution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 35
- 238000004891 communication Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 78
- 238000000034 method Methods 0.000 claims description 23
- 238000004519 manufacturing process Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 17
- 238000005192 partition Methods 0.000 claims description 16
- 238000004220 aggregation Methods 0.000 claims description 13
- 230000002776 aggregation Effects 0.000 claims description 13
- 230000000737 periodic effect Effects 0.000 claims description 13
- 238000012423 maintenance Methods 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000013144 data compression Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 abstract description 26
- 238000004080 punching Methods 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 238000007405 data analysis Methods 0.000 description 5
- 230000003442 weekly effect Effects 0.000 description 4
- 238000003466 welding Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000013523 data management Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/545—Interprogram communication where tasks reside in different layers, e.g. user- and kernel-space
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y10/00—Economic sectors
- G16Y10/25—Manufacturing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y20/00—Information sensed or collected by the things
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/541—Client-server
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Business, Economics & Management (AREA)
- Manufacturing & Machinery (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明提供了一种物联网数据处理方法及装置，应用于物联网中的数据服务器，所述物联网还包括多个执行终端及多个控制终端，所有所述执行终端及所有所述控制终端均与所述数据服务器通信连接，所述控制终端关联有对应的消息主题，所述执行终端关联有对应的计划主题。本发明实施例采用物联数据采集和分布式发布订阅的方式，实现了将实时采集的数据进行多路分发至上层控制终端，以及将上层任务精细化派发至执行终端的目的。
Description
技术领域
本发明涉及物联网技术领域，特别涉及一种物联网控制方法及装置。
背景技术
当前，为了实现工业信息化，有效、精准、稳定获取智能化建设的大数据基础，已成为工业制造行业的迫切需求。
但是，目前制造行业的数据管控架构，例如通过短消息协议方式接入数据、存储和分析的消息队列遥测传输协议(Message Queuing Telemetry Transport，MQTT)架构，均无法满足工厂设备型号多样、数据采集量大、实时多路分发数据的要求，也无法实现将上级生产任务自动化派发。
另外，上述现有数据管控技术也不支持文件(File)和音视频(AV)等大文件任务分发、不支持负载均衡、用户管理接口及离线消息，容易导致数据高并发和恶意攻击，也容易因网络问题可能会出现计划下发失败情况而影响车间生产。
发明内容
有鉴于此，本发明旨在提出一种物联网数据处理方法及装置，以解决现有工业物联网数据传输中，无法进行大文件任务分发以及无法实时对多个车间大量数据进行多路分发的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种物联网数据处理方法，应用于物联网中的数据服务器，所述物联网还包括多个执行终端及多个控制终端，所有所述执行终端及所有所述控制终端均与所述数据服务器通信连接，所述控制终端关联有对应的消息主题，所述执行终端关联有对应的计划主题；其中，所述方法包括：
获取所述控制终端发布的原始任务，并根据所述原始任务，确定针对目标执行终端的计划主题的具体计划；
将所述具体计划下发至所述目标执行终端，以供所述目标执行终端执行；
获取所述执行终端上传的当前数据，并根据所述当前数据，确定针对目标控制终端的消息主题的主题消息队列；
将所述主题消息队列对应的消息发送至所述目标控制终端，以供所述目标控制终端使用。
进一步地，所述的物联网数据处理方法中，所述执行终端中的每类子数据设置有优先级；所述获取所述执行终端上传的当前数据，并根据所述当前数据，确定针对目标控制终端的消息主题的主题消息队列，包括：
获取所述执行终端上传的当前数据，并根据所述优先级及所述当前数据，确定针对目标控制终端的消息主题的主题消息队列。
进一步地，所述的物联网数据处理方法中，数据类型与处理流程之间满足对应关系；
所述获取所述执行终端上传的当前数据，并根据所述优先级及所述当前数据，确定针对目标控制终端的消息主题的主题消息队列，包括：
获取所述执行终端上传的当前数据；
根据所述对应关系，确定所述当前数据中各类子数据对应的目标处理流程；
根据所述目标处理流程，按所述优先级的高低依次处理所述各类子数据，并根据所述各类子数据，确定针对目标控制终端的消息主题的主题消息队列。
进一步地，所述的物联网数据处理方法中，所述处理流程包括数据解析、数据过滤、数据聚合、事件处理及数据统计。
进一步地，所述的物联网数据处理方法中，所述数据类型包括周期型数据及事件型数据，所述周期型数据的优先级高于所述事件型数据。
进一步地，所述的物联网数据处理方法中，每个消息主题和计划主题都具有多个分区日志，且每个所述消息主题和计划主题的各个所述分区日志分布式地存储在所述数据服务器所连接的集群服务器上，且每个所述分区日志都以副本的方式复制到多个数据消息代理节点上。
进一步地，所述的物联网数据处理方法中，所述消息主题包括设备消息主题、区域消息主题及车间消息主题，所述计划主题包括日计划主题、周计划主题及月计划主题。
进一步地，所述的物联网数据处理方法中，所述主题消息队列包括实时队列、区域队列、设备类型队列、事件队列中的至少一种。
进一步地，所述的物联网数据处理方法中，所述将所述主题消息队列对应的消息发送至所述目标控制终端，包括：
根据所述数据服务器的负载情况，控制所述主题消息队列对应的消息发送至所述目标控制终端。
进一步地，所述的物联网数据处理方法中，所述控制终端包括数据品质服务器、数据湖、制造执行系统及应用层中的至少一种，所述执行终端包括车间设备。
进一步地，所述的物联网数据处理方法中，所述执行终端经由网关设备或第三方系统与所述数据服务器通信连接。
进一步地，所述的物联网数据处理方法中，所述获取所述控制终端发布的原始任务，并根据所述原始任务，确定针对目标执行终端的计划主题的具体计划，包括：
获取所述控制终端发布的原始任务，并根据所述原始任务及第一数据处理策略，确定精细化计划；
根据所述精细化计划，确定针对目标执行终端的计划主题的具体计划；
所述将所述主题消息队列对应的消息发送至所述目标控制终端，包括：
将所述消息队列对应的消息经由第二数据处理策略处理后，发送至所述目标控制终端。
进一步地，所述的物联网数据处理方法中，所述第一数据处理策略包括排产策略及设备维保策略，所述第二数据处理策略包括数据清洗策略及数据压缩策略。
本发明的另一目的在于提出一种物联网数据处理装置，应用于物联网中的数据服务器，所述物联网还包括多个执行终端及多个控制终端，所有所述执行终端及所有所述控制终端均与所述数据服务器通信连接，所述控制终端关联有对应的消息主题，所述执行终端关联有对应的计划主题；其中，所述装置包括：
第一控制模块，用于获取所述控制终端发布的原始任务，并根据所述原始任务，确定针对目标执行终端的计划主题的具体计划；
第一发送模块，用于将所述具体计划下发至所述目标执行终端，以供所述目标执行终端执行；
第二控制模块，用于获取所述执行终端上传的当前数据，并根据所述当前数据，确定针对目标控制终端的消息主题的主题消息队列；
第二发送模块，用于将所述主题消息队列对应的消息发送至所述目标控制终端，以供所述目标控制终端使用。
相对于在先技术，本发明所述的物联网数据处理方法及装置具有以下优势：
控制终端关联有对应的消息主题，执行终端关联有对应的计划主题；在获取控制终端发布的原始任务后，确定针对目标执行终端的具体计划，然后将所述具体计划下发至所述目标执行终端，以供所述目标执行终端执行；以及在获取执行终端上传的当前数据后，根据所述当前数据，确定针对目标控制终端的消息主题的主题消息队列，并将所述消息队列对应的消息发送至所述目标控制终端，以供所述目标控制终端使用。本发明实施例采用物联数据采集和分布式发布订阅的方式，实现了将实时采集的数据进行多路分发至上层控制终端，以及将上层任务精细化派发至执行终端的目的。从而解决了工业物联网数据传输中，无法进行大文件任务分发以及无法实时对多个车间大量数据进行多路分发的问题。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明一实施例所提出的物联网数据处理方法的流程示意图；
图2为本发明实施例提出的物联网数据处理方法的系统架构图；
图3为本发明实施例中的数据分发过程示意图；
图4为本发明实施例中工业数据发布订阅流程示意图；
图5为本发明实施例中任务派发过程示意图
图6为本发明实施例所提出的物联网数据处理装置的结构示意图。
具体实施方式
下面将参考附图更详细地描述本申请的实施例。虽然附图中显示了本申请的实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更彻底地理解本申请，并且能够将本申请的范围完整地传达给本领域的技术人员。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
请参阅图1，示出了本发明实施例所提供的一种物联网数据处理方法的流程示意图，应用于物联网中的数据服务器，所述物联网还包括多个执行终端及多个控制终端，所有所述执行终端及所有所述控制终端均与所述数据服务器通信连接，所述控制终端关联有对应的消息主题，所述执行终端关联有对应的计划主题，其中，所述方法包括步骤S100～S400。
在本发明实施例中，执行终端指的是能够执行计划及上传运行数据的终端；具体地，可以为车间设备，其中，车间设备可以是压力机、柴垛机器臂、ABB库卡机器人、运输车、可编程逻辑控制器等。而控制终端指的是能够下发任务以及存储、查看执行终端运行数据的终端；具体地，可以是数据品质服务器、数据湖、制造执行系统及应用层等，其中，应用层可以是数据建模模块、人工智能(Artificial Intelligence，AI)分析模块、视觉识别模块、应用程序等。数据服务器用于接收控制终端下发的任务数据并分析、生成针对目标执行终端的具体计划，以及用于接收执行终端上传的实时数据分析、生成对应主题的消息，即主题消息。因为执行终端与控制终端均与上述数据服务器通信连接，因而上述数据服务器可以将具体计划下发至对应的执行终端，以及将生成的对应主题的主题数据发布至订阅了该主题的控制终端。
本发明实施例中，采用工业物联数据采集与分布式发布订阅的方式，控制终端可以订阅对应的执行终端发布的数据，也即关联对应的消息主题，只有属于该消息主题的数据才会被该控制终端接收；而执行终端可以订阅对应控制终端发布的计划，也即关联对应的计划主题，只有属于该计划主题的计划才会被该执行终端接收。其中，一个控制终端可以关联一个或多个消息主题，控制终端可以消费该消息主题对应的主题消息中所有的数据，同一条数据可以被多个控制终端消费或使用。可以理解的是，执行终端是数据生成者，而控制终端则是数据消费者。
可选地，执行终端通过一种第三方系统如Kepware与上述数据服务器通信连接，可以支持常用工业协议如Modbus、OPC(OLE for Process Control)等，以进行实时数据采集；也可以支持excel、txt、csv、xml等多种文件格式的数据源，以及支持sql server、mysql、oracle等多种数据库和条码资产管理(EAS-EAM)等第三方系统数据的接入；
而控制终端通过另一种第三方系统如Kafka与上述数据服务器通信连接，该第三方系统可以进行线上和离线的消息处理，从而实现通过集群来提供实时的消息；同时，该系统的磁盘数据结构提供消息的持久化，即使数以TB的消息存储也能够保持长时间的稳定性能；另外，还使单机至少支持每秒100K条消息的传输速率；且可以通过该第三方系统的服务器和消费机集群来进行消息分区及分布式消费，同时支持并行数据加载，使得每个消息块(partition)内的消息顺序传输。
在实际应用中，上述消息主题可以为设备消息主题、区域消息主题及车间消息主题等，而上述计划主题可以为按时间划分的日计划主题、周计划主题及月计划主题。
因而通过本发明实施例，实现按优先级暂存，并结合分布式发布订阅实现数据派发功能。
S100、获取所述控制终端发布的原始任务，并根据所述原始任务，确定针对目标执行终端的计划主题的具体计划。
上述步骤S100中，因为数据服务器与控制终端通信连接，因而数据服务器可以获取控制终端下发的任务，即上述原始任务，然后通过分析该原始任务，生成精细化的各个子计划，也即是具体计划，每个具体计划都有对应的执行终端，即目标执行终端，目标执行终端可以执行其对应的具体计划。
可选地，上述步骤S100具体包括步骤S101～S102：
步骤S101、获取所述控制终端发布的原始任务，并根据所述原始任务及第一数据处理策略，确定精细化计划。
上述步骤S101中，第一数据处理策略为预先设置的用于处理各个控制终端发布的原始任务，以得到可供执行终端识别、执行的精细化计划。上述步骤S101中，即先通过预设的第一数据处理策略对控制终端发布的任务进行处理，得到基于原始任务的各个精细化计划。在实际应用中，上述第一数据处理策略可以为排产策略及设备维保策略等。
步骤S102、根据所述精细化计划，确定针对目标执行终端的计划主题的具体计划。
上述步骤S102中，因为精细化计划是为了实现控制终端发布的原始任务的具体计划，而执行终端具有其具体关联的计划主题，该计划主题所涵盖的范围一般小于上述精细化计划，也即上述精细化计划中很可能包含了不是目标执行终端的计划主题的计划，因而需要按照目标执行终端的计划主题将上述精细化计划进行主题归类，并形成与目标执行终端的计划主题相对应的具体计划，以便于按执行终端所订阅的计划主题向执行终端下发计划。
步骤S200、将所述具体计划下发至所述目标执行终端，以供所述目标执行终端执行。
上述步骤S200中，因为本发明实施例采用的是分布式订阅系统，而具体计划是根据目标执行终端所关联的计划主题生成的，其需要获取上述具体计划且其可以执行上述具体计划，因而将所述具体计划下发至所述目标执行终端，以供所述目标执行终端执行。
步骤S300、获取所述执行终端上传的当前数据，并根据所述当前数据，确定针对目标控制终端的消息主题的主题消息队列。
上述步骤S300中，因为数据服务器与执行终端通信连接，因而数据服务器可以获取执行终端实时上传的数据，即上述当前数据，然后通过分析该当前数据，生成各个主题的消息队列，也即是主题消息队列，每个主题消息队列都有对应的控制终端，即目标控制终端，目标执行终端关联了其对应对应的主题消息队列中的消息，因而需要将上述主题消息队列对应的消息发送至目标控制终端，以供目标控制终端使用。
步骤S400、将所述主题消息队列对应的消息发送至所述目标控制终端，以供所述目标控制终端使用。
上述步骤S400中，因为本发明实施例采用的是分布式订阅系统，而主题主题消息队列是根据目标控制终端所订阅关联的消息主题生成的，其需要获取上述主题消息队列中的消息且其可以读取上述主题消息，因而将所述主题消息队列对应的消息发送至所述目标控制终端，以供所述目标控制终端使用，从而实现整个物联网数据采集及实时多路分发的过程。具体地，如根据主题消息队列的消息进行数据存储归档、进行产品库存记录修改、对实时数据进行展示、报表导出等。
相对于现有技术，本发明所述的物联网数据处理方法具有以下优势：
控制终端关联有对应的消息主题，执行终端关联有对应的计划主题；在获取控制终端发布的原始任务后，确定针对目标执行终端的具体计划，然后将所述具体计划下发至所述目标执行终端，以供所述目标执行终端执行；以及在获取执行终端上传的当前数据后，根据所述当前数据，确定针对目标控制终端的消息主题的主题消息队列，并将所述消息队列对应的消息发送至所述目标控制终端，以供所述目标控制终端使用。本发明实施例采用物联数据采集和分布式发布订阅的方式，实现了将实时采集的数据进行多路分发至上层控制终端，以及将上层任务精细化派发至执行终端的目的。从而解决了工业物联网数据传输中，无法进行大文件任务分发以及无法实时对多个车间大量数据进行多路分发的问题。
可选地，在一种实施方式中，所述执行终端中的每类子数据设置有优先级；相应地，上述步骤S300步骤S301：
步骤S301、所述获取所述执行终端上传的当前数据，并根据所述优先级及所述当前数据，确定针对目标控制终端的消息主题的主题消息队列。
上述实施方式中，通过预先为每类子数据设置优先级，便于按照优先级顺序依次处理及传输各类子数据，从而保证数据的传输速率，实现高吞吐率。
可选地，在一种具体地实施方式中，数据类型与处理流程之间满足对应关系；上述步骤S301包括步骤S302～S304。
步骤S302、获取所述执行终端上传的当前数据。
上述步骤S302中，即通过数据服务器与执行终端之间的通信连接，接收由执行终端上传的当前数据，从而获取上述当前数据。
步骤S303、根据所述对应关系，确定所述当前数据中各类子数据对应的目标处理流程。
上述步骤S303中，因为数据类型与处理流程之间满足对应关系，也即不同类型的数据对应有不同的处理流程，以更科学、合理地处理执行终端上传的各类数据。因而根据上述对应关系，可以确定当前数据中各类子数据对应的目标处理流程。
步骤S304、根据所述目标处理流程，按所述优先级的高低依次处理所述各类子数据，并根据所述各类子数据，确定针对目标控制终端的消息主题的主题消息队列。
上述步骤S304中，即按子数据优先级的不同，依次按步骤S303中所确定的目标处理流程进行数据的预处理，然后按目标控制终端关联的消息主题的不同，生成与目标控制终端相对应的主题消息队列。
本具体实施方式中，通过按不同的数据处理流程及优先级处理当前数据中不同类型的子数据，可以科学、合理地根据数据类型的不同，对各个子数据进行相应的处理，可以平衡数据使用需求及传输速率要求。
在实际应用中，上述处理流程可以包括数据解析、数据过滤、数据聚合、事件处理及数据统计等。其中，数据解析即对数据进行语义解析处理。数据过滤即对数据进行过滤处理，以滤出不符合要求的数据或目标数据，例如滤出极大值、极小值。数据聚合即按数据属性、类型或主题等的不同，对数据进行聚合处理；例如将数据按设备属性进行聚合，可聚合成设备属性数据；再如可将电压、电流、转速等数据聚合成电机模型。而事件处理即当数据超出阈值时，形成告警消息；例如，若分析出冲压机床温度超过1000℃，则形成温度异常告警。数据统计指的是将多个数据进行简单加减等运算。
具体地，上述数据类型包括包括周期型数据及事件型数据，所述周期型数据的优先级高于所述事件型数据。周期型数据为高频率、周期型变化的数据，具体如机器人电压、机器人电流、冲压机振动频率、冲压机电压等实时性要求极高的数据，则可定义为周期型数据；而事件型信号则为变化频率低且事件触发型的数据，如温度异常、压力异常、链路异常等信号数据。其中，设置周期型数据的优先级高于事件型数据，以便于达到实时数据派发。
相应地，上述消息队列包括实时队列、区域队列、设备类型队列、事件队列等。其中，实时队列由周期型数据经数据解析或语义转义后直接集合生成，该过程对应的数据解析模块分配资源优先级最高，生成的实时主题消息能够直接发送至对应的应用层，实现实时数据分发；区域队列为通过数据过滤、数据聚合处理后形成的区域主题消息，例如生产线A、生成线B、冲压车间、焊装车间等区域聚合消息；设备队列是聚合后的设备相关主题消息，例如机器人、冲压机、运输车等的主题消息；事件队列是通过数据过滤、事件处理后生成的事件主题数据，具体如温度异常、压力异常、链路异常等。
可选地，在一种实施方式中，上述步骤S400具体包括：根据所述数据服务器的负载情况，控制所述主题消息队列对应的消息发送至所述目标控制终端。
在本实施方式中，即根据传输链路的消息或数据拥堵状态，调整主题消息队列的传输路径，使得各传输路径的负载均衡，从而最大化进行消息传输，实现高吞吐率。
本发明实施例中，在上述数据服务器中，每个消息主题或计划主题，均具有多个分区日志，且各个分区日志分布式地存储在上述数据服务器所连接的集群服务器上，且每个分区日志都以副本的方式复制到对应的数据消息代理节点上，因而可以实现数据备份，可以提高故障容错，防止数据丢失。
其中，设置上述多个数据消息代理节点中的一个节点对应的副本作为主副本，其他节点所对应的副本作为备份副本。主副本会记录包括执行终端及控制终端的所有客户端的读写操作，而备份副本则会同步主副本的数据；当主副本出现故障时，多个备份副本中的一个副本会被选择为新的主副本。因为每个分区的副本中只有主副本接受读写，这样每个服务器端都会作为某些分区的主副本，以及另外一些分区的备份副本，这样集群的所有服务端整体上对上述客户端是负载均衡的，因而能够最大化地进行数据传输。
请参阅图2，示出了本发明实施例提出的物联网数据处理方法的系统架构图，如图2所示，上述系统架构包括执行终端21、数据服务器22及控制终端23。其中，上述执行终端21包括车间设备，具体如压力机、柴垛机器臂、ABB库卡机器人、运输车、可编译逻辑控制器等，上述车间设备通过网管设备或Kepware系统上传实时数据、Excel/txt/xml等文件格式数据、Eam/eas等系统数据。上述控制终端23包括数据品质服务器、数据湖、制造执行系统及应用层。
其中，上述数据服务器22包括通信连接的数据分发器221及规则管理器222，且规则管理器222包括多种策略模块，如数据清洗策略模块、智能化排产策略模块、设备智能化维保策略模块、数据压缩策略模块等多种策略模块；一方面，数据分发器221可以将执行终端上传的数据经过处理生成主题消息队列，然后经规则管理器222中的策略模块进而深度处理加工，然后根据控制终端的订阅主题发送至对应的控制终端，另一方面，规则管理器222可以接收控制终端下发的初始任务，并经相应的策略处理为精细化可执行的生产任务，然后由数据分发器221根据执行终端的订阅主题生成订阅的具体计划，进而发送上述具体计划即具体执行生产计划到车间或系统。
其中，数据分发层执行数据持久化和负载均衡，数据分发器包括数据接入层、数据预处理层和数据分发层。执行终端的现场工业数据通过数据接入层接入实时或非实时数据，然后经过数据预处理层进行预处理，进而由数据分发层生成各种消息队列，然后将各种消息队列发送至规则管理器。
其中，上述数据接入层可以通过OPC/Modbus等工业协议、Sql/mysql/oracle等数据库、安全文件传送协议(Secure FTP，SFTP)/文件传输协议FTP(File TransferProtocol，FTP)等文件协议、以及API调用接口等接入下层执行终端上传的实时数据。
上述数据预处理层包括语义解析模块、过滤模块、聚合模块、事件处理模块、统计模块等。其中，通过语义解析模块实现语义解析，通过过滤模块实现简单数据过滤，例如滤出极大值、极小值等；聚合模块可实现数据聚合，例如可将数据聚合成设备属性数据，具体例如将电压、电流、转速等数据聚合成电机模型；事件处理模块可实现当数据超出阈值形成告警消息，例如在冲压机床温度超过1000℃时形成温度异常告警；统计模块可实现多个数据简单加减等运算。
其中，上述各种消息队列可以包括实时队列、区域队列、设备类型队列、事件型队列等。实时队列优先级最高，为了达到实时数据派发，实时队列数据只需经过数据预处理层的语义解析模块，并且设置语义解析模块分配资源优先级最高，然后经语义解析模块处理后的实时数据生成实时主题数据，对应应用层则直接接收主题数据，实现实时数据分发；区域队列通过数据预处理层的过滤、聚合模块后形成的区域主题数据，例如生产线A、生成线B、冲压车间、焊装车间等区域聚合数据；设备类型队列是按设备类型聚合后的设备相关主题消息数据，例如机器人A消息数据、冲压机A消息数据、运输车A消息数据等；事件队列则是通过数据预处理层的过滤模块及事件处理模块后生成的事件主题数据，具体如温度异常、压力异常、链路异常等。
请参阅图3，示出了本发明实施例中的数据分发过程示意图。如图3所示，以生产车间的加注机A、机器人A和冲压机A数据为例，数据分发器的数据接入层从设备采集的实时数据，数据分发器将上述实时数据通过语义转义、经过滤数据过滤、数据聚合等处理生成实时队列、区域队列和设备队列；其中对实时性要求极高的机器人A电压、机器人A电流、冲压机A振动频率、冲压机A电压等实时数据经语义转义后直接集合生成实时队列，而所有属于冲压车间的冲压数据，例如冲压车间机器人A电压、冲压车间机器人A电流、冲压车间冲压机A振动频率、冲压车间冲压机A电压等通过语义转义、数据过滤和数据聚合模块集合成冲压车间主题数据；机器人设备数据，如机器人A电压、机器人A电流通过语义转义、数据过滤和数据聚合模块聚合成机器人A主题数据；数据消费者即需要消费上述各种消息队列的执行终端，根据自身需求完成主题消息订阅，包括上述执行终端和规则管理器在内的数据消费者，根据自身需求完成主题消息订阅，即可以实现工业数据的分发功能。
其中，请参阅图4，示出了本发明实施例中工业数据发布订阅流程示意图。如图4所示，数据生成者发布的消息数据被持久化到一个主题；在冲压机作为数据生成者时，其发布消息数据到主题消息队列topic(TJ_TSDB1)，然后该主题消息队列topic(TJ_TSDB1)的消息数据会被发送至关联有该消息主题的数据品质平台及数据湖中；在品质检查系统及Eas系统作为数据上产者时，其分布消息数据到主题topic(TJ_TSDB1)，然后该主题topic(TJ_TSDB2)的消息数据会被发送至关联有该主题的总装车间中。可以看出数据消费者可以订阅一个或多个主题，而数据消费者可以消费该topic中所有的数据，同一条数据可以被多个数据消费者消费。
其中，请参阅图5，示出了本发明实施例中任务派发过程示意图。如图5所示，制造执行系统(Mes)发布原始任务，然后通过规则管理器生成精细化可识别的小计划，包括月计划(MON_PLAN)、周计划(WEEK_PLAN)及日计划(DAY_PLAN)，然后分布式发布订阅服务器集群通过数据分发器把各个计划分散成各个车间的具体计划，例如针对冲压车间1的Topic(MON_PLAN_1)、针对冲压车间2的Topic(MON_PLAN_2)、针对焊装压车间1的Topic(WEEK_PLAN_1)、针对焊装压车间2的Topic(WEEK_PLAN_2)、针对涂装车间1的Topic(DAY_PLAN_1)、针对涂装车间2的Topic(DAY_PLAN_2)。其中，各个车间根据订阅操作关联不同Topic获取对应的具体计划。
本发明的另一目的在于提出一种物联网数据处理装置，应用于物联网中的数据服务器，所述物联网还包括多个执行终端及多个控制终端，所有所述执行终端及所有所述控制终端均与所述数据服务器通信连接，所述控制终端关联有对应的消息主题，所述执行终端关联有对应的计划主题；其中，请参阅图6，图6示出了本发明实施例所提出的一种物联网数据处理装置的结构示意图，所述装置包括：
第一控制模块61，用于获取所述控制终端发布的原始任务，并根据所述原始任务，确定针对目标执行终端的计划主题的具体计划；
第一发送模块62，用于将所述具体计划下发至所述目标执行终端，以供所述目标执行终端执行；
第二控制模块63，用于获取所述执行终端上传的当前数据，并根据所述当前数据，确定针对目标控制终端的消息主题的主题消息队列；
第二发送模块64，用于将所述主题消息队列对应的消息发送至所述目标控制终端，以供所述目标控制终端使用。
本发明实施例所述的装置中，控制终端关联有对应的消息主题，执行终端关联有对应的计划主题；由第一控制模块61在获取控制终端发布的原始任务后，确定针对目标执行终端的具体计划，然后由第一发送模块62将所述具体计划下发至所述目标执行终端，以供所述目标执行终端执行；以及由第二控制模块63在获取执行终端上传的当前数据后，根据所述当前数据，确定针对目标控制终端的消息主题的主题消息队列，并由第二发送模块64将所述消息队列对应的消息发送至所述目标控制终端，以供所述目标控制终端使用。本发明实施例采用物联数据采集和分布式发布订阅的方式，实现了将实时采集的数据进行多路分发至上层控制终端，以及将上层任务精细化派发至执行终端的目的。从而解决了工业物联网数据传输中，无法进行大文件任务分发以及无法实时对多个车间大量数据进行多路分发的问题。
可选地，所述的物联网数据处理装置中，预先为所述执行终端中的每类子数据设置优先级；所述第二模块模块，具体用于获取所述执行终端上传的当前数据，并根据所述优先级及所述当前数据，确定针对目标控制终端的消息主题的主题消息队列。
可选地，所述的物联网数据处理装置中，数据类型与处理流程之间满足对应关系；
所述第二控制模块，包括：
获取单元，用于获取所述执行终端上传的当前数据；
第一确定单元，用于根据所述对应关系，确定所述当前数据中各类子数据对应的目标处理流程；
第二确定单元，用于根据所述目标处理流程，按所述优先级的高低依次处理所述各类子数据，并根据所述各类子数据，确定针对目标控制终端的消息主题的主题消息队列。
可选地，所述的物联网数据处理装置中，所述处理流程包括数据解析、数据过滤、数据聚合、事件处理及数据统计。
可选地，所述的物联网数据处理装置中，所述数据类型包括周期型数据及事件型数据，所述周期型数据的优先级高于所述事件型数据。
可选地，所述的物联网数据处理装置中，每个消息主题和计划主题都具有多个分区日志，且每个所述消息主题和计划主题的各个所述分区日志分布式地存储在所述数据服务器所连接的集群服务器上，且每个所述分区日志都以副本的方式复制到多个数据消息代理节点上。
可选地，所述的物联网数据处理装置中，所述消息主题包括设备消息主题、区域消息主题及车间消息主题，所述计划主题包括日计划主题、周计划主题及月计划主题。
可选地，所述的物联网数据处理装置中，所述主题消息队列包括实时队列、区域队列、设备类型队列、事件队列中的至少一种。
可选地，所述的物联网数据处理装置中，所述第二发送模块，具体用于根据所述数据服务器的负载情况，控制所述主题消息队列对应的消息发送至所述目标控制终端。
可选地，所述的物联网数据处理装置中，所述控制终端包括数据品质服务器、数据湖、制造执行系统及应用层中的至少一种，所述执行终端包括车间设备。
可选地，所述的物联网数据处理装置中，所述执行终端经由网关设备或第三方系统与所述数据服务器通信连接。
可选地，所述的物联网数据处理装置中，所述第一控制模块包括：
第三确定单元，用于获取所述控制终端发布的原始任务，并根据所述原始任务及第一数据处理策略，确定精细化计划；
第四确定单元，用于根据所述精细化计划，确定针对目标执行终端的计划主题的具体计划；
所述第二发送模块，具体用于将所述消息队列对应的消息经由第二数据处理策略处理后，发送至所述目标控制终端。
可选地，所述的物联网数据处理装置中，所述第一数据处理策略包括排产策略及设备维保策略，所述第二数据处理策略包括数据清洗策略及数据压缩策略。
关于上述系统和车辆的技术细节和好处已在上述方法中进行了详细阐述，此处不再赘述。
综上所述，本申请提供的物料网数据处理方法及装置，在控制终端关联有对应的消息主题，执行终端关联有对应的计划主题；在获取控制终端发布的原始任务后，确定针对目标执行终端的具体计划，然后将所述具体计划下发至所述目标执行终端，以供所述目标执行终端执行；以及在获取执行终端上传的当前数据后，根据所述当前数据，确定针对目标控制终端的消息主题的主题消息队列，并将所述消息队列对应的消息发送至所述目标控制终端，以供所述目标控制终端使用。本发明实施例采用物联数据采集和分布式发布订阅的方式，实现了将实时采集的数据进行多路分发至上层控制终端，以及将上层任务精细化派发至执行终端的目的。从而解决了工业物联网数据传输中，无法进行大文件任务分发以及无法实时对多个车间大量数据进行多路分发的问题。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (13)
1.一种物联网数据处理方法，应用于物联网中的数据服务器，其特征在于，所述物联网还包括多个执行终端及多个控制终端，所有所述执行终端及所有所述控制终端均与所述数据服务器通信连接，所述控制终端关联有对应的消息主题，所述执行终端关联有对应的计划主题；所述方法包括：
获取所述控制终端发布的原始任务，并根据所述原始任务，确定针对目标执行终端的计划主题的具体计划；
将所述具体计划下发至所述目标执行终端，以供所述目标执行终端执行；
获取所述执行终端上传的当前数据，并根据所述当前数据，确定针对目标控制终端的消息主题的主题消息队列；
将所述主题消息队列对应的消息发送至所述目标控制终端，以供所述目标控制终端使用。
2.根据权利要求1所述的物联网数据处理方法，其特征在于，所述执行终端中的每类子数据设置有优先级；所述获取所述执行终端上传的当前数据，并根据所述当前数据，确定针对目标控制终端的消息主题的主题消息队列，包括：
获取所述执行终端上传的当前数据，并根据所述优先级及所述当前数据，确定针对目标控制终端的消息主题的主题消息队列。
3.根据权利要求2所述的物联网数据处理方法，其特征在于，数据类型与处理流程之间满足对应关系；
所述获取所述执行终端上传的当前数据，并根据所述优先级及所述当前数据，确定针对目标控制终端的消息主题的主题消息队列，包括：
获取所述执行终端上传的当前数据；
根据所述对应关系，确定所述当前数据中各类子数据对应的目标处理流程；
根据所述目标处理流程，按所述优先级的高低依次处理所述各类子数据，并根据所述各类子数据，确定针对目标控制终端的消息主题的主题消息队列。
4.根据权利要求3所述的物联网数据处理方法，其特征在于，所述处理流程包括数据解析、数据过滤、数据聚合、事件处理及数据统计。
5.根据权利要求3所述的物联网数据处理方法，其特征在于，所述数据类型包括周期型数据及事件型数据，所述周期型数据的优先级高于所述事件型数据。
6.根据权利要求1所述的物联网数据处理方法，其特征在于，所述主题消息队列包括实时队列、区域队列、设备类型队列、事件队列中的至少一种。
7.根据权利要求1所述的物联网数据处理方法，其特征在于，所述将所述主题消息队列对应的消息发送至所述目标控制终端，包括：
根据所述数据服务器的负载情况，控制所述主题消息队列对应的消息发送至所述目标控制终端。
8.根据权利要求1所述的物联网数据处理方法，其特征在于，每个消息主题和计划主题都具有多个分区日志，且每个所述消息主题和计划主题的各个所述分区日志分布式地存储在所述数据服务器所连接的集群服务器上，且每个所述分区日志都以副本的方式复制到多个数据消息代理节点上。
9.根据权利要求1所述的物联网数据处理方法，其特征在于，所述控制终端包括数据品质服务器、数据湖、制造执行系统及应用层中的至少一种，所述执行终端包括车间设备。
10.根据权利要求1所述的物联网数据处理方法，其特征在于，所述执行终端经由网关设备或第三方系统与所述数据服务器通信连接。
11.根据权利要求1所述的物联网数据处理方法，其特征在于，所述获取所述控制终端发布的原始任务，并根据所述原始任务，确定针对目标执行终端的计划主题的具体计划，包括：
获取所述控制终端发布的原始任务，并根据所述原始任务及第一数据处理策略，确定精细化计划；
根据所述精细化计划，确定针对目标执行终端的计划主题的具体计划；
所述将所述主题消息队列对应的消息发送至所述目标控制终端，包括：
将所述消息队列对应的消息经由第二数据处理策略处理后，发送至所述目标控制终端。
12.根据权利要求11所述的物联网数据处理方法，其特征在于，所述第一数据处理策略包括排产策略及设备维保策略，所述第二数据处理策略包括数据清洗策略及数据压缩策略。
13.一种物联网数据处理装置，应用于物联网中的数据服务器，所述物联网还包括多个执行终端及多个控制终端，所有所述执行终端及所有所述控制终端均与所述数据服务器通信连接，所述控制终端关联有对应的消息主题，所述执行终端关联有对应的计划主题；其特征在于，所述装置包括：
第一控制模块，用于获取所述控制终端发布的原始任务，并根据所述原始任务，确定针对目标执行终端的计划主题的具体计划；
第一发送模块，用于将所述具体计划下发至所述目标执行终端，以供所述目标执行终端执行；
第二控制模块，用于获取所述执行终端上传的当前数据，并根据所述当前数据，确定针对目标控制终端的消息主题的主题消息队列；
第二发送模块，用于将所述主题消息队列对应的消息发送至所述目标控制终端，以供所述目标控制终端使用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010391491.2A CN113641509A (zh) | 2020-05-11 | 2020-05-11 | 一种物联网数据处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010391491.2A CN113641509A (zh) | 2020-05-11 | 2020-05-11 | 一种物联网数据处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113641509A true CN113641509A (zh) | 2021-11-12 |
Family
ID=78415299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010391491.2A Pending CN113641509A (zh) | 2020-05-11 | 2020-05-11 | 一种物联网数据处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113641509A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114257582A (zh) * | 2021-12-17 | 2022-03-29 | 中国农业银行股份有限公司 | 批量作业处理方法、分布式系统及批量作业处理架构 |
| CN114615313A (zh) * | 2022-03-08 | 2022-06-10 | 树根互联股份有限公司 | 一种数据传输方法、装置、计算机设备和可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105786611A (zh) * | 2014-12-16 | 2016-07-20 | 中国移动通信集团公司 | 一种分布式集群的任务调度方法及装置 |
| US20190065249A1 (en) * | 2016-02-29 | 2019-02-28 | NEC Laboratories Europe GmbH | Method and system for managing data stream processing |
| CN109783214A (zh) * | 2018-12-29 | 2019-05-21 | 广州供电局有限公司 | 任务调度控制系统 |
| CN110809263A (zh) * | 2019-11-11 | 2020-02-18 | 龙尚科技（上海）有限公司 | 物联网通信方法、物联网通信系统和物联网设备 |
-
2020
- 2020-05-11 CN CN202010391491.2A patent/CN113641509A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105786611A (zh) * | 2014-12-16 | 2016-07-20 | 中国移动通信集团公司 | 一种分布式集群的任务调度方法及装置 |
| US20190065249A1 (en) * | 2016-02-29 | 2019-02-28 | NEC Laboratories Europe GmbH | Method and system for managing data stream processing |
| CN109783214A (zh) * | 2018-12-29 | 2019-05-21 | 广州供电局有限公司 | 任务调度控制系统 |
| CN110809263A (zh) * | 2019-11-11 | 2020-02-18 | 龙尚科技（上海）有限公司 | 物联网通信方法、物联网通信系统和物联网设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114257582A (zh) * | 2021-12-17 | 2022-03-29 | 中国农业银行股份有限公司 | 批量作业处理方法、分布式系统及批量作业处理架构 |
| CN114615313A (zh) * | 2022-03-08 | 2022-06-10 | 树根互联股份有限公司 | 一种数据传输方法、装置、计算机设备和可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2704401B1 (en) | Remote industrial monitoring using a cloud infrastructure | |
| US10747592B2 (en) | Router management by an event stream processing cluster manager | |
| US10423469B2 (en) | Router management by an event stream processing cluster manager | |
| US8078294B2 (en) | Conditional download of data from embedded historians | |
| EP2229720A2 (en) | Presence-based real time communication for distributed energy management network | |
| CN104635686A (zh) | 目标资源分配 | |
| CN113641509A (zh) | 一种物联网数据处理方法及装置 | |
| CN111881093B (zh) | 一种数据报送方法、装置及报送系统 | |
| CN111679950B (zh) | 接口级动态数据采样方法及装置 | |
| US11822981B2 (en) | Common gateway platform | |
| CN116915827A (zh) | 物联网边缘网关的数据传输方法、装置、电子设备及介质 | |
| CN116433198A (zh) | 一种基于云计算的智慧供应链管理平台系统 | |
| CN113327060A (zh) | 一种智慧工厂管理系统及其方法 | |
| CN116431324A (zh) | 一种基于Kafka高并发数据采集与分发的边缘系统 | |
| CN114387124B (zh) | 一种核电工业互联网平台的时序数据存储方法 | |
| CN117376346A (zh) | 基于边缘计算与分布式计算的设备数据处理方法及装置 | |
| CN115883639A (zh) | 一种web实时消息推送方法及装置、设备、存储介质 | |
| CN113848834A (zh) | 一种基于边云协同的车间设备接入系统及方法 | |
| CN114884948B (zh) | 一种数据处理系统 | |
| Lourenço et al. | A Real-Time Centralized Ticketing Architecture for Public Transportation | |
| CN118555311A (zh) | 自适应数据采集方法、装置、设备、及存储介质 | |
| CN118282798A (zh) | 一种多通道消息队列低延时优化方法 | |
| CN116233178A (zh) | 用于拧紧工件的数据处理系统 | |
| CN113849315A (zh) | 工业设备数据处理方法、中控服务器及mec服务器 | |
| CN112882439A (zh) | 一种新型车间机床远程监控与管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |