CN115102672A - 数据处理方法、系统、计算机设备和存储介质 - Google Patents
数据处理方法、系统、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN115102672A CN115102672A CN202210679836.3A CN202210679836A CN115102672A CN 115102672 A CN115102672 A CN 115102672A CN 202210679836 A CN202210679836 A CN 202210679836A CN 115102672 A CN115102672 A CN 115102672A
- Authority
- CN
- China
- Prior art keywords
- data
- transmission
- message queue
- acquisition
- retransmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000003672 processing method Methods 0.000 title abstract description 24
- 230000005540 biological transmission Effects 0.000 claims abstract description 155
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000009776 industrial production Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003801 milling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/08—Arrangements for detecting or preventing errors in the information received by repeating transmission, e.g. Verdan system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Abstract
本申请涉及一种数据处理方法、系统、计算机设备和存储介质。所述方法包括：获取多个工业设备对应的采集数据，并对获取到的采集数据进行记录，即形成采集记录，再将各个采集数据通过多个传输线程异步传输至消息队列，以加快数据传输效率，并对传输过程进行记录以形成传输记录，消息队列用于向消费对象提供传输成功的采集数据，在传输记录与采集记录匹配失败，表示存在传输失败的采集数据，则根据传输记录与采集记录之间的差异数据确定第一重发数据，即将第一重发数据重新传输至消息队列，以确保数据传输过程中的安全性和完整性，避免出现数据丢失的情况。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种数据处理方法、系统、计算机设备和存储介质。
背景技术
随着工业生产的规模逐渐扩大，工业设备的数量也逐渐增加，但为了监管工业设备的工作状态，需要工人手动上传各个工业设备的运行数据以及设备参数至监管平台，但工人手动上传导致数据上传效率较低，并且人工手动上传数据使数据传输的安全性较低，容易出现数据丢失的情况。
发明内容
为了解决上述技术问题，本申请提供了一种传输效率较高、安全性较高的数据处理方法、系统、计算机设备和存储介质。
第一方面，本申请提供了一种数据处理方法，包括：
获取预设时间段内多个工业设备对应的采集数据，并基于各个所述采集数据形成采集记录；
将各个所述采集数据通过多个传输线程异步传输至消息队列后，并统计各个所述采集数据的传输记录，其中，所述消息队列用于向消费对象提供传输成功的所述采集数据；
在所述传输记录与所述采集记录匹配失败时，根据所述传输记录与所述采集记录之间的差异数据确定第一重发数据，其中，所述第一重发数据为传输失败的所述采集数据；
将所述第一重发数据传输至所述消息队列。
第二方面，本申请提供了一种数据处理系统，包括：
获取模块，用于获取预设时间段内多个工业设备对应的采集数据，并基于各个所述采集数据形成采集记录；
传输模块，用于将各个所述采集数据通过多个传输线程异步传输至消息队列后，并统计各个所述采集数据的传输记录，其中，所述消息队列用于向消费对象提供传输成功的所述采集数据；
匹配模块，用于在所述传输记录与所述采集记录匹配失败时，根据所述传输记录与所述采集记录之间的差异数据确定第一重发数据，其中，所述第一重发数据为传输失败的所述采集数据；
所述传输模块还用于将所述第一重发数据传输至所述消息队列。
第三方面，本申请提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取预设时间段内多个工业设备对应的采集数据，并基于各个所述采集数据形成采集记录；
将各个所述采集数据通过多个传输线程异步传输至消息队列后，并统计各个所述采集数据的传输记录，其中，所述消息队列用于向消费对象提供传输成功的所述采集数据；
在所述传输记录与所述采集记录匹配失败时，根据所述传输记录与所述采集记录之间的差异数据确定第一重发数据，其中，所述第一重发数据为传输失败的所述采集数据；
将所述第一重发数据传输至所述消息队列。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取预设时间段内多个工业设备对应的采集数据，并基于各个所述采集数据形成采集记录；
将各个所述采集数据通过多个传输线程异步传输至消息队列后，并统计各个所述采集数据的传输记录，其中，所述消息队列用于向消费对象提供传输成功的所述采集数据；
在所述传输记录与所述采集记录匹配失败时，根据所述传输记录与所述采集记录之间的差异数据确定第一重发数据，其中，所述第一重发数据为传输失败的所述采集数据；
将所述第一重发数据传输至所述消息队列。
基于上述数据处理方法，获取多个工业设备对应的采集数据，并对获取到的采集数据进行记录，即形成采集记录，再将各个采集数据通过多个传输线程异步传输至消息队列，以加快数据传输效率，并对传输过程进行记录以形成传输记录，消息队列用于向消费对象提供传输成功的采集数据，在传输记录与采集记录匹配失败，表示存在传输失败的采集数据，则根据传输记录与采集记录之间的差异数据确定第一重发数据，即将第一重发数据重新传输至消息队列，以确保数据传输过程中的安全性和完整性，避免出现数据丢失的情况。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中数据处理方法的应用环境图；
图2为一个实施例中数据处理方法的流程示意图；
图3为一个实施例中数据处理方法的流程示意图；
图4为一个实施例中数据处理方法的流程示意图；
图5为一个实施例中数据处理方法的流程示意图；
图6为一个实施例中数据处理方法的流程示意图；
图7为一个实施例中数据处理方法的流程示意图；
图8为一个实施例中数据处理方法的流程示意图；
图9为一个实施例中数据处理系统的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为一个实施例中数据处理方法的应用环境图。参照图1，该数据处理方法应用于数据处理系统。该数据处理系统包括工业设备110、监管平台120和消费对象130。工业设备110、监管平台120和消费对象130通过网络连接。工业设备110指的是工业生产设备和各类机床，比如车床、铣床、磨床、刨床等机器。监管平台120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。消费对象130具体可以是监管平台120中的数据库或是其他具有数据存储以及数据分析能力的服务器或终端，终端具体可以为台式终端或移动终端，移动终端具体可以为手机、平板电脑、笔记本电脑等中的至少一种。
在一个实施例中，图2为一个实施例中一种数据处理方法的流程示意图，参照图2，提供了一种数据处理方法。本实施例主要以该方法应用于上述图1中的监管平台120来举例说明，该数据处理方法具体包括如下步骤：
步骤S210，获取预设时间段内多个工业设备110对应的采集数据，并基于各个所述采集数据形成采集记录。
具体的，监管平台120还包括数据采集模块，通过各个数据采集模块以采集各个工业设备110对应的采集数据，数据采集模块具体可以为电压采集模块、电流采集模块、温度传感器、热电偶及热敏电阻测量传感器、条码采集模块、RFID射频识别模块等，采集数据为各个数据采集模块相应类型的数据，采集数据用于指示工业设备110的运行状态。采集记录包含预设时间段内获取到的各个采集数据以及各个采集数据相应的获取时间戳，采集记录用于指示各个采集数据的采集情况，预设时间段可根据数据上传所需进行自定义，预设时间段具体可以为5分钟、30分钟、1天等，预设时间段越短监管平台120获取到的采集数据的实时性越高。
获取预设时间段内多个工业设备110对应的采集数据具体包括：
通过各个采集模块获取预设时间段内多个工业设备110对应的设备数据；对各个所述设备数据进行预处理，以剔除多个设备数据中的脏数据、非法数据以及无用数据等，具体将各个设备数据与相应的参考数据进行匹配，将匹配失败的数据进行剔除，将匹配成功的设备数据作为上述采集数据。
步骤S220，将各个所述采集数据通过多个传输线程异步传输至消息队列后，并统计各个所述采集数据的传输记录，其中，所述消息队列用于向消费对象130提供传输成功的所述采集数据。
具体的，将预设时间段内获取到的多个采集数据通过多个传输线程异步传输至消息队列，从而加快了采集数据的传输效率，并记录采集数据的传输过程以形成传输记录，传输记录包括成功传输至消息队列的采集数据以及采集数据传输至消息队列的传输时间戳，消费对象130按需从消息队列中拉取采集数据，从而完成采集数据的上传。
步骤S230，在所述传输记录与所述采集记录匹配失败时，根据所述传输记录与所述采集记录之间的差异数据确定第一重发数据，其中，所述第一重发数据为传输失败的所述采集数据。
具体的，正常将预设时间段内获取到的多个采集数据通过多个传输线程异步传输至消息队列，若不存在数据丢失，则传输记录与采集记录保存一致，即传输记录与采集记录相匹配，也就是说预设时间段内获取到的所有采集数据均成功传输至消息队列；在传输记录与采集记录匹配失败，表示传输过程中存在数据丢失情况，即采集记录中的部分采集数据传输至消息队列失败，即传输记录中采集数据的数据量小于采集记录中采集数据的数据量，因此根据传输记录与采集记录之间的差异数据确定第一重发数据，第一重发数据为存在于采集记录中但未存在于传输记录中的采集数据，也就是说第一重发数据为传输失败的采集数据。
通过传输记录与采集记录之间的匹配处理，以确定传输过程中是否有数据丢失，并在检测到数据丢失时，精准确定传输丢失的采集数据，以便于后续对传输丢失的采集数据进行补发措施。
步骤S240，将所述第一重发数据传输至所述消息队列。
具体的，对于传输失败的第一重发数据重新通过传输线程传输至消息队列，以确保数据传输过程中的安全性和完整性，避免出现数据丢失的情况。
在一个实施例中，如图3所示，所述将各个所述采集数据通过多个传输线程异步传输至消息队列后，即步骤S240之后，所述方法还包括：
步骤S250，在接收到所述消费对象130的消费请求时，将所述消息队列中与所述消费请求对应的所述采集数据发送至所述消费对象130。
具体的，消费请求包括数据请求信息以及消费对象130的身份信息，数据请求信息用于指示所要请求获取的数据，消费请求用于请求从消费队列中获取与数据请求信息相匹配的采集数据，在接收到消费对象130的消费请求时，监管平台120从消息队列中查询与消费请求中数据请求信息对应的采集数据，将消息队列中与数据请求信息对应的采集数据发送至消费对象130，以实现数据的上传，在消费对象130为监管平台120的数据库时，则消费对象130按照预设周期定时向消费队列发送消费请求，以从消息队列中拉取采集数据，该消费请求用于拉取一个周期内消息队列所接收到的多个采集数据，即定期将消息队列中的多个采集数据上传至监管平台120的数据库中，以实现采集数据的定时上传。
在消费对象130为监管人员所持终端时，监管人员可依照自己所关注的数据通过终端生成相应的消费请求，并将该消费请求发送至消息队列，消费队列可按照终端所需为其提供相应的采集数据，即将消息队列中监管人员所关注的采集数据上传至监管人员所示终端。
在一个实施例中，如图4所示，所述将所述消息队列中的所述采集数据发送至所述消费对象130之后，即步骤S250之后，所述方法还包括：
步骤S260，确定所述消息队列中各个所述采集数据的消费记录；
步骤S270，在所述消费请求中的数据请求信息与所述消费记录匹配失败时，将所述数据请求信息与所述传输记录进行匹配处理，得到第一匹配结果，其中，所述数据请求信息用于指示请求获取的采集数据；
步骤S280，在所述第一匹配结果为匹配成功时，根据所述数据请求信息与所述消费记录之间的差异数据，确定第二重发数据，其中，所述第二重发数据为所述消息队列中消费失败的所述采集数据；
步骤S290，将所述第二重发数据发送至所述消费对象130。
具体的，对于消息队列中采集数据的消费情况进行记录，以生成消费记录，消费记录包含消费成功的采集数据以及各个采集数据的消费时间戳，将消费请求中的数据请求信息与消费记录进行比对，判断数据请求信息中所要请求的数据是否被记录在消费记录中，从而判断数据请求信息所要请求的数据是否已被成功消费，在数据请求信息与消费记录匹配成功时，表示数据请求信息所要请求的数据均已被成功消费，即数据请求信息所要请求的数据已成功消费发送至消费对象130。
在数据请求信息与消费记录匹配失败，表示数据请求信息所要请求的数据未被记录在消费记录中，即数据请求信息所要请求的数据消费失败，并未发送至消费对象130，则需要将数据请求信息与传输记录进行匹配处理，以判断数据请求信息所要的数据是否被成功传输至消息队列，即得到第一匹配结果，在第一匹配结果为匹配成功时，表示数据请求信息所要请求的数据已成功传输至消息队列中，表示数据传输正常而数据消费异常，则根据数据请求信息与消费记录之间的差异数据确定第二重发数据，第二重发数据用于指示消息队列中消费失败的采集数据，再将第二重发数据重新发送至消费对象130以完成重新消费过程，将数据请求信息与消费记录进行比对以确保数据消费过程不会出现数据丢失的情况，进一步确保数据上传过程的安全性。
在一个实施例中，如图5所示，所述将所述数据请求信息与所述传输记录进行匹配处理，得到第一匹配结果之后，即步骤S270之后，所述方法还包括：
步骤S271，在所述第一匹配结果为匹配失败时，将所述消费请求与所述采集记录进行匹配处理，得到第二匹配结果；
步骤S272，在所述第二匹配结果为匹配成功时，根据所述数据请求信息与所述传输记录之间的差异数据，确定第三重发数据，其中，所述第三重发数据为传输失败的所述采集数据；
步骤S273，将所述第三重发数据发送至所述消息队列或所述消费对象130。
具体的，在第一匹配结果为匹配失败，表示数据请求信息所要请求的数据未被传输至消息队列中，则需要将数据请求信息与采集记录进行比对，以判断数据请求信息所要请求的数据是否已被采集，得到第二匹配结果，在第二匹配结果为匹配成功时，表示数据请求信息所要请求的数据已被采集，但未被成功传输至消息队列中，即存在数据传输异常，则根据数据请求信息与传输记录之间的差异数据确定传输失败的第三重发数据，重新将第三重发数据传输至消息队列或直接发送至消费对象130，将第三重发数据重新传输至消息队列后，消息队列再将第三重发数据进行重新消费，即消息队列将第三重发数据重新发送至消费对象130，亦或者，无需将第三重发数据传输至消息队列而是直接发送至消费对象130，以满足消费对象130的消费请求。
在一个实施例中，如图6所示，所述将所述第三重发数据发送至所述消息队列或所述消费对象130，即步骤S273包括：
步骤S2730，在所述第三重发数据的数据量小于第一预设数据量时，将所述第三重发数据发送至所述消费对象130；
步骤S2731，在所述第三重发数据的数据量大于或等于所述第一预设数据量时，将所述第三重发数据通过多个所述传输线程异步传输至所述消息队列。
具体的，根据第三重发数据的数据量来判断是直接将第三重发数据发送至消费对象130还是先传输至消息队列，通过消息队列将第三重发数据发送至消费对象130，在第三重发数据的数据量小于第一预设数据量时，表示第三重发数据的数据量较小，无需通过多个传输线程传输至消息队列，可以直接发送至消费对象130，以加快消费请求的响应速度。
在第三重发数据的数据量大于或等于第一预设数据量时，表示第三重发数据的数据量较大，若是直接发送至消费对象130，可能会导致数据传输速率较慢，因此需要通过多个传输线程异步传输至消息队列后，再通过消息队列将第三重发数据消费发送至消费对象130，以加快数据传输速率。
在一个实施例中，如图7所示，所述将各个所述采集数据通过多个传输线程异步传输至消息队列，即步骤S220包括：
步骤S2201，获取多个所述传输线程；
步骤S2202，将多个所述采集数据平均分配给各个所述传输线程，或，将各个所述采集数据依次分配给处于空闲状态的所述传输线程，或，处于空闲状态的所述传输线程依次拉取待传输的所述采集数据；
步骤S2203，通过多个所述传输线程将各个所述采集数据异步传输至所述消息队列。
具体的，通过多个传输线程异步传输多个采集数据，将多个采集数据分配给各个传输线程的方式可以为，将预设时间段内获取到的多个采集数据平均分配给各个传输线程，各个传输线程将分配所得的传输线程异步传输至消息队列；也可以为，按照各个传输线程的状态进行分配，即将多个采集数据依次分配给处于空闲状态的传输线程，亦或者是，处于空闲状态的传输线程自主依次拉取待传输的采集数据，以上方式均可实现通过多个传输线程将多个采集数据异步传输至消息队列，可依照实际应用场景进行自定义配置。
其中，获取到的多个传输线程可以为线程池中已配置好的传输线程，也可以为自定义创建的传输线程。
在一个实施例中，如图8所示，所述将所述第一重发数据传输至所述消息队列，即步骤S240包括：
步骤S2401，在所述第一重发数据的数据量大于或等于第二预设数据量时，将所述第一重发数据通过多个所述传输线程异步传输至所述消息队列；
步骤S2402，在所述第一重发数据的数据量小于所述第二预设数据量时，将所述第一重发数据直接发送至所述消息队列。
具体的，对于传输失败的第一重发数据可以选择通过多个传输线程异步传输至消息队列，亦或者是无需通过传输线程直接发送至消息队列，具体根据第一重发数据的数据量来选择传输方式，在第一重发数据的数据量大于或等于第二预设数据量时，表示第一重发数据的数据量较大，若是直接发送至消息队列，可能传输速率较低，耗时较久，因此将第一重发数据分配给多个传输线程，通过多个传输线程异步传输至消息队列，以加快了第一重发数据的传输效率；在第一重发数据的数据量小于第二预设数据量时，表示第一重发数据的数据量较小，可以不通过传输线程直接发送至消息队列，也不会影响传输效率。
图2-图8为一个实施例中数据处理方法的流程示意图。应该理解的是，虽然图2-图8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种数据处理系统，包括监管平台，该监管平台包括：
获取模块310，用于获取预设时间段内多个工业设备110对应的采集数据，并基于各个所述采集数据形成采集记录；
传输模块320，用于将各个所述采集数据通过多个传输线程异步传输至消息队列后，并统计各个所述采集数据的传输记录，其中，所述消息队列用于向消费对象130提供传输成功的所述采集数据；
匹配模块330，用于在所述传输记录与所述采集记录匹配失败时，根据所述传输记录与所述采集记录之间的差异数据确定第一重发数据，其中，所述第一重发数据为传输失败的所述采集数据；
所述传输模块320还用于将所述第一重发数据传输至所述消息队列。
在一个实施例中，所述系统还包括消费模块，用于：
在接收到所述消费对象130的消费请求时，将所述消息队列中与所述消费请求对应的所述采集数据发送至所述消费对象130。
在一个实施例中，所述消费模块还用于：
确定所述消息队列中各个所述采集数据的消费记录；
在所述消费请求中的数据请求信息与所述消费记录匹配失败时，将所述数据请求信息与所述传输记录进行匹配处理，得到第一匹配结果，其中，所述数据请求信息用于指示请求获取的采集数据；
在所述第一匹配结果为匹配成功时，根据所述数据请求信息与所述消费记录之间的差异数据，确定第二重发数据，其中，所述第二重发数据为所述消息队列中消费失败的所述采集数据；
将所述第二重发数据发送至所述消费对象130。
在一个实施例中，所述消费模块还用于：
在所述第一匹配结果为匹配失败时，将所述消费请求与所述采集记录进行匹配处理，得到第二匹配结果；
在所述第二匹配结果为匹配成功时，根据所述数据请求信息与所述传输记录之间的差异数据，确定第三重发数据，其中，所述第三重发数据为传输失败的所述采集数据；
将所述第三重发数据发送至所述消息队列或所述消费对象130。
在一个实施例中，所述消费模块还用于：
在所述第三重发数据的数据量小于第一预设数据量时，将所述第三重发数据发送至所述消费对象130；
在所述第三重发数据的数据量大于或等于所述第一预设数据量时，将所述第三重发数据通过多个所述传输线程异步传输至所述消息队列。
在一个实施例中，所述传输模块320还用于：
获取多个所述传输线程；
将多个所述采集数据平均分配给各个所述传输线程，或，将各个所述采集数据依次分配给处于空闲状态的所述传输线程，或，处于空闲状态的所述传输线程依次拉取待传输的所述采集数据；
通过多个所述传输线程将各个所述采集数据异步传输至所述消息队列。
在一个实施例中，所述传输模块320还用于：
在所述第一重发数据的数据量大于或等于第二预设数据量时，将所述第一重发数据通过多个所述传输线程异步传输至所述消息队列；
在所述第一重发数据的数据量小于所述第二预设数据量时，将所述第一重发数据直接发送至所述消息队列。
图10示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的监管平台120。如图10所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入系统和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现数据处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行数据处理方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入系统可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的数据处理系统可以实现为一种计算机程序的形式，计算机程序可在如图10所示的计算机设备上运行。计算机设备的存储器中可存储组成该数据处理系统的各个程序模块，比如，图9所示的获取模块310、传输模块320和匹配模块330。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的数据处理方法中的步骤。
图10所示的计算机设备可以通过如图9所示的数据处理系统中的获取模块310执行获取预设时间段内多个工业设备110对应的采集数据，并基于各个所述采集数据形成采集记录。计算机设备可通过传输模块320执行将各个所述采集数据通过多个传输线程异步传输至消息队列后，并统计各个所述采集数据的传输记录，其中，所述消息队列用于向消费对象130提供传输成功的所述采集数据。计算机设备可通过匹配模块330执行在所述传输记录与所述采集记录匹配失败时，根据所述传输记录与所述采集记录之间的差异数据确定第一重发数据，其中，所述第一重发数据为传输失败的所述采集数据。计算机设备可通过传输模块320执行将所述第一重发数据传输至所述消息队列。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一项实施例所述的方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项实施例所述的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指示相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍速率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据处理方法，其特征在于，所述方法包括：
获取预设时间段内多个工业设备对应的采集数据，并基于各个所述采集数据形成采集记录；
将各个所述采集数据通过多个传输线程异步传输至消息队列后，并统计各个所述采集数据的传输记录，其中，所述消息队列用于向消费对象提供传输成功的所述采集数据；
在所述传输记录与所述采集记录匹配失败时，根据所述传输记录与所述采集记录之间的差异数据确定第一重发数据，其中，所述第一重发数据为传输失败的所述采集数据；
将所述第一重发数据传输至所述消息队列。
2.根据权利要求1所述的方法，其特征在于，所述将各个所述采集数据通过多个传输线程异步传输至消息队列后，所述方法还包括：
在接收到所述消费对象的消费请求时，将所述消息队列中与所述消费请求对应的所述采集数据发送至所述消费对象。
3.根据权利要求2所述的方法，其特征在于，所述将所述消息队列中的所述采集数据发送至所述消费对象之后，所述方法还包括：
确定所述消息队列中各个所述采集数据的消费记录；
在所述消费请求中的数据请求信息与所述消费记录匹配失败时，将所述数据请求信息与所述传输记录进行匹配处理，得到第一匹配结果，其中，所述数据请求信息用于指示请求获取的采集数据；
在所述第一匹配结果为匹配成功时，根据所述数据请求信息与所述消费记录之间的差异数据，确定第二重发数据，其中，所述第二重发数据为所述消息队列中消费失败的所述采集数据；
将所述第二重发数据发送至所述消费对象。
4.根据权利要求3所述的方法，其特征在于，所述将所述数据请求信息与所述传输记录进行匹配处理，得到第一匹配结果之后，所述方法还包括：
在所述第一匹配结果为匹配失败时，将所述消费请求与所述采集记录进行匹配处理，得到第二匹配结果；
在所述第二匹配结果为匹配成功时，根据所述数据请求信息与所述传输记录之间的差异数据，确定第三重发数据，其中，所述第三重发数据为传输失败的所述采集数据；
将所述第三重发数据发送至所述消息队列或所述消费对象。
5.根据权利要求4所述的方法，其特征在于，所述将所述第三重发数据发送至所述消息队列或所述消费对象，包括：
在所述第三重发数据的数据量小于第一预设数据量时，将所述第三重发数据发送至所述消费对象；
在所述第三重发数据的数据量大于或等于所述第一预设数据量时，将所述第三重发数据通过多个所述传输线程异步传输至所述消息队列。
6.根据权利要求1所述的方法，其特征在于，所述将各个所述采集数据通过多个传输线程异步传输至消息队列，包括：
获取多个所述传输线程；
将多个所述采集数据平均分配给各个所述传输线程，或，将各个所述采集数据依次分配给处于空闲状态的所述传输线程，或，处于空闲状态的所述传输线程依次拉取待传输的所述采集数据；
通过多个所述传输线程将各个所述采集数据异步传输至所述消息队列。
7.根据权利要求1所述的方法，其特征在于，所述将所述第一重发数据传输至所述消息队列，包括：
在所述第一重发数据的数据量大于或等于第二预设数据量时，将所述第一重发数据通过多个所述传输线程异步传输至所述消息队列；
在所述第一重发数据的数据量小于所述第二预设数据量时，将所述第一重发数据直接发送至所述消息队列。
8.一种数据处理系统，其特征在于，所述系统包括：
获取模块，用于获取预设时间段内多个工业设备对应的采集数据，并基于各个所述采集数据形成采集记录；
传输模块，用于将各个所述采集数据通过多个传输线程异步传输至消息队列后，并统计各个所述采集数据的传输记录，其中，所述消息队列用于向消费对象提供传输成功的所述采集数据；
匹配模块，用于在所述传输记录与所述采集记录匹配失败时，根据所述传输记录与所述采集记录之间的差异数据确定第一重发数据，其中，所述第一重发数据为传输失败的所述采集数据；
所述传输模块还用于将所述第一重发数据传输至所述消息队列。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210679836.3A CN115102672B (zh) | 2022-06-15 | 2022-06-15 | 数据处理方法、系统、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210679836.3A CN115102672B (zh) | 2022-06-15 | 2022-06-15 | 数据处理方法、系统、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115102672A true CN115102672A (zh) | 2022-09-23 |
| CN115102672B CN115102672B (zh) | 2024-04-05 |
Family
ID=83290645
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210679836.3A Active CN115102672B (zh) | 2022-06-15 | 2022-06-15 | 数据处理方法、系统、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115102672B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521174A (zh) * | 2011-12-19 | 2012-06-27 | 厦门雅迅网络股份有限公司 | 一种数据采集存储与传输的方法 |
| CN110109996A (zh) * | 2019-05-15 | 2019-08-09 | 浪潮通用软件有限公司 | 一种工业互联网设备实时数据采集与存储方法及系统 |
| CN111385069A (zh) * | 2018-12-27 | 2020-07-07 | 广州市百果园信息技术有限公司 | 数据传输方法及计算机设备 |
| CN111427917A (zh) * | 2020-02-29 | 2020-07-17 | 中国平安人寿保险股份有限公司 | 搜索数据处理方法及相关产品 |
| CN111464384A (zh) * | 2020-03-30 | 2020-07-28 | 中国建设银行股份有限公司 | 一种异步消息的一致性测试方法及装置 |
| CN112051816A (zh) * | 2020-09-03 | 2020-12-08 | 珠海格力智能装备有限公司 | 数据采集系统和方法 |
-
2022
- 2022-06-15 CN CN202210679836.3A patent/CN115102672B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521174A (zh) * | 2011-12-19 | 2012-06-27 | 厦门雅迅网络股份有限公司 | 一种数据采集存储与传输的方法 |
| CN111385069A (zh) * | 2018-12-27 | 2020-07-07 | 广州市百果园信息技术有限公司 | 数据传输方法及计算机设备 |
| CN110109996A (zh) * | 2019-05-15 | 2019-08-09 | 浪潮通用软件有限公司 | 一种工业互联网设备实时数据采集与存储方法及系统 |
| CN111427917A (zh) * | 2020-02-29 | 2020-07-17 | 中国平安人寿保险股份有限公司 | 搜索数据处理方法及相关产品 |
| CN111464384A (zh) * | 2020-03-30 | 2020-07-28 | 中国建设银行股份有限公司 | 一种异步消息的一致性测试方法及装置 |
| CN112051816A (zh) * | 2020-09-03 | 2020-12-08 | 珠海格力智能装备有限公司 | 数据采集系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115102672B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110297711B (zh) | 批量数据处理方法、装置、计算机设备及存储介质 | |
| CN110399293B (zh) | 系统测试方法、装置、计算机设备和存储介质 | |
| CN109032824B (zh) | 数据库校验方法、装置、计算机设备和存储介质 | |
| CN111143163B (zh) | 数据监控方法、装置、计算机设备和存储介质 | |
| CN109144829B (zh) | 故障处理方法、装置、计算机设备和存储介质 | |
| CN110309109B (zh) | 数据监控方法、装置、计算机设备及存储介质 | |
| CN112035437B (zh) | 病案数据的传输方法、装置、计算机设备及存储介质 | |
| CN109446493B (zh) | 数据处理方法、装置、存储介质和电子装置 | |
| CN111741112B (zh) | 基于人工智能的文件下载方法、装置、设备和存储介质 | |
| CN113157524A (zh) | 基于大数据的异常问题解决方法、系统、设备和存储介质 | |
| CN111651595A (zh) | 一种异常日志处理方法及装置 | |
| CN112884159A (zh) | 模型更新系统、模型更新方法及相关设备 | |
| CN109409780B (zh) | 变更处理方法、装置、计算机设备和存储介质 | |
| CN113190426B (zh) | 一种大数据评分系统稳定性监控方法 | |
| CN115102672A (zh) | 数据处理方法、系统、计算机设备和存储介质 | |
| CN115982049A (zh) | 性能测试中的异常检测方法、装置和计算机设备 | |
| CN113472881B (zh) | 在线终端设备的统计方法和装置 | |
| CN111274112B (zh) | 应用程序压测方法、装置、计算机设备和存储介质 | |
| CN113961611A (zh) | 日志的处理方法、装置、设备以及存储介质 | |
| CN114417200A (zh) | 网络数据的采集方法、装置及电子设备 | |
| CN113850428A (zh) | 作业调度的预测处理方法、装置和电子设备 | |
| CN114691443A (zh) | 一种截面数据发送方法、装置、电子设备及存储介质 | |
| CN111752786A (zh) | 压力测试过程中的数据存储方法、汇总方法、设备及介质 | |
| CN114428704A (zh) | 全链路分布式监控的方法、装置、计算机设备和存储介质 | |
| CN109658052B (zh) | 监察结果的获取方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |