CN116737274A - 一种数据处理方法、装置及计算设备 - Google Patents
一种数据处理方法、装置及计算设备 Download PDFInfo
- Publication number
- CN116737274A CN116737274A CN202310764456.4A CN202310764456A CN116737274A CN 116737274 A CN116737274 A CN 116737274A CN 202310764456 A CN202310764456 A CN 202310764456A CN 116737274 A CN116737274 A CN 116737274A
- Authority
- CN
- China
- Prior art keywords
- data
- object event
- service module
- configuration file
- heterogeneous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims description 55
- 230000005540 biological transmission Effects 0.000 claims description 28
- 238000003860 storage Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 19
- 238000004140 cleaning Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种数据处理方法、装置及计算设备，所述方法包括：获取基于预设协议的数据采集线程接收至少一个异构数据的服务模块的状态；在所述服务模块的状态为启动状态时，获取所述服务模块中的至少一个配置文件信息；根据所述配置文件信息，从接收的至少一个异构数据中获取待发布的对象事件；根据每个待发布的对象事件，调用服务模块创建相应的发布队列；通过预设协议的数据写入线程，将所述至少一个异构数据写入对象事件对应的发布队列中。本发明通过扩展插件的形式添加新的数据驱动和应用支持，解决工业智能制造中数据难以统一访问的问题。
Description
技术领域
本发明涉及数据采集技术领域，特别是指一种数据处理方法、装置及计算设备。
背景技术
异构数据来源自工业制造现场不同的设备，不同类型的设备往往采用各自的数据输出方式，由于缺乏同时连接不同驱动协议的设备数据采集方法，难以实现工业物联平台与各种加工设备的互联互通，数据仅在设备端保存，不能形成以数据为中心的自动化和智能制造数据支持。
发明内容
本发明要解决的技术问题是提供一种数据处理方法、装置及计算设备，通过扩展插件的形式添加新的数据驱动和应用支持，解决工业智能制造中数据难以统一访问的问题。
为解决上述技术问题，本发明的技术方案如下：
第一方面，一种数据处理方法，所述方法包括：
获取基于预设协议的数据采集线程接收至少一个异构数据的服务模块的状态；
在所述服务模块的状态为启动状态时，获取所述服务模块中的至少一个配置文件信息；
根据所述配置文件信息，从接收的至少一个异构数据中获取待发布的对象事件；
根据每个待发布的对象事件，调用服务模块创建相应的发布队列；
通过预设协议的数据写入线程，将所述至少一个异构数据写入对象事件对应的发布队列中。
进一步的，获取基于预设协议的数据采集线程接收至少一个异构数据的服务模块的状态，包括：
获取用于数据采集的预设协议；
根据所述预设协议，初始化所述服务模块，所述服务模块用于接收并处理来自不同数据源的异构数据，所述服务模块包括多个线程；
实时监测所述服务模块的当前工作状态。
进一步的，在所述服务模块的状态为启动状态时，获取所述服务模块中的至少一个配置文件信息，包括：
读取服务模块内部的配置文件；
根据服务模块内部的配置文件，对所述配置文件进行解析，以获取至少一个配置文件信息。
进一步的，根据所述配置文件信息，从接收的至少一个异构数据中获取待发布的对象事件，包括：
根据配置文件信息，识别并确定接收的异构数据；
根据配置文件中的设置和规则，从接收的异构数据中提取关键信息；
根据所述关键信息，从异构数据中识别待发布的对象事件。
进一步的，根据每个待发布的对象事件，调用服务模块创建相应的发布队列，包括：
使用迭代器从待发布对象事件列表中获取当前对象事件，其中，当前对象事件为在迭代过程中正被处理的对象事件；
对所述当前对象事件进行处理，以得到满足发布和传输的数据；
将满足发布和传输的数据加入相应的发布队列。
进一步的，对所述当前对象事件进行处理，以得到满足发布和传输的数据，包括：
对当前对象事件中的数据进行清洗，以得到清洗数据；
将清洗数据转换为统一的数据格式，在数据格式转换后，将当前对象事件中的特定值映射为新的值，在完成值映射后，对当前对象事件进行分组，在分组后，对当前对象事件进行聚合；
将聚合后的当前对象事件封装为满足发布和传输要求的数据格式。
进一步的，通过预设协议的数据写入线程，将所述至少一个异构数据写入对象事件对应的发布队列中，包括：
为对象事件创建一个对应的发布队列；
将当前对象事件中的处理后的异构数据加入到对应的发布队列中；
为预设协议创建一个数据写入线程，使数据写入线程监听发布队列中的异构数据变动；当发布队列中存在异构数据时，数据写入线程将获取该异构数据；
数据写入线程将获取到的异构数据通过预设协议发送至目标接收端，异构数据发送成功后，从发布队列中移除已发送的异构数据。
第二方面，一种数据处理装置，包括：
获取模块，用于获取基于预设协议的数据采集线程接收至少一个异构数据的服务模块的状态；在所述服务模块的状态为启动状态时，获取所述服务模块中的至少一个配置文件信息；
处理模块，用于根据所述配置文件信息，从接收的至少一个异构数据中获取待发布的对象事件；根据每个待发布的对象事件，调用服务模块创建相应的发布队列；通过预设协议的数据写入线程，将所述至少一个异构数据写入对象事件对应的发布队列中。
第三方面，一种计算设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述方法。
第四方面，一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，该程序被处理器执行时实现上述方法。
本发明的上述方案至少包括以下有益效果：
本发明的上述方案，
通过获取服务模块的状态，以了解服务模块当前是否处于启动状态，通过检查服务模块的状态，可以确定是否可以进行后续的数据处理操作，在服务模块的状态为启动状态时，获取至少一个配置文件信息，配置文件信息包含了数据处理所需的参数、规则和设置，通过获取配置文件信息，可以对数据进行有效的处理和管理，根据配置文件信息，从至少一个异构数据中提取出待发布的对象事件。异构数据可能包含不同类型、格式或结构的数据，根据配置文件的规则，可以准确地从异构数据中识别和提取出需发布的对象事件。针对每个待发布的对象事件，调用服务模块创建相应的发布队列，发布队列用于存储待发布的对象事件，以便后续的处理和使用。
通过为每个对象事件创建相应的发布队列，可以实现对不同事件的分别存储和管理，通过预设协议的数据写入线程，将至少一个异构数据写入到其对应的发布队列中，这些异构数据经过处理后，根据配置文件信息确定了它们应该被发布到哪个队列中，通过将数据写入到相应的发布队列，实现了对数据的分类和归类，方便后续的处理、分析和使用，该数据处理方法能够实现从异构数据的接收到待发布对象事件的提取和存储，并为后续的数据处理和应用提供了基础，可以提高数据处理的效率、灵活性和可扩展性。
附图说明
图1是本发明的实施例提供的数据处理方法的流程示意图。
图2是本发明的实施例提供的数据处理系统的流程示意图。
图3是本发明的实施例提供的数据处理系统的接口示意图。
图4是本发明的实施例提供的数据处理方法中的采集流程示意图。
图5是本发明的实施例提供的数据处理方法的将消息写入流程示意图。
图6是本发明的实施例提供的数据处理装置示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所示，本发明的实施例提出一种数据处理方法，所述方法包括：
步骤11，获取基于预设协议的数据采集线程接收至少一个异构数据的服务模块的状态；
步骤12，在所述服务模块的状态为启动状态时，获取所述服务模块中的至少一个配置文件信息；
步骤13，根据所述配置文件信息，从接收的至少一个异构数据中获取待发布的对象事件；
步骤14，根据每个待发布的对象事件，调用服务模块创建相应的发布队列；
步骤15，通过预设协议的数据写入线程，将所述至少一个异构数据写入对象事件对应的发布队列中。
在本发明实施例中，通过获取服务模块的状态，以了解服务模块当前是否处于启动状态，通过检查服务模块的状态，可以确定是否可以进行后续的数据处理操作，在服务模块的状态为启动状态时，获取至少一个配置文件信息，配置文件信息包含了数据处理所需的参数、规则和设置，通过获取配置文件信息，可以对数据进行有效的处理和管理，根据配置文件信息，从至少一个异构数据中提取出待发布的对象事件。异构数据可能包含不同类型、格式或结构的数据，根据配置文件的规则，可以准确地从异构数据中识别和提取出需发布的对象事件。针对每个待发布的对象事件，调用服务模块创建相应的发布队列，发布队列用于存储待发布的对象事件，以便后续的处理和使用。
在本发明实施例中，通过为每个对象事件创建相应的发布队列，可以实现对不同事件的分别存储和管理，通过预设协议的数据写入线程，将至少一个异构数据写入到其对应的发布队列中，这些异构数据经过处理后，根据配置文件信息确定了它们应该被发布到哪个队列中，通过将数据写入到相应的发布队列，实现了对数据的分类和归类，方便后续的处理、分析和使用，该数据处理方法能够实现从异构数据的接收到待发布对象事件的提取和存储，并为后续的数据处理和应用提供了基础，可以提高数据处理的效率、灵活性和可扩展性。
在本发明一优选的实施例中，上述步骤11，可以包括：
步骤111，获取用于数据采集的预设协议；
步骤112，根据所述预设协议，初始化所述服务模块，所述服务模块用于接收并处理来自不同数据源的异构数据，所述服务模块包括多个线程；
步骤113，实时监测所述服务模块的当前工作状态。
在本发明实施例中，通过获取用于数据采集的预设协议，预设协议定义了数据采集的规则、格式、传输方式等信息，通过获取预设协议，能够确保数据的采集过程符合规范，并能够根据预设协议进行后续的初始化和处理。根据预设协议对服务模块进行初始化，预设协议提供了数据采集的相关规则和信息，通过根据预设协议进行初始化，可以确保服务模块能够正确地接收和处理来自不同数据源的异构数据，服务模块通常由多个线程组成，因此初始化过程还包括线程的创建和配置。实时监测服务模块的当前工作状态，通过监测服务模块的工作状态，可以及时了解其是否正常运行、是否存在异常或故障，这样可以及时采取措施，确保数据采集和处理的连续性和稳定性，以便及时发现和解决问题并提供高质量的数据处理服务。本发明完善了数据处理方法的功能和效果，确保了数据采集过程的规范性和正确性，并提供了对服务模块工作状态的实时监测，从而提高了系统的可靠性和稳定性。
在本发明一优选的实施例中，上述步骤12，可以包括：
步骤121，读取服务模块内部的配置文件；
步骤122，根据服务模块内部的配置文件，对所述配置文件进行解析，以获取至少一个配置文件信息。
在本发明实施例中，通过读取服务模块内部的配置文件，配置文件通常包含了数据处理所需的参数、规则和设置等信息，通过读取配置文件，可以获取到配置文件的内容，为后续的数据处理操作提供必要的配置信息。根据服务模块内部的配置文件对其进行解析，从而获取至少一个配置文件信息，解析配置文件可以将配置文件中的数据转化为可供程序理解和使用的格式，通过解析配置文件，可以获取到配置文件所含的参数、规则和设置等信息，为后续的数据处理步骤提供必要的指导和依据。本发明可以实现对服务模块内部配置文件的读取和解析，能够获取到配置文件中定义的数据处理相关信息，包括数据处理参数、规则和设置等，这些信息将对后续的数据处理步骤起到关键的指导作用，确保数据处理过程的准确性和有效性。
在本发明一优选的实施例中，上述步骤13，可以包括：
步骤131，根据配置文件信息，识别并确定接收的异构数据；
步骤132，根据配置文件中的设置和规则，从接收的异构数据中提取关键信息；
步骤133，根据所述关键信息，从异构数据中识别待发布的对象事件。
在本发明实施例中，根据配置文件信息，识别并确定接收的异构数据，配置文件中可能包含了对数据源的设定和规则，通过使用配置文件中的信息，可以对接收到的异构数据进行识别和分类，确定其数据类型和来源，这样可以区分不同类型的数据。根据配置文件中的设置和规则，从接收的异构数据中提取关键信息，配置文件中可能包含了数据处理的设置和规则，通过使用这些设置和规则，可以对接收到的异构数据进行解析和筛选，提取出其中的关键信息，提高处理效率和准确性。根据所述关键信息，从异构数据中识别待发布的对象事件。通过提取出关键信息后，可以根据预设的规则和逻辑，识别出异构数据中包含的具有特定意义的事件或对象，可以实现对异构数据的进一步分类和处理，提供更加精准和有针对性的数据发布服务，可以根据配置文件信息对接收的异构数据进行识别、提取关键信息和识别待发布的对象事件。这些步骤能够帮助实现对异构数据的自动化处理和分类，提高数据处理的效率和准确性，并为后续的数据发布提供有价值的内容。
在本发明一优选的实施例中，上述步骤14，可以包括：
步骤141，使用迭代器从待发布对象事件列表中获取当前对象事件，其中，当前对象事件为在迭代过程中正被处理的对象事件；
步骤142，对所述当前对象事件进行处理，以得到满足发布和传输的数据；
步骤143，将满足发布和传输的数据加入相应的发布队列。
在本发明实施例中，使用迭代器从待发布对象事件列表中获取当前对象事件，以便在迭代过程中逐个处理这些对象事件，通过使用迭代器，可以遍历待发布对象事件列表，并在每次迭代中获取一个当前对象事件进行处理，可以保证逐个处理待发布的对象事件，确保数据处理的有序性和完整性。通过对所述当前对象事件进行处理，以获得满足发布和传输要求的数据，在处理当前对象事件时，可能需要进行数据转换、筛选、格式化等操作，以使其符合发布和传输的要求，通过对当前对象事件的处理，可以得到满足发布和传输要求的数据，为后续的发布队列提供准备。将满足发布和传输要求的数据加入相应的发布队列中，发布队列是用于存储待发布数据的缓冲区，通过将满足要求的数据加入发布队列，可以按照一定的顺序和方式进行数据发布和传输，可以确保数据的有序性和及时性，提高数据发布的效率和可靠性。本发明可以逐个处理待发布的对象事件，并将满足发布和传输要求的数据加入相应的发布队列中，能够实现对待发布数据的有序处理和管理，确保数据的准确性和完整性。
在本发明一优选的实施例中，上述步骤142，可以包括：
步骤1421，对当前对象事件中的数据进行清洗，以得到清洗数据；
步骤1422，将清洗数据转换为统一的数据格式，在数据格式转换后，将当前对象事件中的特定值映射为新的值，在完成值映射后，对当前对象事件进行分组，在分组后，对当前对象事件进行聚合；
步骤1423，将聚合后的当前对象事件封装为满足发布和传输要求的数据格式。
在本发明实施例中，通过对当前对象事件中的数据进行清洗处理，以获得经过数据清洗后的数据，数据清洗可以包括去除重复数据、修复或填充缺失值、处理异常值等操作，目的是提高数据质量和准确性。将清洗后的数据转换为统一的数据格式，并根据需要进行值映射、分组和聚合等处理，数据格式转换可以将数据转换成统一标准的格式，方便后续处理和分析，值映射可以将当前对象事件中的特定值映射为新的值，例如将字符串映射为数字编码，分组和聚合可以根据特定的属性或标准对当前对象事件进行分类和聚合，以实现数据的整合和汇总。将经过聚合处理后的当前对象事件封装为满足发布和传输要求的数据格式，根据具体的发布和传输要求，可以将聚合后的数据进行进一步的转换和封装，确保数据的格式和结构符合要求，可以提高数据的可用性和可操作性。
在本发明一优选的实施例中，上述步骤15，可以包括：
步骤151，为对象事件创建一个对应的发布队列；
步骤152，将当前对象事件中的处理后的异构数据加入到对应的发布队列中；
步骤153，为预设协议创建一个数据写入线程，使数据写入线程监听发布队列中的异构数据变动；当发布队列中存在异构数据时，数据写入线程将获取该异构数据；
步骤154，数据写入线程将获取到的异构数据通过预设协议发送至目标接收端，异构数据发送成功后，从发布队列中移除已发送的异构数据。
在本发明实施例中，为当前对象事件创建一个发布队列，用于存储待发布的异构数据，发布队列可以按照先进先出的原则有序地存储异构数据，确保数据的顺序性和可控性。将经过处理后的异构数据加入到对应的发布队列中，处理后的异构数据可以是经过转换、聚合或其他处理方式得到的数据，需要被发布和传输给目标接收端，通过将数据加入发布队列，可以保证数据的有序性，并与后续步骤相结合，实现数据的实时发布和传输。预设协议创建一个数据写入线程，并使该线程监听发布队列中的异构数据变动，当发布队列中存在异构数据时，数据写入线程将获取该异构数据。数据写入线程通过监听发布队列中的数据变动，实现了即时获取待发送数据的功能，可以减少数据发送的延迟，并提高数据传输的实时性和效率。由数据写入线程将获取到的异构数据通过预设协议发送至目标接收端，数据写入线程通过预设的协议将数据发送给目标接收端，确保数据的可靠传输，异构数据发送成功后，将从发布队列中移除已发送的数据，以保持队列的更新和清洁。本发明可以实现将处理后的异构数据存储到发布队列中，并通过数据写入线程监听和发送数据，可以实现数据的实时传输和更新，确保目标接收端能够及时获取并处理异构数据，同时，通过对已发送数据的移除，能够保持发布队列的整洁和高效。
如图2至5所示，在本发明另一优选的实施例中，存储类型的基类包括的属性有：类型、目录特性、状态、互斥锁状态，包括的方法有：创建储存，配置存储类型，处理存储的消息。所述发布对象事件包括的属性有：命令队列、消息队列、互斥访问变量、最大访问限制数量，包括的方法有：按命令队列要求将消息发布至队列中，发布消息，停止发布消息。服务方法包括：发生实际连接的线程数、RPC连接的端口号，配置文件位置，包括的方法：启动、初始化、重启动、停止。实体消息包括属性有：目录和消息。派生配置信息存储基类包括属性有：map队列用于创建消息，包括的方法有：逐行读取配置信息到主缓存，从主缓存中解析生产存储的实体消息。
所述的数据采集方法的流程是：设置服务模块的状态为启动，检查服务模块中配置文件是否为空，若为空则利用默认配置文件，否则解析配置文件中的map队列。进一步的加载全部配置信息后，取得所有存储的发布对象事件，为每一个服务模块调用创建发布队列。
所述的数据保存方法的流程是：申请一个互斥锁，若可以申请到锁，则判断待处理的消息是否超过发布对象事件中的最大访问限制，如果是则稍后再试，否则取出一条消息，判断所取得的消息的目录是否为空，空则继续取出下一条消息，非空则根据派生实体消息的目录位置，查找对应的主缓存中的项目，如果未能找到则创建新，否则遍历所有消息至消息队列，并触发消息写入线程，将信息写入，释放申请的互斥锁，完成数据的保存过程。
本发明的有益效果是：实现了多种异构的数据采集，并且类型可实时扩展，可与现有的应用系统集成，或开发作为独立的应用端。特点是实现了异构的采集，同时具有较好的容错性，当后端的存储系统崩溃或网络异常时，本方法可将数据暂时记录在本地磁盘上，当存储系统或网络恢复后，将自发的启动重载过程，将数据同步至在线的存储中。
如图6所示，本发明的实施例还提供一种数据处理装置20，包括：
获取模块21，用于获取基于预设协议的数据采集线程接收至少一个异构数据的服务模块的状态；在所述服务模块的状态为启动状态时，获取所述服务模块中的至少一个配置文件信息；
处理模块22，用于根据所述配置文件信息，从接收的至少一个异构数据中获取待发布的对象事件；根据每个待发布的对象事件，调用服务模块创建相应的发布队列；通过预设协议的数据写入线程，将所述至少一个异构数据写入对象事件对应的发布队列中。
可选的，获取基于预设协议的数据采集线程接收至少一个异构数据的服务模块的状态，包括：
获取用于数据采集的预设协议；
根据所述预设协议，初始化所述服务模块，所述服务模块用于接收并处理来自不同数据源的异构数据，所述服务模块包括多个线程；
实时监测所述服务模块的当前工作状态。
可选的，在所述服务模块的状态为启动状态时，获取所述服务模块中的至少一个配置文件信息，包括：
读取服务模块内部的配置文件；
根据服务模块内部的配置文件，对所述配置文件进行解析，以获取至少一个配置文件信息。
可选的，根据所述配置文件信息，从接收的至少一个异构数据中获取待发布的对象事件，包括：
根据配置文件信息，识别并确定接收的异构数据；
根据配置文件中的设置和规则，从接收的异构数据中提取关键信息；
根据所述关键信息，从异构数据中识别待发布的对象事件。
可选的，根据每个待发布的对象事件，调用服务模块创建相应的发布队列，包括：
使用迭代器从待发布对象事件列表中获取当前对象事件，其中，当前对象事件为在迭代过程中正被处理的对象事件；
对所述当前对象事件进行处理，以得到满足发布和传输的数据；
将满足发布和传输的数据加入相应的发布队列。
可选的，对所述当前对象事件进行处理，以得到满足发布和传输的数据，包括：
对当前对象事件中的数据进行清洗，以得到清洗数据；
将清洗数据转换为统一的数据格式，在数据格式转换后，将当前对象事件中的特定值映射为新的值，在完成值映射后，对当前对象事件进行分组，在分组后，对当前对象事件进行聚合；
将聚合后的当前对象事件封装为满足发布和传输要求的数据格式。
可选的，通过预设协议的数据写入线程，将所述至少一个异构数据写入对象事件对应的发布队列中，包括：
为对象事件创建一个对应的发布队列；
将当前对象事件中的处理后的异构数据加入到对应的发布队列中；
为预设协议创建一个数据写入线程，使数据写入线程监听发布队列中的异构数据变动；当发布队列中存在异构数据时，数据写入线程将获取该异构数据；
数据写入线程将获取到的异构数据通过预设协议发送至目标接收端，异构数据发送成功后，从发布队列中移除已发送的异构数据。
需要说明的是，该装置是与上述方法相对应的装置，上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种计算设备，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如上所述的方法。上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种计算机可读存储介质，存储指令，当所述指令在计算机上运行时，使得计算机执行如上所述的方法。上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种数据处理方法，其特征在于，所述方法包括：
获取基于预设协议的数据采集线程接收至少一个异构数据的服务模块的状态；
在所述服务模块的状态为启动状态时，获取所述服务模块中的至少一个配置文件信息；
根据所述配置文件信息，从接收的至少一个异构数据中获取待发布的对象事件；
根据每个待发布的对象事件，调用服务模块创建相应的发布队列；
通过预设协议的数据写入线程，将所述至少一个异构数据写入对象事件对应的发布队列中。
2.根据权利要求1所述的数据处理方法，其特征在于，获取基于预设协议的数据采集线程接收至少一个异构数据的服务模块的状态，包括：
获取用于数据采集的预设协议；
根据所述预设协议，初始化所述服务模块，所述服务模块用于接收并处理来自不同数据源的异构数据，所述服务模块包括多个线程；
实时监测所述服务模块的当前工作状态。
3.根据权利要求2所述的数据处理方法，其特征在于，在所述服务模块的状态为启动状态时，获取所述服务模块中的至少一个配置文件信息，包括：
读取服务模块内部的配置文件；
根据服务模块内部的配置文件，对所述配置文件进行解析，以获取至少一个配置文件信息。
4.根据权利要求3所述的数据处理方法，其特征在于，根据所述配置文件信息，从接收的至少一个异构数据中获取待发布的对象事件，包括：
根据配置文件信息，识别并确定接收的异构数据；
根据配置文件中的设置和规则，从接收的异构数据中提取关键信息；
根据所述关键信息，从异构数据中识别待发布的对象事件。
5.根据权利要求4所述的数据处理方法，其特征在于，根据每个待发布的对象事件，调用服务模块创建相应的发布队列，包括：
使用迭代器从待发布对象事件列表中获取当前对象事件，其中，当前对象事件为在迭代过程中正被处理的对象事件；
对所述当前对象事件进行处理，以得到满足发布和传输的数据；
将满足发布和传输的数据加入相应的发布队列。
6.根据权利要求5所述的数据处理方法，其特征在于，对所述当前对象事件进行处理，以得到满足发布和传输的数据，包括：
对当前对象事件中的数据进行清洗，以得到清洗数据；
将清洗数据转换为统一的数据格式，在数据格式转换后，将当前对象事件中的特定值映射为新的值，在完成值映射后，对当前对象事件进行分组，在分组后，对当前对象事件进行聚合；
将聚合后的当前对象事件封装为满足发布和传输要求的数据格式。
7.根据权利要求6所述的数据处理方法，其特征在于，通过预设协议的数据写入线程，将所述至少一个异构数据写入对象事件对应的发布队列中，包括：
为对象事件创建一个对应的发布队列；
将当前对象事件中的处理后的异构数据加入到对应的发布队列中；
为预设协议创建一个数据写入线程，使数据写入线程监听发布队列中的异构数据变动；当发布队列中存在异构数据时，数据写入线程将获取该异构数据；
数据写入线程将获取到的异构数据通过预设协议发送至目标接收端，异构数据发送成功后，从发布队列中移除已发送的异构数据。
8.一种数据处理装置，其特征在于，包括：
获取模块，用于获取基于预设协议的数据采集线程接收至少一个异构数据的服务模块的状态；在所述服务模块的状态为启动状态时，获取所述服务模块中的至少一个配置文件信息；
处理模块，用于根据所述配置文件信息，从接收的至少一个异构数据中获取待发布的对象事件；根据每个待发布的对象事件，调用服务模块创建相应的发布队列；通过预设协议的数据写入线程，将所述至少一个异构数据写入对象事件对应的发布队列中。
9.一种计算设备，包括：
一个或多个处理器；
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序，该程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310764456.4A CN116737274A (zh) | 2023-06-27 | 2023-06-27 | 一种数据处理方法、装置及计算设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310764456.4A CN116737274A (zh) | 2023-06-27 | 2023-06-27 | 一种数据处理方法、装置及计算设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116737274A true CN116737274A (zh) | 2023-09-12 |
Family
ID=87907947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310764456.4A Pending CN116737274A (zh) | 2023-06-27 | 2023-06-27 | 一种数据处理方法、装置及计算设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116737274A (zh) |
-
2023
- 2023-06-27 CN CN202310764456.4A patent/CN116737274A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108667725B (zh) | 一种基于多种接入及边缘计算的工业软网关以及实现方法 | |
| CN110147411B (zh) | 数据同步方法、装置、计算机设备及存储介质 | |
| CN107689953B (zh) | 一种面向多租户云计算的容器安全监控方法及系统 | |
| US9262248B2 (en) | Log configuration of distributed applications | |
| US10116534B2 (en) | Systems and methods for WebSphere MQ performance metrics analysis | |
| CN110147470B (zh) | 一种跨机房数据比对系统及方法 | |
| CN112131002B (zh) | 数据管理方法及装置 | |
| CN111339118A (zh) | 基于Kubernetes的资源变更历史记录方法及装置 | |
| CN111556074A (zh) | 基于opc ua的通信协议配置方法及装置 | |
| CN113886485A (zh) | 数据处理方法、装置、电子设备、系统和存储介质 | |
| CN110784377A (zh) | 一种多云环境下的云监控数据统一管理的方法 | |
| CN112506927A (zh) | 一种云环境下的性能数据存储方法 | |
| CN109977173B (zh) | 基于云数据中心的分布式、插件式数据监控系统及方法 | |
| CN112559525B (zh) | 数据检查系统、方法、装置和服务器 | |
| CN116578497A (zh) | 一种接口自动化测试方法、系统、计算机设备及存储介质 | |
| CN111752918A (zh) | 一种历史数据交互系统及其配置方法 | |
| CN116737274A (zh) | 一种数据处理方法、装置及计算设备 | |
| CN105446707B (zh) | 一种数据转换方法 | |
| CN113704203A (zh) | 一种日志文件的处理方法及装置 | |
| CN112115118A (zh) | 数据库压测的优化方法及装置、存储介质、电子设备 | |
| CN112948195A (zh) | 接口测试的方法、装置、电子设备和存储介质 | |
| CN110888883A (zh) | 数据存储方法、装置、系统和存储介质 | |
| CN111654410B (zh) | 网关请求监控方法、装置、设备及介质 | |
| CN117609315B (zh) | 一种数据处理方法、装置、设备及可读存储介质 | |
| CN111143280B (zh) | 一种数据调度方法、系统、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240116 Address after: 300182 No. 168, Jintang Road, Hedong District, Tianjin Applicant after: RESEARCH INSTITUTE OF PHYSICAL AND CHEMICAL ENGINEERING OF NUCLEAR INDUSTRY Address before: 300182 No. 168, Jintang Road, Hedong District, Tianjin Applicant before: CHINA NUCLEAR (TIANJIN) TECHNOLOGY DEVELOPMENT Co.,Ltd. Applicant before: RESEARCH INSTITUTE OF PHYSICAL AND CHEMICAL ENGINEERING OF NUCLEAR INDUSTRY |