CN111651435A

CN111651435A - 基于容器的数据处理方法、装置、系统以及存储介质

Info

Publication number: CN111651435A
Application number: CN202010182307.3A
Authority: CN
Inventors: 邬惠峰; 孙丹枫; 陈佰平
Original assignee: Hangzhou Dianzi University
Current assignee: Hangzhou Dianzi University
Priority date: 2020-03-16
Filing date: 2020-03-16
Publication date: 2020-09-11

Abstract

本申请提供一种基于容器的数据处理方法、装置、系统以及存储介质。该方法包括：边缘设备获取包括至少一种待处理数据的待处理数据集合。边缘设备根据预设数据格式，逐一对集合中的待处理数据进行封装，得到格式化数据集合。边缘设备逐一对格式化数据集合中的格式化数据进行清洗，过滤格式化数据中的干扰数据，提高数据质量，得到目标数据集合。进而，边缘设备将该目标数据集合发送到云端，并交由云端进行保存以及数据分析。本申请的方法，减少了云端的计算压力，充分利用边缘设备和云端的资源，增加了边缘设备和云端的协同，提高了数据处理效率。

Description

基于容器的数据处理方法、装置、系统以及存储介质

技术领域

本申请涉及智能制造技术，尤其涉及一种基于容器的数据处理方法、装置、系统以及存储介质。

背景技术

智能制造是制造自动化的发展方向。智能制造主要是使用人工智能的技术，将机器学习、模糊控制技术等先进的计算机智能方法，应用于实现制造过程智能化。这些技术中最为基础的是对大数据的应用。但是在工业领域，由于各个应用环境的异构以及大量干扰的存在，使得获取的大部分都是低质量数据，难以直接在机器学习、模糊控制技术等方法中应用。

在现有技术中，通过云计算的方法，将所有数据收集到云端统一进行处理，是一种常用数据处理的方法。随着数据量的增多，海量的异构低质量数据集中于云端。由云端统一进行异构数据的解析、低质量数据的清洗、有效数据整理以及数据分析处理等处理。

然而，面对海量的异构低质量数据，以及复杂的数据处理流程，云端的数据处理能力有限，无法满足海量数据的处理需求，存在处理效率低的问题。

发明内容

本申请提供一种基于容器的数据处理方法、装置、系统以及存储介质，用以解决现有技术中，因数据量大、数据质量低、以及数据处理流程复杂，导致的处理效率低的问题。

第一方面，本发明提供一种基于容器的数据处理方法，包括：

获取待处理数据集合，所述待处理数据集合包括至少一种待处理数据，其中，所述待处理数据为数据源的运行数据；

根据预设数据格式对所述待处理数据进行封装，得到封装后的格式化数据集合；

对所述格式化数据集合进行清洗，以过滤所述格式化数据中的干扰数据，得到目标数据集合。

可选地，所述对所述格式化数据集合进行清洗，以过滤所述格式化数据中的干扰数据，得到目标数据集合之后，所述方法还包括：

将所述目标数据集合发送到云端。

可选地，所述方法还包括：

更新数据清洗方法，其中，所述数据清洗方法为存储在云端的数据清洗方法。

可选地，所述待处理数据包括以下一种或者多种数据参数：温度、电压、湿度、执行情况以及执行指令。

第二方面，本申请提供一种基于容器的数据处理装置，包括：

获取模块，用于获取待处理数据集合，所述待处理数据集合包括至少一种待处理数据，其中，所述待处理数据为数据源的运行数据；

封装模块，用于根据预设数据格式对所述待处理数据进行封装，得到封装后的格式化数据；

清洗模块，用于对所述格式化数据进行清洗，以过滤所述格式化数据中的干扰数据，得到目标数据集合。

可选地，所述装置还包括：

存储模块，用于将所述目标数据集合发送到云端。

可选地，所述装置还包括：

更新模块，用于更新数据清洗方法，其中，所述数据清洗方法为存储在云端的数据清洗方法。

第三方面，本申请提供一种基于容器的数据处理系统，包括：协议解析容器、数据封装容器和数据清洗容器；

所述协议解析容器，用于获取待处理数据集合，所述待处理数据集合包括至少一种待处理数据，其中，所述待处理数据为数据源的运行数据；

所述数据封装容器，用于根据第一预设条件对所述待处理数据进行封装，得到封装后的格式化数据，其中，所述第一预设条件根据所述待处理数据的数据格式进行确定；

所述数据清洗容器，用于所述格式化数据进行清洗，以过滤所述格式化数据中预设格式的干扰数据。

第四方面，本申请提供一种基于容器的数据处理系统，包括：数据源、边缘设备和云端；

所述数据源，用于生成待处理数据集合；

所述边缘设备，用于获取所述数据源生成的数据集合，并执行第一方面及第一方面任一种可能的设计中的基于容器的数据处理方法；

云端，用于存储所述边缘设备上传的数据集合以及边缘设备的执行指令。

第五方面，本申请提供一种可读存储介质，可读存储介质中存储有执行指令，当边缘设备的至少一个处理器执行该执行指令时，边缘设备执行第一方面及第一方面任一种可能的设计中的基于容器的数据处理方法。

本申请提供的基于容器的数据处理方法、装置、系统以及存储介质，通过获取待处理数据集合，待处理数据集合包括至少一种待处理数据，其中，待处理数据为数据源的运行数据；根据预设数据格式对待处理数据进行封装，得到封装后的格式化数据集合；对格式化数据集合进行清洗，以过滤格式化数据中的干扰数据，得到目标数据集合手段，减少了云端的计算压力，充分利用边缘设备和云端的资源，增加了边缘设备和云端的协同，提高了边缘设备的资源利用率，达到了提高处理效率的效果。

附图说明

为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的一种数据处理系统的场景示意图；

图2为本申请一实施例提供的一种基于容器的数据处理方法的流程图；

图3为本申请一实施例提供的另一种基于容器的数据处理方法的流程图；

图4为本申请一实施例提供的一种基于容器的数据处理装置的结构示意图；

图5为本申请一实施例提供的另一种基于容器的数据处理装置的结构示意图；

图6为本申请一实施例提供的一种基于容器的数据处理系统的结构框图；

图7为本申请一实施例提供的另一种基于容器的数据处理系统的结构框图；

图8为本申请一实施例提供的一种数据处理流程的示意图；

图9为本申请一实施例提供的一种基于容器的数据处理系统的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

智能制造是制造自动化的发展方向。工业物联网技术、人工智能、边缘计算等技术的发展推动着智能制造的发展。智能制造应用人工智能技术将制造过程的各个环节都进行智能化改造，使其可以根据实际情况，智能的进行产品配方、生产调度等复杂且充满不确定性的工业过程。智能制造主要是将人工智能的技术应用于现实制造过程，通过机器学习、模糊控制技术等先进的计算机智能方法，将原本需要人工操作的制造过程，转为自动化实现，从而，减少人工成本，提高生产效率。

在制造过程中，人工操作的实质是需要人脑对应用场景下的数据进行分析。进而，在该应用场景下，由人脑根据当前数据进行判断，确定需要执行的操作。而智能制造则是将这种需要经由人脑分析判断的过程，通过计算机智能实现。为了模拟人脑在应用场景下的判断，计算机智能方法需要预先获取该应用场景下，大量的分析数据，进而根据该数据做出的判断。根据上述大量数据以及根据该数据做出的判断，计算机智能方法可以得到在该特定场景下的判断模型，实现该应用场景下的自动化制造。

在工业领域，应用场景中可能包含多个设备，涉及到多种应用环境的异构数据。该复杂的数据来源，可能导致设备直接采集得到的数据中，存在大量的冗余和干扰，无法直接在计算机智能方法中应用。在现有技术中，通过云计算的方法，将所有的数据收集到云端统一进行处理，是一种常用的方法。随着数据量的增多，海量的异构低质量数据集中于云端。由云端统一进行异构数据的解析、低质量数据的清洗、有效数据整理以及数据分析处理等处理。然而，面对海量的异构低质量数据，以及复杂的数据处理流程，云端的数据处理能力有限，无法满足海量数据的处理需求，存在处理效率低的问题。

针对上述问题，本申请提出了一种基于容器的数据处理方法、装置、系统以及存储介质。在数据获取过程中，针对每一应用场景，针对该场景下的每一设备，常常会设定一特定场景，进而根据该特定场景，获取该应用场景下该设备中的数据，以确保数据格式的一致性，进而便于数据进行处理。边缘设备获取包括至少一种特定场景的待处理数据集合。边缘设备根据预设数据格式，逐一对集合中的待处理数据进行封装，得到格式化数据集合。边缘设备逐一对格式化数据集合中的格式化数据进行清洗，得到目标数据集合。进而，边缘设备将该目标数据集合发送到云端，并交由云端进行保存以及数据分析。本申请中，通过边缘设备分化处理异构的低质量数据，使云端可以直接保存并分析处理后的高质量数据，减少了云端的计算压力，充分利用边缘设备和云端的资源，增加了边缘设备和云端的协同，提高了边缘设备的资源利用率，达到了提高处理效率的效果。

图1示出了本申请一实施例提供的一种数据处理系统的场景示意图。如图1所示，该数据处理系统100包括：数据源101，边缘设备102和云端103。

数据源101，与边缘设备102连接。数据处理系统100中包括至少一个数据源101。数据源101用于在工业制造工程或者工业制造的监控过程中，执行设备相应的操作，并产生相应的数据。该数据源101可以为温度传感器、湿度传感器、电压测量仪、电流测量仪、流量监测仪、计量检测仪、计重器、摄像头、微型控制器、信号转换器、打字机等等应用于工业制造及其监控过程的设备。

边缘设备102，一端与数据源101连接，另一端与云端103连接。其中，边缘设备102与数据源101可以通过物理连接，例如信号线、数据线、总线等，边缘设备102与数据源101也可以通过无线连接，例如wifi、蓝牙、射频等。其中，边缘设备102与云端103通过网络信号连接。边缘设备102可以为手机、平板、电脑、服务器、微型处理器等等具有数据处理功能的电子设备。边缘设备102用于从数据源101中获取相应的待处理数据，并对该待处理数据进行处理，以及将处理后的目标数据上传到云端。边缘设备102还用于从云端103中获取更新后的执行代码，并重新加载该执行代码。

其中，生产设备101与边缘设备102还可以是同一个设备的不同组件。例如，生产设备101为手机，产生的数据为通话记录，此时，边缘设备102 为手机，获取并处理该通话记录。

云端103，与边缘设备102连接，其中，连接方式为网络信号连接。云端103用于接收并存储边缘设备102发送的目标数据，并对该目标数据进行数据分析。云端103还用于存储边缘设备102的执行代码，并将该代码发送给边缘设备102，以更新边缘设备102中的数据处理代码。

可以理解，图1所示的结构仅为示意，数据处理系统100还可包括比图 1中所示更多或者更少的设备和/或组件，或者具有与图1所示不同的配置。图1中所示的各设备和/或组件可以采用硬件、软件或其组合实现。

图2示出了本申请一实施例提供的一种基于容器的数据处理方法的流程图。在图1所示实施例的基础上，如图2所示，以图1中边缘设备为执行主体，该执行主体可以是软件和/或硬件设备。下面执行主体以电子设备为例，本实施例的方法可以包括：

S101、获取待处理数据集合，待处理数据集合包括至少一种待处理数据，其中，待处理数据为数据源的运行数据。

电子设备获取待处理数据集合的方式可以为：

电子设备根据预设的特定场景，向该特定场景指定的数据源发送数据获取请求，数据源根据该数据获取请求向电子设备反馈数据参数。

其中，特定场景为工业制造过程中，一需要人工进行监控、预判、设置的应用场景下，一个或者多个设备获取数据的场景，其中，获取的数据的数据内容和数据格式，根据该应用场景所需要的数据的数据内容和数据格式进行确定。例如，在一制造机器的监控应用场景中，可以设有温度监控、故障诊断、原料配比、原料投放等等特定场景。针对于某个特定场景，其中的数据源、数据源的数据的获取方式、数据源的数据获取内容通常是固定的。例如，当该特定的应用场景为电机的高温监控时，电子设备只需要从电机的控制器获取电机的运行时长，从电机的温度检测设备获取电机的温度即可。

因此，为了有效利用边缘设备处理数据源产生的数据，以及提高后续的数据处理效率，当边缘设备中包括至少一个特定场景时，边缘设备根据预设的特定场景，逐一获取每一特定场景下的待处理数据，得到待处理数据集合。其中，每一特定场景下的待处理数据，包括该特定场景下，根据预设方法获取的数据源的数据参数。

为了满足后续数据分析的需要，边缘设备获取的每一特定场景下，多个时刻的待处理数据。其中，每一个时刻的待处理数据中，包括该时刻，该特定场景下，所有生产设备的数据参数。其中，多个时刻可以是连续的时刻，也可是固定间隔的多个时刻，还可以是时序上离散的多个时刻，本申请对此不作限制。

其中，待处理数据集合中，包括至少一种特定场景下的待处理数据。该待处理数据中，包括来自至少一个生产设备的数据参数。该生产设备的数据参数可以为一个数值、一组数据、或者一个数据文件，本申请对此不作限制。

一种示例中，待处理数据包括以下一种或者多种数据参数：温度、电压、湿度、执行情况以及执行指令等，本申请对此不作限制。

S102、根据预设数据格式对待处理数据进行封装，得到封装后的格式化数据集合。

本实施例中，根据S101，电子设备获取了每一预设的特定场景下的待处理数据。并根据电子设备中的所有预设特定场景，电子设备获取了待处理数据集合。

电子设备根据预设数据格式，对每一时刻的待处理数据进行封装，使每一时刻的待处理数据具有预设数据格式，以便于后续的数据分析以及处理。其中，预设数据格式可以为表格、列表、元组等数据格式，本身对此不做限制。

例如，某一特定场景下，待处理数据中包括温度、湿度和电流三种数据参数，该待处理数据中包括100个时刻的待处理数据。当预设的数据格式为元组时，电子设备按100个时刻的时间顺序，逐一对待处理数据中的数据参数进行处理。电子设备读取一时刻的待处理数据中的三个数据参数，根据预设的顺序，将三个数据参数组合为一个三元组。电子设备在处理完100个时刻的待处理数据后，得到100个三元组，该100个三元组组成了封装后的格式化数据。

电子设备在对数据进行封装前，还需要对来自各个生产设备的异构数据进行解析。

例如，某一温度传感器反馈的数据参数为包括时间戳、获取请求、传感器编号、温度在内的一个数据文件。电子设备需要在数据封装之前，解析该数据文件，并读取其中的温度参数。进而，将该温度参数与其他参数一起进行封装。

S103、对格式化数据集合进行清洗，以过滤格式化数据中的干扰数据，得到目标数据集合。

本实施例中，电子设备根据S102获取到格式化数据集合，其中，每一格式化数据为一特定场景下的格式化数据。

电子设备使用根据清洗方法，对格式化数据进行清洗，过滤格式化数据中的干扰数据，保留其中的有效数据，提高数据质量。期中，每一特定场景，具有该特定场景对应的清洗方法。

其中，清洗方法可以为判断规则，根据该判断规则，电子设备筛选出格式化数据中的有效数据，并删除其中的干扰数据。该清洗方法还可以为训练好的分类模型，根据该模型可以将格式化数据分为有效数据与干扰数据两类。

本实施例提供的基于容器的数据处理方法，电子设备获取包括至少一种待处理数据的待处理数据集合。电子设备根据预设数据格式，逐一对集合中的待处理数据进行封装，得到格式化数据集合。电子设备逐一对格式化数据集合中的格式化数据进行清洗，过滤格式化数据中的干扰数据，提高数据质量，得到目标数据集合。进而，电子设备将该目标数据集合发送到云端，并交由云端进行保存以及数据分析。本申请中，通过边缘设备分化处理异构的低质量数据，使云端可以直接保存并分析处理后的高质量数据，减少了云端的计算压力，充分利用边缘设备和云端的资源，增加了边缘设备和云端的协同，提高了边缘设备的资源利用率，达到了提高处理效率的效果。

图3示出了本申请一实施例提供的另一种基于容器的数据处理方法的流程图。在图1和图2所示实施例的基础上，如图3所示，以图1中边缘设备为执行主体，该执行主体可以是软件和/或硬件设备。下面执行主体以电子设备为例，本实施例的方法可以包括：

S201、获取待处理数据集合，待处理数据集合包括至少一种待处理数据，其中，待处理数据为数据源的运行数据。

S202、根据预设数据格式对待处理数据进行封装，得到封装后的格式化数据。

S203、对格式化数据进行清洗，以过滤格式化数据中的干扰数据，得到目标数据集合。

其中，步骤S201至S203与图2实施例中的步骤S101至S103实现方式类似，本实施例此处不再赘述。

S204、将目标数据集合发送到云端。

本实施例中，电子设备在S203获得目标数据集合后，将目标数据集合上传云端，由云端进行保存，并进行数据分析。

电子设备还可以将目标数据集合保存于本地，待本地保存的数据达到一定的数量时，再统一将本地保存的目标数据集合上传到云端。

当网络出现故障，或者网络不稳定时，电子设备可以将目标数据集合保存于本地，等网络恢复或者稳定后，将目标数据集合上传到云端。

S205、更新数据清洗方法，其中，数据清洗方法为存储在云端的数据清洗方法。

本实施例中，电子设备可以从云端获取最新的数据清洗方法，并应用于本地环境中。

其中，数据清洗方法可以为判断规则，根据该判断规则，电子设备筛选出格式化数据中的有效数据，并删除其中的干扰数据。数据清洗方法还可以为训练好的分类模型，根据该模型可以将格式化数据分类有效数据与干扰数据两类。

一种实现方式中，电子设备向云端发送获取请求，获取数据清洗方法的版本的信息。如果该云端的版本信息与电子设备的当前的版本信息一致，则不更新电子设备的数据清洗方法。否则，电子设备向云端发送获取请求，获取数据清洗方法，并应用于本地。

另一种实现方式中，云端更新数据清洗方法后，云端向电子设备发送更新请求。电子设备在接收到该更新请求后，返回确认信息，并接收云端向电子设备发送的数据清洗方法，应用于本地。

其中，数据清洗方法的更新可以是，通过修改数据清洗方法的代码，优化数据清洗方法。数据清洗方法的更新还可以是，云端根据接收到的目标数据集合，对数据清洗方法中的模型进行优化，进而替换原有模型，实现数据清洗方法的优化。

本实施例提供的基于容器的数据处理方法，电子设备获取包括至少一种待处理数据的待处理数据集合。电子设备根据预设数据格式，逐一对集合中的待处理数据进行封装，得到格式化数据集合。电子设备逐一对格式化数据集合中的格式化数据进行清洗，过滤格式化数据中的干扰数据，提高数据质量，得到目标数据集合。进而，电子设备将该目标数据集合发送到云端，并交由云端进行保存以及数据分析。本申请中，通过边缘设备分化处理异构的低质量数据，使云端可以直接保存并分析处理后的高质量数据，减少了云端的计算压力，充分利用边缘设备和云端的资源，增加了边缘设备和云端的协同，提高了边缘设备的资源利用率，达到了提高处理效率的效果。进一步地，电子设备还可以根据云端存储的数据清洗方法，对本地的数据清洗方法进行更新，提高清洗后的目标数据集合中的数据质量。

图4示出了本申请一实施例提供的一种基于容器的数据处理装置的结构示意图，如图4所示，本实施例的数据处理装置10用于实现上述任一方法实施例中对应于边缘设备的操作，本实施例的数据处理装置10可以包括：

获取模块11，用于获取待处理数据集合，待处理数据集合包括至少一种待处理数据，其中，待处理数据为数据源的运行数据。

封装模块12，用于根据预设数据格式对待处理数据进行封装，得到封装后的格式化数据。

清洗模块13，用于对格式化数据进行清洗，以过滤格式化数据中的干扰数据，得到目标数据集合。

一种示例中，待处理数据包括以下一种或者多种数据参数：温度、电压、湿度、执行情况以及执行指令。

本申请实施例提供的数据处理装置10，可执行上述方法实施例，其具体实现原理和技术效果，可参见上述方法实施例，本实施例此处不再赘述。

图5示出了本申请实施例提供的另一种基于容器的数据处理装置的结构示意图，在图4所示实施例的基础上，如图5所示，本实施例的数据处理装置10还包括：

发送模块14，用于将目标数据集合发送到云端。

更新模块15，用于更新数据清洗方法，其中，数据清洗方法为存储在云端的数据清洗方法。

本申请中可以根据上述方法示例对基于容器的数据处理装置进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请各实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图6示出了本申请一实施例提供的一种基于容器的数据处理系统的结构框图。如图6所示，该系统用于实现上述任一方法实施例中对应于边缘设备的操作，本实施例的数据处理系统200可以包括：

协议解析容器201，用于获取待处理数据集合，待处理数据集合包括至少一种待处理数据，其中，待处理数据为数据源的运行数据。

本实施例中，协议解析容器201可以向多个数据源发送数据获取请求，并根据解析协议解析各个数据源的异构数据，将字节流数据转换为可识别的数据，得到待处理数据。例如，协议解析容器201可以使用Modbus/TCP协议向某数据源的某个地址获取数据。

每个边缘设备中，可以运行有多个针对不同特定应用场景的协议解析容器201。每个协议解析容器201中有针对该特定场景的特定的解析协议。其中，特定场景可以为一应用场景中，针对一个或者多个设备，预设的数据采集方法，其中包括数据获取方法、数据获取内容、数据获取格式等。

例如，一应用场景中可能用到的数据包括一个数据源的温度、湿度和电压值。则该应用场景的特定场景可以为，从该数据源获取温度、湿度、以及电压三个数据参数。

数据封装容器202，用于根据第一预设条件对待处理数据进行封装，得到封装后的格式化数据，其中，第一预设条件根据待处理数据的数据格式进行确定。

本实施例中，数据封装容器202在获取到协议解析容器201生成的数据后，将数据根据预设的数据格式进行封装，其中，预设的数据格式为根据特定场景对应的应用场景确定。例如，数据封装容器202可以用于，将协议解析容器201获取到的温度、湿度、以及电压三个数据参数，进行封装，得到固定的三元组。

数据清洗容器203，用于格式化数据进行清洗，以过滤格式化数据中预设格式的干扰数据。

本实施例中，由于数据封装容器202仅对数据进行封装，因此，当协议解析容器201获取的数据中包括大量干扰数据时，低质量数据时，该封装后的格式化数据中，也包含有大量干扰数据，其数据质量低。数据清洗容器203 在获取到封装后的格式化数据后，使用预设的数据清洗方法，对该低质量数据进行清洗，得到具有较少的干扰数据的高质量数据。数据封装容器202还可以将该处理后的高质量数据上传至云端，或者存储与本地等待上传。

其中，每一数据清洗容器203唯一对应一个应用场景下的上层应用。该数据清洗容器203中，数据清洗方法为根据该上层应用的数据内容及其格式，设定的数据清洗算法或者数据清洗模型。

其中，协议解析容器201、数据封装容器202和数据清洗容器203可以作为三个独立的容器，运行与边缘设备中。协议解析容器201、数据封装容器202和数据清洗容器203中的部分或者全部容器还可以运行于边缘设备的同一容器中。例如，边缘设备中包括协议解析容器和数据清洗容器，数据清洗容器中包含数据格式化模块和数据清洗模块两部分。

其中，边缘设备中还包括操作系统、容器引擎等硬件或者软件设备，用于支撑容器的运行。

一示例中，每个边缘设备中，还可以包括数据卷容器。该数据卷容器用于存储解析协议容器201获取到的待处理数据，以便于数据封装容器202读取待处理数据。

在另一个实施例中，如图7所示，该系统中的各个组件还可以为系统，本实施例的数据处理系统300可以包括：

协议解析系统301，用于获取待处理数据集合，待处理数据集合包括至少一种待处理数据，其中，待处理数据为数据源的运行数据。

数据封装系统302，用于根据第一预设条件对待处理数据进行封装，得到封装后的格式化数据，其中，第一预设条件根据待处理数据的数据格式进行确定。

数据清洗系统303，用于格式化数据进行清洗，以过滤格式化数据中预设格式的干扰数据。

在如图6和图7所示实施例中，该基于容器的数据处理系统中可以设有数据处理系统配置表，该配置表用于记录每一个数据的处理流程。该配置表中，可以包括数据ID、数据名称、组、单位、属性、类型、地址、清洗ID、以及应用ID等等，本申请对此不作限制。

例如，该数据处理系统配置表，可以如表1所示。电子设备获取注塑机的状态、操作模式以及吸料时间三个数据参数。其中，数据ID用于表示该数据参数，一个数据参数具有唯一的数据ID。组用于指示该数据参数的处理等级，当数据参数为从生产设备获取的参数时，该组的类型为数据，当数据参数为格式化数据时，该组的类型为格式化。单位用于指示数据参数的单位，当数据参数为吸料时间时，该单位为秒(S)。属性用于指示数据的读写性，状态参数为只读r，操作模式为读写r/w等。类型用于指示存储数据的数据类型，可以为UINT8、UINT16、CHAR32等等。地址用于指示数据在内存中存储的起始地址。清洗ID用于指示该数据参数的清洗方法。应用ID用于指示该数据参数的特定场景。

表1

数据ID

参数名

组

单位

属性

类型

地址

清洗ID

应用ID

0x3e9

状态

数据

-

r

UINT16

0x9c41

0x00

0x3ea

操作模式

数据

-

r/w

UINT16

0x9c42

0x00

0x3ec

吸料时间

数据

S

r/w

UINT16

0x9c43

0x01

下面，结合上述系统配置表和图8所示的一种数据处理流程的示意图，边缘设备的数据处理过程如下：

假设该边缘设备中设置有两个特定场景，分别为温度监控和漏电监控。其中，温度监控的特定场景下，需要从温度传感器获取温度参数。湿度监控的特定场景下，需要从湿度传感器获取湿度参数，以及从电流传感器获取电流参数。

步骤1、边缘设备根据温度监控的特定场景，在多个不同的时刻，向温度传感器发送获取请求，获取待处理数据。根据该温度监控的特定场景，设置温度参数的数据ID为0001，清洗ID为0001，应用ID为0001。

步骤2、边缘设备根据湿度监控的特定场景，开始下一数据获取，在多个不同的时刻，向湿度传感器和电流传感器分别发送获取请求，获取待处理数据。根据该湿度监控的特定场景，设置湿度参数的数据ID为0002，清洗 ID为0002，应用ID为0001。设置电流参数的数据ID为0003，清洗ID为 0002，应用ID为0001。

步骤3、边缘设备在获取到上述两个待处理数据组成的待处理数据集合后，根据应用ID的顺序，对待处理数据集合中的待处理数据进行处理。

根据预设的元组的数据结构，边缘设备对应用ID为0001的数据参数进行数据封装。边缘设备将该待处理数据中的温度参数提取出来，并生成一元组。各个时刻的取待处理数据生成的一元组，组成该特定场景的格式化数据。设置温度监控的格式化数据的数据ID为1001，清洗ID为0001，应用ID为 0001。

步骤4、边缘设备对应用ID为0002的湿度监控的特定场景下的所有待处理数据进行下一数据封装。边缘设备根据每一时刻的取待处理数据，提取其中的湿度参数和电流参数，组成二元组。各个时刻的取待处理数据生成的二元组，组成该特定场景的格式化数据。设置湿度监控的格式化数据的数据 ID为1001，清洗ID为0002，应用ID为0001。

步骤5、边缘设备在获取到上述两个格式化数据组成的格式化数据集合后，根据清洗ID的顺序，对格式化数据集合中的格式化数据进行处理。

边缘设备根据清洗ID0001，对温度监控的特定场景下的格式化进行数据清洗，得到目标数据。

步骤6、边缘设备对温度监控的特定场景下的目标数据进行数据存储，将该目标数据上传到云端进行存储和分析。

步骤7、边缘设备根据清洗ID0002，对湿度监控的特定场景下的格式化进行下一数据清洗，得到目标数据。

步骤8、边缘设备对湿度监控的特定场景下的目标数据进行下一数据存储，将该目标数据上传到云端进行存储和分析。

本申请实施例提供的数据处理系统300，可执行上述方法实施例，其具体实现原理和技术效果，可参见上述方法实施例，本实施例此处不再赘述。

图9示出了本申请一实施例提供的一种基于容器的数据处理系统的结构框图。如图9所示，该系统用于实现上述任一方法实施例的操作，本实施例的数据处理系统400可以包括：

数据源401，指制造设备、传感器等可以通过协议方式获取数据的实体，用于生成待处理数据集合。

边缘设备402，用于获取数据源生成的数据集合，并执行上述图1至图3 所示的基于容器的数据处理方法。

云端403，用于存储边缘设备上传的数据集合以及边缘设备的执行指令。

本申请实施例提供的数据处理系统400，可执行上述方法实施例，其具体实现原理和技术效果，可参见上述方法实施例，本实施例此处不再赘述。

本申请还提供一种计算机可读存储介质，计算机可读存储介质包括计算机程序，计算机程序用于实现如上实施例中的基于容器的数据处理方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等) 或处理器执行本申请各个实施例方法的部分步骤。

应理解，上述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component Interconnect，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

上述计算机可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random-Access Memory，SRAM)，电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)，可擦除可编程只读存储器 (Erasable Programmable Read Only Memory，EPROM)，可编程只读存储器 (Programmable read-only memory，PROM)，只读存储器(Read-Only Memory， ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤。而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制。尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims

1.一种基于容器的数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述格式化数据集合进行清洗，以过滤所述格式化数据中的干扰数据，得到目标数据集合之后，所述方法还包括：

将所述目标数据集合发送到云端。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

4.根据权利要求1-3中任意一项所述的方法，其特征在于，所述待处理数据包括以下一种或者多种数据参数：温度、电压、湿度、执行情况以及执行指令。

5.一种基于容器的数据处理装置，其特征在于，所述装置包括：

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

发送模块，用于将所述目标数据集合发送到云端。

7.根据权利要求5所述的装置，其特征在于，所述装置还包括：

8.一种基于容器的数据处理系统，其特征在于，包括：协议解析容器、数据封装容器和数据清洗容器；

9.一种基于容器的数据处理系统，其特征在于，包括：数据源、边缘设备和云端；

所述数据源，用于生成待处理数据集合；

所述边缘设备，用于获取所述数据源生成的数据集合，并执行如权利要求1至7任一项所述的基于容器的数据处理方法；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的基于容器的数据处理方法。