CN116303456A - 工业数据处理方法、系统、装置及计算机可读存储介质 - Google Patents

Abstract

本申请实施例涉及工业数据处理技术领域，公开了一种工业数据处理方法、系统、装置及计算机可读存储介质，通过对目标数据进行分组，并进行循环逐一判断每组数据组中所包含的目标数据的第一数据量，当任意一组数据组中包含的目标数据的第一数据量大于或等于第一预设阈值时，便将该组数据组中包含的目标数据进行处理，同时，当任意一组数据组中包含的目标数据的第一数据量小于第一预设阈值时，便将该组数据组中的目标数据存储进存储中心中，等待下一次执行该方法步骤时，再次从存储中心中将其读取并作为第二目标数据与新获取到的第一目标数据共同作为目标数据再次进行判断和处理，通过这种方式能够提高工业数据处理结果的精确度。

Description

工业数据处理方法、系统、装置及计算机可读存储介质

技术领域

本申请实施例涉及工业数据处理技术领域，具体涉及一种工业数据处理方法、系统、装置及计算机可读存储介质。

背景技术

随着现代技术的发展，各行各业的生产设备越来越多，人们往往采用将数据从终端发送至具有较高计算能力的云端进行统一处理的方式，以保证工业数据处理的效率，也便于技术人员对来自终端的大量数据的采集和分析。

然而，在工业互联网领域中，终端所获取或生成的同一类型的数据往往具有一定的关联性，假如云端仅根据单个或部分数据进行计算处理的话会导致处理结果无法反映全面的数据，影响处理结果的精确度，不利于作业的效率与稳定性。

发明内容

鉴于上述问题，本申请实施例提供了一种工业数据处理方法、系统、装置及计算机可读存储介质，用于解决工业数据处理得到的处理结果精确度低的问题。

根据本申请实施例的一个方面，提供了一种工业数据处理方法，包括：接收来自终端的第一目标数据；获取存储中心的第二目标数据，将第一目标数据和第二目标数据共同作为目标数据；获取目标数据的数据类型；根据数据类型，对目标数据进行分组，得到多组数据组，每组数据组中包括至少一个数据类型相同的目标数据；获取n组数据组中每组数据组的第一数据量，第一数据量为一组数据组中包含的目标数据的数量，n为数据组的总数；判断第k组数据组包含的第一数据量是否大于或等于第一预设阈值，k的初始值为1；若是，则对第k组数据组中的目标数据进行处理，得到处理结果，并将处理结果发送至云端；若否，则将第k组数据组中的目标数据存储至存储中心，将k设为k+1，并跳转至所述判断第k组数据组包含的第一数据量是否大于或等于第一预设阈值，k的初始值为1的步骤，直到k＞n。通过对目标数据进行分组，并进行循环逐一判断每组数据组中所包含的目标数据的第一数据量，当任意一组数据组中包含的目标数据的第一数据量大于或等于第一预设阈值时，便将该组数据组中包含的目标数据共同进行处理，同时，当任意一组数据组中包含的目标数据的第一数据量小于第一预设阈值时，便将该组数据组中的目标数据存储进存储中心中，等待下一轮循环再次从存储中心中将其读取并作为第二目标数据与新获取到的第一目标数据共同作为目标数据再次进行判断和处理，通过这种方式，使得由多个同类型目标数据共同经过处理得到的处理结果能够更全面地反映目标数据所包含的信息，处理结果的精确度较高。

在一种可选的方式中，若否，则将第k组数据组中的目标数据存储至存储中心，包括：若否，则根据第k组数据组中的目标数据的数据类型，在存储中心中分配目标存储区域；将第k组数据组中的目标数据存储至存储中心的目标存储区域。通过在存储中心中根据目标数据的数据类型分配存储区域并将目标数据进行存储，使得存储在存储中心中的目标数据更加便于读取，对目标数据的管理也更加方便，不易使得目标数据混杂紊乱，更利于数据读取和处理。

在一种可选的方式中，获取目标数据的数据类型，包括：获取第一目标数据的第一数据类型和第二目标数据的第二数据类型；获取目标数据的数据类型之后，还包括：判断第一数据类型是否与第二数据类型相同；若否，则将与第二数据类型不同的第一数据类型所对应的第一目标数据发送至云端。考虑到某些领域中，有些数据需要尽快完成处理得到处理结果，以便终端根据处理结果进行快速反应，例如无人驾驶汽车领域，汽车通过传感器采集到的某些数据需要上传至云端进行处理分析并返还处理结果，终端，即汽车，将根据云端返还的处理结果执行相应的加速、减速或刹车等操作，此时若是终端无法尽快得到反馈的处理结果，可能导致交通意外的发生，严重影响无人驾驶汽车的行驶安全，因此，通过将新获取到的第一目标数据的数据类型与之前已经被存储在存储中心中的第二目标数据的数据类型作比较，将与正在等待第一数据量增加的第二数据的数据类型不同的第一数据直接发送至云端，可以提高工业数据处理效率，一定程度上避免工业数据处理缓慢以及处理结果反馈延时过长的情况，使本申请的工业数据处理方法的应用更加灵活。

在一种可选的方式中，获取第一目标数据的第一数据类型和第二目标数据的第二数据类型之后，还包括：在第一数据类型中确定关联数据类型，关联数据类型中存在至少两个第一数据类型相同的第一目标数据；将与关联数据类型不同的第一数据类型所对应的第一目标数据发送至云端。通过进一步筛选可能能够通过同类型的多个数据共同处理以提高处理结果精确度的数据类型，能够进一步提高处理结果的精确度。

根据本申请实施例的一个方面，提供了一种工业数据处理方法，包括：将第一目标数据发送至边缘端，以使边缘端执行如下步骤：接收第一目标数据；获取存储中心的第二目标数据，将第一目标数据和第二目标数据共同作为目标数据；获取目标数据的数据类型；根据数据类型，对目标数据进行分组，得到多组数据组，每组数据组中包括至少一个数据类型相同的目标数据；获取n组数据组中每组数据组的第一数据量，第一数据量为一组数据组中包含的目标数据的数量，n为数据组的总数；判断第k组数据组包含的第一数据量是否大于或等于第一预设阈值，k的初始值为1；若是，则对第k组数据组中的目标数据进行处理，得到处理结果，并将处理结果发送至云端；若否，则将第k组数据组中的目标数据存储至存储中心；将k设为k+1，并跳转至所述判断第k组数据组包含的第一数据量是否大于或等于第一预设阈值，k的初始值为1的步骤，直到k＞n。

在一种可选的方式中，将第一目标数据发送至边缘端之前，还包括：获取至少一个处理元件的资源占用率；判断资源占用率是否小于第二预设阈值；若是，则对第一目标数据进行处理。通过在至少一个处理元件的资源占用率小于第二预设阈值时才对第一目标数据进行处理，可以使得设备的资源利用更加合理，也不易出现由于资源占用过高而导致在处理第一目标数据时设备卡死或无响应等意外，使得工业数据处理的流程更加稳定。

在一种可选的方式中，若是，则对第一目标数据进行处理，包括：获取第一目标数据的第三数据类型；获取时效性对应表，时效性对应表用于表征多个数据类型与时效性值的对应关系；在时效性对应表中确定与第三数据类型对应的时效性值；判断时效性值是否小于第三预设阈值；若是，则对第三数据类型所对应的第一目标数据进行处理；若否，则将第一目标数据发送至边缘端，以使边缘端对第一目标数据进行处理。通过获取时效性对应表，并对时效性值小于第三预设阈值的第三数据类型所对应的第一目标数据进行处理，使得第一目标数据中包含的急需处理的数据能够被立刻处理，使得终端能够根据处理结果进行快速响应，避免由于工业数据处理的延时使得终端响应不及时而产生意外，提高了工业数据处理方法的稳定性与适用性。

根据本申请实施例的一个方面，提供了一种工业数据处理系统，包括终端、边缘端和云端；终端、边缘端和云端彼此通讯连接；终端用于将第一目标数据发送至边缘端；边缘端用于接收来自终端的第一目标数据，并获取存储中心的第二目标数据，将第一目标数据和第二目标数据共同作为目标数据，边缘端用于获取目标数据的数据类型，并根据数据类型，对目标数据进行分组，得到多组数据组，每组数据组中包括至少一个第一数据类型相同的目标数据，边缘端用于获取n组数据组中每组数据组的第一数据量，第一数据量为一组数据组中包含的目标数据的数量，n为数据组的总数，边缘端用于判断第k组数据组包含的第一数据量是否大于或等于第一预设阈值，k的初始值为1，若是，则对第k组数据组中的目标数据进行处理，得到处理结果，并将处理结果发送至云端，若否，则将第k组数据组中的目标数据存储至存储中心，将k设为k+1，并跳转至所述判断第k组数据组包含的第一数据量是否大于或等于第一预设阈值，k的初始值为1的步骤，直到k＞n；云端用于接收来自边缘端的处理结果。本申请实施例提出的工业数据处理方法在工业数据处理系统中执行时，终端将第一目标数据发送至边缘端，边缘端通过对目标数据进行分组，并进行循环逐一判断每组数据组中所包含的目标数据的第一数据量，当任意一组数据组中包含的目标数据的第一数据量大于或等于第一预设阈值时，便将该组数据组中包含的目标数据共同进行处理，同时，当任意一组数据组中包含的目标数据的第一数据量小于第一预设阈值时，便将该组数据组中的目标数据存储进存储中心中，等待下一轮循环再次从存储中心中将其读取并作为第二目标数据与新获取到的第一目标数据共同作为目标数据再次进行判断和处理，并将得到的处理结果发送至云端，能够使得由多个同类型目标数据共同经过处理得到的处理结果能够更全面地反映目标数据所包含的信息，处理结果的精确度较高，且边缘端参与工业数据处理也可以帮助云端分担一定的压力，使本申请实施例提出的工业数据处理系统的整体资源分配更加合理。

根据本申请实施例的另一方面，提供了一种工业数据处理装置，包括

第一接收模块用于接收来自终端的第一目标数据；第一获取模块用于获取存储中心的第二目标数据，将第一目标数据和第二目标数据共同作为目标数据；第二获取模块用于获取目标数据的数据类型；第一处理模块用于根据数据类型，对目标数据进行分组，得到多组数据组，每组数据组中包括至少一个数据类型相同的目标数据；第三获取模块用于获取n组数据组中每组数据组的第一数据量，第一数据量为一组数据组中包含的目标数据的数量，n为数据组的总数；第一判断模块用于判断第k组数据组包含的第一数据量是否大于或等于第一预设阈值，k的初始值为1；第二处理模块用于在第k组数据组包含的第一数据量大于或等于第一预设阈值时，对第k组数据组中的目标数据进行处理，得到处理结果，并将处理结果发送至云端；第三处理模块用于在第k组数据组包含的第一数据量小于第一预设阈值时，将第k组数据组中的目标数据存储至存储中心，第四处理模块用于将k设为k+1，并跳转至所述判断第k组数据组包含的第一数据量是否大于或等于第一预设阈值，k的初始值为1的步骤，直到k＞n。

根据本申请实施例的又一方面，提供了一种计算机可读存储介质，存储介质中存储有至少一程序，程序使工业数据处理装置执行如上任意一项的工业数据处理方法的操作。

上述说明仅是本申请实施例技术方案的概述，为了能够更清楚了解本申请实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本申请实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

附图仅用于示出实施方式，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本申请实施例提供的工业数据处理方法的流程示意图；

图2为本申请步骤180的子步骤的流程示意图；

图3为本申请步骤130的子步骤及步骤130之后的步骤的流程示意图；

图4为本申请实施例步骤131的子步骤的流程示意图；

图5为本申请实施例提供的工业数据处理方法的流程示意图；

图6为本申请步骤210之前的步骤的流程示意图；

图7为本申请步骤2130的子步骤的流程示意图；

图8为本申请实施例提供的工业数据处理系统的架构示意图；

图9为本申请实施例提供的工业数据处理装置的模块框图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。

随着现代技术的发展，各行各业的生产设备越来越多，工业生产线的功能越来越复杂，所产生的需要进行处理的工业数据也越来越多，由于终端往往主要用于生产与数据采集，出于轻量化和成本等方面的考虑，终端所具备的算力资源往往较为有限，若仅采用终端对工业数据进行处理，不能保证工业数据处理的效率，且数据间难以进行交互，不利于同时对多个终端的工业数据进行分析，也不利于人们掌握每个终端的作业情况，因此，人们往往采用将工业数据从终端发送至具有较高计算能力的云端进行统一处理的方式，以保证工业数据处理的效率，也便于技术人员对多个终端的工业数据的采集和分析。

本申请发明人注意到，在工业数据处理领域中，终端所获取或生成的同一类型的工业数据之间往往具有较高的关联性，若是结合多个工业数据进行处理可以提高处理结果的精确度，当数据量较少或是仅有一个数据时进行处理，则可能使得到的处理结果精确度较低，根据精确度较低的处理结果进行作业会影响作业的精确度和稳定性，若在作业过程中额外进行精确度校验还会影响作业效率。因此，迫切需要设计一种能够使得到的处理结果更加精确的工业数据处理方法。

基于此，发明人经过研究，设计了一种工业数据处理方法，通过将数据按照数据类型进行分组，并对每组中数据的数据量进行判断，在数据量大于或等于预设值时，才对该组数据组中的数据进行处理，而将数据量小于预设值的数据组中的数据存储进存储中心进行暂存，等待下一次接收到新的数据后该组数据的数据量足够后再进行处理，通过这种方式，可以使得到的处理结果能够反映较为全面的数据，不易出现由于用于处理的数据的数据量较少而导致处理结果精度较低的情况，可以解决工业数据处理结果精确度不高的问题。

本申请实施例公开的工业数据处理方法可以但不限于用于终端到云端的数据处理，还可以应用于其他任何需要进行数据处理的设备或应用场景，在本申请实施例中，以用于对终端到云端的工业数据处理为例进行说明。

图1示出了本申请实施例提供的工业数据处理方法的流程图，该方法由边缘端执行，边缘端例如可以是边缘网关、边缘服务器等。如图1所示，该方法包括以下步骤：

步骤110：接收来自终端的第一目标数据。

本步骤中，终端指的是能够通过传感器进行数据采集、或是能够在运行程序的过程或结果中得到数据结果的一个或多个设备，例如终端可以是工厂中用于控制多个下属设备运作并采集作业中产生的数据的中央处理器，也可以是无人驾驶汽车中用于控制汽车行驶的控制设备，可以理解的是，终端应当是能够采集或生成数据、并具备数据传输能力的一个设备或多个设备的总成。

第一目标数据是在作业过程中由终端采集或生成的数据，可以是由终端通过任意传感器直接采集的数据，例如通过温度传感器采集到的设备工作温度数据，通过加速度计采集到的设备移动速度等，也可以是终端作业过程中生成的数据，例如终端执行某些程序得到的输出结果、运行日志或报错等。

其中，随着终端采集或生成数据的方式的不同，第一目标数据的格式也会不同，例如某些终端仅涉及纯文本数据的处理，采集或生成的第一目标数据可能是常见的文本数据格式，例如JSON、xml等，而某些终端涉及图像或音频数据的采集或生成，得到的第一目标数据可能是常见的视频或音频数据格式，例如mp4、mp3、ogg等。

步骤120：获取存储中心的第二目标数据，将第一目标数据和第二目标数据共同作为目标数据。

本步骤中，存储中心是能够用于数据存储的存储器，应当具备基本的存储数据和读写数据的功能，例如，存储中心可以为硬盘。

存储中心的第二目标数据指的是在上一次运行本申请提出的工业数据处理方法时通过后续步骤存储进存储中心的数据，在第一次运行本申请提出的工业数据处理方法时，存储中心内的第二目标数据可能为空。

将第一目标数据和第二目标数据共同作为目标数据指的是，若存储中心中预先存在数据，则获取存储中心中存在的数据作为第二目标数据，并将第二目标数据与从终端获取到的第一目标数据合并得到目标数据，这一步骤可以采用任意现有技术中可以查阅到的方式执行，出于节约运算资源或避免程序运行出错等考虑，在执行这一步骤之前，可以额外执行如下步骤：

判断存储中心是否为空；

若是，则将第一目标数据作为目标数据，并跳过获取存储中心的第二目标数据，将第一目标数据和第二目标数据共同作为目标数据的步骤。

可以理解的是，目标数据为第一目标数据和第二目标数据的直接叠加，即，在存储中心中存在第二目标数据时，则得到的目标数据中同时包含第一目标数据和第二目标数据，在存储中心中不存在任何数据时，则得到的目标数据中仅包含第一目标数据。

步骤130：获取目标数据的数据类型。

本步骤中，数据类型指的是数据的格式或种类，获取目标数据的数据类型可以为获取目标数据的数据格式，例如，在一些情况下，目标数据包括：config.xml和11-21.mp4两个数据，则获取到的数据类型分别为xml和mp4。

步骤140：根据数据类型，对目标数据进行分组，得到多组数据组，每组数据组中包括至少一个数据类型相同的目标数据。

本步骤中，根据步骤130中获取到的目标数据的数据类型，对目标数据进行分组，也可以理解为根据数据类型对目标数据进行分类。例如，在一些情况下，目标数据包括：config.xml、default.xml、11-20.mp4、11-21.mp4、serversetting.json，则步骤130中获取到的目标数据的数据类型为：xml、mp4和JSON，当根据这三种数据类型，对目标数据进行分组时，可以得到三组数据，第一组数据为：config.xml、default.xml；第二组数据为：11-20.mp4、11-21.mp4；第三组数据为：serversetting.json。

步骤150：获取n组数据组中每组数据组的第一数据量，第一数据量为一组数据组中包含的目标数据的数量，n为数据组的总数。

本步骤中，数据量主要以数据的文件数量确定，并不受文件大小影响，例如，一组数据在存储时体现为4个文件，则该组数据的数据量为4，数据量的计算可以不考虑数据的大小。对于上述示例而言，第一组数据的第一数据量为2，第二组数据的第一数据量为2，第三组数据的第一数据量为1。

步骤160：判断第k组数据组包含的第一数据量是否大于或等于第一预设阈值，k的初始值为1；

若判断为是，则执行以下步骤：

步骤170：对第k组数据组中的目标数据进行处理，得到处理结果，并将处理结果发送至云端；

若判断为否，则执行以下步骤：

步骤180：将第k组数据组中的目标数据存储至存储中心；

步骤190：将k设为k+1，并跳转至步骤160，直到k＞n。

在步骤160中，第一预设阈值可以是技术人员预先设置的值，目的是以数据组中所包含的数据的第一数据量是否大于或等于第一预设阈值来对步骤150中分组得到的数据组进行划分，由于许多领域的数据在进行处理时往往可以结合同类型的多个数据共同进行，以使得到的处理结果的精准度更高、信息覆盖面更广，例如，某项作业中存在一个具有多个发热源的设备，该设备在作业时通过多个温度传感器采集自身多处发热源的温度上传至边缘端或云端进行处理，以使上级设备能够实时分析自身运行状态，若同时对全部发热源的温度数据进行处理，便于依据完整的温度数据通过数据统计等方式得到整个设备的温度平均值或中位数等，根据整个设备所有发热源温度经过处理得到的处理结果能够较为完整且精确地反映设备的实际运行情况，而若仅采集到不全面的一个或几个发热源的温度数据便直接进行处理，处理得到的结果相对较为片面，往往不能排除异常值或极端值的影响，使得到的处理结果存在误差的可能性增加，极大影响云端对终端或下属设备信息的掌控，容易导致故障检测的误判，不利于设备的运维。

因此，在上述例子中，若在对数据进行处理之前，对数据的第一数据量进行判断，使得满足第一预设阈值条件的数据与未满足第一预设阈值条件的数据能被区分，使得后续步骤中能够对应采取不同的处理方式。

在步骤170中，对数据组中的目标数据采用边缘计算的方式进行处理，即，通过将处理任务转移到边缘端进行，分担云端处理数据的负担，且能够使得数据经过处理后得到的处理结果可以更快地反馈给终端，供终端根据处理结果执行相应操作，因此，若判断数据组中所包含的第一数据量满足大于或等于第一预设阈值的条件，则直接对该数据组中的目标数据进行处理，并将处理得到的处理结果发送至云端。

通过步骤160至步骤170的方式，对数据组的第一数据量进行判断，对第一数据量大于或等于第一预设阈值的数据组进行处理并发送至云端，可以确保进行处理的同类型数据的第一数据量足够，不易由于数据的第一数据量过少而出现不完整或异常的处理结果，能够提高数据处理结果的精确度。

在步骤180中，若第k组数据组中包含的第一数据量小于第一预设阈值，即说明第k组数据组中的数据数量不够，如果在数据数量较少的情况下进行数据处理，容易导致处理结果不够准确，因此先将第k组数据组中的目标数据存储进存储中心，等待下一次接收到新的数据，第k组数据组中的第一数据量有可能增加时，再重新进行步骤160的判断。

在步骤190中，通过将k增加1，并跳转至步骤160，直到k＞数据组的数量n，可以实现根据步骤140分组得到的数据组的数量，循环判断每组数据组是否满足进行数据处理的条件，直到所有数据组均判断完毕。

其中，在步骤160至步骤190的循环中，并不涉及对从终端接收到的第一目标数据的更新，而存储中心中获得的第二目标数据也不会变化，因此不会出现目标数据进行分组得到的数据组的总数n发生改变的情况。在下一次重新执行本申请实施例提供的工业数据处理方法的步骤时，来自终端的第一目标数据可能会不同，而来自存储中心的第二目标数据也可能随着上一次执行本申请的方法步骤而变化，进而可能使得步骤140中对目标数据的分组数量发生改变。如果数据组的总数n发生了变化，步骤160至步骤190的循环次数也会随之变化，可能使得循环次数增大。例如，在第一遍执行本申请方法步骤的流程中，步骤140根据数据类型将目标数据分成了6组，此时数据组总数n为6，此时执行步骤160至步骤190的循环直至k＝6时，共循环了6次；而当第二遍执行本申请方法步骤的流程中，步骤110中接收到的来自终端的第一目标数据中包含了一种新的数据类型，步骤140根据新的数据类型和原有的数据类型，得到了7组数据组，此时数据组总数n为7，步骤160至步骤190的循环则较第一遍运行时多执行了一次。

本申请实施例提供的工业数据处理方法在实际应用中，通过对目标数据进行分组，并进行循环逐一判断每组数据组中所包含的目标数据的第一数据量，当任意一组数据组中包含的目标数据的第一数据量大于或等于第一预设阈值时，便将该组数据组中包含的目标数据共同进行处理，同时，当任意一组数据组中包含的目标数据的第一数据量小于第一预设阈值时，便将该组数据组中的目标数据存储进存储中心中，等待下一轮循环再次从存储中心中将其读取并作为第二目标数据与新获取到的第一目标数据共同作为目标数据再次进行判断和处理，通过这种方式，使得由多个同类型目标数据共同经过处理得到的处理结果能够更全面地反映目标数据所包含的信息，处理结果的精确度较高。

请参阅图2，图2为本申请步骤180的子步骤的流程示意图。如图2所示，在本申请的一些实施例中，步骤180包括：

步骤181：根据第k组数据组中的目标数据的数据类型，在存储中心中分配目标存储区域；

步骤182：将第k组数据组中的目标数据存储至存储中心的目标存储区域。

在步骤181和步骤182中，根据第k组数据组中的目标数据的数据类型，在存储中心中分配目标存储区域指的是，对存储中心的存储空间进行分区，每一存储区域对应一种数据类型，将该种数据类型的目标数据分配并存储至存储中心中对应的存储区域中。例如，在某些应用场景下，存储中心为一硬盘，第k组数据组中的目标数据的数据类型为mp4，则对存储中心进行分盘，分出一个磁盘A的存储空间作为目标存储区域，用于存储数据类型为mp4的目标数据；若存储中心已经存在用于存储数据类型为mp4的目标数据的磁盘A，则应当理解为该数据类型mp4已经被分配了目标存储区域，不需要再额外对存储中心划分新的目标存储区域。

其中，在存储中心可被某种操作系统控制时，分配目标存储区域也可以为分配文件存储路径或建立新的文件夹，例如，当第k组数据组中的目标数据的数据类型为JSON时，在存储中心中建立一个文件夹用于存储数据类型为JSON的目标数据；若存储中心中已经存在多个存储区域或文件夹，则可以通过将数据类型为JSON的目标数据的存储路径设置为某一区域或文件夹的方式来实现对目标数据进行目标存储区域的分配。

通过在存储中心中根据目标数据的数据类型分配存储区域并将目标数据进行存储，使得存储在存储中心中的目标数据更加便于读取，对目标数据的管理也更加方便，不易使得目标数据混杂紊乱，更利于数据读取和处理。

请参阅图3，图3为本申请步骤130的子步骤及步骤130之后的步骤的流程示意图。如图3所示，在本申请的一些实施例中，步骤130包括：

步骤131：获取第一目标数据的第一数据类型和第二目标数据的第二数据类型。

步骤130之后，还包括：

步骤1301：判断第一数据类型是否与第二数据类型相同；

若判断为否，则执行以下步骤：

步骤1302：将与第二数据类型不同的第一数据类型所对应的第一目标数据发送至云端。

在步骤131中，分别获取了来自终端的第一目标数据的第一数据类型和来自存储中心的第二目标数据的第二数据类型，其中，第一数据类型与第二数据类型中可能存在相同的数据类型。

在步骤1301和步骤1302中，若来自终端的第一目标数据的第一数据类型与来自存储中心的第二目标数据的第二数据类型不同，则将该第一目标数据发送至云端，需要说明的是，当存储中心中不存在第二目标数据时，步骤1301至步骤1302对第一目标数据和第二目标数据的数据类型的判断应当暂缓，可以理解的是，当存储中心中存在可被读取的第二目标数据时，步骤1301至步骤1302的执行才有意义。

考虑到某些领域中，有些数据需要尽快完成处理得到处理结果，以便终端根据处理结果进行快速反应，例如无人驾驶汽车领域，汽车通过传感器采集到的某些数据需要上传至云端进行处理分析并返还处理结果，终端，即汽车，将根据云端返还的处理结果执行相应的加速、减速或刹车等操作，此时若是终端无法尽快得到反馈的处理结果，可能导致交通意外的发生，严重影响无人驾驶汽车的行驶安全，因此，通过将新获取到的第一目标数据的数据类型与之前已经被存储在存储中心中的第二目标数据的数据类型作比较，将与正在等待第一数据量增加的第二数据的数据类型不同的第一数据直接发送至云端，可以提高数据处理效率，一定程度上避免数据处理缓慢以及处理结果反馈延时过长的情况，使本申请的工业数据处理方法的应用更加灵活。

请参阅图4，图4为本申请实施例步骤131的子步骤的流程示意图，在本申请的一些实施例中，步骤131之后，还包括：

步骤1311：在第一数据类型中确定关联数据类型，关联数据类型中存在至少两个第一数据类型相同的第一目标数据；

步骤1312：将与关联数据类型不同的第一数据类型所对应的第一目标数据发送至云端。

在步骤1311中，关联数据类型中存在至少两个第一数据类型相同的第一目标数据，可以理解的是，若第一目标数据的第一数据类型包括ogg、JSON和mp4，其中ogg和mp4均仅对应一个第一目标数据，而JSON对应有两个第一目标数据，此时则将第一数据类型中的JSON数据类型确定为关联数据类型，而第一数据类型中的ogg和mp4数据类型则为与关联数据类型不同的数据类型。

步骤1311与步骤1312中，确定关联数据类型的目的是对第一目标数据进行进一步筛选，将第一目标数据中可能能够通过同类型的多个数据共同处理以提高处理结果精确度的数据类型确定出来，在步骤1312中则只将与关联数据类型不同的第一数据类型对应的第一目标数据发送至云端，使得与关联数据类型对应的第一目标数据得以保留在目标数据中，在执行本申请提供的工业数据处理方法的后续步骤140至步骤190时使得更多类型的数据的处理结果的精确度能够提高。

图5示出了本申请实施例提供的工业数据处理方法的流程示意图，该方法由终端设备执行，终端设备例如可以是工厂中用于控制多个下属设备运作并采集作业中产生的数据的中央处理器、用户的手机、电脑和无人驾驶汽车中用于控制汽车行驶的控制设备等。如图5所示，该方法包括以下步骤：

步骤210：将第一目标数据发送至边缘端，以使边缘端执行上述步骤110-步骤180的步骤。

本发明上述实施例的工业数据处理方法的具体实现过程和有益效果可参考前述图1-图4所示的实施例，此处不再赘述。

如图6所示，图6示出了本申请步骤210之前的步骤的流程示意图，在本申请的一些实施例中，步骤210之前，还包括：

步骤2110：获取至少一个处理元件的资源占用率；

步骤2120：判断资源占用率是否小于第二预设阈值；

若判断为是，则执行以下步骤：

步骤2130：对第一目标数据进行处理。

在步骤2110中，处理元件指的是任一具备基本的数据处理能力的元器件或电路元件的组合，用于在后续步骤中对第一目标数据进行数据处理。

其中，获取至少一个处理元件的资源占用率的方式可以通过常见的软件或代码等方式实现，其中，获取资源占用率的方式根据处理元件的控制系统的不同也应可以有相应的变化，例如，处理元件位于电脑中，电脑的控制系统为Windows系统，则可以通过Windows系统自带功能直接获取该处理元件的资源占用率，再例如，处理元件位于搭载了Linux系统的服务器中，则可以通过Linux系统中的ps命令等方式直接获取该处理元件的资源占用率，当处理元件为多个时，所获取到的资源占用率应当为多个处理元件的资源占用率的总和。

在步骤2120和步骤2130中，第二预设阈值可以由技术人员根据实际情况设置，例如，终端获取到的第一数据需要较多的资源才能顺利进行处理，而处理元件的规格配置相对较低，此时技术人员为了保障处理元件不会在对第一数据进行处理时影响处理元件所在的设备的其他功能的运转，应当适当设置较低的第二预设阈值，以使得处理元件在空闲资源较多时才对需要较多资源进行处理的第一目标数据进行处理。

通过在至少一个处理元件的资源占用率小于第二预设阈值时才对第一目标数据进行处理，可以使得设备的资源利用更加合理，也不易出现由于资源占用过高而导致在处理第一目标数据时设备卡死或无响应等意外，使得数据处理的流程更加稳定。

如图7所示，图7示出了本申请的流程示意图，在本申请的一些实施例中，步骤2130包括：

步骤2131：获取第一目标数据的第三数据类型；

步骤2132：获取时效性对应表，时效性对应表用于表征多个数据类型与时效性值的对应关系；

步骤2133：在时效性对应表中确定与第三数据类型对应的时效性值；

步骤2134：判断时效性值是否小于第三预设阈值；

若判断为是，则执行以下步骤：

步骤2135：对第三数据类型所对应的第一目标数据进行处理；

若判断为否，则执行以下步骤：

步骤2136：将第一目标数据发送至边缘端，以使边缘端对第一目标数据进行处理。

在步骤2131中，获取第一目标数据的第三数据类型的方式与上述步骤131基本相同，在此不作赘述。

在步骤2132中，时效性对应表可以由技术人员手动设置，也可以通过测试得到。例如，在无人驾驶汽车领域，终端采集到当前车速为15km/h，假设车载传感器最远能够检测到车前方50m距离内的物体，当检测到车辆前方50m处出现行人，假设车辆在当前车速下接收到刹车指令，从开始刹车到彻底停下需要10m的缓冲距离，则意味着车辆在以当前车速驶完50m距离撞到行人之前，还可以继续行驶50m-10m＝40m的距离用以接收刹车指令，计算出车辆以15km/h的车速行驶40m的距离所花费的时间即为第一目标数据的极限处理时间，在此称之为时效性值。计算得到上述数据的时效性值约为9.61s，意味着当任意设备接收到上述第一目标数据时，仅有大约9.61s的时间对该数据进行处理并反馈处理结果使车辆做出反应，避免车辆撞到行人，同理可以测得该应用场景下其他第一目标数据的时效性值，根据多个第一目标数据与其对应的时效性值即可建立时效性对应表。

其中，时效性值的具体形式还可以为权重值、百分数等形式，具体形式应根据技术人员测试或获取时效性值的手段变化而变化，目的是反映出设备对不同的第一目标数据的处理结果的需求的紧迫程度。

在步骤2134至步骤2136中，第三预设阈值为技术人员预先设置的值，目的是通过判断第三预设阈值与第一目标数据的时效性值的对比，在第一目标数据中划分出急需处理的数据，将急需处理的数据进行处理，以使应用场景中的设备能够尽快得到数据处理结果并进行响应，而不急需处理的数据则发送至边缘端。

通过获取时效性对应表，并对时效性值小于第三预设阈值的第三数据类型所对应的第一目标数据进行处理，使得第一目标数据中包含的急需处理的数据能够被立刻处理，使得终端能够根据处理结果进行快速响应，避免由于数据处理的延时使得终端响应不及时而产生意外，提高了本申请实施例提出的工业数据处理方法的稳定性与适用性。

图8示出了根据本申请一个实施例的工业数据处理系统的架构示意图。如图8所示，该工业数据处理系统包括终端、边缘端和云端；终端、边缘端和云端彼此通讯连接；终端用于将第一目标数据发送至边缘端；边缘端用于接收来自终端的第一目标数据，并获取存储中心的第二目标数据，将第一目标数据和第二目标数据共同作为目标数据，边缘端用于获取目标数据的数据类型，并根据数据类型，对目标数据进行分组，得到多组数据组，每组数据组中包括至少一个第一数据类型相同的目标数据，边缘端用于获取n组数据组中每组数据组的第一数据量，第一数据量为一组数据组中包含的目标数据的数量，n为数据组的总数，边缘端用于判断第k组数据组包含的第一数据量是否大于或等于第一预设阈值，k的初始值为1，若是，则对第k组数据组中的目标数据进行处理，得到处理结果，并将处理结果发送至云端，若否，则将第k组数据组中的目标数据存储至存储中心，将k设为k+1，并跳转至所述判断第k组数据组包含的第一数据量是否大于或等于第一预设阈值，k的初始值为1的步骤，直到k＞n，云端用于接收来自边缘端的处理结果。

本申请实施例提出的工业数据处理方法在工业数据处理系统中执行时，终端将第一目标数据发送至边缘端，边缘端通过对目标数据进行分组，并进行循环逐一判断每组数据组中所包含的目标数据的第一数据量，当任意一组数据组中包含的目标数据的第一数据量大于或等于第一预设阈值时，便将该组数据组中包含的目标数据共同进行处理，同时，当任意一组数据组中包含的目标数据的第一数据量小于第一预设阈值时，便将该组数据组中的目标数据存储进存储中心中，等待下一次执行本申请方法步骤时能够从存储中心中将其读取并作为第二目标数据与新获取到的第一目标数据共同作为目标数据再次进行判断和处理，并将得到的处理结果发送至云端，能够使得由多个同类型目标数据共同经过处理得到的处理结果能够更全面地反映目标数据所包含的信息，处理结果的精确度较高，且边缘端参与数据处理也可以帮助云端分担一定的压力，使本申请实施例提出的工业数据处理系统的整体资源分配更加合理。

图9示出了根据本申请一个实施例的工业数据处理装置900的模块框图。如图9所示，该工业数据处理装置900包括第一接收模块901、第一获取模块902、第二获取模块903、第一处理模块904、第三获取模块905、第一判断模块906、第二处理模块907、第三处理模块908和第四处理模块909。

第一接收模块901用于接收来自终端的第一目标数据，第一获取模块902用于获取存储中心的第二目标数据，将第一目标数据和第二目标数据共同作为目标数据，第二获取模块903用于获取目标数据的数据类型，第一处理模块904用于根据数据类型，对目标数据进行分组，得到多组数据组，每组数据组中包括至少一个数据类型相同的目标数据，第三获取模块905用于获取n组数据组中每组数据组的第一数据量，第一数据量为一组数据组中包含的目标数据的数量，n为数据组的总数，第一判断模块906用于判断第k组数据组包含的第一数据量是否大于或等于第一预设阈值，k的初始值为1，第二处理模块907用于在第k组数据组包含的第一数据量大于或等于第一预设阈值时，对第k组数据组中的目标数据进行处理，得到处理结果，并将处理结果发送至云端，第三处理模块908用于在第k组数据组包含的第一数据量小于第一预设阈值时，将第k组数据组中的目标数据存储至存储中心，第四处理模块909用于将k设为k+1，并跳转至接收来自终端的第一目标数据的步骤，直到k＞n。

在一些实施例中，第三处理模块908包括分配单元和存储单元。分配单元用于根据第k组数据组中的目标数据的数据类型，在存储中心中分配目标存储区域。存储单元用于将第k组数据组中的目标数据存储至存储中心的目标存储区域。

在一些实施例中，第二获取模块903包括第一获取单元。第一获取单元用于获取第一目标数据的第一数据类型和第二目标数据的第二数据类型。

在一些实施例中，工业数据处理装置900进一步包括第二判断模块和第五处理模块。第二判断模块用于判断第一数据类型是否与第二数据类型相同。第五处理模块用于将与第二数据类型不同的第一数据类型所对应的第一目标数据发送至云端。

在一些实施例中，工业数据处理装置900进一步包括确定模块和第六处理模块。确定模块用于在第一数据类型中确定关联数据类型，关联数据类型中存在至少两个第一数据类型相同的第一目标数据。第六处理模块用于将于关联数据类型不同的第一数据类型对应的第一目标数据发送至云端。

本申请实施例还提供了一种计算机可读存储介质，存储介质中存储有至少一程序，程序在工业数据处理设备上运行时，使得工业数据处理设备执行上述任一方法实施例中的工业数据处理方法；

在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本申请实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。

本领域技术人员可以理解，可以对实施例中的装置或设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (10)

1.一种工业数据处理方法，其特征在于，包括：

接收来自终端的第一目标数据；

获取存储中心的第二目标数据，将所述第一目标数据和所述第二目标数据共同作为目标数据；

获取所述目标数据的数据类型；

根据所述数据类型，对所述目标数据进行分组，得到多组数据组，每组所述数据组中包括至少一个所述数据类型相同的所述目标数据；

获取n组所述数据组中每组所述数据组的第一数据量，所述第一数据量为一组所述数据组中包含的所述目标数据的数量，所述n为所述数据组的总数；

判断第k组所述数据组包含的所述第一数据量是否大于或等于第一预设阈值，所述k的初始值为1；

若是，则对第k组所述数据组中的所述目标数据进行处理，得到处理结果，并将所述处理结果发送至云端；

若否，则将第k组所述数据组中的所述目标数据存储至所述存储中心；

将所述k设为k+1，并跳转至所述判断第k组所述数据组包含的所述第一数据量是否大于或等于第一预设阈值，所述k的初始值为1的步骤，直到k＞n。

2.根据权利要求1所述的工业数据处理方法，其特征在于，所述若否，则将将第k组所述数据组中的所述目标数据存储至所述存储中心，包括：

若否，则根据第k组所述数据组中的所述目标数据的所述数据类型，在所述存储中心中分配目标存储区域；

将所述第k组所述数据组中的所述目标数据存储至所述存储中心的所述目标存储区域。

3.根据权利要求1所述的工业数据处理方法，其特征在于，所述获取所述目标数据的数据类型，包括：

获取所述第一目标数据的第一数据类型和所述第二目标数据的第二数据类型；

所述获取所述目标数据的数据类型之后，还包括：

判断所述第一数据类型是否与所述第二数据类型相同；

若否，则将与所述第二数据类型不同的所述第一数据类型所对应的所述第一目标数据发送至所述云端。

4.根据权利要求3所述的工业数据处理方法，其特征在于，所述获取所述第一目标数据的第一数据类型和所述第二目标数据的第二数据类型之后，还包括：

在所述第一数据类型中确定关联数据类型，所述关联数据类型中存在至少两个所述第一数据类型相同的所述第一目标数据；

将与所述关联数据类型不同的所述第一数据类型所对应的所述第一目标数据发送至所述云端。

5.一种工业数据处理方法，其特征在于，包括：

将第一目标数据发送至边缘端，以使所述边缘端执行如下步骤：

接收来自终端的所述第一目标数据；

获取存储中心的第二目标数据，将所述第一目标数据和所述第二目标数据共同作为目标数据；

获取所述目标数据的数据类型；

根据所述数据类型，对所述目标数据进行分组，得到多组数据组，每组所述数据组中包括至少一个所述数据类型相同的所述目标数据；

获取n组所述数据组中每组所述数据组的第一数据量，所述第一数据量为一组所述数据组中包含的所述目标数据的数量，所述n为所述数据组的总数；

判断第k组所述数据组包含的所述第一数据量是否大于或等于第一预设阈值，所述k的初始值为1；

若是，则对第k组所述数据组中的所述目标数据进行处理，得到处理结果，并将所述处理结果发送至云端；

若否，则将第k组所述数据组中的所述目标数据存储至所述存储中心；

将所述k设为k+1，并跳转至所述判断第k组所述数据组包含的所述第一数据量是否大于或等于第一预设阈值，所述k的初始值为1的步骤，直到所述k＞n。

6.根据权利要求5所述的工业数据处理方法，其特征在于，所述将所述第一目标数据发送至边缘端之前，还包括：

获取至少一个处理元件的资源占用率；

判断所述资源占用率是否小于第二预设阈值；

若是，则对所述第一目标数据进行处理。

7.根据权利要求6所述的工业数据处理方法，其特征在于，所述若是，则对所述第一目标数据进行处理，包括：

获取所述第一目标数据的第三数据类型；

获取时效性对应表，所述时效性对应表用于表征多个数据类型与时效性值的对应关系；

在所述时效性对应表中确定与所述第三数据类型对应的所述时效性值；

判断所述时效性值是否小于第三预设阈值；

若是，则对所述第三数据类型所对应的所述第一目标数据进行处理；

若否，则将所述第一目标数据发送至所述边缘端，以使所述边缘端对所述第一目标数据进行处理。

8.一种工业数据处理系统，其特征在于，包括：终端、边缘端和云端；

所述终端、所述边缘端和所述云端彼此通讯连接；

所述终端用于将第一目标数据发送至所述边缘端；

所述边缘端用于接收来自所述终端的所述第一目标数据，并获取存储中心的第二目标数据，将所述第一目标数据和所述第二目标数据共同作为目标数据，所述边缘端用于获取所述目标数据的数据类型，并根据所述数据类型，对所述目标数据进行分组，得到多组数据组，每组所述数据组中包括至少一个所述第一数据类型相同的所述目标数据，所述边缘端用于获取n组所述数据组中每组所述数据组的第一数据量，所述第一数据量为一组所述数据组中包含的所述目标数据的数量，所述n为所述数据组的总数，所述边缘端用于判断第k组所述数据组包含的所述第一数据量是否大于或等于第一预设阈值，所述k的初始值为1，若是，则对第k组数据组中的所述目标数据进行处理，得到处理结果，并将所述处理结果发送至所述云端，若否，则将第k组所述数据组中的所述目标数据存储至所述存储中心，将所述k设为k+1，并跳转至所述判断第k组所述数据组包含的所述第一数据量是否大于或等于第一预设阈值，所述k的初始值为1的步骤，直到所述k＞n；

所述云端用于接收来自所述边缘端的所述处理结果。

9.一种工业数据处理装置，其特征在于，包括：

第一接收模块，用于接收来自终端的第一目标数据；

第一获取模块，用于获取存储中心的第二目标数据，将所述第一目标数据和所述第二目标数据共同作为目标数据；

第二获取模块，用于获取所述目标数据的数据类型；

第一处理模块，用于根据所述数据类型，对所述目标数据进行分组，得到多组数据组，每组所述数据组中包括至少一个所述数据类型相同的所述目标数据；

第三获取模块，用于获取n组所述数据组中每组所述数据组的第一数据量，所述第一数据量为一组所述数据组中包含的所述目标数据的数量，所述n为所述数据组的总数；

第一判断模块，用于判断第k组所述数据组包含的所述第一数据量是否大于或等于第一预设阈值，所述k的初始值为1；

第二处理模块，用于在第k组所述数据组包含的所述第一数据量大于或等于第一预设阈值时，对第k组数据组中的所述目标数据进行处理，得到处理结果，并将所述处理结果发送至云端；

第三处理模块，用于在第k组所述数据组包含的所述第一数据量小于第一预设阈值时，将第k组所述数据组中的所述目标数据存储至所述存储中心；

第四处理模块，用于将所述k设为k+1，并跳转至所述判断第k组所述数据组包含的所述第一数据量是否大于或等于第一预设阈值，所述k的初始值为1的步骤，直到所述k＞n。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一程序，所述程序在工业数据处理设备上运行时，使得工业数据处理设备执行如权利要求1-4中任意一项所述的工业数据处理方法的操作。

Images