CN117155871B - 一种港口工业互联网点位低时延并发处理方法 - Google Patents

Abstract

本发明涉及数据处理领域，尤其涉及一种港口工业互联网点位低时延并发处理方法。首先，实行动态优先级分配机制，引入加权负载均衡公式和数据完整性检测机制，对每个数据点都赋予一个时间戳，将并发数据分散到两个以上处理节点上进行并行处理；然后，评估报警的真实性，根据每个处理节点的负载情况，动态调整数据流向。解决了现有技术在面对大量并发数据时，容易出现瓶颈，导致处理延迟增加，无法满足实时性要求的问题；以及在数据传输和处理过程中可能出现数据丢失或错误，数据检索速度慢，存储空间利用率低，采用固定的数据处理优先级，难以满足在特定情况下对数据采集的优先处理需求，难以满足现代港口工业的高效、安全和实时性要求的问题。

Description

一种港口工业互联网点位低时延并发处理方法

技术领域

本发明涉及数据处理领域，尤其涉及一种港口工业互联网点位低时延并发处理方法。

背景技术

随着全球贸易的快速发展，港口作为物流的重要节点，其自动化和数字化的需求日益增强。在这样的背景下，各种作业装备都需要接入港口工业互联网，以实现更加智能、高效的作业。每台设备都有成百上千的数据采集点位，这导致了大量的数据流量和处理需求。这些数据不仅包括设备的工作状态、位置信息，还包括环境参数、安全监测等多种类型的数据。

传统的数据处理方法往往基于中央处理器或单一服务器，这种集中式的处理方式在面对大量并发数据时，容易出现瓶颈，导致时延增加。尤其是在报警数据上报和指令下发之间的优先级冲突时，可能会导致关键数据的延迟处理，从而影响港口作业的安全和效率。

此外，随着物联网技术、边缘计算和云计算的发展，如何将这些先进技术与港口工业互联网相结合，实现数据的高效处理，也是当前的技术难题。因此，开发一种能够满足港口工业互联网高并发、低时延数据处理需求的方法，具有重要的实际意义和应用价值。

我国专利申请号：CN201910533616.8，公开日：2019.11.12，公开了一种数据存储装置、工业互联网高并发数据处理系统，其中，工业互联网高并发数据处理系统包括：物联网层、数据网关层、数据存储层、数据计算层、数据应用层；其中，所述物联网层，用于采集数据，并将所述数据通过IOT接入层传输至所述数据网关层；所述数据网关层，用于基于规则引擎对所述数据进行过滤转发；所述数据存储层，用于将所述数据网关层转发的数据；所述数据计算层，用于统计所述物联网层采集的数据中的设备状态进行分析和统计，获得结果；并将所述结果存储至数据库；所述数据应用层，用于调用所述数据存储层存储的数据以及所述数据计算层获取的结果进行应用数据调用服务。

但上述技术至少存在如下技术问题：现有技术在面对大量并发数据时，容易出现瓶颈，导致处理延迟增加，无法满足实时性要求；在数据传输和处理过程中可能出现数据丢失或错误，数据检索速度慢，存储空间利用率低，采用固定的数据处理优先级，难以满足在特定情况下（如报警数据上报时）对数据采集的优先处理需求，难以满足现代港口工业的高效、安全和实时性要求。

发明内容

本申请实施例通过提供一种港口工业互联网点位低时延并发处理方法，解决了现有技术在面对大量并发数据时，容易出现瓶颈，导致处理延迟增加，无法满足实时性要求；在数据传输和处理过程中可能出现数据丢失或错误，数据检索速度慢，存储空间利用率低，采用固定的数据处理优先级，难以满足在特定情况下（如报警数据上报时）对数据采集的优先处理需求，难以满足现代港口工业的高效、安全和实时性要求，实现了通过一系列创新性的技术特征和算法，成功解决了港口工业互联网点位低时延并发处理的多个关键技术问题，具有很高的实用价值和广泛的应用前景。

本申请提供了一种港口工业互联网点位低时延并发处理方法，具体包括以下技术方案：

一种港口工业互联网点位低时延并发处理方法，包括以下步骤：

S100：实行动态优先级分配机制，实时调整数据点位的优先级，引入加权负载均衡公式和数据完整性检测机制，对每个数据点都赋予一个时间戳，将并发数据分散到两个以上处理节点上进行并行处理，解决在报警数据上报和指令下发之间的优先级冲突；

S200：评估报警的真实性，根据每个处理节点的负载情况，动态调整数据流向。

优选的，所述S100，具体包括：

对每个处理节点的处理能力进行评估，得到其处理能力值，同时对每个数据点进行权重分配，得到其权重值，所述处理能力值和所述权重值被用于计算每个处理节点应处理的数据点数量；引入加权负载均衡公式，将处理能力和数据点权重作为两个主要的影响因素，通过将其组合来分配负载。

优选的，所述S100，还包括：

引入数据完整性检测机制，所述数据完整性检测机制对每个数据点进行校验；每个数据点都通过哈希计算得到一个哈希值，所述哈希值与数据点一同发送到处理节点；所述处理节点在接收到数据后，重新计算哈希值，并与接收到的哈希值进行比较。

优选的，所述S100，还包括：

每个数据点都被赋予一个时间戳，模拟数据点的紧急度随时间的变化趋势。

优选的，所述S100，还包括：

根据数据点的初始优先级和紧急度，分配动态优先级。

优选的，所述S200，具体包括：

数据被分散到两个以上处理节点上进行并行处理；使用Kafka作为数据处理框架，每个节点使用Spark进行数据处理，根据每个处理节点应处理的数据量进行数据分布。

优选的，所述S200，还包括：

基于滑动窗口算法，不断地移动一个固定大小的窗口，在每个窗口中计算数据的平均值；采用贝叶斯滤波器来评估每个报警的真实性。

优选的，所述S200，还包括：

根据每个处理节点的负载情况，动态调整数据流向；每个处理节点定期向中央调度器报告其当前的负载情况，中央调度器使用权重计算公式来确定每个节点的权重，并据此调整数据流向。

优选的，所述S200，还包括：

常用数据被存储在高速缓存中；基于B+树进行数据的快速检索和存储，使用B+树作为索引结构；当数据被请求时，首先从高速缓存中检索，当未找到时，从主存储中检索并将其添加到高速缓存中。

优选的，所述S200，还包括：

压缩数据；采用Huffman编码，并计算编码长度；采用时间窗口法，将指令分组，并在一个时间窗口内下发。

有益效果：

本申请实施例中提供的多个技术方案，至少具有如下技术效果或优点：

1、通过分布式数据处理和动态负载均衡，本发明能够有效地处理大量并发数据，从而提高整体的数据处理效率；引入了数据完整性检测机制和哈希验证，确保数据在传输和处理过程中的完整性和准确性；

2、通过使用B+树和高速缓存，本发明不仅减少了数据存储空间，还提高了数据检索的速度；通过动态优先级分配机制和时间窗口算法，能够在关键时刻（如报警数据上报时）确保数据采集的优先级高于指令下发；通过时间窗口法和动态数据流调整，确保了指令下发的实时性和准确性；通过Huffman编码和数据压缩，有效地减少了数据的存储空间需求。

3、本申请的技术方案能够有效解决现有技术在面对大量并发数据时，容易出现瓶颈，导致处理延迟增加，无法满足实时性要求；在数据传输和处理过程中可能出现数据丢失或错误，数据检索速度慢，存储空间利用率低，采用固定的数据处理优先级，难以满足在特定情况下（如报警数据上报时）对数据采集的优先处理需求，难以满足现代港口工业的高效、安全和实时性要求，通过一系列创新性的技术特征和算法，成功解决了港口工业互联网点位低时延并发处理的多个关键技术问题，具有很高的实用价值和广泛的应用前景。

附图说明

图1为本申请所述的一种港口工业互联网点位低时延并发处理方法流程图；

图2为本申请所述的一种港口工业互联网点位低时延并发处理框图。

具体实施方式

本申请实施例通过提供一种港口工业互联网点位低时延并发处理方法，解决了现有技术在面对大量并发数据时，容易出现瓶颈，导致处理延迟增加，无法满足实时性要求；在数据传输和处理过程中可能出现数据丢失或错误，数据检索速度慢，存储空间利用率低，采用固定的数据处理优先级，难以满足在特定情况下（如报警数据上报时）对数据采集的优先处理需求，难以满足现代港口工业的高效、安全和实时性要求。

本申请实施例中的技术方案为解决上述问题，总体思路如下：

通过分布式数据处理和动态负载均衡，本发明能够有效地处理大量并发数据，从而提高整体的数据处理效率；引入了数据完整性检测机制和哈希验证，确保数据在传输和处理过程中的完整性和准确性；通过使用B+树和高速缓存，本发明不仅减少了数据存储空间，还提高了数据检索的速度；通过动态优先级分配机制和时间窗口算法，能够在关键时刻（如报警数据上报时）确保数据采集的优先级高于指令下发；通过时间窗口法和动态数据流调整，确保了指令下发的实时性和准确性；通过Huffman编码和数据压缩，有效地减少了数据的存储空间需求。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

参照附图1，本申请所述的一种港口工业互联网点位低时延并发处理方法包括以下步骤：

S100：实行动态优先级分配机制，实时调整数据点位的优先级，引入加权负载均衡公式和数据完整性检测机制，对每个数据点都赋予一个时间戳，将并发数据分散到两个以上处理节点上进行并行处理，解决在报警数据上报和指令下发之间的优先级冲突；

在现代港口工业中，随着技术的发展和应用的广泛，大量的作业装备和设备被接入到港口工业互联网中。每台设备都有成百上千点位的数据需要采集，这带来了巨大的数据处理压力。

在面临如何进行大并发量点位数据的低时延处理的核心技术问题时，采用分布式数据处理方法，将大量的并发数据分散到多个处理节点上进行并行处理。为了实现大并发量点位数据的低时延处理，同时确保数采和指令两类数据的策略式优先处理，解决在报警数据上报和指令下发之间的优先级冲突，综合考虑了处理节点的处理能力、数据点的权重、数据的完整性、数据的实时性以及数据的优先级，实行动态优先级分配机制。本方法首先使用一个中央数据库或分布式数据库，为每个数据点位分配一个唯一标识符。通过查询该数据库，为每个标识符分配一个初始优先级。当系统检测到报警数据时，使用动态优先级分配机制，来实时调整数据点位的优先级。这确保了在关键时刻，如报警数据上报时，数据采集的优先级能够超过指令下发。

具体的，对每个处理节点的处理能力进行评估，得到其处理能力值，同时对每个数据点进行权重分配，得到其权重值。这两个参数被用于计算每个处理节点应处理的数据点数量。引入加权负载均衡公式，将处理能力和数据点权重作为两个主要的影响因素，通过它们的组合来分配负载。

计算每个处理节点应处理的数据量，具体公式为：

，

其中，是第i个处理节点应处理的数据点数量，n是处理节点的总数，/>是第i个节点的处理能力，/>是第i个节点的数据点权重，/>，/>。这个公式的分子部分考虑了处理能力和权重的乘积的平方，以增加计算量和强调这两个因素的重要性。分母部分则是一个综合了所有处理节点的加权和，用于归一化。

为了确保数据的完整性和准确性，引入了数据完整性检测机制。这个机制会对每个数据点进行校验，确保数据在传输和处理过程中不会出错。每个数据点都通过哈希计算得到一个哈希值，该哈希值与数据点一同发送到处理节点。处理节点在接收到数据后，重新计算哈希值，并与接收到的哈希值进行比较。引入数据完整性的验证值，该值通过以下公式计算：

，

其中，是数据验证值，/>是数据传输的时间，/>，/>是哈希值。引入了时间因素/>，以考虑数据传输的实时性。

为了确保数据的实时性，每个数据点都被赋予一个时间戳，数据点的紧急度通过以下公式进行计算：

，

其中，是数据点的紧急度，/>是常数，/>是数据点的平均到达时间。通过上述公式来模拟数据点的紧急度随时间的变化趋势。

最后，根据数据点的初始优先级和紧急度，分配一个动态优先级P，数据点的优先级通过以下公式计算：

，

通过这一系列的数学模型和计算，实现了一个综合的、高度优化的数据处理流程，旨在实现大并发量点位数据的低时延处理，同时确保数据的完整性、实时性和优先处理。这一算法模型具有高度的专业性和实用价值，适用于港口工业互联网点位低时延并发处理的多种应用场景。

为每个数据点位增加一个报警检测模块。当检测到报警数据时，立即调用动态优先级分配机制，使用上述公式来调整该数据点位的优先级。这种调整方式使得报警数据在短时间内得到更高的优先级，从而更快地被处理。考虑到报警数据的紧急性和时间敏感性，通过对时间间隔的多次方处理，确保了在短时间内对报警数据给予更高的优先级。

S200：评估报警的真实性，根据每个处理节点的负载情况，动态调整数据流向。

动态优先级分配机制为后续的数据分布提供了基础，为了满足大量数据的高并发处理需求，数据被分散到多个处理节点上进行并行处理。使用Kafka作为数据处理框架，每个节点使用Spark进行数据处理。根据每个处理节点应处理的数据量进行数据分布，这种分布方式确保了数据在各个节点上的均匀分布，从而提高了整体的处理效率。

在收到报警数据时，需要评估报警的真实性。基于滑动窗口算法，不断地移动一个固定大小的窗口，并在每个窗口中计算数据的平均值。为了提高计算效率，需要计算窗口内数据的平均值：

，

其中，是窗口内的数据点，/>是窗口大小。这个公式的设计考虑了数据点的大小和分布，确保了在数据变化较大时能够快速触发报警。为了减少误报，采用了贝叶斯滤波器来评估每个报警的真实性，其核心公式为：

，

其中，是给定观察B后，报警A的后验概率。上述公式考虑了报警的先验概率和观察数据的概率分布，确保了在不同情况下都能准确地评估报警的真实性。

数据分布的均匀性进一步促成了负载均衡的实现，为了确保每个处理节点的处理能力得到充分利用，根据每个处理节点的负载情况，动态调整数据流向。每个处理节点定期向中央调度器报告其当前的负载情况，中央调度器使用权重计算公式来确定每个节点的权重，并据此调整数据流向，确保高负载的节点得到更少的数据。权重计算公式为：

，

其中，是第i个节点的负载，/>, />和/>是常数。这种权重分配方式确保了高负载的节点得到更少的数据，从而实现了负载均衡。

负载均衡的实现不仅提高了数据处理的效率，还为数据的快速检索创造了条件。为了确保数据的快速检索，常用数据被存储在高速缓存中。基于B+树进行数据的快速检索和存储，使用B+树作为索引结构，确保数据的快速检索。当数据被请求时，首先从高速缓存中检索，如果未找到，则从主存储中检索并将其添加到高速缓存中。B+树的高度可以通过以下公式计算：

，

其中，是树的度数，n是节点数量，/>是最大负载，而/>和/>是调整系数。这种存储方式确保了数据的快速检索，从而提高了数据处理的效率。

数据检索的高效性进一步促进了数据压缩的实施，为了减少存储空间和传输时间，数据被压缩。采用Huffman编码，编码长度L可以通过以下公式计算：

，

其中，是第r个字符的概率，/>是第r个字符的编码长度，而/>和/>是调整系数。这种压缩方式确保了数据的最小化存储，从而节省了存储空间。

为了确保指令的实时性和准确性，采用时间窗口法，将指令分组，并在一个时间窗口内下发。滑动窗口的大小S可以通过以下公式计算：

，

其中，是总时间，/>是已经过去的时间，N是剩余的数据点数量，/>和是调整系数。这种下发方式确保了指令的实时性，从而提高了港口作业的效率。

作为一个具体实施例：

港口中有三台起重机，每台起重机有1000个数据采集点位。当起重机A的某个点位检测到异常数据时，系统自动提高该点位的优先级，并立即将数据发送到处理节点进行处理。使用Kafka作为数据处理框架，将数据分散到10个处理节点上。每个节点根据其当前的负载情况，动态调整接收的数据量。当系统检测到某个处理节点负载过高时，自动将部分数据转移到其他节点上进行处理，确保每个节点的处理能力得到充分利用。对于常规数据，系统将其暂存于高速缓存中，当系统负载较低时再进行处理。在数据压缩阶段，系统会根据Huffman编码对数据进行压缩，确保数据的存储空间得到有效利用。在指令下发阶段,系统会根据时间窗口法将指令分组，并在一个时间窗口内下发，确保指令的实时性和准确性。本发明通过结合多种技术特征，成功解决了多个技术问题，确保了报警数据和指令下发的实时性，提高了港口作业的效率和安全性。

综上所述，便完成了本申请所述的一种港口工业互联网点位低时延并发处理方法。

上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：

1、通过分布式数据处理和动态负载均衡，本发明能够有效地处理大量并发数据，从而提高整体的数据处理效率；引入了数据完整性检测机制和哈希验证，确保数据在传输和处理过程中的完整性和准确性；

2、通过使用B+树和高速缓存，本发明不仅减少了数据存储空间，还提高了数据检索的速度；通过动态优先级分配机制和时间窗口算法，能够在关键时刻（如报警数据上报时）确保数据采集的优先级高于指令下发；通过时间窗口法和动态数据流调整，确保了指令下发的实时性和准确性；通过Huffman编码和数据压缩，有效地减少了数据的存储空间需求。

效果调研：

本申请的技术方案能够有效解决现有技术在面对大量并发数据时，容易出现瓶颈，导致处理延迟增加，无法满足实时性要求；在数据传输和处理过程中可能出现数据丢失或错误，数据检索速度慢，存储空间利用率低，采用固定的数据处理优先级，难以满足在特定情况下（如报警数据上报时）对数据采集的优先处理需求，难以满足现代港口工业的高效、安全和实时性要求，并且，上述系统或方法经过了一系列的效果调研，通过验证，最终通过一系列创新性的技术特征和算法，成功解决了港口工业互联网点位低时延并发处理的多个关键技术问题，具有很高的实用价值和广泛的应用前景。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种港口工业互联网点位低时延并发处理方法，其特征在于，包括以下步骤：

S100：实行动态优先级分配机制，实时调整数据点位的优先级，对每个处理节点的处理能力进行评估，得到其处理能力值，同时对每个数据点进行权重分配，得到其权重值，所述处理能力值和所述权重值被用于计算每个处理节点应处理的数据点数量；引入加权负载均衡公式，将处理能力和数据点权重作为两个主要的影响因素，通过将其组合来分配负载；引入数据完整性检测机制，所述数据完整性检测机制对每个数据点进行校验；每个数据点都通过哈希计算得到一个哈希值，所述哈希值与数据点一同发送到处理节点；所述处理节点在接收到数据后，重新计算哈希值，并与接收到的哈希值进行比较；同时，对每个数据点都赋予一个时间戳，将并发数据分散到两个以上处理节点上进行并行处理，解决在报警数据上报和指令下发之间的优先级冲突；

S200：基于滑动窗口算法，不断地移动一个固定大小的窗口，在每个窗口中计算数据的平均值；采用贝叶斯滤波器来评估每个报警的真实性，根据每个处理节点的负载情况，动态调整数据流向。

2.根据权利要求1所述的一种港口工业互联网点位低时延并发处理方法，其特征在于，所述S100，还包括：

每个数据点都被赋予一个时间戳，模拟数据点的紧急度随时间的变化趋势。

3.根据权利要求2所述的一种港口工业互联网点位低时延并发处理方法，其特征在于，所述S100，还包括：

根据数据点的初始优先级和紧急度，分配动态优先级。

4.根据权利要求1所述的一种港口工业互联网点位低时延并发处理方法，其特征在于，所述S200，具体包括：

数据被分散到两个以上处理节点上进行并行处理；使用Kafka作为数据处理框架，每个节点使用Spark进行数据处理，根据每个处理节点应处理的数据量进行数据分布。

5.根据权利要求1所述的一种港口工业互联网点位低时延并发处理方法，其特征在于，所述S200，还包括：

根据每个处理节点的负载情况，动态调整数据流向；每个处理节点定期向中央调度器报告其当前的负载情况，中央调度器使用权重计算公式来确定每个节点的权重，并据此调整数据流向。

6.根据权利要求5所述的一种港口工业互联网点位低时延并发处理方法，其特征在于，所述S200，还包括：

常用数据被存储在高速缓存中；基于B+树进行数据的快速检索和存储，使用B+树作为索引结构；当数据被请求时，首先从高速缓存中检索，当未找到时，从主存储中检索并将其添加到高速缓存中。

7.根据权利要求6所述的一种港口工业互联网点位低时延并发处理方法，其特征在于，所述S200，还包括：

压缩数据；采用Huffman编码，并计算编码长度；采用时间窗口法，将指令分组，并在一个时间窗口内下发。