CN117278656A - 一种用于边缘计算数字采集器的数据辨识与采集处理方法 - Google Patents

Abstract

一种用于边缘计算数字采集器的数据辨识与采集处理方法，属于数据辨识算法处理领域。本发明针对工业设备与服务端实时、高效、可靠的通信需求及对不同通信协议的支持，提供的系统配置、管理多个规则与策略，保证数据安全可靠地完成协议转换并解析出有效数据，满足多样化设备的快速接入，为基于边缘计算数字采集器的工业物联网数据采集，提供了一种非常有效的多接口协议数据辨识与处理方法，具有重要的社会效益和经济价值。基于边缘计算数字采集器的数据辨识与采集处理系统可以实现对生产现场各种工业数据的实时采集和整理，为企业的MES、ERP等信息系统提供大量工业数据，通过对积累沉淀的工业大数据的深入挖掘，实现生产过程优化和智能化决策。

Description

一种用于边缘计算数字采集器的数据辨识与采集处理方法

技术领域

本发明主要涉及数据辨识算法，尤其是旋转门算法与数据平滑度进行结合建立的边缘自适应采集改进处理算法计算模型。

背景技术

数字化转型已成为全球工业发展的重要趋势之一，而工业物联网技术是工业数字化转型的关键，基于边缘计算数字采集器的数据辨识与处理技术成为工业数字化转型的重要节点技术，又是智能制造和工业物联网的基础。边缘计算数字采集器是一种分布式的计算架构，将计算和存储资源放置在离数据源较近的边缘设备上，以减少数据传输的延迟和带宽消耗，是当今工业物联网的底层基础。然而，其数据辨识与处理系统作为核心子系统，主要应用于工业物联网设备数据的综合管理，部署于云计算中心作为工业数据云管理平台，属于工业物联网体系架构中的应用层，在边缘节点对数据进行预处理后，通过5G、WiFi、蓝牙等通信方式，将数据发送至云计算中心。因此，大力发展基于边缘计算数字采集器的数据辨识、采集与处理技术是推动工业物联网全面深度应用的起点，可以极大的推动边云协同、边缘计算与物联网、边缘计算与工业应用创新，有力推动企业数字化转型进程。

但是，目前市场上的工业数据辨识、采集与处理类产品在通用性、普适性、功能性及安全性等方面仍存在不足。一是各类智能设备数据传输协议、格式各异，导致每种设备的数据采集都需要有针对性的做适配开发，采集设备无法复用，造成二次开发的复杂性；二是数据采集量增长也会造成数据传输带宽增长，并增加云端压力；三是不能很好地支撑多元性设备接入及复杂协议解析等物联应用场景的构建。

发明内容

本发明针对工业设备与服务端实时、高效、可靠的通信需求及对不同通信协议的支持，提供一种用于边缘计算数字采集器的数据辨识与处理系统，该系统配置、管理多个规则与策略，保证数据安全可靠地完成协议转换并解析出有效数据，满足多样化设备的快速接入，为基于边缘计算数字采集器的工业物联网数据采集，提供了一种非常有效的多接口协议数据辨识与处理方法，具有重要的社会效益和经济价值。

基于边缘计算数字采集器的数据辨识与采集处理系统可以实现对生产现场各种工业数据的实时采集和整理，为企业的MES、ERP等信息系统提供大量工业数据，通过对积累沉淀的工业大数据的深入挖掘，实现生产过程优化和智能化决策。因此如果将数据在边缘侧进行预处理，进行有针对性数据过滤，自适应调整采集间隔，那么在减少数据量的同时也不会造成关键数据丢失。

为实现上述目的，本发明采取的技术方案如下：

一种用于边缘计算数字采集器的数据辨识与采集处理方法，所述方法步骤为：

步骤一：广谱式多接口协议辨识算法：将信号解析成数字数据，再根据数据格式规则，通过用户现场初始化时制定规则，辨识数据关键信息，软硬件的设计实现通配型辨识；可对包括模拟量、串口、MODBUS和网口的2000余种接口协议进行解析，利用下位机内置封装的算法，识别输入端口的数据种类、格式和波特率，基于数据传输的底层通讯，实现对绝大多数常用接口协议数据的读取和处理；

步骤二：边缘自适应采集改进算法：将标准的旋转门压缩算法与数据平滑度方法进行结合改进，建立边缘自适应采集改进算法计算模型，动态实时调整数据采集频率，改进旋转门压缩算法进行数据实时采集处理，并在此基础上增加数据平滑度判断，进行交叉二次变频采集；软件系统采用C#语言开发，采用分层式松耦合架构，对于采集到的数据，进行多线程并行处理，结合硬件指令加速，系统从设备读取包含测量值、告警状态、控制值和参数值的信息并解析，同时向远程输出数据。

本发明相对于现有技术的有益效果为：

1.为企业提供大量工业数据的可操作能力，即在各种场景中，将现场的设备工况信息采集、处理，可识别绝大多数接口协议，并对采集的信息数字化，实时辨识、计算、归集、存储、显示、输出等。

2.助推企业互联网化进程，推动企业数字化改造建设，帮助企业真正实现信息化、互联网化，带动企业工业互联网活跃度。

3.实现跨行业信息共享和数据沉淀，整合线上线下、供应链上下游和周边产业，推进一物一码结算、供应链金融等集成创新应用。

4.增强了数据采集的自适应性与通用性，实现了数据的边缘自适应采集计算，将各种数据采集解析可配置化，更好的实现边缘网关对设备进行数据采集转换。

附图说明

图1为旋转门算法原理图；

图2为自适应变频采集策略步骤流程图。

具体实施方式

下面对本发明的技术方案进行进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

旋转门算法（Swinging Door Trending Algorithm，SDTA）是一种用于实时数据进行压缩的有损压缩处理算法；数据平滑度算法（Data Smoothness Algorithm，DSA）是根据一段时间内采集到的数据不断变化进行动态调整处理采集间隔的方法。

实施例1：

第一步：利用内置封装的算法，识别输入端口的数据种类、格式、波特率等，基于数据传输的底层通讯，实现对绝大多数常用接口协议数据的读取和识别。

第二步：采用C#语言开发，采用分层松耦合架构，着重考虑系统的实时性并兼顾设计的清晰性及可扩展性。

第三步：对旋转门算法与数据平滑度进行结合建立计算模型算法，利用建立的一种基于旋转门算法-数据平滑度算法（STDA-DSA）自适应策略，实现对采集转换后的数据自适应采集。

实施例2：

一种用于边缘计算数字采集器的数据辨识与采集处理方法，所述方法步骤为：

步骤一：广谱式多接口协议辨识算法：将信号解析成数字数据，再根据数据格式规则，通过用户现场初始化时制定规则，辨识数据关键信息，软硬件的设计实现通配型辨识；可对包括模拟量、串口、MODBUS和网口的2000余种接口协议进行解析，利用下位机内置封装的算法，识别输入端口的数据种类、格式和波特率，基于数据传输的底层通讯，实现对绝大多数常用接口协议数据的读取和处理；算法核心内容：（1）识别数据类型（16进制还是Asc码），判断报头报尾，判断有效字段，读取有效字符位；（2）建立缓存数据库，实现数据有效管理；（3）通过全局变量调用实现数据使用；

步骤二：边缘自适应采集改进算法：将标准的旋转门压缩算法与数据平滑度方法进行结合改进，建立边缘自适应采集改进算法计算模型，动态实时调整数据采集频率，改进旋转门压缩算法进行数据实时采集处理，并在此基础上增加数据平滑度判断，进行交叉二次变频采集；软件系统采用C#语言开发，采用分层式松耦合架构，着重考虑系统的实时性并兼顾设计的清晰性及可扩展性，对于采集到的数据，进行多线程并行处理，结合硬件指令加速（AVX指令集），可在0.01秒内完成指标的计算，保证计算的实时性，系统从设备读取包含测量值、告警状态、控制值和参数值的信息并解析，同时向远程输出数据。

步骤二中，

（1）旋转门压缩算法

旋转门压缩算法是一种典型的分段线性有损压缩算法，该算法只需记录压缩区间起点值、终点值以及值对应的时间间隔，其本质是通过一条由起点和终点的直线来代替其他的连续数据点。设E为算法容差值，旋转门算法原理是构建以2E为固定高度的平行四边形去覆盖按时间顺序进来的数据点，数据点能够被覆盖，则继续向前进行覆盖操作，若不能被覆盖，则保存前一个数据点，当前数据点作为下一压缩区间的起始点。算法实现原理，如图1所示，A为该压缩区间的起始点（该起始点需要进行保存），寻找上下距离A为E 的A₁、A₂。当数据点B进来时，同样找寻上下两点B₁、B₂，以A₁、A₂、B₁、B₂为顶点构建起始平行四边形A₁A₂B₂B₁。当数据点C进来时，构建的平行四边形A₁C₁C₂A₂覆盖了B点，因此舍弃B点。同理当D进来时，构建的平行四边形 A₁D₁D₂A₂同时覆盖了B、C点，因此舍弃C点。但是当E进来时，平行四边形A₁E₁E₂A₂不能同时覆盖B、C、D点，因此保存D点，将点E作为下一段压缩区间的起始点，该段压缩区间压缩过程结束。

由旋转门压缩算法原理可知，该算法计算简单，执行速度较快，运用在对于实时性要求较高的边缘数据处理层具有一定的可行性。

（2）数据平滑度方法

数据平滑度的自适应方法是根据采集的一段时间间隔数据变化情况，进行动态调整采集间隔周期的方法。假设一段时间周期为M，在区间[t-M，1]有k个数据点，记录数据值为，i=0，1，2...，k，区间内的数据变化平均值/>为：

另外设一个区间N，在时间区间[t-N，t]，N≥M>0，求取数据平均值，计算公式为：

p为在时间区间[t-N，t]的数据点个数；

由以上两式推导出，时间t采样点的数据平滑度DataDigree，取数据变化平均值与数据平均值/>的比值，即为：

数据平滑度反映了数据变化的剧烈情况，当数据平滑度大则表示数据变化剧烈，反之数据平滑度小则表示平缓，据此可以进行采集间隔调整。

（3）边缘自适应采集改进算法

①算法采集间隔调整方法

通过对旋转门算法与数据平滑度自适应采集方法的研究，提出一种将二者相结合的自适应采集算法，旋转门-数据平滑度（Swinging Door Trending-Data Smoothness，SDT-DS）算法。该方法将二者的特性进行结合，非常适用于自适应动态变频采集。

由于旋转门算法原理是根据数据的变换程度进行数据压缩，因此与自适应采集间隔调整方法相符合，又因为它的数据模型较小、代码简洁，运行速度很快，能实时计算出结果，完全可以用于边缘计算的自适应采集场景。因此，在进一步改进的基础上提出了一种旋转门-数据平滑度（SDT-DS）自适应采集改进算法，即边缘自适应采集改进算法，是在旋转门的基础上继续探索优化，首先根据旋转门算法调整采集间隔，然后对旋转门算法处理后续数据进行平滑度的二次采集间隔调整，交叉调整采集间隔（即当完成一次还不理想的情况下，继续迭代），称为边缘自适应采集改进算法。

为了方便后续边缘自适应采集变频方法与算法实现说明，变量名定义如下：collect_interval-采集间隔，Newinterval-新的采集间隔，Maxinterval-最大间隔，Mininterval-最小间隔，up_std_xielv-旋转门上斜率，down_std_xielv:-旋转门下斜率，now_up_xielv-旋转门临时上斜率，now_down_xielv-临时下斜率，maxUpXielv-旋转门最大斜率，minDownXielv-旋转门最小斜率，diffData-旋转门容差，dataValue-数据值，dsValue-数据平滑度阈值，stepData-平滑度数据变化步长，DataDigree-数据平滑度。

根据旋转门算法的采集间隔动态调整方法，是根据数据变化情况来调整数据的采集间隔（频率），中心思想为：

a.当数据波动较大时，增加数据的采集频率，即减小数据的采集周期；

b.当数据波动较小时，减小数据的采集频率，即增大数据的采集周期；

c.当数据出现波动时，根据数据的变化特性进行二次采集频率调整，以增强原有算法的性能。

所述平滑度的二次采集间隔调整的方法具体为增加方法、减小方法和数据平滑度二次变频方法中的一种；

（1）增加方法

当数据源变换相对平缓时，根据旋转门算法的特性，数据将在能被门“套住”，即上旋转门与下旋转门的内角和小于180度时，为了减少一些冗余数据，需要对采集时间间隔动态的增加，减少采集数据量，直到达到一个预设的固定采集时间间隔的阈值Maxinterval时，才停止动态调整；使用加法和乘法结合的方法，confinterval为可配置的采集间隔，也是设备初始化的间隔；jumpNum表示可变数（需要人为设置），j是连续变换缓慢的次数，也可理解出现旋转门连续套住的次数；如果经过变化后的采集间隔大于最大阈值，则采用最大采集间隔进行采集；如果变换后的采集间隔小于等于最大值，则按新的调整后的值tmpinterval进行采集；具体采集间隔增大方法，如下式所示；

（2）减小方法

为了避免数据变化频繁造成关键数据节点丢失，所以采用乘法减小策略；设置初始化采集间隔，可配置其数值，记为confinterval，作为采集停顿的初始值；初始化采集之后，开始进行采集间隔的调整；当被采集的数据变化频繁时，将动态减小采集间隔，此处对应旋转门算法中上下旋转门的内角和已经超出180度，当需要自适应减小采集间隔调整时，使用采集间隔减半的方法，当减半后的间隔大于采集间隔的最小值时，将减半后的值赋值给新的采集间隔，下一次采集休眠时间将做相应调整；当减半后的采集间隔比最小阈值还小时，将取最小值；具体采集间隔减小方法，如下式所示；

（3）数据平滑度二次变频

在完成旋转门自适应变频之后，对得到的数据进行二次处理，根据数据变化的平滑度进行调整；设置一个数据平滑度阈值，设计阈值记为dsValue，DataDigree为所求经过旋转门调整的后的相邻量两个数据节点平滑度，n是连续出现波动小的次数，stepData为平滑度数据变化步长，即调整采集间隔值的乘数，与jumpNum同理，只计算旋转门处理后的前后两个数据值与/>，计算方法如下式所示；

上式得到的数值将与阈值dsValue进行比较，从而决定二次采集间隔调整策略，如下式所示；

（4）SDT-DS自适应变频采集算法的实现

为了适应自适应采集场景，将标准的旋转门压缩算法与网关的采集时间间隔调整策略相结合，并且在此基础上增加数据平滑度判断二次调整采集间隔；在网关边缘侧进行数据处理，得到一种边缘自适应变频采集方法；通过旋转门-数据平滑度（SDT-DS）算法，自适应的调整采集间隔策略，则算法实现主要流程步骤如下：

step1：获取第一个数据时间data_t0，将其作为初始时间，并设置斜率初始值；

step2：保存第一个数据点，以此点为基准，并初始化，记录数值DataValue；

step3：等待第二个数据点到来记录时间点Data_t，数据值记为data_v；

step4：求取旋转门上下斜率up_xielv_now、down_xielv_now；

step5：比较旋转门上下斜率与当前斜率值的大小，如果现在上旋转门斜率大于将保存的斜率up_std_xielv，将当前上斜率赋值给将保存的上旋转门斜率；如果当前下旋转门斜率小于保存斜率，则将当前值保存；

step6：比较保存的斜率，如果up_std_xielv（上旋转门斜率）大于down_std_xielv（下旋转门斜率），则减小采集间隔，否则增大采集间隔；

step7：保存此节点的上一个数据，将其作为下一轮的起点，并将上下旋转门斜率重新初始化，为下一轮自适应采集做准备；

step8：数据平滑度运算，根据上轮存储数据与本轮数据求取DataDigree（数据平滑度），然后与阈值dsValue 进行判断，进行采集间隔二次调整，将与旋转门算法交叉采集间隔调整；

step9：采集间隔调整完成之后将进行休眠，新产生的采集间隔，将使用跳跃多个数据完成此步骤，实际应用使用休眠函数或定时器完成；

step10：重新获取数据值，回到step3中，以此循环，直到数据全部完成。

Claims (4)

1.一种用于边缘计算数字采集器的数据辨识与采集处理方法，其特征在于：所述方法步骤为：

步骤一：广谱式多接口协议辨识算法：将信号解析成数字数据，再根据数据格式规则，通过用户现场初始化时制定规则，辨识数据关键信息，软硬件的设计实现通配型辨识；可对包括模拟量、串口、MODBUS和网口的2000余种接口协议进行解析，利用下位机内置封装的算法，识别输入端口的数据种类、格式和波特率，基于数据传输的底层通讯，实现对绝大多数常用接口协议数据的读取和处理；

步骤二：边缘自适应采集改进算法：将标准的旋转门压缩算法与数据平滑度方法进行结合改进，建立边缘自适应采集改进算法计算模型，动态实时调整数据采集频率，改进旋转门压缩算法进行数据实时采集处理，并在此基础上增加数据平滑度判断，进行交叉二次变频采集；软件系统采用C#语言开发，采用分层式松耦合架构，对于采集到的数据，进行多线程并行处理，结合硬件指令加速，系统从设备读取包含测量值、告警状态、控制值和参数值的信息并解析，同时向远程输出数据。

2.根据权利要求1所述的一种用于边缘计算数字采集器的数据辨识与采集处理方法，其特征在于：步骤二中，根据旋转门算法调整采集间隔，然后对旋转门算法处理后续数据进行平滑度的二次采集间隔调整，交叉调整采集间隔，称为边缘自适应采集改进算法。

3.根据权利要求2所述的一种用于边缘计算数字采集器的数据辨识与采集处理方法，其特征在于：根据旋转门算法的采集间隔动态调整方法，是根据数据变化情况来调整数据的采集间隔，中心思想为：

a.当数据波动较大时，增加数据的采集频率，即减小数据的采集周期；

b.当数据波动较小时，减小数据的采集频率，即增大数据的采集周期；

c.当数据出现波动时，根据数据的变化特性进行二次采集频率调整，以增强原有算法的性能。

4.根据权利要求2所述的一种用于边缘计算数字采集器的数据辨识与采集处理方法，其特征在于：所述平滑度的二次采集间隔调整的方法具体为增加方法、减小方法和数据平滑度二次变频方法中的一种；

（1）增加方法

当上旋转门与下旋转门的内角和小于180度时，为了减少一些冗余数据，需要对采集时间间隔动态的增加，减少采集数据量，直到达到一个预设的固定采集时间间隔的阈值Maxinterval时，才停止动态调整；使用加法和乘法结合的方法，confinterval为可配置的采集间隔，也是设备初始化的间隔；jumpNum表示可变数，j是连续变换缓慢的次数，也可理解出现旋转门连续套住的次数；如果经过变化后的采集间隔大于最大阈值，则采用最大采集间隔进行采集；如果变换后的采集间隔小于等于最大值，则按新的调整后的值tmpinterval进行采集；具体采集间隔增大方法，如下式所示；

其中，collect_interval-采集间隔，Newinterval-新的采集间隔；

（2）减小方法

为了避免数据变化频繁造成关键数据节点丢失，所以采用乘法减小策略；设置初始化采集间隔，可配置其数值，记为confinterval，作为采集停顿的初始值；初始化采集之后，开始进行采集间隔的调整；当被采集的数据变化频繁时，将动态减小采集间隔，此处对应旋转门算法中上下旋转门的内角和已经超出180度，当需要自适应减小采集间隔调整时，使用采集间隔减半的方法，当减半后的间隔大于采集间隔的最小值时，将减半后的值赋值给新的采集间隔，下一次采集休眠时间将做相应调整；当减半后的采集间隔比最小阈值还小时，将取最小值；具体采集间隔减小方法，如下式所示；

其中，MinInterval-最小间隔；

（3）数据平滑度二次变频

在完成旋转门自适应变频之后，对得到的数据进行二次处理，根据数据变化的平滑度进行调整；设置一个数据平滑度阈值，设计阈值记为dsValue，DataDigree为所求经过旋转门调整的后的相邻量两个数据节点平滑度，n是连续出现波动小的次数，stepData为平滑度数据变化步长，即调整采集间隔值的乘数，与jumpNum同理，只计算旋转门处理后的前后两个数据值与/>，计算方法如下式所示；/>

上式得到的数值将与阈值dsValue进行比较，从而决定二次采集间隔调整策略，如下式所示；

（4）SDT-DS自适应变频采集算法的实现

为了适应自适应采集场景，将标准的旋转门压缩算法与网关的采集时间间隔调整策略相结合，并且在此基础上增加数据平滑度判断二次调整采集间隔；在网关边缘侧进行数据处理，得到一种边缘自适应变频采集方法；通过旋转门-数据平滑度算法，自适应的调整采集间隔策略，则算法实现主要流程步骤如下：

step1：获取第一个数据时间data_t0，将其作为初始时间，并设置斜率初始值；

step2：保存第一个数据点，以此点为基准，并初始化，记录数值DataValue；

step3：等待第二个数据点到来记录时间点Data_t，数据值记为data_v；

step4：求取旋转门上下斜率up_xielv_now、down_xielv_now；

step5：比较旋转门上下斜率与当前斜率值的大小，如果现在上旋转门斜率大于将保存的斜率up_std_xielv，将当前上斜率赋值给将保存的上旋转门斜率；如果当前下旋转门斜率小于保存斜率，则将当前值保存；

step6：比较保存的斜率，如果上旋转门斜率up_std_xielv大于下旋转门斜率down_std_xielv，则减小采集间隔，否则增大采集间隔；

step7：保存此节点的上一个数据，将其作为下一轮的起点，并将上下旋转门斜率重新初始化，为下一轮自适应采集做准备；

step8：数据平滑度运算，根据上轮存储数据与本轮数据求取数据平滑度DataDigree，然后与阈值dsValue 进行判断，进行采集间隔二次调整，将与旋转门算法交叉采集间隔调整；

step9：采集间隔调整完成之后将进行休眠，新产生的采集间隔，将使用跳跃多个数据完成此步骤，实际应用使用休眠函数或定时器完成；

step10：重新获取数据值，回到step3中，以此循环，直到数据全部完成。