CN115664951B - 一种自适应工业数据采集方法、系统及存储介质 - Google Patents

Abstract

本发明提供了一种自适应数据采集方法、系统及存储介质，方法包括数据采集系统启动运行后，根据采集配置完成采集初始化，并进行数据采集，同时统计监测实际采集周期，判断实际采集周期是否超过阈值，如果超过，则触发采集平衡机制，并据此结果进行数据采集；如果没有超过，则直接进行数据采集。当采集程序监测到配置更新或者运行过程中出现网络波动或者系统CPU波动，导致实际采集周期波动，需要进行采集平衡以满足配置采集周期的要求，并按照采集平衡后的结果进行数据采集。本发明主要针对工业数据采集领域，解决了传统采集配置修改后需要重启程序或者某些情况下一段时间不能满足采集周期要求的问题，提高了工业数据采集的效率。

Description

一种自适应工业数据采集方法、系统及存储介质

技术领域

本发明属于数据采集技术领域，具体涉及一种自适应工业数据采集方法、系统及存储介质。

背景技术

目前，PLC设备在工业控制中有着广泛的应用，数据采集程序一般都需要采集PLC的实时数据，采集程序通常会根据事先配置好的设备和点位、采集周期进行数据采集。一般的实现方法是：针对每个设备，根据设备数据通讯协议，与设备建立好网络连接，启动多个数据采集线程，每个线程根据采集周期，定期采集设备上的一部分点位实时数据。每个设备运行的采集线程数、为每个采集线程分配的设备点位都是固定的。如果程序运行期间，用户修改了采集周期、增加了设备和点位，则需要重新启动采集程序，才能根据新的配置进行数据采集；如果网络出现波动，或者系统CPU出现波动，则可能导致实际采集周期较长时间超过配置采集周期，不能满足数据采集要求。

发明内容

本发明的目的在于克服现有技术之缺陷，提供了一种自适应数据采集方法、系统及存储介质，采集程序启动时，按照初始化参数分配数据采集线程和数据采集单元，运行中根据实际采集周期动态调整数据采集线程和数据采集单元，本发明能够解决一般实现方法需要重启程序或者一段时间不能满足采集周期要求的问题。

为解决上述技术问题，本发明采用了以下技术方案。本发明公开了一种自适应数据采集方法，包括：

数据采集系统启动运行后，根据采集配置完成采集初始化，并进行数据采集，同时统计监测实际采集周期，判断实际采集周期是否超过阈值，如果超过，则触发采集平衡机制，并据此结果进行数据采集；如果没有超过，则直接进行数据采集。

进一步地，完成采集初始化后还需要按照初始化参数为每个设备建立若干数据采集单元，具体包括：以设备为单位，首先将设备点位按照采集周期进行分类；然后在此基础之上按照寄存器类型与数据块编号进行分类；最后在前两次分类的基础上再按照字节地址大小进行排序，根据数据点字节地址按照预设字节地址长度划分数据段。

进一步地，为每个设备建立若干数据采集单元后还需要为每个设备建立数据采集线程以及为数据采集线程分配数据采集单元，具体包括：从线程池中建立设备数据采集线程，为每个数据采集线程分配相同采集周期的数据采集单元，每个数据采集线程中的数据采集单元数目小于或等于预设默认值，每个采集周期对应的采集线程数等于相同周期采集单元数目除以预设默认值，若有余数则加1，所有周期采集线程数之和即为该设备的采集线程总数。

进一步地，所述数据采集的过程具体包括：

依次采集本线程的所有数据采集单元，然后进入休眠状态；

线程不断循环执行上述数据采集过程；

采集过程中需要记录统计每个数据采集单元采集时间和本次数据采集时间；

当完成一个周期的统计后，清空原有采集时间信息，并重新开始记录。

进一步地，所述阈值为配置信息中采集周期的某个阈值，其等于λ*采集周期,其中λ为系数，且小于1；

如果平均实际采集周期>阈值，则认为该线程实际采集周期满足采集周期要求，否则不满足要求；

如果设备不满足采集周期要求的线程数>0.5*采集周期线程数，则触发采集平衡机制，对所有采集周期的线程数据采集单元进行采集平衡；否则，只对不满足要求的采集周期的线程数据采集单元进行采集平衡。

进一步地，所述采集平衡机制包括按照一定策略重新分配采集线程和每个线程中的数据采集单元数目，具体步骤如下：

S1）数据采集单元根据唯一标识从小到大进行排序；数据采集线程根据线程唯一标识进行从小到大排序；

S2）遍历每个线程，针对每个线程，依次分配数据采集单元，并保证该线程重新分配的所有数据采集单元平均采集时间之和+休眠时间<采集周期；

S3）如果还有未分配的数据采集单元，则从线程池中建立新的数据采集线程，按照S2）中要求分配数据采集单元，直到所有数据采集单元都分配完成。

进一步地，当采集程序监测到配置更新时，需要进行采集平衡以满足配置采集周期的要求。

进一步地，当运行过程中出现网络波动或者系统CPU波动，导致实际采集周期波动，需要进行采集平衡以满足配置采集周期的要求。

本发明还公开了一种自适应工业数据采集系统，包括：配置管理模块、采集初始化模块、数据采集模块、统计监测模块、采集平衡模块；

所述配置管理模块，用于获取采集配置信息；

所述采集初始化模块，用于完成初始化；

所述数据采集模块，用于进行数据采集；

所述统计监测模块，用于统计监测实际采集周期；

所述采集平衡模块，用于进行采集平衡。

本发明还公开了一种自适应工业数据采集存储介质，用于存储计算机程序实现上述任一所述方法的步骤。

本发明的工作思路是：本发明提供了一种自适应数据采集方法，数据采集系统启动运行后，根据采集配置完成采集初始化，并进行数据采集，同时统计监测实际采集周期，判断实际采集周期是否超过阈值，如果超过，则触发采集平衡机制，并据此结果进行数据采集；如果没有超过，则直接进行数据采集。当采集程序监测到配置更新或者程序运行过程中出现网络波动或者系统CPU波动，导致实际采集周期波动，需要进行采集平衡以满足配置采集周期的要求。采集平衡完成后，数据采集线程根据新的数据采集单元进行数据采集。

本发明的改进点是：

（1）设备数据点位采集单元划分、分配机制；

（2）数据采集单元动态平衡机制。

本发明的有益效果是：本发明主要针对工业数据采集领域，通过对采集设备点位划分数据采集单元、为采集线程分配数据采集单元，实时统计数据采集单元实际采集用时、采集线程的实际采集周期，与配置信息的采集周期进行比较，并据此进行相应调整。本发明解决了传统采集配置修改后需要重启程序或者某些情况下一段时间不能满足采集周期要求的问题，提高了工业数据采集的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例提供的一种自适应工业数据采集方法及系统的数据采集流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例1

参见图1，本发明公开了一种自适应数据采集方法，包括：

启动数据采集程序，获取采集相关配置信息；配置信息通常包括设备信息：设备类型、网络连接参数、采集协议参数等；设备点位信息：点位编号、寄存器类型、数据块号、字节地址、位地址、数据类型、数据单元长度、读写模式、采集周期等。

数据采集系统启动运行后，根据采集配置完成采集初始化；完成采集初始化后还需要按照初始化参数为每个设备建立若干数据采集单元，具体包括：以设备为单位，首先将设备点位按照采集周期进行分类，相同采集周期下的设备点位归为一类；然后在此基础之上按照寄存器类型和数据块编号进行分类，相同寄存器类型和数据块编号的数据点位归为一类；最后在前两次分类的基础上再按照字节地址大小进行排序，根据数据点字节地址按照预设字节地址长度划分数据段，每一段就是1个数据采集单元。

为每个设备建立若干数据采集单元后还需要为每个设备建立数据采集线程以及为数据采集线程分配数据采集单元，具体包括：从线程池中建立设备数据采集线程，为每个数据采集线程分配相同采集周期的数据采集单元，每个数据采集线程中的数据采集单元数目小于或等于预设默认值，每个采集周期对应的采集线程数等于相同周期采集单元数目除以预设默认值，若有余数则加1，所有周期采集线程数之和即为该设备的采集线程总数。

进行数据采集，所述数据采集的过程具体包括：

依次采集本线程的所有数据采集单元，然后进入休眠状态；预设休眠时间远小于采集周期；

采集线程不断循环执行上述数据采集过程；

采集过程中需要记录统计每个数据采集单元采集时间和本次数据采集时间；数据采集单元采集时间等于完成采集时刻和开始采集时刻之差；本次数据采集时间等于所有数据采集单元采集时间之和加上休眠时间；

当完成一个周期的统计后，清空原有采集时间信息，并重新开始记录。

同时统计监测实际采集周期，按照一定的统计周期统计采集时间信息，统计该周期内设备每个线程的平均数据采集时间T1和每个数据采集单元的平均采集时间T2，并判断T1与采集周期T的关系。

判断实际采集周期是否超过阈值，如果超过，则触发采集平衡机制，并据此结果进行数据采集；如果没有超过，则直接进行数据采集。

所述阈值为配置信息中采集周期的某个阈值，其等于λ*采集周期,其中λ为系数，且小于1；

如果平均实际采集周期>阈值，则认为该线程实际采集周期满足采集周期要求，否则不满足要求；

如果设备不满足采集周期要求的线程数>0.5*采集周期线程数，则触发采集平衡机制，对所有采集周期的线程数据采集单元进行采集平衡；否则，只对不满足要求的采集周期的线程数据采集单元进行采集平衡。

所述采集平衡机制包括按照一定策略重新分配采集线程和每个线程中的数据采集单元数目，具体步骤如下：

S1）数据采集单元根据唯一标识从小到大进行排序；数据采集线程根据线程唯一标识进行从小到大排序；

S2）遍历每个线程，针对每个线程，依次分配数据采集单元，并保证该线程重新分配的所有数据采集单元平均采集时间之和+休眠时间<采集周期；

S3）如果还有未分配的数据采集单元，则从线程池中建立新的数据采集线程，按照S2）中要求分配数据采集单元，直到所有数据采集单元都分配完成。

当采集程序监测到配置更新，如采集周期变化、增加设备和点位等，则进行采集平衡以满足配置采集周期的要求。

当运行过程中出现网络波动或者系统CPU波动，导致实际采集周期波动，则进行采集平衡以满足配置采集周期的要求。

采集平衡完成后，数据采集线程根据新的数据采集单元进行数据采集。

本发明是一种自适应工业数据采集方法，当数据采集程序启动时，按照初始化参数分配数据采集线程和数据采集单元，运行中根据实际采集周期动态调整数据采集线程和数据采集单元的方法，能够解决一般实现方法需要重启程序或者一段时间不能满足采集周期要求的问题。

实施例2

本发明还公开了一种自适应工业数据采集系统，包括：配置管理模块、采集初始化模块、数据采集模块、统计监测模块、采集平衡模块；

所述配置管理模块，用于获取采集配置信息；根据数据库连接参数，从系统配置数据库中获取与数据采集相关的配置信息；通常包括设备信息：设备类型、网络连接参数、采集协议参数等。设备点位信息：点位编号、寄存器类型、数据块号、字节地址、位地址、数据类型、数据单元长度、读写模式、采集周期等。

所述采集初始化模块，用于完成初始化；并按照初始化参数为每个设备建立若干数据采集单元；用于为每个设备建立若干数据采集线程，并为数据采集线程分配若干数据采集单元；以设备为单位，首先将设备点位以采集周期作为Key1进行分类，相同采集周期下的设备点位以寄存器类型+数据块编号作为Key2进行分类，相同Key2下的数据点位按照字节地址、位地址大小进行排序，再根据数据点字节地址按照预设字节地址长度划分数据段，每一段就是1个数据采集单元。程序为每个设备通过线程池建立若干数据采集线程，并为数据采集线程分配若干具有相同采集周期的数据采集单元。

具体流程是：

（1）将每个设备数据点划分成若干数据采集单元；

第1次分类：按采集周期T进行划分，相同采集周期的点位归为一类。

第2次分类：根据第1次分类结果，按寄存器类型+数据块编号进行划分，相同寄存器类型+数据块编号的点位归为一类。

第3次分类：根据第2次分类结果，先对点位按字节地址、位地址从小到大进行排序，再按照数据点位区间字节地址长度UnitByteLen进行分类，使得分类中的点位满足以下条件：(最后1个点位字节地址-第1个点位字节地址+最后1个点位数据单元字节长度)<=UnitByteLen。同时，每个分类就是1个数据采集单元DataUnit，并进行唯一标识DataUnitId。

（2）建立数据采集线程，分配数据采集单元；

从线程池中建立设备数据采集线程，要求是：采集线程中的数据采集单元有相同的采集周期，每个线程中采集单元数目<=预设默认值DefaultDataUnitCount。每个采集周期对应的采集线程数CollectThreadCount=相同周期采集单元数目/ 预设默认值DefaultDataUnitCount（有余数，则加1）。所有周期采集线程数之和即为该设备的采集线程数。

所述数据采集模块，用于进行数据采集；与设备建立网络连接，根据采集线程和点位分配结果，启动采集线程进行数据采集；一次数据采集过程是指：依次采集本线程的所有数据采集单元，然后进入休眠状态。采集线程不断循环执行上述数据采集过程。预设休眠时间远小于采集周期。每次采集过程中，采集模块需要记录每个数据采集单元采集时间以及本次数据采集时间。数据采集单元采集时间等于完成采集时刻和开始采集时刻之差；本次数据采集时间等于所有数据采集单元采集时间之和加上休眠时间。

所述统计监测模块，用于统计监测实际采集周期；按照一定的统计周期对数据采集模块记录的采集时间信息进行统计，用于统计该周期内设备每个采集线程的平均数据采集时间T1和每个数据采集单元的平均采集时间T2，并判断每个采集线程的平均数据采集时间T1与采集周期T的关系；判断标准是：T1<λ*T, （λ为系数，小于1，可根据实际情况选取），则认为该线程实际采集周期满足采集周期要求，反之，则不满足要求。

如果设备不满足采集周期T要求的线程数>0.5*采集周期T线程数，则需要触发采集平衡模块，对所有采集周期为T的线程数据采集单元进行采集平衡；否则，只对不满足要求的采集周期为T的线程数据采集单元进行采集平衡。

统计监测模块完成1个周期的统计后，数据采集模块需要清空原有采集时间信息，并重新开始记录。

所述采集平衡模块，用于进行采集平衡；根据统计监测模块的反馈，进行采集平衡；用于对设备需要进行采集平衡的数据采集线程和数据采集单元进行重新分配数据采集单元；采集线程分配数据采集单元的方法是：

S1）数据采集单元根据唯一标识DataUnitId，从小到大进行排序；数据采集线程根据线程ID进行从小到大排序。

S2）遍历每个线程，针对每个线程，依次分配数据采集单元，并保证：该线程重新分配的所有数据采集单元平均采集时间之和+休眠时间Ts<采集周期T。

S3）如果还有未分配的数据采集单元，则从线程池中建立新的数据采集线程，按照S2）中要求分配数据采集单元，直到所有数据采集单元都分配完成。

采集平衡完成后，数据采集线程根据新的数据采集单元进行数据采集。统计监测模块也会对平衡后的数据采集线程进行统计监测。

本发明公开了一种自适应工业数据采集系统，还包括配置更新模块，所述配置更新模块，用于根据采集配置变化来触发采集平衡模块以进行采集平衡。具体包括：数据采集系统通过数据库CDC机制获取到增加设备、增加点位、修改采集周期等采集配置变化，并触发采集平衡模块进行采集平衡。

实施例3

如果是增加设备，可按照初始化流程，为设备数据点划分数据采集单元，建立数据采集线程，分配数据采集单元。后续通过统计监测模块触发采集平衡满足采集周期要求。

实施例4

如果是增加点位，由于设备数据采集单元是一个连续的字节地址空间，如果增加点位的地址已经存在于已有的数据采集单元中，则无需处理；反之，则对新增数据点位划分数据采集单元，分配到当前相同采集周期，但平均数据采集时间T1最小的那个线程中；或者建立新的数据采集线程进行数据采集。后续通过统计监测模块触发采集平衡满足采集周期要求。

实施例5

如果是修改采集周期，可按照初始化流程，对设备数据点按照新的采集周期划分数据采集单元，利用已有数据采集线程或者创建新的数据采集线程，分配数据采集单元。后续通过统计监测模块触发采集平衡满足采集周期要求。

实施例6

如果是删除设备，此种情况相对较少，数据采集模块从采集线程池中删除被删设备所属数据采集线程。

实施例7

如果是删除点位，此种情况相对较少，数据采集单元所属点位全部被删除后，则从相应采集线程中删除该数据采集单元；采集线程中没有数据采集单元，则从采集线程池中删除该数据采集线程。

实施例8

另外，从上述统计监测模块技术原理可知，当整个系统在运行过程中出现网络波动、系统CPU波动，导致实际采集周期波动时，也可按上述方法进行数据采集平衡，使得实际采集周期尽可能小于配置采集周期。

实施例9

当数据采集程序启动后，首先配置管理模块获取采集相关配置；接着初始化模块进行初始化，按照初始化参数为每个设备建立若干数据采集单元，根据默认数据采集单元数创建数据采集线程，并为每个线程按此分配数据采集单元；接着数据采集模块启动数据采集线程，按照配置采集周期采集数据,并记录每个数据采集单元的实际采集用时；随后统计监测模块按照一定的统计周期统计该周期内每个数据采集单元的平均采集用时，每个采集线程平均实际采集周期，如果平均实际采集周期大于配置采集周期的某个阈值，则触发采集平衡模块，按照一定策略重新分配采集线程和每个线程中的数据采集单元数目，以满足配置采集周期的要求。

实施例10

本发明还公开了一种自适应工业数据采集存储介质，用于存储计算机程序实现上述任一所述方法的步骤。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种自适应工业数据采集方法，其特征在于，包括：

数据采集系统启动运行后，根据采集配置完成采集初始化，按照初始化参数为每个设备建立若干数据采集单元，为每个设备建立数据采集线程以及为数据采集线程分配数据采集单元，并进行数据采集，同时统计监测数据采集线程的实际采集周期，判断数据采集线程的实际采集周期是否超过阈值，如果超过，则触发采集平衡机制，并据此结果进行数据采集；如果没有超过，则直接进行数据采集；

所述采集平衡机制包括按照一定策略重新分配采集线程和每个线程中的数据采集单元数目，具体步骤如下：

S1）数据采集单元根据唯一标识从小到大进行排序；数据采集线程根据线程唯一标识进行从小到大排序；

S2）遍历每个线程，针对每个线程，依次分配数据采集单元，并保证该线程重新分配的所有数据采集单元平均采集时间之和+休眠时间<采集周期；

S3）如果还有未分配的数据采集单元，则从线程池中建立新的数据采集线程，按照S2）中要求分配数据采集单元，直到所有数据采集单元都分配完成；

所述阈值为配置信息中采集周期的某个阈值，其等于λ*采集周期,其中λ为系数，且小于1；

如果平均实际采集周期<阈值，则认为该线程实际采集周期满足采集周期要求，否则不满足要求；

如果设备不满足采集周期要求的线程数>0.5*采集周期线程数，则触发采集平衡机制，对所有采集周期的线程数据采集单元进行采集平衡；否则，只对不满足要求的采集周期的线程数据采集单元进行采集平衡。

2.根据权利要求1所述的一种自适应工业数据采集方法，其特征在于，所述按照初始化参数为每个设备建立若干数据采集单元，具体包括：以设备为单位，首先将设备点位按照采集周期进行分类；然后在此基础之上按照寄存器类型与数据块编号进行分类；最后在前两次分类的基础上再按照字节地址大小进行排序，根据数据点字节地址按照预设字节地址长度划分数据段。

3.根据权利要求2所述的一种自适应工业数据采集方法，其特征在于，所述为每个设备建立数据采集线程以及为数据采集线程分配数据采集单元，具体包括：从线程池中建立设备数据采集线程，为每个数据采集线程分配相同采集周期的数据采集单元，每个数据采集线程中的数据采集单元数目小于或等于预设默认值，每个采集周期对应的采集线程数等于相同周期采集单元数目除以预设默认值，若有余数则加1，所有周期采集线程数之和即为该设备的采集线程总数。

4.根据权利要求1所述的一种自适应工业数据采集方法，其特征在于，所述数据采集的过程具体包括：

依次采集本线程的所有数据采集单元，然后进入休眠状态；

线程不断循环执行上述数据采集过程；

采集过程中需要记录统计每个数据采集单元采集时间和本次数据采集时间；

当完成一个周期的统计后，清空原有采集时间信息，并重新开始记录。

5.根据权利要求1所述的一种自适应工业数据采集方法，其特征在于，当采集程序监测到配置更新时，需要进行采集平衡以满足配置采集周期的要求。

6.根据权利要求1所述的一种自适应工业数据采集方法，其特征在于，当运行过程中出现网络波动或者系统CPU波动，导致实际采集周期波动，需要进行采集平衡以满足配置采集周期的要求。

7.一种自适应工业数据采集系统，其特征在于，包括：配置管理模块、采集初始化模块、数据采集模块、统计监测模块、采集平衡模块；

所述配置管理模块，用于获取采集配置信息；

所述采集初始化模块，用于根据采集配置信息完成初始化；

所述数据采集模块，用于按照初始化参数为每个设备建立若干数据采集单元，为每个设备建立数据采集线程以及为数据采集线程分配数据采集单元，并进行数据采集；

所述统计监测模块，用于统计监测数据采集线程的实际采集周期，判断数据采集线程的实际采集周期是否超过阈值，如果超过，则触发采集平衡机制，并据此结果进行数据采集；如果没有超过，则直接进行数据采集；

所述采集平衡模块，用于通过采集平衡机制进行数据采集平衡，所述采集平衡机制包括按照一定策略重新分配采集线程和每个线程中的数据采集单元数目，具体步骤如下：

S1）数据采集单元根据唯一标识从小到大进行排序；数据采集线程根据线程唯一标识进行从小到大排序；

S2）遍历每个线程，针对每个线程，依次分配数据采集单元，并保证该线程重新分配的所有数据采集单元平均采集时间之和+休眠时间<采集周期；

S3）如果还有未分配的数据采集单元，则从线程池中建立新的数据采集线程，按照S2）中要求分配数据采集单元，直到所有数据采集单元都分配完成；

所述阈值为配置信息中采集周期的某个阈值，其等于λ*采集周期,其中λ为系数，且小于1；

如果平均实际采集周期<阈值，则认为该线程实际采集周期满足采集周期要求，否则不满足要求；

如果设备不满足采集周期要求的线程数>0.5*采集周期线程数，则触发采集平衡机制，对所有采集周期的线程数据采集单元进行采集平衡；否则，只对不满足要求的采集周期的线程数据采集单元进行采集平衡。

8.一种自适应工业数据采集存储介质，其特征在于，用于存储计算机程序，所述存储计算机程序用于实现如权利要求1-6任一所述方法的步骤。

Images