CN107179942B

CN107179942B - 一种基于多线程的实时数据分析任务分发处理方法

Info

Publication number: CN107179942B
Application number: CN201710344177.7A
Authority: CN
Inventors: 王广彪; 魏石磊; 鞠军委; 李宝瑞; 徐桂城; 张志辉; 韩顺利
Original assignee: CETC 41 Institute
Current assignee: CETC 41 Institute
Priority date: 2017-05-16
Filing date: 2017-05-16
Publication date: 2020-12-01
Anticipated expiration: 2037-05-16
Also published as: CN107179942A

Abstract

本发明公开了一种基于多线程的实时数据分析任务分发处理方法，包括以下步骤：(1)MZ光纤周界入侵监测仪器的数据采集线程实时采集数据，并将采集到的数据存放至循环列队缓冲池中；(2)数据分发线程根据循环队列缓冲池中未处理数据的个数判断是否需要创建新的数据处理线程，并将循环列队缓冲池中的数据以数据任务的形式分发至数据处理线程；(3)数据处理线程接收并处理数据分发线程分发的数据任务，处理完成后，所述数据处理线程自动将其自身的工作状态置为空闲。本发明通过动态创建新的数据处理线程来实现了多线程的任务分发处理，各线程之间相互配合，具有实时性高、漏报率低的优点，有利于提高周界探测预警系统的整体性能的可靠性。

Description

一种基于多线程的实时数据分析任务分发处理方法

技术领域

本发明涉及光纤传感数据处理领域，具体的说，是涉及一种基于多线程的实时数据分析任务分发处理方法。

背景技术

MZ 光纤周界入侵监测仪器基于 Mach-Zehnder干涉原理，利用光纤光缆探测外界振动并判别非法入侵，抗电磁干扰强、可实现对周界入侵导致的振动的长距离实时监测及定位。MZ 光纤周界入侵监测仪器因具有抗电磁干扰、易于远传等优点，可以有效克服电类传感器的不足，近十年得到迅速发展。作为周界安防系统的关键技术，入侵的实时、低漏报率定位是周界监测预警系统的主要研究方向之一。

在实际应用中，MZ 光纤周界入侵检测仪器的数据采集线程将信号实时采集存放到循环队列缓冲池中，目前对数据的分析过程多采用单线程，这就导致在处理过程中发生的入侵数据将无法实时处理，从而导致入侵数据分析的延迟，实时性差，无法满足系统实时性的需求；同时，数据分析的延迟不断积累，循环队列缓冲池中数据溢出，部分数据丢失，导致入侵漏报率增加。

因此，有必要对上述现有技术进行改进，以满足信息传输的过程中光纤围栏周界入侵实时、低漏报率监控的需求。

发明内容

本发明为了解决上述问题，提出了一种基于多线程的实时数据分析任务分发处理方法，本发明通过采用数据采集线程、数据分发线程及多个数据处理线程之间动态配合的多线程的任务分发处理方法，可根据实际情况动态创建数据处理线程，具有实时性高、漏报率低的优点，有利于提高 MZ 光纤周界入侵监测仪器等周界探测预警系统的整体性能的可靠性。

为了实现上述目的，本发明采用如下技术方案：

一种基于多线程的实时数据分析任务分发处理方法，包括以下步骤：

（1）MZ 光纤周界入侵监测仪器的数据采集线程实时采集数据，并将采集到的数据存放至用于暂存数据的循环队列数据缓冲池中；

（2）MZ 光纤周界入侵监测仪器的数据分发线程检测循环队列缓冲池中的未处理数据，并检测是否存在空闲的数据处理线程，若各数据处理线程均处于忙碌状态，则动态创建新的数据处理线程，形成动态配合的多线程的任务分发处理过程，数据分发线程将循环队列缓冲池中的数据以数据任务的形式分发至 MZ 光纤周界入侵监测仪器的空闲的数据处理线程，同时，将该数据处理线程的工作状态置为忙碌；

（3）所述数据处理线程接收到数据分发线程分发的数据任务后，对数据任务进行处理，处理完成后，所述数据处理线程自动将其自身的工作状态置为空闲。

所述步骤（1）中，所述的循环队列缓冲池的起始状态为一个循环的空队列，该循环队列缓冲池中具有表征未处理数据开始的 front 及表征未处理数据结束的下标 rear，且两者的初始值均为 0。

所述数据采集线程将采集到的数据存放至循环队列数据缓冲池后，会将表征循环队列数据缓冲池中未处理数据开始位置的下标 front 顺时针移动，每存放一个数据，front 的值加 1。

进一步的，所述步骤（2）中，数据分发线程将未处理数据分发至数据处理线程的具体步骤为：

I.检查当前是否存在未处理的数据，并判断循环队列缓冲池中未处理的数据是否满足处理条件；

II.查询空闲的数据处理线程数量；

III.数据分发线程对未处理数据进行拷贝，将拷贝好的数据分发到数据处理线程中，每分发完一个未处理数据，将循环队列缓冲池中的 rear 的下标值加 b，数据分发线程的分发速度快于数据采集线程的采集速度，此处，b 表示单个数据处理线程一次处理的数据点数。

进一步的，所述数据分发线程检查当前是否存在未处理数据,并判断循环队列缓冲池中未处理的数据是否满足处理条件的具体方法为：判断未处理数据的点数 a 是否不小于单次数据处理线程的处理点数 b，若 a<b，则不满足处理条件，数据分发线程继续对循环队列缓冲池进行监控；若 a≥b，则满足处理条件，数据分发线程将未处理的数据拷贝并分发至空闲状态的数据处理线程进行处理，若所有的数据处理线程均处于忙碌状态，则创建新的数据处理线程，并将未处理的数据分发至该新创建的数据处理线程中，同时将该数据处理线程的工作状态置为忙碌。其中，未处理数据的点数为 rear 顺时针到达 front 所经过的下标个数。

进一步的，所述数据分发线程拷贝未处理数据的具体方法为：以 rear 为起始位置，将连续 b 个数据拷贝到新的数据 Data[k][b]中，拷贝完成后，将表示未处理数据结束位置的 rear下标顺时针移动 b 个位置，其中，k 表示第 k 个数据处理线程，b 表示单个数据处理线程一次处理的数据点数。

进一步的，每个数据处理线程均设有状态标志位，第 i 个数据处理线程的状态标志位为Flag[i]，其中，i∈【0，M-1】，M 为数据处理线程的总个数；数据所述步骤（2）中，将数据处理线程的工作状态置为忙碌的具体方法为：数据分发线程依次对现有的各个数据处理线程的状态标志位进行检测，若其状态标志位的值为 0，则该条数据处理线程处于空闲状态，若其状态标志位的值为 1，则该数据处理线程处于忙碌状态，检测顺序自 Flag[0]开始，直至找到第一个空闲状态的数据处理线程 k，并将该第 k 个数据处理线程的状态标志位 Flag[k]置为1；如果现有的数据处理线程均处于忙碌状态，则创建新的数据处理线程。

进一步的，所述步骤（3）中，所述数据处理线程将其自身的工作状态置为空闲的具体方法为：将其自身的工作状态标志位 Flag[k]赋值为 0，k 的取值范围为【0，M-1】，其中，k 表示该数据处理线程为第 k 个数据处理线程，M 为数据处理线程的总个数。

一种应用上述方法的多线程实时数据分析任务分发处理系统，包括 MZ 光纤周界入侵监测仪器的数据采集线程、数据分发线程、数据处理线程以及循环队列缓冲池，其中，所述数据采集线程用于实时采集数据信息，并将采集到的数据信息存储至循环队列缓冲池中，所述数据分发线程将循环队列缓冲池中的数据分发至所述数据处理线程，在现有的数据处理线程均处于忙碌的工作状态下，数据分发线程实时创建新的数据处理线程来处理未处理数据，进而实现数据处理的动态分发、处理过程，所述数据处理线程对数据进行分析处理。

进一步的，所述数据处理线程均具有工作状态标志位，所述数据分发线程根据所述数据处理线程的工作状态标志位的数值判断该数据处理线程是否处于空闲状态。

与现有技术相比，本发明的有益效果为：

本发明通过采用数据采集线程、数据分发线程及多个数据处理线程之间动态配合的多线程的任务分发处理方法，杜绝了以往 MZ 光纤周界入侵监测仪器因单线程数据处理导致的数据分析延迟、缓冲池数据溢出、部分数据丢失，从而导致 MZ 光纤周界入侵监测仪器入侵漏报率增加的问题；

本发明可根据需要自行动态创建数据处理线程，保证实时处理数据分析任务，具有实时性高、漏报率低的优点；有利于提高 MZ 光纤周界入侵监测仪器等周界探测预警系统的整体性能的可靠性。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的限定。

图 1 是本发明的算法流程图；

图 2 是本发明循环队列缓冲池的初始状态示意图；

图 3 是本发明循环队列缓冲池中具有未处理数据时的示意图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

下述实施例为本申请的一种典型的实施方式，如图 1 所示，一种基于多线程的实时数据分析任务分发处理的数据处理系统，包括 MZ 光纤周界入侵监测仪器的数据采集线程、数据分发线程、数据处理线程以及循环队列缓冲池，其中，所述数据采集线程用于实时采集数据信息，并将采集到的数据信息存储至循环队列缓冲池中，所述数据分发线程将循环队列缓冲池中的数据分发至所述数据处理线程，数据处理线程对数据进行分析处理，在现有的数据处理线程均处于忙碌的工作状态下，数据分发线程实时创建新的数据处理线程来处理未处理数据，进而实现数据处理的动态分发、处理过程，保证对数据实时处理，有利于杜绝以往 MZ 光纤周界入侵监测仪器因单线程数据处理导致的数据分析延迟、缓冲池数据溢出、部分数据丢失的问题，提高了数据处理的实时性、降低了漏报率。

一种基于多线程的实时数据分析任务分发处理方法，该方法的具体步骤为：

步骤 1.MZ 光纤周界入侵监测仪器的数据采集线程实时采集数据

MZ 光纤周界入侵监测仪器的数据采集线程以 16MB/s 的速度实时采集数据，并将采集到的数据存放至用于暂存未处理数据的循环队列缓冲池中；所述的循环队列缓冲池的内存为240MB，一个单精度点为 4B，该循环队列缓冲池的初始状态如图 2 所示，其中，front 表示循环队列缓冲池中未处理数据处理开始，rear 表示未处理数据处理结束，初始状态时，front 和 rear 均为 0，循环队列缓冲池为空白状态, 其中，1MB=1024*1024B；

如图 3，数据采集线程每采集到一个数据，会将该数据存放到循环队列缓冲池中以 front

为下标的队列位置上，同时，表示队列开始位置的下标 front 的值加 1。

步骤 2.分发线程将数据处理任务分发至数据处理线程

数据分发线程实时监控循环队列缓冲池，并判断循环队列缓冲池中未处理的数据是否满足处理条件，具体的，判断循环队列缓冲池中的数据点数 a 与单次数据处理线程处理点数 b 的大小关系，如果，a<b，则不满足处理条件，数据分发线程继续对循环队列缓冲池进行监控；如果 a≥b，则满足处理条件，则检测是否有处于空闲状态的数据处理线程，若有处于空闲状态的数据处理线程，数据分发线程将未处理的数据拷贝并分发至空闲状态的数据处理线程进行处理，同时将该数据处理线程的状态标志位置为 1，表示该数据处理线程处于忙碌状态；若所有的数据处理线程均处于忙碌状态，则动态创建新的数据处理线程，形成相互之间动态配合的多线程任务分发处理过程，并将未处理的数据分发至该新创建的数据处理线程中，同时将该数据处理线程的状态标志位置为 1，表示该数据处理线程处于忙碌状态。其中，未处理数据的个数为 rear 顺时针到达 front 所经过的下标个数。

一般的入侵事件持续时间为 200ms，即对应点数为 0.8M，为减少入侵事件被截断的情况，选取单次数据处理线程的点数为 2M，即 b 为 2M，在本实施例中，某一时刻，a 的值为 3M，a>b，满足数据处理条件，数据分发线程依次检测数据处理线程的工作状态，检测结果为现有的数据处理线程均处于忙碌状态，因此，数据分发线程需要创建 1 个新的数据处理线程来处理其中 2M 个未处理数据，并将未处理数据分别拷贝到这个新的数据处理线程中进行数据处理，判断是否为入侵事件，与此同时，将新创建的数据处理线程的状态标志位置 1，拷贝完成后，将表示未处理数据结束位置的 rear 的下标顺时针移动 2M 个位置，其中， b 表示单个数据处理线程一次处理的数据个数。

上述的拷贝过程为：以 rear 为起始位置，将 rear~rear+2M-1 的连续 2M 个点拷贝到新的数据 Data[k][b]中，拷贝完成后，将表示未处理数据结束位置的 REAR 的下标顺时针移动2M 个位置，其中，k 表示第 k 个数据处理线程，b 表示单个数据处理线程一次处理的数据点数。

步骤 3.数据处理线程进行数据处理

数据处理线程 k 被创建后，将其自身的工作状态标志位 Flag[k]赋值为 1，处理数据分发线程分发下来的数据处理任务，处理完成后，该数据处理线程将其自身的工作状态标志位Flag[k]赋值为 0，该数据处理线程挂起，其中，k 的取值范围为【0，M-1】，其中，k表示该数据处理线程为第 k 个数据处理线程，M 为数据处理线程的总个数。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种基于多线程的实时数据分析任务分发处理方法，其特征在于：包括以下步骤：

（1） MZ 光纤周界入侵监测仪器的数据采集线程实时采集数据，并将采集到的数据存放至用于暂存数据的循环队列缓冲池中；

（2） MZ 光纤周界入侵监测仪器的数据分发线程检测循环队列缓冲池中的未处理数据，并检测是否存在空闲的数据处理线程，若各数据处理线程均处于忙碌状态，则动态创建新的数据处理线程，形成动态配合的多线程的任务分发处理过程，数据分发线程将循环队列缓冲池中的数据以数据任务的形式分发至 MZ 光纤周界入侵监测仪器的空闲的数据处理线程，同时，将空闲的数据处理线程的工作状态置为忙碌；

（3）数据处理线程接收到数据分发线程分发的数据任务后，对数据任务进行处理，处理完成后，数据处理线程自动将其自身的工作状态置为空闲；

所述步骤（1）中，所述的循环队列缓冲池的起始状态为一个循环的空队列，该循环队列缓冲池中具有表征未处理数据开始位置的下标 front 及表征未处理数据结束位置的下标rear，且两者的初始值均为 0；

所述步骤（2）中，数据分发线程将未处理数据分发至数据处理线程的具体步骤为：

II.查询空闲的数据处理线程数量；

III.数据分发线程对未处理数据进行拷贝，将拷贝好的数据分发到数据处理线程中，每分发完一个未处理数据，将循环队列缓冲池中的rear的下标值加 b，数据分发线程的分发速度快于数据采集线程的采集速度；b表示单次数据处理线程的处理点数；

数据分发线程检查当前是否存在未处理数据，并判断循环队列缓冲池中未处理的数据是否满足处理条件的具体方法为：判断未处理数据的点数 a 是否不小于单次数据处理线程的处理点数 b，若 a<b，则不满足处理条件，数据分发线程继续对循环队列缓冲池进行监控；若 a≥b，则满足处理条件，数据分发线程将未处理的数据拷贝并分发至空闲状态的数据处理线程进行处理，若所有的数据处理线程均处于忙碌状态，则创建新的数据处理线程，并将未处理的数据分发至新创建的数据处理线程中，同时将新创建的数据处理线程的工作状态置为忙碌；其中，未处理数据的点数 a 为 rear 顺时针到达 front 所经过的下标个数；

数据分发线程对未处理数据进行拷贝的具体方法为：以 rear 为起始位置，将连续 b个数据拷贝到新的数据 Data[k][b]中，拷贝完成后，将表示未处理数据结束位置的下标rear顺时针移动 b 个位置，其中，k 表示第 k 个数据处理线程；

每个数据处理线程均设有状态标志位，第 i 个数据处理线程的状态标志位为 Flag[i]，其中，i∈【0，M-1】，M 为数据处理线程的总个数；所述步骤（2）中，将空闲的数据处理线程的工作状态置为忙碌的具体方法为：数据分发线程依次对现有的各个数据处理线程的状态标志位进行检测，若其状态标志位的值为 0，则该数据处理线程处于空闲状态，若其状态标志位的值为 1，则该数据处理线程处于忙碌状态，检测顺序自 Flag[0]开始，直至找到第一个空闲状态的数据处理线程 k，并将该第 k 个数据处理线程的状态标志位 Flag[k]置为 1；如果现有的数据处理线程均处于忙碌状态，则创建新的数据处理线程；

所述步骤（3）中，数据处理线程将其自身的工作状态置为空闲的具体方法为：将其自身的工作状态标志位 Flag[k]赋值为 0，k 的取值范围为【0，M-1】。

2.根据权利要求1 所述的一种基于多线程的实时数据分析任务分发处理方法，其特征在于：所述步骤（1）中，所述数据采集线程将采集到的数据存放至循环队列缓冲池后，会将表征循环队列缓冲池中未处理数据开始位置的下标 front 顺时针移动，每存放一个数据，front 的值加 1。

3.一种应用如权利要求1或2所述方法的基于多线程的实时数据分析任务分发处理系统，其特征在于：包括 MZ 光纤周界入侵监测仪器的数据采集线程、数据分发线程、数据处理线程以及循环队列缓冲池，其中，所述数据采集线程用于实时采集数据信息，并将采集到的数据信息存储至循环队列缓冲池中，所述数据分发线程将循环队列缓冲池中的数据分发至所述数据处理线程，在现有的数据处理线程均处于忙碌的工作状态下，数据分发线程实时创建新的数据处理线程来处理满足条件的未处理数据，进而实现数据处理的动态分发、处理过程，所述数据处理线程对数据进行分析处理。

4.根据权利要求3所述的基于多线程的实时数据分析任务分发处理系统，其特征在于：所述数据处理线程均具有状态标志位，所述数据分发线程根据所述数据处理线程的工作状态标志位的数值判断该数据处理线程是否处于空闲状态。