CN109709806A - 一种自适应数据采集系统 - Google Patents

Abstract

本发明提供了一种自适应数据采集系统，包括数据采集节点、数据处理节点和管理节点，所述数据采集节点与所述数据处理节点连接，所述数据处理节点与所述管理节点连接，所述管理节点与各个所述数据采集节点连接；每个数据采集节点均包括周期采集模块和自适应随机采集模块，所述周期采集模块用于按照预设周期预设规则调用不同的线程进行数据采集，所述自适应随机采集模块用于获取随机采集指令，根据周期采集模块的运行状态自适应调用所述随机采集指令相关线程进行数据采集。本发明能够利用周期采集模块的空闲时间响应管理节点的指令，并得到最优节能的调度序列，达到优化的调度结果。

Description

一种自适应数据采集系统

技术领域

本发明涉及通信领域，尤其涉及一种自适应数据采集系统。

背景技术

分布式数据采集的应用范围已经遍及到生活的每一个角落。分布式数据采集系统中对于各个数据采集节点进行有效控制可以得到较好的数据采集结果。每个数据采集节点均可以运行多个线程。线程的运行需要消耗存储资源、计算资源和电能，因此，在数据采集节点中，不同的线程调度方法产生的各种资源损耗和电量损耗也是不同的，因此，有必要优化数据采集节点的调度逻辑，降低线程调度的综合开销。

发明内容

为了解决上述技术问题，本发明提出了一种自适应数据采集系统。本发明具体是以如下技术方案实现的：

一种自适应数据采集系统，所述自适应数据采集系统包括数据采集节点、数据处理节点和管理节点，所述数据采集节点与所述数据处理节点连接，所述数据处理节点与所述管理节点连接，所述管理节点与各个所述数据采集节点连接；

每个数据采集节点均包括周期采集模块和自适应随机采集模块，所述周期采集模块用于按照预设周期预设规则调用不同的线程进行数据采集，所述自适应随机采集模块用于获取随机采集指令，根据周期采集模块的运行状态自适应调用所述随机采集指令相关线程进行数据采集。

进一步地，所述数据采集节点进行周期性数据采集并响应于所述管理节点的随机采集指令进行数据采集，并将数据采集结果传输至所述数据处理节点进行数据处理，所述数据处理节点将数据处理结果反馈至所述管理节点；

所述自适应随机采集模块可以在周期采集模块运行的间隙进行数据采集，并且以高频率保存数据采集的结果。

进一步地，所述周期采集模块包括：

线程描述模块，用于获取待调度线程的线程描述集，所述线程描述集中的每个元素均对应一个线程描述；

调度时间段划分模块，用于根据线程描述集划分调度时间段，处于相同调度时间段内的线程具备相同的优先级；

分类模块，用于将对每个调度时间段内的线程按照线程运行属性和执行占用的资源划分为并行调度类和独占调度类；

调度执行模块，用于在各个调度时间段内并行执行所述并行调度类中的线程；

调度规则获取模块，用于获取独占调度类中线程的调度规则；

序列存储模块，用于生成并存储调度序列。

进一步地，所述分类模块包括：

提取单元，用于提取所述调度时间段内的并行性线程集；

目标线程集获取单元，用于从所述并行性线程集中得到目标线程集；

划分单元，用于由目标线程集中的线程构成并行调度类，由所述调度时间段内的其它线程构成独占调度类；

所述目标线程集具有下述性质：

所述目标线程集中的线程执行占用的资源的总和小于预设阈值；

所述并行性线程集中除去目标线程集中的线程之外的其它线程的单位时间的综合能耗值的总和值最小。

进一步地，所述自适应随机采集模块维护有一个指令存储队列，所述指令存储队列中的指令按照其权值由高到低的顺序进行排列。

进一步地，所述随机采集指令的权值获取方法包括：

获取用于响应所述随机采集指令的目标线程；

获取目标线程挂起时消耗的功率；

获取目标线程执行需要的时间；

以所述功率与所述时间的比值作为所述随机采集指令的权值。

本发明实施例提供一种自适应数据采集系统，其中周期采集模块考虑了线程优先级、资源耗损和电能耗损等多个方面得到在周期采集过程中最为合理的采集线程调度结果，能够保证在线程调度过程中综合能耗较小，占用资源较低；而自适应随机采集模块能够利用周期采集模块的空闲时间响应管理节点的指令，并得到最优节能的调度序列，达到优化的调度结果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明实施例提供的一种自适应数据采集系统框图；

图2是本发明实施例提供的周期采集模块框图；

图3是本发明实施例提供的分类模块框图；

图4是本发明实施例提供的按照所述调度规则执行独占调度类中的线程的方法流程图；

图5是本发明实施例提供的向所述指令存储队列插入随机采集指令的方法流程图；

图6是本发明实施例提供的随机采集指令的权值获取方法流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开了一种自适应数据采集系统，如图1所示，所述自适应数据采集系统包括数据采集节点、数据处理节点和管理节点，所述数据采集节点与所述数据处理节点连接，所述数据处理节点与所述管理节点连接，所述管理节点与各个所述数据采集节点连接。

每个数据采集节点均包括周期采集模块和自适应随机采集模块，所述周期采集模块用于按照预设周期预设规则调用不同的线程进行数据采集，所述自适应随机采集模块用于获取随机采集指令，根据周期采集模块的运行状态自适应调用所述随机采集指令相关线程进行数据采集。

所述数据采集节点进行周期性数据采集并响应于所述管理节点的随机采集指令进行数据采集，并将数据采集结果传输至所述数据处理节点进行数据处理，所述数据处理节点将数据处理结果反馈至所述管理节点。

具体地，所述自适应随机采集模块可以在周期采集模块运行的间隙进行数据采集，鉴于自适应随机采集模块是在碎片时间运行的，因此，自适应随机采集模块以高频率保存数据采集的结果。

所述数据采集节点中运行多个线程，不同线程用于采集不同的信号。以人体信号为例，所述线程用于采集体温、脉搏、血压、血氧饱和度、心电信号、皮肤电信号等多种生理信号。以化工领域为例，所述线程用于采集温度、湿度、含氧量、生物耗氧量、PH值、各种化合物浓度等参数。

具体地，所述周期采集模块包括下述模块如图2所示，包括：

线程描述模块101，用于获取待调度线程的线程描述集，所述线程描述集中的每个元素均对应一个线程描述。

具体地，线程描述用于表征线程调度的相关参数。具体地，本发明实施例中用于进行调度的参数包括：线程优先级，线程运行属性，线程挂起消耗的资源；线程执行占用的资源；线程占用的时钟周期；线程的单位时间的综合能耗值。

具体地，所述资源可以指存储资源和计算资源，即内存消耗和/或CPU消耗。

调度时间段划分模块102，用于根据线程描述集划分调度时间段，处于相同调度时间段内的线程具备相同的优先级。

所述调度时间段的时钟周期个数为所述调度时间段内线程的时钟周期的总和值。

分类模块103，用于将对每个调度时间段内的线程按照线程运行属性和执行占用的资源划分为并行调度类和独占调度类。

调度执行模块104，用于在各个调度时间段内并行执行所述并行调度类中的线程。

并行调度类中的线程均可以并行调度。

调度规则获取模块105，用于获取独占调度类中线程的调度规则。

所述调度执行模块104还用于在并行调度结束后，按照所述调度规则执行独占调度类中的线程。

具体地，本发明实施例中优先调度优先级最高的线程，最后调度优先级最低的线程。而对于同优先级的线程被划分在一个调度时间段内，则进行精细调度。

序列存储模块106，还用于生成并存储调度序列。

在首次获得线程描述集后，所述周期采集模块的各个功能模块便可以进行线程的调度工作，在具体执行过程中，经历了线程分类，调度规则获取和具体的调度等多个环节，在执行过程中，序列存储模块记录线程的调度逻辑，并生成调度序列，以便于在下一个周期调度执行模块104可以直接根据所述调度序列进行调度，而不必再进行线程分类，调度规则获取等步骤。

具体地，分类模块103如图3所示，包括：

提取单元1031，用于提取所述调度时间段内的并行性线程集。

具体地，所述并行性线程为线程运行属性为0的线程，相应的，独占性线程为线程运行属性为1的线程。

目标线程集获取单元1032，用于从所述并行性线程集中得到目标线程集。

所述目标线程集具有下述性质：

(1)所述目标线程集中的线程执行占用的资源的总和小于预设阈值。

(2)所述并行性线程集中除去目标线程集中的线程之外的其它线程的单位时间的综合能耗值的总和值最小。

划分单元1033，用于由目标线程集中的线程构成并行调度类，由所述调度时间段内的其它线程构成独占调度类。

进一步地，本发明公开了调度执行模块中按照所述调度规则执行独占调度类中的线程的方法，所述方法能够达到综合能耗最小，占用资源较低的效果。

具体地，所述方法如图4所示，包括：

S1.获取独占调度类中的待调度线程集合。

具体地，所述待调度线程集合中的线程均属于独占调度类并且并未被调度过。

S2.判断所述待调度线程集合是否为空，若否，则从所述待调度线程集合中获取待排序组合集合。

具体地，各个所述待排序组合为具有下述特征：

(1)所述待排序组合中的元素均属于待调度线程集合。

(2)所述待排序组合中的元素的占用的资源的总和值小于预设阈值。

S3.获取所述待排序集合的第一特征值κ和第二特征值λ，所述第一特征值为待排序组合中的元素的挂起消耗资源的总和值，所述第二特征值为待排序组合中的元素的执行占用资源的总和值。

S4.计算各个待排序组合的综合特征值，所述综合特征值为ν＝aκ+bλ，其中a,b为权值。

具体地，a,b的值可以根据实际需要自行设定。

S5.选取综合特征值最高的待排序组合作为目标组合进行调度。

具体地，在进行调度时，可以对目标组合中的线程按照单位时间的综合能耗值进行降序排列，并根据排列结果依次进行调度。

S6.将目标组合中的线程从所述待调度线程集合中剔除，并返回执行步骤S1。

本发明实施例进一步公开了自适应随机采集模块的实现逻辑，为了达到利用碎片时间响应管理节点的随机采集指令的技术效果，所述自适应随机采集模块维护有一个指令存储队列，所述指令存储队列中的指令按照其权值由高到低的顺序进行排列。本发明实施例中公开了向所述指令存储队列插入随机采集指令的方法，如图5所示，包括：

S10.响应于获取到的随机采集指令，计算所述随机采集指令的权值。

具体地，所述随机采集指令的权值获取方法如图6所示，包括：

获取用于响应所述随机采集指令的目标线程；

获取目标线程挂起时消耗的功率；

获取目标线程执行需要的时间；

以所述功率与所述时间的比值作为所述随机采集指令的权值。

S20.根据所述随机采集指令对应的权值，将所述随机采集指令插入所述指令存储队列。

所述自适应随机采集模块还包括：

指令执行模块，从指令存储队列的队首提取随机采集指令，执行完成后将所述随机采集指令从所述指令存储队列中删除。

所述自适应随机采集模块能够利用周期采集模块的空闲时间响应管理节点的指令，并且在具体的执行过程中对随机采集指令按照其对于电量和时间等重要资源的消耗情况进行排序，从而得到最优节能的调度序列(指令存储队列)，达到优化的调度结果。

本发明实施例提供一种自适应数据采集系统，其中周期采集模块考虑了线程优先级、资源耗损和电能耗损等多个方面得到在周期采集过程中最为合理的采集线程调度结果，能够保证在线程调度过程中综合能耗较小，占用资源较低；而自适应随机采集模块能够利用周期采集模块的空闲时间响应管理节点的指令，并得到最优节能的调度序列，达到优化的调度结果。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种自适应数据采集系统，其特征在于：

所述自适应数据采集系统包括数据采集节点、数据处理节点和管理节点，所述数据采集节点与所述数据处理节点连接，所述数据处理节点与所述管理节点连接，所述管理节点与各个所述数据采集节点连接；

每个数据采集节点均包括周期采集模块和自适应随机采集模块，所述周期采集模块用于按照预设周期预设规则调用不同的线程进行数据采集，所述自适应随机采集模块用于获取随机采集指令，根据周期采集模块的运行状态自适应调用所述随机采集指令相关线程进行数据采集。

2.根据权利要求1所述的系统，其特征在于：

所述数据采集节点进行周期性数据采集并响应于所述管理节点的随机采集指令进行数据采集，并将数据采集结果传输至所述数据处理节点进行数据处理，所述数据处理节点将数据处理结果反馈至所述管理节点；

所述自适应随机采集模块可以在周期采集模块运行的间隙进行数据采集，并且以高频率保存数据采集的结果。

3.根据权利要求1所述的系统，其特征在于：

所述周期采集模块包括：

线程描述模块，用于获取待调度线程的线程描述集，所述线程描述集中的每个元素均对应一个线程描述；

调度时间段划分模块，用于根据线程描述集划分调度时间段，处于相同调度时间段内的线程具备相同的优先级；

分类模块，用于将对每个调度时间段内的线程按照线程运行属性和执行占用的资源划分为并行调度类和独占调度类；

调度执行模块，用于在各个调度时间段内并行执行所述并行调度类中的线程；

调度规则获取模块，用于获取独占调度类中线程的调度规则；

序列存储模块，用于生成并存储调度序列。

4.根据权利要求1所述的系统，其特征在于，所述分类模块包括：

提取单元，用于提取所述调度时间段内的并行性线程集；

目标线程集获取单元，用于从所述并行性线程集中得到目标线程集；

划分单元，用于由目标线程集中的线程构成并行调度类，由所述调度时间段内的其它线程构成独占调度类；

所述目标线程集具有下述性质：

所述目标线程集中的线程执行占用的资源的总和小于预设阈值；

所述并行性线程集中除去目标线程集中的线程之外的其它线程的单位时间的综合能耗值的总和值最小。

5.根据权利要求1所述的系统，其特征在于：

所述自适应随机采集模块维护有一个指令存储队列，所述指令存储队列中的指令按照其权值由高到低的顺序进行排列。

6.根据权利要求5所述的系统，其特征在于：

所述随机采集指令的权值获取方法包括：

获取用于响应所述随机采集指令的目标线程；

获取目标线程挂起时消耗的功率；

获取目标线程执行需要的时间；

以所述功率与所述时间的比值作为所述随机采集指令的权值。