CN104142967B - 一种采样数据长度可调的触发方法 - Google Patents

一种采样数据长度可调的触发方法 Download PDF

Info

Publication number
CN104142967B
CN104142967B CN201310460289.0A CN201310460289A CN104142967B CN 104142967 B CN104142967 B CN 104142967B CN 201310460289 A CN201310460289 A CN 201310460289A CN 104142967 B CN104142967 B CN 104142967B
Authority
CN
China
Prior art keywords
data
length
setting
sampled data
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310460289.0A
Other languages
English (en)
Other versions
CN104142967A (zh
Inventor
毛志宽
尹军华
孙银山
寇新民
张军民
蒋晓旭
张茗
张一茗
陈富国
马东岭
樊帅权
宋亚凯
张锦
陈卓
李少华
张海贝
李伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Pinggao Group Co Ltd
Henan Pinggao Electric Co Ltd
Original Assignee
State Grid Corp of China SGCC
Pinggao Group Co Ltd
Henan Pinggao Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Pinggao Group Co Ltd, Henan Pinggao Electric Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201310460289.0A priority Critical patent/CN104142967B/zh
Publication of CN104142967A publication Critical patent/CN104142967A/zh
Application granted granted Critical
Publication of CN104142967B publication Critical patent/CN104142967B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种采样数据长度可调的触发方法，属于数据处理技术领域。本发明通过对采样数据进行遍历，并在遍历的过程中将采样数据与设定的有效数据捕捉阈值进行比较；判断采样数据是否大于设定的有效数据捕捉阈值，如果大于设定的有效数据捕捉阈值，根据设定的截取长度截取采样数据并保存，从而实现在连续数据采集过程中有效数据的捕捉，解决了连续数据采集过程中大量无效数据与较少有效数据的分离和存储，最大程度的减少无效采样数据，节约了存储空间，有利于对存储的数据进行后续分析，另外有效数据捕捉阈值和截取长度在不同情况下动态可调，满足不同应用需求，因此具有极广的应用领域和前景。

Description

一种采样数据长度可调的触发方法
技术领域
本发明涉及一种采样数据长度可调的触发方法，属于数据处理技术领域。
背景技术
在连续数据采集过程中，如果硬件上无法实现触发功能，大量的无效数据与较少的有效数据混合在一起，若使用此数据进行后续分析，程序的执行效率低，如果在高采样率的条件下，对采集系统的存储空间也是种极大地浪费。
发明内容
本发明的目的是提供一种采样数据长度可调的触发方法，以解决目前在连续数据采集过程中，大量无效数据与少数有效数据混合在一起造成对采集系统存储空间的浪费。
本发明为解决上述技术问题而提供一种采样数据长度可调的触发方法，该触发方法的步骤如下：
1）对采样数据进行遍历，并在遍历的过程中将采样数据与设定的有效数据捕捉阈值进行比较；
2）判断采样数据是否大于设定的有效数据捕捉阈值，如果大于设定的有效数据捕捉阈值，根据设定的截取长度截取采样数据并保存。
所述的步骤1）的具体过程如下；
a.将采样的数据以数据包的形式直接存储到缓存中；
b.判断数据包的包索引是否溢出，如果溢出，则清除缓存；
c.从缓存中读取数据并遍历某路或多路数据与设定的有效数据捕捉阈值进行比较。
所述的步骤2）的具体过程如下；
A.如果采样的数据大于设定的有效数据捕捉阈值，记录相应的数据索引和包索引；
B.判断当前的包索引是否大于所记录的包索引，如果大于，根据设定的截取长度确定有效数据捕捉阈值触发的索引和阈值触发数据的长度；
C.根据确定有效数据捕捉阈值触发的索引和阈值触发数据的长度截取相应的数据并保存。
所述的有效数据捕捉阈值和截取长度均可根据实际需要进行动态调整。
本发明的有益效果是:本发明通过对采样数据进行遍历，并在遍历的过程中将采样数据与设定的有效数据捕捉阈值进行比较；判断采样数据是否大于设定的有效数据捕捉阈值，如果大于设定的有效数据捕捉阈值，根据设定的截取长度截取采样数据并保存，从而实现在连续数据采集过程中有效数据的捕捉，解决了连续数据采集过程中大量无效数据与较少有效数据的分离和存储，最大程度的减少无用采样数据，节约了存储空间，有利于对存储的数据进行后续分析，另外有效数据捕捉阈值和截取长度在不同情况下动态可调，满足不同应用需求，因此具有极广的应用领域和前景。
附图说明
图1是本发明采样数据长度可调触发方法实施例的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的说明。
在连续数据采集过程中，为了实现有效波形信息的捕捉及存储，实现采样长度的动态可调，本发明提供了一种采样数据长度可调的触发方法，该方法的过程为：首先根据设定采样数据中有效数据捕捉阈值和截取长度；然后对采样数据进行遍历，并在遍历的过程中将采样数据与设定的有效数据捕捉阈值进行比较；最后判断采样数据是否大于设定的有效数据捕捉阈值，如果大于设定的有效数据捕捉阈值，根据设定的截取长度截取采样数据并保存，从而实现有效信息的捕捉及存储。
实施例
本实施例中采样数据中有效数据的捕捉阈值T和截取长度b设定好的，如图1所示，本发明的采样数据长度可调触发方法的具体如下：
将采样的数据以数据包的形式直接存储到缓存中，在程序开始之后，进入阈值判断模块，阈值判断模块判断包索引是否溢出，防止缓存溢出，从缓存中读取N路采样数据并遍历某路或多路数据与设定阈值进行比较，当遍历的实际采样值大于设定阈值T时，记录包索引和数据索引，否则返回循环入口，
当缓存中的数据包数减去已保存包索引≥1成立时，根据已保存的包索引和数据索引确定触发阈值点的索引n1，
n1＝(i-1)n+j
其中i为记录的包索引，j为记录的数据索引，n为每包数据包含的采样点数。
确定有效数据的捕捉阈值T触发前的长度索引n2，n2＝n1-a，其中a为动态可调的阈值触发前采样点数，从索引n2开始遍历数组，截取长度为b的采样数据，并保存，其中b为动态可调的截取长度。当连续采集停止条件满足时，结束本次连续采集，否则返回循环入口，重复上述过程。
本发明实施例中整个采样系统的硬件结构包括传感器、接线盒、数据采集板卡和数据处理单元，传感器的输出信号通过接线盒接入数据采集板卡，数据采集板卡将数据上传到数据处理单元，数据处理单元采用上述方法实现可调采样长度软触发功能，以完成大量无效数据与有限有效数据分离，当缓存中数据包数减去已保存包索引大于等于1时，确定有效数据的捕捉阈值T触发数据的索引，根据设定的阈值触发数据长度，确定截取总数据的长度并保存。其中设定的采样数据中有效数据捕捉阈值和截取长度可以根据实际情况进行动态调整。本发明解决了在无硬件触发的条件下，实现了在连续数据采集过程对有效数据的捕捉，其中触发的阈值和总截取长度均动态可调，从而最大程度的减少无用采样数据，节约存储空间。

Claims (4)

1.一种采样数据长度可调的触发方法，其特征在于，该触发方法的步骤如下：
1)对采样数据进行遍历，并在遍历的过程中将采样数据与设定的有效数据捕捉阈值进行比较；
2)判断采样数据是否大于设定的有效数据捕捉阈值，如果大于设定的有效数据捕捉阈值，则对采样数据进行无效数据与有效数据的分离，根据设定的截取长度截取采样数据，并将截取的采样数据作为有效数据进行保存。
2.根据权利要求1所述的采样数据长度可调的触发方法，其特征在于，所述的步骤1)的具体过程如下；
a.将采样的数据以数据包的形式直接存储到缓存中；
b.判断数据包的包索引是否溢出，如果溢出，则清除缓存；
c.从缓存中读取数据并遍历某路或多路数据与设定的有效数据捕捉阈值进行比较。
3.根据权利要求1所述的采样数据长度可调的触发方法，其特征在于，所述的步骤2)的具体过程如下；
A.如果采样的数据大于设定的有效数据捕捉阈值，记录相应的数据索引和包索引；
B.当缓存中的数据包数减去已保存包索引≥1成立时，根据设定的截取长度确定有效数据捕捉阈值触发的索引和阈值触发数据的长度；
C.根据确定有效数据捕捉阈值触发的索引和阈值触发数据的长度截取相应的数据并保存。
4.根据权利要求1所述的采样数据长度可调的触发方法，其特征在于，所述的有效数据捕捉阈值和截取长度均可根据实际需要进行动态调整。
CN201310460289.0A 2013-09-30 2013-09-30 一种采样数据长度可调的触发方法 Active CN104142967B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310460289.0A CN104142967B (zh) 2013-09-30 2013-09-30 一种采样数据长度可调的触发方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310460289.0A CN104142967B (zh) 2013-09-30 2013-09-30 一种采样数据长度可调的触发方法

Publications (2)

Publication Number Publication Date
CN104142967A CN104142967A (zh) 2014-11-12
CN104142967B true CN104142967B (zh) 2017-11-03

Family

ID=51852141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310460289.0A Active CN104142967B (zh) 2013-09-30 2013-09-30 一种采样数据长度可调的触发方法

Country Status (1)

Country Link
CN (1) CN104142967B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10347343B2 (en) * 2015-10-30 2019-07-09 Seagate Technology Llc Adaptive read threshold voltage tracking with separate characterization on each side of voltage distribution about distribution mean
CN106844601B (zh) * 2017-01-16 2021-03-16 上海小海龟科技有限公司 一种数据存储方法及数据存储装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2413196A (en) * 2004-04-15 2005-10-19 Hitachi Ltd Data storage method in which the memory space is divided into high reliability and low reliability areas
CN1959665A (zh) * 2005-11-01 2007-05-09 中国石油大学(北京) 一种确定等间隔顺序采样数据的突变界面的方法
CN101478447A (zh) * 2009-01-08 2009-07-08 中国人民解放军信息工程大学 一种深度报文检测方法和装置
CN102651020A (zh) * 2012-03-31 2012-08-29 中国科学院软件研究所 一种海量传感器数据存储与查询方法
CN103258524A (zh) * 2006-05-24 2013-08-21 Nec显示器解决方案株式会社 具有图像缓存存储器的图像显示设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2413196A (en) * 2004-04-15 2005-10-19 Hitachi Ltd Data storage method in which the memory space is divided into high reliability and low reliability areas
CN1959665A (zh) * 2005-11-01 2007-05-09 中国石油大学(北京) 一种确定等间隔顺序采样数据的突变界面的方法
CN103258524A (zh) * 2006-05-24 2013-08-21 Nec显示器解决方案株式会社 具有图像缓存存储器的图像显示设备
CN101478447A (zh) * 2009-01-08 2009-07-08 中国人民解放军信息工程大学 一种深度报文检测方法和装置
CN102651020A (zh) * 2012-03-31 2012-08-29 中国科学院软件研究所 一种海量传感器数据存储与查询方法

Also Published As

Publication number Publication date
CN104142967A (zh) 2014-11-12

Similar Documents

Publication Publication Date Title
CN102521405B (zh) 支持高速加载的海量结构化数据存储、查询方法和系统
CN107317838B (zh) 一种基于流式数据处理架构的天文元数据归档方法及系统
CN103678718A (zh) 数据库同步方法及系统
CN102231821A (zh) 应用于远程视频监控系统的数据存储方法及系统
CN103279551B (zh) 一种基于欧氏距离的高维数据准确近邻快速检索方法
CN103412889A (zh) 智能电表的数据存储和查询方法及其系统
CN104142967B (zh) 一种采样数据长度可调的触发方法
CN106330963A (zh) 一种跨网络多节点日志采集的方法
CN103259737B (zh) 一种并行存储高速网络流量的快速定位方法
CN106033324A (zh) 一种数据存储的方法和装置
CN108319652A (zh) 一种基于hdfs的电梯数据的列式文件存储系统及方法
CN105928604A (zh) 光纤传感器的信号采集与处理方法以及装置
CN107274923A (zh) 一种提高固态硬盘中顺序读取流性能的方法及固态硬盘
CN102629235A (zh) 一种提高ddr存储器读写速率的方法
CN102612051A (zh) 基于td-lte的随机接入检测方法及装置
CN108173974A (zh) 一种基于分布式缓存Memcached的HC Model内部缓存数据淘汰方法
CN103095595B (zh) 一种基于单向并行多链表的网络数据管理方法及系统
CN105119955B (zh) 一种分布式文件系统中读目录多页支持的方法及系统
US20130246374A1 (en) Data management device, system, program storage medium and method
CN105207852A (zh) 一种基于分布式网络数据定向采集的方法
CN103646056B (zh) 一种基于特征值存储的历史数据存储和抽取方法
CN104378442B (zh) 一种减少资源竞争的Trace文件转储方法
Zhuang et al. Bee colony flow monitoring system based on SSD algorithm
CN107809462A (zh) 一种野生动物数量监控记录系统
CN114884834A (zh) 一种低开销的Top-k网络流高精度提取架构及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant