CN108809977A - 一种分布式光纤传感大数据实时统计压缩方法 - Google Patents
一种分布式光纤传感大数据实时统计压缩方法 Download PDFInfo
- Publication number
- CN108809977A CN108809977A CN201810589873.9A CN201810589873A CN108809977A CN 108809977 A CN108809977 A CN 108809977A CN 201810589873 A CN201810589873 A CN 201810589873A CN 108809977 A CN108809977 A CN 108809977A
- Authority
- CN
- China
- Prior art keywords
- signal
- compression
- wavelet
- time
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007906 compression Methods 0.000 title claims abstract description 153
- 230000006835 compression Effects 0.000 title claims abstract description 150
- 238000000034 method Methods 0.000 title claims abstract description 66
- 239000013307 optical fiber Substances 0.000 title claims abstract description 21
- 230000002159 abnormal effect Effects 0.000 claims abstract description 82
- 230000004044 response Effects 0.000 claims abstract description 72
- 238000012544 monitoring process Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000013144 data compression Methods 0.000 claims abstract description 23
- 230000002463 transducing effect Effects 0.000 claims abstract description 11
- 238000000354 decomposition reaction Methods 0.000 claims description 22
- 230000003044 adaptive effect Effects 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000009182 swimming Effects 0.000 claims description 9
- 230000001186 cumulative effect Effects 0.000 claims description 8
- 238000009825 accumulation Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001235 sensitizing effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
- G08C23/06—Non-electrical signal transmission systems, e.g. optical systems through light guides, e.g. optical fibres
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了一种分布式光纤传感大数据实时统计压缩方法，涉及传感信号压缩技术领域，步骤1.将整个监测范围内的各空间点长时间累积采集到的一维时间响应信号作为计量信号，并分别对各空间点的计量信号进行分位数统计；步骤2.根据分位数统计结果确定各空间点的异常信号判定标准；步骤3.将某一空间点一段时间内累积到的一维时间响应信号作为一个信号处理单元，并通过该空间点的异常信号判定标准对所述信号处理单元进行异常信号判断；若所述信号单元为异常信号，则对所述信号处理单元进行数据压缩操作。本发明大大提高了连续时空不间断监测过程产生的海量数据的压缩效率，能满足海量数据压缩的实时性要求。
Description
技术领域
本发明属于传感信号压缩技术领域，具体涉及一种分布式光纤传感大数据实时统计压缩方法。
背景技术
分布式光纤声音/振动传感是以光纤为传感元件和传输介质，感测沿线环境中声波、振动等物理量的空间分布和时间变化信息，是实现大范围环境动态监测的一种重要技术手段，在基础设施安全监测领域中发挥重要作用。在长距离和高空间分辨率要求的监测中，分布式光纤声音/振动传感具有电子传感器件不可比拟的优势，在边境安全、军事基地防范、油气管道泄漏、社区安全以及建筑结构监测等领域具有广泛应用前景。
分布式光纤声音/振动传感系统在大范围全天候不间断监测过程中将产生巨大的数据量。例如针对监测距离为50公里的典型分布式光纤声音/振动传感系统，按照空间分辨率10米，采样频率50KHz计算，分布式光纤声音/振动传感系统每秒将产生250M个监测数据，每个监测数据按2个字节计算，则每秒钟数据量为500M字节，每小时数据量为1.7T字节。在全天候不间断监测过程中，每一天24小时即会产生40.8T字节的海量数据。随着分布式光纤声音/振动传感系统性能指标的不断提高，例如，单点检测频带越来越宽，监测距离越来越远，空间分辨率越来越高，其单位时间内获得的传感节点数及传感数据量还会成倍、几十倍、上百倍地增加。对于后面的数据存储、实时传输和处理造成巨大压力。如果不能很好解决此矛盾，高性能的系统指标在实际应用中并不能真正发挥作用。
为解决分布式光纤声音/振动传感中海量数据在传输和存储中占用大量资源的问题，将数据压缩技术引入到数据采集系统中，是一种行之有效的解决思路和途径。目前基于小波变换的数据压缩方法已经在一维、二维信号压缩中占据重要地位，但其典型压缩比难以满足分布式光纤传感系统高密度时空采集网格下实时产生的海量数据的压缩需求，此外，基于Shearlet变换的压缩方法存在运算量大、计算复杂的问题，无法实现实时压缩。
发明内容
本发明的目的在于：为解决采集分布式光纤声音/振动传感中连续时空不间断监测过程产生的海量数据时，难以满足对海量数据进行实时压缩的问题，本发明提供一种分布式光纤传感大数据实时统计压缩方法。
本发明采用的技术方案如下：
一种分布式光纤传感大数据实时统计压缩方法，包括以下步骤：
步骤1.将整个监测范围内的各空间点长时间累积采集到的一维时间响应信号作为计量信号，并分别对各空间点的计量信号进行分位数统计；
步骤2.根据分位数统计结果确定各空间点的异常信号判定标准；
步骤3.将某一空间点一段时间内累积到的一维时间响应信号作为一个信号处理单元，并通过该空间点的异常信号判定标准对所述信号处理单元进行异常信号判断；若所述信号单元为异常信号，则对所述信号处理单元进行数据压缩操作。
进一步地，步骤3中所述的数据压缩操作采用有损压缩和无损压缩级联的方式；其中，有损压缩采用一种基于自适应OTSU阈值的提升小波变换压缩方法，无损压缩采用游程编码方法和霍夫曼编码方法。
进一步地，确定各空间点的异常信号判定标准的具体步骤如下：
步骤A1.对整个监测范围内各空间点采集的分布式光纤声音/振动传感信号，在时间轴上进行长时间累积得到二维时空累积响应信号，记为XM,N，其中，M表示长时间累积时间，N表示空间采集的序列长度；
步骤A2.以空间点为单位，从二维时空累积响应信号XM,N中获取各空间点上长时间累积采集得到的一维时间响应信号，记作X:,n(n＝1,2,…,N)；
步骤A3.将各空间点的一维时间响应信号X:,n作为统计对象进行信号幅值的分位数统计：将一维时间响应信号X:,n幅值的上四分位数记作Q2，将一维时间响应信号X:,n幅值的下四分位数记作Q1；
步骤A4.根据上四分位数Q2和下四分位数Q1计算得到一维时间响应信号X:,n幅值的正常值取值范围(p,q)，其中，p＝Q1-k×(Q2－Q1)，q＝Q2+k×(Q2－Q1)，k的取值根据应用场景确定，为固定值；
步骤A5.根据正常值取值范围(p,q)确定一维时间响应信号X:,n中的异常点，并计算所述异常点的个数占一维时间响应信号X:,n的信号长度的比例，记作ar；
步骤A6.根据比例ar确定一个异常比例阈值at作为异常信号判定标准。
进一步地，所述的基于自适应OTSU阈值的提升小波变换压缩方法的具体步骤如下：
步骤B1.选择小波基；
步骤B2.利用小波基对异常信号进行基于自适应OTSU阈值的提升小波分解，得到异常信号的低频分量和高频分量，即为提升小波系数；
步骤B3.通过自适应OTSU阈值对提升小波系数进行选取，得到提升小波阈值压缩系数；
步骤B4.根据提升小波阈值压缩系数计算压缩比和均方根误差；
步骤B5.选取多个不同的小波基并依次执行步骤B2-B4，得到对应的提升小波阈值压缩系数、压缩比和均方根误差；
步骤B6.根据压缩比和均方根误差对不同小波基下提升小波的压缩效果进行比较，得到最优小波基，并将最优小波基对应的提升小波阈值压缩系数记作C。
进一步地，得到异常信号的提升小波系数的具体步骤如下：
步骤B2.1.确定提升小波分解的层数N；
步骤B2.2.对异常信号进行提升小波分解，得到异常信号的第n层(1≤n≤N)小波分解后的低频系数cAn和高频系数cDn；
步骤B2.3.对第n(1≤n≤(N-1))层小波分解后的低频系数cAn进行提升小波分解，得到第(n+1)层提升小波分解后的低频系数cAn+1和高频系数cDn+1；
步骤B2.4.将得到的低频系数cAn(1≤n≤N)和高频系数cDn(1≤n≤N)按下标n从大到小的顺序进行排列，得到低频分量cAs＝cAn和高频分量cDs＝[cDn,…,cD1]。
进一步地，得到提升小波阈值压缩系数的具体步骤如下：
步骤B3.1.分别确定低频分量和高频分量的OTSU上界阈值，分别记作cAth和cDth；
步骤B3.2.选取低频分量中绝对值大于cAth的低频系数，记作coff_A；选取高频分量中绝对值大于cDth的高频系数，记作coff_D；
步骤B3.3.将低频系数coff_A和高频系数coff_D进行合并，得到提升小波阈值压缩系数。
进一步地，所述的游程编码方法的具体步骤如下：
步骤C1.初始化游程编码矩阵B＝[]，初始化变量num_zero＝0,index＝1,计算提升小波阈值压缩系数C的长度，记作length，进入步骤C2；
步骤C2.若index≤length，则进入步骤C3；若index>length，则进入步骤C5；
步骤C3.若满足A(index)≠0，则使bit1＝num_zero,bit2＝A(index),B＝[B,bit1,bit2],num_zero＝0，进入步骤C4；若A(index)＝0，则使num_zero＝num_zero+1，进入步骤C4；
步骤C4.令index＝index+1，进入步骤C2；
步骤C5.若num_zero>0，则使B＝[B,num_zero－1,0]，进入步骤C6；若num_zero≤0，则进入步骤C6；
步骤C6.输出的游程编码矩阵B，即游程编码矩阵B为提升小波阈值压缩系数C的游程编码结果，记作Crlc。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明中，在连续时空不间断声音、振动等动态信号监测过程中，将整个范围内的各空间点长时间累积采集到的一维时间响应信号作为计量信号，并分别对各空间点的计量信号进行分位数统计，根据统计结果确定各空间点的异常信号信号判定标准，对某一空间点实际累积采集到的一维时间响应信号通过异常信号判定标准判断该信号是否为异常信号，对判断为异常信号的一维时间响应信号进行数据压缩操作。这种基于统计检测的数据压缩方法，大大提高了连续时空不间断监测过程产生的海量数据的压缩效率。
2、本发明中，针对分布式光纤声音/振动传感信号的有损压缩方法，提出一种基于自适应OTSU阈值的提升小波(LWT)变换压缩方法，比基于小波的压缩方法从压缩比和实效性都有不同程度的提升。利用自适应OTSU阈值选取LWT分解过程的低频系数和高频系数，比传统基于硬或软阈值的系数选取方法，具有环境自适应性。
3、本发明中，在数据压缩过程中，采用有损压缩与多种无损压缩级联方法，最大程度提高数据压缩比，在保证压缩实效性条件下，这种不同压缩方法级联的方法比单独采用某种压缩方法的压缩比提升接近3倍，提高了压缩性能。
4、本发明中，通过统计检测及有损、无损压缩方法级联的方法，不仅使得整个数据的压缩比达到最大，还能实现152.1的统计压缩比，压缩时间小于数据累积时间，满足海量传感数据对压缩比和压缩时间的要求。
5、本发明中，该方法还应用到能源、交通、土木结构、健康监测等获得的分布式光纤声音/振动传感信号压缩，以及其他全分布式或点阵式光纤声音/振动传感信号的压缩中，应用范围广。
附图说明
图1为本发明的分布式光纤传感大数据实时统计压缩方法流程图；
图2为本发明的分布式光纤声音/振动传感系统硬件架构图；
图3为本发明中基于分位数统计方法确定的一维时间响应信号正常值取值范围示意图；
图4为本发明中经过异常信号判定标准判断得到的非异常信号、异常信号的时空分布图；
图5为本发明中统计的异常信号占总体信号的比例；
图6为本发明中提升小波系数中低频系数选取示意图；
图7为本发明中提升小波系数中高频系数选取示意图；
图8为本发明中5km处的空间点数据在不同小波基下的压缩效果对比图；
图9为本发明中8km处的空间点数据在不同小波基下的压缩效果对比图；
图10为本发明中游程编码方法的流程图；
图11为本发明中霍夫曼编码方法的流程图；
图12为本发明中LWT和DWT对不同空间点异常信号进行压缩时的压缩时间对比图；
图13为本发明中LWT和DWT对不同空间点异常信号进行压缩时的压缩比对比图；
图14为本发明中第一组重构信号与原始信号的时域对比图；
图15为本发明中第一组重构信号与原始信号的频域对比图；
图16为本发明中第二组重构信号与原始信号的时域对比图；
图17为本发明中第二组重构信号与原始信号的频域对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1
一种分布式光纤传感大数据实时统计压缩方法，处理对象为长时间连续时空监测产生的海量的分布式光纤声音/振动传感信号，一般由基于相敏或偏振敏感光时域反射技术的分布式光纤声音/振动传感系统产生，通常空间点较多，各空间点的时间采样率也比较高，采集的数据量比较大。基于相敏光时域反射技术的分布式光纤声音/振动传感系统数据采集硬件由三个部分组成：探测光缆、光信号解调设备和信号处理主机，如图2所示。其硬件采集参数如下：空间分辨率0.5Hz,空间相邻采样点间距2m，数据时间采样率2Hz，时间相邻采样点间距0.5s。探测光缆通常采用普通单模通信光纤或特殊声音、振动增敏型传感光缆，一般沿地下管道、输电线缆、城镇道路埋地铺设，也可直接利用现已铺设好的通信光缆空余纤芯。光信号解调设备是该系统的核心，其内部组成器件主要包括光学器件和电学器件两类。解调出的光信号由光电探测器转换成电信号，再由高速采集卡进行信号同步采集，最后数字电信号通过网络等接口实时传输给信号处理主机。信号处理主机为普通电脑主机(PC)或FPGA/DSP嵌入式主板，用于光纤传感信号的分析、处理，通过特定信号处理算法得到引起声波、振动等的事件信息，并由光时域反射原理确定其位置，以及对感测事件进行智能识别和分类。
以电力线缆安全监测过程中长时间连续时空监测产生的海量的分布式光纤声音/振动传感信号为例，整个数据压缩流程如图1所示：首先将整个监测范围内的各空间点长时间累积采集到的一维时间响应信号作为计量信号，并分别对各空间点的计量信号进行分位数统计，根据分位数统计结果确定各空间点的异常信号判定标准。将某一空间点一段时间内实际累积采集到的一维时间响应信号作为一个信号处理单元，并通过该空间点的基于分位数统计确定的异常信号判定标准对该信号处理单元进行异常信号判断。若该信号处理单元判定为非异常信号，则将该信号处理单元所在的时间段信号置为0；若该信号处理单元判定为异常信号，则对该信号处理单元所在的时间段信号进行数据压缩操作。数据压缩操作采用有损压缩和无损压缩级联的方式。其中，有损压缩采用一种基于自适应OTSU阈值的提升小波变换压缩方法，无损压缩采用游程编码方法和霍夫曼编码方法。数据解压操作则对应于压缩过程，分别通过霍夫曼解码、游程解码和提升小波逆变换实现压缩信号的重构。其中，确定判断标准的具体步骤如下：
步骤A1.对整个监测范围内各空间点采集的分布式光纤声音/振动传感信号，在时间轴上进行长时间累积得到二维时空累积响应信号，记为XM,N。XM,N的表现形式为：XM,N＝{x(m,n),m＝1,2,…M,n＝1,2,…N}，其中，m表示时间维数，n表示空间维数，M和N分别表示长时间累积时间和空间采集的序列长度。本实施例中，M＝172800，N＝15000，对应的监测距离为30公里，监测时间为24小时。
步骤A2.以空间点为单位，从二维时空累积响应信号XM,N中获取各空间点上长时间累积采集得到的一维时间响应信号，记作X:,n(n＝1,2,…,N)。
步骤A3.将各空间点的一维时间响应信号X:,n作为统计对象进行信号幅值的分位数统计：将一维时间响应信号X:,n幅值的上四分位数记作Q2，将一维时间响应信号X:,n幅值的下四分位数记作Q1。即：首先统计各空间点长时间段采集得到的一维时间响应信号X:,n(n＝1,2,…,N)幅值的上四分位数，即75％分位数，记作Q2，然后统计一维时间响应信号X:,n(n＝1,2,…,N)幅值的下四分位数，即25％分位数，记作Q1。
步骤A4.根据上四分位数Q2和下四分位数Q1计算得到一维时间响应信号X:,n幅值的正常值取值范围(p,q)，p和q分别为无异常信号时信号幅值的下界和上界，p的计算方式为：p＝Q1-k×(Q2－Q1)，q的计算方式为：q＝Q2+k×(Q2－Q1)。k的取值根据应用场景确定，为固定值，本实施例中，k的取值为4。
步骤A5.根据正常值取值范围(p,q)确定一维时间响应信号X:,n中的异常点，并计算所述异常点的个数占一维时间响应信号X:,n的信号长度的比例，记作ar。其中，ar的计算方式为：Na表示一维时间响应信号X:,n中异常点的个数，Nal表示一维时间响应信号X:,n的信号长度。
步骤A6.根据比例ar确定一个异常比例阈值at作为异常信号判定标准。
根据异常信号所占的比例ar，确定一个异常比例阈值，异常比例阈值记作at，将异常比例阈值at作为异常信号判定标准。根据无异常空间点的异常比例和有异常空间点的异常比例的差异，确定一个异常比例阈值at。将异常比例大于异常比例阈值at的一维时间响应信号X:,n判定为异常信号，该异常信号所在的空间点判定为有异常的空间点。类似地，将异常比例小于或等于异常比例阈值at的一维时间响应信号X:,n判定为非异常信号，该非异常信号所在的空间点判定为无异常的空间点。异常比例阈值at一般在0.1％以下。本实施例中，at＝0.0005。
实际监测过程中，将每一个空间点某一时间段实际采集到的一维时间响应信号作为一个信号处理单元，若该信号处理单元中异常点的个数占该信号处理单元长度的比例大于基于分位数统计得到的异常比例阈值at，则判定该信号处理单元为异常信号，该信号处理单元对应的一维时间响应信号Xabn(即原始信号)，并对该信号进行数据压缩操作。反之则判定该信号处理单元为非异常信号，对应的一维时间响应信号Xn，并对该信号进行置零处理。
例如，针对监测距离为30公里，监测时间为24小时的分布式光纤声音/振动传感信号，空间分辨率0.5Hz，空间相邻采样点间距2m，数据时间采样率2Hz，时间相邻采样点间距0.5s，对应的空间点个数为15000，各空间点以1分钟内采集到的信号作为一个基本信号处理单元，24小时数据将产生1440个信号处理单元。依据各空间点的异常信号的判断标准，得到各空间点经过异常检测得到的非异常信号和异常信号的时空分布图，如图4所示。图4中实际异常信号占一维时间响应信号的时空点比例较低，如图5所示仅为2.8％；无异常信号占一维时间响应信号的时空点比例为97.2％。即：基于分位数统计方法确定异常信号判定标准后，需要进行压缩的有效数据仅占原始海量数据的2.8％，有效减少了大部分无效数据，大大提高数据压缩与存储资源利用的有效性。
对一维时间响应信号Xabn进行数据压缩的过程采用有损压缩和无损压缩级联的方式，有损压缩采用一种基于自适应OTSU阈值的提升小波变换(LWT)压缩方法，无损压缩采用游程编码方法和霍夫曼编码方法。其中，基于自适应OTSU阈值的提升小波变换(LWT)压缩方法的具体步骤如下：
步骤B1.选择小波基。
步骤B2.利用小波基对异常信号进行提升小波分解，得到异常信号的低频分量和高频分量，即为提升小波系数。得到异常信号的提升小波系数的具体步骤如下：
步骤B2.1.确定提升小波分解的层数N。
其中，层数N的值由一维时间响应信号Xabn决定。若一维时间响应信号Xabn为高频信号(>5Hz即为高频)，则层数N宜设置为多层(>3)；若一维时间响应信号Xabn为低频信号(≤5Hz即为低频)，则层数N宜设置为少层(≤3)。
步骤B2.2.对异常信号进行提升小波分解，得到异常信号的第n层(1≤n≤N)小波分解后的低频系数cAn和高频系数cDn。
步骤B2.3.对第n(1≤n≤(N-1))层小波分解后的低频系数cAn进行提升小波分解，得到第(n+1)层提升小波分解后的低频系数cAn+1和高频系数cDn+1。
步骤B2.4.将得到的低频系数cAn(1≤n≤N)和高频系数cDn(1≤n≤N)按下标n从大到小的顺序进行排列，得到低频分量cAs＝cAn和高频分量cDs＝[cDn,…,cD1]，低频分量cAs和高频分量cDs即为提升小波系数。
步骤B3.通过自适应OTSU阈值对提升小波系数进行选取，得到提升小波阈值压缩系数，提升小波系数选取过程如下：
步骤B3.1.分别确定低频分量和高频分量的OTSU上界阈值，分别记作cAth和cDth。
得到低频分量cAs和高频分量cDs的OTSU上界阈值的具体步骤如下：
步骤B3.1.1.对低频分量cAs和高频分量cDs进行预处理：对低频分量cAs和高频分量cDs中的数据进行取绝对值处理，将取绝对值处理后的低频分量cAs和高频分量cDs分别记作cAsr和cDsr。
步骤B3.1.2.确定低频分量cAs和高频分量cDs的OTSU上界阈值。包括以下步骤：
步骤BC1.将低频分量cAsr的最大值记作cAsr-max，将低频分量cAsr的最小值记作cAsr-min，依次选择cAsr-min,cAsr-min+1,cAsr-min+2,...,cAsr-max作为分割阈值，记作cAsr-div。
步骤BC2.将分割阈值cAsr-div作为低频分量cAsr的目标区域和背景区域的分割标准，设低频分量cAsr中目标区域A为cAsr(cAsr>cAsr-div)，设低频分量cAsr中背景区域B为cAsr(cAsr≤cAsr-div)。将低频分量cAsr中目标区域A所占的比例记作PA，将低频分量cAsr中背景区域B所占的比例记作PB。
步骤BC3.将低频分量cAsr中目标区域A中cAsr(cAsr>cAsr-div)的数据的均值记作cAsep-a，将低频分量cAsr中背景区域B中cAsr(cAsr≤cAsr-div)的数据的均值记作cAsep-b，根据均值cAsep-a和均值cAsep-b计算低频分量cAs在分割阈值为cAsr-div时的类间方差cAotsu，类间方差cAotsu的计算形式如下：
cAotsu＝PA×PB×(cAsep-a－cAscp-b)2
将计算得到的类间方差cAotsu的最大值对应的分割阈值cAsr-div作为低频分量cAs所求的OTSU上界阈值，低频分量cAs的OTSU下界阈值为低频分量cAs的OTSU上界阈值的相反数，即-cAsr-div。同理可求高频分量cDs的OTSU上界阈值和OTSU下界阈值。
步骤B3.2.选取低频分量中绝对值大于cAth的低频系数，记作coff_A；选取高频分量中绝对值大于cDth的高频系数，记作coff_D。
对于低频分量cAs，保留低频分量cAs中绝对值大于阈值cAth的部分，如图6所示，即保留图中两条阈值线以外的部分，对低频分量cAs中绝对值小于等于阈值cAth的部分，即两条阈值线之间的部分，进行置零处理。将得到的阈值cAth处理后保留的低频系数记作coff_A。相同地，高频分量cDs的自适应OTSU阈值记作cDth，保留高频分量cDs中绝对值大于阈值cDth的部分，如图7所示，将高频分量cDs通过阈值cDth处理后保留的高频系数记作coff_D。
步骤B3.3.将低频系数coff_A和高频系数coff_D进行合并，得到提升小波阈值压缩系数。
步骤B4.根据提升小波阈值压缩系数计算压缩比和均方根误差。其中，压缩比的计算方式包括以下内容：
(1)对有损压缩部分的压缩比CRy：
将提升小波阈值压缩系数中非零元素的个数记作Nnoz，则只需保存提升小波系数C中的非零元素及非零元素的位置，故有损压缩部分的压缩比CRy的计算方式为：其中，Naal表示一维时间响应信号Xabn的信号长度。
(2)对无损压缩部分的压缩比CRn：
无损压缩部分的压缩比CRn的计算方式为：其中，Naal表示一维时间响应信号Xabn的信号长度，Lmin表示对一维时间响应信号Xabn中每一个元素进行二进制“0-1”编码所需要的最小码长，Chuff-L表示对一维时间响应信号Xabn进行有损压缩和无损压缩后得到的Cre-huff的长度。其中，最小码长为满足约束条件下的最小的n的取值。其中，max(Xabn)表示一维时间响应信号Xabn中最大的信号值，min(Xabn)表示一维时间响应信号Xabn中最小信号值。
均方根误差RMSE的计算方式如下：
其中，X表示一维时间响应信号Xabn，Xrec表示一维时间响应变换信号re_Xabn，n表示一维时间响应信号Xabn的信号长度。
步骤B5.选取多个不同的小波基并依次执行步骤B2-B4，得到对应的提升小波阈值压缩系数、压缩比和均方根误差。
步骤B6.根据压缩比和均方根误差对不同小波基下提升小波的压缩效果进行比较，得到最优小波基，并将最优小波基对应的提升小波阈值压缩系数记作C。
如图8和图9所示，图中压缩结果为某电力线缆监测过程中5km和7km处的两个空间点振动数据在不同小波基下的压缩效果对比图，由图看出两个空间点数据均在“db6”小波基上压缩比达到最大，分别为1.877和1.903，同时在“db6”小波基上的均方根误差相对较低，说明“db6”小波基在数据重构时也具有良好的表现，故选用“db6”小波基作为最优小波基进行提升小波压缩。
以二层提升小波分解为例，利用“db6”小波基对一维时间响应信号Xabn进行二层提升小波分解，得到一维时间响应信号Xabn的低频分量cAs和高频分量cDs。本实施例使用MATLAB R2012b小波分析工具箱中提供的提升小波方案，其中，基于“db6”小波基的提升方案如下表所示，依据表中的提升因子取值可实现对信号的提升小波压缩。
| 提升步骤 | 提升因子取值 |
| 1 | [-4.4345,0] |
| 2 | [-0.0633,1],[0.2146,0] |
| 3 | [9.9700,-1],[-4.4931,-2] |
| 4 | [-0.0237,3],[0.0574,2] |
| 5 | [2.3565,-3],[-0.6788,-4] |
| 6 | [-9.9117*10^(-4),5],[0.0072,4] |
| 7 | [0.0941,-5] |
| 8 | [3.1215] |
| 9 | [0.3204] |
具体步骤如下：
步骤BS1.将一维时间响应信号Xabn根据数据的奇偶顺序分为2组，其中，奇数序列记作Xodd，偶数序列记作Xeven。
步骤BS2.对奇数序列Xodd和偶数序列Xeven分别进行迭代更新，将迭代更新后的Xodd作为第一层提升小波分解后的低频系数cA1，将迭代更新后的Xeven作为第一层提升小波分解后的高频系数cD1。依据表中“db6”小波基的提升因子取值对奇数序列Xodd和偶数序列Xeven分别进行迭代更新的具体计算形式如下：
其中，“＜＜”表示逻辑左移运算符，“＞＞”表示逻辑右移运算符。
步骤BS3.对第一层提升小波分解后的低频系数cA1进行提升小波分解，得到第一层提升小波分解后的低频系数cA2和高频系数cD2，即再次执行步骤BS1和步骤BS2。其中，在执行步骤BS1时，须将一维时间响应信号Xabn更改为低频系数cA1。
一维时间响应信号Xabn进行两层提升小波分解后得到的低频分量记作cAs，得到的高频分量记作cDs，此时，cAs＝cA2，cDs＝[cD2,cD1]。
无损压缩过程中，如图10所示，游程编码的具体步骤如下：
步骤C1.初始化游程编码矩阵B＝[]，初始化变量num_zero＝0,index＝1,计算提升小波阈值压缩系数C的长度，记作length，步骤C2。
步骤C2.若index≤length，则进入步骤C3；若index>lengt，则进入步骤C5；
步骤C3.若满足A(index)≠0，则使bit1＝num_zero,bit2＝A(index),B＝[B,bit1,bit2],num_zero＝0，进入步骤C4；若A(index)＝0，则使num_zero＝num_zero+1，进入步骤C4。
步骤C4.令index＝index+1，进入步骤C2。
步骤C5.若num_zero>0，则使B＝[B,num_zero－1,0]，进入步骤C6；若num_zero≤0，则进入步骤C6。
步骤C6.输出的游程编码矩阵B，即游程编码矩阵B为提升小波阈值压缩系数C的游程编码结果，记作Crlc。
如图11所示，根据游程编码结果Crlc再进行霍夫曼编码的具体步骤如下：
步骤D1.获取一维时间响应信号Xabn中的符号集S{S1,S2,…,Sn}及其对应的概率集P{P1,P2,…,Pn}。
步骤D2.根据符号集S和概率集P得到符号集S中每一个符号Si(1≤i≤n)的霍夫曼编码表，记作dic。其中，获取霍夫曼编码表的具体方法为：按符号集S中符号出现的概率的大小进行排队，把排队得到的队列中的两个最小的概率相加，相加的结果作为新的概率和剩余的概率重新排队，再把重新排队得到的队列中的最小的两个概率相加，将相加的结果作为新的概率和剩余的概率重新排队，如此循环，直到最后变成1。每次相加时都将“0”和“1”赋与相加的两个概率，读出时由该符号开始一直走到最后的“1”，将路线上所遇到的“0”和“1”按最低位到最高位的顺序排好，就是该符号的霍夫曼编码，即得到符号集S中的每一个符号的编码的霍夫曼编码表dic。
步骤D3.根据霍夫曼编码表dic对游程编码结果Crlc进行霍夫曼编码，得到游程编码结果Crlc的编码数据集合，记作Chuff。即对监测有异常的信号进行有损压缩和无损压缩后，完成了分布式光纤声音/振动信号大数据的实时统计压缩，最终数据压缩的结果为Chuff。
对一维时间响应信号Xabn进行有损压缩和无损压缩后，完成分布式光纤声音/振动信号大数据的实时统计压缩，最后数据压缩结果即为Chuff。
数据重构过程对应于数据压缩过程也分为两部分：有损重构和无损重构。其中，无损重构包括霍夫曼解码和游程解码两个过程，其具体步骤如下：
1)使用霍夫曼编码表dic对经过霍夫曼编码后的编码数据集合Chuff进行霍夫曼解码：将数据集合Chuff中的码字与霍夫曼编码表dic中的符号进行一一对应，得到霍夫曼解码数据集合，记作Cre-huff。
2)对霍夫曼解码数据集合Cre-huff进行游程解码：首选取霍夫曼解码数据集合Cre-huff的奇数序列{O1,O3,…,O2n-1}和偶数序列{E2,E4,…,E2n}，其中，n表示霍夫曼解码数据集合Cre-huff的奇偶序列的长度。然后对偶数序列{E2,E4,…,E2n}进行插值，在E2前插入O1个零，在E4前插入O3个零……在E2n前插入O2n-1个零，完成插值后即得到霍夫曼解码数据集合Cre-huff游程解码后的结果，解码后的数据记为游程解码数据集合Cre-rlc。
有损重构是基于提升小波逆变换进行，其具体步骤如下：
步骤G1.从游程解码数据集合Cre-rlc中提取出低频系数re_cAn以及每层提升小波变换后的高频系数re_cDi(1≤i≤n)，低频系数re_cAn和高频系数re_cDn中n的值与提升小波分解的层数N相等。即第一层提升小波分解后的高频系数cD1对应的第一层提升小波变换后的高频系数为re_cD1，第二层提升小波分解后的高频系数cD2对应的第二层提升小波变换后的高频系数为re_cD2。
步骤G2.对第n层提升小波变换后的高频系数re_cDn与低频系数re_cAn进行提升小波逆变换，得到第n-1层提升小波变换后的低频系数re_cAn-1。对高频系数re_cDn与低频系数re_cAn进行迭代更新。若n的值大于2，则对第n-1层提升小波变换后的高频系数re_cDn-1与低频系数re_cAn-1再次进行提升小波逆变换，得到第n-2层提升小波变换后的低频系数re_cAn-2。其中，该步骤迭代更新的的具体计算形式如下：
步骤G3.重复步骤G2，直到得到第一层提升小波变换后的低频系数re_cA1。对第一层提升小波变换后的低频系数re_cA1和高频系数re_cD1进行提升小波逆变换，得到重构的一维时间响应信号re_Xabn，即为重构信号。
图14为第一组重构信号re_Xabn与原始信号Xabn的时域比较，图15为第一组重构信号re_Xabn与原始信号Xabn的频域比较，图16为第二组重构信号re_Xabn与原始信号的时域比较，图17为第二组重构信号re_Xabn与原始信号Xabn的频域比较，图14-17中的实线表示原始信号Xabn，虚线表示重构信号re_Xabn。从图14和图16的信号时域比较图可看出两组重构信号re_Xabn均完整保留了原始信号Xabn中主要的时间分量，较好地恢复出原始信号Xabn；同时，从图15和图17的信号频域比较图可看出两组重构信号re_Xabn完整保留了原始信号Xabn中主要的频率成分，较好地恢复出原始信号Xabn中的频率信息。说明了该方法压缩过程能够保证动态监测信号的重构质量。
针对监测距离为30公里，监测时间为24小时的分布式光纤声音/振动传感信号，空间分辨率0.5Hz，空间相邻采样点间距2m，数据时间采样率2Hz，时间相邻采样点间距0.5s，对应的空间点个数为15000，数据量高达3.6G。经过统计压缩，最终将产生的3.6G的分布式光纤声音/振动传感信号数据压缩到24.2M。针对该实施例其所有空间点的平均统计压缩比为152.1。其中，进入数据压缩操作的异常信号占总体信号的比例为2.8％；对于异常信号通过提升小波的有损压缩比为1.8，级联游程编码方法及霍夫曼编码方法后，压缩比达到4.3。重构的均方根误差为0.0423V，拟合度为0.7996，满足压缩前后数据的一致性。对于异常信号数据总的压缩时间为12.3小时,小于采集时间24小时，满足实时压缩的需求。本实施例中，异常检测的实时数据时间长度较短，为1分钟，若延长处理单元时间，压缩时间还会进一步缩短。
实施例2
在实施例一的基础上，可直接通过压缩比、均方根误差、拟合度和压缩时间四个评价指标对基于自适应OTSU阈值的提升小波变换(LWT)压缩方法的压缩性能进行评估。
其中，拟合度R-s的计算方式如下：
其中，X表示原始信号Xabn，Xrec表示重构信号re_Xabn，n表示原始信号Xabn的信号长度。
在Windows 7、64位、i3-4160 CPU、MATLAB R2012b软件环境下，对提升小波变换(LWT)与离散小波变换(DWT)底层运算效率进行比较。
针对监测距离为30公里的分布式光纤声音/振动传感系统，空间分辨率2米，时间采样率2Hz，随机抽取5km、8km两个空间点的24小时连续时空监测数据进行统计压缩。
其中，对5km处的空间点，依据该空间点的异常信号的判断标准，得到的有异常信号占总体信号的比例为8.6％。针对异常信号，基于LWT与DWT进行压缩的比较结果如下表所示。由表可以得出，LWT相比于DWT在压缩时间上具有明显优势，使用LWT对数据进行压缩所用的总时间为0.075秒，而使用DWT所花费的总时间达到0.305秒。此外，在均方根误差与拟合度近似的前提下，LWT相较于DWT还获得了更高的压缩比，其中LWT达到的压缩比为1.876，而DWT达到的压缩比为1.685。
对8km处的空间点，依据该空间点的异常信号的异常信号判定标准，得到的异常信号占总体信号的比例为6.5％。针对异常信号，基于LWT与DWT进行有损压缩的比较结果下表所示。由表可以得出，LWT在压缩时间上比DWT具有明显优势，同时，在均方根误差与拟合度近似的前提下，还获得了更高的压缩比。
| 算法 | 压缩比 | 均方根误差(V) | 拟合度 | 压缩时间(s) |
| LWT | 1.832 | 0.0408 | 0.796 | 0.056 |
| DWT | 1.626 | 0.0407 | 0.793 | 0.228 |
分别基于LWT与DWT对10个空间点24小时数据进行统计压缩，其中对有异常的信号处理单元进行有损压缩结果如图12和13所示，图12为LWT和DWT对不同空间点异常信号进行压缩时的压缩时间对比图，图13为LWT和DWT对不同空间点异常信号进行压缩时的压缩比对比图，图12和图13中的灰色矩形区域表示DWT，黑色区域表示LWT。由图12和13可以看出，LWT的时效性整体优于DWT，其压缩比也优于DWT，说明了本发明提出的基于自适应OTSU阈值的提升小波变换(LWT)压缩方法进行有损压缩的有效性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种分布式光纤传感大数据实时统计压缩方法，其特征在于，包括以下步骤：
步骤1.将整个监测范围内的各空间点长时间累积采集到的一维时间响应信号作为计量信号，并分别对各空间点的计量信号进行分位数统计；
步骤2.根据分位数统计结果确定各空间点的异常信号判定标准；
步骤3.将某一空间点一段时间内累积一维时间响应信号作为一个信号处理单元，并通过该空间点的异常信号判定标准对所述信号处理单元进行异常信号判断；若所述信号单元为异常信号，则对所述信号处理单元进行数据压缩操作。
2.根据权利要求1所述的一种分布式光纤传感大数据实时统计压缩方法，其特征在于，步骤3中所述的数据压缩操作采用有损压缩和无损压缩级联的方式；其中，有损压缩采用一种基于自适应OTSU阈值的提升小波变换压缩方法，无损压缩采用游程编码方法和霍夫曼编码方法。
3.根据权利要求1所述的一种分布式光纤传感大数据实时统计压缩方法，其特征在于，确定各空间点的异常信号判定标准的具体步骤如下：
步骤A1.对整个监测范围内各空间点采集的分布式光纤声音/振动传感信号，在时间轴上进行长时间累积得到二维时空累积响应信号，记为XM,N，其中，M表示长时间累积时间，N表示空间采集的序列长度；
步骤A2.以空间点为单位，从二维时空累积响应信号XM,N中获取各空间点上长时间累积采集得到的一维时间响应信号，记作X:,n(n＝1,2,…,N)；
步骤A3.将各空间点的一维时间响应信号X:,n作为统计对象进行信号幅值的分位数统计：将一维时间响应信号X:,n幅值的上四分位数记作Q2，将一维时间响应信号X:,n幅值的下四分位数记作Q1；
步骤A4.根据上四分位数Q2和下四分位数Q1计算得到一维时间响应信号X:,n幅值的正常值取值范围(p,q)，其中，p＝Q1-k×(Q2－Q1)，q＝Q2+k×(Q2－Q1)，k的取值根据应用场景确定，为固定值；
步骤A5.根据正常值取值范围(p,q)确定一维时间响应信号X:,n中的异常点，并计算所述异常点的个数占一维时间响应信号X:,n的信号长度的比例，记作ar；
步骤A6.根据比例ar确定一个异常比例阈值at作为异常信号判定标准。
4.根据权利要求2所述的一种分布式光纤传感大数据实时统计压缩方法，其特征在于，所述的基于自适应OTSU阈值的提升小波变换压缩方法的具体步骤如下：
步骤B1.选择小波基；
步骤B2.利用小波基对异常信号进行基于自适应OTSU阈值的提升小波分解，得到异常信号的低频分量和高频分量，即为提升小波系数；
步骤B3.通过自适应OTSU阈值对提升小波系数进行选取，得到提升小波阈值压缩系数；
步骤B4.根据提升小波阈值压缩系数计算压缩比和均方根误差；
步骤B5.选取多个不同的小波基并依次执行步骤B2-B4，得到对应的提升小波阈值压缩系数、压缩比和均方根误差；
步骤B6.根据压缩比和均方根误差对不同小波基下提升小波的压缩效果进行比较，得到最优小波基，并将最优小波基对应的提升小波阈值压缩系数记作C。
5.根据权利要求4所述的一种分布式光纤传感大数据实时统计压缩方法，其特征在于，得到异常信号的提升小波系数的具体步骤如下：
步骤B2.1.确定提升小波分解的层数N；
步骤B2.2.对异常信号进行提升小波分解，得到异常信号的第n层(1≤n≤N)小波分解后的低频系数cAn和高频系数cDn；
步骤B2.3.对第n(1≤n≤(N-1))层小波分解后的低频系数cAn进行提升小波分解，得到第(n+1)层提升小波分解后的低频系数cAn+1和高频系数cDn+1；
步骤B2.4.将得到的低频系数cAn(1≤n≤N)和高频系数cDn(1≤n≤N)按下标n从大到小的顺序进行排列，得到低频分量cAs＝cAn和高频分量cDs＝[cDn,…,cD1]。
6.根据权利要求5所述的一种分布式光纤传感大数据实时统计压缩方法，其特征在于，得到提升小波阈值压缩系数的具体步骤如下：
步骤B3.1.分别确定低频分量和高频分量的OTSU上界阈值，分别记作cAth和cDth；
步骤B3.2.选取低频分量中绝对值大于cAth的低频系数，记作coff_A；选取高频分量中绝对值大于cDth的高频系数，记作coff_D；
步骤B3.3.将低频系数coff_A和高频系数coff_D进行合并，得到提升小波阈值压缩系数。
7.根据权利要求4所述的一种分布式光纤传感大数据实时统计压缩方法，其特征在于，所述的游程编码方法的具体步骤如下：
步骤C1.初始化游程编码矩阵B＝[]，初始化变量num_zero＝0,index＝1,计算提升小波阈值压缩系数C的长度，记作length，进入步骤C2；
步骤C2.若index≤length，则进入步骤C3；若index>length，则进入步骤C5；
步骤C3.若满足A(index)≠0，则使bit1＝num_zero,bit2＝A(index),B＝[B,bit1,bit2],num_zero＝0，进入步骤C4；若A(index)＝0，则使num_zero＝num_zero+1，进入步骤C4；
步骤C4.令index＝index+1，进入步骤C2；
步骤C5.若num_zero>0，则使B＝[B,num_zero－1,0]，进入步骤C6；若num_zero≤0，则进入步骤C6；
步骤C6.输出的游程编码矩阵B，即游程编码矩阵B为提升小波阈值压缩系数C的游程编码结果，记作Crlc。
8.根据权利要求7所述的一种分布式光纤传感大数据实时统计压缩方法，其特征在于，所述的霍夫曼编码方法的具体步骤如下：
步骤D1.获取一维时间响应信号X:,n中的符号集S{S1,S2,…,Sn}及其对应的概率集P{P1,P2,…,Pn}；
步骤D2.根据符号集S和概率集P得到符号集S中每一个符号Si(1≤i≤n)的霍夫曼编码表，记作dic；
步骤D3.根据霍夫曼编码表dic对游程编码结果Crlc进行编码，得到游程编码结果Crlc的霍夫曼编码结果，记作Chuff。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810589873.9A CN108809977B (zh) | 2018-06-08 | 2018-06-08 | 一种分布式光纤传感大数据实时统计压缩方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810589873.9A CN108809977B (zh) | 2018-06-08 | 2018-06-08 | 一种分布式光纤传感大数据实时统计压缩方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108809977A true CN108809977A (zh) | 2018-11-13 |
| CN108809977B CN108809977B (zh) | 2020-12-15 |
Family
ID=64088821
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810589873.9A Expired - Fee Related CN108809977B (zh) | 2018-06-08 | 2018-06-08 | 一种分布式光纤传感大数据实时统计压缩方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108809977B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109766331A (zh) * | 2018-12-06 | 2019-05-17 | 中科恒运股份有限公司 | 异常数据处理方法及装置 |
| CN110233626A (zh) * | 2019-07-05 | 2019-09-13 | 重庆邮电大学 | 基于二维自适应量化的机械振动信号边缘数据无损压缩方法 |
| CN112615626A (zh) * | 2020-12-16 | 2021-04-06 | 中油奥博(成都)科技有限公司 | Das海量数据频率波数域数据压缩存储方法 |
| CN113242264A (zh) * | 2021-07-09 | 2021-08-10 | 中国人民解放军国防科技大学 | 一种对大容量数据进行压缩存储的方法和系统 |
| CN113709144A (zh) * | 2021-08-26 | 2021-11-26 | 哈尔滨工业大学 | 一种高频信号压缩方法 |
| CN114704247A (zh) * | 2022-06-07 | 2022-07-05 | 西安钰雪石油科技有限公司 | 油气井液面智能监测方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103398295A (zh) * | 2013-07-04 | 2013-11-20 | 东北大学 | 一种管道漏磁信号数据压缩装置及方法 |
| US20160266265A1 (en) * | 2015-03-11 | 2016-09-15 | Baker Hughes Incorporated | Downhole fiber optic sensors with downhole optical interrogator |
| CN106452947A (zh) * | 2016-09-22 | 2017-02-22 | 上海波汇科技股份有限公司 | 一种用于光纤安防大数据存储的方法 |
| CN106932337A (zh) * | 2017-05-04 | 2017-07-07 | 中交天津港湾工程研究院有限公司 | 多光纤光栅钢筋腐蚀传感器系统的数据处理方法 |
| CN107425906A (zh) * | 2017-07-25 | 2017-12-01 | 电子科技大学 | 面向地下管网安全监测的分布式光纤传感信号处理方法 |
| CN107948644A (zh) * | 2017-12-12 | 2018-04-20 | 桂林电子科技大学 | 一种水下图像压缩方法及传输方法 |
-
2018
- 2018-06-08 CN CN201810589873.9A patent/CN108809977B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103398295A (zh) * | 2013-07-04 | 2013-11-20 | 东北大学 | 一种管道漏磁信号数据压缩装置及方法 |
| US20160266265A1 (en) * | 2015-03-11 | 2016-09-15 | Baker Hughes Incorporated | Downhole fiber optic sensors with downhole optical interrogator |
| CN106452947A (zh) * | 2016-09-22 | 2017-02-22 | 上海波汇科技股份有限公司 | 一种用于光纤安防大数据存储的方法 |
| CN106932337A (zh) * | 2017-05-04 | 2017-07-07 | 中交天津港湾工程研究院有限公司 | 多光纤光栅钢筋腐蚀传感器系统的数据处理方法 |
| CN107425906A (zh) * | 2017-07-25 | 2017-12-01 | 电子科技大学 | 面向地下管网安全监测的分布式光纤传感信号处理方法 |
| CN107948644A (zh) * | 2017-12-12 | 2018-04-20 | 桂林电子科技大学 | 一种水下图像压缩方法及传输方法 |
Non-Patent Citations (1)
| Title |
|---|
| HUIJUAN WU等: "Feature Extraction and Identification in Distributed Optical-Fiber Vibration Sensing System for Oil Pipeline Safety Monitoring", 《PHOTONIC SENSORS》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109766331A (zh) * | 2018-12-06 | 2019-05-17 | 中科恒运股份有限公司 | 异常数据处理方法及装置 |
| CN110233626A (zh) * | 2019-07-05 | 2019-09-13 | 重庆邮电大学 | 基于二维自适应量化的机械振动信号边缘数据无损压缩方法 |
| CN112615626A (zh) * | 2020-12-16 | 2021-04-06 | 中油奥博(成都)科技有限公司 | Das海量数据频率波数域数据压缩存储方法 |
| CN112615626B (zh) * | 2020-12-16 | 2022-07-01 | 中油奥博(成都)科技有限公司 | Das海量数据频率波数域数据压缩存储方法 |
| CN113242264A (zh) * | 2021-07-09 | 2021-08-10 | 中国人民解放军国防科技大学 | 一种对大容量数据进行压缩存储的方法和系统 |
| CN113242264B (zh) * | 2021-07-09 | 2021-09-24 | 中国人民解放军国防科技大学 | 一种对大容量数据进行压缩存储的方法和系统 |
| CN113709144A (zh) * | 2021-08-26 | 2021-11-26 | 哈尔滨工业大学 | 一种高频信号压缩方法 |
| CN113709144B (zh) * | 2021-08-26 | 2023-02-07 | 哈尔滨工业大学 | 一种高频信号压缩方法 |
| CN114704247A (zh) * | 2022-06-07 | 2022-07-05 | 西安钰雪石油科技有限公司 | 油气井液面智能监测方法及装置 |
| CN114704247B (zh) * | 2022-06-07 | 2022-08-16 | 西安钰雪石油科技有限公司 | 油气井液面智能监测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108809977B (zh) | 2020-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108809977A (zh) | 一种分布式光纤传感大数据实时统计压缩方法 | |
| Wan et al. | Bayesian modeling approach for forecast of structural stress response using structural health monitoring data | |
| CN110035090A (zh) | 一种智能电网虚假数据注入攻击检测方法 | |
| Silik et al. | Selecting optimum levels of wavelet multi‐resolution analysis for time‐varying signals in structural health monitoring | |
| CN112036042A (zh) | 一种基于变分模态分解的动力设备异常检测方法及系统 | |
| CN102879822A (zh) | 一种基于Contourlet变换的地震多属性融合方法 | |
| CN108734060A (zh) | 一种高速动车组车轮多边形化的识别方法及装置 | |
| CN106199267A (zh) | 一种电力设备故障特征分析方法 | |
| CN102944895B (zh) | 一种地震记录面波干扰压制方法及装置 | |
| Dong et al. | A fast sparsity-free compressive sensing approach for vibration data reconstruction using deep convolutional GAN | |
| Chen et al. | Applicability of continuous, stationary, and discrete wavelet transforms in engineering signal processing | |
| Wu et al. | An enhanced minimum entropy deconvolution with adaptive filter parameters for gear fault diagnosis | |
| CN101742305A (zh) | 基于马尔科夫链模型的可伸缩性视频编解码系统运动估计方法 | |
| Wang | Multimedia data compression storage of sensor network based on improved Huffman coding algorithm in cloud | |
| Wang et al. | Compression algorithm of road traffic data in time series based on temporal correlation | |
| Morrison et al. | 2-supertransitive subfactors at index 3+ 5 | |
| CN109100165B (zh) | 桥梁运营模态分析方法、装置、终端与计算机可读存储介质 | |
| Monti et al. | Towards a new approach for electrical grid management: the role of the cloud | |
| Quqa et al. | Instantaneous identification of densely instrumented structures using line topology sensor networks | |
| Liu et al. | A hybrid model based on kalman filter and neutral network for traffic prediction | |
| Liu et al. | A framework for context-aware service recommendation | |
| Atubga et al. | Comparative study of lossy and lossless data compression in distributed optical fiber sensing systems | |
| Wen et al. | Fast visualisation of massive data based on viewpoint motion model | |
| Ni et al. | Periodic mining of traffic information in industrial control networks | |
| CN110196281A (zh) | 一种信号波传输波速的检测方法、系统及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201215 |