CN107037262A - 一种大数据频谱分析系统及其方法 - Google Patents

一种大数据频谱分析系统及其方法 Download PDF

Info

Publication number
CN107037262A
CN107037262A CN201710284460.5A CN201710284460A CN107037262A CN 107037262 A CN107037262 A CN 107037262A CN 201710284460 A CN201710284460 A CN 201710284460A CN 107037262 A CN107037262 A CN 107037262A
Authority
CN
China
Prior art keywords
data
analysis
spectrum
unit
spectrum analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710284460.5A
Other languages
English (en)
Other versions
CN107037262B (zh
Inventor
陈健明
黄文�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Jiu Jin Technology Co Ltd
Original Assignee
Chengdu Jiu Jin Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Jiu Jin Technology Co Ltd filed Critical Chengdu Jiu Jin Technology Co Ltd
Priority to CN201710284460.5A priority Critical patent/CN107037262B/zh
Publication of CN107037262A publication Critical patent/CN107037262A/zh
Application granted granted Critical
Publication of CN107037262B publication Critical patent/CN107037262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R23/00Arrangements for measuring frequencies; Arrangements for analysing frequency spectra
    • G01R23/16Spectrum analysis; Fourier analysis

Landscapes

  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)

Abstract

本发明公开了一种大数据频谱分析系统,包括用户接口单元、数据处理分析单元、数据提取单元、大数据存储单元、数据显示单元,还提供了一种大数据频谱分析系统的分析方法,包括以下步骤:用户通过用户接口单元输入频谱分析参数,包括系统数据存储速率或数据采样率、频谱分析的扫描时间、频谱分辨率及分析点数;根据用户设置的频谱分析参数,数据处理分析单元利用频谱分析算法转换为数据提取参数;数据提取单元根据数据处理分析单元提供的数据提取参数提取大数据存储单元中的数据,并传送至数据处理分析单元进行频谱分析;频谱分析结果传送至数据显示单元供用户查看。本发明能够根据用户设定的频谱分析参数对大量数据进行快速、准确地分析处理。

Description

一种大数据频谱分析系统及其方法
技术领域
本发明涉及数字信号处理领域,特别是涉及一种大数据频谱分析系统及其方法。
背景技术
所谓频谱分析,是指将信号源发出的时域信号按其频率分量顺序展开,使其成为频率的函数,并考察其变化规律;也就是,将时域信号转换为频域信号以对信号进行分析的一种方法。
随着信息技术的发展,数据处理量正呈爆炸性增长,针对海量数据若不使用针对性的算法进行频谱分析处理,会出现数据处理速度慢、数据分析效率低、用户等待时间过长等情况。因此亟需提供一种新型的大数据频谱分析系统及其分析方法来解决上述问题。
发明内容
本发明所要解决的技术问题是提供一种大数据频谱分析系统及其方法,能够在保证满足用户需求的基础上提高数据分析效率。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种大数据频谱分析系统,包括用户接口单元、数据处理分析单元、数据提取单元、大数据存储单元、数据显示单元,数据处理分析单元与用户接口单元、数据提取单元相互通信,数据处理分析单元的输出端与数据显示单元相连,大数据存储单元的输出端与数据提取单元相连;
用户接口单元用于接收用户的频谱分析参数设置;
数据提取单元在数据处理分析单元的控制下提取大数据存储单元中的数据;
数据处理分析单元将接收到的频谱分析参数转换为数据提取参数,并根据数据提取参数对数据提取单元提取的数据进行频谱分析;
数据显示单元用于显示数据处理分析单元频谱分析的结果。
在本发明一个较佳实施例中,用户接口单元接收的频谱分析参数包括系统数据存储速率或数据采样速率、频谱分析的扫描时间、频谱分辨率及分析点数。
为解决上述技术问题,本发明采用的另一个技术方案是:提供一种大数据频谱分析系统的分析方法,包括以下步骤:
S1:用户通过用户接口单元输入频谱分析参数,包括系统数据存储速率或数据采样速率、频谱分析的扫描时间、频谱分辨率及分析点数;
S2:根据用户设置的频谱分析参数,数据处理分析单元利用频谱分析算法转换为数据提取参数;
S3:数据提取单元根据数据处理分析单元提供的数据提取参数提取大数据存储单元中的数据,并传送至数据处理分析单元进行频谱分析;
S4:频谱分析结果传送至数据显示单元供用户查看。
在本发明一个较佳实施例中,在步骤S2中,频谱分析算法的具体步骤如下:
S2.1:根据系统数据存储速率和频谱分析的扫描时间,计算出时域里的帧长度,将大数据存储单元里存储的数据进行分帧,其中,
每帧包含的数据量=(数据存储速率或数据采样速率)*频谱分析扫描时间,频谱分析范围为零频到0.5倍的数据存储速率或数据采样速率;
S2.2:根据频谱分辨率及分析点数确定每次提取的数据量即数据包;
每个数据包的数据量=频谱分析范围/频率分辨率;或者
每个数据包的数据量=分析点数;频谱分析范围为零频到0.5倍的数据存储速率或数据采样速率;
S2.3:根据所述帧长度和数据包大小,按照如下数据提取规律进行数据提取:首先提取帧1中的数据包1,然后提取帧2中的数据包2,再提取帧3中的数据包3,以此类推;
S2.4:对提取的数据进行离散傅里叶变换得到数据的频谱数据。
本发明的有益效果是:本发明所述大数据频谱分析系统能够根据用户设定的频谱分析参数对大量数据进行快速准确地分析处理,所述大数据频谱分析方法提供的频谱分析算法将用户设定的频谱分析参数转换为数据提取参数,既满足用户需求,又无需对大数据进行全部分析,提高了数据分析效率,减少了用户等待时间。
附图说明
图1是本发明所述大数据频谱分析系统一较佳实施例的结构框图;
图2是所述大数据频谱分析方法的流程图;
图3是所述帧与数据包的示意图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
本发明实施例包括:
请参阅图1,一种大数据频谱分析系统,包括用户接口单元、数据处理分析单元、数据提取单元、大数据存储单元、数据显示单元。数据处理分析单元与用户接口单元、数据提取单元相互通信,数据处理分析单元的输出端与数据显示单元相连,大数据存储单元的输出端与数据提取单元相连。
用户接口单元用于接收用户的频谱分析参数设置,所述频谱分析参数包括系统数据存储速率或数据采样速率、频谱分析的扫描时间、频谱分辨率及分析点数;
大数据存储单元用于存储大量的待处理数据;
数据提取单元在数据处理分析单元的控制下提取大数据存储单元中的数据;
数据处理分析单元将接收到的频谱分析参数转换为数据提取参数,并根据数据提取参数对数据提取单元提取的数据进行频谱分析;
数据显示单元用于显示数据处理分析单元频谱分析的结果。
所述大数据频谱分析系统能够根据用户设定的频谱分析参数对大量数据进行快速准确地分析处理,提高了数据分析效率,减少了用户等待时间。
基于所述大数据频谱分析系统,本发明还提供了一种大数据频谱分析系统的分析方法,请参阅图2,包括以下步骤:
S1:用户通过用户接口单元输入频谱分析参数,包括系统数据存储速率或数据采样速率、频谱分析的扫描时间、频谱分辨率及分析点数;
S2:根据用户设置的频谱分析参数,数据处理分析单元利用频谱分析算法转换为数据提取参数;
进一步的,在步骤S2中,频谱分析算法的具体步骤如下:
S2.1:根据系统数据存储速率和频谱分析的扫描时间,计算出时域里的帧长度,将大数据存储单元里存储的数据进行分帧,其中,
每帧包含的数据量=(数据存储速率或数据采样速率)*频谱分析扫描时间,频谱分析范围为零频到0.5倍的数据存储速率或数据采样速率;
S2.2:根据频谱分辨率及分析点数确定每次提取的数据量即数据包;
每个数据包的数据量=频谱分析范围/频率分辨率;或者
每个数据包的数据量=分析点数;频谱分析范围为零频到0.5倍的数据存储速率或数据采样速率;
S2.3:根据所述帧长度和数据包大小,结合图3,按照如下数据提取规律进行数据提取:首先提取帧1中的数据包1,然后提取帧2中的数据包2,再提取帧3中的数据包3,以此类推。
由于数据包大小小于帧大小,系统只需对数据包中的数据进行处理分析,无需对大量数据进行全部分析处理,大大提高了分析效率。
S2.4:对提取的数据进行离散傅里叶变换得到数据的频谱数据。
S3:数据提取单元根据数据处理分析单元提供的数据提取参数提取大数据存储单元中的数据,并传送至数据处理分析单元进行频谱分析,即进行离散傅里叶变换得到数据的频谱分量;
S4:频谱分析结果传送至数据显示单元供用户查看。
所述大数据频谱分析方法提供的频谱分析算法将用户设定的频谱分析参数转换为数据提取参数,既满足用户需求,又无需对大数据进行全部分析,提高了数据分析效率,减少了用户等待时间。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种大数据频谱分析系统,其特征在于,包括用户接口单元、数据处理分析单元、数据提取单元、大数据存储单元、数据显示单元,数据处理分析单元与用户接口单元、数据提取单元相互通信,数据处理分析单元的输出端与数据显示单元相连,大数据存储单元的输出端与数据提取单元相连;
用户接口单元用于接收用户的频谱分析参数设置;
数据提取单元在数据处理分析单元的控制下提取大数据存储单元中的数据;
数据处理分析单元将接收到的频谱分析参数转换为数据提取参数,并根据数据提取参数对数据提取单元提取的数据进行频谱分析;
数据显示单元用于显示数据处理分析单元频谱分析的结果。
2.根据权利要求1所述的一种大数据频谱分析系统,其特征在于,用户接口单元接收的频谱分析参数包括系统数据存储速率或数据采样速率、频谱分析的扫描时间、频谱分辨率及分析点数。
3.基于权利要求1所述一种大数据频谱分析系统的分析方法,包括以下步骤:
S1:用户通过用户接口单元输入频谱分析参数,包括系统数据存储速率或数据采样速率、频谱分析的扫描时间、频谱分辨率及分析点数;
S2:根据用户设置的频谱分析参数,数据处理分析单元利用频谱分析算法转换为数据提取参数;
S3:数据提取单元根据数据处理分析单元提供的数据提取参数提取大数据存储单元中的数据,并传送至数据处理分析单元进行频谱分析;
S4:频谱分析结果传送至数据显示单元供用户查看。
4.根据权利要求3所述的一种大数据频谱分析方法,其特征在于,在步骤S2中,频谱分析算法的具体步骤如下:
S2.1:根据系统数据存储速率和频谱分析的扫描时间,计算出时域里的帧长度,将大数据存储单元里存储的数据进行分帧,其中,
每帧包含的数据量=(数据存储速率或数据采样速率)*频谱分析扫描时间,频谱分析范围为零频到0.5倍的数据存储速率或数据采样速率;
S2.2:根据频谱分辨率及分析点数确定每次提取的数据量即数据包;
每个数据包的数据量=频谱分析范围/频率分辨率;或者
每个数据包的数据量=分析点数;频谱分析范围为零频到0.5倍的数据存储速率或数据采样速率;
S2.3:根据所述帧长度和数据包大小,按照如下数据提取规律进行数据提取:首先提取帧1中的数据包1,然后提取帧2中的数据包2,再提取帧3中的数据包3,以此类推;
S2.4:对提取的数据进行离散傅里叶变换得到数据的频谱数据。
CN201710284460.5A 2017-04-25 2017-04-25 一种大数据频谱分析系统及其方法 Active CN107037262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710284460.5A CN107037262B (zh) 2017-04-25 2017-04-25 一种大数据频谱分析系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710284460.5A CN107037262B (zh) 2017-04-25 2017-04-25 一种大数据频谱分析系统及其方法

Publications (2)

Publication Number Publication Date
CN107037262A true CN107037262A (zh) 2017-08-11
CN107037262B CN107037262B (zh) 2020-02-11

Family

ID=59535079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710284460.5A Active CN107037262B (zh) 2017-04-25 2017-04-25 一种大数据频谱分析系统及其方法

Country Status (1)

Country Link
CN (1) CN107037262B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902076A (zh) * 2019-03-05 2019-06-18 上海创远仪器技术股份有限公司 针对长曝光对比频谱图进行大数据处理的系统及其方法
CN114792352A (zh) * 2022-06-22 2022-07-26 成都玖锦科技有限公司 一种频谱图像处理方法和系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1054871A (zh) * 1989-10-13 1991-09-25 德克萨斯仪器公司 用于同步矢量处理机的第二最近邻通讯网络、系统和方法
CN1663156A (zh) * 2002-04-22 2005-08-31 科尼奥公司 共享频带的管理系统和方法
US20070052802A1 (en) * 2003-07-28 2007-03-08 Nec Corporation Viewing surveillance system
CN1932986A (zh) * 2005-09-13 2007-03-21 株式会社东芝 信息存储介质、记录方法、再现方法、和再现设备
CN101223570A (zh) * 2005-07-15 2008-07-16 微软公司 获得用于数字媒体的高效编码的频带的频率分段
CN201392366Y (zh) * 2009-04-02 2010-01-27 无锡科思电子科技有限公司 一种改良的便携式频谱分析仪
CN102256201A (zh) * 2010-05-19 2011-11-23 上海聪维声学技术有限公司 用于助听器的自动环境识别方法
CN103236255A (zh) * 2013-04-03 2013-08-07 广西环球音乐图书有限公司 音频文件转化midi文件
US20150156683A1 (en) * 2004-07-28 2015-06-04 Broadcom Corporation Handoff Of A Multimedia Call Session Using Background Network Scanning
CN104931966A (zh) * 2015-06-12 2015-09-23 北京航空航天大学 一种基于dcs算法的星载视频sar成像处理方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1054871A (zh) * 1989-10-13 1991-09-25 德克萨斯仪器公司 用于同步矢量处理机的第二最近邻通讯网络、系统和方法
CN1663156A (zh) * 2002-04-22 2005-08-31 科尼奥公司 共享频带的管理系统和方法
US20070052802A1 (en) * 2003-07-28 2007-03-08 Nec Corporation Viewing surveillance system
US20150156683A1 (en) * 2004-07-28 2015-06-04 Broadcom Corporation Handoff Of A Multimedia Call Session Using Background Network Scanning
CN101223570A (zh) * 2005-07-15 2008-07-16 微软公司 获得用于数字媒体的高效编码的频带的频率分段
CN1932986A (zh) * 2005-09-13 2007-03-21 株式会社东芝 信息存储介质、记录方法、再现方法、和再现设备
CN201392366Y (zh) * 2009-04-02 2010-01-27 无锡科思电子科技有限公司 一种改良的便携式频谱分析仪
CN102256201A (zh) * 2010-05-19 2011-11-23 上海聪维声学技术有限公司 用于助听器的自动环境识别方法
CN103236255A (zh) * 2013-04-03 2013-08-07 广西环球音乐图书有限公司 音频文件转化midi文件
CN104931966A (zh) * 2015-06-12 2015-09-23 北京航空航天大学 一种基于dcs算法的星载视频sar成像处理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李勇: "《数字信号处理原理与应用》", 30 April 2016, 西北工业大学出版社 *
王利兵 等: "大地电场数据频谱分析及幅值提取软件的研发", 《山西地震》 *
赵汝和 等: ""一种新的基于Lab Windows/CVI的虚拟频谱分析仪的设计与实现"", 《黑龙江科技信息》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902076A (zh) * 2019-03-05 2019-06-18 上海创远仪器技术股份有限公司 针对长曝光对比频谱图进行大数据处理的系统及其方法
CN114792352A (zh) * 2022-06-22 2022-07-26 成都玖锦科技有限公司 一种频谱图像处理方法和系统
CN114792352B (zh) * 2022-06-22 2022-09-20 成都玖锦科技有限公司 一种频谱图像处理方法和系统

Also Published As

Publication number Publication date
CN107037262B (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN110012029B (zh) 一种区分加密和非加密压缩流量的方法和系统
CN102035698B (zh) 基于决策树分类算法的http隧道检测方法
CN105677311A (zh) 一种函数调用关系的识别方法及装置
CN113923057B (zh) 卫星测运控平台的数据处理方法、装置、电子设备及介质
CN109275045B (zh) 基于dfi的移动端加密视频广告流量识别方法
CN102984161A (zh) 一种可信网站的识别方法和装置
CN111935721A (zh) 一种实现异构网络共存的方法和系统
CN107037262A (zh) 一种大数据频谱分析系统及其方法
CN108132986B (zh) 一种飞行器海量传感器试验数据的快速处理方法
CN112085087A (zh) 业务规则生成的方法、装置、计算机设备及存储介质
CN112286815A (zh) 一种接口测试脚本的生成方法及其相关设备
CN112399013B (zh) 异常话务识别方法和装置
CN107291805B (zh) 一种用于控制推送信息的方法与装置
CN102984242B (zh) 一种应用协议的自动识别方法和装置
CN104410533A (zh) 网络用户行为识别系统
CN111049684B (zh) 数据分析方法、装置、设备和存储介质
CN111080362A (zh) 广告监测系统及方法
CN109145987A (zh) 模型生成方法及装置
WO2023082605A1 (zh) Http报文的提取方法、装置、介质及设备
CN106686064A (zh) 一种控制智能终端中的应用消息推送的方法及装置
US20190349390A1 (en) Packet format inference apparatus and computer readable medium
CN114186637A (zh) 流量识别方法、装置、服务器和存储介质
CN112763778A (zh) 波形显示方法、装置、设备及存储介质
CN117938545B (zh) 一种基于加密流量的不良信息样本扩增方法和系统
CN111090996A (zh) 一种分词的方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant