CN105445579A - 多尺度时序分析的油色谱在线监测数据可视化系统及方法 - Google Patents
多尺度时序分析的油色谱在线监测数据可视化系统及方法 Download PDFInfo
- Publication number
- CN105445579A CN105445579A CN201510790660.9A CN201510790660A CN105445579A CN 105445579 A CN105445579 A CN 105445579A CN 201510790660 A CN201510790660 A CN 201510790660A CN 105445579 A CN105445579 A CN 105445579A
- Authority
- CN
- China
- Prior art keywords
- data
- client computer
- monitoring
- time
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了多尺度时序分析的油色谱在线监测数据可视化系统及方法,系统包括:数据采集服务器,将油色谱在线监测装置采集的被检测设备的数据传输至HBase客户机,HBase客户机将数据存储在相应的分布式存储服务器上;数据展示客户机,接收用户的交互操作并将交互操作转换数据请求指令,应用服务器接收数据展示客户机的数据请求,并将数据请求发送至HBase客户机;HBase客户机,根据数据请求从相应的分布式存储服务器上读取数据,并将数据返回至应用服务器;应用服务器,将读取的数据传递给数据展示客户机;数据展示客户机最终显示出最终的数据展示界面。本发明减少了数据畸变对数据分析的影响,便于从多层级多尺度分析数据规律。
Description
技术领域
本发明涉及一种多尺度时序分析的油色谱在线监测数据可视化系统及方法。
背景技术
油中溶解气体在线监测装置的投运弥补了传统DGA分析周期长、无法对设备进行连续监测的不足,然而由于传感器技术的限制,在线监测装置在可靠性、灵敏度等方面的尚未达到令人满意的程度,很难通过常规的阈值设定方式对设备状态进行正确的评判。随着在线监测装置的大范围投运和监测数据的不断积累,人们对监测数据的分析能力已远远落后于数据的获取能力。在线监测数据的海量、高维、动态的特性对数据的监测分析提出了巨大的挑战。
变压器作为电力系统中的重要组成部分,其安全性、稳定性和可靠运行直接对电力系统正常运行产生重要影响。溶解气体分析是目前诊断变压器内部故障的最主要技术手段之一。通过对油中溶解气体的分析,可以有效判断出变压器的绝缘状况、故障种类等,其结果反映变压器的潜伏性故障比较灵敏,已被公认是监测和诊断充油电力变压器早期故障预防灾难性事故发生的最有效方法。然而传统DGA包括取油样油气分离、色谱分析和数据处理等步骤,通常分析周期长,无法对设备进行连续的监测,因此很难捕捉到突发性故障的前驱迹象。油中溶解气体的在线监测装置的投运,实现了对设备运行情况的实时监控、弥补离线色谱的不足。
随着计算机、通信、传感器、高分子材料、色谱及光谱等技术的进步,变压器油中溶解气体在线监测技术也不断更新和发展,但由于传感技术限制,目前的在线监测装置在可靠性、灵敏度等方面未能达到令人满意的程度。温度附加误差是传感器诸项技术指标中重要但又较难解决的一项指标,在线监测装置一般安装在室外,现场温度状况较恶劣,冬天可能到零下30℃左右,夏天太阳暴晒时可达到40℃以上,同时变电在线监测装置处在变电站高压母线及大量一次设备的强电磁干扰环境中,电磁干扰可能会影响在线监测设备的采样准确性,造成在线监测的数据波动不稳定,产生数据畸变。
以上种种原因导致在线监测装置的测量结果存在较大差异,很难通过常规统计和阈值预警方法有效的对设备状态进行正确的判断。除此之外,随着在线监测装置的广泛投运和持续监测,监测数据的数据规模不断增加,传统的关系数据库存储方式已经逐渐满足不了对海量数据的快速查询,这也给工作人员快速分析处理监测数据带来了困难。
发明内容
本发明的目的就是为了解决上述问题,提供一种多尺度时序分析的油色谱在线监测数据可视化系统及方法,它通过数据过滤、数据放缩、数据聚合等交互分析手段提供任意时间长度内,不同时间粒度监测数据的聚合分析展示,减少了数据畸变对数据分析的影响,便于分析者从多层级多尺度分析数据规律。
为了实现上述目的,本发明采用如下技术方案:
多尺度时序分析的油色谱在线监测数据可视化系统,包括:
数据采集服务器,将油色谱在线监测装置采集的被检测设备的数据传输至HBase客户机,HBase客户机将数据存储在相应的分布式存储服务器上;
数据展示客户机,接收用户的交互操作并将交互操作转换为数据请求指令,应用服务器接收数据展示客户机的数据请求,并将数据请求发送至HBase客户机;
HBase客户机,根据数据请求从相应的分布式存储服务器上读取数据,并将数据返回至应用服务器;
应用服务器,将读取的数据经过数据处理后传递给数据展示客户机;数据展示客户机显示出最终的数据展示界面。
HBase客户机根据被检测设备的ID以及数据采集时间将数据存储在相应的分布式存储服务器上;
应用服务器,将读取的数据经过数据处理后按照设定的格式组合成JSON字符串传递给数据展示客户机。
数据展示客户机将从应用服务器获得的数据转换成可视元素,最终显示出最终的数据展示界面。
HBbase客户机是采用KeyValue的列存储,row-key是KeyValue的值,表示唯一一行。
row-key包括被检测设备的ID以及数据采集时间,这样既能保证row-key的唯一性又能保证每次数据请求时读取的是一段连续存储的数据从而提高读取速度。
所述被检测设备的数据包括设备名称、测量时间和特征气体含量。
所述数据请求指令包含设备信息、监测时间段和聚合尺度,所述聚合尺度包括原始尺度、日、周、月四种聚合尺度,分别将一次监测、一天监测、一周监测、一月监测的数据作为一个数据单元进行聚合。
所述应用服务器包括:
接收请求模块,用于接收用户的交互请求并将该交互请求转化为底层数据存储服务器所能理解的指令发送给底层数据存储服务器;所述用户的交互请求包括用户选择的监测设备、监测数据起始时间,需要展示分析气体的种类以及聚合尺度;
数据接收模块,用于接收底层数据存储服务器返回的原始存储数据,原始数据采用KeyValue的列式存储,并将数据传输至数据解析模块;
数据解析模块,用于将数据存储服务器返回的原始存储数据解析处理,形成可以进一步进行数据分析处理的二维数据表;
数据过滤模块,用于响应用户的数据过滤交互指令,将数据按照用户的选择过滤掉不需要展示的特征气体;
数据收缩模块,用于响应用户的数据放缩交互指令,根据用户新选择的开始结束时间选择相应时间段内的数据;
数据聚合模块,用于响应用户的数据聚合交互指令,将原始测量数据按照新的聚合尺度进行聚合,形成新的聚合测量值;
数据组装模块,用于将分析处理后的数据组装为浏览器可以解析的json数据格式,并将数据发送到数据展示客户机上;
多尺度时序分析的油色谱在线监测数据可视化方法,包括如下步骤:
步骤(1):油色谱在线监测装置采集被检测设备的数据,数据采集服务器将油色谱在线监测装置采集的被检测设备的数据传输至HBase客户机;
步骤(2):HBase客户机根据被检测设备的ID以及数据采集时间将数据存储在相应的分布式存储服务器上;
步骤(3):数据展示客户机,接收用户的交互操作并将交互操作转换为包含设备信息、监测时间段和聚合尺度(包括原始尺度、日、周、月四种聚合尺度,分别将一次监测、一天监测、一周监测、一月监测的数据作为一个数据单元进行聚合)的数据请求指令,应用服务器接收数据展示客户机的数据请求,并将数据请求发送至HBase客户机;
步骤(4):HBase客户机根据数据请求从相应的分布式存储服务器上读取数据,并将数据返回至应用服务器;
步骤(5):应用服务器将读取的数据经过数据处理后按照设定的格式组合成JSON字符串传递给数据展示客户机;数据展示客户机将从应用服务器获得的数据转换成可视元素,显示出最终的数据展示界面。
所述步骤(5)的数据处理的步骤包括:数据过滤步骤、数据收缩步骤或数据聚合步骤。
使用人员根据被分析数据的实际情况自由选择组合步骤(5)中的数据处理步骤对数据进行处理分析。
所述数据过滤步骤中用到的公式如下:
fy(v)=h*(v-vminSelected)/(vmaxSelected-vminSelected)
其中,fy(v)为将数据测量值映射为数据点纵坐标的映射函数,h为展示图像画布的高度,v为当前数据点的测量值,vmaxSelected和vminSelected分别为选择显示的气体中的最大值和最小值。
所述数据收缩步骤中用到的公式如下:
fx(t)=w*(t-tnewStart)/(tnewEnd-tnewStart);
其中,fx(t)为将数据测量时间映射为数据点横坐标的映射函数,w为展示图像画布的宽度,t为当前数据点的测量时间,tnewStart和tnewEnd分别是新的开始结束时间。
所述数据聚合步骤:
包括按日聚合,按周聚合和按月聚合。聚合后的测量值表示为
其中,v聚合为聚合后的测量值,n为聚合单元中的数据点数,vi为该聚合单元中的第i个点,所述按周、月聚合的开始时间为数据收缩时所选择的开始时间。
本发明的有益效果:
1本发明针对油色谱(DGA)在线监测数据设计了一种基于HBase底层存储的多尺度时间序列可视分析方法,利用HBase数据库高性能,高可靠性,分布式存储的特点,实现了海量数据的分布式存储与快速查询,同时通过数据过滤、数据放缩、数据聚合等交互分析手段提供任意时间长度内,不同时间粒度监测数据的聚合分析展示,减少了数据畸变对数据分析的影响,便于分析者从多层级多尺度分析数据规律。该系统能够利用被监测设备的历史运行数据分析表达出当前设备的真实状态,从而有效的提高监测人员的决策分析能力,对推动变电站电气设备在线监测系统发展有着重大的现实意义。
2随着在线监测数据的不断积累,历史数据和现有数据都有着紧密的时间相关性,围绕时间相关性存在着许多潜在的、对现有系统有利用价值的用户可理解信息,通过对历史数据和现有数据进行可视分析可以从海量数据里面获取数据规律,指导现有业务系统的走向。
3本发明利用计算机自动化分析能力的同时,充分挖掘人对于可视化信息的认知能力优势,将人、机的各自强项进行有机融合,借助人机交互式分析方法和交互技术,辅助人们更为直观和高效地洞悉大数据背后的信息、知识与智慧。
附图说明
图1为本发明的系统架构图;
图2为本发明的系统构造流程图;
图3为本发明的应用服务器内部方法流程图;
图4为本发明的可视系统界面总览示意图;
图5(a)为动态过滤技术的使用示意图;
图5(b)为动态过滤技术的使用示意图;
图6(a)为通过时间选择空间选择一段时间示意图;
图6(b)为通过下方的时间选择轴选择一段连续的时间示意图;
图7(a)表示按日聚合后的数据展示示意图;
图7(b)表示按周聚合后的数据展示;
图7(c)表示按月聚合后的数据展示;
图7(d)表示选择箱体图开关后的展示。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
HBase–HadoopDatabase,是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式存储系统,专门设计用来快速随机读写大规模数据。HBase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力,满足海量数据快速存储查询的需要。
可视分析是一种重要的数据分析方法.一图胜千言,人类从外界获得的信息约有80%以上来自于视觉系统,当数据以直观的可视化的图形形式展示在分析者面前时,分析者往往能够一眼洞悉数据背后隐藏的信息并转化知识以及智慧。数据可视分析旨在利用计算机自动化分析能力的同时,充分挖掘人对于可视化信息的认知能力优势,将人、机的各自强项进行有机融合,借助人机交互式分析方法和交互技术,辅助人们更为直观和高效地洞悉大数据背后的信息、知识与智慧。随着在线监测数据的不断积累,历史数据和现有数据都有着紧密的时间相关性,围绕时间相关性存在着许多潜在的、对现有系统有利用价值的用户可理解信息,通过对历史数据和现有数据进行可视分析可以从海量数据里面获取数据规律,指导现有业务系统的走向。
4.1系统结构
随着时间的积累,传统的关系数据库已逐渐满足不了海量的在线监测数据存储与快速查询的要求。为了满足在线监测数据可靠性、高性能、易扩展、读写实时的存储要求,本发明使用HBase存储监测数据。HBbase是采用KeyValue的列存储,row-key是KeyValue的值,表示唯一一行。因为在存储时,数据按照row-key的字典序排列,而将经常一起读取的数据连续存放便于快速读写,所以row-key的设计对于数据存储十分重要。根据本系统的分析需求,本发明将row-key设计为设备ID+监测时间,这样既能保证row-key的唯一性又能保证每次数据请求时读取的是一段连续存储的数据从而提高读取速度。
本发明利用HBase原生的JavaAPI作为数据访问接口访问HBase中的数据,然后在由Java编写的逻辑控制层对数据进行组装拼接,最后在由d3.js编写的数据展示层将数据映射为可视元素,形成最终的可视界面。当大规模数据在普通显示器中显示时,由于普通显示器显示尺寸的限制,细节数据往往会显示不清,虽然通过更换大尺寸的显示器可以解决这一问题,但大尺寸的显示器需要昂贵的费用且不易扩展,为了解决这一问题,我们使用多个窄边显示器组成显示器矩阵,并通过数据展示客户机控制显示器矩阵扩展显示整个可视界面。整个系统框架如下图1所示:
数据采集服务器将油色谱在线监测装置采集的被检测设备的数据传输至HBase客户机,HBase客户机根据被检测设备的ID以及数据采集时间将数据存储在相应的分布式存储服务器上;数据展示客户机接收用户的交互操作并将交互操作转换为包含设备信息、监测时间段和聚合尺度(包括原始尺度、日、周、月四种聚合尺度,分别将一次监测、一天监测、一周监测、一月监测的数据作为一个数据单元进行聚合)的数据请求指令,应用服务器接收数据展示客户机的数据请求,并将数据请求发送至HBase客户机,HBase客户机根据数据请求从相应的分布式存储服务器上读取数据,并将数据返回至应用服务器,应用服务器将读取的数据经过数据处理后按照设定的格式组合成JSON字符串传递给数据展示客户机;数据展示客户机将从应用服务器获得的数据转换成可视元素,最终通过显示器矩阵显示出最终的数据展示界面。
针对油色谱(DGA)在线监测数据的多尺度时间序列可视分析系统构造流程图如下图2所示:
数据采集服务器将油色谱在线监测装置采集的数据传输至HBase客户机,HBase根据被检测设备的ID以及数据采集时间将数据以HFile存储在相应的分布式存数服务器上。
应用服务器通过HBaseJavaAPI接口与HBase客户机(Hbaseclient)进行数据通信,以达到在分布式集群上完成数据存取的目的。应用服务器主要实现整个系统的逻辑控制功能,一方面它接收界面展示层传入的交互指令,从HBase中读取设定的数据,另一方面它将从HBase中读取的数据经过数据处理后按照特定的格式组合成JSON字符串传递给界面展示层。逻辑控制层包含的数据处理方法有:数据过滤、数据放缩、数据聚合,用户可以在分析过程中自由选用数据处理方式。界面展示层将从逻辑控制层获得的数据转换成可视元素显示在界面中,同时界面展示层还监听用户的交互操作并将用户的选择参数传递给逻辑控制层。
4.2数据模型
对判断变压器内部故障有价值的气体达7种之多,仅仅分析一种气体往往无法对变压器设备状态进行正确的判断。此外,在线设备状态参差不齐、检验检测标准体系尚未完全建立、数据传输容易受到干扰等因素也为油中溶解气体在线监测数据分析带了了巨大的困难。随着在线监测装置的大范围投运和监测数据的不断积累,油色谱相关数据呈现出大量连续到达、潜在无限长和不断变化的特征,可看作是由多种特征气体组成的有序时间序列,本发明将历史数据按照时间轴形成监测数据的时间序列,通过时间序列展示一段时间内设备的运行状态,明确设备状态的发展趋势并通过数据过滤、数据放缩、数据聚合等数据分析手段,获取海量数据里面的数据规律,辅助专业人员对设备状态进行判断。如图4所示。
我们使用X轴代表时间,Y轴代表气体含量,通过不同的颜色编码不同的气体,对于任意一种特征气体的时间序列,可被看作为由时间t和测量值v组成的有序实数对T(t,v)。在我们的可视化模型中,每一个监测数据点会根据一下公式被映射到展示坐标系中。
fx(t)=w*(t-tstart)/(tend-tstart)
fy(v)=h*(v-vmin)/(vmax-vmin)
其中,fx(t)为将数据测量时间映射为数据点横坐标的映射函数,fy(v)为将数据测量值映射为数据点纵坐标的映射函数,w和h分别为坐标系的宽和高,tstart和tend分别是用户选择的开始结束时间,当多于一种气体被选择显示时,vmax和vmin分别是所选所有气体中的最大值和最小值。
数据过滤
虽然仅仅分析一种气体往往无法对变压器设备状态进行正确的判断,但是通常情况下,我们不需要对7种特征气体同时进行可视分析,因此数据过滤技术对可视分析十分重要。从7种特征气体中过滤部分无用的特征气体进行可视分析,可以消除冗余的、与任务无关的特征,减少其对关键特征气体的分析干扰。
例如:在设备正常的运行过程中,CO气体含量可能会达到其他气体的1000倍以上,如果在对微量气体(如C2H6、C2H6,C2H2等)进可视分析时不过滤无关的CO,势必会对微量气体的波动特征产生干扰。可视系统根据用户选择的结果动态的展示相应特征气体,同时系统的Y轴能够根据气体的含量动态调整取值范围(如图5(a)、5(b)所示)。即数据过滤后,选择的特征气体fx(t)保持不变,fy(v)按照如下公式重新映射:
fy(v)=h*(v-vminSelected)/(vmaxSelected-vminSelected)
其中,vmaxSelected和vminSelected分别为选择显示的气体中的最大值和最小值。
数据放缩
数据放缩可以有效的解决大量监测数据在空间有限的屏幕上难以展示与交互的问题,完成对海量数据的洞察。随着在线监测装置的持续运行,可供专业人员监测分析的数据的不断增加。我们根据分析目标的不同,将不同时间跨度的数据映射到可视图形中以满足专业人员对不同场景数据分析的需要。专业人员一方面可以对较长一段时间数据的整体发展情况进行总览,另一方面又可以快速的定位到时间跨度较短的一段时间内对数据详细发展情况进行监测分析。
用户首先通过左上方的时间选择控件选择一段时间观察分析此段时间内的数据概况,如果希望进一步观察分析其中某一时间子集的数据情况,可拖动下方的时间滑块选择相应的数据子集,如图6(a)和图6(b)所示。对于数据放缩,特征气体fy(v)保持不变,fx(t)按照如下公式重新映射:
fx(t)=w*(t-tnewStart)/(tnewEnd-tnewStart)
其中tnewStart和tnewEnd分别是新的开始结束时间。
数据聚合
按照不同的时间粒度(日、周、月)聚合展示检测数据,能够有效地减少个别数据畸变对数据分析产生的影响,便于发现监测数据中隐藏的周期性规律。我们使用一段时间内所有被检测数据的平均值来代表该段时期的监测值。特别的对于按月聚合这种方式,用户希望选择聚合的往往不是自然月,如6月5日至7月5日聚合为一个月,为了能够实现这种功能,我们将聚合月的开始时间设置为数据放缩时所选择的开始时间,这样用户便可以控制从任何一天开始按月聚合。为了显示聚合子类中内部数据的分布特性,我们在聚合的同时保留聚类簇中数据的最大值、最小值和三分中位数,并用箱体图在相应监测点上画出,从而能够直观明了地识别数据簇中的异常值、判断数据簇的偏态和尾重。箱体图从下到上五条线分别表示最小值、下四分位数、中位数、上四分位数和最大值,用户可以通过勾选开关按钮选择是否显示箱体图。
数据分析流程图如图3所示。
首先专业人员对监测数据进行总览,了解数据的整体情况,然后通过数据过滤选择需要进一步分析的气体,根据数据的疏密程度,可对数据进行放缩,一方面可以选择较长一段时间数据以观察数据整体发展情况,另一方面也可以定位到时间跨度较短的一段时间对数据详细发展情况进行监测分析。如果希望从不同粒度观测数据,可以按日、周、月对数据进行聚合分析。
4.3界面与交互
通过用x轴代表时间,y轴代表气体含量,用不同的颜色编码不同的特征气体,本发明构建了基于时间序列的油中溶解气体监测数据可视系统。通过动态过滤、整体+局部、数据聚合三种交互技术,实现了监测数据的多尺度可视分析
动态过滤
通过本发明的可视系统能够看到整个数据集的分布特征和趋势,如图3所示,为了动态显示用户定制内容,本发明增加了数据过滤交互,可视系统根据用户选择的结果动态的展示相应特征气体,同时系统的Y轴能够根据气体的含量动态调整取值范围(如图5(a)、5(b)所示)。
图5(a)选择CO和CO2后的展示结果,图5(b)选择CH4,C2H2,C2H4以及C2H6后的展示结果。
整体+局部
整体+局部交互技术使用户能够方便的在整体趋势概览与具体数据分析间自由切换,用户首先通过左上方的时间选择控件选择一段时间观察分析此段时间内的数据概况,如果希望进一步观察分析其中某一时间子集的数据情况,可拖动下方的时间滑块选择相应的数据子集。
数据聚合
本发明的可视系统提供了按周聚合、按月聚合两种聚合方式。根据实际需求,用户希望的周和月往往不是自然周(月),因此,在聚合时,本发明以时间选择空间的开始时间为聚合的开始时间,进而根据用户的选择按周或月进行聚合。为了在数据聚合的同时显示聚合子集内部数据的分布特性在可视系统中增加了箱体图(如图7(a)、图7(b)、图7(c)、图7(d)),箱体图从下到上五条线分别表示最小值、下四分位数、中位数、上四分位数和最大值,用户可以通过勾选开关按钮选择是否显示箱体图。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.多尺度时序分析的油色谱在线监测数据可视化系统,其特征是,包括:
数据采集服务器,将油色谱在线监测装置采集的被检测设备的数据传输至HBase客户机,HBase客户机将数据存储在相应的分布式存储服务器上;
数据展示客户机,接收用户的交互操作并将交互操作转换为数据请求指令,应用服务器接收数据展示客户机的数据请求,并将数据请求发送至HBase客户机;
HBase客户机,根据数据请求从相应的分布式存储服务器上读取数据,并将数据返回至应用服务器;
应用服务器,将读取的数据经过数据处理后传递给数据展示客户机;数据展示客户机显示出最终的数据展示界面。
2.如权利要求1所述的多尺度时序分析的油色谱在线监测数据可视化系统,其特征是,
HBbase客户机是采用KeyValue的列存储,row-key是KeyValue的值,表示唯一一行;row-key包括被检测设备的ID以及数据采集时间。
3.如权利要求1所述的多尺度时序分析的油色谱在线监测数据可视化系统,其特征是,
所述被检测设备的数据包括设备名称、测量时间和特征气体含量。
4.如权利要求1所述的多尺度时序分析的油色谱在线监测数据可视化系统,其特征是,
所述数据请求指令包含设备信息、监测时间段和聚合尺度,所述聚合尺度包括原始尺度、日、周、月四种聚合尺度,分别将一次监测、一天监测、一周监测、一月监测的数据作为一个数据单元进行聚合。
5.如权利要求1所述的多尺度时序分析的油色谱在线监测数据可视化系统,其特征是,
所述应用服务器包括:
接收请求模块,用于接收用户的交互请求并将该交互请求转化为底层数据存储服务器所能理解的指令发送给底层数据存储服务器;所述用户的交互请求包括用户选择的监测设备、监测数据起始时间,需要展示分析气体的种类以及聚合尺度;
数据接收模块,用于接收底层数据存储服务器返回的原始存储数据,原始数据采用KeyValue的列式存储,并将数据传输至数据解析模块;
数据解析模块,用于将数据存储服务器返回的原始存储数据解析处理,形成可以进一步进行数据分析处理的二维数据表;
数据过滤模块,用于响应用户的数据过滤交互指令,将数据按照用户的选择过滤掉不需要展示的特征气体;
数据收缩模块,用于响应用户的数据放缩交互指令,根据用户新选择的开始结束时间选择相应时间段内的数据;
数据聚合模块,用于响应用户的数据聚合交互指令,将原始测量数据按照新的聚合尺度进行聚合,形成新的聚合测量值;
数据组装模块,用于将分析处理后的数据组装为浏览器可以解析的json数据格式,并将数据发送到数据展示客户机上。
6.多尺度时序分析的油色谱在线监测数据可视化方法,其特征是,包括如下步骤:
步骤(1):油色谱在线监测装置采集被检测设备的数据,数据采集服务器将油色谱在线监测装置采集的被检测设备的数据传输至HBase客户机;
步骤(2):HBase客户机根据被检测设备的ID以及数据采集时间将数据存储在相应的分布式存储服务器上;
步骤(3):数据展示客户机,接收用户的交互操作并将交互操作转换为包含设备信息、监测时间段和聚合尺度的数据请求指令,应用服务器接收数据展示客户机的数据请求,并将数据请求发送至HBase客户机;
步骤(4):HBase客户机根据数据请求从相应的分布式存储服务器上读取数据,并将数据返回至应用服务器;
步骤(5):应用服务器将读取的数据经过数据处理后按照设定的格式组合成JSON字符串传递给数据展示客户机;数据展示客户机将从应用服务器获得的数据转换成可视元素,显示出最终的数据展示界面。
7.如权利要求6所述的方法,其特征是,
所述步骤(5)的数据处理的步骤包括:数据过滤步骤、数据收缩步骤或数据聚合步骤;
使用人员根据被分析数据的实际情况自由选择组合步骤(5)中的数据处理步骤对数据进行处理分析。
8.如权利要求7所述的方法,其特征是,
所述数据过滤步骤中用到的公式如下:
fy(v)=h*(v-vminSelected)/(vmaxSelected-vminSelected)
其中,fy(v)为将数据测量值映射为数据点纵坐标的映射函数,h为展示图像画布的高度,v为当前数据点的测量值,vmaxSelected和vminSelected分别为选择显示的气体中的最大值和最小值。
9.如权利要求7所述的方法,其特征是,
所述数据收缩步骤中用到的公式如下:
fx(t)=w*(t-tnewStart)/(tnewEnd-tnewStart);
其中,fx(t)为将数据测量时间映射为数据点横坐标的映射函数,w为展示图像画布的宽度,t为当前数据点的测量时间,tnewStart和tnewEnd分别是新的开始结束时间。
10.如权利要求7所述的方法,其特征是,
所述数据聚合步骤:
包括按日聚合,按周聚合和按月聚合;聚合后的测量值表示为
其中,v聚合为聚合后的测量值,n为聚合单元中的数据点数,vi为该聚合单元中的第i个点,所述按周、月聚合的开始时间为数据收缩时所选择的开始时间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510790660.9A CN105445579B (zh) | 2015-11-17 | 2015-11-17 | 多尺度时序分析的油色谱在线监测数据可视化系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510790660.9A CN105445579B (zh) | 2015-11-17 | 2015-11-17 | 多尺度时序分析的油色谱在线监测数据可视化系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105445579A true CN105445579A (zh) | 2016-03-30 |
CN105445579B CN105445579B (zh) | 2018-06-22 |
Family
ID=55556008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510790660.9A Active CN105445579B (zh) | 2015-11-17 | 2015-11-17 | 多尺度时序分析的油色谱在线监测数据可视化系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105445579B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106228024A (zh) * | 2016-08-03 | 2016-12-14 | 国网山东省电力公司电力科学研究院 | 一种针对油色谱在线监测数据的多视图协同可视分析方法 |
CN106548412A (zh) * | 2016-09-21 | 2017-03-29 | 广西电网有限责任公司电力科学研究院 | 一种变电站在线监测时序数据的高效压缩存储方法 |
CN107202852A (zh) * | 2017-05-23 | 2017-09-26 | 国家电网公司 | 一种基于可变阈值的油色谱在线监测数据异常值检测方法 |
CN108491440A (zh) * | 2018-02-12 | 2018-09-04 | 中国科学院光电研究院 | 一种gnss非实时数据溯源可视化方法和系统 |
WO2021008073A1 (zh) * | 2019-07-15 | 2021-01-21 | 南京医科大学 | 一种实验小鼠饮水监测方法、系统及装置 |
CN112910980A (zh) * | 2021-01-27 | 2021-06-04 | 中国银联股份有限公司 | 一种数据库访问系统和方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102685221A (zh) * | 2012-04-29 | 2012-09-19 | 华北电力大学(保定) | 一种状态监测数据的分布式存储与并行挖掘方法 |
CN102801216A (zh) * | 2012-09-06 | 2012-11-28 | 上海欣影电力科技发展有限公司 | 一种变电站智能巡检系统 |
CN202772673U (zh) * | 2012-09-06 | 2013-03-06 | 上海欣影电力科技发展有限公司 | 变电站智能巡检系统 |
CN103018345A (zh) * | 2012-12-17 | 2013-04-03 | 上海思源光电有限公司 | 油色谱在线监测采集系统及其方法 |
CN203870440U (zh) * | 2014-03-27 | 2014-10-08 | 国家电网公司 | 变电站主变油色谱在线监测装置网络化集控平台 |
CN104317966A (zh) * | 2014-11-18 | 2015-01-28 | 国家电网公司 | 一种用于电力大数据快速组合查询的动态索引方法 |
-
2015
- 2015-11-17 CN CN201510790660.9A patent/CN105445579B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102685221A (zh) * | 2012-04-29 | 2012-09-19 | 华北电力大学(保定) | 一种状态监测数据的分布式存储与并行挖掘方法 |
CN102801216A (zh) * | 2012-09-06 | 2012-11-28 | 上海欣影电力科技发展有限公司 | 一种变电站智能巡检系统 |
CN202772673U (zh) * | 2012-09-06 | 2013-03-06 | 上海欣影电力科技发展有限公司 | 变电站智能巡检系统 |
CN103018345A (zh) * | 2012-12-17 | 2013-04-03 | 上海思源光电有限公司 | 油色谱在线监测采集系统及其方法 |
CN203870440U (zh) * | 2014-03-27 | 2014-10-08 | 国家电网公司 | 变电站主变油色谱在线监测装置网络化集控平台 |
CN104317966A (zh) * | 2014-11-18 | 2015-01-28 | 国家电网公司 | 一种用于电力大数据快速组合查询的动态索引方法 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106228024A (zh) * | 2016-08-03 | 2016-12-14 | 国网山东省电力公司电力科学研究院 | 一种针对油色谱在线监测数据的多视图协同可视分析方法 |
CN106228024B (zh) * | 2016-08-03 | 2018-12-04 | 国网山东省电力公司电力科学研究院 | 一种针对油色谱在线监测数据的多视图协同可视分析方法 |
CN106548412A (zh) * | 2016-09-21 | 2017-03-29 | 广西电网有限责任公司电力科学研究院 | 一种变电站在线监测时序数据的高效压缩存储方法 |
CN107202852A (zh) * | 2017-05-23 | 2017-09-26 | 国家电网公司 | 一种基于可变阈值的油色谱在线监测数据异常值检测方法 |
CN108491440A (zh) * | 2018-02-12 | 2018-09-04 | 中国科学院光电研究院 | 一种gnss非实时数据溯源可视化方法和系统 |
CN108491440B (zh) * | 2018-02-12 | 2020-07-17 | 中国科学院光电研究院 | 一种gnss非实时数据溯源可视化方法和系统 |
WO2021008073A1 (zh) * | 2019-07-15 | 2021-01-21 | 南京医科大学 | 一种实验小鼠饮水监测方法、系统及装置 |
CN112910980A (zh) * | 2021-01-27 | 2021-06-04 | 中国银联股份有限公司 | 一种数据库访问系统和方法 |
CN112910980B (zh) * | 2021-01-27 | 2022-11-15 | 中国银联股份有限公司 | 一种数据库访问系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105445579B (zh) | 2018-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105445579A (zh) | 多尺度时序分析的油色谱在线监测数据可视化系统及方法 | |
Kehrer et al. | Visualization and visual analysis of multifaceted scientific data: A survey | |
Zhao et al. | Visual analytics for electromagnetic situation awareness in radio monitoring and management | |
US10977272B2 (en) | System and method for generating data visualization | |
Zhou et al. | Visual analytics for spatial clusters of air-quality data | |
Bernard et al. | Timeseriespaths: Projection-based explorative analysis of multivariate time series data | |
US10042920B2 (en) | Chart navigation system | |
CN111639243B (zh) | 时空数据渐进式多维模式提取与异常检测可视分析方法 | |
CN112688431A (zh) | 一种基于大数据的配电网负荷过载可视化方法及系统 | |
US11063998B2 (en) | System and method for energy management information system reliability assurance | |
CN107958020A (zh) | 一种基于聚簇的电网数据处理和数据可视化方法 | |
Jin et al. | The Building Data Genome Directory–An open, comprehensive data sharing platform for building performance research | |
CN106228024B (zh) | 一种针对油色谱在线监测数据的多视图协同可视分析方法 | |
CN112231386A (zh) | 铁路科研数据可视化交互方法及系统、设备及存储介质 | |
Blower et al. | GODIVA2: interactive visualization of environmental data on the Web | |
Malik et al. | Describing temporal correlation spatially in a visual analytics environment | |
CN115034005B (zh) | 一种面向构件剩余使用寿命预测的模型分析可视化方法 | |
CN103383649A (zh) | 一种复杂虚拟仪器系统设计模型 | |
CN107038513A (zh) | 一种指标的综合展示方法 | |
Tang et al. | Treeroses: outlier-centric monitoring and analysis of periodic time series data | |
Jiao et al. | Analyzing the spatial autocorrelation of regional urban datum land price | |
Uchida et al. | A visualization and level-of-detail control technique for large scale time series data | |
Nocke et al. | Images for data analysis: The role of visualization in climate research processes | |
US10359281B2 (en) | System and method for generating canvas representations reflecting solar installation potential of a geographic area | |
Li et al. | An interactive visualization approach to the overview of geoscience data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |