CN113342817A - 数据降采样方法、装置、系统与计算机可读存储介质 - Google Patents
数据降采样方法、装置、系统与计算机可读存储介质 Download PDFInfo
- Publication number
- CN113342817A CN113342817A CN202110700735.5A CN202110700735A CN113342817A CN 113342817 A CN113342817 A CN 113342817A CN 202110700735 A CN202110700735 A CN 202110700735A CN 113342817 A CN113342817 A CN 113342817A
- Authority
- CN
- China
- Prior art keywords
- sampling
- data
- time sequence
- target equipment
- downsampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/221—Column-oriented storage; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Computing Systems (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种数据降采样方法,包括:获取目标设备的标签,根据目标设备的标签,确定目标设备对应的度量,并根据目标设备的采样频率,得到度量对应的时序数据;根据预设降采样规则,对时序数据进行降采样操作,得到降采样时序数据。本发明还公开了一种数据降采样装置、系统和计算机可读存储介质。本发明根据预设降采样规则对时序数据进行降采样,得到降采样时序数据,提高了数据降采样的效率。
Description
技术领域
本发明涉及无线通信技术领域,尤其涉及数据降采样方法、装置、系统与计算机可读存储介质。
背景技术
在现阶段工业互联网物联数据采集应用中,成千上万的设备每秒采样一次数据并存储在时序数据库中,并使用时序数据库提供的降采样功能满足不同的业务场景对数据的采样要求,但是面对时间跨度大的时序数据降采样计算或高频率调用降采样计算服务时,数据降采样效率会急剧下降。
发明内容
本发明的主要目的在于提出一种数据降采样方法、装置、系统与计算机可读存储介质,旨在解决如何提高数据降采样的效率的问题。
为实现上述目的,本发明提供一种数据降采样方法,所述数据降采样方法包括如下步骤:
获取目标设备的标签,根据所述目标设备的标签,确定所述目标设备对应的度量,并根据所述目标设备的采样频率,得到所述度量对应的时序数据;
根据预设降采样规则,对所述时序数据进行降采样操作,得到降采样时序数据。
优选地,获取目标设备的标签,根据目标设备的类型,确定所述目标设备对应的度量,并获取所述度量对应的时序数据的步骤之前,所述数据降采样方法还包括:
根据预设应用场景,确定所述应用场景中的所述目标设备的位置、数量和类型,并根据所述目标设备的位置、数量和类型,对所述目标设备设定标签;
根据所述目标设备的类型,确定所述目标设备的所述采样频率。
优选地,标签包括:所述目标设备的位置、类型和编号,所述根据所述目标设备的类型,确定所述目标设备的所述采样频率的步骤之后,所述数据降采样方法还包括:
根据所述目标设备的所述标签和所述度量,生成所述降采样数据表,所述降采样数据表包括:所述目标设备的位置、类型、编号以及所述度量。
优选地,根据所述目标设备的采样频率,采集所述度量对应的时序数据的步骤包括:
根据所述目标设备的所述采样频率,确定采样时间点,并根据所述采样时间点,采集所述目标设备对应的度量的数据;
将所述采集时间点、所述目标设备的标签和采集的所述数据捆绑储存,以得到所述度量对应的所述时序数据。
优选地,根据预设降采样规则,对所述时序数据进行降采样操作,得到降采样时序数据的步骤包括:
根据预设降采样规则,确定降采样频率和降采样算法,并根据所述降采样时间点和所述降采样算法,对所述时序数据进行降采样操作,计算出降采样时序数据。
优选地,根据预设降采样规则,对所述时序数据进行降采样操作,得到降采样时序数据的步骤之后,所述数据降采样方法还包括:
根据所述降采样数据表中所述目标设备的位置、类型、编号以及所述度量,将所述降采样时序数据储存到所述降采样数据表的对应位置中。
优选地,将所述降采样时序数据储存到所述降采样数据表的对应位置中的步骤之后,所述数据降采样方法还包括:
根据预设上传时间,将降采样数据表上传到云端服务器,以对所述降采样数据表中的降采样时序数据进行预设处理操作。
此外,为实现上述目的,本发明还提供一种数据降采样装置,所述数据降采样装置包括:
采样模块,用于获取目标设备的标签,根据所述目标设备的标签,确定所述目标设备对应的度量,并根据所述目标设备的采样频率,得到所述度量对应的时序数据;
降采样模块,用于根据预设降采样规则,对所述时序数据进行降采样操作,得到降采样时序数据。
进一步地,所述采样模块还包括确定模块,所述确定模块用于:
预设应用场景,确定所述应用场景中的所述目标设备的位置、数量和类型,并根据所述目标设备的位置、数量和类型,对所述目标设备设定标签;
根据所述目标设备的类型,确定所述目标设备的所述采样频率。
进一步地,所述采样模块还包括生成模块,所述生成模块用于:
根据所述目标设备的所述标签和所述度量,生成所述降采样数据表,所述降采样数据表包括:所述目标设备的位置、类型、编号以及所述度量。
进一步地,所述采样模块还用于:
根据所述目标设备的所述采样频率,确定采样时间点,并根据所述采样时间点,采集所述目标设备对应的度量的数据;
将所述采集时间点、所述目标设备的标签和采集的所述数据捆绑储存,以得到所述度量对应的所述时序数据。
进一步地,所述降采样模块还用于:
根据预设降采样规则,确定降采样频率和降采样算法,并根据所述降采样时间点和所述降采样算法,对所述时序数据进行降采样操作,计算出降采样时序数据。
进一步地,所述降采样模块还用于:
根据所述降采样数据表中所述目标设备的位置、类型、编号以及所述度量,将所述降采样时序数据储存到所述降采样数据表的对应位置中。
进一步地,所述降采样模块还包括上传模块,所述上传模块用于:
根据预设上传时间,将降采样数据表上传到云端服务器,以对所述降采样数据表中的降采样时序数据进行预设处理操作。
此外,为实现上述目的,本发明还提供一种数据降采样系统,所述数据降采样系统包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据降采样程序,所述数据降采样程序被所述处理器执行时实现如上所述的数据降采样方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有数据降采样程序,所述数据降采样程序被处理器执行时实现如上所述的数据降采样方法的步骤。
本发明提出的数据降采样方法,获取目标设备的标签,根据目标设备的标签,确定目标设备对应的度量,并根据目标设备的采样频率,得到度量对应的时序数据;根据预设降采样规则,对时序数据进行降采样操作,得到降采样时序数据,并将降采样时序数据储存到降采样数据表中。本发明还公开了一种数据降采样装置、系统和计算机可读存储介质。本发明根据预设降采样规则对时序数据进行降采样,得到降采样时序数据,提高了数据降采样的效率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图;
图2为本发明数据降采样方法第一实施例的流程示意图;
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例设备可以是PC机或服务器设备。
如图1所示,该设备可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的设备结构并不构成对设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据降采样程序。
其中,操作系统是管理和控制便携数据降采样设备与软件资源的程序,支持网络通信模块、用户接口模块、数据降采样程序以及其他程序或软件的运行;网络通信模块用于管理和控制网络接口1002;用户接口模块用于管理和控制用户接口1003。
在图1所示的数据降采样设备中,所述数据降采样设备通过处理器1001调用存储器1005中存储的数据降采样程序,并执行下述数据降采样方法各个实施例中的操作。
基于上述硬件结构,提出本发明数据降采样方法实施例。
参照图2,图2为本发明数据降采样方法第一实施例的流程示意图,所述方法包括:
步骤S10,获取目标设备的标签,根据所述目标设备的标签,确定所述目标设备对应的度量,并根据所述目标设备的采样频率,得到所述度量对应的时序数据;
步骤S20,根据预设降采样规则,对所述时序数据进行降采样操作,得到降采样时序数据。
本实施例数据降采样方法运用于物联网系统中的数据降采样设备中,数据降采样设备可以为终端或PC设备,为描述方便,以数据降采样设备为例进行描述;数据降采样设备获取目标设备的标签,根据目标设备的标签,确定目标设备对应的度量,并根据目标设备的采样频率,得到目标设备的度量的对应的时序数据;数据降采样设备根据预设降采样规则,对得到的时序数据进行降采样操作,得到降采样时序数据,并将降采样时序数据储存到降采样数据表中;需要说明的是,数据降采样设备可同时采集多个目标设备的时序数据,因此需要对不同目标设备设定不同的标签,以区分不同的目标设备;度量是指需要采集的目标设备状态或者业务数据,例如:温度、压力等;
本实施例的数据降采样方法,获取目标设备的标签,根据目标设备的标签,确定目标设备对应的度量,并根据目标设备的采样频率,得到度量对应的时序数据;根据预设降采样规则,对时序数据进行降采样操作,得到降采样时序数据,并将降采样时序数据储存到降采样数据表中。本发明根据预设降采样规则对时序数据进行降采样,得到降采样时序数据,并将降采样时序数据储存到降采样数据表中,提高了数据降采样的效率。
以下将对各个步骤进行详细说明:
步骤S10,获取目标设备的标签,根据所述目标设备的标签,确定所述目标设备对应的度量,并根据所述目标设备的采样频率,得到所述度量对应的时序数据;
在本实施例中,数据降采样设备获取目标设备的标签,根据目标设备的标签,确定目标设备对应的度量,并根据目标设备的采样频率,采集目标设备的度量的对应的时序数据;如:数据降采样设备需要采集两个目标设备的数据,两个目标设备分别为一台X工厂Y厂区1号空压机和一台X工厂Y厂区2号空压机,因此两个目标设备的标签分别为:公司=X、厂区=Y、设备类型=空压机、设备编号=1以及公司=X、厂区=Y、设备类型=空压机、设备编号=2,根据两个目标设备的标签,确定两个目标设备的度量为排气压力和加载压力,根据两个目标设备的设备类型,确定采样频率都是1秒,数据降采样设备根据采样频率,每1秒分别采集两个目标设备的排气压力和加载压力,得到四组时序数据,时序数据中包括标签和度量的数据,例如:公司=X、厂区=Y、设备类型=空压机、设备编号=1、排气压力=10,11,9......,需要说明的是,时序数据即时间序列数据,工业物联网环境中,指目标设备按时间顺序按稳定频率产生的设备运行状态数据或生产业务数据,目标设备产生的数据可以是时期数或时点数。
具体地,步骤S10包括:
步骤a,根据所述目标设备的所述采样频率,确定采样时间点,并根据所述采样时间点,采集所述目标设备对应的度量的数据;
在该步骤中,数据降采样设备根据目标设备的采样频率,确定采样时间点,并根据采样时间点,采集目标设备对应的度量的数据;如:目前时间为9:00,目标设备的采样频率为1分钟,则数据降采样设备确定采样时间点为,9:01、9:02等,以此类推,每到对应的采集时间点,数据降采样设备便实时采集目标设备对应的度量在对应时间点时的数据;可选地,每到对应的采集时间点,数据降采样设备计算从前一采集时间点到当前采集时间点的数据的平均数,作为目标设备对应的度量在对应时间点时的数据。
步骤b,将所述采集时间点、所述目标设备的标签和采集的所述数据捆绑储存,以得到所述度量对应的所述时序数据。
在该步骤中,数据降采样设备将采集时间点、目标设备的标签和采集的数据捆绑储存,以得到度量对应的时序数据;如:数据降采样设备将采集时间点、目标设备的标签和采集的数据捆绑储存,以得到所述度量对应的时序数据,时序数据为:公司=X、厂区=Y、设备类型=空压机、设备编号=1、排气压力=10,11,9......,在时序数据中,采集时间较早的数据排序较前,采集时间较晚的数据排序较后;需要说明的是,时序数据是以数据流的形式存在的,便于数据采集设备对时序数据进行后续的降采样操作。
步骤S20,根据预设降采样规则,对所述时序数据进行降采样操作,得到降采样时序数据。
在本实施例中,数据降采样设备得到时序数据后,根据预设降采样规则,对时序数据进行降采样操作,得到降采样时序数据,并将降采样数据储存到降采样数据表中;如:数据降采样设备将时序数据流入Flink降采样处理,Flink按根据应用场景配置的降采样规则,进行降采样操作,得到降采样时序数据,例如:把时序数据按每5分钟、每半小时或每小时的降采样频率进行降采样处理,同时每种降采样频率使用如下算法中的一种:mean、sum、max、min、median、variance、standard,产生的计算结果存储到降采样数据表,降采样数据表里的一行数据存储某设备某时间段内的降采样计算结果;需要说明的是,Flink是一个分布式流式数据处理框架,而工业物联网设备状态数据正是按时间序列生产的流式数据,因此相关研发人员会在数据降采样设备中使用Flink框架;降采样规则中的降采样算法包括但不限于以下:求平均值mean,求和sum,求最大值max,求最小值min,求中位值median,求方差variance,求标准差standard。
具体地,步骤S20还包括:
步骤c,根据预设降采样规则,确定降采样频率和降采样算法,并根据所述降采样时间点和所述降采样算法,对所述时序数据进行降采样操作,计算出降采样时序数据。
在该步骤中,数据降采样设备根据预设降采样规则,确定降采样频率和降采样算法,并根据降采样时间点和所述降采样算法,对时序数据进行降采样操作,计算出降采样时序数据;如:数据降采样设备根据预设降采样规则,确定降采样频率为5分钟,降采样算法为求平均值mean,数据降采样设备将通过采样频率1秒得到的时序数据:公司=X、厂区=Y、设备类型=空压机、设备编号=1、排气压力=10,11,9......,进行降采样频率为5分钟和降采样算法为求平均值mean的降采样操作,具体操作如下:降采样开始时间为9:00,根据降采样频率为5分钟,确定降采样时间点为:9:05、9:10、9:15等,以此类推,将时序数据的标签保留,将度量排气压力中的9:00到9:05时间段内的时序数据根据降采样算法为求平均值mean进行计算,得到平均值为11,将度量排气压力中的9:05到9:10时间段内的时序数据根据降采样算法为求平均值mean进行计算,得到平均值为10,将度量排气压力中的9:10到9:15时间段内的时序数据根据降采样算法为求平均值mean进行计算,得到平均值为10,以此类推,计算得到降采样时序数据:公司=X、厂区=Y、设备类型=空压机、设备编号=1、排气压力=11,10,10......;需要说明的是,预设降采样规则中的降采样频率和降采样算法,是相关人员根据实际应用场景的实际需求进行设置的,降采样频率可以设置多个,降采样算法也可以设置多种,数据降采样设备会对多个降采样频率和多种降采样算法进行组合,并根据组合的结果对时序数据进行降采样操作,得到多组不同的降采样时序数据。
步骤d,根据所述降采样数据表中所述目标设备的位置、类型、编号以及所述度量,将所述降采样时序数据储存到所述降采样数据表的对应位置中。
在该步骤中,数据降采样设备根据降采样数据表中所述目标设备的位置、类型、编号以及度量,将所述降采样时序数据储存到所述降采样数据表的对应位置中;如:数据降采样设备得到降采样时序数据:公司=X、厂区=Y、设备类型=空压机、设备=1、排气压力=11,10,10......,数据降采样设备将降采样时序数据中目标设备的标签中的位置、类型、编号以及度量与降采样数据表中所述目标设备的位置、类型、编号以及度量进行对比,当降采样时序数据中目标设备的标签中的位置、类型、编号以及度量与降采样数据表中所述目标设备的位置、类型、编号以及度量都完全匹配时,将降采样时序数据中的度量的数据储存在对应位置,由于降采样数据表里的一行数据存储某设备某时间段内的降采样计算结果,因此降采样时序数据按照降采样的先后顺序,储存在对应位置、类型、编号以及度量的同一行内。需要说明的是,降采样数据表是基于HBase生成的,HBase是一种分布式,列式存储数据库,可用于储存大量的时序数据,并且读写速度快,降采样时序数据储存在基于HBase生成的降采样数据表中,有利于提高对降采样时序数据进行相关操作的效率。
进一步地,步骤d之后还包括:
根据预设上传时间,将降采样数据表上传到云端服务器,以对所述降采样数据表中的降采样时序数据进行预设处理操作。
在该步骤中,数据降采样设备根据预设上传时间,将降采样数据表上传到云端服务器,以对降采样数据表中的降采样时序数据进行预设处理操作;如:数据降采样设备根据预设上传时间为12:00,当时间到达上传时间时,将降采样数据表上传到云端服务器。需要说明的是,当相关人员急需查看降采样时序数据时,也可直接对降采样数据表中的降采样时序数据进行读取。
本实施例的数据降采样方法,数据降采样设备根据目标设备的标签,确定目标设备对应的度量,并根据目标设备的采样频率,得到目标设备的度量的对应的时序数据;数据降采样设备根据预设降采样规则,对得到的时序数据进行降采样操作,得到降采样时序数据,并将降采样时序数据储存大降采样数据表中;本发明根据预设降采样规则对时序数据进行降采样,得到降采样时序数据,并将降采样时序数据储存到降采样数据表中,再降采样数据表中的降采样时序数据进行预设处理操作,将数据降采样服务从现有的时序数据库中解耦出来,通过分布式流式数据处理框架Flink和分布式列式存储数据库HBase,提供性能更好的数据降采样计算和降采样时序数据的储存,提高了数据降采样的效率。
进一步地,基于本发明数据降采样方法第一实施例,提出本发明数据降采样方法第二实施例。
数据降采样方法的第二实施例与数据降采样方法的第一实施例的区别在于,在步骤S10之前,数据降采样方法还包括:
步骤e,根据预设应用场景,确定所述应用场景中的所述目标设备的位置、数量和类型,并根据所述目标设备的位置、数量和类型,对所述目标设备设定标签;
步骤f,根据所述目标设备的类型,确定所述目标设备的所述采样频率。
步骤g,根据所述目标设备的所述标签和所述度量,生成所述降采样数据表,所述降采样数据表包括:所述目标设备的位置、类型、编号以及所述度量。
本实施例中数据降采样设备根据预设应用场景,确定应用场景中的目标设备的位置、数量和类型,并根据目标设备的位置、数量和类型,对目标设备设定标签;根据所述目标设备的类型,确定目标设备的所述采样频率;根据所述目标设备的标签和度量,生成降采样数据表;需要说明的是,降采样数据表包括但不限于:目标设备的位置、类型、编号以及度量;目标设备的标签包括但不限于:目标设备的位置、类型和编号。
以下将对各个步骤进行详细说明:
步骤e,根据预设应用场景,确定所述应用场景中的所述目标设备的位置、数量和类型,并根据所述目标设备的位置、数量和类型,对所述目标设备设定标签;
在该步骤中,数据降采样设备预设应用场景,确定应用场景中的目标设备的位置、数量和类型,并根据目标设备的位置、数量和类型,对目标设备设定标签;如:数据降采样设备预设应用场景,确定应用场景中的目标设备的位置为X工厂Y厂区,目标设备的类型为空压机,目标设备的数量为2,数据降采样设备根据目标设备的位置为X工厂Y厂区,目标设备的类型为空压机,目标设备的数量为2,对目标设备设定标签,两个目标设备的标签分别为公司=X、厂区=Y、设备类型=空压机、设备编号=1以及公司=X、厂区=Y、设备类型=空压机、设备编号=2。
步骤f,根据所述目标设备的类型,确定所述目标设备的所述采样频率。
在该步骤中,数据降采样设备根据目标设备的类型,确定目标设备的采样频率;如:当目标设备的类型为空压机时,由于空压机的度量主要为排气压力和加载压力,排气压力值和加载压力值随时间的变化会不断变化,因此需要设定较高的采样频率,以确保获取空压机的排气压力和加载压力更多的数据;当目标设备的类型为散热风扇时,由于散热风扇的度量主要是风扇转速,随时间的变化风扇转速的变化并不明显,因此可以设置相对较低的采样频率,以节约储存空间。
步骤g,根据所述目标设备的所述标签和所述度量,生成所述降采样数据表,所述降采样数据表包括:所述目标设备的位置、类型、编号以及所述度量。
在该步骤中,数据降采样设备根据目标设备的标签和度量,生成降采样数据表,降采样数据表包括:所述目标设备的位置、类型、编号以及所述度量;如:目标设备的标签为公司=X、厂区=Y、设备类型=空压机、设备编号=1,目标设备的度量为排气压力和加载压力,数据降采样设备根据目标设备的标签和度量,生成降采样数据表,将公司=X、厂区=Y、设备类型=空压机、设备编号=1,度量=排气压力,以及公司=X、厂区=Y、设备类型=空压机、设备编号=1,度量=加载压力,分别设置为单独的一行,并留有空位,以便后续将度量的降采样时序数据储存到降采样数据表中。
本实施例的数据降采样设备根据预设应用场景,确定应用场景中的目标设备的位置、数量和类型,并根据目标设备的位置、数量和类型,对目标设备设定标签;根据所述目标设备的类型,确定目标设备的所述采样频率;根据所述目标设备的标签和度量,生成降采样数据表;通过对目标设备设定标签,并根据标签和度量,通过分布式列式存储数据库HBase创建降采样数据表,使得后续降采样时序数据的储存更便捷,进行有助于提高降采样时序数据储存和读取的效率。
本发明还提供一种数据降采样装置。本发明数据降采样装置包括:
采样模块,用于获取目标设备的标签,根据所述目标设备的标签,确定所述目标设备对应的度量,并根据所述目标设备的采样频率,得到所述度量对应的时序数据;
降采样模块,用于根据预设降采样规则,对所述时序数据进行降采样操作,得到降采样时序数据。
进一步地,所述采样模块还包括确定模块,所述确定模块用于:
预设应用场景,确定所述应用场景中的所述目标设备的位置、数量和类型,并根据所述目标设备的位置、数量和类型,对所述目标设备设定标签;
根据所述目标设备的类型,确定所述目标设备的所述采样频率。
进一步地,所述采样模块还包括生成模块,所述生成模块用于:
根据所述目标设备的所述标签和所述度量,生成所述降采样数据表,所述降采样数据表包括:所述目标设备的位置、类型、编号以及所述度量。
进一步地,所述采样模块还用于:
根据所述目标设备的所述采样频率,确定采样时间点,并根据所述采样时间点,采集所述目标设备对应的度量的数据;
将所述采集时间点、所述目标设备的标签和采集的所述数据捆绑储存,以得到所述度量对应的所述时序数据。
进一步地,所述降采样模块还用于:
根据预设降采样规则,确定降采样频率和降采样算法,并根据所述降采样时间点和所述降采样算法,对所述时序数据进行降采样操作,计算出降采样时序数据。
进一步地,所述降采样模块还用于:
根据所述降采样数据表中所述目标设备的位置、类型、编号以及所述度量,将所述降采样时序数据储存到所述降采样数据表的对应位置中。
进一步地,所述降采样模块还包括上传模块,所述上传模块用于:
根据预设上传时间,将降采样数据表上传到云端服务器,以对所述降采样数据表中的降采样时序数据进行预设处理操作。
本发明还提供一种可读存储介质。
本发明可读存储介质为计算机可读存储介质,计算机可读存储介质上存储有数据降采样程序,所述数据降采样程序被处理器执行时实现如上所述的数据降采样方法的步骤。
其中,在所述处理器上运行的数据降采样程序被执行时所实现的方法可参照本发明数据降采样方法各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书与附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据降采样方法,其特征在于,所述数据降采样方法包括如下步骤:
获取目标设备的标签,根据所述目标设备的标签,确定所述目标设备对应的度量,并根据所述目标设备的采样频率,得到所述度量对应的时序数据;
根据预设降采样规则,对所述时序数据进行降采样操作,得到降采样时序数据。
2.如权利要求1所述的数据降采样方法,其特征在于,所述获取目标设备的标签,根据目标设备的标签,确定所述目标设备对应的度量,并根据所述目标设备的采样频率,得到所述度量对应的时序数据的步骤之前,所述数据降采样方法还包括:
根据预设应用场景,确定所述应用场景中的所述目标设备的位置、数量和类型,并根据所述目标设备的位置、数量和类型,对所述目标设备设定标签;
根据所述目标设备的类型,确定所述目标设备的所述采样频率。
3.如权利要求2所述的数据降采样方法,其特征在于,所述标签包括:所述目标设备的位置、类型和编号,所述根据所述目标设备的类型,确定所述目标设备的所述采样频率的步骤之后,所述数据降采样方法还包括:
根据所述目标设备的所述标签和所述度量,生成所述降采样数据表,所述降采样数据表包括:所述目标设备的位置、类型、编号以及所述度量。
4.如权利要求2所述的数据降采样方法,其特征在于,所述根据所述目标设备的采样频率,采集所述度量对应的时序数据的步骤包括:
根据所述目标设备的所述采样频率,确定采样时间点,并根据所述采样时间点,采集所述目标设备对应的度量的数据;
将所述采集时间点、所述目标设备的标签和采集的所述数据捆绑储存,以得到所述度量对应的所述时序数据。
5.如权利要求1中所述的数据降采样方法,其特征在于,所述根据预设降采样规则,对所述时序数据进行降采样操作,得到降采样时序数据的步骤包括:
根据预设降采样规则,确定降采样频率和降采样算法,并根据所述降采样时间点和所述降采样算法,对所述时序数据进行降采样操作,计算出降采样时序数据。
6.如权利要求3所述的数据降采样方法,其特征在于,所述根据预设降采样规则,对所述时序数据进行降采样操作,得到降采样时序数据的步骤之后,所述数据降采样方法还包括:
根据所述降采样数据表中所述目标设备的位置、类型、编号以及所述度量,将所述降采样时序数据储存到所述降采样数据表的对应位置中。
7.如权利要求6所述的数据降采样方法,其特征在于,所述将所述降采样时序数据储存到所述降采样数据表的对应位置中的步骤之后,所述数据降采样方法还包括:
根据预设上传时间,将降采样数据表上传到云端服务器,以对所述降采样数据表中的降采样时序数据进行预设处理操作。
8.一种数据降采样装置,其特征在于,所述数据降采样装置包括:
采样模块,用于获取目标设备的标签,根据所述目标设备的标签,确定所述目标设备对应的度量,并根据所述目标设备的采样频率,得到所述度量对应的时序数据;
降采样模块,用于根据预设降采样规则,对所述时序数据进行降采样操作,得到降采样时序数据。
9.一种数据降采样系统,其特征在于,所述数据降采样系统包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据降采样程序,所述数据降采样程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据降采样方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有数据降采样程序,所述数据降采样程序被处理器执行时实现如权利要求1至7中任一项所述的数据降采样方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110700735.5A CN113342817A (zh) | 2021-06-23 | 2021-06-23 | 数据降采样方法、装置、系统与计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110700735.5A CN113342817A (zh) | 2021-06-23 | 2021-06-23 | 数据降采样方法、装置、系统与计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113342817A true CN113342817A (zh) | 2021-09-03 |
Family
ID=77477994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110700735.5A Pending CN113342817A (zh) | 2021-06-23 | 2021-06-23 | 数据降采样方法、装置、系统与计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113342817A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114328601A (zh) * | 2021-12-09 | 2022-04-12 | 阿里巴巴(中国)有限公司 | 数据降采样和数据查询方法、系统及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110633277A (zh) * | 2019-08-13 | 2019-12-31 | 平安科技(深圳)有限公司 | 时序数据存储方法、装置、计算机设备和存储介质 |
US20200167360A1 (en) * | 2018-11-23 | 2020-05-28 | Amazon Technologies, Inc. | Scalable architecture for a distributed time-series database |
CN112307057A (zh) * | 2020-10-27 | 2021-02-02 | 北京健康之家科技有限公司 | 数据的处理方法及装置、电子设备、计算机存储介质 |
CN112699165A (zh) * | 2020-12-28 | 2021-04-23 | 山东鲁能软件技术有限公司 | 一种用于时序数据降采样的方法和系统 |
CN112818013A (zh) * | 2021-01-27 | 2021-05-18 | 北京百度网讯科技有限公司 | 时序数据库查询优化方法、装置、设备以及存储介质 |
-
2021
- 2021-06-23 CN CN202110700735.5A patent/CN113342817A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200167360A1 (en) * | 2018-11-23 | 2020-05-28 | Amazon Technologies, Inc. | Scalable architecture for a distributed time-series database |
CN110633277A (zh) * | 2019-08-13 | 2019-12-31 | 平安科技(深圳)有限公司 | 时序数据存储方法、装置、计算机设备和存储介质 |
CN112307057A (zh) * | 2020-10-27 | 2021-02-02 | 北京健康之家科技有限公司 | 数据的处理方法及装置、电子设备、计算机存储介质 |
CN112699165A (zh) * | 2020-12-28 | 2021-04-23 | 山东鲁能软件技术有限公司 | 一种用于时序数据降采样的方法和系统 |
CN112818013A (zh) * | 2021-01-27 | 2021-05-18 | 北京百度网讯科技有限公司 | 时序数据库查询优化方法、装置、设备以及存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114328601A (zh) * | 2021-12-09 | 2022-04-12 | 阿里巴巴(中国)有限公司 | 数据降采样和数据查询方法、系统及存储介质 |
WO2023103626A1 (zh) * | 2021-12-09 | 2023-06-15 | 阿里巴巴(中国)有限公司 | 数据降采样和数据查询方法、系统及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102511271B1 (ko) | 시계열 데이터 저장 및 쿼리 방법 및 장치, 및 그 서버 및 저장 매체 | |
US20180260621A1 (en) | Picture recognition method and apparatus, computer device and computer- readable medium | |
CN107861981B (zh) | 一种数据处理方法及装置 | |
CN109376689B (zh) | 人群分析方法及装置 | |
US10223397B1 (en) | Social graph based co-location of network users | |
CN110619807B (zh) | 生成全局热力图的方法和装置 | |
CN110717806B (zh) | 产品信息推送方法、装置、设备及存储介质 | |
CN109446384B (zh) | 用于生成人员组织架构信息的方法和系统 | |
CN111177568A (zh) | 基于多源数据的对象推送方法、电子装置及存储介质 | |
CN109756533A (zh) | 一种镜像加速方法、装置及服务器 | |
CN109597702B (zh) | 消息总线异常的根因分析方法、装置、设备及存储介质 | |
CN113342817A (zh) | 数据降采样方法、装置、系统与计算机可读存储介质 | |
CN105653550B (zh) | 网页过滤方法和装置 | |
CN108011936B (zh) | 用于推送信息的方法和装置 | |
CN113362090B (zh) | 一种用户行为数据处理方法和装置 | |
CN111784042B (zh) | 一种用电节点安全风险预测方法、装置及存储介质 | |
CN112115182A (zh) | 时序数据的处理方法、装置、设备及存储介质 | |
CN104268189B (zh) | 评价应用的方法及装置 | |
CN112560938B (zh) | 模型训练方法、装置及计算机设备 | |
CN109710436B (zh) | 空间清理方法、装置、设备和计算机可读存储介质 | |
CN111343502B (zh) | 视频处理方法、电子装置及计算机可读存储介质 | |
CN110866182B (zh) | 房源推荐方法、装置、服务器及计算机可读存储介质 | |
CN112328464A (zh) | 指标数据存储、相关性分析方法及计算机可读存储介质 | |
CN111984839B (zh) | 绘制用户画像的方法和装置 | |
CN113570070A (zh) | 流式数据采样与模型更新方法、装置、系统与存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |