CN116108086B - 一种时序数据的评估方法、装置、电子设备及存储介质 - Google Patents

一种时序数据的评估方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116108086B
CN116108086B CN202310166500.1A CN202310166500A CN116108086B CN 116108086 B CN116108086 B CN 116108086B CN 202310166500 A CN202310166500 A CN 202310166500A CN 116108086 B CN116108086 B CN 116108086B
Authority
CN
China
Prior art keywords
data
time sequence
preset
target
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310166500.1A
Other languages
English (en)
Other versions
CN116108086A (zh
Inventor
李保平
谢超
杨建荣
麦新伟
欧德永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huitong Guoxin Technology Co ltd
Original Assignee
Guangzhou Huitong Guoxin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huitong Guoxin Technology Co ltd filed Critical Guangzhou Huitong Guoxin Technology Co ltd
Priority to CN202310166500.1A priority Critical patent/CN116108086B/zh
Publication of CN116108086A publication Critical patent/CN116108086A/zh
Application granted granted Critical
Publication of CN116108086B publication Critical patent/CN116108086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474Sequence data queries, e.g. querying versioned data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/248Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/283Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种时序数据的评估方法、装置、电子设备及存储介质。包括:获取待评估的目标数据集合,其中,所述目标数据集合是从数据湖中得到的;基于所述目标数据集合中的目标数据生成时序数据;调用所述数据湖的资源计算所述时序数据在各个预设指标对应的指标数据,并对所述指标数据进行归一化处理,得到归一化处理结果;利用所述归一化处理结果对所述时序数据进行评估。本申请实施例提供的方法直接利用数据湖的自身资源即可完成相关指标的计算,能够缩短数据评估的周期,不需要借助额外的资源,相比现有技术降低的资源消耗。同时普通数据库开发人员即可参与相关的数据分析及开发工作,大大降低了数据分析的难度。

Description

一种时序数据的评估方法、装置、电子设备及存储介质
技术领域
本申请涉及数据分析领域,尤其涉及一种时序数据的评估方法、装置、电子设备及存储介质。
背景技术
工业企业在数字化转型过程中,会将生产运营中运用物联网技术采集大量的设备数据到企业数据湖里面,入湖后的这些数据后续需要运用数据挖掘技术进行处理,以发掘数据的价值,为企业降本增效提供数据支撑。
这类数据都属于时序数据,其中很大一类数据挖掘是需要找出其中运行比较稳定的设备,并分析其中的原因,如温度控制比较精准的设备有哪些。这类型检测属于时间序列平稳性的检验,目前时间序列的平稳性检验主要有两种方法,一种是图检法,图检法依赖人工根据时序图和自相关图进行主观判断,显然对于数据湖里面的海量数据这种方法是不现实的;另一种是单位根检验法,是一种构造检验统计量的方法,单位根方法需要复杂的统计学公式,对于数据湖的使用者相关角色的所擅长的领域范围,不是非常友好。
综上,现有数据评估方法仍需要借助人工经验完成,或者计算量大,消耗的资源较多,导致数据评估的周期长,且仍具有一些难度。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本申请提供了一种时序数据的评估方法、装置、电子设备及存储介质。
根据本申请实施例的一个方面,提供了一种时序数据的评估方法,包括:
获取待评估的目标数据集合,其中,所述目标数据集合是从数据湖中得到的;
基于所述目标数据集合中的目标数据生成时序数据;
调用所述数据湖的资源计算所述时序数据在各个预设指标对应的指标数据,并对所述指标数据进行归一化处理,得到归一化处理结果;
利用所述归一化处理结果对所述时序数据进行评估。
进一步的,所述获取待评估的目标数据集合,包括:
获取时序数据评估请求,其中,所述时序数据评估请求携带有用于从数据湖查询待评估数据的元数据信息;
从所述数据湖中查询与所述元数据信息相匹配的原始数据,并基于所述原始数据生成原始数据集合;
获取数据筛选条件,并利用所述原始数据集合中满足所述数据筛选条件的原始数据构建所述目标数据集合。
进一步的,所述基于所述目标数据集合中的目标数据生成时序数据,包括:
从所述时序数据评估请求中获取生成条件;
将所述目标数据集合中满足所述生成条件的数据作为目标数据,并基于所述目标数据生成所述时序数据。
进一步的,在所述计算所述时序数据在各个预设指标对应的指标数据之前,所述方法包括:
获取所述时序数据的分布范围;
按照预设比例对所述分布范围进行划分,得到所述时序数据对应的阈值范围,其中,所述阈值范围包括:上限阈值以及下限阈值。
进一步的,所述预设指标包括:极差值,均方差,超阈值采样数以及连续超阈值最大周期数;
所述计算所述时序数据在各个预设指标对应的指标数据,包括:
利用所述数据湖中的预设函数分别计算所述时序数据的极差值以及均方差;
根据所述时序数据的时序特征以及预设采样条件计算所述时序数据的超阈值采样数;
获取所述时序数据中连续未落入所述阈值范围的采样数据的数量,并将该数量确定为所述连续超阈值最大周期数。
进一步的,所述对所述指标数据进行归一化处理,得到归一化处理结果,包括:
获取预设取值区间;
基于所述预设取值区间对所述预设指标的指标数据进行归一化处理,得到各个预设指标的指标数据在预设取值区间内的雷达图;
将所述雷达图确定为所述归一化处理结果。
进一步的,所述利用所述归一化处理结果对所述时序数据进行评估,包括:
计算所述雷达图所包围的面积;
利用所述面积与预设数据进行对比,得到评估结果。
根据本申请实施例的另一方面,还提供了一种时序数据的评估装置,包括:
获取模块,用于获取待评估的目标数据集合,其中,所述目标数据集合是从数据湖中得到的;
生成模块,用于基于所述目标数据集合中的目标数据生成时序数据;
计算模块,用于调用所述数据湖的资源计算所述时序数据在各个预设指标对应的指标数据,并对所述指标数据进行归一化处理,得到归一化处理结果;
评估模块,用于利用所述归一化处理结果对所述时序数据进行评估。
根据本申请实施例的另一方面,还提供了一种存储介质,该存储介质包括存储的程序,程序运行时执行上述的步骤。
根据本申请实施例的另一方面,还提供了一种电子装置,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;其中:存储器,用于存放计算机程序;处理器,用于通过运行存储器上所存放的程序来执行上述方法中的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述方法中的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:本申请实施例提供的方法直接利用数据湖的自身资源即可完成相关指标的计算,能够缩短数据评估的周期,不需要借助额外的资源,相比现有技术降低的资源消耗。同时普通数据库开发人员即可参与相关的数据分析及开发工作,大大降低了数据分析的难度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种时序数据的评估方法的流程图;
图2为本申请实施例提供的一种时序数据阈值的示意图;
图3为本申请实施例提供的一种雷达图的示意图;
图4为本申请实施例提供的一种数据对比的示意图;
图5为本申请实施例提供的一种时序数据的评估装置的框图;
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个类似的实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本申请实施例提供了一种时序数据的评估方法、装置、电子设备及存储介质。本发明实施例所提供的方法可以应用于任意需要的电子设备,例如,可以为服务器、终端等电子设备,在此不做具体限定,为描述方便,后续简称为电子设备。
根据本申请实施例的一方面,提供了一种时序数据的评估方法的方法实施例。图1为本申请实施例提供的一种时序数据的评估方法的流程图,如图1所示,该方法包括:
步骤S11,获取待评估的目标数据集合,其中,目标数据集合是从数据湖中得到的。
本申请实施例提供的方法应用于数据处理设备,数据处理设备可以是智能手机、电脑以及iPad等等。数据处理设备用于接收用户的时序数据评估请求,根据时序数据评估请求选择相应的原始数据生成时序数据,并对该时序数据进行评估。
在本申请实施例中,获取待评估的原始数据集合,包括以下步骤A1-A3
步骤A1,获取时序数据评估请求,其中,时序数据评估请求携带有用于从数据湖查询待评估数据的元数据信息。
在本申请实施例中,数据处理设备可以接收用户触发的时序数据评估请求,例如:用户基于点击数据处理设备的显示界面的评估按钮,数据处理设备在接收到时序数据评估请求后,基于时序数据评估请求显示相应的输入界面,获取用户基于输入界面输入的元数据信息。元数据信息中包括的数据描述信息可以是:名称,数据源,时序表以及字表等等,其中,名称可以是业务名称,数据源可以是数据库。
步骤A2,从数据湖中查询与元数据信息相匹配的原始数据,并基于原始数据生成原始数据集合。
在本申请实施例中,利用元数据查询信息查询原始数据集合的过程是:首先从数据湖中确定数据源,并从数据源中获取该业务名称对应的时序表。其次查询该时序表是否存在多个子表,如果存在多个子表,则获取筛选条件,筛选条件为是否使用全部子表中的数据作为原始数据集合。最终根据筛选条件从时序表中选择相应的子表,并利用该子表中的数据构建原始数据集合。
步骤A3,获取数据筛选条件,并利用原始数据集合中满足数据筛选条件的原始数据构建目标数据集合。
在本申请实施例中,利用原始数据集合中满足数据筛选条件的原始数据构建目标数据集合,包括以下步骤A301-A303:
步骤A301,将原始数据集合中满足数据筛选条件的原始数据确定为候选数据。
在本申请实施例中,数据筛选条件包括数据过滤类别、时间过滤范围、标签过滤数据等等。数据过滤类别可以包括一个数据类别,时间过滤范围可以包括一个开始时间和一个结束时间,标签过滤数据可以指示要获取的一个或多个设备标签所在的表项,即标签用于表明监测对象的属性信息。比如一个数据采集端的生厂日期、生产厂商、型号等,它往往不随着时间的变化而变化。一个标签由标签ID和标签值组成,标签ID也可称为标签名称。
步骤A302,按照采样条件所指示的颗粒度对候选数据进行取样,得到目标数据。
步骤A303,基于目标数据构建所述目标数据集合。
在本申请实施例中,采样条件包括:采样时间范围,采样颗粒度以及采样周期,其中,采样颗粒度可以表示为数据之间的时间粒度。例如:采样时间范围为10:00—22:00,采样周期为1小时,采样颗粒度为10分钟。基于此,在采样过程中,首先从候选数据中获取落入采样时间范围内的候选数据,其次,对落入采样范围内的候选数据按照采样周期划分,得到多个区间数据,最终从区间数据中按照采样颗粒度采集目标数据。最终基于每个区间数据内采集的目标数据构建目标数据集合。
步骤S12,基于目标数据集合中的目标数据生成时序数据。
在本申请实施例中,基于目标数据集合中的目标数据生成时序数据,包括以下步骤B1-B2:
步骤B1,从时序数据评估请求中获取生成条件;
步骤B2,将目标数据集合中满足生成条件的数据作为目标数据,并基于目标数据生成时序数据。
在本申请实施例中,基于目标数据集合中的目标数据生成时序数据可以是:利用多维度的时序特征对目标数据集合中的目标数据进行检测,从而得到与目标数据相匹配的至少一个目标时序特征,以此便于后续进行数据处理时,可以依据目标时序特征选择相应的数据处理方式。其中,多维度的时序特征包括:时间戳特征:通过对时间戳进行分解,可以获得关于时间的信息,如年、月、周、季度等。滑动窗口特征:将历史数据划分为不同大小的固定窗口,然后计算出特定时间内的平均值、方差、最大最小值等。周期性特征:通过观察数据是否存在周期性波动来识别具体周期。运动平均特征:使用一个固定长度的运动平均来衡量一定长度内数据波动情况。相关性特征:使用相关性来衡量当前数据与历史数据之间的相似度。
在本申请实施例中,以时序数据为股票数据进行具体说明,由于股票市场的交易具有区域性和连续性,但是各个地区的股票市场开盘、收盘具有本地特性,因此实际获取的股票数据通常具有数量多、记录不完整等特点,无法直接用于数据评估,因此为了解决复杂时间序列的预测问题。首先从生成条件中获取数据处理策略,利用数据处理策略对获取的股票数据这种具有时序特征的历史时序数据进行数据处理操作,数据处理策略可以包括数据清洗及数据切片,具体来说,数据清洗用于将目标数据集合中不完整的目标数据剔除或采用插值技术将目标数据集合中缺失的数据补齐,并通过滤波技术剔除历史时序数据中的系统性误差,保留主要规律。
具体的,可以采用剔除不完整的数据、利用窗口为3的均值滤波法剔除历史时序数据中的系统性误差来实现数据清洗。数据切片技术用于按照预测需求对汇率序列数据进行抽样和拆分,如由历史时序数据中获取每经过预设时间段(1分钟)产生的一个时序数据,并由获取的这些时序数据组成时序数据序列。
在本申请实施例中,生成条件还包括平稳化操作,由于时序数据通常具有非平稳特性,为了便于后续进行数据评估,需要对时序数据进行平稳化操作。
本申请实施例中的时序数据可以为汇率、股票、期货、贵金属等具有时间序列特性的资产序列及其他具有时间序列特性的数据,均在本发明的保护范围之内。此外,本申请中既适用于结构化的时序数据、也适用于非结构化的时序数据,即本申请对于不同结构的时序数据具有通用性。
步骤S13,调用数据湖的资源计算时序数据在各个预设指标对应的指标数据,并对指标数据进行归一化处理,得到归一化处理结果。
在本申请实施例中,在调用数据湖的资源计算时序数据在各个预设指标对应的指标数据之前,方法包括以下步骤C1-C2:
步骤C1,获取时序数据的分布范围。
步骤C2,按照预设比例对分布范围进行划分,得到时序数据对应的阈值范围,其中,阈值范围包括:上限阈值以及下限阈值。
在本申请实施例中,阈值计算方式有很多,由于本申请只是针对样本中的相对值进行评估,所以可使用二八法则,如图2中示例数据中的电压采样值数据,即将80%的数值都是属于正常范围的上下划2条线作为阈值,另外20%认为是异常的,如超过230,或低于210。
在本申请实施例中,预设指标包括:极差值,均方差,超阈值采样数以及连续超阈值最大周期数。
在本申请实施例中,调用数据湖的资源计算时序数据在各个预设指标对应的指标数据,包括以下步骤D1-D3:
步骤D1,利用数据湖中的预设函数分别计算时序数据的极差值以及均方差。
步骤D2,根据时序数据的时序特征以及预设采样条件计算目标时序数据的超阈值采样数。
步骤D3,获取时序数据中连续未落入阈值范围的采样数据的数量,并将该数量确定为连续超阈值最大周期数。
在本申请实施例中,极值差(SPREAD):极值差表示在某一段区间内时序数据的极大值与极小值的差,极值差这个值越大,代表对某设备的精准控制效果越差,属于不稳定性的一个重要指标。而数据湖中利用聚合函数可以写个SQL简单快速计算出该指标值,如:select spread(val) from table1。
均方差(标准差,STDDEV),方差是衡量一组数据波动大小的量,样本数据的方差或标准差越大,则数据的波动就越大,也是一个不稳定的重要指标,同时也是数据湖的基础函数,通过SQL可以快速计算该指标。如:select stddev(val) from table1。
超阈值采样数:该指标需要根据不同的序列特征及精准控制的质量要求进行计算阈值;由于是要计算非平稳性指标,所以计算出不在阈值范围内的值的总数是多少个,数量越大,则表示越不稳定。
连续超阈值最大周期数:该指标定义为,假设某个采样值为10分钟采样一次,那么采样值是在上个步骤计算的阈值之外的,并且是连续几个采样都是在阈值外的,计算这当中的连续周期的最大值。如上图中最后一段图形中有5个取值点都位于最大阈值230之外,则该指标等于5。
本申请实施例选择的上述四个预设指标,直接基于数据库自身的资源即可完成预设指标的计算,且计算量比较小,耗费资源少。另外,在不同的数据评估中,可以利用实际的数据评估需要减少一两个指标,仍然可以做出时间序列稳定性的比较判断。
在本申请实施例中,对指标数据进行归一化处理,得到归一化处理结果,包括以下步骤E1-E3:
步骤E1,获取预设取值区间。
步骤E2,基于预设取值区间对预设指标的指标数据进行归一化处理,得到各个预设指标的指标数据在预设取值区间内的雷达图。
步骤E3,将雷达图确定为归一化处理结果。
在本申请实施例中,对各个指标进行归一化处理,归一化处理是为了让各个指标在同一个预设取值区间,从而得到各个预设指标的指标数据在预设取值区间内的雷达图。例如:将所有指标取值范围归一化为0—100的区间。
步骤S14,利用归一化处理结果对时序数据进行评估。
在本申请实施例中,利用归一化处理结果对时序数据进行评估,包括以下步骤F1-F2:
步骤F1,计算雷达图所包围的面积。
步骤F2,利用面积与预设数据进行对比,得到评估结果。
在本申请实施例中,由于是等边四边形,雷达图所包围的面积,只需要计算相邻指标相乘除于2相加即可,即图3中的4个直角三角形面积相加。
在本申请实施例中,在得到雷达图的面积后,获取与时序数据相关的历史评估信息,并从历史评估信息中获取历史归一化处理结果,通过历史归一化处理结果得到历史雷达图的面积),将历史雷达图的面积与本次雷达图的面积进行对比,得到评估结果。
作为一个示例,利用每天的非平稳指标综合数据,计算出处于不健康状态的智能电表指标阈值,将这些电表识别出来再进行人工的复核。大大提升异常电表识别的准确性及效率。如上图4所示,某电表一个月之内,有6天都属于运行不稳定状态,则将该电表排序到前面或直接标记为异常电表清单中方便后续进行人工核查。
本申请实施例提供的方法直接利用数据湖的自身资源即可完成相关指标的计算,能够缩短数据评估的周期,不需要借助额外的资源,相比现有技术降低的资源消耗。同时普通数据库开发人员即可参与相关的数据分析及开发工作,大大降低了数据分析的难度。
图5为本申请实施例提供的一种时序数据的评估装置的框图,该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图5所示,该装置包括:
获取模块51,用于获取待评估的目标数据集合,其中,目标数据集合是从数据湖中得到的。
生成模块52,用于基于目标数据集合中的目标数据生成时序数据。
计算模块53,用于调用数据湖的资源计算时序数据在各个预设指标对应的指标数据,并对指标数据进行归一化处理,得到归一化处理结果。
评估模块54,用于利用归一化处理结果对时序数据进行评估。
在本申请实施例中,获取模块51,用于获取时序数据评估请求,其中,时序数据评估请求携带有用于从数据湖查询待评估数据的元数据信息;从数据湖中查询与元数据信息相匹配的原始数据,并基于原始数据生成原始数据集合;获取数据筛选条件,并将原始数据集合中满足数据筛选条件的原始数据作为目标数据,基于目标数据构建目标数据集合。
在本申请实施例中,生成模块52,用于从时序数据评估请求中获取时序特征;将目标数据集合中满足时序特征的数据作为目标数据,并基于目标数据生成时序数据。
在本申请实施例中,时序数据的评估装置还包括:阈值确定模块,用于获取时序数据的分布范围;按照预设比例对分布范围进行划分,得到时序数据对应的阈值范围,其中,阈值范围包括:上限阈值以及下限阈值。
在本申请实施例中,预设指标包括:极差值,均方差,超阈值采样数以及连续超阈值最大周期数;
在本申请实施例中,计算模块53,用于计利用数据湖中的预设函数分别计算时序数据的极差值以及均方差;根据时序数据的时序特征以及预设采样条件计算目标时序数据的超阈值采样数;获取时序数据中连续未落入阈值范围的采样数据的数量,并将该数量确定为连续超阈值最大周期数。
在本申请实施例中,计算模块53,用于获取预设取值区间;基于预设取值区间对预设指标的指标数据进行归一化处理,得到各个预设指标的指标数据在预设取值区间内的雷达图;将雷达图确定为归一化处理结果。
在本申请实施例中,评估模块54,用于计算雷达图所包围的面积;利用面积与预设数据进行对比,得到评估结果。
本申请实施例还提供一种电子设备,如图6所示,电子设备可以包括:处理器1501、通信接口1502、存储器1503和通信总线1504,其中,处理器1501,通信接口1502,存储器1503通过通信总线1504完成相互间的通信。
存储器1503,用于存放计算机程序;
处理器1501,用于执行存储器1503上所存放的计算机程序时,实现上述实施例的步骤。
上述终端提到的通信总线可以是外设部件互连标准(PeripheralComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random AccessMemory,简称RAM),也可以包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(CentralProcessing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DigitalSignalProcessing,简称DSP)、专用集成电路(Application SpecificIntegratedCircuit,简称ASIC)、现场可编程门阵列(Field-ProgrammableGate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的时序数据的评估方法。
在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的时序数据的评估方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidState Disk)等。
以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。
以上所述仅是本申请的具体实施方式,使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种时序数据的评估方法,其特征在于,包括:
获取待评估的目标数据集合,其中,所述目标数据集合是从数据湖中得到的;
基于所述目标数据集合中的目标数据生成时序数据;
调用所述数据湖的资源计算所述时序数据在各个预设指标对应的指标数据,并对所述指标数据进行归一化处理,得到归一化处理结果;
利用所述归一化处理结果对所述时序数据进行评估;
所述获取待评估的目标数据集合,包括:
获取时序数据评估请求,其中,所述时序数据评估请求携带有用于从数据湖查询待评估数据的元数据信息;
从所述数据湖中查询与所述元数据信息相匹配的原始数据,并基于所述原始数据生成原始数据集合;
获取数据筛选条件,并利用所述原始数据集合中满足所述数据筛选条件的原始数据所述目标数据集合;
所述基于所述目标数据集合中的目标数据生成时序数据,包括:
从所述时序数据评估请求中获取生成条件;
将所述目标数据集合中满足所述生成条件的数据作为目标数据,并基于所述目标数据生成所述时序数据;
方法还包括:利用多维度的时序特征对目标数据集合中的目标数据进行检测,从而得到与目标数据相匹配的至少一个目标时序特征,其中,目标时序特征用于确定相应的处理方式;
所述对所述指标数据进行归一化处理,得到归一化处理结果,包括:
获取预设取值区间;
基于所述预设取值区间对所述预设指标的指标数据进行归一化处理,得到各个预设指标的指标数据在预设取值区间内的雷达图;
将所述雷达图确定为所述归一化处理结果;
所述利用所述归一化处理结果对所述时序数据进行评估,包括:
计算所述雷达图所包围的面积;
利用所述面积与预设数据进行对比,得到评估结果;
其中,利用所述面积与预设数据进行对比,得到评估结果,包括:获取与时序数据相关的历史评估信息,并从历史评估信息中获取历史归一化处理结果,通过历史归一化处理结果得到历史雷达图的面积,将历史雷达图的面积与所述雷达图的面积进行对比,得到评估结果;
所述预设指标包括:极差值,均方差,超阈值采样数以及连续超阈值最大周期数;
所述调用所述数据湖的资源计算所述时序数据在各个预设指标对应的指标数据,包括:
利用所述数据湖中的预设函数分别计算所述时序数据的极差值以及均方差;
根据所述时序数据的时序特征以及预设采样条件计算所述时序数据的超阈值采样数;
获取所述时序数据中连续未落入阈值范围的采样数据的数量,并将该数量确定为所述连续超阈值最大周期数。
2.根据权利要求1所述的方法,其特征在于,在所述计算所述时序数据在各个预设指标对应的指标数据之前,所述方法包括:
获取所述时序数据的分布范围;
按照预设比例对所述分布范围进行划分,得到所述时序数据对应的阈值范围,其中,所述阈值范围包括:上限阈值以及下限阈值。
3.一种时序数据的评估装置,其特征在于,包括:
获取模块,用于获取待评估的目标数据集合,其中,所述目标数据集合是从数据湖中得到的;
生成模块,用于基于所述目标数据集合中的目标数据生成时序数据;
计算模块,用于调用所述数据湖的资源计算所述时序数据在各个预设指标对应的指标数据,并对所述指标数据进行归一化处理,得到归一化处理结果;
评估模块,用于利用所述归一化处理结果对所述时序数据进行评估;
所述获取模块,用于获取时序数据评估请求,其中,所述时序数据评估请求携带有用于从数据湖查询待评估数据的元数据信息;从所述数据湖中查询与所述元数据信息相匹配的原始数据,并基于所述原始数据生成原始数据集合;获取数据筛选条件,并利用所述原始数据集合中满足所述数据筛选条件的原始数据所述目标数据集合;
所述生成模块,用于从所述时序数据评估请求中获取生成条件;将所述目标数据集合中满足所述生成条件的数据作为目标数据,并基于所述目标数据生成所述时序数据;
生成模块,具体用于利用多维度的时序特征对目标数据集合中的目标数据进行检测,从而得到与目标数据相匹配的至少一个目标时序特征,其中,目标时序特征用于确定相应的处理方式;
所述计算模块,用于获取预设取值区间;基于所述预设取值区间对所述预设指标的指标数据进行归一化处理,得到各个预设指标的指标数据在预设取值区间内的雷达图;将所述雷达图确定为所述归一化处理结果;
所述评估模块,用于计算所述雷达图所包围的面积;利用所述面积与预设数据进行对比,得到评估结果;其中,利用所述面积与预设数据进行对比,得到评估结果,包括:获取与时序数据相关的历史评估信息,并从历史评估信息中获取历史归一化处理结果,通过历史归一化处理结果得到历史雷达图的面积,将历史雷达图的面积与所述雷达图的面积进行对比,得到评估结果;
所述预设指标包括:极差值,均方差,超阈值采样数以及连续超阈值最大周期数;
所述计算模块,用于利用所述数据湖中的预设函数分别计算所述时序数据的极差值以及均方差;根据所述时序数据的时序特征以及预设采样条件计算所述时序数据的超阈值采样数;获取所述时序数据中连续未落入阈值范围的采样数据的数量,并将该数量确定为所述连续超阈值最大周期数。
4.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至2中任一项所述的方法。
5.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;其中:
存储器,用于存放计算机程序;
处理器,用于通过运行存储器上所存放的程序来执行权利要求1至2中任一项所述的方法。
CN202310166500.1A 2023-02-27 2023-02-27 一种时序数据的评估方法、装置、电子设备及存储介质 Active CN116108086B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310166500.1A CN116108086B (zh) 2023-02-27 2023-02-27 一种时序数据的评估方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310166500.1A CN116108086B (zh) 2023-02-27 2023-02-27 一种时序数据的评估方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116108086A CN116108086A (zh) 2023-05-12
CN116108086B true CN116108086B (zh) 2023-09-26

Family

ID=86261528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310166500.1A Active CN116108086B (zh) 2023-02-27 2023-02-27 一种时序数据的评估方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116108086B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084056A (zh) * 2020-08-25 2020-12-15 腾讯科技(深圳)有限公司 异常检测方法、装置、设备及存储介质
CN112115182A (zh) * 2020-09-15 2020-12-22 招商局金融科技有限公司 时序数据的处理方法、装置、设备及存储介质
WO2021147557A1 (zh) * 2020-08-28 2021-07-29 平安科技(深圳)有限公司 客户画像方法、装置、计算机可读存储介质及终端设备
CN113869373A (zh) * 2021-09-07 2021-12-31 迪希埃(北京)半导体技术有限公司 设备异常检测方法、装置、计算机设备和存储介质
CN114969191A (zh) * 2021-11-24 2022-08-30 广州城建职业学院 基于大数据的数据分析方法、系统、装置及存储介质
CN115185932A (zh) * 2022-06-13 2022-10-14 清华大学 数据处理方法及装置
CN115545652A (zh) * 2022-10-11 2022-12-30 平安银行股份有限公司 人员综合评价方法、装置、设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084056A (zh) * 2020-08-25 2020-12-15 腾讯科技(深圳)有限公司 异常检测方法、装置、设备及存储介质
WO2021147557A1 (zh) * 2020-08-28 2021-07-29 平安科技(深圳)有限公司 客户画像方法、装置、计算机可读存储介质及终端设备
CN112115182A (zh) * 2020-09-15 2020-12-22 招商局金融科技有限公司 时序数据的处理方法、装置、设备及存储介质
CN113869373A (zh) * 2021-09-07 2021-12-31 迪希埃(北京)半导体技术有限公司 设备异常检测方法、装置、计算机设备和存储介质
CN114969191A (zh) * 2021-11-24 2022-08-30 广州城建职业学院 基于大数据的数据分析方法、系统、装置及存储介质
CN115185932A (zh) * 2022-06-13 2022-10-14 清华大学 数据处理方法及装置
CN115545652A (zh) * 2022-10-11 2022-12-30 平安银行股份有限公司 人员综合评价方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN116108086A (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
JP6978541B2 (ja) 動的外れ値偏り低減のコンピュータ実装方法、コンピュータシステム及びコンピュータ装置
US8751436B2 (en) Analyzing data quality
CN109934268B (zh) 异常交易检测方法及系统
US20190114711A1 (en) Financial analysis system and method for unstructured text data
Anagnostidis et al. Nonlinearity in high-frequency stock returns: Evidence from the Athens Stock Exchange
AU2020203735A1 (en) Automated generation and dynamic update of rules
Chalabi et al. Flexible distribution modeling with the generalized lambda distribution
Piao et al. A systematic look at the gamma process capability indices
Klein Incorporating quality aspects in sensor data streams
CN115858633B (zh) 一种基于数据湖的时序数据分析方法及装置
CN109976986B (zh) 异常设备的检测方法及装置
CN116108086B (zh) 一种时序数据的评估方法、装置、电子设备及存储介质
CN110458581B (zh) 商户业务周转异常的识别方法及装置
CN112988536B (zh) 一种数据异常检测方法、装置、设备及存储介质
Reschenhofer et al. Detecting long-range dependence with truncated ratios of periodogram ordinates
CN114860799A (zh) 数据仓库的质量检测方法和装置
Zhu et al. A likelihood for correlated extreme series
CN111275466B (zh) 一种超期单量预警的方法和装置
JP2022061157A (ja) 異常検知装置及び異常検知方法
CN111767938A (zh) 一种异常数据检测方法、装置及电子设备
Asghar et al. Analysis of seasonal level shift (SLS) detection in SARIMA models
Li et al. High-yield versus investment-grade bonds: less risk and greater returns?
US20170199911A1 (en) Method and Query Processing Server for Optimizing Query Execution
CN115170166B (zh) 一种用于判断垄断行为的大数据感知方法及系统
Mirzaei Novin et al. Simultaneous monitoring of multivariate time between events and their magnitude using multivariate marked Hawkes point process

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant