CN113792058A - 指标数据处理方法、装置、电子设备及存储介质 - Google Patents
指标数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113792058A CN113792058A CN202110909604.8A CN202110909604A CN113792058A CN 113792058 A CN113792058 A CN 113792058A CN 202110909604 A CN202110909604 A CN 202110909604A CN 113792058 A CN113792058 A CN 113792058A
- Authority
- CN
- China
- Prior art keywords
- index data
- current
- data item
- value
- numerical value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims description 46
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 abstract description 32
- 238000012544 monitoring process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000014759 maintenance of location Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2358—Change logging, detection, and notification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
- G06F11/3079—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by reporting only the changes of the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
- G06F11/3096—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents wherein the means or processing minimize the use of computing system or of computing system component resources, e.g. non-intrusive monitoring which minimizes the probe effect: sniffing, intercepting, indirectly deriving the monitored data from other directly available data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开关于一种指标数据处理方法、装置、电子设备及存储介质，所述方法包括：对当前时间节点的指标数据项进行遍历；获取当前指标数据项在上一时间节点的历史数值；基于所述历史数值以及所述当前指标数据项的当前数值，确定所述当前指标数据项的未更新次数；若所述当前指标数据项的所述未更新次数达到预设值，则删除所述当前指标数据项。本公开能够避免在解决指标数据高内存占用时存在的系统资源消耗大的问题。
Description
技术领域
本公开涉及计算机技术领域，尤其涉及一种指标数据处理方法、装置、电子设备及存储介质。
背景技术
微服务内，为了观测微服务集群的运转状态，通常需要对微服务的运行指标进行监控。对于指标数据的记录可通过累计频次来实现，例如，从第一次事件发生时开始计数，到当前所累计的频次可作为该事件的指标数据。但是有些指标的更新次数较少，甚至更新一次就不再更新，从而可能出现内存中需要维护大量的指标数据，这些指标常驻内存会造成高内存占用的问题。
相关技术中，在每项指标数据有更新时，相应地记录指标数据的更新时间戳，从而根据每项指标数据的更新时间戳删除预设时间段内没有更新的指标数据，以减少指标数据对内存的占用，但是由于监控的指标数据项较多，在每项指标数据进行更新时对相应更新时间戳的更新操作需要消耗大量的系统资源。
发明内容
本公开提供一种指标数据处理方法、装置、电子设备及存储介质，以至少解决相关技术中在解决指标数据高内存占用时存在的系统资源消耗大的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种指标数据处理方法，包括：
对当前时间节点的指标数据项进行遍历；
获取当前指标数据项在上一时间节点的历史数值；
基于所述历史数值以及所述当前指标数据项的当前数值，确定所述当前指标数据项的未更新次数；
若所述当前指标数据项的所述未更新次数达到预设值，则删除所述当前指标数据项。
在一示例性实施例中，所述基于所述历史数值以及所述当前指标数据项的当前数值，确定所述当前指标数据项的未更新次数，之前还包括：
对所述当前指标数据项的当前指标数据进行数值映射，得到所述当前指标数据项的当前数值。
在一示例性实施例中，所述对所述当前指标数据项的当前指标数据进行数值映射，得到所述当前指标数据项的当前数值包括：
对所述当前指标数据项的当前指标数据进行校验和计算，得到与所述当前指标数据对应的当前校验和；
将所述当前校验和确定为所述当前指标数据项的当前数值；
其中所述当前指标数据所占的字节数大于所述当前数值所占的字节数。
在一示例性实施例中，所述基于所述历史数值以及所述当前指标数据项的当前数值，确定所述当前指标数据项的未更新次数包括：
确定所述当前指标数据项在所述当前时间节点之前的未更新次数；
当所述历史数值与所述当前数值一致时，对所述当前指标数据项在所述当前时间节点之前的未更新次数进行加一操作，得到所述当前指标数据项在所述当前时间节点的未更新次数；
当所述历史数值与所述当前数值不一致时，对所述当前指标数据项在所述当前时间节点之前的未更新次数进行置零操作，得到所述当前指标数据项在所述当前时间节点的未更新次数。
在一示例性实施例中，所述方法还包括：
所述方法还包括：
当所述历史数值与所述当前数值不一致时，将所述当前指标数据项的历史数值更新为所述当前数值。
在一示例性实施例中，所述方法还包括：
若所述当前指标数据项的所述未更新次数没有达到所述预设值，则保留所述当前指标数据项。
在一示例性实施例中，所述方法还包括：
以预设检测周期对指标生成事件进行检测；
当检测到指标生成事件时，基于所述指标生成事件生成待添加指标数据项；
基于所述待添加指标数据项对当前已有指标数据项进行更新。
根据本公开实施例的第二方面，提供一种指标数据处理装置，包括：
遍历单元，被配置为执行对当前时间节点的指标数据项进行遍历；
历史数值获取单元，被配置为执行获取当前指标数据项在上一时间节点的历史数值；
第一确定单元，被配置为执行基于所述历史数值以及所述当前指标数据项的当前数值，确定所述当前指标数据项的未更新次数；
指标删除单元，被配置为执行若所述当前指标数据项的所述未更新次数达到预设值，则删除所述当前指标数据项。
在一示例性实施例中，所述装置还包括：
数值映射单元，被配置为执行对所述当前指标数据项的当前指标数据进行数值映射，得到所述当前指标数据项的当前数值。
在一示例性实施例中，所述数值映射单元包括：
校验和计算单元，被配置为执行对所述当前指标数据项的当前指标数据进行校验和计算，得到与所述当前指标数据对应的当前校验和；
当前数值确定单元，被配置为执行将所述当前校验和确定为所述当前指标数据项的当前数值；
其中所述当前指标数据所占的字节数大于所述当前数值所占的字节数。
在一示例性实施例中，所述第一确定单元包括：
第二确定单元，被配置为执行确定所述当前指标数据项在所述当前时间节点之前的未更新次数；
第一操作执行单元，被配置为执行当所述历史数值与所述当前数值一致时，对所述当前指标数据项在所述当前时间节点之前的未更新次数进行加一操作，得到所述当前指标数据项在所述当前时间节点的未更新次数；
第二操作执行单元，被配置为执行当所述历史数值与所述当前数值不一致时，对所述当前指标数据项在所述当前时间节点之前的未更新次数进行置零操作，得到所述当前指标数据项在所述当前时间节点的未更新次数。
在一示例性实施例中，所述装置还包括：
第一更新单元，被配置为执行当所述历史数值与所述当前数值不一致时，将所述当前指标数据项的历史数值更新为所述当前数值。
在一示例性实施例中，所述装置还包括：
指标数据项保留单元，被配置为执行若所述当前指标数据项的所述未更新次数没有达到所述预设值，则保留所述当前指标数据项。
在一示例性实施例中，所述装置还包括：
事件检测单元，被配置为执行以预设检测周期对指标生成事件进行检测；
指标数据项生成单元，被配置为执行当检测到指标生成事件时，基于所述指标生成事件生成待添加指标数据项；
第二更新单元，被配置为执行基于所述待添加指标数据项对当前已有指标数据项进行更新。
根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上所述的指标数据处理方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由服务器的处理器执行时，使得服务器能够执行如上所述的指标数据处理方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，计算机设备的至少一个处理器从所述可读存储介质读取并执行所述计算机程序，使得设备执行上述的指标数据处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开在每个预设的时间节点，对当前已有的指标数据项中的每个指标数据项进行遍历；根据当前指标数据项在上一时间节点的历史值，以及当前指标数据项的当前数值，确定当前指标数据项的未更新次数；若当前指标数据项的未更新次数达到预设值时，则删除当前指标数据项。由此可见，本公开中是通过在每个预设的时间节点对各项指标数据项进行是否更新的判断，并根据判断结果对指标数据项的未更新次数进行更新，避免了在指标数据项每次进行更新时均相应更新时间戳所带来的大量系统资源的消耗，从而节省了系统资源。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的实施环境示意图。
图2是根据一示例性实施例示出的一种指标数据处理方法流程图。
图3是根据一示例性实施例示出的一种指标数值映射方法流程图。
图4是根据一示例性实施例示出的一种对指标未更新次数进行更新的方法流程图。
图5是根据一示例性实施例示出的一种对新增加指标进行检测的方法流程图。
图6是根据一示例性实施例示出的一种指标数据处理装置示意图。
图7是根据一示例性实施例示出的一种设备结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
请参阅图1，其示出了本公开实施例提供的实施环境示意图，该实施环境可包括：至少一个第一终端110和第二终端120，第一终端110和第二终端120可通过网络进行数据通信。
具体地，第一终端110可向第二终端120发送指标监控请求，第二终端120内存中存储有指标监控数据，第二终端120可根据指标监控请求将当前指标的相关数据返回给第一终端110，第一终端110可对返回的指标数据进行展示、存储、或者再加工；第二终端120也可主动向第一终端110发送当前指标的相关数据，以使得第一终端110可对返回的指标数据进行展示、存储、或者再加工，本公开实施例不做具体限定；在具体进行指标数据展示时，可通过图形可视化界面，以及数据列表等形式进行展示。
第一终端110可以基于浏览器/服务器模式(Browser/Server，B/S)或客户端/服务器模式(Client/Server，C/S)与第二终端120进行通信。第一终端110可以包括：智能手机、平板电脑、笔记本电脑、数字助理、智能可穿戴设备、车载终端、服务器等类型的实体设备，也可以包括运行于实体设备中的软体，例如应用程序等。本公开实施例中的第一终端110上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。
第二终端120与第一终端110可以通过有线或者无线建立通信连接，第二终端120可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群，其中服务器可以是云端服务器。
为了解决相关技术中在解决指标数据占用内存时存在的系统资源消耗大的问题，本公开实施例提供了一种指标数据处理方法，该方法的执行主体可以为上述的第二终端，该第二终端具体可为后台指标数据服务器，请参阅图2，该方法可包括：
S210.对当前时间节点的指标数据项进行遍历。
本公开实施例中的两个相邻时间节点可以具有相同时间间隔，也可以具有不同的时间间隔；这里的时间节点可以为任意选择的时间节点，例如当前时间节点可以为指标上报时间节点。当前已有的指标数据项可以是指在当前指标监控范围之内的指标数据项。在当前时间节点，确定当前已有指标数据项。
S220.获取当前指标数据项在上一时间节点的历史数值。
S230.基于所述历史数值以及所述当前指标数据项的当前数值，确定所述当前指标数据项的未更新次数。
当前指标数据项在上一时间节点的历史数值可以用于表征当前指标数据项在上一时间节点的数据信息，当前指标数据项的当前数值可用于表征当前指标数据项在当前时间节点的数据信息。
具体可通过比较历史数值和当前数值是否相同，来确定当前指标数据项的数值在当前时间节点与上一时间节点之间是否有更新。即对于每个指标数据项，在每个时间节点，均会对该指标数据项对应的未更新次数进行更新，相比于指标数据项的数值每更新一次，相应更新时间戳更新一次的方式；本公开中每个时间节点更新一次未更新次数，在两个相邻时间节点之间，指标数据项的数值可能更新了多次，这里以两个相邻时间节点之间的时间段为单位来确定指标未更新次数，能够减少更新次数，减少系统资源消耗。
S240.若所述当前指标数据项的所述未更新次数达到预设值，则删除所述当前指标数据项。
当指标数据项的未更新次数达到预设值时，说明该指标数据项可能在连续几个时间节点没有更新，从而可将当前指标数据项从监控范围内删除，也即从内存中删除，能够减少内存中需要维护的指标数据项的数量，减轻指标维护的工作量，减少内存的占用，提高内存使用效率。
若所述当前指标数据项的所述未更新次数没有达到所述预设值，则说明该指标数据项还没有达到被删除的条件，可以继续保留当前指标数据项，继续对其进行监控。
上述当前指标数据项的历史数值以及当前数值可以为指标数据项本身的指标值，也可以是对指标数据项本身的指标值进行数值映射之后得到的映射值，即对当前指标数据项的当前指标数据进行数值映射，即可得到当前指标数据项的当前数值；当前指标数据项在上一时间节点的历史数值即可为对当前指标数据项在上一时间节点的指标数据进行数值映射得到的；其中指标数据项本身的指标值可以为指标计数值或者指标累计值。
这里的数值映射可以是指通过映射方法将第一类型的数值映射为第二类型的数值，且第一类型的数值与第二类型的数值具有对应关系。本公开中通过数值映射的方法对指标数据项的当前数值进行映射，得到相应的映射值。这里对数值进行映射一方面可以将原数值映射为统一形式的数据形式，从而能够适应当前数据监控的场景，提高数据适应性；另一方面经过映射得到的映射值所占的内存空间小于原数值所占的内存空间，从而将映射值作为指标数据项对应的数据进行存储，能够减少内存空间的占用，提高内存使用效率。
另外，在当前时间节点计算得到当前映射值之后，可将当前映射值作为当前指标数据项当前数值进行存储，从而当前指标数据项的当前数值可作为下一时间节点，当前指标数据项对应的历史数值。在经过数值映射之后，由于原数值与映射值具有对应关系，映射值可以替代原数值来进行后续计算，即后续的计算均可直接基于映射值进行。
若相邻两个时间节点的时间间隔是相同的可配置为相等，例如为10s；假设这里的预设值为255，若在当前时间节点对未更新次数进行更新之后，得到的未更新次数为255，则说明从第一个时间节点到当前时间节点，指标的计数值均没有进行更新，需要将其删除，即可允许未更新的指标在内存中存在2550s，若达到后还未更新，则会将其删除清理掉。
对于被公开实施例中的每个指标数据项，具体可包括多个字段，通过这多个字段的字段值来对相应的指标数据项进行描述，例如，多个字段可包括指标的基本元素以及扩展元素，指标的基本元素包括：指标名称、指标标签、以及指标数值(也可称为指标计数值)；指标的扩展元素包括：指标映射值，以及指标未更新次数，这里的指标未更新次数也可通过计数器实现。在具体实施过程中，可通过指标名称和指标标签对每个指标数据项进行标识，指标数值用于表征当前指标的具体计数值，指标映射值即是根据指标的当前计数值进行数值映射得到，指标未更新次数用于表征当前时间节点之前，指标的计数值未更新的次数。
例如，为了对各种水果的销售量指标进行监控，在时间节点a有如下指标：
表1
在时间节点b有如下指标：
表2
时间节点a和时间节点b之间可能间隔了多个时间节点，在时间节点b有表2所示的指标数据项，对各指标的指标映射进行计算，并根据映射值确定相关指标在时间节点b和时间节点b的上一时间节点是否有更新，由表1和表2可以看出，对于销售量-苹果-2-f(2)-254这条指标数据项，若获知在时间节点b的上一时间节点该项指标数值没有更新，即数值“2”没有更新，则在时间节点b，将“销售量-苹果”这个指标的指标未更新次数更新为255，达到了预设值，所以需要将“销售量-苹果”这个指标删除，即删除上述序号为1的一行记录。
请参阅图3，其示出了一种指标数值映射方法，具体地，该方法可包括：
S310.对所述当前指标数据项的当前指标数据进行校验和计算，得到与所述当前指标数据对应的当前校验和。
S320.将所述当前校验和确定为所述当前指标数据项的当前数值；其中所述当前指标数据所占的字节数大于所述当前数值所占的字节数。
相关技术中能够实现校验和计算的算法均可应用于本公开实施例中，例如可使用CRC-8算法进行校验和计算，得到的校验和具体可以为byte类型，且占1字节，指标的计数值一般为long类型，占用4个字节；从而由于校验和所占的字节数小于指标数值所占的字节数；本公开中，需要对指标计数值的相关数据进行存储，以便于下一时间节点进行数值比较，由于由于校验和与指标的计数值具有映射关系，这里的指标数据校验和即指当前数值，指标计数值即当前指标数据，可将存储指标计数值转换为存储计数值对应的校验和，使得在对数据进行存储时，校验和所占内存空间小于指标的计数值所占内存空间，从而通过存储与指标计数值对应的校验和能够节省内存空间。
对于上述未更新次数的具体更新方法，请参阅图4，其示出了一种对指标未更新次数进行更新的方法，该方法可包括：
S410.确定所述当前指标数据项在所述当前时间节点之前的未更新次数。
在当前时间节点，可通过获取该指标数据项的未更新次数字段来确定当前指标数据项的未更新次数，此时的未更新次数表征的是在当前时间节点之前的未更新次数。
S420.判断所述历史数值与所述当前数值是否一致。
S430.当所述历史数值与所述当前数值一致时，对所述当前指标数据项在所述当前时间节点之前的未更新次数进行加一操作，得到所述当前指标数据项在所述当前时间节点的未更新次数。
S440.当所述历史数值与所述当前数值不一致时，对所述当前指标数据项在所述当前时间节点之前的未更新次数进行置零操作，得到所述当前指标数据项在所述当前时间节点的未更新次数。
当历史数值与当前数值一致时，说明从上一时间节点到当前时间节点，指标数据项的数值没有发生变化，即没有更新，相应需要对未更新次数进行加一操作；当历史数值与当前数值不一致时，说明从上一时间节点到当前时间节点，指标数据项的数值发生了变化，既然已经更新了，则对应的未更新次数为0。
另外，由于同样需要对未更新次数进行存储，从而这里对于未更新次数的数据类型可采用无符号byte类型，占1个字节，同样能够节省存储内存。
通过历史数值和当前数值的比较结果来确定指标数据项的数值是否发生更新，并相应更新未更新次数，能够提高判断指标数据在预设时间段内是否进行更新的便利性。
另外，当经过数值映射的历史数值与当前数值不一致时，需要更新当前指标数据项的指标映射值字段，即将当前指标数据项对应的已存储映射值更新为当前映射值。通过及时更新与指标数据项对应的已存储映射值，能够为后续基于已存储映射值进行映射值比较提供比较基础，提高映射值比较的准确性。
例如在指标上报场景中，通过采用校验和在指标上报时校验指标是否发生变化，并计算在多个少采集周期内指标未发生变化。
请参阅图5，其示出了一种对新增加指标进行检测的方法，该方法可包括：
S510.以预设检测周期对指标生成事件进行检测。
S520.当检测到指标生成事件时，基于所述指标生成事件生成待添加指标数据项。
S530.基于所述待添加指标数据项对当前已有指标数据项进行更新。
本公开实施例中上述提到对于预设时间段内没有更新的指标数据项进行删除操作，相应地，当有新的指标生成时，需要及时发现该新的指标，并将其纳入监控范围；具体可进行周期性地指标检测，当检测到指标生成事件时，生成相应的指标数据项并将其添加到监控指标列表或者集合中，例如对于上述删除“销售量-苹果”这个指标，经过一段时间之后，又检测到其出现了，相应的指标计数值从0开始计数，那么可以重新将其纳入监控范围。通过对指标生成事件进行检测，能够避免遗漏待监控的指标，从而提高指标监控的全面性。
进一步地，对于相关技术中在每项指标数据有更新时，相应地记录指标数据的更新时间戳，从而根据每项指标数据的更新时间戳删除预设时间段内没有更新的指标数据的技术方案，由于存储的更新时间戳一般可采用long类型或者double类型，占用空间内存较大，而本公开实施例中存储的数值映射值以及未更新次数均只占1个字节，避免了冗长的时间戳字段，进一步地节省了存储空间。
本公开在每个预设的时间节点，对当前已有的指标数据项中的每个指标数据项进行遍历；根据当前指标数据项的当前映射值和已有映射值，对指标数据是否有更新进行判断，并根据判断结果对当前指标数据项的未更新次数进行更新，得到更新后的未更新次数；若未更新次数达到预设值时，则删除当前指标数据项。由此可见，本公开中是通过在每个预设的时间节点对各项指标数据项进行是否更新的判断，并根据判断结果对指标数据项的未更新次数进行更新，避免了在指标数据项每次进行更新时均相应更新时间戳所带来的大量系统资源的消耗，从而节省了系统资源。
相应地，请参阅图6，其示出了一种指标数据处理装置，包括：
遍历单元610，被配置为执行对当前时间节点的指标数据项进行遍历；
历史数值获取单元620，被配置为执行获取当前指标数据项在上一时间节点的历史数值；
第一确定单元630，被配置为执行基于所述历史数值以及所述当前指标数据项的当前数值，确定所述当前指标数据项的未更新次数；
指标删除单元640，被配置为执行若所述当前指标数据项的所述未更新次数达到预设值，则删除所述当前指标数据项。
在一示例性实施例中，所述装置还包括：
数值映射单元，被配置为执行对所述当前指标数据项的当前指标数据进行数值映射，得到所述当前指标数据项的当前数值。
在一示例性实施例中，所述数值映射单元包括：
校验和计算单元，被配置为执行对所述当前指标数据项的当前指标数据进行校验和计算，得到与所述当前指标数据对应的当前校验和；
当前数值确定单元，被配置为执行将所述当前校验和确定为所述当前指标数据项的当前数值；
其中所述当前指标数据所占的字节数大于所述当前数值所占的字节数。
在一示例性实施例中，所述第一确定单元630包括：
第二确定单元，被配置为执行确定所述当前指标数据项在所述当前时间节点之前的未更新次数；
第一操作执行单元，被配置为执行当所述历史数值与所述当前数值一致时，对所述当前指标数据项在所述当前时间节点之前的未更新次数进行加一操作，得到所述当前指标数据项在所述当前时间节点的未更新次数；
第二操作执行单元，被配置为执行当所述历史数值与所述当前数值不一致时，对所述当前指标数据项在所述当前时间节点之前的未更新次数进行置零操作，得到所述当前指标数据项在所述当前时间节点的未更新次数。
在一示例性实施例中，所述装置还包括：
第一更新单元，被配置为执行当所述历史数值与所述当前数值不一致时，将所述当前指标数据项的历史数值更新为所述当前数值。
在一示例性实施例中，所述装置还包括：
指标数据项保留单元，被配置为执行若所述当前指标数据项的所述未更新次数没有达到所述预设值，则保留所述当前指标数据项。
在一示例性实施例中，所述装置还包括：
事件检测单元，被配置为执行以预设检测周期对指标生成事件进行检测；
指标数据项生成单元，被配置为执行当检测到指标生成事件时，基于所述指标生成事件生成待添加指标数据项；
第二更新单元，被配置为执行基于所述待添加指标数据项对当前已有指标数据项进行更新。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，可选地，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等；当所述计算机可读存储介质中的指令由服务器的处理器执行时，使得服务器能够执行如上所述的任一方法。
在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，计算机设备的至少一个处理器从所述可读存储介质读取并执行所述计算机程序，使得设备执行上述任一方法。
进一步地，图7示出了一种用于实现本公开实施例所提供的方法的设备的硬件结构示意图，所述设备可以参与构成或包含本公开实施例所提供的装置。如图7所示，设备10可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图7所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，设备10还可包括比图7中所示更多或者更少的组件，或者具有与图7所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到设备10(或移动设备)中的其他元件中的任意一个内。如本公开实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块，如本公开实施例中所述的方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种播放器预加载方法或一种播放器运行方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括设备10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与设备10(或移动设备)的用户界面进行交互。
本实施例上述的任一方法均可基于图7所示的设备进行实施。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种指标数据处理方法，其特征在于，包括：
对当前时间节点的指标数据项进行遍历；
获取当前指标数据项在上一时间节点的历史数值；
基于所述历史数值以及所述当前指标数据项的当前数值，确定所述当前指标数据项的未更新次数；
若所述当前指标数据项的所述未更新次数达到预设值，则删除所述当前指标数据项。
2.根据权利要求1所述的一种指标数据处理方法，其特征在于，所述基于所述历史数值以及所述当前指标数据项的当前数值，确定所述当前指标数据项的未更新次数，之前还包括：
对所述当前指标数据项的当前指标数据进行数值映射，得到所述当前指标数据项的当前数值。
3.根据权利要求2所述的一种指标数据处理方法，其特征在于，所述对所述当前指标数据项的当前指标数据进行数值映射，得到所述当前指标数据项的当前数值包括：
对所述当前指标数据项的当前指标数据进行校验和计算，得到与所述当前指标数据对应的当前校验和；
将所述当前校验和确定为所述当前指标数据项的当前数值；
其中所述当前指标数据所占的字节数大于所述当前数值所占的字节数。
4.根据权利要求1所述的一种指标数据处理方法，其特征在于，所述基于所述历史数值以及所述当前指标数据项的当前数值，确定所述当前指标数据项的未更新次数包括：
确定所述当前指标数据项在所述当前时间节点之前的未更新次数；
当所述历史数值与所述当前数值一致时，对所述当前指标数据项在所述当前时间节点之前的未更新次数进行加一操作，得到所述当前指标数据项在所述当前时间节点的未更新次数；
当所述历史数值与所述当前数值不一致时，对所述当前指标数据项在所述当前时间节点之前的未更新次数进行置零操作，得到所述当前指标数据项在所述当前时间节点的未更新次数。
5.根据权利要求1或4所述的一种指标数据处理方法，其特征在于，所述方法还包括：
当所述历史数值与所述当前数值不一致时，将所述当前指标数据项的历史数值更新为所述当前数值。
6.根据权利要求1所述的一种指标数据处理方法，其特征在于，所述方法还包括：
若所述当前指标数据项的所述未更新次数没有达到所述预设值，则保留所述当前指标数据项。
7.根据权利要求1所述的一种指标数据处理方法，其特征在于，所述方法还包括：
以预设检测周期对指标生成事件进行检测；
当检测到指标生成事件时，基于所述指标生成事件生成待添加指标数据项；
基于所述待添加指标数据项对当前已有指标数据项进行更新。
8.一种指标数据处理装置，其特征在于，包括：
遍历单元，被配置为执行对当前时间节点的指标数据项进行遍历；
历史数值获取单元，被配置为执行获取当前指标数据项在上一时间节点的历史数值；
第一确定单元，被配置为执行基于所述历史数值以及所述当前指标数据项的当前数值，确定所述当前指标数据项的未更新次数；
指标删除单元，被配置为执行若所述当前指标数据项的所述未更新次数达到预设值，则删除所述当前指标数据项。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的指标数据处理方法。
10.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至7中任一项所述的指标数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110909604.8A CN113792058B (zh) | 2021-08-09 | 2021-08-09 | 指标数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110909604.8A CN113792058B (zh) | 2021-08-09 | 2021-08-09 | 指标数据处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113792058A true CN113792058A (zh) | 2021-12-14 |
| CN113792058B CN113792058B (zh) | 2023-10-24 |
Family
ID=79181653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110909604.8A Active CN113792058B (zh) | 2021-08-09 | 2021-08-09 | 指标数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113792058B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115471926A (zh) * | 2022-08-17 | 2022-12-13 | 力神（青岛）新能源有限公司 | 一种电动汽车电池管理系统的数据解析优化方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110417901A (zh) * | 2019-07-31 | 2019-11-05 | 北京金山云网络技术有限公司 | 数据处理方法、装置及网关服务器 |
| CN111124940A (zh) * | 2018-10-31 | 2020-05-08 | 深信服科技股份有限公司 | 一种基于全闪存阵列的空间回收方法及系统 |
| CN111611283A (zh) * | 2020-05-27 | 2020-09-01 | 贝壳技术有限公司 | 数据缓存方法、装置、计算机可读存储介质及电子设备 |
| CN112948363A (zh) * | 2021-02-03 | 2021-06-11 | 北京金山云网络技术有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
-
2021
- 2021-08-09 CN CN202110909604.8A patent/CN113792058B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111124940A (zh) * | 2018-10-31 | 2020-05-08 | 深信服科技股份有限公司 | 一种基于全闪存阵列的空间回收方法及系统 |
| CN110417901A (zh) * | 2019-07-31 | 2019-11-05 | 北京金山云网络技术有限公司 | 数据处理方法、装置及网关服务器 |
| CN111611283A (zh) * | 2020-05-27 | 2020-09-01 | 贝壳技术有限公司 | 数据缓存方法、装置、计算机可读存储介质及电子设备 |
| CN112948363A (zh) * | 2021-02-03 | 2021-06-11 | 北京金山云网络技术有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115471926A (zh) * | 2022-08-17 | 2022-12-13 | 力神（青岛）新能源有限公司 | 一种电动汽车电池管理系统的数据解析优化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113792058B (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111600746B (zh) | 网络故障定位方法、装置及设备 | |
| CN109039819B (zh) | 时延统计方法、装置、系统及存储介质 | |
| US11635985B2 (en) | Using degree of completeness of real-time data to maximize product revenue | |
| AU2010241805B2 (en) | System and method for managing configurations of devices | |
| CN111698335A (zh) | 设备状态查询方法、装置及服务器 | |
| CN113792058A (zh) | 指标数据处理方法、装置、电子设备及存储介质 | |
| CN108280007B (zh) | 一种用于评估设备资源利用率的方法和装置 | |
| CN111061588A (zh) | 一种定位数据库异常来源的方法及装置 | |
| CN113296666A (zh) | 主播曝光数据上报方法、装置、终端设备及存储介质 | |
| CN116545905A (zh) | 一种服务健康检测方法、装置、电子设备及存储介质 | |
| CN110020166B (zh) | 一种数据分析方法及相关设备 | |
| CN115185794A (zh) | 服务调用链的分析方法、装置及电子设备 | |
| CN115391318A (zh) | 过期数据的清除方法、装置、存储介质及计算机设备 | |
| CN115277355A (zh) | 一种监控系统状态码数据的处理方法、装置、设备及介质 | |
| CN113835961A (zh) | 告警信息监控方法、装置、服务器及存储介质 | |
| EP3190518A1 (en) | Method and apparatus for acquiring power consumption of network element device | |
| CN112131276A (zh) | 一种数据统计的方法、电子设备及可读存储介质 | |
| CN111431764A (zh) | 节点确定方法、设备、系统及介质 | |
| CN110647543A (zh) | 数据聚合方法、装置以及存储介质 | |
| CN117131141B (zh) | 一种多层逻辑关系数据的获取方法及装置 | |
| CN112968933B (zh) | 数据传输方法、装置、服务器及存储介质 | |
| CN114253951B (zh) | 数据处理方法、系统及第二服务器 | |
| CN112463525A (zh) | 一种存储设备性能监控方法、系统、终端及存储介质 | |
| CN117743115A (zh) | 运维方法、系统、装置及非易失性存储介质 | |
| CN117149847A (zh) | 数据的处理方法及装置、数据处理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |