CN112506926A - 监控数据存储、查询方法及其相应的装置、设备、介质 - Google Patents
监控数据存储、查询方法及其相应的装置、设备、介质 Download PDFInfo
- Publication number
- CN112506926A CN112506926A CN202011394498.6A CN202011394498A CN112506926A CN 112506926 A CN112506926 A CN 112506926A CN 202011394498 A CN202011394498 A CN 202011394498A CN 112506926 A CN112506926 A CN 112506926A
- Authority
- CN
- China
- Prior art keywords
- data
- statistical
- type
- monitoring
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013500 data storage Methods 0.000 title claims description 24
- 238000004140 cleaning Methods 0.000 claims abstract description 11
- 230000015654 memory Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开一种监控数据统计及查询方法及其装置、设备、介质,所述方法包括:根据属于监控数据的源数据所属的项目类型及数据类型,将源数据服务器提供的源数据分发存储至该数据类型相对应的数据表中,每一数据表用于存储一种项目类型中的一种数据类型相对应的源数据;以第一时间间隔定时访问各个数据表,按照每个数据表中在当前时刻之前特定时长范围内的历史数据生成对应的统计快照进行存储,所述统计快照包括以预设标准时长为存储粒度统计生成的多个统计数据;以第二时间间隔定时清理所述数据表中的历史数据,使其仅保留预定时长范围内的历史数据。本申请通过定时统计及清理历史数据,控制服务器稳定地为用户提供统计数据,防止服务器过载。
Description
技术领域
本申请属于互联网技术领域,具体涉及一种监控数据存储、查询方法,及其相应的装置、电子设备、非易失性存储介质。
背景技术
互联网影响了全球人类生活的方方面面,同时也是我国最重要的行业之一,是我国GDP的主要组成部分。互联网公司为了收集用户的各类型数据,需要储存并统计各个用户的数据信息并加以计算统计用户的数据,开发人员可通过相应的配套页面获取并了解用户的各项数据,分析用户的数据并加以利用到实际的开发当中。
如今,大部分互联网公司采用实时方式来储存并统计用户数据,但若互联网公司的应用程序上拥有大量的用户,其所接收到的用户数据也将非常庞大,而实时对巨量的用户数据进行储存及统计,会使执行储存及统计的服务器非常不稳定,大量的用户数据不仅会使得服务器统计的过程过于缓慢,且开发人员在查询用户数据进行分析时,服务器反馈时间也将非常漫长,甚至可能因用户数据过多,使服务器无法有序的处理大量的用户数据,造成数据堵塞,导致服务器宕机,造成用户数据损坏,不但可能没有帮助开发人员,反而影响了开发人员的开发进度。
且互联网公司无构建相应的功能进行自动地清理堆积在相关的服务器数据库中的大量用户数据,而是采用人工的方式进行清理,可能造成服务器因存储大量的用户数据而无空闲的储存内存存储最新接收到的用户数据,使得监控计算模块无法计算及统计最新的用户数据供开发人员分析参考。
针对以上因监控计算模块不足的各类问题,亟待提供一些有效的解决方案。
发明内容
鉴于现有技术所存在的不足,本申请的首要目的,旨在提供一种监控数据存储方法及其相应的监控数据存储装置、电子设备、非易失性存储介质。
本申请的另一个目的,旨在提供一种监控数据查询方法及其相应的监控数据查询装置、电子设备、非易失性存储介质。
为满足本申请的各个目的,本申请采用如下技术方案:
适应本申请的首要目的之一而提供的一种监控数据存储方法,其包括如下步骤:
根据属于监控数据的源数据所属的项目类型及数据类型,将源数据服务器提供的源数据分发存储至该数据类型相对应的数据表中,每一数据表用于存储一种项目类型中的一种数据类型相对应的源数据;
以第一时间间隔定时访问各个数据表,按照每个数据表中在当前时刻之前特定时长范围内的历史数据生成对应的统计快照进行存储,所述统计快照包括以预设标准时长为存储粒度统计生成的多个统计数据;
以第二时间间隔定时清理所述数据表中的历史数据,使其仅保留预定时长范围内的历史数据。
进一步的实施例中,按照每个数据表中在当前时刻之前特定时长范围内的历史数据生成对应的统计快照进行存储的步骤,包括:
基于数据表获取当前时刻之前特定时长范围内的历史数据;
以标准时长为单位,以预定算法计算每标准时长的历史数据的统计数据;
以按照所述标准时长分割存储粒度生成的多个统计数据为集合元素,构成所述的统计快照进行存储。
较佳的实施例中,以按照所述标准时长分割存储粒度生成的多个统计数据为集合元素,构成所述的统计快照进行存储的步骤之后,包括如下步骤:
以所述存储粒度为单位清理与当前统计快照重复的更早前的统计数据。
进一步的实施例中,所述特定时长大于为所述第一时间间隔的多个倍数,所述第一时间间隔大于所述标准时长。
较佳的实施例中,所述特定时长以每自然小时为单位,为当前时刻至前一自然小时之间的时间长度;所述第一时间间隔为1至10分钟,所述标准时长为1或2分钟。
进一步的实施例中,还包括如下步骤:从产生所述监控源数据的外部服务器同步所述的监控数据。
适应本申请的另一目的之一而提供的一种监控数据查询方法,其包括如下步骤:
响应终端设备查询所述监控数据的用户请求,解析获取该用户请求中包含的项目类型、数据类型及查询时段;
从属于所述项目类型的所述数据类型的统计快照中,查询获取与所述查询时段相匹配的统计数据,所述统计数据为以相同时长为存储粒度统计所述监控数据生成的数据;
向终端设备发送所述统计数据以完成对该用户请求的响应。
适应于本申请的首要目的之一而提供的一种监控数据存储装置,其包括:
存储数据模块,用于根据属于监控数据的源数据所属的项目类型及数据类型,将源数据服务器提供的源数据分发存储至该数据类型相对应的数据表中,每一数据表用于存储一种项目类型中的一种数据类型相对应的源数据;
统计数据模块,以第一时间间隔定时访问各个数据表,按照每个数据表中在当前时刻之前特定时长范围内的历史数据生成对应的统计快照进行存储,所述统计快照包括以预设标准时长为存储粒度统计生成的多个统计数据;
清理数据模块,以第二时间间隔定时清理所述数据表中的历史数据,使其仅保留预定时长范围内的历史数据。
适应于本申请的另一目的之一而提供的一种监控数据查询装置,其包括:
响应请求模块,响应终端设备查询所述监控数据的用户请求,解析获取该用户请求中包含的项目类型、数据类型及查询时段;
查询数据模块,从属于所述项目类型的所述数据类型的统计快照中,查询获取与所述查询时段相匹配的统计数据,所述统计数据为以相同时长为存储粒度统计所述监控数据生成的数据;
发送数据模块,向终端设备发送所述统计数据以完成对该用户请求的响应。
适应于本申请的目的之一而提供的一种电子设备,包括中央处理器和存储器,所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行所述的监控数据存储方法或监控数据查询方法。
适应于本申请的目的之一而提供一种非易失性存储介质,其以计算机可读指令的形式存储用依据所述的监控数据存储方法或监控数据查询方法所述实现的计算机程序,该计算机程序被计算机调用时,执行该方法所包括的步骤。
相对于现有技术,本申请具有如下优势:
首先,本申请采用定时循环统计数据的方式,通过将接收至源数据库所上报的监控数据所包含的源数据进行分表储存,根据源数据的项目类型及数据类型将其储存至相应项目类型所属的相应数据表中,并在第一时间间隔定时访问各个数据表,计算当前时刻之前特定时长范围内中每个预设标准时长的统计数据作为统计快照进行储存,通过这一逻辑所实现的定时计算及存储数据的方式,定时地计算某一时段内各个时间节点的数据作为该时段内的统计数据,以便开发人员通过查询某一时段内的统计数据,分析用户习惯,并将之加以利用到开发中,与传统的实时统计数据的方式相比,通过定时的方式,可防止服务器无法统计大量的数据发生数据堵塞,造成服务器发送崩溃。
其次,本申请采用定时自动清除已统计的数据,释放已完成统计的数据所占用的服务器的储存内存,通过在第二时间间隔定时清理数据表中以完成统计的历史数据,使其仅保留预订时长范围内的历史数据,通过科学自动地定时清理已完成统计的数据,使服务器能拥有更多的空闲存储内存,获取更多的源数据进行计算,防止大量已完成统计的数据占用服务器的存储内存,导致服务器内存过载,除了无法获得更多的源数据外,还可能导致服务器导致,造成整个统计系统的崩溃。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为实施本申请的技术方案相关的一种典型的网络部署架构示意图;
图2为本申请的监控数据存储方法的典型实施例的流程示意图;
图3为本申请的监控数据存储方法的另一种实施例的流程示意图;
图4为本申请的监控数据存储装置的典型实施例的原理框图;
图5为本申请的监控数据查询方法的典型实施例的流程示意图;
图6为本申请的监控数据查询装置的典型实施例的原理框图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本申请的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解,这里所使用的“客户端”、“终端”、“终端设备”既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,进行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他诸如个人计算机、平板电脑之类的通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;PCS(PersonalCommunications Service,个人通信系统),其可以组合语音、数据处理、传真和/或数据通信能力;PDA(Personal Digital Assistant,个人数字助理),其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global PositioningSystem,全球定位系统)接收器;常规膝上型和/或掌上型计算机或其他设备,其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“客户端”、“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。这里所使用的“客户端”、“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端,例如可以是PDA、MID(Mobile Internet Device,移动互联网设备)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。
本申请所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件,本质上是具备个人计算机等效能力的电子设备,为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置,计算机程序存储于其存储器中,中央处理器将存储在外存中的程序调入内存中运行,执行程序中的指令,与输入输出设备交互,借此完成特定的功能。
需要指出的是,本申请所称的“服务器”这一概念,同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理,所述各服务器应是逻辑上的划分,在物理空间上,这些服务器既可以是互相独立但可通过接口调用的,也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通,而不应以此约束本申请的网络部署方式的实施方式。
请参阅图1,本申请相关技术方案实施时所需的硬件基础可按图中所示的架构进行部署。本申请所称统计服务器80部署与源数据服务器83在云端,且统计服务器80可以负责进一步连接起相关源数据服务器83以及其他提供相关支持的服务器等,以便统计服务器80从源数据服务器83中获取源数据进行存储及统计,以此构成逻辑上相关联的服务机群,来为相关的终端设备例如图中所示的智能手机81和个人计算机82提供服务。所述的智能手机和个人计算机均可通过公知的网络接入方式接入互联网,与云端的服务器80建立数据通信链路,以便运行所述服务器所提供的服务相关的终端应用程序。
本申请的应用程序在终端设备上的表现形式多种多样,其本质上是用于实现各种计算机功能,因此,其功能既可以是通过调用第三方浏览器访问网页,执行网页中植入的程序模块来表现,也可以是开发成适于在终端设备中安装的各种APP,在APP中内嵌浏览器的相关功能逻辑,通过这些APP运行时调用远程网页、执行各种代码来表现。因此,某种意义上,浏览器与应用程序并不是截然区别的概念,对于基于网页开发的在线服务而言,应用程序可能内建了浏览器用于访问网页,而通过独立的浏览器来访问网页则也可实现应用程序的同等功能。在基于页面技术开发终端应用的技术浪潮面前,本领域技术人员对此应当理解。
本申请所涉及的网页及应用程序通常被发布到所述的服务器80中,终端设备通过浏览器调用该网页,或者通过运行所述功能相当的应用程序而调用该网页,均可发起对所述网页的访问。对网页的访问将被浏览器(或应用程序,下同)视为一个对于该目标网页的访问请求,由此便向所述服务器80发送请求以获取对应的目标网页,所述服务器80响应该请求后推送目标网页的HTML代码,浏览器对其进行解析执行,最终将目标网页的内容展示到浏览器所在的终端设备81、82的图形用户界面中。
本领域技术人员对此应当知晓:本申请的各种方法,虽然基于相同的概念而进行描述而使其彼此间呈现共通性,但是,除非特别说明,否则这些方法都是可以独立执行的。同理,对于本申请所揭示的各个实施例而言,均基于同一发明构思而提出,因此,对于相同表述的概念,以及尽管概念表述不同但仅是为了方便而适当变换的概念,应被等同理解。
在理解上述所揭示的与本申请技术方案相关的相关应用环境和开发环境的基础上,请参阅如下说明继续了解本申请的多种实施方式:
请参阅图2,本申请的一种监控数据存储方法,在其典型实施例中,其包括如下步骤:
步骤S11,根据属于监控数据的源数据所属的项目类型及数据类型,将源数据服务器提供的源数据分发存储至该数据类型相对应的数据表中,每一数据表用于存储一种项目类型中的一种数据类型相对应的源数据:
统计服务器接收源数据服务器上报的监控数据,将根据监控数据中包含的各个源数据的项目类型及数据类型,将各个源数据存储到各个相应项目类型所属的相应数据类型的数据表中。
所述的源数据服务器用于实时监控各个项目的各数据类型的数据,并将其实时监控所获取的多个源数据封装为监控数据,并将所述监控数据发送至统计服务器中,以便统计服务器将监控数据进行分表储存及统计。
所述的源数据,是指某一项目的某一数据类型的数据,其包含数据的项目类型及数据类型,例如,所述源数据的项目类型为直播应用,所述数据类型为某页面的访问次数;统计服务器根据所述源数据的项目类型查询相应的项目所包含的数据表,并根据该源数据的数据类型,将该源数据存储至该项目相应数据类型的数据表中,以便后续统计服务器进行统计。
所述的数据表用于储存相应数据类型的源数据,且所述数据表自身携带相应的标识,以便统计服务器区分各个数据表所属的项目类型及其所能储存的数据类型;所述数据表以先进先出的方式进行构建,以便统计服务器从所述数据表中获取源数据为该数据表最早获取的源数据。
步骤S12,以第一时间间隔定时访问各个数据表,按照每个数据表中在当前时刻之前特定时长范围内的历史数据生成对应的统计快照进行存储,所述统计快照包括以预设标准时长为存储粒度统计生成的多个统计数据:
统计服务器以第一时间间隔定时访问各个所述数据表,并按照每个所述数据表中在当前时刻之前特定时长范围内的源数据作为历史数据,统计所述历史数据中每个预设标准时长中所包含的源数据生成每个所述标准时长的统计数据,以便将该特定时长范围内的所有统计数据作为该第一时间间隔的统计快照中的存储颗粒。
所述的第一时间用间隔于定时循环触发统计服务器访问及统计各个所述数据表中当前时刻之前特定时长范围内的历史数据,即统计服务器以第一时间间隔作为循环执行统计各个数据表的循环条件,例如,所述第一时间间隔预设为5分钟,统计服务器每5分钟会访问各个所述数据表,并统计当前时刻之前特定时长范围内的历史数据。
所述的特定时长用于限定统计服务器统计各个所述数据表中历史数据的范围,例如,当特定时长预设为60分钟,则当统计服务器只会统计当前时刻前60分钟内各个所述数据表中历史数据作为统计数据,并根据所述统计数据生成包含所述统计数据的统计快照。
统计服务器以所述标准时长作为统计单位,统计各个数据表中当前时刻前特定时长范围内的历史数据,例如,当所述标准时长为1分钟,所述特定时长为60分钟,统计服务器将统计各个数据表中当前时刻前60分钟内的每1分钟的历史数据作为统计数据,并将所有统计数据进行储存生成相应的统计快照。
所述的统计快照包含统计服务器将各个数据表中特定时长内的历史数据进行统计所得的统计数据,且所述统计快照所包含的统计数据将以所述标准时长为存储粒度进行分隔储存。
所述的统计快照携带相应的标识,以便服务器通过该标识判断所述统计快照中包含的统计数据的项目类型、数据类型。
所述统计快照所包含的统计数据设置有时间标识,以便统计服务器通过所述时间标识判断所述统计快照中包含的统计数据为哪个时段的统计数据。
一种实施例中,所述特定时长为第一时间间隔的多个倍数,且所述第一时间间隔大于所述标准时长,以便统计服务器在第一时间简短统计各个数据表中当前时刻之前特定时长的历史数据所得的统计快照的所包含的统计数据不低于所述第一时间间隔时间内统计服务器所获得的源数据,且所述统计快照所包含以标准时长为储存粒度的统计数据的数量不小于所述第一时间间隔内统计服务器所获得的源数据。
进一步的,所述特定时长以每自然小时为单位进行预设,即当前时刻至前一自然小时之间的时间长度,且所述第一时间间隔为1至10分钟进行预设,所述标准时长为1或2分钟进行预设,在遵守上述的前提下,本领域技术人员关于所述第一时间间隔,特定时长及标准时长的设置可灵活设计。
一种实施例中,为了更全面地叙述所述统计服务器统计各个数据表的具体实施细节,请参阅图3,当统计服务器到达第一时间间隔访问各个所述数据表后,将执行如下具体步骤:
步骤S121,基于数据表获取当前时刻之前特定时长范围内的历史数据:
当统计服务器到达第一时间间隔后,将获取所述数据表中当前时刻特定时长范围内的历史数据,所述历史数据包含由各个数据表中当前时刻特定时长范围内添加的源数据。
步骤S122,以标准时长为单位,以预定算法计算每标准时长的历史数据的统计数据:
统计服务器在获取所述历史数据后,将解析所述历史数据,获取该历史数据中包含的多个源数据,并以所述标准时长为单位对各个源数据进行统计,统计该标准时长内包含多少个源数据作为每个标准时长的统计数据
所述的预设算法包含多个统计算法,统计服务器根据所述历史数据中包含的源数据的数据类型进行相应的统计计算,例如,统计服务器需要进行统计某项目的某个页面的访问次数,所述统计服务器将把指代该项目的该页面访问次数的历史数据中的源数据结合所述标准时长进行计算,统计出该项目的该页面的访问次数在所述标准时长内的访问次数的统计数据。
步骤S123,以按照所述标准时长分割存储粒度生成的多个统计数据为集合元素,构成所述的统计快照进行存储:
统计服务器在计算出每个标准时长的统计数据后,将根据该标准时长分隔储存粒度生成的多个所述统计数据生成所述统计快照,并将该统计快照存储到相应的数据库中,以便后续统计服务器进行查询。
一种实施例中,在完成所述统计快照后,统计服务器将以所述存储粒度为单位清理与当前统计快照重复的更早前的统计数据,即将删除与该所述统计快照中包含的统计数据重复的前一个或多个快照统计中包含的统计数据,以便释放统计数据库的存储内存。
步骤S13,以第二时间间隔定时清理所述数据表中的历史数据,使其仅保留预定时长范围内的历史数据:
第二时间间隔会定时循环触发统计服务器清理所述数据表中所述预定时长范围之外的历史数据,以便释放所述统计服务器中所述历史数据所占用的储存内存,接收更多来自源数据服务器上报的源数据进行储存及统计处理。
所述的第二时间间隔设置的时间一般小于所述预定时长,以便多次清理统计服务器中各个数据表中所述预定时长范围以外的历史数据,例如,若所述预定时长设置为6小时,则所述第二时间间隔一般设置为1小时,所述统计服务器将每1小时清理当前时刻前6小时范围以外的历史数据。
可以理解,本步骤的实施与步骤S11及步骤S12中的各个实施例同步执行,以便同步清理统计服务器中各个数据表中预订时长范围之外的历史数据,使所述统计服务器接收更多来自源数据服务器上报的源数据所组成的统计数据进行储存及统计处理。
进一步的,可以通过将上述的监控数据存储方法中的各个实施例进行功能化,构造出本申请的一种监控数据存储装置,按照这一思路,请参阅图4,其典型实施例中,该装置包括:
存储数据模块11,用于根据属于监控数据的源数据所属的项目类型及数据类型,将源数据服务器提供的源数据分发存储至该数据类型相对应的数据表中,每一数据表用于存储一种项目类型中的一种数据类型相对应的源数据;
统计数据模块12,以第一时间间隔定时访问各个数据表,按照每个数据表中在当前时刻之前特定时长范围内的历史数据生成对应的统计快照进行存储,所述统计快照包括以预设标准时长为存储粒度统计生成的多个统计数据;
清理数据模块13,以第二时间间隔定时清理所述数据表中的历史数据,使其仅保留预定时长范围内的历史数据。
请参阅图5,本申请的一种监控数据查询方法,在其典型实施例中,其包括如下步骤:
步骤S21,响应终端设备查询所述监控数据的用户请求,解析获取该用户请求中包含的项目类型、数据类型及查询时段:
统计服务器接收来自终端设备通发送的用户请求,并解析所述用户请求,获取该用户请求中包含的项目类型、数据类型及查询时段,以便后续统计服务器根据所述用户请求中包含的信息查询相应的统计数据进行反馈。
所述的用户请求由终端设备通过执行相应的计算机事件生成,一般用户可通过在终端设备中的相应的页面中执行相应的操作生成包含其所需查询的统计数据的项目类型、数据类型及查询时段的用户请求,并将其发送至统计服务器,以便统计服务器通过所述用户请求查询相应的统计数据。
统计服务器可通过所述用户请求中的所述项目类型及所述数据类型,查询属于该项目类型的该数据类型的统计快照,并通过该用户请求中的所述查询时段,程序该统计快照中与该查询时段相匹配的统计数据反馈给该用户请求的用户。
步骤S22,从属于所述项目类型的所述数据类型的统计快照中,查询获取与所述查询时段相匹配的统计数据,所述统计数据为以相同时长为存储粒度统计所述监控数据生成的数据:
统计服务器根据所述用户请求中包含的项目类型及数据类型,查询与该项目类型及该数据类型相匹配的统计快照,并根据该用户请求中所包含的查询时段,查询该统计快照中与该查询时段向匹配的统计数据,并将该述统计数据发送给该用户请求所属的用户端。
步骤S23,向终端设备发送所述统计数据以完成对该用户请求的响应:
统计服务器在响应终端设备发送的用户请求查询相应的统计数据后,将该统计数据发送至所述终端设备,完成所述终端设备发送的用户请求的响应。
终端设备在接收来来自统计服务器发送的所述统计数据后,将所述统计数据进行可视化显示在相应的页面的用户图形界面中,以便用户通过所述页面直观地了解相应项目的相应数据其在相应时段中的统计数据。
进一步的,可以通过将上述的监控数据存储方法中的各个实施例进行功能化,构造出本申请的一种监控数据查询装置,按照这一思路,请参阅图6,其典型实施例中,该装置包括:
响应请求模块21,响应终端设备查询所述监控数据的用户请求,解析获取该用户请求中包含的项目类型、数据类型及查询时段;
查询数据模块22,从属于所述项目类型的所述数据类型的统计快照中,查询获取与所述查询时段相匹配的统计数据,所述统计数据为以相同时长为存储粒度统计所述监控数据生成的数据;
发送数据模块23,向终端设备发送所述统计数据以完成对该用户请求的响应。
为了便于本申请的执行,提供一种电子设备,包括中央处理器和存储器,所述中央处理器用于调用运行存储于所述存储器中计算机程序以执行如前述的一种监控数据存储或一种监控数据查询方法的步骤。
可以看出,存储器适宜采用非易失性存储介质,通过将前述的方法实现为计算机程序,安装到手机之类电子设备中,相关程序代码和数据便被存储到电子设备的非易失性存储介质中,进一步通过电子设备的中央处理器运行该程序,将其从非易性存储介质中调入内存中运行,便可实现本申请所期望的目的。因此,可以理解,本申请的一个实施例中,还可提供一种非易失性存储介质,其以计算机可读指令的形式存储有依据所述的容器分配方法的各个实施例所实现的计算机程序,该计算机程序被计算机调用运行时,执行该方法所包括的步骤。
综上所述,本申请通过定时循环统计及定时清理历史数据,通过设置第一时间间隔及第二时间间隔,控制统计服务器定时执行统计及清理,使统计服务器以较为稳定状态为开发人员提供相应的统计数据。
本技术领域技术人员可以理解,本申请包涉及用于执行本申请中所述操作、方法中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造,或者也可以包括通用计算机中的已知设备。这些设备具有存储在其存储器之内的计算机程序,这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如,计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中,所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随即存储器)、EPROM(ErasableProgrammable Read-Only Memory,可擦写可编程只读存储器)、EEPROM(ElectricallyErasable Programmable Read-Only Memory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是,可读介质包括由设备(例如,计算机)以能够读的形式存储或传输信息的任何介质。
本技术领域技术人员可以理解,可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解,可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现,从而通过计算机或其他可编程数据处理方法的处理器来执行本申请公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
本技术领域技术人员可以理解,本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地,具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地,现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (11)
1.一种监控数据存储方法,其特征在于,包括如下步骤:
根据属于监控数据的源数据所属的项目类型及数据类型,将源数据服务器提供的源数据分发存储至该数据类型相对应的数据表中,每一数据表用于存储一种项目类型中的一种数据类型相对应的源数据;
以第一时间间隔定时访问各个数据表,按照每个数据表中在当前时刻之前特定时长范围内的历史数据生成对应的统计快照进行存储,所述统计快照包括以预设标准时长为存储粒度统计生成的多个统计数据;
以第二时间间隔定时清理所述数据表中的历史数据,使其仅保留预定时长范围内的历史数据。
2.根据权利要求1所述的方法,其特征在于,按照每个数据表中在当前时刻之前特定时长范围内的历史数据生成对应的统计快照进行存储的步骤,包括:
基于数据表获取当前时刻之前特定时长范围内的历史数据;
以标准时长为单位,以预定算法计算每标准时长的历史数据的统计数据;
以按照所述标准时长分割存储粒度生成的多个统计数据为集合元素,构成所述的统计快照进行存储。
3.根据权利要求2所述的方法,其特征在于,以按照所述标准时长分割存储粒度生成的多个统计数据为集合元素,构成所述的统计快照进行存储的步骤之后,包括如下步骤:
以所述存储粒度为单位清理与当前统计快照重复的更早前的统计数据。
4.根据权利要求1所述的方法,其特征在于,所述特定时长大于为所述第一时间间隔的多个倍数,所述第一时间间隔大于所述标准时长。
5.根据权利要求4所述的方法,其特征在于,所述特定时长以每自然小时为单位,为当前时刻至前一自然小时之间的时间长度;所述第一时间间隔为1至10分钟,所述标准时长为1或2分钟。
6.根据权利要求1至5中任意一项所述的方法,其特征在于,还包括如下步骤:从产生所述监控源数据的外部服务器同步所述的监控数据。
7.一种监控数据查询方法,其特征在于,包括如下步骤:
响应终端设备查询所述监控数据的用户请求,解析获取该用户请求中包含的项目类型、数据类型及查询时段;
从属于所述项目类型的所述数据类型的统计快照中,查询获取与所述查询时段相匹配的统计数据,所述统计数据为以相同时长为存储粒度统计所述监控数据生成的数据;
向终端设备发送所述统计数据以完成对该用户请求的响应。
8.一种监控数据存储装置,其特征在于,其包括:
存储数据模块,用于根据属于监控数据的源数据所属的项目类型及数据类型,将源数据服务器提供的源数据分发存储至该数据类型相对应的数据表中,每一数据表用于存储一种项目类型中的一种数据类型相对应的源数据;
统计数据模块,以第一时间间隔定时访问各个数据表,按照每个数据表中在当前时刻之前特定时长范围内的历史数据生成对应的统计快照进行存储,所述统计快照包括以预设标准时长为存储粒度统计生成的多个统计数据;
清理数据模块,以第二时间间隔定时清理所述数据表中的历史数据,使其仅保留预定时长范围内的历史数据。
9.一种监控数据查询装置,其特征在于,其包括:
响应请求模块,响应终端设备查询所述监控数据的用户请求,解析获取该用户请求中包含的项目类型、数据类型及查询时段;
查询数据模块,从属于所述项目类型的所述数据类型的统计快照中,查询获取与所述查询时段相匹配的统计数据,所述统计数据为以相同时长为存储粒度统计所述监控数据生成的数据;
发送数据模块,向终端设备发送所述统计数据以完成对该用户请求的响应。
10.一种电子设备,包括中央处理器和存储器,其特征在于,所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至6中任一项所述的监控数据存储方法的步骤或执行权利要求7所述的监控数据查询方法的步骤。
11.一种非易失性存储介质,其特征在于,其以计算机可读指令的形式存储有依据权利要求1至6中任意一项所述的监控数据存储方法或权利要求7所述的监控数据查询方法所实现的计算机程序,该计算机程序被计算机调用运行时,执行该方法所包括的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011394498.6A CN112506926A (zh) | 2020-12-03 | 2020-12-03 | 监控数据存储、查询方法及其相应的装置、设备、介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011394498.6A CN112506926A (zh) | 2020-12-03 | 2020-12-03 | 监控数据存储、查询方法及其相应的装置、设备、介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112506926A true CN112506926A (zh) | 2021-03-16 |
Family
ID=74969415
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011394498.6A Pending CN112506926A (zh) | 2020-12-03 | 2020-12-03 | 监控数据存储、查询方法及其相应的装置、设备、介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112506926A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115242870A (zh) * | 2022-06-23 | 2022-10-25 | 宁波三星医疗电气股份有限公司 | 用电数据推送方法、装置、服务器和计算机可读存储介质 |
CN115422175A (zh) * | 2022-08-26 | 2022-12-02 | 北京万里开源软件有限公司 | 一种基于数据库历史快照的无效数据清理方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104426713A (zh) * | 2013-08-28 | 2015-03-18 | 腾讯科技(北京)有限公司 | 网络站点访问效果数据的监测方法和装置 |
CN107229730A (zh) * | 2017-06-08 | 2017-10-03 | 北京奇虎科技有限公司 | 数据查询方法及装置 |
CN109977135A (zh) * | 2019-03-28 | 2019-07-05 | 北京奇艺世纪科技有限公司 | 一种数据查询方法、装置及服务器 |
WO2019161778A1 (en) * | 2018-02-22 | 2019-08-29 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for data storage and querying |
CN110619006A (zh) * | 2019-08-30 | 2019-12-27 | 上海曼斯克物联网科技有限公司 | 基于物联网的统计数据管理方法、装置、平台和存储介质 |
-
2020
- 2020-12-03 CN CN202011394498.6A patent/CN112506926A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104426713A (zh) * | 2013-08-28 | 2015-03-18 | 腾讯科技(北京)有限公司 | 网络站点访问效果数据的监测方法和装置 |
CN107229730A (zh) * | 2017-06-08 | 2017-10-03 | 北京奇虎科技有限公司 | 数据查询方法及装置 |
WO2019161778A1 (en) * | 2018-02-22 | 2019-08-29 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for data storage and querying |
CN110209686A (zh) * | 2018-02-22 | 2019-09-06 | 北京嘀嘀无限科技发展有限公司 | 数据的存储、查询方法及装置 |
CN111742308A (zh) * | 2018-02-22 | 2020-10-02 | 北京嘀嘀无限科技发展有限公司 | 一种用于数据存储和查询的系统和方法 |
CN109977135A (zh) * | 2019-03-28 | 2019-07-05 | 北京奇艺世纪科技有限公司 | 一种数据查询方法、装置及服务器 |
CN110619006A (zh) * | 2019-08-30 | 2019-12-27 | 上海曼斯克物联网科技有限公司 | 基于物联网的统计数据管理方法、装置、平台和存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115242870A (zh) * | 2022-06-23 | 2022-10-25 | 宁波三星医疗电气股份有限公司 | 用电数据推送方法、装置、服务器和计算机可读存储介质 |
CN115242870B (zh) * | 2022-06-23 | 2023-10-27 | 宁波三星医疗电气股份有限公司 | 用电数据推送方法、装置、服务器和计算机可读存储介质 |
CN115422175A (zh) * | 2022-08-26 | 2022-12-02 | 北京万里开源软件有限公司 | 一种基于数据库历史快照的无效数据清理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109271411B (zh) | 报表生成方法、装置、计算机设备及存储介质 | |
US7606804B2 (en) | System and method for information management in a distributed network | |
CA2896865C (en) | Method and system for using a recursive event listener on a node in hierarchical data structure | |
CN112506926A (zh) | 监控数据存储、查询方法及其相应的装置、设备、介质 | |
CN103617287A (zh) | 一种分布式环境下的日志管理方法和装置 | |
CN109039817B (zh) | 一种用于流量监控的信息处理方法、装置、设备及介质 | |
US20160034504A1 (en) | Efficient aggregation, storage and querying of large volume metrics | |
CN108228322B (zh) | 一种分布式链路跟踪、分析方法及服务器、全局调度器 | |
CN112751726A (zh) | 一种数据处理方法、装置、电子设备和存储介质 | |
CN109800269A (zh) | 数据管理方法、装置、计算机设备及存储介质 | |
CN111382334B (zh) | 一种数据处理方法、装置、计算机以及可读存储介质 | |
CN104636395A (zh) | 一种计数处理方法及装置 | |
CN113761321A (zh) | 数据访问控制、数据缓存控制方法及其装置、设备与介质 | |
CN103856353A (zh) | 一种业务日志数据访问与统计分析的方法及装置 | |
US20190146839A1 (en) | Distributed data platform resource allocator | |
CN113806651B (zh) | 一种数据缓存方法、装置、服务器及存储介质 | |
CN112398752B (zh) | 消息推送控制方法及其装置、设备、介质 | |
CN116071123A (zh) | 商品数据处理方法、系统、电子设备及存储介质 | |
CN112561593A (zh) | 积分发放控制方法及其装置、设备、介质 | |
CN114615073A (zh) | 访问流量控制方法及其装置、设备、介质 | |
CN113190411A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN109766363B (zh) | 流式数据处理方法、系统、电子设备及存储介质 | |
CN113778976A (zh) | 数据处理方法及装置、电子设备、存储介质 | |
CN112732757B (zh) | 一种降级数据的处理方法、系统、装置、设备及存储介质 | |
US11366735B2 (en) | Dynamic data storage management |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |