CN112069021A - 流量数据的存储方法、装置、电子设备和存储介质 - Google Patents

流量数据的存储方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112069021A
CN112069021A CN202010848426.8A CN202010848426A CN112069021A CN 112069021 A CN112069021 A CN 112069021A CN 202010848426 A CN202010848426 A CN 202010848426A CN 112069021 A CN112069021 A CN 112069021A
Authority
CN
China
Prior art keywords
collection dimension
name
collection
flow data
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010848426.8A
Other languages
English (en)
Other versions
CN112069021B (zh
Inventor
邱聪荣
谭智超
刘宝庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 58 Information Technology Co Ltd
Original Assignee
Beijing 58 Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing 58 Information Technology Co Ltd filed Critical Beijing 58 Information Technology Co Ltd
Priority to CN202010848426.8A priority Critical patent/CN112069021B/zh
Publication of CN112069021A publication Critical patent/CN112069021A/zh
Application granted granted Critical
Publication of CN112069021B publication Critical patent/CN112069021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3065Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3476Data logging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种流量数据的存储方法、装置、电子设备和存储介质,该方法包括:获取流量数据的收集维度名称;生成所述收集维度名称对应的收集维度标识;将所述收集维度名称和所述收集维度标识对应保存到收集维度表中;以所述收集维度标识作为索引,将流量数据保存到流量表中。本发明中由于不同的收集维度名称都可以使用一个收集维度标识来表示,从而只需要一个流量表就可以保存不同收集维度的流量数据,而且流量表中只有收集维度标识这一个索引字段,减少了流量表的表项,并减少了索引字段,从而可以减少存储数据时的耗费资源。

Description

流量数据的存储方法、装置、电子设备和存储介质
技术领域
本发明涉及数据存储技术领域,特别是涉及一种流量数据的存储方法、装置、电子设备和存储介质。
背景技术
在远程微服务调用中,需要统计服务方和调用方各个收集维度的流量数据信息以进行监控数据展示,主要关注的收集维度有服务方总量、服务方函数、服务方节点、服务方的某个调用方、调用方总量,调用方函数和调用方的某个服务方。其中每个收集维度对应着流量监控视图的一个数据展示维度,比如说服务方函数收集维度对应的就是流量监控视图中的某个服务方的所有函数的流量数据展示。对于每个收集维度,都需要存储其独特的收集维度名称,而各个收集维度的收集维度名称和字段个数也不一样,比如服务方总量收集维度的收集维度名称是服务名称,而服务方函数收集维度的收集维度名称是服务名称和服务函数名称,这就使得每个收集维度的流量数据不得不分开存储,并且有的收集维度数据的字段个数较多时,是很耗费数据库资源和查询速度的。
现有技术中,在一些流量数据存储方案中,通常是针对独特的收集维度数据建立单独的数据库表来存储数据,并且根据收集维度名称来创建索引。图1是现有技术中存储流量数据的数据库流量表的示例图,如图1所示,比如服务方的某个调用方的函数流量信息需要存储的收集维度名称有服务名称、调用方名称、服务函数名称,这时就需要根据收集维度名称中的服务名称、调用方名称、服务函数名称来创建索引。
现有的流量数据存储策略针对每个收集维度名称都得建立单独的表来存储流量数据,这会使得数据库的表项大大增加且不易管理,并且有的表的表项包含多个索引字段,当流量数据很多时就会使得存储数据时耗费的资源大大增加。
发明内容
鉴于上述问题,提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种流量数据的存储方法、装置、电子设备和存储介质。
依据本发明的第一方面,提供了一种流量数据的存储方法,包括:
获取流量数据的收集维度名称;
生成所述收集维度名称对应的收集维度标识;
将所述收集维度名称和所述收集维度标识对应保存到收集维度表中;
以所述收集维度标识作为索引,将流量数据保存到流量表中。
可选的,还包括:
将所述收集维度名称和所述收集维度标识的映射关系发送至微服务节点,以使得微服务节点根据所述映射关系在上报区间内统计收集维度标识对应的待存储的流量数据。
可选的,所述以所述收集维度标识作为索引,将流量数据保存到流量表中,包括:
在接收到待存储流量数据时,从待存储流量数据中获取待存储流量数据对应的收集维度标识;
以所述待存储流量数据对应的收集维度标识作为索引,将所述待存储流量数据保存到流量表中。
可选的,所述以所述收集维度标识作为索引,将流量数据保存到流量表中,包括:
在接收到待存储流量数据时,确定所述待存储流量数据的收集维度名称;
查询所述收集维度表,确定所述待存储流量数据对应的收集维度标识;
以所述待存储流量数据对应的收集维度标识作为索引,将所述待存储流量数据保存到流量表中。
可选的,所述生成所述收集维度名称对应的收集维度标识,包括:
根据所述收集维度名称和当前时间戳,生成所述收集维度名称对应的收集维度标识。
可选的,还包括:
在接收到流量数据的查询请求时,确定待查询的收集维度名称;
从所述收集维度表中获取所述待查询的收集维度名称对应的待查询收集维度标识;
从所述流量表中获取所述待查询收集维度标识对应的流量数据;
将获取到的流量数据作为对所述查询请求的响应。
可选的,所述收集维度名称包括服务名称、调用方名称和服务函数名称中的至少一个。
依据本发明的第二方面,提供了一种流量数据的存储装置,包括:
收集维度获取模块,用于获取流量数据的收集维度名称;
收集维度标识生成模块,用于生成所述收集维度名称对应的收集维度标识;
映射关系保存模块,用于将所述收集维度名称和所述收集维度标识对应保存到收集维度表中;
流量数据保存模块,用于以所述收集维度标识作为索引,将流量数据保存到流量表中。
可选的,所述装置还包括:
映射关系发送模块,用于将所述收集维度名称和所述收集维度标识的映射关系发送至微服务节点,以使得微服务节点根据所述映射关系在上报区间内统计收集维度标识对应的待存储的流量数据。
可选的,所述流量数据保存模块包括:
收集维度标识获取单元,用于在接收到待存储流量数据时,从待存储流量数据中获取待存储流量数据对应的收集维度标识;
流量数据保存单元,用于以所述待存储流量数据对应的收集维度标识作为索引,将所述待存储流量数据保存到流量表中。
可选的,所述流量数据保存模块包括:
收集维度名称确定单元,用于在接收到待存储流量数据时,确定所述待存储流量数据的收集维度名称;
收集维度标识确定单元,用于查询所述收集维度表,确定所述待存储流量数据对应的收集维度标识;
流量数据保存单元,用于以所述待存储流量数据对应的收集维度标识作为索引,将所述待存储流量数据保存到流量表中。
可选的,所述收集维度标识生成模块具体用于:
根据所述收集维度名称和当前时间戳,生成所述收集维度名称对应的收集维度标识。
可选的,所述装置还包括:
收集维度名称确定模块,用于在接收到流量数据的查询请求时,确定待查询的收集维度名称;
收集维度标识确定模块,用于从所述收集维度表中获取所述待查询的收集维度名称对应的待查询收集维度标识;
流量数据获取模块,用于从所述流量表中获取所述待查询收集维度标识对应的流量数据;
响应模块,用于将获取到的流量数据作为对所述查询请求的响应。
可选的,所述收集维度名称包括服务名称、调用方名称和服务函数名称中的至少一个。
依据本发明的第三方面,还提供了一种电子设备,处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如第一方面所述的流量数据的存储方法。
依据本发明的第四方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的流量数据的存储方法。
本发明提供的流量数据的存储方法、装置、电子设备和存储介质,通过获取流量数据的收集维度名称,生成收集维度名称对应的收集维度标识,将收集维度名称和收集维度标识对应保存到收集维度表中,以收集维度标识作为索引,将流量数据保存到流量表中,由于不同的收集维度名称都可以使用一个收集维度标识来表示,从而只需要一个流量表就可以保存不同收集维度的流量数据,而且流量表中只有收集维度标识这一个索引字段,减少了流量表的表项,并减少了索引字段,从而可以减少存储数据时的耗费资源。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。
图1是现有技术中存储流量数据的数据库流量表的示例图;
图2是本发明实施例提供的一种流量数据的存储方法的步骤流程图;
图3是现有技术中查询流量数据的示意图;
图4是本发明实施例中查询流量数据的示意图;
图5是本发明实施例提供的一种流量数据的存储装置的结构框图;
图6为本发明实施例提供的一种电子设备的结构框图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
图2是本发明实施例提供的一种流量数据的存储方法的步骤流程图,可以由存储流量数据的电子设备执行,适用于微服务场景中的流量数据的存储,如图2所示,该方法可以包括:
步骤201,获取流量数据的收集维度名称。
其中,收集维度是微服务场景中服务方和调用方的流量监控视图中需要展示的各个维度视图对应的流量数据维度。所述收集维度名称可以包括至少一个收集维度字段,针对不同的收集维度,收集维度名称包括的收集维度字段是不同的,例如,服务方总量收集维度的收集维度名称是服务名称,该收集维度名称包括一个字段名为“服务名称”的收集维度字段;而服务方函数收集维度的收集维度名称是服务名称和服务函数名称,该收集维度名称包括一个字段名为“服务名称”的收集维度字段和一个字段名为“服务函数名称”的收集维度字段,现有技术中,针对不同的收集维度会保存为独立的数据库表。所述收集维度名称包括服务名称、调用方名称和服务函数名称中的至少一个,即收集维度字段可以是服务名称、调用方名称或服务函数名称。其中,服务名称是服务方的名称,服务方是提供可以被调用的方法的程序,可以同时提供多个方法;调用方是需要调用服务方提供的方法的程序。
每个流量数据都会有对应的收集维度名称,在存储流量数据时,获取该流量数据的收集维度名称。
步骤202,生成所述收集维度名称对应的收集维度标识。
对于流量数据的收集维度名称,将该收集维度名称整体映射为一个唯一的收集维度标识,从而对于具有不同收集维度字段的收集维度名称都可以使用一个收集维度标识来表示。例如,在收集维度名称包括服务名称这一个字段时,将服务名称这一个字段映射为一个收集维度标识;在收集维度名称包括服务名称和服务函数名称这两个字段时,将服务名称和服务函数名称这两个字段映射为一个收集维度标识,从而具有不同收集维度字段的收集维度名称都对应一个收集维度标识。
在本发明的一个实施例中,所述生成所述收集维度名称对应的收集维度标识,可选包括:根据所述收集维度名称和当前时间戳,生成所述收集维度名称对应的收集维度标识。
由于收集维度的类型较多,可以使用独特的字符串拼接方式把收集维度名称拼接成一个唯一的字符串。比如有一个服务调用方函数收集维度,收集维度名称包括服务名称、调用方名称和服务函数名称,例如,服务名称:service1,调用方名称:caller1,服务函数名称:function1,则收集维度名称是S[service1]SC[caller1]SF[funcion1],其中S表示服务名称,SC表示服务方视图的调用方名称,SF表示服务方视图的服务函数名称,这个收集维度代表了服务方service1收集到的调用方caller1调用function1函数的监控。根据收集维度名称和当前时间戳,生成收集维度名称对应的唯一的收集维度标识。收集维度标识可以是根据当前时间戳生成的一个唯一的长整数,也可以是字符和整数的组合。通过根据收集维度名称和当前时间戳,保证了每个收集维度名称对应唯一的一个收集维度标识。
步骤203,将所述收集维度名称和所述收集维度标识对应保存到收集维度表中。
在生成收集维度名称对应的收集维度标识后,将收集维度名称和收集维度标识对应保存到收集维度表中。表1是本发明实施例中的收集维度表,如表1所示,收集维度表用于保存收集维度名称和收集维度标识的映射关系,即收集维度表包括收集维度标识和收集维度名称这两个字段。在将收集维度名称和收集维度标识存入收集维度表中,就生成了收集维度名称和收集维度标识的映射关系。
表1收集维度表
收集维度标识 收集维度名称
步骤204,以所述收集维度标识作为索引,将流量数据保存到流量表中。
其中,流量表用于保存收集维度标识对应的流量数据。
将一个流量数据的收集维度名称映射为收集维度标识后,可以将该流量数据对应的收集维度标识作为索引,将流量数据保存到流量表中。表2是本发明实施例中的流量表,如表2所示,对应每一个收集维度标识,保存该收集维度标识对应的具体的流量数据,流量数据可以包括次数、耗时、时间等字段。
表2流量表
收集维度标识 次数 耗时 时间
本发明实施例中,将收集维度标识作为索引,取代现有技术中的用包括多个收集维度信息的收集维度名称作为流量表索引,从而微服务调用过程中统计到的所有收集维度的流量数据就可以统一存储到一个数据库表里,而各个收集维度名称和流量表的对应关系则通过收集维度表来维护。从而减少了数据库存储流量数据的表个数,使流量表便于维护。虽然多引进了收集维度表,但是相对于收集维度表来说,流量表存储着每个收集维度每一上报区间(如每一分钟)的流量数据,表的数据量远远大于收集维度表的数据量,这就使得收集维度表的开销可以忽略不计。使用收集维度标识代替多个收集维度字段使得流量表的表项大大减少,从而大大减少了存储流量数据时数据库的存储资源开销,且单一索引也可以加快数据库查询速度,从而达到了规范数据库和降低存储成本的目的。
在本发明的一个实施例中,所述方法还包括:将所述收集维度名称和所述收集维度标识的映射关系发送至微服务节点,以使得微服务节点根据所述映射关系在上报区间内统计收集维度标识对应的待存储的流量数据。
其中,上报区间是微服务节点初步统计流量数据的时间区间,例如可以为1分钟,即微服务节点每隔1分钟上报一次流量数据,以对流量数据进行存储。微服务节点是提供微服务的节点,用于提供各个服务方的调用函数,供调用方调用。
在生成各个收集维度名称对应的收集维度标识后,将收集维度名称和收集维度标识的映射关系发送至各个微服务节点,各个微服务节点在接收到一次调用方对服务方的某个服务函数的调用请求时,对该调用请求产生的流量数据进行记录,针对不同的收集维度名称进行记录,在记录时会查询收集维度名称和收集维度标识的映射关系,确定待记录的收集维度名称对应的收集维度标识,并只需记录该收集维度标识和对应的待存储的流量数据,在上报区间内统计完毕后,将该上报区间内的流量数据统一上报到执行流量数据的的存储方法的电子设备中,该电子设备可以从流量数据中获取到收集维度标识,并以该收集维度标识为索引,将该收集维度标识对应的流量数据存储到流量表中,从而微服务节点在发送待存储的流量数据时只需发送收集维度标识和对应的待存储的流量数据,避免了微服务节点在发送待存储的流量数据时对应发送流量数据的收集维度名称,由于收集维度标识的数据量较收集维度名称的数据量小,从而减少了传输的数据量。
在本发明的一个实施例中,所述以所述收集维度标识作为索引,将流量数据保存到流量表中,包括:在接收到待存储流量数据时,从待存储流量数据中获取待存储流量数据对应的收集维度标识;以所述待存储流量数据对应的收集维度标识作为索引,将所述待存储流量数据保存到流量表中。
由于将收集维度名称和收集维度标识的映射关系发送到了微服务节点中,微服务节点在发送流量数据时,实际上发送的是收集维度标识和对应的流量数据,从而在接收到待存储流量数据时,可以从待存储流量数据中获取到待存储流量数据对应的收集维度标识,从而可以以该收集维度标识作为索引,将待存储流量数据保存到流量表中。通过在传输待存储流量数据时,传输收集维度标识和对应的待存储流量数据,而不是传输收集维度名称和对应的待存储流量数据,减少了传输的数据量,而且避免了在对待存储流量数据进行存储时对收集维度名称进行转换。
在本发明的另一个实施例中,所述以所述收集维度标识作为索引,将流量数据保存到流量表中,可选包括:在接收到待存储流量数据时,确定所述待存储流量数据的收集维度名称;查询所述收集维度表,确定所述待存储流量数据对应的收集维度标识;以所述待存储流量数据对应的收集维度标识作为索引,将所述待存储流量数据保存到流量表中。
如果微服务节点发送来的待存储流量数据是收集维度名称和对应的待存储流量数据,这时可以确定待存储流量数据对应的收集维度名称,根据该收集维度名称查询收集维度表,确定该收集维度名称对应的收集维度标识,查询到的收集维度标识就是待存储流量数据对应的收集维度标识,从而以该收集维度标识作为索引,将待存储流量数据保存到流量表中,实现了在接收到收集维度名称和对应的待存储流量数据时,将收集维度名称转换为收集维度标识并对待存储流量数据进行存储。
本实施例提供的流量数据的存储方法,通过获取流量数据的收集维度名称,生成收集维度名称对应的收集维度标识,将收集维度名称和收集维度标识对应保存到收集维度表中,以收集维度标识作为索引,将流量数据保存到流量表中,由于不同的收集维度名称都可以使用一个收集维度标识来表示,从而只需要一个流量表就可以保存不同收集维度的流量数据,而且流量表中只有收集维度标识这一个索引字段,减少了流量表的表项,并减少了索引字段,从而可以减少存储数据时的耗费资源。
在上述技术方案的基础上,所述方法还可选包括:在接收到流量数据的查询请求时,确定待查询的收集维度名称;从所述收集维度表中获取所述待查询的收集维度名称对应的待查询收集维度标识;从所述流量表中获取所述待查询收集维度标识对应的流量数据;将获取到的流量数据作为对所述查询请求的响应。
在接收到流量数据的查询请求时,解析查询请求,获取到待查询的收集维度名称,查询收集维度表,得到待查询的收集维度名称对应的待查询收集维度标识,从而以该待查询收集维度标识作为索引,从流量表中获取待查询收集维度标识对应的流量数据,并将获取到的流量数据作为对查询请求的响应,即将获取到的流量数据发送给所述查询请求的请求方,从而可以以监控视图的形式展示查询到的流量数据。由于在查询流量数据时,只需以收集维度标识作为索引进行查询,减少了索引的字段数,从而提高了数据的查询速度。
图3是现有技术中查询流量数据的示意图,如图3所示,由于每个收集维度保存为一个对应的流量表,从而在查询流量数据时,需要对应各个流量表分别进行查询。图4是本发明实施例中查询流量数据的示意图,如图4所示,在接收到流量数据查询请求时,根据查询请求中的待查询的收集维度名称,查询收集维度表,获取到待查询的收集维度名称对应的待查询收集维度标识,以待查询收集维度标识作为索引,从流量表中查询对应的流量数据。可见,本发明实施例的方案,由于减少了索引的字段数,提高了数据的查询速度。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
图5是本发明实施例提供的一种流量数据的存储装置的结构框图,如图5所示,该流量数据的存储装置可以包括:
收集维度获取模块501,用于获取流量数据的收集维度名称;
收集维度标识生成模块502,用于生成所述收集维度名称对应的收集维度标识;
映射关系保存模块503,用于将所述收集维度名称和所述收集维度标识对应保存到收集维度表中;
流量数据保存模块504,用于以所述收集维度标识作为索引,将流量数据保存到流量表中。
可选的,所述装置还包括:
映射关系发送模块,用于将所述收集维度名称和所述收集维度标识的映射关系发送至微服务节点,以使得微服务节点根据所述映射关系在上报区间内统计收集维度标识对应的待存储的流量数据。
可选的,所述流量数据保存模块包括:
收集维度标识获取单元,用于在接收到待存储流量数据时,从待存储流量数据中获取待存储流量数据对应的收集维度标识;
流量数据保存单元,用于以所述待存储流量数据对应的收集维度标识作为索引,将所述待存储流量数据保存到流量表中。
可选的,所述流量数据保存模块包括:
收集维度名称确定单元,用于在接收到待存储流量数据时,确定所述待存储流量数据的收集维度名称;
收集维度标识确定单元,用于查询所述收集维度表,确定所述待存储流量数据对应的收集维度标识;
流量数据保存单元,用于以所述待存储流量数据对应的收集维度标识作为索引,将所述待存储流量数据保存到流量表中。
可选的,所述收集维度标识生成模块具体用于:
根据所述收集维度名称和当前时间戳,生成所述收集维度名称对应的收集维度标识。
可选的,所述装置还包括:
收集维度名称确定模块,用于在接收到流量数据的查询请求时,确定待查询的收集维度名称;
收集维度标识确定模块,用于从所述收集维度表中获取所述待查询的收集维度名称对应的待查询收集维度标识;
流量数据获取模块,用于从所述流量表中获取所述待查询收集维度标识对应的流量数据;
响应模块,用于将获取到的流量数据作为对所述查询请求的响应。
可选的,所述收集维度名称包括服务名称、调用方名称和服务函数名称中的至少一个。
本实施例提供的流量数据的存储装置,通过收集维度获取模块获取流量数据的收集维度名称,收集维度标识生成模块生成收集维度名称对应的收集维度标识,映射关系保存模块将收集维度名称和收集维度标识对应保存到收集维度表中,流量数据保存模块以收集维度标识作为索引,将流量数据保存到流量表中,由于不同的收集维度名称都可以使用一个收集维度标识来表示,从而只需要一个流量表就可以保存不同收集维度的流量数据,而且流量表中只有收集维度标识这一个索引字段,减少了流量表的表项,并减少了索引字段,从而可以减少存储数据时的耗费资源。
图6为本发明实施例提供的一种电子设备的结构框图。如图6所示,该电子设备600可以包括一个或多个处理器601以及与处理器601连接的一个或多个存储器602。电子设备600还可以包括输入接口603和输出接口604,用于与另一装置或系统进行通信。被处理器601的CPU执行的程序代码可存储在存储器602中。
电子设备600中的处理器601调用存储在存储器602的程序代码,以执行上述实施例中的流量数据的存储方法。
上述电子设备中的上述元件可通过总线彼此连接,总线例如数据总线、地址总线、控制总线、扩展总线和局部总线之一或其任意组合。
根据本发明的一个实施例,还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,存储介质可以是只读存储器(Read-Only Memory,ROM),或是可读写的,例如硬盘、闪存。所述计算机程序被处理器执行时实现前述实施例的流量数据的存储方法。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种流量数据的存储方法、装置、电子设备和存储介质,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种流量数据的存储方法,其特征在于,包括:
获取流量数据的收集维度名称;
生成所述收集维度名称对应的收集维度标识;
将所述收集维度名称和所述收集维度标识对应保存到收集维度表中;
以所述收集维度标识作为索引,将流量数据保存到流量表中。
2.根据权利要求1所述的方法,其特征在于,还包括:
将所述收集维度名称和所述收集维度标识的映射关系发送至微服务节点,以使得微服务节点根据所述映射关系在上报区间内统计收集维度标识对应的待存储的流量数据。
3.根据权利要求2所述的方法,其特征在于,所述以所述收集维度标识作为索引,将流量数据保存到流量表中,包括:
在接收到待存储流量数据时,从待存储流量数据中获取待存储流量数据对应的收集维度标识;
以所述待存储流量数据对应的收集维度标识作为索引,将所述待存储流量数据保存到流量表中。
4.根据权利要求1所述的方法,其特征在于,所述以所述收集维度标识作为索引,将流量数据保存到流量表中,包括:
在接收到待存储流量数据时,确定所述待存储流量数据的收集维度名称;
查询所述收集维度表,确定所述待存储流量数据对应的收集维度标识;
以所述待存储流量数据对应的收集维度标识作为索引,将所述待存储流量数据保存到流量表中。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述生成所述收集维度名称对应的收集维度标识,包括:
根据所述收集维度名称和当前时间戳,生成所述收集维度名称对应的收集维度标识。
6.根据权利要求1-4任一项所述的方法,其特征在于,还包括:
在接收到流量数据的查询请求时,确定待查询的收集维度名称;
从所述收集维度表中获取所述待查询的收集维度名称对应的待查询收集维度标识;
从所述流量表中获取所述待查询收集维度标识对应的流量数据;
将获取到的流量数据作为对所述查询请求的响应。
7.根据权利要求1-4任一项所述的方法,其特征在于,所述收集维度名称包括服务名称、调用方名称和服务函数名称中的至少一个。
8.一种流量数据的存储装置,其特征在于,包括:
收集维度获取模块,用于获取流量数据的收集维度名称;
收集维度标识生成模块,用于生成所述收集维度名称对应的收集维度标识;
映射关系保存模块,用于将所述收集维度名称和所述收集维度标识对应保存到收集维度表中;
流量数据保存模块,用于以所述收集维度标识作为索引,将流量数据保存到流量表中。
9.一种电子设备,其特征在于,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1-7任一项所述的流量数据的存储方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的流量数据的存储方法。
CN202010848426.8A 2020-08-21 2020-08-21 流量数据的存储方法、装置、电子设备和存储介质 Active CN112069021B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010848426.8A CN112069021B (zh) 2020-08-21 2020-08-21 流量数据的存储方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010848426.8A CN112069021B (zh) 2020-08-21 2020-08-21 流量数据的存储方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112069021A true CN112069021A (zh) 2020-12-11
CN112069021B CN112069021B (zh) 2024-02-20

Family

ID=73659027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010848426.8A Active CN112069021B (zh) 2020-08-21 2020-08-21 流量数据的存储方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112069021B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542245A (zh) * 2021-07-02 2021-10-22 广州华多网络科技有限公司 数据流量监控方法、装置、计算机设备及存储介质

Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5905985A (en) * 1997-06-30 1999-05-18 International Business Machines Corporation Relational database modifications based on multi-dimensional database modifications
CN101799830A (zh) * 2010-03-25 2010-08-11 北京国双科技有限公司 可实现多维度自由剖析的流量数据处理方法
CN102594625A (zh) * 2012-03-07 2012-07-18 北京启明星辰信息技术股份有限公司 一种apt智能检测分析平台中的白数据过滤方法及系统
CN103714134A (zh) * 2013-12-18 2014-04-09 中国科学院计算技术研究所 一种网络流量数据索引方法及系统
US20150088885A1 (en) * 2013-09-20 2015-03-26 Oracle International Corporation Aggregating dimensional data using dense containers
US20150100543A1 (en) * 2012-09-14 2015-04-09 Hitachi, Ltd. Data analysis method, data analysis device, and storage medium storing processing program for same
CN104657426A (zh) * 2015-01-22 2015-05-27 江苏瑞中数据股份有限公司 一种基于统一视图的行列混合数据存储模型的建立方法
CN107451149A (zh) * 2016-05-31 2017-12-08 北京京东尚科信息技术有限公司 流量数据查询任务的监控方法及其装置
CN107645398A (zh) * 2016-07-22 2018-01-30 北京金山云网络技术有限公司 一种诊断网络性能和故障的方法和装置
CN107861859A (zh) * 2017-11-22 2018-03-30 北京汇通金财信息科技有限公司 一种基于微服务架构的日志管理方法及系统
US20180173729A1 (en) * 2016-12-21 2018-06-21 Sap Se Microservice architecture for an analytic data access layer
CN108984499A (zh) * 2018-06-01 2018-12-11 北京五八信息技术有限公司 报表数据处理方法和装置、电子设备和可读存储介质
CN109039817A (zh) * 2018-08-03 2018-12-18 北京京东金融科技控股有限公司 一种用于流量监控的信息处理方法和装置
US20190095486A1 (en) * 2017-09-26 2019-03-28 Oracle International Corporation Group determination based on multi-table dictionary codes
CN109889401A (zh) * 2019-01-22 2019-06-14 金蝶软件(中国)有限公司 流量统计方法、装置、计算机设备和存储介质
CN110083627A (zh) * 2019-04-28 2019-08-02 江苏满运软件科技有限公司 数据处理方法、系统、计算机设备和存储介质
CN110266603A (zh) * 2019-06-27 2019-09-20 公安部第一研究所 基于http协议的身份认证业务网络流量分析系统及方法
US20190334778A1 (en) * 2016-11-30 2019-10-31 Nutanix, Inc. Generic access to heterogeneous virtualized entities
CN110489204A (zh) * 2019-07-01 2019-11-22 广东轩辕网络科技股份有限公司 一种基于容器集群的大数据平台架构系统
CN110737653A (zh) * 2019-10-17 2020-01-31 天津锐网科技股份有限公司 一种基于微服务的一体化企业数据处理系统及方法
CN110837520A (zh) * 2019-10-10 2020-02-25 苏宁云计算有限公司 一种数据处理方法、平台及系统
CN110968555A (zh) * 2018-09-30 2020-04-07 北京国双科技有限公司 维度数据处理方法和装置
CN111143356A (zh) * 2019-12-12 2020-05-12 中盈优创资讯科技有限公司 报表检索方法及装置
CN111159226A (zh) * 2019-12-02 2020-05-15 平安资产管理有限责任公司 指标查询方法及系统
CN111459944A (zh) * 2020-04-07 2020-07-28 北京红山信息科技研究院有限公司 一种mr数据存储方法、装置、服务器及存储介质

Patent Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5905985A (en) * 1997-06-30 1999-05-18 International Business Machines Corporation Relational database modifications based on multi-dimensional database modifications
CN101799830A (zh) * 2010-03-25 2010-08-11 北京国双科技有限公司 可实现多维度自由剖析的流量数据处理方法
CN102594625A (zh) * 2012-03-07 2012-07-18 北京启明星辰信息技术股份有限公司 一种apt智能检测分析平台中的白数据过滤方法及系统
US20150100543A1 (en) * 2012-09-14 2015-04-09 Hitachi, Ltd. Data analysis method, data analysis device, and storage medium storing processing program for same
US20150088885A1 (en) * 2013-09-20 2015-03-26 Oracle International Corporation Aggregating dimensional data using dense containers
CN103714134A (zh) * 2013-12-18 2014-04-09 中国科学院计算技术研究所 一种网络流量数据索引方法及系统
CN104657426A (zh) * 2015-01-22 2015-05-27 江苏瑞中数据股份有限公司 一种基于统一视图的行列混合数据存储模型的建立方法
CN107451149A (zh) * 2016-05-31 2017-12-08 北京京东尚科信息技术有限公司 流量数据查询任务的监控方法及其装置
CN107645398A (zh) * 2016-07-22 2018-01-30 北京金山云网络技术有限公司 一种诊断网络性能和故障的方法和装置
US20190334778A1 (en) * 2016-11-30 2019-10-31 Nutanix, Inc. Generic access to heterogeneous virtualized entities
US20180173729A1 (en) * 2016-12-21 2018-06-21 Sap Se Microservice architecture for an analytic data access layer
US20190095486A1 (en) * 2017-09-26 2019-03-28 Oracle International Corporation Group determination based on multi-table dictionary codes
CN107861859A (zh) * 2017-11-22 2018-03-30 北京汇通金财信息科技有限公司 一种基于微服务架构的日志管理方法及系统
CN108984499A (zh) * 2018-06-01 2018-12-11 北京五八信息技术有限公司 报表数据处理方法和装置、电子设备和可读存储介质
CN109039817A (zh) * 2018-08-03 2018-12-18 北京京东金融科技控股有限公司 一种用于流量监控的信息处理方法和装置
CN110968555A (zh) * 2018-09-30 2020-04-07 北京国双科技有限公司 维度数据处理方法和装置
CN109889401A (zh) * 2019-01-22 2019-06-14 金蝶软件(中国)有限公司 流量统计方法、装置、计算机设备和存储介质
CN110083627A (zh) * 2019-04-28 2019-08-02 江苏满运软件科技有限公司 数据处理方法、系统、计算机设备和存储介质
CN110266603A (zh) * 2019-06-27 2019-09-20 公安部第一研究所 基于http协议的身份认证业务网络流量分析系统及方法
CN110489204A (zh) * 2019-07-01 2019-11-22 广东轩辕网络科技股份有限公司 一种基于容器集群的大数据平台架构系统
CN110837520A (zh) * 2019-10-10 2020-02-25 苏宁云计算有限公司 一种数据处理方法、平台及系统
CN110737653A (zh) * 2019-10-17 2020-01-31 天津锐网科技股份有限公司 一种基于微服务的一体化企业数据处理系统及方法
CN111159226A (zh) * 2019-12-02 2020-05-15 平安资产管理有限责任公司 指标查询方法及系统
CN111143356A (zh) * 2019-12-12 2020-05-12 中盈优创资讯科技有限公司 报表检索方法及装置
CN111459944A (zh) * 2020-04-07 2020-07-28 北京红山信息科技研究院有限公司 一种mr数据存储方法、装置、服务器及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542245A (zh) * 2021-07-02 2021-10-22 广州华多网络科技有限公司 数据流量监控方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN112069021B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN109408337B (zh) 一种接口运维的方法及装置
CN110413634B (zh) 数据查询方法、系统、装置及计算机可读存储介质
CN112559475B (zh) 数据实时捕获和传输方法及系统
CN110263222B (zh) 一种数据获取方法、装置、设备及介质
US10862984B2 (en) Methods and apparatus to monitor usage of virtual computing environments
CN110472109B (zh) 动态化数据质量分析方法及平台系统
CN107181821A (zh) 一种基于sse规范的消息推送方法及装置
CN109299157A (zh) 一种分布式大单表的数据导出方法及装置
CN113722276A (zh) 日志数据处理方法、系统、存储介质及电子设备
CN109586970B (zh) 资源分配方法、装置及系统
CN112069021B (zh) 流量数据的存储方法、装置、电子设备和存储介质
CN117492403B (zh) 一种大型仪器设备运行监控系统及方法
CN107578192A (zh) 航空结算系统的运营指标监控方法
CN109471904B (zh) 一种用于组织标签的方法和系统
CN110971664B (zh) 一种接口服务管理系统
CN111913821B (zh) 一种实现跨数据源实时数据流生产消费的方法
CN115098542A (zh) 一种流式大数据分频预聚合与查询方法
JP5332488B2 (ja) 複数の機能エンティティのマップ・ベース通信
CN112597119A (zh) 一种处理日志的生成方法、装置及存储介质
CN107180042A (zh) 搜索引擎的流量统计方法、装置及系统
CN113034201A (zh) 一种基于广告投放过程的实时预警方法、系统及计算机
CN112532424B (zh) 服务系统、服务端及信息处理方法
CN113220760B (zh) 一种数据处理方法、装置、服务器及存储介质
CN115017191A (zh) 数据处理方法、装置、服务器及存储介质
CN115687388A (zh) 数据归集方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant