CN112860695B - 监控数据查询方法、装置、设备、存储介质及程序产品 - Google Patents
监控数据查询方法、装置、设备、存储介质及程序产品 Download PDFInfo
- Publication number
- CN112860695B CN112860695B CN202110171235.7A CN202110171235A CN112860695B CN 112860695 B CN112860695 B CN 112860695B CN 202110171235 A CN202110171235 A CN 202110171235A CN 112860695 B CN112860695 B CN 112860695B
- Authority
- CN
- China
- Prior art keywords
- parameter
- parameters
- query
- dimension
- distributed node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012544 monitoring process Methods 0.000 title claims abstract description 62
- 238000012545 processing Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 19
- 230000002776 aggregation Effects 0.000 claims description 11
- 238000004220 aggregation Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 239000006185 dispersion Substances 0.000 claims description 2
- 238000004590 computer program Methods 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000003993 interaction Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000006116 polymerization reaction Methods 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000009960 carding Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 101150086656 dim1 gene Proteins 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2255—Hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/547—Messaging middleware
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请实施例公开了监控数据查询方法、装置、电子设备、计算机可读存储介质及计算机程序产品，涉及云计算技术领域，进一步涉及大数据云领域。该方法的一具体实施方式包括：接收包含有待查询参数的参数查询请求；根据待查询参数的哈希值确定存储有待查询参数的目标分布式节点，全量的待查询参数分散存储在遵循一致性哈希的不同分布式节点，采集到的原始参数在按维度进行预聚合后经消息中间件被存储在相应的分布式节点；将参数查询请求转发至目标分布式节点，并将目标分布式节点返回的数据作为查询结果返回。该实施例提供了一种高可用的监控数据查询方式。
Description
技术领域
本申请涉及云计算技术领域，进一步涉及大数据云领域，尤其涉及监控数据查询方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
背景技术
随着电子信息化技术的快速发展，各种线上应用、服务的持续稳定运行都依赖于监控系统对运行状态的分析和反馈，即监控系统的好坏是影响整个运维乃至整个产品生命周期最重要的一环，一个良好的监控系统需要能够在事前及时预警发现故障、事后提供详细的数据用于准查定位问题。
在基于DAG(Database Availability Group，数据库可用性组)交互模式的数据开发集成过程中，由于基于DAG交互的可拖拽式ETL(Extract-Transform-Load，数据仓库技术)过程中，用户创建的每条流水线、流水线的每个节点是一组具有相同抽象但实际功能不同的数据集成场景。如果在此场景下提供合适、高可用的监控系统是本领域技术人员研究的重点。
发明内容
本申请实施例提出了一种监控数据查询方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
第一方面，本申请实施例提出了一种监控数据查询方法，包括：接收包含有待查询参数的参数查询请求；根据待查询参数的哈希值确定存储有待查询参数的目标分布式节点；其中，全量的原始参数在按维度进行预聚合后经消息中间件分散存储在遵循一致性哈希的不同分布式节点中；将参数查询请求转发至目标分布式节点，并将目标分布式节点返回的数据作为查询结果返回。
第二方面，本申请实施例提出了一种监控数据查询装置，包括：查询请求接收单元，被配置成接收包含有待查询参数的参数查询请求；目标分布式节点确定单元，被配置成根据待查询参数的哈希值确定存储有待查询参数的目标分布式节点；其中，全量的原始参数在按维度进行预聚合后经消息中间件分散存储在遵循一致性哈希的不同分布式节点中；请求转发及结果返回单元，被配置成将参数查询请求转发至目标分布式节点，并将目标分布式节点返回的数据作为查询结果返回。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的监控数据查询方法。
第四方面，本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的监控数据查询方法。
第五方面，本申请实施例提供了一种包括计算机程序的计算机程序产品，该计算机程序在被处理器执行时能够实现如第一方面中任一实现方式描述的监控数据查询方法。
本申请实施例提供的监控数据查询方法、装置、电子设备、计算机可读存储介质及计算机程序产品，首先，接收包含有待查询参数的参数查询请求；然后，根据待查询参数的哈希值确定存储有待查询参数的目标分布式节点，全量的原始参数在按维度进行预聚合后经消息中间件分散存储在遵循一致性哈希的不同分布式节点中；最后，将参数查询请求转发至目标分布式节点，并将目标分布式节点返回的数据作为查询结果返回。
根据上述技术方案可知，本申请基于遵循一致性哈希的多个分布式节点构建了一个高可用的参数监控框架，在一致性哈希的帮助下，全量参数将被分散至不同的分布式节点中进行存储，并由不同的分布式节点来提供用户对相应参数的查询服务，有效防止了单点故障对监控系统整体正常运作的影响，而在原始参数存入消息中间件前按维度进行预聚合，使得相同维度数据可以更加集中的被存储至相同位置，不仅便于减少相同维度参数查询所调用的分布式节点数量、减少IO次数，也便于进行统计分析。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性系统架构；
图2为本申请实施例提供的一种监控数据查询方法的流程图；
图3为图2所示监控数据查询方法中一种参数存储方法的流程图；
图4为图3所示参数存储方法中一种基于CUBE存储模型和HBase存储介质的具体处理方法的流程图；
图5为本申请结合实际应用场景提供的一种高可用的参数监控系统的架构图；
图6为本申请实施例提供的一种分别对系统级别指标和用户级别指标按维度进行预聚合的过程示意图；
图7为本申请实施例提供的一种指标存储计算过程的示意图；
图8为本申请实施例提供的CUBE模型与各类表的关系示意图；
图9为本申请实施例提供的一种指标查询过程的示意图；
图10为本申请实施例提供的一种监控数据查询装置的结构框图；
图11为本申请实施例提供的一种适用于执行监控数据查询方法的电子设备的结构示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
图1示出了可以应用本申请的监控数据查询方法、装置、电子设备及计算机可读存储介质的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括用户终端101和分布式集群102。其中，分布式集群102中包括多台分布式节点，多台分布式节点基于一致性哈希的方式构成高可用架构。用户终端101与分布式集群102中的任一分布式节点以及分布式集群102中的不同分布式节点之间，均可以通过各种连接类型实现数据交换，例如有线、无线通信链路或者光纤电缆等等。
用户可以通过用户终端101向分布式集群102发起交互，以接收或发送消息，例如可以向分布式集群102发起某一类型参数的查询请求，该类型参数是分布式集群102所监控的目标类型参数之一。具体的，上述交换可通过分别安装在用户终端101和分布式集群102中的各分布式节点上的应用实现，例如参数查询应用。当然，用户终端101和分布式集群102中的各分布式节点上也可以安装有其它应用，例如为保障参数查询应用持续稳定运行的保障类应用，即时通讯类应用等。
用户终端101和分布式集群102可以具体直接表现为硬件，也可以是基于硬件虚拟得到的软件。当用户终端101表现为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等；当用户终端101表现为软件时，则可以安装在上述所列举的电子设备中，其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。分布式集群102可表现为多个实体服务器构成的硬件集群时，也可以表现为由多个虚拟服务器构成的软件集群。
以响应用户终端101发来的参数查询请求为例，分布式集群102可通过如下步骤向用户终端101提供查询结果：接收用户终端101发来的包含有待查询参数的参数查询请求；然后，根据待查询参数的哈希值确定存储有待查询参数的目标分布式节点，全量的原始参数在按维度进行预聚合后经消息中间件分散存储在遵循一致性哈希的不同分布式节点中；最后，将参数查询请求转发至目标分布式节点，并将目标分布式节点返回的数据作为查询结果返回。
需要指出的是，查询请求除可以实时从用户终端101接收到之外，也可以通过各种方式预先存储在分布式集群102的本地。因此，当分布式集群102检测到本地已经存储有这些数据时(例如开始处理之前留存的待处理参数查询任务)，可选择直接从本地获取这些数据，在此种情况下，示例性系统架构100也可以不包括用户终端101。
应该理解，图1中的用户终端、分布式集群以及构成分布式集群的分布式节点的数目仅仅是示意性的。根据实现需要，可以具有任意数目的用户终端、分布式集群和分布式节点。
请参考图2，图2为本申请实施例提供的一种监控数据查询方法的流程图，其中流程200包括以下步骤：
步骤201：接收包含有待查询参数的参数查询请求；
本步骤旨在由监控数据查询方法的执行主体(例如图1所示的分布式集群102)接收包含有待查询参数的参数查询请求。其中，该参数查询请求由请求端(例如图1所示的用户终端101)发来。
待查询参数作为参数查询请求中最重要的信息，用于让上述执行主体在全量参数中确定哪些参数是请求端想要进行查询的，可用与每个类型的参数唯一绑定的名称、编号、身份编码来确定。参数查询请求中除必须要包含有待查询参数外，还可以包含其它成分，例如请求端身份验证信息、所使用的加密算法(当待查询参数以加密后的密文形式存在于从参数查询请求时)、查询结果返回时间、查询结果返回地址等信息，以便于更好的识别和满足请求端的需求。
进一步的，在发现参数查询请求中包含有当前应用场景无法识别或无法满足的需求信息时，还可以由上述执行主体返回相应的通知信息，以告知请求端实际情况，并在接收到请求端返回的确认信息后继续执行后续步骤，否则不再响应。
步骤202：根据待查询参数的哈希值确定存储有待查询参数的目标分布式节点；
在步骤201的基础上，本步骤旨在由上述执行主体根据待查询参数的哈希值确定存储有待查询参数的目标分布式节点。
其中，全量的原始参数在按维度进行预聚合后经消息中间件分散存储在遵循一致性哈希的不同分布式节点中，即遵循一致性哈希的不同分布式节点中存储着不同的待查询参数的相关数据，借助一致性哈希的特性将查询任务分散至不同的分布式节点，从而避免传统方案中由单一的中心化服务器提供全部查询服务所存在的单点故障问题，实现高可用性。
一致性哈希算法是一种特殊的哈希算法，简单地说在移除或者添加一个服务器时，此算法能够尽可能小地改变已存在的服务请求与处理请求服务器之间的映射关系，尽可能满足单调性的要求。在普通分布式集群中，服务请求与处理请求服务器之间可以一一对应，也就是说固定服务请求与处理服务器之间的映射关系，某个请求由固定的服务器去处理。这种方式无法对整个系统进行负载均衡，可能会造成某些服务器过于繁忙以至于无法处理新来的请求。而另一些服务器则过于空闲，整体系统的资源利用率低，并且当分布式集群中的某个服务器宕机，会直接导致某些服务请求无法处理。
一致性哈希算法将整个哈希值空间映射成一个虚拟的圆环，整个哈希空间的取值范围为0～232-1，整个空间按顺时针方向组织。0～232-1在零点中方向重合。接下来使用如下算法对服务请求进行映射，将服务请求使用哈希算法算出对应的哈希值，然后根据哈希值的位置沿圆环顺时针查找，第一台遇到的服务器就是所对应的处理请求服务器。当增加一台新的服务器，受影响的数据仅仅是新添加的服务器到其环空间中前一台的服务器(也就是顺着逆时针方向遇到的第一台服务器)之间的数据，其他都不会受到影响。综上所述，一致性哈希算法对于节点的增减都只需重定位环空间中的一小部分数据，具有较好的容错性和可扩展性。即响应于任意存储有参数相关信息的分布式节点掉线，均可以通过一致性哈希的方式调整全量参数在剩余的各分布式节点上的存储分布。
本申请借助一致性哈希算法的上述特性来构建高可用的监控数据查询架构。
步骤203：将参数查询请求转发至目标分布式节点，并将目标分布式节点返回的数据作为查询结果返回。
在步骤202的基础上，本步骤旨在由上述执行主体将将参数查询请求转发至目标分布式节点，并接收目标分布式节点根据该参数查询请求查询到的相应数据，最终将其作为查询结果返回给请求端。
进一步的，若接收到该查询结果的请求端后续想要对相同维度的其它参数的进行补充查询，且确定该其它参数因维度相同被存储在之前的目标分布式节点，还可以后续发出的参数查询请求中附带该目标分布式节点的节点编号，从而省去后续补充查询的按哈希值查询的步骤，进而提升效率。
本申请实施例提供的监控数据查询方法，基于遵循一致性哈希的多个分布式节点构建了一个高可用的参数监控框架，在一致性哈希的帮助下，全量参数将被分散至不同的分布式节点中进行存储，并由不同的分布式节点来提供用户对相应参数的查询服务，有效防止了单点故障对监控系统整体正常运作的影响，而在原始参数存入消息中间件前按维度进行预聚合，使得相同维度数据可以更加集中的被存储至相同位置，不仅便于减少相同维度参数查询所调用的分布式节点数量、减少IO次数，也便于进行统计分析。
为加深对上一实施例中待查询参数是如何被存储至不同的分布式节点部分的理解，本实施例还通过图3为图2所示的监控数据查询方法提供了一种参数存储方法，其中流程300包括以下步骤：
步骤301：将从预设时间段的目标系统中采集到的原始参数，以参数的维度聚合为各维度参数集合；
本步骤由上述执行主体将从目标系统在一个预设时间段内采集到的原始参数，按参数的维度聚合为各维度参数集合。
应当理解的是，目标系统通常按照功能的不同划分为多个部分，而每个部分又通常包括多个相似或相同的组件，因此即使同一类型的参数因来源不同也会采集到很多，为了更好的整合相关参数、便于后续的存储和相关性查询，本步骤按照维度将其聚合为各维度参数集合，即每个维度参数集合中包含了目标系统在当前时间段内各部分、各组件所产生的同类型参数。而类型则可以根据不同的角度划分为不同的维度，例如数据格式、数据来源、功能、作用、数据目的地等等。
步骤302：响应于当前存储的各维度参数集合的数据总量超过预设阈值，将当前存储的各维度参数集合下发至消息中间件；
在步骤301的基础上，本步骤旨在由上述执行主体按周期将当前存储的各维度参数集合下发至消息中间件，该周期并非为固定的时间长度，而是指当前的存储容量是否超过预设阈值，即提供了一种基于占用量或剩余量的下发触发机制，通过此种触发机制，将避免随采集随下发的参数下发机制所带来的高数据IO(In Out)次数，减少对带宽的持续占用。
步骤303：控制消息中间件将接收到的各维度参数集合按照哈希值存储至相应的分布式节点。
在步骤302的基础上，本步骤旨在由上述执行主体控制消息中间件将接收到的各维度参数集合按照哈希值存储至相应的分布式节点。其中，多个分布式节点遵循一致性哈希的方式存储消息中间件中自身应存储的那部分参数的相关数据。
在上一实施例的基础上，本实施例首先通过按维度对原始参数进行了聚合处理，以充分适配当前所进行的绝大多数的相关性查询任务，即将相同维度的参数打包以便存储在形同的分布式节点，从而避免后续进行的相关性查询对多个不同分布式节点的调用；同时，又提供了基于占用量或剩余量的下发触发机制，减少了数据IO频率，避免对有限带宽的持续占用。
为了更好的提供相关性查询服务以及降低查询到目标参数的难度，针对上一实施例中的步骤303，本申请还通过图4提供了一种具体的存储方式，其示出的流程400包括如下步骤：
步骤401：控制消息中间件将接收到的各维度参数集合经处理后转发给参数存储服务；
步骤402：控制参数存储服务将各维度参数集合中的各参数通过CUBE存储模型转换为相应的CUBE事实；
相较于常规使用的ROLLUP(中文直译为上卷)存储模型，CUBE存储模型能够基于维度得到更全面、更全面的关联信息，以便于降低查询难度。
步骤403：控制参数存储服务将每个CUBE事实转换为二进制序列，并将二进制序列存储至分布式存储HBase数据库。
在步骤402的基础上，本步骤旨在由上述执行主体将每个CUBE事实转换为二进制序列，以便于更适合数据库对存储的存储，且确定选用了更加适合写多读少场景的HBase数据库。需要说明的是，经二进制序列化的CUBE事实在查询阶段，还需要进行相应的反序列化操作，以便将其转换回更适合查看的形式。
在上一实施例的基础上，本实施例具体提供了一种使用CUBE存储模型加HBase数据库作为底层的数据存储介质的实现方式，以实现关联查询过程中对查询难度的降低以及适配写多读少的场景。
在上述实施例的基础上，在将目标分布式节点返回的数据作为查询结果返回之前，还可以控制目标分布式节点根据参数查询请求构造事实查询器，然后控制目标分布式节点根据事实查询器中包含的主键rowkey过滤器对待查询参数进行过滤和匹配，得到相应的查询结果。其中，事实查询器与CUBE存储模型生成的CUBE事实相对应，而rowkey则提供了基于维度的准确过滤方式，以尽可能的提升查询性能和准确性。
在上述任意实施例的基础上，考虑到用户对所监控参数的个性化需求，还可以提供自定义参数监控功能。一种包括且不限于的实施方式可以为：响应于传入的自定义参数监控需求，返回自定义参数配置模板；接收基于自定义参数配置模板进行自定义配置后的自定义参数配置项，并根据自定义参数配置项对相应的自定义参数进行采集、处理、存储以及提供参数查询。具体的，自定义参数配置模板可以为一个正则表达式或标记有个各字段填写哪些支持的自定义内容的空槽模板。
为加深理解，本申请还结合一个具体应用场景，给出了一种具体的实现方案，请参见如5所示的指标监控系统的架构示意图：
如图5所示，该指标监控系统大致分为指标采集服务、指标处理服务、指标存储服务以及指标查询服务4个部分(此实施例中的指标为上述实施例中的参数的同义表述)。
指标采集服务：即平台中每个服务以及运行的流水线的指标上报过程，每个采集的指标都带有三个信息：维度(也可以理解为类型)、数值以及采集的时间戳。当指标采集系统接收到上报的指标信息后，会将接收到的指标项按照维度进行分组，做一次预聚合，即将相同维度的指标放在一个集合中。后台线程池会轮询指标采集模块的内存，定时向消息中间件发布指标信息；
指标处理服务：即消费消息中间件中的消息，将消息转化成能够存储的指标对象，传递给指标存储服务；
指标存储服务：指标存储模型具体采用了CUBE存储模型，指标存储模块会先将需要存储的指标列表转化为一个个的CUBE事实，将每个CUBE事实通过二进制序列化，转存到指标存储介质中。由于指标采集系统的底层存储是一个写多读少的场景，因此存储介质具体选用更合适的HBase数据库；
指标查询服务，为了能够让用户可视化的查看指标数据，需要将存在HBase中的数值信息，反序列化成用户配置或者可是别的指标信息，通过前端页面展示给用户。
如图5所示，每个横向的虚线框所指示的服务均包含有多个相同功能组件，而每套自上而下的纵向虚线框则表示为每台分布式节点，即图5所示的系统实际上是由多个分布式节点共同构成的，各分布式节点共用的仅有消息中间件和HBase数据库。
具体的，上述系统架构中还涉及的多个细节将具体展开说明如下：
1)指标采集的预聚合过程设计
对于指标，会将其分为两个级别，即系统级和用户级。为了将流水线运行和整个平台指标进行统一，对指标的维度信息进行统一定义，形成一套基于内存的指标维度库。指标维度库实际上就是指标维度键和一组维度实体集合值的映射，这组映射值在内存中固定下来，平台监控的所有系统级指标维度全部遵循这一套指标维度集。
对于用户级指标，即用户自定义的指标，则从配置中心中读取，并加在到指标维度库中。对于不同级别的指标，预聚合过程也不同：
对于系统级指标，会抽象出一套指标维度库放在指标采集服务的内存中，指标采集器在采集指标的过程中，会将维度信息附加在指标信息中。指标采集服务接收到指标后，判断该指标的维度是否落在指标库中。若指标信息落在指标库中，则对该指标进行预聚合，等待发布至消息系统；
对于用户级的指标，采用配置化的指标汇聚计算进行指标采集。即用户先定义指标的采集维度和上卷维度。当指标采集器采集到该指标后，一方面记录指标的维度，另一方面会根据指标类型和用户配置的指标上卷维度进行上卷聚合，最后将采集的指标发送至指标采集服务中。指标采集的预聚合过程交互图如图6所示。
2)指标存储计算过程设计
指标存储计算过程交互图如图7所示，指标的存储模型采用CUBE模型。计算流程如下：
①指标存储器接收到指标处理模块发来的待存储指标列表，依次遍历；
②对于遍历的每个指标，将该指标的维度与维度库的维度信息比对，对维度库的筛选出的维度实体中的每个维度字段进行赋值；
③赋值的每一个维度实体即当前指标的一个实体，存入实体表(Entity)中；
④将当前的指标转化为一个CUBE事实(CubeFact)，对每一个事实计算存储的rowkey和column(均为HBase参数项)。rowkey的生成与需要存储的每个维度的指标相关；
⑤将计算的rowkey、column和指标值一并存入HBase中。
3)指标存储的数据库表设计。
首先，在存储表类型上，分为实体表和事实表。
①实体表记录了每一个指标对应的实体信息，即维度的键值对信息，每一个实体在表中都有一个ID和实体名称(name)，这两个信息会以映射的方式存在HBase的实体表中。此表的rowkey设计如下：
Bytes.toBytes(key.getType()+'.'+key.getValue())
②事实表记录了真实的每个指标的值。其rowkey的生成规则如下：version(1byte)+<encoded aggregated group>+<timestamp>(4byte)+<enconded dim1 value>...<encoded dim2 value>+<encoded measured name>。
可以看出rowkey中包含了一个字节的版本号、各类维度信息和一个时间戳。整个CUBE模型与各类表的关系如图8所示
4)指标查询过程设计
指标查询过程的交互图如图9所示。整体过程梳理如下：
①根据查询指标，对指标维度进行聚合；
②根据当前查询的聚合维度和指标名称构造一个事实查询器(FactQuery)；
③根据当前查询的聚合时间和指标维度信息确定rowkey的查询范围。为了提高查询性能，在事实查询器中加入了rowkey过滤器，能够快速定位查找的rowkey；
④提取rokwey，根据rowkey的生成规则，结合实体表返解析出指标的维度，由于rowkey的中相关的指标维度和用户查询的指标维度具有被包含关系，这里还需要做一次维度上卷聚合；
⑤将最终的查询信息按照前端页面的封装可视化展示。
5)指标监控系统的高可用设计
本实施例提供的指标监控系统的高可用架构采用无主的一致性哈希策略。原因如下：
①由于指标采集和处理的计算量庞大，如果采用主备策略，依然还是将全部的压力打入一台机器中，最终会导致系统不稳定；
②无主的一致性哈希策略天然的带有负载均衡策略，能够分担起指标处理庞大的计算量，具有较好的容错性；
在本系统中，指标采集模块、指标处理模块和指标查询模块均是单独进程存在，并且每个模块都是一个网络服务，系统会分配端口号，其端口号和主机信息会被注册在zookeeper(是一个分布式的，开放源码的分布式应用程序协调服务，是HBase的一个重要组件)中。在整个高可用策略中，一致性哈希的主键是指标维度，整个一致性哈希的分配策略如下：
①当指标采集器在进行指标采集后，会根据指标维度计算出需要下发的指标服务模块，进行指标采集；
②指标处理模块在进行指标处理时，会根据哈希环的指标维度，筛选出属于需要处理的指标，进行指标处理；
③当指标查询模块接收指标查询请求时，会根据待查询的指标维度计算出该指标属于落在哪个指标查询服务器中，若属于当前指标服务器，则直接查询，反之，则进行请求转发，在进行查询。
进一步参考图10，作为对上述各图所示方法的实现，本申请提供了一种监控数据查询装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图10所示，本实施例的监控数据查询装置1000可以包括：查询请求接收单元1001、目标分布式节点确定单元1002、请求转发及结果返回单元1003。其中，查询请求接收单元1001，被配置成接收包含有待查询参数的参数查询请求；目标分布式节点确定单元1002，被配置成根据待查询参数的哈希值确定存储有待查询参数的目标分布式节点；全量的原始参数在按维度进行预聚合后经消息中间件分散存储在遵循一致性哈希的不同分布式节点中；请求转发及结果返回单元1003，被配置成将参数查询请求转发至目标分布式节点，并将目标分布式节点返回的数据作为查询结果返回。
在本实施例中，监控数据查询装置1000中：查询请求接收单元1001、目标分布式节点确定单元1002、请求转发及结果返回单元1003的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-203的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，监控数据查询装置1000中还可以包括被配置成全量的原始参数在按维度进行预聚合后经消息中间件分散存储在遵循一致性哈希的不同分布式节点中的参数存储单元，该参数存储单元可以包括：
按维度聚合子单元，被配置成将从预设时间段的目标系统中采集到的原始参数，以参数的维度聚合为各维度参数集合；
参数集合下发子单元，被配置成响应于当前存储的各维度参数集合的数据总量超过预设阈值，将当前存储的各维度参数集合下发至消息中间件；
存储子单元，被配置成控制消息中间件将接收到的各维度参数集合按照哈希值存储至相应的分布式节点。
在本实施例的一些可选的实现方式中，该存储子单元可以被进一步配置成：
控制消息中间件将接收到的各维度参数集合经处理后转发给参数存储服务；
控制参数存储服务将各维度参数集合中的各参数通过数据立方体CUBE存储模型转换为相应的CUBE事实；
控制参数存储服务将每个CUBE事实转换为二进制序列，并将二进制序列存储至分布式存储HBase数据库；其中，HBase数据库可被各分布式节点访问。
在本实施例的一些可选的实现方式中，监控数据查询装置1000中还可以包括：
事实查询器构造单元，被配置成在将目标分布式节点返回的数据作为查询结果返回之前，控制目标分布式节点根据参数查询请求构造事实查询器；
过滤及匹配单元，被配置成控制目标分布式节点根据事实查询器中包含的主键rowkey过滤器对待查询参数进行过滤和匹配，得到相应的查询结果。
在本实施例的一些可选的实现方式中，监控数据查询装置1000中还可以包括：
自定义参数配置模板返回单元，被配置成响应于传入的自定义参数监控需求，返回自定义参数配置模板；
自定义参数配置项接收及应用单元，被配置成接收基于自定义参数配置模板进行自定义配置后的自定义参数配置项，并根据自定义参数配置项对相应的自定义参数进行采集、处理、存储以及提供参数查询。
在本实施例的一些可选的实现方式中，监控数据查询装置1000中还可以包括：
基于一致性哈希的参数存储调整单元，被配置成响应于任意存储有参数相关信息的分布式节点掉线，通过一致性哈希的方式调整全量参数在剩余的各分布式节点上的存储分布。
本实施例作为对应于上述方法实施例的装置实施例存在，本实施例提供的监控数据查询装置，基于遵循一致性哈希的多个分布式节点构建了一个高可用的参数监控框架，在一致性哈希的帮助下，全量参数将被分散至不同的分布式节点中进行存储，并由不同的分布式节点来提供用户对相应参数的查询服务，有效防止了单点故障对监控系统整体正常运作的影响，而在原始参数存入消息中间件前按维度进行预聚合，使得相同维度数据可以更加集中的被存储至相同位置，不仅便于减少相同维度参数查询所调用的分布式节点数量、减少IO次数，也便于进行统计分析。
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本申请的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如监控数据查询方法。例如，在一些实施例中，监控数据查询方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的监控数据查询方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行监控数据查询方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS，Virtual Private Server)服务中存在的管理难度大，业务扩展性弱的缺陷。
本申请实施例基于遵循一致性哈希的多个分布式节点构建了一个高可用的参数监控框架，在一致性哈希的帮助下，全量参数将被分散至不同的分布式节点中进行存储，并由不同的分布式节点来提供用户对相应参数的查询服务，有效防止了单点故障对监控系统整体正常运作的影响，而在原始参数存入消息中间件前按维度进行预聚合，使得相同维度数据可以更加集中的被存储至相同位置，不仅便于减少相同维度参数查询所调用的分布式节点数量、减少IO次数，也便于进行统计分析。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (10)
1.一种监控数据查询方法，包括：
接收包含有待查询参数的参数查询请求；
根据所述待查询参数的哈希值确定存储有所述待查询参数的目标分布式节点；其中，全量的原始参数在按维度进行预聚合后经消息中间件分散存储在遵循一致性哈希的不同分布式节点中；
将所述参数查询请求转发至所述目标分布式节点，并将所述目标分布式节点返回的数据作为查询结果返回；
所述全量的原始参数在按维度进行预聚合后经消息中间件分散存储在遵循一致性哈希的不同分布式节点中，包括：
将从预设时间段的目标系统中采集到的原始参数，以参数的维度聚合为各维度参数集合；
响应于当前存储的各维度参数集合的数据总量超过预设阈值，将当前存储的各维度参数集合下发至所述消息中间件；
控制所述消息中间件将接收到的各维度参数集合经处理后转发给参数存储服务；
控制所述参数存储服务将各所述维度参数集合中的各参数通过数据立方体CUBE存储模型转换为相应的CUBE事实；
控制所述参数存储服务将每个所述CUBE事实转换为二进制序列，并将所述二进制序列存储至分布式存储HBase数据库；其中，所述HBase数据库可被各所述分布式节点访问。
2.根据权利要求1所述的方法，其中，在将所述目标分布式节点返回的数据作为查询结果返回之前，还包括：
控制所述目标分布式节点根据所述参数查询请求构造事实查询器；
控制所述目标分布式节点根据所述事实查询器中包含的主键rowkey过滤器对所述待查询参数进行过滤和匹配，得到相应的查询结果。
3.根据权利要求1所述的方法，还包括：
响应于传入的自定义参数监控需求，返回自定义参数配置模板；
接收基于所述自定义参数配置模板进行自定义配置后的自定义参数配置项，并根据所述自定义参数配置项对相应的自定义参数进行采集、处理、存储以及提供参数查询。
4.根据权利要求1-3任一项所述的方法，还包括：
响应于任意存储有参数相关信息的分布式节点掉线，通过一致性哈希的方式调整全量参数在剩余的各分布式节点上的存储分布。
5.一种监控数据查询装置，包括：
查询请求接收单元，被配置成接收包含有待查询参数的参数查询请求；
目标分布式节点确定单元，被配置成根据所述待查询参数的哈希值确定存储有所述待查询参数的目标分布式节点；
请求转发及结果返回单元，被配置成将所述参数查询请求转发至所述目标分布式节点，并将所述目标分布式节点返回的数据作为查询结果返回；
参数存储单元，被配置成全量的原始参数在按维度进行预聚合后经消息中间件分散存储在遵循一致性哈希的不同分布式节点中；
所述参数存储单元被进一步配置成：将从预设时间段的目标系统中采集到的原始参数，以参数的维度聚合为各维度参数集合；响应于当前存储的各维度参数集合的数据总量超过预设阈值，将当前存储的各维度参数集合下发至所述消息中间件；控制所述消息中间件将接收到的各维度参数集合经处理后转发给参数存储服务；控制所述参数存储服务将各所述维度参数集合中的各参数通过数据立方体CUBE存储模型转换为相应的CUBE事实；控制所述参数存储服务将每个所述CUBE事实转换为二进制序列，并将所述二进制序列存储至分布式存储HBase数据库；其中，所述HBase数据库可被各所述分布式节点访问。
6.根据权利要求5所述的装置，还包括：
事实查询器构造单元，被配置成在将所述目标分布式节点返回的数据作为查询结果返回之前，控制所述目标分布式节点根据所述参数查询请求构造事实查询器；
过滤及匹配单元，被配置成控制所述目标分布式节点根据所述事实查询器中包含的主键rowkey过滤器对所述待查询参数进行过滤和匹配，得到相应的查询结果。
7.根据权利要求5所述的装置，还包括：
自定义参数配置模板返回单元，被配置成响应于传入的自定义参数监控需求，返回自定义参数配置模板；
自定义参数配置项接收及应用单元，被配置成接收基于所述自定义参数配置模板进行自定义配置后的自定义参数配置项，并根据所述自定义参数配置项对相应的自定义参数进行采集、处理、存储以及提供参数查询。
8.根据权利要求5-7任一项所述的装置，还包括：
基于一致性哈希的参数存储调整单元，被配置成响应于任意存储有参数相关信息的分布式节点掉线，通过一致性哈希的方式调整全量参数在剩余的各分布式节点上的存储分布。
9.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的监控数据查询方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-4中任一项所述的监控数据查询方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110171235.7A CN112860695B (zh) | 2021-02-08 | 2021-02-08 | 监控数据查询方法、装置、设备、存储介质及程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110171235.7A CN112860695B (zh) | 2021-02-08 | 2021-02-08 | 监控数据查询方法、装置、设备、存储介质及程序产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112860695A CN112860695A (zh) | 2021-05-28 |
| CN112860695B true CN112860695B (zh) | 2023-08-04 |
Family
ID=75989054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110171235.7A Active CN112860695B (zh) | 2021-02-08 | 2021-02-08 | 监控数据查询方法、装置、设备、存储介质及程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112860695B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113297273B (zh) * | 2021-06-09 | 2024-03-01 | 北京百度网讯科技有限公司 | 查询元数据的方法、装置和电子设备 |
| CN113391769B (zh) * | 2021-06-30 | 2024-04-30 | 华云数据控股集团有限公司 | 分布式存储方法和装置、计算设备和存储介质 |
| CN113535734B (zh) * | 2021-07-26 | 2023-07-07 | 安徽容知日新科技股份有限公司 | 一种数据存储方法、数据查询方法和计算设备 |
| CN113672660B (zh) * | 2021-08-02 | 2024-05-14 | 支付宝(杭州)信息技术有限公司 | 一种数据查询方法、装置及设备 |
| US12015540B2 (en) | 2021-09-07 | 2024-06-18 | Red Hat, Inc. | Distributed data grid routing for clusters managed using container orchestration services |
| CN115174501B (zh) * | 2022-05-23 | 2024-09-10 | 未名智算(北京)科技有限公司 | 一种用于网内聚合传输的服务系统和服务方法 |
| CN115292356B (zh) * | 2022-07-21 | 2023-06-16 | 中电金信软件有限公司 | 数据查询方法、装置及电子设备 |
| CN116132458A (zh) * | 2022-12-09 | 2023-05-16 | 网易（杭州）网络有限公司 | 业务数据的处理方法、装置及电子设备 |
| CN117874069B (zh) * | 2023-12-19 | 2024-08-20 | 上海汇付支付有限公司 | 一种实时大数据快速查询分析方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103473260A (zh) * | 2013-06-25 | 2013-12-25 | 北京控制工程研究所 | 一种面向并发olap的测试数据分层聚簇查询处理系统及方法 |
| CN106156328A (zh) * | 2016-07-06 | 2016-11-23 | 中国银行股份有限公司 | 一种银行运行日志数据监控方法及系统 |
| CN106600067A (zh) * | 2016-12-19 | 2017-04-26 | 广州视源电子科技股份有限公司 | 多维立方体模型的优化方法和装置 |
| CN110169008A (zh) * | 2018-07-10 | 2019-08-23 | 深圳花儿数据技术有限公司 | 一种基于一致性哈希算法的分布式数据冗余存储方法 |
| CN111159219A (zh) * | 2019-12-31 | 2020-05-15 | 湖南亚信软件有限公司 | 一种数据管理方法、装置、服务器及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10248678B2 (en) * | 2015-08-25 | 2019-04-02 | International Business Machines Corporation | Enabling placement control for consistent hashing-based object stores |
| US10915500B2 (en) * | 2018-12-13 | 2021-02-09 | Verizon Patent And Licensing Inc. | Method and system for historical call lookup in distributed file systems |
-
2021
- 2021-02-08 CN CN202110171235.7A patent/CN112860695B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103473260A (zh) * | 2013-06-25 | 2013-12-25 | 北京控制工程研究所 | 一种面向并发olap的测试数据分层聚簇查询处理系统及方法 |
| CN106156328A (zh) * | 2016-07-06 | 2016-11-23 | 中国银行股份有限公司 | 一种银行运行日志数据监控方法及系统 |
| CN106600067A (zh) * | 2016-12-19 | 2017-04-26 | 广州视源电子科技股份有限公司 | 多维立方体模型的优化方法和装置 |
| CN110169008A (zh) * | 2018-07-10 | 2019-08-23 | 深圳花儿数据技术有限公司 | 一种基于一致性哈希算法的分布式数据冗余存储方法 |
| CN111159219A (zh) * | 2019-12-31 | 2020-05-15 | 湖南亚信软件有限公司 | 一种数据管理方法、装置、服务器及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 基于分布式无共享架构的海量数据并行查询平台;秦东明;喻剑;张波;赵勤;;计算机科学(第04期);全文 * |
| 港口供应区块链中的多链簇集结构设计与研究;汪榆;中国优秀硕士学位论文全文数据库;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112860695A (zh) | 2021-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112860695B (zh) | 监控数据查询方法、装置、设备、存储介质及程序产品 | |
| CN108874640B (zh) | 一种集群性能的评估方法和装置 | |
| CN108776934B (zh) | 分布式数据计算方法、装置、计算机设备及可读存储介质 | |
| CN109947668B (zh) | 存储数据的方法和装置 | |
| CN107330056A (zh) | 基于大数据云计算平台的风电场scada系统及其运行方法 | |
| CN113515545B (zh) | 数据查询方法、装置、系统、电子设备以及存储介质 | |
| CN102694868A (zh) | 一种集群系统实现及任务动态分配方法 | |
| CN107645410A (zh) | 一种基于OpenStack云平台的虚拟机管理系统及方法 | |
| CN115344207A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| JP2021144762A (ja) | 分散アプリケーションのインタフェース性能監視方法、装置、電子機器、記憶媒体、及びプログラム | |
| CN107220271A (zh) | 一种分布式数字资源存储处理与管理的方法及系统 | |
| CN112204543A (zh) | 用于分布式系统的频繁模式分析 | |
| CN115034927A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| WO2020094064A1 (zh) | 性能优化方法、装置、设备及计算机可读存储介质 | |
| CN115408546A (zh) | 一种时序数据管理方法、装置、设备及存储介质 | |
| CN115237595A (zh) | 数据处理方法、装置、分发服务器、系统及存储介质 | |
| CN109947736B (zh) | 实时计算的方法和系统 | |
| CN112615795A (zh) | 流量控制方法、装置、电子设备、存储介质及产品 | |
| CN117573436A (zh) | 一种备份方法、装置、设备及存储介质 | |
| CN116578646A (zh) | 一种时序数据同步方法、装置、设备及存储介质 | |
| CN114491253B (zh) | 观测信息处理方法、装置、电子设备及存储介质 | |
| CN115604353A (zh) | 电力监控系统中数据处理方法、系统和计算机设备 | |
| JP2023031248A (ja) | エッジコンピューティングネットワーク、データ伝送方法、装置、機器、及び記憶媒体 | |
| CN114924882A (zh) | 一种分布式业务处理方法、装置、设备及存储介质 | |
| CN113010373A (zh) | 数据监控方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |